CN110675385A - 一种图像处理方法、装置、计算机设备以及存储介质 - Google Patents

一种图像处理方法、装置、计算机设备以及存储介质 Download PDF

Info

Publication number
CN110675385A
CN110675385A CN201910912096.1A CN201910912096A CN110675385A CN 110675385 A CN110675385 A CN 110675385A CN 201910912096 A CN201910912096 A CN 201910912096A CN 110675385 A CN110675385 A CN 110675385A
Authority
CN
China
Prior art keywords
mask
image
convolution
target
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910912096.1A
Other languages
English (en)
Other versions
CN110675385B (zh
Inventor
胡一凡
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910912096.1A priority Critical patent/CN110675385B/zh
Publication of CN110675385A publication Critical patent/CN110675385A/zh
Priority to PCT/CN2020/115209 priority patent/WO2021057536A1/zh
Priority to US17/499,993 priority patent/US12033330B2/en
Application granted granted Critical
Publication of CN110675385B publication Critical patent/CN110675385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、计算机设备以及存储介质，方法包括：获取包含目标对象的目标图像，获取原始掩膜以及图像分割模型；所述图像分割模型包括第一单位模型和第二单位模型，基于所述第一单位模型中的池化层，对所述原始掩膜进行下采样，得到下采样掩膜，基于所述第二单位模型中的卷积池化层以及所述下采样掩膜，提取所述目标图像的区域卷积特征信息，根据所述区域卷积特征信息更新所述原始掩膜，当更新后的原始掩膜满足误差收敛条件时，根据更新后的原始掩膜确定所述目标对象在所述目标图像中的目标图像区域。采用本申请，可以提高图像分割的效率。

Description

一种图像处理方法、装置、计算机设备以及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像处理方法、装置以及相关 设备。
背景技术
在图像的研究和应用过程中，人们往往对各幅图像中的某些部分感兴趣。 这些部分通常称为目标或者前景，它们一般对应图像中具有独特性质的区域。 为了辨别和分析图像中的目标，需要将这些区域分离出来，在此基础上才有可 能对目标进一步地处理。图像分割就是将图像分成各具特性的区域并提取出感 兴趣的目标。
目前，对图像中的目标进行分割是通过人工分割，即由人工对图像中的目 标的位置进行判别，再手动提取出目标所在的图像区域，后续跟进人工分割出 来的图像区域进行图像理解等。
人工分割图像中的目标需要经历人工位置判别，人工目标分割等过程，会 耗费大量的时间，造成图像分割的效率低下。
发明内容
本申请实施例提供一种图像处理方法、装置以及相关设备，可以提高图像 分割的效率。
本申请实施例一方面提供了一种图像处理方法，包括：
获取包含目标对象的目标图像，获取原始掩膜以及图像分割模型；所述图 像分割模型包括第一单位模型和第二单位模型；
基于所述第一单位模型中的池化层，对所述原始掩膜进行下采样，得到下 采样掩膜；
基于所述第二单位模型中的卷积池化层以及所述下采样掩膜，提取所述目 标图像的区域卷积特征信息，根据所述区域卷积特征信息更新所述原始掩膜；
当更新后的原始掩膜满足误差收敛条件时，根据更新后的原始掩膜确定所 述目标对象在所述目标图像中的目标图像区域。
其中，所述第二单位模型中的卷积池化层包括第一卷积池化层和第二卷积 池化层；所述下采样掩膜包括与所述第一卷积池化层对应的第一原始掩膜以及 与所述第二卷积池化层对应的第二原始掩膜；
所述基于所述第二单位模型中的卷积池化层以及所述下采样掩膜，提取所 述目标图像的区域卷积特征信息，包括：
基于所述第一卷积池化层和所述第一原始掩膜，对所述目标图像进行卷积 和池化，得到第一卷积特征信息；
基于所述第二卷积池化层和所述第二原始掩膜，对所述第一卷积特征信息 进行卷积和池化，得到所述目标图像的所述区域卷积特征信息。
其中，所述第一卷积池化层包括第一卷积池化单元以及第二卷积池化单元；
所述基于所述第一卷积池化层和所述第一原始掩膜，对所述目标图像进行 卷积和池化，得到第一卷积特征信息，包括：
基于所述第一卷积池化单元对应的卷积函数和池化函数，对所述目标图像 进行卷积和池化，得到输入卷积特征信息；
基于所述第二卷积池化单元对应的卷积函数，对所述输入卷积特征信息进 行编码，生成第二卷积特征信息；
根据所述第一原始掩膜，对所述第二卷积特征信息的的多个通道的特征图 分别进行池化，确定池化向量；
基于所述第二卷积池化单元对应的激活函数将所述池化向量转换为目标向 量；
根据所述目标向量和所述第一原始掩膜，生成所述第一卷积特征信息；所 述输入卷积特征信息的尺寸、所述第一卷积特征信息的尺寸以及所述第二卷积 特征信息的尺寸均相同。
其中，所述根据所述区域卷积特征信息更新所述原始掩膜，包括：
将所述区域卷积特征信息进行反卷积，生成第三卷积特征信息；
将所述第三卷积特征信息和所述第一卷积特征信息叠加为目标卷积特征信 息；
将所述目标卷积特征信息进行反卷积和全连接，得到待更新掩膜，将所述 待更新掩膜确定为所述原始掩膜；所述待更新掩膜的尺寸与所述目标图像的尺 寸相同。
其中，所述待更新掩膜包括多个单位待更新掩膜；
所述将所述待更新掩膜确定为所述原始掩膜，包括：
在所述待更新掩膜中，将小于或等于掩膜阈值的单位待更新掩膜的取值调 整为第一数值；
在所述待更新掩膜中，将大于所述掩膜阈值的单位待更新位掩膜的取值调 整的第二数值，得到所述原始掩膜。
其中，所述根据更新后的原始掩膜确定所述目标对象在所述目标图像中的 目标图像区域，包括：
将更新后的原始掩膜确定为目标掩膜；所述目标掩膜包括多个单位目标掩 膜；
在所述目标掩膜中，确定大于掩膜阈值的单位目标掩膜的位置信息；
在所述目标图像中，将与所述位置信息对应的图像区域作为所述目标图像 区域。
其中，所述获取包含目标对象的目标图像，包括：
获取包含所述目标对象的原始图像；
基于图像预处理规则对所述原始图像进行图像预处理，得到所述目标图像； 所述图像预处理规则包括图像归一化、图像平移、图像旋转、图像对称以及图 像放缩。
其中，还包括：
若更新后的原始掩膜与更新前的原始掩膜之间的误差小于误差阈值，则确 定更新后的原始掩膜满足所述误差收敛条件，或，
若更新次数达到更新次数阈值，则确定更新后的原始掩膜满足所述误差收 敛条件。
其中，还包括：
获取包含所述目标对象的样本图像，获取样本原始掩膜和样本图像分割模 型；所述样本图像分割模型包括所述第一单位模型和样本第二单位模型；
基于所述第一单位模型中的池化层，对所述样本原始掩膜进行下采样，得 到样本下采样掩膜；
基于所述样本第二单位模型和所述样本下采样掩膜，生成预测掩膜；
根据所述目标对象在所述样本图像中的图像区域，确定样本掩膜；
根据所述样本图像、所述预测掩膜和所述样本掩膜训练所述样本第二单位 模型，得到所述图像分割模型。
其中，所述根据所述样本图像、所述预测掩膜和所述样本掩膜训练所述样 本第二单位模型，得到所述图像分割模型，包括：
根据所述样本图像、所述预测掩膜和所述样本掩膜，生成亮度损失；
根据所述预测掩膜和所述样本掩膜，生成分割损失；
将所述亮度损失和所述分割损失组合为目标损失；
基于梯度下降规则和所述目标损失，确定所述样本第二单位模型中的模型 变量参数的参数值，根据所述参数值更新所述样本第二单位模型中的模型变量 参数；
当训练次数达到训练次数阈值时，将模型变量参数更新后的样本第二单位 模型作为所述第二单位模型，将所述第一单位模型和所述第二单位模型组合为 所述图像分割模型。
其中，所述目标对象是病灶对象；所述目标图像是生物组织图像；所述目 标图像区域是病灶图像区域。
本申请实施例另一方面提供了一种图像处理装置，包括：
图像获取模块，用于获取包含目标对象的目标图像；
模型获取模块，用于获取原始掩膜以及图像分割模型；所述图像分割模型 包括第一单位模型和第二单位模型；
池化模块，用于基于所述第一单位模型中的池化层，对所述原始掩膜进行 下采样，得到下采样掩膜；
卷积模块，用于基于所述第二单位模型中的卷积池化层以及所述下采样掩 膜，提取所述目标图像的区域卷积特征信息；
更新模块，用于根据所述区域卷积特征信息更新所述原始掩膜；
掩膜确定模块，用于当更新后的原始掩膜满足误差收敛条件时，根据更新 后的原始掩膜确定所述目标对象在所述目标图像中的目标图像区域。
其中，所述第二单位模型中的卷积池化层包括第一卷积池化层和第二卷积 池化层；所述下采样掩膜包括与所述第一卷积池化层对应的第一原始掩膜以及 与所述第二卷积池化层对应的第二原始掩膜；
所述卷积模块，包括：
第一卷积单元，用于基于所述第一卷积池化层和所述第一原始掩膜，对所 述目标图像进行卷积和池化，得到第一卷积特征信息；
第二卷积单元，用于基于所述第二卷积池化层和所述第二原始掩膜，对所 述第一卷积特征信息进行卷积和池化，得到所述目标图像的所述区域卷积特征 信息。
其中，所述第一卷积池化层包括第一卷积池化单元以及第二卷积池化单元；
所述第一卷积单元，具体用于基于所述第一卷积池化单元对应的卷积函数 和池化函数，对所述目标图像进行卷积和池化，得到输入卷积特征信息，基于 所述第二卷积池化单元对应的卷积函数，对所述输入卷积特征信息进行编码， 生成第二卷积特征信息，根据所述第一原始掩膜，对所述第二卷积特征信息的 的多个通道的特征图分别进行池化，确定池化向量，基于所述第二卷积池化单 元对应的激活函数将所述池化向量转换为目标向量，根据所述目标向量和所述 第一原始掩膜，生成所述第一卷积特征信息；所述输入卷积特征信息的尺寸、 所述第一卷积特征信息的尺寸以及所述第二卷积特征信息的尺寸均相同。
其中，所述更新模块，包括：
反卷积单元，用于将所述区域卷积特征信息进行反卷积，生成第三卷积特 征信息；
叠加单元，用于将所述第三卷积特征信息和所述第一卷积特征信息叠加为 目标卷积特征信息，将所述目标卷积特征信息进行反卷积和全连接，得到待更 新掩膜；
确定单元，用于将所述待更新掩膜确定为所述原始掩膜；所述待更新掩膜 的尺寸与所述目标图像的尺寸相同。
其中，所述待更新掩膜包括多个单位待更新掩膜；
所述确定单元，具体用于在所述待更新掩膜中，将小于或等于掩膜阈值的 单位待更新掩膜的取值调整为第一数值，在所述待更新掩膜中，将大于所述掩 膜阈值的单位待更新位掩膜的取值调整的第二数值，得到所述原始掩膜。
其中，所述掩膜确定模块，具体用于将更新后的原始掩膜确定为目标掩膜， 在所述目标掩膜中，确定大于掩膜阈值的单位目标掩膜的位置信息，在所述目 标图像中，将与所述位置信息对应的图像区域作为所述目标图像区域；所述目 标掩膜包括多个单位目标掩膜。
其中，所述图像获取模块，具体用于获取包含所述目标对象的原始图像， 基于图像预处理规则对所述原始图像进行图像预处理，得到所述目标图像；所 述图像预处理规则包括图像归一化、图像平移、图像旋转、图像对称以及图像 放缩。
其中，还包括：
收敛确定模块，用于若更新后的原始掩膜与更新前的原始掩膜之间的误差 小于误差阈值，则确定更新后的原始掩膜满足所述误差收敛条件，或，
所述收敛确定模块，还用于若更新次数达到更新次数阈值，则确定更新后 的原始掩膜满足所述误差收敛条件。
其中，还包括：
样本获取模块，用于获取包含所述目标对象的样本图像，获取样本原始掩 膜和样本图像分割模型；所述样本图像分割模型包括所述第一单位模型和样本 第二单位模型；
所述样本获取模块，还用于基于所述第一单位模型中的池化层，对所述样 本原始掩膜进行下采样，得到样本下采样掩膜；
所述样本获取模块，还用于基于所述样本第二单位模型和所述样本下采样 掩膜，生成预测掩膜，根据所述目标对象在所述样本图像中的图像区域，确定 样本掩膜；
训练模块，用于根据所述样本图像、所述预测掩膜和所述样本掩膜训练所 述样本第二单位模型，得到所述图像分割模型。
其中，所述训练模块，具体用于根据所述样本图像、所述预测掩膜和所述 样本掩膜，生成亮度损失，根据所述预测掩膜和所述样本掩膜，生成分割损失， 将所述亮度损失和所述分割损失组合为目标损失，基于梯度下降规则和所述目 标损失，确定所述样本第二单位模型中的模型变量参数的参数值，根据所述参 数值更新所述样本第二单位模型中的模型变量参数，当训练次数达到训练次数 阈值时，将模型变量参数更新后的样本第二单位模型作为所述第二单位模型， 将所述第一单位模型和所述第二单位模型组合为所述图像分割模型。
其中，所述目标对象是病灶对象；所述目标图像是生物组织图像；所述目 标图像区域是病灶图像区域。
本申请实施例另一方面提供了一种电子医疗设备，包括生物组织图像采集 器和生物组织图像分析器；
所述生物组织图像采集器获取包含病灶对象的生物组织图像，获取原始掩 膜以及图像分割模型；所述图像分割模型包括第一单位模型和第二单位模型；
所述生物组织图像分析器基于所述第一单位模型中的池化层，对所述原始 掩膜进行下采样，得到下采样掩膜；
所述生物组织图像分析器基于所述第二单位模型中的卷积池化层以及所述 下采样掩膜，提取所述生物组织图像的区域卷积特征信息，根据所述区域卷积 特征信息更新所述原始掩膜；
当更新后的原始掩膜满足误差收敛条件时，所述生物组织图像分析器根据 更新后的原始掩膜确定所述病灶对象在所述生物组织图像中的病灶图像区域。
本申请实施例另一方面提供了一种计算机设备，包括存储器和处理器，所 述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述 处理器执行如本申请实施例中另一方面中的方法。
本申请实施例另一方面提供了一种计算机存储介质，所述计算机存储介质 存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器 执行时，执行如本申请实施例中另一方面中的方法。
本申请通过获取包含目标对象的目标图像，并获取原始掩膜以及图像分割 模型，基于图像分割模型中的第一单位模型，对原始掩膜下采样，得到下采样 掩膜；基于图像分割模型中的第二单位模型以及下采样掩膜，提取目标图像的 区域特征信息，根据区域特征信息更新原始掩膜，不断地的迭代更新原始掩膜， 直至更新后的原始掩膜满足收敛条件时，根据更新后的原始掩膜可以确定目标 对象在目标图像中的区域。上述可知，通过自动化地方式自动分割出目标对象 在图像中的区域，相比人工分割，可以降低图像分割的耗时，提高图像分割的 效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理的系统架构图；
图2a-图2b是本申请实施例提供的一种图像处理的场景示意图；
图3是本申请实施例提供的一种图像处理方法的示意图；
图4是本申请实施例提供的一种平均池化的示意图；
图5是本申请实施例提供的一种最大池化的示意图；
图6是本申请实施例提供的一种第二卷积池化单元的示意图；
图7是本申请实施例提供的一种图像处理方法的模型架构图；
图8是本申请实施例提供的一种图像处理方法的流程示意图；
图9a是本申请实施例提供的一种图像处理的功能模块图；
图9b是本申请实施例提供的一种电子医疗设备的结构示意图；
图10是本申请实施例提供的一种图像处理装置的结构示意图；
图11是本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是 全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造 性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参见图1，是本申请实施例提供的一种图像处理的系统架构图。本申请涉 及后台服务器10d以及终端设备集群，终端设备集群可以包括：终端设备10a、 终端设备10b、...、终端设备10c等。
以终端设备10a为例，终端设备10a获取包含目标对象的目标图像，其中目 标对象即是待分割对象。终端设备10a将上述目标图像发送至后台服务器10d， 后台服务器接收到目标图像后，获取原始掩膜和已经训练好的图像分割模型。 基于图像分割模型中的第一单位模型，对原始掩膜下采样，得到下采样掩膜。 基于图像分割模型中的第二单位模型以及下采样掩膜，提取目标图像的区域特 征信息，根据区域特征信息更新原始掩膜，不断地迭代更新原始掩膜。当后台 服务器10d检测到更新后的原始掩膜满足误差收敛条件时，根据更新后的原始 掩膜确定目标对象在目标图像中的图像区域。
后续，后台服务器10d可以将确定的图像区域下发至终端设备10a，终端设 备10a可以显示目标图像，并在目标图像上标记目标对象所在的图像区域；或 者终端设备10a可以直接输出目标对象在目标图像中的图像区域。
当然，也可以由终端设备10a获取图像分割模型和原始掩膜，进而由终端 设备10a确定目标对象在目标图像中的图像区域。
其中，图1所示的终端设备10a、终端设备10b、终端设备10c等可以是手 机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(MID，mobile internet device)、可穿戴设备等。
下述图2a-图2b以终端设备10a如何根据原始掩膜和图像分割模型确定目 标对象在目标图像中的区域为例进行具体的说明：
请参加图2a-图2b，是本申请实施例提供的一种图像处理的场景示意图。如 图2a所示，终端设备10a获取待分割的图像20a，其中图像20a中包含待分割 对象-小狗，即图像分割的目的是将图像20a中的小狗从图像20a中分割出来。
终端设备10a获取与图像20a具有相同尺寸的原始掩膜20b，原始掩膜20b 与图像20a具有相同尺寸表示原始掩膜20b中的每个单位掩膜与图像20a中的每 个像素点具有一一对应关系，初始情况下，原始掩膜20b中所有单位掩膜的取 值可以都为0。
从图2a可以看出，原始掩膜20b包含16个单位掩膜(4×4)，对应地图像 10a的尺寸也是4×4。
终端设备10a获取图像分割模型20c，从图2a可以看出，图像分割模型20c 包含第一单位模型和第二单位模型。
其中，第一单位模型包含1个池化层1，也即是在第一单位模型中只执行池 化运算；第二单位模型包含2个卷积层和2个池化层，也即是在第二单位模型 中会执行卷积运算和池化运算。当然，第一单位模型所包含的池化层的数量， 以及第二单位模型所包含的卷积层和池化层的数量均没有限制。
终端设备10a将原始掩膜20b输入第一单位模型，通过第一单位模型中的 池化层1，对原始掩膜20b进行池化运算，池化运算就是降低原始掩膜20b的尺 寸，池化运算可以包括平均池化运算和最大池化运算。如图2a所示，尺寸为4×4 的原始掩膜20b经过池化层的池化运算后，得到掩膜20f，且掩膜20f的尺寸降 低为2×2。
终端设备10a将图像20a输入第二单位模型，通过第二单位模型中的卷积层 1和池化层1，对图像20a进行卷积运算和池化运算，提取图像20a的卷积特征 信息20d，其中卷积特征信息20d的特征图尺寸为2×2，通道数为4。通过第二 单位模型中的卷积层2和池化层2以及池化后的掩膜20f，再对卷积特征信息20d 进行卷积运算和池化运算，提取图像20a更深层次的卷积特征信息20e，更深层 次的卷积特征信息20e的特征图尺寸也为2×2，通道数仍为4，即卷积层2和池 化层2的输入数据的尺寸和输出数据的尺寸相同。
若第一单位模型还包括池化层2，再将掩膜20f输入池化层，以得到尺寸更 小的掩膜；若第二单位模型还包括卷积层3、池化层3以及卷积层4和池化层4， 再根据卷积层3、池化层3、卷积层4和池化层4，以及尺寸更小的掩膜，提取 更深层次的卷积特征信息。
最后通过转置卷积层，将最后一次提取出来的卷积特征信息进行反卷积运 算，使得反卷积后的特征图尺寸与图像20a的尺寸相同。通过全连接层，将反 卷积后的特征信息映射为掩膜20g，且掩膜20g与图像20a的尺寸相同。
再将掩膜20g中大于掩膜阈值的单位掩膜的取值调整为1，将掩膜20g中小 于或等于掩膜阈值的单位掩膜的取值调整为0，可以知道调整后得到二值掩膜， 将二值掩膜作为新的原始掩膜。
至此，就完成了对原始掩膜20b的一次更新。
再将新的原始掩膜输入第一单位模型，同样地将图像20a输入第二单位模 型，采用上述方式再次更新原始掩膜，不断地迭代更新。当原始掩膜更新后与 更新前之间的差异量小于差异量阈值时，将最后一次更新的原始掩膜作为目标 掩膜20g。
可以知道，目标掩膜20g中的单位掩膜的取值要么是1要么是0，若单位掩 膜的取值是0，说明该单位掩膜对应的像素点是背景所在的像素点；若单位掩膜 的取值是1，说明该单位掩膜对应的像素点是小狗所在的像素点。
在目标掩膜20g中，取值为1的单位掩膜有6个(如图2b所示，取值为1 的单位掩膜用粗线条标识)，其余的单位掩膜的取值都为0。
由于单位掩膜与图像20a的像素点具有一一对应关系，因此目标掩膜20g 中取值为1的单位掩膜在图像20a中的对应的区域即是小狗所在的图像区域。 在图像20a中，终端设备10a可以用虚线将小狗所在的图像区域标识出来，得到 图像20h；或者终端设备也可以直接从图像20a中提取出小狗所在的单位图像。
如图2b所示，用户终端10a在确定图像20a中小狗所在区域的过程中，可 以在屏幕上播放预设动画。当检测到区域确定完毕时，停止播放动画，将小狗 所在的图像区域标识后的图像20h显示在屏幕上；或者直接将提取出小狗所在 的单位图像显示在屏幕上。
其中，基于图像分割模型(如上述实施例中的图像分割模型20c)提取目标 图像(如上述实施例中的图像20a)的区域卷积特征信息，更新原始掩膜(如上 述实施例中的原始掩膜20b)的具体过程可以参见下述图3-图9对应的实施例。
请参加图3，是本申请实施例提供的一种图像处理方法的示意图，如图3所 示，图像处理方法可以包括如下步骤：
步骤S101，获取包含目标对象的目标图像，获取原始掩膜以及图像分割模 型；所述图像分割模型包括第一单位模型和第二单位模型。
具体的，终端设备10a获取包含目标对象(如上述图2a-图2b对应实施例 中的小狗)的目标图像Is(如上述图2a-图2b对应实施例中的图像20a，目标图 像Is的尺寸可以表示为A1×B1)，其中目标对象是目标图像Is中待分割的对象。
目标对象可以是病灶对象，那么对应的包含病灶对象的目标图像可以是生 物组织图像，生物组织图像可以是CT(Computed Tomography，即电子计算机 断层扫描)图像，MRI(Magnetic Resonance Imaging，磁共振成像)图像或者是 内窥镜图像等，且目标图像可以是二维图像，也可以是三维图像等。
终端设备10a根据目标图像Is(A1×B1)的尺寸，生成与该目标图像具有相同尺 寸的原始掩膜maskres(如上述图2a-图2b对应实施例中的原始掩膜20b，原始掩 膜maskres尺寸也可以表示为A1×B1)，目标图像Is(A1×B1)是由多个像素点组合， 类似地原始掩膜maskres(A1×B1)是由多个单位原始掩膜组成，且像素点与单位原始 掩膜之间存在一一对应关系。
初始情况下，原始掩膜maskres(A1×B1)中的所有单位原始掩膜的取值可以都为 0(在本申请中数值0是第一数值)，当然也可以取值为1(数值1是第二数值) 或者随机数。
终端设备获取图像分割模型(如上述图2a-图2b对应实施例中的图像分割 模型20c)，其中图像分割模型包括第一单位模型和第二单位模型，第一单位模 型中只包括池化层(池化层的数量可以是一个或多个)，第二单位模型中包括 卷积池化层(卷积池化层的数量可以是一个或多个)，其中卷积池化层是卷积 层和池化层的合称；且第一单位模型中所包含的池化层的数量＝第二单位模型中 所包含的卷积池化层的数量。
由于目标对象Is在目标图像中没有固定的形状和大小，因此，有必要基于预 处理规则对待分割图像进行预处理后，再输入图像分割模型，预处理后可以提 高后续分割的精确度。下面就对待分割图像的预处理进行具体的说明：
获取包含目标对象的原始图像，将原始图像的像素值归一化至0-1区间内， 其中可以采用下述公式(1)进行图像归一化：
Figure BDA0002215002770000121
其中，Xnor是归一化后的任意像素点，Xres表示原始图像的任意像素点的像 素值，Xmax表示原始图像中的最大像素值，Xmin表示原始图像中的最小像素值。
原始图像归一化后，可以对归一化后的原始图像再进行平移、旋转、或者 对称，目的都是为了使目标对象位于图像的中心位置。
终端设备还可以获取尺寸阈值，根据尺寸阈值缩放图像，使得尺寸缩放后 的图像与尺寸阈值相同。
上述对原始图像进行归一化，或者平移或者旋转或者对称或者缩放都可以 称为对原始图像进行预处理，可以根据原始图像的实际情况，对原始图像执行 相应的预处理，终端设备将原始图像预处理后所得到的图像，称为目标图像Is。
步骤S102，基于所述第一单位模型中的池化层，对所述原始掩膜进行下采 样，得到下采样掩膜。
具体的，终端设备将原始掩膜maskres(A1×B1)输入第一单位模型，基于第一单 位模型中的池化层，对原始掩膜maskres(A1×B1)进行下采样，得到下采样掩膜 maskinput，其中可以采用平均池化对原始掩膜下采样，也可以采用最大池化对原 始掩膜进行下采样。下采样掩膜的尺寸是小于原始掩膜的尺寸的，但下采样掩 膜的通道数和原始掩膜的通道数都是相同的。
若第一单位模型中包含的池化层的数量为多个，基于多个池化层不断地对 原始掩膜进行下采样，也即是不断地降低下采样后掩膜的尺寸，终端设备可以 将多次下采样后得到的多个掩膜都称为下采样掩膜。
例如，若第一单位模型中的池化层是对半下采样，那么一个池化层对原始 掩膜maskres(A1×B1)下采样后，得到下采样掩膜maskinput1的尺寸可以表示为 (A1/2,B1/2)；若再一个池化层再对下采样掩膜maskinput1再次下采样，得到下采样 掩膜maskinput2的尺寸可以表示为(A1/4,B1/4)，上述下采样掩膜maskinput1以及下采样 掩膜maskinput2都可以称为下采样掩膜。
平均池化是指在单位数据集中，将单位数据集中所包含的数据的平均值作 为该单位数据集的代表；最大池化是指在单位数据集中，将单位数据集中的最 大数据作为该单位数据集的代表。
如图4所示，是本申请实施例提供的一种平均池化的示意图。以2×2的池化 窗口，步长为2划过输入数据，计算每个窗口内的平均值。下述以池化窗口划 过输入数据的左上角为例：此时池化窗口中包含数值1、数值1、数值5以及数 值1。计算上述4个数值的平均值，得到(1+1+5+1)/4＝2，因此池化窗口划过输 入数据的左上角后，平均池化后得到数值2，输入数据的其余部分都可采用上述 方式分别进行平均池化，得到输出数据。
如图5所示，是本申请实施例提供的一种最大池化的示意图。同样以2×2的 池化窗口，步长为2划过输入数据，计算每个每个窗口内的最大值。下述以池 化窗口划过输入数据的左上角为例：此时池化窗口中包含数值1、数值1、数值 5以及数值1。上述4个数值的最大值为5，因此池化窗口划过输入数据的左上 角后，最大池化后得到数值5，输入数据的其余部分都可采用上述方式分别进行 最大池化，得到输出数据。
步骤S103，基于所述第二单位模型中的卷积池化层以及所述下采样掩膜， 提取所述目标图像的区域卷积特征信息，根据所述区域卷积特征信息更新所述 原始掩膜。
具体的，终端设备将目标图像Is(A1×B1)输入第二单位模型，第二单位模型 中可以包含一个或多个卷积池化层，下面对第二单位模型中包括一个或多个卷 积池化层分别进行说明，首先说明第二单位模型中只包括一个卷积池化层时如 何更新原始掩膜：
若第二单位模型中只包含一个卷积池化层，那么对应的第一单位模型中也 只包含一个池化层(因此下采样掩膜maskinput的数量也只有1个)，且第一卷积 池化层包括一个第一卷积池化单元(如上述图2a-图2b对应实施例中的卷积层 1+池化层1)和N个第二卷积池化单元(如上述图2a-图2b对应实施例中的卷 积层2+池化层2)，N是大于0的整数，简单起见下述以第一卷积池化层包括 一个第二卷积池化单元为例进行说明。
基于第一卷积池化单元中的卷积函数和池化函数，对目标图像Is(A1×B1)进 行卷积运算和池化运算，得到输入卷积特征信息T1(输入卷积特征信息T1的尺 寸可以表示为A2×B2,C2)，输入卷积特征信息T1可以看做是C2个通道的特征图 组合而成的特征信息，其中每个通道的特征图尺寸是A2×B2，每个通道的特征 图尺寸是A2×B2是等于下采样掩膜maskinput的尺寸的。
基于第二卷积池化单元中的卷积函数，对输入卷积特征信息T1(A2×B2,C2)进 行编码(即是卷积运算)，生成第二卷积特征信息T2(A2×B2,C2)，其中第二卷 积特征信息T2的尺寸和输入卷积特征信息T1的尺寸相同，此处的相同是指通道 数相同，且特征图尺寸相同。
将下采样掩膜maskinput(A2×B2)，和第二卷积特征信息T2(A2×B2×C2)代入下述公式(2)，计算池化向量：
其中，公式(2)中的Ix表示第二卷积特征信息T2(A2×B2,C2)的第x通道的 特征图，C2表示第二卷积特征信息的通道数。根据公式(2)，可以得到 k11,k21,k12,k22,k13,k23...k1x,k2x，将上述k11,k21,k12,k22,k13,k23...k1x,k2x作为池化向量。
可以知道，池化向量中所包含的数值的数量＝第二卷积特征信息的通道数量 *2。
举例来说，若第二卷积特征信息的尺寸为a×b,3，即第二卷积特征信息包含 3个的通道的尺寸为a×b的特征图，将第二卷积特征信息以及下采样掩膜(下采 样掩膜的尺寸＝输入卷积特征信息的特征图尺寸＝第二卷积特征信息的特征图尺 寸，因此下采样掩膜的尺寸为a×b)代入公式(2)，可以得到池化向量： [k11,k21,k12,k22,k13,k23]。
也可以理解为下采样掩膜maskinput(A2×B2)对于所有通道都是相同的。
基于第二池化单元中的全连接函数和激活函数(激活函数可以是Sigmoid 函数、tanh函数或者ReLU函数)，将池化向量转换为目标向量： [k′11,k′21,k′12,k′22,k′13,k′23...k′1x,k′2x]，其中目标向量和池化向量的维数是相同的，例如， 若池化向量的维数是1×1×2C2，那么目标向量的维数也是1×1×2C2。
再将下采样掩膜maskinput(A2×B2)，和目标向量代入下述公式(3)，计算目 标图像的区域卷积特征信息Treg：
Kx＝k′1x*maskinput+k′2x*(1-maskinput),x∈1,2,...,C (3)
将K1，K2,，...，Kx组合为区域卷积特征信息Treg。
从上述公式(2)和(3)可以看出，当第二卷积池化单位只有一个时，输 入卷积特征信息T1(A2×B2,C2)的尺寸＝第二卷积特征信息T2(A2×B2,C2)的尺寸＝ 区域卷积特征信息Treg(A2×B2,C2)的尺寸。
若第二卷积池化单元的数量是多个，将下采样掩膜maskinput(A2×B2)，和目标 向量代入公式(3)后，得到的结果辅助卷积特征信息。再将辅助卷积特征信息 作为新的输入卷积特征信息，将新的输入卷积特征信息输入下一个第二卷积池 化单元，不断循环，直至将最后一个第二卷积池化单元输出的特征信息作为目 标图像的区域卷积特征信息Treg。
请参见图6，是本申请实施例提供的一种第二卷积池化单元的示意图，第二 卷积池化单元也可以称为依赖卷积单元(ROI-SE Block)，依赖卷积单元具有以 下特征：输入数据的尺寸＝输出数据的尺寸，此处的尺寸是指特征图的尺寸以及 通道数量。
如图6所示，设输入依赖卷积单元的数据尺寸是W×H×C，即通道数是C， 特征图尺寸是W×H。基于依赖卷积单元中的卷积函数(Convolution)对输入数 据进行卷积运算，此处的卷积运算不改变输入数据的尺寸，卷积运算后输出数 据的尺寸仍旧是W×H×C。
将下采样掩膜和上述卷积运算后尺寸为W×H×C的输出数据，代入上述公式 (2)，得到尺寸为1×1×2C池化向量。从公式(2)可以看出，池化向量是由两 个尺寸为1×1×C的向量组合而成，且这两个向量是对下采样掩膜进行池化所得到 的向量，以及对卷积运算后尺寸为W×H×C的输出数据进行非掩膜池化所得到的 向量。
基于依赖卷积单元中的全连接函数(FC)以及激活函数，将尺寸为1×1×2C 池化向量非线性转换为辅助向量，其中辅助向量的尺寸可以为1×1×2C/r；再基 于依赖卷积单元中的全连接函数(FC)以及激活函数，将尺寸为1×1×2C/r辅助 向量非线性转换为目标向量，其中目标向量的尺寸可以为1×1×2C。
同样地，可以将目标向量看做是两个向量组合而成的向量，且上述两个向 量的尺寸都为1×1×C。
将下采样掩膜和目标向量代入上述公式(3)，得到依赖卷积单元的输出数 据，且该输出数据的尺寸也为W×H×C，其中公式(3)的计算过程即可对应图 6中的掩膜尺度转换、非掩膜尺度转换以及尺度转换。
终端设备将卷积池化层输出的区域卷积特征信息Treg进行反卷积，得到目标 卷积特征信息Tout(尺寸可以为A1×B1,T)。反卷积的目的是增大区域卷积特征信 息的特征图尺寸，使得反卷积后的目标卷积特征信息Tout的特征图尺寸与目标图 像Is(A1×B1)的尺寸相同。
终端设备将目标卷积特征信息Tout进行全连接，全连接即是计算多个通道的 特征图在同一个位置的平均值，输出尺寸为A1×B1掩膜，称为待更新掩膜，待更 新掩膜的尺寸和原始掩膜的尺寸相同。
终端设备可以直接将待更新掩膜作为新的原始掩膜。
终端设备也可以在待更新掩膜中，将小于或等于掩膜阈值(掩膜阈值可以 为0.5)的单位待更新掩膜的取值调整为第一数值，其中第一数值可以是0；在 待更新掩膜中，将大于掩膜阈值的单位待更新掩膜的取值调整为第二数值，其 中第而数值可以是1，这样可以得到二值掩膜，二值掩膜中的数值要么是第一数 值要么是第二数值，调整待更新掩膜的数值是为了增大目标图像区域(目标图 像区域是目标对象在目标图像中的图像区域)和非目标图像区域之间的差异性。 终端设备再将上述二值掩膜作为新的原始掩膜。
至此，完成了对原始掩膜的一次更新，再执行上述过程，即将新的原始掩 膜输入第一单位模型，进行下采样，得到新的下采样掩膜；将目标图像输入第 二单位模型，根据新的下采样掩膜和第二单位模型中的第一卷积池化单元和N 个第二卷积池化单元，再提取目标图像新的区域卷积特征信息，不断地迭代更 新原始掩膜。
下面说明第二单位模型中包括多个卷积池化层时如何更新原始掩膜：
若第二单位模型中包含多个卷积池化层，那么对应的第一单位模型中也包 含多个池化层，第二单位模型中包含卷积池化层的数量＝第一单位模型中包含池 化层的数量。
可以将第二单位模型中的多个卷积池化层分为第一卷积池化层和第二卷积 池化层，其中位于第二单位模型中顶部的卷积池化层是第一卷积池化层，其余 的卷积池化层都是第二卷积池化层；那么对应地，原始掩膜就包括与第一卷积 池化层对应的第一原始掩膜以及与每个第二卷积池化层分别对应的第二原始掩 膜，可以理解为第一原始掩膜是由第一单位模型中的第一池化层生成的，第二 原始掩膜是由第一单元模型中的第二池化层生成的。
将目标图像和第一原始掩膜输入第一卷积池化层，对目标图像进行卷积和 池化，生成第一卷积特征信息。
此时检测第二卷积池化层的数量是否只有1个；
若此时第二卷积池化层的数量只有1个(对应的此时第二原始掩膜的数量 也只有1个)，将第一卷积特征信息和第二原始掩膜输入第二卷积池化层，对 第一卷积特征信息进行卷积和池化，得到目标图像的区域卷积特征信息。
若此时第二卷积池化层的数量不止1个(对应的此时第二原始掩膜的数量 也不止1个)，将与当前第一卷积池化层相邻的第二卷积池化层作为新的第一 卷积池化层，将第一卷积特征信息作为目标图像，将与第一原始掩膜相邻的第 二原始掩膜作为新的第一原始掩膜。将新的目标图像和新的第一原始掩膜输入 新的第一卷积池化层，对新的目标图像进行卷积和池化，生成新的第一卷积特 征信息。此时再检测第二卷积池化层的数量是否只有1个，若是，将新的第一 卷积特征信息和剩余的1个第二原始掩膜输入第二卷积池化层，对新的第一卷 积特征信息进行卷积和池化，得到目标图像的区域卷积特征信息；若否，再将与当前第一卷积池化层相邻的第二卷积池化层作为新的第一卷积池化层，将新 生成的第一卷积特征信息作为新的目标图像，将与当前第一原始掩膜相邻的第 二原始掩膜作为新的第一原始掩膜，不断的循环，直至所有的第二卷积池化层 都参与了运算，最后一个第二卷积池化层输出目标图像的区域卷积特征信息。
相当于，根据多个第二单位模型的多个卷积池化层，生成了多个第一卷积 特征信息和一个区域卷积特征信息，第一卷积特征信息的数量+区域卷积特征信 息的数量＝第二单位模型所包含的卷积池化层的数量。
将最后输出的区域卷积特征信息进行反卷积，得到第三卷积特征信息，其 中第三卷积特征信息的特征图尺寸与近邻第一卷积特征信息的特征图尺寸相 同，但第三卷积特征信息的通道数与近邻第一卷积特征信息的通道数可以不同， 近邻第一卷积特征信息对应的卷积池化层与当前的区域卷积特征信息对应的卷 积池化层相邻。
检测当前除近邻第一卷积特征信息外，是否还存在第一卷积特征信息未进 行叠加运算(此处的叠加运算是指第一卷积特征信息和第三卷积特征信息之间 的叠加)，若不存在，将第三卷积特征信息和近邻第一卷积特征信息在通道数 的维度上进行叠加，再将叠加后的卷积特征信息进行卷积运算，得到目标卷积 特征信息。例如，若第三卷积特征信息的尺寸是：50×50×100，近邻第一卷积特 征信息的尺寸是：50×50×140，叠加后的卷积特征信息的尺寸是：50×50×240。
若当前除近邻第一卷积特征信息外，还存在第一卷积特征信息未进行叠加 运算，将第三卷积特征信息和近邻第一卷积特征信息在通道数的维度上进行叠 加和卷积运算，得到参考卷积特征信息。将得到的参考卷积特征信息作为新的 区域卷积特征信息，再将与新的区域卷积特征信息对应的卷积池化层相邻的卷 积池化层对应的第一卷积特征信息作为新的近邻第一卷积特征信息。
再将新的区域卷积特征信息进行反卷积，得到新的第三卷积特征信息，当 然新的第三卷积特征信息的特征图尺寸同样等于新的近邻第一卷积特征信息的 特征图尺寸。
再检测当前除近邻第一卷积特征信息外，是否还存在第一卷积特征信息未 进行叠加运算，若不存在，将新的第三卷积特征信息和新的近邻第一卷积特征 信息在通道数的维度上进行叠加和卷积运算，得到目标卷积特征信息。
若当前除近邻第一卷积特征信息外，还存在第一卷积特征信息未进行叠加 运算，将新的第三卷积特征信息和信息近邻第一卷积特征信息在通道数的维度 上进行叠加和卷积运算，得到新的参考卷积特征信息。
不断的迭代，直至所有的第一卷积特征信息都参与了叠加运算，最后输出 目标卷积特征信息。
得到了目标卷积特征信息后，再将目标卷积特征信息进行反卷积运算，得 到反卷积特征信息，反卷积特征信息的特征图尺寸和目标图像的尺寸相同。
再将反卷积特征信息进行全连接，全连接可以是计算多个通道的特征图在 同一个位置的平均值，输出待更新掩膜，再将该待更新掩膜再转换为二值掩膜 (二值掩膜中的取值要么是第一数值，要么是第二数值)，再将该二值掩膜作 为新的原始掩膜。
至此，就完成了对原始掩膜的一次迭代更新。
再执行上述过程，即将新的原始掩膜输入第一单位模型，基于多个池化层 进行下采样，得到新的下采样掩膜；将目标图像输入第二单位模型，根据新的 下采样掩膜和第二单位模型中的多个卷积池化层，再提取目标图像新的区域卷 积特征信息，不断地迭代更新原始掩膜。
同样地，第二单位模型中的每个卷积池化层都包括一个第一卷积池化单元 和N个第二卷积池化单元，N是大于0的整数，其中基于每个卷积池化层生成 第一卷积特征信息，以及基于最后一个位于底层的卷积池化层输出目标图像的 区域特征信息的具体过程可以参加上述当第二单位模型中只包括一个卷积池化 层时，卷积池化层如何确定区域卷积特征信息的描述，当然上述是一个卷积池 化层就直接输出区域卷积特征信息，若第二单位模型包括多个卷积池化层，中 间会输出多个第一卷积特征信息，最后一个卷积池化层才会输出区域卷积特征 信息，虽然输入数据不同，卷积池化层所涉及的计算过程都是相同的。
步骤S104，当更新后的原始掩膜满足误差收敛条件时，根据更新后的原始 掩膜确定所述目标对象在所述目标图像中的目标图像区域。
具体的，从上述描述可知，每一次迭代更新原始掩膜的实质就是生成一个 新的二值掩膜，将新的二值掩膜作为新的原始掩膜，再输入第二单位模型。但 在这个迭代更新过程中，第一单位模型、第二单位模型以及目标图像都是不变 的，发生变化的只是原始掩膜。
终端设备获取更新次数阈值，若更新原始掩膜的次数达到更新次数阈值， 则说明最后一次更新的原始掩膜满足误差收敛条件，那么终端设备可以将最后 一次更新的原始掩膜作为目标掩膜(如上述图2a-图2b对应实施例中的目标掩 膜20g)。
或者，终端设备计算更新前的原始掩膜和更新后的原始掩膜之间的误差， 检测该误差是否小于预设的误差阈值，若是，则说明更新后的原始掩膜满足误 差收敛条件，此时终端设备可以将更新后的原始掩膜作为目标掩膜；若否，说 明更新后的原始掩膜还未满足误差收敛条件，说明需要继续迭代更新原始掩膜， 直至更新后的原始掩膜满足误差收敛条件。
下面说明如何计算更新前的原始掩膜和更新后的原始掩膜之间的误差：
记更新前的原始掩膜为mask1，更新后的原始掩膜为mask2，目标图像为Is， 根据下述公式(4)可以确定第一误差l1：
Figure BDA0002215002770000201
其中，|·|表示矩阵中的元素相加。
根据更新前的原始掩膜为mask1，更新后的原始掩膜为mask2，以及下述公 式(5)可以确定第二误差l2：
Figure BDA0002215002770000202
其中，|mask1∩mask2|表示将更新前的原始掩膜为mask1和更新后的原始掩膜 为mask2进行点乘，然后再将矩阵中的元素相加。
将第一误差l1和第二误差l2相加，得到更新前的原始掩膜和更新后的原始掩 膜之间的误差l：
l＝l1+l2 (6)
至此，终端设备确定了目标掩膜，从前述可以知道，目标掩膜中的单位目 标掩膜的取值要么是小于掩膜阈值的第一数值，要么是大于掩膜阈值的第二数 值。目标掩膜的尺寸和目标图像的尺寸相同，且目标掩膜的每个单位掩膜和目 标图像的每个像素点具有一一对应关系。
目标掩膜的意义是：若单位目标掩膜的取值为第一数值，说明该单位目标 掩膜对应的像素点的属性是背景属性；若单位目标掩膜的取值为第二数值，说 明该单位目标掩膜对应的像素点的属性是与目标对象对应的目标对象属性。
举例来说，若目标掩膜为：
Figure BDA0002215002770000211
上述目标掩膜包含4个单位目标掩膜， 若目标对象是病灶对象，说明目标图像的第一个像素点(左上角像素点)的属 性是背景属性，第二像素点和第三个像素点的属性是病灶对象属性，第四个像 素点(右下角像素点)的属性是背景属性，也即是第一个像素点和第四个像素 点是背景像素点，第二个像素点和第三个像素点是病灶对象像素点。
换句话说，通过目标掩膜可以确定目标对象的每一个像素点所属的类别。
在目标掩膜中，终端设备确定大于掩膜阈值的单位目标掩膜的位置信息， 在目标图像中，将该位置信息对应的图像区域作为目标对象在目标图像中的区 域，称为目标图像区域(如上述图2a-图2b对应实施例中的小狗所在的图像区 域)。
若目标图像是生物组织图像，目标对象是病灶对象，那么包含病灶对象的 目标图像区域即是病灶图像区域。
终端设备可以在目标图像中，将目标图像区域标识出来，例如，用虚线将 目标图像区域的边界标识出来，或者高亮显示目标图像区域等。
需要说明的是，目标对象的数量可以是1个也可以是多个，若目标对象是1 个(属于两分类问题)，那么对应的原始掩膜以及目标掩膜的数量就只有1个， 目标掩膜中的每个单位目标掩膜可以表示对应像素点的属性要么是背景属性要 么是目标对象属性。
若目标对象是多个(属于多分类问题)，那么对应的原始掩膜的数量以及 输出的目标掩膜的数量也应该是多个，每一个目标掩膜中的每个单位目标掩膜 可以表示对应像素点属于第k个目标对象属性的概率，当然若某个像素点不属 于任何一个目标对象属性，那么该像素点属于背景属性。
请参见图7，是本申请实施例提供的一种图像处理方法的模型架构图，以第 一单位模型包括4个池化层，第二单位模型包括4个卷积池化层为例进行说明。
目标图像的尺寸为192*168*128，说明目标图像是三维图像，对应地，原始 掩膜是尺寸为192*168*128的全0三维图像。将原始掩膜输入池化层，对原始掩 膜进行最大池化，得到尺寸为96*84*64的下采样掩膜1、尺寸为48*42*32的下采 样掩膜2、尺寸为24*21*16的下采样掩膜3以及尺寸为12*11*8的下采样掩膜4。
将目标图像输入卷积池化层(每个卷积池化层包括1个卷积池化单元和2 个依赖卷积单元，即可对应前述中的1个第一卷积池化单元和2个第二卷积池 化单元)，提取目标图像的特征信息，分别得到尺寸为96*84*64，64的第一卷积 特征信息1、尺寸为48*42*32，128的第一卷积特征信息2、尺寸为24*21*16，256的 第一卷积特征信息3以及尺寸为12*11*8，512的区域卷积特征信息4，其中上述4 个卷积特征信息中，逗号前面a*b*c的表示特征图尺寸，逗号后面的数值表示通 道数。
从图7可以看出，在每个卷积池化层中，卷积池化单元的输出数据的尺寸＝ 依赖卷积单元的输出数据的尺寸。
将尺寸为12*11*8，512的区域卷积特征信息4进行反卷积，得到尺寸为 24*21*16，512的反卷积特征信息3，将反卷积特征信息3和尺寸为24*21*16，256的 第一卷积特征信息3进行叠加以及卷积，得到尺寸为24*21*16，512的叠加卷积特 征信息3。
将尺寸为24*21*16，512的叠加卷积特征信息3进行反卷积，得到尺寸为 48*42*32，512的反卷积特征信息2，将反卷积特征信息2和尺寸为48*42*32，128的 第一卷积特征信息2进行叠加以及卷积，得到尺寸为48*42*32，256的叠加卷积特 征信息2。
将尺寸为48*42*32，256的叠加卷积特征信息2进行反卷积，得到尺寸为 96*84*64，256的反卷积特征信息1，将反卷积特征信息1和尺寸为96*84*64，64的 第一卷积特征信息1进行叠加以及卷积，得到尺寸为96*84*64，128的目标卷积特 征信息。
将尺寸为96*84*64，128的目标卷积特征信息反卷积，得到尺寸为192*168*128，128的反卷积特征信息。
计算反卷积特征信息在每个通道上的平均值(即是全连接)，得到尺寸为 192*168*128的待更新掩膜。
再将上述尺寸为192*168*128的待更新掩膜作为新的原始掩膜，不断更新。 当更新停止时，可以根据最新的原始掩膜确定目标对象在目标图像中的区域。
本申请通过获取包含目标对象的目标图像，并获取原始掩膜以及图像分割 模型，基于图像分割模型中的第一单位模型，对原始掩膜下采样，得到下采样 掩膜；基于图像分割模型中的第二单位模型以及下采样掩膜，提取目标图像的 区域特征信息，根据区域特征信息更新原始掩膜，不断地的迭代更新原始掩膜， 直至更新后的原始掩膜满足收敛条件时，根据更新后的原始掩膜可以确定目标 对象在目标图像中的区域。上述可知，通过自动化地方式自动分割出目标对象 在图像中的区域，相比人工分割，可以降低图像分割的耗时，提高图像分割的 效率。
请参加图8，是本申请实施例提供的一种图像处理方法的流程示意图，图像 处理包括如下步骤：
步骤S201，获取包含所述目标对象的样本图像，获取样本原始掩膜和样本 图像分割模型；所述样本图像分割模型包括所述第一单位模型和样本第二单位 模型。
下面对如何训练图像分割模型进行说明，从前述中可知图像分割模型包括 第一单位模型和第二单位模型，且第一单位模型中只包含池化层，因此第一单 位模型不存在模型变量参数需要训练，即第一单位模型不需要训练，只需要训 练第二单位模型即可。
终端设备获取包含目标对象的样本图像，获取样本原始掩膜和样本图像分 割模型，其中样本原始掩膜中的每一个单位样本原始掩膜的取值可以都为第一 数值，即是数值0。
样本图像分割模型包括第一单位模型和样本第二单位模型。
步骤S202，基于所述第一单位模型中的池化层，对所述样本原始掩膜进行 下采样，得到样本下采样掩膜。
具体的，和前述单位第一模型的使用一样，基于第一单位模型中的池化层， 对样本原始掩膜下采样，得到样本下采样掩膜。
步骤S203，基于所述样本第二单位模型和所述样本下采样掩膜，生成预测 掩膜，根据所述目标对象在所述样本图像中的图像区域，确定样本掩膜。
具体的，基于前向传播，将样本图像和样本下采样掩膜，输入样本单位第 二模型，生成预测掩膜maskpre。其中，前向传播生成预测掩膜maskpre的具体过程 和前述中生成目标掩膜的过程相同。
确定目标对象在样本图像中的真实图像区域，根据该图像区域生成样本掩 膜maskt，即样本掩膜是由真实区域所确定的真实掩膜。
步骤S204，根据所述样本图像、所述预测掩膜和所述样本掩膜训练所述样 本第二单位模型，得到所述图像分割模型。
具体的，将预测掩膜maskpre、样本图像It以及样本掩膜maskt代入下述公式 (7)，生成亮度损失intensityloss：
Figure BDA0002215002770000241
将预测掩膜maskpre以及样本掩膜maskt代入下述公式(8)，生成分割损失diceloss：
Figure BDA0002215002770000242
将上述亮度损失intensityloss以及分割损失diceloss组合为目标损失targetloss：
target loss＝dice loss+intensity loss (9)
基于梯度下降规则和目标损失，反向传播调整样本第二单位模型中的模型 变量参数，得到目标参数，目标参数是目标损失最小时样本第二单位模型中的 模型变量参数的取值。将样本第二模型中的模型变量参数替换为目标参数，至 此就完成了对样本第二单位模型的的模型变量参数的一次迭代更新。
再提取下一个包含目标对象的样本图像，再采样上述方式(当然此时的样 本第二单位模型是已经更新过一次的样本第二单位模型)更新样本第二单位模 型。
当更新次数达到预设的训练次数阈值，或者样本第二单位模型的模型变量 参数更新前后与更新后的差异量在预设范围内，说明样本第二单位模型训练完 成，此时终端设备将训练完成的样本第二单位模型作为第二单位模型。
终端设备将上述训练好的第二单位模型和第一单位模型组合的图像分割模 型。
步骤S205，获取包含目标对象的目标图像，获取原始掩膜以及图像分割模 型；所述图像分割模型包括第一单位模型和第二单位模型，基于所述第一单位 模型中的池化层，对所述原始掩膜进行下采样，得到下采样掩膜。
步骤S206，基于所述第二单位模型中的卷积池化层以及所述下采样掩膜， 提取所述目标图像的区域卷积特征信息，根据所述区域卷积特征信息更新所述 原始掩膜。
步骤S207，当更新后的原始掩膜满足误差收敛条件时，根据更新后的原始 掩膜确定所述目标对象在所述目标图像中的目标图像区域。
其中，步骤S205-步骤S207的具体实现过程可以参见上述图3对应实施例 中的步骤S101-步骤S104。
请参见图9a，是本申请实施例提供的一种图像处理的功能模块图，如图9a 所示，当目标图像是医学图像，目标对象是病灶对象时，前端A可以接收用户 输入的待分割的医学图像，基于图像预处理规则(例如，图像归一化、图像平 移和/或图像旋转等)对医学图像进行预处理，得到预处理图像。将预处理图像 传入后台，后台存储了已经训练好的图像分割模型。基于图像分割模型确定病 灶对象在医学图像中的区域，后台可以将识别到的区域从医学图像中分割出来， 得到病灶图像，后台将病灶图像发送至前端B(前端B与前端A可以是同一个 前端)，前端B可以展示病灶图像或者对病灶图像进一步分析。
请参见图9b，是本申请实施例提供的一种电子医疗设备的结构示意图，电 子医疗设备可以为上述图1-图9a对应实施例中的终端设备。电子医疗设备可以 包括生物组织图像采集器和生物组织图像分析器，上述电子医疗设备可以采集 医疗图像并分析医疗图像，具体过程包括如下步骤：
步骤S301，生物组织图像采集器获取包含病灶对象的生物组织图像。
具体的，生物组织图像采集器获取包含病灶对象的生物组织图像。若生物 组织图像是MRI图像，生物组织图像采集器可以是MRI仪；若生物组织图像是 CT图像，那么生物组织图像采集器可以是CT机；若生物组织图像是乳腺钼靶 图像，那么生物组织图像采集器可以是钼靶机。
步骤S302，生物组织图像分析器获取原始掩膜以及图像分割模型；所述图 像分割模型包括第一单位模型和第二单位模型；生物组织图像分析器基于所述 第一单位模型中的池化层，对所述原始掩膜进行下采样，得到下采样掩膜。
具体的，生物组织图像分析器获取训练好的图像分割模型，以及获取与生 物组织图像具有相同尺寸的原始掩膜。
生物组织图像分析器将原始掩膜输入第一单位模型，基于第一单位模型中 的池化层，对原始掩膜进行池化运算，得到下采样掩膜，其中此处的池化运算 可以是最大池化运算也可以是平均池化运算。
生物组织图像分析器基于第一单位模型生成下采样掩膜的具体过程可以参 见上述图3对应实施例中的步骤S102。
步骤S303，生物组织图像分析器基于所述第二单位模型中的卷积池化层以 及所述下采样掩膜，提取所述生物组织图像的区域卷积特征信息，根据所述区 域卷积特征信息更新所述原始掩膜。
具体的，生物组织图像分析器将下采样掩膜和生物组织图像输入第二单位 模型，基于第二单位模型中的卷积池化层提取生物组织图像的区域卷积特征信 息，根据区域卷积特征信息生成待更新掩膜，待更新掩膜二值化，得到二值掩 膜，其中待更新掩膜的尺寸＝二值掩膜的尺寸＝原始掩膜的尺寸相同。生物组织 图像分析器将生成的二值掩膜作为新的原始掩膜再次输入第一单位模型，不断 迭代更新原始掩膜。
生物组织图像分析器基于第二单位模型更新原始掩膜的具体过程可以参见 上述图3对应实施例中的步骤S103。
步骤S304，当更新后的原始掩膜满足误差收敛条件时，所述生物组织图像 分析器根据更新后的原始掩膜确定所述病灶对象在所述生物组织图像中的病灶 图像区域。
具体的，若更新原始掩膜的次数达到更新次数阈值，或者，更新前的原始 掩膜和更新后的原始掩膜之间的误差小于预设的误差阈值，则生物组织图像分 析器将更新后的原始掩膜作为目标掩膜。在目标掩膜中，生物组织图像分析器 确定大于掩膜阈值的单位目标掩膜的位置信息，在生物组织图像图像中，生物 组织图像分析器将该位置信息对应的图像区域作为病灶对象在生物组织图像中 的区域，称为病灶图像区域。
后续，生物组织图像显示器可以将病灶图像区域在生物组织图像中标识出 来，并展示标识了病灶图像区域的生物组织图像。
本申请通过获取包含目标对象的目标图像，并获取原始掩膜以及图像分割 模型，基于图像分割模型中的第一单位模型，对原始掩膜下采样，得到下采样 掩膜；基于图像分割模型中的第二单位模型以及下采样掩膜，提取目标图像的 区域特征信息，根据区域特征信息更新原始掩膜，不断地的迭代更新原始掩膜， 直至更新后的原始掩膜满足收敛条件时，根据更新后的原始掩膜可以确定目标 对象在目标图像中的区域。上述可知，通过自动化地方式自动分割出目标对象 在图像中的区域，相比人工分割，可以降低图像分割的耗时，提高图像分割的 效率。
进一步的，请参见图10，是本申请实施例提供的一种图像处理装置的结构 示意图。如图10所示，图像处理装置1可以应用于上述图1-图9对应实施例中 的终端设备，图像处理装置1可以包括：图像获取模块11、模型获取模块12、 池化模块13、卷积模块14、更新模块15以及掩膜确定模块16。
图像获取模块11，用于获取包含目标对象的目标图像；
模型获取模块12，用于获取原始掩膜以及图像分割模型；所述图像分割模 型包括第一单位模型和第二单位模型；
池化模块13，用于基于所述第一单位模型中的池化层，对所述原始掩膜进 行下采样，得到下采样掩膜；
卷积模块14，用于基于所述第二单位模型中的卷积池化层以及所述下采样 掩膜，提取所述目标图像的区域卷积特征信息；
更新模块15，用于根据所述区域卷积特征信息更新所述原始掩膜；
掩膜确定模块16，用于当更新后的原始掩膜满足误差收敛条件时，根据更 新后的原始掩膜确定所述目标对象在所述目标图像中的目标图像区域；
图像获取模块11，具体用于获取包含所述目标对象的原始图像，基于图像 预处理规则对所述原始图像进行图像预处理，得到所述目标图像；所述图像预 处理规则包括图像归一化、图像平移、图像旋转、图像对称以及图像放缩；
掩膜确定模块16，具体用于将更新后的原始掩膜确定为目标掩膜，在所述 目标掩膜中，确定大于掩膜阈值的单位目标掩膜的位置信息，在所述目标图像 中，将与所述位置信息对应的图像区域作为所述目标图像区域；所述目标掩膜 包括多个单位目标掩膜。
其中，图像获取模块11、模型获取模块12、池化模块13、卷积模块14、 更新模块15以及掩膜确定模块16的具体功能实现方式可以参见上述图3对应 实施例中的步骤S101-步骤S104，这里不再进行赘述。
请参见图10，第二单位模型中的卷积池化层包括第一卷积池化层和第二卷 积池化层；所述下采样掩膜包括与所述第一卷积池化层对应的第一原始掩膜以 及与所述第二卷积池化层对应的第二原始掩膜；
卷积模块14可以包括：第一卷积单元141以及第二卷积单元142。
第一卷积单元141，用于基于所述第一卷积池化层和所述第一原始掩膜，对 所述目标图像进行卷积和池化，得到第一卷积特征信息；
第二卷积单元142，用于基于所述第二卷积池化层和所述第二原始掩膜，对 所述第一卷积特征信息进行卷积和池化，得到所述目标图像的所述区域卷积特 征信息；
其中，第一卷积单元141以及第二卷积单元142的具体过程可以参见上述 图3对应实施例中的步骤S103。
请参见图10，所述第一卷积池化层包括第一卷积池化单元以及第二卷积池 化单元；
第一卷积单元141，具体用于基于所述第一卷积池化单元对应的卷积函数和 池化函数，对所述目标图像进行卷积和池化，得到输入卷积特征信息，基于所 述第二卷积池化单元对应的卷积函数，对所述输入卷积特征信息进行编码，生 成第二卷积特征信息，根据所述第一原始掩膜，对所述第二卷积特征信息的的 多个通道的特征图分别进行池化，确定池化向量，基于所述第二卷积池化单元 对应的激活函数将所述池化向量转换为目标向量，根据所述目标向量和所述第 一原始掩膜，生成所述第一卷积特征信息；所述输入卷积特征信息的尺寸、所 述第一卷积特征信息的尺寸以及所述第二卷积特征信息的尺寸均相同。
其中，第一卷积单元141的具体过程可以参见上述图3对应实施例中的步 骤S103。
请参见图10，更新模块15可以包括：反卷积单元151、叠加单元152以及 确定单元153。
反卷积单元151，用于将所述区域卷积特征信息进行反卷积，生成第三卷积 特征信息；
叠加单元152，用于将所述第三卷积特征信息和所述第一卷积特征信息叠加 为目标卷积特征信息，将所述目标卷积特征信息进行反卷积和全连接，得到待 更新掩膜；
确定单元153，用于将所述待更新掩膜确定为所述原始掩膜；所述待更新掩 膜的尺寸与所述目标图像的尺寸相同；
所述待更新掩膜包括多个单位待更新掩膜；
所述确定单元153，具体用于在所述待更新掩膜中，将小于或等于掩膜阈值 的单位待更新掩膜的取值调整为第一数值，在所述待更新掩膜中，将大于所述 掩膜阈值的单位待更新位掩膜的取值调整的第二数值，得到所述原始掩膜。
其中，反卷积单元151、叠加单元152以及确定单元153的具体过程可以参 见上述图3对应实施例中的步骤S103，此处不再赘述。
图像处理装置1可以包括：图像获取模块11、模型获取模块12、池化模块 13、卷积模块14、更新模块15以及掩膜确定模块16；还可以包括：收敛确定 模块17。
收敛确定模块17，用于若更新后的原始掩膜与更新前的原始掩膜之间的误 差小于误差阈值，则确定更新后的原始掩膜满足所述误差收敛条件，或，
所述收敛确定模块17，还用于若更新次数达到更新次数阈值，则确定更新 后的原始掩膜满足所述误差收敛条件。
其中，收敛确定模块17的具体过程可以参见上述图3对应实施例中的步骤 S104，此处不再赘述。
请进一步参见图10，图像处理装置1可以包括：图像获取模块11、模型获 取模块12、池化模块13、卷积模块14、更新模块15以及掩膜确定模块16；还 可以包括：样本获取模块18以及训练模块19。
样本获取模块18，用于获取包含所述目标对象的样本图像，获取样本原始 掩膜和样本图像分割模型；所述样本图像分割模型包括所述第一单位模型和样 本第二单位模型；
所述样本获取模块18，还用于基于所述第一单位模型中的池化层，对所述 样本原始掩膜进行下采样，得到样本下采样掩膜；
所述样本获取模块18，还用于基于所述样本第二单位模型和所述样本下采 样掩膜，生成预测掩膜，根据所述目标对象在所述样本图像中的图像区域，确 定样本掩膜；
训练模块19，用于根据所述样本图像、所述预测掩膜和所述样本掩膜训练 所述样本第二单位模型，得到所述图像分割模型；
训练模块19，具体用于根据所述样本图像、所述预测掩膜和所述样本掩膜， 生成亮度损失，根据所述预测掩膜和所述样本掩膜，生成分割损失，将所述亮 度损失和所述分割损失组合为目标损失，基于梯度下降规则和所述目标损失， 确定所述样本第二单位模型中的模型变量参数的参数值，根据所述参数值更新 所述样本第二单位模型中的模型变量参数，当训练次数达到训练次数阈值时， 将模型变量参数更新后的样本第二单位模型作为所述第二单位模型，将所述第 一单位模型和所述第二单位模型组合为所述图像分割模型。
其中，样本获取模块18以及训练模块19的具体过程可以参见上述图8对 应实施例中的步骤S201-步骤S204，此处不再赘述
目标对象是病灶对象；所述目标图像是生物组织图像；所述目标图像区域 是病灶图像区域。
本申请通过获取包含目标对象的目标图像，并获取原始掩膜以及图像分割 模型，基于图像分割模型中的第一单位模型，对原始掩膜下采样，得到下采样 掩膜；基于图像分割模型中的第二单位模型以及下采样掩膜，提取目标图像的 区域特征信息，根据区域特征信息更新原始掩膜，不断地的迭代更新原始掩膜， 直至更新后的原始掩膜满足收敛条件时，根据更新后的原始掩膜可以确定目标 对象在目标图像中的区域。上述可知，通过自动化地方式自动分割出目标对象 在图像中的区域，相比人工分割，可以降低图像分割的耗时，提高图像分割的 效率。
进一步地，请参见图11，是本发明实施例提供的一种计算机设备的结构示 意图。上述图1-图9对应实施例中的终端设备点可以为计算机设备1000，如图 11所示，所述计算机设备1000可以包括：用户接口1002、处理器1004、编码 器1006以及存储器1008。信号接收器1016用于经由蜂窝接口1010、WIFI接口 1012、...、或NFC接口1014接收或者发送数据。编码器1006将接收到的数据 编码为计算机处理的数据格式。存储器1008中存储有计算机程序，处理器1004 被设置为通过计算机程序执行上述任一项方法实施例中的步骤。存储器1008可 包括易失性存储器(例如，动态随机存取存储器DRAM)，还可以包括非易失 性存储器(例如，一次性可编程只读存储器OTPROM)。在一些实例中，存储 器1008可进一步包括相对于处理器1004远程设置的存储器，这些远程存储器 可以通过网络连接至计算机设备1000。用户接口1002可以包括：键盘1018和 显示器1020。
在图11所示的计算机设备1000中，处理器1004可以用于调用存储器1008 中存储计算机程序，以实现：
获取包含目标对象的目标图像，获取原始掩膜以及图像分割模型；所述图 像分割模型包括第一单位模型和第二单位模型；
基于所述第一单位模型中的池化层，对所述原始掩膜进行下采样，得到下 采样掩膜；
基于所述第二单位模型中的卷积池化层以及所述下采样掩膜，提取所述目 标图像的区域卷积特征信息，根据所述区域卷积特征信息更新所述原始掩膜；
当更新后的原始掩膜满足误差收敛条件时，根据更新后的原始掩膜确定所 述目标对象在所述目标图像中的目标图像区域。
在一个实施例中，所述第二单位模型中的卷积池化层包括第一卷积池化层 和第二卷积池化层；所述下采样掩膜包括与所述第一卷积池化层对应的第一原 始掩膜以及与所述第二卷积池化层对应的第二原始掩膜；
处理器1004在执行基于所述第二单位模型中的卷积池化层以及所述下采样 掩膜，提取所述目标图像的区域卷积特征信息时，具体执行以下步骤：
基于所述第一卷积池化层和所述第一原始掩膜，对所述目标图像进行卷积 和池化，得到第一卷积特征信息；
基于所述第二卷积池化层和所述第二原始掩膜，对所述第一卷积特征信息 进行卷积和池化，得到所述目标图像的所述区域卷积特征信息。
在一个实施例中，第一卷积池化层包括第一卷积池化单元以及第二卷积池 化单元；
处理器1004在执行基于所述第一卷积池化层和所述第一原始掩膜，对所述 目标图像进行卷积和池化，得到第一卷积特征信息时，具体执行以下步骤：
基于所述第一卷积池化单元对应的卷积函数和池化函数，对所述目标图像 进行卷积和池化，得到输入卷积特征信息；
基于所述第二卷积池化单元对应的卷积函数，对所述输入卷积特征信息进 行编码，生成第二卷积特征信息；
根据所述第一原始掩膜，对所述第二卷积特征信息的的多个通道的特征图 分别进行池化，确定池化向量；
基于所述第二卷积池化单元对应的激活函数将所述池化向量转换为目标向 量；
根据所述目标向量和所述第一原始掩膜，生成所述第一卷积特征信息；所 述输入卷积特征信息的尺寸、所述第一卷积特征信息的尺寸以及所述第二卷积 特征信息的尺寸均相同。
在一个实施例中，处理器1004在执行根据所述区域卷积特征信息更新所述 原始掩膜时，具体执行以下步骤：
将所述区域卷积特征信息进行反卷积，生成第三卷积特征信息；
将所述第三卷积特征信息和所述第一卷积特征信息叠加为目标卷积特征信 息；
将所述目标卷积特征信息进行反卷积和全连接，得到待更新掩膜，将所述 待更新掩膜确定为所述原始掩膜；所述待更新掩膜的尺寸与所述目标图像的尺 寸相同。
在一个实施例中，待更新掩膜包括多个单位待更新掩膜；
处理器1004在执行将所述待更新掩膜确定为所述原始掩膜时，具体执行以 下步骤：
在所述待更新掩膜中，将小于或等于掩膜阈值的单位待更新掩膜的取值调 整为第一数值；
在所述待更新掩膜中，将大于所述掩膜阈值的单位待更新位掩膜的取值调 整的第二数值，得到所述原始掩膜。
在一个实施例中，处理器1004在执行根据更新后的原始掩膜确定所述目标 对象在所述目标图像中的目标图像区域时，具体执行以下步骤：
将更新后的原始掩膜确定为目标掩膜；所述目标掩膜包括多个单位目标掩 膜；
在所述目标掩膜中，确定大于掩膜阈值的单位目标掩膜的位置信息；
在所述目标图像中，将与所述位置信息对应的图像区域作为所述目标图像 区域。
在一个实施例中，处理器1004在执行获取包含目标对象的目标图像时，具 体执行以下步骤：
获取包含所述目标对象的原始图像；
基于图像预处理规则对所述原始图像进行图像预处理，得到所述目标图像； 所述图像预处理规则包括图像归一化、图像平移、图像旋转、图像对称以及图 像放缩。
在一个实施例中，处理器1004还执行以下步骤：
若更新后的原始掩膜与更新前的原始掩膜之间的误差小于误差阈值，则确 定更新后的原始掩膜满足所述误差收敛条件，或，
若更新次数达到更新次数阈值，则确定更新后的原始掩膜满足所述误差收 敛条件。
在一个实施例中，处理器1004还执行以下步骤：
获取包含所述目标对象的样本图像，获取样本原始掩膜和样本图像分割模 型；所述样本图像分割模型包括所述第一单位模型和样本第二单位模型；
基于所述第一单位模型中的池化层，对所述样本原始掩膜进行下采样，得 到样本下采样掩膜；
基于所述样本第二单位模型和所述样本下采样掩膜，生成预测掩膜；
根据所述目标对象在所述样本图像中的图像区域，确定样本掩膜；
根据所述样本图像、所述预测掩膜和所述样本掩膜训练所述样本第二单位 模型，得到所述图像分割模型。
在一个实施例中，处理器1004在执行根据所述样本图像、所述预测掩膜和 所述样本掩膜训练所述样本第二单位模型，得到所述图像分割模型时，具体执 行以下步骤：
根据所述样本图像、所述预测掩膜和所述样本掩膜，生成亮度损失；
根据所述预测掩膜和所述样本掩膜，生成分割损失；
将所述亮度损失和所述分割损失组合为目标损失；
基于梯度下降规则和所述目标损失，确定所述样本第二单位模型中的模型 变量参数的参数值，根据所述参数值更新所述样本第二单位模型中的模型变量 参数；
当训练次数达到训练次数阈值时，将模型变量参数更新后的样本第二单位 模型作为所述第二单位模型，将所述第一单位模型和所述第二单位模型组合为 所述图像分割模型。
在一个实施例中，所述目标对象是病灶对象；所述目标图像是生物组织图 像；所述目标图像区域是病灶图像区域。
应当理解，本发明实施例中所描述的计算机设备1000可执行前文图1到图 9所对应实施例中对所述图像处理方法的描述，也可执行前文图10所对应实施 例中对所述图像处理装置1的描述，在此不再赘述。另外，对采用相同方法的 有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本发明实施例还提供了一种计算机存储介质， 且所述计算机存储介质中存储有前文提及的图像处理装置1所执行的计算机程 序，且所述计算机程序包括程序指令，当所述处理器执行所述程序指令时，能 够执行前文图1到图9所对应实施例中对所述图像处理方法的描述，因此，这 里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。 对于本发明所涉及的计算机存储介质实施例中未披露的技术细节，请参照本发 明方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算 机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。 其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccess Memory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之 权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
获取包含目标对象的目标图像，获取原始掩膜以及图像分割模型；所述图像分割模型包括第一单位模型和第二单位模型；
基于所述第一单位模型中的池化层，对所述原始掩膜进行下采样，得到下采样掩膜；
基于所述第二单位模型中的卷积池化层以及所述下采样掩膜，提取所述目标图像的区域卷积特征信息，根据所述区域卷积特征信息更新所述原始掩膜；
当更新后的原始掩膜满足误差收敛条件时，根据更新后的原始掩膜确定所述目标对象在所述目标图像中的目标图像区域。
2.根据权利要求1所述的方法，其特征在于，所述第二单位模型中的卷积池化层包括第一卷积池化层和第二卷积池化层；所述下采样掩膜包括与所述第一卷积池化层对应的第一原始掩膜以及与所述第二卷积池化层对应的第二原始掩膜；
所述基于所述第二单位模型中的卷积池化层以及所述下采样掩膜，提取所述目标图像的区域卷积特征信息，包括：
基于所述第一卷积池化层和所述第一原始掩膜，对所述目标图像进行卷积和池化，得到第一卷积特征信息；
基于所述第二卷积池化层和所述第二原始掩膜，对所述第一卷积特征信息进行卷积和池化，得到所述目标图像的所述区域卷积特征信息。
3.根据权利要求2所述的方法，其特征在于，所述第一卷积池化层包括第一卷积池化单元以及第二卷积池化单元；
所述基于所述第一卷积池化层和所述第一原始掩膜，对所述目标图像进行卷积和池化，得到第一卷积特征信息，包括：
基于所述第一卷积池化单元对应的卷积函数和池化函数，对所述目标图像进行卷积和池化，得到输入卷积特征信息；
基于所述第二卷积池化单元对应的卷积函数，对所述输入卷积特征信息进行编码，生成第二卷积特征信息；
根据所述第一原始掩膜，对所述第二卷积特征信息的的多个通道的特征图分别进行池化，确定池化向量；
基于所述第二卷积池化单元对应的激活函数将所述池化向量转换为目标向量；
根据所述目标向量和所述第一原始掩膜，生成所述第一卷积特征信息；所述输入卷积特征信息的尺寸、所述第一卷积特征信息的尺寸以及所述第二卷积特征信息的尺寸均相同。
4.根据权利要求2所述的方法，其特征在于，所述根据所述区域卷积特征信息更新所述原始掩膜，包括：
将所述区域卷积特征信息进行反卷积，生成第三卷积特征信息；
将所述第三卷积特征信息和所述第一卷积特征信息叠加为目标卷积特征信息；
将所述目标卷积特征信息进行反卷积和全连接，得到待更新掩膜，将所述待更新掩膜确定为所述原始掩膜；所述待更新掩膜的尺寸与所述目标图像的尺寸相同。
5.根据权利要求4所述的方法，其特征在于，所述待更新掩膜包括多个单位待更新掩膜；
所述将所述待更新掩膜确定为所述原始掩膜，包括：
在所述待更新掩膜中，将小于或等于掩膜阈值的单位待更新掩膜的取值调整为第一数值；
在所述待更新掩膜中，将大于所述掩膜阈值的单位待更新位掩膜的取值调整的第二数值，得到所述原始掩膜。
6.根据权利要求1所述的方法，其特征在于，所述根据更新后的原始掩膜确定所述目标对象在所述目标图像中的目标图像区域，包括：
将更新后的原始掩膜确定为目标掩膜；所述目标掩膜包括多个单位目标掩膜；
在所述目标掩膜中，确定大于掩膜阈值的单位目标掩膜的位置信息；
在所述目标图像中，将与所述位置信息对应的图像区域作为所述目标图像区域。
7.根据权利要求1所述的方法，其特征在于，所述获取包含目标对象的目标图像，包括：
获取包含所述目标对象的原始图像；
基于图像预处理规则对所述原始图像进行图像预处理，得到所述目标图像；所述图像预处理规则包括图像归一化、图像平移、图像旋转、图像对称以及图像放缩。
8.根据权利要求1所述的方法，其特征在于，还包括：
若更新后的原始掩膜与更新前的原始掩膜之间的误差小于误差阈值，则确定更新后的原始掩膜满足所述误差收敛条件，或，
若更新次数达到更新次数阈值，则确定更新后的原始掩膜满足所述误差收敛条件。
9.根据权利要求1所述的方法，其特征在于，还包括：
获取包含所述目标对象的样本图像，获取样本原始掩膜和样本图像分割模型；所述样本图像分割模型包括所述第一单位模型和样本第二单位模型；
基于所述第一单位模型中的池化层，对所述样本原始掩膜进行下采样，得到样本下采样掩膜；
基于所述样本第二单位模型和所述样本下采样掩膜，生成预测掩膜；
根据所述目标对象在所述样本图像中的图像区域，确定样本掩膜；
根据所述样本图像、所述预测掩膜和所述样本掩膜训练所述样本第二单位模型，得到所述图像分割模型。
10.根据权利要求9所述的方法，其特征在于，所述根据所述样本图像、所述预测掩膜和所述样本掩膜训练所述样本第二单位模型，得到所述图像分割模型，包括：
根据所述样本图像、所述预测掩膜和所述样本掩膜，生成亮度损失；
根据所述预测掩膜和所述样本掩膜，生成分割损失；
将所述亮度损失和所述分割损失组合为目标损失；
基于梯度下降规则和所述目标损失，确定所述样本第二单位模型中的模型变量参数的参数值，根据所述参数值更新所述样本第二单位模型中的模型变量参数；
当训练次数达到训练次数阈值时，将模型变量参数更新后的样本第二单位模型作为所述第二单位模型，将所述第一单位模型和所述第二单位模型组合为所述图像分割模型。
11.根据权利要求1所述的方法，其特征在于，所述目标对象是病灶对象；所述目标图像是生物组织图像；所述目标图像区域是病灶图像区域。
12.一种图像处理装置，其特征在于，包括：
图像获取模块，用于获取包含目标对象的目标图像；
模型获取模块，用于获取原始掩膜以及图像分割模型；所述图像分割模型包括第一单位模型和第二单位模型；
池化模块，用于基于所述第一单位模型中的池化层，对所述原始掩膜进行下采样，得到下采样掩膜；
卷积模块，用于基于所述第二单位模型中的卷积池化层以及所述下采样掩膜，提取所述目标图像的区域卷积特征信息；
更新模块，用于根据所述区域卷积特征信息更新所述原始掩膜；
掩膜确定模块，用于当更新后的原始掩膜满足误差收敛条件时，根据更新后的原始掩膜确定所述目标对象在所述目标图像中的目标图像区域。
13.一种电子医疗设备，其特征在于，包括生物组织图像采集器和生物组织图像分析器；
所述生物组织图像采集器获取包含病灶对象的生物组织图像；
所述生物组织图像分析器获取原始掩膜以及图像分割模型；所述图像分割模型包括第一单位模型和第二单位模型；
所述生物组织图像分析器基于所述第一单位模型中的池化层，对所述原始掩膜进行下采样，得到下采样掩膜；
所述生物组织图像分析器基于所述第二单位模型中的卷积池化层以及所述下采样掩膜，提取所述生物组织图像的区域卷积特征信息，根据所述区域卷积特征信息更新所述原始掩膜；
当更新后的原始掩膜满足误差收敛条件时，所述生物组织图像分析器根据更新后的原始掩膜确定所述病灶对象在所述生物组织图像中的病灶图像区域。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-11中任一项所述方法的步骤。
15.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-11任一项所述的方法。
CN201910912096.1A 2019-09-25 2019-09-25 一种图像处理方法、装置、计算机设备以及存储介质 Active CN110675385B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910912096.1A CN110675385B (zh) 2019-09-25 2019-09-25 一种图像处理方法、装置、计算机设备以及存储介质
PCT/CN2020/115209 WO2021057536A1 (zh) 2019-09-25 2020-09-15 一种图像处理方法、装置、计算机设备以及存储介质
US17/499,993 US12033330B2 (en) 2019-09-25 2021-10-13 Image processing method and apparatus, computer device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910912096.1A CN110675385B (zh) 2019-09-25 2019-09-25 一种图像处理方法、装置、计算机设备以及存储介质

Publications (2)

Publication Number Publication Date
CN110675385A true CN110675385A (zh) 2020-01-10
CN110675385B CN110675385B (zh) 2024-05-14

Family

ID=69079011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910912096.1A Active CN110675385B (zh) 2019-09-25 2019-09-25 一种图像处理方法、装置、计算机设备以及存储介质

Country Status (2)

Country Link
CN (1) CN110675385B (zh)
WO (1) WO2021057536A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429380A (zh) * 2020-04-08 2020-07-17 北京海益同展信息科技有限公司 一种图像矫正方法、装置、电子设备及存储介质
CN111626187A (zh) * 2020-05-25 2020-09-04 北京海益同展信息科技有限公司 一种身份标注方法、装置、电子设备及存储介质
WO2021057536A1 (zh) * 2019-09-25 2021-04-01 腾讯科技（深圳）有限公司 一种图像处理方法、装置、计算机设备以及存储介质
CN113608805A (zh) * 2021-07-08 2021-11-05 阿里巴巴新加坡控股有限公司 掩膜预测方法、图像处理方法、显示方法及设备
CN115272206A (zh) * 2022-07-18 2022-11-01 深圳市医未医疗科技有限公司 医学图像处理方法、装置、计算机设备及存储介质
US12033330B2 (en) 2019-09-25 2024-07-09 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, computer device, and storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947204A (zh) * 2021-10-13 2022-01-18 北京百度网讯科技有限公司 图像识别方法、装置、存储介质和计算机程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160328630A1 (en) * 2015-05-08 2016-11-10 Samsung Electronics Co., Ltd. Object recognition apparatus and method
CN108537292A (zh) * 2018-04-10 2018-09-14 上海白泽网络科技有限公司 语义分割网络训练方法、图像语义分割方法及装置
CN109242849A (zh) * 2018-09-26 2019-01-18 上海联影智能医疗科技有限公司 医学图像处理方法、装置、系统和存储介质
CN109493350A (zh) * 2018-11-09 2019-03-19 重庆中科云丛科技有限公司 人像分割方法及装置
CN109886273A (zh) * 2019-02-26 2019-06-14 四川大学华西医院 一种cmr图像分割分类系统
CN109977798A (zh) * 2019-03-06 2019-07-05 中山大学 用于行人重识别的掩膜池化模型训练和行人重识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389557B (zh) * 2018-10-20 2023-01-06 南京大学 一种基于图像先验的细胞图像超分辨方法及装置
CN109584246B (zh) * 2018-11-16 2022-12-16 成都信息工程大学 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法
CN109978037B (zh) * 2019-03-18 2021-08-06 腾讯科技（深圳）有限公司 图像处理方法、模型训练方法、装置、和存储介质
CN110675385B (zh) * 2019-09-25 2024-05-14 腾讯科技（深圳）有限公司 一种图像处理方法、装置、计算机设备以及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160328630A1 (en) * 2015-05-08 2016-11-10 Samsung Electronics Co., Ltd. Object recognition apparatus and method
CN108537292A (zh) * 2018-04-10 2018-09-14 上海白泽网络科技有限公司 语义分割网络训练方法、图像语义分割方法及装置
CN109242849A (zh) * 2018-09-26 2019-01-18 上海联影智能医疗科技有限公司 医学图像处理方法、装置、系统和存储介质
CN109493350A (zh) * 2018-11-09 2019-03-19 重庆中科云丛科技有限公司 人像分割方法及装置
CN109886273A (zh) * 2019-02-26 2019-06-14 四川大学华西医院 一种cmr图像分割分类系统
CN109977798A (zh) * 2019-03-06 2019-07-05 中山大学 用于行人重识别的掩膜池化模型训练和行人重识别方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021057536A1 (zh) * 2019-09-25 2021-04-01 腾讯科技（深圳）有限公司 一种图像处理方法、装置、计算机设备以及存储介质
US12033330B2 (en) 2019-09-25 2024-07-09 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, computer device, and storage medium
CN111429380A (zh) * 2020-04-08 2020-07-17 北京海益同展信息科技有限公司 一种图像矫正方法、装置、电子设备及存储介质
CN111429380B (zh) * 2020-04-08 2023-11-03 京东科技信息技术有限公司 一种图像矫正方法、装置、电子设备及存储介质
CN111626187A (zh) * 2020-05-25 2020-09-04 北京海益同展信息科技有限公司 一种身份标注方法、装置、电子设备及存储介质
CN111626187B (zh) * 2020-05-25 2023-08-08 京东科技信息技术有限公司 一种身份标注方法、装置、电子设备及存储介质
CN113608805A (zh) * 2021-07-08 2021-11-05 阿里巴巴新加坡控股有限公司 掩膜预测方法、图像处理方法、显示方法及设备
CN113608805B (zh) * 2021-07-08 2024-04-12 阿里巴巴创新公司 掩膜预测方法、图像处理方法、显示方法及设备
CN115272206A (zh) * 2022-07-18 2022-11-01 深圳市医未医疗科技有限公司 医学图像处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN110675385B (zh) 2024-05-14
WO2021057536A1 (zh) 2021-04-01
US20220028087A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
CN110675385B (zh) 一种图像处理方法、装置、计算机设备以及存储介质
CN110222787B (zh) 多尺度目标检测方法、装置、计算机设备及存储介质
CN110136809B (zh) 一种医疗图像处理方法、装置、电子医疗设备和存储介质
CN111741211B (zh) 图像显示方法和设备
US20210319560A1 (en) Image processing method and apparatus, and storage medium
CN110276411B (zh) 图像分类方法、装置、设备、存储介质和医疗电子设备
CN112446380A (zh) 图像处理方法和装置
KR20210002606A (ko) 의료 영상 처리 방법 및 장치, 전자 기기 및 저장 매체
CN111402170B (zh) 图像增强方法、装置、终端及计算机可读存储介质
CN112446834A (zh) 图像增强方法和装置
CN114820584B (zh) 肺部病灶定位装置
CN112767329A (zh) 图像处理方法及装置、电子设备
CN111340077B (zh) 基于注意力机制的视差图获取方法和装置
CN114565763B (zh) 图像分割方法、装置、设备、介质及程序产品
JP7390454B2 (ja) 画像生成方法、装置、電子機器及び記憶媒体
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN115620384B (zh) 模型训练方法、眼底图像预测方法及装置
CN113705361A (zh) 活体检测模型的方法、装置及电子设备
CN111666890A (zh) 脊柱变形人群识别方法、装置、计算机设备及存储介质
CN115526801A (zh) 基于条件对抗神经网络的遥感影像自动匀色方法和装置
CN112101456A (zh) 注意力特征图获取方法及装置、目标检测的方法及装置
CN114372931A (zh) 一种目标对象虚化方法、装置、存储介质及电子设备
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN114332993A (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN116012875A (zh) 一种人体姿态估计方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40020860

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant