CN117237260A - 图像处理模型的训练方法、图像处理方法及装置 - Google Patents

图像处理模型的训练方法、图像处理方法及装置 Download PDF

Info

Publication number
CN117237260A
CN117237260A CN202210626310.9A CN202210626310A CN117237260A CN 117237260 A CN117237260 A CN 117237260A CN 202210626310 A CN202210626310 A CN 202210626310A CN 117237260 A CN117237260 A CN 117237260A
Authority
CN
China
Prior art keywords
image
region growing
image processing
pooling
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210626310.9A
Other languages
English (en)
Inventor
王纯亮
董嘉慧
吕岩
白萱
田明
张超
赵清华
毛益进
刘伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yueying Technology Co ltd
Original Assignee
Beijing Yueying Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yueying Technology Co ltd filed Critical Beijing Yueying Technology Co ltd
Priority to CN202210626310.9A priority Critical patent/CN117237260A/zh
Priority to PCT/CN2023/097972 priority patent/WO2023232137A1/zh
Publication of CN117237260A publication Critical patent/CN117237260A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

一种图像处理模型的训练方法、图像处理方法及装置，所述方法包括：获取训练数据集，所述训练数据集包括多个样本图像和与每一个样本图像对应的真实标签图像；以及基于所述训练数据集，对所述图像处理模型进行训练，以获得训练完成的图像处理模型，其中，所述图像处理模型由可导区域增长模块和用于执行图像处理的深度学习网络模块连接构成，所述可导区域增长模块用于执行区域增长操作，以获得样本图像的连通域特征图像，其中，对所述图像处理模型进行训练是至少基于所述连通域特征图像进行的。

Description

图像处理模型的训练方法、图像处理方法及装置
技术领域
本公开涉及人工智能领域，具体涉及一种基于可导区域增长模块的图像处理模型的训练方法、图像处理方法、装置及计算机可读介质。
背景技术
在临床疾病诊断和治疗中，对图像进行处理能够辅助医生更好地了解图像组织结构信息。近年来卷积神经网络(CNN)的应用使得图像处理效果得到显著提升。然而，常见CNN网络旨在鼓励对单个像素进行处理，忽略组织结构间的连通性，进而影响后续分析步骤。
基于CNN网络框架，现有技术中已经提出新的网络框架来约束结构拓扑和连接性。例如，利用一系列图卷积代替传统卷积层，可以获取更高阶的邻域信息。此外，提出利用注意力网络获取聚合CNN特征。还提出将图卷积网络整合到统一的CNN架构中，构建新的图网络，以共同学习表征包括连通性在内的全局图像特征和局部外观。还提出新的基于中心线提取的连通感知相似度量(clDice)，通过计算处理的血管掩膜的形态学骨架与金标准掩膜的重叠度，保证血管段的连通性。然而，clDice在细小血管的处理结果并不能达到满意的效果。
因此，有待提出一种改进的图像处理模型的训练方法，能够解决医学图像中组织结构间断连的问题，保证组织结构的连通性。
发明内容
考虑到以上问题而做出了本公开。本公开的一个目的是提供一种基于可导区域增长模块的图像处理模型的训练方法、图像处理方法、装置及计算机可读介质。
本公开的实施例提供了一种图像处理模型的训练方法，所述方法包括：获取训练数据集，所述训练数据集包括多个样本图像和与每一个样本图像对应的真实标签图像；以及基于所述训练数据集，对所述图像处理模型进行训练，以获得训练完成的图像处理模型，其中，所述图像处理模型由可导区域增长模块和用于执行图像处理的深度学习网络模块连接构成，所述可导区域增长模块用于执行区域增长操作，以获得样本图像的连通域特征图像，其中，对所述图像处理模型进行训练是至少基于所述连通域特征图像进行的。
例如，根据本公开的实施例，其中，所述可导区域增长模块执行区域增长操作以获得样本图像的连通域特征图像包括：接收输入图像和种子函数，所述输入图像是所述深度学习网络模块的中间层针对所述样本图像所生成的特征图像、所述深度学习网络模块的输出层针对所述样本图像所生成的预测结果图像、以及所述样本图像的真实标签图像中的一个；基于所述输入图像对所述种子函数执行最大池化膨胀操作；将最大池化膨胀操作后的种子函数与所述输入图像执行结合操作；重复上述步骤直到达到迭代次数阈值，得到所述种子函数的区域增长结果，以作为所述样本图像的连通域特征图像。
例如，根据本公开的实施例，其中，所述结合操作包括以下中的任意一项：将所述最大池化膨胀操作后的种子函数中的每个像素点与所述输入图像中的对应像素点进行相乘操作；以及将所述最大池化膨胀操作后的种子函数中的每个像素点与所述输入图像中的对应像素点进行取最小值操作。
例如，根据本公开的实施例，其中，所述可导区域增长模块连接在所述深度学习网络模块的输出层之后，其中，对所述图像处理模型进行训练包括：利用所述深度学习网络模块对样本图像进行图像处理预测，并从所述输出层输出所述预测结果图像；将所述预测结果图像作为第一输入图像输入到所述可导区域增长模块；将所述样本图像的真实标签图像作为第二输入图像输入到所述可导区域增长模块；利用所述可导区域增长模块，基于所述第一输入图像和所述种子函数执行区域增长操作，得到所述种子函数的第一区域增长结果，以作为所述样本图像的第一连通域特征图像；利用所述可导区域增长模块，基于所述第二输入图像和所述种子函数执行区域增长操作，得到所述种子函数的第二区域增长结果，以作为所述样本图像的第二连通域特征图像；以及基于所述第一连通域特征图像和所述第二连通域特征图像，计算目标损失函数值，并基于所述目标损失函数值调整所述深度学习网络模块的参数。
例如，根据本公开的实施例，其中，所述目标损失函数为如下定义的损失函数Lc：
Lc＝1-softcoDice (2)
其中，X表示真实标签图像，Y表示预测结果图像，S为种子函数，g(X,S)为所述第一连通域特征图像，g(Y,S)为所述第二连通域特征图像，以及所述损失函数Lc对不连通域产生更重的惩罚。
例如，根据本公开的实施例，其中，所述种子函数是基于等间距策略、池化反池化策略和断点池化策略中的任意一个所生成的。
例如，根据本公开的实施例的方法，其中，基于所述等间距策略生成种子函数包括：
构建与样本图像相同维度的图像，将所述图像中预定间隔的像素点设置为种子点，并将其余像素点设置为背景像素，并将设置后的所述图像作为种子函数。
例如，根据本公开的实施例，其中，基于所述池化反池化策略生成种子函数包括：对所述真实标签图像执行最大池化操作以获取一个或多个局部最大值；对最大池化操作后的结果图像进行反池化操作以恢复所述一个或多个局部最大值在所述真实标签图像中的实际位置，并将反池化操作后的结果图像作为种子函数。
例如，根据本公开的实施例，其中，基于所述断点池化策略生成种子函数包括：将所述预测结果图像和所述真实标签图像相减；对相减后的图像执行所述最大池化膨胀操作；将执行所述最大池化膨胀操作后得到的图像与所述预测结果图像相乘，以得到交叉点图像；以及对所述交叉点图像执行最大池化操作以获取一个或多个局部最大值；对最大池化操作后的结果图像进行反池化操作以恢复所述一个或多个局部最大值在所述交叉点图像中的实际位置，并将反池化操作后的结果图像作为种子函数。
例如，根据本公开的实施例，其中，所述最大池化膨胀操作包括：利用池化内核对所述种子函数执行步长为1的最大池化操作。
例如，根据本公开的实施例的方法，其中，当所述样本图像是一维图像时，所述池化内核的尺寸为3，当所述样本图像是二维图像时，所述池化内核的尺寸为3*3，当所述样本图像是三维图像时，所述池化内核的尺寸为3*3*3，当所述样本图像是四维图像时，所述池化内核的尺寸为3*3*3*3。
例如，根据本公开的实施例，其中，所述可导区域增长模块的输入端连接到所述深度学习网络模块的第一中间层并且所述可导区域增长模块的输出端连接到不同于所述第一中间层的第二中间层，以及，对所述图像处理模型进行训练包括：将所述第一中间层所生成的第一特征图像作为第三输入图像输入到所述可导区域增长模块；利用所述可导区域增长模块，基于所述第三输入图像和所述种子函数执行区域增长操作，得到所述种子函数的第三区域增长结果，以作为所述样本图像的第三连通域特征图像；将所述第三连通域特征图像输入到所述第二中间层以与所述第二中间层所生成的第二特征图像进行融合；利用所述深度学习网络模块，基于所融合的特征图像执行图像处理预测；基于预测结果计算目标损失函数值；以及基于所述目标损失函数值调整所述深度学习网络模块的参数。
例如，根据本公开的实施例，其中，所述目标损失函数是交叉熵损失函数，dice损失函数和焦点损失函数中的一个。
例如，根据本公开的实施例的方法，其中，所述种子函数是基于等间距策略和池化反池化策略中的任意一个所生成的。
例如，根据本公开的实施例，其中，基于所述等间距策略生成种子函数包括：构建与样本图像相同维度的图像，将所述图像中预定间隔的像素点设置为种子点，并将其余像素点设置为背景像素，并将设置后的所述图像作为种子函数。
例如，根据本公开的实施例，其中，基于所述池化反池化策略生成种子函数包括：从所述深度学习网络模块的第三中间层接收第三特征图像；对所述第三特征图像执行最大池化操作以获取一个或多个局部最大值；对最大池化操作后的结果图像进行反池化操作以恢复所述一个或多个局部最大值在所述第三特征图像中的实际位置，并将反池化操作后的结果图像作为种子函数。
例如，根据本公开的实施例，其中，在对所述第三特征图像执行最大池化操作之前，进一步利用一卷积层对所述第三特征执行卷积操作。
例如，根据本公开的实施例的方法，其中，将所述第三连通域特征图像输入到所述第二中间层以与所述第二中间层所生成的第二特征图像进行融合包括：将所述第三连通域特征图像与所述第二中间层所生成的第二特征图像进行逐像素点叠加操作，以得到融合后的特征图像。
本公开的实施例还提供了还提供了一种图像处理模型的训练装置，所述装置包括：图像获取部件，用于获取训练数据集，所述训练数据集包括多个样本图像和与每一个样本图像对应的真实标签图像；以及训练部件，用于基于所述训练数据集，对所述图像处理模型进行训练，以获得训练完成的图像处理模型，其中，所述图像处理模型由可导区域增长模块和用于执行图像处理的深度学习网络模块连接构成，所述可导区域增长模块用于执行区域增长操作，以获得样本图像的连通域特征图像，其中，对所述图像处理模型进行训练是至少基于所述连通域特征图像进行的。
本公开的实施例还提供了还提供了一种用于图像处理的方法，包括：获取待处理的图像；基于训练好的图像处理模型中的深度学习网络模块，对所述待处理的图像执行图像处理操作，以获得具有连通性的处理后的图像，所述处理后的图像中的连通域的数量少于预定阈值，其中，所述训练好的图像处理模型是基于根据前面任一项所述的图像处理模型的训练方法所获得的。
本公开的实施例还提供了还提供了一种用于图像处理的方法，包括：获取待处理的图像；基于训练好的图像处理模型，对所述待处理的图像执行图像处理操作，以获得具有连通性的处理后的图像，所述处理后的图像中的连通域的数量少于预定阈值，其中，所述训练好的图像处理模型由可导区域增长模块和用于执行图像处理的深度学习网络模块连接构成，所述可导区域增长模块的输入端连接到所述深度学习网络模块的第一中间层并且所述可导区域增长模块的输出端连接到不同于所述第一中间层的第二中间层，其中，所述可导区域增长模块用于执行区域增长操作，以获得所述待处理的图像的连通域特征图像，其中，基于训练好的图像处理模型对所述待处理的图像执行图像处理操作是至少基于所述连通域特征图像进行的。
例如，根据本公开的实施例，其中，所述训练好的图像处理模型是基于上面任一项所述的图像处理模型的训练方法所获得的。
例如，根据本公开的实施例，其中，所述可导区域增长模块执行区域增长操作以获得待处理的图像的连通域特征图像包括：接收输入图像和种子函数，所述输入图像是所述深度学习网络模块的中间层针对所述待处理的图像所生成的特征图像；基于所述输入图像对所述种子函数执行最大池化膨胀操作；将最大池化膨胀操作后的种子函数与所述输入图像执行结合操作；重复上述步骤直到达到迭代次数阈值，得到所述种子函数的区域增长结果，以作为所述待处理的图像的连通域特征图像。
例如，根据本公开的实施例，其中，所述最大池化膨胀操作包括：利用池化内核对所述种子函数执行步长为1的最大池化操作。
例如，根据本公开的实施例的方法，其中，当所述待处理的图像是一维图像时，所述池化内核的尺寸为3，当所述待处理的图像是二维图像时，所述池化内核的尺寸为3*3，当所述待处理的图像是三维图像时，所述池化内核的尺寸为3*3*3，当所述样本图像是四维图像时，所述池化内核的尺寸为3*3*3*3。
例如，根据本公开的实施例，其中，所述结合操作包括以下中的任意一项：将所述最大池化膨胀操作后的种子函数中的每个像素点与所述输入图像中的对应像素点进行相乘操作；以及将所述最大池化膨胀操作后的种子函数中的每个像素点与所述输入图像中的对应像素点进行取最小值操作。
例如，根据本公开的实施例，其中，对所述待处理的图像执行图像处理操作包括：将所述第一中间层针对所述待处理的图像生成的第一特征图像作为输入图像输入到所述可导区域增长模块；利用所述可导区域增长模块，基于所述输入图像和种子函数执行区域增长操作，得到所述种子函数的区域增长结果，以作为所述待处理的图像的连通域特征图像；将所述连通域特征图像输入到所述第二中间层以与所述第二中间层所生成的第二特征图像进行融合；利用所述深度学习网络模块，基于所融合的特征图像执行图像预测，以获得具有连通性的处理后的图像。
例如，根据本公开的实施例，其中，所述种子函数是基于等间距策略和池化反池化策略中的任意一个所生成的。
例如，根据本公开的实施例，其中，基于所述等间距策略生成种子函数包括：构建与样本图像相同维度的图像，将所述图像中预定间隔的像素点设置为种子点，并将其余像素点设置为背景像素，并将设置后的所述图像作为种子函数。
例如，根据本公开的实施例，其中，基于所述池化反池化策略生成种子函数包括：从所述深度学习网络模块的第三中间层接收第三特征图像；对所述第三特征图像执行最大池化操作以获取一个或多个局部最大值；对最大池化操作后的结果图像进行反池化操作以恢复所述一个或多个局部最大值在所述第三特征图像中的实际位置，并将反池化操作后的结果图像作为种子函数。
例如，根据本公开的实施例，其中，在对所述第三特征图像执行最大池化操作之前，进一步利用一卷积层对所述第三特征执行卷积操作。
例如，根据本公开的实施例，其中，将所述连通域特征图像输入到所述第二中间层以与所述第二中间层所生成的第二特征图像进行融合包括：将所述连通域特征图像与所述第二中间层所生成的第二特征图像进行逐像素点叠加操作，以得到融合后的特征图像。
本公开的实施例还提供了还提供了一种于图像处理的装置，包括：图像获取部件，用于获取待处理的图像；处理部件，基于训练好的图像处理模型中的深度学习网络模块，对所述待处理的图像执行图像处理操作，以获得具有连通性的处理后的图像，所述处理后的图像中的连通域的数量少于预定阈值，输出部件，用于输出所述具有连通性的处理后的图像，其中，所述训练好的图像处理模型是基于根据前面任一项所述的图像处理模型的训练方法所获得的。
本公开的实施例还提供了还提供了一种于图像处理的装置，包括：图像获取部件，用于获取待处理的图像；处理部件，基于训练好的图像处理模型，对所述待处理的图像执行图像处理操作以获得具有连通性的处理后的图像，所述处理后的图像中的连通域的数量少于预定阈值；输出部件，用于输出所述具有连通性的处理后的图像，其中，所述训练好的图像处理模型由可导区域增长模块和用于执行图像处理的深度学习网络模块连接构成，所述可导区域增长模块的输入端连接到所述深度学习网络模块的第一中间层并且所述可导区域增长模块的输出端连接到不同于所述第一中间层的第二中间层，其中，所述可导区域增长模块用于执行区域增长操作，以获得样本图像的连通域特征图像，其中，所述处理部件基于训练好的图像处理模型对所述待处理的图像执行图像处理操作是至少基于所述连通域特征图像进行的。
例如，根据本公开的实施例，其中，所述训练好的图像处理模型是基于根据前面所述方法中的任一项所述的图像处理模型的训练方法所获得的。
本公开的实施例还提供了还提供了一种电子设备，包括存储器和处理器，其中，所述存储器上存储有处理器可读的程序代码，当处理器执行所述程序代码时，执行根据前面所述方法中的任意一项。
本公开的实施例还提供了还提供了一种计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令用于执行根据前面所述方法中的任意一项。
与仅在单个像素的基础上进行图像处理的传统的深度学习网络相比，本公开实施例提出了一种新颖的可导区域增长模块以用于学习关于图像的连通域的特征，并提出将该新颖的可导区域增长模块嵌入现有的深度学习网络中，使得嵌入了该新颖的可导区域增长模块的深度学习网络能够从该新颖的可导区域增长模块获得关于区域连通性的特征，从而有效地解决现有的深度学习网络的图像处理中所出现的区域不连通的技术问题，提高了图像处理精度。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对本公开实施例的附图作简单地介绍。明显地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1示出了根据本公开实施例的图像处理模型的训练方法及基于训练好的图像处理模型进行图像处理的方法的应用架构示意图；
图2示出了一种传统的用于图像分割处理的UNet网络架构的示意图；
图3是以与样本图像相关联的真实标签图像为例来对可导区域增长模块300的区域增长操作进行示意性说明的示意图。
图4示出了根据本公开一个实施例的基于可导区域增长模块的图像处理模型400的示意性结构图；
图5示出了根据本公开实施例的等间距策略，池化反池化策略和断点池化策略这三种自动种子函数生成策略；
图6描述了三种不同的种子函数生成策略所生成的种子函数的效果图；
图7示出了根据本公开另一个实施例的基于可导区域增长模块的图像处理模型700的示意性结构图；
图8示出了用于训练根据本公开实施例的图像处理模型的训练方法800的流程图；
图9是结合图4所示的图像处理模型400，来对图像处理模型进行训练的具体实现细节进行说明的流程图；
图10是结合图7所示的图像处理模型700，来对图像处理模型进行训练的具体实现细节进行说明的流程图；
图11是基于训练好的图像处理模型400所进行的图像处理方法的流程图；
图12是描述了基于训练好的图像处理模型700所进行的另一图像处理方法的流程图；
图13示出了根据本公开实施例的图像处理模型的训练装置；
图14示出了根据本公开实施例的图像处理装置的结构示意图；以及
图15示出了根据本公开的实施例的存储介质的示意图。
具体实施方式
下面将结合附图对本公开实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本公开的部分实施例，而不是全部的实施例。基于本公开实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本公开保护的范围。
本说明书中使用的术语是考虑到关于本公开的功能而在本领域中当前广泛使用的那些通用术语，但是这些术语可以根据本领域普通技术人员的意图、先例或本领域新技术而变化。此外，特定术语可以由申请人选择，并且在这种情况下，其详细含义将在本公开的详细描述中描述。因此，说明书中使用的术语不应理解为简单的名称，而是基于术语的含义和本公开的总体描述。
虽然本公开对根据本公开的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
本公开中使用了流程图来说明根据本公开的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
传统的深度学习网络在进行图像处理时往往旨在鼓励在单个像素的基础上进行图像处理，然而，对于用于临床疾病诊断和治疗过程中的医学图像来说，基于单个像素的处理往往忽略了组织结构间的连通性，往往产生组织断连的结果，进而影响后续分析步骤。
因此，本公开提出一种改进的图像处理模型及其训练方法，通过将一种新颖的可导区域增长模块嵌入到传统的深度学习网络中，能够解决传统的深度学习图像处理模型造成的医学图像中组织结构间断连的问题，保证组织结构的连通性。
当然，应当理解，根据本公开实施例的图像处理模型的训练方法和图像处理方法不仅仅适用于医学图像，同样也适用于对具有区域连通性要求的非医学图像进行处理，本公开对此不进行限制。
图1示出了根据本公开实施例的图像处理模型的训练方法及基于训练好的图像处理模型进行图像处理的方法的应用架构示意图，包括服务器100、终端设备200。
终端设备200例如可以是医疗设备，例如，用户可以基于终端设备200查看医学图像的处理结果。
终端设备200与服务器100之间可以通过互联网相连，实现相互之间的通信。可选地，上述的互联网使用标准通信技术和/或协议。互联网通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(MetropolitanAreaNetwork，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言(Hyper TextMarkupLanguage，HTML)、可扩展标记语言(Extensible Markup Language，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(SecureSocketLayer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(VirtualPrivate Network，VPN)、网际协议安全(Internet Protocol Security，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
服务器100可以为终端设备200提供各种网络服务，其中，服务器100可以是一台服务器、若干台服务器组成的服务器集群或云计算中心。
具体地，服务器100可以包括处理器110(Center Processing Unit，CPU)、存储器120、输入设备130和输出设备140等。输入设备130可以包括键盘、鼠标、触摸屏等，输出设备140可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。
存储器120可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器110提供存储器120中存储的程序指令和数据。在本公开的实施例中，存储器120可以用于存储本公开实施例中图像处理模型的训练方法或图像处理方法的程序。
处理器110通过调用存储器120存储的程序指令，处理器110用于按照获得的程序指令执行本公开实施例中任一种图像处理模型的训练方法或图像处理方法的步骤。
例如，本公开实施例中，图像处理模型的训练方法或图像处理方法例如由服务器100侧执行，例如，针对图像处理方法，终端设备200可以将采集到的医学图像发送给服务器100，由服务器100对该医学图像进行深度学习图像处理，并可以将结果返回给终端设备200。
如图1所示的应用架构，是以应用于服务器100侧为例进行说明的，当然，本公开实施例中的方法也可以由终端设备200执行，例如终端设备200可以从服务器100侧获得训练好的图像处理模型，从而基于该训练好的图像处理模型，对医学图像进行处理，获得处理结果，对此本公开实施例中并不进行限制。
本公开各个实施例以应用于图1所示的应用架构图为例进行示意性说明。当然，应当理解的是，本公开实施例中的应用架构图是为了更加清楚地说明本公开实施例中的技术方案，并不构成对本公开实施例提供的技术方案的限制，当然，对于其它的应用架构和业务应用，本公开实施例提供的技术方案对于类似的问题，同样适用。
传统的深度学习网络模块通常都是在像素级别上对图像进行处理的，其通过对每个像素进行密集的预测、推断来实现细粒度的推理，从而使每个像素都被标记为相应的类别。
图2示出了一种传统的用于图像分割处理的UNet网络架构的示意图。
从图2可以看出，UNet网络架构包括U型网络架构和跳层连接。UNet网络架构是一个对称的网络架构，包含左侧和右侧两条路径。左侧的路径可以视为一个编码器，也可以称为上采样处理路径，其包括五个卷积子模块，每个子模块包括两个卷积层和ReLU层，这里的卷积层结构统一为3×3的卷积核。每个子模块之后有一个通过最大池化实现的下采样层。卷积子模块用于提取特征，最大池化层用于降低维度，每次最大池化层之后输出的特征图像的分辨率变为一半。最后一个卷积子模块输出的特征图不经过最大池化，直接被输入到右侧的解码器。右侧的路径可以视为一个解码器，也可以称为下采样处理路径，包含与编码器基本对称的结构，对输入的特征图执行3×3的卷积和上采样，逐步修复物体的细节和空间维度。此外，网络中还用到了特征融合，如图2中的虚线箭头所示，通过跳层连接的方式将前面部分下采样网络的特征与后面上采样的特征进行了拼接和融合以获得更准确的上下文信息，达到更好的处理效果。该UNet网络模型最后输出目标图像的分割图，该分割图中的每个像素的像素值可以是表示其类别的标签。
如上所述，由于传统的用于图像处理的深度学习网络是在像素级别进行理解和处理图像的，其输出的预测处理结果往往存在断开或分离的像素点或像素区域。而对于包括组织图像的医学图像来说，这些断开或分离的像素点或像素区域有时往往属于同一个组织结构，因此，基于传统的深度学习网络的图像处理方法忽略了组织结构间的连通性，从而影响后续诊断和治疗步骤。
基于此，本公开的实施例提出了一种新颖的区域增长模块，并提出将其嵌入到传统的用于图像处理的深度学习网络。通过将该区域增长模块作为一个特殊的层引入到深度学习网络中，可以使这个区域增长模块(或层)直接参与网络的训练和预测(可选，不一定参与预测，但一定参与训练)的过程。这里的区域增长模块作为一个特殊的层可以允许“梯度(gradient)”穿过，从而保证网络的训练，因此在下文中可以将其称为“可导区域增长模块”。
该新颖的可导区域增长模块可以执行区域增长操作以获得样本图像的连通域特征，使得嵌入了该新颖的可导区域增长模块的传统的用于图像处理的深度学习网络能够从该新颖的可导区域增长模块获得关于区域连通性的特征，从而在保证连通性的基础上来实现图像的处理。
下面以如图2所示的UNet网络架构作为传统的用于图像处理的深度学习网络为例，来描述如何将本公开实施例的新颖的可导区域增长模块嵌入到其中来构成一种新颖的图像处理模型，并如何对嵌入了新颖的可导区域增长模块后的图像处理模型进行训练，从而使其能更好的学习图像的连通域特征。
应当理解，这里的图像处理可以例如是图像变换、图像识别、图像分类、图像分割等各种图像处理过程，本公开对此不作限制。
此外，如本领域技术人员所理解的那样，本领域技术人员可以采取任意适用于图像处理的传统的深度学习网络，例如linknet、ResNet以及VGG Net等，同时也可以根据实际情况对这些处理网络进行适应性的调整。
本公开提出的新颖的可导区域增长模块被设计为以并联或串联的方式连接到传统的深度学习网络模块，并可以基于从深度学习网络模块的某一中间层接收的样本图像的特征图像、与样本图像相关联的真实标签图像、或从深度学习网络模块的输出层接收的针对样本图像所生成的预测结果图像来对种子函数进行可微膨胀操作，使得能够将种子点限制在样本图像的连通区域(例如，诸如血管、细小血管、器官等的组织区域)内进行增长，从而获得样本图像的连通域特征。
现在结合图3来描述根据本公开实施例的可导区域增长模块300的区域增长操作的示意性过程。
本公开实施例的新颖的可导区域增长模块基于所接收的与样本图像相关联的图像，并基于该所接收的图像对种子函数执行区域增长操作以获得样本图像的连通域特征图像。
例如，该与样本图像相关联的图像是该区域增长操作所嵌入的深度学习网络模块的中间层针对样本图像所生成的特征图像、深度学习网络模块的输出层针对该样本图像所生成的预测结果图像、以及该样本图像的真实标签图像中的一个。
图3以与样本图像相关联的真实标签图像为例来对可导区域增长模块300的区域增长操作进行示意性说明。
图3所示的真实标签图像是一个二值图像，其中黑色的像素点表示属于组织区域的像素，白色的像素点表示背景像素。
如图3所示，可导区域增长模块300所执行的区域增长操作是一个迭代的过程。在种子点X的每次膨胀之后，都将膨胀后的结果与真实标签图像进行结合操作，使得将种子点X被限制在组织区域内进行增长。其中超参数t表示执行迭代的次数，t设置值越大则可以保证区域增长操作的输出包含与真实标签图像相接近的区域连通性特征。
与基于相似属性强度、灰度级和纹理颜色等来实现区域增长的传统方法不同，本公开实施例所提出的新颖的可导区域增长模块可以采用最大池化膨胀操作和结合操作来实现区域增长。
本公开的实施例提出了基于最大池化层来实现的最大池化膨胀操作。如上所述，通过利用特殊的网络层(例如，这里是最大池化层)来实现区域增长模块的操作，使得可以允许“梯度”穿过，从而保证了网络的训练。
例如，基于最大池化层的最大池化膨胀操作可以包括利用尺寸N*N(例如，对于二维图像)的池化内核对种子函数执行步长为1的最大池化操作。应当理解，这里的池化内核可以基于图像的维度不同而具有不同的维度，例如，当图像是一维图像时，池化内核的尺寸为N，当图像是二维图像时，所述池化内核的尺寸为N*N，当图像是三维图像时，池化内核的尺寸为N*N*N，当图像是四维图像时，池化内核的尺寸为N*N*N*N，以此类推。例如，这里的N可以取值为3。最大池化膨胀操作后的图像与输入的样本图像具有相同的维度。由于卷积网络中池化层更容易实现，相对于其他手段的膨胀操作也可以实现更高的运算效率。
根据本公开的实施例，这里的结合操作可以包括相乘操作和取最小值操作。
例如，相乘操作包括将最大池化膨胀操作后的种子函数中的每个像素点与所接收的与样本图像相关联的图像(例如，图3中是真实标签图像)中的对应像素点相乘。
例如，取最小值操作包括将最大池化膨胀操作后的种子函数中的每个像素点与所接收的与样本图像相关联的图像(例如，图3中是真实标签图像)中的对应像素点进行取最小值。
如此，乘法操作将种子点限制在组织连通区域内进行增长，取最小值操作将使断点后的组织结构响应值降低，两者都能够达到增大断点惩罚的作用，从而使得区域增长后的图像包含获得样本图像的连通域特征。
图4示出了根据本公开一个实施例的基于可导区域增长模块的图像处理模型400的示意性结构图。
如图4所示，根据本公开一个实施例的图像处理模型400包括可导区域增长模块400A和用于图像处理的深度学习网络模块400B，其中，可导区域增长模块400A连接在深度学习网络模块400B之后。
例如，这里的可导区域增长模块400A可以是图3中描述的可导区域增长模块300。例如，这里的深度学习网络模块400B可以是如上所述的Unet模型，其对输入样本图像进行预测后得出该样本图像中每个像素的预测类别，从而实现图像区域的分割。当然，这里的深度学习网络模块400B还可以是任何适用于图像处理的其他深度学习网络，例如linknet、ResNet以及VGG Net等，同时也可以根据实际情况对这些处理网络进行适应性的调整。
如上所述，传统的用于图像处理的深度学习网络模块400B是在单个像素级别进行处理的，其输出的预测结果图像往往存在断开或分离的像素点或像素区域。因此，本公开的一个实施例提出将可导区域增长模块400A连接到深度学习网络模块400B的输出层之后，通过结合深度学习网络模块400B的预测输出图像和真实标签图像来进行种子函数的区域增长，并重新构造新的coDice损失函数，从而丢弃与种子函数断开的所有像素，增大不连通性的惩罚。
根据本公开的实施例在图4所示的图像处理模型400的结构中，为了充分发挥可导区域增长模块400A在的图像处理模型400中所起到的增大不连通惩罚的作用，本公开实施例还提出了用于可导区域增长模块400A的三种种子函数生成策略。
图5示出了根据本公开实施例的等间距策略，池化反池化策略和断点池化策略这三种自动种子函数生成策略。
图5的(a)是基于等间距策略构造种子函数的示意性流程图。
等间距策略构造过程可以包括：构建与样本图像相同维度的图像，将图像中预定间隔的像素点设置为种子点，并将其余像素点设置为背景像素，并将设置后的图像作为种子函数。
图5的(b)是基于池化反池化策略构造种子函数的示意性流程图。
例如，在本公开的实施例中，这里的池化反池化操作是最大池化反池化操作。如本领域技术人员已知的，最大池化操作反池化操作通过在池化过程中获取一个或多个局部最大值，然后在反池化时恢复该一个或多个局部最大值在图像中的实际位置，并将子区域中其它像素值设为零，可以在给定内核大小的正方形内选择单个种子点并抑制其他候选点，保证在包含所有组织结构上生成等间距的种子点。
如图5的(b)所示，本公开实施例的池化反池化策略可以包括：对真实标签图像执行最大池化操作以获取一个或多个局部最大值；对最大池化操作后的结果图像进行反池化操作以恢复该一个或多个局部最大值在真实标签图像中的实际位置，并将反池化操作后的结果图像作为种子函数。
图5的(c)是基于断点池化策略构造种子函数的示意性流程图。
图5的(c)所示的断点池化策略可以概括为如下公式(3)：
Iseeds＝maxunpool(dilate(Igt-Ipre)×Ipre) (3)
其中，Ipre和Igt分别为预测结果和真实标签。
如图5的(c)所示，首先将预测结果图像和真实标签图像相减，随后对相减后的图像执行最大池化膨胀操作(例如，图5(c)中示出为最大池化)，以得到紧邻断点的交叉点。例如，这里的相减过程可以是预测结果图像和真实标签图像的逐像素相减，并对负数差值取绝对值。
例如，这里的最大池化膨胀操作可以是如上文所述的基于最大池化层所进行的最大池化膨胀。具体来说，可以基于卷积内核大小为N*N(例如，对于二维图像)且步长为1的最大池化层来实现对预测结果图像和真实标签图像相减后所得到图像的最大池化膨胀，例如，这里的N可以取值为3。最大池化膨胀操作后的图像与输入的样本图像具有相同的维度。由于卷积网络中池化层更容易实现，相对于其他手段的膨胀操作可以实现更高的运算效率。
随后，将最大池化膨胀操作后的图像与预测结果图像进一步相乘，可以得到包括紧邻断点的交叉点的图像，利用最大池化反池化操作对交叉点进行过滤，可以保证种子出现在断点附近，最大限度发挥可导区域增长模块的作用。
例如，这里的最大池化反池化操作与图6的(b)中描述的最大池化和反池化操作相同，先对交叉点的图像执行最大池化操作以获取交叉点图像中的一个或多个局部最大值，然后进行反池化操作以恢复一个或多个局部最大值在交叉点图像中的实际位置。
图6描述了三种不同的种子函数生成策略所生成的种子函数的效果图。
最左边的图像是二值化的真实标签图像，其中白色表示血管组织像素，黑色表示背景像素。图6的(a)是基于等间距策略构造的种子函数的效果图，图6的(b)基于池化反池化策略构造的种子函数的效果图，图6的(c)是基于断点池化策略构造的种子函数的效果图。
如图6可以看出，池化反池化策略及断点池化策略所构造的种子函数能够保证种子点出现在组织区域内，并且断点池化策略所构造的种子函数更能够保证种子点出现在断点附近，最大限度发挥可导区域增长模块的作用。此外，对于池化反池化策略及断点池化策略来说，均可以通过利用特殊的网络层(例如，池化层)来实现种子函数的生成，使得可以允许“梯度”穿过，从而保证了网络的训练。
除了将可导区域增长模块连接在深度学习网络模块的输出层之后，下面介绍将可导区域增长模块嵌入在深度学习网络模块的中间层之间的另一实施例。
图7示出了根据本公开另一个实施例的基于可导区域增长模块的图像处理模型700的示意性结构图。
如图7所示，根据本公开另一个实施例的图像处理模型700包括可导区域增长模块700A和用于图像处理的深度学习网络模块700B，其中，可导区域增长模块700A连接在深度学习网络模块700B的中间层之间。
例如，这里的可导区域增长模块700A可以是图3中描述的可导区域增长模块300。例如，这里的深度学习网络模块700B可以是如上所述的Unet模型，其对输入样本图像进行处理后得出该样本图像中每个像素的预测类别，从而实现图像区域的分割处理。当然，这里的深度学习网络模块700B还可以是任何适用于任何图像处理的其他深度学习网络，例如linknet、ResNet以及VGG Net等，同时也可以根据实际情况对这些处理网络进行适应性的调整。
如图7所示，可导区域增长模块700A的输入端连接在深度学习网络模块700B的第一中间层之后，并从该中间层接收特征图像作为输入，并且可导区域增长模块700A的输出端连接到深度学习网络模块700B的第二中间层，使得可以将可导区域增长模块700A的输出与该第二中间层的特征图像进行融合。
根据本公开的实施例，在图7所示的图像处理模型700的结构中，可以基于上面所提到的等间距策略和池化反池化策略这两种种子生长策略来生成可导区域增长模块700A的种子函数。
例如，等间距策略构造过程可以包括：构建与样本图像相同维度的图像，将图像中预定间隔的像素点设置为种子点，并将其余像素点设置为背景像素，并将设置后的图像作为种子函数。
例如，池化反池化策略可以包括：基于从深度学习网络模块的第三中间层接收第三特征图像；对第三特征图像执行最大池化操作以获取第三特征图像中一个或多个局部最大值；对最大池化操作后的结果图像进行反池化操作以恢复该一个或多个局部最大值在第三特征图像中的实际位置，并将反池化操作后的结果图像作为种子函数。
此外，如上文参考图3所描述的，种子函数的种子点图和与其进行结合操作的图像具有相同的维度。为此，由于第三中间层和第一中间层所产生的特征图像可能具有不同的维度。因此，在这种情况下，需要对第三中间层所生成的第三特征图像执行进一步的卷积操作。例如，如图7所示，在对第三特征图像执行最大池化操作之前，还利用一卷积层对该第三特征执行卷积操作。
应当理解，这里采用的术语“第一中间层”、“第二中间层”和“第三中间层”仅是为了在不同的中间层之间进行区分，而并非是这几个中间层的编号或限定这几个中间层的先后顺序。例如，虽然图7中将“第一中间层”示出为靠前的中间层，将“第二中间层”示出为靠后的中间层，将“第三中间层”示出为在中间，然而本公开不限于此，这三个中间层可以具有不同的顺序，例如“第二中间层”可以是靠前的中间层，而“第一中间层”则可以是中间的中间层，而“第三中间层”则可以是靠后的中间层。
如此，可导区域增长模块700A通过利用区域增长操作实现种子点的膨胀，并且在每次膨胀之后将膨胀结果与从深度学习网络模块700B的第一中间层接收的特征图像进行如上所述的结合操作，使得可以将种子函数的种子点限制在样本图像的组织区域内进行增长。而通过将可导区域增长模块700A的输出与深度学习网络模块700B的第二中间层所产生的特征图像进行特征融合，则可以在图像处理模型的训练过程中提高区域不连通的惩罚，从而增加了其输出的预测图像中的区域连通性。
下面通过几个示例或实施例对根据本公开至少一个实施例提供的图像处理模型的训练方法和图像处理方法进行非限制性的说明。如下面所描述的，在不相互抵触的情况下这些具体示例或实施例中不同特征可以相互组合，从而得到新的示例或实施例，这些新的示例或实施例也都属于本公开保护的范围。
图8示出了用于训练根据本公开实施例的图像处理模型的训练方法800的流程图。例如，该图像处理模型的训练方法800可以由服务器来执行，该服务器可以是图1中所示的服务器100。
首先，在步骤S801中，获取训练数据集，所述训练数据集包括多个样本图像和与每一个样本图像对应的真实标签图像。
例如，这里的样本图像可以是包括组织图像的医学图像。当然，这里的样本图像还可以是除了医学图像之外的其他任何合适的图像，本公开对此不作限制。
例如，这里的样本图像可以是通过医学影像技术获得的，也可以是通过网络下载的方式获取的，也可以通过其他途径获取的，本公开的实施例对此不作限制。
例如，这里的真实标签图像是对对应样本图像中每个像素所属区域或所属类别进行标注的标签图像。
在步骤S803中，基于所述训练数据集，对所述图像处理模型进行训练，以获得训练完成的图像处理模型。
例如，这里的图像处理模型可以是如上参考图4所示的图像处理模型400或参考图7所示的图像处理模型700，这两个图像处理模型均由上面所描述新颖的可导区域增长模块和用于执行图像处理的传统的深度学习网络模块连接而成。
例如，在该图像处理模型是图像处理模型400的示例中，可导区域增长模块400A连接在深度学习网络模块400B的输出层之后，并从该输出层接收预测结果图像。这里的预测结果图像是深度学习网络模块400B针对输入样本所输出的预测结果，该预测结果是与样本图像具有相同维度的图像，其中的每个像素点被标记为样本图像中对应像素点所属区域或所属类别的标签。
例如，在该图像处理模型是图像处理模型700的示例中，可导区域增长模块700A连接在深度学习网络模块700B的两个中间层之间，从该深度学习网络模块700B的一个中间层接收特征图像，并基于该特征图像执行如上文所讨论的区域增长操作，并将区域增长操作所获取的组织区域的连通性特征返回到深度学习网路模块700B。
在这两种图像处理模型的训练过程中，可以利用可导区域增长模块基于从深度学习网络模块中的一层(例如，中间层或输出层)接收的特征图像、预测图像和/或真实标签图像来对种子函数执行如上所述的区域增长操作，以得到包含样本图像的区域连通性特征的区域增长结果，从而可以使得在图像处理模型的训练过程中提高区域不连通的惩罚，从而增加了其输出的预测图像中的区域连通性。
以下参考图9，结合图4所示的图像处理模型400，来对上述图8中的步骤S803中的对图像处理模型进行训练的具体实现细节进行说明。
如图9所示，在步骤S901中，利用所述深度学习网络模块对样本图像进行图像处理预测，并从所述输出层输出所述预测结果图像。
例如，这里的深度学习网络模块即传统的用于图像处理的深度学习网络模块(例如，上文所述的Unet模型)，其基于样本图像生成预测结果的过程为本领域的公知技术手段，在此不再进行赘述。
如上所述，传统的用于图像处理的深度学习网络模块是在像素级别的基础上进行的图像处理，往往忽略了区域的连通性，其输出的预测结果中会出现断开的像素点或像素区域，从而影响后续的分析步骤。
基于此，结合图4来看，本公开的一个实施例提出将如上文所描述的新颖的可导区域增长模块400A连接到传统的深度学习网络模块400B的输出层之后，分别基于深度学习网络模块400B的预测输出图像和真实标签图像来执行种子函数的区域增长，并重新构造新的coDice损失函数，从而丢弃与种子函数断开的所有像素，增大不连通性的惩罚，如下面的步骤S903-S911所述。
在步骤S903中，将所述预测结果图像作为第一输入图像输入到所述可导区域增长模块。
在步骤S905中，将所述样本图像的真实标签图像作为第二输入图像输入到所述可导区域增长模块。
在步骤S907中，利用所述可导区域增长模块，基于所述第一输入图像和所述种子函数执行区域增长操作，得到所述种子函数的第一区域增长结果，以作为所述样本图像的第一连通域特征图像。
在步骤S909中，利用所述可导区域增长模块，基于所述第二输入图像和所述种子函数执行区域增长操作，得到所述种子函数的第二区域增长结果，以作为所述样本图像的第二连通域特征图像。
利用可导区域增长模块基于所接收的与样本图像相关联的图像(例如，这里是深度学习网络模块400B针对样本图像所生成的预测结果图像和样本图像的真实标签图像)执行种子函数的区域增长操作的具体步骤已在图2中进行了详细描述，在此不再赘述。应当理解，由于区域增长是基于与样本图像的特征图像进行的，这里的区域增长结果将包含关于样本图像区域连通性的特征。
如上所述，由于传统的用于图像处理的深度学习网络模块常常会将原本属于一个区域的像素识别为属于与该区域断开的另一个区域，因此，直接基于传统的用于图像处理的深度学习网络模块的预测结果图像进行的区域增长操作所得到的第一连通域特征图像与基于真实标签图像进行的区域增长操作所得到的第二连通区域特征图像直接将存在差异。
因此，对图像处理模型400进行训练的一个目标是构造出一种新的损失函数，以最小化这两个连通区域特征图像之间的差异为优化目标来对图像处理模型400进行训练。
在步骤S911中，基于所述第一连通域特征图像和所述第二连通域特征图像，计算目标损失函数值，并基于所述目标损失函数值调整所述深度学习网络模块的参数。
例如，为了减少上面的第一连通区域特征图像和第二连通区域特征图像之间的差异，这里的目标损失函数Lc可以构造为如下：
Lc＝1-softcoDice (2)
其中，X表示真实标签图像，Y表示预测结果图像，S为种子函数，g(X,S)为所述第一连通域特征图像，g(Y,S)为所述第二连通域特征图像。
在存在拓扑结构错误的情况下，coDice能够比普通Dice下降得更多，从而对不连通域产生更重的惩罚。
基于上述目标损失函数可以对图4所示的图像处理模型400进行参数调整，以使得随着迭代训练的继续，目标损失函数最终最小化。
如此，通过将可导区域增长模块(例如，图4中的可导区域增长模块400A)连接在传统的深度学习网络模块(例如，图4中的深度学习网络模块400B)的输出层之后，利用可导区域增长模块分别基于预测结果图像和真实标签图像得到关于这两个图像的区域连通性特征，并构造新的codDice损失函数，能够使得在图像处理模型的训练过程中增大区域不连通的惩罚，从而增加了其输出的预测图像中的区域连通性。
以下参考图10，结合图7所示的图像处理模型700，来对上面图8中的步骤S803对图像处理模型进行训练的具体实现细节进行说明。
在图7所示的图像处理模型700中，可导区域增长模块700A以并联方式连接在深度学习网络模块700B的两个中间层之间，从该深度学习网络模块700B的一个中间层(例如，第一中间层)接收特征图像，基于所接收的特征图像执行区域增长操作，并将区域增长操作后得到的输出返回到另一中间层(例如，第二中间层)。
如图10所示，在步骤S1001中，将所述第一中间层所生成的第一特征图像作为第三输入图像输入到所述可导区域增长模块。
这里的第一特征图像是深度学习网络模块700B的第一中间层针对输入的样本图像所产生的特征图像。
在步骤S1003中，利用所述可导区域增长模块，基于所述第三输入图像和所述种子函数执行区域增长操作，得到所述种子函数的第三区域增长结果，以作为所述样本图像的第三连通域特征图像。
利用可导区域增长模块基于所接收的与样本图像相关联的图像(例如，这里是第一中间层针对样本图像所生成的特征图像)执行种子函数的区域增长操作的具体步骤已在图2中进行了详细描述，在此不再赘述。
应当理解，由于区域增长是基于与样本图像的特征图像进行的，因此这里的区域增长结果将包含关于样本图像中区域连通性的特征。
在步骤S1005中，将所述第三连通域特征图像输入到所述第二中间层以与所述第二中间层所生成的第二特征图像进行融合。
例如，这里的特征融合可以包括将第三连通域特征图像与第二特征图像进行逐像素点的逐像素点叠加操作。当然，也可以采取其他的特征融合技术，例如逐像素点相乘等等，本公开对此不作限制。
在步骤S1007中，利用所述深度学习网络模块，基于所融合的特征图像执行图像处理预测。
在步骤S1009中，基于预测结果计算目标损失函数值。
在步骤S1011中，基于所述目标损失函数值调整所述深度学习网络模块的参数。
例如，这里的损失函数是针对传统的深度学习网络模块700B设计的损失函数。例如，基于深度学习网络模块700B的类型不同，损失函数可以是交叉熵损失函数，dice损失函数和焦点损失函数等等，本公开对此不做限制，也不再赘述。
基于通过如上方式训练好的图像处理模型，本公开实施例进一步提供了基于训练好的图像处理模型进行图像处理的方法。
下面分别结合基于如上所述的方法训练好的图像处理模型400和图像处理700，来描述基于这两个训练好的图像处理模型所进行的图像处理方法1100和1200。
图11描述了基于训练好的图像处理模型400所进行的图像处理方法1100。
在步骤S1101中，获取待处理的图像。
例如，这里的待处理的图像可以是包括组织图像的医学图像。当然，这里的待处理的图像还可以是除了医学图像之外的其他任何合适的图像，本公开对此不作限制。
例如，这里的待处理的图像可以是通过医学影像技术获得的，也可以是通过网络下载的方式获取的，也可以通过其他途径获取的，本公开的实施例对此不作限制。
在步骤S1103中，基于训练好的图像处理模型中的深度学习网络模块，对所述待处理的图像执行图像处理操作，以获得具有连通性的处理后的图像，所述处理后的图像中的连通域的数量少于预定阈值。
如上所述，由于在图像处理模型400的训练阶段已经以使得基于预测结果图像和真实标签图像所得到的区域连通性特征最小化为目标来调整深度学习网络模块400B的参数，因此，在训练完成后可以仅基于深度学习网络模块400B来进行图像处理。
如上所述，传统的用于图像处理的深度学习网络模块是在像素级别的基础上进行的图像处理，往往忽略了区域的连通性，其输出的预测结果中会出现断开的像素点或像素区域。例如，理想情况下预测结果中连通域个数应该是1，传统的用于图像处理的深度学习网络模块所得到的预测结果中连通域个数则可能大概是50-60个。而本公开的基于训练好的学习网络模型400B所进行的图像处理可以有效减少连通域个数，例如减少到20-30个。
图12描述了基于训练好的图像处理模型700所进行的另一图像处理方法1200。
在步骤S1201中，获取待处理的图像。
例如，这里的待处理的图像可以是包括组织图像的医学图像。当然，这里的待处理的图像还可以是除了医学图像之外的其他任何合适的图像，本公开对此不作限制。
例如，这里的待处理的图像可以是通过医学影像技术获得的，也可以是通过网络下载的方式获取的，也可以通过其他途径获取的，本公开的实施例对此不作限制。
在步骤S1203中，基于训练好的图像处理模型，对所述待处理的图像执行图像处理操作，以获得具有连通性的处理后的图像，所述处理后的图像中的连通域的数量少于预定阈值。
与图像处理模型400不同，图像处理模型700中的可导区域增长模块700A作为一个特殊的层嵌入在神经网络模块700B的中间层中间。因此，在训练完成后的预测阶段，需要基于整个图像处理模型700来进行图像预测处理。
与训练过程相同，在预测阶段，可导区域增长模块700A用于执行区域增长操作，以获得待处理的图像的连通域特征图像，基于训练好的图像处理模型700对待处理的图像执行图像处理操作则是至少基于待处理的图像的连通域特征图像进行的。
例如，可导区域增长模块700A执行区域增长操作以获得待处理的图像的连通域特征图像包括：接收输入图像和种子函数，输入图像是深度学习网络模块700B的中间层针对待处理的图像所生成的特征图像；基于输入图像对种子函数执行最大池化膨胀操作；将最大池化膨胀操作后的种子函数与输入图像执行结合操作；重复上述步骤直到达到迭代次数阈值，得到种子函数的区域增长结果，以作为待处理的图像的连通域特征图像。
例如，图像处理模型700对待处理的图像执行图像处理操作包括：将第一中间层针对待处理的图像生成的第一特征图像作为输入图像输入到可导区域增长模块700A；利用可导区域增长模块700A，基于输入图像和种子函数执行区域增长操作，得到种子函数的区域增长结果，以作为待处理的图像的连通域特征图像；将连通域特征图像输入到第二中间层以与第二中间层所生成的第二特征图像进行融合；利用深度学习网络模块700B，基于所融合的特征图像执行图像预测，以获得具有连通性的处理后的图像。
同样，由于传统的用于图像处理的深度学习网络模块是在像素级别的基础上进行的图像处理，往往忽略了区域的连通性，其输出的预测结果中会出现断开的像素点或像素区域。例如，理想情况下的预测结果中连通域个数应该是1，传统的用于图像处理的深度学习网络模块所得到的预测结果中连通域个数则可能大概是50-60个。而本公开的基于训练好的图像处理模型700所进行的图像处理可以有效减少连通域个数，例如减少到20-30个。
图13示出了根据本公开实施例的图像处理模型的训练装置1300，具体包括图像获取部件1301和训练部件1303。
图像获取部件1301用于获取训练数据集，所述训练数据集包括多个样本图像和与每一个样本图像对应的真实标签图像。训练部件1303用于基于所述训练数据集，对所述图像处理模型进行训练，以获得训练完成的图像处理模型。其中，图像处理模型由可导区域增长模块和用于执行图像处理的深度学习网络模块连接构成，可导区域增长模块用于执行区域增长操作，以获得样本图像的连通域特征图像，并且其中，对图像处理模型进行训练是至少基于该连通域特征图像进行的。
图14示出了根据本公开实施例的图像处理装置1400的结构示意图。该图像处理装置1400至少包括图像获取部件1401、处理部件1403和输出部件1405。
本公开实施例中，图像获取部件1401、处理部件1403和输出部件1405为相关的医疗器械，可以集成在同一医疗器械中，也可以分为多个设备，相互连接通信，组成一个医疗系统来使用等，例如针对消化道疾病诊断，图像获取部件1401可以为内镜，处理部件1403和输出部件1405可以为与内镜相通信的计算机组件等。
具体地，图像获取部件1401用于获取待处理的图像。处理部件1403例如用于执行图11或图12所示的图像处理方法的步骤。例如，在图像处理模型为如图4所述的图像处理模型400的结构时，处理部件1403可以基于训练好的图像处理模型中的深度学习网络模块，对所述待处理的图像执行图像处理操作，以获得具有连通性的处理后的图像，所述处理后的图像中的连通域的数量少于预定阈值。又例如，在图像处理模型为如图7所述的图像处理模型700的结构时，处理部件1403可以基于训练好的图像处理模型，对所述待处理的图像执行图像处理操作，以获得具有连通性的处理后的图像，所述处理后的图像中的连通域的数量少于预定阈值。输出部件1303用于输出所述具有连通性的处理后的图像。
基于上述实施例，本公开实施例中还提供了另一示例性实施方式的电子设备。在一些可能的实施方式中，本公开实施例中电子设备可以包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行程序时可以实现上述实施例中图像处理模型训练方法或内窥镜图像识别方法的步骤。
例如，以电子设备为本公开图1中的服务器100为例进行说明，则该电子设备中的处理器即为服务器100中的处理器110，该电子设备中的存储器即为服务器100中的存储器120。
本公开的实施例还提供了一种计算机可读存储介质。图15示出了根据本公开的实施例的存储介质的示意图1500。如图15所示，所述计算机可读存储介质1500上存储有计算机可执行指令1501。当所述计算机可执行指令1501由处理器运行时，可以执行参照以上附图描述的根据本公开实施例的基于对比学习的内窥镜图像特征学习模型的训练方法和图像处理方法。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
本公开的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行根据本公开实施例的基于对比学习的内窥镜图像特征学习模型的训练方法和图像处理方法。
本领域技术人员能够理解，本公开所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。
此外，虽然本公开对根据本公开的实施例的系统中的某些单元做出了各种引用，然而，任何数量的不同单元可以被使用并运行在客户端和/或服务器上。所述单元仅是说明性的，并且所述系统和方法的不同方面可以使用不同单元。
本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的如果干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。

Claims (10)

1.一种图像处理模型的训练方法，所述方法包括：
获取训练数据集，所述训练数据集包括多个样本图像和与每一个样本图像对应的真实标签图像；以及
基于所述训练数据集，对所述图像处理模型进行训练，以获得训练完成的图像处理模型，
其中，所述图像处理模型由可导区域增长模块和用于执行图像处理的深度学习网络模块连接构成，所述可导区域增长模块用于执行区域增长操作，以获得样本图像的连通域特征图像，
其中，对所述图像处理模型进行训练是至少基于所述连通域特征图像进行的。
2.根据权利要求1所述的方法，其中，所述可导区域增长模块执行区域增长操作以获得样本图像的连通域特征图像包括：
接收输入图像和种子函数，所述输入图像是所述深度学习网络模块的中间层针对所述样本图像所生成的特征图像、所述深度学习网络模块的输出层针对所述样本图像所生成的预测结果图像、以及所述样本图像的真实标签图像中的一个；
基于所述输入图像对所述种子函数执行最大池化膨胀操作；
将最大池化膨胀操作后的种子函数与所述输入图像执行结合操作；
重复上述步骤直到达到迭代次数阈值，得到所述种子函数的区域增长结果，以作为所述样本图像的连通域特征图像。
3.根据权利要求2所述的方法，其中，所述结合操作包括以下中的任意一项：
将所述最大池化膨胀操作后的种子函数中的每个像素点与所述输入图像中的对应像素点进行相乘操作；以及
将所述最大池化膨胀操作后的种子函数中的每个像素点与所述输入图像中的对应像素点进行取最小值操作。
4.根据权利要求2-3中任一项所述的方法，其中，所述可导区域增长模块连接在所述深度学习网络模块的输出层之后，其中，对所述图像处理模型进行训练包括：
利用所述深度学习网络模块对样本图像进行图像处理，并从所述输出层输出所述预测结果图像；
将所述预测结果图像作为第一输入图像输入到所述可导区域增长模块；
将所述样本图像的真实标签图像作为第二输入图像输入到所述可导区域增长模块；
利用所述可导区域增长模块，基于所述第一输入图像和所述种子函数执行区域增长操作，得到所述种子函数的第一区域增长结果，以作为所述样本图像的第一连通域特征图像；
利用所述可导区域增长模块，基于所述第二输入图像和所述种子函数执行区域增长操作，得到所述种子函数的第二区域增长结果，以作为所述样本图像的第二连通域特征图像；以及
基于所述第一连通域特征图像和所述第二连通域特征图像，计算目标损失函数值，并基于所述目标损失函数值调整所述深度学习网络模块的参数。
5.根据权利要求4所述的方法，其中，所述目标损失函数为如下定义的损失函数Lc：
Lc＝1-softcoDice (2)
其中，X表示真实标签图像，Y表示预测结果图像，S为种子函数，g(X,S)为所述第一连通域特征图像，g(Y,S)为所述第二连通域特征图像，以及
所述损失函数Lc对不连通域产生更重的惩罚。
6.根据权利要求4所述的方法，其中，所述种子函数是基于等间距策略、池化反池化策略和断点池化策略中的任意一个所生成的。
7.根据权利要求6所述的方法，其中，基于所述等间距策略生成种子函数包括：
构建与样本图像相同维度的图像，将所述图像中预定间隔的像素点设置为种子点，并将其余像素点设置为背景像素，并将设置后的所述图像作为种子函数。
8.根据权利要求6所述的方法，其中，基于所述池化反池化策略生成种子函数包括：
对所述真实标签图像执行最大池化操作以获取一个或多个局部最大值；
对最大池化操作后的结果图像进行反池化操作以恢复所述一个或多个局部最大值在所述真实标签图像中的实际位置，并将反池化操作后的结果图像作为种子函数。
9.根据权利要求6所述的方法，其中，基于所述断点池化策略生成种子函数包括：
将所述预测结果图像和所述真实标签图像相减；
对相减后的图像执行所述最大池化膨胀操作；
将执行所述最大池化膨胀操作后得到的图像与所述预测结果图像相乘，以得到交叉点图像；以及
对所述交叉点图像执行最大池化操作以获取一个或多个局部最大值；
对最大池化操作后的结果图像进行反池化操作以恢复所述一个或多个局部最大值在所述交叉点图像中的实际位置，并将反池化操作后的结果图像作为种子函数。
10.根据权利要求2-3中任一项所述的方法，其中，所述可导区域增长模块的输入端连接到所述深度学习网络模块的第一中间层并且所述可导区域增长模块的输出端连接到不同于所述第一中间层的第二中间层，以及，
对所述图像处理模型进行训练包括：
将所述第一中间层所生成的第一特征图像作为第三输入图像输入到所述可导区域增长模块；
利用所述可导区域增长模块，基于所述第三输入图像和所述种子函数执行区域增长操作，得到所述种子函数的第三区域增长结果，以作为所述样本图像的第三连通域特征图像；
将所述第三连通域特征图像输入到所述第二中间层以与所述第二中间层所生成的第二特征图像进行融合；
利用所述深度学习网络模块，基于所融合的特征图像执行图像处理预测；
基于预测结果计算目标损失函数值；以及
基于所述目标损失函数值调整所述深度学习网络模块的参数。
CN202210626310.9A 2022-06-02 2022-06-02 图像处理模型的训练方法、图像处理方法及装置 Pending CN117237260A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210626310.9A CN117237260A (zh) 2022-06-02 2022-06-02 图像处理模型的训练方法、图像处理方法及装置
PCT/CN2023/097972 WO2023232137A1 (zh) 2022-06-02 2023-06-02 图像处理模型的训练方法、图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210626310.9A CN117237260A (zh) 2022-06-02 2022-06-02 图像处理模型的训练方法、图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN117237260A true CN117237260A (zh) 2023-12-15

Family

ID=89025710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210626310.9A Pending CN117237260A (zh) 2022-06-02 2022-06-02 图像处理模型的训练方法、图像处理方法及装置

Country Status (2)

Country Link
CN (1) CN117237260A (zh)
WO (1) WO2023232137A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118279705B (zh) * 2024-05-31 2024-08-16 浙江大华技术股份有限公司 目标识别方法、商品识别方法、设备以及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815563B (zh) * 2020-06-10 2024-04-09 重庆贝奥新视野医疗设备有限公司 一种U-Net与区域增长PCNN相结合的视网膜视盘分割方法
WO2022087853A1 (zh) * 2020-10-27 2022-05-05 深圳市深光粟科技有限公司 一种图像分割方法、装置及计算机可读存储介质
CN114092439A (zh) * 2021-11-18 2022-02-25 深圳大学 一种多器官实例分割方法及系统
CN114298971A (zh) * 2021-11-23 2022-04-08 中国科学院深圳先进技术研究院 一种冠状动脉分割方法、系统、终端以及存储介质

Also Published As

Publication number Publication date
WO2023232137A1 (zh) 2023-12-07

Similar Documents

Publication Publication Date Title
Shin et al. Deep vessel segmentation by learning graphical connectivity
CN113706526B (zh) 内窥镜图像特征学习模型、分类模型的训练方法和装置
Yeung et al. Focus U-Net: A novel dual attention-gated CNN for polyp segmentation during colonoscopy
Wang et al. Depth upsampling based on deep edge-aware learning
CN111028242A (zh) 一种肿瘤自动分割系统、方法及电子设备
Gridach PyDiNet: Pyramid dilated network for medical image segmentation
CN112602114B (zh) 图像处理方法及装置、神经网络及训练方法、存储介质
Fang et al. Abc-net: Area-boundary constraint network with dynamical feature selection for colorectal polyp segmentation
CN111368849B (zh) 图像处理方法、装置、电子设备及存储介质
CN113436173B (zh) 基于边缘感知的腹部多器官分割建模、分割方法及系统
CN114897780B (zh) 一种基于mip序列的肠系膜上动脉血管重建方法
Cheng et al. DDU-Net: A dual dense U-structure network for medical image segmentation
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
CN113554665A (zh) 一种血管分割方法及装置
CN117495876B (zh) 基于深度学习的冠状动脉图像分割方法及系统
CN114066904A (zh) 一种基于深度学习的皮肤病变图像分割方法、设备及存储介质
Cao et al. Edge and neighborhood guidance network for 2D medical image segmentation
WO2023232137A1 (zh) 图像处理模型的训练方法、图像处理方法及装置
Qamar et al. Multi stream 3D hyper-densely connected network for multi modality isointense infant brain MRI segmentation
CN113781489A (zh) 一种息肉影像语义分割方法及装置
Wang et al. PaI‐Net: A modified U‐Net of reducing semantic gap for surgical instrument segmentation
CN113284079B (zh) 一种多模态医学图像融合方法
CN118229974A (zh) 一种基于分割一切模型的医学图像快速分割方法
CN116935051B (zh) 一种息肉分割网络方法、系统、电子设备及存储介质
Doc et al. DualA-Net: A generalizable and adaptive network with dual-branch encoder for medical image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication