CN112785575B - 一种图像处理的方法、装置和存储介质 - Google Patents

一种图像处理的方法、装置和存储介质 Download PDF

Info

Publication number
CN112785575B
CN112785575B CN202110095599.1A CN202110095599A CN112785575B CN 112785575 B CN112785575 B CN 112785575B CN 202110095599 A CN202110095599 A CN 202110095599A CN 112785575 B CN112785575 B CN 112785575B
Authority
CN
China
Prior art keywords
image
segmentation
model
trained
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110095599.1A
Other languages
English (en)
Other versions
CN112785575A (zh
Inventor
黄高
杜超群
宋士吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110095599.1A priority Critical patent/CN112785575B/zh
Publication of CN112785575A publication Critical patent/CN112785575A/zh
Priority to US17/562,945 priority patent/US20220237883A1/en
Application granted granted Critical
Publication of CN112785575B publication Critical patent/CN112785575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理的方法、装置和存储介质，具体为首先获取待训练图像样本和待训练图像样本对应的标签分割图像，将待训练图像样本输入待训练的图像分割模型，在通过图像分割模型对待训练图像样本进行提取时图像分割模型中最末输出层的第一图像特征和倒数第二输出层的第二图像特征，输出对应的分割图像样本，基于标签分割图像和分割图像样本，计算模型损失函数，并对模型参数进行优化，生成优化后的图像分割模型，将获取的待处理图像输入优化后的图像分割模型，生成待处理图像对应的分割图像。本申请实施例通过引入多层解码输出特征，进一步地提高隐层特征的质量，增加分割精度，有效地降低了分割误差，提升了模型的识别效率和识别准确率。

Description

一种图像处理的方法、装置和存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像处理的方法、装置和存储介质。
背景技术
医学影像诊断是指通过某种物理介质的非侵入作用，如电磁波、超声波等，获取人体内部影像数据，如CT方法为获取人体内部密度数据，从而对人体健康状况进行评价。医生一般在临床实践上结合医学影像和常规疾病检查方法做出最终医学诊断。对于现代医学而言，医学影像诊断手段已成为临床诊断中必不可少的一环，因此解读医学影像数据成为了医生的一项重要且关键的工作。
但医学影像诊断对分割精度和稳定性的要求较高，所以目前解读医学影像数据的工作依然依靠经验丰富的影像医生进行解读这种诊断方式的诊断结果易受医生个人经验及能力限制，在处理较大规模的数据时受疲劳影响准确率难以保证，而且医学影像数据结构复杂，导致了人工诊断的误诊率非常之高。
发明内容
本申请实施例提供了一种图像处理的方法，克服了图像分割精确度较低的问题。
该方法包括：
获取至少一个待训练图像样本和所述待训练图像样本对应的标签分割图像；
将所述待训练图像样本输入待训练的图像分割模型，在通过所述图像分割模型对所述待训练图像样本进行提取时所述图像分割模型中最末输出层的第一图像特征和倒数第二输出层的第二图像特征，并基于所述第一图像特征和所述第二图像特征分别输出对应的分割图像样本；
基于所述标签分割图像和所述分割图像样本，计算所述图像分割模型的模型损失函数，并利用所述模型损失函数对所述图像分割模型中的模型参数进行优化，生成优化后的所述图像分割模型；
将获取的待处理图像输入优化后的所述图像分割模型，生成所述待处理图像对应的分割图像。
可选地，利用卷积核为第一数值的卷积操作分别将所述第一图像特征和所述第二图像特征的通道维度调整至预设通道维度数值。
可选地，对所述标签分割图像进行最大池化操作，将所述标签分割图像的包含所述通道维度的图像尺度调整至包含所述预设通道维度数值的预设图像尺度。
可选地，计算经过所述最大池化操作后的至少一个所述标签分割图像和对应的所述分割图像样本之间的交叉熵损失，并将获取的预设数量个所述交叉熵损失的和的平均值作为所述图像分割模型的所述模型损失函数。
可选地，初始化所述图像分割模型中的所述模型参数和训练代数；
对所述模型损失函数进行反向求导，基于反向求导后的与所述模型损失函数对应的梯度更新所述模型参数，并累计更新次数到所述训练代数；
重复执行所述获取至少一个待训练图像样本和所述待训练图像样本对应的标签分割图像的步骤至所述基于反向求导后的与所述模型损失函数对应的梯度更新所述模型参数的步骤，直至当前所述训练代数大于总训练代数，停止优化并保存当前优化后的所述图像分割模型。
在本发明的另一个实施例中，提供了一种图像处理的装置，该装置包括：
获取模块，用于获取至少一个待训练图像样本和所述待训练图像样本对应的标签分割图像；
提取模块，用于将所述待训练图像样本输入待训练的图像分割模型，在通过所述图像分割模型对所述待训练图像样本进行提取时所述图像分割模型中最末输出层的第一图像特征和倒数第二输出层的第二图像特征，并基于所述第一图像特征和所述第二图像特征分别输出对应的分割图像样本；
训练模块，用于基于所述标签分割图像和所述分割图像样本，计算所述图像分割模型的模型损失函数，并利用所述模型损失函数对所述图像分割模型中的模型参数进行优化，生成优化后的所述图像分割模型；
生成模块，用于将获取的待处理图像输入优化后的所述图像分割模型，生成所述待处理图像对应的分割图像。
可选地，所述提取模块还用于：
利用卷积核为第一数值的卷积操作分别将所述第一图像特征和所述第二图像特征的通道维度调整至预设通道维度数值。
可选地，所述装置还包括：
池化模块，用于对所述标签分割图像进行最大池化操作，将所述标签分割图像的包含所述通道维度的图像尺度调整至包含所述预设通道维度数值的预设图像尺度。
在本发明的另一个实施例中，提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行上述一种图像处理的方法中的各个步骤。
在本发明的另一个实施例中，提供了一种终端设备，包括处理器，所述处理器用于执行上述一种图像处理的方法中的各个步骤。
基于上述实施例，首先获取至少一个待训练图像样本和待训练图像样本对应的标签分割图像，其次，将待训练图像样本输入待训练的图像分割模型，在通过图像分割模型对待训练图像样本进行提取时图像分割模型中最末输出层的第一图像特征和倒数第二输出层的第二图像特征，并基于第一图像特征和第二图像特征分别输出对应的分割图像样本，进一步地，基于标签分割图像和分割图像样本，计算图像分割模型的模型损失函数，并利用模型损失函数对图像分割模型中的模型参数进行优化，生成优化后的图像分割模型，最后，将获取的待处理图像输入优化后的图像分割模型，生成待处理图像对应的分割图像。本申请实施例通过引入多层解码输出特征，进一步地提高隐层特征的质量，增加分割精度，在不增加推理时间及计算量的前提下，有效地降低了分割误差，提升了模型的识别效率和识别准确率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了为本申请实施例100所提供的一种图像处理的方法的流程示意图；
图2示出了本申请实施例200提供的一种图像处理的方法的具体流程的示意图；
图3示出了本申请实施例300还提供一种图像处理的装置的示意图；
图4示出了本申请实施例400所提供的一种终端设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
基于现有技术中的问题，本申请实施例提供了一种图像处理的方法，主要适用于计算机技术领域，尤其适用于医学影像分析方法技术领域中。基于深度学习算法并利用深监督方法对待训练图像进行图像分割如电子计算机断层扫描进行病灶分割，在待训练的图像分割模型中引入恰当的隐层辅助损失函数，其通过在隐层适当地利用辅助分类器作为特征质量的反馈，直接影响隐层权重的更新，提高隐层特征质量，显著降低测试误差，获得分割精度更高的结果，以实现一种图像处理的方法。以下几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。如图1所示，为本申请实施例100提供的一种图像处理的方法的流程示意图。其中，详细步骤如下：
步骤S11，获取至少一个待训练图像样本和待训练图像样本对应的标签分割图像。
本步骤中，本申请实施例中获取的标签分割图像为与待训练图像样本对应的真实值，标签分割图像作为待训练图像样本的训练标签参与图像分割模型的训练。
步骤S12，将待训练图像样本输入待训练的图像分割模型，在通过图像分割模型对待训练图像样本进行提取时图像分割模型中最末输出层的第一图像特征和倒数第二输出层的第二图像特征，并基于第一图像特征和第二图像特征分别输出对应的分割图像样本。
本步骤中，本申请实施例中的图像分割模型使用Unet模型作为基本架构,其中图像分割模型的模型参数为Θ，将前述获取的至少一个待训练图像样本xi作为图像分割模型的输入，依次经过图像分割模型内部的编码器和解码器，在通过图像分割模型对待训练图像样本进行提取时图像分割模型中最末输出层的第一图像特征和倒数第二输出层的第二图像特征。进一步地，通过softmax激活函数沿通道维度逐像素归一化，激活最大值，抑制其他较小值等处理，分别生成与第一图像特征和第二图像特征对应的分割图像样本。其中，分割图像样本为基于图像特征预测的分割概率图。
步骤S13，基于标签分割图像和分割图像样本，计算图像分割模型的模型损失函数，并利用模型损失函数对图像分割模型中的模型参数进行优化，生成优化后的图像分割模型。
本步骤中，利用作为真实值的标签分割图像与预测出的分割图像样本计算图像分割模型的模型损失函数。进一步地，对模型损失函数进行反向求导，利用反向求导后的参数梯度优化模型参数，并基于优化后的模型参数生成优化后的图像分割模型。
步骤S14，将获取的待处理图像输入优化后的图像分割模型，生成待处理图像对应的分割图像。
本步骤中，基于前述训练完成的图像分割模型，对需要进行预测的待处理图像进行处理，生成待处理图像对应的分割图像。
如上所述，基于上述实施例，首先获取至少一个待训练图像样本和待训练图像样本对应的标签分割图像，其次，将待训练图像样本输入待训练的图像分割模型，在通过图像分割模型对待训练图像样本进行提取时图像分割模型中最末输出层的第一图像特征和倒数第二输出层的第二图像特征，并基于第一图像特征和第二图像特征分别输出对应的分割图像样本，进一步地，基于标签分割图像和分割图像样本，计算图像分割模型的模型损失函数，并利用模型损失函数对图像分割模型中的模型参数进行优化，生成优化后的图像分割模型，最后，将获取的待处理图像输入优化后的图像分割模型，生成待处理图像对应的分割图像。本申请实施例通过引入多层解码输出特征，进一步地提高隐层特征的质量，增加分割精度，在不增加推理时间及计算量的前提下，有效地降低了分割误差，提升了模型的识别效率和识别准确率。
如图2所示，为本申请实施例200提供的一种图像处理的方法的具体流程的示意图。其中，以医学影像分析方法技术领域为例，该具体流程的详细过程如下：
S201，获取至少一个待训练图像样本和所述待训练图像样本对应的标签分割图像。
这里，本申请实施例中的待训练图像样本以从医院或相关单位采集多个患者的脑部CT图像数据为例，其中第i位患者的数据记为待训练图像样本xi，其中，xi为一个C×H×W的三维矩阵，H和W分别为待训练图像样本xi的高度和宽度，C为待训练图像样本xi的通道数。每个待训练图像样本xi与一个作为真实值的标签分割图像yi相对应。其中，yi为一个K×H×W的三维矩阵，每个元素取值为0或1，由专业医生标注，用于标明患者所患何种疾病，其中K为考虑范围内的疾病种类数，0代表不患病，1代表患病，即第K个通道标注为1处代表患者在该处患有第K种疾病,标注为0处代表患者不患病。
S202，构建待训练的图像分割模型。
本步骤中，建立一个骨干神经网络作为图像分割模型。该图像分割模型的整体结构按照UNet分割网络的规则设计。其中，设置模型参数为Θ。
S203，将待训练图像样本输入待训练的图像分割模型，获取第一图像特征和第二图像特征。
这里，将待训练图像样本输入待训练的图像分割模型，在通过图像分割模型提取的与待训练图像样本对应的输出序列中选取最末序列位的第一图像特征和倒数第二序列位的第二图像特征。具体地，将前述步骤获取的第i位患者的待训练图像样本xi作为该图像分割模型的输入，依次通过图像分割模型中的编码器与解码器。通过解码器的最末输出层输出第一图像特征，以及通过倒数第二输出层输出第二图像特征。其中，设第一图像特征和第二图像特征为{Zj,j＝M-1,M}，ZM-1和ZM分别为第一图像特征和第二图像特征。Zj的维度为c×h×w，c为通道维度，特征的通道维度通常不为1，h和w为特征的高度及宽度。这里，使用获取的两个输出特征参与后续的图像预测，提升模型预测的准确度。
S204，基于第一图像特征和第二图像特征分别输出对应的分割图像样本。
这里，利用卷积核为第一数值的卷积操作分别将第一图像特征和第二图像特征的通道维度调整至预设通道维度数值。具体地，在该分割网络模型中的神经网络基础上，利用卷积核为第一数值如1*1的卷积操作对特征通道维度线性叠加，额外调整Zj的通道维度至K，使得Zj的图像尺度为K×h×w。
进一步地，对标签分割图像进行最大池化操作，将标签分割图像的包含通道维度的图像尺度调整至包含预设通道维度数值的预设图像尺度。具体地，通过softmax激活函数沿通道维度逐像素归一化，激活最大值，抑制其他较小值。其中，{pj}表示Zj所预测的分割图像样本的集合。为了后续模型损失函数的计算，利用最大池化操作(MaxPool)调整标签分割图像yi的图像尺度分别至预设图像尺度。本申请实施例中的预设通道维度数值为Zj的对应图像尺度，即预设图像尺度K×h×w中的预设通道维度数值K。这里，将表示真实标签的标签分割图像缩小至Zj尺寸可作为一个低水平的先验，能够更好地引导模型训练，加快模型的收敛速度，提升模型的准确度。
S205，基于标签分割图像和分割图像样本，计算图像分割模型的模型损失函数。
本步骤中，计算经过最大池化操作后的至少一个标签分割图像和对应的分割图像样本之间的交叉熵损失，并将获取的预设数量个交叉熵损失的和的平均值作为图像分割模型的模型损失函数。具体地，随机在获取的待训练图像样本中取出B个待训练图像样本xi，记为x1,x2,…,xB，对应的标签分割图像yi为y1,y2,…,yB。将B个数据输入待训练的分割图像模型，得到B个对应的分割图像样本{pj}i。利用Focal Loss损失函数(记为l)，得到一个标签分割图像和对应的第一图像特征和第二图像特征分别生成的分割图像样本之间的交叉熵损失为：
Figure BDA0002914052690000071
进一步地，基于获取的预设数量个B个交叉熵损失的和的平均值得到图像分割模型的模型损失函数为：
Figure BDA0002914052690000072
S206，对图像分割模型中的模型参数进行优化。
本步骤中，初始化图像分割模型中的模型参数和训练代数，以及对模型损失函数进行反向求导，基于反向求导后的与模型损失函数对应的梯度更新模型参数，并累计更新次数到训练代数。进一步地，重复执行获取至少一个待训练图像样本和待训练图像样本对应的标签分割图像的步骤至基于反向求导后的与模型损失函数对应的梯度更新模型参数的步骤，直至当前训练代数大于总训练代数，停止优化并保存当前优化后的图像分割模型。
具体地，以Xavier初始化方法均匀初始化对分割图像模型中的模型参数Θ，同时设训练代数t＝0,并设定总训练代数E。进一步地，对模型损失函数L进行反向求导，得到L对模型参数Θ的偏导数
Figure BDA0002914052690000073
以Adam优化方法进行梯度反向传播并更新模型参数。每优化一次模型参数，令训练代数t＝t+1,并对t进行判断是否满足训练终止条件：若t≤E，则重复执行获取至少一个待训练图像样本和待训练图像样本对应的标签分割图像的步骤至基于反向求导后的与模型损失函数对应的梯度更新模型参数的步骤；若t>E，则得到优化后的模型参数Θ所确定的图像分割模型。
S207，生成优化后的图像分割模型。
S208，利用优化后的图像分割模型进行图像处理。
这里，将获取的待处理图像输入优化后的图像分割模型，生成所处理图像对应的分割图像。如将待检测患者的CT影像xi输入优化后的图像分割模型中，得到分割图像pM。进一步地，对其进行round函数运算得到0-1分割图，得到最终与待处理图像对应的二值化分割图像。
本申请实施例中的一种图像处理的方法，对已有的Unet模型进行改进训练图像分割模型，通过引入深监督方法，进一步地提高隐层特征的质量，增加分割精度，在不增加推理时间及计算量的前提下，有效地降低了分割误差，提高了图像分割的准确率。
进一步地，本申请实施例中的图像处理方案主要适用于医学影像分析领域，针对医学影像诊断技术的难点，即医学影像诊断对分割精度和稳定性的要求较高，以目前解读医学影像数据的工作依然依靠经验丰富的影像医生进行解读这种诊断方式的诊断结果易受医生个人经验及能力限制，在处理较大规模的数据时受疲劳影响准确率难以保证，而且医学影像数据结构复杂，导致了人工诊断的误诊率非常之高的问题。本申请实施例基于在分类任务中的深监督方法的优异性能，在图像分割模型中引入恰当的隐层辅助损失函数，其通过在隐层适当地利用辅助分类器作为特征质量的反馈，直接影响隐层权重的更新，提高隐层特征质量，显著降低测试误差。在现有深监督方法的基础上基于编码解码语义分割网络提出了一种下采样深监督方法，利用下采样后的标签真值作为深监督的目标，与遵循了尺度上的解码规律。深监督方法作为一种特殊的正则化方法在推断时并不增加任何额外的计算，下采样深监督方法有效地提升了隐层特征的质量，使得深度神经网络在训练过程中能过学习到更多尺度的信息并且可以加快训练速度，减弱梯度消失现象，有利于特征的学习，进而显著提高病灶分割模型的分割精度和稳定性，有效提升诊断效果。
另外，本申请实施例中的图像分割模型是基于标准Unet网络的改进，增加了深监督模块，该模块可推广至其它分割模型，是一种有效的即插即用模块，具有广泛的适用性，能够在基础模型上显著提高分割精度和稳定性。
基于同一发明构思，本申请实施例300还提供一种图像处理的装置，其中，如图3所示，该装置包括：
获取模块31，用于获取至少一个待训练图像样本和待训练图像样本对应的标签分割图像；
提取模块32，用于将待训练图像样本输入待训练的图像分割模型，在通过图像分割模型对待训练图像样本进行提取时图像分割模型中最末输出层的第一图像特征和倒数第二输出层的第二图像特征，并基于第一图像特征和第二图像特征分别输出对应的分割图像样本；
训练模块33，用于基于标签分割图像和所述分割图像样本，计算图像分割模型的模型损失函数，并利用模型损失函数对图像分割模型中的模型参数进行优化，生成优化后的图像分割模型；
生成模块34，用于将获取的待处理图像输入优化后的图像分割模型，生成待处理图像对应的分割图像。
本实施例中，获取模块31、提取模块32、训练模块33和生成模块34的具体功能和交互方式，可参见图1对应的实施例的记载，在此不再赘述。
可选地，提取模块32还用于：
利用卷积核为第一数值的卷积操作分别将第一图像特征和第二图像特征的通道维度调整至预设通道维度数值。
可选地，该装置还包括：
池化模块35，用于对标签分割图像进行最大池化操作，将标签分割图像的包含通道维度的图像尺度调整至包含预设通道维度数值的预设图像尺度。
如图4所示，本申请的又一实施例400还提供一种终端设备，包括处理器401，其中，处理器401用于执行上述一种图像处理的方法的步骤。从图4中还可以看出，上述实施例提供的终端设备还包括非瞬时计算机可读存储介质402，该非瞬时计算机可读存储介质402上存储有计算机程序，该计算机程序被处理器401运行时执行上述一种图像处理的方法的步骤。实际应用中，该终端设备可以是一台或多台计算机，只要包括上述计算机可读介质和处理器即可。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘和FLASH等，该存储介质上的计算机程序被运行时，能够执行上述的一种图像处理的方法中的各个步骤。实际应用中，所述的计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或多个程序被执行时，能够执行上述的一种图像处理的方法中的各个步骤。
根据本申请公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本申请保护的范围。在本申请公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
本申请附图中的流程图和框图，示出了按照本申请公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同附图中所标注的顺序发生。例如，两个连接地表示的方框实际上可以基本并行地执行，它们有时也可以按照相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或者流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本申请中。特别地，在不脱离本申请精神和教导的情况下，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本申请公开的范围。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行变更或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些变更、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.一种图像处理的方法，其特征在于，包括：
获取至少一个待训练图像样本和所述待训练图像样本对应的标签分割图像；
将所述待训练图像样本输入待训练的图像分割模型，通过所述图像分割模型对所述待训练图像样本提取所述图像分割模型中最末输出层的第一图像特征和倒数第二输出层的第二图像特征，并基于所述第一图像特征和所述第二图像特征分别输出对应的分割图像样本；
基于所述标签分割图像和所述分割图像样本，计算所述图像分割模型的模型损失函数，并利用所述模型损失函数对所述图像分割模型中的模型参数进行优化，生成优化后的所述图像分割模型；
将获取的待处理图像输入优化后的所述图像分割模型，生成所述待处理图像对应的分割图像；
其中，所述通过所述图像分割模型对所述待训练图像样本提取所述图像分割模型中最末输出层的第一图像特征和倒数第二输出层的第二图像特征的步骤包括：
利用卷积核为第一数值的卷积操作分别将所述第一图像特征和所述第二图像特征的通道维度调整至预设通道维度数值；
其中，在所述并基于所述第一图像特征和所述第二图像特征分别输出对应的分割图像样本的步骤和所述计算所述图像分割模型的损失函数的步骤之间，所述方法进一步包括：
对所述标签分割图像进行最大池化操作，将所述标签分割图像的包含所述通道维度的图像尺度调整至包含所述预设通道维度数值的预设图像尺度。
2.根据权利要求1所述的方法，其特征在于，所述计算所述图像分割模型的模型损失函数的步骤包括：
计算经过所述最大池化操作后的至少一个所述标签分割图像和对应的所述分割图像样本之间的交叉熵损失，并将获取的预设数量个所述交叉熵损失的和的平均值作为所述图像分割模型的所述模型损失函数。
3.根据权利要求2所述的方法，其特征在于，所述并利用所述模型损失函数对所述图像分割模型中的模型参数进行优化的步骤包括：
初始化所述图像分割模型中的所述模型参数和训练代数；
对所述模型损失函数进行反向求导，基于反向求导后的与所述模型损失函数对应的梯度更新所述模型参数，并累计更新次数到所述训练代数；
重复执行所述获取至少一个待训练图像样本和所述待训练图像样本对应的标签分割图像的步骤至所述基于反向求导后的与所述模型损失函数对应的梯度更新所述模型参数的步骤，直至当前所述训练代数大于总训练代数，停止优化并保存当前优化后的所述图像分割模型。
4.一种图像处理的装置，其特征在于，包括：
获取模块，用于获取至少一个待训练图像样本和所述待训练图像样本对应的标签分割图像；
提取模块，用于将所述待训练图像样本输入待训练的图像分割模型，通过所述图像分割模型对所述待训练图像样本提取所述图像分割模型中最末输出层的第一图像特征和倒数第二输出层的第二图像特征，并基于所述第一图像特征和所述第二图像特征分别输出对应的分割图像样本；
训练模块，用于基于所述标签分割图像和所述分割图像样本，计算所述图像分割模型的模型损失函数，并利用所述模型损失函数对所述图像分割模型中的模型参数进行优化，生成优化后的所述图像分割模型；
生成模块，用于将获取的待处理图像输入优化后的所述图像分割模型，生成所述待处理图像对应的分割图像；
其中，
所述提取模块还用于：
利用卷积核为第一数值的卷积操作分别将所述第一图像特征和所述第二图像特征的通道维度调整至预设通道维度数值；
其中，所述装置还包括：
池化模块，用于对所述标签分割图像进行最大池化操作，将所述标签分割图像的包含所述通道维度的图像尺度调整至包含所述预设通道维度数值的预设图像尺度。
5.一种非瞬时计算机可读存储介质，其特征在于，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如权利要求1至3任一项所述的一种图像处理的方法中的各个步骤。
6.一种终端设备，其特征在于，包括处理器，所述处理器用于执行如权利要求1至3中任一项所述的一种图像处理的方法中的各个步骤。
CN202110095599.1A 2021-01-25 2021-01-25 一种图像处理的方法、装置和存储介质 Active CN112785575B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110095599.1A CN112785575B (zh) 2021-01-25 2021-01-25 一种图像处理的方法、装置和存储介质
US17/562,945 US20220237883A1 (en) 2021-01-25 2021-12-27 Image processing method and apparatus and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110095599.1A CN112785575B (zh) 2021-01-25 2021-01-25 一种图像处理的方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN112785575A CN112785575A (zh) 2021-05-11
CN112785575B true CN112785575B (zh) 2022-11-18

Family

ID=75758897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110095599.1A Active CN112785575B (zh) 2021-01-25 2021-01-25 一种图像处理的方法、装置和存储介质

Country Status (2)

Country Link
US (1) US20220237883A1 (zh)
CN (1) CN112785575B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256592B (zh) * 2021-06-07 2021-10-08 中国人民解放军总医院 图像特征提取模型的训练方法、系统及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020199593A1 (zh) * 2019-04-04 2020-10-08 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9098911B2 (en) * 2012-11-01 2015-08-04 Google Inc. Depth map generation from a monoscopic image based on combined depth cues
CN107464250B (zh) * 2017-07-03 2020-12-04 深圳市第二人民医院 基于三维mri图像的乳腺肿瘤自动分割方法
WO2019218136A1 (zh) * 2018-05-15 2019-11-21 深圳大学 图像分割方法、计算机设备和存储介质
US10922816B2 (en) * 2018-08-27 2021-02-16 Siemens Healthcare Gmbh Medical image segmentation from raw data using a deep attention neural network
CN110378943A (zh) * 2019-06-21 2019-10-25 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
US11816870B2 (en) * 2019-08-01 2023-11-14 Boe Technology Group Co., Ltd. Image processing method and device, neural network and training method thereof, storage medium
JP7341241B2 (ja) * 2019-08-30 2023-09-08 株式会社日立ハイテク 計測システム、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する方法、およびコンピュータに、所定の構造を含む半導体の画像計測を行う際に用いる学習モデルを生成する処理を実行させるためのプログラムを格納する記憶媒体
US11580400B1 (en) * 2019-09-27 2023-02-14 Snap Inc. Optimizer based prunner for neural networks
CN110969627B (zh) * 2019-11-29 2024-03-29 北京达佳互联信息技术有限公司 图像分割模型训练方法、图像处理方法及装置
CN111429464B (zh) * 2020-03-11 2023-04-25 深圳先进技术研究院 医学图像分割方法、医学图像分割装置及终端设备
US11887310B2 (en) * 2020-05-15 2024-01-30 Apple Inc. Interactive image segmentation
CN111862127A (zh) * 2020-07-23 2020-10-30 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US11436724B2 (en) * 2020-10-30 2022-09-06 International Business Machines Corporation Lesion detection artificial intelligence pipeline computing system
US20230274418A1 (en) * 2022-02-25 2023-08-31 Siemens Healthcare Gmbh Self-supervised machine learning for medical image reconstruction

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020199593A1 (zh) * 2019-04-04 2020-10-08 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Understanding Convolution for Semantic Segmentation;Panqu Wang, etc.;《2018 IEEE Winter Conference on Applications of Computer Vision》;20180507;全文 *
基于卷积神经网络改进的图像自动分割方法;温佩芝等;《计算机应用研究》;20170901(第09期);全文 *

Also Published As

Publication number Publication date
CN112785575A (zh) 2021-05-11
US20220237883A1 (en) 2022-07-28

Similar Documents

Publication Publication Date Title
CN109949276B (zh) 一种于改进SegNet分割网络的淋巴结检测方法
CN110458833B (zh) 基于人工智能的医学图像处理方法、医学设备和存储介质
CN111161279B (zh) 医学图像分割方法、装置及服务器
Wazir et al. HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images
CN110930378B (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN113256592B (zh) 图像特征提取模型的训练方法、系统及装置
CN113205537A (zh) 基于深度学习的血管图像分割方法、装置、设备及介质
Popescu et al. Retinal blood vessel segmentation using pix2pix gan
CN114419020A (zh) 医学图像分割方法、装置、计算机设备及存储介质
CN114596317A (zh) 一种基于深度学习的ct影像全心脏分割方法
CN111489803B (zh) 基于自回归模型的报告单编码模型生成方法、系统和设备
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
CN112785575B (zh) 一种图像处理的方法、装置和存储介质
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN113298827B (zh) 一种基于DP-Net网络的图像分割方法
CN114224354B (zh) 心律失常分类方法、装置及可读存储介质
Vo et al. Brain tumor segmentation in mri images using a modified u-net model
Lim et al. Automatic artifact detection algorithm in fetal MRI
CN115240843A (zh) 基于结构因果模型的公平性预测系统
Shao et al. Semantic segmentation method of 3D liver image based on contextual attention model
Deng et al. LFU-Net: a lightweight U-net with full skip connections for medical image segmentation
CN112507107A (zh) 术语匹配方法、装置、终端和计算机可读存储介质
CN113223730B (zh) 基于人工智能的疟疾分类方法及设备
CN115578360B (zh) 一种针对超声心动图像的多目标语义分割方法
CN113744279B (zh) 一种基于FAF-Net网络的图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant