CN114863104B - 一种基于标签分布学习的图像分割方法 - Google Patents

一种基于标签分布学习的图像分割方法 Download PDF

Info

Publication number
CN114863104B
CN114863104B CN202210480964.5A CN202210480964A CN114863104B CN 114863104 B CN114863104 B CN 114863104B CN 202210480964 A CN202210480964 A CN 202210480964A CN 114863104 B CN114863104 B CN 114863104B
Authority
CN
China
Prior art keywords
distribution
voxel
image
label
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210480964.5A
Other languages
English (en)
Other versions
CN114863104A (zh
Inventor
王宽全
李向宇
骆功宁
王玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202210480964.5A priority Critical patent/CN114863104B/zh
Publication of CN114863104A publication Critical patent/CN114863104A/zh
Application granted granted Critical
Publication of CN114863104B publication Critical patent/CN114863104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于标签分布学习的图像分割方法，它属于图像处理技术领域。本发明解决了现有方法无法充分利用神经网络中捕捉的先验信息导致分割结果的准确率低，且分割结果边界不连续的问题。本发明首先利用语义分割标签生成多分辨率的标签分布，并在分割网络不同的上采样层加入对应分辨率的标签分布监督，利用标签分布学习的方法训练网络，并得到不同细节的预测区域分布，最后基于上述预测区域分布实现逐像素的稠密分布预测。本发明方法能够充分利用分割网络中生成的先验信息，并能够有效的捕捉边界信息进而促进边界的分割，可以准确且高效地实现图像的语义分割任务，保证了图像分割的准确性。本发明方法可以应用于对图像进行分割。

Description

一种基于标签分布学习的图像分割方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于标签分布学习的图像分割方法。
背景技术
当前，图像语义分割任务在许多应用场景(例如物体识别、自动驾驶、计算机辅助诊断等)中具有重要的作用。图像语义分割主要是对于给定的图像，对图像的每一个像素进行分类进而得到整张图像的稠密分割结果，实现对于图像/场景的解析。现有基于深度学习的图像语义分割方法无法充分利用神经网络中捕捉的先验信息并且分割结果边界存在不连续等问题。因此急需开发一种全自动的图像分割算法，该方法能够更好的利用神经网络中捕捉到的先验信息进而提高分割结果的准确性，并且能够解决分割结果边界不连续等问题。
发明内容
本发明的目的是为解决现有方法无法充分利用神经网络中捕捉的先验信息导致分割结果的准确率低，且分割结果边界不连续的问题，而提出一种基于标签分布学习的图像分割方法。
本发明为解决上述技术问题所采取的技术方案是：
一种基于标签分布学习的图像分割方法，所述方法具体包括以下步骤：
步骤S1、对训练图像进行预处理操作，获得预处理后的训练图像；
步骤S2、根据训练图像的分割标签分别生成各分辨率下的标签分布；
步骤S3、将训练图像输入编解码分割网络的编码器部分进行特征提取处理，通过编码器部分的各下采样层分别输出各尺度的特征图；
步骤S4、编码器部分的最后一个下采样层输出的特征图通过上采样获得上采样后的特征图；
步骤S5、上采样后的特征图经过Softmax层后得到预测区域分布；
通过最小化预测区域分布与对应分辨率下的标签分布之间的KL散度误差来训练网络的参数；
其中，W表示预测区域分布的宽，H表示预测区域分布的高，D表示预测区域分布的深；M表示预测区域分布中所有的体素数量，M＝W×H×D，表示在体素(i,j,k)位置的目标标签分布，/>表示在体素(i,j,k)位置的预测区域分布，表示/>与/>之间的KL散度；
步骤S6、利用步骤S5中得到的预测区域分布，通过逐体素求取信息熵来获取预测区域的边界先验；
步骤S7、将预测区域分布、边界先验以及上采样之前的特征图作为先验感知模块的输入，得到最终的特征表示；
步骤S8、将倒数第二个下采样层输出的特征图与步骤S7得到的最终特征进行融合，将融合结果作为下一个上采样层的输入特征图；
步骤S9、共执行三次步骤S5至步骤S8的过程，将最后一次执行步骤S8时所获得的融合结果作为最后一个上采样层的输入特征图；
步骤S10、将最后一个上采样层的输出结果通过Softmax层得到逐体素的预测概率；
步骤S11、利用步骤S10中得到的逐体素预测概率与训练图像的分割标签进行监督学习，训练网络参数；
步骤S12、对待分割图像进行预处理操作后，利用训练好的网络参数对预处理后的待分割图像进行分割。
进一步地，所述步骤S1中对训练图像进行预处理操作，预处理操作包括数据标准化和图像裁剪。
进一步地，所述步骤S2的具体过程为：
步骤S21、给定一个体素块大小，按照给定的体素块大小并采用滑动窗口方法对训练图像进行标签频率统计，获得训练图像在当前分辨率下的标签分布；
步骤S22、调整体素块大小，再重复步骤S21的过程，获得训练图像在各分辨率下的标签分布。
进一步地，所述标签频率统计的具体方法为：
其中，Bn代表训练图像中的一个体素块，|Bn|代表体素块Bn中体素的个数，yijk是体素块Bn中(i,j,k)位置的标签，c∈[0,Nc-1]表示类别标签，Nc是总类别数量，表示体素块Bn中类别标签c的频率，δ(·)代表冲激函数。
进一步地，所述编解码分割网络为U-Net或Seg-Net。
进一步地，所述步骤S6的具体过程为：
其中，表示在体素(i,j,k)位置的信息熵，/>表示在体素(i,j,k)位置的预测分布在类别c上的预测概率，ln代表自然对数。
进一步地，所述先验感知模块的工作过程为：
步骤S71、将上采样之前的特征图与边界先验相乘，得到边界增强后的特征图
其中，F为上采样之前的特征图，为边界先验；
步骤S72、将上采样之前的特征图与经过编码操作之后的预测区域分布相乘，得到区域分布先验增强的特征图FD：
其中，为预测区域分布，Tf(·)为编码函数操作，编码函数包括两个卷积单元，每个卷积单元均包括一个3*3卷积、一个批归一化层和ReLU激活函数；
步骤S73、通过融合上采样之前的特征图、边界增强后的特征图和区域分布先验增强的特征图得到最终的特征表示：
其中，Fe是最终的特征表示。
更进一步地，所述步骤S11中采用的损失函数包括区域分布损失和稠密预测损失两个部分，其中：
区域分布损失为：
其中，ψr表示第r个阶段的权重，R表示所有阶段的数量，表示第r个阶段的KL散度损失；
稠密预测损失为：
其中，表示体素m属于类别c的概率，M表示总的体素数量，/>表示体素m的标签，wc为类别c的权重，权重wc计算方法为：
其中，Vc表示类别c的体素数量。
本发明的有益效果是：
本发明利用标签分布学习方法，通过在编解码框架的不同上采样层加入对应的标签分布监督，实现了逐步从粗糙的区域分布到最终的稠密预测结果的输出。本发明方法的优势在于，通过在不同的阶段加入标签分布监督，促进了网络的训练，同时也充分利用了网络中生成的区域分布与边界先验信息，进一步促进了网络的分割，提高了分割结果的准确率，并解决了分割结果边界不连续的问题。
附图说明
图1为本发明标签分布生成(LDG)原理图；
图2为本发明先验感知分割模型原理图；
其中，先验感知分割模型包括编解码分割网络和解码部分每个上采样层后面接的Softmax层，且解码部分的前三个Softmax层后均接一个先验感知模块PPM；
图3为本发明中先验感知模块(PPM)原理图。
具体实施方式
具体实施方式一：结合图2说明本实施方式。本实施方式的一种基于标签分布学习的图像分割方法，该方法的具体过程为：
步骤S1、对训练图像进行预处理操作，获得预处理后的训练图像；
步骤S2、根据训练图像的分割标签分别生成各分辨率下的标签分布；
步骤S3、将训练图像输入编解码分割网络的编码器部分进行特征提取处理，通过编码器部分的各下采样层分别输出各尺度的特征图；
步骤S4、编码器部分的最后一个下采样层输出的特征图通过上采样获得上采样后的特征图；
步骤S5、上采样后的特征图经过Softmax层后得到预测区域分布；
通过最小化预测区域分布与对应分辨率下的标签分布之间的KL散度误差来训练网络的参数；
其中，W表示预测区域分布的宽，H表示预测区域分布的高，D表示预测区域分布的深；M表示预测区域分布中所有的体素数量，M＝W×H×D，表示在体素(i,j,k)位置的目标标签分布(即步骤S2获得)，/>表示在体素(i,j,k)位置的预测区域分布，表示/>与/>之间的KL散度；
步骤S6、利用步骤S5中得到的预测区域分布，通过逐体素求取信息熵来获取预测区域的边界先验；
步骤S7、将预测区域分布、边界先验以及上采样之前的特征图作为先验感知模块的输入，得到最终的特征表示；
步骤S8、将倒数第二个下采样层输出的特征图与步骤S7得到的最终特征进行融合，将融合结果作为下一个上采样层的输入特征图；
步骤S9、共执行三次步骤S5至步骤S8的过程，将最后一次执行步骤S8时所获得的融合结果作为最后一个上采样层的输入特征图；
步骤S10、将最后一个上采样层的输出结果通过Softmax层得到逐体素的预测概率；
步骤S11、利用步骤S10中得到的逐体素预测概率与训练图像的分割标签进行监督学习，训练网络参数；
步骤S12、对待分割图像进行预处理操作后，利用训练好的网络参数对预处理后的待分割图像进行分割。
本发明首先利用语义分割标签生成多分辨率的标签分布，在此基础之上，通过在分割网络不同的上采样层加入对应分辨率的标签分布监督，利用标签分布学习的方法训练网络，并得到不同细节的预测区域分布，最后基于上述预测区域分布实现逐像素的稠密分布预测。本发明所阐述的方法能够充分利用分割网络中生成的先验信息，并能够有效的捕捉边界信息进而促进边界的分割。本发明代替人工处理准确且高效地实现图像的语义分割任务，在基于相对较小的模型的条件下，保证了图像分割的准确性。
具体实施方式二、本实施方式与具体实施方式一不同的是：所述步骤S1中对训练图像进行预处理操作，预处理操作包括数据标准化和图像裁剪。
其它步骤及参数与具体实施方式一相同。
具体实施方式三、结合图1说明本实施方式。本实施方式与具体实施方式一或二不同的是：所述步骤S2的具体过程为：
步骤S21、给定一个体素块大小，按照给定的体素块大小并采用滑动窗口方法对训练图像进行标签频率统计，获得训练图像在当前分辨率下的标签分布；
步骤S22、调整体素块大小，再重复步骤S21的过程，获得训练图像在各分辨率下的标签分布。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四、本实施方式与具体实施方式一至三之一不同的是：所述标签频率统计的具体方法为：
其中，Bn代表训练图像中的一个体素块，|Bn|代表体素块Bn中体素的个数，yijk是体素块Bn中(i,j,k)位置的标签，c∈[0，Nc-1]表示类别标签，Nc是总类别数量，表示体素块Bn中类别标签c的频率，δ(·)代表冲激函数。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五、本实施方式与具体实施方式一至四之一不同的是：所述编解码分割网络为U-Net或Seg-Net。
以U-Net网络为例，编码部分包括4个下采样层，训练图像经过各下采样层分别输出各尺度的特征图，从输入端开始，按照输入顺序依次对各下采样层和上采样层进行编号，依次编号为第1下采样层、第2下采样层、第3下采样层、第4下采样层、第1上采样层、第2上采样层、第3上采样层和第4上采样层。将第4个下采样层输出的特征图通过第1个上采样层获得上采样后的特征图，在第1个上采样层后设置有Softmax层，第1个上采样层上采样后的特征图经过Softmax层输出预测区域分布，根据预测区域分布获取边界先验，再利用先验感知模块对预测区域分布、边界先验以及当前上采样层上采样之前的特征图进行处理得到最终特征表示。
再将第3下采样层输出的特征图与最终表示进行融合，将融合结果作为第2个上采样层的输入，并对第2个上采样层的输入进行上述处理(且生成预测区域分布时所利用的标签分布“是与当前上采样层的输入相对应的分辨率下标签分布”，随着分辨率逐渐增高，预测区域分布逐步过度到具有更多细节的预测结果)，得到第3个上采样层的输入(即对第2个上采样层的输入进行处理得到的最终表示与第2下采样层输出的特征图的融合结果)。
最后对第3个上采样层的输入进行上述处理，得到第4个上采样层的输入(即对第3个上采样层的输入进行处理得到的最终表示与第1下采样层输出的特征图的融合结果)，再将第4个上采样层的输出通过Softmax层得到逐体素的预测概率。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六、本实施方式与具体实施方式一至五之一不同的是：所述步骤S6的具体过程为：
其中，表示在体素(i,j,k)位置的信息熵，/>表示在体素(i,j,k)位置的预测分布在类别c上的预测概率，ln代表自然对数。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七、结合图3说明本实施方式。本实施方式与具体实施方式一至六之一不同的是：所述先验感知模块的工作过程为：
步骤S71、将上采样之前的特征图与边界先验相乘，得到边界增强后的特征图
其中，F为上采样之前的特征图，为边界先验；
步骤S72、将上采样之前的特征图与经过编码操作之后的预测区域分布相乘，得到区域分布先验增强的特征图FD：
其中，为预测区域分布，Tf(·)为编码函数操作，编码函数包括两个卷积单元，每个卷积单元均包括一个3*3卷积、一个批归一化层和ReLU激活函数；
步骤S73、通过融合上采样之前的特征图、边界增强后的特征图和区域分布先验增强的特征图得到最终的特征表示：
其中，Fe是最终的特征表示。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八、本实施方式与具体实施方式一至七之一不同的是：所述步骤S11中采用的损失函数包括区域分布损失和稠密预测损失两个部分，其中：
区域分布损失为：
其中，ψr表示第r个阶段(执行一次步骤S5至步骤S8的过程代表一个阶段)的权重，R表示所有阶段的数量，表示第r个阶段的KL(Kullback-Leibler)散度损失；
稠密预测损失为：
其中，表示体素m属于类别c的概率，M表示总的体素数量，/>表示体素m的标签，wc为类别c的权重，权重wc计算方法为：
其中，Vc表示类别c的体素数量。
其它步骤及参数与具体实施方式一至七之一相同。
实施例
本实施例提供了一种基于标签分布学习的图像分割方法，所述方法包括以下步骤：
步骤S1、首先对输入图像(本实施例以医学图像为例)进行预处理操作，其中包括数据标准化、图像裁剪等；
该过程主要是通过数据标准化，使得输入到神经网络中的数据满足均值为1，方差为0，促进网络的收敛。另外，由于输入图像大小不一致，通过图像裁剪的方式裁成相同的图像块送入神经网络之中。
步骤S2、对于训练图像的分割标签，利用标签分布生成方法生成多分辨率的标签分布；
该过程主要是对原始分割标签进行逐块的标签频率统计，并且以滑动窗口的方法得到整个图像的分布标签。在步骤S2中进行逐块的标签频率统计时，像素块的大小可以根据实际情况适当调整。
步骤S3、输入图像通过一个编码器子网络进行特征提取处理，得到分层的多尺度特征图；其中编码器子网络为常见的编解码分割框架中的编码器部分，如U-Net，Seg-Net等结构，还可以使用任意的多层CNN叠加的形式进行特征提取。
步骤S4、利用步骤S2中得到的标签分布，基于标签分布学习方法，通过上采样特征图，并经过一个Softmax层之后得到粗糙的预测区域分布；上述标签分布学习方法，其核心在于利用网络输出的预测区域分布与实际对应分辨率下的标签分布，通过最小化两者之间的误差来训练网络参数，该误差使用KL散度来衡量。
在步骤S4中通过最小化预测区域分布和标签分布的KL散度损失来训练网络参数，其中，的KL散度损失可以视情况进行具体调整，可以利用其他衡量分布之间的差异的损失函数，如JS散度损失，Cosine距离损失等。
步骤S5、利用步骤S4中得到的预测区域分布，通过求取逐像素的信息熵，可获取到预测区域的边界先验；
步骤S6、将步骤S4，步骤S5中的区域分布先验和边界先验以及编码器的输入特征图作为输入，送入一个先验感知模块之中,进而得到经过先验信息增强之后的特征图。该先验感知模块是一种基于注意力机制的特征增强模块，通过融合边界增强特征以及区域分布先验增强的特征最终得到更加具有判别性的特征。
步骤S7、重复步骤S4-S6的操作三次，每一次得到的增强之后的输出特征图作为下一次的输入特征图，同时每一次均会得到特定分辨率下的预测区域分布，随着分辨率逐渐增高，预测区域分布逐步过度到具有更多细节的预测结果。
步骤S8、最后通过一个上采样层，恢复到与原始输入图像一样的分辨率，并通过一个Softmax层得到逐像素的预测概率。
步骤S9、利用步骤S8中最终获得的逐像素的预测概率与分割任务的标签进行监督学习，训练网络参数。最终训练的损失函数包括两个部分：中间结果(区域分布)损失与最终结果(稠密预测)损失/>
在步骤S9中进行网络模型的训练时，可以根据训练的具体情况对损失函数进行适当的调整，如下式所示：
其中，α控制损失函数中和/>的影响占比，其取值范围为(0,1)。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (8)

1.一种基于标签分布学习的图像分割方法，其特征在于，所述方法具体包括以下步骤：
步骤S1、对训练图像进行预处理操作，获得预处理后的训练图像；
步骤S2、根据训练图像的分割标签分别生成各分辨率下的标签分布；
步骤S3、将训练图像输入编解码分割网络的编码器部分进行特征提取处理，通过编码器部分的各下采样层分别输出各尺度的特征图；
步骤S4、编码器部分的最后一个下采样层输出的特征图通过上采样获得上采样后的特征图；
步骤S5、上采样后的特征图经过Softmax层后得到预测区域分布；
通过最小化预测区域分布与对应分辨率下的标签分布之间的KL散度误差来训练网络的参数；
其中，W表示预测区域分布的宽，H表示预测区域分布的高，D表示预测区域分布的深；M表示预测区域分布中所有的体素数量，M＝W×H×D，表示在体素(i,j,k)位置的目标标签分布，/>表示在体素(i,j,k)位置的预测区域分布，/>表示/>与/>之间的KL散度；
步骤S6、利用步骤S5中得到的预测区域分布，通过逐体素求取信息熵来获取预测区域的边界先验；
步骤S7、将预测区域分布、边界先验以及上采样之前的特征图作为先验感知模块的输入，得到最终的特征表示；
步骤S8、将倒数第二个下采样层输出的特征图与步骤S7得到的最终特征进行融合，将融合结果作为下一个上采样层的输入特征图；
步骤S9、共执行三次步骤S5至步骤S8的过程，将最后一次执行步骤S8时所获得的融合结果作为最后一个上采样层的输入特征图；
步骤S10、将最后一个上采样层的输出结果通过Softmax层得到逐体素的预测概率；
步骤S11、利用步骤S10中得到的逐体素预测概率与训练图像的分割标签进行监督学习，训练网络参数；
步骤S12、对待分割图像进行预处理操作后，利用训练好的网络参数对预处理后的待分割图像进行分割。
2.根据权利要求1所述的一种基于标签分布学习的图像分割方法，其特征在于，所述步骤S1中对训练图像进行预处理操作，预处理操作包括数据标准化和图像裁剪。
3.根据权利要求2所述的一种基于标签分布学习的图像分割方法，其特征在于，所述步骤S2的具体过程为：
步骤S21、给定一个体素块大小，按照给定的体素块大小并采用滑动窗口方法对训练图像进行标签频率统计，获得训练图像在当前分辨率下的标签分布；
步骤S22、调整体素块大小，再重复步骤S21的过程，获得训练图像在各分辨率下的标签分布。
4.根据权利要求3所述的一种基于标签分布学习的图像分割方法，其特征在于，所述标签频率统计的具体方法为：
其中，Bn代表训练图像中的一个体素块，|Bn|代表体素块Bn中体素的个数，yijk是体素块Bn中(i,j,k)位置的标签，c∈[0,Nc-1]表示类别标签，Nc是总类别数量，表示体素块Bn中类别标签c的频率，δ(·)代表冲激函数。
5.根据权利要求4所述的一种基于标签分布学习的图像分割方法，其特征在于，所述编解码分割网络为U-Net或Seg-Net。
6.根据权利要求5所述的一种基于标签分布学习的图像分割方法，其特征在于，所述步骤S6的具体过程为：
其中，表示在体素(i,j,k)位置的信息熵，/>表示在体素(i,j,k)位置的预测分布在类别标签c上的预测概率，ln代表自然对数。
7.根据权利要求6所述的一种基于标签分布学习的图像分割方法，其特征在于，所述先验感知模块的工作过程为：
步骤S71、将上采样之前的特征图与边界先验相乘，得到边界增强后的特征图
其中，F为上采样之前的特征图，为边界先验；
步骤S72、将上采样之前的特征图与经过编码操作之后的预测区域分布相乘，得到区域分布先验增强的特征图FD：
其中，为预测区域分布，Tf(·)为编码函数操作，编码函数包括两个卷积单元，每个卷积单元均包括一个3*3卷积、一个批归一化层和ReLU激活函数；
步骤S73、通过融合上采样之前的特征图、边界增强后的特征图和区域分布先验增强的特征图得到最终的特征表示：
其中，Fe是最终的特征表示。
8.根据权利要求7所述的一种基于标签分布学习的图像分割方法，其特征在于，所述步骤S11中训练采用的损失函数包括区域分布损失和稠密预测损失两个部分，其中：
区域分布损失为：
其中，ψr表示第r个阶段的权重，R表示所有阶段的数量，表示第r个阶段的KL散度损失；
稠密预测损失为：
其中，表示体素m属于类别标签c的概率，M表示预测区域分布中所有的体素数量，/>表示体素m的标签，wc为类别标签c的权重，权重wc计算方法为：
其中，Vc表示类别标签c的体素数量。
CN202210480964.5A 2022-05-05 2022-05-05 一种基于标签分布学习的图像分割方法 Active CN114863104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210480964.5A CN114863104B (zh) 2022-05-05 2022-05-05 一种基于标签分布学习的图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210480964.5A CN114863104B (zh) 2022-05-05 2022-05-05 一种基于标签分布学习的图像分割方法

Publications (2)

Publication Number Publication Date
CN114863104A CN114863104A (zh) 2022-08-05
CN114863104B true CN114863104B (zh) 2023-08-08

Family

ID=82634641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210480964.5A Active CN114863104B (zh) 2022-05-05 2022-05-05 一种基于标签分布学习的图像分割方法

Country Status (1)

Country Link
CN (1) CN114863104B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993770B (zh) * 2023-08-16 2024-05-28 哈尔滨工业大学 一种基于残差扩散模型的图像分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363201A (zh) * 2019-07-10 2019-10-22 上海交通大学 基于协同学习的弱监督语义分割方法及系统
CN114004817A (zh) * 2021-11-03 2022-02-01 深圳大学 一种分割网络半监督训练方法、系统、设备及存储介质
CN114266739A (zh) * 2021-12-14 2022-04-01 南京邮电大学 基于对比学习的半监督卷积神经网络的医学图像分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363201A (zh) * 2019-07-10 2019-10-22 上海交通大学 基于协同学习的弱监督语义分割方法及系统
CN114004817A (zh) * 2021-11-03 2022-02-01 深圳大学 一种分割网络半监督训练方法、系统、设备及存储介质
CN114266739A (zh) * 2021-12-14 2022-04-01 南京邮电大学 基于对比学习的半监督卷积神经网络的医学图像分割方法

Also Published As

Publication number Publication date
CN114863104A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN110059772B (zh) 基于多尺度解码网络的遥感图像语义分割方法
WO2023077816A1 (zh) 边界优化的遥感图像语义分割方法、装置、设备及介质
CN111210435B (zh) 一种基于局部和全局特征增强模块的图像语义分割方法
CN111612807B (zh) 一种基于尺度和边缘信息的小目标图像分割方法
CN109829891B (zh) 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法
CN111126453A (zh) 基于注意力机制和切割填充的细粒度图像分类方法及系统
CN111563902A (zh) 一种基于三维卷积神经网络的肺叶分割方法及系统
CN110648310B (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN111369565A (zh) 一种基于图卷积网络的数字病理图像的分割与分类方法
CN110930378B (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN110246171B (zh) 一种实时单目视频深度估计方法
CN109522831B (zh) 一种基于微卷积神经网络的车辆实时检测方法
CN116051549A (zh) 一种太阳能电池片缺陷分割方法、系统、介质及设备
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN114863104B (zh) 一种基于标签分布学习的图像分割方法
CN112419202A (zh) 基于大数据及深度学习的野生动物图像自动识别系统
CN113313031A (zh) 一种基于深度学习的车道线检测和车辆横向定位方法
CN117078930A (zh) 基于边界感知和注意力机制的医学图像分割方法
CN110517267B (zh) 一种图像分割方法及装置、存储介质
CN116468732A (zh) 基于深度学习的肺部ct影像分割方法及成像方法
CN113850151A (zh) 一种驾驶员分心行为的识别方法、装置、终端及存储介质
CN111223113A (zh) 基于双重密集上下文感知网络的核磁共振海马体分割算法
CN115147806A (zh) 一种基于关键点检测车辆伪3d边界框的方法
CN114565626A (zh) 基于PSPNet改进的肺部CT图像分割算法
CN113657225A (zh) 一种目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant