CN110660061A - 一种采用概率图梯度损失函数的图像语义分割方法 - Google Patents

一种采用概率图梯度损失函数的图像语义分割方法 Download PDF

Info

Publication number
CN110660061A
CN110660061A CN201910779851.3A CN201910779851A CN110660061A CN 110660061 A CN110660061 A CN 110660061A CN 201910779851 A CN201910779851 A CN 201910779851A CN 110660061 A CN110660061 A CN 110660061A
Authority
CN
China
Prior art keywords
probability map
gradient
semantic segmentation
loss
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910779851.3A
Other languages
English (en)
Inventor
王吴凡
朱纪洪
杨佳利
匡敏驰
史恒
闫星辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910779851.3A priority Critical patent/CN110660061A/zh
Publication of CN110660061A publication Critical patent/CN110660061A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种采用概率图梯度损失函数的图像语义分割方法，其特征在于含有：图像语义分割数据集，卷积网络，归一化指数函数，概率图损失以及概率图梯度损失。所述卷积网络用于从所述图像语义分割数据集中提取特征，这些特征经过所述归一化指数函数处理形成预测概率图。用于训练网络模型的损失函数由所述概率图损失与所述概率图梯度损失两部分构成。所述概率图损失使预测概率图中单个像素的概率值尽可能接近真实概率值，所述概率图梯度损失使预测概率图梯度尽可能接近真实概率图梯度。本发明的一种采用概率图梯度损失函数的图像语义分割方法能够有效学习语义分割图的局部细节特征，适用于推广应用。

Description

一种采用概率图梯度损失函数的图像语义分割方法
技术领域
本发明属于深度学习领域，特别涉及一种采用概率图梯度损失函数的图像语义分割方法。
背景技术
当前图像语义分割方法通常采用基于单像素约束的损失函数(如交叉熵损失函数)训练模型，即使预测概率图中每个像素的概率值尽可能接近其真实概率值。然而，基于单像素概率值约束的损失函数忽略了隐藏在相邻像素概率值之间的信息，导致训练出来的模型所生成的语义分割图大都无法保持清晰的边缘和光滑的平面。
发明内容
为了解决上述采用单像素约束的损失函数难以学习到图像语义细节的问题，本发明提供一种采用概率图梯度损失函数的图像语义分割方法。
本发明的一种采用概率图梯度损失函数的图像语义分割方法属于深度学习领域，其特征在于包含：图像语义分割数据集，卷积网络，归一化指数函数，概率图损失以及概率图梯度损失。上述卷积网络可形式化为：
xf＝f(x|θ)
其中f(·)为卷积网络对应的映射函数，θ为卷积网络包含的参数，x为图像语义分割数据集中的图片，xf为卷积网络提取的特征。xf经过如下归一化指数函数处理形成预测概率图ppred
Figure BDA0002176234370000011
其中
Figure BDA0002176234370000012
为预测概率图ppred的第c通道(c∈[1，C])，m与n分别为像素在图片中的横、纵坐标(m∈[1，M]，n∈[1，N])，[·]为索引操作。概率图损失Lp的计算公式为
其中
Figure BDA0002176234370000014
为真实概率图pgt的第c通道，概率图梯度损失Lg的计算公式为
Figure BDA0002176234370000015
其中
Figure BDA0002176234370000016
为预测概率图横向梯度的第c通道，
Figure BDA0002176234370000017
为预测概率图纵向梯度的第c通道，
Figure BDA0002176234370000018
为真实概率图横向梯度的第c通道，为真实概率图纵向梯度的第c通道，|·|为取绝对值操作。用于训练卷积网络的损失函数L由概率图损失Lp与概率图梯度损失Lg两部分加权组成
L＝Lp+αLg
其中α为加权系数。损失函数L通过梯度反向传播不断优化卷积网络的参数，从而提升模型语义分割效果。
本发明的一种采用概率图梯度损失函数的图像语义分割方法通过施加概率图梯度约束促进语义分割图局部细节特征的学习。
附图说明
图1是本发明一种采用概率图梯度损失函数的图像语义分割方法示意图
具体实施方式
下面采用附图和实施例对本发明做进一步说明，此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
一种采用概率图梯度损失函数的图像语义分割方法示意图见附图1，其特征在于包含：图像语义分割数据集，卷积网络，归一化指数函数，概率图损失以及概率图梯度损失。上述卷积网络可形式化为：
xf＝f(x|θ)
其中f(·)为卷积网络对应的映射函数，θ为卷积网络包含的参数，x为图像语义分割数据集中的图片，xf为卷积网络提取的特征。xf经过如下归一化指数函数处理形成预测概率图ppred
Figure BDA0002176234370000031
其中
Figure BDA0002176234370000032
为预测概率图ppred的第c通道(c∈[1，C])，m与n分别为像素在图片中的横、纵坐标(m∈[1，M]，n∈[1，N])，[·]为索引操作。概率图损失Lp的计算公式为
Figure BDA0002176234370000033
其中
Figure BDA0002176234370000034
为真实概率图pgt的第c通道，概率图梯度损失Lg的计算公式为
Figure BDA0002176234370000035
其中为预测概率图横向梯度的第c通道，
Figure BDA0002176234370000037
为预测概率图纵向梯度的第c通道，
Figure BDA0002176234370000038
为真实概率图横向梯度的第c通道，
Figure BDA0002176234370000039
为真实概率图纵向梯度的第c通道，|·|为取绝对值操作。用于训练卷积网络的损失函数L由概率图损失Lp与概率图梯度损失Lg两部分加权组成
L＝Lp+αLg
其中α为加权系数。损失函数L通过梯度反向传播不断优化卷积网络的参数，从而提升模型语义分割效果。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种采用概率图梯度损失函数的图像语义分割方法，其特征在于包含：图像语义分割数据集，卷积网络，归一化指数函数，概率图损失以及概率图梯度损失。
2.根据权利要求1中所述一种采用概率图梯度损失函数的图像语义分割方法，其特征在于所述卷积网络可形式化为：
xf＝f(x|θ)
其中f(·)为所述卷积网络对应的映射函数，θ为所述卷积网络包含的参数，x为所述图像语义分割数据集中的图片，xf为所述卷积网络提取的特征。
3.根据权利要求1中所述一种采用概率图梯度损失函数的图像语义分割方法，其特征在于所述归一化指数函数将所述卷积网络提取的特征xf转换为预测概率图ppred，
Figure FDA0002176234360000011
其中
Figure FDA0002176234360000012
为所述预测概率图ppred的第c通道(c∈[1，C])，m与n分别为像素在图片中的横、纵坐标(m∈[1，M]，n∈[1，N])，[·]为索引操作。
4.根据权利要求1中所述一种采用概率图梯度损失函数的图像语义分割方法，其特征在于所述概率图损失Lp的计算公式为
Figure FDA0002176234360000013
其中
Figure FDA0002176234360000014
为真实概率图pgt的第c通道，所述概率图梯度损失Lg的计算公式为
Figure FDA0002176234360000015
其中为所述预测概率图横向梯度的第c通道，为所述预测概率图纵向梯度的第c通道，
Figure FDA0002176234360000018
为所述真实概率图横向梯度的第c通道，为所述真实概率图纵向梯度的第c通道，|·|为取绝对值操作，用于训练所述卷积网络的损失函数L由所述概率图损失Lp与所述概率图梯度损失Lg两部分加权组成
L＝Lp+αLg
其中α为加权系数，所述损失函数L通过梯度反向传播不断优化所述卷积网络的参数。
CN201910779851.3A 2019-08-22 2019-08-22 一种采用概率图梯度损失函数的图像语义分割方法 Pending CN110660061A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910779851.3A CN110660061A (zh) 2019-08-22 2019-08-22 一种采用概率图梯度损失函数的图像语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910779851.3A CN110660061A (zh) 2019-08-22 2019-08-22 一种采用概率图梯度损失函数的图像语义分割方法

Publications (1)

Publication Number Publication Date
CN110660061A true CN110660061A (zh) 2020-01-07

Family

ID=69037778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910779851.3A Pending CN110660061A (zh) 2019-08-22 2019-08-22 一种采用概率图梯度损失函数的图像语义分割方法

Country Status (1)

Country Link
CN (1) CN110660061A (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658330A (zh) * 2018-12-10 2019-04-19 广州市久邦数码科技有限公司 一种发色调整方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658330A (zh) * 2018-12-10 2019-04-19 广州市久邦数码科技有限公司 一种发色调整方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANBO JIAO 等: "Look Deeper into Depth: Monocular Depth Estimation with Semantic Booster and Attention-Driven Loss", 《COMPUTER VISION–ECCV 2018》 *
SEOKJUN SEO 等: "Towards Real-Time Automatic Portrait Matting on Mobile Devices", 《HTTPS://ARXIV.ORG/ABS/1904.03816》 *
董海鹰 等: "《智能控制理论及应用》", 30 September 2016, 中国铁道出版社 *

Similar Documents

Publication Publication Date Title
CN112232416B (zh) 一种基于伪标签加权的半监督学习方法
CN112132149B (zh) 一种遥感影像语义分割方法及装置
CN114241282B (zh) 一种基于知识蒸馏的边缘设备场景识别方法及装置
US11734390B2 (en) Unsupervised domain adaptation method, device, system and storage medium of semantic segmentation based on uniform clustering
CN113610146B (zh) 基于中间层特征提取增强的知识蒸馏实现图像分类的方法
CN111079847B (zh) 一种基于深度学习的遥感影像自动标注方法
CN105184772A (zh) 一种基于超像素的自适应彩色图像分割方法
CN113313166B (zh) 基于特征一致性学习的船舶目标自动标注方法
CN116468746B (zh) 一种双向复制粘贴的半监督医学图像分割方法
CN113469186A (zh) 一种基于少量点标注的跨域迁移图像分割方法
CN115131565B (zh) 基于半监督学习的组织学图像分割模型
CN115049841A (zh) 基于深度无监督多步对抗域自适应的高分辨sar图像地物要素提取方法
CN113204645A (zh) 一种基于知识引导的方面级情感分析模型训练方法
CN111126155B (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN107291837B (zh) 一种基于领域适应性的网络文本的分词方法
CN115797846A (zh) 一种风力发电叶片区块缺陷比对方法、装置及电子设备
CN116310350A (zh) 基于图卷积和半监督学习网络的城市场景语义分割方法
CN110533074B (zh) 一种基于双深度神经网络的图片类别自动标注方法及系统
CN117152606A (zh) 一种基于置信度动态学习的遥感图像跨域小样本分类方法
CN110660061A (zh) 一种采用概率图梯度损失函数的图像语义分割方法
CN115797642B (zh) 基于一致性正则化与半监督领域自适应图像语义分割算法
CN113807194B (zh) 一种增强性电力传输线故障图像识别方法
CN115187863A (zh) 多层次自适应知识蒸馏的轻量化高分遥感场景分类方法
CN112070722A (zh) 一种荧光原位杂交细胞核分割方法及系统
CN112149496A (zh) 一种基于卷积神经网络的实时道路场景分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200107