CN110992365B - 一种基于图像语义分割的损失函数及其设计方法 - Google Patents

一种基于图像语义分割的损失函数及其设计方法 Download PDF

Info

Publication number
CN110992365B
CN110992365B CN201911066221.8A CN201911066221A CN110992365B CN 110992365 B CN110992365 B CN 110992365B CN 201911066221 A CN201911066221 A CN 201911066221A CN 110992365 B CN110992365 B CN 110992365B
Authority
CN
China
Prior art keywords
picture
loss function
semantic
area
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911066221.8A
Other languages
English (en)
Other versions
CN110992365A (zh
Inventor
颜成钢
王廷宇
孙垚棋
张继勇
张勇东
沈韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201911066221.8A priority Critical patent/CN110992365B/zh
Publication of CN110992365A publication Critical patent/CN110992365A/zh
Application granted granted Critical
Publication of CN110992365B publication Critical patent/CN110992365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明公开了一种基于图像语义分割的损失函数及其设计方法。本发明步骤如下：1。参数wi的确立。在网络训练过程中，从标签标注信息中提取此张图片中包含的语义类别个数n以及每个语义类别在图片中所占的面积s。在得到此两种标签信息后，将面积从大到小排列，并分别计算最大面积与各个面积之间的倍数，而后再将这些倍数关系归一化到[1,n]之间，即训练时每个损失函数计算时，不同类别对应的权重取值wi。2.参数Υ的确立。首先确定Υ＞0,而后在网络训练过程中通过网格寻优的方式，对Υ的值进行进一步的确立。本发明设计损失带有权重的损失函数进行改进，以使训练的卷积神经网络得到更好的图像分割效果。

Description

一种基于图像语义分割的损失函数及其设计方法
技术领域
本发明涉及计算机视觉与人工智能领域，尤其涉及一种基于图像语义分割的损失函数及其设计方法，一种在图像语义分割任务中计算损失的方法。
背景技术
图像语义分割问题是计算机视觉任务中的一个长期未解决的问题，同时，也是现实中许多应用的组件之一，比如自动驾驶、地理信息系统、医疗影像分析、机器人等领域。语义分割的重点在于将图像中的区域划分为具有语义信息的几个区域，早期的方法采用人为设计的人工算子提取图像特征进行图像语义分割，近几年卷积神经网络采用自动提起特征的方式，使得图像语义分割问题取得了巨大的进步。
卷积神经网络的训练主要分为原始数据通过网络的前向传播和误差的反向传播更新网络的参数两个部分，这其中，损失函数的选择对误差的计算以及网络参数的更新起到关键性的作用，针对不同的任务，不同的误差函数，可以使得神经网络完成不同的任务。因此，设计一个合适的损失函数，使得图像语义分割任务能够达到更好的效果，显得尤为重要。
发明内容
本发明提出一种基于图像语义分割的损失函数，该损失函数可以在卷积神经网络训练过程中兼具难识别样本的强化训练和小目标样本的平等训练。
本发明的损失函数入下所示：
Figure BDA0002259440030000011
式中，yi为像素点i的类别标签，
Figure BDA0002259440030000012
为像素点i的yi的预测概率，当
Figure BDA0002259440030000013
越大，说明输出越接近于正确的预测，此时Loss越接近于0。在图像语义分割任务中，一次需要预测的像素点很多，在这其中，网络对每个像素点的预测能力不尽相同，为了使网络更加专注于难预测像素点的学习，在损失函数中，加入对每个像素点的计算权重
Figure BDA0002259440030000014
其中γ＞0。参数wi为像素点i属于不同类别时，Loss计算过程中所应分配的权重，其大小由标签数据中，各个类别所占的面积决定，当图片中的某一语义类别在整幅图片中所占面积较小时，wi的数值便会相应增加，以使得网络的学习能够更加关注于这一小的语义对象。
一种基于图像语义分割的损失函数的推导方法，该损失函数相关参数的确立方式包括以下步骤：
步骤1：参数wi的确立。在网络训练过程中，通常的监督学习都会有每张图片对应的标签标注信息，可以从标签标注信息中提取此张图片中包含的语义类别个数n以及每个语义类别在图片中所占的面积s。在得到此两种标签信息后，将面积从大到小排列，并分别计算最大面积与各个面积之间的倍数，而后，再将这些倍数关系归一化到[1，n]之间，即为训练时，每个损失函数计算时，不同类别对应的权重取值wi。
步骤2：参数γ的确立。首先可以确定γ＞0，而后在网络训练过程中，可以通过网格寻优的方式，对γ的值进行进一步的确立。
本发明的有益效果是：针对图像语义分割问题中存在的难预测样本和小面积语义对象训练不够充分的问题，设计损失带有权重的损失函数进行改进，以使训练的卷积神经网络得到更好的图像分割效果。
具体实施方式
本发明提出了一种基于图像语义分割的损失函数，其在卷积神经网络训练过程中，具体实施方式，如下所示：
步骤1：在损失函数计算过程中，根据每个像素点的标签信息，确定其属于的类别，从而确定其wi。
步骤2：根据每个像素点的预测概率，计算它们的交叉熵损失
Figure BDA0002259440030000021
对于预测概率更接近于1的像素点，认为其已不需要进行过多训练，通过
Figure BDA0002259440030000022
对其交叉熵损失进行进一步缩小，而对于预测概率更小点像素点，其
Figure BDA0002259440030000023
的值相对于预测概率大的像素点便会偏大，从而使网络更加专注于这些像素点的学习。
步骤3：对所有像素点计算的损失秩进行加和平均，通过卷积神经网络中的反向传播机制，计算网络中，每个参数的梯度，并通过优化器更新参数值，达到网络训练的目的。

Claims (1)

1.一种基于图像语义分割的损失计算方法，其特征在于该计算方法如下所示：
Figure FDA0004040893030000011
式中，yi为像素点i的类别标签，
Figure FDA0004040893030000012
为像素点i的yi的预测概率，当
Figure FDA0004040893030000013
越大，说明输出越接近于正确的预测，此时Loss越接近于0；在损失函数中，加入对每个像素点的计算权重
Figure FDA0004040893030000014
其中Υ>0；参数wi为像素点i属于不同类别时，Loss计算过程中所应分配的权重，其大小由标签数据中，各个类别所占的面积决定，当图片中的某一语义类别在整幅图片中所占面积较小时，wi的数值便会相应增加，以使得网络的学习能够更加关注于这一小的语义对象；
其中，参数wi的确立如下；在网络训练过程中，通常的监督学习都会有每张图片对应的标签标注信息，可以从标签标注信息中提取此张图片中包含的语义类别个数n以及每个语义类别在图片中所占的面积s；在得到此两种标签信息后，将面积从大到小排列，并分别计算最大面积与各个面积之间的倍数，而后再将这些倍数关系归一化到[1,n]之间，即为训练时，每个损失函数计算时，不同类别对应的权重取值wi；
其中，参数Υ的确立如下；首先确定Υ>0,而后在网络训练过程中，通过网格寻优的方式，对Υ的值进行进一步的确立。
CN201911066221.8A 2019-11-04 2019-11-04 一种基于图像语义分割的损失函数及其设计方法 Active CN110992365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911066221.8A CN110992365B (zh) 2019-11-04 2019-11-04 一种基于图像语义分割的损失函数及其设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911066221.8A CN110992365B (zh) 2019-11-04 2019-11-04 一种基于图像语义分割的损失函数及其设计方法

Publications (2)

Publication Number Publication Date
CN110992365A CN110992365A (zh) 2020-04-10
CN110992365B true CN110992365B (zh) 2023-04-18

Family

ID=70083057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911066221.8A Active CN110992365B (zh) 2019-11-04 2019-11-04 一种基于图像语义分割的损失函数及其设计方法

Country Status (1)

Country Link
CN (1) CN110992365B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612802B (zh) * 2020-04-29 2023-06-20 杭州电子科技大学 一种基于现有图像语义分割模型的再优化训练方法及应用
CN111612803B (zh) * 2020-04-30 2023-10-17 杭州电子科技大学 一种基于图像清晰度的车辆图像语义分割方法
CN112132092A (zh) * 2020-09-30 2020-12-25 四川弘和通讯有限公司 一种基于卷积神经网络的灭火器和灭火毯的识别方法
CN112419335B (zh) * 2020-11-19 2022-07-22 哈尔滨理工大学 一种细胞核分割网络的形状损失计算方法
CN113450320B (zh) * 2021-06-17 2022-11-29 浙江德尚韵兴医疗科技有限公司 一种基于较深网络结构的超声结节分级与良恶性预测方法
CN115984309B (zh) * 2021-12-10 2024-03-15 北京百度网讯科技有限公司 用于训练图像分割模型和图像分割的方法、装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108319972A (zh) * 2018-01-18 2018-07-24 南京师范大学 一种针对图像语义分割的端到端差异网络学习方法
CN109145939A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法
CN110264444A (zh) * 2019-05-27 2019-09-20 阿里巴巴集团控股有限公司 基于弱分割的损伤检测方法及装置
CN110322445A (zh) * 2019-06-12 2019-10-11 浙江大学 一种基于最大化预测和标签间相关性损失函数的语义分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335313A (zh) * 2018-02-26 2018-07-27 阿博茨德（北京）科技有限公司 图像分割方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108319972A (zh) * 2018-01-18 2018-07-24 南京师范大学 一种针对图像语义分割的端到端差异网络学习方法
CN109145939A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法
CN110264444A (zh) * 2019-05-27 2019-09-20 阿里巴巴集团控股有限公司 基于弱分割的损伤检测方法及装置
CN110322445A (zh) * 2019-06-12 2019-10-11 浙江大学 一种基于最大化预测和标签间相关性损失函数的语义分割方法

Also Published As

Publication number Publication date
CN110992365A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110992365B (zh) 一种基于图像语义分割的损失函数及其设计方法
CN109741332B (zh) 一种人机协同的图像分割与标注方法
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN111488925B (zh) 一种数据标注方法、装置、电子设备及存储介质
CN112215795B (zh) 一种基于深度学习的服务器部件智能检测方法
CN111783505A (zh) 伪造人脸的识别方法、装置和计算机可读存储介质
CN108710893B (zh) 一种基于特征融合的数字图像相机源模型分类方法
CN112001407A (zh) 一种基于自动化标注的模型迭代训练方法及系统
CN110781882A (zh) 一种基于yolo模型的车牌定位和识别方法
CN108154158B (zh) 一种面向增强现实应用的建筑物图像分割方法
CN109740553B (zh) 一种基于识别的图像语义分割数据筛选方法及系统
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN111192206A (zh) 一种提高图像清晰度的方法
CN114333040B (zh) 一种多层级目标检测方法及系统
CN111723852A (zh) 针对目标检测网络的鲁棒训练方法
CN112395974B (zh) 一种基于对象间依赖关系的目标置信度矫正方法
CN107193979B (zh) 一种同源图片检索的方法
CN112396042A (zh) 实时更新的目标检测方法及系统、计算机可读存储介质
CN111339950B (zh) 一种遥感图像目标检测方法
CN109493279B (zh) 一种大规模无人机图像并行拼接方法
CN112446417A (zh) 基于多层超像素分割的纺锤形果实图像分割方法及系统
CN111104855A (zh) 一种基于时序行为检测的工作流识别方法
CN110059742A (zh) 基于深度学习的安全护具穿戴识别方法及设备
CN111488891B (zh) 图像标识处理方法、装置、设备及计算机可读存储介质
CN114494284A (zh) 一种基于显式监督区域关系的场景解析模型及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant