CN112801162A - 基于图像属性先验的自适应软标签正则化方法 - Google Patents
基于图像属性先验的自适应软标签正则化方法 Download PDFInfo
- Publication number
- CN112801162A CN112801162A CN202110088346.1A CN202110088346A CN112801162A CN 112801162 A CN112801162 A CN 112801162A CN 202110088346 A CN202110088346 A CN 202110088346A CN 112801162 A CN112801162 A CN 112801162A
- Authority
- CN
- China
- Prior art keywords
- label
- image
- attribute
- regularization
- soft
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像属性先验的自适应软标签正则化方法,包括如下步骤:S1,通过神经网络中间特征层聚合构建图像的属性表达;S2,利用重参数化方法对属性概率先验进行软采样;S3,利用现有真值标签对采样软标签进行修正和截断;S4,多尺度属性先验正则化。通过模仿人眼进行图像分类是依据图像局部属性重要性的能力,在利用少量参数的情况下,有效地缓解在图像分类任务中由于方法模型对于结果的过于自信导致的过拟合问题,有效的提升图像分类的准确性。本发明实现方法简单,手段灵活,可以比较容易地应用到一般性图像分类任务中。
Description
技术领域
本发明涉及图像分类领域,尤其是涉及基于图像属性先验的自适应软标签正则化方法。
背景技术
随着基础硬件的发展,各种模态形式的信息(文本、语音、图像、视频等)呈现爆炸式增长。海量的数据给各种基于数据驱动的方法带来了巨大的挑战。但同时也为大数据下的人工智能发展提供了一定的机遇。最典型的就是,近几年快速发展的深度学习相关技术使得人工智能技术的发展迈上了新的台阶。图像和视频作为重要的视觉信息载体在人工智能技术的发展过程中发挥了重要的作用。面向视觉感知的人工智能算法也在近些年取得了巨大的成就,代表性的工作涵盖目标识别与检测,运动行为识别等等。针对这些工作的研究也在不断催生着产业界的各种应用,同时也作为基础研究工作推动着前沿技术的发展。在大规模图像识别挑战中,基于深度神经网络的方法也早已超过了人类的水平。尽管通用图像识别研究任务取得了一定的进展,然而在现实生活中,往往存在着一些需要更加精细化分析的任务,而这些任务由于其挑战性也受到了越来越多的关注。
然而,现有的深度学习技术在实际应用场景中由于数据的复杂性、理论的不完备性依然存在诸多不足。例如,现有的图像分类任务中,一个经常出现的问题是算法模型对于图像数据的学习陷入局部最优解后错误预测的图像过于自信使得算法模型精度难以提升。这个问题通常又被称之为深度学习模型的不确定性问题。为了缓解这个问题,例如知识蒸馏中经常用到的Temperature Scaling(TS)通常会将图像特征除以一个常数T(通常通过验证集来确定),用来控制训练和测试时图像分类时概率置信度的平缓程度。TS方法在原有的交叉熵损失函数中往往扮演着伸缩正样本而忽略负样本的角色。除此以外,LabelSmoothing(LS)标签平滑也是一种常见而有效的手段。LS方法通过将原本的硬标签和一个均匀分布混合后作为真值标签进行交叉熵计算。更进一步地,DisturbLabel(DL)则是通过随机替换真值标签达到扰动的效果。然而,现有的这些方法都没有合适地考虑图像数据本身的影响。图像的属性特征揭示了图像间的内在联系,这原本可以更好的约束图像分类任务。
发明内容
为解决现有技术的不足,实现充分利用图像属性的目的,本发明采用如下的技术方案:
本发明主要解决当前基于深度学习的图像分类方法中模型过自信(over-confident)的问题。人眼在图像分类时往往首先从图像的局部属性来辨别种类,然而现有的图像分类方法均基于图像全局特征实现图像的分类。为缓解深度学习模型的不确定性导致的过自信问题以及现有标签软化没有充分利用图像属性的不足,本发明设计了一种基于图像属性先验的自适应软标签正则化方法。该方法通过利用图像的属性先验来自适应地约束全局概率类别分布,已有的非目标类别开源分割图像数据集中的内外边缘分割知识,实现图像数据驱动的模型校准,提高图像分类的准确度。
基于图像属性先验的自适应软标签正则化方法,包括如下步骤:
S3,根据真值标签样本对采样软标签进行修正,步骤S2中的过程得到的采样软标签在算法模型训练的初步阶段往往是不准确的,为了纠正软标签的偏差,首先判断软标签最大值对应的类别是否与给定的真值标签一致,对于不一致的情况,通过真值标签来强化软标签其次,对于软标签中概率值小于阈值的尾部分布进行置零截断后重新归一化,使得软标签可以有效地对图像分类任务进行正则化,所述K是图像分类的类别数;
S4,多尺度属性先验正则化,为了充分利用图像在不同尺度上的属性先验信息,可以考虑综合图像在模型不同尺度上的特征图属性表达。
进一步的,所述步骤S2中,Gumbel Max采用Gumbel Softmax重参数化采样得到软标签解决训练参数不可导的问题,使训练过程中梯度得以回传,所述表示概率的形式化表达,所述K是图像分类的类别数,通过重参数化的软标签采样,将原本位于概率单纯形ΔK-1顶点位置的采样离散硬标签松弛到了内部连续点上,获得图像基于属性的软标签。
进一步的,所述步骤S1中,传统图像分类的似然估计没有很好地利用图像的先验信息,本方法利用一般监督性分类学习中,每个样本图像都对应了一个固定的标签,而标签是从真实离散类别概率分布中采样得到,因此对于给定的样本图像和采样标签利用最大后验概率评估基于类别的概率分布,其中N为训练样本数,每一个样本及其标签对(xn,yn),θ,为训练参数,z为真实标签因变量分布,p(;)是概率分布函数,对最大后验损失分解得到其中是交叉熵损失,是数据依赖的概率先验表达,将基于样例替换成基于属性的表达,即
进一步的,所述步骤S1中,为了更好的结合图像属性先验,在神经网络特征层输出时利用个视觉单词vm来表达聚类中心,表示基于图像xn特征描述的统计信息 可学习参数 表示特征图Φψ(xn)在d维的第i个特征向量,α是一个常量。
进一步的,所述步骤S4中,对于多尺度属性先验,通过两种形式来进行正则化:
S41,渐进增量式正则化,从浅层属性先进行约束训练,待全局分类收敛后再利用下一层的特征图进行正则;
S42,直接式正则化,对所有特征层同时进行属性正则约束。
无论是渐进式还是直接式属性先验正则,都有效的利用了图像属性知识,有效的校准了图像分类模型。
进一步的,所述步骤S4中,一般神经网络特征图不同层往往记录了图像不同尺度的信息,因此这里可以将基于属性的软标签正则化方法扩展到多个特征图,定义网络层l1,l2,…,ln_layer,在神经网络训练过程中,从l1层开始进行正则化约束训练,随后增量式层层叠加进行约束。
本发明的优势和有益效果在于:
本发明充分有效地利用图像属性,提高网络模型的鲁棒性,提升图像分类的准确性,并且适配于目前几乎所有的神经网络模型,在现有的神经网络图像分类框架中可以无缝引入本发明提出的方法,适用性广;此外,本发明无需引入额外的复杂的计算和数据,充分利用现有图像,充分挖掘神经网络模型的能力,缓解神经网络过自信的问题,提升图像分类的准确性。
附图说明
图1是本发明的方法流程图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
基于图像属性先验的自适应软标签正则化方法,包括如下步骤:
1)基于最大化后验概率的图像分类形式化表达;
在一般性图像分类任务中,输入图像经过神经网络得到特征表达后利用softmax得到类别概率置信度,将其与真值标签的one-shot形式进行交叉熵计算。在本发明中,则认为这种似然估计没有很好地利用图像的先验信息。考虑到一般监督性分类学习中,每个样本图像都对应了一个固定的标签,本发明则认为该标签是从真实离散类别概率分布中采样得到,因此对于给定的样本图像和采样标签利用最大后验概率评估基于类别的概率分布。N为训练样本数,每一个样本及其标签对(xn,yn),θ,为训练参数,z为真实标签因变量分布,p(;)是概率分布函数。对最大后验损失分解可得到这时第一项就成了常见的交叉熵损失,而后一项则是数据依赖的概率先验表达。
2)结合图像属性的条件概率先验表达;
为了更好的结合图像属性先验,在神经网络特征层输出时利用个视觉单词vm来表达属性中心,表示相应特征图,表示基于图像xn特征描述的统计信息同时可学习参数这里的表示了特征图Φψ(xn)的d维的第i个特征向量,α是一个常量。在神经网络学习的过程中,利用属性特征接入线性层后利用现有标签进行分类。此时对于1)中的第二项概率先验则由基于样例替换成基于属性的表达。也即
3)标签采样随机梯度近似;
由2)中的过程,可以依据学习到的条件概率先验对标签进行采样,定义依据属性预测的条件概率先验根据采样得到标签是均匀分布。这里利用Gumbel Max来近似随机采样过程。然而采样过程是不可导的,为了使训练过程中梯度得以回传,更进一步地这里使用Gumbel Softmax进一步地平滑近似argmax过程,即 这里的τ的范围从0到正无穷。表示概率的形式化表达,所述K是图像分类的类别数。
4)图像属性软标签重组;
本发明在网络模型训练过程中,同时优化全局分类概率的交叉熵损失和条件先验损失。在前期训练过程中存在一个问题就是训练初期条件先验的不准确。因为在本阶段需要输入图像伴随标签的修正。修正的过程分为2个步骤,首先,利用标签yn的one-hot形式进行初步修正,除此以外,在训练后期,逐渐的舍弃低于一定阈值的类别概率值,即一般地,t设置为1/K。
5)多尺度图像属性自适应正则化;
一般神经网络特征图不同层往往记录了图像不同尺度的信息,因此这里可以将上述基于属性的软标签正则化方法扩展到多个特征图。定义网络层l1,l2,…,ln_layer,在神经网络训练过程中,从l1层开始利用上述过程进行正则化约束训练,随后增量式层层叠加进行约束。
本发明的方法是一种基于图像属性先验的自适应软标签正则化方法,通过有效利用图像属性来对分类结果进行正则化约束,可以实现缓解图像分类任务中神经网络过自信(over-confident)问题,提升图像分类准确率。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (9)
1.基于图像属性先验的自适应软标签正则化方法,其特征在于包括如下步骤:
S3,根据真值标签样本对采样软标签进行修正,首先判断软标签最大值对应的类别是否与给定的真值标签一致,对于不一致的情况,通过真值标签来强化软标签其次,对于软标签中概率值小于阈值的尾部分布进行置零截断后重新归一化,所述K是图像分类的类别数;
S4,多尺度属性先验正则化,综合图像在模型不同尺度上的特征图属性表达。
8.如权利要求1所述的基于图像属性先验的自适应软标签正则化方法,其特征在于所述步骤
S4中,对于多尺度属性先验,通过两种形式来进行正则化:
S41,渐进增量式正则化,从浅层属性先进行约束训练,待全局分类收敛后再利用下一层的特征图进行正则;
S42,直接式正则化,对所有特征层同时进行属性正则约束。
9.如权利要求1所述的基于图像属性先验的自适应软标签正则化方法,其特征在于所述步骤S4中,将基于属性的软标签正则化方法扩展到多个特征图,定义网络层l1,l2,…,ln_layer,在神经网络训练过程中,从l1层开始进行正则化约束训练,随后增量式层层叠加进行约束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110088346.1A CN112801162B (zh) | 2021-01-22 | 2021-01-22 | 基于图像属性先验的自适应软标签正则化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110088346.1A CN112801162B (zh) | 2021-01-22 | 2021-01-22 | 基于图像属性先验的自适应软标签正则化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112801162A true CN112801162A (zh) | 2021-05-14 |
CN112801162B CN112801162B (zh) | 2022-06-24 |
Family
ID=75811210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110088346.1A Active CN112801162B (zh) | 2021-01-22 | 2021-01-22 | 基于图像属性先验的自适应软标签正则化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112801162B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115424724A (zh) * | 2022-11-04 | 2022-12-02 | 之江实验室 | 一种多模态图森林的肺癌淋巴结转移辅助诊断系统 |
CN116645576A (zh) * | 2023-07-26 | 2023-08-25 | 深圳华声医疗技术股份有限公司 | 超声图像标签处理方法、装置、超声设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104463202A (zh) * | 2014-11-28 | 2015-03-25 | 苏州大学 | 一种多类图像半监督分类方法及系统 |
CN105608471A (zh) * | 2015-12-28 | 2016-05-25 | 苏州大学 | 一种鲁棒直推式标签估计及数据分类方法和系统 |
CN108805155A (zh) * | 2018-03-21 | 2018-11-13 | 温州大学苍南研究院 | 同时学习关联矩阵和拉普拉斯正则化最小二乘的半监督分类方法 |
CN111931562A (zh) * | 2020-06-28 | 2020-11-13 | 山东师范大学 | 一种基于软标签回归的无监督特征选择方法和系统 |
CN112183670A (zh) * | 2020-11-05 | 2021-01-05 | 南开大学 | 一种基于知识蒸馏的少样本虚假新闻检测方法 |
-
2021
- 2021-01-22 CN CN202110088346.1A patent/CN112801162B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104463202A (zh) * | 2014-11-28 | 2015-03-25 | 苏州大学 | 一种多类图像半监督分类方法及系统 |
CN105608471A (zh) * | 2015-12-28 | 2016-05-25 | 苏州大学 | 一种鲁棒直推式标签估计及数据分类方法和系统 |
CN108805155A (zh) * | 2018-03-21 | 2018-11-13 | 温州大学苍南研究院 | 同时学习关联矩阵和拉普拉斯正则化最小二乘的半监督分类方法 |
CN111931562A (zh) * | 2020-06-28 | 2020-11-13 | 山东师范大学 | 一种基于软标签回归的无监督特征选择方法和系统 |
CN112183670A (zh) * | 2020-11-05 | 2021-01-05 | 南开大学 | 一种基于知识蒸馏的少样本虚假新闻检测方法 |
Non-Patent Citations (3)
Title |
---|
ZILONG HUANG,ET.AL: "Weakly-supervised semantic segmentation", 《CVPR》 * |
张春婷: "基于双线性融合的视觉目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库》 * |
汪鹏等: "基于迁移学习与多标签平滑策略的图像自动标注", 《计算机应用》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115424724A (zh) * | 2022-11-04 | 2022-12-02 | 之江实验室 | 一种多模态图森林的肺癌淋巴结转移辅助诊断系统 |
CN116645576A (zh) * | 2023-07-26 | 2023-08-25 | 深圳华声医疗技术股份有限公司 | 超声图像标签处理方法、装置、超声设备及存储介质 |
CN116645576B (zh) * | 2023-07-26 | 2023-09-19 | 深圳华声医疗技术股份有限公司 | 超声图像标签处理方法、装置、超声设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112801162B (zh) | 2022-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109934293B (zh) | 图像识别方法、装置、介质及混淆感知卷积神经网络 | |
Ahuja et al. | Probabilistic modeling of deep features for out-of-distribution and adversarial detection | |
EP3767536A1 (en) | Latent code for unsupervised domain adaptation | |
CN112801162B (zh) | 基于图像属性先验的自适应软标签正则化方法 | |
Narasimhan et al. | On the relationship between binary classification, bipartite ranking, and binary class probability estimation | |
CN107943856A (zh) | 一种基于扩充标记样本的文本分类方法及系统 | |
CN109063743B (zh) | 基于半监督多任务学习的医疗数据分类模型的构建方法 | |
CN116644755B (zh) | 基于多任务学习的少样本命名实体识别方法、装置及介质 | |
CN111104831B (zh) | 一种视觉追踪方法、装置、计算机设备以及介质 | |
WO2023088174A1 (zh) | 目标检测方法及装置 | |
US11625612B2 (en) | Systems and methods for domain adaptation | |
CN113743474A (zh) | 基于协同半监督卷积神经网络的数字图片分类方法与系统 | |
CN116977710A (zh) | 一种遥感图像长尾分布目标半监督检测方法 | |
CN110827327B (zh) | 一种基于融合的长期目标跟踪方法 | |
US11288542B1 (en) | Learning graph-based priors for generalized zero-shot learning | |
CN114495114B (zh) | 基于ctc解码器的文本序列识别模型校准方法 | |
US7933449B2 (en) | Pattern recognition method | |
US20240152749A1 (en) | Continual learning neural network system training for classification type tasks | |
US20220156524A1 (en) | Efficient Neural Networks via Ensembles and Cascades | |
CN114693997A (zh) | 基于迁移学习的图像描述生成方法、装置、设备及介质 | |
CN114241380A (zh) | 一种基于类别标签和属性注释的多任务属性场景识别方法 | |
Shi et al. | Human visual perception based image quality assessment for video prediction | |
Qin et al. | The balanced loss curriculum learning | |
CN109359677B (zh) | 一种耐噪在线多分类核学习算法 | |
CN112070127A (zh) | 一种基于智能分析的海量数据样本增量分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |