CN116486150A - 一种基于不确定性感知的图像分类模型回归误差消减方法 - Google Patents

一种基于不确定性感知的图像分类模型回归误差消减方法 Download PDF

Info

Publication number
CN116486150A
CN116486150A CN202310425757.4A CN202310425757A CN116486150A CN 116486150 A CN116486150 A CN 116486150A CN 202310425757 A CN202310425757 A CN 202310425757A CN 116486150 A CN116486150 A CN 116486150A
Authority
CN
China
Prior art keywords
model
old
image
new
image classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310425757.4A
Other languages
English (en)
Inventor
马晓星
徐经纬
曹春
吕建
李泽南
张茂润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202310425757.4A priority Critical patent/CN116486150A/zh
Publication of CN116486150A publication Critical patent/CN116486150A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于不确定性感知的图像分类模型回归误差消减方法，面向图像分类模型在图像数据更新或模型架构更新后，新版本图像分类模型难以兼容旧版本图像分类模型的问题。使用模型集成策略，估计并根据新旧两个图像分类模型在预测结果中的不确定性，得到模型的集成预测结果。其中集成策略针对无数据(data‑free)和少量无标签数据(label‑free)两种情形下分别讨论。对于无数据情形，采用图像扰动或模型扰动的方式来估计图像分类模型的不确定性；对于少量无标签数据情形，采用温度缩放的方式校准旧版本图像分类模型的不确定性，使之向新版本图像分类模型对齐。本发明减少了回归误差，得到具有向前兼容性的集成图像分类模型；具有更佳的表现效果。

Description

一种基于不确定性感知的图像分类模型回归误差消减方法
技术领域
本发明涉及一种基于不确定性感知的图像分类模型回归误差消减方法，属于面向图像分类模型更新过程中图像分类模型向前兼容性优化技术领域。
背景技术
当前图像分类模型在生活的各个场景中都已开展了广泛的应用，如人脸识别、无人驾驶、拍照搜索等。作为这些现代软件系统中的关键组件，图像分类模型也同这些传统软件一样，经历着持续的更新，以求向用户提供更好的服务。
但图像分类模型的不断更新也可能会引入回归误差，即总存在部分图像样本，其预测在旧版本图像分类模型中是正确的，但在新版本图像分类模型中是错误的。回归误差的存在破坏了新模型的向前兼容性。对于图像分类模型，大多基于深度神经网络(DNN)的架构，由于DNN是一种不确定性模型，因此在更新后产生的回归误差是不可避免的。例如，对于同一个图像分类模型和同一个图像数据集，在其他各项参数都保持相同的情况下，分别对这个模型进行两次独立的训练，尽管图像分类模型在两次训练后的预测准确率是相近的，但是模型所能正确预测的图像样本是不完全相同的。
图像分类模型中回归误差的普遍存在，对生产实践和用户体验都会带来破坏性影响。例如，照片搜索App的更新导致搜索结果与过往不同，导致该App在应用商店中评分下降；对X射线图像进行医学分类的模型，在更新后容易误判的图像样本发生了改变，导致医生需要重新适应。诸如此类的问题反映了对图像分类模型更新后出现的回归误差，导致模型向前兼容性下降，对用户体验造成了不好的影响。
目前对图像分类模型的回归误差消减工作仍存在许多不足。一方面，现有的模型训练技术在图像数据更新或模型架构更新时，无法保证训练后新图像分类模型对旧图像分类模型的向前兼容性，无法满足业务应用要求；另一方面，现有的回归误差消减技术，会导致图像分类模型的性能下降，实用效果较差，无法满足业务应用要求。
发明内容
发明目的：针对现有的技术在图像数据更新或图像分类模型架构更新时新图像分类模型向前兼容性差和性能下降的问题，本发明提供一种基于不确定性感知的图像分类模型回归误差消减的轻量级应用技术，从图像分类模型不确定性分析的视角，采用集成的方法，使得在图像分类模型更新的应用场景下，减少图像分类模型的回归误差，并保障图像分类模型表现效果的下界。
技术方案：一种基于不确定性感知的图像分类模型回归误差消减方法，以支持减少图像分类模型更新过程中产生的回归误差，兼顾图像分类模型的向前兼容性和表现性能；包括1)图像分类模型更新时，分别独立训练得到图像分类的旧模型和新模型；2)对于无数据的情形，采用图像扰动或模型扰动的策略来估计图像分类模型的不确定性；3)对于拥有少量无标签数据的情形，采用温度缩放的策略校准旧模型的不确定性；4)使用简单平均的模型集成方法得到集成模型。
所述1)中，图像分类模型更新的原因通常有如下两种：(1)收集到更多的图像数据用于模型训练。例如，为用户提供拍照搜索服务的App，在提供服务的同时收集到了更多的图像数据，这些图像数据可以用于对模型更新的训练；(2)更新了图像分类模型的底层神经网络架构。例如，网络VGG架构是近十年前流行使用的图像分类模型，而ResNet等新的网络架构被证明可以提供更高的准确性，因此需要进行升级。在这两种原因导致的模型更新时，我们都需要对旧模型和新模型分别在对应的图像数据集上采用相应的网络架构独立地进行训练，训练得到的新模型用于更新原本的旧模型。但模型更新后，也会不可避免地带来回归误差。例如，将ResNet-50模型更新为DenseNet-169模型，在ImageCLEF图像数据集上，回归误差高达9.44％。对于图像数据集D，其中旧模型预测正确而新模型预测错误的样本，被称作回归误差(Regression Error)。
考虑一种模型更新时的常见情况，由于图像数据隐私或专有限制，无法确定模型训练所使用的图像数据集，此时对模型的不确定性进行分析采用的策略是图像扰动或模型扰动。
所述2)中，在没有额外数据可用来减少图像分类模型回归错误时，通过估计每个图像输入样本的预测方差来调整旧模型和新模型的不确定性。对于相似的图像输入，图像分类模型应产生相似的预测输出，因此对于相似的图像输入，预测方差越大的模型其不确定性也越大，这便是图像扰动。同理，对于同一输入，图像分类模型发生微小改变后的预测方差越大，则模型的不确定性也越大，这便是模型扰动。
基于这样的结论，可以得到两种引入扰动的方式：
(1)通过随机噪声扰动输入图像；
(2)通过图像分类模型中加入dropout扰动模型。
旧模型记为Mold，新模型记为Mnew，对于输入图像x，旧模型的预测输出记为新模型的预测输出记为/>通过这图像扰动或模型扰动的方式，分别计算旧模型和新模型的预测方差/>和/>
对于输入图像x，定义如下的缩放系数α1(x)和α2(x)：
根据输入数据x，使用计算得到的缩放系数α1(x)和α2(x)来调整模型预测值，实现预测值的逐点缩放，调整后旧模型和新模型的预测分别为：
经过这种缩放后的简单平均相当于逆方差加权，当Mold和Mnew之间无相关性时，将达到最低方差。此时，集成模型的预测输出/>即为对调整后模型预测进行简单平均：
所述3)中，在可以获得部分无标记数据用来减少图像分类模型回归错误时，此时使用温度缩放(temperature-scaling)技术可以更好地处理回归错误。温度缩放是一种简单但有效的技术，可以用于置信度校准，做法是在神经网络的Softmax层之前将Softmax层的输入LogitzM除以标量T(称作温度)，即：
其中表示模型M在温度T下的预测输出，对于使用温度T的模型记为M(T)。温度缩放的特性是不会改变Softmax输出的最大值所在类别，因此保留了模型的预测。根据这一特性，模型M(T)和模型M的预测结果是完全一致的。
均方误差(MSE，Mean Squared Error)可以用来表示模型预测值与真实标签之间的差距，故MSE(M)在一定层面上反应了模型M的不确定性，即模型预测值与真实标签之间的差距越大，其对应的均方误差MSE也就越大，也就说明了该模型的不确定性越大。而对于图像分类模型更新的场景而言，旧模型往往是具有更大的不确定性的，这也是进行模型更新的原因。因此，需要对图像分类的旧模型Mold进行温度缩放得到降低其模型不确定性，并使其不确定性近似等于新模型的不确定性，通过这种操作，对齐了新旧模型的不确定性，然后通过简单平均的集成方法就能得到具有最好表现效果的集成模型/>
注意到通过使用均方误差MSE来衡量模型不确定性，因此只需要实现：
为了实现上述目标，使用了一小组不带标记的图像数据来解决。具体地，在这组不带标记的图像数据上，对旧模型进行温度缩放得到并求解最佳的温度T*使得对于最佳温度T*的求解，使用到了具有多个初始点的拟牛顿法L-BFGS进行求解。
值得注意的是，上述方法中只需要在旧模型第一次进行预测前，使用这组不带标记的图像数据求解得到最佳的温度值T*。对于之后的输入，每次都是使用这个温度值T*而无需改变，然后通过下面的表达式得到集成模型的预测输出
其中，表示温度缩放后旧模型的预测概率分布，/>表示新模型的预测概率分布。注意到最佳温度值T*只需要计算一次，因此该方法也是高效可行的。
所述4)中，简单平均的模型集成方法是对多个模型的预测结果取平均，对于图像分类模型的回归误差问题中的新旧模型具体而言，是指将旧模型及新模型对输入数据的预测概率分布进行简单平均。
在所述2)和所述3)中，给出了无数据和拥有少量无标签数据两种情形下的不确定性分析方法，并且通过缩放系数或温度缩放技术，分别对旧模型和新模型的预测进行了一定的调整。记调整后旧模型的预测为以及调整后新模型的预测为/>此时通过对这两个预测做简单平均便能得到我们所期望的兼具向前兼容性和表现性能的集成模型/>的预测/>
1)图像分类模型更新时，分别独立训练得到旧模型和新模型。注意，新旧模型的训练是独立进行的，可能使用不同的图像数据集和深度神经网络架构。采用如下的流程训练旧模型和新模型：
101)构建模型架构，并随机初始化模型参数；
102)按批读取图像训练数据集，并输入给模型；
103)计算模型预测值与真实标签值的交叉熵(Cross-Entropy)，得到模型的损失Loss；
104)采用误差反向传播算法，根据损失Loss更新模型各神经网络层参数；
105)训练模型，直至模型收敛，得到训练好的模型。
对图像分类的新旧模型进行不确定性分析，根据不同情形可分别采用2)中无数据情形下的不确定性分析流程或3)中拥有少量无标签数据情形下的不确定性分析流程。
2)在无数据情形下的不确定性分析实现流程如下：
201)给旧模型(Mold)和新模型(Mnew)输入相同的图像数据(x)，分别得到对应的预测输出和/>
202)通过图像扰动或模型扰动的方式，评估模型的不确定性；
2021)对于图像扰动的方式：
i)根据图像输入x通过加入随机噪声(例如，常采用高斯噪声)产生与x相近的一组图像输入x1,…,n；
ii)将这组图像输入x1,…,n同时输入给Mold和Mnew，分别得到旧模型和新模型产生的对应的预测输出，计算预测输出的方差和/>
2022)对于模型扰动的方式：
i)对旧模型Mold和新模型Mnew通过设置网络dropout来随机丢弃部分神经元的输出，以产生与旧模型对应的一组相似的随机模型和与新模型对应的一组相似的随机模型/>
ii)将图像输入x同时输入给和/>分别得到/>和/>产生的一组预测输出，计算预测输出的方差/>和/>
203)根据图像扰动或模型扰动得到新旧模型预测方差，分别计算旧模型和新模型的缩放系数α1(x)和α2(x)，计算公式为：
204)根据缩放系数，得到通过缩放系数调整后旧模型和新模型关于图像输入x的预测输出：
3)在拥有少量无标签数据情形下的不确定性分析实现流程如下：
301)给定旧模型(Mold)，新模型(Mnew)，一小组未标记的图像数据集D，和待预测的图像输入x，分别得到对应的预测输出和/>
302)判断在数据集D上，是否已经计算了最佳温度T*：
i)若是，则跳转304)执行；
ii)若否，则跳转303)执行；
303)在数据集D上，根据使用具有多个初始点的拟牛顿法L-BFGS，求解得到最佳温度T*；
304)采用温度缩放技术，使用最佳温度T*缩放Mold的Logit得到温度缩放调整后的旧模型Mold的预测输出：
305)新模型Mnew的预测输出无需使用温度缩放，故保持不变。
4)根据对新旧模型不确定性分析结果，对新旧模型预测输出集成，实现流程如下：
401)经过不确定性分析后(经过流程2或3)旧模型和新模型的预测输出分别记作，和/>
402)通过不确定性分析，使得旧模型和新模型的第二层不确定性保持一致，此时可通过简单平均的方式，得到符合需要的集成预测输出
403)即为集成旧模型Mold和新模型Mnew后，对图像输入x产生的预测输出。
404)最终，集成模型对输入x预测的分类类别为集成预测输出/>中具有最大值的索引类别(1,…,K)，即：
与现有技术方案相比，本发明具有以下特点：
1)使用模型集成的方法，解决图像分类模型更新带来的回归误差，能够有效地实现模型的向前兼容性和表现性能的兼顾；
2)从深度神经网络的不确定性视角，给出了一套完整和有效的方法分析和量化深度神经网络的不确定性；
3)针对生产实践中图像分类模型更新的实际情况，提出了两套解决方案，在无数据和拥有少量无标签数据的情形下，都能有效的解决问题；
4)本方法具有高效性、轻量级、通用性的特点，该流程无需使用大量图像数据，整套流程快速高效、及时性强，具有应用价值。
附图说明
图1为本发明实施例的整体执行流程图；
图2为本发明实施例提供的在无数据情形下对新旧模型进行不确定性分析的流程图；
图3为本发明实施例提供的在拥有部分未标记数据情形下对新旧模型进行不确定性分析的流程图；
图4为本发明实施例提供的通过图像扰动和模型扰动计量模型不确定性的流程图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
图1描述了本发明整体执行流程图，强调了本发明是基于不确定性感知的减少图像分类模型回归错误的技术，主要采用的方法是模型集成，包含旧模型和新模型两部分。而图2和图3分别描述了在无数据情形下和拥有部分未标记数据情形下的流程，其基本思路都是分析旧模型和新模型的不确定性后，再进行简单平均的模型集成方法。图4使用图例描述了在无数据情形下通过图像扰动和模型扰动分析模型不确定性的具体流程。
下面进行具体实施说明。首先描述模型准备部分：
步骤一：旧模型和新模型是分别独立训练得到的，通常会使用不同的图像数据集和深度神经网络架构，且新模型在当前测试集一般具有更高的准确率。
接下来是模型不确定性分析部分，首先描述在无数据情形下的不确定性分析：
步骤二：无数据的情形下，将根据旧模型Mold、新模型Mnew和待预测的图像输入x来分析模型的不确定性，采用图像扰动或模型扰动的方法。
图像扰动的做法是对待预测的图像输入x，加入随机噪音产生一组相近的图像输入x1,…,n，将这组图像分别输入给Mold和Mnew，并计算模型的预测输出的方差和
模型扰动的做法是设置Mold和Mnew的dropout来随即丢弃其中一部分神经元的输出，以产生一组相似的随机模型和/>然后将待预测的图像输入x，分别输入给这两组模型，计算每组模型预测输出的方差/>和/>
步骤三：根据模型预测方差得到模型的缩放系数α1(x)和α2(x)， 其本质是逆方差权重。
步骤四：根据缩放系数α1(x)和α2(x)，以及新旧模型对图像输入x的预测结果和/>进行权重缩放后得到新旧模型不确定性对齐后的预测结果/> 和/>
对于拥有部分无标记数据情形下的不确定性分析流程如下：
步骤二：拥有部分无标记数据的情形下，将根据旧模型Mold、新模型Mnew和未标记数据集D来分析模型的不确定性，采用温度缩放的方法。
步骤三：判断最佳温度T*是否存在？若存在，则跳过本步骤。否则，在数据集D上，根据使用具有多个初始点的拟牛顿法L-BFGS，求解得到最佳温度T*。
步骤四：对于输入x，对Mold产生的预测Logit用温度T*缩放后，再经过Softmax层得到其预测输出而Mnew不使用温度缩放，故其预测输出仍为/>
最后是模型集成部分：
步骤五：为了便于描述，对于上述两种情形下不确定性分析中步骤四旧模型产生的预测输出记为新模型产生的预测输出记为/>此时新旧模型的预测输出经过了不确定性对齐，具有统一的不确定性，因而通过简单平均便能得到满足需要的集成模型预测输出，计算方式为：/>最后，找到/>向量中元素最大值所在的索引类别即为集成模型/>对图像输入x的预测类别。
图像分类模型采用的模型本质通常是深度神经网络模型，包括：ResNet_v1，ResNet_v2，WideResNet(WRN)，ResNeXt，VGG等模型，包含了输入层、输出层和若干隐藏层的神经网络结构，通常有卷积层，池化层，批归一化层，全连接层和激活层等。
通过上述方法，本发明实现一种基于不确定性感知的图像分类模型回归误差消减的轻量级应用技术，该方法采用基于模型集成的方法，对更新前后的新旧模型先采取不确定性分析后、再进行简单平均的模型集成，得到具有向前兼容性和较好表现性能的集成模型。
显然，本领域的技术人员应该明白，上述的本发明实施例的基于不确定性感知的图像分类模型回归误差消减的轻量级应用技术的各步骤可以用通用的计算装置来实现，它们可以用计算装置可执行的程序代码来实现，从而构成应用软件系统中的组件之一。因而，本发明实施例不限制于任何特定的硬件和软件结合。

Claims (9)

1.一种基于不确定性感知的图像分类模型回归误差消减方法，其特征在于，包括如下步骤：1)图像分类模型更新时，分别独立训练得到图像分类的旧模型和新模型；2)对于无数据的情形，采用图像扰动或模型扰动的策略来估计图像分类模型的不确定性；3)对于拥有无标签数据的情形，采用温度缩放的策略校准旧模型的不确定性；4)使用简单平均的模型集成方法得到集成模型。
2.根据权利要求1所述的基于不确定性感知的图像分类模型回归误差消减方法，其特征在于，所述1)中，图像分类模型更新的原因通常有如下两种：(1)收集到更多的图像数据用于模型训练；(2)更新了图像分类模型的底层神经网络架构；在这两种原因导致的图像分类模型更新时，对图像分类的旧模型和新模型分别在对应的图像数据集上采用相应的网络架构独立地进行训练，训练得到的新模型用于更新原本的旧模型，模型更新后，带来回归误差；对于图像数据集D，其中旧模型预测正确而新模型预测错误的样本，被称作回归误差。
3.根据权利要求1所述的基于不确定性感知的图像分类模型回归误差消减方法，其特征在于，所述2)中，图像扰动时，通过随机噪声扰动输入图像：对于输入图像x，加入随机噪音产生一组相近的输入图像x1,…,n，将这组图像分别输入给旧模型Mold和新模型Mnew，并计算旧模型Mold和新模型Mnew的预测方差和/>
4.根据权利要求1所述的基于不确定性感知的图像分类模型回归误差消减方法，其特征在于，所述2)中，模型扰动的做法是设置旧模型Mold和新模型Mnew的dropout来随即丢弃其中一部分神经元的输出，以产生一组相似的随机模型和/>然后将待预测的输入图像x，分别输入给这两组模型/>和/>计算每组模型预测输出的方差/>和
5.根据权利要求1所述的基于不确定性感知的图像分类模型回归误差消减方法，其特征在于，所述3)中，在可以获得部分无标记数据用来减少图像分类模型回归错误时，此时使用温度缩放技术处理回归错误，对图像分类的旧模型Mold进行温度缩放得到通过使用均方误差MSE来衡量模型不确定性，实现：
使用一组不带标记的图像数据，在这组不带标记的图像数据上，对旧模型进行温度缩放得到并求解最佳的温度T*使得/>对于最佳温度T*的求解，使用具有多个初始点的拟牛顿法L-BFGS进行求解；
对于之后的输入图像，每次都是使用这个温度值T*而无需改变，然后通过下面的表达式得到集成模型的预测输出
6.根据权利要求1所述的基于不确定性感知的图像分类模型回归误差消减方法，其特征在于，所述4)中，简单平均的模型集成方法，对于图像分类模型的回归误差问题中的新旧模型具体而言，是指将旧模型及新模型对输入数据的预测概率分布进行简单平均。
7.根据权利要求1所述的基于不确定性感知的图像分类模型回归误差消减方法，其特征在于，图像分类模型更新时，分别独立训练得到旧模型和新模型；采用如下的流程训练旧模型和新模型：
101)构建模型架构，并随机初始化模型参数；
102)按批读取图像训练数据集，并输入给模型；
103)计算模型预测值与真实标签值的交叉熵，得到模型的损失Loss；
104)采用误差反向传播算法，根据损失Loss更新模型各神经网络层参数；
105)训练模型，直至模型收敛，得到训练好的模型。
8.根据权利要求1所述的基于不确定性感知的图像分类模型回归误差消减方法，其特征在于，对图像分类的新旧模型进行不确定性分析，根据不同情形可分别采用无数据情形下的不确定性分析流程或拥无标签数据情形下的不确定性分析流程；
2)在无数据情形下的不确定性分析实现流程如下：
201)给旧模型Mold和新模型Mnew输入相同的图像数据x，分别得到对应的预测输出
pMold(x)和pMnew(x)；
202)通过图像扰动或模型扰动的方式，评估模型的不确定性；
2021)对于图像扰动的方式：
i)根据图像输入x通过加入随机噪声产生与x相近的一组图像输入x1,…,n；
ii)将这组图像输入x1,…,n同时输入给Mold和Mnew，分别得到旧模型和新模型产生的对应的预测输出，计算预测输出的方差和/>
2022)对于模型扰动的方式：
i)对旧模型Mold和新模型Mnew通过设置网络dropout来随机丢弃部分神经元的输出，以产生与旧模型对应的一组相似的随机模型和与新模型对应的一组相似的随机模型
ii)将图像输入x同时输入给和/>分别得到/>和/>产生的一组预测输出，计算预测输出的方差/>和/>
203)根据图像扰动或模型扰动得到新旧模型预测方差，分别计算旧模型和新模型的缩放系数α1(x)和α2(x)，计算公式为：
204)根据缩放系数，得到通过缩放系数调整后旧模型和新模型关于图像输入x的预测输出：
9.根据权利要求8所述的基于不确定性感知的图像分类模型回归误差消减方法，其特征在于，3)在拥有少量无标签数据情形下的不确定性分析实现流程如下：
301)给定旧模型Mold，新模型Mnew，一组未标记的图像数据集D，和待预测的图像输入x，分别得到对应的预测输出和/>
302)判断在数据集D上，是否已经计算了最佳温度T*：
i)若是，则跳转304)执行；
ii)若否，则跳转303)执行；
303)在数据集D上，根据使用具有多个初始点的拟牛顿法L-BFGS，求解得到最佳温度T*；
304)采用温度缩放技术，使用最佳温度T*缩放Mold的Logit得到温度缩放调整后的旧模型Mold的预测输出：
305)新模型Mnew的预测输出无需使用温度缩放，故保持不变。
CN202310425757.4A 2023-04-20 2023-04-20 一种基于不确定性感知的图像分类模型回归误差消减方法 Pending CN116486150A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310425757.4A CN116486150A (zh) 2023-04-20 2023-04-20 一种基于不确定性感知的图像分类模型回归误差消减方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310425757.4A CN116486150A (zh) 2023-04-20 2023-04-20 一种基于不确定性感知的图像分类模型回归误差消减方法

Publications (1)

Publication Number Publication Date
CN116486150A true CN116486150A (zh) 2023-07-25

Family

ID=87213230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310425757.4A Pending CN116486150A (zh) 2023-04-20 2023-04-20 一种基于不确定性感知的图像分类模型回归误差消减方法

Country Status (1)

Country Link
CN (1) CN116486150A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116991745A (zh) * 2023-09-21 2023-11-03 清华大学 一种面向软件变更的适应性弱点检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116991745A (zh) * 2023-09-21 2023-11-03 清华大学 一种面向软件变更的适应性弱点检测方法
CN116991745B (zh) * 2023-09-21 2023-12-29 清华大学 一种面向软件变更的适应性弱点检测方法

Similar Documents

Publication Publication Date Title
CN108399428B (zh) 一种基于迹比准则的三元组损失函数设计方法
CN111832627B (zh) 抑制标签噪声的图像分类模型训练方法、分类方法及系统
CN110909926A (zh) 基于tcn-lstm的太阳能光伏发电预测方法
CN110245550B (zh) 一种基于总体余弦分布的人脸噪音数据集cnn训练方法
CN113255849B (zh) 一种基于双重主动查询的标签带噪图像学习方法
CN112580728B (zh) 一种基于强化学习的动态链路预测模型鲁棒性增强方法
CN113743474A (zh) 基于协同半监督卷积神经网络的数字图片分类方法与系统
WO2024045351A1 (zh) Cmos器件寿命预测方法、装置、电子设备及介质
CN116486150A (zh) 一种基于不确定性感知的图像分类模型回归误差消减方法
WO2023207389A1 (zh) 数据处理方法、装置、程序产品、计算机设备和介质
CN114819143A (zh) 一种适用于通信网现场维护的模型压缩方法
CN115130376A (zh) 一种基于行列式多样性引导的群体强化学习训练方法
CN113592008B (zh) 小样本图像分类的系统、方法、设备及存储介质
CN113297936A (zh) 一种基于局部图卷积网络的排球群体行为识别方法
CN117036760A (zh) 一种基于图对比学习的多视图聚类模型实现方法
CN111161238A (zh) 图像质量评价方法及装置、电子设备、存储介质
CN114821337B (zh) 基于时相一致性伪标签的半监督sar图像建筑区提取方法
CN114495114B (zh) 基于ctc解码器的文本序列识别模型校准方法
TWI781000B (zh) 機器學習裝置以及方法
CN115131549A (zh) 一种基于自提升学习的显著性目标检测训练方法
CN115577797A (zh) 一种基于本地噪声感知的联邦学习优化方法及系统
Song et al. A hierarchical probabilistic underwater image enhancement model with reinforcement tuning
KR20190129422A (ko) 뉴럴 네트워크를 이용한 변분 추론 방법 및 장치
CN114819000B (zh) 反馈信息预估模型训练方法、装置以及电子设备
CN115879513B (zh) 一种数据的层次化标准化方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination