CN113807316B - 烟雾浓度估计模型的训练方法、装置、电子设备及介质 - Google Patents

烟雾浓度估计模型的训练方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN113807316B
CN113807316B CN202111171726.8A CN202111171726A CN113807316B CN 113807316 B CN113807316 B CN 113807316B CN 202111171726 A CN202111171726 A CN 202111171726A CN 113807316 B CN113807316 B CN 113807316B
Authority
CN
China
Prior art keywords
estimation model
loss function
training
function value
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111171726.8A
Other languages
English (en)
Other versions
CN113807316A (zh
Inventor
张科
李少虹
吴秋生
罗敏
韩也逸
曹毅超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING ENBO TECHNOLOGY CO LTD
Original Assignee
NANJING ENBO TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING ENBO TECHNOLOGY CO LTD filed Critical NANJING ENBO TECHNOLOGY CO LTD
Priority to CN202111171726.8A priority Critical patent/CN113807316B/zh
Publication of CN113807316A publication Critical patent/CN113807316A/zh
Application granted granted Critical
Publication of CN113807316B publication Critical patent/CN113807316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种烟雾浓度估计模型的训练方法、装置、电子设备及介质，属于火灾检测技术领域。首先构建烟雾图像数据集；然后执行第一训练阶段，得到第一估计模型；然后执行第二训练阶段；随机挑选第一数量的输入图像输入到第一估计模型中，从第一神经网络输出的第一输出特征中，随机抽取第二数量的背景像素特征表示，得到背景像素特征集合；根据第一输出特征与背景像素特征集合的相似程度，生成伪标签；根据伪标签和第一估计模型的输出，计算损失函数值，根据损失函数值更新第一估计模型的参数；循环第二训练阶段，得到符合要求的烟雾浓度估计模型。本发明能够对烟雾浓度估计模型进行高效的训练，提升烟雾估计模型的性能。

Description

烟雾浓度估计模型的训练方法、装置、电子设备及介质
技术领域
本发明属于火灾检测技术领域，具体涉及一种烟雾浓度估计模型的训练方法、装置、电子设备及介质。
背景技术
使用视频图像进行烟雾和火焰检测是一种火焰检测的低成本实现方式，其中烟雾是火焰的早期表现，因此对异常烟雾进行监测是智慧城市、消防的重要组成部分。然而，烟雾目标不同于常见的刚体，其边缘具有模糊和半透明的性质，属于一种特殊的流体目标。烟雾目标中通常会混杂背景信息，且烟雾特征容易受环境光照条件的影响，导致难以高效地对烟雾目标进行检测和标注。
在现有技术中，通常是利用神经网络模型对烟雾的浓度进行估计，以判断是否发生火灾。然而，模型的检测准确度，除了受神经网络模型本身的网络结构影响之外，模型训练也是影响模型准确性的重要因素。此外，通过人工标注的方式对烟雾进行逐像素浓度标注几乎无法实现。
发明内容
技术问题：本发明针对现有的烟雾浓度估计模型的训练方法，难以对烟雾浓度估计模型进行有效训练的问题，提供一种烟雾浓度估计模型的训练方法、装置、设备及存储介质，以提高训练后的烟雾浓度估计模型的性能。
技术方案：第一方面，本发明提供一种烟雾浓度估计模型的训练方法，所述估计模型包括第一神经网络和与其连接的第二神经网络，所述训练方法包括：
构建烟雾图像数据集，数据集中每个样本包括输入图像和类别标签图像，所需类别标签图像仅需像素类别标注是否为烟，无需逐像素标注烟雾浓度；
执行第一训练阶段：将输入图像输入估计模型中，根据估计模型的输出与类别标签图像计算损失函数值，根据损失函数值更新估计模型的参数，得到第一估计模型；
执行第二训练阶段；随机挑选第一数量的输入图像输入到第一估计模型中，从第一神经网络输出的第一输出特征中，随机抽取第二数量的背景像素特征表示，得到背景像素特征集合；根据第一输出特征与背景像素特征集合的相似程度，生成浓度的伪标签；根据伪标签和第一估计模型的输出，计算损失函数值，根据损失函数值更新第一估计模型的参数；循环第二训练阶段，得到符合要求的烟雾浓度估计模型。
优选地，根据第一输出特征与背景像素特征集合的相似程度，生成伪标签包括：
通过特征向量点积计算，逐像素地计算当前像素特征嵌入与负样本特征集的相似程度。
优选地，所述方法还包括：将类别标签图像与伪标签进行“与”运算，得到修正的伪标签，利用修正的伪标签作为第二训练阶段的伪标签。
优选地，执行第一训练阶段，计算损失函数值包括：
根据估计模型的输出与类别标签图像，计算交叉熵损失函数值，以及模糊对比损失函数值；
根据交叉熵损失函数值和模糊对比损失函数值计算总损失函数值。
优选地，执行第二训练阶段，算损失函数值包括：
根据伪标签和第一训练模型的输出，计算交叉熵损失函数值，以及模糊对比损失函数值；
根据交叉熵损失函数值和模糊对比损失函数值计算总损失函数值。
优选地，计算模糊对比损失函数值的公式为：
其中，N为模糊对比选取的样本点数，PN为参加模糊对比计算的N个像素特征集，其维度为N×D，i和i*表示从PN中D维的像素嵌入特征，τ为温度参数，d(i,i*)为伪标签距离度量函数。
第二方面，本发明提供一种烟雾浓度估计模型的训练装置，用于执行所述的烟雾浓度估计模型的训练方法，包括：
第一阶段训练单元，用于执行第一训练阶段，将输入图像输入估计模型中，根据估计模型的输出与标签图像计算损失函数值，根据损失函数值更新估计模型的参数，得到第一估计模型；
第二阶段训练单元，用于执行第二训练阶段，随机挑选第一数量的输入图像输入到第一估计模型中，从第一神经网络输出的第一输出特征中，随机抽取第二数量的背景像素特征表示，得到背景像素特征集合；根据第一输出特征与背景像素特征集合的相似程度，生成浓度的伪标签，根据伪标签和第一估计模型的输出，计算损失函数值，根据损失函数值更新第一估计模型的参数。
优选地，还包括伪标签修正单元，用于将类别标签图像与伪标签进行“与”运算，得到修正的伪标签，利用修正的伪标签作为第二训练阶段的伪标签。
第三方面，本发明提供一种电子设备，包括：处理器；以及存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行所述的烟雾浓度估计模型的训练方法。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行所述的烟雾浓度估计模型的训练方法。
本发明与现有技术相比，具有以下优点：
(1)利用本发明的烟雾浓度估计模型的训练方法训练出的模型，无需逐个像素的烟雾浓度标注信息，仅仅依靠烟雾类别标注即可实现浓度估计模型的训练。在实际项目中，人工逐像素地标注烟雾像素浓度是非常困难甚至不可能的。此外，本发明中通过度量学习得到的伪标签样本，可以进一步用来迭代优化模型权重，通过自监督学习的多次优化过程，模型对于图像中烟雾浓度的估计能力，可以得到进一步提升。本发明可以利用离散的烟雾类别图即可训练得到连续的烟雾浓度估计，通过生成伪标签进行多次自监督的迭代学习，进一步提升模型性能。并且对样本标注的依赖极低，无需浓度标注即可训练，非常适用于烟雾这类半透明的目标识别与分析。
(2)本方法中的模糊对比优化方法，不同于已有的对比学习范式。本发明没有将单个像素生硬地映射到“有烟”或者“无烟”类别，而是通过标签的距离度量，设计了单个像素隶属于两类的概率，将单个样本“模糊”地映射到两类，非常适用于烟雾这类半透明目标的特征学习。其可以从离散的类别信息中，学习类间特征差异，实现图像中烟雾浓度的估计。
附图说明
图1为本发明实施例的烟雾浓度估计模型的训练方法网络架构示意图；
图2为本发明实施例的烟雾浓度估计模型的训练方法的流程图；
图3为本发明实施例的部分样本对应的标注图和结果图；
图4为本发明实施例的烟雾浓度估计模型的训练装置的框图；
图5为本发明实施例的电子设备的框图。
具体实施方式
下面结合实施例和说明书附图对本发明作进一步的说明。
图1示出了本发明实施例的烟雾浓度估计模型的训练方法网络架构示意图。在本发明的实施例中，烟雾浓度估计模型包括第一神经网络fFCN和与其连接的第二神经网络fSEG，其中第一神经网络可以根据Unet、Deeplab或HRnet等语义分割模型设计，第二神经网络可以由串联的若干个卷积层构建。对于烟雾浓度估计模型，输入尺寸为H×W×3的输入图像(其中H和W分别代表图像高和宽，3表示彩色图像的三个通道)，首先通过第一神经网络将输入图像编码为H×W×D的特征映射，其中单个像素对应一个D维的特征嵌入。其次，使用第二神经网络fSEG，将H×W×D的特征转换为H×W×1的逐像素浓度估计图，其输出节点使用sigmoid作为激活函数，将输出范围限制在[0,1]。单个像素可以计算得到一个[0,1]范围的浓度估计值。
图2示出了本发明实施例的烟雾浓度估计模型的训练方法的流程图。结合图2，本发明实施例中，训练方法包括如下步骤：
S100：构建烟雾图像数据集，数据集中每个样本包括输入图像和类别标签图像，其中类别标签图像仅需像素类别标注是否为烟，无需逐像素标注烟雾浓度。
在图3中，示出了数据集中输入图像和类别标签图像的示例。在本发明的实施例中，输入图像如图3中第(a)行中所示示例。可以看出，图像中的烟雾均具有模糊和半透明的性质，烟雾目标(图中圈出的位置)中混杂有背景信息。
类别标签图像是烟雾与背景的离散1-0类别标签图像，将烟雾区注标注为1，背景标注为0，如图3中第(b)行中所示示例，其中黑色区域为背景区域，白色区域为烟雾区域。
S200：执行第一训练阶段；将输入图像输入估计模型中，根据估计模型的输出与类别标签图像计算损失函数值，根据损失函数值更新估计模型的参数，得到第一估计模型。
第一训练阶段，可以理解为，是对烟雾估计模型的第一次训练。在本发明的实施例中，第一训练阶段，可以理解为是第一次迭代。由于烟雾估计模型在未进行训练之前，是不具备烟雾特征表征能力的，而通过第一阶段的训练，使得模型具有了一定的烟雾特征表征和浓度估计能力。
而在这一训练阶段，是利用数据集中预先标注好的类别标签图像与烟雾估计模型的输出进行对比，然后进行反向传播，实现对模型参数的更新。通过第一训练阶段，得到一个具有烟雾能力估计能力的估计模型，这里，为了便于区别和描述，称为第一估计模型。
在该阶段中，是根据估计模型的输出与类别标签图像，计算交叉熵损失函数值，以及模糊对比损失函数值；然后根据交叉熵损失函数值和模糊对比损失函数值计算总损失函数值。
其中，交叉熵损失函数值，可以直接利用标准的交叉熵损失函数计算，而对于模糊对比损失函数值，在本发明中，设计模糊对比学习策略，对搭建好的模型进行参数优化。不同于标准的对比学习方法，模糊对比学习中不会硬性地规定单个样本属于某个类别，而是赋予每个样本到不同类别的隶属度。在模型优化过程中没有正负样本的对比概念，例如某个像素点能够以30％的概率隶属于背景类，同时以70％的概率隶属于烟雾类。对于参与对比学习的某个批次的样本数据，通过两个像素的标签相似度来引导模型学习到相应的特征相似度。在损失函数设计中，分子项表示样本间的标签相似度与特征相似度乘积，分母项引入标签不相似度与特征相似度的乘积。优化目标是增大分子项并减小分母项，实现相似特征的靠近和不相似特征的疏远。对于某个像素样本i，其具体损失函数形式如下：
其中，N为模糊对比选取的样本点数，PN为参加模糊对比计算的N个像素特征集，其维度为N×D，i和i*表示从PN中D维的像素嵌入特征，τ为温度参数，d(i,i*)为伪标签距离度量函数，用于计算i和i*对应像素点的标签间距：
d(i，i*)＝|li-li*|
其中，li和li*分别代表i和i*对应像素点的烟雾标签。这里的d(i,i*)即为当前像素隶属于li*类别的概率。此外，[1-d(i,i*)]即为其隶属于另一个类别的概率。通过将单个像素同时隶属于两个类别的方式，本方法可以实现对半透明烟雾的模糊对比学习。因为浓度较低的烟雾中通常不仅仅包含烟雾特征，同时也包含一定的背景信息，生硬地将其完全归类到某个类别，对浓度估计的结果都是不利的。本发明实施例中提出的模糊对比损失函数同样适用于类别标签。
使用梯度下降法进行优化，对单个batch的训练样本数据，使用第一神经网络对模型前向推理后，得到H×W×D的特征表示，从中随机挑选N个样本特征进行模糊对比学习。模型优化时总的损失函数如下：
L＝LE+αLC
其中,LE为标准的交叉熵损失函数，α为调节参数，LC为模糊对比损失函数。
在本发明中，利用所提出损失函数进行优化，使得烟雾特征像素和背景特征像素能够比较均匀的分开。而如果单纯的利用交叉熵损失函数，二者特征在高维空间上会存在大量的交织，导致了特征度量时模型对于烟雾和背景的区分能力下降，如图3中第(c)行所示示例。
S300：执行第二训练阶段：随机挑选第一数量的输入图像输入到第一估计模型中，从第一神经网络输出的第一输出特征中，随机抽取第二数量的背景像素特征表示，得到背景像素特征集合；根据第一输出特征与背景像素特征集合的相似程度，生成浓度的伪标签，根据伪标签和第一估计模型的输出，计算损失函数值，根据损失函数值更新第一估计模型的参数；循环第二训练阶段，得到符合要求的烟雾浓度估计模型。
在本发明的实施例中，首先从训练集中随机挑选M张输入图像用于构建负样本像素特征库。然后利用第一训练阶段训练出的第一估计模型，对挑选出的样本进行前向推理，此时，从第一神经网络fFCN中输出的第一输出特征是一个较为稳定的像素特征表征，并形成一个特征库，然后随机抽取P个背景像素的特征表示，构成一个全部由负样本特征组成的背景像素特征集，这是一个维度为P×D的集合。
根据第一输出特征与背景像素特征集合的相似程度，生成浓度的伪标签，具体的可利用所构建的负样本像素特征集，以及第一输出特征图，通过特征向量点积计算，逐像素地计算当前像素特征嵌入与负样本特征集的相似程度(度量距离)。度量距离近则表示该像素在高维特征空间上更像背景，距离远则表示该像素在高维特征空间上更接近烟雾。至此，通过这种特征距离度量的方式，可以生成训练图像的烟雾浓度伪标签。其中，在伪标签中，与背景特征越相似的像素，烟雾浓度越淡。
根据伪标签和第一估计模型的输出，计算损失函数值，根据损失函数值更新第一估计模型的参数。
在计算损失函数值时，根据伪标签和第一训练模型的输出，计算交叉熵损失函数值，以及模糊对比损失函数值；根据交叉熵损失函数值和模糊对比损失函数值计算总损失函数值。具体的过程可参见对第一训练阶段的说明，所用的损失函数和优化方法是相同的。
对于第二训练阶段，在训练时，实质上是利用生成的包含一定烟雾浓度信息的伪标签代替原类别标签图像，实现对烟雾浓度估计模型的训练。在训练时，不断循环迭代第二训练阶段的过程，直至精度不再提升，即得到最终的烟雾浓度估计模型。
在本发明的实施例中，在第二训练阶段，可将类别标签图像与伪标签进行“与”运算，得到修正的伪标签，利用修正的伪标签作为第二训练阶段的伪标签。
图3中，第(c)行显示了用传统训练方法训练的模型得到烟雾浓度估计图，第(d)行显示了用本发明所提出的方法训练的模型得到的烟雾浓度估计图。从第(c)行可以看出，利用传统方法训练出的模型，最后输出的烟雾浓度估计图中，烟雾和背景并不能完全区分，因此，利用传统的方法训练出的烟雾浓度估计模型，用于估计烟雾浓度时，准确率并不高。而从第(d)行可以看出，利用本发明的方法训练出的模型，最后输出的烟雾浓度估计图中，烟雾和背景能够完全区分，用于估计烟雾浓度时，准确率会有所提高。
图4示出了本发明实施例的烟雾浓度估计模型的训练装置的框图。
如图4所示，本发明的实施例的烟雾浓度估计模型的训练装置400，包括：
第一阶段训练单元410，用于执行第一训练阶段，将输入图像输入估计模型中，根据估计模型的输出与类别标签图像计算损失函数值，根据损失函数值更新估计模型的参数，得到第一估计模型；
第二阶段训练单元420，用于执行第二训练阶段，随机挑选第一数量的输入图像输入到第一估计模型中，从第一神经网络输出的第一输出特征中，随机抽取第二数量的背景像素特征表示，得到背景像素特征集合；根据第一输出特征与背景像素特征集合的相似程度，生成伪标签，根据伪标签和第一估计模型的输出，计算损失函数值，根据损失函数值更新第一估计模型的参数；循环第二训练阶段，得到符合要求的烟雾浓度估计模型。
进一步地，还包括伪标签修正单元430，用于将类别标签图像与伪标签进行“与”运算，得到修正的伪标签，利用修正的伪标签作为第二训练阶段的伪标签。
本发明提供一种电子设备500。图5示了根据本发明实施例的电子设备的框图。
如图5所示，电子设备包括一个或多个处理器510和存储器520。
处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的烟雾浓度估计模型的训练方法以及/或者其他期望的功能。在所述的计算机可读存储介质中，还可以存储估计模型各部分输出的特征图等。
在一个示例中，电子设备还可以包括输入装置530和输出装置540，输入装置如键盘、鼠标等等，输出装置如显示器等等。输入装置530和输出装置540与处理器连接。
本发明提供一种存储介质，具体的讲，是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的神经网络的训练方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。

Claims (8)

1.一种烟雾浓度估计模型的训练方法，所述估计模型包括第一神经网络和与其连接的第二神经网络，其特征在于，所述训练方法包括：
构建烟雾图像数据集，数据集中每个样本包括输入图像和类别标签图像，所述类别标签图像需像素类别标注是否为烟；
首先，通过第一神经网络将输入图像编码为H×W×D的特征映射，其中H和W分别代表图像高和宽，单个像素对应一个D维的特征嵌入；其次，使用第二神经网络将H×W×D的特征转换为H×W×1的逐像素浓度估计图，其输出节点使用sigmoid作为激活函数，将输出范围限制在[0,1]；
执行第一训练阶段：将输入图像输入估计模型中，根据估计模型的输出与类别标签图像计算损失函数值，根据损失函数值更新估计模型的参数，得到第一估计模型；
执行第二训练阶段：随机挑选第一数量的输入图像输入到第一估计模型中，从第一神经网络输出的第一输出特征中，随机抽取第二数量的背景像素特征表示，得到背景像素特征集合；根据第一输出特征与背景像素特征集合的相似程度，生成浓度的伪标签；根据伪标签和第一估计模型的输出，计算损失函数值，根据损失函数值更新第一估计模型的参数；循环第二训练阶段，得到符合要求的烟雾浓度估计模型；
执行第一训练阶段，计算损失函数值包括：根据估计模型的输出与类别标签图像，计算交叉熵损失函数值，以及针对烟雾浓度的模糊对比损失函数值，根据交叉熵损失函数值和模糊对比损失函数值计算总损失函数值；
执行第二训练阶段，计算损失函数值包括：根据伪标签和第一估计模型的输出，计算交叉熵损失函数值，以及模糊对比损失函数值，根据交叉熵损失函数值和模糊对比损失函数值计算总损失函数值。
2.根据权利要求1所述的训练方法，其特征在于，根据第一输出特征与背景像素特征集合的相似程度，生成伪标签包括：
通过特征向量点积计算，逐像素地计算当前像素特征嵌入与负样本特征集的相似程度。
3.根据权利要求1所述的训练方法，其特征在于，所述方法还包括：将类别标签图像与伪标签进行“与”运算，得到修正的伪标签，利用修正的伪标签作为第二训练阶段的伪标签。
4.根据权利要求1所述的训练方法，其特征在于，计算模糊对比损失函数值的公式为：
其中，N为模糊对比选取的样本点数，PN为参加模糊对比计算的N个像素特征集，其维度为N×D，i和i*表示从PN中D维的像素嵌入特征，τ为温度参数，d(i,i*)为伪标签距离度量函数。
5.一种烟雾浓度估计模型的训练装置，用于执行权利要求1-4中任一项所述的烟雾浓度估计模型的训练方法，其特征在于，包括：
第一阶段训练单元，用于执行第一训练阶段，将输入图像输入估计模型中，根据估计模型的输出与类别标签图像计算损失函数值，根据损失函数值更新估计模型的参数，得到第一估计模型；
第二阶段训练单元，用于执行第二训练阶段，随机挑选第一数量的输入图像输入到第一估计模型中，从第一神经网络输出的第一输出特征中，随机抽取第二数量的背景像素特征表示，得到背景像素特征集合；根据第一输出特征与背景像素特征集合的相似程度，生成浓度的伪标签，根据伪标签和第一估计模型的输出，计算损失函数值，根据损失函数值更新第一估计模型的参数。
6.根据权利要求5所述的训练装置，其特征在于，还包括伪标签修正单元，用于将类别标签图像与伪标签进行“与”运算，得到修正的伪标签，利用修正的伪标签作为第二训练阶段的伪标签。
7.一种电子设备，其特征在于，包括：处理器；以及存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-4中任一项所述的烟雾浓度估计模型的训练方法。
8.一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行权利要求1-4中任一项所述的烟雾浓度估计模型的训练方法。
CN202111171726.8A 2021-10-08 2021-10-08 烟雾浓度估计模型的训练方法、装置、电子设备及介质 Active CN113807316B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111171726.8A CN113807316B (zh) 2021-10-08 2021-10-08 烟雾浓度估计模型的训练方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111171726.8A CN113807316B (zh) 2021-10-08 2021-10-08 烟雾浓度估计模型的训练方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN113807316A CN113807316A (zh) 2021-12-17
CN113807316B true CN113807316B (zh) 2023-12-12

Family

ID=78939332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111171726.8A Active CN113807316B (zh) 2021-10-08 2021-10-08 烟雾浓度估计模型的训练方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN113807316B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071268B (zh) * 2023-03-01 2023-06-23 中国民用航空飞行学院 基于对比学习的图像去光照模型及其训练方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800754A (zh) * 2018-12-06 2019-05-24 杭州电子科技大学 一种基于卷积神经网络的古字体分类方法
KR102141302B1 (ko) * 2019-03-04 2020-08-04 이화여자대학교 산학협력단 회귀 딥러닝 모델 기반의 영상 객체 검출 방법 및 영상처리장치
CN111723813A (zh) * 2020-06-05 2020-09-29 中国科学院自动化研究所 基于类内判别器的弱监督图像语义分割方法、系统、装置
CN112052783A (zh) * 2020-09-02 2020-12-08 中南大学 一种结合像素语义关联和边界注意的高分影像弱监督建筑物提取方法
CN112990211A (zh) * 2021-01-29 2021-06-18 华为技术有限公司 一种神经网络的训练方法、图像处理方法以及装置
CN112990432A (zh) * 2021-03-04 2021-06-18 北京金山云网络技术有限公司 目标识别模型训练方法、装置及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11669724B2 (en) * 2018-05-17 2023-06-06 Raytheon Company Machine learning using informed pseudolabels
US11068747B2 (en) * 2019-09-27 2021-07-20 Raytheon Company Computer architecture for object detection using point-wise labels

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800754A (zh) * 2018-12-06 2019-05-24 杭州电子科技大学 一种基于卷积神经网络的古字体分类方法
KR102141302B1 (ko) * 2019-03-04 2020-08-04 이화여자대학교 산학협력단 회귀 딥러닝 모델 기반의 영상 객체 검출 방법 및 영상처리장치
CN111723813A (zh) * 2020-06-05 2020-09-29 中国科学院自动化研究所 基于类内判别器的弱监督图像语义分割方法、系统、装置
CN112052783A (zh) * 2020-09-02 2020-12-08 中南大学 一种结合像素语义关联和边界注意的高分影像弱监督建筑物提取方法
CN112990211A (zh) * 2021-01-29 2021-06-18 华为技术有限公司 一种神经网络的训练方法、图像处理方法以及装置
CN112990432A (zh) * 2021-03-04 2021-06-18 北京金山云网络技术有限公司 目标识别模型训练方法、装置及电子设备

Also Published As

Publication number Publication date
CN113807316A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
Sznitman et al. Active testing for face detection and localization
US20080031521A1 (en) Automated segmentation of image structures
CN111462163B (zh) 一种弱监督语义分割方法及其应用
CN113807316B (zh) 烟雾浓度估计模型的训练方法、装置、电子设备及介质
CN115471739A (zh) 基于自监督对比学习的跨域遥感场景分类与检索方法
Pham et al. Unsupervised training of Bayesian networks for data clustering
Liu et al. Auto-sharing parameters for transfer learning based on multi-objective optimization
US11809519B2 (en) Semantic input sampling for explanation (SISE) of convolutional neural networks
CN111462184A (zh) 基于孪生神经网络线性表示模型的在线稀疏原型跟踪方法
CN109584267B (zh) 一种结合背景信息的尺度自适应相关滤波跟踪方法
CN112861692B (zh) 一种房间分类模型构建方法及装置、房间分类方法及装置
Sumbul et al. Generative reasoning integrated label noise robust deep image representation learning
Ghosal et al. Uncertainty quantified deep learning for predicting dice coefficient of digital histopathology image segmentation
CN113743572A (zh) 一种基于Fuzz的人工神经网络测试方法
Hannun The label bias problem
CN116258877A (zh) 土地利用场景相似度变化检测方法、装置、介质及设备
CN116958809A (zh) 一种特征库迁移的遥感小样本目标检测方法
CN116228623B (zh) 一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法、设备和储存介质
US20220366242A1 (en) Information processing apparatus, information processing method, and storage medium
CN112529025A (zh) 一种数据处理方法及装置
CN116258937A (zh) 基于注意力机制的小样本分割方法、装置、终端及介质
CN116129189A (zh) 一种植物病害识别方法、设备、存储介质及装置
WO2022266745A1 (en) Visualizing feature variation effects on computer model prediction
CN114241470A (zh) 一种基于注意力机制的自然场景文字检测方法
CN115018787A (zh) 一种基于梯度增强的异常检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant