CN112580714B - 一种以错因强化方式动态优化损失函数的物品识别方法 - Google Patents

一种以错因强化方式动态优化损失函数的物品识别方法 Download PDF

Info

Publication number
CN112580714B
CN112580714B CN202011477588.1A CN202011477588A CN112580714B CN 112580714 B CN112580714 B CN 112580714B CN 202011477588 A CN202011477588 A CN 202011477588A CN 112580714 B CN112580714 B CN 112580714B
Authority
CN
China
Prior art keywords
correlation
training
loss function
model
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011477588.1A
Other languages
English (en)
Other versions
CN112580714A (zh
Inventor
于效宇
陈颖璐
刘艳
谈海平
李富超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China Zhongshan Institute
Original Assignee
University of Electronic Science and Technology of China Zhongshan Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China Zhongshan Institute filed Critical University of Electronic Science and Technology of China Zhongshan Institute
Priority to CN202011477588.1A priority Critical patent/CN112580714B/zh
Priority to PCT/CN2021/070884 priority patent/WO2022126809A1/zh
Publication of CN112580714A publication Critical patent/CN112580714A/zh
Application granted granted Critical
Publication of CN112580714B publication Critical patent/CN112580714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开了一种以错因强化方式动态优化损失函数的物品识别方法，优化后的损失函数取名为ER‑Loss，在原来的交叉熵损失函数的基础上加入惩罚项实现,惩罚项包含以下四个模块:惩罚程度的放大因子A；惩罚程度调节系数Aprob，用于在训练过程中根据实际情况调节放大因子A对数据集各类别之间的相关性和相关类别的实际输出概率的影响，让放大因子A能够自动适应训练的不同阶段；在各网络下，数据集各类别之间的相关性组合X；相关类别的概率
Figure DDA0004180067860000011
根据模型的每一次训练情况动态调整，与现有技术相比，本发明通过惩罚程度调节系数Aprob动态调节放大因子A，识别更加灵活，同时引入各网络下，数据集各类别之间的相关性组合X，使得模型对于类别特征的判断更加全面，提高了模型对物品识别的精度，降低得到的结果与实际结果之间的偏差，能有效地提高深度学习网络模型的识别准确程度。

Description

一种以错因强化方式动态优化损失函数的物品识别方法
技术领域
本发明涉及一种优化损失函数的物品识别方法，特别是一种以错因强化方式动态优化损失函数的物品识别方法。
背景技术
申请号为“2020106691598”的专利文献公开了一种采用错因强化方式优化损失函数的方法，优化后的损失函数取名为corloss，在原来的交叉熵损失函数的基础上加入惩罚项实现,惩罚项包含以下三个模块:惩罚程度调节因子T，数据集各类别之间的相关性Xijd，相关类别的概率
Figure GDA0004180067850000011
由于惩罚程度调节因子T为定值,惩罚程度调节因子T确定后就不能再更改识别结果,一旦惩罚程度调节因子T的数据错误,得到的结果将与实际的结果存在很大的偏差,造成识别错误。
发明内容
为了克服现有技术的不足，本发明提供一种识别准确率高的以错因强化方式动态优化损失函数的物品识别方法。
本发明解决其技术问题所采用的技术方案是：
一种以错因强化方式动态优化损失函数的物品识别方法，优化后的损失函数取名为ER-Loss，在原来的交叉熵损失函数的基础上加入惩罚项实现,惩罚项包含以下四个模块:
惩罚程度的放大因子A，用于放大相关类别对模型精度的影响，当A＝0时，惩罚项为0，对模型精度无影响，此时ER-Loss即为交叉熵损失函数，在模型训练时可根据相关性的实际情况设置A值；
惩罚程度调节系数Aprob，用于在训练过程中根据实际情况调节放大因子A对数据集各类别之间的相关性和相关类别的实际输出概率的影响，让放大因子A能够自动适应训练的不同阶段；
在各网络下，数据集各类别之间的相关性组合X，通过初步模型测试所有物品类别的输出，并使用信息熵公式计算后获得单个网络的相关性Xijd，随后根据实际情况设定权重矩阵λ对各网络相关性进行线性组合得到X；
相关类别的概率
Figure GDA0004180067850000021
即在训练过程中将目标物品识别为与之相关的物品类别的概率，非定值，根据模型的每一次训练情况动态调整。
本发明包括以下步骤：
步骤S1、初步训练并获取各类别的相关性；
步骤S2、根据识别结果动态加入惩罚项；
步骤S3、构建新的损失函数；
步骤S4：设定溢出机制；
步骤S5：采用ER-Loss训练。
步骤S1的具体步骤如下：采用交叉熵损失的损失函数对模型进行初步训练，初步训练后的模型用于测试各类别的相关项以及各类别之间的相关性。
步骤S2包括以下具体步骤：根据识别结果动态加入惩罚项，监控每张图片的识别结果，对于相关项的输出,模型以概率分数的形式作为惩罚项的一部分加入损失函数的计算中，同时在训练过程中使用溢出机制保护损失函数继续计算，一旦溢出则使用原来的交叉熵损失函数。
步骤S3的具体步骤如下：以原来的交叉熵损失函数为基础,通过原来的交叉熵损失函数训练出初步模型后，测试所有类别的相关项,所有类别的相关项即分类错因，在正式训练时把这些分类错因引入到损失函数的计算中，构建新的损失函数，得到ER-Loss的具体公式如下：
Figure GDA0004180067850000022
其中，i是指正确分类的物品类别，j是指与i相关的具有物品类别，d是指相关物品类别的个数,n代表该数据集的分类总数；A为放大因子，用于放大相关类别对模型精度的影响；惩罚程度调节系数Aprob，用于在训练过程中根据实际情况调节放大因子A对数据集各类别之间的相关性和相关类别的实际输出概率的影响，让A能够自动适应训练的不同阶段；X为各网络模型下的错因值组合，即各网络下相近物品类别之间的相关性组合，用信息熵来表示，信息熵越大说明相关性越大，模型识别错误的几率越高；
Figure GDA0004180067850000035
为训练过程中相关类别的输出概率；
其中，Aprob的具体公式如下：
Figure GDA0004180067850000031
其中，d是指相关物品类别的个数，D是指在当次训练中，输出概率大于概率阈值T的类别个数。
其中，单个网络获得的相关性Xijd的具体公式如下：
Figure GDA0004180067850000032
其中Bij为类别i的相关类别j在类别i的图片中得到的输出平均值，将每个类别的图片输出值按位置相加，然后求平均值以保证输出是正常水平。
模型训练时可以根据实际情况设置d值，当d＝0时，其他物品类别不会对目标物品的类别识别产生影响，此时ER-Loss即为交叉熵损失函数。
步骤S3中，放大因子A的初始设定值：A是放大因子，用于放大类别间的相关性组合X以及模型实际犯错的概率
Figure GDA0004180067850000033
对损失函数的影响。其初始值根据以下公式进行设定：
Figure GDA0004180067850000034
/>
其中，C是一个根据实际情况设定的定值，aver_X是通过预训练网络获得的相关性的均值，通过均值的手段获取整个数据集的相关性。这里的均值是算术平均值、几何平均值、调和平均值、加权平均值、均方根平均值、指数平均值和中位数其中的一种。
步骤S3中，最后计算采用的相关性X＝∑m(λmXijdm)的具体组合方式：Xijdm是同一类别在不同网络下获得的相关性，通过初步模型测试获得，最后计算时通过将其线性组合获得最终的相关性公式，具体如下：
Figure GDA0004180067850000041
其中，m是获取类别间相关性的网络个数，λm是各相关性的系数，为一个常数，同一类别在不同网络下的相关性的权重系数，在训练中可以根据实际情况设定权重λm的值，灵活的应用各网络的相关性。
步骤S4的具体步骤如下：当
Figure GDA0004180067850000042
时，则使用优化后的损失函数ER-Loss，一旦溢出则使用原来的交叉熵损失函数计算(换种说法就是,当
Figure GDA0004180067850000043
时，则使用优化后的损失函数ER-Loss，否则使用原来的交叉熵损失函数计算)。
步骤S5包括以下训练方式：
A、第一种训练方式如下：共进行两次训练，第一次训练为初步训练，先使用原来的交叉熵损失函数训练初步模型，再使用初步模型测出数据集各类别之间的相关性，整理成相关性表格再进行正式训练，第二次训练则使用ER-Loss进行正式训练，在正式训练时以索引的方式把每个物品类别的相关项加入到ER-Loss中计算，针对初步模型对每个图片的识别情况，从相关性表格中搜索到对应的惩罚项加入到ER-Loss中计算；
B、第二种训练方式如下：只进行一次训练，共N个epoch，训练包括两个阶段，第一个阶段取epoch＝int[kN]时的模型作为初步模型，其中0＜k＜1，用初步模型测出数据集各类别之间的相关性，整理成相关性表格，第二个阶段则使用ER-Loss从epoch＝int[kN]+1处开始断点续训，其中0＜k＜1，在断点续训过程中，针对模型对每个图片的识别情况，从相关性表格中搜索到对应的惩罚项加入到损失函数中计算；
C、第三种训练方式如下：共进行两个阶段,并且多次训练,第一阶段为预训练，首先使用不同网络分别对数据集进行预训练，接着使用各初步模型分别测出各类别在不同网络下的相关项以及它们之间的相关性，整理成相关性表格，并根据实际情况设定相关性组合公式中的相关性权重矩阵λ，将各网络相关性和相关性权重矩阵λ相乘得到最终相关性X＝∑m(λmXijdm),通过均值的手段计算放大因子A的初始值；第二阶段为正式训练，调用相关性表格及权重矩阵λ重构损失函数，并形成新的损失函数ER-Loss，使用ER-Loss进行正式训练，在正式训练时以索引的方式把每个物品类别的相关项及它们之间的相关性和模型实际犯错的概率加入到ER-Loss中计算，针对初步模型对每个图片的识别情况，从相关性表格中搜索到对应的惩罚项加入到ER-Loss中计算。
本发明的有益效果是：与现有技术相比，本发明通过惩罚程度调节系数Aprob动态调节放大因子A，识别更加灵活，提高了模型对物品识别的精度，降低得到的结果与实际结果之间的偏差，能有效地提高深度学习网络模型的识别准确程度。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的步骤流程图；
图2是第一种训练方式的步骤流程图；
图3是第二种训练方式的步骤流程图；
图4是第三种训练方式的步骤流程图。
具体实施方式
参照图1至图4，一种以错因强化方式动态优化损失函数的物品识别方法，优化后的损失函数取名为ER-Loss，在原来的交叉熵损失函数的基础上加入惩罚项实现,惩罚项包含以下四个模块:
惩罚程度的放大因子A，用于放大相关类别对模型精度的影响，当A＝0时，惩罚项为0，对模型精度无影响，此时ER-Loss即为交叉熵损失函数，在模型训练时可根据相关性的实际情况设置A值；
惩罚程度调节系数Aprob，用于在训练过程中根据实际情况调节放大因子A对数据集各类别之间的相关性和相关类别的实际输出概率的影响，让放大因子A能够自动适应训练的不同阶段；
在各网络下，数据集各类别之间的相关性组合X，通过初步模型测试所有物品类别的输出，并使用信息熵公式计算后获得相关性Xijd，随后根据实际情况设定权重矩阵λ对各网络相关性进行线性组合得到X；
相关类别的概率
Figure GDA0004180067850000062
即在训练过程中将目标物品识别为与之相关的物品类别的概率，非定值，根据模型的每一次训练情况动态调整。
与现有技术相比，本发明通过惩罚程度调节系数Aprob动态调节放大因子A，识别更加灵活，提高了模型对物品识别的精度，降低得到的结果与实际结果之间的偏差，能有效地提高深度学习网络模型的识别准确程度
本方法包括以下步骤：
步骤S1、初步训练并获取各类别的相关性；
步骤S2、根据识别结果动态加入惩罚项；
步骤S3、构建新的损失函数；
步骤S4：设定溢出机制；
步骤S5：采用ER-Loss训练。
步骤S1的具体步骤如下：采用交叉熵损失的损失函数对模型进行初步训练，初步训练后的模型用于测试各类别的相关项以及各类别之间的相关性。
步骤S2包括以下具体步骤：根据识别结果动态加入惩罚项，监控每张图片的识别结果，对于相关项的输出,模型以概率分数的形式作为惩罚项的一部分加入损失函数的计算中，同时在训练过程中使用溢出机制保护损失函数继续计算，一旦溢出则使用原来的交叉熵损失函数。
步骤S3的具体步骤如下：以原来的交叉熵损失函数为基础,通过原来的交叉熵损失函数训练出初步模型后，测试所有类别的相关项,所有类别的相关项即分类错因，在正式训练时把这些分类错因引入到损失函数的计算中，构建新的损失函数，得到ER-Loss的具体公式如下：
Figure GDA0004180067850000061
其中，i是指正确分类的物品类别，j是指与i相关的具有物品类别，d是指相关物品类别的个数,n代表该数据集的分类总数；A为放大因子，用于放大相关类别对模型精度的影响；惩罚程度调节系数Aprob，用于在训练过程中根据实际情况调节放大因子A对数据集各类别之间的相关性和相关类别的实际输出概率的影响，让A能够自动适应训练的不同阶段；X为各网络模型下的错因值组合，即各网络下相近物品类别之间的相关性组合，用信息熵来表示，信息熵越大说明相关性越大，模型识别错误的几率越高；
Figure GDA0004180067850000071
为训练过程中相关类别的输出概率；
其中，Aprob的具体公式如下：
Figure GDA0004180067850000072
其中，d是指相关物品类别的个数，D是指在当次训练中，输出概率大于概率阈值T的类别个数。
其中，单个网络获得的相关性Xijd的具体公式如下：
Figure GDA0004180067850000073
其中Bij为类别i的相关类别j在类别i的图片中得到的输出平均值，将每个类别的图片输出值按位置相加，然后求平均值以保证输出是正常水平。
模型训练时可以根据实际情况设置d值，当d＝0时，其他物品类别不会对目标物品的类别识别产生影响，此时ER-Loss即为交叉熵损失函数。
步骤S3中，放大因子A的初始设定值：A是放大因子，用于放大类别间的相关性组合X以及模型实际犯错的概率
Figure GDA0004180067850000075
对损失函数的影响。其初始值根据以下公式进行设定：
Figure GDA0004180067850000074
其中，C是一个根据实际情况设定的定值，aver_X是通过预训练网络获得的相关性的均值，通过均值的手段获取整个数据集的相关性。这里的均值是算术平均值、几何平均值、调和平均值、加权平均值、均方根平均值、指数平均值和中位数其中的一种。
步骤S3中，最后计算采用的相关性X＝∑m(λmXijdm)的具体组合方式：Xijdm是同一类别在不同网络下获得的相关性，通过初步模型测试获得，最后计算时通过将其线性组合获得最终的相关性公式，具体如下：
Figure GDA0004180067850000081
其中，m是获取类别间相关性的网络个数，λm是各相关性的系数，为一个常数，同一类别在不同网络下的相关性的权重系数，在训练中可以根据实际情况设定权重λm的值，灵活的应用各网络的相关性。
步骤S4的具体步骤如下：当
Figure GDA0004180067850000082
时，则使用优化后的损失函数ER-Loss，一旦溢出则使用原来的交叉熵损失函数计算(换种说法就是,当
Figure GDA0004180067850000083
时，则使用优化后的损失函数ER-Loss，否则使用原来的交叉熵损失函数计算)。
步骤S5包括以下训练方式：
A、第一种训练方式如下：共进行两次训练，第一次训练为初步训练，先使用原来的交叉熵损失函数训练初步模型，再使用初步模型测出数据集各类别之间的相关性，整理成相关性表格再进行正式训练，第二次训练则使用ER-Loss进行正式训练，在正式训练时以索引的方式把每个物品类别的相关项加入到ER-Loss中计算，针对初步模型对每个图片的识别情况，从相关性表格中搜索到对应的惩罚项加入到ER-Loss中计算；
B、如图3所示，第二种训练方式如下：只进行一次训练，共N个epoch，训练包括两个阶段，第一个阶段取epoch＝int[kN]时的模型作为初步模型，其中0＜k＜1，用初步模型测出数据集各类别之间的相关性，整理成相关性表格，第二个阶段则使用ER-Loss从epoch＝int[kN]+1处开始断点续训，其中0＜k＜1，在断点续训过程中，针对模型对每个图片的识别情况，从相关性表格中搜索到对应的惩罚项加入到损失函数中计算；
C、如图4所示，第三种训练方式如下：共进行两个阶段,并且多次训练,第一阶段为预训练，首先使用不同网络分别对数据集进行预训练，接着使用各初步模型分别测出各类别在不同网络下的相关项以及它们之间的相关性，整理成相关性表格，并根据实际情况设定相关性组合公式中的相关性权重矩阵λ，将各网络相关性和相关性权重矩阵λ相乘得到最终相关性X＝∑m(λmXijdm),通过均值的手段计算放大因子A的初始值；第二阶段为正式训练，调用相关性表格及权重矩阵λ重构损失函数，并形成新的损失函数ER-Loss，使用ER-Loss进行正式训练，在正式训练时以索引的方式把每个物品类别的相关项及它们之间的相关性和模型实际犯错的概率加入到ER-Loss中计算，针对初步模型对每个图片的识别情况，从相关性表格中搜索到对应的惩罚项加入到ER-Loss中计算。
以上的实施方式不能限定本发明创造的保护范围，专业技术领域的人员在不脱离本发明创造整体构思的情况下，所做的均等修饰与变化，均仍属于本发明创造涵盖的范围之内。

Claims (6)

1.一种以错因强化方式动态优化损失函数的物品识别方法，该物品识别方法包括以下步骤：
步骤S1、初步训练并获取各类别的相关性；采用交叉熵损失的损失函数对模型进行初步训练，初步训练后的模型用于测试各类别的相关项以及各类别之间的相关性；
步骤S2、根据识别结果动态加入惩罚项，监控每张图片的识别结果，对于相关项的输出,模型以概率分数的形式作为惩罚项的一部分加入损失函数的计算中；
步骤S3、构建新的损失函数，取名为ER-Loss；
步骤S4：设定溢出机制；在训练过程中使用溢出机制保护损失函数继续计算，一旦溢出则使用原来的交叉熵损失函数；
步骤S5：采用ER-Loss训练；通过原来的交叉熵损失函数训练出初步模型后，测试所有类别的相关项,所有类别的相关项即分类错因，在正式训练时把这些分类错因引入到损失函数的计算中；
其特征在于：优化后的损失函数ER-Loss是在原来的交叉熵损失函数的基础上加入惩罚项实现,惩罚项包含以下四个模块:
惩罚程度的放大因子A，用于放大相关类别对模型精度的影响，当A＝0时，惩罚项为0，对模型精度无影响，此时ER-Loss即为交叉熵损失函数，在模型训练时可根据相关性的实际情况设置A值；
惩罚程度调节系数Aprob，用于在训练过程中根据实际情况调节放大因子A对数据集各类别之间的相关性和相关类别的实际输出概率的影响，让放大因子A能够自动适应训练的不同阶段；
在各网络下，数据集各类别之间的相关性组合X；通过初步模型测试所有物品类别的输出，并使用信息熵公式计算后获得相关性Xijd，随后根据实际情况设定权重矩阵λ对各网络相关性进行线性组合得到X；
相关类别的概率
Figure FDA0004188294740000011
即在训练过程中将目标物品识别为与之相关的物品类别的概率，非定值，根据模型的每一次训练情况动态调整；
优化后的损失函数ER-Loss的具体公式如下：
Figure FDA0004188294740000021
其中，i是指正确分类的物品类别，j是指与i相关的物品类别，d是指相关物品类别的个数,n代表该数据集的分类总数；A为放大因子，用于放大相关类别对模型精度的影响；惩罚程度调节系数Aprob，用于在训练过程中根据实际情况调节放大因子A对数据集各类别之间的相关性和相关类别的实际输出概率的影响，让A能够自动适应训练的不同阶段；X为各网络模型下的错因值组合，即各网络下相近物品类别之间的相关性组合，用信息熵来表示，信息熵越大说明相关性越大，模型识别错误的几率越高；
Figure FDA0004188294740000022
为训练过程中相关类别的输出概率；
其中，Aprob的具体公式如下：
Figure FDA0004188294740000023
其中，d是指相关物品类别的个数，D是指在当次训练中，输出概率大于概率阈值T的类别个数。
2.根据权利要求1所述的一种以错因强化方式动态优化损失函数的物品识别方法，其特征在于单个网络获得的相关性Xijd的具体公式如下：
Figure FDA0004188294740000024
其中Bij为类别i的相关类别j在类别i的图片中得到的输出平均值，将每个类别的图片输出值按位置相加，然后求平均值以保证输出是正常水平；
模型训练时根据实际情况设置d值，当d＝0时，其他物品类别不会对目标物品的类别识别产生影响，此时ER-Loss即为交叉熵损失函数。
3.根据权利要求2所述的一种以错因强化方式动态优化损失函数的物品识别方法，其特征在于步骤S3中，放大因子A的初始设定值：A是放大因子，用于放大类别间的相关性组合X以及模型实际犯错的概率
Figure FDA0004188294740000025
对损失函数的影响，其初始值根据以下公式进行设定：
Figure FDA0004188294740000031
其中，C是一个根据实际情况设定的定值，aver_X是通过预训练网络获得的相关性的均值，通过均值的手段获取整个数据集的相关性，均值是算术平均值、几何平均值、调和平均值、加权平均值、均方根平均值、指数平均值和中位数其中的一种。
4.根据权利要求3所述的一种以错因强化方式动态优化损失函数的物品识别方法，其特征在于步骤S3中，最后计算采用的相关性X＝∑m(λmXijdm)的具体组合方式：Xijdm是同一类别在不同网络下获得的相关性，通过初步模型测试获得，最后计算时通过将其线性组合获得最终的相关性公式，具体如下：
X＝∑m(λmXijdm)＝λ1Xijd1+λ2Xijd2+…+λmXijdm,
其中，m是获取类别间相关性的网络个数，λm是各相关性的系数，为一个常数，同一类别在不同网络下的相关性的权重系数，在训练中根据实际情况设定权重λm的值，灵活的应用各网络的相关性。
5.根据权利要求4所述的一种以错因强化方式动态优化损失函数的物品识别方法，其特征在于步骤S4的具体步骤如下：当
Figure FDA0004188294740000032
Figure FDA0004188294740000033
时，则使用优化后的损失函数ER-Loss，一旦溢出则使用原来的交叉熵损失函数计算。
6.根据权利要求5所述的一种以错因强化方式动态优化损失函数的物品识别方法，其特征在于步骤S5包括以下训练方式：
A、第一种训练方式如下：共进行两次训练，第一次训练为初步训练，先使用原来的交叉熵损失函数训练初步模型，再使用初步模型测出数据集各类别之间的相关性，整理成相关性表格再进行正式训练，第二次训练则使用ER-Loss进行正式训练，在正式训练时以索引的方式把每个物品类别的相关项加入到ER-Loss中计算，针对初步模型对每个图片的识别情况，从相关性表格中搜索到对应的惩罚项加入到ER-Loss中计算；
B、第二种训练方式如下：只进行一次训练，共N个epoch，训练包括两个阶段，第一个阶段取epoch＝int[kN]时的模型作为初步模型，其中0＜k＜1，用初步模型测出数据集各类别之间的相关性，整理成相关性表格，第二个阶段则使用ER-Loss从epoch＝int[kN]+1处开始断点续训，其中0＜k＜1，在断点续训过程中，针对模型对每个图片的识别情况，从相关性表格中搜索到对应的惩罚项加入到损失函数中计算；
C、第三种训练方式如下：共进行两个阶段,并且多次训练,第一阶段为预训练，首先使用不同网络分别对数据集进行预训练，接着使用各初步模型分别测出各类别在不同网络下的相关项以及它们之间的相关性，整理成相关性表格，并根据实际情况设定相关性组合公式中的相关性权重矩阵λ，将各网络相关性和相关性权重矩阵λ相乘得到最终相关性X＝∑m(λmXijdm),通过均值的手段计算放大因子A的初始值；第二阶段为正式训练，调用相关性表格及权重矩阵λ重构损失函数，并形成新的损失函数ER-Loss，使用ER-Loss进行正式训练，在正式训练时以索引的方式把每个物品类别的相关项及它们之间的相关性和模型实际犯错的概率加入到ER-Loss中计算，针对初步模型对每个图片的识别情况，从相关性表格中搜索到对应的惩罚项加入到ER-Loss中计算。
CN202011477588.1A 2020-12-15 2020-12-15 一种以错因强化方式动态优化损失函数的物品识别方法 Active CN112580714B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011477588.1A CN112580714B (zh) 2020-12-15 2020-12-15 一种以错因强化方式动态优化损失函数的物品识别方法
PCT/CN2021/070884 WO2022126809A1 (zh) 2020-12-15 2021-01-08 一种以错因强化方式动态优化损失函数的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011477588.1A CN112580714B (zh) 2020-12-15 2020-12-15 一种以错因强化方式动态优化损失函数的物品识别方法

Publications (2)

Publication Number Publication Date
CN112580714A CN112580714A (zh) 2021-03-30
CN112580714B true CN112580714B (zh) 2023-05-30

Family

ID=75135070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011477588.1A Active CN112580714B (zh) 2020-12-15 2020-12-15 一种以错因强化方式动态优化损失函数的物品识别方法

Country Status (2)

Country Link
CN (1) CN112580714B (zh)
WO (1) WO2022126809A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301640A (zh) * 2017-06-19 2017-10-27 太原理工大学 一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法
CN107358198A (zh) * 2017-07-12 2017-11-17 中山大学 一种基于分段特征选择的虹膜识别方法
CN108376267A (zh) * 2018-03-26 2018-08-07 天津大学 一种基于类别转移的零样本分类方法
CN109815988A (zh) * 2018-12-27 2019-05-28 北京奇艺世纪科技有限公司 模型生成方法、分类方法、装置及计算机可读存储介质
CN111295669A (zh) * 2017-06-16 2020-06-16 马克波尔公司 图像处理系统
CN111860631A (zh) * 2020-07-13 2020-10-30 电子科技大学中山学院 一种采用错因强化方式优化损失函数的方法
CN111881987A (zh) * 2020-07-31 2020-11-03 西安工业大学 基于深度学习的苹果病毒识别方法
CN111985274A (zh) * 2019-05-23 2020-11-24 中国科学院沈阳自动化研究所 一种基于卷积神经网络的遥感图像分割算法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506868B (zh) * 2017-08-31 2021-01-26 广东工业大学 一种短时电力负荷预测的方法及装置
CN109285129A (zh) * 2018-09-06 2019-01-29 哈尔滨工业大学 基于卷积神经网络的图像真实噪声去除系统
EP3963476A1 (en) * 2019-05-03 2022-03-09 Verily Life Sciences LLC Predictive classification of insects

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111295669A (zh) * 2017-06-16 2020-06-16 马克波尔公司 图像处理系统
CN107301640A (zh) * 2017-06-19 2017-10-27 太原理工大学 一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法
CN107358198A (zh) * 2017-07-12 2017-11-17 中山大学 一种基于分段特征选择的虹膜识别方法
CN108376267A (zh) * 2018-03-26 2018-08-07 天津大学 一种基于类别转移的零样本分类方法
CN109815988A (zh) * 2018-12-27 2019-05-28 北京奇艺世纪科技有限公司 模型生成方法、分类方法、装置及计算机可读存储介质
CN111985274A (zh) * 2019-05-23 2020-11-24 中国科学院沈阳自动化研究所 一种基于卷积神经网络的遥感图像分割算法
CN111860631A (zh) * 2020-07-13 2020-10-30 电子科技大学中山学院 一种采用错因强化方式优化损失函数的方法
CN111881987A (zh) * 2020-07-31 2020-11-03 西安工业大学 基于深度学习的苹果病毒识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Discriminative Marginalized Least-Squares Regression for Hyperspectral Image Classification;Yuxiang Zhang等;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;第58卷(第5期);3148-3161 *
Error Refactor loss based on error analysis in image classification;Xiaoyu Yu等;《IET Computer Vision》;192-203 *
一种改进的DSOD目标检测算法;吴建耀等;《光电技术及应用》;第40卷(第3期);428-432、438 *
基于改进残差网络的果实病害分类方法;肖经纬等;《计算机工程》;第46卷(第9期);221-225 *

Also Published As

Publication number Publication date
WO2022126809A1 (zh) 2022-06-23
CN112580714A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN115018021B (zh) 基于图结构与异常注意力机制的机房异常检测方法及装置
AU2018214120B2 (en) System and method for determining an optimum QC strategy for immediate release results
CN111327377A (zh) 场强预测方法、装置、设备及存储介质
CN111931989A (zh) 基于深度学习神经网络的电力系统短期负荷预测方法
CN112651500B (zh) 一种量化模型的生成方法及终端
CN114707692A (zh) 基于混合神经网络的湿地出水氨氮浓度预测方法及系统
CN110851784A (zh) 一种现场运行电能表的预警方法
CN112580714B (zh) 一种以错因强化方式动态优化损失函数的物品识别方法
CN101807271A (zh) 基于广义邻近替代的产品需求预测方法
CN112949288B (zh) 一种基于字符序列的文本检错方法
CN109214447B (zh) 磁盘寿命预测方法及装置
CN111860631B (zh) 一种采用错因强化方式优化损失函数的物品识别方法
CN113496255B (zh) 基于深度学习与决策树驱动的配电网混合观测布点方法
CN110929849B (zh) 一种基于神经网络模型压缩的视频检测方法和装置
CN114897204A (zh) 一种海上风电场短期风速预测方法和装置
CN109308565B (zh) 人群绩效等级识别方法、装置、存储介质及计算机设备
CN110033025A (zh) 一种AdaBoost算法中的强分类器的构建方法
CN118152934A (zh) 一种不平衡指标约束下的深度学习二分类方法
CN114745231B (zh) 一种基于区块链的ai通信信号识别方法和装置
CN117520754B (zh) 一种模型训练数据的预处理系统
CN115345259B (zh) 一种命名实体识别模型训练的优化方法、设备及存储介质
CN116484830B (zh) 基于大数据的互联网广告智能监测系统
CN114862075A (zh) 机械系统可靠性分配方法
Schilling Predictive Analysis of Ethanol Prices with Machine Learning
Chen Strategies to deal with ordinal missing data for measurement invariance testing and specification searches–A comparison of commonly used methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant