CN113837156A - 一种基于增量学习的智能仓储分拣方法和系统 - Google Patents

一种基于增量学习的智能仓储分拣方法和系统 Download PDF

Info

Publication number
CN113837156A
CN113837156A CN202111416427.6A CN202111416427A CN113837156A CN 113837156 A CN113837156 A CN 113837156A CN 202111416427 A CN202111416427 A CN 202111416427A CN 113837156 A CN113837156 A CN 113837156A
Authority
CN
China
Prior art keywords
warehousing
warehouse
incremental learning
objects
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111416427.6A
Other languages
English (en)
Inventor
罗远哲
刘瑞景
陆立军
柴蒙恩
闫路博
李玉琼
于猛猛
赵爱民
刘佳佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing China Super Industry Information Security Technology Ltd By Share Ltd
Original Assignee
Beijing China Super Industry Information Security Technology Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing China Super Industry Information Security Technology Ltd By Share Ltd filed Critical Beijing China Super Industry Information Security Technology Ltd By Share Ltd
Priority to CN202111416427.6A priority Critical patent/CN113837156A/zh
Publication of CN113837156A publication Critical patent/CN113837156A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于增量学习的智能仓储分拣方法和系统。该方法包括：采用开集识别算法识别仓储物体样本图像集中的仓储物体图像的物体种类；当仓储物体图像为新增仓储物体图像时生成新增仓储物体图像数据集；对仓储系统分类模型进行优化得到增量学习算法模型；仓储系统分类模型为智能仓储系统中原始植入的仓储物体分类模型；采用新增仓储物体图像数据集训练增量学习算法模型；将待检测仓储物体图像输入至训练好的增量学习算法模型，得到待检测仓储物体的物体种类。可见本发明将增量学习模型应用于智能仓储系统，能够在提高旧类别仓储物体识别准确率的同时，提高自主学习识别旧类别和新类别仓储物体的识别效率。

Description

一种基于增量学习的智能仓储分拣方法和系统
技术领域
本发明涉及智能仓储管理技术领域，特别是涉及一种基于增量学习的智能仓储分拣方法和系统。
背景技术
在智能仓储管理领域，智能仓储系统应该具备对已经学习过的物体信息能够合理分类和管理的功能，同时高准确率的产品分拣对于智能仓储管理系统至关重要。但是目前大部分智能仓储管理系统缺乏增量技术支持，以图像领域中的产品分拣为例，现有的分拣算法智能针对模型已经学习过的仓储物体进行高准确率的分拣，对于未知或者新增加的仓储物体，现有的系统会将上述物品错误地分类为已知的物品。这就会导致系统分类错误，严重地影响仓储管理效率。如果将新增加的仓储物体与原先的仓储物体进行重新训练，势必会造成训练效率低、训练耗时长等问题。
增量学习是计算机视觉领域的一个核心方向，其目的是让计算机像人类一样对任务进行增量的学习。增量学习能够不断地将新数据集的信息加到学习系统中，从而在不适用任何旧仓储物体数据集的情况下，有效的利用新增加的数据集不断完善现有的模型。研究学者提出了iCaRL的方法，利用数据表示和强分类来实现增量学习。Arun Mallya等人提出了一个剪枝方法PackNet，随机将当前训练任务的参数置零，为新增加的数据集留出空间。随后研究学者又基于PackNet的方法提出改进的增量学习方法 piggback。piggback先用一个足够大的数据集训练出一个骨干网络，当新数据集进来时。基于骨干网络训练出一个掩膜用以挑选出骨干网络中的部分参数来完成对新增数据集的分类。尽管上述方法对于新增的仓储物体的识别准确率很高，但是对于旧类别的仓储物体均存在识别准确率低等问题，这一问题一般称之为灾难性遗忘问题。
因此如何构建一个能够高效率的自主学习识别旧类别和新类别仓储物体的智能仓储系统算法是现阶段亟需解决的难题。
发明内容
本发明的目的是提供一种基于增量学习的智能仓储分拣方法和系统，能够在提高旧类别仓储物体识别准确率的同时，提高自主学习识别旧类别和新类别仓储物体的识别效率。
为实现上述目的，本发明提供了如下方案：
一种基于增量学习的智能仓储分拣方法，包括：
采用开集识别算法识别仓储物体样本图像集中的仓储物体图像的物体种类；所述物体种类包括：已知仓储物体和新增仓储物体；
当所述仓储物体图像为新增仓储物体图像时生成新增仓储物体图像数据集；
对仓储系统分类模型进行优化得到增量学习算法模型；所述仓储系统分类模型为智能仓储系统中原始植入的仓储物体分类模型；
采用新增仓储物体图像数据集训练增量学习算法模型；
将待检测仓储物体图像输入至训练好的所述增量学习算法模型，得到待检测仓储物体的物体种类。
优选地，所述采用开集识别算法识别仓储物体样本图像集中的仓储物体图像的物体种类，具体包括：
采用已知仓储物体图像数据集训练仓储系统分类模型得到已知仓储物体的接受域值和已知仓储物体的拒绝域值；
将所述仓储物体样本图像集中的仓储物体图像输入开集学习算法模型得到仓储物体的激活特征向量和仓储物体的激活特征值；
根据所述仓储物体的激活特征向量和所述仓储物体的激活特征值确定仓储物体的最大接收域值；
根据所述最大接收域值确定所述仓储物体图像为已知仓储物体图像或新增仓储物体图像。
优选地，所述根据所述最大接收域值确定所述仓储物体图像为已知仓储物体图像或新增仓储物体图像，具体包括：
当所述最大接收域值大于等于接受域值时，则确定所述仓储物体图像为已知仓储物体图像；
当所述最大接收域值小于等于拒绝域值时，则确定所述仓储物体图像为新增仓储物体图像；
当所述最大接收域值大于等于所述接受域值且小于等于所述拒绝域值时，则当关系式L x ≤min(L l )+θ×(Second(L l )-min(L l ))成立时，确定所述仓储物体图像为已知仓储物体图像，当关系式L x ≤min(L l )+θ×(Second(L l )-min(L l ))不成立时，确定所述仓储物体图像为新增仓储物体图像；
其中，θ为可调参数，L l 为交叉熵损失函数值，L x 为损失函数值，min(L l )为交叉熵损失函数的最小值，Second(L l )为交叉熵损失函数的次小值。
优选地，当所述仓储物体为新增仓储物体时生成新增仓储物体图像数据集，具体包括：
采用人工标注的方式对所述新增仓储物体图像进行标注；
采用收集新增仓储物体图像的形式对已知仓储物体图像数据集进行扩充，新增仓储物体图像数据集。
优选地，所述对仓储系统分类模型进行优化得到增量学习算法模型，具体包括：
将所述仓储系统分类模型中的损失函数修改为L(θ)：
L(θ)=λL d (θ)+(1-λ)L c (θ)；
其中，L d (θ)为蒸馏损失函数，L c (θ)为交叉熵分类损失函数，λ为蒸馏损失函数和交叉熵分类损失函数之间的调节参数；
将所述仓储系统分类模型中的全连接层W替换为W’=(W known ,θ*W new )；
其中，W known 表示增量学习算法模型在已知仓储物体图像的全连接层的第一权重，W new 表示增量学习算法模型在已知仓储物体图像的全连接层的第二权重，θ为可调参数，θ= Mean(||W known ||)/Mean(||W new ||)，|| ||表示二范数计算，Mean(*)表示均值计算。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的基于增量学习的智能仓储分拣方法，将增量学习模型应用于智能仓储系统，能够在提高旧类别仓储物体识别准确率的同时，提高自主学习识别旧类别和新类别仓储物体的识别效率。
对应于上述提供的基于增量学习的智能仓储分拣方法，本发明还提供了一种基于增量学习的智能仓储分拣系统，该系统包括：
仓储物体种类确定模块，用于采用开集识别算法识别仓储物体样本图像集中的仓储物体图像的物体种类；所述物体种类包括：已知仓储物体和新增仓储物体；
图像数据集生成模块，用于当所述仓储物体图像为新增仓储物体图像时生成新增仓储物体图像数据集；
模型优化模块，用于对仓储系统分类模型进行优化得到增量学习算法模型；所述仓储系统分类模型为智能仓储系统中原始植入的仓储物体分类模型；
模型训练模块，用于采用新增仓储物体图像数据集训练增量学习算法模型；
仓储物体分拣模块，用于将待检测仓储物体图像输入至训练好的所述增量学习算法模型，得到待检测仓储物体的物体种类。
优选地，所述仓储物体种类确定模块包括：
接受域值-拒绝域值确定单元，用于采用已知仓储物体图像数据集训练仓储系统分类模型得到已知仓储物体的接受域值和已知仓储物体的拒绝域值；
激活特征确定单元，用于将所述仓储物体样本图像集中的仓储物体图像输入开集学习算法模型得到仓储物体的激活特征向量和仓储物体的激活特征值；
最大接收域值确定单元，用于根据所述仓储物体的激活特征向量和所述仓储物体的激活特征值确定仓储物体的最大接收域值；
仓储物体种类确定单元，用于根据所述最大接收域值确定所述仓储物体图像为已知仓储物体图像或新增仓储物体图像。
优选地，所述仓储物体种类确定单元包括：
第一仓储物体种类确定子单元，用于当所述最大接收域值大于等于接受域值时，则确定所述仓储物体图像为已知仓储物体图像；
第二仓储物体种类确定子单元，用于当所述最大接收域值小于等于拒绝域值时，则确定所述仓储物体图像为新增仓储物体图像；
第三仓储物体种类确定子单元，用于当所述最大接收域值大于等于所述接受域值且小于等于所述拒绝域值时，则当关系式L x ≤min(L l )+θ×(Second(L l )-min(L l ))成立时，确定所述仓储物体图像为已知仓储物体图像，当关系式L x ≤min(L l )+θ×(Second(L l )-min(L l ))不成立时，确定所述仓储物体图像为新增仓储物体图像；
其中，θ为可调参数，L l 为交叉熵损失函数值，L x 为损失函数值，min(L l )为交叉熵损失函数的最小值，Second(L l )为交叉熵损失函数的次小值。
优选地，所述图像数据集生成模块包括：
标注单元，用于采用人工标注的方式对所述新增仓储物体图像进行标注；
扩充单元，用于采用收集新增仓储物体图像的形式对已知仓储物体图像数据集进行扩充，新增仓储物体图像数据集。
优选地，所述模型优化模块包括：
损失函数修改单元，用于将所述仓储系统分类模型中的损失函数修改为L(θ)：
L(θ)=λL d (θ)+(1-λ)L c (θ)；
其中，L d (θ)为蒸馏损失函数，L c (θ)为交叉熵分类损失函数，λ为蒸馏损失函数和交叉熵分类损失函数之间的调节参数；
全连接层替换单元，用于将所述仓储系统分类模型中的全连接层W替换为W’=(W known ,θ*W new )；
其中，W known 表示增量学习算法模型在已知仓储物体图像的全连接层的第一权重，W new 表示增量学习算法模型在已知仓储物体图像的全连接层的第二权重，θ为可调参数，θ= Mean(||W known ||)/Mean(||W new ||)，|| ||表示二范数计算，Mean(*)表示均值计算。
因本发明提供的基于增量学习的智能仓储分拣系统实现的技术效果与上述提供的基于增量学习的智能仓储分拣方法实现的技术效果相同，故在此不再进行赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于增量学习的智能仓储分拣方法的流程图；
图2为本发明实施例提供的基于增量学习的智能仓储分拣方法的工作流程图；
图3为本发明实施例提供的智能仓储系统的工作流程图；
图4为本发明提供的基于增量学习的智能仓储分拣系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于增量学习的智能仓储分拣方法和系统，能够在提高旧类别仓储物体识别准确率的同时，提高自主学习识别旧类别和新类别仓储物体的识别效率。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1和图2所示，本发明提供的一种基于增量学习的智能仓储分拣方法，包括：
步骤100：采用开集识别算法识别仓储物体样本图像集中的仓储物体图像的物体种类。物体种类包括：已知仓储物体和新增仓储物体。即在智能仓储系统中，对摄像装置采集到的仓储物体图像进行开集识别算法，将仓储物体经过开集识别算法后，系统可以获得已知仓储物体和未知仓储物体。在具体实施时，该步骤可以包括：
步骤1001：采用已知仓储物体图像数据集训练仓储系统分类模型得到已知仓储物体的接受域值和已知仓储物体的拒绝域值。优化的实施方式为：使用仅包含已知类别样本的样本集训练待扩展分类模型，并获取待扩展分类模型的相关参数信息。例如：定义原先仓储系统分类模型的训练数据为已知仓储物体数据集。定义采用已知仓储物体数据集训练仓储系统分类模型时，已知仓储物体图像数据集的接受域μ和拒绝域η。
具体的，在仓储系统分类模型训练阶段，获取正确分类的已知仓储物体图像
Figure DEST_PATH_IMAGE001
的激活特征向量
Figure 985623DEST_PATH_IMAGE002
：
Figure 715812DEST_PATH_IMAGE003
，
其中，i表示已知仓储物体图像x被正确划分为第i类，n表示已知仓储物体图像的类别总数。
则已知仓储物体图像x对应的第i类的激活特征值为λ i =v i (x i )
确定第i类的接受域为
Figure 557866DEST_PATH_IMAGE004
.
确定第i类的拒绝域为
Figure 763195DEST_PATH_IMAGE005
.
其中，X表示为仓储物体图像中的第i类中被正确识别的总个数，ε为可调参数，优先取值为0.3。
此外，还需要获取仓储系统分类模型训练过程中每一次迭代时每一类对应的最小损失函数值，例如：
获取每次迭代过程中仓储物体图像中第i类的交叉熵损失函数的最小值以及次小值分别记作min(L i )和Second(L i )。
步骤1002：将仓储物体样本图像集中的仓储物体图像输入开集学习算法模型得到仓储物体的激活特征向量和仓储物体的激活特征值。即将包含待检测仓储物体图像送入开集学习算法模型中，并获取到的相关参数信息（激活特征向量和激活特征值），确定至少部分新增类别样本，该部分的计算过程可参见上述已知仓储物体图像x i 的激活特征向量和激活特征值的计算过程。
步骤1003：根据仓储物体的激活特征向量和仓储物体的激活特征值确定仓储物体的最大接收域值f x 。例如：
令
Figure 639884DEST_PATH_IMAGE006
其中
Figure 275396DEST_PATH_IMAGE007
代表最大激活值在激活向量中的下标，即代表开集学习算法模型预测的标签。
步骤1004：根据最大接收域值确定仓储物体图像为已知仓储物体图像或新增仓储物体图像。该步骤具体实施过程可以是：
当最大接收域值大于等于接受域值时，则确定仓储物体图像为已知仓储物体图像。
当最大接收域值小于等于拒绝域值时，则确定仓储物体图像为新增仓储物体图像。
当最大接收域值大于等于接受域值且小于等于拒绝域值时，则当关系式L x ≤min(L l )+θ×(Second(L l )-min(L l )成立时，确定仓储物体图像为已知仓储物体图像，当关系式L x ≤min(L l )+θ×(Second(L l )-min(L l )不成立时，确定仓储物体图像为新增仓储物体图像。
其中，θ为可调参数，L l 为交叉熵损失函数值，L x 为损失函数值，min(L l )为交叉熵损失函数的最小值，Second(L l )为交叉熵损失函数的次小值。
例如：
若f x ≥μ l ，则表示接受待检测仓储物体图像为第l类，其中μ l 代表接受阈值。
若f x ≥η l ，则表示拒绝待检测仓储物体图像为第l类，其中η l 代表拒绝阈值。
若μ l ≤f x ≤η l ，则计算损失函数值
Figure 604746DEST_PATH_IMAGE008
，其中N代表的是已知仓储物体图像的类别总数，y bl 代表指示变量（0或1），如果b和l的数值上相等则为1，否则为0，p bl 代表类别b属于类别l的预测概率。若L x ≤min(L l )+θ×(Second(L l )-min(L l ))，其中θ为可调参数，优先取值为2，则接受该待检测仓储物体图像为第l类，否则拒绝该待检测仓储物体图像为第l类。
对于被拒绝的待检测仓储物体图像，定义其为未知仓储物体图像（即新增仓储物体图像）。
步骤101：当仓储物体图像为新增仓储物体图像时生成新增仓储物体图像数据集。具体的，对于检测到的未知仓储物体图像，采用人工标注的方式，进行未知仓储物体图像标注。定义标注完成的未知仓储物体图像为新增仓储物体图像。采用收集新增仓储物体图像的形式对新增仓储物体图像数据集进行扩充。
步骤102：对仓储系统分类模型进行优化得到增量学习算法模型。仓储系统分类模型为智能仓储系统中原始植入的仓储物体分类模型。例如，定义原先仓储系统分类模型为采用34层的ResNet网络结构，那么，对仓储系统分类模型进行优化的过程为：
以两个3*3的卷积网络串接在一起作为一个残差网络模块。采用该残差网络模块构建原先仓储系统分类模型。该分类模型能够对已知仓储物体图像数据集进行正确的分类。
将新增仓储物体图像表示为Xm={(x i ,y i ),1≤i≤M，y i ∈[n+1，...，n+m]}
其中M代表的是新增仓储物体图像数据集中图像的数量，x i 和y i 分别表示的是新增仓储物体的图像和标签。
定义已知仓储物体图像数据集中选择部分示例表示为
Figure 85537DEST_PATH_IMAGE009
其中N s 代表的是已知仓储物体图像的图像数，j为已知仓储物体图像的种类。
定义原先仓储系统分类模型中全连接层的logits输出和增量学习算法模型的全连接层的logits输出分别表示为
Figure 816733DEST_PATH_IMAGE010
和
Figure 623146DEST_PATH_IMAGE011
。
修改原先仓储系统分类模型的损失函数为L(θ)=λL d (θ)+(1-λ)L c (θ)
其中蒸馏损失函数为
Figure 174213DEST_PATH_IMAGE012
其中，
Figure 721345DEST_PATH_IMAGE013
为第k个类别在增量学习算法模型的全连接层的logits输出，
Figure 307047DEST_PATH_IMAGE014
为第k个类别在原先仓储系统分类模型中全连接层的logits输出，
Figure 346678DEST_PATH_IMAGE015
为第j个类别在增量学习算法模型的全连接层的logits输出，
Figure 650621DEST_PATH_IMAGE016
为第j个类别在原先仓储系统分类模型中全连接层的logits输出。
其中交叉熵分类损失函数为
Figure 473214DEST_PATH_IMAGE017
Figure 179002DEST_PATH_IMAGE018
为已知仓储物体图像数据集中选择部分示例，X m 为新增仓储物体图像，
Figure 248589DEST_PATH_IMAGE019
为物体被归为k类别的概率。
其中p k (x)代表的是n+m新增仓储物体图像数据集和已知仓储物体图像数据集中的第k个类别的输出概率。
至此，将原先仓储系统分类模型修改为增量学习算法模型。
为了提升增量学习算法模型的准确率，使得网络模型能够更好的用用于智能仓储系统，定义增量学习算法模型的全连接层为W=(W known ,W new )。
其中，W known =(w 1,w 2,...,w Cknown )表示增量学习算法模型在已知仓储物体图像的全连接层的权重，已知仓储物体图像总共包含 Cknown 类，其中第 Cknown 类的权重为w Cknown 。
W new =(w 1,w 2,...,w Cnew )表示增量学习算法模型在已知仓储物体图像的全连接层的权重，已知仓储物体图像总共包含Cnew类，其中第Cnew类的权重为w Cnew
定义参数θ=Mean(||W known ||)/Mean(||W new ||)
其中，||W known ||=(||w 1||,||w 2||,...||w Cknown ||)
其中，||W newn ||=(||w 1||,||w 2||,...||w Cnew ||)
其中。|| ||表示二范数计算，Mean（）表示计算均值
采用修改后的增量学习算法模型的全连接层W’=(W known ,θ*W new )去替换原增量学习算法模型的全连接层W=(W known ,W new )。
至此增量学习算法模型全部修改完成。
步骤103：采用新增仓储物体图像数据集训练增量学习算法模型。例如：定义构建好的增量学习算法模型中的训练参数。具体的，定义增量学习算法模型训练的迭代次数为epoch，优选的epoch=1000。定义增量学习算法模型训练的学习速率为learning_rate,优选的learning_rate=0.1。在训练过程中，每迭代100次，学习速率learning_rate更新为learning_rate*0.1。
优先地，将新增仓储物体数据集以及部分已知仓储物体数据集放入构建好的增量学习算法模型进行训练。部分已知仓储物体图像数据集中每一个类别的仓储物体图像数量固定为50。待增量学习算法模型迭代且能够较好的识别出已知仓储物体和新增仓储物体时，模型迭代结束。
步骤104：将待检测仓储物体图像输入至训练好的增量学习算法模型，得到待检测仓储物体的物体种类。物体种类包括：已知仓储物体和新增仓储物体。
在本发明中，也可以将训练好的增量学习算法模型放入智能仓储系统中，并将原先仓储系统分类模型删除，以实现智能仓储系统的不断更新。更新后的智能仓储系统继续执行步骤100的操作，如图3所示。
下面以是要手段的方式验证本发明上述提供的基于增量学习的智能仓储分拣方法的优越性。
假设智能仓储系统的已知仓储图像数据集类别为2类。当有未知仓储图像到来时，智能仓储系统由于没有学习过未知仓储图像的知识，因此会自动认定未知仓储图像为已知仓储图像，故100%出现识别错误的问题。假设在增量学习过程中，每次学习图片类别数增加两类。实验效果如下表1所示：
表1
Figure 790560DEST_PATH_IMAGE020
由此可见，采用增量学习策略后的智能仓储系统能够大幅提升对于未知仓储图像类别识别准确率。并且其不用采用全部数据集重新训练网络模型，大幅提升系统工作效率。
对应于上述提供的基于增量学习的智能仓储分拣方法，本发明还提供了一种基于增量学习的智能仓储分拣系统，如图4所示，该系统包括：仓储物体种类确定模块1、图像数据集生成模块2、模型优化模块3、模型训练模块4和仓储物体分拣模块5。
仓储物体种类确定模块1用于采用开集识别算法识别仓储物体样本图像集中的仓储物体图像的物体种类。物体种类包括：已知仓储物体和新增仓储物体。
图像数据集生成模块2用于当仓储物体图像为新增仓储物体图像时生成新增仓储物体图像数据集。
模型优化模块3用于对仓储系统分类模型进行优化得到增量学习算法模型。仓储系统分类模型为智能仓储系统中原始植入的仓储物体分类模型。
模型训练模块4用于采用新增仓储物体图像数据集训练增量学习算法模型。
仓储物体分拣模块5用于将待检测仓储物体图像输入至训练好的增量学习算法模型，得到待检测仓储物体的物体种类。
为了进一步提高仓储物体种类区分的精确性，上述采用的仓储物体种类确定模块1还可以包括：接受域值-拒绝域值确定单元、激活特征确定单元、最大接收域值确定单元和仓储物体种类确定单元。
接受域值-拒绝域值确定单元用于采用已知仓储物体图像数据集训练仓储系统分类模型得到已知仓储物体的接受域值和已知仓储物体的拒绝域值。
激活特征确定单元用于将仓储物体样本图像集中的仓储物体图像输入开集学习算法模型得到仓储物体的激活特征向量和仓储物体的激活特征值。
最大接收域值确定单元用于根据仓储物体的激活特征向量和仓储物体的激活特征值确定仓储物体的最大接收域值。
仓储物体种类确定单元用于根据最大接收域值确定仓储物体图像为已知仓储物体图像或新增仓储物体图像。
其中，仓储物体种类确定单元包括：第一仓储物体种类确定子单元、第二仓储物体种类确定子单元和第三仓储物体种类确定子单元。
第一仓储物体种类确定子单元用于当最大接收域值大于等于接受域值时，则确定仓储物体图像为已知仓储物体图像。
第二仓储物体种类确定子单元用于当最大接收域值小于等于拒绝域值时，则确定仓储物体图像为新增仓储物体图像。
第三仓储物体种类确定子单元用于当最大接收域值大于等于接受域值且小于等于拒绝域值时，则当关系式L x ≤min(L l )+θ×(Second(L l )-min(L l ))成立时，确定仓储物体图像为已知仓储物体图像，当关系式L x ≤min(L l )+θ×(Second(L l )-min(L l ))不成立时，确定仓储物体图像为新增仓储物体图像。
其中，θ为可调参数，L l 为交叉熵损失函数值，L x 为损失函数值，min(L l )为交叉熵损失函数的最小值，Second(L l )为交叉熵损失函数的次小值。
为了进一步提高增量学习算法模型的训练精度，上述图像数据集生成模块2包括：标注单元和扩充单元。
标注单元用于采用人工标注的方式对新增仓储物体图像进行标注。
扩充单元用于采用收集新增仓储物体图像的形式对已知仓储物体图像数据集进行扩充，新增仓储物体图像数据集。
进一步，也是为了提高仓储物体分类的准确性，上述本发明采用的模型优化模块3包括：损失函数修改单元和全连接层替换单元。
损失函数修改单元用于将仓储系统分类模型中的损失函数修改为L(θ)：
L(θ)=λL d (θ)+(1-λ)L c (θ)。
其中，L d (θ)为蒸馏损失函数，L c (θ)为交叉熵分类损失函数，λ为蒸馏损失函数和交叉熵分类损失函数之间的调节参数。
全连接层替换单元用于将仓储系统分类模型中的全连接层W替换为W’=(W known ,θ* W new )。
其中，W known 表示增量学习算法模型在已知仓储物体图像的全连接层的第一权重，W new 表示增量学习算法模型在已知仓储物体图像的全连接层的第二权重，θ为可调参数，θ= Mean(||W known ||)/Mean(||W new ||)，|| ||表示二范数计算，Mean(*)表示均值计算。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于增量学习的智能仓储分拣方法，其特征在于，包括：
采用开集识别算法识别仓储物体样本图像集中的仓储物体图像的物体种类；所述物体种类包括：已知仓储物体和新增仓储物体；
当所述仓储物体图像为新增仓储物体图像时生成新增仓储物体图像数据集；
对仓储系统分类模型进行优化得到增量学习算法模型；所述仓储系统分类模型为智能仓储系统中原始植入的仓储物体分类模型；
采用新增仓储物体图像数据集训练增量学习算法模型；
将待检测仓储物体图像输入至训练好的所述增量学习算法模型，得到待检测仓储物体的物体种类。
2.根据权利要求1所述的基于增量学习的智能仓储分拣方法，其特征在于，所述采用开集识别算法识别仓储物体样本图像集中的仓储物体图像的物体种类，具体包括：
采用已知仓储物体图像数据集训练仓储系统分类模型得到已知仓储物体的接受域值和已知仓储物体的拒绝域值；
将所述仓储物体样本图像集中的仓储物体图像输入开集学习算法模型得到仓储物体的激活特征向量和仓储物体的激活特征值；
根据所述仓储物体的激活特征向量和所述仓储物体的激活特征值确定仓储物体的最大接收域值；
根据所述最大接收域值确定所述仓储物体图像为已知仓储物体图像或新增仓储物体图像。
3.根据权利要求2所述的基于增量学习的智能仓储分拣方法，其特征在于，所述根据所述最大接收域值确定所述仓储物体图像为已知仓储物体图像或新增仓储物体图像，具体包括：
当所述最大接收域值大于等于接受域值时，则确定所述仓储物体图像为已知仓储物体图像；
当所述最大接收域值小于等于拒绝域值时，则确定所述仓储物体图像为新增仓储物体图像；
当所述最大接收域值大于等于所述接受域值且小于等于所述拒绝域值时，则当关系式L x ≤min(L l )+θ×(Second(L l )-min(L l ))成立时，确定所述仓储物体图像为已知仓储物体图像，当关系式L x ≤min(L l )+θ×(Second(L l )-min(L l ))不成立时，确定所述仓储物体图像为新增仓储物体图像；
其中，θ为可调参数，L l 为交叉熵损失函数值，L x 为损失函数值，min(L l )为交叉熵损失函数的最小值，Second(L l )为交叉熵损失函数的次小值。
4.根据权利要求1所述的基于增量学习的智能仓储分拣方法，其特征在于，当所述仓储物体为新增仓储物体时生成新增仓储物体图像数据集，具体包括：
采用人工标注的方式对所述新增仓储物体图像进行标注；
采用收集新增仓储物体图像的形式对已知仓储物体图像数据集进行扩充，新增仓储物体图像数据集。
5.根据权利要求1所述的基于增量学习的智能仓储分拣方法，其特征在于，所述对仓储系统分类模型进行优化得到增量学习算法模型，具体包括：
将所述仓储系统分类模型中的损失函数修改为L(θ)：
L(θ)=λL d (θ)+(1-λ)L c (θ)；
其中，L d (θ)为蒸馏损失函数，L c (θ)为交叉熵分类损失函数，λ为蒸馏损失函数和交叉熵分类损失函数之间的调节参数；
将所述仓储系统分类模型中的全连接层W替换为W’=(W known ,θ*W new )；
其中，W known 表示增量学习算法模型在已知仓储物体图像的全连接层的第一权重，W new 表示增量学习算法模型在已知仓储物体图像的全连接层的第二权重，θ为可调参数，θ=Mean(||W known ||)/Mean(||W new ||)，|| ||表示二范数计算，Mean(*)表示均值计算。
6.一种基于增量学习的智能仓储分拣系统，其特征在于，包括：
仓储物体种类确定模块，用于采用开集识别算法识别仓储物体样本图像集中的仓储物体图像的物体种类；所述物体种类包括：已知仓储物体和新增仓储物体；
图像数据集生成模块，用于当所述仓储物体图像为新增仓储物体图像时生成新增仓储物体图像数据集；
模型优化模块，用于对仓储系统分类模型进行优化得到增量学习算法模型；所述仓储系统分类模型为智能仓储系统中原始植入的仓储物体分类模型；
模型训练模块，用于采用新增仓储物体图像数据集训练增量学习算法模型；
仓储物体分拣模块，用于将待检测仓储物体图像输入至训练好的所述增量学习算法模型，得到待检测仓储物体的物体种类。
7.根据权利要求6所述的基于增量学习的智能仓储分拣系统，其特征在于，所述仓储物体种类确定模块包括：
接受域值-拒绝域值确定单元，用于采用已知仓储物体图像数据集训练仓储系统分类模型得到已知仓储物体的接受域值和已知仓储物体的拒绝域值；
激活特征确定单元，用于将所述仓储物体样本图像集中的仓储物体图像输入开集学习算法模型得到仓储物体的激活特征向量和仓储物体的激活特征值；
最大接收域值确定单元，用于根据所述仓储物体的激活特征向量和所述仓储物体的激活特征值确定仓储物体的最大接收域值；
仓储物体种类确定单元，用于根据所述最大接收域值确定所述仓储物体图像为已知仓储物体图像或新增仓储物体图像。
8.根据权利要求7所述的基于增量学习的智能仓储分拣系统，其特征在于，所述仓储物体种类确定单元包括：
第一仓储物体种类确定子单元，用于当所述最大接收域值大于等于接受域值时，则确定所述仓储物体图像为已知仓储物体图像；
第二仓储物体种类确定子单元，用于当所述最大接收域值小于等于拒绝域值时，则确定所述仓储物体图像为新增仓储物体图像；
第三仓储物体种类确定子单元，用于当所述最大接收域值大于等于所述接受域值且小于等于所述拒绝域值时，则当关系式L x ≤min(L l )+θ×(Second(L l )-min(L l ))成立时，确定所述仓储物体图像为已知仓储物体图像，当关系式L x ≤min(L l )+θ×(Second(L l )-min(L l ))不成立时，确定所述仓储物体图像为新增仓储物体图像；
其中，θ为可调参数，L l 为交叉熵损失函数值，L x 为损失函数值，min(L l )为交叉熵损失函数的最小值，Second(L l )为交叉熵损失函数的次小值。
9.根据权利要求6所述的基于增量学习的智能仓储分拣系统，其特征在于，所述图像数据集生成模块包括：
标注单元，用于采用人工标注的方式对所述新增仓储物体图像进行标注；
扩充单元，用于采用收集新增仓储物体图像的形式对已知仓储物体图像数据集进行扩充，新增仓储物体图像数据集。
10.根据权利要求6所述的基于增量学习的智能仓储分拣系统，其特征在于，所述模型优化模块包括：
损失函数修改单元，用于将所述仓储系统分类模型中的损失函数修改为L(θ)：
L(θ)=λL d (θ)+(1-λ)L c (θ)；
其中，L d (θ)为蒸馏损失函数，L c (θ)为交叉熵分类损失函数，λ为蒸馏损失函数和交叉熵分类损失函数之间的调节参数；
全连接层替换单元，用于将所述仓储系统分类模型中的全连接层W替换为W’=(W known ,θ* W new )；
其中，W known 表示增量学习算法模型在已知仓储物体图像的全连接层的第一权重，W new 表示增量学习算法模型在已知仓储物体图像的全连接层的第二权重，θ为可调参数，θ=Mean(||W known ||)/Mean(||W new ||)，|| ||表示二范数计算，Mean(*)表示均值计算。
CN202111416427.6A 2021-11-26 2021-11-26 一种基于增量学习的智能仓储分拣方法和系统 Pending CN113837156A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111416427.6A CN113837156A (zh) 2021-11-26 2021-11-26 一种基于增量学习的智能仓储分拣方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111416427.6A CN113837156A (zh) 2021-11-26 2021-11-26 一种基于增量学习的智能仓储分拣方法和系统

Publications (1)

Publication Number Publication Date
CN113837156A true CN113837156A (zh) 2021-12-24

Family

ID=78971354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111416427.6A Pending CN113837156A (zh) 2021-11-26 2021-11-26 一种基于增量学习的智能仓储分拣方法和系统

Country Status (1)

Country Link
CN (1) CN113837156A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114757308A (zh) * 2022-06-15 2022-07-15 科大天工智能装备技术（天津）有限公司 基于开集缺陷识别的智能电网巡检方法、装置及存储介质
WO2023137889A1 (zh) * 2022-01-20 2023-07-27 北京邮电大学 基于嵌入增强和自适应的小样本图像增量分类方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506799A (zh) * 2017-09-01 2017-12-22 北京大学 一种基于深度神经网络的开集类别发掘与扩展方法与装置
WO2018197835A1 (en) * 2017-04-26 2018-11-01 Blippar.Com Limited Apparatus and method for open-set object recognition
CN111368874A (zh) * 2020-01-23 2020-07-03 天津大学 一种基于单分类技术的图像类别增量学习方法
CN113378811A (zh) * 2021-05-31 2021-09-10 上海东普信息科技有限公司 基于图像识别的包裹分拣方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018197835A1 (en) * 2017-04-26 2018-11-01 Blippar.Com Limited Apparatus and method for open-set object recognition
CN107506799A (zh) * 2017-09-01 2017-12-22 北京大学 一种基于深度神经网络的开集类别发掘与扩展方法与装置
CN111368874A (zh) * 2020-01-23 2020-07-03 天津大学 一种基于单分类技术的图像类别增量学习方法
CN113378811A (zh) * 2021-05-31 2021-09-10 上海东普信息科技有限公司 基于图像识别的包裹分拣方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023137889A1 (zh) * 2022-01-20 2023-07-27 北京邮电大学 基于嵌入增强和自适应的小样本图像增量分类方法及装置
CN114757308A (zh) * 2022-06-15 2022-07-15 科大天工智能装备技术（天津）有限公司 基于开集缺陷识别的智能电网巡检方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN109934293B (zh) 图像识别方法、装置、介质及混淆感知卷积神经网络
CN109189767B (zh) 数据处理方法、装置、电子设备及存储介质
US7362892B2 (en) Self-optimizing classifier
CN103559504B (zh) 图像目标类别识别方法及装置
CN101937513B (zh) 信息处理设备、信息处理方法
CN111191732A (zh) 一种基于全自动学习的目标检测方法
CN110942091B (zh) 寻找可靠的异常数据中心的半监督少样本图像分类方法
CN108875816A (zh) 融合置信度准则和多样性准则的主动学习样本选择策略
CN113837156A (zh) 一种基于增量学习的智能仓储分拣方法和系统
CN112685504B (zh) 一种面向生产过程的分布式迁移图学习方法
CN111931505A (zh) 一种基于子图嵌入的跨语言实体对齐方法
CN110851176B (zh) 一种自动构造并利用伪克隆语料的克隆代码检测方法
CN112633382A (zh) 一种基于互近邻的少样本图像分类方法及系统
CN105184260A (zh) 一种图像特征提取方法及行人检测方法及装置
CN105930792A (zh) 一种基于视频局部特征字典的人体动作分类方法
CN109063983B (zh) 一种基于社交媒体数据的自然灾害损失实时评估方法
CN104008177B (zh) 面向图像语义标注的规则库结构优化与生成方法及系统
CN114140696A (zh) 商品识别系统优化方法、装置、设备及存储介质
CN111177010B (zh) 一种软件缺陷严重程度识别方法
CN110443574B (zh) 多项目卷积神经网络评审专家推荐方法
CN110796260A (zh) 一种基于类扩张学习的神经网络模型优化方法
CN113283467B (zh) 一种基于平均损失和逐类选择的弱监督图片分类方法
Guo et al. Ensemble margin framework for image classification
CN111242131B (zh) 一种智能阅卷中图像识别的方法、存储介质及装置
CN110502669B (zh) 基于n边dfs子图轻量级无监督图表示学习的社交媒体数据分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211224