CN117152596A - 一种定制家具五金配件袋数与类别智能核验方法 - Google Patents
一种定制家具五金配件袋数与类别智能核验方法 Download PDFInfo
- Publication number
- CN117152596A CN117152596A CN202311105996.8A CN202311105996A CN117152596A CN 117152596 A CN117152596 A CN 117152596A CN 202311105996 A CN202311105996 A CN 202311105996A CN 117152596 A CN117152596 A CN 117152596A
- Authority
- CN
- China
- Prior art keywords
- feature
- detection model
- class
- hardware fitting
- small sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012795 verification Methods 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 107
- 238000012549 training Methods 0.000 claims abstract description 44
- 239000013598 vector Substances 0.000 claims description 46
- 238000001914 filtration Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 238000004220 aggregation Methods 0.000 claims description 12
- 230000002776 aggregation Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012858 packaging process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
- G06Q30/0635—Processing of requisition or of purchase orders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种定制家具五金配件袋数与类别智能核验方法，包括，采集家具五金配件图像，获得图像数据集；将图像数据集划分为样本数多的训练集和样本数少的支持集；基于训练集和支持集对YOLOV8模型及其改进的分支进行训练，对应获得基类检测模型和小样本检测模型；获取待检测的五金配件图像，利用基类检测模型和小样本检测模型识别五金配件的袋数信息和类别信息，并将袋数信息和类别信息与订单信息进行比对；若比对结果一致，则完成核验；若比对结果不一致，将袋数信息和类别信息与订单信息不一致的五金配件，交由人工完成核验。本发明提高了五金配件样本数少的新类别的识别准确率。
Description
技术领域
本发明属于家具五金配件的识别与分类领域，尤其涉及一种定制家具五金配件袋数与类别智能核验方法。
背景技术
目前，定制家具五金配件企业中，五金配件订单的核验过程是采用传统人工的方式，根据订单信息，对分拣后的五金配件袋数与种类进行核验。然而，这种生产方式效率低下，因五金配件材料不一、大小不同、种类繁多等因素，导致会有多装、漏装等问题。而人工核验的方式，会随着订单量的增大，工人的工作量会急剧上升。且人工核验速度较慢，无法适应五金配件分拣线的生产节拍。如果为了加快核验速度，又可能导致五金配件的错发，而补发将导致额外的物流成本。因此，完全由人工核验五金配件订单的方法不能适应家具定制行业的发展，而在目标检测算法的辅助下，对分拣的五金配件预先识别其种类和每一类别五金配件的袋数，再将识别的信息与当前订单信息做比对。若比对结果一致，则进入下一个包装工序，若结果不一致，需交给工人进行确认或更改。能够极大地减少完全由工人比对订单信息的工作量，提高了核验订单工序的效率，使原本需要三个人完成的过程，减少至一人就可完成。
在识别算法上，传统算法上是利用各种五金配件的颜色、形状、轮廓不一样，对其进行Blob面积分析和轮廓分析等简单特征识别，但是将小的五金配件装入一袋后，每个小铁钉在袋子的轮廓可能存在粘连、堆叠和遮挡，传统算法无法快速且准确的识别出其具体的种类和袋数。而如今普遍运用目标检测算法进行识别与分类，传统的监督学习型目标检测算法，需要将所有五金配件全部做成YOLO格式的标签文件，而工厂生产环境中，存在有些下单少的配件或物料库中新增加的配件。而这些五金配件和下单率高的配件组成的数据集会出现样本分布不均衡的情况，常用的五金配件在五金分拣线中经常出现，所采集到的样本较多；不常见或新增加的五金配件，所采集到的样本数量较少。如果采用一个核验模型，样本数量少的五金配件往往会识别错误，准确率不高。
发明内容
为了减少数据采集的人力和时间的消耗，并合理利用五金配件数据集样本分布的特点，本发明提供了一种定制家具五金配件袋数与类别智能核验方法。
本发明提供了如下方案：一种定制家具五金配件袋数与类别智能核验方法，包括：
采集家具五金配件图像，获得图像数据集；
将所述图像数据集划分为样本数多的训练集和样本数少的支持集；
基于所述训练集和支持集对YOLOV8模型及其改进的分支进行训练，对应获得基类检测模型和小样本检测模型；
获取待检测的五金配件图像，利用所述基类检测模型和小样本检测模型识别五金配件的袋数信息和类别信息，并将所述袋数信息和类别信息与订单信息进行比对；若比对结果一致，则完成核验；若比对结果不一致，则将所述袋数信息和类别信息与订单信息不一致的五金配件，交由人工完成核验。
优选地，采集家具五金配件图像，获得图像数据集的过程包括，
将家具五金配件放置于具有背景为纯色的桌面上，在桌面上方设置工业相机并后接定焦镜头，安装完成后放置于桌面的支架上，采集所述家具五金配件的图像，获得图像数据集；将所述图像数据集以YOLO格式文件标注每个样例的位置信息和类别信息，组成训练集和支持集。
优选地，基于所述训练集和支持集对YOLOV8模型进行训练，对应获得基类检测模型和小样本检测模型的过程包括，
将所述图像数据集中常用的五金配件的训练集作为基类输入到YOLOV8模型中进行训练，获得基类检测模型；
将所述图像数据集中样本数少的支持集作为新类输入到改进的YOLOV8模型中进行微调，获得增加模型泛化性且具有识别新类能力的小样本检测模型。
优选地，获取待检测的五金配件图像，利用所述基类检测模型和小样本检测模型进行识别的过程包括，
第一阶段：将所述待检测的五金配件图像输入基类检测模型，识别获得所述家具五金配件的袋数信息，同时识别出所述家具五金配件的类别信息并得到每个预测框的置信度；
判断所述预测框的置信度是否高于第一预设阈值A；若所述置信度大于第一预设阈值A，则将预测框中对应的类别信息直接输出并与订单信息进行对比；若所述置信度小于第一预设阈值A，则将预测框中的图像裁切出来，作为第二阶段的输入，进行再次识别；
第二阶段：将裁切出来的图像利用小样本检测模型进行再次识别，获得类别信息和预测置信度，判断所述预测置信度是否大于第二预设阈值B，若是，则将类别信息直接输出与当前的订单信息进行对比核验；若否，进入到人工核验；
当识别信息和订单信息的类别存在不一致的情况，以及当小样本检测模型输出的预测置信度小于第二预设阈值B，对应的五金配件则由人工进行核验。
优选地，所述第二阶段中，基于小样本检测模型进行识别的过程包括，对小样本检测模型进行训练，基于训练后的小样本检测模型进行检测；
其中，对小样本检测模型进行训练，所述训练的过程包括，
通过YOLOV8模型的整体框架加上小样本分支组成获得小样本检测模型，将样本数少的支持集输入到小样本检测模型中训练，在小样本分支中，将主干网络中P3、P4、P5尺度的特征图作为输入，经过特征过滤模块进行特征过滤处理，分离出位置特征，得到包含类别特征的特征图；
将所述特征图输入到聚合平均模块中，通过特征聚合平均的作用，将所述特征图压缩为原型向量，得到每一个类别的原型向量后，提取出平均类别特征原型，作为类别损失函数的参数之一；
基于训练后的小样本检测模型进行检测的过程包括，
将裁切后的图像输入到主干网络和特征过滤模块中，得到所述特征图，经过聚合平均模块后，得到原型向量，再将查询图片输入到所述主干网络中，得到特征矩阵，然后通过以像素为单位的乘法运算与原型向量相乘来激活特征，然后将激活的特征送入检测头，输出预测框类别的置信度。
优选地，将主干网络中P3、P4、P5尺度的特征图作为输入，经过特征过滤模块进行特征过滤处理的过程包括，
将主干网络中P3、P4、P5的特征图进行最大池化，得到Q3、Q4、Q5，分别展平为一维特征向量X和Y，经过全连接后，相乘得到特征权重矩阵E，再与特征向量X相乘，最终得到过滤位置特征的特征值Z，后将所述特征值Z重塑为特征图R3、R4、R5；其中，所述特征权重矩阵E的每一行代表所有的特征值，每一列为所有的特征值与含有类别信息特征值的相关性系数。
优选地，所述特征过滤模块的相关公式包括，
E＝u(X)×v(Y)T，X，Y为一维特征向量
Z＝XT×soft max(E(i，：))，soft max归一化指数函数。
优选地，将所述特征图输入到聚合平均模块提取出原型向量的过程包括，
将特征过滤模块处理后的R3、R4、R5特征图中两个较小的特征图上采样至R3尺度后，再进行相加，经过展平处理后；将这个特征压缩为原型向量vik。
优选地，所述平均类别原型向量的公式表达式包括，
其中，K为每个类别中的K个实例，vik为第i个类别中的第K个实例的特征原型向量。
优选地，所述小样本检测模型的全部损失函数包括定位损失和类别边界损失；
所述全部损失函数的公式表达式为：
L＝Ldet+λLmrg
其中，Ldet为定位损失，Lmrg为类别边界损失；
在空间域上，同一类别的距离为：第i个类别中j个实例；
有n个不同的类别，不同类别的距离为：
μi为第i个类别平均类别特征原型，μj为第j个类别平均类别特征原型
与现有技术相比，本发明具有如下优点和技术效果：
本发明基于五金配件数据集的特点和小样本目标检测模型的特性，设计了一种定制家具五金配件袋数与类别智能核验方法，快速地识别五金配件的袋数与类别，提高了核验的准确率，减少了人工核验订单的工作量。
本发明针对五金配件样本分布不均衡的特点，设计了两阶段的检测策略，来进行对五金配件的类别和袋数识别，使用基类模型来识别常见的五金配件数量和类别，用小样本模型去检测少见的五金配件类别。
本发明设计了基于空间域损失函数，同一类别的特征向量尽可能和平均类别特征向量相近，而不同类别的平均特征向量尽可能的远离，提高了新类在样本数不多的情况下的识别准确率。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例的方法流程图；
图2为本发明实施例的基类检测模型框架图；
图3为本发明实施例的小样本检测模型结构图；
图4为本发明实施例的特征过滤模块结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
如图1所示，本发明所提供的一种定制家具五金配件袋数与类别智能核验方法，
采集家具五金配件图像，获得图像数据集；
将所述图像数据集划分为样本数多的训练集和样本数少的支持集；
基于所述训练集和支持集对YOLOV8模型及其改进的分支进行训练，对应获得基类检测模型和小样本检测模型；
获取待检测的五金配件图像，利用所述基类检测模型和小样本检测模型识别五金配件的袋数信息和类别信息，并将所述袋数信息和类别信息与订单信息进行比对；若比对结果一致，则完成核验；若比对结果不一致，则将所述袋数信息和类别信息与订单信息不一致的五金配件，交由人工完成核验。
进一步地，采集家具五金配件图像，获得图像数据集的过程包括，
将家具五金配件放置于具有背景为纯色的桌面上，在桌面上方设置工业相机并后接定焦镜头，安装完成后放置于桌面的支架上，采集所述家具五金配件的图像，获得图像数据集；将所述图像数据集以YOLO格式文件标注每个样例的位置信息和类别信息，组成训练集和支持集。
进一步地，基于所述训练集和支持集对YOLOV8模型及其改进的分支进行训练，对应获得基类检测模型和小样本检测模型的过程包括，
将所述图像数据集中常用的五金配件的训练集作为基类输入到YOLOV8模型中进行训练，获得基类检测模型；
将所述图像数据集中样本数少的支持集作为新类输入到改进的YOLOV8模型中进行微调，获得增加模型泛化性且具有识别新类能力的小样本检测模型。
进一步地，获取待检测的五金配件图像，利用所述基类检测模型和小样本检测模型进行识别的过程包括，
第一阶段：将所述待检测的五金配件图像输入基类检测模型，识别获得所述家具五金配件的袋数信息，同时识别出所述家具五金配件的类别信息并得到每个预测框的置信度；
判断所述预测框的置信度是否高于第一预设阈值A；若所述置信度大于第一预设阈值A，则将预测框中对应的类别信息直接输出并与订单信息进行对比；若所述置信度小于第一预设阈值A，则将预测框中的图像裁切出来，作为第二阶段的输入，进行再次识别；
第二阶段：将裁切出来的图像利用小样本检测模型进行再次识别，获得类别信息和预测置信度，判断所述预测置信度是否大于第二预设阈值B，若是，则将类别信息直接输出与当前的订单信息进行对比核验；若否，进入到人工核验；
当识别信息和订单信息的类别存在不一致的情况，以及当小样本检测模型输出的预测置信度小于第二预设阈值B，对应的五金配件则由人工进行核验。
进一步地，所述第二阶段中，基于小样本检测模型进行识别的过程包括，对小样本检测模型进行训练，基于训练后的小样本检测模型进行检测；
其中，对小样本检测模型进行训练，所述训练的过程包括，
通过YOLOV8模型的整体框架加上小样本分支组成获得小样本检测模型，将样本数少的支持集输入到小样本检测模型中训练，在小样本分支中，将主干网络中P3、P4、P5尺度的特征图作为输入，经过特征过滤模块进行特征过滤处理，分离出位置特征，得到包含类别特征的特征图；
将所述特征图输入到聚合平均模块中，通过特征聚合平均的作用，将所述特征图压缩为原型向量，得到每一个类别的原型向量后，提取出平均类别特征原型，作为类别损失函数的参数之一；
基于训练后的小样本检测模型进行检测的过程包括，
将裁切后的图像输入到主干网络和特征过滤模块中，得到所述特征图，经过聚合平均模块后，得到原型向量，再将查询图片输入到所述主干网络中，得到特征矩阵，然后通过以像素为单位的乘法运算与原型向量相乘来激活特征，然后将激活的特征送入检测头，输出预测框类别的置信度。
进一步地，将主干网络中P3、P4、P5尺度的特征图作为输入，经过特征过滤模块进行特征过滤处理的过程包括，
将主干网络中P3、P4、P5的特征图进行最大池化，得到Q3、Q4、Q5，分别展平为一维特征向量X和Y，经过全连接后，相乘得到特征权重矩阵E，再与特征向量X相乘，最终得到过滤位置特征的特征值Z，后将所述特征值Z重塑为特征图R3、R4、R5；其中，所述特征权重矩阵的每一行代表所有的特征值，每一列为所有的特征值与含有类别信息特征值的相关性系数。
进一步地，所述特征过滤模块的相关公式包括，
E＝u(X)×v(Y)T，X，Y为一维特征向量
Z＝XT×soft max(E(i，：))，soft max归一化指数函数。
进一步地，将所述特征图输入到聚合平均模块提取出特征原型向量的过程包括，
将特征过滤模块处理后的R3、R4、R5特征图中两个较小的特征图上采样至R3尺度后，再进行相加，经过展平处理后，；将这个特征压缩为原型向量vik。
进一步地，所述平均类别原型向量的公式表达式包括，
其中，K为每个类别中的K个实例，vik为第i个类别中的第K个实例的特征原型向量。
进一步地，所述小样本检测模型的全部损失函数包括定位损失和类别边界损失；
所述全部损失函数的公式表达式为：
L＝Ldet+λLmrg
其中，Ldet为定位损失，Lmrg为类别边界损失；
在空间域上，同一类别的距离为：第i个类别中j个实例；
有n个不同的类别，不同类别的距离为：
μi为第i个类别平均类别特征原型，μj为第j个类别平均类别特征原型。
实施例一
如图1所示，本发明所提供的一种定制家具五金配件袋数与类别智能核验方法，该方法采用两阶段检测的策略，以YOLOV8为基础模型，对图像进行推理预测。在第一阶段中，基类模型识别出的预测框置信度高于设定的阈值A，则将其类别概率输入到下一个步骤，其低于设定的阈值A时，将此预测框按照其位置和尺寸从原图中裁切出来。裁切后的图像作为第二阶段的输入，在第二阶段中，小样本模型检测，得到新的类别置信度，若其置信度大于设定的阈值B，则类别概率作为类别信息输出，再读取当前的订单信息，将识别的五金配件袋数、种类与订单信息进行对比核验。如果两者类别和数量存在不一致的情况，则由人工来核对其信息；若小样本模型输出的置信度小于设定的阈值B，则直接交给人工处理，以保证准确性，以解决五金配件在核验订单过程中出现的误检和漏检的问题。
进一步地优化方案，该方案步骤包括图像采集，图像识别。其中，图像采集过程包括将五金配件(木梢、广告钉、滑轨等)，放置于一背景颜色为灰色的桌面上，在桌面上方设置一个工业相机，后接一个视野大小为1m×0.8m的镜头，安装完成后，放置于桌面的支架上，便可采集图像数据。将采集后的图片传入到图像识别，通过其中两个阶段的目标检测算法进行识别分类。
进一步地，首先，采集训练阶段的数据集D，包含有常用的五金配件的训练集(基类)和样本数少的支持集(新类)，新类一般包含较少的含有标签的实例(N-way K-shot)，即有N种类别的数据且每类仅包含K个已标记的样本。上述的数据集包括五金配件的图像和对应的YOLO格式标注文件，其中包含有图像数据中所有实例的位置和类别信息。
将上述的基类输入到基于YOLOV8模型中训练，使其有识别五金配件袋数和种类的能力，在将支持集输入到改进的YOLOV8模型中，进行微调，增加其网络模型的泛化性，最终生成五金配件检测模型。
获取待检测的图像，将所述待检测的图像输入五金配件检测模型进行检测，对所述待检测的图像中包含的五金配件进行识别；输出其袋数和类别信息。将检测的袋数和类别信息与订单信息进行对比核验。
训练样本集中的样本为YOLOV8模型训练所需的YOLO格式文件，其包含图像中五金配件的坐标和类别信息。需要说明的是，为了提高YOLOV8模型对小样本数据集的检测精度，对原有的YOLOV8模型的网络框架结构进行了改进，重新搭建YOLOV8模型，生成的五金配件检测模型能提高对小样本五金配件数据集的检测精度。
如图1所示，检测策略为训练集中样本数多的由基类检测模型推理，而训练集中样本数少的由小样本检测模型处理，检测过程分为两个阶段。
第一个阶段，如图2所示，将采集到的五金配件图像数据输入到训练好的基类检测模型中，通过基类检测模型的预测推理后，会输出该图像中各个五金配件的类别置信度和袋数信息。对于重要的类别置信度，设定一个初始阈值为A，若基类检测模型预测识别的预测框置信度低于阈值A，则将其按照预测框的位置和尺寸从原图裁切出来，输入到小样本检测模型，进入第二个阶段，小样本检测模型对置信度低于阈值A的预测框的五金配件类别进行预测识别。即由基类检测模型推理输出五金配件类别(基类)和袋数信息，对于由基类模型推理的较低置信度的五金配件，其类别推理交给小样本检测模型。
第二阶段，如图3所示，小样本检测模型由YOLOV8的整体框架加上小样本分支组成，将样本数少的支持集送入到小样本检测模型中训练，在小样本检测分支中，将主干网络中输出的不同尺度的特征图，输入到特征过滤模块(Filtering Transform)作特征过滤，获得含有更多类别特征的特征图。再将得到特征图，输入到聚合平均模块中，提取出其原型向量vik。再将查询图片输入到的主干网络中，得到特征矩阵FQ，然后通过以像素为单位的乘法运算与原型向量vik相乘来激活这个特征，然后将激活的特征送入检测头，输出其类别概率。
进一步地，如图4所示，特征过滤模块(Filtering Transform)，将主干网络中P3、P4、P5的特征图进行最大池化，得到Q3、Q4、Q5，分别展平为一维特征向量X和Y，经过全连接后，相乘得到特征权重矩阵E，再与特征向量X相乘，最终会得到过滤位置特征的特征值Z，后将其重塑为特征图R3、R4、R5；其中，特征权重矩阵E的每一行代表所有的特征值，每一列为所有的特征值与含有类别信息特征值的相关性系数。
E＝u(X)×v(Y)T，X，Y为一维特征向量
Z＝XT×soft max(E(i，：))，soft max归一化指数函数。
特征聚合平均模块(FAA)，是将由特征过滤模块处理后的R3、R4、R5特征图进行融合后压缩。具体通过将两个较小的特征图上采样至R3尺度后，再将其进行相加，经过展平处理后，压缩得到原型向量vik，再计算得第i个类别中K个实例，求得平均类别原型向量ui。
其中，K为每个类别中的K个实例，vik为第i个类别中的第K个实例的特征向量
再将查询图片输入到共享权重的主干网络中，得到特征矩阵FQ，然后通过以像素为单位的乘法运算与平均原型向量ui相乘来激活这个特征，即计算ui与FQ的相似度，然后将激活的特征送入检测头，再将特征图送入到检测头，输出其类别概率，计算检测损失(定位损失Ldet)。
在空间域上，同一类别的距离为：第i个类别中j个实例；
有n个不同的类别，不同类别的距离为：
μi为第i个类别平均类别特征原型，μj为第j个类别平均类别特征原型。
因此损失函数为小样本检测模型全部损失函数由定位损失和类别边界损失构成。
L＝Ldet+λLmrg
人工核验对比类别、袋数信息和订单信息的过程为若两者信息不一致时，需要人工进行纠正，以确保不会错发、漏发五金配件。当第二阶段中输出的类别置信度低于设定的阈值时，则直接进入此阶段，进行干预验证。
本发明利用目标检测算法来识别家具五金配件的袋数与种类，通过训练基类检测模型和小样本检测模型，来提高模型的泛化性。解决了五金配件数据集样本分布不均衡，避免了训练出的模型容易产生过拟合的问题，且提高了五金配件样本数少的新类别的识别准确率。
以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种定制家具五金配件袋数与类别智能核验方法，其特征在于，包括：
采集家具五金配件图像，获得图像数据集；
将所述图像数据集划分为样本数多的训练集和样本数少的支持集；
基于所述训练集和支持集对YOLOV8模型及其改进的分支进行训练，对应获得基类检测模型和小样本检测模型；
获取待检测的五金配件图像，利用所述基类检测模型和小样本检测模型识别五金配件的袋数信息和类别信息，并将所述袋数信息和类别信息与订单信息进行比对；若比对结果一致，则完成核验；若比对结果不一致，则将所述袋数信息和类别信息与订单信息不一致的五金配件，交由人工完成核验。
2.根据权利要求1所述的定制家具五金配件袋数与类别智能核验方法，其特征在于，采集家具五金配件图像，获得图像数据集的过程包括，
将家具五金配件放置于具有背景为纯色的桌面上，在桌面上方设置工业相机并后接定焦镜头，安装完成后放置于桌面的支架上，采集所述家具五金配件的图像，获得图像数据集；将所述图像数据集以YOLO格式文件标注每个样例的位置信息和类别信息，组成训练集和支持集。
3.根据权利要求1所述的定制家具五金配件袋数与类别智能核验方法，其特征在于，基于所述训练集和支持集对YOLOV8模型及其改进的分支进行训练，对应获得基类检测模型和小样本检测模型的过程包括，
将所述图像数据集中常用的五金配件的训练集作为基类输入到YOLOV8模型中进行训练，获得基类检测模型；
将所述图像数据集中样本数少的支持集作为新类输入到改进的YOLOV8模型中进行微调，获得增加模型泛化性且具有识别新类能力的小样本检测模型。
4.根据权利要求1所述的定制家具五金配件袋数与类别智能核验方法，其特征在于，获取待检测的五金配件图像，利用所述基类检测模型和小样本检测模型进行识别的过程包括，
第一阶段：将所述待检测的五金配件图像输入基类检测模型，识别获得所述家具五金配件的袋数信息，同时识别出所述家具五金配件的类别信息并得到每个预测框的置信度；
判断所述预测框的置信度是否高于第一预设阈值A；若所述置信度大于第一预设阈值A，则将预测框中对应的类别信息直接输出并与订单信息进行对比；若所述置信度小于第一预设阈值A，则将预测框中的图像裁切出来，作为第二阶段的输入，进行再次识别；
第二阶段：将裁切出来的图像利用小样本检测模型进行再次识别，获得类别信息和预测置信度，判断所述预测置信度是否大于第二预设阈值B，若是，则将类别信息直接输出与当前的订单信息进行对比核验；若否，进入到人工核验；
当识别信息和订单信息的类别存在不一致的情况，以及当小样本检测模型输出的预测置信度小于第二预设阈值B，对应的五金配件则由人工进行核验。
5.根据权利要求4所述的定制家具五金配件袋数与类别智能核验方法，其特征在于，所述第二阶段中，基于小样本检测模型进行识别的过程包括，对小样本检测模型进行训练，基于训练后的小样本检测模型进行检测；
其中，对小样本检测模型进行训练，所述训练的过程包括，
通过YOLOV8模型的整体框架加上小样本分支组成获得小样本检测模型，将样本数少的支持集输入到小样本检测模型中训练，在小样本分支中，将主干网络中P3、P4、P5尺度的特征图作为输入，经过特征过滤模块进行特征过滤处理，分离出位置特征，得到包含类别特征的特征图；
将所述特征图输入到聚合平均模块中，通过特征聚合平均的作用，将所述特征图压缩为原型向量，得到每一个类别的原型向量后，提取出平均类别特征原型，作为类别损失函数的参数之一；
基于训练后的小样本检测模型进行检测的过程包括，
将裁切后的图像输入到主干网络和特征过滤模块中，得到所述特征图，经过聚合平均模块后，得到原型向量，再将查询图片输入到所述主干网络中，得到特征矩阵，然后通过以像素为单位的乘法运算与原型向量相乘来激活特征，然后将激活的特征送入检测头，输出预测框类别的置信度。
6.根据权利要求5所述的定制家具五金配件袋数与类别智能核验方法，其特征在于，将主干网络中P3、P4、P5尺度的特征图作为输入，经过特征过滤模块进行特征过滤处理的过程包括，
将主干网络中P3、P4、P5的特征图进行最大池化，得到Q3、Q4、Q5，分别展平为一维特征向量X和Y，经过全连接后，相乘得到特征权重矩阵E，再与特征向量X相乘，最终得到过滤位置特征的特征值Z，后将所述特征值Z重塑为特征图R3、R4、R5；其中，所述特征权重矩阵的每一行代表所有的特征值，每一列为所有的特征值与含有类别信息特征值的相关性系数。
7.根据权利要求5所述的定制家具五金配件袋数与类别智能核验方法，其特征在于，所述特征过滤模块的相关公式包括，
E＝u(X)×v(Y)T，X,Y为一维特征向量
Z＝XT×softmax(E(i,:))，softmax归一化指数函数。
8.根据权利要求5所述的定制家具五金配件袋数与类别智能核验方法，其特征在于，
将所述特征图输入到聚合平均模块提取出特征原型向量的过程包括，
将特征过滤模块处理后的R3、R4、R5特征图中两个较小的特征图上采样至R3尺度后，再进行相加，经过展平处理后，；将这个特征压缩为原型向量vik。
9.根据权利要求5所述的定制家具五金配件袋数与类别智能核验方法，其特征在于，所述平均类别原型向量的公式表达式包括，
其中，K为每个类别中的K个实例，vik为第i个类别中的第K个实例的特征原型向量。
10.根据权利要求5所述的定制家具五金配件袋数与类别智能核验方法，其特征在于，所述小样本检测模型的全部损失函数包括定位损失和类别边界损失；
所述全部损失函数的公式表达式为：
L＝Ldet+λLmrg
其中，Ldet为定位损失，Lmrg为类别边界损失；
在空间域上，同一类别的距离为：第i个类别中j个实例；
有n个不同的类别，不同类别的距离为：
μi为第i个类别平均类别特征原型，μj为第j个类别平均类别特征原型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311105996.8A CN117152596B (zh) | 2023-08-30 | 2023-08-30 | 一种定制家具五金配件袋数与类别智能核验方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311105996.8A CN117152596B (zh) | 2023-08-30 | 2023-08-30 | 一种定制家具五金配件袋数与类别智能核验方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117152596A true CN117152596A (zh) | 2023-12-01 |
| CN117152596B CN117152596B (zh) | 2024-04-19 |
Family
ID=88909407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311105996.8A Active CN117152596B (zh) | 2023-08-30 | 2023-08-30 | 一种定制家具五金配件袋数与类别智能核验方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117152596B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014002686A1 (ja) * | 2012-06-29 | 2014-01-03 | トーヨーカネツソリューションズ株式会社 | 物品のピッキング作業の支援装置及びシステム |
| CN113159116A (zh) * | 2021-03-10 | 2021-07-23 | 中国科学院大学 | 一种基于类间距平衡的小样本图像目标检测方法 |
| CN113240039A (zh) * | 2021-05-31 | 2021-08-10 | 西安电子科技大学 | 基于空间位置特征重加权的小样本目标检测方法及系统 |
| US11205098B1 (en) * | 2021-02-23 | 2021-12-21 | Institute Of Automation, Chinese Academy Of Sciences | Single-stage small-sample-object detection method based on decoupled metric |
| CN115861239A (zh) * | 2022-12-09 | 2023-03-28 | 长春理工大学 | 一种基于元学习的小样本工业零件表面缺陷检测方法 |
| KR102518380B1 (ko) * | 2022-08-30 | 2023-04-05 | 주식회사 그루핑 | 송장 정보 인식을 이용한 출고 패킹 영상 관리 방법 및 시스템 |
| CN116071660A (zh) * | 2023-03-10 | 2023-05-05 | 广西师范大学 | 一种基于小样本的目标检测方法 |
-
2023
- 2023-08-30 CN CN202311105996.8A patent/CN117152596B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014002686A1 (ja) * | 2012-06-29 | 2014-01-03 | トーヨーカネツソリューションズ株式会社 | 物品のピッキング作業の支援装置及びシステム |
| US11205098B1 (en) * | 2021-02-23 | 2021-12-21 | Institute Of Automation, Chinese Academy Of Sciences | Single-stage small-sample-object detection method based on decoupled metric |
| CN113159116A (zh) * | 2021-03-10 | 2021-07-23 | 中国科学院大学 | 一种基于类间距平衡的小样本图像目标检测方法 |
| CN113240039A (zh) * | 2021-05-31 | 2021-08-10 | 西安电子科技大学 | 基于空间位置特征重加权的小样本目标检测方法及系统 |
| KR102518380B1 (ko) * | 2022-08-30 | 2023-04-05 | 주식회사 그루핑 | 송장 정보 인식을 이용한 출고 패킹 영상 관리 방법 및 시스템 |
| CN115861239A (zh) * | 2022-12-09 | 2023-03-28 | 长春理工大学 | 一种基于元学习的小样本工业零件表面缺陷检测方法 |
| CN116071660A (zh) * | 2023-03-10 | 2023-05-05 | 广西师范大学 | 一种基于小样本的目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| BOHAO LI 等: "Beyond Max-Margin: Class Margin Equilibrium for Few-shot Object Detection", 《ARXIV:2103.04612V3》, 31 May 2021 (2021-05-31), pages 1 - 10 * |
| XIN WANG 等: "Frustratingly Simple Few-Shot Object Detection", 《HTTPS://ARXIV.ORG/ABS/2003.06957》, 16 March 2020 (2020-03-16), pages 1 - 12 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117152596B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110378420A (zh) | 一种图像检测方法、装置及计算机可读存储介质 | |
| CN105809146B (zh) | 一种图像场景识别方法和装置 | |
| CN112801146B (zh) | 一种目标检测方法及系统 | |
| CN109829467A (zh) | 图像标注方法、电子装置及非暂态电脑可读取储存媒体 | |
| CN111275082A (zh) | 一种基于改进端到端神经网络的室内物体目标检测方法 | |
| KR20180104609A (ko) | 다수의 이미지 일치성을 바탕으로 보험클레임 사기 방지를 실현하는 방법, 시스템, 기기 및 판독 가능 저장매체 | |
| CA3164893A1 (en) | Systems for multiclass object detection and alerting and methods therefor | |
| CN109741551B (zh) | 一种商品识别结算方法、装置及系统 | |
| CN111695392B (zh) | 基于级联的深层卷积神经网络的人脸识别方法及系统 | |
| CN109002766A (zh) | 一种表情识别方法及装置 | |
| CN112508109B (zh) | 一种图像识别模型的训练方法及装置 | |
| CN114937179B (zh) | 垃圾图像分类方法、装置、电子设备及存储介质 | |
| CN111881958A (zh) | 车牌分类识别方法、装置、设备及存储介质 | |
| CN113312957A (zh) | 基于视频图像的脱岗识别方法、装置、设备及存储介质 | |
| CN111666848B (zh) | 运输车辆到站检测方法、装置、设备及存储介质 | |
| CN113221947A (zh) | 一种基于图像识别技术的工业质检方法及系统 | |
| CN112580657A (zh) | 一种自学习字符识别方法 | |
| CN111488766A (zh) | 目标检测方法和装置 | |
| CN109035558B (zh) | 一种用于无人售货柜的商品识别算法在线学习系统 | |
| CN108960005B (zh) | 一种智能视觉物联网中对象视觉标签的建立及显示方法、系统 | |
| CN117152596B (zh) | 一种定制家具五金配件袋数与类别智能核验方法 | |
| CN108921240A (zh) | 一种发票编码识别分拣系统 | |
| CN114998665B (zh) | 一种图像类别识别方法、装置、电子设备及存储介质 | |
| CN112183374A (zh) | 一种基于树莓派和深度学习的快递自动分拣装置及方法 | |
| CN115546824B (zh) | 禁忌图片识别方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |