CN117437217B - 一种基于图像识别的纸塑产品分拣方法及系统 - Google Patents

Abstract

本申请涉及图像处理领域，尤其涉及一种基于图像识别的纸塑产品分拣方法及系统，方法包括：获取不同类型纸塑产品的历史图像并设置类型标签，根据历史图像及类型标签生成多个数据集；将历史图像转化为灰度图像，根据边缘算法得到纸塑产品的边缘；计算边缘的内外面积；计算边缘中混乱程度的最优值；计算不同类型纸塑产品的历史图像的颜色差异度；根据边缘、混乱程度的最优值及颜色差异度，构建多个高斯模型，根据数据集训练高斯模型，生成分拣模型；生成待识别图像属于每一个分拣模型的概率值；根据概率值的最大值对应的分拣模型，生成分拣结果。本申请具有在分拣阶段，提高分拣模型计算效率的效果。

Description

一种基于图像识别的纸塑产品分拣方法及系统

技术领域

本申请涉及图像处理领域，尤其涉及一种基于图像识别的纸塑产品分拣方法及系统。

背景技术

随着全球人口的增加和消费习惯的改变，纸塑产品的使用和产量正在不断增加，直接将废弃的纸塑产品丢弃会造成环境污染，因此需要对废弃的纸塑产品进行回收再利用。

纸塑产品分拣是指对纸质和塑料制品进行分类、分拣和处理的过程，在回收垃圾处理过程中进行。纸塑产品分拣的目的是将纸质和塑料制品分别分类，便于后续的再利用和回收。分拣过程中，将纸质制品（如纸板、报纸、纸箱等）和塑料制品（如塑料瓶、塑料袋、塑料容器等）分开放置，便于进一步处理和回收利用。

传统的纸塑回收中纸塑分拣需要人工参与进行纸塑产品分拣。人工分拣的效率较低。随着人工智能技术的发展，使用机器对纸塑产品进行分拣成为了可能。这需要获取废弃纸塑产品的图像并对这些图像进行标注，标注出废弃纸塑产品的类别，例如纸张、塑料瓶等。然后利用标注训练分拣模型，分拣模型需要对图像进行边缘检测和曲率计算的操作，以对图像中像素点进行计算和处理，以实现自动分拣。

目前的分拣模型在纸塑产品的分类阶段，需要计算所有纸塑产品边缘曲率的所有角度和所有距离等参数，在分类阶段，需要大量的计算，计算的复杂度高，所以分拣模型的推理速度较慢，分类时的计算效率低。

发明内容

为了提高分拣模型在分类阶段的计算效率，本申请提供一种基于图像识别的纸塑产品分拣方法及系统。

第一方面，本申请提供一种基于图像识别的纸塑产品分拣方法，采用如下的技术方案：

一种基于图像识别的纸塑产品分拣方法，包括步骤：获取不同类型纸塑产品的历史图像并设置类型标签，根据所述历史图像及所述类型标签生成多个数据集，每一类纸塑产品对应一个数据集；将所述历史图像转化为灰度图像，根据边缘算法得到纸塑产品的边缘，所述边缘包括表示纸塑产品外轮廓的外边缘和表示纸塑产品上印刷的图像或文字的内边缘；计算所述边缘的内外面积；计算所述边缘中混乱程度的最优值；计算不同类型纸塑产品的历史图像的颜色差异度；根据所述边缘、所述混乱程度的最优值及所述颜色差异度，构建多个高斯模型，根据所述数据集训练所述高斯模型，生成分拣模型，每一个数据集对应一个高斯模型，每一个高斯模型对应一个分拣模型；在所述分拣模型中获取待识别图像中边缘、所述混乱程度的最优值及所述颜色差异度，生成待识别图像属于每一个分拣模型的概率值；根据所述概率值的最大值对应的分拣模型，生成分拣结果。

可选的，所述计算所述边缘的内外面积，包括步骤：统计内边缘的像素点个数及外边缘的像素点个数；计算多种类型的纸塑产品内外面积大小，计算公式为：，其中，表示第i类纸塑产品中第j个纸塑产品的内外面积大小，/>表示第i类纸塑产品中第j个纸塑产品内边缘的像素点个数，/>表示第i类纸塑产品中第j个纸塑产品外边缘的像素点个数。

可选的，计算所述边缘中混乱程度的最优值，包括步骤：计算曲率伴生矩阵；根据所述曲率伴生矩阵，计算纸塑产品边缘的混乱程度，计算公式为：，其中，/>为纸塑产品边缘的混乱程度，/>表示曲率伴生矩阵中第i行第j列的值；计算混乱程度的最优值。

可选的，计算混乱程度的最优值，包括步骤：计算目标函数，所述目标函数的表达式为：，其中，/>目标函数，/>表示第i类纸塑产品中第k个纸塑产品的边缘的混乱程度，/>表示第j类纸塑产品的边缘混乱程度的均值；响应于所述目标函数的最大值被确认，生成最优曲率方向和距离，得到混乱程度的最优值。

可选的，所述计算不同类型纸塑产品的历史图像的颜色差异度，包括步骤：获取不同类型纸塑产品的历史图像的RGB图像；根据RGB图像中不同颜色通道的特征，计算颜色特征差异度，计算公式为：

其中，表示颜色特征差异度，/>表示红色通道特征的平均值，/>表示绿色通道特征的平均值，/>表示蓝色通道特征的平均值，/>表示灰度图像特征的平均值。

第二方面，本申请提供一种基于图像识别的纸塑产品分拣方法系统，采用如下的技术方案：

一种基于图像识别的纸塑产品分拣方法系统，包括：处理器和存储器，所述存储器存储有计算机程序指令，当所述计算机程序指令被所述处理器执行时实现所述的基于图像识别的纸塑产品分拣方法。

本申请具有以下技术效果：

在训练阶段，通过计算已知类型纸塑产品图像中纸塑产品的内外面积、纸塑产品的边缘的混乱程度、纸塑图像的颜色特征差异度，根据设定的目标函数得到计算纸塑产品的边缘混乱程度最优的曲率角度和距离，然后计算纸塑产品边缘最优的混乱程度，根据不同纸塑产品的内外面积、最优纸塑产品的边缘的混乱程度、纸塑图像的颜色特征差异度建立不同高斯模型，根据待分拣纸塑产品属于哪个高斯模型的概率高对纸塑产品进行分拣。一个产品型对应一个高斯模型，例如，塑料瓶这个产品类型对应一个高斯模型，餐盒这个产品类型对应另一个模型等。

将复杂的参数计算放在了训练模型的阶段，虽然在训练模型时，计算不同角度和不同距离的曲率伴生矩阵，复杂度较高，但是，在推理预测的过程中，只需要计算一个角度一个距离的曲率伴生矩阵，减少了分拣阶段，模型推理时的计算复杂度，提高了分拣的速度。

附图说明

通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，并且相同或对应的标号表示相同或对应的部分。

图1是本申请实施例一种基于图像识别的纸塑产品分拣方法中步骤S1-S8的方法流程图。

图2是本申请实施例一种基于图像识别的纸塑产品分拣方法中步骤S30-S31的方法流程图。

图3是本申请实施例一种基于图像识别的纸塑产品分拣方法中步骤S40-S42的方法流程图。

图4是本申请实施例一种基于图像识别的纸塑产品分拣方法中步骤S420-S421的方法流程图。

图5是本申请实施例一种基于图像识别的纸塑产品分拣方法中步骤S50-S51的方法流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当本申请的权利要求、说明书及附图使用术语“第一”、“第二”等时，其仅是用于区别不同对象，而不是用于描述特定顺序。本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

本申请实施例公开一种基于图像识别的纸塑产品分拣方法，用于将回收的纸塑产品，进行类型的分拣，分出如塑料瓶、餐盒等多种产品。参照图1，包括步骤S1-S8，具体如下：

S1：获取不同类型纸塑产品的历史图像并设置类型标签，根据历史图像及类型标签生成多个数据集，每一类纸塑产品对应一个数据集。

使用CCD（Charge Coupled Device，电荷耦合器件）相机或CMOS（ComplementaryMetal-Oxide-Semiconductor，互补金属氧化物半导体）摄像机，拍摄需要分拣出的纸塑产品的图像，拍摄角度为多角度，拍摄环境为分拣纸塑产品的环境。多种纸塑产品的图像作为不同类型纸塑产品的历史图像。

拍摄完成后，给每一张图像一个类型标签，如餐盒等，纸塑产品的图像和类型标签组成数据集。

S2：将历史图像转化为灰度图像，根据边缘算法得到纸塑产品的边缘，边缘包括表示纸塑产品外轮廓的外边缘和表示纸塑产品上印刷的图像或文字的内边缘。

获得的历史图像为RGB（Red,Green,Blue，红，绿，蓝）图像，将RGB图像的三个通道（红色通道，绿色通道，蓝色通道）的像素值加权平均或者取其中一个通道的像素值作为灰度值。

对于纸塑产品的外边缘，通过边缘检测算法找到边缘像素，并将边缘像素用线条或多边形连接起来形成纸塑产品外轮廓的外边缘。

对于纸塑产品上的印刷图像或文字，通过将灰度图像中的像素与预设的像素阈值进行比较，将大于像素阈值的像素视为边缘像素，从而提取出内边缘，以表示印刷图像或文字的边缘。

S3：计算边缘的内外面积。参照图2，步骤S3包括步骤S30-S31，具体如下：

S30：统计内边缘的像素点个数及外边缘的像素点个数。

S31：计算多种类型的纸塑产品内外面积大小。

计算公式为：

其中，表示第i类纸塑产品中第j个纸塑产品的内外面积大小，/>表示第i类纸塑产品中第j个纸塑产品内边缘的像素点个数，/>表示第i类纸塑产品中第j个纸塑产品外边缘的像素点个数。

据不同类型纸塑产品外边缘像素点的个数和内边缘像素点的个数，计算得到不同类型纸塑产品的内外面积。

S4：计算边缘中混乱程度的最优值。参照图3，步骤S4包括步骤S40- S42，具体如下：

S40：计算曲率伴生矩阵。

计算边缘像素点的曲率值和曲率方向，根据边缘像素点的曲率值和曲率方向计算出边缘的混乱程度，根据不同类型纸塑产品边缘的混乱程度的差异，选出最优的边缘混乱程度。

具体地，计算边缘的像素点的曲率值和曲率方向的方位为：

通过每个边缘像素点的海森矩阵，得到边缘像素点的曲率值和边缘像素点的曲率方向，海森矩阵的最大特征值为该边缘像素点的曲率值，最大特征值对应的特征向量表示该边缘像素点的曲率方向。

具体地，设定边缘上任意一个像素点（x，y）的曲率值为a，在某一曲率方向上，与（x，y）的距离为（dx，dy）的点（x＋dx，y＋dy）的曲率值为b，使，其中，表示纸塑产品的边缘的像素点中最小的曲率值，/>表示纸塑产品的边缘的像素点中最大的曲率值。若遍历纸塑产品的边缘像素点的所有曲率值，此时计算量较大，所以本申请将曲率值设置8个曲率等级。则曲率值的计算公式为：/>

其中，设置8个曲率等级对曲率值进行划分，是曲率等级划分后纸塑产品的边缘上第i个像素点的曲率值，/>是纸塑产品的边缘上第i个像素点的曲率值，/>表示所有纸塑产品的边缘点最大的曲率值。

同样的，在纸塑产品的边缘的曲率方向的数量较多，遍历每一个曲率方向的计算量较大，所以本申请对曲率方向进行划分，划分为8个曲率方向。统计每一个曲率方向设定距离上（a=1，b=1）、（a=1，b=2）、（a=1，b=3）、...、（a=2，b=1）、...、（a=8，b=8）出现的次数，得到为一个8行8列的矩阵为曲率伴生矩阵。

S41：根据曲率伴生矩阵，计算纸塑产品边缘的混乱程度。

混乱程度的计算公式为：

其中，为纸塑产品边缘的混乱程度，/>表示曲率伴生矩阵中第i行第j列的值。混乱程度越大说明该纸塑产品的边缘的越复杂。

S42：计算混乱程度的最优值。参照图4，步骤S42包括步骤S420-S421，具体如下：

S420：计算目标函数。

目标函数的表达式为：

其中，目标函数，/>表示第i类纸塑产品中第k个纸塑产品的边缘的混乱程度，/>表示第j类纸塑产品的边缘混乱程度的均值。

根据目标函数，能够判断出哪一个曲率方向和距离计算出纸塑产品的边缘混乱程度对纸塑分拣的效果最好。

目标函数越大说明不同类型纸塑产品的边缘的混乱程度差异越大。当不同类型的纸塑产品的边缘的混乱程度差异越大，则使用纸塑产品的边缘的混乱程度对纸塑产品进行分拣的效果越好。因此，目标函数的值越大，对纸塑产品的分拣效果越好。

S421：响应于目标函数的最大值被确认，生成最优曲率方向和距离，得到混乱程度的最优值。

求目标函数的最大值对应的曲率方向和距离即为最优曲率方向和距离。根据最优曲率方向和距离，重复步骤S40-S41，得到混乱程度的最优值。

S5：计算不同类型纸塑产品的历史图像的颜色差异度。参照图5，步骤S5包括步骤S50-S51，具体如下：

S50：获取不同类型纸塑产品的历史图像的RGB图像。

S51：根据RGB图像中不同颜色通道的特征，计算颜色特征差异度。

计算公式为：

其中，表示颜色特征差异度，/>表示红色通道特征的平均值，/>表示绿色通道特征的平均值，/>表示蓝色通道特征的平均值，/>表示灰度图像特征的平均值。

S6：根据边缘、混乱程度的最优值及颜色差异度，构建多个高斯模型，根据数据集训练高斯模型，生成分拣模型，每一个数据集对应一个高斯模型，每一个高斯模型对应一个分拣模型。

S7：在分拣模型中获取待识别图像中边缘、混乱程度的最优值及颜色差异度，生成待识别图像属于每一个分拣模型的概率值。

S8：根据概率值的最大值对应的分拣模型，生成分拣结果。

分拣结果为待识别图纸中的物品的类别，例如类别为塑料瓶、类别为报纸等。

本申请实施例还公开一种基于图像识别的纸塑产品分拣系统，包括处理器和存储器，存储器存储有计算机程序指令，当计算机程序指令被处理器执行时实现根据本申请的一种基于图像识别的纸塑产品分拣方法。

上述系统还包括通信总线和通信接口等本领域技术人员熟知的其他组件，其设置和功能为本领域中已知，因此在此不再赘述。

在本申请中，前述的存储器可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，计算机可读存储介质可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM（ResistiveRandomAccessMemory）、动态随机存取存储器DRAM（DynamicRandomAccessMemory）、静态随机存取存储器SRAM（StaticRandom-AccessMemory）、增强动态随机存取存储器EDRAM（EnhancedDynamicRandomAccessMemory）、高带宽内存HBM（High-BandwidthMemory）、混合存储立方HMC（HybridMemoryCube）等，或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是设备的一部分或可访问或可连接到设备。

虽然本说明书已经示出和描述了本申请的多个实施例，但对于本领域技术人员显而易见的是，这样的实施例只是以示例的方式提供的。本领域技术人员会在不偏离本申请思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本申请的过程中，可以采用对本文所描述的本申请实施例的各种替代方案。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (2)

1.一种基于图像识别的纸塑产品分拣方法，其特征在于，包括步骤：

获取不同类型纸塑产品的历史图像并设置类型标签，根据所述历史图像及所述类型标签生成多个数据集，每一类纸塑产品对应一个数据集；

将所述历史图像转化为灰度图像，根据边缘算法得到纸塑产品的边缘，所述边缘包括表示纸塑产品外轮廓的外边缘和表示纸塑产品上印刷的图像或文字的内边缘；

计算所述边缘的内外面积；

所述计算所述边缘的内外面积，包括步骤：

统计内边缘的像素点个数及外边缘的像素点个数；

计算多种类型的纸塑产品内外面积大小，计算公式为：

其中，表示第i类纸塑产品中第j个纸塑产品的内外面积大小，/>表示第i类纸塑产品中第j个纸塑产品内边缘的像素点个数，/>表示第i类纸塑产品中第j个纸塑产品外边缘的像素点个数；

计算所述边缘中混乱程度的最优值；

计算所述边缘中混乱程度的最优值，包括步骤：

计算曲率伴生矩阵；

计算曲率伴生矩阵，包括步骤：计算边缘像素点的曲率值和曲率方向，通过每个边缘像素点的海森矩阵，得到边缘像素点的曲率值和边缘像素点的曲率方向，海森矩阵的最大特征值为该边缘像素点的曲率值，最大特征值对应的特征向量表示该边缘像素点的曲率方向；

设定边缘上任意一个像素点（x，y）的曲率值为a，在某一曲率方向上，与（x，y）的距离为（dx，dy）的点（x＋dx，y＋dy）的曲率值为b，使，其中，/>表示纸塑产品的边缘的像素点中最小的曲率值，/>表示纸塑产品的边缘的像素点中最大的曲率值，将曲率值设置8个曲率等级，则曲率值的计算公式为：

其中，设置8个曲率等级对曲率值进行划分，是曲率等级划分后纸塑产品的边缘上第i个像素点的曲率值，/>是纸塑产品的边缘上第i个像素点的曲率值，/>表示所有纸塑产品的边缘点最大的曲率值；

对曲率方向进行划分，划分为8个曲率方向，统计每一个曲率方向设定距离上（a=1，b=1）、（a=1，b=2）、（a=1，b=3）、...、（a=2，b=1）、...、（a=8，b=8）出现的次数，得到为一个8行8列的矩阵为曲率伴生矩阵；

根据所述曲率伴生矩阵，计算纸塑产品边缘的混乱程度，计算公式为：

其中，为纸塑产品边缘的混乱程度，/>表示曲率伴生矩阵中第i行第j列的值；

计算混乱程度的最优值；

计算混乱程度的最优值，包括步骤：

计算目标函数，所述目标函数的表达式为：

其中，为目标函数，/>表示第i类纸塑产品中第k个纸塑产品的边缘的混乱程度，表示第j类纸塑产品的边缘混乱程度的均值；

响应于所述目标函数的最大值被确认，生成最优曲率方向和距离，得到混乱程度的最优值；

计算不同类型纸塑产品的历史图像的颜色差异度；

所述计算不同类型纸塑产品的历史图像的颜色差异度，包括步骤：

获取不同类型纸塑产品的历史图像的RGB图像；

根据RGB图像中不同颜色通道的特征，计算颜色特征差异度，计算公式为：

其中，表示颜色特征差异度，/>表示红色通道特征的平均值，/>表示绿色通道特征的平均值，/>表示蓝色通道特征的平均值，/>表示灰度图像特征的平均值；

根据所述边缘、所述混乱程度的最优值及所述颜色差异度，构建多个高斯模型，根据所述数据集训练所述高斯模型，生成分拣模型，每一个数据集对应一个高斯模型，每一个高斯模型对应一个分拣模型；

在所述分拣模型中获取待识别图像中边缘、所述混乱程度的最优值及所述颜色差异度，生成待识别图像属于每一个分拣模型的概率值；

根据所述概率值的最大值对应的分拣模型，生成分拣结果。

2.一种基于图像识别的纸塑产品分拣方法系统，其特征在于，包括：处理器和存储器，所述存储器存储有计算机程序指令，当所述计算机程序指令被所述处理器执行时实现根据权利要求1所述的基于图像识别的纸塑产品分拣方法。