CN112836704A - 一种融合分类检测分割的废纸类别自动识别方法 - Google Patents

Abstract

本发明公开了一种融合分类检测分割的废纸类别自动识别方法，包括获取预测废纸图像；将获取的预测废纸图像分成若干块子预测废纸图像，对每一块子预测废纸图像，利用机器学习方法进行分类，获取子预测废纸图像块的类别信息与置信度信息；采用基于机器学习的图像检测技术，检测出预测废纸图像中存在的废纸类别和对应的位置信息；对获取的预测废纸图像进行图像分割；对预测废纸图像的分类、检测和分割结果进行融合，得到最终的废纸类别识别结果；统计预测废纸图像中每种废纸类别出现的位置和占比，实现对废纸图像的自动识别。本发明的废纸类别识别方法相较于传统的图像分类方法，大大提高了废纸分类的效率，且准确率高。

Description

一种融合分类检测分割的废纸类别自动识别方法

技术领域

本发明涉及计算机视觉领域和人工智能技术领域，特别地，涉及一种融合分类检测分割的废纸类别自动识别方法。

背景技术

废纸，泛指在生产生活中经过使用而废弃的可循环再生资源，包括各种高档纸、黄板纸、废纸箱、切边纸、打包纸、企业单位用纸、工程用纸、书刊报纸等等。废纸回收利用在减少污染、改善环境、节约原生纤维资源及能源、保护森林资源等方面能够产生巨大的经济效益和环境效益，是实现造纸工业可持续发展以及社会可持续发展的一个非常重要的方面。

废纸的分类对于废纸的回收和再利用有着决定性的作用。对于我国节约林业资源有着巨大的推动作用。根据废纸的回收渠道不同，其纤维种类、成分和性能都各有不同，对废纸的分类回收进行二次利用，能够达到物尽其用，节省资源的目的。常用的废纸分类方法主要有以下几种：第一是人工分拣，这种作业方式是整个分拣过程只需要人工来完成，但这种分拣的效率和准确率低，不能适应任务量大且要求严的企业的现代化要求。第二是机械分拣，主要是指以人为主导机械设备为辅助来来完成分拣作业的一种方法，其主要模式有手推车分拣，机动形式分拣、运输带传送分拣。第三种是半自动化分拣，这种方式比第二种分拣方式更为先进，效率更高，人无需太多的劳动量。它主要是人通过电子标签辅助拣货系统、无线射频识别终端机、计算机随行指示拣货台车、条形码等现代科学技术根据分拣所需要的类别和数量来完成分拣作业这道工序的。但上述分拣方式仍不能满足现代企业不间断的、大批量的分拣货物的需求。因此，亟需一种融合分类检测分割的废纸类别自动识别方法，实现全自动分拣。

发明内容

本发明的目的在于提供一种融合分类检测分割的废纸类别自动识别方法，以解决背景技术中提出的问题。

为实现上述目的，本发明提供了一种融合分类检测分割的废纸类别自动识别方法，包括以下步骤：

步骤S1、在传送带上方设置摄像机和照明设备，并使摄像机能够从上往下垂直对传送带上的废纸进行图像拍摄，以获得预测废纸图像；

步骤S2、先将步骤S1中获取的预测废纸图像分成n×n块子预测废纸图像，再对每一块子预测废纸图像进行分类，以获得每个子预测废纸图像块的类别信息与置信度信息；

步骤S3、对步骤S1中获取的预测废纸图像进行检测，检测出预测废纸图像中所有可能存在的适合检测的废纸类别的矩形框位置和置信度信息；

步骤S4、对步骤S1中获取的预测废纸图像进行图像分割，以获得多个不同的废纸分割块；

步骤S5、将步骤S2-S4中的预测废纸图像分类、检测、分割三个步骤的结果进行融合，得到最终的废纸类别识别结果；

步骤S6、统计整张预测废纸图像中每种废纸类别出现的位置和占比，从而实现对预测废纸图像的自动识别。

作为本发明再进一步的方案：所述步骤S2中利用机器学习方法对子预测废纸图像进行分类，并获取子预测废纸图像块的类别信息与置信度信息；具体方法包括：

S2.1、收集用于训练的训练废纸图像；

S2.2、先由人工对收集到的训练废纸图像进行标记，并将训练废纸图像分成n×n块子训练废纸图像，标记每一块子训练废纸图像的废纸类别，构建废纸分类数据集；再采用基于深度学习的图像分类识别方法，训练废纸图像分类模型；

S2.3、利用训练好的废纸图像分类模型，将每一个子图预测废纸像块进行分类，得到子预测废纸图像块的类别信息和分类置信度。

作为本发明再进一步的方案：所述步骤S3的具体实施步骤包括：

S3.1、人工标记出预测废纸图像中适合检测的废纸类别的矩形框位置区域，构建废纸检测数据集；

S3.2、在废纸检测数据集上训练一个基于深度学习的目标检测模型，目标检测模型检测出预测废纸图像中可能存在的适合检测的废纸类别的矩形框位置和置信度信息。

作为本发明再进一步的方案：所述步骤S4中，进行图像分割的具体方法为：

S4.1、采用整体嵌套边缘检测算法提取出子图像块的边缘信息，即输出二值化的边缘图像；

S2.1、将整体嵌套边缘检测算法的结果进行二值化和最大连通域分析，获得边缘轮廓；

S4.3、将预测废纸图像及边缘轮廓输入给分水岭分割算法，得出多个不同废纸分割块之间的分割结果。

作为本发明再进一步的方案：所述步骤S5中，得到最终的废纸类别识别结果的具体方法为：

S5.1、基于步骤S4中预测废纸图像分割的结果，遍历所有的废纸分割块；

S5.2、统计每个废纸分割块内的每一个像素在步骤S3和S4中所隶属的类别信息和置信度；

S5.3、统计每个废纸分割块中所有像素的类别信息，采用投票的方式，确定该废纸分割块最终的类别信息。

相比于现有技术，本发明具有以下有益效果：

本发明所提供的废纸类别自动识别方法，通过获取预测废纸图像，利用机器学习方法识别出每个预测废纸图像块的类别信息和置信度，以及对预测废纸图像进行检测、图像分割，并对预测废纸图像分类、检测、分割三个步骤的结果进行融合，得到最终的废纸类别识别结果；最后，统计整张预测废纸图像中每种废纸类别出现的位置和占比，从而实现对预测废纸图像的自动识别。本发明的废纸类别识别方法相较于传统的图像分类方法，大大提高了废纸分类的效率，且准确率高，有利于回收厂商的计价方便后续的废纸处理工序等。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明一种融合分类检测分割的废纸类别自动识别方法的流程图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以根据权利要求限定和覆盖的多种不同方式实施。

请参见图1，本实施例提供一种融合分类检测分割的废纸类别自动识别方法，包括以下步骤：

1、在传送带上方安装摄像机和照明设备，并调整好位置，使摄像机能够从上往下垂直对传送带上的废纸进行图像拍摄，以获得预测废纸图像；其中，摄像机可采用高清球机。

2、将步骤1中获取的预测废纸图像分成n×n块子预测废纸图像，利用机器学习方法对每一块子预测废纸图像进行分类，以获得每一个子预测废纸图像块的类别信息与置信度信息；具体包括以下步骤：

(1)、收集需要用于机器学习的训练废纸图像；训练废纸图像类别可以为：2级黄板纸、蜂窝覆膜纸、蜂窝实体、模具、涂布纸、瓦纸、瓦楞纸、灰板纸、蛋托、白卡、黄板纸皱、A级黄板纸、白木桨、蜂窝无膜、复写纸、广告纸、蜡纸、书本以及碎纸等。

(2)、先由人工标记收集到的训练废纸图像，将训练废纸图像分成n×n块子训练废纸图像，标记每一块子训练废纸图像的废纸类别，构建废纸分类数据集；再采用基于深度学习的图像分类识别方法，训练废纸图像分类模型；例如，采用VGGNet、ResNet、GoogLeNet、Inception v3、NASNet等基于深度学习的图像分类模型。

(3)、利用训练好的废纸图像分类模型，将每一个子预测废纸图像块进行分类，得到子预测废纸图像块的类别信息和分类置信度。

3、采用基于机器学习的图像检测技术对步骤1获取的预测废纸图像进行检测，检测出预测废纸图像中所有可能存在的适合检测的废纸类别的矩形框位置和置信度信息；具体实施方法如下：

(1)、针对预测废纸图像中某些适合检测的废纸类别，例如蛋托、模具等，人工标记出这些废纸类别的矩形框位置区域，构建废纸检测数据集；

(2)、在废纸检测数据集上训练一个基于深度学习的目标检测模型，检测出预测废纸图像中所有可能存在的适合检测的废纸类别的矩形框位置和置信度信息；例如，采用基于Yolov4的目标检测模型，训练一个废纸自动检测方法。

4、对步骤1中获取的预测废纸图像进行图像分割，以获得多个不同的废纸分割块；进行预测废纸图像分割的具体方法为：

(1)、采用整体嵌套边缘检测（Holistically-Nested Edge Detection，HED）算法提取出子预测废纸图像块的边缘信息，即输出二值化的边缘图像；

(2)、将整体嵌套边缘检测算法的结果进行二值化和最大连通域分析，获得边缘轮廓；

(3)、将预测废纸图像及边缘轮廓输入给分水岭分割算法，得出多个不同废纸分割块之间的分割结果。

5、将上述2-4三个步骤中预测废纸图像的分类、检测、分割结果进行融合，得到最终的废纸类别识别结果；具体方法为：

(1)、在基于步骤4中预测废纸图像分割的结果，遍历所有的废纸分割块；

(2)、统计每个废纸分割块内的每一个像素在步骤3和4中所隶属的类别信息和置信度；。对于某一像素的分类结果，考虑到不同废纸类别分类和检测准确率不同，定义了反映各废纸类别分类和检测准确率的权重

，其中

表示全部的废纸类别数目，该权重可以指定为测试集上测得的各废纸类别的分类准确率和检测准确率，也可以由人工直接设定。对于某一像素的分类结果，设该像素所在子图像块分类为各废纸类别的置信度为

，则该像素分类结果的类别

，即取

值最大的类别。对于该像素的检测结果，考虑到不同废纸类别检测准确率不同，定义了反映各废纸类别检测准确率的权重

，其中

表示适合用检测来识别的废纸类别的数目，该权重可以指定为测试集上测得的各废纸类别的检测准确率，也可以由人工直接设定。设该像素若其位于废纸类别为

的矩形框位置区域，检测置信度为

，则该像素检测结果为类别

。最后融合分类与检测结果，该像素的最终类别由

决定，也即，若

，则该像素属于类别

，否则属于类别

。

(3)、统计每个废纸分割块中所有像素的类别信息，采用投票的方式（即占比最多的类别）确定该分割块最终的类别信息。

6、经过步骤5后，得到了每一个废纸分割块的类别信息，统计整张预测废纸图像中每种废纸类别出现的位置和占比，从而实现对预测废纸图像的自动识别。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种融合分类检测分割的废纸类别自动识别方法，其特征在于，包括以下步骤：

步骤S1、在传送带上方设置摄像机和照明设备，并使摄像机能够从上往下垂直对传送带上的废纸进行图像拍摄，以获得预测废纸图像；

步骤S2、先将步骤S1中获取的预测废纸图像分成n×n块子预测废纸图像，再对每一块子预测废纸图像进行分类，以获得每一个子预测废纸图像块的类别信息与置信度信息；

步骤S3、对步骤S1中获取的预测废纸图像进行检测，检测出预测废纸图像中所有可能存在的适合检测的废纸类别的矩形框位置和置信度信息；

步骤S4、对步骤S1中获取的预测废纸图像进行图像分割，以获得多个不同的废纸分割块；

步骤S5、将步骤S2-S4中预测废纸图像的分类、检测、分割结果进行融合，得到最终的废纸类别识别结果；

步骤S6、统计整张预测废纸图像中每种废纸类别出现的位置和占比，从而实现对预测废纸图像的自动识别。

2.根据权利要求1所述的废纸类别自动识别方法，其特征在于，所述步骤S2中利用机器学习方法对子预测废纸图像进行分类，并获取子预测废纸图像块的类别信息与置信度信息；具体包括以下步骤：

S2.1、收集用于训练的训练废纸图像；

S2.2、先由人工对收集到的训练废纸图像进行标记，并将训练废纸图像分成n×n块子训练废纸图像，标记每一块子训练废纸图像的废纸类别，构建废纸分类数据集；再采用基于深度学习的图像分类识别方法，训练废纸图像分类模型；

S2.3、利用训练好的废纸图像分类模型，将每一个子预测废纸图像块进行分类，得到子预测废纸图像块的类别信息和分类置信度。

3.根据权利要求1所述的废纸类别自动识别方法，其特征在于，所述步骤S3的具体实施方法如下：

S3.1、人工标记出预测废纸图像中适合检测的废纸类别的矩形框位置区域，构建废纸检测数据集；

S3.2、在废纸检测数据集上训练一个基于深度学习的目标检测模型，目标检测模型检测出预测废纸图像中可能存在的适合检测的废纸类别的矩形框位置和置信度信息。

4.根据权利要求1所述的废纸类别自动识别方法，其特征在于，所述步骤S4中，进行预测废纸图像分割的具体方法为：

S4.1、采用整体嵌套边缘检测算法提取出子预测废纸图像块的边缘信息，即输出二值化的边缘图像；

S4.2、将整体嵌套边缘检测算法的结果进行二值化和最大连通域分析，获得边缘轮廓；

S4.3、将预测废纸图像及边缘轮廓输入给分水岭分割算法，得出多个不同废纸分割块之间的分割结果。

5.根据权利要求1所述的废纸类别自动识别方法，其特征在于，所述步骤S5中，得到废纸类别识别结果的具体方法为：

S5.1、基于步骤S4中预测废纸图像分割的结果，遍历所有的废纸分割块；

S5.2、统计每个废纸分割块内的每一个像素在步骤S3和S4中所隶属的类别信息和置信度；

S5.3、统计每个废纸分割块中所有像素的类别信息，采用投票的方式确定该废纸分割块最终的类别信息。

Images