CN110135486A - 基于自适应卷积神经网络的筷子图像分类方法 - Google Patents

Abstract

本发明公开了一种基于自适应卷积神经网络的筷子图像分类方法，解决了对于不同材质、不同类型筷子的自适应精确分类问题，其步骤为：对筷子图像归一化处理；搭建十二层网络模型；训练该网络并计算其准确率，随机选择一个卷积层作为扩展卷积层，对卷积神经网络进行扩展，并在扩展卷积层处分别添加七种网络结构，得到七种神经网络并对其训练及测试，选择测试准确率最高的一个，若选择网络的准确率大于当前网络则继续网络扩展；训练最优的自适应卷积神经网络并测试。本发明构建了一种自适应卷积神经网络，使得卷积神经网络的结构能够随着训练的过程进行调节，增加网络的深度及宽度，并且最终构建的自适应卷积神经网络能够准确地对筷子进行分类。

Description

基于自适应卷积神经网络的筷子图像分类方法

技术领域

本发明属于图像处理技术领域，更进一步涉及筷子图像分类,具体是一种基于自适应卷积神经网络的筷子图像分类方法。本发明主要用于对筷子图像进行分类，可用于筷子的加工和生产。

背景技术

筷子是指在工业的生产加工中由竹子、木材等原材料加工而成的筷子。在筷子的生产过程中，如果使用的原材料是遭到污染或破坏的，那么其最后生产出的筷子将会是有缺陷的。并且即使所使用的原材料并没有缺陷，由于在生产过程中有可能出现机器故障、人工操作失误等问题，同样会导致筷子成品有着各种各样的缺陷。其中筷子的缺陷类型主要有死斑、青皮、不饱满、裂纹等。筷子成品的缺陷会直接影响到筷子的质量，进而影响用户的使用体验，从而影响筷子产品的口碑。为了减少筷子成品中不合格筷子的数量，提高筷子的质量，需要识别出筷子成品中的缺陷筷子并将其剔除，为了实现这一目的就必须对筷子进行分类。由此可见，一种智能的筷子图像分类方法成为改善筷子质量的有效方法。

长沙世通纸塑箸业有限公司在其拥有的专利技术“一种筷子污点检测装置”(申请号：201720758317.0授权公告号：CN207198055 U)中公开了一种筷子污点检测装置。该方法的具体步骤为：利用污点检测探头检测筷子中是否存在污点，完成对筷子的分类。

杨培佩在其拥有的专利技术“一种筷子自动检测机构”(申请号：201811460925.9申请公布号：CN 109650034 A)中公开了一种筷子自动检测机构。该方法的具体步骤为：将料架中的筷子通过输送带输入到CDD视觉检测机构，利用CDD视觉检测机构检测筷子的外观是否合格，其主要检测项是外观、长度、颜色等是否符合要求。

现有方法仍然存在的不足之处是，现有方法都是通过传统的机器视觉技术直接对筷子进行分类，没有使用神经网络的技术，而传统的机器视觉技术在流水线中针对特定的筷子检测目标都会总结出不合格筷子的特征，然后设定颜色检测阈值、裂纹宽度和长度的检测阈值等固定的参数，然后根据固定的参数对筷子进行检测，因此传统的机器视觉技术只能检测到达到设定参数的不合格筷子，不能检测到小于设定参数的不合格筷子，而神经网络技术是通过提取筷子图像中是否包含缺陷等特征来判断待检测筷子是否合格，因此神经网络技术能够更准确地对筷子进行分类。

发明内容

本发明的目的是针对上述现有技术的不足，提出了一种能够自适应地调整出解决筷子分类的基于自适应卷积神经网络的筷子图像分类方法。

本发明是一种基于自适应卷积神经网络的筷子图像分类方法，其特征在于，包括有如下步骤：

(1)处理筷子图像数据集，得到归一化后的训练集和测试集：输入生产流水线中待分类的筷子图像数据集，对输入的带标签筷子图像数据集进行归一化处理，并按比例将其划分为训练集和测试集；

(2)构建初始自适应卷积神经网络：搭建一个十二层的初始自适应卷积神经网络模型，该网络的输入为经过归一化处理后的筷子图像数据集，该网络的输出为对应筷子图像的分类结果；

(3)扩展初始自适应卷积神经网络，得到适应于当前筷子数据集的自适应卷积神经网络：首先训练初始自适应卷积神经网络，并测得该网络在测试集中的准确率；在当前自适应卷积神经网络中随机选择一个卷积层作为扩展卷积层，然后在该扩展卷积层处分别进行七种网络结构的扩展，得到七个扩展后的神经网络；训练七种扩展得到的网络，测得它们的测试准确率，并选择这七个网络中测试准确率最高的一个；判断所选择神经网络的测试准确率是否高于当前自适应卷积神经网络，若是，则将该扩展后的网络作为当前自适应卷积神经网络然后继续进行扩展，直至扩展后网络的准确率不再提高，得到最优的扩展神经网络，即最优的自适应卷积神经网络，否则，当前自适应卷积神经网络即为最优的自适应卷积神经网络；

(4)训练并输出最优的自适应卷积神经网络，并利用训练好的网络对筷子进行分类：利用归一化处理后的训练集训练最优的自适应卷积神经网络，输出训练好的自适应卷积神经网络，并将归一化处理后的测试集输入到训练好的自适应卷积神经网络中，输出筷子的分类结果。

本发明还是一种基于自适应卷积神经网络的筷子图像分类方法的用途，其特征在于，将基于自适应卷积神经网络的筷子图像分类方法中训练好的自适应卷积神经网络应用于自动化筷子分类检测流水线的视觉检测部分，并将该自适应卷积神经网络与自动化筷子分类检测流水线的图像采集、检测与控制系统相连接，相应的控制信号正确对接，使得流水线中摄像头所拍摄的筷子图像可以直接输入到训练好的自适应卷积神经网络中，输出对应筷子图像的类别，并使筷子流水线的视觉检测部分依照筷子图像的分类结果输出相应的控制信号，使得筷子流水线能够检测出当前筷子的类别并依照不同的类别对筷子进行进一步的处理，实现在筷子生产、筷子加工、筷子检测、筷子回收以及筷子包装等流水线中对筷子的准确分类及检测。

通过本发明提高筷子成品的质量，提高筷子生产加工企业的核心竞争力。

本发明对构建的初始自适应卷积神经网络进行扩展及训练，利用训练好的自适应卷积神经网络对筷子图像进行分类，将训练好的自适应卷积神经网络用于筷子分类检测流水线的视觉检测部分，用于筷子的分类检测。

本发明与现有技术相比具有以下优点：

本发明的目的是针对上述现有技术的不足，提出了一种基于自适应卷积神经网络的筷子图像分类方法，能够通过网络的扩展和训练自适应地调整出解决筷子分类问题的神经网络。与现有其他方法相比，本发明不再使用传统的机器视觉技术进行竹筷的分类，而是使用了卷积神经网络的技术。自适应卷积神经网络的结构能够随着训练的过程进行调节，不断添加卷积层或者短路经，减少了卷积神经网络的训练构建对于人工调参的依赖，并且最终能够自适应地调整出最适合解决当前筷子分类问题的自适应卷积神经网络；本发明能够在任意卷积层处添加新的卷积层或短路经，而且不仅会添加3×3的卷积层，还会添加1×1和5×5的卷积层，丰富了扩展的网络结构类型；本发明不仅能在任意卷积层后添加新的卷积层，而且能够在任意卷积层的同一层次上添加新的卷积层或短路径，使得训练得到的自适应卷积神经网络不仅能够增加网络的深度，而且能够增加网络的宽度，从而提升了卷积神经网络对筷子图像的特征提取能力，提高了自适应卷积神经网络对筷子的分类性能。

准确率高，传统的机器视觉技术只能通过判断筷子能否满足人工设定的固定参数来检测筷子是否合格，由于人工设定的参数或多或少都会存在误差等问题，所以难以获得较高的分类准确率；而本发明构建的自适应卷积神经网络能够提取待检测筷子中的各种特征，然后通过提取到的特征来判断待检测的筷子是否合格，因此卷积神经网络能够更准确地对筷子进行分类。

能适应不同类型的筷子分类问题，传统的机器视觉技术只能在筷子生产的流水线上设定固定的检测参数，因此传统的机器视觉技术只能针对特定类型的筷子进行分类，如果输入不同类型的筷子则难以正确的对其进行准确地分类；而应用于不同类型筷子的分类问题时，本发明能够在训练时不断地调整自适应卷积神经网络的网络结构，最终扩展并训练得到最适合解决当前筷子分类问题的自适应卷积神经网络，因此本发明的应用范围更为广泛，可以解决各种不同材质、不同类型筷子的分类问题。

第一，由于本发明构建了自适应卷积神经网络来解决筷子的分类问题，本发明构建的自适应卷积神经网络能够提取待检测筷子中的各种特征，然后通过提取到的特征来判断待检测的筷子是否合格，克服了现有技术中人工设定的参数或多或少都会存在误差，从而导致筷子分类时难以取得较高准确率的不足，因此本发明能够更准确地对筷子进行分类。

第二，由于本发明构建了自适应卷积神经网络来解决筷子的分类问题，应用于不同类型筷子的分类问题时，本发明能够在训练时不断地调整自适应卷积神经网络的网络结构，最终扩展并训练得到最适合解决当前筷子分类问题的自适应卷积神经网络，克服了现有技术只能在筷子生产的流水线上设定固定的检测参数、只能针对特定类型的筷子进行分类的不足，因此本发明的应用范围更为广泛，可以解决各种不同材质、不同类型筷子的分类问题。

附图说明

图1是本发明的流程图；

图2是本发明训练自适应卷积神经网络步骤的流程图。

图3是本发明进行神经网络扩展时添加的第一种网络结构图。

图4是本发明进行神经网络扩展时添加的第二种网络结构图。

图5是本发明进行神经网络扩展时添加的第三种网络结构图。

图6是本发明进行神经网络扩展时添加的第四种网络结构图。

图7是本发明进行神经网络扩展时添加的第五种网络结构图。

图8是本发明进行神经网络扩展时添加的第六种网络结构图。

图9是本发明进行神经网络扩展时添加的第七种网络结构图。

具体实施方式

下面结合附图对本发明详细描述。

实施例1

筷子不仅是中国，而且是亚洲最为重要的餐具。随着经济的不断发展，人们对于饮食及卫生的要求不断提高，所以对于餐具特别是筷子的要求也逐渐提高。人们不仅要求筷子耐用、没有缺陷，甚至要求在筷子上雕刻图像，所以对于筷子质量的要求逐渐提高。为了保证饮食卫生，正常家庭、餐厅及食堂中筷子的更换频率不断提高；随着外卖产业的蓬勃发展，一次性筷子的需求量也成指数增长；传统的筷子大多数是由木材、竹子、不锈钢等材质制作的，而随着制造业的不断发展以及环保等需求，使得很多新的材料也被应用于制作筷子，例如硅胶、木纤维、稻谷壳以及玻纤树脂等，而不同类型的材料制作而成的筷子在颜色、形状及纹理等特征上有着很大的区别，所以需要应用不同方法对不同材质的筷子进行分类。这些现状导致现代社会对各种不同类型筷子的需求量不断提高，因此筷子的生产有着广阔的市场前景，为了使筷子生产企业在蓬勃发展的筷子市场中占据优势地位，就需要提高筷子生产企业的竞争力，而提高企业竞争力的关键就是在筷子的生产流水线中应用更高效的筷子分类方法，从而提高最终生产得到的各种不同类型及不同材质筷子质量，进而提高企业的口碑和竞争力。

本发明针对筷子生产中的需求展开了研究，提出一种基于自适应卷积神经网络的筷子图像分类方法，参见图1，本发明对构建的自适应卷积神经网络进行训练，利用训练好的自适应卷积神经网络对筷子图像进行分类，包括有如下步骤：

(1)处理筷子图像数据集，得到归一化后的训练集和测试集：输入生产流水线中待分类的筷子图像数据集，对输入的带标签筷子图像数据集进行归一化处理，并按比例将其划分为训练集和测试集。划分比例通常为将筷子图像数据集的70％划分为训练集，其余的30％划分为测试集。

当筷子图像数据集中筷子在整张图片中所占比例较小时，需要首先利用阈值处理的方法对筷子图像进行裁剪，裁减掉像素值为零的不包含筷子的图像背景部分，保留图像中包含筷子的部分，然后改变经过裁剪操作后保留的筷子图像的尺寸，将其统一转换成符合自适应卷积神经网络输入图像的尺寸，以包含五种缺陷的竹筷数据集为例，经过预处理操作后输出的筷子图像大小为80×500。

(2)构建初始自适应卷积神经网络：搭建一个十二层的初始自适应卷积神经网络模型，该网络的输入为经过归一化处理后的筷子图像数据集，该网络的输出为对应筷子图像的分类结果。在输入输出之间为搭建的十二层初始自适应卷积神经网络模型。

本发明的十二层初始自适应卷积神经网络的前十层是由相互交错的五个卷积层和五个降采样层构成的，五个卷积层能够充分地保证该网络特征提取的能力，提高分类准确率；五个降采样层能够充分压缩数据的尺寸，减少该网络的计算量，提高其运算速度；每两个降采样层之间只有一个卷积层，这样使得卷积网络有着更多的扩展空间；由于全连接层中需要进行训练的参数太多，所以为了提高该网络的训练素的，只在其中设置了一个全连接层，这样同时能提高最终训练所得最优自适应卷积神经网络的运行速度。自适应神经网络的输入要与处理好的图像数据集相对应，该网络输入地尺寸等于筷子图像的大小。

本发明将筷子图像输入到初始自适应卷积神经网络后，最终输出该筷子图像的分类结果，但是该十二层网络仅仅为初始的自适应卷积神经网络。

(3)扩展初始自适应卷积神经网络，得到适应于当前筷子数据集的自适应卷积神经网络：首先训练初始自适应卷积神经网络，并测得该网络在测试集中的准确率；在当前自适应卷积神经网络中随机选择一个卷积层作为扩展卷积层，然后在该扩展卷积层处分别进行七种网络结构的扩展，得到七个扩展后的神经网络；训练七种扩展得到的网络，测得它们的测试准确率，并选择这七个网络中测试准确率最高的一个；判断所选择神经网络的测试准确率是否高于当前自适应卷积神经网络，若是，则将该扩展后的网络作为当前自适应卷积神经网络然后继续进行扩展，直至扩展后网络的准确率不再提高，得到最优的扩展神经网络，即最优的自适应卷积神经网络，否则，当前自适应卷积神经网络即为最优的自适应卷积神经网络。

本发明步骤(3)中自适应卷积神经网络的学习速率设置为0.001。

由于本发明构建了自适应卷积神经网络来解决筷子的分类问题，应用于不同类型筷子的分类问题时，本发明能够在训练时不断地调整自适应卷积神经网络的网络结构，最终扩展并训练得到最适合解决当前筷子分类问题的自适应卷积神经网络。现有技术只能在筷子生产的流水线上设定固定的检测参数、只能针对特定类型的筷子进行分类。而本发明构建的自适应卷积神经网络能够通过提取待检测筷子图像中的特征并分析其中是否有不合格筷子的特征等来判断当前待检测筷子图像是否合格，因此本发明能够更准确地对筷子图像进行分类，并能够分辨出含有尺寸较小或不明显的缺陷、污渍的不合格筷子，因此本发明有着更高的筷子分类准确率。

(4)训练并输出最优的自适应卷积神经网络，并利用训练好的网络对筷子进行分类：利用归一化处理后的训练集训练最优的自适应卷积神经网络，输出训练好的自适应卷积神经网络，并将归一化处理后的测试集输入到训练好的自适应卷积神经网络中，输出筷子的分类结果。

本发明在步骤(4)的训练之前首先要调整自适应卷积神经网络训练的学习速率，使其变得更小，通常将该自适应卷积神经网络的学习速率调整为步骤(3)中网络扩展时所设置学习速率的十分之一，本发明在本步骤优化自适应卷积神经网络的过程中设置的学习速率为0.0001，使得最优的自适应卷积神经网络能够更好得到充分地训练，充分发挥卷积神经网络的优点，提高筷子的分类准确率。

本发明对构建的自适应卷积神经网络进行扩展及训练，利用训练好的自适应卷积神经网络对筷子图像进行分类。能够通过网络的扩展和训练自适应地调整出解决筷子分类问题的神经网络。与现有其他方法相比，本发明不再使用传统的机器视觉技术进行竹筷的分类，而是使用了卷积神经网络的技术。自适应卷积神经网络的结构能够随着训练的过程进行调节，不断添加卷积层或者短路经，减少了卷积神经网络的训练构建对于人工调参的依赖，并且最终能够自适应地调整出最适合解决当前筷子分类问题的自适应卷积神经网络。本发明能够在任意卷积层处添加新的卷积层或短路经，而且不仅会添加3×3的卷积层，还会添加1×1和5×5的卷积层，丰富了扩展的网络结构类型；本发明不仅能在任意卷积层后添加新的卷积层，而且能够在任意卷积层的同一层次上添加新的卷积层或短路径，使得训练得到的自适应卷积神经网络不仅能够增加网络的深度，而且能够增加网络的宽度，提升了卷积神经网络对筷子图像的特征提取能力，提高了自适应卷积神经网络的分类性能。

实施例2

基于自适应卷积神经网络的筷子图像分类方法同实施例1，步骤(2)中所述的构建初始自适应卷积神经网络，其结构依次为：第一个卷积层→第一个降采样层→第二个卷积层→第二个降采样层→第三个卷积层→第三个降采样层→第四个卷积层→第四个降采样层→第五个卷积层→第五个降采样层→第一个dropout层→第一个全连接层。

该十二层初始自适应卷积神经网络的前十层是由相互交错的五个卷积层和五个降采样层构成的，五个卷积层能够充分地保证该网络特征提取的能力，提高分类准确率；五个降采样层能够充分压缩数据的尺寸，减少该网络的计算量，提高其运算速度；每两个降采样层之间只有一个卷积层，这样使得卷积网络有着更多的扩展空间；由于全连接层中需要进行训练的参数太多，所以该网络仅使用了一个全连接层，这样能够提高该网络的训练速度，并能够提高最终训练得到的自适应卷积神经网络的运行速度。

实施例3

基于自适应卷积神经网络的筷子图像分类方法同实施例1-2，本发明构建初始自适应卷积神经网络中每一层的参数可以根据当前筷子数据集特征进行改变，以包含五种缺陷的竹筷数据集为例，所设置的参数如下：

将自适应卷积神经网络的输入层特征图总数设置为3，特征图尺寸设置为80×500。

将第一个卷积层中卷积滤波器的总数设置为32、卷积滤波器的像素大小设置为3×3，特征图尺寸设置为80×500，卷积步长设置为1个像素。

将第一个降采样层中池化区域大小设置为3×3，池化步长设置为3个像素，特征图尺寸设置为27×167。

将第二个卷积层中卷积滤波器的总数设置为64、卷积滤波器的像素大小设置为3×3，特征图尺寸设置为27×167，卷积步长设置为1个像素。

将第二个降采样层中池化区域大小设置为3×3，池化步长设置为3个像素，特征图尺寸设置为9×56。

将第三个卷积层中卷积滤波器的总数设置为128、卷积滤波器的像素大小设置为3×3，特征图尺寸设置为9×56，卷积步长设置为1个像素。

将第三个降采样层中池化区域大小设置为3×3，池化步长设置为3个像素，特征图尺寸设置为3×19。

将第四个卷积层中卷积滤波器的总数设置为256、卷积滤波器的像素大小设置为3×3，特征图尺寸设置为3×19，卷积步长设置为1个像素。

将第四个降采样层中池化区域大小设置为3×3，池化步长设置为3个像素，特征图尺寸设置为1×7。

将第五个卷积层中卷积滤波器的总数设置为256、卷积滤波器的像素大小设置为3×3，特征图尺寸设置为1×7，卷积步长设置为1个像素。

将第五个降采样层中池化区域大小设置为5×5，池化步长设置为4个像素，特征图尺寸设置为1×2。

将dropout层的保留概率设置为0.5。

将第一个全连接层中结点总数设置为当前筷子数据集的类别数，当前筷子数据集包含正常筷子及五种缺陷的筷子，因此当前全连接层中结点总数为六。

该十二层初始自适应卷积神经网络的前十层是由相互交错的五个卷积层和五个降采样层构成的，五个卷积层能够充分地保证该网络特征提取的能力，提高分类准确率；五个降采样层能够充分压缩数据的尺寸，减少该网络的计算量，提高其运算速度；每两个降采样层之间只有一个卷积层，这样使得卷积网络有着更多的扩展空间；由于全连接层中需要进行训练的参数太多，所以该网络仅使用了一个全连接层，这样能够提高该网络的训练速度，并能够提高最终训练得到的自适应卷积神经网络的运行速度。

如果待检测的筷子数据集中筷子图像的尺寸不是80×500，那么可以将该初始自适应卷积神经网络的输入层的特征图尺寸设置为合适的大小，并将该网络中各卷积层的特征图尺寸修改为相对应的大小。

该初始自适应卷积神经网络五个卷积层中卷积滤波器的总数分别设置为32、64、128、256和256，这样能够在保证网络特征提取能力的同时减少自适应卷积神经网络训练及运行时所消耗的时间，提高其该网络的分类效率；同时这五个卷积层中卷积滤波器的大小都设置为3×3，这样能够在减少网络中参数的同时保证网络的特征提取能力，提高该网络的运行及训练效率。

此外如果待检测筷子的类型增加，根据需求改变网络中的参数，增加卷积层中卷积滤波器的数量，然后设置第一个全连接层的结点总数为当前筷子数据集的类别数。

实施例4

基于自适应卷积神经网络的筷子图像分类方法同实施例1-3，步骤3中所述的扩展初始自适应卷积神经网络，得到适应于当前筷子数据集的自适应卷积神经网络，参见图2，包括有如下步骤：

(3a)训练初始自适应卷积神经网络。

(3b)将测试集中所有的筷子图像及分类标签依次输入到初始自适应卷积神经网络中，得到初始自适应卷积神经网络在测试集上的准确率。

(3c)随机选择一个卷积层作为扩展卷积层。

(3d)在当前自适应卷积神经网络中的扩展卷积层处分别添加七种网络结构,得到七种新的自适应卷积神经网络。

(3e)训练七种添加了网络结构后的卷积神经网络，测得它们在测试集中的准确率，并选择这七个网络中准确率最高的一个。

(3f)判断所选择卷积神经网络的测试准确率是否大于当前自适应卷积神经网络的测试准确率，若是，将该扩展后的自适应卷积神经网络作为当前自适应卷积神经网络后执行步骤(3c)，否则，当前自适应卷积神经网络即为最优的自适应卷积神经网络，停止网络扩展后执行步骤(4)。

本发明自适应卷积神经网络的结构能够随着训练的过程进行调节，不断添加卷积层或者短路经，减少了卷积神经网络的训练构建对于人工调参的依赖，并且最终能够自适应地调整出最适合解决当前筷子分类问题的自适应卷积神经网络。本发明能够在任意卷积层处添加新的卷积层或短路经，而且不仅会添加3×3的卷积层，还会添加1×1和5×5的卷积层，丰富了扩展的网络结构类型。本发明不仅能在任意卷积层后添加新的卷积层，而且能够在任意卷积层的同一层次上添加新的卷积层或短路径，使得训练得到的自适应卷积神经网络不仅能够增加网络的深度，而且能够增加网络的宽度，提升了卷积神经网络对筷子图像的特征提取能力，提高了自适应卷积神经网络对筷子的分类性能。

实施例5

基于自适应卷积神经网络的筷子图像分类方法同实施例1-4，步骤(3d)中所述的添加七种网络结构，参见图3至图9，分别为：

参见图3，所添加的第一种网络结构，是在扩展卷积层之后添加一个卷积层，添加的卷积层中卷积滤波器的总数设置为扩展卷积层的卷积滤波器总数、卷积滤波器的像素大小设置为1×1，卷积步长设置为1个像素。

参见图4，所添加的第二种网络结构，是在扩展卷积层之后添加一个卷积层，添加的卷积层中卷积滤波器的总数设置为扩展卷积层的卷积滤波器总数、卷积滤波器的像素大小设置为3×3，卷积步长设置为1个像素。

参见图5，所添加的第三种网络结构，是在扩展卷积层之后添加一个卷积层，添加的卷积层中卷积滤波器的总数设置为扩展卷积层的卷积滤波器总数、卷积滤波器的像素大小设置为5×5，卷积步长设置为1个像素。

参见图6，所添加的第四种网络结构，是在扩展卷积层同一层上添加一个卷积层，添加的卷积层中卷积滤波器的总数设置为扩展卷积层的卷积滤波器总数、卷积滤波器的像素大小设置为1×1，卷积步长设置为1个像素。

参见图7，所添加的第五种网络结构，是在扩展卷积层同一层上添加一个卷积层，添加的卷积层中卷积滤波器的总数设置为扩展卷积层的卷积滤波器总数、卷积滤波器的像素大小设置为3×3，卷积步长设置为1个像素。

参见图8，所添加的第六种网络结构，是在扩展卷积层同一层上添加一个卷积层，添加的卷积层中卷积滤波器的总数设置为扩展卷积层的卷积滤波器总数、卷积滤波器的像素大小设置为5×5，卷积步长设置为1个像素。

参见图9，所添加的第七种网络结构，是在扩展卷积层同一层上添加一个短路经，短路经为将输入数据不经过任何卷积层的运算，直接输入到当前设置的卷积层之后。

本发明能够在当前自适应卷积神经网络的任意卷积层处分别添加七种网络结构，并对扩展得到的七种卷积神经网络进行训练及对比，选择其中分类准确率最高的一个网络，当所选网络的准确率比当前自适应神经网络高时，对所选网络进行进一步地扩展，通过对自适应卷积神经网络的扩展、训练及选择，本发明完成了对神经网络的自适应扩展。

此外如果进行神经网络训练所用的计算机有着强劲的计算能力，那么可以添加两种额外的网络结构，使得神经网络的扩展方式变为九种，它们分别为：在扩展卷积层之后添加一个卷积层，添加的卷积层中卷积滤波器的总数设置为扩展卷积层的卷积滤波器总数、卷积滤波器的像素大小设置为7×7，卷积步长设置为1个像素；在扩展卷积层同一层上添加一个卷积层，添加的卷积层中卷积滤波器的总数设置为扩展卷积层的卷积滤波器总数、卷积滤波器的像素大小设置为7×7，卷积步长设置为1个像素。

实施例6

本发明还是一种基于自适应卷积神经网络的筷子图像分类方法的用途，基于自适应卷积神经网络的筷子图像分类方法同实施例1-5，将基于自适应卷积神经网络的筷子图像分类方法中训练好的自适应卷积神经网络应用于自动化筷子分类检测流水线的视觉检测部分，并将该自适应卷积神经网络与自动化筷子分类检测流水线的图像采集、检测与控制系统相连接，相应的控制信号正确对接，使得流水线中摄像头所拍摄的筷子图像可以直接输入到训练好的自适应卷积神经网络中，输出对应筷子图像的类别，并使筷子流水线的视觉检测部分依照筷子图像的分类结果输出相应的控制信号，使得筷子流水线能够检测出当前筷子的类别并依照不同的类别对筷子进行进一步的处理，实现在筷子生产、筷子加工、筷子检测、筷子回收以及筷子包装等流水线中对筷子的准确分类及检测。提高最终筷子成品的质量，提高筷子生产加工企业的核心竞争力。

筷子作为我们的日常生活用品，与我们的生活息息相关。竹木材经选材、分类、净条、束直、烘干、旋制、切割以及端头轧制后被制成竹木质的筷子，在筷子初步成型后，为了保证筷子生产过程中后续的质检和包装的顺利进行，需要将筷子中带有缺陷、污点或者霉斑的筷子剔除，目前一般采用人工检测的方式对这些不合格品进行挑选剔除，但是通过人工检测进行分拣和整理，会耗费大量的人工成本，而且非常容易出现漏检、错检等问题，从而影响后续工作的进行。随着工业和社会的不断发展，人工检测的缺点越来越突出，为了提高筷子检测的精度与速度，提升筷子生产加工企业的竞争力，自动化筷子检测应运而生，对于筷子的检测与包装也逐渐从人工的方法向机械自动化过渡。机械自动检测和包装极大地提高了生产效率，减少了人力消耗，对社会发展有极大地促进作用。筷子的自动化检测流水线主要由供料系统、传送带、检测系统及分拣系统组成，待检测筷子由供料系统控制放入传送带中，经过检测系统检测后输出分类信号，最后分拣系统根据分类信号对待检测筷子进行分拣。筷子的自动化检测流水线中，最重要、最关键的部分是检测系统，本发明构建的自适应卷积神经网络应用于检测系统，通过该网络对待检测筷子进行精准的分类，并且对不同类型、不同材质的筷子以及不断变化的生产状况自适应的调整网络结构，能够实现自适应的进行筷子检测，有着更广的应用范围，提高筷子检测流水线的工作效率。

下面给出一个更详细的例子，结合附图对本发明做进一步的描述。

实施例7

基于自适应卷积神经网络的筷子图像分类方法及其用途同实施例1-6。

参照图1，对本发明实现的具体步骤做进一步的描述。

步骤1，处理筷子图像数据集。

对输入的带标签筷子图像数据集，在[0，1]的范围进行归一化处理。

从归一化后数据集中任意选取70％的带标签筷子图像作为训练集，剩余30％的带标签筷子图像作为测试集。

当筷子图像数据集中筷子在整张图片中所占比例较小时，需要首先利用阈值处理的方法对筷子图像进行裁剪，裁减掉像素值为零的不包含筷子的图像背景部分，保留图像中包含筷子的部分，然后改变经过裁剪操作后保留的筷子图像的尺寸，将其统一转换成符合自适应卷积神经网络输入图像的尺寸，以包含五种缺陷的竹筷数据集为例，输出大小为80×500的图像。

具体的裁剪方法为：首先输入待裁剪的筷子图像，然后将该筷子图像转换为黑白图像，其次对黑白图像进行阈值处理，将其分为像素值小于35的背景部分以及像素值大于35的筷子部分，然后计算出经过阈值处理后所得筷子部分的外接矩形位置，该矩形部分即为黑白图像中包含筷子的部分，由于输入的彩色图像和转换得到的黑白图像中筷子的位置不变，所以最后将输入的彩色筷子图像在该外接矩形位置进行裁剪，得到的部分图像就是经过裁剪操作的筷子图像。

步骤2，构建初始自适应卷积神经网络。

搭建一个十二层的初始自适应卷积神经网络模型，其结构依次为：第一个卷积层→第一个降采样层→第二个卷积层→第二个降采样层→第三个卷积层→第三个降采样层→第四个卷积层→第四个降采样层→第五个卷积层→第五个降采样层→第一个dropout层→第一个全连接层，该网络的输入为经过归一化处理后的筷子图像数据集，该网络的输出为对应筷子图像的分类结果。

初始自适应卷积神经网络模型中每一层的参数可以根据当前筷子数据集特征进行改变，以包含五种缺陷的竹筷数据集为例，所设置的参数如下：

将初始自适应卷积神经网络的输入层特征图总数设置为3，特征图尺寸设置为80×500。

将第一个卷积层中卷积滤波器的总数设置为32、卷积滤波器的像素大小设置为3×3，特征图尺寸设置为80×500，卷积步长设置为1个像素。

将第一个降采样层中池化区域大小设置为3×3，池化步长设置为3个像素，特征图尺寸设置为27×167。

将第二个卷积层中卷积滤波器的总数设置为64、卷积滤波器的像素大小设置为3×3，特征图尺寸设置为27×167，卷积步长设置为1个像素。

将第二个降采样层中池化区域大小设置为3×3，池化步长设置为3个像素，特征图尺寸设置为9×56。

将第三个卷积层中卷积滤波器的总数设置为128、卷积滤波器的像素大小设置为3×3，特征图尺寸设置为9×56，卷积步长设置为1个像素。

将第三个降采样层中池化区域大小设置为3×3，池化步长设置为3个像素，特征图尺寸设置为3×19。

将第四个卷积层中卷积滤波器的总数设置为256、卷积滤波器的像素大小设置为3×3，特征图尺寸设置为3×19，卷积步长设置为1个像素。

将第四个降采样层中池化区域大小设置为3×3，池化步长设置为3个像素，特征图尺寸设置为1×7。

将第五个卷积层中卷积滤波器的总数设置为256、卷积滤波器的像素大小设置为3×3，特征图尺寸设置为1×7，卷积步长设置为1个像素。

将第五个降采样层中池化区域大小设置为5×5，池化步长设置为4个像素，特征图尺寸设置为1×2。

将dropout层的保留概率为0.5。

将第一个全连接层中结点总数设置为当前筷子数据集的类别数，当前筷子数据集包含正常筷子及五种缺陷的筷子，因此当前全连接层中结点总数为六。

此外可以在每一个卷积层之后添加一个BN层，BN层能够有效地提高自适应卷积神经网络的训练速度。

步骤3，扩展自适应卷积神经网络。

参照图2，对本发明实现的步骤3做进一步的描述。

第1步，训练初始自适应卷积神经网络，神经网络训练时所设置的学习速率根据筷子数据集的特点进行选择，以包含五种缺陷的竹筷数据集为例，所设置的学习速率为0.001；神经网络训练时所设置的每一批次输入图像数量根据当前计算机的计算性能进行选择，以NVIDIA Geforce GTX1080 Ti GPU为例，所设置的每批次输入图像数量为50。

第2步，将测试集中所有的筷子图像及分类标签依次输入到当前自适应卷积神经网络中，输出每幅图像对应的预测分类标签，并利用测试准确率计算公式，计算当前自适应卷积神经网络在测试集上的测试准确率。所述每幅图像的分类标签及预测分类标签均为行数等于1，列数等于筷子图像的类别数量的向量。

所述的测试准确率计算公式如下：

其中，A表示输出的测试准确率，N表示输入筷子图像的总数量，∑表示求和操作，n表示输入的筷子图像的序号，c表示筷子图像的分类标签总维数，k表示筷子图像分类标签的维数序号，表示第n幅筷子图像的分类标签中第k维的元素，表示第n幅筷子图像的预测分类标签中第k列的元素。

第3步，在当前的自适应卷积神经网络中随机选择一个卷积层作为扩展卷积层。

第4步，在当前自适应卷积神经网络中的扩展卷积层处分别添加七种网络结构,得到七种新的卷积神经网络。在进行自适应卷积神经网络的扩展操作时，首先要保存当前自适应卷积神经网络的网络结构以及各个网络层中的参数数值，然后添加新的网络结构，最后只需要将所添加的网络结构中的参数进行初始化，这样能够大幅提高扩展得到的卷积神经网络的训练速度。

参照图3至图9，对本发明进行神经网络扩展时添加的七种网络结构做进一步的描述：

参见图3，所添加的第一种网络结构，是在扩展卷积层之后添加一个卷积层，添加的卷积层中卷积滤波器的总数设置为扩展卷积层的卷积滤波器总数、卷积滤波器的像素大小设置为1×1，卷积步长设置为1个像素。

参见图4，所添加的第二网络结构，是在扩展卷积层之后添加一个卷积层，添加的卷积层中卷积滤波器的总数设置为扩展卷积层的卷积滤波器总数、卷积滤波器的像素大小设置为3×3，卷积步长设置为1个像素。

参见图5，所添加的第三种网络结构，是在扩展卷积层之后添加一个卷积层，添加的卷积层中卷积滤波器的总数设置为扩展卷积层的卷积滤波器总数、卷积滤波器的像素大小设置为5×5，卷积步长设置为1个像素。

参见图6，所添加的第四种网络结构，是在扩展卷积层同一层上添加一个卷积层，添加的卷积层中卷积滤波器的总数设置为扩展卷积层的卷积滤波器总数、卷积滤波器的像素大小设置为1×1，卷积步长设置为1个像素。

参见图7，所添加的第五种网络结构，是在扩展卷积层同一层上添加一个卷积层，添加的卷积层中卷积滤波器的总数设置为扩展卷积层的卷积滤波器总数、卷积滤波器的像素大小设置为3×3，卷积步长设置为1个像素。

参见图8，所添加的第六种网络结构，是在扩展卷积层同一层上添加一个卷积层，添加的卷积层中卷积滤波器的总数设置为扩展卷积层的卷积滤波器总数、卷积滤波器的像素大小设置为5×5，卷积步长设置为1个像素。

参见图9，所添加的第七网络结构，是在扩展卷积层同一层上添加一个短路经。所述的短路经为将输入数据不经过任何卷积层的运算，直接输入到当前设置的卷积层之后。

此外可以在添加的每一个卷积层之后额外添加一个BN层，BN层能够有效地提高自适应卷积神经网络的训练速度。

第5步，训练七种添加了网络结构后的卷积神经网络，测得它们在测试集中的准确率，并选择这七个网络中测试准确率最高的一个。神经网络训练时所设置的学习速率根据筷子数据集的特点进行选择，以包含五种缺陷的竹筷数据集为例，所设置的学习速率为0.001；神经网络训练时所设置的每一批次输入图像数量根据当前计算机的计算性能进行选择，以NVIDIA Geforce GTX1080 Ti GPU为例，所设置的每批次输入图像数量为50。

第6步，判断所选择卷积神经网络的测试准确率是否大于当前自适应卷积神经网络的测试准确率，若是，设置该扩展后的自适应卷积神经网络为当前自适应卷积神经网络然后执行第3，否则，当前自适应卷积神经网络即为最优的自适应卷积神经网络，停止网络扩展后执行步骤4。

步骤4，训练并输出最优的自适应卷积神经网络，并利用训练好的网络对筷子进行分类：利用归一化处理后的训练集训练最优的自适应卷积神经网络，输出训练好的自适应卷积神经网络，并将归一化处理后的测试集输入到训练好的自适应卷积神经网络中，输出筷子的分类结果。神经网络训练时所设置的学习速率根据筷子数据集的特点以及准确率精度的要求进行选择及调整，以包含五种缺陷的竹筷数据集为例，所设置的学习速率为0.0001；神经网络训练时所设置的每一批次输入图像数量根据当前计算机的计算性能进行选择，以NVIDIA Geforce GTX1080 Ti GPU为例，所设置的每批次输入图像数量为50。

输出训练好的自适应卷积神经网络，该网络可以用于筷子分类检测流水线的视觉检测部分，进行筷子的分类检测。

下面结合仿真实验对本发明的效果做进一步的描述：

实施例8

基于自适应卷积神经网络的筷子图像分类方法及其用途同实施例1-7，

仿真实验条件：

本发明的仿真实验所用数据为自己收集到的所有筷子数据集，包括5070幅无缺陷筷子图像和2172张缺陷筷子图像，所有样本图像的大小为80×500像素。仿真实验硬件平台为Intel酷睿i7 8700K@3.7GHz CPU、64GB RAM、NVIDIA Geforce GTX1080 Ti GPU，仿真实验软件平台为Python3.5和Tensorflow1.4。

仿真实验内容与结果分析：

本发明的仿真实验是在相同的数据集下，应用本发明方法与传统的VGG卷积神经网络的方法对目标进行分类，并分别计算两种方法的识别准确率。在本发明的方法中，首先依照本方明的方法将包含5070张无缺陷图片2172张缺陷图片的筷子图像数据集分为训练集和测试集。使用训练样本集训练自适应卷积神经网络，得到最优的自适应卷积神经网络。然后使用测试样本集在训练好的自适应卷积神经网络上进行测试，得到本发明的识别正确率。

两种方法在训练结束后的识别正确率结果如表1所示。

表1筷子图像分类结果对比表

仿真实验方法	传统的VGG卷积神经网络	本发明方法
			分类准确率	93.7％	96.42％

从表1中可以看出，本发明提出的基于自适应卷积神经网络的筷子图像分类方法相比传统的VGG卷积神经网络方法的识别正确率提高了2.72％，说明本发明通过构建了自适应卷积神经网络来解决筷子的分类问题，本发明构建的自适应卷积神经网络能够提取待检测筷子中的各种特征，然后通过提取到的特征来判断待检测的筷子是否合格，克服了现有技术中人工设定的参数或多或少都会存在误差，从而导致筷子分类时难以取得较高准确率的不足，因此本发明能够更准确地对筷子进行分类。

综上所述，本发明公开的一种基于自适应卷积神经网络的筷子图像分类方法，解决了筷子的生产、加工流水线中对于不同材质、不同类型筷子的自适应精确分类问题，其步骤为：(1)对筷子图像进行归一化处理；(2)搭建十二层神经网络模型；(3)训练卷积神经网络并计算其准确率，随机选择一个卷积层作为扩展卷积层，对卷积神经网络进行扩展，并在扩展卷积层处分别添加七种网络结构，得到七种神经网络并对其训练及测试，选择测试准确率最高的一个，若选择网络的准确率大于当前网络则继续进行网络扩展；(4)训练最优的自适应卷积神经网络并测试。本发明构建了一种自适应卷积神经网络，使得卷积神经网络的结构能够随着训练的过程进行调节，增加网络的深度及宽度，并且最终构建的自适应卷积神经网络能够准确地对筷子进行分类。

Claims (6)

1.一种基于自适应卷积神经网络的筷子图像分类方法，其特征在于，包括有如下步骤：

(1)处理筷子图像数据集，得到归一化后的训练集和测试集：输入生产流水线中待分类的筷子图像数据集，对输入的带标签筷子图像数据集进行归一化处理，并按比例将其划分为训练集和测试集；

(2)构建初始自适应卷积神经网络：搭建一个十二层的初始自适应卷积神经网络模型，该网络的输入为经过归一化处理后的筷子图像数据集，该网络的输出为对应筷子图像的分类结果；

(3)扩展初始自适应卷积神经网络，得到适应于当前筷子数据集的自适应卷积神经网络：首先训练初始自适应卷积神经网络，并测得该网络在测试集中的准确率；在当前自适应卷积神经网络中随机选择一个卷积层作为扩展卷积层，然后在该扩展卷积层处分别进行七种网络结构的扩展，得到七个扩展后的神经网络；训练七种扩展得到的网络，测得它们的测试准确率，并选择这七个网络中测试准确率最高的一个；判断所选择神经网络的测试准确率是否高于当前自适应卷积神经网络，若是，则将该扩展后的网络作为当前自适应卷积神经网络然后继续进行扩展，直至扩展后网络的准确率不再提高，得到最优的扩展神经网络，即最优的自适应卷积神经网络，否则，当前自适应卷积神经网络即为最优的自适应卷积神经网络；

(4)训练并输出最优的自适应卷积神经网络，并利用训练好的网络对筷子进行分类：利用归一化处理后的训练集训练最优的自适应卷积神经网络，输出训练好的自适应卷积神经网络，并将归一化处理后的测试集输入到训练好的自适应卷积神经网络中，输出筷子的分类结果。

2.根据权利要求1所述的基于自适应卷积神经网络的筷子图像分类方法，其特征在于，步骤(2)中所述的构建初始自适应卷积神经网络，其结构依次为：第一个卷积层→第一个降采样层→第二个卷积层→第二个降采样层→第三个卷积层→第三个降采样层→第四个卷积层→第四个降采样层→第五个卷积层→第五个降采样层→第一个dropout层→第一个全连接层。

3.根据权利要求1或2所述的基于自适应卷积神经网络的筷子图像分类方法，其特征在于，所述的构建初始自适应卷积神经网络中每一层的参数可以根据当前筷子数据集特征进行改变，以包含五种缺陷的竹筷数据集为例，所设置的参数如下：

将自适应卷积神经网络的输入层特征图总数设置为3，特征图尺寸设置为80×500；

将第一个卷积层中卷积滤波器的总数设置为32、卷积滤波器的像素大小设置为3×3，特征图尺寸设置为80×500，卷积步长设置为1个像素；

将第一个降采样层中池化区域大小设置为3×3，池化步长设置为3个像素，特征图尺寸设置为27×167；

将第二个卷积层中卷积滤波器的总数设置为64、卷积滤波器的像素大小设置为3×3，特征图尺寸设置为27×167，卷积步长设置为1个像素；

将第二个降采样层中池化区域大小设置为3×3，池化步长设置为3个像素，特征图尺寸设置为9×56；

将第三个卷积层中卷积滤波器的总数设置为128、卷积滤波器的像素大小设置为3×3，特征图尺寸设置为9×56，卷积步长设置为1个像素；

将第三个降采样层中池化区域大小设置为3×3，池化步长设置为3个像素，特征图尺寸设置为3×19；

将第四个卷积层中卷积滤波器的总数设置为256、卷积滤波器的像素大小设置为3×3，特征图尺寸设置为3×19，卷积步长设置为1个像素；

将第四个降采样层中池化区域大小设置为3×3，池化步长设置为3个像素，特征图尺寸设置为1×7；

将第五个卷积层中卷积滤波器的总数设置为256、卷积滤波器的像素大小设置为3×3，特征图尺寸设置为1×7，卷积步长设置为1个像素；

将第五个降采样层中池化区域大小设置为5×5，池化步长设置为4个像素，特征图尺寸设置为1×2；

将dropout层的保留概率设置为0.5；

将第一个全连接层中结点总数设置为当前筷子数据集的类别数，当前筷子数据集包含正常筷子及五种缺陷的筷子，因此当前全连接层中结点总数为六。

4.根据权利要求1所述的基于自适应卷积神经网络的筷子图像分类方法，其特征在于，步骤(3)中所述的扩展初始自适应卷积神经网络，得到适应于当前筷子数据集的自适应卷积神经网络，包括有如下步骤：

(3a)训练初始自适应卷积神经网络；

(3b)将测试集中所有的筷子图像及分类标签依次输入到初始自适应卷积神经网络中，得到初始自适应卷积神经网络在测试集上的准确率；

(3c)随机选择一个卷积层作为扩展卷积层；

(3d)在当前自适应卷积神经网络中的扩展卷积层处分别添加七种网络结构,得到七种新的自适应卷积神经网络；

(3e)训练七种添加了网络结构后的卷积神经网络，测得它们在测试集中的准确率，并选择这七个网络中准确率最高的一个；

(3f)判断所选择卷积神经网络的测试准确率是否大于当前自适应卷积神经网络的测试准确率，若是，将该扩展后的自适应卷积神经网络作为当前自适应卷积神经网络后执行步骤(3c)，否则，当前自适应卷积神经网络即为最优的自适应卷积神经网络，停止网络扩展后执行步骤(4)。

5.根据权利要求4所述的基于自适应卷积神经网络的筷子图像分类方法，其特征在于，步骤(3d)中所述的添加七种网络结构，分别为：

所添加的第一种网络结构，是在扩展卷积层之后添加一个卷积层，添加的卷积层中卷积滤波器的总数设置为扩展卷积层的卷积滤波器总数、卷积滤波器的像素大小设置为1×1，卷积步长设置为1个像素；

所添加的第二种网络结构，是在扩展卷积层之后添加一个卷积层，添加的卷积层中卷积滤波器的总数设置为扩展卷积层的卷积滤波器总数、卷积滤波器的像素大小设置为3×3，卷积步长设置为1个像素；

所添加的第三种网络结构，是在扩展卷积层之后添加一个卷积层，添加的卷积层中卷积滤波器的总数设置为扩展卷积层的卷积滤波器总数、卷积滤波器的像素大小设置为5×5，卷积步长设置为1个像素；

所添加的第四种网络结构，是在扩展卷积层同一层上添加一个卷积层，添加的卷积层中卷积滤波器的总数设置为扩展卷积层的卷积滤波器总数、卷积滤波器的像素大小设置为1×1，卷积步长设置为1个像素；

所添加的第五种网络结构，是在扩展卷积层同一层上添加一个卷积层，添加的卷积层中卷积滤波器的总数设置为扩展卷积层的卷积滤波器总数、卷积滤波器的像素大小设置为3×3，卷积步长设置为1个像素；

所添加的第六种网络结构，是在扩展卷积层同一层上添加一个卷积层，添加的卷积层中卷积滤波器的总数设置为扩展卷积层的卷积滤波器总数、卷积滤波器的像素大小设置为5×5，卷积步长设置为1个像素；

所添加的第七种网络结构，是在扩展卷积层同一层上添加一个短路经，短路经为将输入数据不经过任何卷积层的运算，直接输入到当前设置的卷积层之后。

6.一种基于自适应卷积神经网络的筷子图像分类方法的用途，其特征在于，将基于自适应卷积神经网络的筷子图像分类方法中训练好的自适应卷积神经网络应用于自动化筷子分类检测流水线的视觉检测部分，并将该自适应卷积神经网络与自动化筷子分类检测流水线的图像采集、检测与控制系统相连接，相应的控制信号正确对接，使得流水线中摄像头所拍摄的筷子图像可以直接输入到训练好的自适应卷积神经网络中，输出对应筷子图像的类别，并使筷子流水线的视觉检测部分依照筷子图像的分类结果输出相应的控制信号，使得筷子流水线能够检测出当前筷子的类别并依照不同的类别对筷子进行进一步的处理，实现在筷子生产、筷子加工、筷子检测、筷子回收以及筷子包装等流水线中对筷子的准确分类及检测。