CN112977974A - 烟包外观质量检测装置及其方法、烟包包装机 - Google Patents

Abstract

本公开提供了一种烟包外观质量检测装置及其方法、烟包包装机。烟包外观质量检测装置包括：第一定位传感器；第二定位传感器；控制器，用于在从第一定位传感器接收到烟包被运送到第一位置的信息后发出图像采集指令，在从第二定位传感器接收到烟包被运送到第二位置的信息后检测是否对烟包设置有剔除标记信息，在对烟包设置有剔除标记信息的情况下发出剔除指令；图像采集设备，用于在接收到图像采集指令后采集烟包的图像信息；人工智能处理单元，用于利用图像检测模型对烟包的图像信息进行检测，在检测到烟包的外观质量存在缺陷的情况下，对烟包设置剔除标记信息；和剔除设备，用于在接收到剔除指令后对烟包执行剔除操作。

Description

烟包外观质量检测装置及其方法、烟包包装机

技术领域

本公开涉及烟草制造技术领域，特别涉及一种烟包外观质量检测装置及其方法、烟包包装机。

背景技术

在烟包生产技术中，传统的烟包外观检测系统可对包装外观中预设区域的质量缺陷进行检测。这样的烟包外观检测系统的两个核心算法是颜色比对和标准模板匹配。两种算法都会对图像进行灰度化处理，将原RGB(红绿蓝)三通道色值转化为灰度图，三维图像降为一维图像。

颜色比对是对检测区域内像素求均值和均值方差计算，然后分别对两个指标对比；模板匹配则会记录检测区域内像素值阵列，然后对比阵列的相似程度。实时检测时，分别对颜色比对和模板匹配算法工具设置标准均值、均值方差和模板图案像素值，待检测的图像与标准值或标准模板进行比较。颜色比对工具中，如果待检标准均值和均值方差有一项大于标准值，检测不通过；如果全部小于标准值，检测通过。模板匹配工具中，如果待检区域的像素值得分小于标准模板的像素值得分，检测不通过；如果得分大于标准得分，检测通过。

但是，传统算法的检测精度主要受几个方面影响：第一，传统算法经过灰度化降维处理后，检测区域内的信息损失较大。第二，统计颜色均值和均值方差等参数可统计纯色外观，但对有颜色变化大的检测区域精度不高。第三，传统检测框通常会设置在烟包边缘(易产生缺陷区域)，实际使用中烟包在传输带上会不规则晃动，导致检测框容易产生误检。第四，传统算法通常使用许多检测框组合检测，任何一个检测框检测不准确都会影响最终结果，检测稳定性差。因此，传统的烟包外观检测系统存在着设备检测精度不高的问题。

发明内容

本公开解决的一个技术问题是：提供一种烟包外观质量检测装置，以提高烟包外观质量的检测精度。

根据本公开的一个方面，提供了一种烟包外观质量检测装置，包括：第一定位传感器，用于当烟包被运送到第一位置时检测到所述烟包，并将所述烟包被运送到所述第一位置的信息发送给控制器；第二定位传感器，用于当所述烟包被运送到第二位置时检测到所述烟包，并将所述烟包被运送到所述第二位置的信息发送给所述控制器，其中，所述烟包被输送带由所述第一位置运送到所述第二位置；所述控制器，用于在接收到所述烟包被运送到所述第一位置的信息后发出图像采集指令，在接收到所述烟包被运送到所述第二位置的信息后检测是否对所述烟包设置有剔除标记信息，在对所述烟包设置有剔除标记信息的情况下发出剔除指令；图像采集设备，用于在接收到所述图像采集指令后采集所述烟包的图像信息；人工智能处理单元，用于从所述图像采集设备接收所述烟包的图像信息，利用图像检测模型对所述烟包的图像信息进行检测，在检测到所述烟包的外观质量存在缺陷的情况下，对所述烟包设置剔除标记信息，并将所述剔除标记信息发送给所述控制器；和剔除设备，用于在从所述控制器接收到所述剔除指令后对所述烟包执行剔除操作。

在一些实施例中，所述人工智能处理单元还用于通过具有已知外观质量的烟包的图像信息对所述图像检测模型进行训练。

在一些实施例中，所述人工智能处理单元还用于在检测到所述烟包的外观质量不存在缺陷的情况下，不对所述烟包设置剔除标记信息；所述控制器还用于在对所述烟包没有设置剔除标记信息的情况下不发出剔除指令。

在一些实施例中，所述图像采集设备包括：第一照相机，用于对所述烟包的第一侧面和第二侧面进行拍照以得到所述第一侧面和所述第二侧面的图像信息，并将所述第一侧面和所述第二侧面的图像信息发送到所述人工智能处理单元，其中，所述第一侧面与所述第二侧面相邻；第二照相机，用于对所述烟包的第三侧面和第四侧面进行拍照以得到所述第三侧面和所述第四侧面的图像信息，并将所述第三侧面和所述第四侧面的图像信息发送到所述人工智能处理单元，其中，所述第三侧面与所述第一侧面相对，所述第四侧面与所述第二侧面相对；和第三照相机，用于对所述烟包的顶面进行拍照以得到所述顶面的图像信息，并将所述顶面的图像信息发送到所述人工智能处理单元。

在一些实施例中，所述烟包外观质量检测装置还包括：光源，用于在从所述控制器接收到照明指令后对所述烟包进行照明；其中，所述控制器还用于在接收到所述烟包被运送到所述第一位置的信息后发出所述照明指令。

在一些实施例中，所述第一定位传感器为检测位光纤传感器，所述第一位置为检测位置；所述第二定位传感器为剔除位光纤传感器，所述第二位置为剔除位置；所述控制器包括输入输出控制板；所述人工智能处理单元包括工控机或服务器。

在一些实施例中，所述烟包外观质量检测装置还包括：辅助定位传感器，设置在所述输送带的旁边且在所述第一定位传感器与所述第二定位传感器之间，用于在检测到被运送到相应位置的烟包时触发位置信号，并将所述位置信号传输到所述控制器；其中，所述控制器用于根据接收的所述位置信号获知位于外观质量存在缺陷的烟包之前的烟包的数量n，并在接收到所述第二定位传感器发送的第n+1个烟包被运送到所述第二位置的信息后，在对烟包设置有剔除标记信息的情况下发出剔除指令，其中，n为大于或等于0的整数。

在一些实施例中，所述烟包外观质量检测装置还包括：显示器，用于显示所述烟包的图像信息和烟包剔除的统计信息；其中，所述人工智能处理单元还用于对烟包剔除的情况进行统计以得到所述统计信息，并将所述统计信息发送给所述显示器。

在一些实施例中，所述烟包外观质量检测装置还包括：交换机，用于传输数据；其中，所述控制器通过所述交换机与所述图像采集设备通信连接，所述图像采集设备通过所述交换机分别与所述人工智能处理单元和所述显示器通信连接，所述人工智能处理单元通过所述交换机分别与所述控制器和所述显示器通信连接。

在一些实施例中，所述图像检测模型与所述烟包的牌号对应；所述图像检测模型为卷积神经网络。

根据本公开的另一个方面，提供了一种烟包外观质量检测方法，包括：当烟包被运送到第一位置时，第一定位传感器检测到所述烟包，并将所述烟包被运送到所述第一位置的信息发送给控制器；所述控制器在接收到所述烟包被运送到所述第一位置的信息后向图像采集设备发送图像采集指令；所述图像采集设备在接收到所述图像采集指令后采集所述烟包的图像信息，并将所述烟包的图像信息发送给人工智能处理单元；所述人工智能处理单元利用图像检测模型对所述烟包的图像信息进行检测，在检测到所述烟包的外观质量存在缺陷的情况下，对所述烟包设置剔除标记信息，并将所述剔除标记信息发送给所述控制器；当所述烟包被运送到第二位置时，第二定位传感器检测到所述烟包，并将所述烟包被运送到所述第二位置的信息发送给所述控制器，其中，所述烟包被输送带由所述第一位置运送到所述第二位置；所述控制器在接收到所述烟包被运送到所述第二位置的信息后检测是否对所述烟包设置有剔除标记信息，在对所述烟包设置有剔除标记信息的情况下向剔除设备发送剔除指令；和所述剔除设备在接收到所述剔除指令后对所述烟包执行剔除操作。

在一些实施例中，所述烟包外观质量检测方法还包括：通过具有已知外观质量的烟包的图像信息对所述图像检测模型进行训练，其中，所述图像检测模型与所述烟包的牌号对应。

在一些实施例中，对所述图像检测模型进行训练的步骤包括：在烟包的牌号没有对应的图像检测模型的情况下，关闭所述剔除设备，建立所述烟包的牌号并载入所述牌号；调整所述图像采集设备的参数使得所述图像采集设备处于对所述烟包成像的最佳状态；和利用所述图像采集设备采集烟包的图像信息并输入到所述人工智能处理单元以对所述图像检测模型进行训练。

在一些实施例中，对所述图像检测模型进行训练的步骤包括：在烟包的牌号已有对应的图像检测模型的情况下，利用所述图像采集设备采集烟包的图像信息并输入到所述人工智能处理单元以优化所述图像检测模型。

在一些实施例中，所述烟包外观质量检测方法还包括：所述控制器在接收到所述烟包被运送到所述第一位置的信息后向光源发送照明指令以使得所述光源对所述烟包进行照明。

根据本公开的另一个方面，提供了一种烟包外观质量检测装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器用于基于存储在所述存储器的指令执行如前所述的方法。

根据本公开的另一个方面，提供了一种烟包包装机，包括：如前所述的烟包外观质量检测装置。

根据本公开的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如前所述的方法。

上述烟包外观质量检测装置提高了烟包外观质量的检测精度。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1是示出根据本公开一些实施例的烟包外观质量检测装置的结构示意图；

图2是示出根据本公开另一些实施例的烟包外观质量检测装置的结构示意图；

图3A是示出根据本公开一些实施例的第一照相机和第二照相机对烟包拍照的示意图；

图3B是示出根据本公开一些实施例的第三照相机对烟包拍照的示意图；

图4是示出根据本公开一些实施例的人工智能深度学习的原理图；

图5是示出根据本公开一些实施例的深度学习的特征抽取的示意图；

图6是示出根据本公开一些实施例的卷积神经网络的结构示意图；

图7是示出根据本公开一些实施例的卷积神经网络的模型示意图；

图8是示出根据本公开一些实施例的数据在经过卷积层后隐藏层后快速收敛的示意图；

图9是示出根据本公开一些实施例的卷积操作的示意图；

图10是示出根据本公开一些实施例的抽样操作的示意图；

图11是示出根据本公开一些实施例的局部野技术的示意图；

图12是示出根据本公开一些实施例的烟包外观质量检测方法的流程图；

图13是示出根据本公开另一些实施例的烟包外观质量检测装置的结构示意图；

图14是示出根据本公开另一些实施例的烟包外观质量检测装置的结构示意图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1是示出根据本公开一些实施例的烟包外观质量检测装置的结构示意图。如图1所示，烟包外观质量检测装置包括：第一定位传感器110、第二定位传感器120、控制器130、图像采集设备140、人工智能(Artificial Intelligence，简称为AI)处理单元150和剔除设备160。

第一定位传感器110设置在输送带的旁边且在与烟包的第一位置相对应的位置处(图1中未示出)。第一定位传感器110与控制器130电连接。第一定位传感器110用于当烟包被运送到第一位置时检测到该烟包，并将该烟包被运送到第一位置的信息发送给控制器130。例如，第一定位传感器110为检测位光纤传感器，该第一位置为检测位置。

第二定位传感器120设置在输送带的旁边且在与烟包的第二位置相对应的位置处(图1中未示出)。第二定位传感器120与控制器130电连接。第二定位传感器120用于当烟包被运送到第二位置时检测到该烟包，并将该烟包被运送到第二位置的信息发送给控制器130。这里，烟包被输送带由第一位置运送到第二位置。例如，第二定位传感器120为剔除位光纤传感器，第二位置为剔除位置。

控制器130用于在接收到烟包被运送到第一位置的信息后发出图像采集指令，在接收到烟包被运送到第二位置的信息后检测是否对烟包设置有剔除标记信息，在对烟包设置有剔除标记信息的情况下发出剔除指令。例如，控制器130可以包括输入输出控制板(I/O控制板)。

该控制器130还可以用于在对烟包没有设置剔除标记信息的情况下不发出剔除指令。

图像采集设备140设置在输送带的旁边。图像采集设备140与控制器130电连接。图像采集设备140用于在接收到图像采集指令后采集烟包的图像信息。

人工智能处理单元150与控制器130和图像采集设备140分别电连接。人工智能处理单元150用于从图像采集设备140接收烟包的图像信息，利用图像检测模型对烟包的图像信息进行检测，在检测到烟包的外观质量(也可以称为包装质量)存在缺陷的情况下，对烟包设置剔除标记信息，并将该剔除标记信息发送给控制器130。例如，人工智能处理单元150可以包括工控机或服务器。

在一些实施例中，图像检测模型与烟包的牌号对应。这里，烟包的牌号可以包括烟包外观的图案和颜色等。每种牌号对应一个图像检测模型，这样可以对不同牌号的烟包分别检测外观质量。

在一些实施例中，图像检测模型为卷积神经网络。例如，该图像检测模型可以采用本领域技术人员已知的用于检测图案等的卷积神经网络。在本公开中，这样的图像检测模型被应用于烟包外观质量的检测。

在另一些实施例中，人工智能处理单元还用于在检测到烟包的外观质量不存在缺陷的情况下，不对烟包设置剔除标记信息。

剔除设备160设置在输送带的旁边。剔除设备160与控制器130电连接。剔除设备160用于在从控制器130接收到剔除指令后对烟包执行剔除操作。例如，该剔除设备160可以为喷气剔除设备。

需要说明的是，本公开所述的“电连接”可以为直接或间接的通信连接。例如，当描述到特定器件电连接其它器件时，该特定器件可以与所述其它器件直接通信连接而不具有居间器件，也可以不与所述其它器件直接通信连接而具有居间器件。

至此，提供了根据本公开一些实施例的烟包外观质量检测装置。烟包外观质量检测装置包括：第一定位传感器、第二定位传感器、控制器、图像采集设备、人工智能处理单元和剔除设备。在该烟包外观质量检测装置中，当烟包被运送到第一位置时，第一定位传感器检测到该烟包，并将烟包被运送到第一位置的信息发送给控制器；控制器在接收到烟包被运送到第一位置的信息后向图像采集设备发送图像采集指令；图像采集设备在接收到图像采集指令后采集烟包的图像信息，并将烟包的图像信息发送给人工智能处理单元；人工智能处理单元利用图像检测模型对烟包的图像信息进行检测，在检测到烟包的外观质量存在缺陷的情况下，对烟包设置剔除标记信息，并将剔除标记信息发送给控制器；当烟包被运送到第二位置时，第二定位传感器检测到烟包，并将烟包被运送到第二位置的信息发送给控制器；控制器在接收到烟包被运送到第二位置的信息后检测是否对烟包设置有剔除标记信息，在对烟包设置有剔除标记信息的情况下向剔除设备发送剔除指令；剔除设备在接收到剔除指令后对烟包执行剔除操作。该烟包外观质量检测装置采用图像检测模型的方式检测烟包外观质量，提高了烟包外观质量的检测精度。例如，研究发现，本公开的烟包外观质量检测装置的缺陷检测精度可以达到99.5％。而且，本公开的烟包外观质量检测装置可以降低合格烟包误检率。例如，研究发现，烟包外观质量检测装置的合格烟包误检率小于0.02％。

在一些实施例中，人工智能处理单元150还可以用于通过具有已知外观质量的烟包的图像信息对图像检测模型进行训练。

例如，在烟包的牌号没有对应的图像检测模型的情况下，关闭剔除设备，建立烟包的牌号并载入该牌号；调整图像采集设备的参数使得图像采集设备处于对烟包成像的最佳状态；和利用图像采集设备采集烟包的图像信息并输入到人工智能处理单元以对图像检测模型进行训练。

又例如，在烟包的牌号已有对应的图像检测模型的情况下，利用图像采集设备采集烟包的图像信息并输入到人工智能处理单元以优化图像检测模型。

图2是示出根据本公开另一些实施例的烟包外观质量检测装置的结构示意图。

如图2所示，烟包外观质量检测装置包括第一定位传感器110、第二定位传感器120、控制器130、图像采集设备140、人工智能处理单元150和剔除设备160。另外，图2中还示出了输送带270和烟包280。

如图2所示，第一定位传感器110设置在输送带270的旁边且在与烟包280的第一位置相对应的位置处。例如，该第一定位传感器110设置在输送带270的附近且与烟包280的第一位置相对应的位置处。第二定位传感器120设置在输送带270的旁边且在与烟包280的第二位置相对应的位置处。例如，该第二定位传感器120设置在输送带270的附近且与烟包280的第二位置相对应的位置处。图像采集设备140设置在输送带270的旁边。剔除设备160设置在输送带270的旁边。

在一些实施例中，如图2所示，图像采集设备140可以包括第一照相机141、第二照相机142和第三照相机143。第一照相机141、第二照相机142和第三照相机143设置在输送带270的周围。第一照相机141、第二照相机142和第三照相机143分别与控制器130电连接。并且，第一照相机141、第二照相机142和第三照相机143分别与人工智能处理单元150电连接。例如，第一照相机141、第二照相机142和第三照相机143分别为CCD(Charge-coupledDevice，电荷耦合元件)工业相机。

图3A是示出根据本公开一些实施例的第一照相机和第二照相机对烟包拍照的示意图。

如图3A所示，第一照相机141用于对烟包280的第一侧面281和第二侧面282进行拍照以得到第一侧面281和第二侧面282的图像信息，并将第一侧面281和第二侧面282的图像信息发送到人工智能处理单元150。第一侧面281与第二侧面282相邻。

如图3A所示，第二照相机142用于对烟包280的第三侧面283和第四侧面284进行拍照以得到第三侧面283和第四侧面284的图像信息，并将第三侧面283和第四侧面284的图像信息发送到人工智能处理单元150。第三侧面283与第一侧面281相对，第四侧面284与第二侧面282相对。第三侧面283与第四侧面284相邻。

图3B是示出根据本公开一些实施例的第三照相机对烟包拍照的示意图。

第三照相机143用于对烟包280的顶面285进行拍照以得到顶面285的图像信息，并将顶面285的图像信息发送到人工智能处理单元150。在一些实施例中，该第三照相机143还可以对烟包280的一个侧面(例如，第一侧面281、第二侧面282、第三侧面283或第四侧面284)进行拍照。

在上述实施例中，通过三个照相机(即，第一照相机141、第二照相机142和第三照相机143)即可获得烟包的5个面的图像信息。

回到图2，在一些实施例中，烟包外观质量检测装置还可以包括光源210。光源210设置在输送带270的旁边。光源210与控制器130电连接。光源210用于在从控制器130接收到照明指令后对烟包280进行照明。这里，控制器130还可以用于在接收到烟包280被运送到第一位置的信息后发出照明指令。例如，该光源包括LED(Light Emitting Diode，发光二极管)照明装置。通过对烟包进行照明，可以方便图像采集设备对烟包外观图像的采集。

在一些实施例中，如图2所示，烟包外观质量检测装置还可以包括辅助定位传感器220。该辅助定位传感器220设置在输送带270的旁边，并且，该辅助定位传感器220在第一定位传感器110与第二定位传感器120之间。该辅助定位传感器220与控制器130电连接。该辅助定位传感器220用于在检测到被运送到相应位置的烟包时触发位置信号，并将该位置信号传输到控制器130。控制器130可以用于根据接收的位置信号获知位于外观质量存在缺陷的烟包之前的烟包的数量n，并在接收到第二定位传感器120发送的第n+1个烟包被运送到第二位置的信息后，在对烟包设置有剔除标记信息的情况下发出剔除指令，其中，n为大于或等于0的整数。这里，辅助定位传感器信号可以起到移位作用，便于将不合格烟包准确剔除，而不会造成误剔的问题。例如，该辅助定位传感器可以为定位光纤传感器。该辅助定位传感器可以定位出系统所检测出的具有缺陷且即将被剔除的烟包的位置。

例如，在外观质量有缺陷的烟包前面还有一个没有质量缺陷的烟包，该辅助定位传感器220在检测到该没有质量缺陷的烟包时触发位置信号；控制器根据该位置信号获知位于外观质量存在缺陷的烟包之前的烟包的数量为1，则外观质量有缺陷的烟包为第2个烟包，这样，控制器在接收到第二定位传感器发送的第2个烟包被运送到第二位置的信息后，就确定当前的烟包即为第2个烟包，在对该第2个烟包设置有剔除标记信息的情况下发出剔除指令，从而将缺陷烟包剔除。因此，辅助定位传感器提高剔除精度。

又例如，当两个缺陷烟包相继通过设备时，辅助定位传感器可以精确定位两个烟包的位置，防止发生漏剔或剔除不准的问题。

在一些实施例中，如图2所示，烟包外观质量检测装置还可以包括显示器230。该显示器230与图像采集设备140和人工智能处理单元150电连接。显示器230可以用于显示烟包的图像信息和烟包剔除的统计信息。这里，人工智能处理单元150还可以用于对烟包剔除的情况进行统计以得到统计信息，并将该统计信息发送给显示器230。通过显示烟包的图像信息和烟包剔除的统计信息，可以方便工作人员获得这些信息。

在一些实施例中，显示器230可以承载客户端软件，提供实时和历史检测图像查看、模型训练操作和系统配置等功能。

在一些实施例中，如图2所示，烟包外观质量检测装置还可以包括交换机240。该交换机用于传输数据。控制器130通过交换机240与图像采集设备140通信连接。图像采集设备140通过交换机240分别与人工智能处理单元150和显示器230通信连接。人工智能处理单元150通过交换机240分别与控制器130和显示器230通信连接。例如，该交换机可以为万兆交换机。通过设置该交换机，可以实现数据等信息的传输。

在一些实施例中，第一定位传感器110、第二定位传感器120、剔除设备160、辅助定位传感器220和交换机240分别通过现场工业总线与控制器130电连接，图像采集设备140和显示器230分别与交换机240通过GigE(千兆网)线电连接，人工智能处理单元150与交换机240通过万兆光纤电连接。

本公开的发明人发现，传统的烟包外观检测系统除了存在着设备检测精度不高的问题，还存在检测区域受限和设备维护等问题。

具体地，传统检测算法在实际应用时，需要根据人的经验预判设置局部检测区域，检测区域外的部分无法检测。对于局部区域内的颜色数值的规则统计，检测区域和参数值需预设在合理的范围内，检测区域和参数值的过大或者过小都会造成检测效果不理想的问题。再者，在烟包区域中色差变化大的情况，是传统检测框设置的“禁区”，在这样的区域，颜色变化大，图案复杂，这类区域的缺陷传统检测算法很难识别。

设备维护问题主要原因是检测算法配置复杂，人员素质影响设备维护效果。对于传统的烟包外观检测系统，传统机器视觉是人工选择烟包的检测区域，人工进行配置来达成检测的目的。对于烟包来说，需要在烟包图像表面设置很多检测区域，每个检测区域设置参数又完全不同，因此大大增加了配置参数的复杂度。

本公开实施例的烟包外观质量检测装置对烟包外观整体检测，无须额外添加任意检测框，可维护性强。

另外，传统的烟包外观检测系统只支持对错的二元统计，而本公开实施例的烟包外观质量检测装置可以支持对缺陷类型的多元分类统计。

传统的烟包外观检测系统不容易对图案复杂或颜色变化明显的区域检测，而本公开实施例的烟包外观质量检测装置可以对这样的区域进行检测。例如，传统的烟包外观检测系统是对图案或颜色做均值计算，颜色变化明显或复杂图案区域出现缺陷，均值变化可能不明显。本公开实施例的烟包外观质量检测装置对图案做卷积等运算提取图案的特征，复杂区域出现的缺陷特征与正确烟包的特征不同，因此能够检测图案复杂或颜色变化明显的区域。

传统的烟包外观检测系统对连包只能全剔或全不剔，而本公开实施例的烟包外观质量检测装置可以对连包中的外观缺陷烟包剔除。

另外，本公开实施例的烟包外观质量检测装置可以支持网络化部署，检测设备全厂组网，扩展性强。传统的烟包外观检测系统需要每个设备单独配置，而本公开实施例的烟包外观质量检测装置可以支持一个模型下发全部检测设备使用。另外，本公开实施例的烟包外观质量检测装置的硬件标准化，这样设备便于快速部署和维护。

本公开实施例的人工智能处理单元可以运行在Linux操作系统，不易受外部攻击。

下面结合附图详细描述本公开实施例的图像检测模型的原理。

图4是示出根据本公开一些实施例的人工智能深度学习的原理图。

人工智能深度学习的过程可以包括：数据输入；基础特征提取；多层复杂特征提取；权重学习；和预测结果。

基于对算法缺陷的深入研究，本公开实施例的烟包外观质量检测装置采用深度学习技术来对烟包进行外观质量检测，通过机器自己学习特征，来消除在特征选择上的人为干预，并提高检测精度。

深度学习解决的核心问题之一就是自动地将简单的特征组合成更加复杂的特征，并使用这些组合特征解决问题。深度学习除了可以学习特征和任务之间的关联以外，还能自动从简单特征中提取更加复杂的特征。深度学习可以一层一层地将简单特征逐步转化成更加复杂的特征，从而使得不同类别的图像更加可分。

图5是示出根据本公开一些实施例的深度学习的特征抽取的示意图。图5展示了深度学习算法可以从采集的烟包图像的像素特征中逐渐组合出线条、边、角、简单形状和复杂形状等更加有效的复杂特征。

图6是示出根据本公开一些实施例的卷积神经网络的结构示意图。

深度学习的核心技术是神经网络结构。如图6所示，在区分螺旋形数据时，构建好相应的网络，将图6中的左图数据输入到网络中，网络进行训练，分析特征，即可在右侧输出层输出分类结果。

优选地，在选择网络的时候，使用卷积神经网络。卷积神经网络可以直接从原始图像来识别视觉模式，具有对几何变形的鲁棒性。卷积神经网络的优点如下：(1)输入图像和网络的拓扑结构能很好的吻合；(2)特征提取和模式分类同时进行；(3)权值共享技术大大减少了网络的训练参数，使神经网络的结构变得更简单，适应性更强。卷积神经网络是一个前馈式神经网络，能从一个二维图像中提取其拓扑结构，采用反向传播算法来优化网络结构，求解网络中的未知参数。该网络常被用来研究二维图像识别问题，网络仅仅需要少量的预处理，识别范围广，能容许图像的畸变。卷积神经网络的分类模型与传统图像识别不同点在于其可以直接将一幅二维图像输入模型中，接着在输出端即给出分类结果。其优势在于不需要复杂的预处理，将特征提取，模式分类完全放入一个黑匣子中，通过不断的优化来获得网络所需参数，在输出层给出所需分类，网络核心就是网络的结构设计与网络的求解。

图7是示出根据本公开一些实施例的卷积神经网络的模型示意图。

卷积神经网络构建的结构如图7所示，网络除了输入输出层，还有中间的卷积层、抽样层与全连接层，图像从输入层Input输入，通过交替出现的抽样层(例如，抽样层S₁和S₃)与卷积层(例如，卷积层C₂和C₄)和最后的全连接层(例如，全连接层F₅)，在输出层给出网络的输出。

图8是示出根据本公开一些实施例的数据在经过卷积层后隐藏层后快速收敛的示意图。

输入层对输入数据进行标准化处理，标准化处理的目的是使不同维度的数据在经过卷积层、隐藏层后可以快速收敛，如图8所示。以图像数据为例，输入数据为像素，二维像素点可以划分成RGB通道。将不同通道的数据以标准化的方法来计算每个通道的标准差，例如常用的Z-Score标准分数方式，然后把每个通道的像素点与标准差做均一化处理，输入层的结果数据将输出至卷积层。

在卷积层和抽样层中有若干个特征图(Feature maps)，每个特征图都与其前一层特征图相连接。在卷积层中，前一层的特征图与一个可学习的卷积核进行卷积运算，卷积的结果经过激活函数后的输出形成这一层的神经元从而构成该层特征图。如图7所示，卷积层为C₂与C₄，与抽样层间隔出现，卷积层每一个输出的特征图可能与前一层的几个特征图的卷积建立关系。一般地，卷积层的计算关系式为：

其中，l表示第几层，Kernel为卷积核，每个特征图可以有不同的卷积核，而M_j为输入特征图的一个选择，每一层有唯一的偏移B。由此可知，卷积层主要的任务是从不同的角度来选择前一层特征图的各角度特征使其具有位移不变性。从公式(1)分析可知，卷积的本质就是对前一层的特征图进行处理，来得到这一层的特征图，即若想得到l层上特征图中某个神经元

需要借助于卷积核

对其前一层神经元

附近的神经元进行卷积操作，如图9所示。

抽样层较为简单，其主要作用是降低网络的空间分辨率，通过降低图像的空间分辨率来消除偏移和图像的扭曲，抽样层S上的神经元X计算公式为：

其中，n表示从卷积层到抽样层的窗口大小，这里值得注意的是S₁其实为一个虚拟层，并不需要做过多的操作。此时抽样窗口为1，即n＝1，与之不同的是S₃，其抽样窗口为2×2，则此时特征图由C₂的(28×28)抽样成S₃(14×14)，从公式(2)上分析可知抽样的过程如图10所示。卷积层与抽样层间隔出现，卷积层的每一个输出的特征图可能与前一层的几个特征图的卷积建立关系。而抽样层的主要作用是降低网络的空间分辨率，通过降低图像的空间分辨率来消除偏移和图像的扭曲。

卷积神经网络将通过三个方法来实现识别图像的位移、缩放和扭曲不变性，即局域感受野、权值共享和次抽样。局域感受野是每一层网络的神经元只与上一层的一个小邻域内的神经单元连接，通过局域感受野，每个神经元可以提取初级的视觉特征，例如，方向线段、端点和角点等。权值共享使得卷积神经网络具有更少的参数，需要相对少的训练数据。次抽样可以减小特征的分辨率，实现对位移、缩放和其它形式扭曲的不变性。卷积层之后通常用一个次抽样层来减少计算时间、建立空间和结构上的不变性，这个方法非常简单有效。

构造好网络之后，需要对网络进行求解，如果像传统神经网络一样分配参数，则每一个连接都会有未知参数。而卷积神经网络采用的是权值共享，这样一来通过一幅特征图上的神经元共享同样的权值就可以大大减少自由参数，这可以用来检测相同的特征在不同角度表示效果。由上述分析可知在网络设计中通常都是抽样层与卷积层交替出现，全连接层的前一层通常为卷积层，设计时会有一个虚拟S₁层来简单的处理下原始图片，此时不做抽样操作，则此特征图将会有1×(1×1)×(32×32)×2条连接，而采用权值共享时，未知参数只有2个，这样计算，采用传统的网络连接方式将会有参数的个数为112309，若直接求解会大大增加网络的复杂度，而采用权值共享的卷积神经网络此时的未知参数个数将大大下降为4327，各层的连接数目和未知参数如表1所示。

表1卷积神经网络的连接和未知参数

卷积神经网络的局部野技术如图11表示，卷积层C中神经元X需要与前一层输入Input的一个局部区域相连来得到此时的输出，同样在抽样层S中的神经元需要与前一个卷积层C的一个局部野相连来获得当前层的神经元从而构成此时的特征图。每一层上的神经元都是其对应前一层局部野区域经过激发函数后得出的结果，在最后的输出层给出结果，输出层的神经元个数即为分类数目。

在卷积神经网络中，权值更新是基于反向传播算法，该算法中权值由t时刻的权值w(t)到t+1时刻的权值w(t+1)更新得到，如下所示：

w(t+1)＝w(t)+ηδ(t)x(t) (3)

其中，η为学习速率，x(t)为神经元的输入，δ(t)为该神经元的误差项。该误差项对于输出神经元和隐藏神经元有不同的表达，通常可以用梯度下降法来给出误差项。

卷积神经网络在处理二维图像时无需复杂的特征提取，因此，可以将烟包图像直接输入到神经网络中，大大减少了预处理的难度；其局部野和权值共享技术减少了参数空间，大幅度降低了算法的复杂度；次抽样技术增强了网络鲁棒性，能容忍图像一定程度的畸变。

在实际使用过程中，会通过不断的提供样本集来训练卷积神经网络的各个参数。

图12是示出根据本公开一些实施例的烟包外观质量检测方法的流程图。如图12所示，该方法包括步骤S1202至S1214。

在步骤S1202，当烟包被运送到第一位置时，第一定位传感器检测到该烟包，并将该烟包被运送到第一位置的信息发送给控制器。

在步骤S1204，控制器在接收到烟包被运送到第一位置的信息后向图像采集设备发送图像采集指令。

在步骤S1206，图像采集设备在接收到图像采集指令后采集烟包的图像信息，并将烟包的图像信息发送给人工智能处理单元。

在步骤S1208，人工智能处理单元利用图像检测模型对烟包的图像信息进行检测，在检测到烟包的外观质量存在缺陷的情况下，对烟包设置剔除标记信息，并将剔除标记信息发送给控制器。

在步骤S1210，当烟包被运送到第二位置时，第二定位传感器检测到该烟包，并将该烟包被运送到第二位置的信息发送给控制器，其中，烟包被输送带由第一位置运送到第二位置。

在步骤S1212，控制器在接收到烟包被运送到第二位置的信息后检测是否对烟包设置有剔除标记信息，在对烟包设置有剔除标记信息的情况下向剔除设备发送剔除指令。

在步骤S1214，剔除设备在接收到剔除指令后对烟包执行剔除操作。

至此，提供了根据本公开一些实施例的烟包外观质量检测方法。该烟包外观质量检测方法采用图像检测模型的方式检测烟包外观质量，提高了烟包外观质量的检测精度。

在一些实施例中，烟包外观质量检测方法还可以包括：通过具有已知外观质量的烟包的图像信息对图像检测模型进行训练。图像检测模型与烟包的牌号对应。

在一些实施例中，对图像检测模型进行训练的步骤包括：在烟包的牌号没有对应的图像检测模型的情况下，关闭剔除设备，建立烟包的牌号并载入所述牌号；调整图像采集设备的参数使得图像采集设备处于对烟包成像的最佳状态；和利用图像采集设备采集烟包的图像信息并输入到人工智能处理单元以对图像检测模型进行训练。

在另一些实施例中，对图像检测模型进行训练的步骤包括：在烟包的牌号已有对应的图像检测模型的情况下，利用图像采集设备采集烟包的图像信息并输入到人工智能处理单元以优化图像检测模型。

在上述实施例中，新牌号没有图像检测模型，需要将剔除设备先关闭，新建牌号名并载入牌号，调整图像采集设备的参数使图像成像最佳，然后采集训练集，人工判定烟包图像的好坏来训练。已有检测模型的训练，是对检测模型不断优化，设备采集的图像会加入模型训练中的素材，重新筛选添加到已有训练集，再做训练操作。

在一些实施例中，上述方法可以包括训练程序和推理程序，训练程序采集图片从而训练模型，推理程序利用训练完成的模型检测实时图像。

在一些实施例中，烟包外观质量检测方法还可以包括：控制器在接收到烟包被运送到第一位置的信息后向光源发送照明指令以使得光源对烟包进行照明。例如，烟包到达第一位置时，控制器接收到第一定位传感器发送的烟包到位信号后，一方面控制光源进行照明，另外一方面将图像采集指令发送给图像采集设备。图像采集设备利用三台照相机对烟包的5个面进行拍摄。

在一些实施例中，烟包外观质量检测方法还可以包括：辅助定位传感器在检测到被运送到相应位置的烟包时触发位置信号，并将位置信号传输到控制器；控制器根据接收的位置信号获知位于外观质量存在缺陷的烟包之前的烟包的数量n，并在接收到第二定位传感器发送的第n+1个烟包被运送到第二位置的信息后，在对烟包设置有剔除标记信息的情况下发出剔除指令，其中，n为大于或等于0的整数。

在一些实施例中，对剔除的烟包可以进行人工目检，并配合缺陷图像的历史查询记录，判别烟包是否误检，如果误检偏多，对已有的图像检测模型进行迭代训练，直至结果满意。

图13是示出根据本公开另一些实施例的烟包外观质量检测装置的结构示意图。烟包外观质量检测装置包括存储器1310和处理器1320。

其中：

存储器1310可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储图12所对应实施例中的指令。

处理器1320耦接至存储器1310，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器1320用于执行存储器中存储的指令，采用图像检测模型的方式检测烟包外观质量，提高了烟包外观质量的检测精度。

在一些实施例中，烟包外观质量检测装置可以包括多个存储器1310和多个处理器1320，该多个存储器1310和多个处理器1320可以配套地设置在不同的部件中。

在一些实施例中，还可以如图14所示，烟包外观质量检测装置1400包括存储器1410和处理器1420。处理器1420通过BUS总线1430耦合至存储器1410。该烟包外观质量检测装置1400还可以通过存储接口1440连接至外部存储装置1450以便调用外部数据，还可以通过网络接口1460连接至网络或者另外一台计算机系统(未标出)，此处不再进行详细介绍。

在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，采用图像检测模型的方式检测烟包外观质量，提高了烟包外观质量的检测精度。

在一些实施例中，烟包外观质量检测装置可以包括多个存储器1410、多个处理器1420、多个总线1430、多个存储接口1440、多个外部存储装置1450和多个网络接口1460，该多个存储器1410、多个处理器1420、多个总线1430、多个存储接口1440、多个外部存储装置1450和多个网络接口1460可以配套地设置在不同的部件中。

在一些实施例中，本公开还提供了一种烟包包装机，该烟包包装机包括如前所述的烟包外观质量检测装置。

在另一些实施例中，本公开还提供了一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现图12所对应实施例中的方法的步骤。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (18)

1.一种烟包外观质量检测装置，包括：

第一定位传感器，用于当烟包被运送到第一位置时检测到所述烟包，并将所述烟包被运送到所述第一位置的信息发送给控制器；

第二定位传感器，用于当所述烟包被运送到第二位置时检测到所述烟包，并将所述烟包被运送到所述第二位置的信息发送给所述控制器，其中，所述烟包被输送带由所述第一位置运送到所述第二位置；

所述控制器，用于在接收到所述烟包被运送到所述第一位置的信息后发出图像采集指令，在接收到所述烟包被运送到所述第二位置的信息后检测是否对所述烟包设置有剔除标记信息，在对所述烟包设置有剔除标记信息的情况下发出剔除指令；

图像采集设备，用于在接收到所述图像采集指令后采集所述烟包的图像信息；

人工智能处理单元，用于从所述图像采集设备接收所述烟包的图像信息，利用图像检测模型对所述烟包的图像信息进行检测，在检测到所述烟包的外观质量存在缺陷的情况下，对所述烟包设置剔除标记信息，并将所述剔除标记信息发送给所述控制器；和

剔除设备，用于在从所述控制器接收到所述剔除指令后对所述烟包执行剔除操作。

2.根据权利要求1所述的烟包外观质量检测装置，其中，

所述人工智能处理单元还用于通过具有已知外观质量的烟包的图像信息对所述图像检测模型进行训练。

3.根据权利要求1所述的烟包外观质量检测装置，其中，

所述人工智能处理单元还用于在检测到所述烟包的外观质量不存在缺陷的情况下，不对所述烟包设置剔除标记信息；

所述控制器还用于在对所述烟包没有设置剔除标记信息的情况下不发出剔除指令。

4.根据权利要求1所述的烟包外观质量检测装置，其中，所述图像采集设备包括：

第一照相机，用于对所述烟包的第一侧面和第二侧面进行拍照以得到所述第一侧面和所述第二侧面的图像信息，并将所述第一侧面和所述第二侧面的图像信息发送到所述人工智能处理单元，其中，所述第一侧面与所述第二侧面相邻；

第二照相机，用于对所述烟包的第三侧面和第四侧面进行拍照以得到所述第三侧面和所述第四侧面的图像信息，并将所述第三侧面和所述第四侧面的图像信息发送到所述人工智能处理单元，其中，所述第三侧面与所述第一侧面相对，所述第四侧面与所述第二侧面相对；和

第三照相机，用于对所述烟包的顶面进行拍照以得到所述顶面的图像信息，并将所述顶面的图像信息发送到所述人工智能处理单元。

5.根据权利要求1所述的烟包外观质量检测装置，还包括：

光源，用于在从所述控制器接收到照明指令后对所述烟包进行照明；

其中，所述控制器还用于在接收到所述烟包被运送到所述第一位置的信息后发出所述照明指令。

6.根据权利要求1所述的烟包外观质量检测装置，其中，

所述第一定位传感器为检测位光纤传感器，所述第一位置为检测位置；

所述第二定位传感器为剔除位光纤传感器，所述第二位置为剔除位置；

所述控制器包括输入输出控制板；

所述人工智能处理单元包括工控机或服务器。

7.根据权利要求1所述的烟包外观质量检测装置，还包括：

辅助定位传感器，设置在所述输送带的旁边且在所述第一定位传感器与所述第二定位传感器之间，用于在检测到被运送到相应位置的烟包时触发位置信号，并将所述位置信号传输到所述控制器；

其中，所述控制器用于根据接收的所述位置信号获知位于外观质量存在缺陷的烟包之前的烟包的数量n，并在接收到所述第二定位传感器发送的第n+1个烟包被运送到所述第二位置的信息后，在对烟包设置有剔除标记信息的情况下发出剔除指令，其中，n为大于或等于0的整数。

8.根据权利要求1所述的烟包外观质量检测装置，还包括：

显示器，用于显示所述烟包的图像信息和烟包剔除的统计信息；

其中，所述人工智能处理单元还用于对烟包剔除的情况进行统计以得到所述统计信息，并将所述统计信息发送给所述显示器。

9.根据权利要求8所述的烟包外观质量检测装置，还包括：

交换机，用于传输数据；

其中，所述控制器通过所述交换机与所述图像采集设备通信连接，所述图像采集设备通过所述交换机分别与所述人工智能处理单元和所述显示器通信连接，所述人工智能处理单元通过所述交换机分别与所述控制器和所述显示器通信连接。

10.根据权利要求1所述的烟包外观质量检测装置，

所述图像检测模型与所述烟包的牌号对应；

所述图像检测模型为卷积神经网络。

11.一种烟包外观质量检测方法，包括：

当烟包被运送到第一位置时，第一定位传感器检测到所述烟包，并将所述烟包被运送到所述第一位置的信息发送给控制器；

所述控制器在接收到所述烟包被运送到所述第一位置的信息后向图像采集设备发送图像采集指令；

所述图像采集设备在接收到所述图像采集指令后采集所述烟包的图像信息，并将所述烟包的图像信息发送给人工智能处理单元；

所述人工智能处理单元利用图像检测模型对所述烟包的图像信息进行检测，在检测到所述烟包的外观质量存在缺陷的情况下，对所述烟包设置剔除标记信息，并将所述剔除标记信息发送给所述控制器；

当所述烟包被运送到第二位置时，第二定位传感器检测到所述烟包，并将所述烟包被运送到所述第二位置的信息发送给所述控制器，其中，所述烟包被输送带由所述第一位置运送到所述第二位置；

所述控制器在接收到所述烟包被运送到所述第二位置的信息后检测是否对所述烟包设置有剔除标记信息，在对所述烟包设置有剔除标记信息的情况下向剔除设备发送剔除指令；和

所述剔除设备在接收到所述剔除指令后对所述烟包执行剔除操作。

12.根据权利要求11所述的烟包外观质量检测方法，还包括：

通过具有已知外观质量的烟包的图像信息对所述图像检测模型进行训练，其中，所述图像检测模型与所述烟包的牌号对应。

13.根据权利要求12所述的烟包外观质量检测方法，其中，对所述图像检测模型进行训练的步骤包括：

在烟包的牌号没有对应的图像检测模型的情况下，关闭所述剔除设备，建立所述烟包的牌号并载入所述牌号；

调整所述图像采集设备的参数使得所述图像采集设备处于对所述烟包成像的最佳状态；和

利用所述图像采集设备采集烟包的图像信息并输入到所述人工智能处理单元以对所述图像检测模型进行训练。

14.根据权利要求12所述的烟包外观质量检测方法，其中，对所述图像检测模型进行训练的步骤包括：

在烟包的牌号已有对应的图像检测模型的情况下，利用所述图像采集设备采集烟包的图像信息并输入到所述人工智能处理单元以优化所述图像检测模型。

15.根据权利要求11所述的烟包外观质量检测方法，还包括：

所述控制器在接收到所述烟包被运送到所述第一位置的信息后向光源发送照明指令以使得所述光源对所述烟包进行照明。

16.一种烟包外观质量检测装置，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器用于基于存储在所述存储器的指令执行如权利要求11至15任意一项所述的方法。

17.一种烟包包装机，包括：如权利要求1至10任意一项所述的烟包外观质量检测装置或者如权利要求16所述的烟包外观质量检测装置。

18.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如权利要求11至15任意一项所述的方法。

Images