CN109801261A - 行进中的长产品的表面疵点检测方法和设备 - Google Patents

Abstract

本申请公开了行进中的长产品的表面疵点检测方法和设备，该方法包括获取行进中的长产品当前位于检测区域的全局图像，利用已训练的第一神经网络模型对所述全局图像进行检测，如果所述全局图像所包含的产品存在表面疵点，则获取所述全局图像所对应的产品中包含表面疵点的局部图像，利用已训练的第二神经网络模型对所述局部图像进行分类。本发明的实施例的方案利用神经网络技术，而不是人，来检测图像所包含的产品是否存在表面疵点，与人相比，神经网络技术不会出现疲劳的情况，其能够持续地以较高的检测准确度来检测图像所包含的产品是否存在表面疵点。

Description

行进中的长产品的表面疵点检测方法和设备

技术领域

本申请涉及计算机技术领域，特别涉及行进中的长产品的表面疵点检测方法和设备。

背景技术

在例如纺织品、皮革等产品的生产线上，需要检测正在生成或生产出的产品是否存在表面疵点，例如，产品上是否有污渍、斑点等。这类产品均为长产品，具有一定的长度，当对这类产品进行检测时，目前主要是通过检测设备将产品展开并连续传送至检测区域，或者是生产设备一边生产一边将生产出的产品连续传送经过检测区域，然后由检测人员站在检测设备或生产设备前通过肉眼检测的方式观察检测区域中的产品，从而发现是否存在疵点并进行记录。在产量很大的情况下，由检测人员来检测将会很费人力，而且，检测人员检测速度很慢，在工作一段时间之后容易疲劳，从而存在发生误检的可能性。因此，由检测人员来检测的总体疵点检测效率不高、并且检测准确度不够稳定。

发明内容

鉴于以上问题，本发明的实施例提供行进中的长产品的表面疵点检测方法和设备，其能提高表面疵点检测速度和准确度。

按照本发明的实施例的行进中的长产品的表面疵点检测方法，包括：获取行进中的长产品当前位于检测区域的全局图像，利用已训练的第一神经网络模型对所述全局图像进行检测，其中，所述第一神经网络模型用于检测图像所包含的产品是否存在表面疵点以及确定表面疵点的位置信息，所述全局图像是第一成像装置采集得到的；如果所述全局图像所包含的产品存在表面疵点，则获取所述全局图像所对应的产品中包含表面疵点的局部图像，利用已训练的第二神经网络模型对所述局部图像进行分类，其中，所述第二神经网络模型用于检测图像所包含的产品存在的表面疵点的类型，所述局部图像是第二成像装置根据所述位置信息采集得到的。

按照本发明的实施例的行进中的长产品的表面疵点检测装置，包括：检测模块，用于获取行进中的长产品当前位于检测区域的全局图像，利用已训练的第一神经网络模型对所述全局图像进行检测，其中，所述第一神经网络模型用于检测图像所包含的产品是否存在表面疵点以及确定表面疵点的位置信息，所述全局图像第一成像装置采集得到的；分类模块，用于如果所述全局图像所包含的产品存在表面疵点，则获取所述全局图像所对应的产品中包含表面疵点的局部图像，利用已训练的第二神经网络模型对所述局部图像进行分类，其中，所述第二神经网络模型用于检测图像所包含的产品存在的表面疵点的类型，所述局部图像是第二成像装置根据所述位置信息采集得到的。

按照本发明的实施例的电子设备包括处理器；以及存储器，其上存储有可执行指令；其中，所述处理器配置为执行所述可执行指令以实施前述的方法。

按照本发明的实施例的计算机可读存储介质，其上存储有计算机程序，所述计算机程序包括可执行指令，当该可执行指令被处理器执行时，实施前述的方法。

从以上的描述可以看出，本发明的实施例的方案利用神经网络技术，而不是人，来检测图像所包含的产品是否存在表面疵点，与人相比，神经网络技术不会出现疲劳的情况，其能够持续地以较高的检测准确度来检测图像所包含的产品是否存在表面疵点，而且，本发明的实施例的方案采用第一神经网络模型先对全局图像进行检测，在确定存在表面疵点后，再采用第二神经网络模型对局部图像进行分类，有效提高了行进中的长产品的表面疵点检测速度。

附图说明

图1为本发明一个实施例的用于模型训练的方法的流程图；

图2为本发明一个实施例的行进中的长产品的表面疵点检测方法的总体流程图；

图3为本发明一个实施例的行进中的长产品的表面疵点检测方法的流程图；

图4为本发明一个实施例的行进中的长产品的表面疵点检测装置的示意图；

图5为本发明一个实施例的电子设备的结构示意图。

具体实施方式

现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本公开内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。例如，所描述的方法可以按照与所描述的顺序不同的顺序来执行，以及各个步骤可以被添加、省略或者组合。另外，相对一些示例所描述的特征在其他例子中也可以进行组合。

如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。

为了使本申请的技术方案更加清楚，下面将结合具体场景对本申请实施例提供的行进中的长产品的表面疵点检测方法进行介绍。

本申请实施例所述长产品是指例如纺织品、皮革等具有一定长度的产品，在采用成像装置对产品进行图像采集时，需要通过多次采集才能完成整个产品的表面图像采集。以纺织品为例，其具有一定的码长，通常以成卷的方式存放。本申请实施例所述行进中的长产品可以是指长产品通过传送设备连续地传送经过检测区域，以便对长产品的表面进行连续的图像采集和检测。该检测区域可以是产品检测设备的检测台，也可以是产品生产设备的产品产出区域，例如可以是验布机的验布台，或织机的织造区域。

本申请实施例提供的方案利用第一神经网络对全局图像检测以确定是否存在表面疵点，利用第二神经网络对存在表面疵点的全局图像中的局部图像进行分类得出表面疵点的类型，因此，与现有技术相比，本发明的实施例的方案能够快速发现存在表面疵点的全局图像，并能对表面疵点进行精准分类，从而降低误检率，提高检测速度和准确度。

本发明的实施例的方案包括模型训练阶段和实际检测阶段。

图1示出了按照本发明的一个实施例的用于模型训练的方法的流程图。图1所示的方法100对应于模型训练阶段，其利用训练数据训练得到卷积神经网络(CNN：Convolutional Neural Network)模型和基于区域的卷积神经网络(RCNN：Region BasedConvolutional Neural Network)模型，其中，CNN模型用于检测图像所包含的产品是否存在表面疵点以及确定表面疵点的位置信息，RCNN模型用于检测图像所包含的产品存在的表面疵点的类型。图1所示的方法可以由计算机或其他合适的具有计算能力的电子设备来实现。

如图1所示，在步骤102，接收多个原始拍摄的图像。其中，该多个原始拍摄的图像包括多个正常图像和多个问题图像。其中，正常图像是其所包含的产品不存在表面疵点的图像，问题图像是其所包含的产品存在表面疵点的图像。

在步骤104，对该多个原始拍摄的图像执行图像标注(Image Annotation)处理，以得到第一样本图像集SP1。其中，第一样本图像集SP1中的每一个样本图像是对该多个原始拍摄的图像的其中一个图像执行图像标注处理得到的。图像标注处理是已知的技术，在此省略对其的描述。

在步骤106，对第一样本图像集SP1执行灰度化处理，以将第一样本图像集SP1中的各个样本图像转换为灰度图像。

在步骤108，从已灰度化处理的第一样本图像集SP1中选取一些或全部样本图像作为种子图像。例如但不局限于，所选取的种子图像中包括更多的问题图像，因为通常情况下，第一样本图像集SP1包括更少的问题。

在步骤110，对每一个种子图像执行一次或多次等角度旋转、镜像和/或其他合适的操作，以从每一个种子图像中衍生得到一个或多个图像。其中，已灰度化处理的第一样本图像集SP1中的样本图像和从各个种子图像中衍生得到的图像共同组合成第二样本图像集SP2。

通常情况下，问题样本图像要比正常样本图像少，例如问题样本图像与正常样本图像的比例可能是1:10～1:20，从而在第一样本图像集SP1中问题样本图像和正常样本图像的数量是不平衡的，而不平衡的样本在进行神经网络训练时会导致最后训练结果出现异常偏差。因此，在步骤108选取种子图像时，选取的问题样本图像要比选取的正常样本图像要多，以便在经过步骤110的等角度旋转、镜像等的操作之后得到的第二样本图像集SP2中，问题样本图像和正常样本图像的数量是平衡的，以避免训练结果出现异常偏差。此外，通过步骤106和108的操作，能够增加训练样本的数量(例如，能够将2500张样本图像经过处理后得到超过50000张，甚至100000张的样本图像)，而随着训练样本的增加，最后训练得到的神经网络模型和分类器具有更高的检测准确度。

步骤106-110构成了方法100的图像预处理过程(Image Preprocessing)。

在步骤112，获取第二样本图像集SP2中的各个灰度图像的属性参数，其中，该属性参数包括但不局限于图像的长度、宽度等。

在步骤114，从第二样本图像集SP2中选取其属性参数满足第一规则集中的各个规则的多个图像，作为用于训练CNN模型的第三样本图像集SP3。其中，该第一规则集用于定义适用于训练CNN模型的样本图像需要满足的条件。例如，第一规则集定义适用于CNN模型的样本图像需要满足的长度限制、宽度限制等。第三样本图像集SP3包括多个正常图像和多个问题图像。在本申请实施例中，CNN模型用于对全局图像进行检测，因此，第三样本图像集SP3中的图像可以为长产品位于检测区域的全局图像。

在步骤116，从第二样本图像集SP2中选取其属性参数满足第二规则集中的各个规则的多个图像，作为用于训练RCNN模型的第四样本图像集SP4。其中，该第二规则集用于定义适用于训练RCNN模型的样本图像需要满足的条件。例如，第二规则集定义适用于训练RCNN的样本图像需要满足的长度限制、宽度限制等。第四样本图像集SP4包括多个具有不同表面疵点类型的问题图像。在本申请实施例中，RCNN模型用于对局部图像进行检测，因此第四样本图像集SP4中的图像可以为长产品位于检测区域的包含表面疵点的局部图像。

在步骤118，使用第三样本图像集SP3的图像作为训练数据，训练得到CNN模型。

在步骤120，使用第四样本图像集SP4的图像作为训练数据，训练得到RCNN模型。

图2示出了按照本发明的一个实施例的行进中的长产品的表面疵点检测方法的总体流程图。图2所示的方法200对应于实际检测阶段，其使用利用方法100训练得到的CNN模型和RCNN模型来检测图像所包含的产品是否存在表面疵点。图2所示的方法200可以例如由计算机或其他合适的具有计算能力的电子设备来实现。

如图2所示，在步骤202，当要检测长产品是否存在表面疵点时，获取行进中的长产品当前位于检测区域的全局图像T。在本申请实施例中，可通过第一成像装置采集全局图像T，第一成像装置可位于检测区域上方，通过调整第一成像装置的高度使其可采集到长产品当前位于检测区域的全局图像。第一成像装置可包括一个或多个固定于检测区域上方的摄像头。

在步骤204，对全局图像T执行预处理，例如但不局限于，将全局图像T转换为灰度图像等。

在步骤206，利用已训练的CNN模型对经预处理的全局图像T进行检测。

在步骤208，如果CNN模型将全局图像T分类为正常图像，则确定全局图像T所包含的产品不存在表面疵点，然后流程结束。

在步骤210，如果CNN模型将全局图像T分类为问题图像，则确定全局图像T中表面疵点的位置信息。

在步骤212，获取全局图像T所对应的产品中包含表面疵点的局部图像K。在本申请实施例中，可通过第二成像装置采集局部图像K，第二成像装置可位于检测区域上方，其离产品比第一成像装置较近，可根据表面疵点的位置信息移动至表面疵点所在位置的上方近距离采集局部图像。第二成像装置也可以位于检测区域的前上方，当全局图像T所对应的产品往前行进至第二成像装置下方时，由第二成像装置采集局部图像K。第二成像装置可包括一个或多个可移动的摄像头。全局图像T所对应的产品可包括一个或多个表面疵点，当包含多个表面疵点时，第二成像装置可采集多个局部图像K₁、K₂、…、K_n。

在步骤214，对局部图像K执行预处理，例如但不限于，将局部图像K转换为灰度图像等。

在步骤216，利用已训练的RCNN模型对经预处理的局部图像K进行分类。

在步骤218，确定局部图像K所包含的产品的表面疵点类型并输出表面疵点类型的信息，然后流程结束。

其他变型

本领域技术人员将理解，虽然在上面的实施例中，方法200包括对全局图像T执行预处理的步骤204，然而，本发明并不局限于此。在本发明的其他实施例中，例如但不局限于，在全局图像T的初始状态下已适用于利用模型来检测的情况下，方法200也可以不包括对全局图像T执行预处理的步骤204。

本领域技术人员将理解，虽然在上面的实施例中，方法200包括对局部图像K执行预处理的步骤214，然而，本发明并不局限于此。在本发明的其他实施例中，例如但不局限于，在局部图像K的初始状态下已适用于利用模型来分类的情况下，方法200也可以不包括对局部图像K执行预处理的步骤214。

本领域技术人员将理解，虽然在上面的实施例中，方法100包括对所接收的图像执行图像标注处理的步骤104然而，本发明并不局限于此。在本发明的其他实施例中，例如但不局限于，在步骤102所接收的图像已执行图像标注处理的情况下，方法100也可以不包括对所接收的图像执行图像标注处理的步骤104。

本领域技术人员将理解，虽然在上面的实施例中，方法100包括步骤106-110以衍生更多的样本图像，然而，本发明并不局限于此。在本发明的其他实施例中，例如但不局限于，在已有样本图像的数量已经足够多的情况下，方法100也可以不包括步骤106-108。

本领域技术人员将理解，虽然在上面的实施例中，方法100包括步骤108-110以平衡问题样本图像和正常样本图像的数量并且获得更多的样本图像，然而，本发明并不局限于此。在本发明的其他实施例中，例如但不局限于，在步骤102所接收的图像中问题样本图像和正常样本图像的数量是平衡的且数量已经足够多的情况下，方法100也可以不包括步骤108-110。

本领域技术人员将理解，虽然在上面的实施例中，方法100包括步骤106以将样本图像转化为灰度图像，然而，本发明并不局限于此。在本发明的其他实施例中，例如但不局限于，在步骤102所接收的图像已是灰度图像的情况下，方法100也可以不包括步骤106。

本领域技术人员将理解，虽然在上面的实施例中，方法100包括步骤112-116以选取适用于训练CNN模型和RCNN模型的样本图像，然而，本发明并不局限于此。在本发明的其他实施例中，方法100也可以不包括步骤112-116。

本领域技术人员将理解，虽然在上面的实施例中，被训练用来检测全局图像是属于正常图像还是问题图像的神经网络模型是CNN模型，然而，本发明并不局限于此。在本发明的其他实施例中，被训练用来检测全局图像是属于正常图像还是异常图像的神经网络模型还可以是BP神经网络模型，或其他类型的神经网络模型。

本领域技术人员将理解，虽然在上面的实施例中，被训练用来检测问题图像是属于哪类疵点的问题图像的神经网络模型是RCNN模型，然而，本发明并不局限于此。在本发明的其他实施中，被训练用来检测问题图像是属于哪类疵点的问题图像的神经网络模型还可以是其他类型的神经网络模型。

图3示出了按照本发明的一个实施例的行进中的长产品的表面疵点检测方法的流程图。图3所示的方法300可以例如由计算机或其他合适的具有计算能力的电子设备来实现。

如图3所示，方法300可以包括，在步骤302，获取行进中的长产品当前位于检测区域的全局图像，利用已训练的第一神经网络模型对所述全局图像进行检测，其中，所述第一神经网络模型用于检测图像所包含的产品是否存在表面疵点以及确定表面疵点的位置信息，所述全局图像是第一成像装置采集得到的。

方法300还可以包括：在步骤304，如果所述全局图像所包含的产品存在表面疵点，则获取所述全局图像所对应的产品中包含表面疵点的局部图像，利用已训练的第二神经网络模型对所述局部图像进行分类，其中，所述第二神经网络模型用于检测图像所包含的产品存在的表面疵点的类型，所述局部图像是第二成像装置根据所述位置信息采集得到的。

在一个方面，所述第一神经网络模型是利用第一组样本图像训练得到的，以及，所述第二神经网络模型是利用第二组样本图像训练得到的；其中，所述第一组样本图像是基于第一规则集中的规则从包含多个不存在表面疵点的正常图像和多个存在表面疵点的问题图像的多个样本图像中选取的，所述第二组样本图像是基于第二规则集中的规则从包含多种类型的表面疵点的多个样本图像中选取的。

在另一个方面，所述第一成像装置包括固定的一个或多个摄像头，所述第二成像装置包括可移动的一个或多个摄像头。

在又一个方面，所述第一神经网络模型是卷积神经网络模型，以及所述第二神经网络模型是基于区域的卷积神经网络模型。

从以上的描述可以看出，对行进中的长产品进行检测，检测速度是关键指标，如果只采用一个神经模型既检测是否存在表面疵点，又检测表面疵点的类型，检测算法运算的速度就会比较慢，为了等待检测算法的检测结果，就需要降低长产品的行进速度，而本发明的实施例的方案采用第一神经网络模型检测第一成像装置采集的全局图像是否存在表面疵点，采用第二神经网络模型检测第二成像装置采集的局部图像中包含的表面疵点的类型，由于第一神经网络模型的算法简化了许多，因此运算速度较快，即使第二神经网络模型的运算速度较慢，也不影响长产品的行进速度，因为第二神经网络模型的运算结果不是检测过程中需要立刻获取的，可以延迟输出结果，因此本发明实施例的方案其能够持续地以较高的检测准确度来检测图像所包含的产品是否存在表面疵点，并有效提高了行进中的长产品的表面疵点检测速度。

图4示出了按照本发明的一个实施例的行进中的长产品的表面疵点检测装置的示意图。图4所示的装置400可以利用软件、硬件或软硬件结合的方式来实现。装置400例如可以安装在计算机或其他合适的具有计算能力的电子设备中。

如图4所示，装置400可以包括检测模块402和分类模块404。检测模块402用于获取行进中的长产品当前位于检测区域的全局图像，利用已训练的第一神经网络模型对所述全局图像进行检测，其中，所述第一神经网络模型用于检测图像所包含的产品是否存在表面疵点以及确定表面疵点的位置信息，所述全局图像第一成像装置采集得到的。分类模块404用于如果所述全局图像所包含的产品存在表面疵点，则获取所述全局图像所对应的产品中包含表面疵点的局部图像，利用已训练的第二神经网络模型对所述局部图像进行分类，其中，所述第二神经网络模型用于检测图像所包含的产品存在的表面疵点的类型，所述局部图像是第二成像装置根据所述位置信息采集得到的。

在一个方面，所述第一神经网络模型是利用第一组样本图像训练得到的，以及，所述第二神经网络模型是利用第二组样本图像训练得到的；其中，所述第一组样本图像是基于第一规则集中的规则从包含多个不存在表面疵点的正常图像和多个存在表面疵点的问题图像的多个样本图像中选取的，所述第二组样本图像是基于第二规则集中的规则从包含多种类型的表面疵点的多个样本图像中选取的。

在另一个方面，所述第一成像装置包括固定的一个或多个摄像头，所述第二成像装置包括可移动的一个或多个摄像头。

在又一个方面，所述第一神经网络模型是卷积神经网络模型，以及所述第二神经网络模型是基于区域的卷积神经网络模型。

以上实施例是从功能模块化的角度对本申请实施例提供的装置进行介绍，下面将从硬件实体化的角度对本申请实施例提供的装置进行说明。

在本申请实施例中，还提供一种电子设备，该电子设备可以包括处理器、以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中的行进中的长产品的表面疵点检测方法的步骤。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图5来描述根据本申请的实施例的电子设备。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。

如图5所示，电子设备500以通用计算设备的形式表现。电子设备500可以包括处理器502和存储器504，其中，存储器504上存储有可执行指令，其中，所述可执行指令当被执行时使得处理器502执行上述任意一个实施例中的行进中的长产品的表面疵点检测方法。

如图5所示，电子设备500还可以包括连接不同系统组件(包括处理器502和存储器504)的总线506。总线506表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备500典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备500访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器504可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)508和和/或高速缓存存储器510。电子设备500可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统512可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线506相连。存储器504可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行上述任意一个实施例中的行进中的长产品的表面疵点检测方法。

具有一组(至少一个)程序模块516的程序/实用工具514，可以存储在例如存储器504中，这样的程序模块516包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块516通常执行上述任意一个实施例中的行进中的长产品的表面疵点检测方法。

电子设备500也可以与一个或多个外部设备522(例如键盘、指向设备、显示器524等)通信，还可与一个或者多个使得用户能与该电子设备500交互的设备通信，和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口518进行。并且，电子设备500还可以通过网络适配器520与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器520通过总线506与电子设备500的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器502通过运行存储在存储器504中的程序，从而执行各种功能应用以及数据处理，例如实现上述任意一个实施例中的行进中的长产品的表面疵点检测方法。

本申请实施例中还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序包括可执行指令，当该可执行指令被处理器执行时，实施上述任意一个实施例中的行进中的长产品的表面疵点检测方法的步骤。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书的行进中的长产品的表面疵点检测方法中描述的根据本公开各种示例性实施例的步骤。

根据本公开的实施例的用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

上面结合附图阐述的具体实施方式描述了示例性实施例，但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。

本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

Claims (10)

1.行进中的长产品的表面疵点检测方法，包括：

获取行进中的长产品当前位于检测区域的全局图像，利用已训练的第一神经网络模型对所述全局图像进行检测，其中，所述第一神经网络模型用于检测图像所包含的产品是否存在表面疵点以及确定表面疵点的位置信息，所述全局图像是第一成像装置采集得到的；

如果所述全局图像所包含的产品存在表面疵点，则获取所述全局图像所对应的产品中包含表面疵点的局部图像，利用已训练的第二神经网络模型对所述局部图像进行分类，其中，所述第二神经网络模型用于检测图像所包含的产品存在的表面疵点的类型，所述局部图像是第二成像装置根据所述位置信息采集得到的。

2.根据权利要求1所述的方法，其中，

所述第一神经网络模型是利用第一组样本图像训练得到的，以及，所述第二神经网络模型是利用第二组样本图像训练得到的；

其中，所述第一组样本图像是基于第一规则集中的规则从包含多个不存在表面疵点的正常图像和多个存在表面疵点的问题图像的多个样本图像中选取的，所述第二组样本图像是基于第二规则集中的规则从包含多种类型的表面疵点的多个样本图像中选取的。

3.根据权利要求1所述的方法，其中，

所述第一成像装置包括固定的一个或多个摄像头，所述第二成像装置包括可移动的一个或多个摄像头。

4.根据权利要求1、2或3所述的方法，其中，

所述第一神经网络模型是卷积神经网络模型，以及

所述第二神经网络模型是基于区域的卷积神经网络模型。

5.行进中的长产品的表面疵点检测装置，包括：

检测模块，用于获取行进中的长产品当前位于检测区域的全局图像，利用已训练的第一神经网络模型对所述全局图像进行检测，其中，所述第一神经网络模型用于检测图像所包含的产品是否存在表面疵点以及确定表面疵点的位置信息，所述全局图像第一成像装置采集得到的；

分类模块，用于如果所述全局图像所包含的产品存在表面疵点，则获取所述全局图像所对应的产品中包含表面疵点的局部图像，利用已训练的第二神经网络模型对所述局部图像进行分类，其中，所述第二神经网络模型用于检测图像所包含的产品存在的表面疵点的类型，所述局部图像是第二成像装置根据所述位置信息采集得到的。

6.根据权利要求5所述的装置，其中，

所述第一神经网络模型是利用第一组样本图像训练得到的，以及，所述第二神经网络模型是利用第二组样本图像训练得到的；

其中，所述第一组样本图像是基于第一规则集中的规则从包含多个不存在表面疵点的正常图像和多个存在表面疵点的问题图像的多个样本图像中选取的，所述第二组样本图像是基于第二规则集中的规则从包含多种类型的表面疵点的多个样本图像中选取的。

7.根据权利要求5所述的装置，其中，

所述第一成像装置包括固定的一个或多个摄像头，所述第二成像装置包括可移动的一个或多个摄像头。

8.根据权利要求5、6或7所述的装置，其中，

所述第一神经网络模型是卷积神经网络模型，以及

所述第二神经网络模型是基于区域的卷积神经网络模型。

9.电子设备，包括：

处理器；以及

存储器，其上存储有可执行指令；

其中，所述处理器配置为执行所述可执行指令以实施如权利要求1-4任一项所述的方法。

10.计算机可读存储介质，其上存储有计算机程序，所述计算机程序包括可执行指令，当所述可执行指令被处理器执行时，实施如权利要求1-4任一项所述的方法。