纸张缺陷检测方法和装置
技术领域
本发明涉及机器学习技术领域,具体涉及一种纸张缺陷检测方法、一种纸张缺陷检测装置、一种计算机设备、一种非临时性计算机可读存储介质和一种计算机程序产品。
背景技术
纸张在生产完成后可能存在一些缺陷,例如刮痕、透明点、破损、黑斑、孔洞、皱褶、油斑等,因此有必要在投入市场或深加工前进行缺陷检测。
目前对于纸张缺陷的检测大多是通过人工视力观察的方式来完成的,速度慢,效率低下,人工成本高。
发明内容
本发明为解决上述技术问题,提供了一种纸张缺陷检测方法和装置,检测效率较高,人工成本较低,且检测准确率较高。
本发明采用的技术方案如下:
一种纸张缺陷检测方法,包括以下步骤:获取样本数据集,其中,所述样本数据集中包含多个存在纸张缺陷的样本产品图像和多个不存在纸张缺陷的样本产品图像;通过在引入自注意力机制的卷积神经网络中,将相邻的注意力模块相连接,以构建深度连接注意力网络;通过所述样本数据集对包含所述深度连接注意力网络的卷积神经网络进行训练,得到纸张缺陷检测模型;获取待检测产品图像;将所述待检测产品图像输入所述纸张缺陷检测模型,以判断是否存在纸张缺陷。
获取所述样本产品图像和所述待检测产品图像具体包括:通过线阵相机对卷动的纸张进行拍照得到纸张图像。
获取所述样本产品图像和所述待检测产品图像具体包括:在漫反射环境中连续曲面打光下,通过线阵相机对卷动的纸张进行拍照得到纸张图像。
在获取到所述样本产品图像或所述待检测产品图像后,还包括:采用邻域聚类法对自然光像素点进行分类,并进行滤波。
一种纸张缺陷检测装置,包括:第一获取模块,所述第一获取模块用于获取样本数据集,其中,所述样本数据集中包含多个存在纸张缺陷的样本产品图像和多个不存在纸张缺陷的样本产品图像;构建模块,所述构建模块用于通过在引入自注意力机制的卷积神经网络中,将相邻的注意力模块相连接,以构建深度连接注意力网络;训练模块,所述训练模块用于通过所述样本数据集对包含所述深度连接注意力网络的卷积神经网络进行训练,得到纸张缺陷检测模型;第二获取模块,所述第二获取模块用于获取待检测产品图像;检测模块,所述检测模块用于将所述待检测产品图像输入所述纸张缺陷检测模型,以判断是否存在纸张缺陷。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现上述纸张缺陷检测方法。
一种非临时性计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述纸张缺陷检测方法。
一种计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,执行上述纸张缺陷检测方法。
本发明的有益效果:
本发明通过在引入自注意力机制的卷积神经网络中,将相邻的注意力模块相连接,以构建深度连接注意力网络,并通过大量的样本产品图像对包含该深度连接注意力网络的卷积神经网络进行训练,得到纸张缺陷检测模型,以及通过该纸张缺陷检测模型检测待检测纸张是否存在缺陷,由此,检测效率较高,人工成本较低,且检测准确率较高。
附图说明
图1为本发明实施例的纸张缺陷检测方法的流程图;
图2为本发明一个实施例的深度连接注意力网络的结构示意图;
图3为本发明一个实施例的深度连接注意力网络中的数据流转过程示意图;
图4为本发明一个实施例的矩阵化图像示意图;
图5为本发明实施例的纸张缺陷检测装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例的纸张缺陷检测方法包括以下步骤:
S1,获取样本数据集,其中,样本数据集中包含多个存在纸张缺陷的样本产品图像和多个不存在纸张缺陷的样本产品图像。
在本发明的一个实施例中,可通过相机对大量的样本产品进行拍照,例如可通过工业相机对纸张进行拍照,在拍照时可在漫反射环境中连续曲面打光,以得到高质量的样本产品图像。可将样本产品是否存在纸张缺陷作为样本标签,与样本产品图像一起存储,构成样本数据集。
在本发明的一个实施例中,可通过线阵相机对卷动的纸张进行拍照得到纸张图像,即先通过一条一条的线状进行拍摄,后拼接为整张样本纸张图像。
在本发明的一个实施例中,样本产品中存在纸张缺陷与不存在纸张缺陷的比例可以为或接近1:1。
S2,通过在引入自注意力机制的卷积神经网络中,将相邻的注意力模块相连接,以构建深度连接注意力网络。
尽管自注意力机制已在许多视觉任务中显示出不错的性能,但它一次只考虑当前的特征,因此这种方式不能充分利用注意力机制。本发明实施例所构建的深度连接注意力网络,可以在不对卷积神经网络内部结构进行任何修改的情况下增强卷积神经网络中的注意力模块。为了实现这一点,如图2所示,可将相邻的注意力模块互连,从而使信息在注意力模块之间流动。深度连接注意力网络中的数据流转过程如图3所示,图3中E、T、F分别表示特征提取、特征变换和特征融合阶段,conv表示卷积,GAP(Global Average Pooling)表示全局平均池化,FC(Fully Connected)表示全连接,LN(Layer Normalization)表示层归一化,BN(Batch Normalization)表示批归一化,ReLU、Sigmoid、Softmax均为相应函数。基于上述深度连接注意力网络,可以对卷积神经网络中的所有注意力模块进行联合训练,从而提高了注意力学习的能力,提高算法运算效率。
S3,通过样本数据集对包含深度连接注意力网络的卷积神经网络进行训练,得到纸张缺陷检测模型。
S4,获取待检测产品图像。
在本发明的一个实施例中,可对卷动的待检测纸张进行缺陷检测,同样地,待检测产品图像可选用线扫相机拍摄得到,即先通过一条一条的线状进行拍摄,后拼接为整张待检测纸张图像。
非接触视觉检测技术的缺陷检测过程中,不可避免地会受到环境光、被测物表面强反射光等因素的干扰,造成测量数据出现噪声点,严重影响到点云分割、特征提取、曲面重建、误差分析等一系列的后续处理过程。因此,有必要首先对点云噪声进行滤除。在本发明的一个实施例中,在获取到样本产品图像或待检测产品图像后,还可采用邻域聚类法对自然光像素点进行分类,并进行滤波,使得成像效果满足后期目标检测算法进行特征聚类的需求。
此外,在本发明的实施例中,如果步骤S1中获取的样本产品图像和该步骤中获取的待检测产品图像中包含纸张之外的物体例如环境背景,则还可通过模板匹配法来获取图像中的纸张区域,并截取纸张区域作为训练和检测用图像。具体地,参照图4,首先可将样本产品图像分解为矩阵形式,并将矩阵形式的图像中的特征按照坐标进行排列。矩阵化处理后,图像中的特征较为明显,例如,如图4所示,可方便快速地选取出像素值为30的像素。可通过OpenCV,运行函数matchTemplate,将纸张模板图像与整体图像相应大小的区域进行一一匹配,从而得到纸张的像素区域及其像素坐标。
S5,将待检测产品图像输入纸张缺陷检测模型,以判断是否存在纸张缺陷。
通过将待检测纸张图像输入纸张缺陷检测模型,可得到其是否存在纸张缺陷的输出结果。
另外,在得到检测结果时,还可发出相应的检测结果信息,例如可在检测到纸张缺陷时发出报警信息,输出高低电平信号,或发出操作指示信号等。
根据本发明实施例的纸张缺陷检测方法,通过在引入自注意力机制的卷积神经网络中,将相邻的注意力模块相连接,以构建深度连接注意力网络,并通过大量的样本产品图像对包含该深度连接注意力网络的卷积神经网络进行训练,得到纸张缺陷检测模型,以及通过该纸张缺陷检测模型检测待检测纸张是否存在缺陷,由此,检测效率较高,人工成本较低,且检测准确率较高。
对应上述实施例的纸张缺陷检测方法,本发明还提出一种纸张缺陷检测装置。
如图5所示,本发明实施例的纸张缺陷检测装置包括第一获取模块10、构建模块20、训练模块30、第二获取模块40和检测模块50。其中,第一获取模块10用于获取样本数据集,其中,样本数据集中包含多个存在纸张缺陷的样本产品图像和多个不存在纸张缺陷的样本产品图像;构建模块20用于通过在引入自注意力机制的卷积神经网络中,将相邻的注意力模块相连接,以构建深度连接注意力网络;训练模块30用于通过样本数据集对包含深度连接注意力网络的卷积神经网络进行训练,得到纸张缺陷检测模型;第二获取模块40用于获取待检测产品图像;检测模块50用于将待检测产品图像输入纸张缺陷检测模型,以判断是否存在纸张缺陷。
在本发明的一个实施例中,可通过相机对大量的样本产品进行拍照,例如可通过工业相机对纸张进行拍照,在拍照时可在漫反射环境中连续曲面打光,以得到高质量的样本产品图像。可将样本产品是否存在纸张缺陷作为样本标签,与样本产品图像一起存储,构成样本数据集。
在本发明的一个实施例中,可通过线阵相机对卷动的纸张进行拍照得到纸张图像,即先通过一条一条的线状进行拍摄,后拼接为整张纸张图像。
在本发明的一个实施例中,样本产品中存在纸张缺陷与不存在纸张缺陷的比例可以为或接近1:1。
非接触视觉检测技术的缺陷检测过程中,不可避免地会受到环境光、被测物表面强反射光等因素的干扰,造成测量数据出现噪声点,严重影响到点云分割、特征提取、曲面重建、误差分析等一系列的后续处理过程。因此,有必要首先对点云噪声进行滤除。在本发明的一个实施例中,第一获取模块10和第二获取模块40在获取到样本产品图像或待检测产品图像后,还可分别采用邻域聚类法对自然光像素点进行分类,并进行滤波,使得成像效果满足后期目标检测算法进行特征聚类的需求。
此外,在本发明的实施例中,如果第一获取模块10获取的样本产品图像和第二获取模块40获取的待检测产品图像中包含纸张之外的物体例如环境背景,则还可通过模板匹配法来获取图像中的纸张区域,并截取纸张区域作为训练和检测用图像。具体地,参照图4,首先可将样本产品图像分解为矩阵形式,并将矩阵形式的图像中的特征按照坐标进行排列。矩阵化处理后,图像中的特征较为明显,例如,如图4所示,可方便快速地选取出像素值为30的像素。可通过OpenCV,运行函数matchTemplate,将纸张模板图像与整体图像相应大小的区域进行一一匹配,从而得到纸张的像素区域及其像素坐标。
尽管自注意力机制已在许多视觉任务中显示出不错的性能,但它一次只考虑当前的特征,因此这种方式不能充分利用注意力机制。本发明实施例所构建的深度连接注意力网络,可以在不对卷积神经网络内部结构进行任何修改的情况下增强卷积神经网络中的注意力模块。为了实现这一点,如图2所示,可将相邻的注意力模块互连,从而使信息在注意力模块之间流动。深度连接注意力网络中的数据流转过程如图3所示,图3中E、T、F分别表示特征提取、特征变换和特征融合阶段,conv表示卷积,GAP(Global Average Pooling)表示全局平均池化,FC(Fully Connected)表示全连接,LN(Layer Normalization)表示层归一化,BN(Batch Normalization)表示批归一化,ReLU、Sigmoid、Softmax均为相应函数。基于上述深度连接注意力网络,可以对卷积神经网络中的所有注意力模块进行联合训练,从而提高了注意力学习的能力,提高算法运算效率。
检测模块50通过将待检测纸张图像输入纸张缺陷检测模型,可得到其是否存在纸张缺陷的输出结果。
另外,在得到检测结果时,还可通过结果指示模块发出相应的检测结果信息,例如可在检测到纸张缺陷时发出报警信息,输出高低电平信号,或发出操作指示信号等。
根据本发明实施例的纸张缺陷检测装置,通过在引入自注意力机制的卷积神经网络中,将相邻的注意力模块相连接,以构建深度连接注意力网络,并通过大量的样本产品图像对包含该深度连接注意力网络的卷积神经网络进行训练,得到纸张缺陷检测模型,以及通过该纸张缺陷检测模型检测待检测纸张是否存在缺陷,由此,检测效率较高,人工成本较低,且检测准确率较高。
对应上述实施例,本发明还提出一种计算机设备。
本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行该计算机程序时,可实现根据本发明上述实施例所述的纸张缺陷检测方法。
根据本发明实施例的计算机设备,处理器执行存储在存储器上的计算机程序时,通过在引入自注意力机制的卷积神经网络中,将相邻的注意力模块相连接,以构建深度连接注意力网络,并通过大量的样本产品图像对包含该深度连接注意力网络的卷积神经网络进行训练,得到纸张缺陷检测模型,以及通过该纸张缺陷检测模型检测待检测纸张是否存在缺陷,由此,检测效率较高,人工成本较低,且检测准确率较高。
对应上述实施例,本发明还提出一种非临时性计算机可读存储介质。
本发明实施例的非临时性计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时可实现根据本发明上述实施例所述的纸张缺陷检测方法。
根据本发明实施例的非临时性计算机可读存储介质,处理器执行存储在其上的计算机程序时,通过在引入自注意力机制的卷积神经网络中,将相邻的注意力模块相连接,以构建深度连接注意力网络,并通过大量的样本产品图像对包含该深度连接注意力网络的卷积神经网络进行训练,得到纸张缺陷检测模型,以及通过该纸张缺陷检测模型检测待检测纸张是否存在缺陷,由此,检测效率较高,人工成本较低,且检测准确率较高。
对应上述实施例,本发明还提出一种计算机程序产品。
当本发明实施例的计算机程序产品中的指令由处理器执行时,可执行根据本发明上述实施例所述的纸张缺陷检测方法。
根据本发明实施例的计算机程序产品,处理器执行其中的指令时,通过在引入自注意力机制的卷积神经网络中,将相邻的注意力模块相连接,以构建深度连接注意力网络,并通过大量的样本产品图像对包含该深度连接注意力网络的卷积神经网络进行训练,得到纸张缺陷检测模型,以及通过该纸张缺陷检测模型检测待检测纸张是否存在缺陷,由此,检测效率较高,人工成本较低,且检测准确率较高。
在本发明的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必针对相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。