皮革制品缺陷检测方法和装置
技术领域
本发明涉及机器学习技术领域,具体涉及一种皮革制品缺陷检测方法、一种皮革制品缺陷检测装置、一种计算机设备、一种非临时性计算机可读存储介质和一种计算机程序产品。
背景技术
皮革制品可能会因皮革自身因素或制造因素,导致成品存在缺陷,例如缺损、错位等。因此有必要在投入市场前进行缺陷检测。
目前对于皮革制品缺陷的检测大多是通过人工视力观察的方式来完成的,速度慢,效率低下,人工成本高。
发明内容
本发明为解决上述技术问题,提供了一种皮革制品缺陷检测方法和装置,检测效率较高、速度较快,人工成本较低,且检测准确率较高。
本发明采用的技术方案如下:
一种皮革制品缺陷检测方法,包括以下步骤:获取样本数据集,其中,所述样本数据集中包含多个存在皮革制品缺陷的样本产品图像和多个不存在皮革制品缺陷的样本产品图像;通过所述样本数据集对引入子空间注意力机制的卷积神经网络进行训练,得到皮革制品缺陷检测模型;获取待检测产品图像;将所述待检测产品图像输入所述皮革制品缺陷检测模型,以判断是否存在皮革制品缺陷。
所述卷积神经网络为紧凑型卷积神经网络,所述子空间注意力机制为超轻量化子空间注意力机制。
所述紧凑型卷积神经网络为MobileNet,包含超轻量化子空间注意力模块ULSAM。
一种皮革制品缺陷检测装置,包括:第一获取模块,所述第一获取模块用于获取样本数据集,其中,所述样本数据集中包含多个存在皮革制品缺陷的样本产品图像和多个不存在皮革制品缺陷的样本产品图像;训练模块,所述训练模块用于通过所述样本数据集对引入子空间注意力机制的卷积神经网络进行训练,得到皮革制品缺陷检测模型;第二获取模块,所述第二获取模块用于获取待检测产品图像;检测模块,所述检测模块用于将所述待检测产品图像输入所述皮革制品缺陷检测模型,以判断是否存在皮革制品缺陷。
所述卷积神经网络为紧凑型卷积神经网络,所述子空间注意力机制为超轻量化子空间注意力机制。
所述紧凑型卷积神经网络为MobileNet,包含超轻量化子空间注意力模块ULSAM。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现上述皮革制品缺陷检测方法。
一种非临时性计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述皮革制品缺陷检测方法。
一种计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,执行上述皮革制品缺陷检测方法。
本发明的有益效果:
本发明通过大量的样本产品图像对引入子空间注意力机制的卷积神经网络进行训练,得到皮革制品缺陷检测模型,并通过该皮革制品缺陷检测模型检测待检测皮革制品是否存在缺陷,由此,检测效率较高、速度较快,人工成本较低,且检测准确率较高。
附图说明
图1为本发明实施例的皮革制品缺陷检测方法的流程图;
图2为本发明一个实施例的子空间注意力机制的原理示意图;
图3为本发明一个实施例的特征提取流程示意图;
图4为本发明一个实施例的矩阵化图像示意图;
图5为本发明实施例的皮革制品缺陷检测装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例的皮革制品缺陷检测方法包括以下步骤:
S1,获取样本数据集,其中,样本数据集中包含多个存在皮革制品缺陷的样本产品图像和多个不存在皮革制品缺陷的样本产品图像。
在本发明的一个实施例中,可通过相机对大量的样本产品进行拍照,例如可通过工业相机对皮革制品进行拍照,在拍照时可在漫反射环境中连续曲面打光,以得到高质量的样本产品图像。可将样本产品是否存在皮革制品缺陷作为样本标签,与样本产品图像一起存储,构成样本数据集。
在本发明的一个实施例中,样本产品中存在皮革制品缺陷与不存在皮革制品缺陷的比例可以为或接近1:1。
S2,通过样本数据集对引入子空间注意力机制的卷积神经网络进行训练,得到皮革制品缺陷检测模型。
在本发明的一个实施例中,卷积神经网络为紧凑型卷积神经网络,子空间注意力机制为超轻量化子空间注意力机制。也就是说,本发明实施例利用引入超轻量化子空间注意力机制的紧凑型卷积神经网络得到检测模型。举例而言,紧凑型卷积神经网络可为MobileNet,包含超轻量化子空间注意力模块ULSAM(Ultra-Lightweight SubspaceAttention Module)。
紧凑型卷积神经网络为在原卷积神经网络的基础上采用卷积核拆分、多通道融合等策略减小参数数量,同时增加网络的深度得到的,紧凑型卷积神经网络的网络架构在与原卷积神经网络容量相当的前提下参数数量减少,计算量减小。
自注意力机制在视觉模型中的部署迅速发展,与卷积运算符不同,自注意力提供了无限的感受野,并实现了对全局依赖关系的高效计算建模。但是,现有的最新注意力机制会导致较高的计算和/或参数开销,因此不适合紧凑型卷积神经网络。本发明实施例引入的超轻量化子空间注意力机制,如图2所示,其对于输入的特征,可分为多个特征图子空间,从而可为每个特征图子空间推断出不同的注意力图。引入了子空间注意力机制的卷积神经网络的具体特征提取流程如图3所示,对于每个子空间高度h、宽度w图像特征的提取包括DW(Depthwise)卷积操作、Max Pool操作、PW(Pointwise)卷积操作及结果的相乘、相加,最后将每个子空间提取到的特征进行卷积,得到最终的特征。
本发明实施例引入的超轻量化子空间注意力机制,针对每个特征子空间倾斜单独的注意力图可以实现多尺度和多频率的特征表示,这对于细粒度的图像分类而言更为理想。超轻量化子空间注意力机制是正交的,并且与视觉模型中使用的现有最新注意机制互补。可进行端到端训练,并且可以作为现成的紧凑型卷积神经网络中的即插即用模块进行部署。通过使用子空间注意力机制,能够提高紧凑型卷积神经网络的效率。
S3,获取待检测产品图像。
同样地,可通过相机对皮革制品进行拍照,在拍照时可在漫反射环境中连续曲面打光,以得到高质量的待检测产品图像。
此外,在本发明的实施例中,如果步骤S1中获取的样本产品图像和该步骤中获取的待检测产品图像中包含皮革制品之外的物体例如环境背景,则还可通过模板匹配法来获取图像中的皮革制品区域,并截取皮革制品区域作为训练和检测用图像。具体地,参照图4,首先可将样本产品图像分解为矩阵形式,并将矩阵形式的图像中的特征按照坐标进行排列。矩阵化处理后,图像中的特征较为明显,例如,如图4所示,可方便快速地选取出像素值为30的像素。可通过OpenCV,运行函数matchTemplate,将皮革制品模板图像与整体图像相应大小的区域进行一一匹配,从而得到皮革制品的像素区域及其像素坐标。
S4,将待检测产品图像输入皮革制品缺陷检测模型,以判断是否存在皮革制品缺陷。
通过将待检测皮革制品图像输入皮革制品缺陷检测模型,可得到其是否存在皮革制品缺陷的输出结果。
另外,在得到检测结果时,还可发出相应的检测结果信息,例如可在检测到皮革制品缺陷时发出报警信息,输出高低电平信号,或发出操作指示信号等。
根据本发明实施例的皮革制品缺陷检测方法,通过大量的样本产品图像对引入子空间注意力机制的卷积神经网络进行训练,得到皮革制品缺陷检测模型,并通过该皮革制品缺陷检测模型检测待检测皮革制品是否存在缺陷,由此,检测效率较高、速度较快,人工成本较低,且检测准确率较高。
对应上述实施例的皮革制品缺陷检测方法,本发明还提出一种皮革制品缺陷检测装置。
如图5所示,本发明实施例的皮革制品缺陷检测装置包括第一获取模块10、训练模块20、第二获取模块30和检测模块40。其中,第一获取模块10用于获取样本数据集,其中,样本数据集中包含多个存在皮革制品缺陷的样本产品图像和多个不存在皮革制品缺陷的样本产品图像;训练模块20用于通过样本数据集对引入子空间注意力机制的卷积神经网络进行训练,得到皮革制品缺陷检测模型;第二获取模块30用于获取待检测产品图像;检测模块40用于将待检测产品图像输入皮革制品缺陷检测模型,以判断是否存在皮革制品缺陷。
在本发明的一个实施例中,卷积神经网络为紧凑型卷积神经网络,子空间注意力机制为超轻量化子空间注意力机制。也就是说,本发明实施例利用引入超轻量化子空间注意力机制的紧凑型卷积神经网络得到检测模型。举例而言,紧凑型卷积神经网络可为MobileNet,包含超轻量化子空间注意力模块ULSAM。
紧凑型卷积神经网络为在原卷积神经网络的基础上采用卷积核拆分、多通道融合等策略减小参数数量,同时增加网络的深度得到的,紧凑型卷积神经网络的网络架构在与原卷积神经网络容量相当的前提下参数数量减少,计算量减小。
自注意力机制在视觉模型中的部署迅速发展,与卷积运算符不同,自注意力提供了无限的感受野,并实现了对全局依赖关系的高效计算建模。但是,现有的最新注意力机制会导致较高的计算和/或参数开销,因此不适合紧凑型卷积神经网络。本发明实施例引入的超轻量化子空间注意力机制,如图2所示,其对于输入的特征,可分为多个特征图子空间,从而可为每个特征图子空间推断出不同的注意力图。引入了子空间注意力机制的卷积神经网络的具体特征提取流程如图3所示,对于每个子空间高度h、宽度w图像特征的提取包括DW(Depthwise)卷积操作、Max Pool操作、PW(Pointwise)卷积操作及结果的相乘、相加,最后将每个子空间提取到的特征进行卷积,得到最终的特征。
本发明实施例引入的超轻量化子空间注意力机制,针对每个特征子空间倾斜单独的注意力图可以实现多尺度和多频率的特征表示,这对于细粒度的图像分类而言更为理想。超轻量化子空间注意力机制是正交的,并且与视觉模型中使用的现有最新注意机制互补。可进行端到端训练,并且可以作为现成的紧凑型卷积神经网络中的即插即用模块进行部署。通过使用子空间注意力机制,能够提高紧凑型卷积神经网络的效率。
在本发明的实施例中,如果第一获取模块10获取的样本产品图像和第二获取模块30获取的待检测产品图像中包含皮革制品之外的物体例如环境背景,则第一获取模块10和第二获取模块30还可通过模板匹配法来获取图像中的皮革制品区域,并截取皮革制品区域作为训练和检测用图像。具体地,参照图4,首先可将样本产品图像分解为矩阵形式,并将矩阵形式的图像中的特征按照坐标进行排列。矩阵化处理后,图像中的特征较为明显,例如,如图4所示,可方便快速地选取出像素值为30的像素。可通过OpenCV,运行函数matchTemplate,将皮革制品模板图像与整体图像相应大小的区域进行一一匹配,从而得到皮革制品的像素区域及其像素坐标。
检测模块40通过将待检测皮革制品图像输入皮革制品缺陷检测模型,可得到其是否存在皮革制品缺陷的输出结果。
另外,在得到检测结果时,还可通过结果指示模块发出相应的检测结果信息,例如可在检测到皮革制品缺陷时发出报警信息,输出高低电平信号,或发出操作指示信号等。
根据本发明实施例的皮革制品缺陷检测装置,通过大量的样本产品图像对引入子空间注意力机制的卷积神经网络进行训练,得到皮革制品缺陷检测模型,并通过该皮革制品缺陷检测模型检测待检测皮革制品是否存在缺陷,由此,检测效率较高、速度较快,人工成本较低,且检测准确率较高。
对应上述实施例,本发明还提出一种计算机设备。
本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行该计算机程序时,可实现根据本发明上述实施例所述的皮革制品缺陷检测方法。
根据本发明实施例的计算机设备,处理器执行存储在存储器上的计算机程序时,通过大量的样本产品图像对引入子空间注意力机制的卷积神经网络进行训练,得到皮革制品缺陷检测模型,并通过该皮革制品缺陷检测模型检测待检测皮革制品是否存在缺陷,由此,检测效率较高、速度较快,人工成本较低,且检测准确率较高。
对应上述实施例,本发明还提出一种非临时性计算机可读存储介质。
本发明实施例的非临时性计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时可实现根据本发明上述实施例所述的皮革制品缺陷检测方法。
根据本发明实施例的非临时性计算机可读存储介质,处理器执行存储在其上的计算机程序时,通过大量的样本产品图像对引入子空间注意力机制的卷积神经网络进行训练,得到皮革制品缺陷检测模型,并通过该皮革制品缺陷检测模型检测待检测皮革制品是否存在缺陷,由此,检测效率较高、速度较快,人工成本较低,且检测准确率较高。
对应上述实施例,本发明还提出一种计算机程序产品。
当本发明实施例的计算机程序产品中的指令由处理器执行时,可执行根据本发明上述实施例所述的皮革制品缺陷检测方法。
根据本发明实施例的计算机程序产品,处理器执行其中的指令时,通过大量的样本产品图像对引入子空间注意力机制的卷积神经网络进行训练,得到皮革制品缺陷检测模型,并通过该皮革制品缺陷检测模型检测待检测皮革制品是否存在缺陷,由此,检测效率较高、速度较快,人工成本较低,且检测准确率较高。
在本发明的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必针对相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。