CN113034455B - 一种平面物件麻点检测方法 - Google Patents

Abstract

一种平面物件麻点检测方法，包括如下步骤：S1：将黑白条纹结构光打在待检测的平面物件上；S2：使用工业相机拍摄条纹照射在物件上的部分；S3：位移物件或相机使条纹遍历整个物件的麻点并同时进行拍摄；S4：对图像进行目标检测网络的通道堆叠和下采样，使得图像的尺寸下降；S5：训练网络对通道的数量进行压缩和滤除，筛掉对检测结果预测影响较小的通道；S6：将图像序列输入至目标检测网络进行麻点检测；S7：融合检测结果，得到整个物件上的麻点检测结果。该方法凸显了麻点凹凸性，一定程度上消除细小灰尘，平面磨砂对检测结果的影响，无需系统标定，对条纹的间距要求低，鲁棒性较高，不需要生成无缺陷物件标准模板。

Description

一种平面物件麻点检测方法

技术领域

本发明涉及机器视觉和计算机视觉技术领域，尤其涉及一种平面物件麻点检测方法。

背景技术

麻点是光滑物件比如金属或者玻璃上表面形成的凹坑或者不平的粗糙面。因物件材料，物件形状，麻点产生方式，麻点尺寸大小不同导致物件麻点具有多样性，比如钢板上的麻点是因轧制之前氧化铁片没有清理或清理不彻底导致的，其特点为尺度大，连续成片；玻璃板上的麻点为灰尘导致，其特点是尺寸小，麻点个数少。麻点是一种允许存在的缺陷，当麻点深度较浅时可被打磨掉，但深度较深该物件则为残次品影响之后的处理。因此需要进行麻点检测，判断生产的物件是否合格。

随着技术的发展，机器视觉被广泛的运用至工业，农业，医药等领域。其目的是使用电光源照明技术，光学成像技术，传感器技术，图像处理技术，机械工程技术代替人处理高精度，高重复性，高速度，长时间的工作。机器视觉系统包含光源，图像捕捉单元，数字图像处理模块，智能决策单元。对于平面物件麻点检测系统，首先对其打光，使用工业相机拍摄图像，使用数字图像处理技术提取麻点部分，智能决策单元判断物件是否合格。

例如，使用明场成像拍摄物件，当物件表面光滑时发生镜面发射，光线直接进入相机中，当物件表面为凹凸不平的麻点时，发生漫反射，进入相机的光线变少。从图像角度讲，麻点部分相比物件光滑部分较暗，之后使用阈值分割的方法可以提取出较暗的麻点区域，根据区域的大小判断物件是否合格。该方法缺点有：拍摄环境要求高，当灰尘在物件上时，拍摄图像的灰尘部分也较暗，会影响最后的结果；同时要求物件的反射系数较高，当物件为透明的玻璃板时，少量光线被反射至相机，麻点与光滑区域的对比度小，难以区分。

除此以外，也可以使用结构光相位比对方法，其步骤为：将条纹结构光投影至平面物件的表面，当条纹光遇见凹凸不平的麻点时发生弯曲；使用相机拍摄条纹在物件上发生的形变；解调该弯曲获得相位图。同时对无缺陷的原件进行上述步骤获取标准物件模板相位图，通过对比待检测物件和模板物件相位图，可以得到缺陷信息。该方法的缺点有：需要进行系统标定，包括系统的几何参数标定，相机和投影设备标定，否则会产生误差；对条纹光要求较高，当投影的条纹发生畸变时，会严重影响结果；同时需要无缺陷物件创建标准物件模板相位图，对于不同物件，不同摆设方式泛化性能差。

以上背景技术内容的公开仅用于辅助理解本专利申请的专利申请构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明为了解决现有的问题，提供结构光成像下尺寸压缩平面物件麻点检测方法。

S1：将黑白条纹结构光打在待检测的平面物件上；

S2：使用工业相机拍摄条纹照射在物件上的部分；

S3：位移物件或相机使条纹遍历整个物件的麻点并同时进行拍摄；

S4：对图像进行通道堆叠下采样，使得图像的尺寸下降；

S5：训练网络对通道进行压缩和滤除，筛掉对检测结果预测影响较小的通道；

S6：将图像序列输入至目标检测网络进行麻点检测；

S7：融合检测结果，得到整个物件上的麻点检测结果。

进一步地：

步骤S1中，对于期望可分辨最小麻点尺寸S，将间距为L的黑白条纹打在待测物件上，L的取值区间范围在[2S，10S]中。

步骤S2中，对于期望可分辨最小麻点尺寸S，最少由5个像素表示，当拍摄范围大小为H×W，则相机的像素数至少为25×H/S×W/S，其中H，W分别为实际拍摄场景的长度与宽度。

步骤S3中，对于期望可分辨最小麻点尺寸S，间距为L的条纹，沿着垂直于条纹方向进行位移，每次位移的长度为2S，一共位移的距离为L-2S，当选定的条纹间距L小于2S时不进行位移，每次位移都拍摄图像，一共拍摄L/2S张图像，除法结果向上取整。

步骤S4中，将图像分成大小为M×N的方格，每个方格按照从左到右，从上至下的顺序进行通道堆叠，下采样后图像尺寸变为原图的(1/M)×(1/N)，通道数变为原先的M×N倍。

优选地，步骤S5中，所述通道压缩网络包括一个平均池化层、三个大小为1x1的卷积层、一个Gumbel-softmax采样环节以及相乘环节，步骤S4的结果作为输入，先后经过平均池化层、1个1x1卷积层、2个并行的1x1卷积层、Gumbel-softmax采样环节，得到采样张量，将所述采样张量和所述输入经过相乘环节得到单张输入图像。

优选地，步骤S4的结果作为输入先后经过平均池化层，1个1x1卷积层，2个并行的1x1卷积层得到通道打开和通道关闭中间变量。两个变量经过Gumbel-softmax采样环节，得到通道采样张量，采样张量和步骤S4的结果经过逐元素相乘环节得到输入图像。

步骤S6中，使用深度学习目标检测算法处理每张经过通道堆叠下采样，以及通道压缩后的图像，得到每张图像的检测结果。

步骤S6中，替换目标检测网络的第一个卷积层，使目标检测网络第一层卷积核与输入的通道数对应。

步骤S7中，所述融合检测结果包括一个迭代统计的过程，其中，以第1张图像检测结果为初始基准，第i张检测结果位移(i-1)×2S，计算第i张麻点结果和已融合的检测到的麻点的交并比，当交并比小于阈值时认定其为新检测到的麻点，保留第i张麻点结果，否则认定其为已检测到的麻点，去除其检测结果。一种计算机可读存储介质，存储有计算机程序，所述计算机程序由处理器执行时，实现所述的方法。

本发明的有益效果有：

采用结构光成像相比普通明暗场成像，凸显了麻点凹凸性，当麻点与黑白条纹相交时，有明显的几何轮廓信息，对于灰尘其轮廓信息和麻点不同可区分，一定程度上可以消除灰尘对检测的影响，同理也可以消除磨砂的影响。

采用深度学习目标检测方法相比结构光相位比对方法，不需要进行复杂的系统标定，不需要无缺陷物件生成标准物件模板相位图，同时对物件的摆设方式要求低，泛化性能强。

采用位移物件遍历拍摄方法，可以保证所有的麻点均可以被检测到，同时计算交并比滤除冗余检测结果，保证麻点检测结果的唯一性和准确性。

采用通道堆叠下采样，较大的图像在不损失信息的情况下转换为小尺寸数据，通过对图像堆叠下采样后输入的尺寸变小，但其所带有的信息并没有减少，避免了为符合检测网络的输入尺寸要求，将大尺寸高分辨的图像进行下采样，而导致细节信息丢失使得网络对小尺寸缺陷的检测能力下降。数据经过通道压缩网络后滤出了冗余信息，使得检测速度得到增加，冗余的滤除对检测性能也有一定的提升。使得输入高分辨大尺寸工业图像下，网络的推理速度仍然较快。

附图说明

图1是本发明实施例的平面物件麻点检测方法的流程图。

图2是本发明实施例的平面物件麻点检测方法的原理示意图。

图3是本发明实施例中的物件位移拍摄示意图。

图4是本发明实施例中的通道堆叠下采样示意图。

图5是本发明实施例中的通道压缩网络示意图。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

如图1和图2所示，本发明实施例提供一种结构光成像下尺寸压缩的平面物件麻点检测方法。以玻璃板上的麻点检测为例，需要检测的麻点最小尺寸S为0.1毫米，物件的大小为50mm×50mm。实施例的检测方法具体可以包括如下步骤：

步骤S1：将黑白条纹结构光打在待检测的平面物件上，对于期望可分辨的麻点的最小尺寸S，将间距为L的黑白条纹打在待测的物体上，其中L的取值区间范围在[2S，10S]中；

在本发明的一种实施例中，黑白条纹结构光通过光刻板遮挡LED灯阵列或者投影仪生成，黑白条纹结构光的条纹间距大小选取为5S，即为0.5毫米。

步骤S2：使用工业相机拍摄条纹照射在物件上的部分，对于尺寸S最少需要5个像素进行表示才可以准确的检测出，检测的范围为H×W，因此工业相机的分辨率至少为25×H/S×W/S。

如果一次拍摄整个物件范围，则需使用625万像素的工业相机进行拍摄，得到的图像可以有效检测到最小尺寸为0.1毫米的麻点，每张图像的大小为2500×2500。

步骤S3：位移物件使条纹遍历整个物件的麻点并同时进行拍摄；对于期望可分辨最小麻点尺寸S，间距为L的条纹，需要沿着垂直于条纹方向进行位移，每次位移的长度为2S，一共需要位移的距离为L-2S，当选定的条纹间距L的小于2S时不进行位移，每次位移都拍摄图像，一共拍摄L/2S张图像，除法结果向上取整。如图3所示，以上方法为在麻点的尺寸已知下，选取不同条纹间距长度，如何确定拍摄位移方案。

实施例中，物件每次位移的大小为0.2毫米，一共需要位移0.3毫米，位移的次数为2次，拍摄的图像个数为3张。

步骤S4：对图像进行通道堆叠下采样，使得图像的尺寸下降，将图像分成大小为M×N的方格，每个方格按照从左到右，从上至下的顺序进行通道堆叠，下采样后图像尺寸变为原图的(1/M)×(1/N)，通道数为原先的M×N倍。

通过通道堆叠，将尺寸过大原图缩放至网络可以接受的尺寸，相比传统下采样可以保留更多信息。

最初输入图片样本的通道数in_channels取决于图片的类型，例如，如果图片是彩色的，即RGB类型，这时候通道数固定为3，如果图片是灰色的，通道数为1。卷积完成之后，输出通道数out_channels取决于卷积核的数量。从这个方向理解，输出通道数所设置的就是卷积核的数目。对于第二层或者更多层的卷积，此时的输入通道数就是上一层的输出通道数，输出通道数仍取决于卷积核数目。

在实施例中，将1500×1500的图像分为3×3的小块，如图4所示，按照小块中的数字从左到右，从上至下进行通道堆叠，结果的大小为500×500×9，记为张量1。

步骤S5：训练网络对通道进行压缩和滤除，去除对检测结果预测影响较小的通道。

在实施例中，如图5涉及一个通道压缩网络包括：一个平均池化层，三个大小为1x1的卷积层，一个Gumbel-softmax采样，相乘环节。将尺寸为500×500×9张量1先后经过平均池化层，1个1x1卷积层，2个并行的1x1卷积层，Gumbel-softmax采样环节，得到采样张量，采样张量和张量1经过相乘环节得到张量2，张量2相比张量1特点在于有些通道被置零，尺寸为500×500×9，记为输入图像。

步骤S6：将图像序列输入至目标检测网络进行麻点检测，目标检测网络替换第一个卷积层，使第一层卷积核与输入网络的图像的通道数对应。

在实施例中，输入图像尺寸为500×500×9，通道数为9，改变第一个卷积输入通道数为9，输入至目标检测网络中，得到单张图像的结果。图像序列共包含3张图像，重复上述步骤，得到所有图像的结果。

通道压缩网络和目标检测网络是两个独立的网络，两者都包含卷积层。通道压缩网络作用是筛选通道，减少输入的通道个数，输出相比输入数据量减小，通道减少后的输出数据送进至后续目标检测网络中，可以降低目标检测网络计算数据的时间。目标检测网络的作用是根据输入的数据，预测图像中目标的类别，大小和位置，在本文中，目标特指麻点缺陷。

卷积层的卷积核与输入的数据的通道一致，因通道筛选网络会减改变数据的通道个数，改变通道的数据会传入目标检测网络中，因此可对应替换目标检测网络第一个卷积层。

步骤S7：融合检测结果，得到整个物件上的麻点检测结果，以第1张图像检测结果为初始基准，第i张检测结果位移(i-1)×2S，计算第i张麻点和前i-1融合结果中麻点的交并比，当交并比小于阈值时保留，否则舍去。

在实施例中，一共有3张图像结果，以第1张图像检测结果为初始基准，第2张检测结果麻点位置位移0.2毫米，计算位移后的第2张麻点检测结果和第一张麻点检测结果的交并比，设置阈值为0.5，当交并比小于0.5时，保留结果否则滤除，得到第1，2张的结果，第3张图像在第1，2张的结果上重复上述步骤，位移0.2毫米，计算第3张图像和第1，2张融合后麻点的交并比，低于阈值保留，高于滤除，最终得到整个物件上的麻点结果。

本发明实施例提供结构光成像下尺寸压缩平面物件麻点检测方法，将黑白条纹结构光打在待检测的平面物件上，使用工业相机拍摄条纹照射部分，位移物件使条纹遍历整个物件的麻点并同时进行拍摄。图像进行通道堆叠下采样，同时使用通道压缩网络滤除多余通道，将图像序列输入网络进行麻点检测，融合所有结果得到整个物件上的麻点检测结果。该方法凸显了麻点凹凸性，一定程度上消除细小灰尘，平面磨砂对检测结果的影响，对条纹的间距要求低，鲁棒性较高。

本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。

Claims (5)

1.一种平面物件麻点检测方法，其特征在于，包括如下步骤：

S1：将黑白条纹结构光打在待检测的平面物件上，当麻点与黑白条纹相交时产生几何轮廓信息，其中，对于期望可分辨最小麻点尺寸S，将间距为L的黑白条纹打在待测物件上，L的取值区间范围在[2S，10S]中；

S2：使用工业相机拍摄条纹照射在物件上的部分，其中，对于期望可分辨最小麻点尺寸S，最少由5个像素表示，当拍摄范围大小为H×W，则相机的像素数至少为25×H/S×W/S，其中H，W分别为拍摄场景的长度与宽度；

S3：位移物件或相机使条纹遍历整个物件的麻点并同时进行拍摄，遍历时获取整个物件的麻点与黑白条纹相交时产生了所述几何轮廓信息的各个图像，其中，对于期望可分辨最小麻点尺寸S，间距为L的条纹，沿着垂直于条纹方向进行位移，每次位移的长度为2S，一共位移的距离为L-2S，当选定的条纹间距L小于2S时不进行位移，每次位移都拍摄图像，一共拍摄L/2S张图像，除法结果向上取整；

S4：对图像进行通道堆叠下采样，使得图像的尺寸下降；

S5：训练网络对通道进行压缩和滤除，其中使用通道压缩网络，所述通道压缩网络包括一个平均池化层、三个大小为1x1的卷积层、一个Gumbel-softmax采样环节以及相乘环节，步骤S4的结果作为输入，先后经过平均池化层、1个1x1卷积层、2个并行的1x1卷积层、Gumbel-softmax采样环节，得到采样张量，将所述采样张量和所述输入经过相乘环节得到单张输入图像；

S6：使用深度学习目标检测网络处理每张经过通道堆叠下采样，以及通道压缩后的图像，进行麻点检测，得到每张图像的检测结果；

S7：融合检测结果，得到整个物件上的麻点检测结果。

2.如权利要求1所述的平面物件麻点检测方法，其特征在于，步骤S4中，将图像分成大小为M×N的方格，每个方格按照从左到右，从上至下的顺序进行通道堆叠，下采样后图像尺寸变为原图的(1/M)×(1/N)，通道数变为原先的M×N倍。

3.如权利要求1至2任一项所述的平面物件麻点检测方法，其特征在于，步骤S6中，替换目标检测网络中的第一个卷积层，使目标检测网络第一层卷积核与输入的通道数对应。

4.如权利要求1至2任一项所述的平面物件麻点检测方法，其特征在于，步骤S7中，所述融合检测结果包括一个迭代统计的过程，其中，以第1张图像检测结果为初始基准，第i张检测结果位移(i-1)×2S，计算第i张麻点结果和已融合的检测到的麻点的交并比，当交并比小于阈值时认定其为新检测到的麻点，保留第i张麻点结果，否则认定其为已检测到的麻点。

5.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序由处理器执行时，实现如权利要求1至4任一项所述的方法。

Images