CN114820599B - 一种基于计算机视觉的注塑件卡扣缺陷检测方法及装置 - Google Patents

Abstract

本发明涉及人工智能技术领域，具体涉及到一种基于计算机视觉的注塑件卡扣缺陷检测方法及装置，包括：根据待检测的注塑件的图像，确定待检测的注塑件的种类，并根据待检测的注塑件的种类，确定该注塑件的各个卡扣的标准坐标；根据待检测的注塑件区域，确定N种坐标系，并根据该注塑件的各个卡扣的标准坐标，从N种坐标系中筛选出实际的坐标系；根据注塑件区域中各个卡扣的标准坐标分别在实际的坐标系下的卡扣位置点，获取每个卡扣位置点处的卡扣目标区域；对每个卡扣目标区域分别进行卡扣连通域检测，从而判断出卡扣是否存在缺陷。本发明提高了注塑件卡扣在检测过程中的效率以及检测结果的准确性，并减少了检测工作的工作量。

Description

一种基于计算机视觉的注塑件卡扣缺陷检测方法及装置

技术领域

本发明涉及人工智能和图像处理领域，具体涉及一种基于计算机视觉的注塑件卡扣缺陷检测方法及装置。

背景技术

卡扣在注塑件固定连接时，发挥着极大的作用。注塑件在注塑时会因为注塑不足或是脱模时受力不均等因素的影响，可能造成注塑件的卡扣不完整或变形等缺陷。在注塑件装配过程中，要求注塑件中的每一个卡扣都要卡装到位，一个没有卡装到位可能会给整台机器带来风险和隐患，所以提高卡扣缺陷检测的准确性能和效率性能就显得更外重要。

现有技术中对于注塑件卡扣的检测，主要有三种方式：（1）通过人工目视一个一个地检查传送带上的注塑件的卡扣，其工作量过大，可能会导致作业人员容易疲劳，进而造成车间作业效率大大下降，其缺陷检测结果的准确率也会降低；（2）使用电子摄像系统的多个电子摄像机进行对比检查，需对比的检测图像很多，导致电子摄像系统的检测工作量较大，影响生产效率；（3）利用深度学习的方法进行检测，由于该检测方法需要遍历各个注塑件图像的每一个像素点，因此需要大量的训练图像以及不断地人工标记数据，导致获取卡扣缺陷检测结果的过程比较繁琐，计算量较大，检测效率较低。

发明内容

本发明的目的在于提供一种基于计算机视觉的注塑件卡扣缺陷检测方法及装置，用于检测现有的卡扣检测率较低的问题。

为解决上述技术问题，本发明所采用的技术方案如下：

本发明提供了一种基于计算机视觉的注塑件卡扣缺陷检测方法，具体步骤如下：

获取待检测的注塑件的图像，并根据待检测的注塑件的图像，确定待检测的注塑件区域；

根据待检测的注塑件区域，确定待检测的注塑件的种类，并根据待检测的注塑件的种类，确定该注塑件的各个卡扣的标准坐标；

根据待检测的注塑件区域，按照设定的坐标系确定规则，确定N种坐标系，并根据该注塑件的各个卡扣的标准坐标，确定注塑件区域中各个卡扣的标准坐标分别在N种坐标系下的卡扣位置点；

根据注塑件区域中各个卡扣的标准坐标分别在N种坐标系下的卡扣位置点周围的像素灰度值，从N种坐标系中筛选出实际的坐标系；

根据注塑件区域中各个卡扣的标准坐标分别在实际的坐标系下的卡扣位置点，获取每个卡扣位置点处的卡扣目标区域；

对每个卡扣目标区域分别进行卡扣连通域检测，若没有检测到卡扣连通域，判定该卡扣目标区域所对应的卡扣存在缺陷，若检测到卡扣连通域，计算所检测出来的卡扣连通域所对应的凹陷率和平行度，并根据卡扣连通域所对应的凹陷率和平行度确定对应卡扣目标区域所对应的卡扣是否存在缺陷。

进一步的，根据注塑件区域中各个卡扣的标准坐标分别在N种坐标系下的卡扣位置点周围的像素灰度值，从N种坐标系中筛选出实际的坐标系的步骤包括：

以注塑件区域中各个卡扣的标准坐标在每种坐标系下的卡扣位置点为中心，确定待检测区域，并使该待检测区域不断向外扩张，计算每一次扩张前后该待检测区域内部的像素灰度方差；

判断每一个卡扣位置点所对应的各个像素灰度方差的变化规律是否满足设定规律，若满足设定规律，则将该卡扣位置点作为卡扣真实位置点；

分别计算在每种坐标系下的卡扣真实位置点的数目与在该坐标系下的所有卡扣位置点的总数目的比值，若该比值大于设定比值阈值，则将该种坐标系作为实际的坐标系。

进一步的，计算所检测出来的卡扣连通域所对应的凹陷率和平行度的步骤包括：

根据卡扣连通域，获取该卡扣连通域的行像素序列折线图和列像素序列折线图；

根据行像素序列折线图，计算水平方向凹陷率，根据列像素序列折线图，计算竖直方向凹陷率；

根据水平方向凹陷率和竖直方向凹陷率，计算卡扣连通域所对应的凹陷率。

进一步的，计算所检测出来的卡扣连通域所对应的凹陷率和平行度的步骤还包括：

根据列像素序列折线图，计算卡扣的上线和下线之间的距离以及卡扣最小凹陷距离；

根据卡扣的上线和下线之间的凹陷距离以及卡扣最小凹陷距离，计算所检测出来的卡扣连通域所对应的平行度。

进一步的，坐标系确定规则为：

以注塑件区域内最长的线段所在的方向作为坐标系的X轴方向，以该最长的线段的中心点作为坐标系的坐标原点，以过坐标原点且垂直于X轴的方向作为坐标系的Y轴方向。

进一步的，像素灰度方差变化的设定规律为：

卡扣目标区域的各个像素灰度方差中的其中一个像素灰度方差与其前一个像素灰度方差之间的差值的绝对值大于设定距离阈值。

本发明还提供了一种基于计算机视觉的注塑件卡扣缺陷检测装置，包括存储器和处理器以及存储在存储器中并在处理器上运行的计算机程序，处理器与存储器相耦合，处理器在执行计算机程序时实现上述的基于计算机视觉的注塑件卡扣缺陷检测方法。

本发明实施例具有如下有益效果：

通过在待检测的注塑件区域确定多个坐标系，进而得到待检测的注塑件的各个卡扣的标准坐标分别在N种坐标系下的卡扣位置点，通过对每种坐标系下的卡扣位置点周围的像素灰度值，可以确定待检测的注塑件区域实际的坐标系，此时根据注塑件区域中各个卡扣的标准坐标分别在实际的坐标系下的卡扣位置点，就可以获取各个卡扣位置点处的卡扣目标区域，进而对卡扣目标区域进行检测，确定每个卡扣目标区域的卡扣是否脱落以及在未脱落的情况下，通过获取待检测注塑件的卡扣的凹陷率和平行度，来实现对注塑件卡扣缺陷的检测。由于本发明通过建立坐标系的方式来确定待检测卡扣的位置信息，避免了对注塑件的其他区域进行遍历检测，提高了检测注塑件的卡扣缺陷的效率，同时也避免了因注塑件的旋转导致卡扣坐标发生变化，提高了检测注塑件卡缺陷的准确率，同时也大大地提高了工厂的生产效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明的一种基于计算机视觉的注塑件卡扣缺陷检测方法的概括流程图；

图2为本发明的一种基于计算机视觉的注塑件卡扣缺陷检测方法的详细流程图；

图3为本发明构建的坐标系1的示意图；

图4为本发明构建的坐标系2的示意图；

图5为本发明构建的坐标系3的示意图；

图6为本发明构建的坐标系4的示意图；

图7为本发明注塑件标准坐标系1的示意图；

图8为本发明注塑件标准坐标系2的示意图；

图9为本发明卡扣连通域示意图；

图10为本发明卡扣连通域的平行度示意图；

图11为本发明水平行像素序列图像的示意图；

图12为本发明竖直列像素序列图像的示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种结构件生产信息视觉测量方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一个实施例。此外，一个或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本发明提供了一种基于计算机视觉的注塑件卡扣缺陷检测方法，本发明所针对的具体场景为：工厂中传送带上的注塑件卡扣缺陷的检测，缺陷检测的流程为，利用工厂的传送带的斜上方安装的摄像头，采集各个种类注塑件的图像，各个种类的注塑件图像通过图像处理的方式进行卡扣缺陷检测，判定各个种类的注塑件的各个卡扣是否符合合格卡扣的安装要求，即判定各个种类的注塑件的各个卡扣是否存在缺陷。

下面结合附图具体的说明本发明所提供的一种基于计算机视觉的注塑件卡扣缺陷检测方法的具体方案。

请参阅图1和图2，其示出了本发明一个实施例提供的一种基于计算机视觉的注塑件卡扣缺陷检测方法的步骤流程图，该方法包括以下步骤：

步骤S1：获取待检测的注塑件的图像，并根据待检测的注塑件的图像，确定待检测的注塑件的连通域，具体步骤如下：

由摄像头获取待检测的注塑件的图像，将获取的待检测的注塑件的图像输入到预先构建并训练好的注塑件区域检测网络中，该注塑件区域检测网络由深度神经网络即DNN构成。 注塑件区域检测网络将输入的注塑件图像转换成二值图像输出，二值图像中包括注塑件区域和非注塑件区域，在二值图像中，注塑件区域的像素点标注为1，非注塑件区域的像素点标注为0。将输出的二值图像与输入前的注塑件的图像相乘，可获取注塑件的连通域，也就是注塑件区域。由于利用深度神经网络即DNN来构建注塑件区域检测网络以及对注塑件区域检测网络进行训练的过程均为现有技术，不在本发明保护范围内，此处不做详细阐述。

步骤S2：根据待检测的注塑件区域，确定待检测的注塑件的种类，并根据待检测的注塑件的种类，确定该注塑件的各个卡扣的标准坐标，具体步骤如下：

根据步骤S1所获取的待检测的注塑件的连通域，将待检测的注塑件的连通域输入到预先构建并训练好的识别注塑件种类网络中，该识别注塑件种类网络由神经网络构成，由识别注塑件种类网络确定待检测的注塑件的种类，进而根据待检测的注塑件的种类确定该注塑件的各个卡扣的标准坐标。

该识别注塑件种类网络的训练数据集为摄像头所采集的注塑件图像，由于注塑件的种类有很多，且随着时间的推移往往会出现一些新的注塑件种类，因此，每当需要对注塑件的新种类进行检测时，就需要将该新种类的注塑件的图像输入到识别注塑件种类网络中进行训练。当识别注塑件种类网络的功能达到的效果为，输入任意一个注塑件图像都可以准确输出与该图像相对应的注塑件种类，则表明识别注塑件种类网络训练成功。由于利用神经网络来构建识别注塑件种类网络以及对该识别注塑件种类网络进行训练的过程均属于现有技术，不在本发明保护范围内，此处不做详细阐述。

步骤S3：根据待检测的注塑件区域，按照设定的坐标系确定规则，确定N种坐标系，并根据该注塑件的各个卡扣的标准坐标，确定注塑件区域中各个卡扣的标准坐标分别在N种坐标系下的卡扣位置点，具体步骤如下：

其中，在获取每一种注塑件的各个卡扣的标准坐标时，首先是按照设定的坐标系确定规则，在该种注塑件区域建立坐标系，即以注塑件区域内最长的线段所在的方向作为坐标系的X轴方向，以该最长的线段的中心点作为坐标系的坐标原点，以过坐标原点且垂直于X轴的方向作为坐标系的Y轴方向。在确定该坐标系后，按照人工的方式来确定各个卡扣在该坐标系中的坐标，从而得到每一种注塑件的各个卡扣的标准坐标。

在对待检测的注塑件的卡扣缺陷情况进行检测时，按照同样的设定的坐标系确定规则，在待检测的注塑件区域建立坐标系，但是由于注塑件本身的一些因素，会导致建立的坐标系有多种可能性。例如，当待检测的注塑件为对称结构时，注塑件中存在两条最长的线段，就可能导致获取注塑件的各个卡扣的标准坐标时建立的坐标系和该在对待检测的注塑件进行卡扣缺陷检测时建立的坐标系的X轴选取不一致。如图3和图4所示，图3是获取注塑件的各个卡扣的标准坐标时建立的坐标系，这里简称为先验坐标系，图4是在对待检测的注塑件进行卡扣缺陷检测时建立的坐标系，这里简称为检测坐标系。该注塑件有两条最长边AD和BC，先验坐标系用AD作为X轴，检测坐标系用CB作为X轴，此时检测坐标系和先验坐标系是不一样的。

另外，当先验坐标系和检测坐标系的最长的线段即X轴选取一致时，但是X轴的正轴方向的指向选择不同，也会造成检测坐标系和先验坐标系是不一样的，如图3和图6所示，以AD作为X轴，如图4和图5所示，以BC作为X轴，但X轴的指向不同。以图3和图6为例，图3为先验坐标系，图6为检测坐标系，图3中X轴的指向是A→D，图6中X轴的指向是D→A，图6中的X轴方向与Y轴方向的指向和图3中完全相反，因此检测坐标系和先验坐标系是不一样的。

在建立检测坐标系时，如果在准确确定X轴的情况下可以准确的确定Y轴，此时建立的坐标系的可能数量N为X轴选取的可能数量的2倍。而为了实现在准确确定X轴的情况下可以准确的确定Y轴，检测坐标系可以由标准坐标系按照顺时针方向旋转得到。也就是，在建立先验坐标系时，如果Y轴是由X轴逆时针旋转90度确定，如图7所示，那么在建立检测坐标系时，Y轴也是由X轴逆时针旋转90度确定；如果Y轴是由X轴顺时针旋转90度确定，如图8所示，那么在建立检测坐标系时，Y轴也是由X轴顺时针旋转90度确定。通过这种方式，建立的检测坐标系的数目完全是由所确定的X轴的数目来确定的，有效减少了建立的坐标系的可能数量。

根据建立的N种坐标系和步骤S2中所确定的该种注塑件的各个卡扣的标准坐标，将该种类的注塑件的各个卡扣的标准坐标分别映射到N种坐标系中，从而可以确定注塑件区域中各个卡扣的标准坐标分别在N种坐标系下的卡扣位置点。

步骤S4：根据注塑件区域中各个卡扣的标准坐标分别在N种坐标系下的卡扣位置点周围的像素灰度值，从N种坐标系中筛选出实际的坐标系，具体步骤如下：

步骤S41：以注塑件区域中各个卡扣的标准坐标在每种坐标系下的卡扣位置点为中心，确定待检测区域，并使该待检测区域不断向外扩张，计算每一次扩张前后该待检测区域内部的像素灰度方差。

区域扩张的方法：在扩张时，以注塑件区域中各个卡扣的标准坐标在每种坐标系下的卡扣位置点为中心，以中心为区域扩张的起始点不断向外扩张，且每次向外扩张若干个像素点，得到每一次扩张前后该待检测区域内部的像素灰度方差。卡扣真实位置点的方差会出现一个突变点，该突变点出现在卡扣图像与背景图像交接处，错误的卡扣位置点是不会存在这个突变点的。

在本实施例中，该待检测区域以卡扣所占的区域面积为扩张范围的指标，即扩张区域不能过多地超过该种类注塑件的卡扣的区域面积，若扩张的面积过多地超过该种类注塑件的卡扣的区域面积，则会降低确定卡扣位置点的效率和准确性。并且区域扩张的次数是不确定的，具体的扩张次数是根据卡扣的位置点的实际扩张情况而确定。

步骤S42：根据获取的每一个卡扣位置点扩张前后该待检测区域内部的像素灰度方差，判断每一个卡扣位置点所对应的像素灰度方差的变化规律是否满足设定规律，若满足设定规律，则将该卡扣位置点作为卡扣真实位置点。

由于在卡扣的区域面积内，卡扣的位置点的扩张区域的像素灰度相似，方差变化小，即在卡扣区域面积内，该卡扣位置点的区域内部的像素灰度方差变化平稳；因为卡扣区域的像素灰度与注塑件区域的像素灰度存在较大的不同，表示在注塑件与该注塑件的卡扣的交界区域的像素灰度方差开始变大，即在交界区域的像素灰度方差变化发生突变；在注塑件的区域面积内，卡扣位置点的扩展面区域的像素灰度相似，方差变化小，即在注塑件的区域面积内，该卡扣位置点的区域内部的像素灰度方差变化平稳。

因此，基于上述分析，该设定的区域扩张的像素灰度方差的变化规律为：卡扣目标区域的各个像素灰度方差中的其中一个像素灰度方差与其前一个像素灰度方差之间的差值的绝对值大于设定距离阈值。

当卡扣目标区域的各个像素灰度方差中的其中一个像素灰度方差与其前一个像素灰度方差之间的差值的绝对值大于设定距离阈值时，则表明该卡扣目标区域内存在卡扣，即卡扣没有发生脱落或丢失的情况；当卡扣目标区域的各个像素灰度方差中的其中一个像素灰度方差与其前一个像素灰度方差之间的差值的绝对值小于设定距离阈值时，则表明该卡扣目标区域内不存在卡扣，即卡扣发生脱落或丢失，也就是该注塑件的卡扣存在缺陷。

步骤S43：分别计算在每种坐标系下的卡扣真实位置点的数目与在该坐标系下的所有卡扣位置点的总数目的比值，若该比值大于设定比值阈值，则将该种坐标系作为实际的坐标系。

根据每种坐标系下的卡扣真实位置点的数目与在该坐标系下的所有卡扣位置点的总数目的比值，进而设定比值阈值，根据该坐标系下的卡扣真实位置点的数目和该坐标系下的所有卡扣位置点总数目的比值与设定比值阈值的对比结果，判断该坐标系是否为实际的坐标系。

在本实施例中，设定比值阈值为0.5，若该坐标系下的卡扣真实位置点的数目和该坐标系下的所有卡扣位置点总数目的比值大于比值阈值0.5，则判定该坐标系是否为实际的坐标系。当然，这里将设定比值阈值设置为0.5仅仅是作为一种具体的实施方式，具体阈值大小设定根据实际情况确定。

步骤S5：根据注塑件区域中各个卡扣的标准坐标分别在实际的坐标系下的卡扣位置点，获取每个卡扣位置点处的卡扣目标区域，具体步骤如下：

根据步骤S4所获取的待检测的注塑件的实际坐标系和注塑件区域中各个卡扣的标准坐标，将该注塑件区域中的各个卡扣的标准坐标映射到获取的实际坐标系中，确定注塑件区域中各个卡扣的标准坐标分别在实际的坐标系下的卡扣位置点。根据注塑件区域中各个卡扣的标准坐标分别在实际的坐标系下的卡扣位置点，从而获取每个卡扣位置点处的卡扣目标区域。

根据实际的坐标系下的卡扣位置点，确定每个卡扣位置点处的卡扣目标区域的详细步骤如下：对实际的坐标系下的卡扣位置点分别进行区域延伸，以卡扣位置点坐标点作为区域延伸的中心点，分别向右上，左上，右下，左下四个方向延伸，从而计算出当前卡扣目标区域的最小矩形包围框，最小矩形包围框是每个卡扣位置点处的卡扣目标区域。在本实施例中，延伸规格设置为3*3，5*5，7*7等，且区域延伸不能过多超过卡扣的区域范围。

步骤S6：对每个卡扣目标区域分别进行卡扣连通域检测，若没有检测到卡扣连通域，判定该卡扣目标区域所对应的卡扣存在缺陷，若检测到卡扣连通域，计算所检测出来的卡扣连通域所对应的凹陷率和平行度，并根据卡扣连通域所对应的凹陷率和平行度确定对应卡扣目标区域所对应的卡扣是否存在缺陷，具体步骤如下：

首先，根据每个卡扣目标区域，通过卡扣连通域检测网络得到每个待检测卡扣的连通域，该卡扣连通域检测网络实际上是一种由神经网络所构成的语义分割网络，具体步骤如下：将待检测的卡扣目标区域图像输入到构建并训练好的卡扣连通域检测网络中，由卡扣连通域检测网络输出该卡扣目标区域图像对应的而二值图像。二值图像包括卡扣区域和非卡扣区域，卡扣区域的像素点标注为1，非卡扣区域标注为0。使该卡扣目标区域图像乘以卡扣连通域检测网络输出的二值图像后，最终获取该卡扣目标区域所对应的卡扣连通域。由于卡扣连通域检测网络的构建和训练过程均为现有技术，不在本发明的保护范围内，此处不做过多解释。

然后，检测卡扣目标区域是否存在卡扣连通域。若没有检测到卡扣连通域，判定该卡扣目标区域所对应的卡扣存在缺陷，即该待检测的注塑件的卡扣发生掉落，表示该待检测的注塑件卡扣不符合注塑件的合格卡扣的安装标准。若检测到卡扣连通域，则计算所检测出来的卡扣连通域所对应的凹陷率和平行度，计算该卡扣连通域所对应的凹陷率和平行度的详细步骤如下：

步骤S61：计算所检测出来的卡扣连通域所对应的凹陷率和平行度的步骤包括：

步骤S611：根据卡扣连通域，获取该卡扣连通域的行像素序列折线图和列像素序列折线图，具体内容如下所示：

对获取的卡扣连通域进行边缘检测，从而得到该卡扣连通域的各个边缘线。在本实施例中，所检测到的边缘线如图9所示，分别为线段A、B、C、D、E、F、G、H。对确定了边缘线的卡扣连通域进行网格划分，确定在水平方向该卡扣连通域每一行的格数，以及在垂直方向该卡扣连通域每一列的格数。需要说明的是，这里的行是指卡扣凹槽的凹陷方向，列是指与指卡扣凹槽的凹陷方向所垂直的方向。

以卡扣连通域的行数作为横坐标，以该行对应的格数为纵坐标，从上到下的方向，获取该卡扣连通域的行像素序列折线图。以卡扣连通域的列数作为横坐标，以该列对应的格数为纵坐标，从左到右的方向，获取该卡扣连通域的列像素序列折线图，如图11和图12所示。

步骤S612：根据行像素序列折线图，计算水平方向凹陷率，根据列像素序列折线图，计算竖直方向凹陷率，具体内容如下所示：

水平方向凹陷率计算：

在图11中，X轴代表行序号，Y轴代表行的分格个数，该卡扣的非凹陷区域为在X轴的h点和m点之间与行像素序列折线所围成的区域，该卡扣的凹陷区域为X轴的h点和m点之间的行像素序列折线与经过Y轴的最大值T且与X轴平行的线所围成的区域，该卡扣的凹陷区域同样也是在卡扣连通域中的h点、k点、m点与l点所围成的区域。

计算该卡扣水平方向的非凹陷区域占凹陷和非凹陷总区域的比例，水平方向非凹陷率

的计算公式如下所示：

其中，n为水平方向非凹陷率，h为卡扣连通域中的第h行，即行像素序列折线图11中X轴的点h，m为卡扣连通域中的第m行，即行像素序列折线图11中X轴的点m，

为卡扣连通域中第

行的分格个数，i的取值范围为

，T为卡扣连通域中所有行的分格个数的最大值，即行像素序列折线图11中Y轴的点T。

根据水平方向非凹陷率n，计算该卡扣的凹陷区域占凹陷和非凹陷总区域的比例，水平方向凹陷率p1的计算公式如下所示：

需要说明的是，上述中所得到的行像素序列折线图11是在理想状态下，图9中的线段

平行于线段

时得到的，但是在实际情况中，因为每个卡扣的凹陷程度不同，以及每个种类的注塑件的卡扣的型号不同等原因，线段

不一定平行于线段

，因此所得到的行像素序列折线图会有所不同，但是，在计算水平方向非凹陷率

时，同样是以行像素序列折线图中非平行于X轴的线段来确定。

竖直方向凹陷率计算：

在图12中，X轴代表列序号，Y轴代表列的分格个数。该卡扣的非凹陷区域为在X轴的c点和j点之间与列像素序列折线所围成的区域，该卡扣的凹陷区域为X轴的c点和j点之间的列像素序列折线与经过Y轴的最大值R且与X轴平行的线所围成的区域，该卡扣的凹陷区域同样也是在卡扣连通域中的h点、k点、m点与l点所围成的区域。

计算该卡扣竖直方向的非凹陷区域占凹陷和非凹陷总区域的比例，竖直方向非凹陷率h的计算公式如下所示：

其中，h为竖直方向非凹陷率，j为卡扣连通域中的第

列，即列像素序列折线图12中X轴的点j，c为卡扣连通域中的第c列，即列像素序列折线图中X轴的点c，

为卡扣连通域中的第s列的分格个数，s的取值范围为

，R为卡扣连通域中所有列的分格个数的最大值，即列像素序列折线图12中Y轴的点R。

根据竖直方向非凹陷率

，计算该卡扣垂直方向的凹陷区域占凹陷和非凹陷总区域的比例，竖直方向凹陷率p2的计算公式如下所示：

需要说明的是，上述中所得到的列像素序列折线图12是在理想状态下，图9中的线段F平行于线段E时得到的，但是在实际情况中，因为每个卡扣的凹陷程度不同，以及每个种类的注塑件的卡扣的型号不同等原因，线段F不一定平行于线段E，因此所得到的列像素序列折线图会有所不同，但是，在计算竖直方向非凹陷率

时，同样是以列像素序列折线图中最后一段线段来确定。

步骤S613：根据水平方向凹陷率和竖直方向凹陷率，计算卡扣连通域所对应的凹陷率。

该卡扣连通域所对应的凹陷率用水平方向凹陷率p1和竖直方向凹陷率p2的乘积来表示，根据计算出来的水平方向凹陷率p1和竖直方向凹陷率p2，计算卡扣连通域所对应的凹陷率

，计算公式如下所示：

步骤S62：计算所检测出来的卡扣连通域所对应的凹陷率和平行度的步骤还包括：

步骤S621：根据列像素序列折线图，计算卡扣的上线和下线之间的距离以及卡扣最小凹陷距离，具体步骤包括：

上线和下线的平行度是从列像素序列折线图12中的c点开始到j点进行计算，所以上线和下线之间的距离是指卡扣凹陷区域的垂直距离，计算凹陷区域的垂直距离的计算公式如下所示：

其中，

为卡扣连通域中的第i列的垂直凹陷距离，

为卡扣连通域中第i列的分格个数，

的取值范围为列像素序列折线图12中X轴的

，

为列像素序列折线图12中Y轴的最大列的分格个数。

卡扣上线和下线之间的距离为

，最大距离为

，最小距离为

。如列像素序列折线图12所示，获取卡扣的最小凹陷距离的方式为：将折线的j点的横坐标减去c点的横坐标，从而得到卡扣的最小凹陷距离o，最小凹陷距离计算公式如下所示：

在本实施例中，如图9所示，卡扣连通域中的线段

和线段

为该待检测卡扣的上线和下线，上线和下线都为注塑件的卡扣的凹陷边缘线，两者不做具体区分，当然，在其他实施例中，具体根据卡扣连通域选取对应的上线和下线。

步骤S622：根据卡扣的上线和下线之间的凹陷距离以及卡扣最小凹陷距离，计算所检测出来的卡扣连通域所对应的平行度，具体步骤如下所示：

该卡扣连通域的平行度为上线和下线之间的夹角a的大小，如图10所示，卡扣下线的平移线与上线形成的夹角即为该该卡扣连通域的平行度。根据上线和下线之间的最大凹陷距离

和最小凹陷距离为

以及卡扣的最小凹陷距离o，计算上线和下线之间的夹角a公式如下所示：

步骤S63：根据所获取检测出来的卡扣连通域所对应的凹陷率和平行度，确定对应卡扣目标区域所对应的卡扣是否存在缺陷，具体步骤包括：

判断所检测出来的卡扣连通域所对应的凹陷率和平行度是否在设定的标准范围内，若检测出来的卡扣连通域所对应的凹陷率和平行度都处于对应的标准值范围内，则判定该待检测的注塑件的卡扣不存在缺陷；若检测出来的卡扣连通域所对应的凹陷率和平行度中有一个不处于标准值范围内，则判定该待检测的注塑件的卡扣存在缺陷。

在本实施例中，凹陷率的标准范围记为

，平行度的标准范围记为

。用0和1表示凹陷率和平行度是否在标准值范围之内，0代表不在标准范围内，1代表在标准范围内。根据最终的输出的凹陷率和平行度对卡扣缺陷的有无进行判断。若输出结果为

的时候，则表示该卡扣不存在缺陷，若输出为

、

、

三种情况，则表示该卡扣存在缺陷。

本实施例还提供了一种基于计算机视觉的注塑件卡扣缺陷检测装置，包括存储器和处理器以及存储在存储器中并在处理器上运行的计算机程序，处理器与存储器相耦合，处理器在执行计算机程序时实现上述的基于计算机视觉的注塑件卡扣缺陷检测方法。由于该基于计算机视觉的注塑件卡扣缺陷检测方法已经在上述内容中进行了详细介绍，此处不再赘述。

需要说明的是：上述本发明实施例的先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于计算机视觉的注塑件卡扣缺陷检测方法，其特征在于，具体步骤如下：

获取待检测的注塑件的图像，并根据待检测的注塑件的图像，确定待检测的注塑件区域；

根据待检测的注塑件区域，确定待检测的注塑件的种类，并根据待检测的注塑件的种类，确定该注塑件的各个卡扣的标准坐标；

根据待检测的注塑件区域，按照设定的坐标系确定规则，确定N种坐标系，并根据该注塑件的各个卡扣的标准坐标，确定注塑件区域中各个卡扣的标准坐标分别在N种坐标系下的卡扣位置点；

根据注塑件区域中各个卡扣的标准坐标分别在N种坐标系下的卡扣位置点周围的像素灰度值，从N种坐标系中筛选出实际的坐标系；

根据注塑件区域中各个卡扣的标准坐标分别在实际的坐标系下的卡扣位置点，获取每个卡扣位置点处的卡扣目标区域；

对每个卡扣目标区域分别进行卡扣连通域检测，若没有检测到卡扣连通域，判定该卡扣目标区域所对应的卡扣存在缺陷，若检测到卡扣连通域，计算所检测出来的卡扣连通域所对应的凹陷率和平行度，并根据卡扣连通域所对应的凹陷率和平行度确定对应卡扣目标区域所对应的卡扣是否存在缺陷。

2.根据权利要求1所述的一种基于计算机视觉的注塑件卡扣缺陷检测方法，其特征在于，根据注塑件区域中各个卡扣的标准坐标分别在N种坐标系下的卡扣位置点周围的像素灰度值，从N种坐标系中筛选出实际的坐标系的步骤包括：

以注塑件区域中各个卡扣的标准坐标在每种坐标系下的卡扣位置点为中心，确定待检测区域，并使该待检测区域不断向外扩张，计算每一次扩张前后该待检测区域内部的像素灰度方差；

判断每一个卡扣位置点所对应的各个像素灰度方差的变化规律是否满足设定规律，若满足设定规律，则将该卡扣位置点作为卡扣真实位置点；

分别计算在每种坐标系下的卡扣真实位置点的数目与在该坐标系下的所有卡扣位置点的总数目的比值，若该比值大于设定比值阈值，则将该种坐标系作为实际的坐标系。

3.根据权利要求1所述的一种基于计算机视觉的注塑件卡扣缺陷检测方法，其特征在于，计算所检测出来的卡扣连通域所对应的凹陷率和平行度的步骤包括：

根据卡扣连通域，获取该卡扣连通域的行像素序列折线图和列像素序列折线图；

根据行像素序列折线图，计算水平方向凹陷率，根据列像素序列折线图，计算竖直方向凹陷率；

根据水平方向凹陷率和竖直方向凹陷率，计算卡扣连通域所对应的凹陷率。

4.根据权利要求3所述的一种基于计算机视觉的注塑件卡扣缺陷检测方法，其特征在于，计算所检测出来的卡扣连通域所对应的凹陷率和平行度的步骤还包括：

根据列像素序列折线图，计算卡扣的上线和下线之间的距离以及卡扣最小凹陷距离；

根据卡扣的上线和下线之间的凹陷距离以及卡扣最小凹陷距离，计算所检测出来的卡扣连通域所对应的平行度。

5.根据权利要求1所述的一种基于计算机视觉的注塑件卡扣缺陷检测方法，其特征在于，坐标系确定规则为：

以注塑件区域内最长的线段所在的方向作为坐标系的X轴方向，以该最长的线段的中心点作为坐标系的坐标原点，以过坐标原点且垂直于X轴的方向作为坐标系的Y轴方向。

6.根据权利要求2所述的一种基于计算机视觉的注塑件卡扣缺陷检测方法，其特征在于，像素灰度方差变化的设定规律为：卡扣目标区域的各个像素灰度方差中的其中一个像素灰度方差与其前一个像素灰度方差之间的差值的绝对值大于设定距离阈值。

7.一种基于计算机视觉的注塑件卡扣缺陷检测装置，其特征在于，包括存储器和处理器以及存储在存储器中并在处理器上运行的计算机程序，处理器与存储器相耦合，处理器在执行计算机程序时实现如权利要求1-6中任一项所述的基于计算机视觉的注塑件卡扣缺陷检测方法。

Images