CN115689994A - 一种铭牌和条码缺陷检测方法、设备和存储介质 - Google Patents

Abstract

本发明涉及一种铭牌和条码缺陷检测方法、设备和存储介质，其中，方法包括：接收铭牌图和条码图；将所述铭牌图送入训练好的铭牌位置检测模型中，得到无背景的铭牌图；根据所述无背景的铭牌图的长和高检测铭牌是否存在倾斜或重复缺陷；将所述无背景的铭牌图送入训练好的气泡和褶皱检测模型中，检测铭牌是否存在气泡和褶皱缺陷；将所述条码图送入训练好的条码位置检测模型中，得到无背景的条码图；根据所述条码图的长和高检测条码是否存在倾斜或重复缺陷。本发明能够提高产品质量和生产效率。

Description

一种铭牌和条码缺陷检测方法、设备和存储介质

技术领域

本发明涉及光伏组件制造行业视觉检测技术领域，特别是涉及一种铭牌和条码缺陷检测方法、设备和存储介质。

背景技术

在光伏组件生产环节中，要张贴铭牌和条码。但是在贴铭牌和条码时，由于打印设备和张贴设备的精度不够或者故障，会导致铭牌或条码有气泡、印刷缺陷、褶皱、贴歪、贴偏、参数打印错误、没有张贴等缺陷。

目前对铭牌和条码的缺陷检测方式有两种，一种是人工检测，即由工人通过观察的方式检查铭牌和条码，当检查通过时则手动将组件流走，检查未通过时把铭牌或条码撕下来人工重贴，这种方式降低了工作效率，同时增加了成本；另一种是计算机视觉检测，利用机器学习方法检测气泡和褶皱，虽然其提高了工作效率，但是这种方式对成像要求很高，提高了操作的要求，增加使用难度，另外，传统机器学习在检测文字时准确率很低，达不到生产要求，而且对数据的鲁棒性低，一旦更换了新的铭牌或条码，就要重新训练，使用起来非常繁琐。

发明内容

本发明所要解决的技术问题是提供一种铭牌和条码缺陷检测方法、设备和存储介质，能够提高产品质量和生产效率。

本发明解决其技术问题所采用的技术方案是：提供一种铭牌和条码缺陷检测方法，包括以下步骤：

接收步骤，接收铭牌图和条码图；

铭牌检测步骤，将所述铭牌图送入训练好的铭牌位置检测模型中，得到无背景的铭牌图；根据所述无背景的铭牌图的长和高检测铭牌是否存在倾斜或重复缺陷；将所述无背景的铭牌图送入训练好的气泡和褶皱检测模型中，检测铭牌是否存在气泡和褶皱缺陷；

条码检测步骤，将所述条码图送入训练好的条码位置检测模型中，得到无背景的条码图；根据所述条码图的长和高检测条码是否存在倾斜或重复缺陷。

所述铭牌位置检测模型、气泡和褶皱检测模型和条码位置检测模型基于同样的目标检测网络，所述目标检网络将图片中的像素进行聚类处理，并通过标注框赋予聚类的类别名称，通过训练后得到检测模型，所述检测模型用于将与标注内容相似的图像检出，输出置信度、与标注内容相似的图像位置的坐标和类别名称。

所述根据所述无背景的铭牌图的长和高检测铭牌是否存在倾斜或重复缺陷具体为：当无背景的铭牌图中的铭牌的高度超过铭牌高度阈值时，表示所述铭牌存在倾斜缺陷；当无背景的铭牌图中的铭牌的长度超过铭牌长度阈值时，表示所述铭牌存在重复缺陷；所述根据所述条码图的长和高检测条码是否存在倾斜或重复缺陷具体为：当无背景的条码图中的条码的高度超过条码高度阈值时，表示所述条码存在倾斜缺陷；当无背景的条码图中的条码的长度超过条码长度阈值时，表示所述条码存在重复缺陷。

所述铭牌检测步骤还包括：将所述无背景的铭牌图以sift算子与模板图做特征点匹配，得到一张与所述模板图大小相同、角度一致的匹配图；将所述模板图上电参数的位置映射到所述匹配图并进行截取，将截取的部分送入训练好的文字识别模型中，得到所述铭牌上的电参数文本；将所述电参数文本进行格式化处理，所述格式化处理是指将所述文字识别模型经常认错的字强制改写为应该认成的字，同时删除单位后缀，只保留数字部分；将格式化处理后的文字与模板文字进行比对完成文本缺陷的检测。

所述铭牌检测步骤还包括：将所述无背景的铭牌图以sift算子与模板图做特征点匹配，得到一张与所述模板图大小相同、角度一致的匹配图；将所述模板图上二维码的位置映射到所述匹配图并进行截取，将截取的部分用解码算法扫描二维码完成二维码缺陷的检测。

所述铭牌检测步骤还包括：将所述无背景的铭牌图以sift算子与模板图做特征点匹配，得到一张与所述模板图大小相同、角度一致的匹配图；将所述模板图上标识的位置映射到所述匹配图并进行截取，将截取部分与所述模板图上的标识进行特征点匹配，根据匹配值的大小进行标识缺陷检测。

在所述将所述无背景的铭牌图以sift算子与模板图做特征点匹配前，还包括：判断所述无背景的铭牌图的长度是否超过长度分割阈值，当超过时，将所述无背景的铭牌图切分成两半，分别以sift算子与切分为两半的模板图做特征点匹配，完成匹配后将两个匹配结果拼接成一张与模板图大小相同、角度一致的匹配图。

所述条码检测步骤包括：将无背景的条码图分别缩放为原图的1、0.8、0.6、0.4倍，每缩放一次增加30％的对比度，每增加一次对比度就旋转图片15次，每次旋转3°，每旋转一次就把处理后的无背景的条码图送入解码算法进行扫描，直到得到的文字字符长度高于预设值，从而完成识别缺陷检测。

本发明解决其技术问题所采用的技术方案是：提供一种铭牌和条码缺陷检测设备，包括：

铭牌相机，用于获取铭牌图，所述铭牌图中铭牌的长度占整个铭牌图长度的1/2以上；

条码相机，用于获取条码图；

安装支架，用于安装所述铭牌相机和条码相机，且能保证所述铭牌相机和条码相机相对流水线固定不动；

计算机，用于执行上述铭牌和条码缺陷检测方法的步骤。

本发明解决其技术问题所采用的技术方案是：提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述铭牌和条码缺陷检测方法的步骤。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明在检测铭牌缺陷时，将铭牌从图像中提取出，再通过特征匹配的方式对缺陷进行检测，在检测条码缺陷时，将条码从图像中提取出，再通过循环扫码的方式提高扫码成功率完成条码检测。本发明对成像要求不高，但能够大大提升检测准确率，不需要人工在贴标机后面的流水线上手动撕掉带有缺陷的铭牌，降低了人力成本，保证了缺陷组件能正常返修，提高了产品质量和生产效率，降低了客诉率。

附图说明

图1是本发明实施方式的流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的实施方式涉及一种铭牌和条码缺陷检测方法，如图1所示，包括以下步骤：接收步骤，接收铭牌图和条码图；铭牌检测步骤，将所述铭牌图送入训练好的铭牌位置检测模型中，得到无背景的铭牌图；根据所述无背景的铭牌图的长和高检测铭牌是否存在倾斜或重复缺陷；将所述无背景的铭牌图送入训练好的气泡和褶皱检测模型中，检测铭牌是否存在气泡和褶皱缺陷；条码检测步骤，将所述条码图送入训练好的条码位置检测模型中，得到无背景的条码图；根据所述条码图的长和高检测条码是否存在倾斜或重复缺陷。

该方法可以基于现有的硬件实现，具体地说，本实施方式可以基于相机模块和计算机实现。

相机模块包括安装支架、铭牌相机和条码相机。其中，铭牌相机用于拍摄铭牌，以得到铭牌图，其安装高度为85cm～110cm，相机像素为1200万，选用25mm的镜头，保证铭牌长度占视野的1/2以上。条码相机用于拍摄条码，以得到条码图，其安装位置分为正面安装和侧面安装。正面安装就是安装在铭牌相机旁边，拍摄背板条码；侧面安装就是安装在组件侧面，拍摄组件侧边框上的条码。正面安装的条码相机像素为1200万，选用35mm镜头。侧面安装的条码相机像素为500万，镜头的选型，根据物距条件来选择12mm～25mm的镜头。安装支架尽量搭接到振动较小的物体上，严禁与抖动比较厉害的流水线接触。安装支架上可以根据现场光线条件决定是否要加设遮光板。

计算机包含显示器和鼠标键盘，用于支持铭牌和条码缺陷检测方法的运行。

如果要控制相机触发拍照，需要一个触发信号，由于PLC能控制贴标机的机械臂做贴标动作，由PLC来触发拍照，才能得到最佳的拍照时机。与PLC通讯获取到拍照信号后，控制铭牌相机和条码相机获取铭牌图和条码图，并将铭牌图和条码图送至计算机中。

本实施方式在进行检测时会用到一种目标检测算法，这里命名为算法f_AI。此算法f_AI将图片中的像素聚类处理，通过标注框赋予聚类的类别名称，在用大量数据训练后，会得到一个AI检测模型，该AI检测模型会将与标注内容相似的图像检出，输出置信度、与标注内容相似的图像位置的坐标、类别名称。

计算机在接收到铭牌图后进行以下运算：

(1)使用算法f_AI，得到训练好的铭牌位置检测模型，把铭牌图传到训练好的铭牌位置检测模型里，得到一张无背景的铭牌图，即将原铭牌图中的背景裁剪后的裁剪图，此处将铭牌图命名为铭牌图img1_crop。这样做的好处是为后续图像处理和缺陷检测大幅降低计算量，同时去除掉了背景后，避免了后续把背景的某些成像误检成气泡、褶皱的可能。识别到的铭牌会有一定置信度，如果识别到的不是铭牌，则置信度低至30％以下，因此可以通过设置阈值为60％，滤掉非铭牌的检出，此部分除了裁剪铭牌图外，还可以检测到有没有铭牌，无铭牌直接判NG，不会再继续往下运算。

(2)铭牌图img1_crop是一个长条形的图，如果铭牌正常，则每块组件的铭牌图img1_crop的长和高尺寸都差不多。如果铭牌倾斜了，则铭牌图img1_crop的高会高于正常值，通过设置高度阈值，当铭牌图img1_crop的高超过高度阈值时，则表示铭牌存在倾斜缺陷；如果铭牌重复贴了，那铭牌图img1_crop的长会高于正常值，通过设置长度阈值，当铭牌图img1_crop的长超过长度阈值时，则表示铭牌存在重复缺陷(即双铭牌缺陷)。

(3)使用算法f_AI，得到训练好的气泡和褶皱检测模型，将铭牌图img1_crop传到气泡和褶皱检测模型中，会检测有没有气泡或褶皱。如果有气泡或褶皱，则在铭牌图img1_crop上用红色的框标注，方便查看缺陷类型和位置。同时对气泡和褶皱的面积做阈值卡控，方便调整阈值，决定小面积的气泡、褶皱是否不卡控，判为无异常。对气泡和褶皱的置信度也设置了阈值卡控，以便过滤不是气泡或褶皱的误检。

(4)文字缺陷检测：铭牌上的部分文字需要识别出来，与mes系统里的文字做比对，这部分文字叫“电参数”。此处要用到深度学习识别文字的方法技术和sift特征点匹配技术。sift特征点匹配是用一张铭牌图img1_crop，以sift算子与模板图做特征点匹配，得到一张与模板图尺寸一样、旋转角度几乎一样的图，这里命名为匹配图img_match。既然匹配图img_match与模板图尺寸和旋转角度一样，那就可以在电参数出现的位置上，取固定位置的截图，用标图软件把需要截图的矩形范围事先框好，在运算过程中会加载框好的矩形范围，将电参数文字截图抠出，再对截图做对比度增强、亮度增强、锐化、双边滤波去噪处理，再将处理好的文字截图送入深度学习文字识别模型中，得到相应的文字。这种“要检什么文字就把文字范围先抠图再送检”的操作，会省去对非检出区域进行图像处理带来的耗时，大幅降低计算量，同时“检什么框什么”的操作会把检出的内容自动分类，方便在与mes系统比对的时候，分类各自比对。

在铭牌张贴的过程中，较长的铭牌有一定几率贴得不直。这种铭牌只要没有其他缺陷，是判正常的，但弯的铭牌会影响特征点匹配的准确性。因此本实施方式中当铭牌长度超过分割阈值的时候，将铭牌切分成两半，分别与分成两半的模板图进行特征点匹配，再将匹配结果拼接，能够有效的克服这种困难。

(5)在得到参数文字后，要对文字进行格式化处理。由于深度学习文字识别模型本身识别准确性还达不到要求，经常会认错字。本实施方式通过对文字进行格式化处理把经常认错的字强制改写为应该认成的字，比如“2”经常认成“Z”，就强制把读到的“Z”改成2，同时删除单位后缀，只保留数字，在与mes系统的文字做比对的时候，可以只拿数字去做比对，使得比对更为方便。

(6)扫描铭牌上的二维码功能，是用特征点匹配后的匹配图img_match，和事先标注好的二维码出现的位置，把二维码抠图抠出来，再用解码算法扫描二维码，如此即可实现对二维码缺陷的检测。

(7)标识(logo)缺陷检测：将匹配图img_match的logo位置，通过事先标注好的logo位置截图截出来，与模板图中的logo截图做sift特征点匹配，得到匹配分数，当匹配分数低于设置的阈值时，则认为存在logo缺陷。这种方式能够解决组件在生产过程中用错logo的情况。

计算机在接收到条码图后进行以下运算：

(1)和铭牌图一样，用算法f_AI得到条码检测模型，将条码图送入条码检测模型后能够得到一张无背景的条码图，即将原条码图中的背景裁剪后的裁剪图，此处将条码图命名为条码图img2_crop。条码图img2_crop的长和高基本每张图都差不多，如果条码倾斜，条码图img2_crop的高就会超出正常范围，如果条码重复贴了，条码图img2_crop的长也会超出正常范围，因此可以通过设置阈值对条码图img2_crop的长和高进行卡控，就能检出条码缺陷。

(2)条码图片需要扫码，在得到条码图img2_crop后，将条码图img2_crop进行如下处理，分别缩放为原图的1、0.8、0.6、0.4倍，每缩放一次就增加0.3的对比度，每增加一次对比度就旋转图片15次，每次旋转3°，每旋转一次就把处理后的图送入解码算法扫码，直到扫到的文字字符长度高于设定的阈值，才认为是取到了正确的条码，然后终止循环。本实施方式通过图片循环扫码的方法解决了将条码图img2_crop直接丢入解码算法中扫码成功率很低的问题，也让成像不一的条码图img2_crop更容易扫码，增强了鲁棒性。如果有气泡或者褶皱也会影响扫码结果，通过扫码过程也能将条码的气泡和褶皱检出，实现对条码气泡和褶皱缺陷的检测。

计算机在处理完铭牌图和条码图的运算后，当没有缺陷时会得到OK的结果，当存在缺陷时会得到NG的结果，并将运算结果和检出图，以及检测的详细内容展示在显示屏上。

经实验，本实施方式的方法漏检率和误检率均小于3‰，不需要人工在贴标机后面的流水线上手动撕掉NG铭牌再重新贴，降低了人力成本，保证了NG组件能正常返修，提高了产品质量和生产效率，降低了客诉率。

本发明的实施方式还涉及一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述铭牌和条码缺陷检测方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种铭牌和条码缺陷检测方法，其特征在于，包括以下步骤：

接收步骤，接收铭牌图和条码图；

铭牌检测步骤，将所述铭牌图送入训练好的铭牌位置检测模型中，得到无背景的铭牌图；根据所述无背景的铭牌图的长和高检测铭牌是否存在倾斜或重复缺陷；将所述无背景的铭牌图送入训练好的气泡和褶皱检测模型中，检测铭牌是否存在气泡和褶皱缺陷；

条码检测步骤，将所述条码图送入训练好的条码位置检测模型中，得到无背景的条码图；根据所述条码图的长和高检测条码是否存在倾斜或重复缺陷。

2.根据权利要求1所述的铭牌和条码缺陷检测方法，其特征在于，所述铭牌位置检测模型、气泡和褶皱检测模型和条码位置检测模型基于同样的目标检测网络，所述目标检网络将图片中的像素进行聚类处理，并通过标注框赋予聚类的类别名称，通过训练后得到检测模型，所述检测模型用于将与标注内容相似的图像检出，输出置信度、与标注内容相似的图像位置的坐标和类别名称。

3.根据权利要求1所述的铭牌和条码缺陷检测方法，其特征在于，所述根据所述无背景的铭牌图的长和高检测铭牌是否存在倾斜或重复缺陷具体为：当无背景的铭牌图中的铭牌的高度超过铭牌高度阈值时，表示所述铭牌存在倾斜缺陷；当无背景的铭牌图中的铭牌的长度超过铭牌长度阈值时，表示所述铭牌存在重复缺陷；所述根据所述条码图的长和高检测条码是否存在倾斜或重复缺陷具体为：当无背景的条码图中的条码的高度超过条码高度阈值时，表示所述条码存在倾斜缺陷；当无背景的条码图中的条码的长度超过条码长度阈值时，表示所述条码存在重复缺陷。

4.根据权利要求1所述的铭牌和条码缺陷检测方法，其特征在于，所述铭牌检测步骤还包括：将所述无背景的铭牌图以sift算子与模板图做特征点匹配，得到一张与所述模板图大小相同、角度一致的匹配图；将所述模板图上电参数的位置映射到所述匹配图并进行截取，将截取的部分送入训练好的文字识别模型中，得到所述铭牌上的电参数文本；将所述电参数文本进行格式化处理，所述格式化处理是指将所述文字识别模型经常认错的字强制改写为应该认成的字，同时删除单位后缀，只保留数字部分；将格式化处理后的文字与模板文字进行比对完成文本缺陷的检测。

5.根据权利要求1所述的铭牌和条码缺陷检测方法，其特征在于，所述铭牌检测步骤还包括：将所述无背景的铭牌图以sift算子与模板图做特征点匹配，得到一张与所述模板图大小相同、角度一致的匹配图；将所述模板图上二维码的位置映射到所述匹配图并进行截取，将截取的部分用解码算法扫描二维码完成二维码缺陷的检测。

6.根据权利要求1所述的铭牌和条码缺陷检测方法，其特征在于，所述铭牌检测步骤还包括：将所述无背景的铭牌图以sift算子与模板图做特征点匹配，得到一张与所述模板图大小相同、角度一致的匹配图；将所述模板图上标识的位置映射到所述匹配图并进行截取，将截取部分与所述模板图上的标识进行特征点匹配，根据匹配值的大小进行标识缺陷检测。

7.根据权利要求4-6中任一所述的铭牌和条码缺陷检测方法，其特征在于，在所述将所述无背景的铭牌图以sift算子与模板图做特征点匹配前，还包括：判断所述无背景的铭牌图的长度是否超过长度分割阈值，当超过时，将所述无背景的铭牌图切分成两半，分别以sift算子与切分为两半的模板图做特征点匹配，完成匹配后将两个匹配结果拼接成一张与模板图大小相同、角度一致的匹配图。

8.根据权利要求1所述的铭牌和条码缺陷检测方法，其特征在于，所述条码检测步骤包括：将无背景的条码图分别缩放为原图的1、0.8、0.6、0.4倍，每缩放一次增加30％的对比度，每增加一次对比度就旋转图片15次，每次旋转3°，每旋转一次就把处理后的无背景的条码图送入解码算法进行扫描，直到得到的文字字符长度高于预设值，从而完成识别缺陷检测。

9.一种铭牌和条码缺陷检测设备，其特征在于，包括：

铭牌相机，用于获取铭牌图，所述铭牌图中铭牌的长度占整个铭牌图长度的1/2以上；

条码相机，用于获取条码图；

安装支架，用于安装所述铭牌相机和条码相机，且能保证所述铭牌相机和条码相机相对流水线固定不动；

计算机，用于执行如权利要求1-8中任一所述铭牌和条码缺陷检测方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一所述铭牌和条码缺陷检测方法的步骤。

Images