CN116109633A - 一种轴承保持器的窗口检测方法及设备 - Google Patents

Abstract

本发明公开了一种轴承保持器的窗口检测方法及设备，属于轴承保持器检测技术领域，用于解决现有轴承保持器的窗口多为工人检测，容易造成人工成本高，检测效率缓慢，影响轴承保持器的成品合格率的技术问题。方法包括：将初始窗口图像集中的每个窗口图像进行相互的对比匹配；将对比匹配结果中匹配异常的若干窗口图像进行筛选，得到若干异常窗口图像；对异常窗口图像中的异常区域图像进行识别并做标记，得到异常标记区域；对异常标记区域进行窗口异常分类，得窗口异常类型；将窗口异常类型对应的异常窗口进行二次窗口图像的拍照，得到真实窗口异常图像；并进行二维坐标系的射线定位，得到异常窗口位置信息。

Description

一种轴承保持器的窗口检测方法及设备

技术领域

本申请涉及有关轴承保持器的图像检测领域，尤其涉及一种轴承保持器的窗口检测方法及设备。

背景技术

保持架（即轴承保持架，又称轴承保持器），是指部分地包裹全部或部分滚动体，并随之运动的轴承零件，用以隔离滚动体，通常还引导滚动体并将其保持在轴承内。

目前对轴承保持器的质量检测方法多为人工检验，通过工作人员逐步的对每个轴承保持器进行仔细检查，尤其是对于一些有着特殊窗口加工需求的轴承保持器，需要通过人工对该窗口的尺寸、窗口大小、窗梁坡度以及孔洞是否打开进行细致的人工检测，耗费了大量的人力，同时质检效率慢。由于是人工检测，依赖于人员的经验以及认真仔细程度，容易造成一定的人工误差，影响轴承保持器的产品质量，难以把控轴承保持器的成品合格率。

发明内容

本申请实施例提供了一种轴承保持器的窗口检测方法及设备，用于解决如下技术问题：现有轴承保持器的窗口多为工人检测，容易造成人工成本高，检测效率缓慢，并且难以对窗口进行全方面的细致检测，影响轴承保持器的成品合格率。

本申请实施例采用下述技术方案：

一方面，本申请实施例提供了一种轴承保持器的窗口检测方法，包括：通过摄像机，对旋转台上的轴承保持器进行连续窗口图像的拍照，得到初始窗口图像集；将所述初始窗口图像集中的每个窗口图像进行相互的对比匹配；并根据对比匹配结果，将所述对比匹配结果中匹配异常的若干窗口图像进行筛选，得到若干异常窗口图像；对所述异常窗口图像中的异常区域图像进行识别并做标记，得到所述异常窗口图像中的异常标记区域；对所述异常标记区域进行窗口异常分类，得到轴承保持器的窗口异常类型；其中，所述窗口异常类型至少包括以下任意一项或多项：窗口尺寸异常、窗梁坡度异常、孔洞通畅异常以及凹槽深度异常；通过所述旋转台与所述摄像机，将与所述窗口异常类型所对应的异常窗口进行二次窗口图像的拍照，得到真实窗口异常图像；并通过激光射线，对所述真实窗口异常图像对应的窗口位置进行有关二维坐标系的射线定位，得到异常窗口位置信息；基于所述异常窗口位置信息，根据所述窗口异常类型以及真实窗口异常图像，确定出所述轴承保持器的窗口检测结果，并将所述窗口检测结果发送到工作人员的终端中。

本申请实施例通过旋转台与摄像机，对轴承保持器进行窗口检测，利用识别到的所有窗口进行相互的比对，然后筛选出异常窗口并判断窗口异常类型，之后，能够准确的识别出异常的窗口位置与异常类型，并结合真实的窗口异常图像，一并发送给后端的工作人员，能够帮助工作人员减少大量的窗口检测工作量，并且还具有较高的准确率，结合激光的定位，能够快速帮助工作人员找到有异常情况的窗口，并确定出对应的异常故障类型，大大降低了人工成本，提高了检测效率，并且能够对窗口进行全方面的细致检测，降低了人为误差，提高了轴承保持器的成品合格率。

在一种可行的实施方式中，通过摄像机，对旋转台上的轴承保持器进行连续窗口图像的拍照，得到初始窗口图像集，具体包括：获取待生产的轴承保持器的图纸信息，其中，所述图纸信息至少包括：窗口数量、窗口尺寸、轴承保持器半径以及窗梁加工参数；将所述图纸信息中的所述窗口数量以及所述轴承保持器半径输入到旋转台控制系统的控制单元中；其中，所述旋转台控制系统包括所述控制单元、伺服电机单元以及激光发射单元；根据所述窗口数量，并基于所述摄像机的间隔，确定出所述旋转台的角速率，以进行对所述轴承保持器的每个窗口进行拍照；根据所述旋转台的角速率，控制所述旋转台的运行，并基于所述摄像机，对所述轴承保持器进行连续窗口的拍照，得到部分窗口图像集；其中，所述部分窗口图像集为摄像机开头前多次时间间隔所拍摄的图像集；根据预设的Canny算子，对所述部分窗口图像集的灰度图像集进行窗梁像素的面积检测，得到实际窗梁像素面积；并根据窗梁的标准像素面积，对所述实际窗梁像素面积进行面积数值的比对；将比对成功的实际窗梁像素面积确定为完整的窗梁像素值；将所述完整的窗梁像素值所对应的窗口图像确定为第一窗口图像；并根据所述第一窗口图像以及对应的摄像机拍摄时间间隔，重新反馈给所述旋转台控制系统的控制单元中，以使所述轴承保持器的每个窗口均被可完整地拍照到，得到所述初始窗口图像集。

本申请实施例通过控制旋转台的伺服电机与摄像机的拍摄时间间隔，让两者能够相互匹配，并根据Canny算子的图像边缘检测，保证了每个不同种类的轴承保持器中的每个窗口都能够被完整的获取，即保证了伺服电机的转动与摄像机的拍照能够相互结合，进而得到该轴承保持器中所有窗口的初始窗口图像集。

在一种可行的实施方式中，将所述初始窗口图像集中的每个窗口图像进行相互的对比匹配，具体包括：对每个窗口图像进行灰度预处理，得到若干灰度窗口图像；根据所述灰度窗口图像的实际像素尺寸，基于预设分割线，对所述灰度窗口图像进行区域划分，得到灰度像素区域；其中，每个所述灰度窗口图像被分为9个灰度像素区域；遍历每个所述灰度像素区域中的像素特征；其中，所述像素特征包括每个像素点的亮暗梯度特征以及对应的像素坐标位置特征；根据每个所述灰度像素区域中的像素特征，将所述若干灰度窗口图像中与每个灰度像素区域一一对应的若干像素特征进行各灰度窗口图像之间的相似度对比匹配，得到所述对比匹配结果；其中，所述对比匹配结果包括：匹配正常以及匹配异常；所述相似度对比匹配为任意两组灰度窗口图像之间对应像素特征的相似度匹配。

本申请实施例通过将初始窗口图像集中的任意两张灰度窗口图像进行相互比对匹配后，能够快速的寻找出具有异常情况的窗口图像，从而获取该对比组，降低图像处理难度，节约了对整体轴承保持器的检测时间。

在一种可行的实施方式中，根据对比匹配结果，将所述对比匹配结果中匹配异常的若干窗口图像进行筛选，得到若干异常窗口图像，具体包括：若所述对比匹配结果为匹配异常，则获取存在匹配异常的若干组灰度窗口图像；提取所述若干组灰度窗口图像中的区别像素特征以及对应的区别灰度像素区域；并根据所述对比匹配结果为匹配正常的若干正常窗口图像，获取正常灰度像素区域；根据卷积神经网络以及Sigmoid函数，对所述区别灰度像素区域以及所述正常灰度像素区域进行有关交叉像素特征的相似度学习训练，得到交叉分类网络模型；其中，所述交叉分类网络模型以孪生神经网络为基本架构；通过所述交叉分类网络模型，基于所述区别灰度像素区域与所述正常灰度像素区域的不同分配权重，对所述若干组灰度窗口图像进行交叉分类，以剔除所述区别像素特征中的正常像素特征，得到所述区别像素特征中的异常像素特征；其中，所述异常像素特征为每组灰度窗口图像中异常窗口图像所对应的像素特征；筛选出与所述异常像素特征对应的若干灰度像素区域，得到与其对应的所述若干异常窗口图像。

本申请实施例通过交叉分类网络模型对若干组灰度窗口图像进行交叉分类，从而挑选出对比匹配组中真正的具有异常像素特征的窗口图像，即异常窗口图像。

在一种可行的实施方式中，在对所述异常窗口图像中的异常区域图像进行识别并做标记，得到所述异常窗口图像中的异常标记区域之前，所述方法还包括：对所述初始窗口图像集中的所有窗口图像进行图像序列的编码处理，得到编码数据集；根据若干所述异常窗口图像与所述初始窗口图像集的对应位置，将所述编码数据集中与所述异常窗口图像对应的编码序号进行异常标记，得到异常编码序号。

本申请实施例通过先对初始窗口图像集中所有的窗口图像进行编码后，然后对识别出异常窗口图像进行单独标记，得到异常编码序号，有利于精确定位每个存在异常的窗口，同时也有利于后续工作人员根据标记出的异常窗口图像，找到对应的异常窗口。

在一种可行的实施方式中，对所述异常窗口图像中的异常区域图像进行识别并做标记，得到所述异常窗口图像中的异常标记区域，具体包括：根据异常像素特征所对应的灰度像素区域，将与所述异常编码序号对应的异常窗口图像进行图像的区域分割，得到原始异常区域图像；并对所述原始异常区域图像进行灰度处理；通过二阶微分，对灰度处理后的原始异常区域图像进行初步边缘图像特征约束，得到候选异常区域；将所述候选异常区域的质心与边缘图像特征区域进行最小像素距离的计算，得到距离约束条件；其中，所述边缘图像特征区域所述候选异常区域的边缘像素区域；根据所述候选异常区域中的图像角点与所述质心，构建基于所述候选异常区域的边缘斜面坐标系；根据所述边缘斜面坐标系，对所述候选异常区域中的图像斜面像素进行倾斜角的方向定位，得到方向约束条件；根据所述距离约束条件以及所述方向约束条件，将所述候选异常区域进行二次边缘图像特征约束，得到所述异常标记区域。

本申请实施例根据对若干异常窗口图像中的原始异常区域图像，基于二阶微分对灰度图像的边缘约束处理，定位到出候选异常区域，然后再根据距离约束条件与方向约束条件，再对候选异常区域中的灰度像素进行二次图像边缘特征的约束，进一步精准约束定位出异常的灰度像素并进行标记，从而得到异常的灰度像素对应的异常标记区域。

在一种可行的实施方式中，对所述异常标记区域进行窗口异常分类，得到轴承保持器的窗口异常类型，具体包括：通过历史窗口异常数据库中的窗口异常模板，对所述异常标记区域进行窗口异常的分类匹配；若匹配成功，则将所述窗口异常模板对应的窗口异常类型确定为所述异常标记区域的窗口异常类型；若匹配不成功，则对所述异常标记区域进行窗口异常类型判断；通过Hough变换直线检测算法，对所述异常标记区域中窗口的横梁像素以及纵梁像素进行像素点集的直线检测，得到窗口尺寸信息；根据霍夫变换，将所述异常标记区域中同一亮度梯度的像素集合进行直线斜率计算，得到窗梁坡度信息；通过Hough变换圆检测算法，对所述异常标记区域中的不相交曲线进行识别，得到圆形轮廓区域；并根据所述异常标记区域中的相邻连通域，对所述圆形轮廓区域中的相同像素进行面积计算，得到孔洞面积信息；对所述异常标记区域中凹凸区域进行像素长度计算，得到凹槽深度信息；将图纸信息与所述窗口尺寸信息、所述窗梁坡度信息、所述孔洞面积信息以及凹槽深度信息进行信息比对，确定出所述异常标记区域的窗口异常类型。

本申请实施例通过识别出若干异常标记区域，将其先与历史窗口异常数据库进行比对，可以对一些常见的异常类型实现快速的匹配识别，然后再对识别不出异常标记区域进行各种类型的判断，基于Hough检测算法，对异常标记区域中的像素曲线、像素面积、连续相同像素长度以及像素相邻连通域等等进行识别判断，得到对应的窗口尺寸信息、窗梁坡度信息、孔洞面积信息以及凹槽深度信息，然后再将这些信息与上传的图纸信息中对应的各个尺寸标准范围进行范围信息判断比对，从而筛选识别出异常标记区域中对应的窗口异常类型。

在一种可行的实施方式中，通过所述旋转台与所述摄像机，将与所述窗口异常类型所对应的异常窗口进行二次窗口图像的拍照，得到真实窗口异常图像，具体包括：获取与所述窗口异常类型所对应异常窗口的异常编码序号；根据所述异常编码序号在编码数据集中的序列位置，将所述旋转台的伺服电机进行旋转反馈控制，以使所述异常编码序号对应的异常窗口正对所述摄像机；其中，所述旋转反馈控制为根据所述异常编码序号与当前编码序号之间的拍照时间间隔来控制伺服电机旋转运行的；通过所述摄像机，对所述异常编码序号所对应的若干异常窗口进行二次窗口图像的拍照，得到若干所述真实窗口异常图像。

本申请实施例根据异常窗口的异常编码序号，对旋转台中电机的回转控制，将异常窗口进行二次拍照，得到真实窗口异常图像，从而形成对该异常窗口的二次检验，还可以提供给工作人员对该窗口是否异常的判断标准，并结合系统检测的异常窗口类型，方便工作人员更好的审查。

在一种可行的实施方式中，通过激光射线，对所述真实窗口异常图像对应的窗口位置进行有关二维坐标系的射线定位，得到异常窗口位置信息，具体包括：在获取到全部所述真实窗口异常图像以及对应的若干异常编码序号后，通过所述激光射线，对所述真实窗口异常图像对应的若干异常窗口进行单线激光照射，得到若干激光射线；基于旋转台上预设的二维坐标系，对所述若干激光射线进行射线的倾角定位，得到若干射线倾角；并根据所述若干射线倾角以及所述若干异常编码序号，确定出若干异常窗口的异常窗口位置信息。

本申请实施例通过获取到全部真实窗口异常图像以及对应的若干异常编码序号后，通旋转台中间的激光发射装置发射的激光射线，照射到异常窗口，从而形成若干条激光射线，再基于旋转台上预设的二维坐标系，确定出每个异常窗口的倾角，然后再根据对应的异常编码序号，最终确定出了异常窗口位置信息，有利于工作人员根据倾角与异常编码序号得到的异常窗口位置信息，及时找到对应的异常窗口，节省了工作人员的寻找时间，从而进一步提高了对轴承保持器窗口的检测效率。

另一方面，本申请实施例还提供了一种轴承保持器的窗口检测设备，其特征在于，所述设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有能够被所述至少一个处理器执行的指令，以使所述至少一个处理器能够执行上述任一实施例所述的一种轴承保持器的窗口检测方法。

本申请通过旋转台与摄像机，对轴承保持器进行窗口检测，利用识别到的所有窗口进行相互的比对，然后筛选出异常窗口并判断窗口异常类型，之后，能够准确的识别出异常的窗口位置与异常类型，并结合真实的窗口异常图像，一并发送给后端的工作人员，能够帮助工作人员减少大量的窗口检测工作量，并且还具有较高的准确率，结合激光的定位，能够快速帮助工作人员找到有异常情况的窗口，并确定出对应的异常故障类型，大大降低了人工成本，提高了检测效率，并且能够对窗口进行全方面的细致检测，降低了人为误差，提高了轴承保持器的成品合格率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本申请实施例提供的一种轴承保持器的窗口检测方法流程图；

图2为本申请实施例提供的一种轴承保持器窗口检测的整体结构图；

图3为本申请实施例提供的一种旋转台的二维坐标系平面刻度图；

图4为本申请实施例提供的一种轴承保持器的窗口结构示意图；

图5为本申请实施例提供的一种轴承保持器的窗口、窗梁结构示意图；

图6为本申请实施例提供的一种轴承保持器的窗口检测设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请实施例提供了一种轴承保持器的窗口检测方法，如图1所示，轴承保持器的窗口检测方法具体包括步骤S101-S106：

S101、通过摄像机，对旋转台上的轴承保持器进行连续窗口图像的拍照，得到初始窗口图像集。

具体地，获取待生产的轴承保持器的图纸信息，其中，图纸信息至少包括：窗口数量、窗口尺寸、轴承保持器半径以及窗梁加工参数。将图纸信息中的窗口数量以及轴承保持器半径输入到旋转台控制系统的控制单元中。其中，旋转台控制系统包括控制单元、伺服电机单元以及激光发射单元。

进一步地，根据窗口数量，并基于摄像机的间隔，确定出旋转台的角速率，以进行对轴承保持器的每个窗口进行拍照。

在一个实施例中，图2为本申请实施例提供的一种轴承保持器窗口检测的整体结构图，如图2所示，首先将待生产的轴承保持器的图纸信息上传到轴承保持器的窗口检测系统中。图4为本申请实施例提供的一种轴承保持器的窗口结构示意图，图5为本申请实施例提供的一种轴承保持器的窗口、窗梁结构示意图，如图4以及图5所示，轴承保持器的窗口以及窗梁等，具有多种复杂的类型结构，用来适配各种轴承的运行特点，所以对轴承保持器的窗口合格检测是轴承稳定运行的前提条件。例如需要生产窗口数量为36个、窗口的长宽为4*6cm、厚度为1cm、半径为35cm、窗梁具有4个坡面，每一坡面的角度为45度，每个窗梁正面具有三个半径为2mm的孔洞以及每个窗口底端具有两个宽度为1cm的凹槽，均用于润滑液的顺畅流通。然后通过窗口检测系统将图纸信息中的窗口数量信息以及轴承保持器半径信息输入到旋转台控制系统中，并且基于摄像机的拍照间隔，计算出伺服电机的旋转角速率，以使摄像机与旋转台能够相互配合，完成对轴承保持器的每个窗口进行拍照。

进一步地，根据旋转台的角速率，控制旋转台的运行，并基于摄像机，对轴承保持器进行连续窗口图像的拍照，得到部分窗口图像集。其中，部分窗口图像集为摄像机开头前多次时间间隔所拍摄的图像集，例如，摄像机开头的前5次时间间隔来进行图像集的拍照。

进一步地，根据预设的Canny算子，对部分窗口图像集的灰度图像集进行窗梁像素的面积检测，得到实际窗梁像素面积。并根据窗梁的标准像素面积，对实际窗梁像素面积进行面积数值的比对。将比对成功的实际窗梁像素面积确定为完整的窗梁像素值。将完整的窗梁像素值所对应的窗口图像确定为第一窗口图像。并根据第一窗口图像以及对应的摄像机拍摄时间间隔，重新反馈给旋转台控制系统的控制单元中，以使轴承保持器的每个窗口均被可完整地拍照到，得到初始窗口图像集。

在一个实施例中，如图2所示，为了使摄像机与旋转台能够充分的匹配，即摄像机获取的每张图像均包含一个完成的轴承保持窗口，则先进行部分拍照预处理，确定出旋转台中伺服电机的启动时间，通过Canny算子粗提取，对部分窗口图像集的灰度图像集进行窗梁像素的面积检测，得到实际窗梁像素面积，即对每张图像中窗梁的像素面积进行一一计算，然后再依据图纸信息中窗梁的标准面积，进而转化成窗梁的标准像素面积，再与实际窗梁像素面积进行面积数值的比对，从而将比对成功的实际窗梁像素面积确定为完整的窗梁像素值，将识别出的完整的窗梁像素值所对应的张窗口图像定义为第一窗口图像，然后将第一窗口图像以及对应的摄像机时间间隔，重新反馈到控制单元中，以控制伺服电机的旋转运行，使伺服电机的角速率与摄像机的拍摄时间相互匹配，保证了轴承保持器的每个窗口均可被完整拍照。

S102、将初始窗口图像集中的每个窗口图像进行相互的对比匹配。并根据对比匹配结果，将对比匹配结果中匹配异常的若干窗口图像进行筛选，得到若干异常窗口图像。

具体地， 对每个窗口图像进行灰度预处理，得到若干灰度窗口图像。根据灰度窗口图像的实际像素尺寸，基于预设分割线，对灰度窗口图像进行区域划分，得到灰度像素区域。其中，每个灰度窗口图像被分为9个灰度像素区域。

进一步地，遍历每个灰度像素区域中的像素特征。其中，像素特征包括每个像素点的亮暗梯度特征以及对应的像素坐标位置特征。根据每个灰度像素区域中的像素特征，将若干灰度窗口图像中与每个灰度像素区域一一对应的若干像素特征进行各灰度窗口图像之间的相似度对比匹配，得到对比匹配结果。其中，对比匹配结果包括：匹配正常以及匹配异常。相似度对比匹配为任意两组灰度窗口图像之间对应像素特征的相似度匹配。

在一个实施例中，先对获取的初始窗口图像集中每个窗口图像进行灰度预处理，然后根据灰度窗口图像的实际像素尺寸，基于两条水平以及两条竖直的分割线，划分每个灰度窗口图像，得到9个灰度像素区域，然后根据遍历的每个像素点的亮暗梯度特征以及对应的像素坐标位置特征，将若干灰度窗口图像中与每个灰度像素区域一一对应的若干像素特征进行各灰度窗口图像之间的相似度对比匹配，即初始窗口图像集中的任意两张灰度图像中相同的灰度像素区域进行有关像素点的亮暗梯度特征以及对应的像素坐标位置特征的一一比对，最终得到若干组的对比匹配结果。

进一步地，若对比匹配结果为匹配异常，则获取存在匹配异常的若干组灰度窗口图像。提取若干组灰度窗口图像中的区别像素特征以及对应的区别灰度像素区域。并根据对比匹配结果为匹配正常的若干正常窗口图像，获取正常灰度像素区域。

进一步地，根据卷积神经网络以及Sigmoid函数，对区别灰度像素区域以及正常灰度像素区域进行有关交叉像素特征的相似度学习训练，得到交叉分类网络模型。其中，交叉分类网络模型以孪生神经网络为基本架构，通过交叉分类网络模型，基于区别灰度像素区域与正常灰度像素区域的不同分配权重，对若干组灰度窗口图像进行交叉分类，以剔除区别像素特征中的正常像素特征，得到区别像素特征中的异常像素特征。其中，异常像素特征为每组灰度窗口图像中异常窗口图像所对应的像素特征。正常像素特征为每组灰度窗口图像中正常窗口图像所对应的像素特征。然后继续筛选出与异常像素特征对应的若干灰度像素区域，得到与其对应的若干异常窗口图像。

在一个实施例中，将对比匹配结果中匹配异常的若干组灰度窗口图像进行区别像素特征以及对应的区别灰度像素区域的提取，并同时获取匹配正常的若干正常窗口图像中的正常灰度像素区域，然后利用卷积神经网络以及Sigmoid函数所具有的图像相似度对比效果，学习训练出对灰度像素区域图像具有区别交叉分类效果的交叉分类网络模型，并基于正常灰度像素区域的图像模板，对匹配异常的若干组灰度窗口图像进行交叉分类，以识别出每组灰度窗口图像中正常的灰度窗口图像，然后剔除每组区别像素特征中的正常像素特征，即剔除对应正常的灰度窗口图像，仅仅保留异常像素特征对应的异常窗口图像，从而完成对存在匹配异常的若干组灰度窗口图像的分类，最终得到分类后的每张异常窗口图像。

S103、对异常窗口图像中的异常区域图像进行识别并做标记，得到异常窗口图像中的异常标记区域。

具体地，对初始窗口图像集中的所有窗口图像进行图像序列的编码处理，得到编码数据集。根据若干异常窗口图像与初始窗口图像集的对应位置，将编码数据集中与异常窗口图像对应的编码序号进行异常标记，得到异常编码序号。

在一个实施例中，在获取到初始窗口图像集后，对初始窗口图像集中的每张窗口图像进行图像序列的编码，构建出编码数据集。然后在识别出异常窗口图像后，对该异常窗口图像对应的编码序号进行异常标记，例如进行颜色标记或者特殊标记符的标记，最终得到标记后的异常编码序号。

进一步地，根据异常像素特征所对应的灰度像素区域，将与异常编码序号对应的异常窗口图像进行图像的区域分割，得到原始异常区域图像。并对原始异常区域图像进行灰度处理。

进一步地，通过二阶微分，对灰度处理后的原始异常区域图像进行初步边缘图像特征约束，得到候选异常区域。将候选异常区域的质心与边缘图像特征区域进行最小像素距离的计算，得到距离约束条件。其中，边缘图像特征区域候选异常区域的边缘像素区域。根据候选异常区域中的图像角点与质心，构建基于候选异常区域的边缘斜面坐标系。根据边缘斜面坐标系，对候选异常区域中的图像斜面像素进行倾斜角的方向定位，得到方向约束条件。根据距离约束条件以及方向约束条件，将候选异常区域进行二次边缘图像特征约束，得到异常标记区域。

在一个实施例中，首先获取交叉分类网络模型中与输入端异常像素特征对烟对应的灰度像素区域，即确定出与异常编码序号对应的异常窗口图像，然后基于分割线，对该异常窗口图像实现了图像的区域分割，定义为原始异常区域图像。然后利用二阶微分对原始异常区域图像中边缘图像的特征约束，得出比较粗略的候选异常区域，然后利用选异常区域中的图像角点与质心，对候选异常区域中的图像斜面像素进行倾斜角的方向定位，以及将候选异常区域的质心与边缘图像特征区域进行最小像素距离的计算，分别对该候选异常区域进行图像边缘特征的二次特征约束，即利用方向约束条件与距离约束条件，对候选区域进一步地进行图像边缘特征约束，得到该异常窗口图像的精准异常区域，然后对该精准异常区域进行框选标记，框选出异常标记区域。

作为一种可行的实施方式，距离约束条件中最小像素距离的计算为，其中，T为候选异常区域中窗口异常纹理图像的顶面边界区域，（，）为窗口异常纹理图像的异常候选边缘的质心，与为候选异常区域中的每个像素点坐标，为最小像素距离。方向约束条件中对图像斜面像素进行倾斜角的方向定位，包括：根据，得到图像斜面像素的相对角度，、、分别表示候选异常区域中不同的图像角点，其中，为图像角点，R为候选异常区域，（，）为候选区域的质心，（r，c）为候选异常区域中的窗口异常纹理图像与其边缘的交点坐标。

S104、根据历史窗口异常数据库，对异常标记区域进行窗口异常分类，得到轴承保持器的窗口异常类型。其中，窗口异常类型至少包括以下任意一项或多项：窗口尺寸异常、窗梁坡度异常、孔洞通畅异常以及凹槽深度异常。

具体地，通过历史窗口异常数据库中的窗口异常模板，对异常标记区域进行窗口异常的分类匹配。若匹配成功，则将窗口异常模板对应的窗口异常类型确定为异常标记区域的窗口异常类型。

在一个实施例中，将框选出的异常标记区域与历史窗口异常数据库中的窗口异常模板进行图像模板的匹配，例如，将窗口异常模板中窗口尺寸信息、窗梁坡度信息、孔洞面积信息以及凹槽深度信息等参数信息与异常标记区域中的对应信息进行信息的比对匹配，若比对匹配成功，则将该窗口异常模板所对应的窗口异常类型，确定为该异常标记区域所对应的窗口异常类型，即为该异常窗口对应的窗口异常类型。

进一步地，若匹配不成功，则对异常标记区域进行窗口异常类型判断。通过Hough变换直线检测算法，对异常标记区域中窗口的横梁像素以及纵梁像素进行像素点集的直线检测，得到窗口尺寸信息。根据霍夫变换，将异常标记区域中同一亮度梯度的像素集合进行直线斜率计算，得到窗梁坡度信息。通过Hough变换圆检测算法，对异常标记区域中的不相交曲线进行识别，得到圆形轮廓区域。并根据异常标记区域中的相邻连通域，对圆形轮廓区域中的相同像素进行面积计算，得到孔洞面积信息。对异常标记区域中凹凸区域进行像素长度计算，得到凹槽深度信息。

进一步地，将图纸信息与窗口尺寸信息、窗梁坡度信息、孔洞面积信息以及凹槽深度信息进行信息比对，确定出异常标记区域的窗口异常类型。

在一个实施例中，如图5以及图6所示，将不符合窗口异常模板中的异常标记区域图像进行有关窗口异常类型判断，利用框选出的异常标记区域中的像素排布特点，基于Hough变换直线检测算法与Hough变换圆检测算法，对窗口的各种像素点集的亮度特点、相同像素排布、相邻连通域分布以及相同像素面积大小进行信息的识别获取，分别获取窗口尺寸信息、窗梁坡度信息、孔洞面积信息以及凹槽深度信息等等，然后再与上传到窗口检测系统中的图纸信息进行误差范围的比对，例如孔洞面积信息中转换后的单个孔洞实际面积与图纸信息中标准孔洞面积的误差控制在1%以内，则认为该孔洞面积信息为合格信息，否则为孔洞通畅异常信息。最后将全部不合格的窗口尺寸信息、窗梁坡度信息、以及凹槽深度信息，分别确定为窗口尺寸异常信息、窗梁坡度异常信息、凹槽深度异常信息等等，即得到了每个异常窗口所对应的窗口异常类型。

S105、通过旋转台与摄像机，将与窗口异常类型所对应的异常窗口进行二次窗口图像的拍照，得到真实窗口异常图像。并通过激光射线，对真实窗口异常图像对应的窗口位置进行有关二维坐标系的射线定位，得到异常窗口位置信息。

具体地，获取与窗口异常类型所对应异常窗口的异常编码序号。根据异常编码序号在编码数据集中的序列位置，将旋转台的伺服电机进行旋转反馈控制，以使异常编码序号对应的异常窗口正对摄像机。其中，旋转反馈控制为根据异常编码序号与当前编码序号之间的拍照时间间隔来控制伺服电机旋转运行的。然后通过摄像机，对异常编码序号所对应的若干异常窗口进行二次窗口图像的拍照，得到若干真实窗口异常图像。

在一个实施例中，在全部识别出窗口异常类型后，将旋转台中的伺服电机进行关闭控制，然后再根据与窗口异常类型对应的异常编码序号在整个编码数据集中的位置以及摄像机的位置，将每个异常编码序号对应的异常窗口重新旋转移动到摄像机的正前方，以使异常编码序号对应的异常窗口正对摄像机。其中，伺服电机的转动时间受异常编码序号、当前在摄像机前的编码序号以及摄像机拍照时间间隔所确定，再结合旋转台的固定角速率，从而使旋转台上轴承保持器的每个异常窗口都能摄像机重新进行二次拍照，有利于工作人员在后端系统中，看到真实的轴承保持器窗口情况。

进一步地，在获取到全部真实窗口异常图像以及对应的若干异常编码序号后，通过激光射线，对真实窗口异常图像对应的若干异常窗口进行单线激光照射，得到若干激光射线。

进一步地，基于旋转台上预设的二维坐标系，对若干激光射线进行射线的倾角定位，得到若干射线倾角。并根据若干射线倾角以及若干异常编码序号，确定出若干异常窗口的异常窗口位置信息。

在一个实施例中，图3为本申请实施例提供的一种旋转台的二维坐标系平面刻度图，如图3以及图2所示，利用旋转台上的二维坐标系，通过激光发射器发射的激光射线，准确的定位异常窗口上，并获取此时激光射线所形成的射线倾角，然后再根据对应的异常编码序号，得到有关射线倾角-异常编码序号的异常窗口位置信息。

S106、基于异常窗口位置信息，根据窗口异常类型以及真实窗口异常图像，确定出轴承保持器的窗口检测结果，并将窗口检测结果发送到工作人员的终端中。

具体地，根据若干有关射线倾角-异常编码序号的异常窗口位置信息与若干窗口异常类型，并结合对旋转台反馈控制后二次拍照得到的真实窗口异常图像，一起送到窗口检测系统的终端上，其中，窗口检测结果的内容为表格形式的数据内容，表头包括异常窗口位置信息、窗口异常类型以及真实窗口异常图像，然后依据异常编码序号，进行数据的一一罗列，最终形成该轴承保持器的窗口检测结果。然后将表格形式的窗口检测结果数据展现给工作人员，以帮助他们根据轴承保持器的窗口自动检测结果，进行人工复审查看，进一步保证轴承保持器的成品合格率，降低了人为误差，提高了对轴承保持器的窗口检测效率。

另外，本申请实施例还提供了一种轴承保持器的窗口检测设备，如图6所示，轴承保持器的窗口检测设备600具体包括：

至少一个处理器601。以及，与至少一个处理器601通信连接的存储器602；其中，存储器602存储有能够被至少一个处理器601执行的指令，以使至少一个处理器601能够执行：

通过摄像机，对旋转台上的轴承保持器进行连续窗口图像的拍照，得到初始窗口图像集；

将初始窗口图像集中的每个窗口图像进行相互的对比匹配；并根据对比匹配结果，将对比匹配结果中匹配异常的若干窗口图像进行筛选，得到若干异常窗口图像；

对异常窗口图像中的异常区域图像进行识别并做标记，得到异常窗口图像中的异常标记区域；

对异常标记区域进行窗口异常分类，得到轴承保持器的窗口异常类型；其中，窗口异常类型至少包括以下任意一项或多项：窗口尺寸异常、窗梁坡度异常、孔洞通畅异常以及凹槽深度异常；

通过旋转台与摄像机，将与窗口异常类型所对应的异常窗口进行二次窗口图像的拍照，得到真实窗口异常图像；并通过激光射线，对真实窗口异常图像对应的窗口位置进行有关二维坐标系的射线定位，得到异常窗口位置信息；

基于异常窗口位置信息，根据窗口异常类型以及真实窗口异常图像，确定出轴承保持器的窗口检测结果，并将窗口检测结果发送到工作人员的终端中。

本申请通过旋转台与摄像机，对轴承保持器进行窗口检测，利用识别到的所有窗口进行相互的比对，然后筛选出异常窗口并判断窗口异常类型，之后，能够准确的识别出异常的窗口位置与异常类型，并结合真实的窗口异常图像，一并发送给后端的工作人员，能够帮助工作人员减少大量的窗口检测工作量，并且还具有较高的准确率，结合激光的定位，能够快速帮助工作人员找到有异常情况的窗口，并确定出对应的异常故障类型，大大降低了人工成本，提高了检测效率，并且能够对窗口进行全方面的细致检测，降低了人为误差，提高了轴承保持器的成品合格率。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备、非易失性计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请的实施例可以有各种更改和变化。凡在本申请实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种轴承保持器的窗口检测方法，其特征在于，所述方法包括：

通过摄像机，对旋转台上的轴承保持器进行连续窗口图像的拍照，得到初始窗口图像集；

将所述初始窗口图像集中的每个窗口图像进行相互的对比匹配；并根据对比匹配结果，将所述对比匹配结果中匹配异常的若干窗口图像进行筛选，得到若干异常窗口图像；

对所述异常窗口图像中的异常区域图像进行识别并做标记，得到所述异常窗口图像中的异常标记区域；

对所述异常标记区域进行窗口异常分类，得到轴承保持器的窗口异常类型；其中，所述窗口异常类型至少包括以下任意一项或多项：窗口尺寸异常、窗梁坡度异常、孔洞通畅异常以及凹槽深度异常；

通过所述旋转台与所述摄像机，将与所述窗口异常类型所对应的异常窗口进行二次窗口图像的拍照，得到真实窗口异常图像；并通过激光射线，对所述真实窗口异常图像对应的窗口位置进行有关二维坐标系的射线定位，得到异常窗口位置信息；

基于所述异常窗口位置信息，根据所述窗口异常类型以及真实窗口异常图像，确定出所述轴承保持器的窗口检测结果，并将所述窗口检测结果发送到工作人员的终端中。

2.根据权利要求1所述的一种轴承保持器的窗口检测方法，其特征在于，通过摄像机，对旋转台上的轴承保持器进行连续窗口图像的拍照，得到初始窗口图像集，具体包括：

获取待生产的轴承保持器的图纸信息，其中，所述图纸信息至少包括：窗口数量、窗口尺寸、轴承保持器半径以及窗梁加工参数；

将所述图纸信息中的所述窗口数量以及所述轴承保持器半径输入到旋转台控制系统的控制单元中；其中，所述旋转台控制系统包括所述控制单元、伺服电机单元以及激光发射单元；

根据所述窗口数量，并基于所述摄像机的间隔，确定出所述旋转台的角速率，以进行对所述轴承保持器的每个窗口进行拍照；

根据所述旋转台的角速率，控制所述旋转台的运行，并基于所述摄像机，对所述轴承保持器进行连续窗口的拍照，得到部分窗口图像集；其中，所述部分窗口图像集为摄像机开头前多次时间间隔所拍摄的图像集；

根据预设的Canny算子，对所述部分窗口图像集的灰度图像集进行窗梁像素的面积检测，得到实际窗梁像素面积；并根据窗梁的标准像素面积，对所述实际窗梁像素面积进行面积数值的比对；将比对成功的实际窗梁像素面积确定为完整的窗梁像素值；

将所述完整的窗梁像素值所对应的窗口图像确定为第一窗口图像；并根据所述第一窗口图像以及对应的摄像机拍摄时间间隔，重新反馈给所述旋转台控制系统的控制单元中，以使所述轴承保持器的每个窗口均被可完整地拍照到，得到所述初始窗口图像集。

3.根据权利要求1所述的一种轴承保持器的窗口检测方法，其特征在于，将所述初始窗口图像集中的每个窗口图像进行相互的对比匹配，具体包括：

对每个窗口图像进行灰度预处理，得到若干灰度窗口图像；

根据所述灰度窗口图像的实际像素尺寸，基于预设分割线，对所述灰度窗口图像进行区域划分，得到灰度像素区域；其中，每个所述灰度窗口图像被分为9个灰度像素区域；

遍历每个所述灰度像素区域中的像素特征；其中，所述像素特征包括每个像素点的亮暗梯度特征以及对应的像素坐标位置特征；

根据每个所述灰度像素区域中的像素特征，将所述若干灰度窗口图像中与每个灰度像素区域一一对应的若干像素特征进行各灰度窗口图像之间的相似度对比匹配，得到所述对比匹配结果；其中，所述对比匹配结果包括：匹配正常以及匹配异常；所述相似度对比匹配为任意两组灰度窗口图像之间对应像素特征的相似度匹配。

4.根据权利要求1所述的一种轴承保持器的窗口检测方法，其特征在于，根据对比匹配结果，将所述对比匹配结果中匹配异常的若干窗口图像进行筛选，得到若干异常窗口图像，具体包括：

若所述对比匹配结果为匹配异常，则获取存在匹配异常的若干组灰度窗口图像；

提取所述若干组灰度窗口图像中的区别像素特征以及对应的区别灰度像素区域；并根据所述对比匹配结果为匹配正常的若干正常窗口图像，获取正常灰度像素区域；

根据卷积神经网络以及Sigmoid函数，对所述区别灰度像素区域以及所述正常灰度像素区域进行有关交叉像素特征的相似度学习训练，得到交叉分类网络模型；其中，所述交叉分类网络模型以孪生神经网络为基本架构；

通过所述交叉分类网络模型，基于所述区别灰度像素区域与所述正常灰度像素区域的不同分配权重，对所述若干组灰度窗口图像进行交叉分类，以剔除所述区别像素特征中的正常像素特征，得到所述区别像素特征中的异常像素特征；其中，所述异常像素特征为每组灰度窗口图像中异常窗口图像所对应的像素特征；

筛选出与所述异常像素特征对应的若干灰度像素区域，得到与其对应的所述若干异常窗口图像。

5.根据权利要求1所述的一种轴承保持器的窗口检测方法，其特征在于，在对所述异常窗口图像中的异常区域图像进行识别并做标记，得到所述异常窗口图像中的异常标记区域之前，所述方法还包括：

对所述初始窗口图像集中的所有窗口图像进行图像序列的编码处理，得到编码数据集；

根据若干所述异常窗口图像与所述初始窗口图像集的对应位置，将所述编码数据集中与所述异常窗口图像对应的编码序号进行异常标记，得到异常编码序号。

6.根据权利要求5所述的一种轴承保持器的窗口检测方法，其特征在于，对所述异常窗口图像中的异常区域图像进行识别并做标记，得到所述异常窗口图像中的异常标记区域，具体包括：

根据异常像素特征所对应的灰度像素区域，将与所述异常编码序号对应的异常窗口图像进行图像的区域分割，得到原始异常区域图像；并对所述原始异常区域图像进行灰度处理；

通过二阶微分，对灰度处理后的原始异常区域图像进行初步边缘图像特征约束，得到候选异常区域；

将所述候选异常区域的质心与边缘图像特征区域进行最小像素距离的计算，得到距离约束条件；其中，所述边缘图像特征区域所述候选异常区域的边缘像素区域；

根据所述候选异常区域中的图像角点与所述质心，构建基于所述候选异常区域的边缘斜面坐标系；

根据所述边缘斜面坐标系，对所述候选异常区域中的图像斜面像素进行倾斜角的方向定位，得到方向约束条件；

根据所述距离约束条件以及所述方向约束条件，将所述候选异常区域进行二次边缘图像特征约束，得到所述异常标记区域。

7.根据权利要求1所述的一种轴承保持器的窗口检测方法，其特征在于，对所述异常标记区域进行窗口异常分类，得到轴承保持器的窗口异常类型，具体包括：

通过历史窗口异常数据库中的窗口异常模板，对所述异常标记区域进行窗口异常的分类匹配；若匹配成功，则将所述窗口异常模板对应的窗口异常类型确定为所述异常标记区域的窗口异常类型；

若匹配不成功，则对所述异常标记区域进行窗口异常类型判断；

通过Hough变换直线检测算法，对所述异常标记区域中窗口的横梁像素以及纵梁像素进行像素点集的直线检测，得到窗口尺寸信息；

根据霍夫变换，将所述异常标记区域中同一亮度梯度的像素集合进行直线斜率计算，得到窗梁坡度信息；

通过Hough变换圆检测算法，对所述异常标记区域中的不相交曲线进行识别，得到圆形轮廓区域；并根据所述异常标记区域中的相邻连通域，对所述圆形轮廓区域中的相同像素进行面积计算，得到孔洞面积信息；

对所述异常标记区域中凹凸区域进行像素长度计算，得到凹槽深度信息；

将图纸信息与所述窗口尺寸信息、所述窗梁坡度信息、所述孔洞面积信息以及凹槽深度信息进行信息比对，确定出所述异常标记区域的窗口异常类型。

8.根据权利要求1所述的一种轴承保持器的窗口检测方法，其特征在于，通过所述旋转台与所述摄像机，将与所述窗口异常类型所对应的异常窗口进行二次窗口图像的拍照，得到真实窗口异常图像，具体包括：

获取与所述窗口异常类型所对应异常窗口的异常编码序号；

根据所述异常编码序号在编码数据集中的序列位置，将所述旋转台的伺服电机进行旋转反馈控制，以使所述异常编码序号对应的异常窗口正对所述摄像机；其中，所述旋转反馈控制为根据所述异常编码序号与当前编码序号之间的拍照时间间隔来控制伺服电机旋转运行的；

通过所述摄像机，对所述异常编码序号所对应的若干异常窗口进行二次窗口图像的拍照，得到若干所述真实窗口异常图像。

9.根据权利要求1所述的一种轴承保持器的窗口检测方法，其特征在于，通过激光射线，对所述真实窗口异常图像对应的窗口位置进行有关二维坐标系的射线定位，得到异常窗口位置信息，具体包括：

在获取到全部所述真实窗口异常图像以及对应的若干异常编码序号后，通过所述激光射线，对所述真实窗口异常图像对应的若干异常窗口进行单线激光照射，得到若干激光射线；

基于旋转台上预设的二维坐标系，对所述若干激光射线进行射线的倾角定位，得到若干射线倾角；并根据所述若干射线倾角以及所述若干异常编码序号，确定出若干异常窗口的异常窗口位置信息。

10.一种轴承保持器的窗口检测设备，其特征在于，所述设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有能够被所述至少一个处理器执行的指令，以使所述至少一个处理器能够执行根据权利要求1-9任一项所述的一种轴承保持器的窗口检测方法。

Images