CN115909157A

CN115909157A - 一种基于机器视觉的识别检测方法、装置、设备及介质

Info

Publication number: CN115909157A
Application number: CN202211461705.4A
Authority: CN
Inventors: 候世龙; 王林龙; 刘晓亮
Original assignee: Shandong Shunnuo Tenghui Intelligent Technology Co ltd
Current assignee: Shandong Shunnuo Tenghui Intelligent Technology Co ltd
Priority date: 2022-11-17
Filing date: 2022-11-17
Publication date: 2023-04-04

Abstract

本申请涉及一种基于机器视觉的识别检测方法、装置、设备及介质，涉及生产检测的技术领域，包括：当检测到生产视觉指令后，获取生产视觉帧，生产视觉帧用于表示生产流水线中每个生产节点的视觉帧，对生产视觉帧进行分析筛选，得到视觉关键帧，基于视觉关键帧确定第一地图点以及共视图，并对第一地图点以及共视图进行深度值关联分析，得到视觉地图点，然后对视觉地图点中的特征点进行特征分析，得到生产分析结果，然后判断生产分析结果中是否存在预设生产缺陷，若存在，则对存在预设生产缺陷的视觉地图点进行位置检测，得到异常位置信息。本申请具有降低生产产品的维护成本的效果。

Description

一种基于机器视觉的识别检测方法、装置、设备及介质

技术领域

本申请涉及生产检测的技术领域，更具体地，涉及一种基于机器视觉的识别检测方法、系统及储存介质。

背景技术

目前的工业机器人可以实现全面快速地机械自动化生产产品，在制造行业中的工业机器人生产产品的过程中，仅仅是机械地重复生产操作，无法感知生产的产品是否出现了缺陷、缺陷的节点以及出现的缺陷类别，这里的制造行业中的产品缺陷例如：在金属板材加工行业中的金属板材出现凹凸不平、粗糙不光滑、博厚不均和杂质颗粒状等缺陷类别。

针对于上述中提到的缺陷，目前仍然是依靠人工发现缺陷并修复缺陷，但由于生产车间环境以及工业化流水线生产等因素，易导致缺陷节点因未能及时发现并修复使得后续生产节点出现二次缺陷，从而提高了产品的维护成本。

发明内容

为了降低生产产品的维护成本，本申请提供一种基于机器视觉的识别检测方法、装置、设备及介质。

第一方面，本申请提供一种基于机器视觉的识别检测的方法，采用如下的技术方案：一种基于机器视觉的识别检测的方法，包括：

当检测到生产视觉指令后，获取生产视觉帧，所述生产视觉帧用于表示生产流水线中每个生产节点的视觉帧；

对所述生产视觉帧进行分析筛选，得到视觉关键帧；

基于所述视觉关键帧确定第一地图点以及共视图，并对所述第一地图点以及所述共视图进行深度值关联分析，得到视觉地图点，所述第一地图点用于表示所述视觉关键帧的原始地图点，所述共视图用于表示所述第一地图点对应的共视图；

对所述视觉地图点中的特征点进行特征分析，得到生产分析结果；

判断所述生产分析结果中是否存在预设生产缺陷，若存在，则对存在预设生产缺陷的视觉地图点进行位置检测，得到异常位置信息。

在另一种可能实现的方式中，所述对所述生产视觉帧进行分析筛选，得到视觉关键帧，包括：

获取设备位移信息，所述设备位移信息为所述生产流水线中每个待加工设备的移动信息；基于所述设备位移信息，确定所述待加工设备是否产生预设位移变化，若所述待加工设备产生预设位移变化，则将所述生产视觉帧与所述生产视觉帧的前一关键帧进行比对分析，得到视觉关键帧。

所述对所述第一地图点以及所述共视图进行深度值关联分析，得到视觉地图点，包括：

判断所述视觉关键帧的特征点是否具有深度值和/或所述第一地图点存在关联；

若所述视觉关键帧的特征点与所述第一地图点存在关联，则基于所述视觉关键帧的特征点对所述第一地图点以及共视图进行更新；

若所述视觉关键帧的特征点具有深度值且与所述第一地图点不存在关联，则基于所述特征点构建第二地图点；

若所述视觉关键帧的特征点不具有深度值，则对所述视觉关键帧、第一共视关键帧以及第二共视关键帧进行三角化构建，得到第三地图点；

分别对所述第二地图点、所述第三地图点以及第四地图点进行预设处理，得到达标地图点、剔除地图点以及流转地图点，并将所述剔除地图点进行剔除，将所述流转地图点流转至所述视觉关键帧的下一个关键帧的地图点进行预设处理，所述第四地图点为所述视觉关键帧的上一关键帧的地图点通过所述预设处理得到的流转地图点；

将所述达标地图点并入所述第一地图点，得到视觉地图点。

在另一种可能实现的方式中，所述对所述视觉关键帧、第一共视关键帧以及第二共视关键帧进行三角化构建，得到第三地图点，包括：

获取第一共视关键帧以及第二共视关键帧，所述第一共视关键帧为满足所述视觉关键帧共视程度要求的关键帧，所述第二共视关键帧为满足所述第一共视关键帧共视程度要求的关键帧；分别将所述视觉关键帧与所述第一共视关键帧、第二共视关键帧进行特征点匹配，得到匹配特征点；

将所述匹配特征点通过三角化构建，得到第三地图点。

在另一种可能实现的方式中，所述对所述视觉地图点中的特征点进行特征分析，得到生产分析结果，包括：

获取特征训练样本，所述特征训练样本包括所述视觉地图点的异常样本特征以及异常样本特征中每个异常对应的标注信息，所述标注信息包括：异常类别信息以及异常等级信息；

创建特征网络模型，并基于所述特征训练样本对所述特征网络模型进行训练，得到训练好的特征网络模型；

将所述视觉地图点中的特征点输入至训练后的特征网络模型进行异常检测分析，得到生产分析结果。

在另一种可能实现的方式中，所述对所述第一地图点以及所述共视图进行深度值关联分析，得到视觉地图点，之前还包括：

基于所述生产视觉帧确定图像金字塔，并对所述图像金字塔的每层图像提取特征点，得到具有深度值的特征点；

对所述特征点进行均匀化处理，得到处理后的特征点。

在另一种可能实现的方式中，所述对所述特征点进行均匀化处理，得到处理后的特征点，之后还包括：

计算所述特征点的旋转主方向，得到方向变化量；

将所述方向变化量与所述特征点进行绑定，得到绑定后的特征点。

第二方面，本申请提供一种基于机器视觉的识别检测的装置，采用如下的技术方案：一种基于机器视觉的识别检测的装置，包括：

视觉获取模块，用于当检测到生产视觉指令后，获取生产视觉帧，所述生产视觉帧用于表示生产流水线中每个生产节点的视觉帧；

视觉分析模块，用于对所述生产视觉帧进行分析筛选，得到视觉关键帧；

深度关联模块，用于基于所述视觉关键帧确定第一地图点以及共视图，并对所述第一地图点以及所述共视图进行深度值关联分析，得到视觉地图点，所述第一地图点用于表示所述视觉关键帧的原始地图点，所述共视图用于表示所述第一地图点对应的共视图；

特征分析模块，用于对所述视觉地图点中的特征点进行特征分析，得到生产分析结果；

异常判断模块，用于判断所述生产分析结果中是否存在预设生产缺陷，若存在，则对存在预设生产缺陷的视觉地图点进行位置检测，得到异常位置信息。

在一种可能的实现方式中，所述视觉分析模块在对所述生产视觉帧进行分析筛选，得到视觉关键帧时，具体用于：

在另一种可能的实现方式中，所述深度关联模块在对所述第一地图点以及所述共视图进行深度值关联分析，得到视觉地图点，具体用于：

将所述达标地图点并入所述第一地图点，得到视觉地图点。

在另一种可能的实现方式中，所述深度关联模块在对所述视觉关键帧、第一共视关键帧以及第二共视关键帧进行三角化构建，得到第三地图点时，具体用于：

将所述匹配特征点通过三角化构建，得到第三地图点。

在另一种可能的实现方式中，所述特征分析模块在对所述视觉地图点中的特征点进行特征分析，得到生产分析结果时，具体用于：

在另一种可能的实现方式中，所述装置还包括：特征提取模块以及特征处理模块，其中，

所述特征提取模块，用于基于所述生产视觉帧确定图像金字塔，并对所述图像金字塔的每层图像提取特征点，得到具有深度值的特征点；

所述特征处理模块，用于对所述特征点进行均匀化处理，得到处理后的特征点。

在另一种可能的实现方式中，所述装置还包括：方向计算模块以及特征绑定模块，其中，

所述方向计算模块，用于计算所述特征点的旋转主方向，得到方向变化量；

所述特征绑定模块，用于将所述方向变化量与所述特征点进行绑定，得到绑定后的特征点。

第三方面，本申请提供一种电子设备，采用如下的技术方案：

一种电子设备，该电子设备包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：执行根据第一方面任一种可能的实现方式所示的一种基于机器视觉的识别检测的方法。

第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：

一种计算机可读存储介质，包括：存储有能够被处理器加载并执行实现第一方面任一种可能的实现方式所示的一种基于机器视觉的识别检测的方法的计算机程序。

综上所述，本申请包括以下至少一种有益技术效果：

通过采用上述技术方案，在工业机器人生产产品的过程中，通过获取生产视觉帧，来对生产视觉帧进行分析筛选，得到视觉关键帧，然后基于视觉关键帧确定第一地图点以及共视图，并对第一地图点以及共视图进行深度值关联分析，得到视觉地图点，然后对视觉地图点中的特征点进行特征分析，得到生产分析结果，然后判断生产分析结果中是否存在预设生产缺陷，若存在，则对存在预设生产缺陷的视觉地图点进行位置检测，得到异常位置信息，从而在生产产品过程中首次出现异常故障时，及时准确的告知工作人员缺陷节点位置，以便于工作人员及时进行维护，避免后续出现二次缺陷，从而达到了降低生产产品的维护成本的效果。

附图说明

图1是本申请实施例的一种基于机器视觉的识别检测的方法的流程示意图；

图2是本申请实施例的一种基于机器视觉的识别检测的装置的结构示意图；

图3是本申请实施例的电子设备的结构示意图；

具体实施方式

以下结合附图1-3对本申请作进一步详细说明。

领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

对本方案中使用的术语进行进一步解释：

特征点：特征点是指图片中的一些显著区别于其他像素的像素点，以及其周围像素构成的纹理信息。它们是人类视觉系统和机器人视觉SLAM系统的主要处理对象，具备可以被提取和匹配关联的特性。常见的特征点往往具备亮度特别高或低、周围像素呈现围绕分布、像素梯度在多个方向上处于极值等特点。特征点的提取即是从图片中找到这些特别的像素点，记录它们的坐标信息。

特征点的描述是给已经被提取的特征点分配一个具有特定性、可识别的ID，通常都与以其周围图像的明暗有关，可类比为给每个人颁发一个身份证号码。同时，特征点的描述一般也包含一个特征点的强度值，表明此特征的突出程度，越高则其对于环境光照的影响越不敏感、越稳定，越低则越不可靠。每个提取的特征点都可以表示为：{(u，v)，s，d}。

其中(u,v)表示特征点的位置坐标，s为其强度值，d为描述子(通常为固定大小的矩阵)。

常见的特征点提取算法有Harris、SIFT、SURF、ORB等。在工程实践中，ORB特征具有计算量小、描述子简单等特点，适合数量和速度优先的场景。以下均默认为ORB特征点。

深度值：被成像物体到相机中心的距离，RGBD相机可直接测量得到，双目相机可以通过立体视觉计算获得。

视觉帧：双目图像，或RGBD图像。

关键帧：基于视觉帧构建，主要组成为：{位姿，特征点集合，特征点对应的地图点集合(若特征点存在关联的地图点)}，其中，位姿是通过PnP算法计算出来的。

视觉地图点：简称地图点，主要组成为：{世界坐标，最佳描述子，观测关键帧集合，观测距离范围，平均观测方向}。

观测关键帧：地图点与该关键帧的某个特征点有关联(被观测到)。

观测距离范围：观测关键帧与地图点距离的最小与最大值区间。

观测方向：世界坐标系下观测关键帧与地图点形成的直线方向。

共视图：顶点为关键帧，边代表连接的关键帧具有共视关系(存在共视地图点)，边的权重为共视地图点的总数。

第一地图点：最终构成视觉地图的地图点

第二地图点：候选地图点，由新的关键帧中没有与第一地图点关联但具有深度值的特征点构建。

第三地图点：候选地图点，由新的关键帧中没有与第一地图点关联、没有深度值的特征点与该关键帧的第一第二共视关键帧的同类特征点(未与第一地图点关联，也没有深度值)匹配并通过三角法构建。

第四地图点：候选地图点，第二、第三地图点中经过筛选，既未并入第一地图点也未被剔除的地图点，需要继续进行筛选。

下面结合说明书附图对本申请实施例作进一步详细描述。

本申请实施例提供了一种基于机器视觉的识别检测的方法，由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此，该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制，如图1所示，该方法包括：

步骤S10，当检测到生产视觉指令后，获取生产视觉帧。

其中，生产视觉帧用于表示生产流水线中每个生产节点的视觉帧。

在本申请实施例中，通过预先在指定位置设置的拍摄装置，对每个机器人加工设备的加工细节进行视觉检测，从而得到生产视觉帧。

步骤S11，对生产视觉帧进行分析筛选，得到视觉关键帧。

具体地，视觉关键帧为当前时间内的关键帧，是抽取前一时间段内的生产视觉帧得到的。视觉帧与关键帧的区别在于，视觉帧是每时每刻都在产生，而关键帧是将局部相近的多个视觉帧中找到最具有代表性的一个视觉帧，在本申请实施例中不做限定。

具体地，一段动画，从本质上讲就是一段时间内连续播放的一定数量的画面。每一张画面，我们管它叫做“视觉帧”。至于为什么叫做“视觉帧”，是因为这些画面包含了时间和位置的变化关系，一定时间内连续快速播放若干个帧，就成了人眼中所看到的动画。同样时间内，播放的视觉帧数越多，画面看起来越流畅，即从多个视觉帧中挑选关键帧，并将关键字进行组合播放。

具体地，生成视觉关键帧的优点在于：

相近帧之间信息冗余度很高，关键帧是取局部相近帧中最有代表性的一帧，可以降低信息冗余度。举例来说，摄像头放在原处不动，普通帧还是要记录的，但关键帧不会增加。

关键帧选择时还会对图片质量、特征点质量等进行考察，在Bundle Fusion、RKDSLAM等RGB-D SLAM相关方案中常常用普通帧的深度投影到关键帧上进行深度图优化，一定程度上关键帧是普通帧滤波和优化的结果，防止无用的或错误的信息进入优化过程而破坏定位建图的准确性。

步骤S12，基于视觉关键帧确定第一地图点以及共视图，并对第一地图点以及共视图进行深度值关联分析，得到视觉地图点。

其中，第一地图点用于表示视觉关键帧的原始地图点，共视图用于表示第一地图点对应的共视图。

步骤S13，对视觉地图点中的特征点进行特征分析，得到生产分析结果。

步骤S14，判断生产分析结果中是否存在预设生产缺陷，若存在，则对存在预设生产缺陷的视觉地图点进行位置检测，得到异常位置信息。

具体地，生产分析结果用于表示对机器人生产产品过程中每个生产节点所检测的生产结果，本申请实施例以汽车生产进行举例说明：在汽车生产过程中涉及到车身自动化立库单元、车身点焊打磨单元、发动机装配单元、机盖装配单元、轮胎拆垛定位单元、车门冲压单元、挡风玻璃涂胶单元以及智能立体车库系统单元等多个生产单元，通过上述中每个单元之间相互关联组成的汽车生产链。在汽车生产链成产过程中，若某一单元出现缺陷，就易导致后续单元出现缺陷，例如：车身电焊打磨单元的打磨深度出现缺陷，导致后续的发动机装配单元就会出现装配缺陷，即发动机难以正常装配至对应装配位置，因此通过视觉地图点中关于车身打磨单元的特征点进行特征分析，得到该单元的生产分析结果。

在本申请实施例中，在工业机器人生产产品的过程中，通过获取生产视觉帧，来对生产视觉帧进行分析筛选，得到视觉关键帧，然后基于视觉关键帧确定第一地图点以及共视图，并对第一地图点以及共视图进行深度值关联分析，得到视觉地图点，然后对视觉地图点中的特征点进行特征分析，得到生产分析结果，然后判断生产分析结果中是否存在预设生产缺陷，若存在，则对存在预设生产缺陷的视觉地图点进行位置检测，得到异常位置信息，从而在生产产品过程中首次出现异常故障时，及时准确的告知工作人员缺陷节点位置，以便于工作人员及时进行维护，避免后续出现二次缺陷，从而达到了降低生产产品的维护成本的效果。

本申请实施例的一种可能的实现方式，步骤S11具体包括步骤S111(图中未示出)以及步骤S112(图中未示出)，其中，

步骤S111，获取设备位移信息。

其中，设备位移信息为生产流水线中每个待加工设备的移动信息。

具体地，通过安装在不同生产单元位置的监测设备获取生产图像，然后根据生产图像获取生产待加工设备的移动信息。

在本申请实施例中，监测设备包括监测摄像头。

步骤S112，基于设备位移信息，确定待加工设备是否产生预设位移变化，若待加工设备产生预设位移变化，则将生产视觉帧与生产视觉帧的前一关键帧进行比对分析，得到视觉关键帧。

具体地，运动过滤基于运动信息判断是否需要对当前视觉帧进行处理，即：若获取当前生产视觉帧时设备所处位姿与前一待处理生产视觉帧中设备所处位姿变化低于一定范围则跳过该视觉帧，否则该视觉帧作为待处理视觉帧进行进一步处理，位姿变化包括位移和姿态变化，运动信息可由运动传感器获取，运动传感器包括IMU、轮式编码器等。

将待处理生产视觉帧与前一关键帧进行比对分析，判断是否需要生成新的关键帧，若是，则生成，否则，跳过。比对方式为：提取待处理生产视觉帧的特征点，与前一关键帧的特征点进行匹配，匹配特征点的比例低于一定阈值，意味着当前视觉帧与前一关键帧相差较大，即所视场景区别较大，需要生成新的关键帧，否则不需要。关于帧与帧之间(包括视觉帧与关键帧，关键帧与关键帧)的特征点匹配，这里在一般的匹配结果上增加了一步基于旋转主方向的筛选，具体为：计算所有匹配特征点的旋转主方向变化值，将其放入若干个区间，如(-3，-1]，(-1，0]，(1，3]，(1，3]...，之后保留数目最多的3个区间中的匹配特征点，其余剔除，因为一般情况下两帧之间匹配特征点的旋转主方向变化是接近的，具体区间大小、区间个数和结果区间个数可根据需要配置。

本申请实施例的一种可能的实现方式，步骤S12(图中未示出)具体包括步骤S121(图中未示出)、步骤S122(图中未示出)、步骤S123(图中未示出)、步骤S124(图中未示出)、步骤S125(图中未示出)以及步骤S126，其中，

步骤S121，判断视觉关键帧的特征点是否具有深度值和/或第一地图点存在关联。

步骤S122，若视觉关键帧的特征点与第一地图点存在关联，则基于视觉关键帧的特征点对第一地图点以及共视图进行更新。

步骤S123，若视觉关键帧的特征点具有深度值且与第一地图点不存在关联，则基于特征点构建第二地图点。

步骤S124，若视觉关键帧的特征点不具有深度值，则对视觉关键帧、第一共视关键帧以及第二共视关键帧进行三角化构建，得到第三地图点。

步骤S125，分别对第二地图点、第三地图点以及第四地图点进行预设处理，得到达标地图点、剔除地图点以及流转地图点，并将剔除地图点进行剔除，将流转地图点流转至视觉关键帧的下一个关键帧的地图点进行预设处理，第四地图点为视觉关键帧的上一关键帧的地图点通过预设处理得到的流转地图点。

步骤S126，将达标地图点并入第一地图点，得到视觉地图点。

在本申请实施例中，对第二、第三、第四地图点进行筛选、剔除和融合，通过筛选或融合的地图点并入第一地图点，达到剔除条件的则剔除，其余的并入第四地图点进入下一个关键帧的处理流程，以下将第二、第三、第四地图点统称为候选地图点cMP。

每个候选地图点cMP都会有相应的生成关键帧，若cMP生成至今又有N₁个关键帧生成，若该cMP的观测关键帧数目少于N₂个，则将其剔除，若该cMP的观测关键帧数目多于N₃个，则其通过筛选并入第一地图点，若该cMP的观测关键帧数目在N₂与N₃之间，则作为第四地图点进入下一个关键帧的处理流程。

本申请实施例的一种可能的实现方式，步骤S124具体包括步骤S241(图中未示出)、步骤S242(图中未示出)以及步骤S243(图中未示出)，其中，

步骤S241，获取第一共视关键帧以及第二共视关键帧。

其中，第一共视关键帧为满足视觉关键帧共视程度要求的关键帧，第二共视关键帧为满足第一共视关键帧共视程度要求的关键帧。

具体地，共视程度要求为共视程度最高的前十个，第一共视关键帧为与该关键帧共视程度最高的前十个关键帧,第二共视关键帧为与第一共视关键帧共视程度最高的十个关键帧,即第一第二共视关键帧总数最多有C₁+C₁*C₂个。

步骤S242，分别将视觉关键帧与第一共视关键帧、第二共视关键帧进行特征点匹配，得到匹配特征点。

具体地，将视觉关键帧依次与关键帧中每一个共视关键帧进行特征点匹配。这里在匹配前需要先进行一步场景深度检验，具体为：对每一个关键帧，其所有具有深度值的特征点的深度值中值即为场景深度中值，并计算关键帧与视觉关键帧的相对位移(作为三角法计算中的基线)，该相对位移与关键帧的场景深度中值比值很小，则跳过，因为此时通过三角法构建的地图点不可靠。

步骤S243，将匹配特征点通过三角化构建，得到第三地图点。

本申请实施例的一种可能的实现方式，步骤S13具体包括步骤S131(图中未示出)、S132(图中未示出)以及步骤S133(图中未示出)，其中，

步骤S131，获取特征训练样本，特征训练样本包括视觉地图点的异常样本特征以及异常样本特征中每个异常对应的标注信息，标注信息包括：异常类别信息以及异常等级信息。

步骤S132，创建特征网络模型，并基于特征训练样本对特征网络模型进行训练，得到训练好的特征网络模型。

在本申请实施例中，特征网络模型包括卷积神经网络模型，卷积网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。卷积网络执行的是有监督训练，所以其样本集是由形如：(输入向量，理想输出向量)的向量对构成的。所有这些向量对，都应该是来源于网络即将模拟的系统的实际“运行”结果。它们可以是从实际运行系统中采集来的。在开始训练前，所有的权都应该用一些不同的小随机数进行初始化。“小随机数”用来保证网络不会因权值过大而进入饱和状态，从而导致训练失败；“不同”用来保证网络可以正常地学习。

步骤S133，将视觉地图点中的特征点输入至训练后的特征网络模型进行异常检测分析，得到生产分析结果。

本申请实施例的一种可能的实现方式，步骤S12(图中未示出)之前还包括步骤S21(图中未示出)以及步骤S22(图中未示出)，其中，

步骤S21，基于生产视觉帧确定图像金字塔，并对图像金字塔的每层图像提取特征点，得到具有深度值的特征点。

具体地，对视觉帧图像进行多级缩放，例如原图480*640分辨率，作为第0层图像，经过1.2比例缩放得到400*533分辨率的第1层图像，333*444分辨率的第2层图像，依次缩放所得各层图像构成该视觉帧的图像金字塔，可根据工程设置对应的缩放比例和金字塔层数，对每层图像进行特征点提取。图像金字塔是对当前视觉帧的更加完备的描述，其用处为:在距离目标物体较近处获取的视觉帧图像,记为帧1，距离目标物体较远处获取的视觉帧图像，记为帧2，那么很有可能在帧1和帧2的原始图像或者图像金字塔同层级图像中无法匹配到目标物体的特征点，而在帧1的高层级图像与帧2的低层级图像中可以匹配到目标物体的特征点，通俗理解就是近景缩小后更容易和远景匹配上。

步骤S22，对特征点进行均匀化处理，得到处理后的特征点。

具体地，一般图像提取特征点后很容易出现特征点聚集现象，直接生成地图点，会给位姿计算带来很大的误差，这里对其进行均匀化处理，减少特征点聚集。如：480*640分辨率的图像，可以划分为10*10共100个区域，每个区域为48*64分辨率，选取每个区域最优的10个特征点。划分区域的方式和区域最优特征点个数可根据工程需要进行配置。

本申请实施例的一种可能的实现方式，步骤S22(图中未示出)之后还包括步骤S221(图中未示出)以及步骤S222(图中未示出)，其中，

步骤S221，计算特征点的旋转主方向，得到方向变化量。

具体地，提取以特征点所在像素为中心一定距离范围内的图像块，该图像块所有像素其坐标以其像素灰度值加权求和即为灰度中心，特征点所在像素坐标为该图像块的几何中心，几何中心指向灰度中心的向量方向即为特征点的旋转主方向。其作用为：两图像进行特征点匹配时，大多数匹配特征点其旋转主方向的变化应当是接近的，可以此对匹配结果进行筛选，提高匹配的准确率。

步骤S222，将方向变化量与特征点进行绑定，得到绑定后的特征点。

上述实施例从方法流程的角度介绍一种基于机器视觉的识别检测的方法，下述实施例从虚拟模块或者虚拟单元的角度介绍了一种基于机器视觉的识别检测的装置，具体详见下述实施例。

本申请实施例提供一种基于机器视觉的识别检测的装置，如图所示，该基于机器视觉的识别检测的装置20具体可以包括：视觉获取模块21、视觉分析模块22、深度关联模块23、特征分析模块24以及异常判断模块25，其中，

视觉获取模块21，用于当检测到生产视觉指令后，获取生产视觉帧，生产视觉帧用于表示生产流水线中每个生产节点的视觉帧；

视觉分析模块22，用于对生产视觉帧进行分析筛选，得到视觉关键帧；

深度关联模块23，用于基于视觉关键帧确定第一地图点以及共视图，并对第一地图点以及共视图进行深度值关联分析，得到视觉地图点，第一地图点用于表示视觉关键帧的原始地图点，共视图用于表示第一地图点对应的共视图；

特征分析模块24，用于对视觉地图点中的特征点进行特征分析，得到生产分析结果；

异常判断模块25，用于判断生产分析结果中是否存在预设生产缺陷，若存在，则对存在预设生产缺陷的视觉地图点进行位置检测，得到异常位置信息。。

本申请实施例的一种可能的实现方式，视觉分析模块22在对生产视觉帧进行分析筛选，得到视觉关键帧时，具体用于：

获取设备位移信息，设备位移信息为生产流水线中每个待加工设备的移动信息；

基于设备位移信息，确定待加工设备是否产生预设位移变化，若待加工设备产生预设位移变化，则将生产视觉帧与生产视觉帧的前一关键帧进行比对分析，得到视觉关键帧。

本申请实施例的另一种可能的实现方式，深度关联模块23在对第一地图点以及共视图进行深度值关联分析，得到视觉地图点，具体用于：

判断视觉关键帧的特征点是否具有深度值和/或第一地图点存在关联；

若视觉关键帧的特征点与第一地图点存在关联，则基于视觉关键帧的特征点对第一地图点以及共视图进行更新；

若视觉关键帧的特征点具有深度值且与第一地图点不存在关联，则基于特征点构建第二地图点；

若视觉关键帧的特征点不具有深度值，则对视觉关键帧、第一共视关键帧以及第二共视关键帧进行三角化构建，得到第三地图点；

分别对第二地图点、第三地图点以及第四地图点进行预设处理，得到达标地图点、剔除地图点以及流转地图点，并将剔除地图点进行剔除，将流转地图点流转至视觉关键帧的下一个关键帧的地图点进行预设处理，第四地图点为视觉关键帧的上一关键帧的地图点通过预设处理得到的流转地图点；

将达标地图点并入第一地图点，得到视觉地图点。

本申请实施例的另一种可能的实现方式，深度关联模块23在对视觉关键帧、第一共视关键帧以及第二共视关键帧进行三角化构建，得到第三地图点时，具体用于：

获取第一共视关键帧以及第二共视关键帧，第一共视关键帧为满足视觉关键帧共视程度要求的关键帧，第二共视关键帧为满足第一共视关键帧共视程度要求的关键帧；

分别将视觉关键帧与第一共视关键帧、第二共视关键帧进行特征点匹配，得到匹配特征点；将匹配特征点通过三角化构建，得到第三地图点。

本申请实施例的另一种可能的实现方式，特征分析模块24在对视觉地图点中的特征点进行特征分析，得到生产分析结果时，具体用于：

获取特征训练样本，特征训练样本包括视觉地图点的异常样本特征以及异常样本特征中每个异常对应的标注信息，标注信息包括：异常类别信息以及异常等级信息；

创建特征网络模型，并基于特征训练样本对特征网络模型进行训练，得到训练好的特征网络模型；

将视觉地图点中的特征点输入至训练后的特征网络模型进行异常检测分析，得到生产分析结果。

本申请实施例的另一种可能的实现方式，装置20还包括：特征提取模块以及特征处理模块，其中，

特征提取模块，用于基于生产视觉帧确定图像金字塔，并对图像金字塔的每层图像提取特征点，得到具有深度值的特征点；

特征处理模块，用于对特征点进行均匀化处理，得到处理后的特征点。

本申请实施例的另一种可能的实现方式，装置20还包括：方向计算模块以及特征绑定模块，其中，

方向计算模块，用于计算特征点的旋转主方向，得到方向变化量；

特征绑定模块，用于将方向变化量与特征点进行绑定，得到绑定后的特征点。

本申请实施例中提供了一种电子设备，如图3所示，图3所示的电子设备300包括：处理器301和存储器303。其中，处理器301和存储器303相连，如通过总线302相连。可选地，电子设备300还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个，该电子设备300的结构并不构成对本申请实施例的限定。

处理器301可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线302可包括一通路，在上述组件之间传送信息。总线302可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器303可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器303用于存储执行本申请方案的应用程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码，以实现前述方法实施例所示的内容。

其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等。图3示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与相关技术相比，本申请实施例中，在工业机器人生产产品的过程中，通过获取生产视觉帧，来对生产视觉帧进行分析筛选，得到视觉关键帧，然后基于视觉关键帧确定第一地图点以及共视图，并对第一地图点以及共视图进行深度值关联分析，得到视觉地图点，然后对视觉地图点中的特征点进行特征分析，得到生产分析结果，然后判断生产分析结果中是否存在预设生产缺陷，若存在，则对存在预设生产缺陷的视觉地图点进行位置检测，得到异常位置信息，从而在生产产品过程中首次出现异常故障时，及时准确的告知工作人员缺陷节点位置，以便于工作人员及时进行维护，避免后续出现二次缺陷，从而达到了降低生产产品的维护成本的效果。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims

1.一种基于机器视觉的识别检测方法，其特征在于，包括：

对所述生产视觉帧进行分析筛选，得到视觉关键帧；

2.根据权利要求1所述的一种基于机器视觉的识别检测方法，其特征在于，所述对所述生产视觉帧进行分析筛选，得到视觉关键帧，包括：

获取设备位移信息，所述设备位移信息为所述生产流水线中每个待加工设备的移动信息；

基于所述设备位移信息，确定所述待加工设备是否产生预设位移变化，若所述待加工设备产生预设位移变化，则将所述生产视觉帧与所述生产视觉帧的前一关键帧进行比对分析，得到视觉关键帧。

3.根据权利要求1所述的一种基于机器视觉的识别检测方法，其特征在于，所述对所述第一地图点以及所述共视图进行深度值关联分析，得到视觉地图点，包括：

将所述达标地图点并入所述第一地图点，得到视觉地图点。

4.根据权利要求3所述的一种基于机器视觉的识别检测方法，其特征在于，所述对所述视觉关键帧、第一共视关键帧以及第二共视关键帧进行三角化构建，得到第三地图点，包括：

获取第一共视关键帧以及第二共视关键帧，所述第一共视关键帧为满足所述视觉关键帧共视程度要求的关键帧，所述第二共视关键帧为满足所述第一共视关键帧共视程度要求的关键帧；

分别将所述视觉关键帧与所述第一共视关键帧、第二共视关键帧进行特征点匹配，得到匹配特征点；

将所述匹配特征点通过三角化构建，得到第三地图点。

5.根据权利要求1所述的一种基于机器视觉的识别检测方法，其特征在于，所述对所述视觉地图点中的特征点进行特征分析，得到生产分析结果，包括：

6.根据权利要求1所述的一种基于机器视觉的识别检测方法，其特征在于，所述对所述第一地图点以及所述共视图进行深度值关联分析，得到视觉地图点，之前还包括：

对所述特征点进行均匀化处理，得到处理后的特征点。

7.根据权利要求6所述的一种基于机器视觉的识别检测方法，其特征在于，所述对所述特征点进行均匀化处理，得到处理后的特征点，之后还包括：

计算所述特征点的旋转主方向，得到方向变化量；

8.一种基于机器视觉的识别检测装置，其特征在于，包括：

9.一种电子设备，其特征在于，其包括：

一个或者多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1～7任一项所述的基于机器视觉的识别检测方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～7任一项所述的基于机器视觉的识别检测方法。