CN114155242B - 自动识别方法以及基于该自动识别方法的定位方法 - Google Patents

Abstract

本发明提供一种自动识别方法以及基于该自动识别方法的定位方法，该自动识别的方法包括：S10：获取螺丝帽的目标图像以及目标图像的位置信息、大小和螺丝帽类型信息；S20：在螺丝帽的目标图像进行角点提取，得到初始角点集合；S30：将该初始角点集合与对应类型的螺丝帽的预设角点位置模板匹配，得到目标图像的最终角点集合；S40：对最终角点集合进行最小外接圆拟合，得到所述外接圆的中心坐标。本发明通过对不同类型的螺丝的螺丝帽的特征进行识别，从而确定目标螺丝的螺丝帽位置以及类型，并且进一步地对目标螺丝的螺丝帽的角点进行识别，并且与预设角点位置模板匹配，最终得到目标螺丝的中心位置，完成对目标螺丝的位置的识别。

Description

自动识别方法以及基于该自动识别方法的定位方法

技术领域

本发明涉及人工智能技术领域，具体涉及一种自动识别方法以及基于该自动识别方法的定位方法。

背景技术

工业智能化是目前大趋势，流水线上劳动力需求巨大，并且容易产生误操作，需要用智能算法来提高工业产线的效率。光通讯的OSA生产就需要大量劳动力，有待提高效率。

螺丝帽在光模块生产使用环境中，从多个角度分析定位；螺丝帽是否使用的合适对整个产品的质量起着很重要的作用，有的位置是6角，3角内嵌，如果用人工的方式来进行判别容易出错，并且人工成本太高。

发明内容

有鉴于此，本发明提供一种自动识别方法以及基于该自动识别方法的定位方法，以实现通过人工智能代替人工。

为解决上述技术问题，本发明采用的技术方案是：一种自动识别方法，该方法包括：

S10：获取螺丝帽的目标图像以及目标图像的位置信息、大小和螺丝帽类型信息；

S20：在螺丝帽的目标图像进行角点提取，得到初始角点集合；

S30：将该初始角点集合与对应类型的螺丝帽的预设角点位置模板匹配，得到目标图像的最终角点集合；

S40：对最终角点集合进行最小外接圆拟合，得到所述外接圆的中心坐标。

优选地，步骤S10包括：

S101：获取拍摄的目标视频；

S102：通过预训练的检测模型对目标视频进行检测，获取螺丝帽的目标图像、目标图像的位置信息以及螺丝帽类型。

优选地，步骤S10还包括S103：对目标图像按照预定比例外扩，以使目标图像包含整个螺丝帽。

优选地，角点提取的方法为：选取一个固定窗口在目标图像上进行任意方向上的滑动，比较滑动前与滑动后，窗口中的像素灰度变化程度，根据像素灰度变化程度判断该窗口内是否存在角点。

优选地，角点提取公式为：

其中，

是对应的进行角点检测的图像，

是窗口内所对应的像素坐标位置；

是窗口函数，u是窗口在横坐标方向的偏移量，v是窗口在纵坐标方向的偏移量，

是窗口在横坐标方向偏移量为u，在纵坐标方向偏移量为v时的灰度值。

优选地，初始角点集合与对应类型的螺丝帽的预设角点位置模板匹配过程为：

S301：从初始角点集合中找到与对应类型的螺丝帽的预设角点位置模板匹配的最终角点集合；

S302：计算出目标图像的最终角点集合与预设角点位置模板中角点之间的旋转角度。

优选地，最终角点集合中角点位置的数量小于等于预设角点位置模板中角点位置的数量。

本发明提供一种基于自动识别的定位方法，包括：

通过上述的自动识别方法对螺丝帽进行识别，得到目标螺丝帽的中心以及最终角点集合与预设角点位置模板中角点之间的旋转角度，并根据目标螺丝帽的中心以及最终角点集合与预设角点位置模板中角点之间的旋转角度驱动机械臂。

优选地，驱动机械臂的过程为计算机械臂控制的螺丝刀的中心与目标螺丝帽的中心之间的位置偏移量，根据该位置偏移量移动机械臂。

本发明具有的优点和积极效果是：本发明通过对不同类型的螺丝的螺丝帽的特征进行识别，从而确定目标螺丝的螺丝帽位置以及类型，并且进一步地对目标螺丝的螺丝帽的角点进行识别，并且与预设角点位置模板匹配，得到目标图像的最终角点集合，进一步地对最终角点集合进行最小外接圆拟合，得到所述外接圆的中心坐标，所述外接圆的中心坐标即为目标螺丝的螺丝帽的中心位置。

附图说明

图1是本发明一个具体的实施例中目标图像外扩之后的示意图；

图2是本发明一个具体的实施例中矩形框移动的过程中获得的角点的示意图。

具体实施方式

为了更好的理解本发明，下面结合具体实施例和附图对本发明进行进一步的描述。

本发明提供一种自动识别方法，该方法包括：

S10：获取螺丝帽的目标图像以及目标图像的位置信息、大小和螺丝帽类型信息；

S20：在螺丝帽的目标图像进行角点提取，得到初始角点集合；

S30：将该初始角点集合与对应类型的螺丝帽的预设角点位置模板匹配，得到目标图像的最终角点集合；

S40：对最终角点集合进行最小外接圆拟合，得到所述外接圆的中心坐标。

本发明通过对不同类型的螺丝的螺丝帽的特征进行识别，从而确定目标螺丝的螺丝帽位置以及类型，并且进一步地对目标螺丝的螺丝帽的角点进行识别，并且与预设角点位置模板匹配，得到目标图像的最终角点集合，进一步地对最终角点集合进行最小外接圆拟合，得到所述外接圆的中心坐标，所述外接圆的中心坐标即为目标螺丝的螺丝帽的中心位置，经过上述步骤完成对目标螺丝的螺丝帽的中心位置的识别。

进一步地，S10：获取螺丝帽的目标图像以及目标图像的位置信息、大小和螺丝帽类型信息的具体过程包括：

S101：获取拍摄的目标视频；

S102：通过预训练的检测模型对目标视频进行检测，获取螺丝帽的目标图像以及目标图像的位置信息、大小和螺丝帽类型信息。其中，目标图像包括待识别的螺丝帽的完整图像，通常为矩形图像。

螺丝的种类包括内六角，内三角，外六角等，本发明实施例通过对标准图片以及其位置信息、大小以及螺丝帽类型信息进行深度网络模型训练，得到检测模型，每个标准图片中的螺丝帽通过矩形框进行标注，标准图片中标注螺丝的矩形框的位置、大小表示为：（x，y，w，h），其中，x，y是目标螺丝矩形框的左上角的横坐标以及纵坐标，w，h是目标螺丝矩形框的宽和高。

进一步地，在本发明的一个具体的实施例中，设置有检测模型分类器，使得该检测模型支持多种类型的螺丝的检测。

在本发明的一个具体的实施例中，深度网络模型为YOLOV4。

本发明的训练结果表示为：（x，y，w，h，label），其中，x，y是目标螺丝矩形框的左上角的横坐标以及纵坐标，w，h是目标螺丝矩形框的宽和高，label是对应的螺丝的标签值。

例如，在一个具体的实施例中，训练结果为（Xsix，Ysix，w，h，0），其中，Xsix 是检测到的螺丝矩形框的左上角横坐标，Ysix是检测到的螺丝矩形框的左上角纵坐标，w是检测到的螺丝矩形框的宽度，h是检测到的螺丝矩形框的高度，0 是标签值，在该实施例中，0例如代表是内六角。

经过检测模型的检测之后得到的目标图像中，有可能会存在螺丝帽的图像覆盖不全的问题，本发明在经过检测模型的检测之后，进行精细的定位。

经过检测模型的检测之后，得到检测结果：（x，y，w，h，label），其为一个粗略的结果，本发明的步骤S10还包括S103：对目标图像按照预定比例外扩，以使目标图像包含整个螺丝帽。

在本发明的一个具体的实施例中，训练结果例如为（Xsix，Ysix，w，h，0），将其按照一个预设比例scale进行外扩，得到螺丝的矩形框的外扩矩形（xorigin，yorigin，Wimg，Himg），扩展的方法为：

从而得到包含整个螺丝的目标图像Image _obj 。

在一个具体的实施例中，scale=1.2。该比例可根据需要进行设定，不对本发明做出限制。

在一个具体的实施例中，外扩之后的图片如图1所示。

进一步地，角点提取的方法为：选取一个固定窗口在目标图像上进行任意方向上的滑动，比较滑动前与滑动后，窗口中的像素灰度变化程度，根据像素灰度变化程度判断该窗口内是否存在角点。

在本发明中，选取一个固定尺寸的窗口在目标图像上进行任意方向上的滑动，如果存在任意方向上的滑动，都有着较大的灰度变化，那么我们可以认为该窗口中存在角点。

其中，角点提取公式为：

其中，

是对应的进行角点检测的图像，

是窗口内所对应的像素坐标位置；

是窗口函数，u是窗口在横坐标方向的偏移量，v是窗口在纵坐标方向的偏移量，

是窗口在横坐标方向偏移量为u，在纵坐标方向偏移量为v时的灰度值。

通过此方法，可以从目标图像中检测出很多的角点集，得到一个初始角点集合，其表示为：

，图2为一个具体的实施例中，检测到的角点，其中矩形框为移动的窗口，圆形标注的地方即为检测到的角点。

从图2中可以看出，其中有大部分角点并不是我们对螺丝进行定位所需要的角点，所以我们需要将初始角点集合与对应类型的螺丝帽的预设角点位置模板匹配，从而将这部分不需要的角点去除。

进一步地，初始角点集合与对应类型的螺丝帽的预设角点位置模板匹配过程为：

S301：从初始角点集合中找到与对应类型的螺丝帽的预设角点位置模板匹配的最终角点集合；

S302：计算出目标图像的最终角点集合与预设角点位置模板中角点之间的旋转角度。

其中，最终角点集合中角点位置的数量小于等于预设角点位置模板中角点位置的数量。

螺丝帽的预设角点位置模板为：

每个中螺丝帽的角点集合为：

其中，

。

通过步骤S10中得到的螺丝帽类型信息（例如代表螺丝帽类型的标签值label），找到初始角点集合

预设角点位置模板中对应的角点集合

进行位置匹配，去除与预设角点位置模板中不匹配的外点，保留内部正确的点，用正确的点来进行准确的定位，从而得到对应的匹配区域region。

具体匹配的流程：

，从

中找到与模板

匹配的最终角点结合

，其中，

元素的数量小于等于

的数量。保证最终

中的点是与模板匹配后的有效点。

在一个具体的实施例中，匹配方法采用Ransac方法，通过Ransac方法，可以计算出当前目标图像与预设角点位置模板中角点之间的旋转角度

。计算该角度的目的是，在实际生产中，机械臂携带的螺丝刀的角度是与预设角点位置模板中角点的角度是一致的，计算该旋转角度，是使得机械臂与目标螺丝的螺丝帽对准。

进一步地，对最终角点集合

，进行最小外接圆拟合，得到所述外接圆的中心（x0，y0）；最终得到目标螺丝的螺丝帽的中心坐标。

工业场景下，对应螺丝帽的图像采集是很难进行摆正处理的，很多场景都需要人工进行干预完成，本方法对各种场景下的螺丝帽都可以对采集到的图像检测识别，不用要求螺丝帽的姿态做人工干预；在深度学习检测分类器高效性能的基础上，提取角点特征，然后用固定螺丝角点模板进行姿态的计算评估，更鲁棒有效的对目标识别定位，在流水线的应用场景可以大幅度的减少人力成本。

本方法可以对一些指定螺丝帽，螺丝孔位等进行精确定位，并且可以通过训练检测网络进行扩展，更大限度的减少了人工干预。

本发明第二方面提供一种基于自动识别的定位方法，包括：

通过上述的自动识别的方法对螺丝帽进行识别，得到目标螺丝帽的中心以及最终角点集合与预设角点位置模板中角点之间的旋转角度，并根据其驱动机械臂。

驱动机械臂的过程为计算机械臂控制的螺丝刀的中心与目标螺丝帽的中心之间的位置偏移量，根据该位置偏移量移动机械臂。

在一个具体的实施例中，机械臂的初始中心位置，也即螺丝刀的初始中心位置为（xorigin，yorigin），识别的螺丝帽的中心位置为（x0，y0），计算二者之间的位置偏移量（offsetX，offsetY），机械臂根据该位置偏移量进行移动，移动至目标螺丝的螺丝帽的中心处（x0，y0），机械的位置运动轨迹为（xorigin，yorigin）+（offsetX，offsetY），然后根据得到的最终角点集合与预设角点位置模板中角点之间的旋转角度旋转螺丝刀，使之与目标螺丝的螺丝帽的角度相匹配。

以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明范围所作的均等变化与改进等，均应仍归属于本专利涵盖范围之内。

Claims (7)

1.一种基于自动识别方法的定位方法，其特征在于：该自动识别方法包括：

S10：获取螺丝帽的目标图像以及目标图像的位置信息、大小和螺丝帽类型信息；

S20：在螺丝帽的目标图像进行角点提取，得到初始角点集合；

S30：将该初始角点集合与对应类型的螺丝帽的预设角点位置模板匹配，得到目标图像的最终角点集合；

S40：对最终角点集合进行最小外接圆拟合，得到所述外接圆的中心坐标；

初始角点集合与对应类型的螺丝帽的预设角点位置模板匹配过程为：

S301：从初始角点集合中找到与对应类型的螺丝帽的预设角点位置模板匹配的最终角点集合；

S302：计算出目标图像的最终角点集合与预设角点位置模板中角点之间的旋转角度；

定位方法包括：根据目标螺丝帽的中心以及最终角点集合与预设角点位置模板中角点之间的旋转角度驱动机械臂。

2.根据权利要求1所述的基于自动识别方法的定位方法，其特征在于：步骤S10包括：

S101：获取拍摄的目标视频；

S102：通过预训练的检测模型对目标视频进行检测，获取螺丝帽的目标图像、目标图像的位置信息以及螺丝帽类型。

3.根据权利要求2所述的基于自动识别方法的定位方法，其特征在于：步骤S10还包括S103：对目标图像按照预定比例外扩，以使目标图像包含整个螺丝帽。

4.根据权利要求1所述的基于自动识别方法的定位方法，其特征在于：角点提取的方法为：选取一个固定窗口在目标图像上进行任意方向上的滑动，比较滑动前与滑动后，窗口中的像素灰度变化程度，根据像素灰度变化程度判断该窗口内是否存在角点。

5.根据权利要求1所述的基于自动识别方法的定位方法，其特征在于：角点提取公式为：

其中，

是对应的进行角点检测的图像，

是窗口内所对应的像素坐标位置；

是窗口函数，u是窗口在横坐标方向的偏移量，v是窗口在纵坐标方向的偏移量，

是窗口在横坐标方向偏移量为u，在纵坐标方向偏移量为v时的灰度值。

6.根据权利要求1所述的基于自动识别方法的定位方法，其特征在于：最终角点集合中角点位置的数量小于等于预设角点位置模板中角点位置的数量。

7.根据权利要求1所述的基于自动识别方法的定位方法，其特征在于：驱动机械臂的过程为：

计算机械臂控制的螺丝刀的中心与目标螺丝帽的中心之间的位置偏移量，根据该位置偏移量移动机械臂；

根据得到的最终角点集合与预设标准角度之间的旋转角度旋转螺丝刀，使之与目标螺丝的螺丝帽的角度相匹配。

Images