CN109211207B - 一种基于机器视觉的螺钉识别与定位装置 - Google Patents

Abstract

本发明揭示了一种基于机器视觉的螺钉识别与定位装置，该装置包括系统标定部分、目标螺钉识别部分以及目标螺钉定位部分，所述系统标定部分包括双目相机的标定、双目手眼相机、激光系统的标定以及机械臂与双目相机手眼关系标定；目标螺钉识别部分采用双目相机拍摄获取目标所在区域图像，通过图像处理技术从背景中分割并提取目标，结合螺钉头的特征信息，从分割的目标中有效地识别出所需螺钉；目标螺钉定位部分计算双目相机识别出的螺钉的二维像素坐标信息，通过双目相机的像素坐标计算出目标螺钉三维空间位置，完成目标螺钉三维位置信息的确定。该系统根据双目手眼相机识别目标内六角螺钉的二维位置信息，以此作为机械臂机构的输入，控制机械臂末端来瞄准目标螺钉，完成目标螺钉三维位置信息的确定。

Description

一种基于机器视觉的螺钉识别与定位装置

技术领域

本发明涉及一种基于机器视觉的螺钉识别与定位装置，可用于机器视觉领域。

背景技术

随着科技的发展，人工智能受到了越来越多的关注，机器视觉可以说是人工智能的热门研究方向之一，机器视觉是人工智能正在快速发展的一个分支。简单说来，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统通过图像摄取装置，将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号，图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。

机器视觉目的是使机器具有类似于人眼的感知能力和大脑的决策能力。但如今的大多数机器感知并不能保证足够的精准度，更不能保证机器能在获取的信息下做出正确的选择，通常来说，大部分设备只能依靠经验来识别分析物体，而没有形成系统的理论体系。因此,目前物体识别技术存在较大的不确定性，没有办法保证足够的稳定性，识别精度不高，存在有较大的误匹配率和漏匹配率等问题，比如目前的螺钉旋拧操作大多基于预设位置的，识别不稳定，不能适用于通用场合等缺陷。

发明内容

本发明的目的就是为了解决现有技术中存在的上述问题，提出一种基于机器视觉的螺钉识别与定位装置。

本发明的目的将通过以下技术方案得以实现：一种基于机器视觉的螺钉识别与定位装置，该装置包括系统标定部分、目标螺钉识别部分以及目标螺钉定位部分，所述系统标定部分包括双目相机的标定、双目手眼相机、激光系统的标定以及机械臂与双目相机手眼关系标定；目标螺钉识别部分采用双目相机拍摄获取目标所在区域图像，通过图像处理技术从背景中分割并提取目标，结合螺钉头的特征信息，从分割的目标中有效地识别出所需螺钉；目标螺钉定位部分计算双目相机识别出的螺钉的二维像素坐标信息，通过双目相机的像素坐标计算出目标螺钉三维空间位置，完成目标螺钉三维位置信息的确定。

优选地，在所述系统标定部分，投射激光点阵校准平面，当双目相机垂直平面时，相机对螺钉信息进行拍摄，通过激光点阵投影到平面，然后提取激光点的位置信息来校准平面，通过激光笔发射激光，经过正交光栅，并投射到待测平面上，在待测平面上形成激光点阵，用双目相机拍摄待测平面，分别提取左右相机中的激光点阵的像素点坐标信息，将中间最亮点的点设为参照点，根据各个激光点和参照点的位置关系来匹配激光点。

优选地，根据激光点的光斑大小来确定点阵中心点，即参照点，激光点阵的中间点最亮，并且在左右相机的成像中明显区别于其他激光点，参照点有较强的稳定性，然后将左相机的其他激光点的像素坐标分别于左相机的点阵中心点，即参考点的像素坐标做差，得到横轴和纵轴上的差，同理右相机上相同激光点到右相机参考点的差值会和左相机最接近，设置一个允许的误差范围，以此来作为激光点阵匹配的标准，当平面相机与平面的角度过大时，点阵相邻点之间的视差较大，需要增大点阵相邻点间距才能得到稳定的配对精度，然后根据三角测距计算机点阵各个点的空间坐标，最后根据点阵的各个点坐标拟合出平面的平面方程。

优选地，所述螺钉识别部分首先对拍摄图像预处理，采用中值滤波算法，在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，然后用滤波后的图像与螺钉模板进行匹配，通过设定一个阈值，当相似度超过这一阈值，则把该区域分割并输出。

优选地，所述目标螺钉识别部分结合螺钉头的外轮廓类圆特征信息，从分割的区域中采用霍夫圆算法，识别出目标螺钉所在圆的圆心和半径R，然后增大分割区域的对比度，把原像素值同时乘以一个系数a，再减去一个参考值b，处理后的像素=处理前的像素*a-b，来提取内六角的信息。

优选地，当对比度提高后，螺钉的内六角轮廓与螺钉边缘差距增大，内六角的轮廓显示出来，然后提取内六角轮廓的特征点，筛选返回的多边形特征点。

优选地，用opencv对内六角轮廓拟合多边形，会返回多边形的特征点，根据螺钉的特征螺钉内六角的有效范围在距螺钉中心1/3R到2/R的范围内，初步筛选特征点，根据特征点增加六边形的角点，将相邻特征点连接成直线，得到有序的特征点，沿多边形的顺时针方向，求相隔为2的直线的交点，即六边形的交点，初步筛选后的特征点为A，B，C，D，E，F，红线为相邻点的连线，线AB和线CD的交点G为新增特征点，同理BC和DE的交点H也为新增特征点，增加新增特征点后，再根据到螺钉中心的距离筛选在范围1/3R到2/3R内的特征点，得到最终的特征点集合。

本发明技术方案的优点主要体现在：本发明的目的在于构建基于机器视觉的螺钉识别与定位装置，用于完成工业对象的自动巡检、操作等任务，该系统以内六角螺钉的识别及定位为实际应用案例，易于安装在已有的机械臂上，以机械臂末端工具为操作机构，配合完成后续螺钉的高精度自适应旋拧操作，具有操作方便、安装简易、兼容性好等优点。

使用激光点阵辅助测量，通过激光点阵来校准平面，通过二维光栅投射激光点阵到平面上，然后提取点阵坐标信息，计算激光点阵的空间坐标，根据多个点的空间坐标拟合平面，最后得出平面的方程。

内六角螺钉识别部分，通过图像处理技术从背景中分割并提取目标，结合螺钉头的特征信息，从分割的目标中提取特征点来计算出螺钉的中心位置并迭代计算出螺钉的角度。

附图说明

图1为本发明的坐标转换示意图。

图2为本发明的三个坐标系示意图。

图3为本发明的激光点阵校准平面示意图。

图4为本发明的左右相机激光点阵示意图。

图5为本发明的激光点阵校准平面示意图。

图6为本发明螺钉识别部分的流程图。

图7为本发明的增加六边形角点示意图。

具体实施方式

本发明的目的、优点和特点，将通过下面优选实施例的非限制性说明进行图示和解释。这些实施例仅是应用本发明技术方案的典型范例，凡采取等同替换或者等效变换而形成的技术方案，均落在本发明要求保护的范围之内。

本发明揭示了一种基于机器视觉的螺钉识别与定位装置，该装置包括系统标定部分、目标螺钉识别部分以及目标螺钉定位部分，所述系统标定部分包括双目相机的标定、双目手眼相机、激光系统的标定以及机械臂与双目相机手眼关系标定；目标螺钉识别部分采用双目相机拍摄获取目标所在区域图像，通过图像处理技术从背景中分割并提取目标，结合螺钉头的特征信息，从分割的目标中有效地识别出所需螺钉；目标螺钉定位部分计算双目相机识别出的螺钉的二维像素坐标信息，通过双目相机的像素坐标计算出目标螺钉三维空间位置，完成目标螺钉三维位置信息的确定。软件根据双目相机识别目标螺钉的二维位置信息，以及激光测量得到螺钉所在面板与相机的三维空间关系来完成目标螺钉三维位置信息的确定。

相机标定部分分为单目标定，和双目立体标定，单目标定主要获得左右相机各自的焦距，光心坐标，以及畸变系数。双目立体标定是为了获得左右相机之间的位置关系，然后可以根据三角关系计算螺钉位置。

用点阵激光照射平面，然后识别出左右相机照片的点阵，配对左右相机照片的点阵，然后计算出各个点的空间坐标，最后根据这些坐标拟合出平面，给出平面的法向量。

1、识别点阵，对左右相机的图片二值化，得到激光点阵的亮点。

2、点阵配对，主要通过左右相机图片的点阵最亮点来做基准，然后根据点之间的距离来匹配，同时如果一个点匹配到多个点，则删除这个点，来防止误匹配。点阵各点的间距越大，误匹配越小。

该系统根据双目手眼相机识别目标内六角螺钉的二维位置信息，以此作为机械臂机构的输入，控制机械臂末端来瞄准目标螺钉，完成目标螺钉三维位置信息的确定。内六角螺钉识别技术是以螺钉的主要特征为基础的，提取螺钉的主要特征，对相机的每帧图像进行匹配，找出螺钉的粗略位置。然后提取螺钉周围的轮廓特征点，迭代计算出精确的螺钉轮廓以及内六角螺钉的角度。定位技术是以双目相机的两个光心和待测点之间形成三角测距关系为基础，来计算出待测点的空间距离。

具体地，将双目相机安装在机械臂上，以机械臂末端工具为操作机构，配合完成后续螺钉的高精度自适应旋拧操作，组成内六角螺钉的识别、定位以及旋拧系统，具有操作方便、安装简易、兼容性好等优点。

首先相机标定，空间中任意一点到图像像素坐标系上对应的成像点之间的关系可以表示如图1所示，标定过程中用到三个坐标系，分别为世界坐标系、摄像机坐标系和图像坐标系，如图2所示。据世界坐标与摄像机坐标之间的旋转、平移关系，摄像机坐标与图像物理坐标之间的相似三角形的正比关系，图像物理坐标与图像像素坐标之间的平移、比例关系可得图像像素坐标与世界坐标之间的关系。左右图像匹配根据极线约束得出，属于某一个像面的某一点的对应点位于另一个平面的一条线上，因此匹配精度得到提高，而且，搜索匹配点所消耗的时间在很大程度上缩短了。

投射激光点阵校准平面，当相机垂直平面式，相机能够最清楚的拍清楚螺钉的信息。通过激光点阵投影到平面，然后提取激光点的位置信息来校准平面。如图3所示，通过激光笔发射激光，经过正交光栅，并投射到待测平面上，在待测平面上形成激光点阵。用双目相机拍摄待测平面，分别提取左右相机中的激光点阵的像素点坐标信息，如图4所示，由于正交光栅投影中间点最亮，提供了左右相机图像中的参照点，将中间最亮点的点设为参照点，根据各个激光点和参照点的位置关系来匹配激光点。

匹配部分算法思路分为，根据激光点的光斑大小来确定点阵中心点（参照点），激光点阵的中间点最亮，并且在左右相机的成像中明显区别于其他激光点，所以参照点有较强的稳定性。然后将左相机的其他激光点的像素坐标分别于左相机的点阵中心点（参考点）的像素坐标做差，得到横轴和纵轴上的差。同理右相机上相同激光点到右相机参考点的差值会和左相机最接近，设置一个允许的误差范围，以此来作为激光点阵匹配的标准。根据实验得到，当平面相机与平面的角度过大时，如图5所示，点阵相邻点之间的视差较大，需要增大点阵相邻点间距才能得到稳定的配对精度，到然后根据三角测距计算机点阵各个点的空间坐标，最后根据点阵的各个点坐标拟合出平面的平面方程。

图6为螺钉识别部分的流程图，螺钉识别部分采用双目相机拍摄获取目标所在区域图像，通过图像处理技术从背景中分割并提取目标，结合螺钉头的特征信息，从分割的目标中有效地识别出目标螺钉。首先对拍摄图像预处理，采用中值滤波算法，指在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，然后用滤波后的图像与螺钉模板进行匹配（opencv模板匹配算法），通过设定一个阈值，当相似度超过这一阈值，则把该区域分割并输出。

提高对比度提取螺钉细节。结合螺钉头的外轮廓类圆特征信息，从分割的区域中采用霍夫圆算法，有效地识别出目标螺钉所在圆的圆心和半径R，然后增大分割区域的对比度，即把原像素值同时乘以一个系数a，再减去一个参考值b（处理后的像素=处理前的像素*a-b），来凸显内六角螺钉内部的细节，以此来提取内六角的信息，具体方法，当对比度提高后，螺钉的内六角轮廓与螺钉边缘差距增大，内六角的轮廓慢慢显示出来，然后提取内六角轮廓的特征点（用opencv对内六角轮廓拟合多边形，会返回多边形的特征点），筛选返回的多边形特征点，具体方法，根据螺钉的特征螺钉内六角的有效范围应该在距螺钉中心1/3R到2/R的范围内，根据这个特征初步筛选特征点。然后根据特征点增加六边形的角点（因为角点可能没在特征点里），将相邻特征点连接成直线（得到的特征点是有序的，沿多边形的顺时针方向），求间隔为2的直线的交点（AB和BC为相邻的直线，定义间隔为1，AB和CD定义为间隔为2的直线，同理BC和DE间隔也为2），如图7所示。初步筛选后的特征点为A，B，C，D，E，F，G,H,圆心坐标为O，如图7a）所示，连接相邻两点，线AB和线CD的交点J为新增特征点，同理BC和DE的交点K也为新增特征点，如图7b）所示。增加新增特征点后，并不是所有新增的点都是有效点，再根据到螺钉中心的距离筛选在范围1/3R到2/3R内的特征点，得到最终的特征点集合，如图7c）所示。拟合六边形，由于一个中心点和一个角点便能确定一个六边形，分别以特征点集合中的每个点和螺钉中心点来确定一个六边形，如图7d）所示（图中所画的六边形是由一个特征点N和圆心O确定的六边形）。最终能得到n个六边形（n为特征点个数），求出每个六边形的误差，即所有特征点到每个六边形各个角点的最小距离的和（一个特征点到六个角点的距离有大有小，取最小的为最小距离，然后计算所有特征点的最小距离和），距离和最小的（误差最小的）六边形即为螺钉轮廓对应的六边形，经过测试该算法能够稳定运行。最后根据得到的六边形求螺钉内六边形角度信息。在整个识别过程中，先后用到采用中值滤波对图像进行预处理，来达到抑制噪声的目的；模板匹配技术（matchTemplate）和最近邻分类算法（knn) 来提取目标螺钉所在区域；轮廓识别技术，通过增大分割区域的对比度来提取螺钉的内部细节。

目标螺钉定位部分计算双目相机识别出的螺钉的二维像素坐标信息，通过双目相机的像素坐标计算出目标螺钉三维空间位置，完成目标螺钉三维位置信息的确定。

本发明为工业对象的自动巡检、操作任务，构建了一套双目手眼相机与激光融合的目标识别与定位系统，以螺钉的识别及定位为实际应用案例，设计一套完整的双目相机螺钉识别及定位系统，配合完成后续螺钉的高精度自适应旋拧操作。针对内六角螺钉识别提出了一种高精度识别方法，能够稳定识别出内六角螺钉的角度，螺钉中心等位置信息。

本发明尚有多种实施方式，凡采用等同变换或者等效变换而形成的所有技术方案，均落在本发明的保护范围之内。

Claims (5)

1.一种基于机器视觉的螺钉识别与定位装置，其特征在于：该装置包括系统标定部分、目标螺钉识别部分以及目标螺钉定位部分，所述系统标定部分包括双目相机的标定、激光系统的标定以及机械臂与双目相机手眼关系标定；

目标螺钉识别部分采用双目相机拍摄获取目标所在区域图像，通过图像处理技术从背景中分割并提取目标，结合螺钉头的特征信息，从分割的目标中有效地识别出所需螺钉；

目标螺钉定位部分计算双目相机识别出的螺钉的二维像素坐标信息，通过双目相机的像素坐标计算出目标螺钉三维空间位置，完成目标螺钉三维位置信息的确定；

在所述相机标定部分分为单目标定和双目立体标定，单目标定主要获得左右相机各自的焦距，光心坐标，以及畸变系数，双目立体标定是为了获得左右相机之间的位置关系，然后可以根据三角关系计算螺钉位置；投射激光点阵校准平面，当双目相机垂直平面时，相机对螺钉信息进行拍摄，通过激光点阵投影到平面，然后提取激光点的位置信息来校准平面，通过激光笔发射激光，经过正交光栅，并投射到待测平面上，在待测平面上形成激光点阵，用双目相机拍摄待测平面，分别提取左右相机中的激光点阵的像素点坐标信息，将中间最亮点的点设为参照点，根据各个激光点和参照点的位置关系来匹配激光点。

2.根据权利要求1所述的一种基于机器视觉的螺钉识别与定位装置，其特征在于：根据激光点的光斑大小来确定点阵中心点，即参照点，激光点阵的中间点最亮，并且在左右相机的成像中明显区别于其他激光点，参照点有较强的稳定性，然后将左相机的其他激光点的像素坐标分别于左相机的点阵中心点，即参考点的像素坐标做差，得到横轴和纵轴上的差，同理右相机上相同激光点到右相机参考点的差值会和左相机最接近，设置一个允许的误差范围，以此来作为激光点阵匹配的标准，当平面相机与平面的角度过大时，点阵相邻点之间的视差较大，需要增大点阵相邻点间距才能得到稳定的配对精度，然后根据三角测距计算点阵各个点的空间坐标，最后根据点阵的各个点坐标拟合出平面的平面方程。

3.根据权利要求1所述的一种基于机器视觉的螺钉识别与定位装置，其特征在于：所述目标螺钉识别部分结合螺钉头的外轮廓类圆特征信息，从分割的区域中采用霍夫圆算法，识别出目标螺钉所在圆的圆心和半径R，然后增大分割区域的对比度，把原像素值同时乘以一个系数a，再减去一个参考值b，处理后的像素=处理前的像素*a-b，来提取内六角的信息。

4.根据权利要求3所述的一种基于机器视觉的螺钉识别与定位装置，其特征在于：当对比度提高后，螺钉的内六角轮廓与螺钉边缘差距增大，内六角的轮廓显示出来，然后提取内六角轮廓的特征点，筛选返回的多边形特征点。

5.根据权利要求3所述的一种基于机器视觉的螺钉识别与定位装置，其特征在于：用opencv对内六角轮廓拟合多边形，会返回多边形的特征点，根据螺钉的特征螺钉内六角的有效范围在距螺钉中心1/3R到2/R的范围内，初步筛选特征点，根据特征点增加六边形的角点，将相邻特征点连接成直线，得到有序的特征点，沿多边形的顺时针方向，求相隔为2的直线的交点，即六边形的交点，初步筛选后的特征点为A，B，C，D，E，F，红线为相邻点的连线，线AB和线CD的交点G为新增特征点，同理BC和DE的交点H也为新增特征点，增加新增特征点后，再根据到螺钉中心的距离筛选在范围1/3R到2/3R内的特征点，得到最终的特征点集合。

Images