CN116393982A - 一种基于机器视觉的螺丝锁付方法及装置 - Google Patents

Abstract

本发明公开了一种基于机器视觉的螺丝锁付方法及装置，涉及智能控制技术领域。采集相机为平行模式，采集待检测区域的图像及垂直距离，进行第一次定位，确定目标螺丝孔的第一坐标，进而控制采集相机到目标螺丝孔正上方，采集目标螺丝孔的图像及垂直距离，进行第二次定位，确定目标螺丝孔的第二坐标，进而控制螺丝锁付治具到目标螺丝孔正上方，采集相机为斜视模式，实时监测调整螺丝锁付治具当前位置与目标螺丝孔的偏差。本发明的技术方案中采集相机具有平行模式与斜视模式，平行模式时通过远景的第一次定位与近景的第二次定位确定目标螺丝孔的坐标，并在斜视模式时可以实时监测调整锁付治具当前位置与目标螺丝孔的偏差，提高了螺丝锁付的成功率。

Description

一种基于机器视觉的螺丝锁付方法及装置

技术领域

本发明涉及智能控制技术领域，具体涉及一种基于机器视觉的螺丝锁付方法及装置。

背景技术

机器视觉技术解决螺丝孔定位不确定，工件姿态晃动等待未知因素导致的螺丝定位错误，可以摆脱人工操作，支持长时间稳定工作。在3C制造、小家电组装等行业正快速普及应用。特别是基于六轴机器人的多次视觉测量的螺丝锁付方法，利用六轴机器人的灵活控制，可以形成多个视点检测。通过远景、近景的识别，逼近螺丝孔的检测精度。

但是现有技术中，相机的光学轴线与螺丝批的旋转轴线平行，当螺丝治具工作时视觉相机是不工作的，同理相机测试时螺丝治具无法正常工作。导致螺丝锁付能否成功完全取决于前期相机的识别定位，且在螺丝治具工作期间无法对螺丝治具的位置进行识别调整，严重影响螺丝锁付的成功率。

发明内容

本发明的目的就在于解决上述背景技术的问题，而提出一种基于机器视觉的螺丝锁付方法及装置。

本发明的目的可以通过以下技术方案实现：

本发明实施例第一方面，提供了一种基于机器视觉的螺丝锁付方法，所述方法包括：

将采集相机的工作姿态调整为平行模式，采集待检测区域的第一图像及所述采集相机到所述待检测区域的第一垂直距离，根据所述第一图像和所述第一垂直距离进行第一次定位，确定目标螺丝孔的第一坐标；所述平行模式为所述采集相机的光轴与螺丝锁付治具的竖轴平行；

根据所述第一坐标控制所述采集相机移动到所述目标螺丝孔正上方，采集所述目标螺丝孔的第二图像及所述采集相机到所述目标螺丝孔的第二垂直距离，根据所述第二图像和所述第二垂直距离进行第二次定位，确定目标螺丝孔的第二坐标；

根据所述第二坐标控制所述螺丝锁付治具移动到所述目标螺丝孔正上方，将所述采集相机的工作姿态调整为斜视模式，实时监测调整所述螺丝锁付治具当前位置与所述目标螺丝孔的偏差；所述斜视模式为所述采集相机的光轴与螺丝锁付治具的竖轴相交。

可选地，根据所述第一图像和所述第一垂直距离进行第一次定位，确定目标螺丝孔的第一坐标包括：

使用预设第一卷积核对所述第一图像的卷积处理，得到卷积图像；

使用预设第二卷积核对所述卷积图像的反卷积处理，得到反卷积图像；

对所述反卷积图像进行二值化处理，得到第一目标图像；

确定所述第一目标图像中所有的图形及各圆形的圆心坐标，根据预设的螺丝孔辅助信息在各圆形中确定所述目标螺丝孔对应的目标圆形，将所述目标圆形的圆心坐标与所述第一垂直距离组合，得到所述目标螺丝孔的空间坐标作为第一坐标；所述辅助信息包括所述目标螺丝孔在所述待检测区域中的相对位置。

可选地，根据所述第二图像和所述第二垂直距离进行第二次定位，确定目标螺丝孔的第二坐标包括：

对所述第二图像进行优化及二值化处理得到第二目标图像；

在所述第二目标图像中使用霍夫变换测量所述目标螺丝孔的圆心坐标；

将所述目标螺丝孔的圆心坐标与所述第二垂直距离组合，得到所述目标螺丝的空间坐标作为第二坐标。

可选地，在对所述第二图像进行优化及二值化处理得到第二目标图像之后，所述方法还包括：

根据所述第二目标图像检查所述目标螺丝孔表面质量，若确定所述目标螺丝孔表面存在缺陷，则进行警报。

可选地，实时监测调整所述螺丝锁付治具当前位置与所述目标螺丝孔的偏差包括：

在所述螺丝锁付治具向所述目标螺丝孔移动过程中，实时采集多个所述目标螺丝孔的第三图像，并在采集每一第三图像的同时检测所述采集相机到所述待检测区域的第三垂直距离；每一第三图像中所述目标螺丝孔呈椭圆形；

针对每一第三图像，确定该第三图像中椭圆形的椭圆焦距与长轴直径，将椭圆焦距与长轴直径代入投影公式的逆变换公式计算当前时刻所述采集相机的光轴与目标螺丝孔的螺丝孔轴之间的夹角作为视差角；

根据当前时刻的视差角与该第三图像对应的第三垂直距离，计算当前时刻所述采集相机与所述目标螺丝孔的第一水平距离；

根据所述采集相机与所述螺丝锁付治具的相对位置关系将第一水平距离和第三垂直距离，转化为当前时刻所述螺丝锁付治具与所述目标螺丝孔的第二水平距离和第四垂直距离；

根据所述第二水平距离和所述第四垂直距离调整所述螺丝锁付治具与所述目标螺丝孔的偏差。

本发明实施例第二方面，还提供了一种基于机器视觉的螺丝锁付装置，所述装置包括：

第一定位模块，用于将采集相机的工作姿态调整为平行模式，采集待检测区域的第一图像及所述采集相机到所述待检测区域的第一垂直距离，根据所述第一图像和所述第一垂直距离进行第一次定位，确定目标螺丝孔的第一坐标；所述平行模式为所述采集相机的光轴与螺丝锁付治具的竖轴平行；

第二定位模块，用于根据所述第一坐标控制所述采集相机移动到所述目标螺丝孔正上方，采集所述目标螺丝孔的第二图像及所述采集相机到所述目标螺丝孔的第二垂直距离，根据所述第二图像和所述第二垂直距离进行第二次定位，确定目标螺丝孔的第二坐标；

第三定位模块，用于根据所述第二坐标控制所述螺丝锁付治具移动到所述目标螺丝孔正上方，将所述采集相机的工作姿态调整为斜视模式，实时监测调整所述螺丝锁付治具当前位置与所述目标螺丝孔的偏差；所述斜视模式为所述采集相机的光轴与螺丝锁付治具的竖轴相交。

可选地，第一定位模块包括第一采集模块、卷积模块、反卷积模块、二值化模块和第一解析模块；其中：

所述第一采集模块，用于将采集相机的工作姿态调整为平行模式，采集待检测区域的第一图像及所述采集相机到所述待检测区域的第一垂直距离；

所述卷积模块，用于使用预设第一卷积核对所述第一图像的卷积处理，得到卷积图像；

所述反卷积模块，用于使用预设第二卷积核对所述卷积图像的反卷积处理，得到反卷积图像；

所述二值化模块，用于对所述反卷积图像进行二值化处理，得到第一目标图像；

所述第一解析模块，用于确定所述第一目标图像中所有的图形及各圆形的圆心坐标，根据预设的螺丝孔辅助信息在各圆形中确定所述目标螺丝孔对应的目标圆形，将所述目标圆形的圆心坐标与所述第一垂直距离组合，得到所述目标螺丝孔的空间坐标作为第一坐标；所述辅助信息包括所述目标螺丝孔在所述待检测区域中的相对位置。

可选地，第二定位模块包括第二采集模块、预处理模块、第二解析模块和第三解析模块；

所述第二采集模块，用于根据所述第一坐标控制所述采集相机移动到所述目标螺丝孔正上方，采集所述目标螺丝孔的第二图像及所述采集相机到所述目标螺丝孔的第二垂直距离；

所述预处理模块，用于对所述第二图像进行优化及二值化处理得到第二目标图像；

所述第二解析模块，用于在所述第二目标图像中使用霍夫变换测量所述目标螺丝孔的圆心坐标；

所述第三解析模块，用于将所述目标螺丝孔的圆心坐标与所述第二垂直距离组合，得到所述目标螺丝的空间坐标作为第二坐标。

可选地，所述装置还包括：

检查报警模块，用于根据所述第二目标图像检查所述目标螺丝孔表面质量，若确定所述目标螺丝孔表面存在缺陷，则进行警报。

可选地，实时监测调整所述螺丝锁付治具当前位置与所述目标螺丝孔的偏差包括：所述第三定位模块包括第三采集模块、投影逆变换模块、计算模块、位置转化模块和位置调整模块；

所述第三采集模块，用于在所述螺丝锁付治具向所述目标螺丝孔移动过程中，实时采集多个所述目标螺丝孔的第三图像，并在采集每一第三图像的同时检测所述采集相机到所述待检测区域的第三垂直距离；每一第三图像中所述目标螺丝孔呈椭圆形；

所述投影逆变换模块，用于针对每一第三图像，确定该第三图像中椭圆形的椭圆焦距与长轴直径，将椭圆焦距与长轴直径代入投影公式的逆变换公式计算当前时刻所述采集相机的光轴与目标螺丝孔的螺丝孔轴之间的夹角作为视差角；

所述计算模块，用于根据当前时刻的视差角与该第三图像对应的第三垂直距离，计算当前时刻所述采集相机与所述目标螺丝孔的第一水平距离；

所述位置转化模块，用于根据所述采集相机与所述螺丝锁付治具的相对位置关系将第一水平距离和第三垂直距离，转化为当前时刻所述螺丝锁付治具与所述目标螺丝孔的第二水平距离和第四垂直距离；

所述位置调整模块，用于根据所述第二水平距离和所述第四垂直距离调整所述螺丝锁付治具与所述目标螺丝孔的偏差。

本发明的有益效果：

本发明实施例提供了一种基于机器视觉的螺丝锁付方法，将采集相机的工作姿态调整为平行模式，采集待检测区域的第一图像及采集相机到待检测区域的第一垂直距离，根据第一图像和第一垂直距离进行第一次定位，确定目标螺丝孔的第一坐标；平行模式为采集相机的光轴与螺丝锁付治具的竖轴平行；根据第一坐标控制采集相机移动到目标螺丝孔正上方，采集目标螺丝孔的第二图像及采集相机到目标螺丝孔的第二垂直距离，根据第二图像和第二垂直距离进行第二次定位，确定目标螺丝孔的第二坐标；根据第二坐标控制螺丝锁付治具移动到目标螺丝孔正上方，将采集相机的工作姿态调整为斜视模式，实时监测调整螺丝锁付治具当前位置与目标螺丝孔的偏差；斜视模式为采集相机的光轴与螺丝锁付治具的竖轴相交。本发明的技术方案中采集相机具有平行模式与斜视模式，平行模式时通过远景的第一次定位与近景的第二次定位确定目标螺丝孔的坐标，并在斜视模式时可以实时监测调整锁付治具当前位置与目标螺丝孔的偏差，提高了螺丝锁付的成功率。

附图说明

下面结合附图对本发明作进一步的说明。

图1为本发明实施例提供的一种基于机器视觉的螺丝锁付方法的流程图；

图2为本发明实施例提供了一种基于机器视觉的螺丝锁付装置的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例提供了一种基于机器视觉的螺丝锁付方法。参见图1，图1为本发明实施例提供的一种基于机器视觉的螺丝锁付方法的流程图，方法包括：

S101，将采集相机的工作姿态调整为平行模式，采集待检测区域的第一图像及采集相机到待检测区域的第一垂直距离，根据第一图像和第一垂直距离进行第一次定位，确定目标螺丝孔的第一坐标。

S102，根据第一坐标控制采集相机移动到目标螺丝孔正上方，采集目标螺丝孔的第二图像及采集相机到目标螺丝孔的第二垂直距离，根据第二图像和第二垂直距离进行第二次定位，确定目标螺丝孔的第二坐标。

S103，根据第二坐标控制螺丝锁付治具移动到目标螺丝孔正上方，将采集相机的工作姿态调整为斜视模式，实时监测调整螺丝锁付治具当前位置与目标螺丝孔的偏差。

斜视模式为采集相机的光轴与螺丝锁付治具的竖轴相交。

平行模式为采集相机的光轴与螺丝锁付治具的竖轴平行。

基于本发明实施例提供了一种基于机器视觉的螺丝锁付方法，采集相机具有平行模式与斜视模式，平行模式时通过远景的第一次定位与近景的第二次定位确定目标螺丝孔的坐标，并在斜视模式时可以实时监测调整锁付治具当前位置与目标螺丝孔的偏差，提高了螺丝锁付的成功率。

一种实现方式中，上述螺丝锁付方法可以应用于六轴机器人，六轴机器人的机械手臂上可以安装有相机、锁付治具和激光测距仪，相机用于采集现场图片供六轴机器人分析定位螺丝孔，结合激光测距仪测量的垂直距离可以确定螺丝孔的空间坐标，进而控制锁付治具进行螺丝锁付。

一种实现方式中，当采集相机的工作姿态调整为平行模式时，第一次定位是在六轴机器人运动过程中执行，采集相机连续采集数据并且计算有可能的螺丝孔特征。第二次定位是在第一次定位的基础上进行精准定位。当采集相机的工作姿态调整为斜视模式时，对螺丝锁付治具与目标螺丝孔的相对位置进行实时跟踪调整。

在一个实施例中，步骤S101中根据第一图像和第一垂直距离进行第一次定位，确定目标螺丝孔的第一坐标包括：

步骤一，使用预设第一卷积核对第一图像的卷积处理，得到卷积图像。

步骤二，使用预设第二卷积核对卷积图像的反卷积处理，得到反卷积图像。

步骤三，对反卷积图像进行二值化处理，得到第一目标图像。

步骤四，确定第一目标图像中所有的图形及各圆形的圆心坐标，根据预设的螺丝孔辅助信息在各圆形中确定目标螺丝孔对应的目标圆形，将目标圆形的圆心坐标与第一垂直距离组合，得到目标螺丝孔的空间坐标作为第一坐标。

辅助信息包括目标螺丝孔在待检测区域中的相对位置。

一种实现方式中，为了机器人运行在安全区域，在没有确定目标点之前，第一次定位尽量控制采集相机距离工作面较远，因此导致图像采集虚焦比较严重。但是虚焦成像可以理解为图像的低通滤波器，利用这一特点设计一个对低频特征敏感的卷积滤波器将会很好的过滤目标，提取有用信息。因为图像采集是虚焦图像，将预设第一卷积核与预设第二卷积核设置为不同的卷积核，将虚焦成像的图片通过不同的卷积核运算后获取锐度更高的成像质量，可以起到在虚焦图片中剔除杂乱信息的作用。

在一个实施例中，步骤S102中根据第二图像和第二垂直距离进行第二次定位，确定目标螺丝孔的第二坐标包括：

步骤一，对第二图像进行优化及二值化处理得到第二目标图像。

步骤二，在第二目标图像中使用霍夫变换测量目标螺丝孔的圆心坐标。

步骤三，将目标螺丝孔的圆心坐标与第二垂直距离组合，得到目标螺丝的空间坐标作为第二坐标。

在一个实施例中，在对第二图像进行优化及二值化处理得到第二目标图像之后，方法还包括：

根据第二目标图像检查目标螺丝孔表面质量，若确定目标螺丝孔表面存在缺陷，则进行警报。

一种实现方式中，目标螺丝孔表面的缺陷可以包括覆盖、毛刺和形状异常等等。

在一个实施例中，在步骤S103中实时监测调整螺丝锁付治具当前位置与目标螺丝孔的偏差包括：

步骤一，在螺丝锁付治具向目标螺丝孔移动过程中，实时采集多个目标螺丝孔的第三图像，并在采集每一第三图像的同时检测采集相机到待检测区域的第三垂直距离；每一第三图像中目标螺丝孔呈椭圆形；

步骤二，针对每一第三图像，确定该第三图像中椭圆形的椭圆焦距与长轴直径，将椭圆焦距与长轴直径代入投影公式的逆变换公式计算当前时刻采集相机的光轴与目标螺丝孔的螺丝孔轴之间的夹角作为视差角；

步骤三，根据当前时刻的视差角与该第三图像对应的第三垂直距离，计算当前时刻采集相机与目标螺丝孔的第一水平距离；

步骤四，根据采集相机与螺丝锁付治具的相对位置关系将第一水平距离和第三垂直距离，转化为当前时刻螺丝锁付治具与目标螺丝孔的第二水平距离和第四垂直距离；

步骤五，根据第二水平距离和第四垂直距离调整螺丝锁付治具与目标螺丝孔的偏差。

一种实现方式中，因为相机与螺丝孔平面有视角差，使用螺丝孔成像为椭圆形。根据投影公式的逆变换公式(公式(1))可以根据椭圆形两个圆心的距离反推算出相机的光轴与螺丝孔轴的夹角(公式(2))。

其中，θ为视差角，a为修正补偿系数，D为椭圆焦距，T为椭圆的长轴直径。

根据公式(3)，计算采集相机与目标螺丝孔的第一水平距离：

S＝L·tan(θ) (3)

其中，S为第一水平距离，L为第三垂直距离。

在螺丝锁付治具运动期间实时跟踪调整螺丝锁付治具与目标螺丝孔之间的位置关系，可以将螺丝锁付的成功率大幅提升，同时用视频方式记录了螺丝锁付的工作过程，特别适用于特征螺丝，以及对螺丝锁付要求苛刻的场合使用，保证螺丝锁付品质提升生产效率。

基于相同的发明构思本发明实施例提供了一种基于机器视觉的螺丝锁付装置。参见图2，图2为本发明实施例提供了一种基于机器视觉的螺丝锁付装置的结构图，装置包括：

第一定位模块，用于将采集相机的工作姿态调整为平行模式，采集待检测区域的第一图像及采集相机到待检测区域的第一垂直距离，根据第一图像和第一垂直距离进行第一次定位，确定目标螺丝孔的第一坐标；平行模式为采集相机的光轴与螺丝锁付治具的竖轴平行；

第二定位模块，用于根据第一坐标控制采集相机移动到目标螺丝孔正上方，采集目标螺丝孔的第二图像及采集相机到目标螺丝孔的第二垂直距离，根据第二图像和第二垂直距离进行第二次定位，确定目标螺丝孔的第二坐标；

第三定位模块，用于根据第二坐标控制螺丝锁付治具移动到目标螺丝孔正上方，将采集相机的工作姿态调整为斜视模式，实时监测调整螺丝锁付治具当前位置与目标螺丝孔的偏差；斜视模式为采集相机的光轴与螺丝锁付治具的竖轴相交。

在一个实施例中，第一定位模块包括第一采集模块、卷积模块、反卷积模块、二值化模块和第一解析模块；其中：

第一采集模块，用于将采集相机的工作姿态调整为平行模式，采集待检测区域的第一图像及采集相机到待检测区域的第一垂直距离；

卷积模块，用于使用预设第一卷积核对第一图像的卷积处理，得到卷积图像；

反卷积模块，用于使用预设第二卷积核对卷积图像的反卷积处理，得到反卷积图像；

二值化模块，用于对反卷积图像进行二值化处理，得到第一目标图像；

第一解析模块，用于确定第一目标图像中所有的图形及各圆形的圆心坐标，根据预设的螺丝孔辅助信息在各圆形中确定目标螺丝孔对应的目标圆形，将目标圆形的圆心坐标与第一垂直距离组合，得到目标螺丝孔的空间坐标作为第一坐标；辅助信息包括目标螺丝孔在待检测区域中的相对位置。

在一个实施例中，第二定位模块包括第二采集模块、预处理模块、第二解析模块和第三解析模块；

第二采集模块，用于根据第一坐标控制采集相机移动到目标螺丝孔正上方，采集目标螺丝孔的第二图像及采集相机到目标螺丝孔的第二垂直距离；

预处理模块，用于对第二图像进行优化及二值化处理得到第二目标图像；

第二解析模块，用于在第二目标图像中使用霍夫变换测量目标螺丝孔的圆心坐标；

第三解析模块，用于将目标螺丝孔的圆心坐标与第二垂直距离组合，得到目标螺丝的空间坐标作为第二坐标。

在一个实施例中，装置还包括：

检查报警模块，用于根据第二目标图像检查目标螺丝孔表面质量，若确定目标螺丝孔表面存在缺陷，则进行警报。

在一个实施例中，实时监测调整螺丝锁付治具当前位置与目标螺丝孔的偏差包括：第三定位模块包括第三采集模块、投影逆变换模块、计算模块、位置转化模块和位置调整模块；

第三采集模块，用于在螺丝锁付治具向目标螺丝孔移动过程中，实时采集多个目标螺丝孔的第三图像，并在采集每一第三图像的同时检测采集相机到待检测区域的第三垂直距离；每一第三图像中目标螺丝孔呈椭圆形；

投影逆变换模块，用于针对每一第三图像，确定该第三图像中椭圆形的椭圆焦距与长轴直径，将椭圆焦距与长轴直径代入投影公式的逆变换公式计算当前时刻采集相机的光轴与目标螺丝孔的螺丝孔轴之间的夹角作为视差角；

计算模块，用于根据当前时刻的视差角与该第三图像对应的第三垂直距离，计算当前时刻采集相机与目标螺丝孔的第一水平距离；

位置转化模块，用于根据采集相机与螺丝锁付治具的相对位置关系将第一水平距离和第三垂直距离，转化为当前时刻螺丝锁付治具与目标螺丝孔的第二水平距离和第四垂直距离；

位置调整模块，用于根据第二水平距离和第四垂直距离调整螺丝锁付治具与目标螺丝孔的偏差。

以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (10)

1.一种基于机器视觉的螺丝锁付方法，其特征在于，所述方法包括：

将采集相机的工作姿态调整为平行模式，采集待检测区域的第一图像及所述采集相机到所述待检测区域的第一垂直距离，根据所述第一图像和所述第一垂直距离进行第一次定位，确定目标螺丝孔的第一坐标；所述平行模式为所述采集相机的光轴与螺丝锁付治具的竖轴平行；

根据所述第一坐标控制所述采集相机移动到所述目标螺丝孔正上方，采集所述目标螺丝孔的第二图像及所述采集相机到所述目标螺丝孔的第二垂直距离，根据所述第二图像和所述第二垂直距离进行第二次定位，确定目标螺丝孔的第二坐标；

根据所述第二坐标控制所述螺丝锁付治具移动到所述目标螺丝孔正上方，将所述采集相机的工作姿态调整为斜视模式，实时监测调整所述螺丝锁付治具当前位置与所述目标螺丝孔的偏差；所述斜视模式为所述采集相机的光轴与螺丝锁付治具的竖轴相交。

2.基于权利要求1所述的一种基于机器视觉的螺丝锁付方法，其特征在于，根据所述第一图像和所述第一垂直距离进行第一次定位，确定目标螺丝孔的第一坐标包括：

使用预设第一卷积核对所述第一图像的卷积处理，得到卷积图像；

使用预设第二卷积核对所述卷积图像的反卷积处理，得到反卷积图像；

对所述反卷积图像进行二值化处理，得到第一目标图像；

确定所述第一目标图像中所有的图形及各圆形的圆心坐标，根据预设的螺丝孔辅助信息在各圆形中确定所述目标螺丝孔对应的目标圆形，将所述目标圆形的圆心坐标与所述第一垂直距离组合，得到所述目标螺丝孔的空间坐标作为第一坐标；所述辅助信息包括所述目标螺丝孔在所述待检测区域中的相对位置。

3.基于权利要求1所述的一种基于机器视觉的螺丝锁付方法，其特征在于，根据所述第二图像和所述第二垂直距离进行第二次定位，确定目标螺丝孔的第二坐标包括：

对所述第二图像进行优化及二值化处理得到第二目标图像；

在所述第二目标图像中使用霍夫变换测量所述目标螺丝孔的圆心坐标；

将所述目标螺丝孔的圆心坐标与所述第二垂直距离组合，得到所述目标螺丝的空间坐标作为第二坐标。

4.基于权利要求3所述的一种基于机器视觉的螺丝锁付方法，其特征在于，在对所述第二图像进行优化及二值化处理得到第二目标图像之后，所述方法还包括：

根据所述第二目标图像检查所述目标螺丝孔表面质量，若确定所述目标螺丝孔表面存在缺陷，则进行警报。

5.基于权利要求1所述的一种基于机器视觉的螺丝锁付方法，其特征在于，实时监测调整所述螺丝锁付治具当前位置与所述目标螺丝孔的偏差包括：

在所述螺丝锁付治具向所述目标螺丝孔移动过程中，实时采集多个所述目标螺丝孔的第三图像，并在采集每一第三图像的同时检测所述采集相机到所述待检测区域的第三垂直距离；每一第三图像中所述目标螺丝孔呈椭圆形；

针对每一第三图像，确定该第三图像中椭圆形的椭圆焦距与长轴直径，将椭圆焦距与长轴直径代入投影公式的逆变换公式计算当前时刻所述采集相机的光轴与目标螺丝孔的螺丝孔轴之间的夹角作为视差角；

根据当前时刻的视差角与该第三图像对应的第三垂直距离，计算当前时刻所述采集相机与所述目标螺丝孔的第一水平距离；

根据所述采集相机与所述螺丝锁付治具的相对位置关系将第一水平距离和第三垂直距离，转化为当前时刻所述螺丝锁付治具与所述目标螺丝孔的第二水平距离和第四垂直距离；

根据所述第二水平距离和所述第四垂直距离调整所述螺丝锁付治具与所述目标螺丝孔的偏差。

6.一种基于机器视觉的螺丝锁付装置，其特征在于，所述装置包括：

第一定位模块，用于将采集相机的工作姿态调整为平行模式，采集待检测区域的第一图像及所述采集相机到所述待检测区域的第一垂直距离，根据所述第一图像和所述第一垂直距离进行第一次定位，确定目标螺丝孔的第一坐标；所述平行模式为所述采集相机的光轴与螺丝锁付治具的竖轴平行；

第二定位模块，用于根据所述第一坐标控制所述采集相机移动到所述目标螺丝孔正上方，采集所述目标螺丝孔的第二图像及所述采集相机到所述目标螺丝孔的第二垂直距离，根据所述第二图像和所述第二垂直距离进行第二次定位，确定目标螺丝孔的第二坐标；

第三定位模块，用于根据所述第二坐标控制所述螺丝锁付治具移动到所述目标螺丝孔正上方，将所述采集相机的工作姿态调整为斜视模式，实时监测调整所述螺丝锁付治具当前位置与所述目标螺丝孔的偏差；所述斜视模式为所述采集相机的光轴与螺丝锁付治具的竖轴相交。

7.基于权利要求6所述的一种基于机器视觉的螺丝锁付装置，其特征在于，第一定位模块包括第一采集模块、卷积模块、反卷积模块、二值化模块和第一解析模块；其中：

所述第一采集模块，用于将采集相机的工作姿态调整为平行模式，采集待检测区域的第一图像及所述采集相机到所述待检测区域的第一垂直距离；

所述卷积模块，用于使用预设第一卷积核对所述第一图像的卷积处理，得到卷积图像；

所述反卷积模块，用于使用预设第二卷积核对所述卷积图像的反卷积处理，得到反卷积图像；

所述二值化模块，用于对所述反卷积图像进行二值化处理，得到第一目标图像；

所述第一解析模块，用于确定所述第一目标图像中所有的图形及各圆形的圆心坐标，根据预设的螺丝孔辅助信息在各圆形中确定所述目标螺丝孔对应的目标圆形，将所述目标圆形的圆心坐标与所述第一垂直距离组合，得到所述目标螺丝孔的空间坐标作为第一坐标；所述辅助信息包括所述目标螺丝孔在所述待检测区域中的相对位置。

8.基于权利要求6所述的一种基于机器视觉的螺丝锁付装置，其特征在于，第二定位模块包括第二采集模块、预处理模块、第二解析模块和第三解析模块；

所述第二采集模块，用于根据所述第一坐标控制所述采集相机移动到所述目标螺丝孔正上方，采集所述目标螺丝孔的第二图像及所述采集相机到所述目标螺丝孔的第二垂直距离；

所述预处理模块，用于对所述第二图像进行优化及二值化处理得到第二目标图像；

所述第二解析模块，用于在所述第二目标图像中使用霍夫变换测量所述目标螺丝孔的圆心坐标；

所述第三解析模块，用于将所述目标螺丝孔的圆心坐标与所述第二垂直距离组合，得到所述目标螺丝的空间坐标作为第二坐标。

9.基于权利要求8所述的一种基于机器视觉的螺丝锁付装置，其特征在于，所述装置还包括：

检查报警模块，用于根据所述第二目标图像检查所述目标螺丝孔表面质量，若确定所述目标螺丝孔表面存在缺陷，则进行警报。

10.基于权利要求6所述的一种基于机器视觉的螺丝锁付装置，其特征在于，实时监测调整所述螺丝锁付治具当前位置与所述目标螺丝孔的偏差包括：所述第三定位模块包括第三采集模块、投影逆变换模块、计算模块、位置转化模块和位置调整模块；

所述第三采集模块，用于在所述螺丝锁付治具向所述目标螺丝孔移动过程中，实时采集多个所述目标螺丝孔的第三图像，并在采集每一第三图像的同时检测所述采集相机到所述待检测区域的第三垂直距离；每一第三图像中所述目标螺丝孔呈椭圆形；

所述投影逆变换模块，用于针对每一第三图像，确定该第三图像中椭圆形的椭圆焦距与长轴直径，将椭圆焦距与长轴直径代入投影公式的逆变换公式计算当前时刻所述采集相机的光轴与目标螺丝孔的螺丝孔轴之间的夹角作为视差角；

所述计算模块，用于根据当前时刻的视差角与该第三图像对应的第三垂直距离，计算当前时刻所述采集相机与所述目标螺丝孔的第一水平距离；

所述位置转化模块，用于根据所述采集相机与所述螺丝锁付治具的相对位置关系将第一水平距离和第三垂直距离，转化为当前时刻所述螺丝锁付治具与所述目标螺丝孔的第二水平距离和第四垂直距离；

所述位置调整模块，用于根据所述第二水平距离和所述第四垂直距离调整所述螺丝锁付治具与所述目标螺丝孔的偏差。

Images