CN113020959B - 基于双目视觉的接头拧紧角度自动预测装置及系统 - Google Patents

Abstract

本发明属于机器人可视化装配技术领域，具体涉及一种基于双目视觉的接头拧紧角度自动预测装置及系统，液压缸与直角接头装配时旋拧角度和垫片厚度无法预测导致装配效率低，易损伤零件并影响装配后密封效果的问题。本发明提供一种基于双目视觉的接头拧紧角度自动预测装置通过双目视觉传感器自动对焦、视觉识别与测量、以及三自由度工作台精确运动控制配合实现对螺纹配合的两个工件在螺纹连接时拧紧角度的精确预测。应用本发明能够使得工件拧紧角度更加精确，减少工件反复装配拆卸的损耗，装配效率大幅提升，本发明基座可兼容产品型号和种类更加丰富。

Description

基于双目视觉的接头拧紧角度自动预测装置及系统

技术领域

本发明属于机器人可视化装配技术领域，具体涉及一种基于双目视觉的接头拧紧角度自动预测装置及系统。

背景技术

目前，在两栖装甲装备油气悬挂系统装配领域，直角接头与液压缸通过内外螺纹进行旋合拧紧装配，装配要求直角接头拧紧后与液压缸轴线方向必须平行。实际装配中，由于直角接头的外螺纹起始角、终止角以及液压缸外螺纹的起始角均具有随机性，因此很难保证直角接头拧紧后与液压缸轴线方向平行。因此，在实际装配中，需要通过加装垫片的方式，调整直角接头拧紧角度，直到与液压缸轴线方向平行。由于接头拧紧角度具有随机性，导致目前装配需要反复试装，才能最终确定所需加装垫片厚度来保证达到装配要求，装配效率非常低，且反复试装容易对接头外螺纹以及液压缸内螺纹造成损伤，从而影响装配后的密封效果。

因此，本领域亟需一种于双目视觉的接头拧紧角度自动预测装置以解决或至少减轻上述问题。

发明内容

为了解决现有技术中的上述问题，即为了解决现有技术中液压缸与直角接头装配时旋拧角度和垫片厚度无法预测导致装配效率低，易损伤零件并影响装配后密封效果的问题。本申请一方面提供一种基于双目视觉的接头拧紧角度自动预测装置，包括基座和双目视觉检测设备；

所述基座沿长度方向依次设置有第一固定机构和第二固定机构，所述第一固定机构用于固定具有内螺纹的第一工件，所述第二固定机构用于固定具有外螺纹的第二工件；

所述双目视觉检测设备活动装设于所述基座上方，用于依次获取所述第一工件的内螺纹图像和所述第二工件的外螺纹图像，并基于预设的计算规则通过所述内螺纹图像获取内螺纹起始角参数、通过所述外螺纹图像获取外螺纹起始角参数和外螺纹终止角参数，进而获取第二工件与第一工件在装配时的拧紧角度。

在一些优选技术方案中，所述基座位于水平面，所述双目视觉检测设备具有沿水平方向的移动自由度、沿竖直方向的移动自由度和旋转自由度。

在一些优选技术方案中，所述双目视觉检测设备包括三自由度运动模块、视觉自动对焦模块、双目视觉检测模块；

所述三自由度运动模块包括移动架、升降旋转机构和夹持机构，所述移动架为门型框架，所述门型框架的两端分别与基座上的两个沿长度方式设置的轨道匹配，所述门型框架能够沿所述轨道延伸方向运动；所述升降旋转机构竖直装设于所述门型框架的上横梁，所述升降旋转机构的下端与所述夹持机构连接，所述升降旋转机构能够带动所述夹持机构沿竖直方向移动和/或转动；所述视觉自动对焦模块和所述双目视觉检测模块均装设于所述夹持机构。

在一些优选技术方案中，所述双目视觉检测模块包括两台相机和两个环向光源，两个所述环形光源分别套设于两台所述相机的外部；

所述夹持机构具有沿竖直方向对称设置的两个夹持端，两个夹持端向内收缩并呈预设角度设置，两个夹持端分别用于夹持两台相机。

在一些优选技术方案中，所述视觉自动对焦模块包括直线位移平台和旋转角位移台，所述夹持机构的夹持端依次通过所述直线位移平台、所述旋转角位移台与所述相机连接，所述直线位移平台能够带动所述旋转角位移台和所述相机沿所述相机的轴线运动，所述旋转角位移台能够带动所述相机于竖直面转动。

在一些优选技术方案中，所述双目视觉检测装置还包括动力机构，所述动力机构用于驱动所述门型框架沿所述基座长度方向运动，以对所述基座所固定的工件螺纹进行检测。

在一些优选技术方案中，所述预设的计算规则包括以下步骤：

步骤S100，基于预设的第一选取规则从螺纹图像中选取第一区域，作为第一待检测区域；所述预设的第一选取规则为：使所述第一区域的上顶边/下顶边与工件的顶面/底面平齐，且所述第一区域的高度至少包含第一数量的螺纹线，所述第一区域的宽度区域每一行中不会同时出现属于不同螺纹的像素；

步骤S200，获得第一待检测区域图像矩阵，基于高斯核函数对所述第一待检测区域图像矩阵依次进行卷积平滑和向量化，得到待检测向量数据；

步骤S300，通过相关性计算得到模板向量数据与待检测向量数据的匹配度曲线，对所述匹配度曲线进行极大值抑制，以获取螺距和螺纹起始角/螺纹终止角。

在一些优选技术方案中，所述模板向量数据的获取方法包括以下步骤：

步骤A100，基于双目视觉设备获取平行于模板工件中轴面的螺纹图像，并调整螺纹轴线使其与坐标轴竖直线平行，作为模板图像；

步骤A200，基于预设的第一选取规则从所述模板图像中选取第一区域；

步骤A300，基于预设的第二选取规则从所述第一区域中选取第二区域，所述预设的第二选取规则为：使所述第二区域的上顶边/下顶边和宽度与所述第一区域的上顶边/下顶边和宽度相同，并调整所述第二区域的高度以使所述第二区域内至少包含第二数量的螺纹线；

步骤A400，获取所述第二区域图像的矩阵，基于高斯核函数对所述二区域图像的矩阵依次进行卷积平滑和向量化，得到模板向量数据。

在一些优选技术方案中，所述第一数量为S₁，S₁∈[5,9]；所述第二数量为S₂，S₂∈[3,4]。

本发明第二方面提供一种，基于双目视觉的接头拧紧角度自动预测系统，包括上述技术方案中任一项所述的基于双目视觉的接头拧紧角度自动预测装置和控制器，所述控制器与所述双目视觉检测设备通过通信链路连接；

所述控制器能够基于所述双目视觉检测设备获取的第一工件的内螺纹参数、第二工件的外螺纹参数，获取所述第一工件和所述第二工件在装配过程中所需的垫片厚度，所述内螺纹参数包括内螺纹起始角、内螺纹螺距、内螺纹高度，所述外螺纹参数包括外螺纹起始角、外螺纹终止角、外螺纹高度、外螺纹螺距。

本发明第三方面提供一种基于双目视觉的装配系统，该系统包括上述技术方案中所述的基于双目视觉的接头拧紧角度自动预测系统、检测模块和机械手，所述机械手分别与所述检测模块和所述控制器通过通信链路连接；

所述机械手基于所述垫片厚度信息和待装配螺纹信息，选取相适应地垫片放置于所述第一工件内螺纹上方，再将所述第二工件抓取至所述第一工件上方，使所述第二工件外螺纹端与所述第一工件的内螺纹端配合到位后带动第二工件转动，以使第一工件的内螺纹与第二工件的外螺纹旋紧；

所述检测模块用于在所述第一工件的内螺纹与所述第二工件的外螺纹旋紧后检测其旋紧配合是否符合预设标准。

本发明的有益效果：

本发明通过双目视觉传感器自动对焦、视觉识别与测量、以及三自由度工作台精确运动控制配合实现对螺纹配合的两个工件在螺纹连接时拧紧角度的精确预测。应用本发明能够使得工件拧紧角度更加精确，减少工件反复装配拆卸的损耗，装配效率大幅提升，本发明基座可兼容产品型号和种类更加丰富。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明一种实施例的基于双目视觉的接头拧紧角度自动预测装置整体结构示意图；

图2为本发明一种实施例中基座固定液压缸和直角接头的装配示意图；

图3为本发明一种实施例中基座与三自由度运动控制模块的装配示意图；

图4为本发明一种实施例中基于双目视觉的接头拧紧角度自动预测装置的工作示意图；

图5为本发明一种实施例中视觉自动对焦模块和双目视觉检测模块的结构示意图；

图6为本发明一种实施例中接头拧紧角度的流程示意图；

附图标记列表：

100-基座，110-第一固定机构，11-第一固定部，112-第二固定部，20-第二固定机构；200-三自由度运动模块，210-移动架，211-动力机构，212-导轨，220-升降旋转机构；230-夹持机构；300-视觉自动对焦模块，310-直线位移平台，320-旋转角位移台；400-双目视觉检测模块，410-工业相机，420-环形光源；500-第一工件；600-第二工件。

具体实施方式

为使本发明的实施例、技术方案和优点更加明显，下面将结合附图对本发明的技术方案进行清楚、完整的描述，显然，所述的实施例是本发明的一部分实施例，而不是全部实施例。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明的一种基于双目视觉的接头拧紧角度自动预测装置，包括基座和双目视觉检测设备；

所述基座沿长度方向依次设置有第一固定机构和第二固定机构，所述第一固定机构用于固定具有内螺纹的第一工件，所述第二固定机构用于固定具有外螺纹的第二工件；

所述双目视觉检测设备活动装设于所述基座上方，用于依次获取所述第一工件的内螺纹图像和所述第二工件的外螺纹图像，并基于预设的计算规则通过所述内螺纹图像获取内螺纹起始角参数、通过所述外螺纹图像获取外螺纹起始角参数和外螺纹终止角参数。

通过本申请，可采用非接触方法可以准确预测接头拧紧角度，从而实现垫片厚度的准确预知，避免了反复试装对内外螺纹造成损伤，且大幅度提高装配效率。

为了更清晰地对本发明基于双目视觉的接头拧紧角度自动预测装置进行说明，下面结合附图对本发明一种优选实施例进行展开详述。

作为本发明的一个优选实施例，本发明的基于双目视觉的接头拧紧角度自动预测装置如图1所示，包括基座100和双目视觉检测设备；

基座100沿长度方向依次设置有第一固定机构110和第二固定机构120，第一固定机构110用于固定具有内螺纹的第一工件500，第二固定机构120用于固定具有外螺纹的第二工件600；在本发明的优选实施例中，第一工件为液压缸，第二工件为直角接头，本申请通过多个功能模块的组合，实现对不同型号油气悬挂系统直角接头高效率、精准装配。

为了配合液压缸的结构，本申请设置有的第一固定部111和第二固定部112，其中，第一固定部111包括两个间隔设置的固定结构，且两个固定结构在彼此相对应地位置时上设置有装配孔用于与液压缸的装配孔匹配，并通过可拆卸连接件固定，以防止液压缸相对于基座移动，进一步地，第二固定部112为两个，两个第二固定部112沿基座长度依次间隔设置，以用于支撑液压缸使其缸体处于水平状态，第二固定部112与液压缸的接触方向为弧形，以与缸体外缘适配，防止液压缸转动。第一固定部111和第二固定部112需保证第一工件内内螺纹与第二工件的外螺纹等高。本领域技术人员应有本申请的装置装配其他工件时，也可灵活更换固定结构，只要保证两工件的螺纹等高即可。

进一步地，双目视觉检测设备活动装设于基座100上方，用于依次获取第一工件500的内螺纹图像和第二工件600的外螺纹图像，并基于预设的计算规则通过内螺纹图像获取内螺纹起始角参数、通过外螺纹图像获取外螺纹起始角参数和外螺纹终止角参数，进而实现对第二工件600与第一工件500在装配时的拧紧角度的精准预测。

具体而言，基座100位于水平面，双目视觉检测设备具有沿水平方向的移动自由度、沿竖直方向的移动自由度和旋转自由度。即，本发明的装置位于空间直角坐标系中，基座的长度方向为x方向，双目视觉检测设备具有沿x轴方向的移动自由度、沿z轴的移动自由度和旋转自由度。在本申请的优选实施例中，x向定位通过伺服电机编码器实现，但z向以及绕z轴旋转的定位是通过视觉伺服来实现的，即通过视觉算法与运动控制之间进行伺服联动来实现。

参阅附图，双目视觉检测设备包括三自由度运动模块200、视觉自动对焦模块300、双目视觉检测模块400。其中，三自由度运动模块200包括移动架210、升降旋转机构220和夹持机构230，移动架210为门型框架，门型框架的两端分别与基座100上的两个沿长度方式设置的轨道212匹配，门型框架能够沿轨道延伸方向运移动，具体而言，移动架210底部的两端分别与滑块连接，滑块与装设于基座的轨道212匹配，三自由度运动模块200还包括动力机构211，动力机构211用于驱动移动架210沿基座100长度方向运动，以对基座100所固定的工件螺纹进行检测，即分别对第一工件500的内螺纹和第二工件600的外螺纹进行检测。优选地，动力机构211为伺服电机，本申请通过伺服电机自带的编码器实现定位运动，升降旋转机构220通过视觉伺服进行定位运动，即通过视觉图像的实时变化而自动调整运动位置。

进一步地，升降旋转机构220竖直装设于门型框架的上横梁，升降旋转机构220的下端与夹持机构230连接，升降旋转机构220能够带动夹持机构230沿竖直方向移动和/或转动；视觉自动对焦模块300和双目视觉检测模块400均装设于夹持机构230。

优选地，双目视觉检测模块包括两台工业相机410和两个环向光源420，两个环形光源420分别套设于两台工业相机410的外部，环形光源420能够跟随工业相机410同步运动，本申请优选相机为工业相机，本领域技术人员也可选择其他相机或图像采集装置。

夹持机构230具有沿竖直方向对称设置的两个夹持端，两个夹持端向内收缩并呈预设角度设置，两个夹持端分别用于夹持两台工业相机410，两台工业相机410又与视觉自动对焦模块300固连。双目视觉检测模块400可实现同时对称拍摄内外螺纹两个侧面，从而识别内外螺纹的起始角。相对于单目视觉而言，双目视觉不仅可以提高识别效率，而且可以通过算法消除由于螺纹反光而导致的测量精度下降问题，提高测量精度。

视觉自动对焦模块300包括直线位移平台310和旋转角位移台320，夹持机构230的夹持端依次通过直线位移平台310、旋转角位移台320与工业相机410连接，直线位移平台310能够带动旋转角位移台320和工业相机410沿工业相机410的轴线运动，旋转角位移台320能够带动工业相机410于竖直面转动。视觉自动对焦模块300使得相机既可以沿轴线方向直线运动，又可以通过旋转角位移台调整倾角，从而实现相机自动对焦。

本发明在使用时首先将液压缸与直角接头安装于固定基座100上，然后三自由度运动模块200沿X轴方向运动至液压缸内螺纹位置，之后三自由度运动模块200沿Z轴方向运动，并与视觉自动对焦模块300配合实现视觉自动对焦，对焦完成后由三自由度运动模块200绕Z轴旋转带动双目视觉检测模块400转动180度采集图像并进行内螺纹起始角参数计算，完成后三自由度运动模块200沿X轴方向运动至直角接头外螺纹位置，到位后由三自由度运动模块200绕Z轴旋转带动双目视觉检测模块400转动180度采集图像并进行外螺纹起始角以及终止角参数计算，完成后三自由度运动模块200沿X轴负方向退回到安全位置。

本申请第二方面提供一种基于双目视觉的接头拧紧角度自动预测系统的实施例，该系统包括上述实施例中的基于双目视觉的接头拧紧角度自动预测装置和控制器，控制器与双目视觉检测设备通过通信链路连接；控制器能够基于双目视觉检测设备获取的第一工件500的内螺纹起始角参数、第二工件600的外螺纹起始角参数和外螺纹终止角参数，进而实现对第二工件600拧紧角度的精确预测，以获取第一工件500和第二工件600在装配过程中所需的垫片厚度。

下面结合附图以及优选实施例对本发明系统的使用方法进行说明，优选地，第一工件为液压缸，第二工件为直角接头。

步骤一：首先将液压缸和直角接头分别通过第一固定机构110和第二固定机构120装设于基座100。

步骤二：控制三自由度运动模块200沿X正向前进到液压缸内螺纹所在位置。需要说明的是，这里的控制可以是人为控制也可以是设定程序，也可以为本申请的控制器在此不再赘述。此外，可以先检测液压缸内螺纹，也可以先检测直角接头的外螺纹，检测顺序不应作为对本申请的限定。

步骤三：双目视觉检测模块400的相机以及环形光源均开启，视觉算法开始运行，三自由度运动模块200沿Z轴正向运动，同时视觉算法开始寻找能够聚焦的最佳位置，直到找到最佳焦点位置后，Z轴停止运动。这里的最佳位置以能清晰地获取螺纹图像为准，本领域技术人员可自行设置最佳位置的清晰度阈值，以控制三自由度运动模块200。

步骤四：双目视觉检测模块400在三自由度运动模块200的带动下绕Z轴转动，直至找到螺纹起始角最佳拍摄位置后停止转动。

步骤五：双目视觉检测模块400采集螺纹图像并基于预设的计算规则开始计算，以获得液压缸内螺纹的起始角度参数。

步骤六：三自由度运动模块200沿X轴正向移动到直角接头外螺纹的拍摄位置，而后重复步骤三，使得双目视觉检测模块400在三自由度运动控制系统控制下绕Z轴转动，直至找到直角接头外螺纹起始角最佳拍摄位置后停止转动。

步骤七：目视觉检测模块400采集螺纹图像并基于预设的计算规则开始计算，以获得直角接头外螺纹起始角度参数以及终止角度参数。

步骤八：进一步地，基于系统预测算法通过所获得的内螺纹起始角、外螺纹起始角以及终止角预测出所需使用的垫片厚度。

步骤九：三自由度运动模块200沿X轴负向运动退回到安全位置，测量完毕，开始后续拧紧工作。

需要说明的是，本发明的预设的计算规则包括以下步骤：

步骤S100，基于预设的第一选取规则从螺纹图像中选取第一区域，作为第一待检测区域；第一选取规则为：使所述第一区域的上顶边/下顶边与工件的顶面/底面平齐，且所述第一区域的高度至少包含第一数量的螺纹线，所述第一区域的宽度应保证图像的每一行中不会同时出现属于不同螺纹的像素，即保证裁剪区域内的螺纹成像清晰且无明显倾斜，由于本申请对获取的螺纹图像进行了二值化处理，则螺纹成像清晰，图像的每一行中不会同时出现属于不同螺纹的像素保证了图像中各螺纹无明显倾斜，“各螺纹无明显倾斜”表示各螺纹的斜率大于设定的斜率阈值，本发明中优选设置为0.95。从螺纹图像中选取第一区域，即未从第一工件的内螺纹图像中选取第一区域，或从第二工件的外螺纹图像中选取第一区域。

步骤S200，获得第一待检测区域图像矩阵，基于高斯核函数对所述第一待检测区域图像矩阵依次进行卷积平滑和向量化，得到待检测向量数据；

步骤S300，通过相关性计算得到模板向量数据与待检测向量数据的匹配度曲线，对所述匹配度曲线进行极大值抑制，以获取螺距和螺纹起始角/螺纹终止角。

即选取的第一区域的上顶边与工件的顶面平齐时，获得螺距和螺纹起始角，选取的第二区域的下顶边与工件的底面平齐时，获得螺距和螺纹终止角。

获取待检测物体的螺纹图像对应的第一区域，作为第一待检测区域；并获得第一待检测区域图像矩阵M₂，M₂∈R^{height×width}，其中，height为第一待检测区域图像的高度，width为第一待检测区域图像的宽度，通过尺度为n×n的高斯核函数G对所述第一待检测区域图像矩阵M₂进行卷积平滑处理得到M_2g，

基于将M_2g进行向量化：

得到待检测物体的待检测向量数据v_2g，v_2g∈R^height。

步骤S300，通过相关性计算得到模板向量数据v_g与待检测向量数据v_2g的匹配度曲线m：m＝-v_g*v_2g，

对匹配度曲线m进行极大值抑制得到m_nms和各个极大值在原序列中的索引index_nms，index_nms∈R^k；基于m_nms和index_nms计算获取螺距L，

基于index_nms对螺距L取模获取螺纹起始角θ，

其中，k为index_nms序列的长度。

具体地，步骤S300中模板向量数据的获取方法包括以下步骤：

步骤A100，基于双目视觉设备获取平行于模板工件中轴面的螺纹图像，并调整螺纹轴线使其与坐标轴竖直线平行，作为模板图像；所述步骤A100具体为：

步骤A110，基于双目视觉设备获取被检测物体平行于中轴面的螺纹图像，并调整螺纹轴线使其与坐标轴竖直线平行；

步骤A120，将步骤A110调整后的螺纹图像进行二值化处理，将二值化处理后的螺纹图像作为模板图像。

步骤A200，基于预设的第一选取规则从所述模板图像中选取第一区域；

步骤A300，基于预设的第二选取规则从所述第一区域中选取第二区域，第二选取规则为：使所述第二区域的上顶边/下顶边和宽度与所述第一区域的上顶边/下顶边和宽度相同，并调整所述第二区域的高度以使所述第二区域内至少包含第二数量的螺纹线；其中，第一数量为S₁，S₁∈[5,9]；所述第二数量为S₂，S₂∈[3,4]。

步骤A400，获取所述第二区域图像的矩阵，基于高斯核函数对所述二区域图像的矩阵依次进行卷积平滑和向量化，得到模板向量数据。所述步骤A400具体为：

步骤A410，获取所述第二区域图像的矩阵为M，

其中，height₂为第二区域的高度，width₂为第二区域的宽度；

步骤A420，通过尺度为n×n的高斯核函数G对所述二区域图像的矩阵M进行卷积平滑处理得到M_g，

步骤A430，基于将M_g进行向量化：

得到模板向量数据v_g，

其中，M_g[i,j]代表M_g第i行，第j列的元素，v_g[i]代表第i个元素。

本申请系统预测算法通过所获得的内螺纹起始角、外螺纹起始角以及终止角预测出所需使用的垫片厚度的方法如下：

本申请在直角接头装配工艺中，所选取的垫片厚度与接头外螺纹起始角、终止角、缸筒内螺纹起始角、内螺纹起始位置、垫片材质、垫片压缩变形系数、接头以及缸筒类型、预拧紧力矩、预拧紧角度等参数具有非线性关系，其中接头外螺纹起始角、终止角、缸筒内螺纹起始角、内螺纹起始位置属于测量参数(视觉测量)，垫片材质、垫片压缩变形系数、接头以及缸筒类型属于理论输入参数，而预拧紧力矩、预拧紧角度属于拧紧过程测量参数，因此为准确预测垫片厚度，需通过一定量的实验数据进行训练后才能准确预测垫片厚度。

垫片厚度预测过程分为三部分，分别是接头拧紧工艺流程、数据样本获取流程以及垫片厚度预测流程，三者之间的关系如图6所示。其中工艺流程明确了接头拧紧的工艺安排，而数据样本获取是指从工艺过程中获取工艺参数，每走完一个工艺流程，可以形成一条有效的数据样本，所形成的数据样本通过统一知识化表达，可以直接被垫片厚度预测流程所用，垫片厚度预测流程通过不断获取数据样本，逐步提高预测的准确度。

在接头拧紧工艺流程中，第一步为工件装夹，这一步需要手动或扫码输入缸筒以及直角接头型号参数；第二步为初始参数输入，主要指将型号数据输入上位机程序中；第三步为视觉检测，这一步可获得缸筒内螺纹起始角、缸筒内螺纹位置、接头外螺纹起始角以及接头外螺纹终止线四个工艺参数；第四步为接头预拧设置，此步骤主要是设定预装垫片厚度、预拧扭矩以及原点设定，其中预装垫片厚度主要通过人工经验获得；第五步为接头预拧紧，此步骤完成后可获取预拧紧扭矩以及预拧紧角度两个参数值，由上位机自动获取；第六步为接头预拧判断，判断预拧的角度是否在合理范围内，如果角度合格，则可以进行接头终拧紧，直到接头拧到预设位置，这一步会产生接头终拧扭矩以及接头终拧角度两个参数值，由上位机自动读取，至此即可形成一条有效的数据样本。如果在第六步终接头预拧判断不符合条件，则会通过增减垫片厚度来重复预拧过程，需要注意的是，拧紧工艺过程需要重复预拧过程，但此处仍可以形成一条有效的数据样本，如数据样本获取流程所示。形成有效的数据样本后，即可进入垫片厚度预测流程中，进行数据预处理，形成训练集。

数据集训练可在训练软件中进行训练，训练算法可采用多项式拟合或神经网络算法，当训练达到一定次数或满足一定条件时，即可进行预测系统测试：通过输入测试样本，在测试系统中运行，得出预测结果，同时与实测结果进行比对，如果结果较好，则说明系统训练已经可以正常运行，如果结果不好，则需要继续选取特征，改善训练系统结构，重新进行训练。将预训练的垫片厚度流程应用于本申请的接头拧紧工艺中，以使得系统能够自主判定并调整垫片厚度。

本申请第三方面提供一种基于双目视觉的装配系统的实施例，该系统包括上述权实施例的基于双目视觉的接头拧紧角度自动预测系统、检测模块和机械手，机械手分别与检测模块和控制器通过通信链路连接；机械手基于垫片厚度信息和待装配螺纹信息(即第一工件的内螺纹信息和第二工件的外螺纹信息)，选取相适应地垫片放置于第一工件500内螺纹上方，再将第二工件600抓取至第一工件500上方，使第二工件600外螺纹端与第一工件500的内螺纹端配合到位后带动第二工件600转动，以使第一工件500的内螺纹与第二工件600的外螺纹旋紧；检测模块用于在第一工件500的内螺纹与第二工件600的外螺纹旋紧后检测其旋紧配合是否符合预设标准。

上述本申请实施例中的技术方案中，至少具有如下的技术效果及优点：

本发明通过双目视觉传感器自动对焦、视觉识别与测量、以及三自由度工作台精确运动控制配合实现对螺纹配合的两个工件在螺纹连接时拧紧角度的精确预测。应用本发明能够使得工件拧紧角度更加精确，减少工件反复装配拆卸的损耗，装配效率大幅提升，本发明基座可兼容产品型号和种类更加丰富。

需要说明的是，在本发明的描述中，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (8)

1.一种基于双目视觉的接头拧紧角度自动预测装置，其特征在于，包括基座和双目视觉检测设备；

所述基座沿长度方向依次设置有第一固定机构和第二固定机构，所述第一固定机构用于固定具有内螺纹的第一工件，所述第二固定机构用于固定具有外螺纹的第二工件；

所述双目视觉检测设备活动装设于所述基座上方，用于依次获取所述第一工件的内螺纹图像和所述第二工件的外螺纹图像，并基于预设的计算规则通过所述内螺纹图像获取内螺纹起始角参数、通过所述外螺纹图像获取外螺纹起始角参数和外螺纹终止角参数，进而获取第二工件与第一工件在装配时的拧紧角度；

其中，所述预设的计算规则包括以下步骤：基于预设的第一选取规则从螺纹图像中选取第一区域，作为第一待检测区域，并获得第一待检测区域图像矩阵M₂，基于高斯核函数对所述第一待检测区域图像矩阵M₂进行卷积平滑处理以及向量化，得到待检测物体的待检测向量数据v_2g，v_2g∈R^height；其中，M₂∈R^{height×width}，height为第一待检测区域图像的高度，width为第一待检测区域图像的宽度；

通过相关性计算得到模板向量数据v_g与待检测向量数据的匹配度曲线m，对所述匹配度曲线进行极大值抑制，以获取螺距L和螺纹起始角θ/螺纹终止角；

其中，m＝-v_g*v_2g，

m_nms为匹配度曲线的极大值，index_nms为极大值在原序列中的索引，index_nms∈R^k；

k为index_nms序列的长度；

其中，所述预设的第一选取规则为：使所述第一区域的上顶边/下顶边与工件的顶面/底面平齐，且所述第一区域的高度至少包含第一数量的螺纹线，所述第一区域的宽度区域每一行中不会同时出现属于不同螺纹的像素；

其中，所述模板向量数据的获取方法包括以下步骤：步骤A100，基于双目视觉设备获取平行于模板工件中轴面的螺纹图像，并调整螺纹轴线使其与坐标轴竖直线平行，作为模板图像；

步骤A200，基于预设的第一选取规则从所述模板图像中选取第一区域；

步骤A300，基于预设的第二选取规则从所述第一区域中选取第二区域，所述预设的第二选取规则为：使所述第二区域的上顶边/下顶边和宽度与所述第一区域的上顶边/下顶边和宽度相同，并调整所述第二区域的高度以使所述第二区域内至少包含第二数量的螺纹线；

步骤A400，获取所述第二区域图像的矩阵，基于高斯核函数对所述二区域图像的矩阵依次进行卷积平滑和向量化，得到模板向量数据。

2.根据权利要求1所述的基于双目视觉的接头拧紧角度自动预测装置，其特征在于，所述基座位于水平面，所述双目视觉检测设备具有沿水平方向的移动自由度、沿竖直方向的移动自由度和旋转自由度。

3.根据权利要求1所述的基于双目视觉的接头拧紧角度自动预测装置，其特征在于，所述双目视觉检测设备包括三自由度运动模块、视觉自动对焦模块、双目视觉检测模块；

所述三自由度运动模块包括移动架、升降旋转机构和夹持机构，所述移动架为门型框架，所述门型框架的两端分别与基座上的两个沿长度方式设置的轨道匹配，所述门型框架能够沿所述轨道延伸方向运动；所述升降旋转机构竖直装设于所述门型框架的上横梁，所述升降旋转机构的下端与所述夹持机构连接，所述升降旋转机构能够带动所述夹持机构沿竖直方向移动和/或转动；所述视觉自动对焦模块和所述双目视觉检测模块均装设于所述夹持机构。

4.根据权利要求3所述的基于双目视觉的接头拧紧角度自动预测装置，其特征在于，所述双目视觉检测模块包括两台相机和两个环形光源，两个所述环形光源分别套设于两个所述相机的外部；

所述夹持机构具有沿竖直方向对称设置的两个夹持端，两个夹持端向内收缩并呈预设角度设置，两个夹持端分别用于夹持两台相机。

5.根据权利要求4所述的基于双目视觉的接头拧紧角度自动预测装置，其特征在于，所述视觉自动对焦模块包括直线位移平台和旋转角位移台，所述夹持机构的夹持端依次通过所述直线位移平台、所述旋转角位移台与所述相机连接，所述直线位移平台能够带动所述旋转角位移台和所述相机沿所述相机的轴线运动，所述旋转角位移台能够带动所述相机于竖直面转动。

6.根据权利要求1所述的基于双目视觉的接头拧紧角度自动预测装置，其特征在于，所述第一数量为S₁，S₁∈[5,9]；所述第二数量为S₂，S₂∈[3,4]。

7.一种基于双目视觉的接头拧紧角度自动预测系统，其特征在于，包括权利要求1-6中任一项所述的基于双目视觉的接头拧紧角度自动预测装置和控制器，所述控制器与所述双目视觉检测设备通过通信链路连接；

所述控制器能够基于所述双目视觉检测设备获取的第一工件的内螺纹参数、第二工件的外螺纹参数，获取所述第一工件和所述第二工件在装配过程中所需的垫片厚度，所述内螺纹参数包括内螺纹起始角、内螺纹螺距、内螺纹高度，所述外螺纹参数包括外螺纹起始角、外螺纹终止角、外螺纹高度、外螺纹螺距。

8.一种基于双目视觉的装配系统，其特征在于，该系统包括权利要求7所述的基于双目视觉的接头拧紧角度自动预测系统、检测模块和机械手，所述机械手分别与所述检测模块和所述控制器通过通信链路连接；

所述机械手基于所述垫片厚度信息和待装配螺纹信息，选取相适应地垫片放置于所述第一工件内螺纹上方，再将所述第二工件抓取至所述第一工件上方，使所述第二工件外螺纹端与所述第一工件的内螺纹端配合到位后带动第二工件转动，以使第一工件的内螺纹与第二工件的外螺纹旋紧；

所述检测模块用于在所述第一工件的内螺纹与所述第二工件的外螺纹旋紧后检测其旋紧配合是否符合预设标准。

Images