CN112692551B - 一种基于视觉定位的智能工件穿线装置与穿线方法 - Google Patents

Abstract

本发明涉及一种基于视觉定位的智能工件穿线装置与穿线方法，包括机械臂、框架组件、拉线装置、视觉定位模块，该机械臂能实现6自由度运动，适应复杂工作环境下作业，灵活夹取引线。该框架组件对于任意形状、尺寸的工件筒体都能有效定位，提高系统整体可靠性。该拉线装置降低了工作臂臂长需求，降低装置成本的同时减小了装置所占空间。该视觉定位模块不受工件形状和初始位置限制，可精确定位孔位位置，转换并提取所有孔位三维坐标，无需人工干预调整定位，本发明可针对不同形状工件实现智能高效的单线多孔穿线功能，提高工业生产环节中穿线工序效率的同时，减轻工人劳动强度，最大程度解放人力，具有智能化程度高，通用性强的特点。

Description

一种基于视觉定位的智能工件穿线装置与穿线方法

技术领域

本发明属于工业机器人技术领域，涉及一种基于视觉定位的智能工件穿线装置与穿线方法。

背景技术

随着科学技术的不断发展及机器人技术的不断成熟，机器逐渐代替人力应用在各个领域，提高生产效率的同时也降低了人力成本。在工业生产过程中，许多工件在出厂之前都需要进行多孔穿线操作，以往传统穿线工序仍然采用人工穿线方式，该方法不仅耗费大量人力物力，并且效率较低。因此设计一种自动穿线装置及其配套方法来代替人力完成该繁琐、高重复性的任务具有十分重要的实际意义。

针对该情况，有相关人士设计了相关产品及方法。如中国专利号为201711096059.5的发明公开了一种机器人自动穿鞋带机及其穿线方法，该发明包括工作台、安装基座、双臂控制器、第一工作臂和第二工作臂，通过两机械臂间协作，完成穿线任务。但该解决方案并未设计夹具对鞋面进行固定，工作过程中夹爪触碰柔性较大的鞋面将会导致孔位移动，进而无法完成穿线动作。同样的，在中国专利号为201410117490.3的发明公开了一种自动穿鞋带机，包括夹具安装座、旋转座、第一夹具、第二夹具，通过两夹具协同配合进行穿线作业，该装置无视觉定位功能，无法自动识别并确定孔位位置，在穿线过程中需要人工不断调整鞋面位置，降低了穿线工序的效率并且浪费人力资源，并且任何人工未及时调整的孔位变动都会影响穿线工序的进行。进一步，中国专利号为201810367077.0的发明公开了一种基于机器视觉引导的耐压骨架自动穿绳装置，该装置虽然添加了视觉定位模块，但并未添加辅助光源，降低了整体定位精度，并且并未对其孔位坐标获取及坐标转换方式进行描述。

发明内容

本发明解决的技术问题是：为解决现有技术中未添加夹具、无视觉定位模块以及视觉定位精度低的问题，本发明提出一种基于视觉定位的智能工件穿线装置与方法。

本发明的技术方案是：一种基于视觉定位的智能工件穿线装置，包括机械臂、拉线装置、电动夹爪和视觉定位模块；拉线装置与外部计算机相连，电动夹爪与机械臂末端关节连接，视觉定位模块用于对待穿线工件上的穿线孔进行定位；在视觉定位模块的定位下，机械臂带动电动夹爪夹住引线，并依次穿过穿线孔；

所述电动夹爪包括壳体、电爪控制器、滑槽、末端夹手；所述电爪控制器位于壳体中，壳体一端开有滑槽，滑槽内安有两个位于同一水平面的末端夹手且末端夹手能够在滑槽内轴向移动；在电爪控制器的控制下，末端夹手相向运动夹持引线，夹爪通过用两指的内壁来夹持引线，类似筷子，侧壁的通孔用于安装末端夹手；壳体另一端设有单头螺柱，用于与机械臂末端关节通过螺纹连接；壳体侧壁设有电爪数据传输口，与机械臂通过导线相连，用于进行信息交互，传输控制指令；

所述拉线装置包含导轨、滑块、电动夹爪、滑块限位装置、防跌落装置、开关和导轨数据传输接口，导轨一端设有防跌落装置，另一端设有开关，用于启动与停止导轨上滑块滑动；导轨侧面连有导轨数据传输接口，和计算机相连，用于进行信息交互，传输孔位信息及控制指令；滑块位于导轨上，电动夹爪的螺纹端与滑块固定连接；滑块限位装置一端与滑块固连，另一端上开有半圆形凹槽，用于与开关配合，限制滑块运动。

本发明进一步的技术方案是：所述视觉定位模块包括工业相机、光源固定板、镜头、相机固定件和辅助光源；镜头连于工业相机前端，且镜头对准待穿线工件上的若干穿线孔中间位置；工业相机下方安装有相机固定件；辅助光源套在镜头上，并通过光源固定板与外部装置进行固定连接。

本发明进一步的技术方案是：还包括框架组件，所述框架组件包括相机放置台、底板、框架和工件夹具；框架为一方形架，底部设有底板；工件夹具位于底板中间，待穿线工件位于工件夹具上；相机放置台为两个，相机放置台与相机固定件、光源固定板连接。

本发明进一步的技术方案是：所述机械臂为两个，结构相同，包括机械臂底座、机械臂第一关节、机械臂第二关节、机械臂第三关节、机械臂第四关节、机械臂第五关节和机械臂旋转关节；其中机械臂底座、机械臂第一关节、机械臂第二关节、机械臂第三关节、机械臂第四关节、机械臂第五关节和机械臂旋转关节相互铰接，使得机械臂实现空间内六自由度运动。

本发明进一步的技术方案是：所述电动夹爪通过机械臂旋转关节与机械臂第五关节铰接。

本发明进一步的技术方案是：所述工件夹具包含双头螺柱、配合限位板、螺柱支架、基座、限位销、销轴、限位板、旋转把手、连接座，其中所述基座位于机架底板上表面几何中心处，作为载体用于放置工件及夹具其他部件，所述基座一端设有螺柱支架，顶部有半圆形凹槽，用于支撑双头螺柱使工件保持水平状态，另一端设有连接座，上部开有凹槽及通孔，分别用于与限位板底部连接头及销轴配合，实现铰接，凹槽一侧设有挡板限制限位板随意转动，所述限位板位于连接座上表面，中间设有螺孔，用于安装双头螺柱，底部与连接座及销轴配合实现铰接，可向外转动，便于安装夹具，所述双头螺柱两端有螺纹，一端安装在限位板螺孔内，与限位板通过螺纹连接，另一端架在螺柱支架上，用于连接限位板与配合限位板，实现夹紧功能，所述旋转把手位于双头螺柱与限位板同侧端，与双头螺柱固连，便于转动双头螺柱，所述配合限位板呈圆盘形，位于双头螺柱另一端，通过螺纹与双头螺柱连接，用于夹紧工件实现定位功能，所述限位销安装在限位板工件一侧板孔内，安装位置高于工件筒体并且垂直于限位板，与板孔过盈配合，用于限制工件转动，便于定位。

本发明进一步的技术方案是：一种基于视觉定位的智能工件穿线装置的穿线方法，其特征在于，包括以下步骤：

步骤1：定义待穿线工件上有两排相对的穿线孔，工业相机为两个，分别对两组穿线孔进行定位，两排穿线孔轴线相互平行，定义右边第一排的穿线孔的孔位，自一端起分别为1号孔位、4号孔位、5号孔位等，另外一排的穿线孔的孔位，自一端起分别为2号孔位、3号孔位、6号孔位等；

步骤2：安放装置：安装装置各部件，与外部计算机相连，安装并夹紧工件，准备进行穿线工作；

步骤3：通过相机拍摄图像并进行视觉定位，包括以下子步骤：

子步骤1：依据真实环境建立世界坐标系O_WX_WY_WZ_W；以相机光心为原点，以光轴为Z轴，选择与像素坐标系两轴平行两边为X、Y轴，建立相机坐标系O_CX_CY_CZ_C；以图像左上角为原点，以左上两边为X、Y轴，建立二维图像像素坐标系O_PX_PY_P；更改原点为相机成像平面与光轴的焦点，建立二维图像物理坐标系OXY；

子步骤2：进行相机标定，确定相机内部参数及外部参数，其中内部参数包括:

(1)主点(x_P0,y_P0)：图像物理坐标系原点O在图像像素坐标系O_PX_PY_P下坐标，用于后续坐标转换；

(2)焦距f：图像平面到相机光心的距离

(3)尺度因子dx,dy：像素坐标系O_PX_PY_P下单位像素的实际尺寸

外部参数包含从世界坐标系O_WX_WY_WZ_W到相机坐标系O_CX_CY_CZ_C下的正交变换矩阵R以及平移变换矩阵T，

其中r_ij(i＝1,2,3,j＝1,2,3)表示正交变换矩阵参数，满足

T＝[t_x,t_y,t_z]^T表示相机坐标系原点在世界坐标系下的坐标

子步骤3：开启辅助光源，调整相机位置与焦距，确保两侧相机均能拍摄到对应工件一侧所有孔位，对准工件孔位进行曝光，采集得到工件所有孔位灰度图像，，采集完成后辅助光源关闭，得到带有两侧工件所有孔位的清晰灰度图像；

子步骤4：运用Canny算子在图像像素坐标系下对拍摄所得灰度图像进行边缘检测，将孔位轮廓边缘与背景分离出来，提取出孔位轮廓点，得到所有孔位边界像素点构成的点集，并利用椭圆方程对其进行拟合，其中椭圆方程表达式为：

其中A,B,C,D,E,F分别为椭圆参数

子步骤5：以相机坐标系原点O_C为原点，以所求得椭圆方程为准线，建立椭圆锥面方程，其具体表达式为：

子步骤6：基于Dandelin双球，将图像像素坐标系绕X轴顺时针旋转α°，得到新坐标系O_P2X_P2Y_P2，使其满足椭圆锥面在其上投影为圆，其中：

子步骤7：根据圆方程得到新坐标系下孔位圆心位置(x_P2,y_P2)，并对其进行坐标转换得到图像像素坐标系下孔位圆心坐标(x_P,y_P),其具体表达式为：

子步骤8：依据已求得坐标变换矩阵对相机像素坐标系下孔位二维圆心坐标进行转换，得到世界坐标系下孔位三维坐标(x_W,y_W,z_W)，完成视觉定位功能。计算机依据通过视觉定位所获得的工件所有孔位三维坐标，发送给工作臂及拉线装置相应控制指令，完成准备工作；具体表达式如下：

其中

γ表示坐标轴垂直度，s为任意标准矢量，z_W表示相机焦距f与两坐标系原点O_C与O_W在X轴方向上距离的和；

步骤4：工作臂读取视觉定位模块所传输的1号孔位位置，1号工作臂电动夹爪夹持端件后夹持位从工件右侧孔位外侧穿过1号孔位，随后2号工作臂电动夹爪在工件右侧孔位内侧夹持端件前夹持位，随后1号工作臂松开电动夹爪并上抬至安全区域，完成1号孔位穿线流程；

步骤5：工作臂读取2号孔位位置，2号工作臂夹持端件至工件左侧2号孔位内侧，随后1号工作臂夹持端件后夹持位，2号工作臂松开电动夹爪并上抬至安全区域，准备2号孔位52穿线工作；

步骤6：1号工作臂夹持端件穿过工件2号孔位，随后2号工作臂夹持端件前夹持位，1号工作臂松开电动夹爪并上抬至安全区域，完成工件2号孔位穿线流程；

步骤7：左侧拉线装置读取当前穿线孔位2号孔位位置，滑块运动至2号孔位正前方，随后2号工作臂夹持端件运动至左侧拉线装置处，使拉线装置电动夹爪位于端件后夹持位并夹持，2号工作臂松开电动夹爪并上抬至安全区域；

步骤8：左侧拉线装置读取下一穿线孔位3号孔位位置，系统计算所需拉线长度并发送指令，拉线装置拉线至指定长度后返回至3号孔位正前方，随后2号工作臂夹持端件前夹持位，拉线装置电动夹爪松开，2号工作臂运动至工件3号孔位前方，旋转关节旋转180度，调转端件方向，随后1号工作臂运动并夹持端件后夹持位，2号工作臂松开电动夹爪并上抬，完成左右两侧孔位一轮穿线环节；

步骤9：按照孔位穿线顺序需求，重复步骤4至步骤8，直至完成所有孔位穿线操作。

发明效果

本发明的技术效果在于：

(1)本发明的夹具通用性强，对于任意形状、尺寸的工件筒体都可以实现有效固定，此外该夹具限位销可有效限制工件孔位沿螺柱方向转动，不仅提高了视觉定位准确度，还降低了机器实现穿线功能的难度，并且夹具夹持端位于工件两侧，可以防止工作臂运动过程中碰撞并损坏装置，提高系统整体可靠性。

(2)本发明的视觉定位模块可以智能识别工件所有孔位，不受工件形状和初始位置限制，设有辅助光源，可精确定位孔位位置，转换并提取所有孔位三维坐标，并将坐标信息传输给装置其他部件，此过程无需人工干预调整定位，最大程度解放人力，智能化程度高，降低人力成本的同时提高了工作效率及穿孔精度。

(3)本发明的拉线装置可根据每次穿线需要，利用勾股定理，通过所需线长及拉线装置到工件距离求得导轨所需运动长度，此外降低了工作臂臂长需求，降低装置成本的同时减小了装置所占空间，方便使用。

(4)本发明的两指平动电动夹爪整体扁长，可同时伸入工件两孔板之间进行工作而不产生干涉，支持力位双控，智能控制夹持力度，提高了装置安全性，确保了穿线工作的进行。

(5)本发明的穿线方法保证了产品生产过程中的一致性。该装置所采用的6自由度机械臂工作灵活，加上电动夹爪共7自由度，可以完成回转、折叠、伸缩、俯仰、摆动、旋转及开合7种动作，有效解决现有技术方案中装置自由度少的问题，能够适应复杂工作环境下作业。

本发明可实现自动穿线功能，结构新颖，智能化程度高，能够高效可靠地完成穿线步骤，节省人力成本的同时提高了工作效率。

附图说明

图1为本发明的整体结构左右等轴测图

图2为电动夹爪轴测图

图3为视觉定位模块左侧装置轴测图

图4为视觉定位模块左侧装置侧视图

图5为工件夹具左右等轴测图

图6为工件夹具侧视图

图7为拉线装置轴测图

图8为端件结构示意图

图9显示该智能工件穿线装置将线穿设于该工件的步骤；

图10显示该智能工件穿线装置将线穿设于该工件的步骤；

图11显示该智能工件穿线装置将线穿设于该工件的步骤；

图12显示该智能工件穿线装置将线穿设于该工件的步骤；

图13显示该智能工件穿线装置将线穿设于该工件的步骤；

图14显示该智能工件穿线装置将线穿设于该工件的步骤；

图15显示该智能工件穿线装置将线穿设于该工件的步骤；

图16显示该智能工件穿线装置将线穿设于该工件的步骤；

图17显示该智能工件穿线装置将线穿设于该工件的步骤；

图18显示该智能工件穿线装置将线穿设于该工件的步骤；

图19显示该智能工件穿线装置将线穿设于该工件的步骤；

图20为根据本发明实施例的智能工件穿线装置视觉定位方法流程图

图21为运用该视觉定位方法所建立参考坐标系示意图；

图22为运用该视觉定位方法获得孔位圆心坐标示意图

附图标记说明：1.机械臂底座；2.机械臂第一关节；3.机械臂第二关节；4.机械臂第三关节；5.机械臂第四关节；6机械臂第五关节；7机械臂旋转关节；8.电动夹爪；9.视觉定位模块；10.连接件；11.相机放置台；12.工件；13.工件夹具；14.框架；15.底板；16.拉线装置；17.单头螺柱；18.电爪数据传输接口；19.电爪控制器；20.滑槽；21.末端夹手；22.光源固定板；23.镜头；24.工业相机；25.相机固定件；26.辅助光源；27.相机数据传输接口；28.双头螺柱；29.配合限位板；30.螺柱支架；31.基座；32.限位销；33.销轴；34.限位板；35.旋转把手；36.连接座；37.连接头；38.防跌落装置；39.滑块；40.滑块限位装置；41.半圆形凹槽；42.导轨；43.导轨数据传输接口；44.开关；45.开关连接件；46.前夹持位；47.端件；48.后夹持位；49.1号工作臂电动夹爪；50.1号孔位；51.2号工作臂电动夹爪；52.2号孔位；53.3号孔位；

具体实施方式

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

参见图1-图22，本发明的首要目的是提出一种基于视觉定位的高精度、可智能检测并确定工件孔位位置的智能工件穿线装置，可针对不同形状工件实现智能高效的单线多孔穿线功能，提高工业生产环节中穿线工序效率的同时，减轻工人劳动强度，最大程度解放人力，具有智能化程度高，通用性强的特点。

本发明的首要目的是提出一种基于视觉定位的高精度、可智能检测并确定工件孔位位置的智能工件穿线装置，可针对不同形状工件实现智能高效的单线多孔穿线功能，提高工业生产环节中穿线工序效率的同时，减轻工人劳动强度，最大程度解放人力，具有智能化程度高，通用性强的特点。

本发明包括机架、工件夹具、1，2号工作臂、一组视觉定位模块、左右两套拉线装置以及端件。其中，所述工件夹具位于机架内部几何中心，所述视觉定位模块分别位于机架内部左右两侧，所述1、2号工作臂分别位于机架外部右、左前方，所述拉线装置分别位于机架外部左右两侧并相距一定距离，所述端件套在所用引线一端。

所述机架由铝型材构成，包括框架、底板及两个相机放置台，其中，所述框架整体呈长方体，由铝型材及连接件连接而成，高度高于工件，所述底板位于框架下表面，通过螺钉与框架固连，所述相机放置台分别位于框架内左右两端，与框架通过连接件固连，用于放置视觉识别模块。

所述视觉定位模块位于机架内相机放置台上表面，包括两个工业相机、两个镜头及两个辅助光源，均对称放置在相机放置台上。以其中一组装置为例介绍，其中所述工业相机通过相机固定件固连在相机放置台上表面，用于图像接收及像素处理，并将数据传输给计算机用于计算获得孔位位置，实现相机定位，所述镜头安装在相机上，用于图像采集，所述辅助光源位于镜头前方，通过光源固定板与相机放置台固连，用于提供照明，提高相机识别孔位准确度。

所述工件夹具包含基座、限位板、配合限位板、双头螺柱、旋转把手及限位销，其中所述基座位于机架底板上表面几何中心处，作为载体用于放置工件及夹具其他部件，所述限位板位于基座上表面并与基座铰接，用于与配合限位板共同作用定位并夹紧工件，所述双头螺柱一端安装在限位板螺孔内，通过螺纹与限位板连接，所述旋转把手安装在双头螺柱与限位板同侧端，并与双头螺柱固连，用于转动螺柱夹紧工件，所述配合限位板位于双头螺柱另一端，通过螺纹与双头螺柱连接，用于配合夹紧工件实现定位功能，所述限位销安装在限位板板孔内，安装位置略高于工件筒体并且垂直于限位板，与限位板板孔过盈配合。

所述1、2号工作臂完全相同，以1号工作臂为例介绍，包含机械臂及电动夹爪，其中所述机械臂包含6个关节及底座，各关节间、关节与底座间铰接，可实现6自由度运动，所述电动夹爪包含两个末端夹手及电爪控制器，所述电爪控制器与机械臂旋转关节通过螺纹连接，并通过导线与机械臂相连，所述末端夹手安装在电爪控制器滑槽上。

所述拉线装置包含导轨、滑块、电动夹爪、滑块限位装置、防跌落装置、开关，其中所述导轨与计算机通过导线连接，所述防跌落装置高度高于导轨，位于导轨两端，所述滑块安装在导轨上，所述开关位于导轨一端并与防跌落装置上表面贴合，开关一侧有一连接件，所述滑块限位装置固连在滑块与开关连接件同侧侧面，尾部有半圆形凹槽，所述电动夹爪位于滑块上表面竖直放置。夹爪和机械臂上夹爪一样通过两指相夹，用两指的内壁来夹持引线，侧壁的通孔用于安装末端夹手。

本发明的另一个目的在于提供一种基于视觉定位的智能工件穿线装置配套方法，具体包含装置穿线方法流程及其视觉定位方法。

运用该智能工件穿线装置进行穿线具体包含以下步骤：

1.安放装置，调整并夹紧工件，视觉定位模块进行视觉定位，得到世界坐标系下鞋面两侧所有孔位圆心坐标，完成准备工作；

2. 1号工作臂夹持端件后夹持位，从工件右侧孔位外侧穿过工件右侧1号孔位，随后2号工作臂在工件右侧1号孔位内侧夹持端件前夹持位，1号工作臂松开电动夹爪并上抬至安全区域，完成工件右侧1号孔位穿线；

3. 2号工作臂夹持端件至工件左侧2号孔位内侧，随后1号工作臂运动至工件左侧孔位内侧，夹持端件后夹持位，2号工作臂松开电动夹爪并上抬至安全区域；

4. 1号工作臂夹持端件从工件左侧孔位内侧穿过工件左侧2号孔位，随后2号工作臂运动至工件左侧孔位外侧并夹持端件前夹持位，1号工作臂松开电动夹爪并上抬至安全区域，完成工件左侧2号孔位穿线；

5.左侧拉线装置读取当前穿线孔位2号孔位位置，滑块带动电动夹爪运动至2号孔位正前方，随后2号工作臂夹持端件运动至左侧拉线装置处，使拉线装置电动夹爪位于端件后夹持位并夹持，2号工作臂松开电动夹爪并上抬至安全区域；

6.左侧拉线装置读取下一穿线孔位3号孔位位置，拉线至指定长度后返回至3号孔位正前方，随后2号工作臂夹持端件前夹持位，拉线装置夹爪松开，2号工作臂运动至工件左侧孔位外侧3号孔位前方，2号工作臂旋转关节旋转180度，调转端件方向使其正对3号孔位，随后1号工作臂夹持端件后夹持位，2号工作臂松开电动夹爪并上抬至安全区域，完成左右两侧孔位一轮穿线环节；

7.按照孔位穿线顺序需求，重复步骤2至步骤6，直至完成所有孔位穿线操作。

运用该智能工件穿线装置进行视觉定位具体包含以下步骤：

1.分别建立图像像素坐标系、图像物理坐标系、相机坐标系及世界坐标系，用于后续坐标变换；

2.进行相机标定，确定相机内部参数及外部参数矩阵

3.开启辅助光源，相机对准工件进行曝光采集图像，得到带有工件所有孔位图像；

4.对图像进行边缘检测得到所有孔位特征轮廓，并利用椭圆方程对其进行拟合；

5.以光心为原点，以椭圆方程为准线建立椭圆锥面；

6.基于Dandelin双球，求得满足椭圆锥面在其上投影为圆的新坐标系；

7.得到新坐标系下孔位圆心坐标，并对其进行坐标转换得到图像像素坐标系下孔位圆心坐标

8.依据坐标变换矩阵对相机像素坐标系下孔位圆心坐标进行转换，得到世界坐标系下孔位坐标，完成视觉定位功能。

本实施例是一种基于视觉识别的智能工件穿线装置，包括机架、1，2号工作臂、视觉定位模块9、工件夹具13、拉线装置16、端件47。其中，所述框架14是本实施例主要部件载体，所述工件夹具13位于机架内部几何中心，所述视觉定位模块9位于机架内部左右两侧，所述1、2号工作臂分别位于机架右、左前方对称放置，所述拉线装置16分别位于机架外部左右两侧对称放置，并距机架一定距离，所述端件47套在线的一端。

如图1所示，所述机架由铝型材作为支撑架构成，包括框架14、底板15及两个相机放置台11，其中，所述框架14整体呈长方体，由铝型材及连接件10连接而成，高度高于视觉定位模块9与相机放置台11高度和，宽度宽于工件夹具13与相机放置台11宽度和，长度长于工件夹具13与相机放置台11长度和，所述底板15位于框架14下表面作为支撑板，通过螺钉与框架14底部铝型材固连，用于放置工件夹具13，所述相机放置台11分别位于框架14内左右两端，通过连接件10与框架14左右底部铝型材固连，用于放置视觉识别模块。

如图1、2所示，所述1、2号工作臂完全相同并且对称于机架放置，以1号工作臂为例介绍，工作臂包含机械臂及电动夹爪8，其中所述机械臂包含机械臂底座1、机械臂第一关节2、机械臂第二关节3、机械臂第三关节4、机械臂第四关节5、机械臂第五关节6、机械臂旋转关节7，机械臂关节与底座间、各关节间铰接，可实现空间内6自由度运动，所述电动夹爪8包含两个末端夹手21、电爪控制器19、滑槽20、电爪数据传输接口18，两工作臂电动夹爪宽度和小于工件左右两侧孔位距离，所述电爪控制器19顶端有单头螺柱17，与机械臂旋转关节7通过螺纹连接，可实现力位双控，所述末端夹手21安装在电爪控制器滑槽20上，受电爪控制器19控制，其末端夹指呈扁长长方体形，通过夹指间的相对运动实现夹取功能，所述电爪数据传输接口18位于电爪控制器19一侧，通过导线与机械臂旋转关节7相连，实现数据传输与交互。

如图3、4所示，所述视觉定位模块9位于机架内两相机放置台11上表面，包括两个工业相机24、镜头23、辅助光源26、光源固定板22、相机固定件25，均对称放置于相机放置台11上。以其中一组装置为例介绍，其中所述工业相机24通过相机固定件25固连在相机放置台11上表面，用于图像接收及像素处理，所述相机数据传输接口27位于工业相机24后端，通过导线与计算机连接，用于将图像数据传输给计算机进行相机标定，获得三维孔位坐标，所述镜头23安装在工业相机24上，用于采集图像并将图像传输给工业相机24，所述辅助光源26为圆环形，位于镜头前方1cm处，底部与光源固定板22通过螺钉连接，可实现边缘增强照明或均一照明，所述光源固定板22与辅助光源26连接部位为圆环形，内圆直径大于镜头直径，并且与镜头同心，另一端与相机放置台11侧面铝型材通过螺钉连接。

如图5、6所示，所述工件夹具13包含双头螺柱28、配合限位板29、螺柱支架30、基座31、限位销32、销轴33、限位板34、旋转把手35、连接座36，其中所述基座31位于机架底板上表面几何中心处，作为载体用于放置工件12及夹具其他部件，所述螺柱支架30位于基座31一端，顶部有半圆形凹槽，用于支撑双头螺柱28使工件12保持水平状态，所述连接座36位于基座31另一端，上部开有凹槽及通孔，分别用于与限位板34底部连接头37及销轴33配合，实现铰接，凹槽一侧设有挡板限制限位板34随意转动，所述限位板34位于连接座36上表面，中间设有螺孔，用于安装双头螺柱28，底部连接头37与连接座36及销轴33配合实现铰接，可向外转动，便于安装夹具，所述双头螺柱28两端有螺纹，一端安装在限位板34螺孔内，与限位板34通过螺纹连接，另一端架在螺柱支架30上，用于连接限位板34与配合限位板29，实现夹紧功能，所述旋转把手35位于双头螺柱28与限位板34同侧端，与双头螺柱28固连，便于转动双头螺柱28，所述配合限位板29呈圆盘形，位于双头螺柱28另一端，通过螺纹与双头螺柱28连接，用于夹紧工件实现定位功能，所述限位销32安装在限位板34工件一侧板孔内，安装位置略高于工件筒体并且垂直于限位板34，与板孔过盈配合，用于限制工件转动，便于定位。

如图7所示，所述拉线装置16包含导轨42、滑块39、电动夹爪8、滑块限位装置40、防跌落装置38、开关44、导轨数据传输接口43，其中所述滑块39安装在导轨42上，上有螺纹孔可与电动夹爪8配合，所述防跌落装置38高度高于导轨42，位于导轨42两端，通过螺栓与导轨42固连，所述滑块限位装置40整体为长方体，末端有半圆形凹槽41，固连在滑块39与开关连接件45同侧侧面，用于与开关连接件45配合，防止滑块39滑出导轨42，所述开关44位于导轨42一端，套在防跌落装置38上方，开关44一侧有开关连接件45，套在开关44内弹性件上，拉线装置16关闭状态下滑块39位于开关44一侧，开关连接件45卡在滑块限位装置半圆形凹槽41中，从而限制滑块运动，启动时开关连接件45回缩，滑块限位装置40与开关连接件45脱离，即可自由运动。所述电动夹爪8位于滑块39上表面竖直放置，用于夹持引线，所述导轨数据传输接口43通过螺钉固连在导轨42侧面，与滑块限位装置40同侧。

如图8所示，所述端件47位于引线一端并套在引线上，端件外圆直径小于孔位直径，长度为5cm，包含前夹持位46、后夹持位48，用于辅助电动夹爪8夹持。

运用该智能工件穿线装置针对该工件进行穿线具体方法流程如下：

首先安放装置，向外转动限位板34，拧下配合限位板29，将工件12套在双头螺柱28上，安装配合限位板29夹住工件12，调整工件12孔位位置使其正对视觉定位模块9，插入限位销32并转动旋转把手35夹紧工件12实现固定，转回限位板34将双头螺柱28安放在螺柱支架30上，使工件12水平放置。

完成工件12夹紧工作后，视觉定位模块9正对工件12左右两侧拍摄获取图像，通过相机数据传输接口27将图像发送给计算机对其进行视觉定位，识别工件12所有孔位，计算孔位圆心位置坐标并转化为整体坐标系下三维坐标，准备开始穿线。

参照图9、10，完成准备工作后，1号工作臂读取视觉定位模块9所传输的1号孔位50位置，1号工作臂电动夹爪49夹持端件后夹持位48运动至工件右侧孔位外侧，调节电动夹爪49位置，使端件47垂直于工件右侧孔位并正对1号孔位50，随后1号机械臂继续运动，夹持端件47使其穿过1号孔位50，随后2号工作臂电动夹爪51在工件右侧孔位内侧夹持端件前夹持位46，随后1号工作臂电动夹爪49松开并上抬至安全区域，完成工件右侧孔位1号孔位穿线流程。

参照图11、12，1号孔位穿线结束后，工作臂读取视觉定位模块9所传输的2号孔位52位置，2号工作臂夹持端件47至工件左侧孔位内侧2号孔位52前方，保持端件47垂直于工件左侧孔位，随后1号工作臂运动至工件左侧孔位内侧，1号工作臂电动夹爪49夹持端件后夹持位48，随后2号工作臂松开电动夹爪51并上抬至安全区域，准备2号孔位52穿线工作。

参照图13、14，1号工作臂到达2号孔位前方后，夹持端件47从工件左侧孔位内侧穿过工件左侧孔位2号孔位52，随后2号工作臂运动至工件左侧孔位外侧，2号工作臂电动夹爪51夹持端件前夹持位46，随后1号工作臂松开电动夹爪49并上抬至安全区域，完成工件左侧孔位2号孔位52穿线流程。

参照图15，2号孔位穿线结束后，左侧拉线装置16读取当前穿线孔位48位置，滑块39带动电动夹爪8运动至2号孔位52正前方，随后2号工作臂电动夹爪51夹持端件47运动至左侧拉线装置16处，使拉线装置电动夹爪8位于端件后夹持位48并夹持，随后2号工作臂电动夹爪51松开并上抬至安全区域。

参照图16、17、18、19，将引线送至拉线装置后，系统计算所需拉线长度并发送指令，左侧拉线装置滑块39开始运动，拉线指定长度后返回至3号孔位53正前方，随后2号工作臂电动夹爪51运动并夹持端件前夹持位46，拉线装置夹爪8松开，2号工作臂运动至工件左侧孔位外侧3号孔位53前方，机械臂旋转关节7旋转180度，调转端件47方向使其正对3号孔位53，1号工作臂电动夹爪49运动并夹持端件后夹持位48，随后2号工作臂电动夹爪51松开并上抬至安全区域，完成左右两侧一轮穿线环节。

重复以上步骤，直至完成所有孔位穿线操作。

参照图20，以其中一个孔位为例，运用该智能工件穿线装置进行视觉定位具体方法如下

第一步，参照图21，依据真实环境建立世界坐标系O_WX_WY_WZ_W；以相机光心为原点，以光轴为Z轴，选择与像素坐标系两轴平行两边为X、Y轴，建立相机坐标系O_CX_CY_CZ_C；以图像左上角为原点，以左上两边为X、Y轴，建立二维图像像素坐标系O_PX_PY_P；更改原点为相机成像平面与光轴的焦点，建立二维图像物理坐标系OXY；

第二步，进行相机标定，确定相机内部参数及外部参数，其中内部参数包括:

(1)主点(x_P0,y_P0)：图像物理坐标系原点O在图像像素坐标系O_PX_PY_P下坐标，用于后续坐标变换

(2)焦距f：图像平面到相机光心的距离

(3)尺度因子dx,dy：像素坐标系O_PX_PY_P下单位像素的实际尺寸

外部参数包含从世界坐标系O_WX_WY_WZ_W到相机坐标系O_CX_CY_CZ_C下的正交变换矩阵R以及平移变换矩阵T，

其中r_ij(i＝1,2,3,j＝1,2,3)表示正交变换矩阵参数，满足

T＝[t_x,t_y,t_z]^T表示相机坐标系原点在世界坐标系O_WX_WY_WZ_W下的坐标

第三步，开启辅助光源，调整相机位置与焦距，确保两侧相机均能拍摄到对应工件一侧所有孔位，对准工件孔位进行曝光，采集得到工件所有孔位灰度图像，采集完成后辅助光源关闭，得到带有两侧工件所有孔位的清晰灰度图像；

第四步，运用Canny算子在图像像素坐标系下对拍摄所得灰度图像进行边缘检测，将孔位轮廓边缘与背景分离出来，提取出孔位轮廓点，得到所有孔位边界像素点构成的点集，并利用椭圆方程对其进行拟合，其中椭圆方程表达式为：

其中A,B,C,D,E,F分别为椭圆参数

第五步，参照图22，以相机坐标系原点O_C为原点，以所求得椭圆方程为准线，建立椭圆锥面方程，其具体表达式为：

第六步，参照图22，基于Dandelin双球，将图像像素坐标系绕X轴顺时针旋转α°，得到新坐标系O_P2X_P2Y_P2，使其满足椭圆锥面在其上投影为圆，其中：

第七步，参照图22，根据圆方程得到新坐标系下孔位圆心位置(x_P2,y_P2)，并对其进行坐标转换得到图像像素坐标系下孔位圆心坐标(x_P,y_P),其具体表达式为：

第八步，依据已求得坐标变换矩阵对相机像素坐标系下孔位二维圆心坐标进行转换，得到世界坐标系下孔位三维坐标(x_W,y_W,z_W)，完成视觉定位功能。计算机依据通过视觉定位所获得的工件所有孔位三维坐标，在穿线过程中发送给工作臂及拉线装置16相应控制指令，保证装置精准高效完成穿线工作。具体表达式如下：

其中

γ表示坐标轴垂直度，s为任意标准矢量，z_W表示相机焦距f与两坐标系原点O_C与O_W在X轴方向上距离的和。

Claims (4)

1.一种基于视觉定位的智能工件穿线装置，其特征在于，包括机械臂、拉线装置(16)、电动夹爪(8)、框架组件和视觉定位模块；拉线装置(16)与外部计算机相连，电动夹爪(8)与机械臂末端关节连接，视觉定位模块用于对待穿线工件上的穿线孔进行定位；在视觉定位模块的定位下，机械臂带动电动夹爪(8)夹住引线，并依次穿过穿线孔；

所述视觉定位模块包括工业相机(24)、光源固定板(22)、镜头(23)、相机固定件(25)和辅助光源(26)；镜头(23)连于工业相机(24)前端，且镜头(23)对准待穿线工件上的若干穿线孔中间位置；工业相机(24)下方安装有相机固定件(25)；辅助光源(26)套在镜头(23)上，并通过光源固定板(22)与外部装置进行固定连接；

所述框架组件包括相机放置台(11)、底板(15)、框架(14)和工件夹具(13)；框架(14)为一方形架，底部设有底板(15)；工件夹具(13)位于底板(15)中间，待穿线工件位于工件夹具(13)上；相机放置台(11)为两个，相机放置台(11)与相机固定件(25)、光源固定板(22)连接；

所述电动夹爪(8)包括壳体、电爪控制器(19)、滑槽(20)、末端夹手(21)；所述电爪控制器(19)位于壳体中，壳体一端开有滑槽(20)，滑槽(20)内安有两个位于同一水平面的末端夹手(21)且末端夹手(21)能够在滑槽(20)内轴向移动；在电爪控制器(19)的控制下，末端夹手(21)相向运动夹持引线，夹爪通过用两指的内壁来夹持引线，类似筷子，侧壁的通孔用于安装末端夹手；壳体另一端设有单头螺柱，用于与机械臂末端关节通过螺纹连接；壳体侧壁设有电爪数据传输口，与机械臂通过导线相连，用于进行信息交互，传输控制指令；

所述拉线装置(16)包含导轨(42)、滑块(39)、电动夹爪(8)、滑块限位装置(41)、防跌落装置(38)、开关(44)和导轨数据传输接口(43)，导轨(42)一端设有防跌落装置(38)，另一端设有开关，用于启动与停止导轨(42)上滑块(39)滑动；导轨(42)侧面连有导轨数据传输接口(43)，和计算机相连，用于进行信息交互，传输孔位信息及控制指令；滑块(39)位于导轨(42)上，电动夹爪(8)的螺纹端与滑块(39)固定连接；滑块限位装置(41)一端与滑块(39)固连，另一端上开有半圆形凹槽，用于与开关(44)配合，限制滑块(39)运动；

所述工件夹具包含双头螺柱(28)、配合限位板(29)、螺柱支架(30)、基座(31)、限位销(32)、销轴(33)、限位板(34)、旋转把手(35)、连接座(36)，其中所述基座(31)位于机架底板上表面几何中心处，作为载体用于放置工件(12)及夹具其他部件，所述基座(31)一端设有螺柱支架(30)，顶部有半圆形凹槽，用于支撑双头螺柱(28)使工件保持水平状态，另一端设有连接座(36)，上部开有凹槽及通孔，分别用于与限位板(34)底部连接头37及销轴(33)配合，实现铰接，凹槽一侧设有挡板限制限位板(34)随意转动，所述限位板(34)位于连接座(36)上表面，中间设有螺孔，用于安装双头螺柱(28)，底部与连接座及销轴配合实现铰接，可向外转动，便于安装夹具，所述双头螺柱(28)两端有螺纹，一端安装在限位板(34)螺孔内，与限位板(34)通过螺纹连接，另一端架在螺柱支架(30)上，用于连接限位板(34)与配合限位板(29)，实现夹紧功能，所述旋转把手(35)位于双头螺柱(28)与限位板(34)同侧端，与双头螺柱(28)固连，便于转动双头螺柱(28)，所述配合限位板(29)呈圆盘形，位于双头螺柱(28)另一端，通过螺纹与双头螺柱(28)连接，用于夹紧工件实现定位功能，所述限位销(32)安装在限位板(34)工件一侧板孔内，安装位置高于工件筒体并且垂直于限位板(34)，与板孔过盈配合，用于限制工件转动，便于定位。

2.如权利要求1所述的一种基于视觉定位的智能工件穿线装置，其特征在于，所述机械臂为两个，结构相同，包括机械臂底座(1)、机械臂第一关节(2)、机械臂第二关节(3)、机械臂第三关节(4)、机械臂第四关节(5)、机械臂第五关节(6)和机械臂旋转关节(7)；其中机械臂底座(1)、机械臂第一关节(2)、机械臂第二关节(3)、机械臂第三关节(4)、机械臂第四关节(5)、机械臂第五关节(6)和机械臂旋转关节(7)相互铰接，使得机械臂实现空间内六自由度运动。

3.如权利要求1所述的一种基于视觉定位的智能工件穿线装置，其特征在于，所述电动夹爪(8)通过机械臂旋转关节(7)与机械臂第五关节(6)铰接。

4.基于权利要求1所述一种基于视觉定位的智能工件穿线装置的穿线方法，其特征在于，包括以下步骤：

步骤1：定义待穿线工件上有两排相对的穿线孔，工业相机为两个，分别对两组穿线孔进行定位，两排穿线孔轴线相互平行，定义右边第一排的穿线孔的孔位，自一端起分别为1号孔位、4号孔位、5号孔位等，另外一排的穿线孔的孔位，自一端起分别为2号孔位、3号孔位、6号孔位等；

步骤2：安放装置：安装装置各部件，与外部计算机相连，安装并夹紧工件，准备进行穿线工作；

步骤3：通过相机拍摄图像并进行视觉定位，包括以下子步骤：

子步骤1：依据真实环境建立世界坐标系O_WX_WY_WZ_W；以相机光心为原点，以光轴为Z轴，选择与像素坐标系两轴平行两边为X、Y轴，建立相机坐标系O_CX_CY_CZ_C；以图像左上角为原点，以左上两边为X、Y轴，建立二维图像像素坐标系O_PX_PY_P；更改原点为相机成像平面与光轴的焦点，建立二维图像物理坐标系OXY；

子步骤2：进行相机标定，确定相机内部参数及外部参数，其中内部参数包括:

(1)主点(x_P0,y_P0)：图像物理坐标系原点O在图像像素坐标系O_PX_PY_P下坐标，用于后续坐标转换；

(2)焦距f：图像平面到相机光心的距离

(3)尺度因子dx,dy：像素坐标系O_PX_PY_P下单位像素的实际尺寸

外部参数包含从世界坐标系O_WX_WY_WZ_W到相机坐标系O_CX_CY_CZ_C下的正交变换矩阵R 以及平移变换矩阵T，

其中r_ij(i＝1,2,3,j＝1,2,3)表示正交变换矩阵参数，满足

T＝[t_x,t_y,t_z]^T表示相机坐标系原点在世界坐标系下的坐标

子步骤3：开启辅助光源，调整相机位置与焦距，确保两侧相机均能拍摄到对应工件一侧所有孔位，对准工件孔位进行曝光，采集得到工件所有孔位灰度图像，采集完成后辅助光源关闭，得到带有两侧工件所有孔位的清晰灰度图像；

子步骤4：运用Canny算子在图像像素坐标系下对拍摄所得灰度图像进行边缘检测，将孔位轮廓边缘与背景分离出来，提取出孔位轮廓点，得到所有孔位边界像素点构成的点集，并利用椭圆方程对其进行拟合，其中椭圆方程表达式为：

其中A,B,C,D,E,F分别为椭圆参数

子步骤5：以相机坐标系原点O_C为原点，以所求得椭圆方程为准线，建立椭圆锥面方程，其具体表达式为：

子步骤6：基于Dandelin双球，将图像像素坐标系绕X轴顺时针旋转α°，得到新坐标系O_P2X_P2Y_P2，使其满足椭圆锥面在其上投影为圆，其中：

子步骤7：根据圆方程得到新坐标系下孔位圆心位置(x_P2,y_P2)，并对其进行坐标转换得到图像像素坐标系下孔位圆心坐标(x_P,y_P),其具体表达式为：

子步骤8：依据已求得坐标变换矩阵对相机像素坐标系下孔位二维圆心坐标进行转换，得到世界坐标系下孔位三维坐标(x_W,y_W,z_W)，完成视觉定位功能；计算机依据通过视觉定位所获得的工件所有孔位三维坐标，发送给工作臂及拉线装置相应控制指令，完成准备工作；具体表达式如下：

其中

γ表示坐标轴垂直度，s为任意标准矢量，z_W表示相机焦距f与两坐标系原点O_C与O_W在X轴方向上距离的和；

步骤4：工作臂读取视觉定位模块所传输的1号孔位位置，1号工作臂电动夹爪夹持端件后夹持位从工件右侧孔位外侧穿过1号孔位，随后2号工作臂电动夹爪在工件右侧孔位内侧夹持端件前夹持位，随后1号工作臂松开电动夹爪并上抬至安全区域，完成1号孔位穿线流程；

步骤5：工作臂读取2号孔位位置，2号工作臂夹持端件至工件左侧2号孔位内侧，随后1号工作臂夹持端件后夹持位，2号工作臂松开电动夹爪并上抬至安全区域，准备2号孔位52穿线工作；

步骤6：1号工作臂夹持端件穿过工件2号孔位，随后2号工作臂夹持端件前夹持位，1号工作臂松开电动夹爪并上抬至安全区域，完成工件2号孔位穿线流程；

步骤7：左侧拉线装置读取当前穿线孔位2号孔位位置，滑块运动至2号孔位正前方，随后2号工作臂夹持端件运动至左侧拉线装置处，使拉线装置电动夹爪位于端件后夹持位并夹持，2号工作臂松开电动夹爪并上抬至安全区域；

步骤8：左侧拉线装置读取下一穿线孔位3号孔位位置，系统计算所需拉线长度并发送指令，拉线装置拉线至指定长度后返回至3号孔位正前方，随后2号工作臂夹持端件前夹持位，拉线装置电动夹爪松开，2号工作臂运动至工件3号孔位前方，旋转关节旋转180度，调转端件方向，随后1号工作臂运动并夹持端件后夹持位，2号工作臂松开电动夹爪并上抬，完成左右两侧孔位一轮穿线环节；

步骤9：按照孔位穿线顺序需求，重复步骤4至步骤8，直至完成所有孔位穿线操作。

Images