CN109029257A - 基于立体视觉和结构光视觉的大型工件位姿测量系统、方法 - Google Patents

Abstract

本发明属于视觉测量领域，具体涉及一种基于立体视觉和结构光视觉的大型工件位姿测量系统、方法，旨在解决大型工件位姿视觉测量不准确的问题，该系统立体视觉传感器采集全局图像，计算机对大型工件上定位标志的位置进行检测和粗定位，得到世界坐标系位置，进而由机械臂携带末端的激光结构光视觉传感器运动到目标位置，对定位标志进行局部精确测量，得到准确的三维坐标，最终计算得到大型工件位姿信息，完成对大型工件位姿的精确测量。本发明实现全自动高精度测量，在大型工件的位姿测量中，提高了测量效率、测量准确度。

Description

基于立体视觉和结构光视觉的大型工件位姿测量系统、方法

技术领域

本发明属于视觉测量领域，具体涉及一种基于立体视觉和结构光视觉的大型工件位姿测量系统、方法。

背景技术

视觉测量技术是当今智能制造技术、工业机器人技术的重要组成部分。在自动化生产线中，对大型工件位置和姿态的精确感知往往直接决定了系统的控制精度，随着工业自动化发展推进，对视觉测量系统的精度和自动化程度提出了更高要求。

实现工业场景中大型工件的位姿信息快速准确的视觉测量，关键是大型工件及其定位标志的检测和测量。大型工件的尺寸往往较大并有一定运动空间，而定位标志的尺寸又相对较小，受相机最大分辨率的限制，难以同时获得整体完整而又局部清晰的图像。因此设计全局视觉系统快速准确地检测到大型工件的定位标志，并通过设计局部结构光视觉系统精确地计算出其在全局坐标系位置，是实现大型工件位姿信息精确测量的关键。而且，在工业生产过程中，实现快速的自动化测量，也对生产效率的提高至关重要。

目前，已有的一些视觉测量系统和测量方法，在测量尺度、检测精度和自动化程度方面，难以到达上述要求。西安交通大学的刘建伟等人在文章“大尺寸工业视觉测量系统.光学精密工程,2010,18(1):126-134.”中提出了一种基于立体视觉技术的便携式工业测量系统，采用数码相机和光栅型双目结构光扫描采集图像，采用标志点多视点云的配准算法完成测量，然而该方法需要粘贴大量标志点，且结构光扫描需要人工操作完成，自动化程度较低。南京航空航天大学的富帅等人在文章“面向大型工件现场测量的光笔式视觉测量系统.仪器仪表学报,2015,36(2):430-438.”中提出了一种光笔式单目视觉测量系统，采用了多靶点亮度自适应控制技术和主动离焦模糊技术相结合的靶点光斑生成技术，然而该方法需要人工手持光笔接触待测点，通用性不强，不能实现非接触式测量。华中科技大学的周平等人在文章“计算机单目视觉测量系统.光电工程,2005,32(12):90-93.”中提出了利用线激光单CCD相机小孔成像与激光面约束模型的激光线测量法，然而该方法受到相机视场和分辨率的限制，难以对大型工件的多个定位标志进行精确测量。北京控制工程研究所的李涛等人在专利“一种全局特征与局部特征结合的视觉测量系统及测量方法,CN105157680A[P].2015.”中提出了一种面向非合作卫星目标的视觉测量系统及方法，采用平台双目相机识别全局特征，采用机械臂手眼双目相机识别局部特征，对目标位姿进行测量，然而该系统采用的被动光双目相机在工业场景中易受到视觉干扰，影响测量精度，并且该测量系统安装于卫星本体，需要通过卫星本体运动完成测量，且只能提供相对位置和姿态，无法提供世界坐标系下位姿，不适用于工业场景中大型工件的位姿精确测量。

因此，本领域需要研制一个大型工件位姿视觉测量系统，使该系统能够在工业场景下，对大型工件上多个定位标志位置进行自动化的精确测量。

发明内容

为了解决现有技术中的上述问题，即为了解决工业场景下无法对大型工件上多个定位标志位置进行自动化的精确测量造成的大型工件位姿视觉测量不准确且工作效率较低的问题，本发明的一方面，提出了一种基于立体视觉和结构光视觉的大型工件位姿测量系统，包括数据处理装置，以及分别与所述数据处理装置通过通信链路连接的立体视觉传感器、机械臂、装设于机械臂的激光结构光视觉传感装置；

所述立体视觉传感器配置为，采集包含待测量大型工件表面的多个定位标志的全局图像；

所述激光结构光视觉传感装置配置为，扫描得到所述定位标志结构光图像；

所述数据处理装置配置为，基于所述全局图像进行所述定位标志的粗定位、基于粗定位信息规划机械臂运动轨迹、基于所述定位标志结构光图像进行精确定位、基于精确定位信息计算大型工件位姿；

所述机械臂配置为，基于规划的机械臂运动轨迹，将所述激光结构光视觉传感装置运动至待采集区域。

本发明的优选实施例中，所述激光结构光视觉传感装置包括激光发射器和CCD摄像机；所述激光发射器用于投射线结构光条纹；所述CCD摄像机用于采集结构光图像，并发送至所述数据处理装置。

本发明的优选实施例中，所述激光发射器为一字激光器。

本发明的优选实施例中，所述立体视觉传感器为双目摄像机。

本发明的优选实施例中，所述激光结构光视觉传感装置装设于机械臂远离基座的端部。

本发明另一方面，还提出了一种基于立体视觉和结构光视觉的大型工件位姿测量方法，基于上述的基于立体视觉和结构光视觉的大型工件位姿测量系统，包括以下步骤：

步骤S1，通过所述立体视觉传感器采集待测量大型工件的全局图像，所述全局图像包含定位标志图像信息；

步骤S2，基于目标检测分类器对定位标志进行目标检测，获取目标区域；基于立体视觉传感器的标定参数，获取各目标区域中心在世界坐标系的三维坐标作为对应的各定位标志的粗定位坐标；

步骤S3，根据步骤S2的粗定位坐标，规划机械臂运动轨迹；

步骤S4，基于规划的机械臂运动轨迹控制机械臂运动，使激光结构光视觉传感装置运动至定位标志局部图像采集部，并采集定位标志结构光图像；

步骤S5，基于所采集的定位标志结构光图像，通过激光带图像处理，结合激光结构光视觉传感装置的标定参数、机械臂的轴角和结构参数，再次计算定位标志在世界坐标系的三维坐标，并以该坐标作为定位标志的精确定位坐标；

步骤S6，基于步骤S3、步骤S4、步骤S5获取所述待测量大型工件的各定位标志的精确定位坐标，并基于各定位标志的精确定位坐标计算该待测量大型工件的位姿；

其中，

所述目标检测分类器用于定位标志的目标检测。

本发明的优选实施例中，所述立体视觉传感器、所述机械臂、激光结构光视觉传感装置基于相互坐标系下的位置进行标定。

本发明的优选实施例中，目标检测分类器在步骤S2中对定位标志进行目标检测前需要进行训练，训练样本为具有标记信息的定位标志图像。

本发明的有益效果为：

本发明使用的立体视觉传感器可以在工业场景下完成对大型工件上多个定位标志的目标检测和粗定位；本发明使用的激光结构光视觉传感器，在工业场景下可以克服视觉干扰，稳定性较高，可以完成局部定位标志的精确测量；本发明使用全局立体视觉目标检测可以对大型工件上多个定位标志进行自动粗定位，根据定位位置，机械臂系统可以自动移动到定位标志区域，进行局部结构光视觉精确测量，经过标定和识别算法训练的测量系统，在测量过程中，可以实现全自动测量，在大型工件的位姿测量中，提高了测量效率、测量准确度。

附图说明

图1是本发明基于立体视觉和结构光视觉的大型工件位姿测量系统的结构示意图；

图2是本发明基于立体视觉和结构光视觉的大型工件位姿测量方法的流程示意图；

图3是本发明基于立体视觉和结构光视觉的大型工件位姿测量系统中各坐标系关系示意图；

图4是本发明实施例中定位标志三维坐标位置与大型工件位姿关系示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

如图1所示，本发明的基于立体视觉和结构光视觉的大型工件位姿测量系统包括立体视觉传感器1、机械臂系统3、装设于机械臂的激光结构光视觉传感装置4、数据处理装置2，数据处理装置2分别通过通信链路与立体视觉传感器1、机械臂系统3、激光结构光视觉传感装置4连接；定位标志10位于待测量大型工件表面。

立体视觉传感器1配置为，采集包含待测量大型工件表面的多个定位标志10的全局图像；激光结构光视觉传感装置4配置为，扫描得到定位标志结构光图像；数据处理装置2配置为，基于全局图像进行定位标志10的粗定位、基于粗定位信息规划机械臂运动轨迹、基于定位标志结构光图像进行精确定位、基于精确定位信息计算大型工件位姿；机械臂系统3配置为，基于规划的机械臂运动轨迹，将激光结构光视觉传感装置4运动至待采集区域。

立体视觉传感器1包括双目摄像机5，其位置固定在大型工件上方区域，镜头朝向大型工件，与待测量大型工件间有一定距离，所述双目摄像机5视场范围大，视野中能够包含大型工件整体以及其表面上多个定位标志，提供大型工件的全局图像。在本发明的一个实施例中，所述双目摄像机5采用Stereolabs的ZED双目立体视觉摄像机。

所述数据处理装置2为计算机，其位置固定，并且与立体视觉传感器1、机械臂系统3和所述激光结构光视觉传感装置4通过有线或无线的方式进行数据交互，用于全局图像目标检测和粗定位、机械臂运动轨迹规划和局部图像精确测量，计算机具有较高运算能力，保证各算法的运行速度，在本发明的一个实施例中，所述计算机采用戴尔的Precision T5820工作站。

机械臂系统3包括控制器6和工业机械臂7，控制器6和工业机械臂7通过有线或无线方式进行通信连接(在具体实现中一般采用有线方式)，工业机械臂7轴角具有较高的控制精度，工业机械臂7的轴角信息可以反馈给数据处理装置2，工业机械臂7的基座位置固定在待测量大型工件一侧，工业机械臂7的远离基座的一端靠近待测量大型工件表面，激光结构光视觉传感装置4装设于工业机械臂7的远离基座的一端，激光结构光视觉传感装置4与待测量大型工件表面之间保留有约300-400mm的间隔，同时保证大型工件表面定位标志10上方区域在所述工业机械臂7末端工作空间内，在本发明的一个实施例中，所述机械臂系统3采用安川的Motoman-UP6机械臂系统。

激光结构光视觉传感装置4，整体尺寸约为200-300mm，包括激光发射器8和CCD摄像机9，激光发射器8为半导体一字激光器，CCD摄像机9为电荷耦合器件工业摄像机，激光发射器8和CCD摄像机9并列固定于所述工业机械臂末端靠近待测量大型工件一侧，激光发射器8可以投射线结构光条纹到对应区域的定位标志10上，CCD摄像机9镜头与线结构光条纹投影正对应，可以采集结构光图像，并传输到所述计算机，在本发明的一个实施例中，所述CCD摄像机9采用大恒图像水星系列工业摄像机，型号为MER-131-75GM/C-P，所述激光发射器8采用Coherent公司的StingRay系列激光器，波长为635nm。

定位标志10，根据实际待测量大型工件结构进行选择和放置，本发明系统可适用于多种不同形状的大型工件及定位标志，在本发明的一个实施例中，所述大型工件外型为圆柱体，在圆柱体端面外轮廓圆上有三个凸起的定位标志，该定位标志为立方体定位销，根据该三个定位标志的三维坐标位置，即可确定大型工件的位姿信息。

本发明的基于立体视觉和结构光视觉的大型工件位姿测量方法，基于上述的基于立体视觉和结构光视觉的大型工件位姿测量系统，包括以下步骤：

步骤S101，通过所述立体视觉传感器采集待测量大型工件的全局图像，所述全局图像包含定位标志图像信息；

步骤S102，基于目标检测分类器对定位标志进行目标检测，获取目标区域；基于立体视觉传感器的标定参数，获取各目标区域中心在世界坐标系的三维坐标作为对应的各定位标志的粗定位坐标；所述目标检测分类器用于定位标志的目标检测；

步骤S103，根据步骤S102的粗定位坐标，规划机械臂运动轨迹；

步骤S104，基于规划的机械臂运动轨迹控制机械臂运动，使激光结构光视觉传感装置运动至定位标志局部图像采集部，并采集定位标志结构光图像；

步骤S105，基于所采集的定位标志结构光图像，通过激光带图像处理，结合激光结构光视觉传感装置的标定参数、机械臂的轴角和结构参数，再次计算定位标志在世界坐标系的三维坐标，并以该坐标作为定位标志的精确定位坐标；

步骤S106，基于步骤S103、步骤S104、步骤S105获取所述待测量大型工件的各定位标志的精确定位坐标，并基于各定位标志的精确定位坐标计算该待测量大型工件的位姿。

由于定位标志为多个，在实施过程中，需要通过重复执行步骤S103、步骤S104、步骤S105的方式来获取各定位标志的精确定位坐标；也可以通过重复执行步骤S103、步骤S104采集完全部定位标志结构光图像之后，再通过步骤S105获取各定位标志的精确定位坐标；全部定位标志的精确定位坐标都获取后，再执行步骤S106。

在执行本发明方法的步骤中，需要用到多个设备的标定参数，在一些实施例中，包含有设备的标定步骤、分类器的训练步骤，结合图2进行该方法实施例的描述：

步骤S201，参数标定：对双目摄像机、工业机械臂基座、工业机械臂末端和激光结构光视觉传感设备在相互坐标系下的位置进行标定。

如图3所示，双目像机具有两个坐标系：双目像机左坐标系11(O₁X₁Y₁Z₁)、双目像机右坐标系12(O₂X₂Y₂Z₂)。由于双目摄像机位置固定，这里以双目摄像机左坐标系11(O₁X₁Y₁Z₁)为世界坐标系，通过实际测量，标定工业机械臂基座坐标系13(O_BX_BY_BZ_B)在世界坐标系中的位置；然后，根据工业机械臂基座坐标系13，标定结构光视觉传感器中CCD摄像机坐标系15(O_CX_CY_CZ_C)的位置，首先由工业机械臂正向运动学确定末端坐标系14(O_TX_TY_TZ_T)在基座坐标系13的位置，再根据结构光传感器的外形参数，确定CCD摄像机坐标系15在末端坐标系14的位置，进而得到CCD摄像机坐标系15在各坐标系的相对位置。

对双目摄像机的相机参数进行标定，双目摄像机标定方法有很多现有技术可以参考，在本发明的一个实施例中，可采用文章“秦保华,张海.基于OpenCV的双目视觉标定程序的开发[J].现代计算机,2007(8):142-144.”中的方法进行标定；在本发明的一个实施例中，对激光结构光视觉传感器中的CCD摄像机参数和结构光平面参数进行标定，可采用文章“Fan J,Jing F,Fang Z,et al.A simple calibration method of structured lightplane parameters for welding robots[C]//Chinese Control Conference.2016:6127-6132.”中的方法进行标定，经过标定的结构光视觉传感器对目标进行位置测量，其测量误差在0.2毫米以下。

步骤S202，分类器训练：通过双目摄像机采集定位标志在不同光照、场景条件下的大量图像，包括单个、多个、无定位标志的图像，传输到计算机中，人工对定位标志在像素坐标系候选区域进行标记，作为训练样本，训练目标检测分类器，该目标检测分类器用于定位标志的目标检测。目标检测算法有大量现有方法可以参考，包括基于特征提取的传统方法和基于深度神经网络的方法，这里不再做详细说明，在本发明的一个实施例中，可采用文章“李静,高晓蓉,杨凯,等.基于HOG特征及SVM的机车车底螺栓检测方法[J].信息技术,2016(3):125-127.”所述方法对定位标志进行目标检测。

步骤S203，定位标志的粗定位：通过双目摄像机采集待测量大型工件的全局图像传输到计算机中，利用所述步骤S202中已训练的分类器，对定位标志进行目标检测，得到目标在双目摄像机像素坐标系的区域位置，由于定位标志往往较小，将区域中心位置作为定位标志在像素坐标系的位置，根据所述步骤S201双目摄像机标定参数，以及双目摄像机的视差，计算各目标区域中心在世界坐标系三维坐标位置，完成对定位标志的粗定位。

步骤S204，规划机械臂运动轨迹使之运动到目标区域进行扫描：根据步骤S203得到的三维坐标位置，计算机计算结构光视觉传感器对应的三维坐标位置，使其CCD摄像机镜头位置在定位标志上方约100mm处，从而计算出工业机械臂末端最终位置，通过工业机械臂逆运动学求解出机械臂各轴需达到的轴角，根据当前轴角和目标轴角进行轨迹规划，并保持结构光视觉传感器与机械臂末端相对位姿固定，使工业机械臂末端运动到定位标志区域上方目标位置，对定位标志进行扫描采集图像。

步骤S205，由结构光图像获取定位标志三维坐标：将步骤S4扫描采集定位标志的结构光视觉图像，传输到计算机中，经过图像处理提取定位标志上激光带各点的位置信息，提取方式与步骤S201中结构光传感器标定算法中的特征点提取方式一致，根据步骤S201中参数标定得到的参数，得到定位标志在CCD摄像机坐标系的三维坐标位置，结合结构光视觉传感器结构参数以及工业机械臂的轴角和结构参数，计算得到定位标志在世界坐标系准确的三维坐标。

步骤S206，在进行大型工件测量工作时，重复所述步骤S204、S205，对多个定位标志的三维坐标精确测量，直到全部定位标志测量完毕，然后根据各定位标志的位置，计算大型工件位姿信息，完成对大型工件位姿的精确测量。

在本发明的一个实施例中，如图4所示，由圆柱体大型工件端面三个定位标志的三维坐标位置，确定大型工件的位姿信息的方法具体为：首先建立大型工件坐标系17(O_PX_PY_pZ_P)，坐标原点在端面圆的圆心上，X轴与圆柱体工件的轴线重合，Z轴为一个定位标志与原点的连线，Y轴与两者正交，YZ平面与端面重合，计算该坐标在世界坐标系16(O_WX_WY_WZ_W)中的位姿，即可确定大型工件位姿；根据所述步骤S204、S205得到的三个定位标志上特征点在世界坐标系16的三维坐标：P₁(x₁,y₁,z₁),P₂(x₂,y₂,z₂),P₃(x₃,y₃,z₃)。

利用该三点可以确定圆柱体端面平面方程：

A₁x+B₁y+C₁z+D₁＝0

其中：

因此圆柱体端面圆圆心即坐标原点O_p(x₀,y₀,z₀)满足该平面方程：

A₁x₀+B₁y₀+C₁z₀+D₁＝0

根据端面圆边缘三点距离圆心距离相等，得到方程组：

可以解得A₂x₀+B₂y₀+C₂z₀+D₂＝0，A₃x₀+B₃y₀+C₃z₀+D₃＝0，其中：

因此有：

进而可以解得圆心坐标：

得到工件坐标系17的X，Y，Z轴向量分别为：

在世界坐标系16中，工件坐标系17的旋转矩阵为：

工件坐标系17的位置向量为：

t＝[x₀ y₀ z₀]^T

得到大型工件的位姿矩阵：

本发明的系统和方法能够在较大视场范围内对不同目标进行精确的自动化测量，在工业场景下，可以完成对大型工件上的多个定位标志进行精确测量，进而可以计算得到大型工件的位姿信息。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (8)

1.一种基于立体视觉和结构光视觉的大型工件位姿测量系统，其特征在于，包括数据处理装置，以及分别与所述数据处理装置通过通信链路连接的立体视觉传感器、机械臂系统、装设于机械臂的激光结构光视觉传感装置；

所述立体视觉传感器配置为，采集包含待测量大型工件表面的多个定位标志的全局图像；

所述激光结构光视觉传感装置配置为，扫描得到所述定位标志结构光图像；

所述数据处理装置配置为，基于所述全局图像进行所述定位标志的粗定位、基于粗定位信息规划机械臂运动轨迹、基于所述定位标志结构光图像进行精确定位、基于精确定位信息计算大型工件位姿；

所述机械臂系统配置为，基于规划的机械臂运动轨迹，将所述激光结构光视觉传感装置运动至待采集区域。

2.根据权利要求1所述的基于立体视觉和结构光视觉的大型工件位姿测量系统，其特征在于，所述激光结构光视觉传感装置包括激光发射器和CCD摄像机；所述激光发射器用于投射线结构光条纹；所述CCD摄像机用于采集结构光图像，并发送至所述数据处理装置。

3.根据权利要求2所述的基于立体视觉和结构光视觉的大型工件位姿测量系统，其特征在于，所述激光发射器为一字激光器。

4.根据权利要求1所述的基于立体视觉和结构光视觉的大型工件位姿测量系统，其特征在于，所述立体视觉传感器为双目摄像机。

5.根据权利要求1-4任一项所述的基于立体视觉和结构光视觉的大型工件位姿测量系统，其特征在于，所述激光结构光视觉传感装置装设于机械臂远离基座的端部。

6.一种基于立体视觉和结构光视觉的大型工件位姿测量方法，其特征在于，基于权利要求1-5任一项所述的基于立体视觉和结构光视觉的大型工件位姿测量系统，包括以下步骤：

步骤S1，通过所述立体视觉传感器采集待测量大型工件的全局图像，所述全局图像包含定位标志图像信息；

步骤S2，基于目标检测分类器对定位标志进行目标检测，获取目标区域；基于立体视觉传感器的标定参数，获取各目标区域中心在世界坐标系的三维坐标作为对应的各定位标志的粗定位坐标；

步骤S3，根据步骤S2的粗定位坐标，规划机械臂运动轨迹；

步骤S4，基于规划的机械臂运动轨迹控制机械臂运动，使激光结构光视觉传感装置运动至定位标志局部图像采集部，并采集定位标志结构光图像；

步骤S5，基于所采集的定位标志结构光图像，通过激光带图像处理，结合激光结构光视觉传感装置的标定参数、机械臂的轴角和结构参数，再次计算定位标志在世界坐标系的三维坐标，并以该坐标作为定位标志的精确定位坐标；

步骤S6，基于步骤S3、步骤S4、步骤S5获取所述待测量大型工件的各定位标志的精确定位坐标，并基于各定位标志的精确定位坐标计算该待测量大型工件的位姿；

其中，

所述目标检测分类器用于定位标志的目标检测。

7.根据权利要求6所述的基于立体视觉和结构光视觉的大型工件位姿测量系统，其特征在于，所述立体视觉传感器、所述机械臂、激光结构光视觉传感装置基于相互坐标系下的位置进行标定。

8.根据权利要求6所述的基于立体视觉和结构光视觉的大型工件位姿测量系统，其特征在于，所述目标检测分类器在步骤S2中对定位标志进行目标检测前需要进行训练，训练样本为具有标记信息的定位标志图像。