CN112060083A - 用于机械臂的双目立体视觉系统及其测量方法 - Google Patents

Abstract

本发明实施例提供一种用于机械臂的双目立体视觉系统及其测量方法。该系统包括：第一图像采集装置和第二图像采集装置分别安装于机械臂的手臂的两个不同的关节上，第三图像采集装置安装于机械臂的手腕的其中一个关节上；且三个图像采集装置其中任意两个组合构成用于机械臂的双目立体视觉系统。该测量方法包括：通过三个图像采集装置两两组合构成双目立体视觉系统，基于目标物的尺寸和位置选取其中两个合适的图像采集装置对其进行空间定位检测，使得双目立体视觉系统具有更广阔的检测视野，空间定位更加灵活，增加了图像采集的精度和准确性，获取图像信息更加丰富。

Description

用于机械臂的双目立体视觉系统及其测量方法

技术领域

本发明涉及机器人智能控制技术领域，尤其涉及一种用于机械臂的双目立体视觉系统及其测量方法。

背景技术

在现代化工业生产中，机械臂已经越来越多地应用到打磨、焊接、码垛、装配等领域中，以其准确性、稳定性和高负载性的优点将工人从繁重的体力劳动中解脱出来。随着计算机控制和影像处理技术的发展，工业机械臂与视觉系统有机地结合在一起，在非结构化环境中识别目标物体并进行作业。尤其是双目立体视觉系统，可以对目标物体进行空间定位，获得物体的准确位姿，结合机械臂轨迹控制技术，引导机械臂以相应位姿完成作业。

目前用于机械臂的双目立体视觉系统基本上可以分为基座固定式和机械臂末端手眼式两种。基座固定式视觉系统一般将摄像头放置于机械臂基座上，与机械臂基座坐标系相对静止，坐标变换简单，但机械臂只能在固定的视野空间行动，而且机械臂自身容易对双目视觉造成遮挡和运动干涉。机械臂末端手眼式视觉系统是将双目立体视觉系统与末端执行器集成在机械臂末端，可跟随机械臂运动到任意视角，但通常受机械臂末端位置限制，只具有局部视野。两种双目立体视觉系统的设置方式均会导致图像采集不准确和精度较低的缺陷。

发明内容

本发明实施例提供一种用于机械臂的双目立体视觉系统及其测量方法，用以解决现有技术中图像采集不准确和精度较低的缺陷，提高了图像采集的精度和灵活性，实现全局视野监测，感知更加全面，获取图像信息更加丰富。

根据本发明第一方面实施例的一种用于机械臂的双目立体视觉系统，包括：第一图像采集装置、第二图像采集装置和第三图像采集装置，所述第一图像采集装置和所述第二图像采集装置分别安装于机械臂的手臂的两个不同的关节上，所述第三图像采集装置安装于所述机械臂的手腕的其中一个关节上；

且所述第一图像采集装置、所述第二图像采集装置和所述第三图像采集装置其中任意两个组合构成用于机械臂的双目立体视觉系统。

其中，所述第一图像采集装置和所述第二图像采集装置分别铰接于机械臂的手臂的两个不同的关节上，所述第三图像采集装置铰接于所述机械臂的手腕的其中一个关节上。

其中，所述机械臂为串联六轴机械臂，所述串联六轴机械臂包括依次连接的底座、大臂、小臂和手腕，所述第一图像采集装置设置于所述底座和大臂之间的关节处，所述第二图像采集装置设置于所述大臂和所述小臂之间的关节处，所述第三图像采集装置设置于所述手腕的关节处。

其中，还包括第一光源和第二光源，所述第一光源和所述第二光源分别安装于所述机械臂的大臂和小臂上。

其中，所述第一光源和所述第二光源均为漫射面光源。

其中，所述第一图像采集装置、所述第二图像采集装置和所述第三图像采集装置均为同一规格的摄像头。

其中，还包括第一支架、第二支架和第三支架，所述第一图像采集装置和所述第二图像采集装置分别通过所述第一支架和所述第二支架安装于机械臂的手臂的两个不同的关节上，所述第三图像采集装置通过所述第三支架安装于所述机械臂的手腕的其中一个关节上。

根据本发明第二方面实施例的一种根据本发明第一方面实施例的用于机械臂的双目立体视觉系统的测量方法，包括：

S1、在机械臂上安装第一图像采集装置、第二图像采集装置和第三图像采集装置并进行初始化设置；

S2、根据目标物的尺寸和位置选择其中1组用于机械臂的双目立体视觉系统；

S3、调整机械臂的姿态，利用选择的用于机械臂的双目立体视觉系统对目标物的空间点进行定位检测；

S4、将空间点的图像坐标转换到机械臂坐标系下，并控制机械臂带动末端执行器完成作业。

其中，所述S1中的初始化设置包括：

S11、对第一图像采集装置、第二图像采集装置和第三图像采集装置进行位置和姿态标定，得到三者之间的平移和旋转矩阵；

S12、对第一图像采集装置、第二图像采集装置和第三图像采集装置在机械臂上的位置进行标定；

S13、将第一图像采集装置、第二图像采集装置和第三图像采集装置的俯仰角调节到相同初始角度。

其中，在所述S3和所述S4之间还包括：

S31、判断用于机械臂的双目立体视觉系统是否需要对目标物的空间点再次进行定位检测，若需要再次定位，则返回至所述S2，若不需要再次定位，则跳转至所述S4。

本发明实施例提供的一种用于机械臂的双目立体视觉系统，将第一图像采集装置和第二图像采集装置安装于机械臂的手臂上，第三图像采集装置安装于机械臂的手腕上，通过三个图像采集装置两两组合构成双目立体视觉系统，基于目标物的尺寸和位置选取其中两个合适的图像采集装置对其进行空间定位检测，使得双目立体视觉系统具有更广阔的检测视野，空间定位更加灵活，增加了图像采集的精度和准确性，获取图像信息更加丰富。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种用于机械臂的双目立体视觉系统的结构示意图；

图2是本发明实施例中世界坐标系和相机坐标系的变换示意图；

图3是本发明实施例中图像坐标系和相机坐标系的示意图；

图4是本发明实施例物体成像后的像点在像素坐标系中的示意图；

图5是本发明实施例提供的一种用于机械臂的双目立体视觉系统的测量方法的流程图。

附图标记：

1：第一图像采集装置；2：第二图像采集装置；3：第三图像采集装置；4：底座；5：大臂；6：小臂；7：手腕；8：第一关节；9：第二关节；10：第三关节；11：第四关节；12：第五关节；13：第六关节；14：第一光源；15：第二光源；16：末端执行器。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是点连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面结合图1描述本发明实施例的一种用于机械臂的双目立体视觉系统，包括：第一图像采集装置1、第二图像采集装置2和第三图像采集装置3，第一图像采集装置1和第二图像采集装置2分别安装于机械臂的手臂的两个不同的关节上，第三图像采集装置3安装于机械臂的手腕7的其中一个关节上；

且第一图像采集装置1、第二图像采集装置2和第三图像采集装置3其中任意两个组合构成用于机械臂的双目立体视觉系统。

具体地，本实施例中在机械臂上布置三个图像采集装置，在使用时选取其中两个使用，组成双目立体视觉系统，选取的原则需要避免被机械臂阻挡或干涉到的图像采集装置或无法采集到目标物图像的图像采集装置。通过三个图像采集装置两两组合，能够形成3组视野不同的双目立体视觉系统，可依据尺寸不同的目标物和不同位置的目标物，适当选择利用哪两个图像采集装置进行空间定位检测。通过一系列的图像分析处理，准确定位目标物的位置，控制末端执行器16完成作业。

在初始状态下，第一图像采集装置1、第二图像采集装置2和第三图像采集装置3为平行设置，且三者的俯视角均为30°。

本发明实施例提供的一种用于机械臂的双目立体视觉系统，将第一图像采集装置1和第二图像采集装置2安装于机械臂的手臂上，第三图像采集装置3安装于机械臂的手腕7上，通过三个图像采集装置两两组合构成双目立体视觉系统，基于目标物的尺寸和位置选取其中两个合适的图像采集装置对其进行空间定位检测，使得双目立体视觉系统具有更广阔的检测视野，空间定位更加灵活，增加了图像采集的精度和准确性，获取图像信息更加丰富。

在其中一个实施例中，第一图像采集装置1和第二图像采集装置2分别铰接于机械臂的手臂的两个不同的关节上，第三图像采集装置3铰接于机械臂的手腕7的其中一个关节上。在本实施例中，第一图像采集装置1、第二图像采集装置2和第三图像采集装置3的俯仰角度可调节，方便对目标物的定位追踪。

在其中一个实施例中，机械臂为串联六轴机械臂，串联六轴机械臂包括依次连接的底座4、大臂5、小臂6和手腕7，第一图像采集装置1设置于底座4和大臂5之间的关节处，第二图像采集装置2设置于大臂5和小臂6之间的关节处，第三图像采集装置3设置于手腕7的关节处。具体地，底座4设置第一关节8，底座4和大臂5之间设置第二关节9，大臂5和小臂6之间设置第三关节10，手腕7设置第四关节11、第五关节12和第六关节13，第一图像采集装置1设置于第二关节9，第二图像采集装置2设置于第三关节10，第三图像采集装置3设置于第五关节12。具体地，本实施例的双目立体视觉系统可应用于六轴机械臂，将第一图像采集装置1、第二图像采集装置2和第三图像采集装置3分别安装于第二关节9、第三关节10和第五关节12上，三个图像采集装置分别安装于底座4与大臂5之间、大臂5与小臂6之间和手腕7上，三个图像采集装置分别设置在不同的关节上，独立采集图像，互不影响，使得获取图像信息更加丰富。应当理解的是，基于不同结构的机械臂以及目标物与机械臂之间的位置关系，可将第一图像采集装置1、第二图像采集装置2和第三图像采集装置3安装于机械臂的其他位置上，本发明不局限于此。

在其中一个实施例中，用于机械臂的双目立体视觉系统还包括第一光源14和第二光源15，第一光源14和第二光源15分别安装于机械臂的大臂5和小臂6上。具体地，第一光源14和第二光源15均为条形面光源，为双目立体视觉系统补光。进一步地，第一光源14和第二光源15均为漫射面光源，可以实现大范围的均匀照射。

在其中一个实施例中，第一图像采集装置1、第二图像采集装置2和第三图像采集装置3均为同一规格的摄像头，即采用的图像传感器和镜头焦距均相同。

在其中一个实施例中，还包括第一支架、第二支架和第三支架，第一图像采集装置1和第二图像采集装置2分别通过第一支架和第二支架安装于机械臂的手臂的两个不同的关节上，第三图像采集装置3通过第三支架安装于机械臂的手腕7的其中一个关节上。具体地，本实施例中采用了支架将图像采集装置安装于机械臂的对应位置上，支架与机械臂通过螺栓固定。

如图2-5所示，本发明实施例还公开了一种根据上述实施例的用于机械臂的双目立体视觉系统的测量方法，包括：

S1、在机械臂上安装第一图像采集装置1、第二图像采集装置2和第三图像采集装置3并进行初始化设置；

S2、根据目标物的尺寸和位置选择其中1组用于机械臂的双目立体视觉系统，双目立体视觉系统的选取可通过各个图像采集装置定位目标物的空间点，若该图像采集装置采集的图像完整、清晰，符合图像采集的要求，定位准确，则可选择该图像采集装置进行图像采集；

S3、调整机械臂的姿态，利用选择的用于机械臂的双目立体视觉系统对目标物的空间点进行定位检测；

S4、将空间点的图像坐标转换到机械臂坐标系下，并控制机械臂带动末端执行器16完成作业。

在其中一个实施例中，步骤S1中的初始化设置包括：

S11、对第一图像采集装置1、第二图像采集装置2和第三图像采集装置3进行位置和姿态标定，得到三者之间的平移和旋转矩阵；

S12、对第一图像采集装置1、第二图像采集装置2和第三图像采集装置3在机械臂上的位置进行标定；

S13、将第一图像采集装置1、第二图像采集装置2和第三图像采集装置3的俯仰角调节到相同初始角度，也即零位姿态。

在其中一个实施例中，在步骤S3和步骤S4之间还包括：

S31、判断用于机械臂的双目立体视觉系统是否需要对目标物的空间点再次进行定位检测，若需要再次定位，则返回至步骤S2，若不需要再次定位，则跳转至步骤S4。判断是否需要再次进行定位检测，基于图像采集装置采集的图像是否完整、清晰，是否符合图像采集要求，定位是否准确。

双目立体视觉系统基于视差原理，采用两台摄像头结合图像处理软件模仿人眼功能。如图2所示，首先对世界坐标系下的坐标做刚体变换，经过旋转和平移转移到相机坐标系下。数学表达如公式1所示。

对应的齐次表达式为：

其中，R是3×3的正交单位矩阵(即旋转矩阵)，t为平移向量，R、t与摄像头无关。X_C、Y_C和Z_C分别为相机坐标系的X轴、Y轴和Z轴，X_W、Y_W和Z_W分别为世界坐标系的X轴、Y轴和Z轴。

目标物体被投影在相机的成像平面上，从相机坐标系到图像坐标系的原理如图3所示。平面π为相机的像平面，点O_c为相机中心(或光心)，f为相机的焦距，O_c为端点且垂直于像平面的射线成为光轴或主轴，主轴与像平面的交点p是相机的主点。图像坐标系为p-xy，摄像机坐标系为O_c-x_cy_cz_c。空间点Xc在相机坐标系中的齐次坐标为：

X_c＝[x_c y_c z_c 1]^T 式3

它的像点m在图像坐标系下的齐次坐标为：

m＝[x y 1]^T 式4

根据三角形相似原理，可得：

用矩阵表示

为了描述物体成像后的像点在图像上的坐标建立像素坐标系，如图4所示。将相机光轴与图像平面的交点定义为该坐标系的原点O₁，且x轴与u轴平行，y轴与v轴平行，假设(u₀,v₀)代表O₁在u-v坐标系下的坐标，dx与dy分别表示每个像素在横轴x和纵轴y上的物理尺寸，则图像中的每个像素在u-v坐标系中的坐标和在x-y坐标系中的坐标之间都存在如下的关系：

用齐次坐标与矩阵形式表示为：

综上，可以得到

取世界坐标到图像坐标变换矩阵P如下：

P就表示了一个投影相机，表示为：

对于双目相机分别有：

整理可得：

采用最小二乘法即可求得目标物体在世界坐标系下的空间坐标(x_w,y_w,z_w)。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种用于机械臂的双目立体视觉系统，其特征在于，包括：第一图像采集装置、第二图像采集装置和第三图像采集装置，所述第一图像采集装置和所述第二图像采集装置分别安装于机械臂的手臂的两个不同的关节上，所述第三图像采集装置安装于所述机械臂的手腕的其中一个关节上；

且所述第一图像采集装置、所述第二图像采集装置和所述第三图像采集装置其中任意两个组合构成用于机械臂的双目立体视觉系统。

2.根据权利要求1所述的用于机械臂的双目立体视觉系统，其特征在于，所述第一图像采集装置和所述第二图像采集装置分别铰接于机械臂的手臂的两个不同的关节上，所述第三图像采集装置铰接于所述机械臂的手腕的其中一个关节上。

3.根据权利要求1所述的用于机械臂的双目立体视觉系统，其特征在于，所述机械臂为串联六轴机械臂，所述串联六轴机械臂包括依次连接的底座、大臂、小臂和手腕，所述第一图像采集装置设置于所述底座和大臂之间的关节处，所述第二图像采集装置设置于所述大臂和所述小臂之间的关节处，所述第三图像采集装置设置于所述手腕的关节处。

4.根据权利要求3所述的用于机械臂的双目立体视觉系统，其特征在于，还包括第一光源和第二光源，所述第一光源和所述第二光源分别安装于所述机械臂的大臂和小臂上。

5.根据权利要求4所述的用于机械臂的双目立体视觉系统，其特征在于，所述第一光源和所述第二光源均为漫射面光源。

6.根据权利要求1所述的用于机械臂的双目立体视觉系统，其特征在于，所述第一图像采集装置、所述第二图像采集装置和所述第三图像采集装置均为同一规格的摄像头。

7.根据权利要求1所述的用于机械臂的双目立体视觉系统，其特征在于，还包括第一支架、第二支架和第三支架，所述第一图像采集装置和所述第二图像采集装置分别通过所述第一支架和所述第二支架安装于机械臂的手臂的两个不同的关节上，所述第三图像采集装置通过所述第三支架安装于所述机械臂的手腕的其中一个关节上。

8.一种根据权利要求1-7中任意一项所述的用于机械臂的双目立体视觉系统的测量方法，其特征在于，包括：

S1、在机械臂上安装第一图像采集装置、第二图像采集装置和第三图像采集装置并进行初始化设置；

S2、根据目标物的尺寸和位置选择其中1组用于机械臂的双目立体视觉系统；

S3、调整机械臂的姿态，利用选择的用于机械臂的双目立体视觉系统对目标物的空间点进行定位检测；

S4、将空间点的图像坐标转换到机械臂坐标系下，并控制机械臂带动末端执行器完成作业。

9.根据权利要求8所述的用于机械臂的双目立体视觉系统的测量方法，其特征在于，所述S1中的初始化设置包括：

S11、对第一图像采集装置、第二图像采集装置和第三图像采集装置进行位置和姿态标定，得到三者之间的平移和旋转矩阵；

S12、对第一图像采集装置、第二图像采集装置和第三图像采集装置在机械臂上的位置进行标定；

S13、将第一图像采集装置、第二图像采集装置和第三图像采集装置的俯仰角调节到相同初始角度。

10.根据权利要求8所述的用于机械臂的双目立体视觉系统的测量方法，其特征在于，在所述S3和所述S4之间还包括：

S31、判断用于机械臂的双目立体视觉系统是否需要对目标物的空间点再次进行定位检测，若需要再次定位，则返回至所述S2，若不需要再次定位，则跳转至所述S4。

Images