CN116067279A - 一种基于双工业摄像头的机械臂运动投影校正方法 - Google Patents

一种基于双工业摄像头的机械臂运动投影校正方法 Download PDF

Info

Publication number
CN116067279A
CN116067279A CN202211656468.7A CN202211656468A CN116067279A CN 116067279 A CN116067279 A CN 116067279A CN 202211656468 A CN202211656468 A CN 202211656468A CN 116067279 A CN116067279 A CN 116067279A
Authority
CN
China
Prior art keywords
target object
mechanical arm
coordinate system
point
corner points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211656468.7A
Other languages
English (en)
Inventor
赵建勇
张巍翰
邬惠峰
孙丹枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202211656468.7A priority Critical patent/CN116067279A/zh
Publication of CN116067279A publication Critical patent/CN116067279A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了基于双工业摄像头的机械臂运动投影校正方法，取目标物体作为参照物，测量目标物体长宽的数值；机械臂通过图像识别移动到实际需要吸取的目标物体附近，建立目标物体的坐标系，计算目标物体四个角点以及中心点的坐标；两个摄像机分别识别目标物体的四个角点的像素坐标，计算两个摄像机的投影透视矩阵；两个摄像机识别机械臂的末端执行器的标志点，获取像素坐标并记为起点，控制机械臂向下移动一段距离继续识别末端执行器标志点作为终点；通过投影透视矩阵将起点和终点映射到目标物体坐标系；通过误差计算模块求得机械臂距离目标物体的偏差实现校正。本发明无需标定，为机械臂提供二次校正的机会，计算精度高，具有实用性和适用性。

Description

一种基于双工业摄像头的机械臂运动投影校正方法
技术领域
本发明属于工业机械臂的机器视觉领域，涉及一种基于双工业摄像头的机械臂运动投影校正方法。
背景技术
随着国家工业集成化、信息化、智能化的深入发展，机械臂灵活性和重复性精度等方面有了很大的提升，多轴联动机械臂在工业生产和社会服务等领域的应用也越来越广泛。另外机器视觉快速发展，在一些不适合人工作业的危险环境或者大批量重复性工业生产的过程中，常用机器视觉替代人工视觉。这样大大提高了生产的效率和自动化的程度。
在利用机器视觉检测加工生产的过程中，目标识别与定位是必不可少的一步。传统的目标识别算法或因为算法本身缺陷导致配准失败，或因为光线、环境等不确定因素导致偏差较大。为进一步提高机械臂的精度，降低安全事故发生的风险，需要对末端执行器运动后与实际目标所产生的距离偏差进行校正，目前尚缺针对此类误差的控制方法。
发明内容
本发明针对上述技术问题，提出一种基于双工业摄像头的机械臂运动投影校正方法，以克服现有相关技术所存在的上述问题。
本发明的技术方案为基于双工业摄像头的机械臂运动投影校正方法，包括以下步骤：
S1、取一个目标物体作为参照物，测量目标物体长宽的数值；
S2、机械臂通过图像识别移动到实际需要吸取的目标物体附近，建立一个目标物体的坐标系，根据S1中测量的数值计算出目标物体四个角点以及中心点的坐标；
S3、用两个摄像机分别识别目标物体的四个角点的像素坐标，与S2中得到的四个角点共同计算两个摄像机的投影透视矩阵；
S4、用两个摄像机识别机械臂的末端执行器的标志点，获取像素坐标并记为起点，然后控制机械臂向下移动若干距离后，继续识别末端执行器标志点作为终点；
S5、通过投影透视矩阵将起点和终点映射到目标物体坐标系中；
S6、通过误差计算模块求得机械臂距离目标物体的偏差。
优选地，所述S1中测量目标物体数值只需测量一次即可，后序无需重复测量。
优选地，所述S2中目标物体坐标系向右为X轴正方向，向下为Y轴正方向；坐标系的单位是厘米，具体坐标与物体实际大小一致。
优选地，所述S3中投影透视矩阵是根据目标物体坐标系的四个角点和相机坐标系的四个角点计算出来的，可以完成将任意一个像素坐标映射到目标物体坐标系中。
优选地，所述S4中识别末端执行器的标志点通过识别粘贴在上面的标志图的中心点。
优选地，所述标志图为长方形、圆形或十字形。
优选地，所述S6具体包括以下步骤：
S61、分别计算通过两个投影透视矩阵映射到目标物体坐标系的起点和终点形成的向量；
S62、计算两个向量的交点；
S63、计算交点与目标物体坐标系中目标物体中心点的偏差。
本发明至少有如下具体有益效果：在相机参数未知的情况下，利用投影透视将相机坐标系的点转换到目标物体坐标系，从而计算出机械臂末端执行器距离目标物体的误差。为整个系统提供二次校正的机会，此方法无需标定，计算精度高，具有实用性和适用性。
附图说明
图1为本发明实施例的基于双工业摄像头的机械臂运动投影校正方法的步骤流程图；
图2为本发明实施例的基于双工业摄像头的机械臂运动投影校正方法的目标物体坐标系的示意图；
图3为本发明实施例的基于双工业摄像头的机械臂运动投影校正方法的相机拍摄示意图；
图4为本发明实施例的基于双工业摄像头的机械臂运动投影校正方法的对应装置结构示意图；
图5为本发明实施例的基于双工业摄像头的机械臂运动投影校正方法具体流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的一种基于双工业摄像头的机械臂运动投影校正方法，该方法包括如下步骤：
S1、取一个目标物体作为参照物，测量目标物体长宽的数值；
S2、机械臂通过图像识别移动到实际需要吸取的目标物体附近，建立一个目标物体的坐标系，根据S1中测量的数值计算出目标物体四个角点以及中心点的坐标；
S3、用两个摄像机分别识别目标物体的四个角点的像素坐标，与S2中得到的四个角点共同计算两个摄像机的投影透视矩阵；
S4、用两个摄像机识别机械臂的末端执行器的标志点，获取像素坐标并记为起点，然后控制机械臂向下移动若干距离后，继续识别末端执行器标志点作为终点；
S5、通过投影透视矩阵将起点和终点映射到目标物体坐标系中；
S6、通过误差计算模块求得机械臂距离目标物体的偏差。
在一个实施例中，所述S1中测量目标物体数值只需要测量一次即可，后序无需重复测量。
在一个实施例中，所述S2中目标物体坐标系向右为X轴正方向，向下为Y轴正方向。坐标系的单位是厘米，具体坐标与物体实际大小一致。
具体的，如图2所示，坐标系可以取目标物体的左上角作为原点。图中1表示目标物体，2表示中心点，周围边界上的四个角可作为角点。
在一个实施例中，所述S3中投影透视矩阵是根据目标物体坐标系的四个角点和相机坐标系的四个角点计算出来的，可以完成将任意一个像素坐标映射到目标物体坐标系里面。
具体的，如图3所示，图中3表示两台摄像机，6表示放置目标物体的工件台，1表示目标物体，4和5表示由两台摄像机拍摄的目标物体的图像。以左侧摄像机为例，摄像机图像中的a′ 1,b1 ′,c1 ′,d′ 1对应目标物体的a,b,c,d四个角点，即左侧摄像机的投影透视矩阵通过这四组角点求出，右侧摄像机同理。
具体的，投影透视矩阵通过如下公式计算出来：
Figure BDA0004011658050000051
其中，x′,y′是目标物体坐标系的坐标，而x,y是相机坐标系中的坐标；z′为目标物体坐标系的坐标，取1。a11、a12、a13、a21、a22、a23、a31、a32、a33均为投影透视矩阵的元素，且矩阵
Figure BDA0004011658050000052
展开上面的公式可以得到：
Figure BDA0004011658050000053
通过公式可知，求解八个未知数需要四组点。
在一个实施例中，所述S4中识别末端执行器的标志点可以通过识别粘贴在上面的标志图的中心点。标志图可以选择长方形，圆形，十字型等，具体可以根据实际情况选择。
具体的，如图4所示，31、32表示的是两个摄像机，6表示工作台，1是放在工作台上面的目标物体。
具体的，将像素坐标映射到目标物体坐标系的公式为：
M1(x1,y1,1)＝R*M1′(x′1,y′1,1)
M2(x2,y2,1)＝R*M2′(x′2,y′2,1)
其中，R表示投影透视矩阵，M1、M2表示目标物体坐标系的坐标，M1′，M2′表示像素坐标。
在一个实施例中，所述S6中误差计算模块包括以下步骤：
S61、分别计算通过两个投影透视矩阵映射到目标物体坐标系的起点和终点形成的向量；
S62、计算两个向量的交点；
S63、计算交点与目标物体坐标系中目标物体中心点的偏差。
具体的，计算两个向量交点的公式如下：
Figure BDA0004011658050000061
Figure BDA0004011658050000062
其中，u,
Figure BDA0004011658050000063
N1′,N2′,M1′,M2′是通过投影透视矩阵映射到目标物体坐标系的四个点。
当两向量相交的时候，可得到以下公式：
Figure BDA0004011658050000064
两边同时叉乘
Figure BDA0004011658050000065
可得公式：
Figure BDA0004011658050000066
Figure BDA0004011658050000067
Figure BDA0004011658050000068
即交点
Figure BDA0004011658050000069
Figure BDA00040116580500000610
具体的，校正方法的完整流程如图5所示。首先测量目标物体数据，然后根据图像识别计算的结果移动机械臂；然后通过角点计算投影透视矩阵，通过投影透视矩阵进行相机坐标系和目标物体坐标系的映射计算偏差，如果偏差较大那么移动机械臂进行校正，如果偏差较小，那么说明图像识别足够精准，无需校正。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神权利要求书指出。
应当理解的是，以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式包括部件进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。本公开的范围仅由所附的权利要求书来限制。

Claims (7)

1.基于双工业摄像头的机械臂运动投影校正方法，其特征在于，包括以下步骤：
S1、取一个目标物体作为参照物，测量目标物体长宽的数值；
S2、机械臂通过图像识别移动到实际需要吸取的目标物体附近，建立一个目标物体的坐标系，根据S1中测量的数值计算出目标物体四个角点以及中心点的坐标；
S3、用两个摄像机分别识别目标物体的四个角点的像素坐标，与S2中得到的四个角点共同计算两个摄像机的投影透视矩阵；
S4、用两个摄像机识别机械臂的末端执行器的标志点，获取像素坐标并记为起点，然后控制机械臂向下移动若干距离后，继续识别末端执行器标志点作为终点；
S5、通过投影透视矩阵将起点和终点映射到目标物体坐标系中；
S6、通过误差计算模块求得机械臂距离目标物体的偏差。
2.根据权利要求1所述的方法，其特征在于，所述S1中测量目标物体数值只需测量一次即可，后序无需重复测量。
3.根据权利要求1所述的方法，其特征在于，所述S2中目标物体坐标系向右为X轴正方向，向下为Y轴正方向；坐标系的单位是厘米，具体坐标与物体实际大小一致。
4.根据权利要求1所述的方法，其特征在于，所述S3中投影透视矩阵是根据目标物体坐标系的四个角点和相机坐标系的四个角点计算出来的，可以完成将任意一个像素坐标映射到目标物体坐标系中。
5.根据权利要求1所述的方法，其特征在于，所述S4中识别末端执行器的标志点通过识别粘贴在上面的标志图的中心点。
6.根据权利要求5所述的方法，其特征在于，所述标志图为长方形、圆形或十字形。
7.根据权利要求1所述的方法，其特征在于，所述S6具体包括以下步骤：
S61、分别计算通过两个投影透视矩阵映射到目标物体坐标系的起点和终点形成的向量；
S62、计算两个向量的交点；
S63、计算交点与目标物体坐标系中目标物体中心点的偏差。
CN202211656468.7A 2022-12-22 2022-12-22 一种基于双工业摄像头的机械臂运动投影校正方法 Pending CN116067279A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211656468.7A CN116067279A (zh) 2022-12-22 2022-12-22 一种基于双工业摄像头的机械臂运动投影校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211656468.7A CN116067279A (zh) 2022-12-22 2022-12-22 一种基于双工业摄像头的机械臂运动投影校正方法

Publications (1)

Publication Number Publication Date
CN116067279A true CN116067279A (zh) 2023-05-05

Family

ID=86183069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211656468.7A Pending CN116067279A (zh) 2022-12-22 2022-12-22 一种基于双工业摄像头的机械臂运动投影校正方法

Country Status (1)

Country Link
CN (1) CN116067279A (zh)

Similar Documents

Publication Publication Date Title
CN110689579B (zh) 基于合作目标的快速单目视觉位姿测量方法及测量系统
CN110666798B (zh) 一种基于透视变换模型的机器人视觉标定方法
KR100386090B1 (ko) 동심원 패턴을 이용한 카메라 내부변수 보정시스템 및카메라 보정방법
JP2016001181A (ja) カメラのミスキャリブレーションの実行時決定のためのシステムと方法
US20200262080A1 (en) Comprehensive model-based method for gantry robot calibration via a dual camera vision system
CN104827480A (zh) 机器人系统的自动标定方法
CN108198219B (zh) 用于摄影测量的相机标定参数的误差补偿方法
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN110260822B (zh) 一种多目结构光系统高精度标定方法
CN109544642B (zh) 一种基于n型靶标的tdi-ccd相机参数标定方法
CN112958960A (zh) 一种基于光学靶标的机器人手眼标定装置
CN110211175B (zh) 准直激光器光束空间位姿标定方法
Xu et al. A calibration and 3-D measurement method for an active vision system with symmetric yawing cameras
CN111710002B (zh) 一种基于Optitrack系统的相机外参标定方法
CN111754584A (zh) 一种远距离大视场相机参数标定系统和方法
CN105809685A (zh) 一种基于单幅同心圆图像的摄像机定标方法
CN110969661B (zh) 图像处理装置及方法、位置标定系统及方法
CN116067279A (zh) 一种基于双工业摄像头的机械臂运动投影校正方法
CN111145247A (zh) 基于视觉的位置度检测方法及机器人、计算机存储介质
CN114018212B (zh) 面向球型摄像机单目测距的俯仰角校正方法及系统
KR101626374B1 (ko) 모서리 기반 코너 추정을 이용한 정밀 위치 보정 방법
CN113733078B (zh) 机械臂精调控制量判读方法、计算机可读存储介质
CN114140444A (zh) 检测运动平台旋转精度的方法
CN110827356A (zh) 一种基于机器臂的相机快速标定方法
CN113390394B (zh) 一种带有摄影比例尺的光束法平差算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination