CN114897981A - 一种基于视觉检测的吊具位姿识别方法 - Google Patents

一种基于视觉检测的吊具位姿识别方法 Download PDF

Info

Publication number
CN114897981A
CN114897981A CN202210504781.2A CN202210504781A CN114897981A CN 114897981 A CN114897981 A CN 114897981A CN 202210504781 A CN202210504781 A CN 202210504781A CN 114897981 A CN114897981 A CN 114897981A
Authority
CN
China
Prior art keywords
coordinate system
target
lifting appliance
center
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210504781.2A
Other languages
English (en)
Inventor
杨芳
曾文
谭晓波
周宁
范如谷
李欣欣
蒋从军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sinohydro Bureau 7 Co Ltd
Sinohydro Jiajiang Hydraulic Machinery Co Ltd
Original Assignee
Sinohydro Bureau 7 Co Ltd
Sinohydro Jiajiang Hydraulic Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sinohydro Bureau 7 Co Ltd, Sinohydro Jiajiang Hydraulic Machinery Co Ltd filed Critical Sinohydro Bureau 7 Co Ltd
Priority to CN202210504781.2A priority Critical patent/CN114897981A/zh
Publication of CN114897981A publication Critical patent/CN114897981A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及智能龙门吊技术领域，公开了一种基于视觉检测的吊具位姿识别方法，通过视觉识别的方法动态识别吊具运行过程中的实际位姿,并将其与理论位姿数据进行对比分析，最终得出吊具的位姿调整量，根据调整量实时调整吊具的位姿。因此，对于定位精度要求较高的物体来说，采用本申请的方法吊装效果更好，更能实现精确吊装，并且还能够提高装卸效率。

Description

一种基于视觉检测的吊具位姿识别方法
技术领域
本申请涉及智能龙门吊技术领域，具体涉及一种基于视觉检测的吊具位姿识别方法。
背景技术
目前，龙门吊在集装箱堆场中的箱区、箱位完全靠司机人工进行操作，而人工观察判断箱区、箱位容易产生箱区、箱位识别错误，造成集装箱堆放的信息误差，给集装箱的管理带来了麻烦。同时，龙门吊堆放集装箱的位置完全依赖集卡司机人工目测，而在使用龙门吊吊装对定位精度要求较高的物体时，通过司机或摄像头观察吊具的运行情况实现吊装接口的对位，实际操作难度大，并且吊装效率也较低。
发明内容
为了解决上述现有技术中存在的问题和不足，本申请提出了一种基于视觉检测的龙门吊吊具位姿识别方法，能够快速识别定位吊具的位置并得到吊具的位姿调整量，从而提高装卸效率。
为了实现上述发明目的，本申请的技术方案具体如下：
一种基于视觉检测的吊具位姿识别方法，具体包括如下步骤：
将四个靶标呈十字形状固定在吊具上，在小车的底部安装两个双目相机，分别为第一双目相机和第二双目相机，两个双目相机位于靶标的上方，相机光轴相互平行并且垂直指向地面；
以小车平台中心点为基准点建立基准坐标系，以第一双目相机的光心为基准点建立相机坐标系，对两个双目相机进行标定，获取两部相机的内参以及两部相机之间的位置参数关系；
根据靶标的靶点中心在相机坐标系中的坐标以及靶点中心在基准坐标系中的坐标值，求解相机坐标系与基准坐标系之间的转换矩阵；
双目相机对吊具上的靶标进行拍照识别，将获取的靶标图像传输给计算机，计算机进行图像处理，计算吊具此时的偏移量和旋转量，最终实现吊具位姿的识别。
所述根据靶标的靶点中心在相机坐标系中的坐标值以及靶点中心在基准坐标系中的坐标值，求解相机坐标系与基准坐标系之间的转换矩阵，包括：
第一双目相机和第二双目相机分别对吊具上的靶标进行拍照识别，计算机对两个相机传输的图像进行处理，通过双目定位算法获取每个靶标的靶点中心在相机坐标系中的坐标(cxi,cyi,czi,i＝A,B,C,D)；
利用全站仪或激光追踪仪对四个靶标上的靶点中心位置坐标进行测量，获取每个靶标的靶点中心在基准坐标系下的坐标值(bxi,byi,bzi,i＝A,B,C,D)；
根据靶点中心在两个坐标系下的坐标值，通过如下计算表达式得到两个坐标系的转换矩阵bTc
Figure BDA0003635479980000021
进一步地，所述双目相机对吊具上的靶标进行拍照识别，将获取的靶标图像传输给计算机，计算机进行图像处理，计算吊具此时的偏移量和旋转量，最终实现吊具位姿的识别与定位，包括：
计算机根据两个双目相机拍摄所得的靶标图像，经计算得到此时各个靶标的靶点中心在相机坐标系中的坐标(cxi’,cyi’,czi’,i＝A,B,C,D)；
根据相机坐标系与基准坐标系之间的转换矩阵bTc，计算得到此时各个靶标的靶点中心在基准坐标系中的坐标(bxi’,byi’,bzi’,i＝A,B,C,D)；
根据靶点中心在基准坐标系中的坐标，求解四个靶标所围成的十字形状结构的中心点在基准坐标系下的坐标(x0,y0,z0)；
根据吊具中心在基准坐标系中的理论位姿坐标(x,y,z)以及十字形状结构的中心点在基准坐标系下的坐标值，通过下列计算表达式求解吊具偏移量(xs,ys,zs)
Figure BDA0003635479980000022
根据四个靶标的靶点中心在基准坐标系中的坐标，按照如下计算表达式求解吊具的旋转量
Figure BDA0003635479980000031
其中，s为吊具的偏转角度，l为吊具的俯仰角度，t为吊具的侧倾角度。
进一步地，所述靶标上设置有光源靶点和反射靶点。
本申请的有益效果：
(1)本申请通过视觉识别的方法识别龙门吊吊具运行过程中的实际位姿,并将其与理论位姿数据进行对比分析，最终得出吊具的位姿调整量，根据调整量实时调整吊具的位姿。因此，对于定位精度要求较高的物体来说，采用本申请的方法吊装效果更好，更能实现精确吊装，并且还能够提高装卸效率。
(2)本申请的靶标采用主动照明的光源靶点与反射靶点组合的形式，能够更好地适应强光、雨天、雾天、阴天等不同环境下的吊具识别检测。
附图说明
本申请的前述和下文具体描述在结合以下附图阅读时变得更清楚，附图中：
图1为本申请方法流程图；
图2为本申请靶标及相机安装结构示意图；
图3为本申请吊具偏移量示意图。
附图中：
1、靶标；2、小车；3、第一相机；4、第二相机；5、吊具；6、集装箱。
具体实施方式
为了使本领域的技术人员更好地理解本申请中的技术方案，下面将通过几个具体的实施例来进一步说明实现本申请发明目的的技术方案，需要说明的是，本申请要求保护的技术方案包括但不限于以下实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
目前，使用龙门吊吊装对定位精度要求较高的物体时，通常通过司机或摄像头观察吊具的运行情况实现吊装接口的对位，不仅存在实际操作难度大的问题，并且吊装效率也较低。
基于此，本实施例公开了一种基于视觉检测的吊具位姿识别方法，本方法能够快速识别吊具的当前的位姿情况以及吊具当前位姿情况相对于吊具理论位姿对应的偏移量和旋转量，从而根据偏移量和旋转量对吊具的位姿快速进行调整，使吊具的位姿与理论位姿重合，顺利完成吊物的抓取和吊运。
理论位姿在初始时，通过工人人员手工输入至计算机中，理论位姿即吊具在抓取吊物时的最佳理想位置。
本方法在具体实施时，包括两个过程，一个是正式识别吊具位姿前的相机标定以及坐标系转换过程，另一个则是正式开始识别吊具的位姿，并输出吊具此时的偏移量和旋转量。
相机标定以及坐标系转换过程主要如下：
参照说明书附图2，首先在吊具5的上表面安装靶标1，小车2的底部安装双目相机，通过相机识别安装在吊具5上表面的靶标1，靶标1上有若干靶点，双目相机与计算机连接，将拍摄所得的靶标1的图像传输给计算机，然后建立以相机光心为坐标原点的相机坐标系Oc和以小车2的中心为坐标原点的基准坐标系Ob；在标定时，计算机对靶标1的图像进行识别，获取到靶标1上靶点中心在相机坐标系中的坐标，接着又使用全站仪或激光追踪仪对靶标1上的靶点进行测量追踪，获取靶点中心在基准坐标系中的坐标，然后根据相机坐标系中靶点中心的坐标，以及基准坐标系中靶点中心的坐标，联合求解得到相机坐标系与基准坐标系的转换矩阵。
吊具位姿识别过程主要如下：
在实际识别吊具位姿时，相机获取此时靶标1的靶点中心在相机坐标系下的坐标，通过在标定时求得的转换矩阵，将此坐标转换到基准坐标系中，从而获得靶点中心的基坐标，利用多个靶点中心坐标即可求得运行过程中吊具5的实际空间位置，根据吊物等被抓取物体的实际位置可以知道吊具5需要运行到夹取位置平面的理论空间位置，通过实际空间位置与理论空间位置即可求得吊具5偏移量和旋转量。
理论空间位置即吊具的理论位姿，实际空间位置即吊具此时的实际位姿。
参照说明书附图1，本方法的具体步骤如下：
步骤S1.将四个靶标1呈十字形状固定在吊具5的上表面，四个靶标1处于同一个平面内，并且靶标1在安装时，分别位于吊具5上表面纵横两个方向对称轴上，靶标1所在平面与吊具5的上表面平行，并且在俯视时，四个靶标1的十字中心与吊具5的中心重合，四个靶标1分别记为A、B、C、D，其中，靶标A和靶标C之间的距离为LAC，靶标B和靶标D之间的距离为LBD，在小车的底部安装两个双目相机，分别为第一双目相机3和第二双目相机4，两个双目相机均位于靶标1的上方，两个相机的光轴相互平行并且垂直指向地面，两部相机的之间的距离为L。
步骤S2.以小车2的平台中心点为基准点建立基准坐标系Ob，Z轴指向垂直向上，X轴指向大车运动方向，Y轴依据右手定则确定；接着以第一双目相机3的光心为基准点建立相机坐标系Oc，Z轴指向垂直向下，X轴指向小车运动方向，Y轴依据右手定则确定，对两个双目相机进行标定，获取两部相机的内参以及两部相机之间的位置参数关系。
在本实施例中，需要说明的是，两个相机的标定方法为本领域技术人员均知晓的常规手段，例如张正友标定法。
步骤S3.根据各个靶标1的靶点中心在相机坐标系中的坐标以及靶点中心在基准坐标系中的坐标值，求解相机坐标系与基准坐标系之间的转换矩阵。
步骤S4.吊具在小车的作用下开始运行，两个双目相机分别对吊具1上的四个靶标(A,B,C,D)进行拍照识别，将获取的靶标1的图像传输给计算机，计算机进行图像处理，计算吊具出1此时的偏移量和旋转量，最终实现吊具1位姿的识别。
进一步地，所述步骤S3具体包括：
第一双目相机和第二双目相机分别对吊具上的靶标1进行拍照识别，将获取的图像传输给计算机，计算机根据传输的图像，通过双目定位算法最终得到四个靶标1的靶点中心分别在相机坐标系中的坐标值(cxi’,cyi’,czi’,i＝A,B,C,D)；
利用全站仪或激光追踪仪对四个靶标1的靶点中心位置坐标进行测量，得到四个靶标1的靶点中心分别在基准坐标系下的坐标值(bxi,byi,bzi,i＝A,B,C,D)；
根据靶标1的靶点中心在两个坐标系下的坐标值，通过如下计算表达式得到两个坐标系的转换矩阵bTc
Figure BDA0003635479980000061
其中，i＝A,B,C,D。
进一步地，所述步骤S4具体包括：
计算机根据两个双目相机所拍摄的靶标1图像，通过双目定位算法，经计算得到此时吊具5上各个靶标1的靶点中心在相机坐标系中的坐标(cxi’,cyi’,czi’,i＝A,B,C,D)；
计算机根据相机坐标系与基准坐标系之间的转换矩阵bTc，计算得到此时各个靶标1的靶点中心在基准坐标系中的坐标(bxi’,byi’,bzi’,i＝A,B,C,D)；
计算机根据各个靶标1的靶点中心在基准坐标系中的坐标，求解得到四个靶标1所围成的十字形状结构的中心点在基准坐标系下的坐标(x0,y0,z0)；
计算机根据吊具1中心在基准坐标系中的理论位置坐标(x,y,z)以及十字形状结构的中心点在基准坐标系下的坐标值(x0,y0,z0)，通过下列计算表达式求解吊具偏移量(xs,ys,zs)
Figure BDA0003635479980000062
计算机根据四个靶标1的靶点中心在基准坐标系中的坐标，按照如下计算表达式求解吊具的旋转量
Figure BDA0003635479980000063
其中，s为吊具的偏转角度，l为吊具的俯仰角度，t为吊具的侧倾角度。
本方法能够动态识别吊具此时的位姿情况，进而得到吊具此时的空间位置情况与理论空间位置之间的差值，最后控制系统根据吊具此时的偏移量和旋转量控制吊具调整其姿态，使吊具与理论抓取位置重合，最终顺利完成吊物的抓取和吊运。
进一步地，在本实施例中，所述靶标上设置有光源靶点和反射靶点。为了更好的适用不同天气情况下的吊具位姿识别，本实施例的靶标将主动向外发射光的光源靶点以及常规的反射靶点相结合，共同设置在靶标上，在光线较暗的时候，打开靶标上的光源靶点，该靶点相当于一个光源，主动向外发射光，因此此时主要通过靶标上的光源靶点实现吊具位姿的识别，而在光线充足的天气条件下，光源靶标不主动向外发射光。
在本实施例中，需要说明的是，四个靶标1所围成的十字形状结构的中心点在基准坐标系下的坐标的方法为本领技术人员都知晓的常规技术手段。
在本实施例中，还需要说明的是，吊具1中心在基准坐标系中的理论位置坐标是已知的，由人工输入计算机中，为吊具抓取吊物的理论空间位置。
在本实施例中，还需要进一步说明的是，双目定位算法属于本领域技术人员均知晓的技术手段，双目定位主要依据两部相机的成像视差来进行定位。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请保护范围的限制。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
以上所述，仅是本申请的较佳实施例，并非对本申请做任何形式上的限制，凡是依据本申请的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本申请的保护范围之内。

Claims (4)

1.一种基于视觉检测的吊具位姿识别方法，其特征在于，包括：
将四个靶标呈十字形状固定在吊具上，在小车的底部安装两个双目相机，分别为第一双目相机和第二双目相机，两个双目相机位于靶标的上方，相机光轴相互平行并且垂直指向地面；
以小车平台中心点为基准点建立基准坐标系，以第一双目相机的光心为基准点建立相机坐标系，对两个双目相机进行标定，获取两部相机的内参以及两部相机之间的位置参数关系；
根据靶标的靶点中心在相机坐标系中的坐标以及靶点中心在基准坐标系中的坐标值，求解相机坐标系与基准坐标系之间的转换矩阵；
双目相机对吊具上的靶标进行拍照识别，将获取的靶标图像传输给计算机，计算机进行图像处理，计算吊具此时的偏移量和旋转量，最终实现吊具位姿的识别。
2.根据权利要求1所述的一种基于视觉检测的吊具位姿识别方法，其特征在于，所述根据靶标的靶点中心在相机坐标系中的坐标值以及靶点中心在基准坐标系中的坐标值，求解相机坐标系与基准坐标系之间的转换矩阵，包括：
第一双目相机和第二双目相机分别对吊具上的靶标进行拍照识别，计算机对两个相机传输的图像进行处理，通过双目定位算法获取每个靶标的靶点中心在相机坐标系中的坐标(cxi,cyi,czi,i＝A,B,C,D)；
利用全站仪或激光追踪仪对四个靶标上的靶点中心位置坐标进行测量，获取每个靶标的靶点中心在基准坐标系下的坐标值(bxi,byi,bzi,i＝A,B,C,D)；
根据靶点中心在两个坐标系下的坐标值，通过如下计算表达式得到两个坐标系的转换矩阵bTc
Figure FDA0003635479970000011
3.根据权利要求1所述的一种基于视觉检测的吊具位姿识别方法，其特征在于，所述双目相机对吊具上的靶标进行拍照识别，将获取的靶标图像传输给计算机，计算机进行图像处理，计算吊具此时的偏移量和旋转量，最终实现吊具位姿的识别与定位，包括：
计算机根据两个双目相机拍摄所得的靶标图像，经计算得到此时各个靶标的靶点中心在相机坐标系中的坐标(cxi‘，cyi’,czi’,i＝A,B,C,D)；
根据相机坐标系与基准坐标系之间的转换矩阵bTc，计算得到此时各个靶标的靶点中心在基准坐标系中的坐标(bxi’,byi’,bzi’,i＝A,B,C,D)；
根据靶点中心在基准坐标系中的坐标，求解四个靶标所围成的十字形状结构的中心点在基准坐标系下的坐标(x0,y0,z0)；
根据吊具中心在基准坐标系中的理论位姿坐标(x,y,z)以及十字形状结构的中心点在基准坐标系下的坐标值(x0,y0,z0)，通过下列计算表达式求解吊具偏移量(xs,ys,zs)
Figure FDA0003635479970000021
根据四个靶标的靶点中心在基准坐标系中的坐标，按照如下计算表达式求解吊具的旋转量
Figure FDA0003635479970000022
其中，s为吊具的偏转角度，l为吊具的俯仰角度，t为吊具的侧倾角度。
4.根据权利要求1所述的一种基于视觉检测的吊具位姿识别方法，其特征在于，所述靶标上设置有光源靶点和反射靶点。
CN202210504781.2A 2022-05-10 2022-05-10 一种基于视觉检测的吊具位姿识别方法 Pending CN114897981A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210504781.2A CN114897981A (zh) 2022-05-10 2022-05-10 一种基于视觉检测的吊具位姿识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210504781.2A CN114897981A (zh) 2022-05-10 2022-05-10 一种基于视觉检测的吊具位姿识别方法

Publications (1)

Publication Number Publication Date
CN114897981A true CN114897981A (zh) 2022-08-12

Family

ID=82722413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210504781.2A Pending CN114897981A (zh) 2022-05-10 2022-05-10 一种基于视觉检测的吊具位姿识别方法

Country Status (1)

Country Link
CN (1) CN114897981A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116620098A (zh) * 2023-07-25 2023-08-22 北京玖行智研交通科技有限公司 一种电动车辆在换电站中更换电池箱的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116620098A (zh) * 2023-07-25 2023-08-22 北京玖行智研交通科技有限公司 一种电动车辆在换电站中更换电池箱的方法

Similar Documents

Publication Publication Date Title
CN101839692B (zh) 单相机测量物体三维位置与姿态的方法
CN107428515B (zh) 用于定位夹持部件的方法、负载操纵装置和计算机可读存储器部件
CN102452611B (zh) 集装箱起重机的吊具空间姿态的检测方法和装置
CN102798350B (zh) 一种臂架挠度的测量方法、装置及系统
CN111301259A (zh) 一种运输车与载货车的自动对接装填系统、方法及计算机存储介质
CN108827154A (zh) 一种机器人无示教抓取方法、装置及计算机可读存储介质
CN110555878B (zh) 物体空间位置形态的确定方法、装置、存储介质及机器人
CN110174088A (zh) 一种基于单目视觉的目标测距方法
CN111814936A (zh) 基于空间扫描的集装箱识别方法、系统、设备及存储介质
CN107862716A (zh) 机械臂定位方法及定位机械臂
CN104217441A (zh) 一种基于机器视觉的机械臂定位抓取方法
CN108398084A (zh) 一种电池极片检测设备、系统、叠片机及方法
CN113887641A (zh) 一种基于输电通道的隐患目标确定方法、设备及介质
CN113879984B (zh) 一种基于机器视觉的集装箱自动抓放系统及操作方法
CN105271004A (zh) 采用单目视觉的吊具空间定位装置及方法
WO2021012681A1 (zh) 一种应用于搬运机器人的目标搬运方法及其搬运机器人
CN107643049B (zh) 基于单目结构光的地磅上车辆位置检测系统及方法
CN114897981A (zh) 一种基于视觉检测的吊具位姿识别方法
WO2021185247A1 (zh) 起吊装置及其控制装置和方法、电子导板控制装置和方法
CN115880372A (zh) 自动化起重机的外集卡定位相机统一标定方法及系统
Han et al. Target positioning method in binocular vision manipulator control based on improved canny operator
CN110533717A (zh) 一种基于双目视觉的目标抓取方法及装置
CN209342062U (zh) 3d视觉引导拆垛测量系统
CN113592956A (zh) 一种基于显微检测机台的多镜头联合标定方法和装置
CN117830438A (zh) 一种基于特定标志物的激光雷达与相机联合标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination