CN113379851A - 一种用于机器人场景从图像提取三维坐标值的方法 - Google Patents
一种用于机器人场景从图像提取三维坐标值的方法 Download PDFInfo
- Publication number
- CN113379851A CN113379851A CN202110798597.9A CN202110798597A CN113379851A CN 113379851 A CN113379851 A CN 113379851A CN 202110798597 A CN202110798597 A CN 202110798597A CN 113379851 A CN113379851 A CN 113379851A
- Authority
- CN
- China
- Prior art keywords
- point
- camera
- robot
- side wall
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000003466 welding Methods 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000005516 engineering process Methods 0.000 claims abstract description 5
- 230000007246 mechanism Effects 0.000 claims description 62
- 230000000149 penetrating effect Effects 0.000 claims description 43
- 238000005259 measurement Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000009434 installation Methods 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000011435 rock Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 206010047571 Visual impairment Diseases 0.000 claims description 2
- 238000003032 molecular docking Methods 0.000 claims 5
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 238000006073 displacement reaction Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 230000003068 static effect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 39
- 210000001503 joint Anatomy 0.000 description 6
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 4
- 235000017491 Bambusa tulda Nutrition 0.000 description 4
- 241001330002 Bambuseae Species 0.000 description 4
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 4
- 239000011425 bamboo Substances 0.000 description 4
- 238000003475 lamination Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 240000007643 Phytolacca americana Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
Abstract
本发明涉及提取坐标值技术领域，且公开了一种用于机器人场景从图像提取三维坐标值的方法，包括以下步骤：对相机距离目标面不同高度(Z)下XY平面图像进行分层建模，相机和点激光固定安装在机器人末端的适合位置上，在拍照姿态下移动机器人及附加轴，使实时的图像中心十字线落到目标点上，在相机视线基本垂直于目标面的情况下获得任意平面上某一点的三维坐标值。通过本发明用于快速准确获得目标图像上任意一个位置点的三维坐标值，有利于机器人进行作业路径规划。取点精度高可以满足机器人焊接精度需求，有利于使用图像处理技术对静态图像进行目标特征路径智能提取，连接的装置又可避免因过度顺滑而在坐标定位的过程中滑动移位。
Description
技术领域
本发明涉及提取坐标值技术领域，具体为一种用于机器人场景从图像提取三维坐标值的方法。
背景技术
使用机器人进行焊接工作，快速获取目标焊缝的实际路径坐标是关键工作，使用示教器来交互操作远不能满足机器人的自动化连续作业，从世界坐标系生成图像坐标系下像素坐标很容易，但是从图像坐标系提取像素坐标，然后进行一系列坐标转换工作，生成世界坐标系三维坐标值，可不是很容易实现，在机器人应用场景中这种需求是很迫切的，如果能够快速提取到目标位置的路径坐标，使在非标构件的应用场景应用机器人作业成为可能，特别是一些带龙门架的倒挂作业机器人，分批分区域的进行快速路径提取和作业，使车间在安排施工作业的同步性和效率方面极为方便。
通常一个三维世界中的坐标点，可以经过机器人转换矩阵变换，在图像中找到一个对应的像素点，但是反过来通过图像中的一个点来找到它在三维中对应的点就很困难，现有技术中所使用的方法，采用传统图像获取坐标点值精度不够高，效率低，图像取点通常Z向坐标较难获得准确，快速将图像2D坐标转换为世界3D坐标不是很容易，由于相机幅面限制，有效工作范围固定，不能适应面积大，尺寸大的构件，对于一些取点精度要求高的场景不能适应使用需要，比如焊接。
通常在采用定位的摄像头在根据不同点位进行切换的过程中，外壳和内壳之间相互滑动，多次操作后会造成内壁摩擦过度，因此在定位坐标时，摄像头的侧壁容易出现松动滑脱的状况，使定位坐标出现误差，光线切换时，外壳和内壳之间的滑动，容易用力过度而出现底座晃动的状况。
发明内容
为解决上述的问题，本发明提供如下技术方案：一种用于机器人场景从图像提取三维坐标值的方法，包括以下步骤：
S1、对相机距离目标面不同高度(Z)下XY平面图像进行分层建模，采样图像Z向间隔根据使用需求适当加密，一般取十档，形成图像插值模型。插值模型数据结构主要包括相机镜头距离目标面的距离Z、原点在图像上的像素XY位置、像素与物理长度之间X向比例系数和Y向比例系数等；
S2、相机和点激光固定安装在机器人末端的适合位置上，保持点激光的方向与相机视线平行，其中相机镜头平面与点激光基准0位尽量平齐，若有安装偏差需要记录修正参数值，点激光中心线安装时与焊枪工具基本平行，减少后续计算修正，点激光与相机组合装置固定安装在夹持器；
S3、在拍照姿态下移动机器人及附加轴，使实时的图像中心十字线落到目标点上，打开点激光测距，把目标点位置距离相机的Z值发送给图像插值模型，结合当前附加轴和机器人TCP的末端位姿值，计算出当前图像平面上目标点的真实坐标值，同时记录不同坐标系下的点值，一般为世界坐标系和工件坐标系；
S4、选择一块平面区域，用记号笔在平板上画一个十字线，使十字线与机器人的X向、Y向移动方向基本一致，把十字线交叉点设为标定原点，其它轴线上各设置一个标定测量点，测量点到标定原点距离要测量记录好，确定正常的相机拍照工作Z向范围；首先确定好最近位置Z1和最远位置Zn，然后再根据需要设定几档中间位置，一般十档；
S5、调整机器人使相机处于正常的工作拍照位姿上，且使当前焊枪TCP点，且使最近位置图像测量范围正好处在相机视域正中，当相机处于Z1位置，拍照、编号保存图像，同时分别用直尺和点激光测量出相机距离图像平面的距离，记录下当前点激光距离数据和点激光距离修正偏差值到标定文件中；
S6、移动机器人到Z2位置，用点激光测量距离，拍照、编号保存，重复动作5到最远距离Zn，在取得全部设定Z值位置的图像后，需要对每张图像上标定原点和标定测量进行位置记录和换算，创建出标定原点相对图像原点的像素坐标(Px,Py)和标定测量点的像素坐标值与实际物理长度的比例关系(ScaleX1,ScaleX2,ScaleY1,ScaleY2)；
S7、每张图像标定后至少包含这几个参数(Z,Px,Py,ScaleX1,ScaleX2,ScaleY1,ScaleY2)，这样一组标定数据的组合即为图像插值模型，对于一些精度要求高的场景，可以以标定原点为中心按360度等分方式创建插值模型，参数调整为(Z,Px,Py,d1,Scale1,…,dn,Scalen)，其中d1～dn为标定测量点距离标定原点的距离，Scale1～Scalen为该点长度比例系数。
S8、在相机视线基本垂直于目标面的情况下，此方法可以获得任意平面上某一点的三维坐标值，根据需要，对一些有高精度需求的场景(如：焊接)，可以同时加装线激光，采用线激光取点技术对目标点进一步进行取点校核纠偏，本方法即可以动态跟踪目标点的三维坐标值，也可以静态对不同位置拍下的照片进行后期目标点任意获取。
目标点的取值计算方法如下：
1)、上图为相机在某一Z位置所拍照片，在图像插值模型中进行参数插值，获得标定原点的像素坐标值P0(X,Y)、X向比例系数ScaleX、Y向比例系数ScaleY和拍照时焊枪TCP点距离图像平面的距离Zn；
2)、待测点实际长度值：
距离dx＝(Pn.X-P0.X)*ScaleX
距离dy＝(Pn.Y-P0.Y)*ScaleY
距离dz＝点激光测量距离–焊枪TCP点的Z值
3)、当前测量点对应机器人坐标系的点坐标值为：
Pb＝[T]*Pc，
其中，[T]为当前机器人焊枪TCP点位姿矩阵；Pc为图像上点相对于焊枪TCP点偏移量，即Pc(dx,dy,dz)；Pb为焊枪工具坐标系下点左乘转换矩阵后的机器人基座坐标系下三维坐标点。
一种用于机器人场景提取信息的摄像头对接支架辅助装置，包括撑板机构，所述撑板机构的顶部贯穿连接有活动圈，活动圈的内侧壁处滑动连接有罐推机构，罐推机构的内部包括扩张筒，扩张筒的内侧壁轴心处贯穿连接有叠加网，叠加网的内侧壁轴心处贯穿连接有中心柱，所述扩张筒的侧壁之间贯穿连接有滚珠，滚珠的顶侧壁处贯穿连接有支杆，所述活动圈的侧壁底端贯穿连接有连接圈，活动圈的内侧壁中部贯穿连接有活动盘，活动盘的侧壁处贯穿连接有活动杆，活动盘的侧壁轴心处贯穿连接有晃动机构，晃动机构的内部贯穿连接有弧形杆，弧形杆的底侧壁处贯穿连接有戳杆。
优选的，所述撑板机构的内部包括底座，底座的顶部贯穿连接有叠板，叠板的侧壁处贯穿连接有支撑架。
优选的，所述晃动机构的内部包括不倒座，不倒座的顶端贯穿连接有弹力叠圈。
优选的，所述戳杆的底端滑动连接于活动盘的顶侧壁处，弧形杆的侧壁向下按压时，可带动戳杆的侧壁向活动盘的侧壁处按压变动角度。
优选的，所述弧形杆靠近晃动机构的一端贯穿连接于不倒座的内侧壁底部，不倒座的侧壁围绕活动盘的轴心旋转的过程中可带动弧形杆的侧壁底部顺时针扫动。
优选的，所述弧形杆的侧壁处滑动连接于弹力叠圈的顶侧壁处，弧形杆的侧壁被压制接近横向时，弧形杆的侧壁会在弹力叠圈的侧壁处按压弹回。
优选的，所述叠加网的侧壁活动连接于弧形杆的外侧壁处，当罐推机构的侧壁滑动至活动圈的内部时，叠加网的侧壁可卷起裹在弧形杆的外侧壁处。
优选的，所述活动杆的底端滑动连接于活动圈的内侧壁底端，活动杆的顶端随活动盘的侧壁活动时，活动杆的底端就可在活动圈的内侧壁处来回滑动。
与现有技术相比，本发明提供了一种用于机器人场景从图像提取三维坐标值的方法，具备以下有益效果：
1、该用于机器人场景从图像提取三维坐标值的方法，通过本发明用于快速准确获得目标图像上任意一个位置点的三维坐标值，有利于机器人进行作业路径规划，取点精度高可以满足机器人焊接精度需求，有利于使用图像处理技术对静态图像进行目标特征路径智能提取。
2、该用于机器人场景提取信息的摄像头对接支架辅助装置，通过将叠加网的侧壁处挤压折叠后内缩，此时罐推机构的整体进入到活动圈的内侧壁处，罐推机构的侧壁顺着活动圈的内侧壁处滑动，扩张筒的外端可在活动圈的内侧壁处刮动，将活动圈的内侧壁处往外扩增的同时，可通过扩张筒的侧壁来对活动圈的内侧壁处进行支撑，横向纹路和竖向纹路的交叉接触，可避免过度紧密连接造成的卡死，同时又可避免因过度顺滑而在坐标定位的过程中滑动移位。
3、该用于机器人场景提取信息的摄像头对接支架辅助装置，通过晃动机构的侧壁顺着弧形杆的侧壁顺时针旋转后，不倒座的侧壁左右晃动，弧形杆的侧壁被压制最低点时会受到弹力叠圈向上顶起，使得罐推机构的外部整体侧壁在脱离活动圈的内侧壁处时，能够顺着弧形杆的侧壁处向外滑动，弧形杆的侧壁可快速恢复至活动圈内侧壁顶端位置对其内壁进行支撑，避免对接和分离的过程中出现活动圈的内壁过度变形而内卷的状况。
附图说明
图1为本发明相机和点激光安装位置展示示意图；
图2为本发明创建图像差值模型的方法示意图；
图3为本发明目标点的取值计算方法坐标图像示意图；
图4为本发明整体装置结构连接示意图；
图5为本发明晃动机构内部相关结构和戳杆之间的结构连接示意图；
图6为本发明罐推机构内部相关结构连接右侧示意图。
图中：1、撑板机构；111、底座；112、叠板；113、支撑架；2、活动圈；3、罐推机构；311、扩张筒；312、叠加网；313、支杆；314、滚珠；315、中心柱；4、弧形杆；5、戳杆；6、活动盘；7、活动杆；8、晃动机构；811、不倒座；812、弹力叠圈；9、连接圈。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他例，都属于本发明保护的范围。
实施例一：
请参阅图1-3，一种用于机器人场景从图像提取三维坐标值的方法，包括以下步骤：
S1、对相机距离目标面不同高度(Z)下XY平面图像进行分层建模，采样图像Z向间隔根据使用需求适当加密，一般取十档，形成图像插值模型。插值模型数据结构主要包括相机镜头距离目标面的距离Z、原点在图像上的像素XY位置、像素与物理长度之间X向比例系数和Y向比例系数等；
S2、相机和点激光固定安装在机器人末端的适合位置上，保持点激光的方向与相机视线平行。
相机和点激光安装位置如下(如图1所示)：
使相机镜头平面与点激光基准0位尽量平齐，若有安装偏差需要记录修正参数值，点激光中心线安装时与焊枪工具基本平行，减少后续计算修正，点激光与相机组合装置固定安装在夹持器。
S3、在拍照姿态下移动机器人及附加轴，使实时的图像中心十字线落到目标点上。
S4、打开点激光测距，把目标点位置距离相机的Z值发送给图像插值模型，结合当前附加轴和机器人TCP的末端位姿值，计算出当前图像平面上目标点的真实坐标值，同时记录不同坐标系下的点值，一般为世界坐标系和工件坐标系。
创建图像差值模型的方法如下(如图2所示)：
1)、选择一块平面区域，用记号笔在平板上画一个十字线，使十字线与机器人的X向、Y向移动方向基本一致。把十字线交叉点设为标定原点，其它轴线上各设置一个标定测量点，测量点到标定原点距离要测量记录好；
2)、确定正常的相机拍照工作Z向范围；首先确定好最近位置Z1和最远位置Zn，然后再根据需要设定几档中间位置，一般十档；
3)、调整机器人使相机处于正常的工作拍照位姿上，且使当前焊枪TCP点，且使最近位置图像测量范围正好处在相机视域正中；
4)、当相机处于Z1位置，拍照、编号保存图像，同时分别用直尺和点激光测量出相机距离图像平面的距离，记录下当前点激光距离数据和点激光距离修正偏差值到标定文件中；
5)、移动机器人到Z2位置，用点激光测量距离，拍照、编号保存；
6)、重复动作5到最远距离Zn；
7)、在取得全部设定Z值位置的图像后，需要对每张图像上标定原点和标定测量进行位置记录和换算，创建出标定原点相对图像原点的像素坐标(Px,Py)和标定测量点的像素坐标值与实际物理长度的比例关系(ScaleX1,ScaleX2,ScaleY1,ScaleY2)；
8)、每张图像标定后至少包含这几个参数(Z,Px,Py,ScaleX1,ScaleX2,ScaleY1,ScaleY2)，这样一组标定数据的组合即为图像插值模型；
9)、对于一些精度要求高的场景，可以以标定原点为中心按360度等分方式创建插值模型，参数调整为(Z,Px,Py,d1,Scale1,…,dn,Scalen)，其中d1～dn为标定测量点距离标定原点的距离，Scale1～Scalen为该点长度比例系数。
S5、在相机视线基本垂直于目标面的情况下，此方法可以获得任意平面上某一点的三维坐标值。
S6、根据需要，对一些有高精度需求的场景(如：焊接)，可以同时加装线激光，采用线激光取点技术对目标点进一步进行取点校核纠偏。
S7、本方法即可以动态跟踪目标点的三维坐标值，也可以静态对不同位置拍下的照片进行后期目标点任意获取。
目标点的取值计算方法如下(如图3所示)：
1)、上图为相机在某一Z位置所拍照片，在图像插值模型中进行参数插值，获得标定原点的像素坐标值P0(X,Y)、X向比例系数ScaleX、Y向比例系数ScaleY和拍照时焊枪TCP点距离图像平面的距离Zn。
2)、待测点实际长度值：
距离dx＝(Pn.X-P0.X)*ScaleX
距离dy＝(Pn.Y-P0.Y)*ScaleY
距离dz＝点激光测量距离–焊枪TCP点的Z值
3)、当前测量点对应机器人坐标系的点坐标值为：
Pb＝[T]*Pc，
其中，[T]为当前机器人焊枪TCP点位姿矩阵；Pc为图像上点相对于焊枪TCP点偏移量，即Pc(dx,dy,dz)；Pb为焊枪工具坐标系下点左乘转换矩阵后的机器人基座坐标系下三维坐标点。
实施例二：
请参阅图4和图6，一种用于机器人场景提取信息的摄像头对接支架辅助装置，包括撑板机构1，撑板机构1的内部包括底座111，底座111的顶部贯穿连接有叠板112，叠板112的侧壁处贯穿连接有支撑架113，撑板机构1的顶部贯穿连接有活动圈2，活动圈2的内侧壁处滑动连接有罐推机构3，罐推机构3的内部包括扩张筒311，扩张筒311的内侧壁轴心处贯穿连接有叠加网312，叠加网312的内侧壁轴心处贯穿连接有中心柱315，扩张筒311的侧壁之间贯穿连接有滚珠314，滚珠314的顶侧壁处贯穿连接有支杆313，活动圈2的侧壁底端贯穿连接有连接圈9，活动圈2的内侧壁中部贯穿连接有活动盘6，活动盘6的侧壁处贯穿连接有活动杆7，活动盘6的侧壁轴心处贯穿连接有晃动机构8，晃动机构8的内部贯穿连接有弧形杆4，弧形杆4的底侧壁处贯穿连接有戳杆5。
其中，叠加网312的侧壁活动连接于弧形杆4的外侧壁处，当罐推机构3的侧壁滑动至活动圈2的内部时，叠加网312的侧壁可卷起裹在弧形杆4的外侧壁处。
其中，活动杆7的底端滑动连接于活动圈2的内侧壁底端，活动杆7的顶端随活动盘6的侧壁活动时，活动杆7的底端就可在活动圈2的内侧壁处来回滑动。
罐推机构3的侧壁顺着活动圈2的内侧壁处滑动，扩张筒311的外端可在活动圈2的内侧壁处刮动，将活动圈2的内侧壁处往外扩增的同时，可通过扩张筒311的侧壁来对活动圈2的内侧壁处进行支撑，横向纹路和竖向纹路的交叉接触，可避免过度紧密连接造成的卡死，同时又可避免因过度顺滑而在坐标定位的过程中滑动移位。
实施例三：
请参阅图4-5，一种用于机器人场景提取信息的摄像头对接支架辅助装置，包括撑板机构1，撑板机构1的顶部贯穿连接有活动圈2，活动圈2的内侧壁处滑动连接有罐推机构3，罐推机构3的内部包括扩张筒311，扩张筒311的内侧壁轴心处贯穿连接有叠加网312，叠加网312的内侧壁轴心处贯穿连接有中心柱315，扩张筒311的侧壁之间贯穿连接有滚珠314，滚珠314的顶侧壁处贯穿连接有支杆313，活动圈2的侧壁底端贯穿连接有连接圈9，活动圈2的内侧壁中部贯穿连接有活动盘6，活动盘6的侧壁处贯穿连接有活动杆7，活动盘6的侧壁轴心处贯穿连接有晃动机构8，晃动机构8的内部包括不倒座811，不倒座811的顶端贯穿连接有弹力叠圈812，晃动机构8的内部贯穿连接有弧形杆4，弧形杆4的底侧壁处贯穿连接有戳杆5。
其中，戳杆5的底端滑动连接于活动盘6的顶侧壁处，弧形杆4的侧壁向下按压时，可带动戳杆5的侧壁向活动盘6的侧壁处按压变动角度
其中，弧形杆4靠近晃动机构8的一端贯穿连接于不倒座811的内侧壁底部，不倒座811的侧壁围绕活动盘6的轴心旋转的过程中可带动弧形杆4的侧壁底部顺时针扫动。
其中，弧形杆4的侧壁处滑动连接于弹力叠圈812的顶侧壁处，弧形杆4的侧壁被压制接近横向时，弧形杆4的侧壁会在弹力叠圈812的侧壁处按压弹回。
弧形杆4的侧壁被压制最低点时会受到弹力叠圈812向上顶起，使得罐推机构3的外部整体侧壁在脱离活动圈2的内侧壁处时，能够顺着弧形杆4的侧壁处向外滑动，弧形杆4的侧壁可快速恢复至活动圈2内侧壁顶端位置对其内壁进行支撑，避免对接和分离的过程中出现活动圈2的内壁过度变形而内卷的状况。
实施例四：
请参阅图4-6，一种用于机器人场景提取信息的摄像头对接支架辅助装置，包括撑板机构1，撑板机构1的内部包括底座111，底座111的顶部贯穿连接有叠板112，叠板112的侧壁处贯穿连接有支撑架113，撑板机构1的顶部贯穿连接有活动圈2，活动圈2的内侧壁处滑动连接有罐推机构3，罐推机构3的内部包括扩张筒311，扩张筒311的内侧壁轴心处贯穿连接有叠加网312，叠加网312的内侧壁轴心处贯穿连接有中心柱315，扩张筒311的侧壁之间贯穿连接有滚珠314，滚珠314的顶侧壁处贯穿连接有支杆313，活动圈2的侧壁底端贯穿连接有连接圈9，活动圈2的内侧壁中部贯穿连接有活动盘6，活动盘6的侧壁处贯穿连接有活动杆7，活动盘6的侧壁轴心处贯穿连接有晃动机构8，晃动机构8的内部包括不倒座811，不倒座811的顶端贯穿连接有弹力叠圈812，晃动机构8的内部贯穿连接有弧形杆4，弧形杆4的底侧壁处贯穿连接有戳杆5。
其中，戳杆5的底端滑动连接于活动盘6的顶侧壁处，弧形杆4的侧壁向下按压时，可带动戳杆5的侧壁向活动盘6的侧壁处按压变动角度。
其中，弧形杆4靠近晃动机构8的一端贯穿连接于不倒座811的内侧壁底部，不倒座811的侧壁围绕活动盘6的轴心旋转的过程中可带动弧形杆4的侧壁底部顺时针扫动。
其中，弧形杆4的侧壁处滑动连接于弹力叠圈812的顶侧壁处，弧形杆4的侧壁被压制接近横向时，弧形杆4的侧壁会在弹力叠圈812的侧壁处按压弹回。
其中，叠加网312的侧壁活动连接于弧形杆4的外侧壁处，当罐推机构3的侧壁滑动至活动圈2的内部时，叠加网312的侧壁可卷起裹在弧形杆4的外侧壁处。
其中，活动杆7的底端滑动连接于活动圈2的内侧壁底端，活动杆7的顶端随活动盘6的侧壁活动时，活动杆7的底端就可在活动圈2的内侧壁处来回滑动。
工作原理：在使用时，如图4和图6所示，调整活动圈2的侧壁处，活动圈2的底端位于撑板机构1的顶侧滑动，活动圈2的侧壁处在撑板机构1的顶部来回移动时，活动圈2的内侧壁会有一定程度的变形，而活动圈2的内侧壁处呈弯曲的弧形状态，因此当活动圈2的侧壁微微有形变时，就会将活动盘6的侧壁向下挤压滑动，活动盘6的侧壁出现摆动时，其侧壁就会在活动盘6的侧壁处来回摇摆，将活动杆7的顶端带动，使得活动杆7的底端顺着活动圈2的内侧壁处来回滑动，由于活动杆7的底端开口呈向两侧端，将活动圈2的侧壁向两端推动，此时，活动圈2的底侧壁横向延伸，而活动圈2的顶端会受到底端的影响而缩小，此时活动圈2的内侧壁处会向下按压支杆313的顶端，支杆313的底端向下推动滚珠314，滚珠314穿插在扩张筒311的侧壁中，扩张筒311的侧壁张开后，扩张筒311靠近中心柱315的位置可向内挤压，将叠加网312的侧壁处挤压折叠后内缩，此时罐推机构3的整体进入到活动圈2的内侧壁处，罐推机构3的侧壁顺着活动圈2的内侧壁处滑动，扩张筒311的外端可在活动圈2的内侧壁处刮动，将活动圈2的内侧壁处往外扩增的同时，可通过扩张筒311的侧壁来对活动圈2的内侧壁处进行支撑，横向纹路和竖向纹路的交叉接触，可避免过度紧密连接造成的卡死，同时又可避免因过度顺滑而在坐标定位的过程中滑动移位；
如图4-5所示，罐推机构3的外侧壁进入到活动圈2的内侧壁处时，叠加网312的侧壁包裹柱弧形杆4的外侧壁处，此时弧形杆4的侧壁处受到横向拉扯后，弧形杆4的侧壁拉扯戳杆5的底端在活动盘6的顶侧壁处横向滑动，晃动机构8的侧壁顺着弧形杆4的侧壁顺时针旋转后，不倒座811的侧壁左右晃动，弧形杆4的侧壁被压制最低点时会受到弹力叠圈812向上顶起，使得罐推机构3的外部整体侧壁在脱离活动圈2的内侧壁处时，能够顺着弧形杆4的侧壁处向外滑动，弧形杆4的侧壁可快速恢复至活动圈2内侧壁顶端位置对其内壁进行支撑，避免对接和分离的过程中出现活动圈2的内壁过度变形而内卷的状况。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.一种用于机器人场景从图像提取三维坐标值的方法，其特征在于：包括以下步骤：
S1、对相机距离目标面不同高度(Z)下XY平面图像进行分层建模，采样图像Z向间隔根据使用需求适当加密，一般取十档，形成图像插值模型。插值模型数据结构主要包括相机镜头距离目标面的距离Z、原点在图像上的像素XY位置、像素与物理长度之间X向比例系数和Y向比例系数等；
S2、相机和点激光固定安装在机器人末端的适合位置上，保持点激光的方向与相机视线平行；
S3、在拍照姿态下移动机器人及附加轴，使实时的图像中心十字线落到目标点上；
S4、打开点激光测距，把目标点位置距离相机的Z值发送给图像插值模型，结合当前附加轴和机器人TCP的末端位姿值，计算出当前图像平面上目标点的真实坐标值，同时记录不同坐标系下的点值，一般为世界坐标系和工件坐标系；
S5、在相机视线基本垂直于目标面的情况下，此方法可以获得任意平面上某一点的三维坐标值；
S6、根据需要，对一些有高精度需求的场景(如：焊接)，可以同时加装线激光，采用线激光取点技术对目标点进一步进行取点校核纠偏；
S7、本方法即可以动态跟踪目标点的三维坐标值，也可以静态对不同位置拍下的照片进行后期目标点任意获取。
2.根据权利要求1中所述的一种用于机器人场景从图像提取三维坐标值的方法，其特征在于：其中相机和点激光安装位置的步骤如下：
1)、相机镜头平面与点激光基准0位尽量平齐，若有安装偏差需要记录修正参数值；
2)、点激光中心线安装时与焊枪工具基本平行，减少后续计算修正；
3)、点激光与相机组合装置固定安装在夹持器。
3.根据权利要求1中所述的一种用于机器人场景从图像提取三维坐标值的方法，其特征在于：其中创建图像插值模型的步骤如下：
1)、选择一块平面区域，用记号笔在平板上画一个十字线，使十字线与机器人的X向、Y向移动方向基本一致；把十字线交叉点设为标定原点，其它轴线上各设置一个标定测量点，测量点到标定原点距离要测量记录好；
2)、确定正常的相机拍照工作Z向范围；首先确定好最近位置Z1和最远位置Zn，然后再根据需要设定几档中间位置，一般十档；
3)、调整机器人使相机处于正常的工作拍照位姿上，且使当前焊枪TCP点，且使最近位置图像测量范围正好处在相机视域正中；
4)、当相机处于Z1位置，拍照、编号保存图像，同时分别用直尺和点激光测量出相机距离图像平面的距离，记录下当前点激光距离数据和点激光距离修正偏差值到标定文件中；
5)、移动机器人到Z2位置，用点激光测量距离，拍照、编号保存；
6)、重复动作5到最远距离Zn；
7)、在取得全部设定Z值位置的图像后，需要对每张图像上标定原点和标定测量进行位置记录和换算，创建出标定原点相对图像原点的像素坐标(Px,Py)和标定测量点的像素坐标值与实际物理长度的比例关系(ScaleX1,ScaleX2,ScaleY1,ScaleY2)；
8)、每张图像标定后至少包含这几个参数(Z,Px,Py,ScaleX1,ScaleX2,ScaleY1,ScaleY2)，这样一组标定数据的组合即为图像插值模型；
9)、对于一些精度要求高的场景，可以以标定原点为中心按360度等分方式创建插值模型，参数调整为(Z,Px,Py,d1,Scale1,…,dn,Scalen)，其中d1～dn为标定测量点距离标定原点的距离，Scale1～Scalen为该点长度比例系数。
4.根据权利要求1中所述的一种用于机器人场景从图像提取三维坐标值的方法，其特征在于：其中目标点的取值计算方法如下：
1)、上图为相机在某一Z位置所拍照片，在图像插值模型中进行参数插值，获得标定原点的像素坐标值P0(X,Y)、X向比例系数ScaleX、Y向比例系数ScaleY和拍照时焊枪TCP点距离图像平面的距离Zn；
2)、待测点实际长度值：
距离dx＝(Pn.X-P0.X)*ScaleX
距离dy＝(Pn.Y-P0.Y)*ScaleY
距离dz＝点激光测量距离–焊枪TCP点的Z值
3)、当前测量点对应机器人坐标系的点坐标值为：
Pb＝[T]*Pc，
其中，[T]为当前机器人焊枪TCP点位姿矩阵；Pc为图像上点相对于焊枪TCP点偏移量，即Pc(dx,dy,dz)；Pb为焊枪工具坐标系下点左乘转换矩阵后的机器人基座坐标系下三维坐标点。
5.一种如权利要求1所述的用于机器人场景提取信息的摄像头对接支架辅助装置，包括撑板机构(1)，其特征在于：所述撑板机构(1)的顶部贯穿连接有活动圈(2)，活动圈(2)的内侧壁处滑动连接有罐推机构(3)，罐推机构(3)的内部包括扩张筒(311)，扩张筒(311)的内侧壁轴心处贯穿连接有叠加网(312)，叠加网(312)的内侧壁轴心处贯穿连接有中心柱(315)，所述扩张筒(311)的侧壁之间贯穿连接有滚珠(314)，滚珠(314)的顶侧壁处贯穿连接有支杆(313)，所述活动圈(2)的侧壁底端贯穿连接有连接圈(9)，活动圈(2)的内侧壁中部贯穿连接有活动盘(6)，活动盘(6)的侧壁处贯穿连接有活动杆(7)，活动盘(6)的侧壁轴心处贯穿连接有晃动机构(8)，晃动机构(8)的内部贯穿连接有弧形杆(4)，弧形杆(4)的底侧壁处贯穿连接有戳杆(5)，所述晃动机构(8)的内部包括不倒座(811)，不倒座(811)的顶端贯穿连接有弹力叠圈(812)。
6.根据权利要求5所述的一种用于机器人场景提取信息的摄像头对接支架辅助装置，其特征在于：所述撑板机构(1)的内部包括底座(111)，底座(111)的顶部贯穿连接有叠板(112)，叠板(112)的侧壁处贯穿连接有支撑架(113)。
7.根据权利要求5所述的一种用于机器人场景提取信息的摄像头对接支架辅助装置，其特征在于：所述戳杆(5)的底端滑动连接于活动盘(6)的顶侧壁处，所述弧形杆(4)靠近晃动机构(8)的一端贯穿连接于不倒座(811)的内侧壁底部。
8.根据权利要求5所述的一种用于机器人场景提取信息的摄像头对接支架辅助装置，其特征在于：所述弧形杆(4)的侧壁处滑动连接于弹力叠圈(812)的顶侧壁处，所述叠加网(312)的侧壁活动连接于弧形杆(4)的外侧壁处。
9.根据权利要求5所述的一种用于机器人场景提取信息的摄像头对接支架辅助装置，其特征在于：所述活动杆(7)的底端滑动连接于活动圈(2)的内侧壁底端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110798597.9A CN113379851B (zh) | 2021-07-16 | 2021-07-16 | 一种用于机器人场景从图像提取三维坐标值的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110798597.9A CN113379851B (zh) | 2021-07-16 | 2021-07-16 | 一种用于机器人场景从图像提取三维坐标值的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113379851A true CN113379851A (zh) | 2021-09-10 |
| CN113379851B CN113379851B (zh) | 2024-05-24 |
Family
ID=77582112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110798597.9A Active CN113379851B (zh) | 2021-07-16 | 2021-07-16 | 一种用于机器人场景从图像提取三维坐标值的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113379851B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030052878A1 (en) * | 2001-06-29 | 2003-03-20 | Samsung Electronics Co., Ltd. | Hierarchical image-based representation of still and animated three-dimensional object, method and apparatus for using this representation for the object rendering |
| CN101853528A (zh) * | 2010-05-10 | 2010-10-06 | 沈阳雅克科技有限公司 | 一种手持式三维型面信息提取方法及其提取仪 |
| CN102003938A (zh) * | 2010-10-11 | 2011-04-06 | 中国人民解放军信息工程大学 | 大型高温锻件热态在位检测方法 |
| US20110169777A1 (en) * | 2010-01-12 | 2011-07-14 | Seiko Epson Corporation | Image processing apparatus, image display system, and image processing method |
| CN103337094A (zh) * | 2013-06-14 | 2013-10-02 | 西安工业大学 | 一种应用双目摄像机实现运动三维重建的方法 |
| US20160260204A1 (en) * | 2013-11-14 | 2016-09-08 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus |
| CN107944086A (zh) * | 2017-10-27 | 2018-04-20 | 江苏普旭软件信息技术有限公司 | 一种基于钻孔数据的快速建模方法 |
| CN111127642A (zh) * | 2019-12-31 | 2020-05-08 | 杭州电子科技大学 | 一种人脸三维重建方法 |
-
2021
- 2021-07-16 CN CN202110798597.9A patent/CN113379851B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030052878A1 (en) * | 2001-06-29 | 2003-03-20 | Samsung Electronics Co., Ltd. | Hierarchical image-based representation of still and animated three-dimensional object, method and apparatus for using this representation for the object rendering |
| US20110169777A1 (en) * | 2010-01-12 | 2011-07-14 | Seiko Epson Corporation | Image processing apparatus, image display system, and image processing method |
| CN101853528A (zh) * | 2010-05-10 | 2010-10-06 | 沈阳雅克科技有限公司 | 一种手持式三维型面信息提取方法及其提取仪 |
| CN102003938A (zh) * | 2010-10-11 | 2011-04-06 | 中国人民解放军信息工程大学 | 大型高温锻件热态在位检测方法 |
| CN103337094A (zh) * | 2013-06-14 | 2013-10-02 | 西安工业大学 | 一种应用双目摄像机实现运动三维重建的方法 |
| US20160260204A1 (en) * | 2013-11-14 | 2016-09-08 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus |
| CN107944086A (zh) * | 2017-10-27 | 2018-04-20 | 江苏普旭软件信息技术有限公司 | 一种基于钻孔数据的快速建模方法 |
| CN111127642A (zh) * | 2019-12-31 | 2020-05-08 | 杭州电子科技大学 | 一种人脸三维重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 高登;: "基于非定标图像序列的三维重建", 科技信息(学术研究), no. 12 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113379851B (zh) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106426172B (zh) | 一种工业机器人工具坐标系的标定方法与系统 | |
| CN107471218B (zh) | 一种基于多目视觉的双臂机器人手眼协调方法 | |
| CN110728715A (zh) | 一种智能巡检机器人像机角度自适应调整方法 | |
| CN106097300A (zh) | 一种基于高精度运动平台的多相机标定方法 | |
| CN105196292B (zh) | 一种基于迭代变时长视觉伺服控制方法 | |
| CN111192307A (zh) | 基于激光切割三维零部件的自适应纠偏方法 | |
| CN101261738A (zh) | 一种基于双一维靶标的摄像机标定方法 | |
| CN106530276A (zh) | 一种用于非标准件抓取的机械手定位方法以及定位系统 | |
| CN108986070A (zh) | 一种基于高速视频测量的岩石裂缝扩展实验监测方法 | |
| CN105965519A (zh) | 一种视觉引导下的离合器下料定位方法 | |
| JPWO2005010817A1 (ja) | 画像処理装置 | |
| JP6855491B2 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
| CN111754462A (zh) | 一种三维弯管的视觉检测方法及系统 | |
| CN105279775A (zh) | 机器手臂的校正装置及方法 | |
| CN114289332A (zh) | 工件分拣的视觉识别与定位方法、装置及分拣系统 | |
| CN111571082A (zh) | 自动焊接方法、装置、移动终端和可读存储介质 | |
| CN107192375A (zh) | 一种基于航拍姿态的无人机多帧图像自适应定位校正方法 | |
| CN105374067A (zh) | 一种基于pal相机的三维重建方法及其重建系统 | |
| CN110927172B (zh) | 一种飞机整体油箱密封胶漏涂在线检测装置及方法 | |
| CN114434036B (zh) | 用于大型船舶结构件龙门式机器人焊接的三维视觉系统及运行方法 | |
| KR100694320B1 (ko) | 길이 측정장치 및 방법 | |
| CN102990177B (zh) | 一种提高自动焊锡机器人编程速度和精度的方法 | |
| CN113379851A (zh) | 一种用于机器人场景从图像提取三维坐标值的方法 | |
| CN103228107A (zh) | 位置校正装置及使用该位置校正装置的位置校正方法 | |
| CN110202581A (zh) | 机器人末端执行器工作误差的补偿方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |