CN113706621B - 基于带标记图像的标志点定位及姿态获取方法和系统 - Google Patents
基于带标记图像的标志点定位及姿态获取方法和系统 Download PDFInfo
- Publication number
- CN113706621B CN113706621B CN202111267159.6A CN202111267159A CN113706621B CN 113706621 B CN113706621 B CN 113706621B CN 202111267159 A CN202111267159 A CN 202111267159A CN 113706621 B CN113706621 B CN 113706621B
- Authority
- CN
- China
- Prior art keywords
- point
- mark
- point cloud
- image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims abstract description 36
- 238000006243 chemical reaction Methods 0.000 claims abstract description 24
- 230000009466 transformation Effects 0.000 claims abstract description 19
- 238000013519 translation Methods 0.000 claims abstract description 7
- 230000036544 posture Effects 0.000 claims description 45
- 239000003550 marker Substances 0.000 claims description 35
- 101000581507 Homo sapiens Methyl-CpG-binding domain protein 1 Proteins 0.000 claims description 12
- 101001134861 Homo sapiens Pericentriolar material 1 protein Proteins 0.000 claims description 12
- 102100027383 Methyl-CpG-binding domain protein 1 Human genes 0.000 claims description 12
- 101150033318 pcm2 gene Proteins 0.000 claims description 10
- 101150090128 PCM1 gene Proteins 0.000 claims description 7
- 101100520094 Methanosarcina acetivorans (strain ATCC 35395 / DSM 2834 / JCM 12185 / C2A) pcm2 gene Proteins 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005201 scrubbing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 235000010692 trans-unsaturated fatty acids Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于带标记图像的标志点定位及姿态获取方法和系统,包括:步骤1:对标志图像进行编码,对内层图形和外层图形进行定义;步骤2:进行标志识别,建立标志图像平面坐标系;步骤3:以目标点作为参考,计算支架到目标点的转换关系,计算针对目标点的姿态;步骤4:通过迭代最近点算法进行点云匹配,实时计算姿态;步骤5:通过相机对待测目标进行拍摄,记录区域点云为目标点云,计算旋转平移矩阵并进行刚性变换,得到目标标志点云。本发明结合标志点定位,可以预设自定义清洁方式,通过标志点姿态定位可以对不同复杂动作进行模仿迁移。
Description
技术领域
本发明涉及图像处理技术领域,具体地,涉及一种基于带标记图像的标志点定位及姿态获取方法和系统。
背景技术
对于一个物体,或平面清洁流程常可看作是一个标准化的工作。同时也是一个工作量大,重复性高,工作质量需要保证的工作。在这个前提下,使用可活动机械臂,或者操作台操作可适用于清洁大部分流程。而准确清洁的前提,通常是需要对目标或平面的一个充分理解,即它们的结构,位置,以何种姿势清洁。因此,机械臂,或者操作台与环境的交互需要3d点与姿态进行引导。其中,姿态的获取对于机器人清洁复杂形态表面,以及场景中凹陷角落时候的避障尤为重要。通过视觉图像处理,目标识别以及3d点云匹配融合等方法,可以对场景建立3d模型以用于识别定位环境中的目标或位置区域。而目标识别定位通常需要大量前置工作。如深度学习识别目标分割点云,需要大量的训练数据,前期准备时间很长,不适用于快节奏的工业化生产。
专利文献CN110017841A(申请号:CN201910395985.5)公开了一种视觉定位方法,包括以下步骤:S1:预先获取需定位环境内的标志物的图像,并建立包含所述标志物的图像的标志物数据库;S2:通过智能设备采集需定位环境内标志物的待识别图像,将所述待识别图像与标志物数据库内的图像进行图像匹配,根据匹配到的图像中已知的几何特征计算得到当前位置;S3:将当前位置标记在电子地图上对应的位置处或输出当前位置至预设应用中。然而该专利在室内场景的3d视觉下交互关系复杂,由于传感器精度,场景复杂度的变化,不同姿态获取会有一定的局限性。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于带标记图像的标志点定位及姿态获取方法和系统。
根据本发明提供的基于带标记图像的标志点定位及姿态获取方法,包括:
步骤1:对标志图像进行编码,所述标志图像包括内层图形和外层图形,对内层图形和外层图形进行定义;
步骤2:进行标志识别,建立标志图像平面坐标系;
步骤3:以目标点作为参考,计算支架到目标点的转换关系,计算针对目标点的姿态;
步骤4:通过迭代最近点算法icp进行点云匹配,实时计算姿态,记录区域点云为源点云PCS,标志部分点云为源标志点云PCM1;
步骤5:通过相机对待测目标进行拍摄,记录区域点云为目标点云PCT,计算出PCT到PCS的旋转平移矩阵T,并进行刚性变换,得到目标标志点云PCM2。
优选的,标志图像的内层图形为方形,采用二进制编码,显示为二值图像;标志图像的外层图形为以内层图形的方形质心为圆心、方形的对角线为直径的圆;
对拍摄的彩色图进行高斯滤波,将拍摄的深度图像和滤波后的彩色图像对齐;
采用椭圆轮廓检测标志外部轮廓,椭圆内圈为方形检测,对二值图像进行二进制解码,若解码成功则为正确目标。
优选的,相机装在夹爪末端,通过手眼标定得到相机坐标系到夹爪末端坐标系转换关系,夹爪长度代表夹爪末端到夹爪平面的关系,保持夹爪平面坐标系x、y轴与标志平面x、y轴方向相同,z轴方向相反,得到夹爪朝标志平面的姿态;
通过活动支架将任意两个标志连接起来,通过调整其中一个标志的空间位置,设计夹爪运动到另一个标志的姿态。
优选的,在不同区域放置不同标志物对,并记录标志物对的数量;
通过机器人导航移动到预设拍摄点,对目标区域拍摄,得到局部点云,每个标志物质心为目标点云,记录每个质心点对应的坐标以及姿态。
优选的,控制机器人通过导航移动到拍摄点P,由于导航误差,记机器人走到拍摄点Pt,以相同姿态对目标区域拍摄,得到局部点云PCT,运用点到面icp算法匹配,公式为:
其中,t是PCT中的一点,nt是t点的法向量,s是PCS中的一点,t、s是一对匹配点,M为点云范围;
其中,r(T)为剩余函数,ρ(r)为损失函数,i为序列号,N为点云总数,损失函数选用TurkeyLoss:
r为剩余值,k为预设阈值;
将权重函数设为:
则把损失函数问题用权重最小二乘法来解:
粗匹配,限定条件t,s最大距离为3厘米,计算E使得所有t,s集合距离小于3,停止迭代,得到第一个转换矩阵T_coarse;
细匹配,以第一个矩阵T_coarse为点云PCS初始位置,限定t,s间最大距离为3毫米,重复进行粗匹配,最终得到矩阵T;
PCM1通过矩阵T变换得到PCM2,PCM1各点对应的姿态通过矩阵T变换得到PCM2各点的姿态。
根据本发明提供的基于带标记图像的标志点定位及姿态获取系统,包括:
模块M1:对标志图像进行编码,所述标志图像包括内层图形和外层图形,对内层图形和外层图形进行定义;
模块M2:进行标志识别,建立标志图像平面坐标系;
模块M3:以目标点作为参考,计算支架到目标点的转换关系,计算针对目标点的姿态;
模块M4:通过迭代最近点算法icp进行点云匹配,实时计算姿态,记录区域点云为源点云PCS,标志部分点云为源标志点云PCM1;
模块M5:通过相机对待测目标进行拍摄,记录区域点云为目标点云PCT,计算出PCT到PCS的旋转平移矩阵T,并进行刚性变换,得到目标标志点云PCM2。
优选的,标志图像的内层图形为方形,采用二进制编码,显示为二值图像;标志图像的外层图形为以内层图形的方形质心为圆心、方形的对角线为直径的圆;
对拍摄的彩色图进行高斯滤波,将拍摄的深度图像和滤波后的彩色图像对齐;
采用椭圆轮廓检测标志外部轮廓,椭圆内圈为方形检测,对二值图像进行二进制解码,若解码成功则为正确目标。
优选的,相机装在夹爪末端,通过手眼标定得到相机坐标系到夹爪末端坐标系转换关系,夹爪长度代表夹爪末端到夹爪平面的关系,保持夹爪平面坐标系x、y轴与标志平面x、y轴方向相同,z轴方向相反,得到夹爪朝标志平面的姿态;
通过活动支架将任意两个标志连接起来,通过调整其中一个标志的空间位置,设计夹爪运动到另一个标志的姿态。
优选的,在不同区域放置不同标志物对,并记录标志物对的数量;
通过机器人导航移动到预设拍摄点,对目标区域拍摄,得到局部点云,每个标志物质心为目标点云,记录每个质心点对应的坐标以及姿态。
优选的,控制机器人通过导航移动到拍摄点P,由于导航误差,记机器人走到拍摄点Pt,以相同姿态对目标区域拍摄,得到局部点云PCT,运用点到面icp算法匹配,公式为:
其中,t是PCT中的一点,nt是t点的法向量,s是PCS中的一点,t、s是一对匹配点,M为点云范围;
其中,r(T)为剩余函数,ρ(r)为损失函数,i为序列号,N为点云总数,损失函数选用TurkeyLoss:
r为剩余值,k为预设阈值;
将权重函数设为:
则把损失函数问题用权重最小二乘法来解:
粗匹配,限定条件t,s最大距离为3厘米,计算E使得所有t,s集合距离小于3,停止迭代,得到第一个转换矩阵T_coarse;
细匹配,以第一个矩阵T_coarse为点云PCS初始位置,限定t,s间最大距离为3毫米,重复进行粗匹配,最终得到矩阵T;
PCM1通过矩阵T变换得到PCM2,PCM1各点对应的姿态通过矩阵T变换得到PCM2各点的姿态。
与现有技术相比,本发明具有如下的有益效果:
(1)本发明结合标志点定位,可以预设自定义清洁方式,如刮刀清洁镜子的时候,需要s型路径并有一定擦拭经验需求,标志点姿态定位可以对不同复杂动作进行模仿迁移;
(2)本发明对于比较难检测和擦洗的部位可以提前设置清洁姿态;
(3)通过本发明,在环境改变时只需改变标记点放置方式即可迁移复制清洁流程。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为二进制编码图;其中,图1a、图1b为应用不同高斯噪声的二值图像;图1c为外部以标志方形质心为圆心,直径为半径做圆的二进制编码图;
图2为标志明面坐标图示意图;其中,图2a为建立在标志物上的坐标系;图2b为深度图上的任意点到彩色图像上点的映射图;
图3为平面坐标变换图示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例:
根据本发明提供的基于带标记图像的标志点定位及姿态获取方法,此方法首先设计一个自定义标志图形,然后在待擦拭物体、或者清洁表面布置带标志图形的标志物。之后对此物体或表面进行拍摄,可以在得到代表物体或表面的3d结构点云的同时对标志物区域进行位置和姿态标记。标志物3d点云和姿态可以作为机械臂,控制机床的擦洗方式依据。此方法分为以下5个步骤:
步骤1:对标志图像进行编码,对内层图形和外层图形进行定义;
步骤2:进行标志识别,建立标志图像平面坐标系;
步骤3:目标点放置标志1,支架放置标志2,以标志1作为参考计算标志2到标志1的转换关系,计算针对标志1的姿态;
步骤4:通过迭代最近点算法进行点云匹配,实时计算姿态。通过icp点到面点云匹匹配。对待匹配区域进行模型的获取。记录区域点云为源点云PCS,标志部分点云为源标志点云PCM1。
步骤5:对待测目标拍摄,记录区域点云为目标点云PCT。通过icp点到面点云匹配,计算出PCT到PCS的旋转平移矩阵TransMat。由于标志点云PCM1内部是刚体结构,可进行刚性变换TransMat,求得目标标志点云PCM2。
所述步骤1包括:
(1)内部方形采用二进制编码,显示为二值图像。由于拍摄的3d相机是双目激光点阵原理,对二值图像手动添加噪声可提高相机拍摄标志物时特征点的获取度,从而提高深度信息的稳定性和丰富性(通过提高特征点数量)。如图1a和图1b所示(本文应用噪声类型为高斯噪声(平均值0,方差0.05),不限于此噪声);
(2)外部以标志方形质心为圆心,直径为半径做圆。如图1c所示,假设圆上四个点以上方点为起点沿顺时针方向记为点ABCD。则无论拍摄角度,得到的彩色图像中,AB,BC,CD,DA连线的中点经过内部方形标志物四个角点(增强角点获取的稳定性)。
所述步骤2包括:
(1)相机拍摄深度图与彩色图记作。用于先前标志物添加高斯噪声,因此对彩色图进行高斯滤波得到待测彩色图像。
(2)采用椭圆轮廓检测标志外部大圆轮廓以及四个小圆轮廓。椭圆内圈为方形检测,对二值图像进行二进制解码,若解码成功则为正确目标。计算方形覆盖区域mask。两两连接四个小圆质心并求中点得到二进制标志在2d图像上的四个角点,记为C0(起始点),C1,C2,C3。
(3)标志物坐标系可用以下两种方式建立:
A:假设相机坐标系下目标点O0,O1,O2,O3和C0,C1,C2,C3一一对应,标志物半径为l_marker。则可假设坐标:O0 = -l_marker / 2.f, l_marker / 2.f, 0);O1=l_marker /2.f, l_marker / 2.f, 0);O2=l_marker / 2.f, -l_marker / 2.f, 0);O3=-l_marker /2.f, -l_marker / 2.f, 0)。由于z轴方向距离为0,O点集合可以看作在相机传感器平面上的四个点,且它们的质心在传感器平面的中心。C点代表标志物在彩色图像上的坐标。R和T代表了将点的从世界坐标系下映射到相机坐标系下旋转平移矩阵,相机内参系数和畸变系数已知道,则可通过论文Infinitesimal Plane-Based Pose Estimation论文中所著solveSquare求出他们的映射关系。因此,可以以C点集合质心为原点,基于R,T建立在标志物上的坐标系。如图2a所示。
B:深度图像和滤波后的彩色图像对齐。如对于深度图像中的点d,通过深度相机的内参,外参,可计算得到对应的空间点d_xyz。然后通过彩色相机的内参外参投影到彩色图片上的点c_xy。可用上述方法得到深度图上的任意点d_i到彩色图像上点c_xy_i的一一映射,如图2b所示。对于所有在mask区域内的c_i点,可以得到对应d_xyz_i点云集合记为PCM1。用ransac算法拟合PCM1平面,得到平面系数a,b,c及方程ax+by+cy+d=0。则可计算得到C点集合在平面上的投影点记为Cp0,Cp1,Cp2,Cp3。取四个Cp点质心为坐标系原点CpO,Cp0和Cp1中点为Cx,Cp1和Cp2中点为Cy。则可建立以平面系数a,b,c组成的法向量(a,b,c)为z轴,CpO和Cx为x轴,CpO和Cy和y轴的坐标系。
图3为目标标志坐标系一个例子,确定标志点位置已经标志平面xy方向,确定内层图形角点位置,通过透视变换建立平面坐标系。
所述步骤3包括:
(1)重复步骤2。则可得到各个标志物平面坐标系以及对应的R,T矩阵。相机装在夹爪末端,通过手眼标定可得到相机坐标系到夹爪末端坐标系转换关系。夹爪长度代表夹爪末端到夹爪平面的关系。由上诉条件,让夹爪平面坐标系x轴,y轴与标志平面x轴y轴方向相同,z轴方向相反。则可得到夹爪朝标志平面的姿态。
(2)对于某个标志A,得到姿态poseA,那么对于标志B,夹爪则可以以姿态poseA,移动到标志B的四个角点质心处。因此,可用标志A作为姿态参考,标志B为目标位置,设计夹爪以特定姿态到达标志B质心的运动方式。因此只需把任意两个标志m1,m2用可活动支架连接起来,则可通过调整m2的空间位置,设计夹爪运动到m1的姿态。那么针对不同场景,用不同相对关系的标志物即可提前标注夹爪将要运动到目标点位置的姿态。
所述步骤4包括:
(1)标志物摆放,不同擦拭区域放置不同标志物对。记录标志物对的数量。
(2)机器人导航走到拍摄点P,对目标区域拍摄,得到局部点云PCS。每个标志物质心为目标点云PCM1。记录每个质心点对应的坐标表示以及姿态。
所述步骤5包括:
(1)控制机器人通过导航走到拍摄点P,由于导航误差,记机器人走到拍摄点Pt,以相同姿态对目标区域拍摄,得到局部点云PCT。运用点到面icp匹配,如下所示方程:
其中,t是PCT中的一点,nt是t点的法向量,s是PCS中的一点,t,s是一对匹配点。求解最小化E值可得点云PCS到PCT的转换矩阵T。计算时引入损失函数:,可看作是一个关于T的剩余函数r(T)。损失函数的目的是减小r(T)值大的时候的影响提高计算效率及稳定性。即上述方程可记为:
其中ρ(r)为损失函数。损失函数选用TurkeyLoss:
可把权重函数设为:
我们则可把损失函数问题用权重最小二乘法来解。因此,可用牛顿高斯法使E最小来解决上述问题。
(2)粗匹配,限定条件t,s最大距离为3厘米,计算E使得所有t,s集合距离小于3,停止迭代。得到第一个转换矩阵T_coarse。
(3)细匹配,以第一个矩阵T_coarse为点云PCS初始位置,限定t,s间最大距离为3毫米。重复步骤2,得到最终矩阵TransMat。
(4)PCM1和通过TransMat变换可得PCM2。PCM1各点对应的姿态通过TransMat变换可得PCM2各点的姿态。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (8)
1.一种基于带标记图像的标志点定位及姿态获取方法,其特征在于,包括:
步骤1:对标志图像进行编码,所述标志图像包括内层图形和外层图形,对内层图形和外层图形进行定义;
步骤2:进行标志识别,建立标志图像平面坐标系;
步骤3:以目标点作为参考,计算支架到目标点的转换关系,计算针对目标点的姿态;
步骤4:通过迭代最近点算法icp进行点云匹配,实时计算姿态,记录区域点云为源点云PCS,根据区域点云计算得到标志部分点云,标志部分点云为源标志点云PCM1;
步骤5:通过相机对待测目标进行拍摄,记录区域点云为目标点云PCT,计算出PCT到PCS的旋转平移矩阵T,并进行刚性变换,得到目标标志点云PCM2;
标志图像的内层图形为方形,采用二进制编码,显示为二值图像;标志图像的外层图形为以内层图形的方形质心为圆心、方形的对角线为直径的圆;
对拍摄的彩色图进行高斯滤波,将拍摄的深度图像和滤波后的彩色图像对齐;
采用椭圆轮廓检测标志外部轮廓,椭圆内圈为方形检测,对二值图像进行二进制解码,若解码成功则为正确目标。
2.根据权利要求1所述的基于带标记图像的标志点定位及姿态获取方法,其特征在于,相机装在夹爪末端,通过手眼标定得到相机坐标系到夹爪末端坐标系转换关系,夹爪长度代表夹爪末端到夹爪平面的关系,保持夹爪平面坐标系x、y轴与标志平面x、y轴方向相同,z轴方向相反,得到夹爪朝标志平面的姿态;
通过活动支架将任意两个标志连接起来,通过调整其中一个标志的空间位置,设计夹爪运动到另一个标志的姿态。
3.根据权利要求1所述的基于带标记图像的标志点定位及姿态获取方法,其特征在于,在不同区域放置不同标志物对,并记录标志物对的数量;
通过机器人导航移动到预设拍摄点,对目标区域拍摄,得到局部点云,每个标志物质心为目标点云,记录每个质心点对应的坐标以及姿态。
4.根据权利要求1所述的基于带标记图像的标志点定位及姿态获取方法,其特征在于,控制机器人通过导航移动到拍摄点P,由于导航误差,记机器人走到拍摄点Pt,以相同姿态对目标区域拍摄,得到局部点云PCT,运用点到面icp算法匹配,公式为:
其中,r(T)为剩余函数,ρ(r)为损失函数,i为序列号,N为点云总数,损失函数选用TurkeyLoss:
r为剩余值,k为预设阈值;
将权重函数设为:
则把损失函数问题用权重最小二乘法来解:
粗匹配,限定条件t,s最大距离为3厘米,计算E使得所有t,s集合距离小于3,停止迭代,得到第一个转换矩阵T_coarse;
细匹配,以第一个矩阵T_coarse为点云PCS初始位置,限定t,s间最大距离为3毫米,重复进行粗匹配,最终得到矩阵T;
PCM1通过矩阵T变换得到PCM2,PCM1各点对应的姿态通过矩阵T变换得到PCM2各点的姿态。
5.一种基于带标记图像的标志点定位及姿态获取系统,其特征在于,包括:
模块M1:对标志图像进行编码,所述标志图像包括内层图形和外层图形,对内层图形和外层图形进行定义;
模块M2:进行标志识别,建立标志图像平面坐标系;
模块M3:以目标点作为参考,计算支架到目标点的转换关系,计算针对目标点的姿态;
模块M4:通过迭代最近点算法icp进行点云匹配,实时计算姿态,记录区域点云为源点云PCS,根据区域点云计算得到标志部分点云,标志部分点云为源标志点云PCM1;
模块M5:通过相机对待测目标进行拍摄,记录区域点云为目标点云PCT,计算出PCT到PCS的旋转平移矩阵T,并进行刚性变换,得到目标标志点云PCM2;
标志图像的内层图形为方形,采用二进制编码,显示为二值图像;标志图像的外层图形为以内层图形的方形质心为圆心、方形的对角线为直径的圆;
对拍摄的彩色图进行高斯滤波,将拍摄的深度图像和滤波后的彩色图像对齐;
采用椭圆轮廓检测标志外部轮廓,椭圆内圈为方形检测,对二值图像进行二进制解码,若解码成功则为正确目标。
6.根据权利要求5所述的基于带标记图像的标志点定位及姿态获取系统,其特征在于,相机装在夹爪末端,通过手眼标定得到相机坐标系到夹爪末端坐标系转换关系,夹爪长度代表夹爪末端到夹爪平面的关系,保持夹爪平面坐标系x、y轴与标志平面x、y轴方向相同,z轴方向相反,得到夹爪朝标志平面的姿态;
通过活动支架将任意两个标志连接起来,通过调整其中一个标志的空间位置,设计夹爪运动到另一个标志的姿态。
7.根据权利要求5所述的基于带标记图像的标志点定位及姿态获取系统,其特征在于,在不同区域放置不同标志物对,并记录标志物对的数量;
通过机器人导航移动到预设拍摄点,对目标区域拍摄,得到局部点云,每个标志物质心为目标点云,记录每个质心点对应的坐标以及姿态。
8.根据权利要求5所述的基于带标记图像的标志点定位及姿态获取系统,其特征在于,控制机器人通过导航移动到拍摄点P,由于导航误差,记机器人走到拍摄点Pt,以相同姿态对目标区域拍摄,得到局部点云PCT,运用点到面icp算法匹配,公式为:
其中,r(T)为剩余函数,ρ(r)为损失函数,i为序列号,N为点云总数,损失函数选用TurkeyLoss:
r为剩余值,k为预设阈值;
将权重函数设为:
则把损失函数问题用权重最小二乘法来解:
粗匹配,限定条件t,s最大距离为3厘米,计算E使得所有t,s集合距离小于3,停止迭代,得到第一个转换矩阵T_coarse;
细匹配,以第一个矩阵T_coarse为点云PCS初始位置,限定t,s间最大距离为3毫米,重复进行粗匹配,最终得到矩阵T;
PCM1通过矩阵T变换得到PCM2,PCM1各点对应的姿态通过矩阵T变换得到PCM2各点的姿态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111267159.6A CN113706621B (zh) | 2021-10-29 | 2021-10-29 | 基于带标记图像的标志点定位及姿态获取方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111267159.6A CN113706621B (zh) | 2021-10-29 | 2021-10-29 | 基于带标记图像的标志点定位及姿态获取方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113706621A CN113706621A (zh) | 2021-11-26 |
CN113706621B true CN113706621B (zh) | 2022-02-22 |
Family
ID=78647460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111267159.6A Active CN113706621B (zh) | 2021-10-29 | 2021-10-29 | 基于带标记图像的标志点定位及姿态获取方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113706621B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113945217B (zh) * | 2021-12-15 | 2022-04-12 | 天津云圣智能科技有限责任公司 | 航线规划方法、装置、服务器及计算机可读存储介质 |
CN115457088B (zh) * | 2022-10-31 | 2023-03-24 | 成都盛锴科技有限公司 | 一种列车定轴方法及系统 |
CN115497087B (zh) * | 2022-11-18 | 2024-04-19 | 广州煌牌自动设备有限公司 | 一种餐具姿态的识别系统及其方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108562274A (zh) * | 2018-04-20 | 2018-09-21 | 南京邮电大学 | 一种基于标志器的非合作目标位姿测量方法 |
CN109993790A (zh) * | 2017-12-29 | 2019-07-09 | 深圳市优必选科技有限公司 | 标志物、标志物的形成方法、定位方法以及装置 |
CN111775152A (zh) * | 2020-06-29 | 2020-10-16 | 深圳大学 | 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统 |
CN113276106A (zh) * | 2021-04-06 | 2021-08-20 | 广东工业大学 | 一种攀爬机器人空间定位方法及空间定位系统 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104626206B (zh) * | 2014-12-17 | 2016-04-20 | 西南科技大学 | 一种非结构环境下机器人作业的位姿信息测量方法 |
CN107314771B (zh) * | 2017-07-04 | 2020-04-21 | 合肥工业大学 | 基于编码标志点的无人机定位以及姿态角测量方法 |
CN107450885B (zh) * | 2017-07-21 | 2020-09-08 | 上海交通大学 | 一种工业机器人与三维传感器的坐标变换求解方法 |
CN109215016B (zh) * | 2018-08-03 | 2021-02-05 | 湖南科技大学 | 一种编码标志的识别定位方法 |
JP7460633B2 (ja) * | 2018-12-19 | 2024-04-02 | パックサイズ リミティド ライアビリティ カンパニー | コンピュータビジョンを使用する複合視覚検査タスクの連携学習のためのシステムと方法 |
CN110238849B (zh) * | 2019-06-13 | 2021-11-12 | 深圳市汇川技术股份有限公司 | 机器人手眼标定方法及装置 |
CN110530372B (zh) * | 2019-09-26 | 2021-06-22 | 上海商汤智能科技有限公司 | 定位方法、路径确定方法、装置、机器人及存储介质 |
CN111168669B (zh) * | 2019-12-26 | 2021-12-03 | 上海高仙自动化科技发展有限公司 | 机器人控制方法、机器人和可读存储介质 |
CN112509125A (zh) * | 2020-12-14 | 2021-03-16 | 广州迦恩科技有限公司 | 一种基于人工标志物和立体视觉的三维重建方法 |
CN113052903B (zh) * | 2021-03-17 | 2023-03-10 | 浙江大学 | 一种用于移动机器人的视觉与雷达融合定位方法 |
-
2021
- 2021-10-29 CN CN202111267159.6A patent/CN113706621B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109993790A (zh) * | 2017-12-29 | 2019-07-09 | 深圳市优必选科技有限公司 | 标志物、标志物的形成方法、定位方法以及装置 |
CN108562274A (zh) * | 2018-04-20 | 2018-09-21 | 南京邮电大学 | 一种基于标志器的非合作目标位姿测量方法 |
CN111775152A (zh) * | 2020-06-29 | 2020-10-16 | 深圳大学 | 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统 |
CN113276106A (zh) * | 2021-04-06 | 2021-08-20 | 广东工业大学 | 一种攀爬机器人空间定位方法及空间定位系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113706621A (zh) | 2021-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113706621B (zh) | 基于带标记图像的标志点定位及姿态获取方法和系统 | |
CN111775152B (zh) | 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统 | |
US11207781B2 (en) | Method for industrial robot commissioning, industrial robot system and control system using the same | |
CN111775146B (zh) | 一种工业机械臂多工位作业下的视觉对准方法 | |
CN105014677B (zh) | 基于Camshift视觉跟踪和D-H建模算法的视觉机械臂控制方法 | |
CN111801198B (zh) | 一种手眼标定方法、系统及计算机存储介质 | |
CN109781164B (zh) | 一种线激光传感器的静态标定方法 | |
CN113492393A (zh) | 一种由人演示的机器人示教 | |
Kyrki et al. | Integration of model-based and model-free cues for visual object tracking in 3d | |
TWI607814B (zh) | 即時三維建模之雷射飛行打標系統及其方法 | |
Gratal et al. | Visual servoing on unknown objects | |
CN110017852A (zh) | 一种导航定位误差测量方法 | |
Hsu et al. | Development of a faster classification system for metal parts using machine vision under different lighting environments | |
Lambrecht | Robust few-shot pose estimation of articulated robots using monocular cameras and deep-learning-based keypoint detection | |
CN113172632A (zh) | 一种基于图像的简化机器人视觉伺服控制方法 | |
CN113172659A (zh) | 基于等效中心点识别的柔性机器人臂形测量方法及系统 | |
Xompero et al. | Multi-view shape estimation of transparent containers | |
CN113781558A (zh) | 一种姿态与位置解耦的机器人视觉寻位方法 | |
Goronzy et al. | QRPos: Indoor positioning system for self-balancing robots based on QR codes | |
Rebello et al. | Autonomous active calibration of a dynamic camera cluster using next-best-view | |
Rostkowska et al. | Improving self-localization efficiency in a small mobile robot by using a hybrid field of view vision system | |
CN111612843A (zh) | 移动机器人无期望图像视觉镇定控制 | |
KR100991194B1 (ko) | 이동 로봇의 물체 운반 시스템 및 방법 | |
CN116100562B (zh) | 多机器人协同上下料的视觉引导方法及系统 | |
CN116091608B (zh) | 水下目标物的定位方法、定位装置、水下设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: 311231 building 3, No. 477, Hongxing Road, Qiaonan block, economic and Technological Development Zone, Xiaoshan District, Hangzhou City, Zhejiang Province Patentee after: Hangzhou Jingwu Intelligent Technology Co.,Ltd. Address before: Room 12, 3rd floor, No.2 Lane 1446, Yunguan Road, Lingang New District, Pudong New Area pilot Free Trade Zone, Shanghai, 201306 Patentee before: Shanghai Jingwu Intelligent Technology Co.,Ltd. |