CN113706621A - 基于带标记图像的标志点定位及姿态获取方法和系统 - Google Patents

基于带标记图像的标志点定位及姿态获取方法和系统 Download PDF

Info

Publication number
CN113706621A
CN113706621A CN202111267159.6A CN202111267159A CN113706621A CN 113706621 A CN113706621 A CN 113706621A CN 202111267159 A CN202111267159 A CN 202111267159A CN 113706621 A CN113706621 A CN 113706621A
Authority
CN
China
Prior art keywords
point
mark
point cloud
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111267159.6A
Other languages
English (en)
Other versions
CN113706621B (zh
Inventor
周洋
郭震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Jingwu Intelligent Technology Co ltd
Original Assignee
Shanghai Jingwu Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jingwu Intelligent Technology Co Ltd filed Critical Shanghai Jingwu Intelligent Technology Co Ltd
Priority to CN202111267159.6A priority Critical patent/CN113706621B/zh
Publication of CN113706621A publication Critical patent/CN113706621A/zh
Application granted granted Critical
Publication of CN113706621B publication Critical patent/CN113706621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于带标记图像的标志点定位及姿态获取方法和系统，包括：步骤1：对标志图像进行编码，对内层图形和外层图形进行定义；步骤2：进行标志识别，建立标志图像平面坐标系；步骤3：以目标点作为参考，计算支架到目标点的转换关系，计算针对目标点的姿态；步骤4：通过迭代最近点算法进行点云匹配，实时计算姿态；步骤5：通过相机对待测目标进行拍摄，记录区域点云为目标点云，计算旋转平移矩阵并进行刚性变换，得到目标标志点云。本发明结合标志点定位，可以预设自定义清洁方式，通过标志点姿态定位可以对不同复杂动作进行模仿迁移。

Description

基于带标记图像的标志点定位及姿态获取方法和系统
技术领域
本发明涉及图像处理技术领域，具体地，涉及一种基于带标记图像的标志点定位及姿态获取方法和系统。
背景技术
对于一个物体，或平面清洁流程常可看作是一个标准化的工作。同时也是一个工作量大，重复性高，工作质量需要保证的工作。在这个前提下，使用可活动机械臂，或者操作台操作可适用于清洁大部分流程。而准确清洁的前提，通常是需要对目标或平面的一个充分理解，即它们的结构，位置，以何种姿势清洁。因此，机械臂，或者操作台与环境的交互需要3d点与姿态进行引导。其中，姿态的获取对于机器人清洁复杂形态表面，以及场景中凹陷角落时候的避障尤为重要。通过视觉图像处理，目标识别以及3d点云匹配融合等方法，可以对场景建立3d模型以用于识别定位环境中的目标或位置区域。而目标识别定位通常需要大量前置工作。如深度学习识别目标分割点云，需要大量的训练数据，前期准备时间很长，不适用于快节奏的工业化生产。
专利文献CN110017841A（申请号：CN201910395985.5）公开了一种视觉定位方法，包括以下步骤：S1：预先获取需定位环境内的标志物的图像，并建立包含所述标志物的图像的标志物数据库；S2：通过智能设备采集需定位环境内标志物的待识别图像，将所述待识别图像与标志物数据库内的图像进行图像匹配，根据匹配到的图像中已知的几何特征计算得到当前位置；S3：将当前位置标记在电子地图上对应的位置处或输出当前位置至预设应用中。然而该专利在室内场景的3d视觉下交互关系复杂，由于传感器精度，场景复杂度的变化，不同姿态获取会有一定的局限性。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于带标记图像的标志点定位及姿态获取方法和系统。
根据本发明提供的基于带标记图像的标志点定位及姿态获取方法，包括：
步骤1：对标志图像进行编码，所述标志图像包括内层图形和外层图形，对内层图形和外层图形进行定义；
步骤2：进行标志识别，建立标志图像平面坐标系；
步骤3：以目标点作为参考，计算支架到目标点的转换关系，计算针对目标点的姿态；
步骤4：通过迭代最近点算法icp进行点云匹配，实时计算姿态，记录区域点云为源点云PCS，标志部分点云为源标志点云PCM1；
步骤5：通过相机对待测目标进行拍摄，记录区域点云为目标点云PCT，计算出PCT到PCS的旋转平移矩阵T，并进行刚性变换，得到目标标志点云PCM2。
优选的，标志图像的内层图形为方形，采用二进制编码，显示为二值图像；标志图像的外层图形为以内层图形的方形质心为圆心、方形的对角线为直径的圆；
对拍摄的彩色图进行高斯滤波，将拍摄的深度图像和滤波后的彩色图像对齐；
采用椭圆轮廓检测标志外部轮廓，椭圆内圈为方形检测，对二值图像进行二进制解码，若解码成功则为正确目标。
优选的，相机装在夹爪末端，通过手眼标定得到相机坐标系到夹爪末端坐标系转换关系，夹爪长度代表夹爪末端到夹爪平面的关系，保持夹爪平面坐标系x、y轴与标志平面x、y轴方向相同，z轴方向相反，得到夹爪朝标志平面的姿态；
通过活动支架将任意两个标志连接起来，通过调整其中一个标志的空间位置，设计夹爪运动到另一个标志的姿态。
优选的，在不同区域放置不同标志物对，并记录标志物对的数量；
通过机器人导航移动到预设拍摄点，对目标区域拍摄，得到局部点云，每个标志物质心为目标点云，记录每个质心点对应的坐标以及姿态。
优选的，控制机器人通过导航移动到拍摄点P，由于导航误差，记机器人走到拍摄点Pt，以相同姿态对目标区域拍摄，得到局部点云PCT，运用点到面icp算法匹配，公式为：
Figure 493932DEST_PATH_IMAGE001
其中，t是PCT中的一点，nt是t点的法向量，s是PCS中的一点，t、s是一对匹配点，M为点云范围；
求解最小化E值得到点云PCS到PCT的转换矩阵T，计算时引入损失函数：
Figure 192242DEST_PATH_IMAGE002
，则转化为：
Figure 495047DEST_PATH_IMAGE003
其中，r(T)为剩余函数，ρ(r)为损失函数，i为序列号，N为点云总数，损失函数选用TurkeyLoss：
Figure 180107DEST_PATH_IMAGE004
r为剩余值，k为预设阈值；
将权重函数设为：
Figure 469137DEST_PATH_IMAGE005
则把损失函数问题用权重最小二乘法来解：
粗匹配，限定条件t，s最大距离为3厘米，计算E使得所有t，s集合距离小于3，停止迭代，得到第一个转换矩阵T_coarse；
细匹配，以第一个矩阵T_coarse为点云PCS初始位置，限定t，s间最大距离为3毫米，重复进行粗匹配，最终得到矩阵T；
PCM1通过矩阵T变换得到PCM2，PCM1各点对应的姿态通过矩阵T变换得到PCM2各点的姿态。
根据本发明提供的基于带标记图像的标志点定位及姿态获取系统，包括：
模块M1：对标志图像进行编码，所述标志图像包括内层图形和外层图形，对内层图形和外层图形进行定义；
模块M2：进行标志识别，建立标志图像平面坐标系；
模块M3：以目标点作为参考，计算支架到目标点的转换关系，计算针对目标点的姿态；
模块M4：通过迭代最近点算法icp进行点云匹配，实时计算姿态，记录区域点云为源点云PCS，标志部分点云为源标志点云PCM1；
模块M5：通过相机对待测目标进行拍摄，记录区域点云为目标点云PCT，计算出PCT到PCS的旋转平移矩阵T，并进行刚性变换，得到目标标志点云PCM2。
优选的，标志图像的内层图形为方形，采用二进制编码，显示为二值图像；标志图像的外层图形为以内层图形的方形质心为圆心、方形的对角线为直径的圆；
对拍摄的彩色图进行高斯滤波，将拍摄的深度图像和滤波后的彩色图像对齐；
采用椭圆轮廓检测标志外部轮廓，椭圆内圈为方形检测，对二值图像进行二进制解码，若解码成功则为正确目标。
优选的，相机装在夹爪末端，通过手眼标定得到相机坐标系到夹爪末端坐标系转换关系，夹爪长度代表夹爪末端到夹爪平面的关系，保持夹爪平面坐标系x、y轴与标志平面x、y轴方向相同，z轴方向相反，得到夹爪朝标志平面的姿态；
通过活动支架将任意两个标志连接起来，通过调整其中一个标志的空间位置，设计夹爪运动到另一个标志的姿态。
优选的，在不同区域放置不同标志物对，并记录标志物对的数量；
通过机器人导航移动到预设拍摄点，对目标区域拍摄，得到局部点云，每个标志物质心为目标点云，记录每个质心点对应的坐标以及姿态。
优选的，控制机器人通过导航移动到拍摄点P，由于导航误差，记机器人走到拍摄点Pt，以相同姿态对目标区域拍摄，得到局部点云PCT，运用点到面icp算法匹配，公式为：
Figure 352779DEST_PATH_IMAGE001
其中，t是PCT中的一点，nt是t点的法向量，s是PCS中的一点，t、s是一对匹配点，M为点云范围；
求解最小化E值得到点云PCS到PCT的转换矩阵T，计算时引入损失函数：
Figure 701852DEST_PATH_IMAGE002
，则转化为：
Figure 670945DEST_PATH_IMAGE003
其中，r(T)为剩余函数，ρ(r)为损失函数，i为序列号，N为点云总数，损失函数选用TurkeyLoss：
Figure 498087DEST_PATH_IMAGE004
r为剩余值，k为预设阈值；
将权重函数设为：
Figure 501815DEST_PATH_IMAGE005
则把损失函数问题用权重最小二乘法来解：
粗匹配，限定条件t，s最大距离为3厘米，计算E使得所有t，s集合距离小于3，停止迭代，得到第一个转换矩阵T_coarse；
细匹配，以第一个矩阵T_coarse为点云PCS初始位置，限定t，s间最大距离为3毫米，重复进行粗匹配，最终得到矩阵T；
PCM1通过矩阵T变换得到PCM2，PCM1各点对应的姿态通过矩阵T变换得到PCM2各点的姿态。
与现有技术相比，本发明具有如下的有益效果：
（1）本发明结合标志点定位，可以预设自定义清洁方式，如刮刀清洁镜子的时候，需要s型路径并有一定擦拭经验需求，标志点姿态定位可以对不同复杂动作进行模仿迁移；
（2）本发明对于比较难检测和擦洗的部位可以提前设置清洁姿态；
（3）通过本发明，在环境改变时只需改变标记点放置方式即可迁移复制清洁流程。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为二进制编码图；其中，图1a、图1b为应用不同高斯噪声的二值图像；图1c为外部以标志方形质心为圆心，直径为半径做圆的二进制编码图；
图2为标志明面坐标图示意图；其中，图2a为建立在标志物上的坐标系；图2b为深度图上的任意点到彩色图像上点的映射图；
图3为平面坐标变换图示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例：
根据本发明提供的基于带标记图像的标志点定位及姿态获取方法，此方法首先设计一个自定义标志图形，然后在待擦拭物体、或者清洁表面布置带标志图形的标志物。之后对此物体或表面进行拍摄，可以在得到代表物体或表面的3d结构点云的同时对标志物区域进行位置和姿态标记。标志物3d点云和姿态可以作为机械臂，控制机床的擦洗方式依据。此方法分为以下5个步骤：
步骤1：对标志图像进行编码，对内层图形和外层图形进行定义；
步骤2：进行标志识别，建立标志图像平面坐标系；
步骤3：目标点放置标志1，支架放置标志2，以标志1作为参考计算标志2到标志1的转换关系，计算针对标志1的姿态；
步骤4：通过迭代最近点算法进行点云匹配，实时计算姿态。通过icp点到面点云匹匹配。对待匹配区域进行模型的获取。记录区域点云为源点云PCS，标志部分点云为源标志点云PCM1。
步骤5：对待测目标拍摄，记录区域点云为目标点云PCT。通过icp点到面点云匹配，计算出PCT到PCS的旋转平移矩阵TransMat。由于标志点云PCM1内部是刚体结构，可进行刚性变换TransMat，求得目标标志点云PCM2。
所述步骤1包括：
（1）内部方形采用二进制编码，显示为二值图像。由于拍摄的3d相机是双目激光点阵原理，对二值图像手动添加噪声可提高相机拍摄标志物时特征点的获取度，从而提高深度信息的稳定性和丰富性（通过提高特征点数量）。如图1a和图1b所示（本文应用噪声类型为高斯噪声（平均值0，方差0.05），不限于此噪声）；
（2）外部以标志方形质心为圆心，直径为半径做圆。如图1c所示，假设圆上四个点以上方点为起点沿顺时针方向记为点ABCD。则无论拍摄角度，得到的彩色图像中，AB，BC，CD，DA连线的中点经过内部方形标志物四个角点（增强角点获取的稳定性）。
所述步骤2包括：
（1）相机拍摄深度图与彩色图记作。用于先前标志物添加高斯噪声，因此对彩色图进行高斯滤波得到待测彩色图像。
（2）采用椭圆轮廓检测标志外部大圆轮廓以及四个小圆轮廓。椭圆内圈为方形检测，对二值图像进行二进制解码，若解码成功则为正确目标。计算方形覆盖区域mask。两两连接四个小圆质心并求中点得到二进制标志在2d图像上的四个角点，记为C0(起始点)，C1，C2，C3。
（3）标志物坐标系可用以下两种方式建立：
A：假设相机坐标系下目标点O0，O1，O2，O3和C0，C1，C2，C3一一对应，标志物半径为l_marker。则可假设坐标：O0 = -l_marker / 2.f, l_marker / 2.f, 0)；O1=l_marker /2.f, l_marker / 2.f, 0)；O2=l_marker / 2.f, -l_marker / 2.f, 0)；O3=-l_marker /2.f, -l_marker / 2.f, 0)。由于z轴方向距离为0，O点集合可以看作在相机传感器平面上的四个点，且它们的质心在传感器平面的中心。C点代表标志物在彩色图像上的坐标。R和T代表了将点的从世界坐标系下映射到相机坐标系下旋转平移矩阵，相机内参系数和畸变系数已知道，则可通过论文Infinitesimal Plane-Based Pose Estimation论文中所著solveSquare求出他们的映射关系。因此，可以以C点集合质心为原点，基于R，T建立在标志物上的坐标系。如图2a所示。
B：深度图像和滤波后的彩色图像对齐。如对于深度图像中的点d，通过深度相机的内参，外参，可计算得到对应的空间点d_xyz。然后通过彩色相机的内参外参投影到彩色图片上的点c_xy。可用上述方法得到深度图上的任意点d_i到彩色图像上点c_xy_i的一一映射，如图2b所示。对于所有在mask区域内的c_i点，可以得到对应d_xyz_i点云集合记为PCM1。用ransac算法拟合PCM1平面，得到平面系数a，b，c及方程ax+by+cy+d=0。则可计算得到C点集合在平面上的投影点记为Cp0，Cp1，Cp2，Cp3。取四个Cp点质心为坐标系原点CpO，Cp0和Cp1中点为Cx，Cp1和Cp2中点为Cy。则可建立以平面系数a，b，c组成的法向量（a，b，c）为z轴，CpO和Cx为x轴，CpO和Cy和y轴的坐标系。
图3为目标标志坐标系一个例子，确定标志点位置已经标志平面xy方向，确定内层图形角点位置，通过透视变换建立平面坐标系。
所述步骤3包括：
（1）重复步骤2。则可得到各个标志物平面坐标系以及对应的R，T矩阵。相机装在夹爪末端，通过手眼标定可得到相机坐标系到夹爪末端坐标系转换关系。夹爪长度代表夹爪末端到夹爪平面的关系。由上诉条件，让夹爪平面坐标系x轴，y轴与标志平面x轴y轴方向相同，z轴方向相反。则可得到夹爪朝标志平面的姿态。
（2）对于某个标志A，得到姿态poseA，那么对于标志B，夹爪则可以以姿态poseA，移动到标志B的四个角点质心处。因此，可用标志A作为姿态参考，标志B为目标位置，设计夹爪以特定姿态到达标志B质心的运动方式。因此只需把任意两个标志m1，m2用可活动支架连接起来，则可通过调整m2的空间位置，设计夹爪运动到m1的姿态。那么针对不同场景，用不同相对关系的标志物即可提前标注夹爪将要运动到目标点位置的姿态。
所述步骤4包括：
（1）标志物摆放，不同擦拭区域放置不同标志物对。记录标志物对的数量。
（2）机器人导航走到拍摄点P，对目标区域拍摄，得到局部点云PCS。每个标志物质心为目标点云PCM1。记录每个质心点对应的坐标表示以及姿态。
所述步骤5包括：
（1）控制机器人通过导航走到拍摄点P，由于导航误差，记机器人走到拍摄点Pt，以相同姿态对目标区域拍摄，得到局部点云PCT。运用点到面icp匹配，如下所示方程：
Figure 21789DEST_PATH_IMAGE001
其中，t是PCT中的一点，nt是t点的法向量，s是PCS中的一点，t，s是一对匹配点。求解最小化E值可得点云PCS到PCT的转换矩阵T。计算时引入损失函数：，可看作是一个关于T的剩余函数r（T）。损失函数的目的是减小r（T）值大的时候的影响提高计算效率及稳定性。即上述方程可记为：
Figure 478178DEST_PATH_IMAGE006
其中ρ（r）为损失函数。损失函数选用TurkeyLoss：
Figure DEST_PATH_IMAGE007
可把权重函数设为：
Figure 640169DEST_PATH_IMAGE005
我们则可把损失函数问题用权重最小二乘法来解。因此，可用牛顿高斯法使E最小来解决上述问题。
（2）粗匹配，限定条件t，s最大距离为3厘米，计算E使得所有t，s集合距离小于3，停止迭代。得到第一个转换矩阵T_coarse。
（3）细匹配，以第一个矩阵T_coarse为点云PCS初始位置，限定t，s间最大距离为3毫米。重复步骤2，得到最终矩阵TransMat。
（4）PCM1和通过TransMat变换可得PCM2。PCM1各点对应的姿态通过TransMat变换可得PCM2各点的姿态。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于带标记图像的标志点定位及姿态获取方法，其特征在于，包括：
步骤1：对标志图像进行编码，所述标志图像包括内层图形和外层图形，对内层图形和外层图形进行定义；
步骤2：进行标志识别，建立标志图像平面坐标系；
步骤3：以目标点作为参考，计算支架到目标点的转换关系，计算针对目标点的姿态；
步骤4：通过迭代最近点算法icp进行点云匹配，实时计算姿态，记录区域点云为源点云PCS，根据区域点云计算得到标志部分点云，标志部分点云为源标志点云PCM1；
步骤5：通过相机对待测目标进行拍摄，记录区域点云为目标点云PCT，计算出PCT到PCS的旋转平移矩阵T，并进行刚性变换，得到目标标志点云PCM2。
2.根据权利要求1所述的基于带标记图像的标志点定位及姿态获取方法，其特征在于，标志图像的内层图形为方形，采用二进制编码，显示为二值图像；标志图像的外层图形为以内层图形的方形质心为圆心、方形的对角线为直径的圆；
对拍摄的彩色图进行高斯滤波，将拍摄的深度图像和滤波后的彩色图像对齐；
采用椭圆轮廓检测标志外部轮廓，椭圆内圈为方形检测，对二值图像进行二进制解码，若解码成功则为正确目标。
3.根据权利要求1所述的基于带标记图像的标志点定位及姿态获取方法，其特征在于，相机装在夹爪末端，通过手眼标定得到相机坐标系到夹爪末端坐标系转换关系，夹爪长度代表夹爪末端到夹爪平面的关系，保持夹爪平面坐标系x、y轴与标志平面x、y轴方向相同，z轴方向相反，得到夹爪朝标志平面的姿态；
通过活动支架将任意两个标志连接起来，通过调整其中一个标志的空间位置，设计夹爪运动到另一个标志的姿态。
4.根据权利要求1所述的基于带标记图像的标志点定位及姿态获取方法，其特征在于，在不同区域放置不同标志物对，并记录标志物对的数量；
通过机器人导航移动到预设拍摄点，对目标区域拍摄，得到局部点云，每个标志物质心为目标点云，记录每个质心点对应的坐标以及姿态。
5.根据权利要求1所述的基于带标记图像的标志点定位及姿态获取方法，其特征在于，控制机器人通过导航移动到拍摄点P，由于导航误差，记机器人走到拍摄点Pt，以相同姿态对目标区域拍摄，得到局部点云PCT，运用点到面icp算法匹配，公式为：
Figure 202171DEST_PATH_IMAGE001
其中，t是PCT中的一点，nt是t点的法向量，s是PCS中的一点，t、s是一对匹配点，M为点云范围；
求解最小化E值得到点云PCS到PCT的转换矩阵T，计算时引入损失函数：
Figure 159763DEST_PATH_IMAGE002
，则转化为：
Figure 427933DEST_PATH_IMAGE003
其中，r(T)为剩余函数，ρ(r)为损失函数，i为序列号，N为点云总数，损失函数选用TurkeyLoss：
Figure 357843DEST_PATH_IMAGE004
r为剩余值，k为预设阈值；
将权重函数设为：
Figure 318846DEST_PATH_IMAGE005
则把损失函数问题用权重最小二乘法来解：
粗匹配，限定条件t，s最大距离为3厘米，计算E使得所有t，s集合距离小于3，停止迭代，得到第一个转换矩阵T_coarse；
细匹配，以第一个矩阵T_coarse为点云PCS初始位置，限定t，s间最大距离为3毫米，重复进行粗匹配，最终得到矩阵T；
PCM1通过矩阵T变换得到PCM2，PCM1各点对应的姿态通过矩阵T变换得到PCM2各点的姿态。
6.一种基于带标记图像的标志点定位及姿态获取系统，其特征在于，包括：
模块M1：对标志图像进行编码，所述标志图像包括内层图形和外层图形，对内层图形和外层图形进行定义；
模块M2：进行标志识别，建立标志图像平面坐标系；
模块M3：以目标点作为参考，计算支架到目标点的转换关系，计算针对目标点的姿态；
模块M4：通过迭代最近点算法icp进行点云匹配，实时计算姿态，记录区域点云为源点云PCS，根据区域点云计算得到标志部分点云，标志部分点云为源标志点云PCM1；
模块M5：通过相机对待测目标进行拍摄，记录区域点云为目标点云PCT，计算出PCT到PCS的旋转平移矩阵T，并进行刚性变换，得到目标标志点云PCM2。
7.根据权利要求6所述的基于带标记图像的标志点定位及姿态获取系统，其特征在于，标志图像的内层图形为方形，采用二进制编码，显示为二值图像；标志图像的外层图形为以内层图形的方形质心为圆心、方形的对角线为直径的圆；
对拍摄的彩色图进行高斯滤波，将拍摄的深度图像和滤波后的彩色图像对齐；
采用椭圆轮廓检测标志外部轮廓，椭圆内圈为方形检测，对二值图像进行二进制解码，若解码成功则为正确目标。
8.根据权利要求6所述的基于带标记图像的标志点定位及姿态获取系统，其特征在于，相机装在夹爪末端，通过手眼标定得到相机坐标系到夹爪末端坐标系转换关系，夹爪长度代表夹爪末端到夹爪平面的关系，保持夹爪平面坐标系x、y轴与标志平面x、y轴方向相同，z轴方向相反，得到夹爪朝标志平面的姿态；
通过活动支架将任意两个标志连接起来，通过调整其中一个标志的空间位置，设计夹爪运动到另一个标志的姿态。
9.根据权利要求6所述的基于带标记图像的标志点定位及姿态获取系统，其特征在于，在不同区域放置不同标志物对，并记录标志物对的数量；
通过机器人导航移动到预设拍摄点，对目标区域拍摄，得到局部点云，每个标志物质心为目标点云，记录每个质心点对应的坐标以及姿态。
10.根据权利要求6所述的基于带标记图像的标志点定位及姿态获取系统，其特征在于，控制机器人通过导航移动到拍摄点P，由于导航误差，记机器人走到拍摄点Pt，以相同姿态对目标区域拍摄，得到局部点云PCT，运用点到面icp算法匹配，公式为：
Figure 294892DEST_PATH_IMAGE006
其中，t是PCT中的一点，nt是t点的法向量，s是PCS中的一点，t、s是一对匹配点，M为点云范围；
求解最小化E值得到点云PCS到PCT的转换矩阵T，计算时引入损失函数：
Figure 976541DEST_PATH_IMAGE002
，则转化为：
Figure 151170DEST_PATH_IMAGE007
其中，r(T)为剩余函数，ρ(r)为损失函数，i为序列号，N为点云总数，损失函数选用TurkeyLoss：
Figure 892861DEST_PATH_IMAGE008
r为剩余值，k为预设阈值；
将权重函数设为：
Figure 152941DEST_PATH_IMAGE009
则把损失函数问题用权重最小二乘法来解：
粗匹配，限定条件t，s最大距离为3厘米，计算E使得所有t，s集合距离小于3，停止迭代，得到第一个转换矩阵T_coarse；
细匹配，以第一个矩阵T_coarse为点云PCS初始位置，限定t，s间最大距离为3毫米，重复进行粗匹配，最终得到矩阵T；
PCM1通过矩阵T变换得到PCM2，PCM1各点对应的姿态通过矩阵T变换得到PCM2各点的姿态。
CN202111267159.6A 2021-10-29 2021-10-29 基于带标记图像的标志点定位及姿态获取方法和系统 Active CN113706621B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111267159.6A CN113706621B (zh) 2021-10-29 2021-10-29 基于带标记图像的标志点定位及姿态获取方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111267159.6A CN113706621B (zh) 2021-10-29 2021-10-29 基于带标记图像的标志点定位及姿态获取方法和系统

Publications (2)

Publication Number Publication Date
CN113706621A true CN113706621A (zh) 2021-11-26
CN113706621B CN113706621B (zh) 2022-02-22

Family

ID=78647460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111267159.6A Active CN113706621B (zh) 2021-10-29 2021-10-29 基于带标记图像的标志点定位及姿态获取方法和系统

Country Status (1)

Country Link
CN (1) CN113706621B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113945217A (zh) * 2021-12-15 2022-01-18 天津云圣智能科技有限责任公司 航线规划方法、装置、服务器及计算机可读存储介质
CN114748201A (zh) * 2022-04-19 2022-07-15 深圳广成创新技术有限公司 一种牙科种植体的三维参数的获取方法、装置
CN115457088A (zh) * 2022-10-31 2022-12-09 成都盛锴科技有限公司 一种列车定轴方法及系统
CN115497087A (zh) * 2022-11-18 2022-12-20 广州煌牌自动设备有限公司 一种餐具姿态的识别系统及其方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104626206A (zh) * 2014-12-17 2015-05-20 西南科技大学 一种非结构环境下机器人作业的位姿信息测量方法
CN107314771A (zh) * 2017-07-04 2017-11-03 合肥工业大学 基于编码标志点的无人机定位以及姿态角测量方法
CN107450885A (zh) * 2017-07-21 2017-12-08 上海交通大学 一种工业机器人与三维传感器的坐标变换求解方法
CN108562274A (zh) * 2018-04-20 2018-09-21 南京邮电大学 一种基于标志器的非合作目标位姿测量方法
CN109215016A (zh) * 2018-08-03 2019-01-15 湖南科技大学 一种编码标志的识别定位方法
CN109993790A (zh) * 2017-12-29 2019-07-09 深圳市优必选科技有限公司 标志物、标志物的形成方法、定位方法以及装置
CN110238849A (zh) * 2019-06-13 2019-09-17 深圳市汇川技术股份有限公司 机器人手眼标定方法及装置
CN110530372A (zh) * 2019-09-26 2019-12-03 上海商汤智能科技有限公司 定位方法、路径确定方法、装置、机器人及存储介质
CN111168669A (zh) * 2019-12-26 2020-05-19 上海高仙自动化科技发展有限公司 机器人控制方法、机器人和可读存储介质
CN111775152A (zh) * 2020-06-29 2020-10-16 深圳大学 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统
US20200372625A1 (en) * 2018-12-19 2020-11-26 Aquifi, Inc. Systems and methods for joint learning of complex visual inspection tasks using computer vision
CN112509125A (zh) * 2020-12-14 2021-03-16 广州迦恩科技有限公司 一种基于人工标志物和立体视觉的三维重建方法
CN113052903A (zh) * 2021-03-17 2021-06-29 浙江大学 一种用于移动机器人的视觉与雷达融合定位方法
CN113276106A (zh) * 2021-04-06 2021-08-20 广东工业大学 一种攀爬机器人空间定位方法及空间定位系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104626206A (zh) * 2014-12-17 2015-05-20 西南科技大学 一种非结构环境下机器人作业的位姿信息测量方法
CN107314771A (zh) * 2017-07-04 2017-11-03 合肥工业大学 基于编码标志点的无人机定位以及姿态角测量方法
CN107450885A (zh) * 2017-07-21 2017-12-08 上海交通大学 一种工业机器人与三维传感器的坐标变换求解方法
CN109993790A (zh) * 2017-12-29 2019-07-09 深圳市优必选科技有限公司 标志物、标志物的形成方法、定位方法以及装置
CN108562274A (zh) * 2018-04-20 2018-09-21 南京邮电大学 一种基于标志器的非合作目标位姿测量方法
CN109215016A (zh) * 2018-08-03 2019-01-15 湖南科技大学 一种编码标志的识别定位方法
US20200372625A1 (en) * 2018-12-19 2020-11-26 Aquifi, Inc. Systems and methods for joint learning of complex visual inspection tasks using computer vision
CN113454638A (zh) * 2018-12-19 2021-09-28 艾奎菲股份有限公司 用于使用计算机视觉进行复杂视觉检查任务的联合学习的系统和方法
CN110238849A (zh) * 2019-06-13 2019-09-17 深圳市汇川技术股份有限公司 机器人手眼标定方法及装置
CN110530372A (zh) * 2019-09-26 2019-12-03 上海商汤智能科技有限公司 定位方法、路径确定方法、装置、机器人及存储介质
CN111168669A (zh) * 2019-12-26 2020-05-19 上海高仙自动化科技发展有限公司 机器人控制方法、机器人和可读存储介质
CN111775152A (zh) * 2020-06-29 2020-10-16 深圳大学 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统
CN112509125A (zh) * 2020-12-14 2021-03-16 广州迦恩科技有限公司 一种基于人工标志物和立体视觉的三维重建方法
CN113052903A (zh) * 2021-03-17 2021-06-29 浙江大学 一种用于移动机器人的视觉与雷达融合定位方法
CN113276106A (zh) * 2021-04-06 2021-08-20 广东工业大学 一种攀爬机器人空间定位方法及空间定位系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JEANNETTE BOHG ET AL.: "Robot Arm Pose Estimation through Pixel-Wise Part Classification", 《2014 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS & AUTOMATION (ICRA)》 *
TIMOTHY E. LEE ET AL.: "Camera-to-Robot Pose Estimation from a Single Image", 《ARXIV》 *
刘亚凡: "基于RGB-D相机的移动机器人视觉SLAM技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李佳蔚 等: "基于标志物识别的机器人自我定位算法研究", 《信息技术》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113945217A (zh) * 2021-12-15 2022-01-18 天津云圣智能科技有限责任公司 航线规划方法、装置、服务器及计算机可读存储介质
CN113945217B (zh) * 2021-12-15 2022-04-12 天津云圣智能科技有限责任公司 航线规划方法、装置、服务器及计算机可读存储介质
CN114748201A (zh) * 2022-04-19 2022-07-15 深圳广成创新技术有限公司 一种牙科种植体的三维参数的获取方法、装置
CN115457088A (zh) * 2022-10-31 2022-12-09 成都盛锴科技有限公司 一种列车定轴方法及系统
CN115497087A (zh) * 2022-11-18 2022-12-20 广州煌牌自动设备有限公司 一种餐具姿态的识别系统及其方法
CN115497087B (zh) * 2022-11-18 2024-04-19 广州煌牌自动设备有限公司 一种餐具姿态的识别系统及其方法

Also Published As

Publication number Publication date
CN113706621B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
CN113706621B (zh) 基于带标记图像的标志点定位及姿态获取方法和系统
CN111775152B (zh) 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统
US10786904B2 (en) Method for industrial robot commissioning, industrial robot system and control system using the same
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN105014677B (zh) 基于Camshift视觉跟踪和D-H建模算法的视觉机械臂控制方法
CN111801198B (zh) 一种手眼标定方法、系统及计算机存储介质
CN109781164B (zh) 一种线激光传感器的静态标定方法
CN113492393A (zh) 一种由人演示的机器人示教
Kyrki et al. Integration of model-based and model-free cues for visual object tracking in 3d
Cipolla et al. Visually guided grasping in unstructured environments
TWI607814B (zh) 即時三維建模之雷射飛行打標系統及其方法
Gratal et al. Visual servoing on unknown objects
CN110017852A (zh) 一种导航定位误差测量方法
Hsu et al. Development of a faster classification system for metal parts using machine vision under different lighting environments
Lambrecht Robust few-shot pose estimation of articulated robots using monocular cameras and deep-learning-based keypoint detection
CN113172632A (zh) 一种基于图像的简化机器人视觉伺服控制方法
CN116766194A (zh) 基于双目视觉的盘类工件定位与抓取系统和方法
Goronzy et al. QRPos: Indoor positioning system for self-balancing robots based on QR codes
CN110722547B (zh) 模型未知动态场景下移动机器人视觉镇定
Greggio et al. Real-time 3d stereo tracking and localizing of spherical objects with the icub robotic platform
Rebello et al. Autonomous active calibration of a dynamic camera cluster using next-best-view
Rostkowska et al. Improving self-localization efficiency in a small mobile robot by using a hybrid field of view vision system
KR100991194B1 (ko) 이동 로봇의 물체 운반 시스템 및 방법
CN111612843A (zh) 移动机器人无期望图像视觉镇定控制
CN116100562B (zh) 多机器人协同上下料的视觉引导方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 311231 building 3, No. 477, Hongxing Road, Qiaonan block, economic and Technological Development Zone, Xiaoshan District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Jingwu Intelligent Technology Co.,Ltd.

Address before: Room 12, 3rd floor, No.2 Lane 1446, Yunguan Road, Lingang New District, Pudong New Area pilot Free Trade Zone, Shanghai, 201306

Patentee before: Shanghai Jingwu Intelligent Technology Co.,Ltd.

CP03 Change of name, title or address