CN112233176A - 一种基于标定物的目标位姿测量方法 - Google Patents

一种基于标定物的目标位姿测量方法 Download PDF

Info

Publication number
CN112233176A
CN112233176A CN202011031214.7A CN202011031214A CN112233176A CN 112233176 A CN112233176 A CN 112233176A CN 202011031214 A CN202011031214 A CN 202011031214A CN 112233176 A CN112233176 A CN 112233176A
Authority
CN
China
Prior art keywords
calibration object
squares
point
target
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011031214.7A
Other languages
English (en)
Inventor
曾昱琳
罗威
虞文杰
赵宇桥
周奕彤
郭毓
吴益飞
郭健
吴巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202011031214.7A priority Critical patent/CN112233176A/zh
Publication of CN112233176A publication Critical patent/CN112233176A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

本发明公开了一种基于标定物的目标位姿测量方法，首先将标定物设置在被测物体表面，之后利用摄像头采集测物体的图像，利用图像处理技术，识别出标定物，根据设计的标定物的特征排除误识别的情况，并且采集标定物上的特征点，最终通过2D‑3D点的对应关系，得到标定物的位姿信息，并用标定物的位姿信息代替目标的位姿信息。本发明采用基于标定物的目标位姿测量方法，能准确地测量出目标的位姿信息，能对机械臂抓取目标物体提供极大的便利。

Description

一种基于标定物的目标位姿测量方法
技术领域
本发明属于计算机视觉领域，特别是一种基于标定物的目标位姿测量方法。
背景技术
计算机视觉是指用相机代替人眼对目标进行观测，结合图像处理技术，从相机拍摄到的图像中提取出所需的关键信息。现在，计算机视觉常被应用于对机械臂的运动控制。机械臂想要抓取某个物体，需要知道目标物体的相关信息，比如目标物体相对于机械臂末端爪具的距离以及目标物体的空间位姿信息。有了这些信息，机械臂才能规划处运动路径以及抓取角度，完成对目标物体及抓取。
在实际应用过程中，经常出现由于目标物体处于复杂背景中，仅仅识别目标物体是比较困难的，相机由于光线等环境因素会出现无法识别目标物体的特征信息或者出现误识别的情况。这对机械臂规划运动路径和选择抓取角度造成里相当大的困难。此外，不同的目标物体可能会存在形状上的差异，这时在目标特征点识别的过程中一些参数的设置也会不同，针对每一个目标物体去手动调节参数是极为不便的。
发明内容
本发明的目的在于提供了一种基于标定物的目标位姿测量方法。
实现本发明的技术解决方案为：一种基于标定物的目标位姿测量方法，具体步骤为：
步骤1、进行相机标定，获得相机的内参数与畸变参数；
步骤2、将标定物贴在被测物体表面，通过相机采集被测物体图像；
步骤3、利用Opencv中的cvtColor函数将步骤2得到的图像转化为灰度图，再利用threshold函数对灰度图进行二值化处理；
步骤4；利用Opencv中的findContours函数，对图像进行找轮廓操作；
步骤5、利用Opencv中的approxPolyDP函数对步骤4中所有找到轮廓进行多边形逼近，再利用isContourConvex函数选取其中为凸四边形的轮廓，计算凸四边形最短边长，选取最短边长在规定范围之内的所有轮廓；
步骤6、计算步骤5中四边形轮廓与其他所有轮廓的平均距离，设定阈值为 100像素，如果均大于设定的阈值，则将其判定为候选标定物，如果两组轮廓的平均距离小于阈值，则比较二者周长，选取其中周长较大者为标定物；
步骤7、根据标定物的特征对所有候选标定物进行筛查，得到最终的目标标定物；
步骤8、提取标定物的特征点，利用P3P的方法，得到标定物的位姿信息，并用得到的标定物的位姿信息代替目标的位姿信息。
本发明与现有技术相比，其显著优点为：
1)本发明设计了一款标定物，能有效排除环境干扰，使相机能够准确在复杂的背景图像中识别出标定物上特征点，从而计算出相机的位姿信息，准确度和稳定性都比较好，标定物的使用，使相机对目标位姿测量的难度大大的降低，易于实现；2)本发明中测量目标位姿的方法是完全自主式的，不需要额外的人工操作，减轻了工作人员的劳动量，提升了工作效率。
下面结合附图对本发明做进一步阐述。
附图说明
图1为本发明作业流程图。
图2为本发明中设计的标定物。
图3为本发明相机采集到的目标图像。
图4为本发明对图像预处理后的效果图。
图5为本发明对图像二值进行找轮廓操作后的轮廓图。
图6为本发明透视变换效果图。
图7为本发明位姿测量结果。
具体实施方式
一种基于标定物的目标位姿测量方法，具体步骤为：
步骤1、进行相机标定，获得相机的内参数与畸变参数；
步骤2、将标定物贴在被测物体表面，通过相机采集被测物体图像；所述的标定物的物理尺寸为n*n的正方形，并将其分为7*7个相同大小的正方形，其最外围的24正方形全为黑色，除去最外围一圈正方形后，其内部的四个角落上的正方形为3黑1白，其余正方形为黑白相间的正方形。
步骤3、利用Opencv中的cvtColor函数将步骤2得到的图像转化为灰度图，再利用threshold函数对灰度图进行二值化处理；
步骤4；利用Opencv中的findContours函数，对图像进行找轮廓操作；
步骤5、利用Opencv中的approxPolyDP函数对步骤4中所有找到轮廓进行多边形逼近，再利用isContourConvex函数选取其中为凸四边形的轮廓，计算凸四边形最短边长，选取最短边长在规定范围之内的所有轮廓；
步骤6、计算步骤5中四边形轮廓与其他所有轮廓的平均距离，设定阈值为 100像素，如果均大于设定的阈值，则将其判定为候选标定物，如果两组轮廓的平均距离小于阈值，则比较二者周长，选取其中周长较大者为标定物；
计算轮廓间的平均距离的的方法如下：选取步骤5中得到的两个轮廓，分别记为轮廓A和轮廓B，轮廓A、B的四个角点坐标均已知，分别计算轮廓A四个角点到轮廓B对应的四个角点的距离，求这4组距离的平均值，将其记为两组轮廓的平均距离。
步骤7、根据标定物的特征对所有候选标定物进行筛查，得到最终的目标标定物，具体包括以下步骤：
步骤7-1、检测步骤6中得到的候选标定物，将候选标定物最外围一圈分为 24个正方形，分别对这24个正方形的像素值进行统计，统计非零像素值的个数，如果某个小正方形非零像素个数超过正方形总像素个数的一半，则判定该正方形为白色，否则，判定该小正方形为黑色，若这24个正方形内有任何一个正方形为白色，则排除该标定物，最后留下外围24个正方形为黑色的候选标定物；
步骤7-2、对外围正方形为黑色的候选标定物除去外围24个正方形后剩下的内部部分分为25个正方形，分别对这25个正方形的像素值进行统计，统计非零像素值的个数，如果某个小正方形非零像素个数不超过该小正方形总像素个数的一半，则判断该小正方形是黑色。如果黑色小正方形个数为25，则判断该候选标定物内部为全黑，排除该标定物，此时剩下的候选标定物即为所需的标定物。
步骤8、提取标定物的特征点，利用P3P的方法，得到标定物的位姿信息，并用得到的标定物的位姿信息代替目标的位姿信息，具体包括如下步骤：
步骤8-1、将步骤7得到的目标标定物进行透视变换，将其变换到100*100 像素的正方形中，透视变换数学表达式如下：
Figure BDA0002703668950000031
Figure BDA0002703668950000041
Figure BDA0002703668950000042
式中(u,v)为原始图像坐标，w的值为1，w′为计算所用的借记量，a11、a12、 a21和a22为线性变化参数，a13和a23为透视变化参数，a31和a32为平移参数，a33的值为1，(x,y)为变换之后的图像像素坐标，通过设定的100*100像素小正方形的四个角点与步骤7-2中得到的标定物四个角点的对应关系，利用Opencv中getPerspectiveTransform函数求得透视变换转换矩阵，再利用Opencv中的 warpPerspective函数对图像进行进行透视变换；
步骤8-2、将标定物的4个角点标记为A、B、C、D，计算
Figure BDA0002703668950000043
向量与
Figure BDA0002703668950000044
的叉乘：向量
Figure BDA0002703668950000045
向量
Figure BDA0002703668950000046
则向量的叉乘可以表示为：
Figure BDA0002703668950000047
若叉乘结果为负，则表示AB到AC的旋转是顺时针的，此时需交换B、D两点，若叉乘结果为正，则表示AB到AC的旋转是逆时针的，此时4个角点为逆时针排列；
步骤8-3、检测除去最外围24个全黑正方形后内部4个角落上白色正方形，将其最靠近的角点标记为1号点，此时剩下3个角点逆时针标记为2、3、4号点，标点的具体方法为：
利用透视变换，4个角点经过透视变换后的坐标为(0，0)，(99，0)(99， 99)(0，99)，透视变换后，除去最外围黑色正方形后位于角落的白色正方形可能位于左上、右上、右下、左下；
若为左上，则1号点透视变换后的坐标为(0，0)，此时，依次检测4个点中哪个点坐标均在10像素以内，满足这一情况的点为1号点。
若为右上，则1号点透视变换后的坐标为(99，0)，此时，依次检测4个点中哪个点横坐标比纵坐标大50像素以上，满足这一情况的点为1号点；
若为右下，则1号点透视变换后的坐标为(99，99)，此时，依次检测4 个点中哪个点坐标均大于50像素，满足这一情况的点为1号点；
若为左下，则1号点透视变换后的坐标为(0，99)，此时，依次检测4个点中哪个点纵坐标比横坐标大50像素以上，满足这一情况的点为1号点。
步骤8-4、根据得到的4组2D角点，同时直接逆时针自定义4组3D初始化，调用Opencv中的solvePnPRansac函数，得到标定物的位姿信息；
步骤8-5、用得到的标定物的位姿信息代替目标的位姿信息。
一种基于标定物的目标位姿测量系统，包括：
图像处理模块，用于对相机采集到的图像进行图像处理灰度及二值化处理，得到处理后的图像；
检测模块，用于对处理后的图像进行检测，提取图像轮廓后对轮廓进行筛选，匹配，最后得到目标标定物；
位姿计算模块，用于提取标定物的特征点，利用P3P的方法，得到标定物的位姿信息。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时以下步骤：
步骤1、进行相机标定，获得相机的内参数与畸变参数；
步骤2、将设计的标定物贴在被测物体表面，通过相机采集被测物体图像；
步骤3、利用Opencv中的cvtColor函数将步骤2得到的图像转化为灰度图，再利用threshold函数对灰度图进行二值化处理；
步骤4；利用Opencv中的findContours函数，对图像进行找轮廓操作；
步骤5、利用Opencv中的approxPolyDP函数对步骤4中所有找到轮廓进行多边形逼近，再利用isContourConvex函数选取其中为凸四边形的轮廓，计算凸四边形最短边长，选取最短边长在规定范围之内的所有轮廓；
步骤6、计算步骤5中四边形轮廓与其他所有轮廓的平均距离，如果均大于设定的阈值，则将其判定为候选标定物，如果两组轮廓的平均距离小于阈值，则比较二者周长，选取其中周长较大者为候选标定物；
步骤7、根据设计的标定物的特征对所有候选标定物进行筛查，得到最终的目标标定物；
步骤8、提取标定物的特征点，利用P3P的方法，得到标定物的位姿信息，并用得到的标定物的位姿信息代替目标的位姿信息。
一种计算机可存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
步骤1、进行相机标定，获得相机的内参数与畸变参数；
步骤2、将设计的标定物贴在被测物体表面，通过相机采集被测物体图像；
步骤3、利用Opencv中的cvtColor函数将步骤2得到的图像转化为灰度图，再利用threshold函数对灰度图进行二值化处理；
步骤4；利用Opencv中的findContours函数，对图像进行找轮廓操作；
步骤5、利用Opencv中的approxPolyDP函数对步骤4中所有找到轮廓进行多边形逼近，再利用isContourConvex函数选取其中为凸四边形的轮廓，计算凸四边形最短边长，选取最短边长在规定范围之内的所有轮廓；
步骤6、计算步骤5中四边形轮廓与其他所有轮廓的平均距离，如果均大于设定的阈值，则将其判定为候选标定物，如果两组轮廓的平均距离小于阈值，则比较二者周长，选取其中周长较大者为候选标定物；
步骤7、根据设计的标定物的特征对所有候选标定物进行筛查，得到最终的目标标定物；
步骤8、提取标定物的特征点，利用P3P的方法，得到标定物的位姿信息，并用得到的标定物的位姿信息代替目标的位姿信息。
下面结合附图与实施例对本发明做详细说明
实施例
本发明是一种基于二维标定物的目标位姿测量方法，本发明设计了一种二维标定物，使相机能够准确在复杂的背景图像中识别出二维标定物上特征点，从而得到目标物的位姿信息，方法流程如图1，具体步骤为：
步骤1、进行相机标定，获得相机的内参数与畸变参数，如表1所示：
表1相机标定结果
Figure BDA0002703668950000061
步骤2、将设计的二维标定物贴在被测物体表面，通过相机采集被测物体图像，所述的二维标定物的物理尺寸为50mm*50mm的正方形，并由7*7个正方形组成，其最外围24个正方形全为黑色，除去最外围一圈正方形后，其内部的四个角落上的正方形为3黑1白，其余正方形为黑白相间的正方形，如图2所示，采集到的图片如图3所示；
步骤3、利用Opencv中的cvtColor函数将步骤2得到的图像转化为灰度图，再利用threshold函数对灰度图进行二值化处理，如图4所示；
步骤4；利用Opencv中的findContours函数，对图像进行找轮廓操作，如图5所示；
步骤5、利用Opencv中的approxPolyDP函数对步骤4中所有找到轮廓进行多边形逼近，再利用isContourConvex函数选取其中为凸四边形的轮廓，计算凸四边形最短边长，选取最短边长在规定范围之内的所有轮廓；
步骤6、计算步骤5中四边形轮廓与其他所有轮廓的平均距离，如果均大于设定的阈值，则将其判定为候选二维标定物，如果两组轮廓的平均距离小于阈值，则比较二者周长，选取其中周长较大者为候选二维标定物；
所述计算轮廓间的平均距离的的方法如下：选取步骤5中得到的两个轮廓，分别记为轮廓A和轮廓B，轮廓A、B的四个角点坐标均已知，分别计算轮廓A 四个角点到轮廓B对应的四个角点的距离，求这4组距离的平均值，将其记为两组轮廓的平均距离；
步骤7、根据设计的二维标定物的特征对所有候选二维标定物进行筛查，得到最终的目标二维标定物，具体包括以下步骤：
步骤7-1、检测步骤6中得到的候选二维标定物，将候选二维标定物最外围一圈分为24个正方形，分别对这24个正方形的像素值进行统计，统计非零像素值的个数，如果某个小正方形非零像素个数超过正方形总像素个数的一半，则判定该正方形为白色，否则，判定该小正方形为黑色，若这24个正方形内有任何一个正方形为白色，则排除该标定物，最后留下外围24个正方形为黑色的候选二维标定物；
步骤7-2、对外围正方形为黑色的候选二维标定物除去外围24个正方形后剩下的内部部分分为25个正方形，分别对这25个正方形的像素值进行统计，统计非零像素值的个数，如果某个小正方形非零像素个数不超过该小正方形总像素个数的一半，则判断该小正方形是黑色，如果黑色小正方形个数为25，则判断该候选二维标志物内部为全黑，排除该二维标定物，此时剩下的候选二维标定物即为所需的标定物；
步骤8、提取二维标定物的特征点，利用P3P的方法，得到二维标定物的位姿信息，并用得到的二维标定物的位姿信息代替目标的位姿信息，具体包括以下步骤：
步骤8-1、将步骤7得到的目标二维标定物进行透视变换，将其变换到 100*100像素的正方形中，透视变换数学表达式如下：
Figure BDA0002703668950000081
Figure BDA0002703668950000082
Figure BDA0002703668950000083
式中(u,v)为原始图像坐标，w的值为1，w′为计算所用的借记量，a11、a12、 a21和a22为线性变化参数，a13和a23为透视变化参数，a31和a32，a33的值为1，为平移参数，(x,y)为变换之后的图像像素坐标，通过设定的100*100像素小正方形的四个角点与步骤7-2中得到的二维标定物四个角点的对应关系，利用 opencv中getPerspectiveTransform函数求得透视变换转换矩阵，再利用 warpPerspective函数对图像进行进行透视变换，透视结果如图6所示；
步骤8-2、将二维标定物的4个角点标记为A、B、C、D，计算
Figure BDA0002703668950000084
向量与
Figure BDA0002703668950000085
的叉乘：向量
Figure BDA0002703668950000086
向量
Figure BDA0002703668950000087
则向量的叉乘可以表示为：
Figure BDA0002703668950000088
若叉乘结果为负，则表示AB到AC的旋转是顺时针的，此时需交换B、D两点，若叉乘结果为正，则表示AB到AC的旋转是逆时针的，此时4个角点为逆时针排列；
步骤8-3、检测除去最外围24个全黑正方形后内部4个角落上白色正方形，将其最靠近的角点标记为1号点，此时剩下3个角点逆时针标记为2、3、4号点，标点的具体方法为：
采用透视变换，得到4个角点经过透视变换后的坐标为(0，0)，(99，0) (99，99)(0，99)，透视变换后，除去最外围黑色正方形后位于角落的白色正方形可能位于左上、右上、右下、左下；
若为左上，则1号点透视变换后的坐标为(0，0)，此时，依次检测4个点中哪个点坐标均在10像素以内，满足这一情况的点为1号点。
若为右上，则1号点透视变换后的坐标为(99，0)，此时，依次检测4个点中哪个点横坐标比纵坐标大50像素以上，满足这一情况的点为1号点；
若为右下，则1号点透视变换后的坐标为(99，99)，此时，依次检测4 个点中哪个点坐标均大于50像素，满足这一情况的点为1号点；
若为左下，则1号点透视变换后的坐标为(0，99)，此时，依次检测4个点中哪个点纵坐标比横坐标大50像素以上，满足这一情况的点为1号点；
步骤8-4、根据得到的4组2D角点，直接逆时针自定义4组3D初始化，调用Opencv中的solvePnPRansac函数，得到二维标定物的位姿信息，如图7所示；
步骤8-5、用得到的二维标定物的位姿信息代替目标的位姿信息。
本方法能有效排除环境干扰，使相机能够准确在复杂的背景图像中识别出标定物上特征点，从而计算出相机的位姿信息，准确度和稳定性都比较好，标定物的使用，使相机对目标位姿测量的难度大大的降低，易于实现。

Claims (9)

1.一种基于标定物的目标位姿测量方法，其特征在于，具体步骤为：
步骤1、进行相机标定，获得相机的内参数与畸变参数；
步骤2、将标定物贴在被测物体表面，通过相机采集被测物体图像；
步骤3、利用Opencv中的cvtColor函数将步骤2得到的图像转化为灰度图，再利用threshold函数对灰度图进行二值化处理；
步骤4；利用Opencv中的findContours函数，对图像进行找轮廓操作；
步骤5、利用Opencv中的approxPolyDP函数对步骤4中所有找到轮廓进行多边形逼近，再利用isContourConvex函数选取其中为凸四边形的轮廓，计算凸四边形最短边长，选取最短边长在规定范围之内的所有轮廓；
步骤6、计算步骤5中四边形轮廓与其他所有轮廓的平均距离，设定阈值为100像素，如果均大于设定的阈值，则将其判定为候选标定物，如果两组轮廓的平均距离小于阈值，则比较二者周长，选取其中周长较大者为标定物；
步骤7、根据标定物的特征对所有候选标定物进行筛查，得到最终的目标标定物；
步骤8、提取标定物的特征点，利用P3P的方法，得到标定物的位姿信息，并用得到的标定物的位姿信息代替目标的位姿信息。
2.根据权利要求1所述的一种基于标定物的目标位姿测量方法，其特征在于，步骤2中所述的标定物的物理尺寸为n*n的正方形，并将其分为7*7个相同大小的正方形，其最外围的24正方形全为黑色，除去最外围一圈正方形后，其内部的四个角落上的正方形为3黑1白，其余正方形为黑白相间的正方形。
3.根据权利要求1所述的一种基于标定物的目标位姿测量方法，其特征在于，步骤6中计算轮廓间的平均距离的的方法如下：选取步骤5中得到的两个轮廓，分别记为轮廓A和轮廓B，轮廓A、B的四个角点坐标均已知，分别计算轮廓A四个角点到轮廓B对应的四个角点的距离，求这4组距离的平均值，将其记为两组轮廓的平均距离。
4.根据权利要求1所述的一种基于标定物的目标位姿测量方法，其特征在于，步骤7具体为：
步骤7-1、检测步骤6中得到的候选标定物，将候选标定物最外围一圈分为24个正方形，分别对这24个正方形的像素值进行统计，统计非零像素值的个数，如果某个小正方形非零像素个数超过正方形总像素个数的一半，则判定该正方形为白色，否则，判定该小正方形为黑色，若这24个正方形内有任何一个正方形为白色，则排除该标定物，最后留下外围24个正方形为黑色的候选标定物；
步骤7-2、对外围正方形为黑色的候选标定物除去外围24个正方形后剩下的内部部分分为25个正方形，分别对这25个正方形的像素值进行统计，统计非零像素值的个数，如果某个小正方形非零像素个数不超过该小正方形总像素个数的一半，则判断该小正方形是黑色。如果黑色小正方形个数为25，则判断该候选标定物内部为全黑，排除该标定物，此时剩下的候选标定物即为所需的标定物。
5.根据权利要求1所述的一种基于标定物的目标位姿测量方法，其特征在于，步骤8具体为：
步骤8-1、将步骤7得到的目标标定物进行透视变换，将其变换到100*100像素的正方形中，透视变换数学表达式如下：
Figure FDA0002703668940000021
Figure FDA0002703668940000022
Figure FDA0002703668940000023
式中(u,v)为原始图像坐标，w的值为1，w′为计算所用的借记量，a11、a12、a21和a22为线性变化参数，a13和a23为透视变化参数，a31和a32为平移参数，a33的值为1，(x,y)为变换之后的图像像素坐标，通过设定的100*100像素小正方形的四个角点与步骤7-2中得到的标定物四个角点的对应关系，利用Opencv中getPerspectiveTransform函数求得透视变换转换矩阵，再利用Opencv中的warpPerspective函数对图像进行进行透视变换；
步骤8-2、将标定物的4个角点标记为A、B、C、D，计算
Figure FDA0002703668940000024
向量与
Figure FDA0002703668940000025
的叉乘：向量
Figure FDA0002703668940000026
向量
Figure FDA0002703668940000027
则向量的叉乘可以表示为：
Figure FDA0002703668940000028
若叉乘结果为负，则表示AB到AC的旋转是顺时针的，此时需交换B、D两点，若叉乘结果为正，则表示AB到AC的旋转是逆时针的，此时4个角点为逆时针排列；
步骤8-3、检测除去最外围24个全黑正方形后内部4个角落上白色正方形，将其最靠近的角点标记为1号点，此时剩下3个角点逆时针标记为2、3、4号点；
步骤8-4、根据得到的4组2D角点，同时直接逆时针自定义4组3D初始化，调用Opencv中的solvePnPRansac函数，得到标定物的位姿信息；
步骤8-5、用得到的标定物的位姿信息代替目标的位姿信息。
6.根据权利要求5所述的一种基于标定物的目标位姿测量方法，其特征在于，步骤8-3具体为：
利用透视变换，4个角点经过透视变换后的坐标为(0，0)，(99，0)(99，99)(0，99)，透视变换后，除去最外围黑色正方形后位于角落的白色正方形可能位于左上、右上、右下、左下；
若为左上，则1号点透视变换后的坐标为(0，0)，此时，依次检测4个点中哪个点坐标均在10像素以内，满足这一情况的点为1号点。
若为右上，则1号点透视变换后的坐标为(99，0)，此时，依次检测4个点中哪个点横坐标比纵坐标大50像素以上，满足这一情况的点为1号点；
若为右下，则1号点透视变换后的坐标为(99，99)，此时，依次检测4个点中哪个点坐标均大于50像素，满足这一情况的点为1号点；
若为左下，则1号点透视变换后的坐标为(0，99)，此时，依次检测4个点中哪个点纵坐标比横坐标大50像素以上，满足这一情况的点为1号点。
7.一种基于标定物的目标位姿测量系统，其特征在于，包括：
图像处理模块，用于对相机采集到的图像进行图像处理灰度及二值化处理，得到处理后的图像；
检测模块，用于对处理后的图像进行检测，提取图像轮廓后对轮廓进行筛选，匹配，最后得到目标标定物；
位姿计算模块，用于提取标定物的特征点，利用P3P的方法，得到标定物的位姿信息。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-6中任一项所述方法的步骤。
9.一种计算机可存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6中任一项所述的方法的步骤。
CN202011031214.7A 2020-09-27 2020-09-27 一种基于标定物的目标位姿测量方法 Pending CN112233176A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011031214.7A CN112233176A (zh) 2020-09-27 2020-09-27 一种基于标定物的目标位姿测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011031214.7A CN112233176A (zh) 2020-09-27 2020-09-27 一种基于标定物的目标位姿测量方法

Publications (1)

Publication Number Publication Date
CN112233176A true CN112233176A (zh) 2021-01-15

Family

ID=74108859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011031214.7A Pending CN112233176A (zh) 2020-09-27 2020-09-27 一种基于标定物的目标位姿测量方法

Country Status (1)

Country Link
CN (1) CN112233176A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114861695A (zh) * 2022-05-17 2022-08-05 南京听说科技有限公司 一种基于ArUco的智答码识别方法、智慧教室系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108562274A (zh) * 2018-04-20 2018-09-21 南京邮电大学 一种基于标志器的非合作目标位姿测量方法
CN111089569A (zh) * 2019-12-26 2020-05-01 中国科学院沈阳自动化研究所 一种基于单目视觉的大型箱体测量方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108562274A (zh) * 2018-04-20 2018-09-21 南京邮电大学 一种基于标志器的非合作目标位姿测量方法
CN111089569A (zh) * 2019-12-26 2020-05-01 中国科学院沈阳自动化研究所 一种基于单目视觉的大型箱体测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭磊: "作业型飞行器平台的集成设计与自主抓取研究", 《中国优秀硕士论文全文数据库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114861695A (zh) * 2022-05-17 2022-08-05 南京听说科技有限公司 一种基于ArUco的智答码识别方法、智慧教室系统

Similar Documents

Publication Publication Date Title
CN111775152B (zh) 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统
CN110580725A (zh) 一种基于rgb-d相机的箱体分拣方法及系统
CN111784770B (zh) 基于shot和icp算法的无序抓取中的三维姿态估计方法
CN110648367A (zh) 一种基于多层深度与彩色视觉信息的几何体目标定位方法
US9616569B2 (en) Method for calibrating an articulated end effector employing a remote digital camera
Azad et al. Stereo-based 6d object localization for grasping with humanoid robot systems
CN111267095B (zh) 一种基于双目视觉的机械臂抓取控制方法
CN110480637B (zh) 一种基于Kinect传感器的机械臂零件图像识别抓取方法
CN109702738B (zh) 一种基于三维物体识别的机械臂手眼标定方法及装置
CN112308916B (zh) 一种基于图像靶标的目标位姿识别方法
CN107452030B (zh) 基于轮廓检测和特征匹配的图像配准方法
CN112894815B (zh) 视觉伺服机械臂物品抓取最佳位姿检测方法
CN112509063A (zh) 一种基于边缘特征匹配的机械臂抓取系统及方法
CN113781561B (zh) 基于自适应高斯权快速点特征直方图的目标位姿估计方法
CN112669385A (zh) 基于三维点云特征的工业机器人工件识别与位姿估计方法
CN115609591B (zh) 一种基于2D Marker的视觉定位方法和系统、复合机器人
CN111784655B (zh) 一种水下机器人回收定位方法
CN112734844B (zh) 一种基于正八面体的单目6d位姿估计方法
CN114029946A (zh) 一种基于3d光栅引导机器人定位抓取的方法、装置及设备
Zheng et al. Industrial part localization and grasping using a robotic arm guided by 2D monocular vision
CN113269723A (zh) 三维视觉定位与机械手协同工作的零部件无序抓取系统
CN112233176A (zh) 一种基于标定物的目标位姿测量方法
CN112975957A (zh) 目标提取方法、系统、机器人及存储介质
CN115578460A (zh) 基于多模态特征提取与稠密预测的机器人抓取方法与系统
CN114882108A (zh) 一种二维图像下汽车发动机盖抓取位姿的估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210115