CN116091603A - 一种基于点特征的箱体工件位姿测量方法 - Google Patents

一种基于点特征的箱体工件位姿测量方法 Download PDF

Info

Publication number
CN116091603A
CN116091603A CN202310034663.4A CN202310034663A CN116091603A CN 116091603 A CN116091603 A CN 116091603A CN 202310034663 A CN202310034663 A CN 202310034663A CN 116091603 A CN116091603 A CN 116091603A
Authority
CN
China
Prior art keywords
coordinate system
image
camera
coordinates
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310034663.4A
Other languages
English (en)
Inventor
陈阳
曹志祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou University
Original Assignee
Changzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou University filed Critical Changzhou University
Priority to CN202310034663.4A priority Critical patent/CN116091603A/zh
Publication of CN116091603A publication Critical patent/CN116091603A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及自动化控制技术领域，尤其涉及一种基于点特征的箱体工件位姿测量方法，包括用张正友标定法对单目相机进行标定，获取单目相机的内部参数和畸变参数；在图像中选取三维空间中共面的四个箱体工件的角点作为特征点，建立世界坐标系、相机坐标系、图像坐标系和像素坐标系，获取特征点在世界坐标系下的三维坐标；利用点特征对预处理后的图像进行图像处理，获得特征点在像素坐标系下的二维坐标；结合特征点在世界坐标系中的三维坐标、像素坐标系中的二维坐标和单目相机的内部参数，利用PNP测量方法求解出箱体工件的位姿信息。本发明提供解决现有的位姿测量方法测量方法繁琐且无法对小型箱体进行位姿测量的问题。

Description

一种基于点特征的箱体工件位姿测量方法
技术领域
本发明涉及自动化控制技术领域，尤其涉及一种基于点特征的箱体工件位姿测量方法。
背景技术
近年来，随着科学技术不断发展，工业机器人已广泛应用于航空、汽车工业、产品包装和电子封装等规模化产业中，替代人工完成搬运、加工、包装、分拣在内的众多作业，对工件的抓取是生产线上的工业机器人常常需要完成的一项操作是，传统生产线上，执行抓取操作的工业机器人一般都采用示教再现或离线编程等方式，抓取目标的初始位姿和终止位姿都是预先严格设定的，当工件在载物平台上的位姿未给定时，由于无法获取初始位姿，传统的机器人不能准确抓取工件。
中国专利CN111089569A公开了一种基于单目视觉的大型箱体测量方法，包括：将识别靶标安装在被测箱体上，通过单目相机采集含有识别靶标的被测箱体图像，建立世界坐标系并得到识别靶标标志点的三维坐标；安装两个单目相机，其中，第一单目相机用于采集被测箱体的侧面图像，第二单目相机用于采集被测箱体的顶面图像，通过两个单目相机进行相机标定，得到相机内参；利用每个单目相机采集含有识别靶标的被测箱体图像，得到靶标标志点图像的像素坐标，用于被测箱体的位姿测量；通过P5P测量方法测量得到箱体侧面识别靶标相对于第一单目相机的位置、箱体顶面识别靶标相对于第二单目相机的姿态；将被测箱体的位置与姿态传递到机械臂控制系统用于协助引导机械臂完成抓取。但是现有基于单目视觉的位姿测量方法需要同时使用两个单目相机，并且需要事先将识别靶标安装在被测箱体上，对于体积较小的箱体并不适用，基于此，我们提出一种基于点特征的箱体工件位姿测量方法。
发明内容
针对现有算法的不足，本发明提供解决现有的位姿测量方法测量方法繁琐且无法对小型箱体进行位姿测量的问题。另外，现有箱体位姿测量的方法需要同时用到两颗单目相机，并且需要事先在箱体上安装识别靶标，由于小型箱体的体积限制，存在无法安装靶标的情况。
本发明所采用的技术方案是：一种基于点特征的箱体工件位姿测量方法包括以下步骤：
步骤一、安装单目相机，用张正友标定法对单目相机进行标定，获取单目相机的内部参数和畸变参数；
步骤二、利用单目相机采集箱体工件的图像，在图像中选取三维空间中共面的四个箱体工件的角点作为特征点，建立世界坐标系、相机坐标系、图像坐标系和像素坐标系，获取特征点在世界坐标系下的三维坐标；
步骤三、对采集到的每帧原始图像进行预处理；
进一步的，图像的预处理部分主要包括以下步骤：
1)利用步骤一中获得的单目相机的畸变参数对原始图像进行畸变矫正；
2)对图像中的箱体工件进行检测，框选箱体工件，对图像中的剩余部分进行掩膜处理。
步骤四、利用点特征对预处理后的图像进行图像处理，获得特征点在像素坐标系下的二维坐标；
进一步的，利用点特征对预处理后的图像进行图像处理，获得特征点在像素坐标系下的二维坐标，包含以下步骤：
步骤41、对预处理后的图像进行边缘检测，获得图像的边缘像素；
步骤42、利用Hough变换对图像的边缘像素进行直线检测；
步骤43、对检测到的直线加入线宽d，利用加权最小二乘法对线宽为d的检测域进行迭代拟合直线；
步骤44、对同一边缘断裂成的多条直线进行合并；
进一步的，步骤44具体包括：
步骤441、提取同边缘直线的斜率并计算斜率的平均值v，v即为拟合直线的斜率；
步骤442、计算相似直线与拟合直线垂直的直线斜率c；
步骤443、提取与拟合直线斜率差值最大的直线端点坐标A1、B1，分别求过A1、B1斜率为c的垂线；
步骤444、求两垂线与其他同边缘直线的交点坐标，分别计算每个垂线与其他同边缘直线交点坐标的平均值得到A、B两个坐标点；
步骤445、用连接A、B两点的直线取代原有直线。
步骤45、计算相邻直线的交点坐标，即为箱体工件的角点在像素坐标系下的二维坐标，再从中筛选出其中特征点的二维坐标。
步骤五、结合特征点在世界坐标系中的三维坐标、像素坐标系中的二维坐标和单目相机的内部参数，利用PNP测量方法求解出箱体工件的位姿信息；
进一步的，箱体工件特征点在图像坐标系下的坐标与特征点在三维世界坐标系下的坐标对应；
进一步的，PNP测量方法是结合标定所得的相机内参，根据已知的世界坐标系中特征点的三维坐标与其在图像平面上投影的二维坐标，计算出箱体工件所在的世界坐标系与相机坐标系之间的旋转和平移关系；
进一步的，PNP测量方法具体为：
空间中的某一个点Pw所在的世界坐标系中的坐标与该点投影到图像坐标系中的坐标之间的变换关系可写成如下模型：
Figure BDA0004048811770000041
式中，(Xw,Yw,Zw,1)是空间点在世界坐标系下的齐次坐标形式，(Xc,Yc,Zc)是空间点在相机坐标系下的坐标形式，Zc是空间点在相机坐标系中垂直于成像平面的轴的坐标，(u,v,1)是空间点在图像坐标系下的齐次坐标形式，f,dX,dY,u0,v0都是相机的内参，其中f是相机镜头的焦距，dX,dY分别是相机图像传感器上每个像素的宽和高，u0,v0是图像坐标系的原点在像素坐标系上的坐标，rij是相机的旋转矩阵参数，ti为相机的平移向量参数，由相机成像模型可以推导如下表达式：
Figure BDA0004048811770000042
将(3)式代入(1)与(2)中得：
Figure BDA0004048811770000043
式中，在获取世界坐标系下的坐标、像素坐标系下的坐标与相机内部参数后，未知量有r11,r12,r13,r21,r22,r23,r31,r32,r33,t1,t2,t3共12个，由于旋转矩阵是正交矩阵，每行每列都是单位向量且两两正交，所以只需要获取旋转矩阵的3个未知量即可得到另外的6个，再加上平移向量的3个未知量，共有6个未知量需要求解，因此也需要6个方程；而每个特征点可以提供2个方程，故至少需要3个特征点才能求解出外参；OpenCV提供的CV_ITERATIVE算法可以通过迭代求出重投影误差最小的解，当且仅当特征点的数量为4且4个特征点共面时才能获得正确的位姿数据。
本发明的有益效果：
1、使用一个单目相机完成测量工作，相比双目相机或两个单个相机，在保障测量精度的情况下结构更简单，实时性更出众。
2、不需要使用识别靶标等辅助工具，测量过程更加方便。
3、采用基于Hough直线检测与最小二乘法相结合的方法对于特征点进行坐标测量，有着较好鲁棒性和较高的精度。
附图说明
图1是本发明的基于点特征的箱体工件位姿测量方法流程图；
图2是本发明的相机标定和位姿测量实验中需要建立4个坐标系的示意图；
图3是本发明的获取特征点在像素坐标系下的二维坐标的流程图；
图4是本发明的对同边缘下多条斜率接近的直线进行合并的示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明，此图为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图2所示为单目视觉的位姿测量实验中需要建立4个坐标系：
三维世界坐标系中的坐标是物体在真实世界里的三维坐标，一般将特征点共面的平面设为坐标系的z轴，世界坐标系是表述其他坐标系的参考框架，用(Xw,Yw,Zw)表示；相机坐标系的z轴垂直于成像平面，相机的光轴即为相机坐标系的z轴，光心即是相机坐标系的原点Oc，用(Xc,Yc,Zc)表示；图像坐标系的原点Oi位于相机坐标系原点Oc后端f处的成像平面上，是光轴与成像平面的交点，x轴与y轴分别平行于图像传感器的长边与宽边，用(x,y)表示；像素坐标系与图像坐标系共面，其原点Op是相机图像传感器的左上角，u轴和v轴分别平行于图像坐标系的x轴和y轴，用(u,v)表示。
现有箱体位姿测量的方法需要同时用到两颗单目相机，并且需要事先在箱体上安装识别靶标，由于小型箱体的体积限制，存在无法安装靶标的情况，基于此，本发明提供了一种基于点特征的箱体工件位姿测量方法，如图1所示为本发明系统总体流程框图，具体实施步骤包括：
步骤一、用张正友标定法对单目相机进行标定，获取单目相机的内部参数和畸变参数；
步骤二、安装单目相机，利用单目相机采集箱体工件的图像，在图像中选取三维空间中共面的四个箱体工件的角点作为特征点，建立世界坐标系、相机坐标系、图像坐标系和像素坐标系，获取特征点在世界坐标系下的三维坐标；
步骤三、对采集到的每帧原始图像进行预处理；
步骤四、利用点特征对预处理后的图像进行图像处理，获得特征点在像素坐标系下的二维坐标；
步骤五、结合特征点在世界坐标系中的三维坐标、像素坐标系中的二维坐标和单目相机的内部参数，利用PNP测量方法求解出箱体工件的位姿信息。
张正友标定算法是一种非常简单实用的标定方法，所需要的器材仅一张棋盘格，张正友标定算法对单目相机进行参数标定的过程简述为：
在张正友标定中，若将世界坐标系建立在棋盘格平面上，棋盘格在世界坐标系中Zw＝0，z轴上的旋转向量为0，有：
Figure BDA0004048811770000061
式中，k为比例因子，(u,v,1)是空间点在图像坐标系下的齐次坐标形式，K为相机内参矩阵，r1和r2分别为Xw与Yw轴上的旋转向量，t为平移向量，(Xw,Yw,1)是空间点在世界坐标系下Zw＝0的二维平面中的齐次坐标形式。
令H＝[h1,h2,h3]＝λK[r1,r2,t]，由于旋转矩阵是单位正交矩阵，易知
Figure BDA0004048811770000071
则：
Figure BDA0004048811770000072
式中，H是内参矩阵与外参矩阵的乘积，hi为乘积矩阵的向量，λ为比例因子。
令
Figure BDA0004048811770000073
由于K是上三角矩阵，易知矩阵B是实对称矩阵，令L＝[b11,b12,b13,b22,b23,b33]T，求相机内参即转换为求向量L，由于向量L有6个未知数，则至少需要3个方程组，即三张图像才能求解出该向量，而提供方程组的向量H为单应性矩阵，有8个自由度，至少需要4个方程组才能求解出该矩阵，每个特征点对应一个方程组，则至少需要4个特征点才能求解出矩阵H。因此，理论上只需要3张标定板的图像且每张图像中有4个特征点就能获得相机的内部参数，在实际标定中，更多标定板的图像和更多特征点的数量可以提高标定的精度。
除了内部参数以外，畸变参数是标定获得的另一个重要参数；畸变会使获取的像素坐标系中的特征点坐标产生误差，因此需要获取相机的畸变参数用以对误差进行补偿；畸变分为径向畸变或者切向畸变两种，其中切向畸变对工作的影响小到可以忽略，实际应用中主要考虑径向畸变k1,k2,k3......一般只需要求k1,k2。
图3所示的是获取特征点在像素坐标系下的二维坐标的具体工作流程，包括以下步骤：
步骤41：对图像进行边缘检测，获取图像的边缘像素；
针对分布在工件的表面的散点纹理虽然相邻像素之间的反差较大，但整体上看反差较小，而工件的边缘，不仅局部反差大，整体上反差也大的特点，对图像采用均值迁移滤波，能在减弱散点纹理的干扰的同时保留图像中的边缘细节。因此采用高斯滤波与均值迁移滤波相结合的混合滤波器取代传统Canny算法中的高斯滤波器对图像进行滤波。
在Canny算法的双阈值确定边缘的过程中，图像中某个像素是否被认定为图像的边缘是通过该点像素的梯度值进行判定的，具体判定步骤如下：
1)如果当前边缘像素的梯度值大于或等于maxVal，则将当前边缘像素标记为强边缘；
2)如果当前边缘像素的梯度值介于maxVal与minVal之间，则将当前边缘像素标记为虚边缘，但将其保留；
3)如果当前边缘像素的梯度值小于或等于minVal，则将当前边缘像素标记为非边缘，并将其抛弃；
4)对虚边缘进行判定，如果虚边缘与强边缘相连则将其标记为弱边缘，否则视为伪边缘并将其抛弃，最后Canny将强边缘和弱边缘都视为图像的边缘。
Canny算法的双阈值确定边缘的方法能很好的避免误检漏检的情况，但对于滤波后没有完全平滑掉的散点纹理，Canny算法很容易将其识别成边缘；针对带有非连续性特征的散点纹理和工件磨损的边缘一样，其像素的梯度值并不高，大多介于maxVal与minVal之间，属于虚边缘的范畴的情况，将强边缘像素与保留下来的虚边缘像素分别标记，在Hough直线检测的累计投票过程中对强边缘像素和保留下来的虚边缘像素分配不同的权重；对边缘像素的梯度进行加权，不会对少量磨损的工件边缘的检测有影响，同时能减少散点纹理对直线检测的干扰。
步骤42：采用累积概率Hough变换对步骤41中获得图像的边缘进行直线检测；
Hough变换是一种对图像中的直线进行检测和定位的方法，具有鲁棒性好、无需启发式信息等优点；标准Hough变换(Standard Hough Transfotin,SHT)针对每个前景像素进行映射，因此当图像中的像素足够多时，SHT的计算量会非常大；累计概率Hough变换(Progressive Probabilistic Hough Transform,PPHT)对SHT进行了改进，用一个足以进行线检测的随机点子集代表了图像中的所有点。
步骤43：对步骤42中检测到的直线加入线宽d，利用加权最小二乘法对线宽为d的检测域进行迭代拟合直线；
PPHT检测过程中，只要满足累加器的投票数达到某一阈值，就将其认定为边缘直线，因此会出现同一个边缘检测出多条直线的情况，对PPHT检测到的直线加入线宽d，将长为直线两端点连线宽为线宽d的矩形区域作为该直线的检测域，将重合的检测域合并成一个大的检测域，再对检测域中的候选点进行最小二乘法(Least Square,LS)拟合直线，从而将同一边缘的多条直线进行合并，并且能够得到更精细的直线描述。
与HT的统计点数的方法不同，LS通过最小化每个点到直线的垂直误差的方法拟合直线，在一次拟合结果后，通过迭代的方法不断选择距离直线更近的点进行LS拟合，从而达到HT所无法达到的检测精度，并且LS能在拟合过程中将同一边缘处重合度较高的直线进行合并，避免了HT在同一个边缘检测出大量相似直线的情况；但是LS极易受离群点的影响，离群点距离真实直线的距离越远，在拟合过程中反而占据越大的比重；加权最小二乘法(Weighted Least Squares,WLS)是对LS的改进，WLS思想是对这些距离误差采用加权的方式，给每个样本点赋予不同权重，偏差较大的权重较小，偏差较小的权重较大。
步骤44：对同一边缘断裂成的多条直线进行合并；
由于线宽d的加入，WLS会将PPHT检测到的相似直线拟合成一条直线，但当工件边缘出现豁口时，PPHT会将同一个边缘检测成多段直线，需要对这些斜率接近的直线进行合并，具体的合并过程如图4所示，步骤如下：
步骤441、提取相似直线的斜率(同边缘直线L1、L2、L3为相似直线)计算平均值v，v则为拟合直线L4的斜率；
步骤442、计算相似直线与拟合直线L4垂直的直线斜率c；
步骤443、提取与拟合直线斜率差值最大的直线端点坐标A1、B1，分别求过A1、B1斜率为c的两条垂线L5、L6；
步骤444、求两垂线L5、L6与其他同边缘直线L1、L2、L3的交点坐标，分别计算每个垂线与其他相似直线交点坐标的平均值得到A、B两个坐标点；
步骤445、连接A、B两点的直线即为拟合直线L7，用L7取代原有直线。
步骤45：计算相邻直线的交点坐标，即为箱体工件的角点在像素坐标系下的二维坐标，再从中选出特征点的二维坐标。
本发明通过单目相机拍摄到的单张箱体工件的二维图像即可计算出工件准确的位置信息和姿态信息，从而保证了对箱体工件进行实时快速定位，方便了移动机器人对箱体工件进行抓取和搬运。
综上所述，本发明所提供的基于点特征的箱体工件位姿测量方法通过单目相机将获取到的原始图像进行图像分割、畸变矫正等预处理，针对于箱体工件所处的复杂场景应用神经网络与传统点对特征匹配算法相级联的方法进而完成不同特征的相似匹配与识别定位。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (8)

1.一种基于点特征的箱体工件位姿测量方法，其特征在于，包括以下步骤：
步骤一、安装单目相机，用张正友标定法对单目相机进行标定，获取单目相机的内部参数和畸变参数；
步骤二、利用单目相机采集箱体工件的图像，在图像中选取三维空间中共面的四个箱体工件的角点作为特征点，建立世界坐标系、相机坐标系、图像坐标系和像素坐标系，获取特征点在世界坐标系下的三维坐标；
步骤三、对采集到的每帧原始图像进行预处理；
步骤四、利用点特征对预处理后的图像进行图像处理，获得特征点在像素坐标系下的二维坐标；
步骤五、结合特征点在世界坐标系中的三维坐标、像素坐标系中的二维坐标和单目相机的内部参数，利用PNP测量方法求解出箱体工件的位姿信息。
2.根据权利要求1所述的基于点特征的箱体工件位姿测量方法，其特征在于，步骤三具体包括：
步骤31、利用步骤一中获得的单目相机的畸变参数对原始图像进行畸变矫正；
步骤32、对图像中的箱体工件进行检测，框选箱体工件，对图像中的剩余部分进行掩膜处理。
3.根据权利要求1所述的基于点特征的箱体工件位姿测量方法，其特征在于，步骤四具体包括：
步骤41、对预处理后的图像进行边缘检测，获得图像的边缘像素；
步骤42、利用Hough变换对图像的边缘像素进行直线检测；
步骤43、对检测到的直线加入线宽d，利用加权最小二乘法对线宽为d的检测域进行迭代拟合直线；
步骤44、对同一边缘断裂成的多条直线进行合并；
步骤45、计算相邻直线的交点坐标，即为箱体工件的角点在像素坐标系下的二维坐标，再从中筛选出其中特征点的二维坐标。
4.根据权利要求1所述的基于点特征的箱体工件位姿测量方法，其特征在于：边缘检测是采用高斯滤波与均值迁移滤波相结合的混合滤波器。
5.根据权利要求1所述的基于点特征的箱体工件位姿测量方法，其特征在于：步骤44具体包括：
步骤441、提取同边缘直线的斜率并计算斜率的平均值v；
步骤442、计算相似直线与拟合直线垂直的直线斜率c；
步骤443、提取与拟合直线斜率差值最大的直线端点坐标A1、B1，分别求过A1、B1斜率为c的垂线；
步骤444、求两垂线与其他同边缘直线的交点坐标，分别计算每个垂线与其他同边缘直线交点坐标的平均值得到A、B两个坐标点；
步骤445、用连接A、B两点的直线取代原有直线。
6.根据权利要求1所述的基于点特征的箱体工件位姿测量方法，其特征在于：结合特征点在世界坐标系中的三维坐标是指箱体工件特征点在图像坐标系下的坐标与特征点在三维世界坐标系下的坐标对应。
7.根据权利要求1所述的基于点特征的箱体工件位姿测量方法，其特征在于，PNP测量方法是结合标定所得的相机内参，根据已知的世界坐标系中特征点的三维坐标与在图像平面上投影的二维坐标，计算出箱体工件的世界坐标系与相机坐标系之间的旋转和平移关系。
8.根据权利要求7所述的基于点特征的箱体工件位姿测量方法，其特征在于，PNP测量方法具体包括：
空间中的某一个点Pw所在的世界坐标系中的坐标与点Pw投影到图像坐标系中的坐标之间的变换关系模型为：
Figure FDA0004048811760000031
其中，(Xw,Yw,Zw,1)T是空间点在世界坐标系下的齐次坐标形式，(u,v,1)是空间点在图像坐标系下的齐次坐标形式，f是相机镜头的焦距，dX,dY是相机图像传感器上每个像素的宽和高，u0,v0是图像传感器的原点在像素传感器上的坐标，rij是相机的旋转矩阵参数，ti为相机的平移向量参数；
由相机成像模型推导如下表达式：
Figure FDA0004048811760000032
将(3)式代入(1)与(2)中得：
Figure FDA0004048811760000033
根据CV_ITERATIVE算法通过迭代求出重投影误差最小的解，当且仅当特征点的数量为4且4个特征点共面时获得正确的位姿数据。
CN202310034663.4A 2023-01-10 2023-01-10 一种基于点特征的箱体工件位姿测量方法 Pending CN116091603A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310034663.4A CN116091603A (zh) 2023-01-10 2023-01-10 一种基于点特征的箱体工件位姿测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310034663.4A CN116091603A (zh) 2023-01-10 2023-01-10 一种基于点特征的箱体工件位姿测量方法

Publications (1)

Publication Number Publication Date
CN116091603A true CN116091603A (zh) 2023-05-09

Family

ID=86209864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310034663.4A Pending CN116091603A (zh) 2023-01-10 2023-01-10 一种基于点特征的箱体工件位姿测量方法

Country Status (1)

Country Link
CN (1) CN116091603A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710436A (zh) * 2024-02-06 2024-03-15 唐山百川智能机器股份有限公司 一种基于无人机载单目相机的闸瓦厚度检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710436A (zh) * 2024-02-06 2024-03-15 唐山百川智能机器股份有限公司 一种基于无人机载单目相机的闸瓦厚度检测方法

Similar Documents

Publication Publication Date Title
CN110930459B (zh) 灭点提取方法、相机标定方法以及存储介质
CN109801333B (zh) 体积测量方法、装置、系统及计算设备
JP3735344B2 (ja) キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
US7376262B2 (en) Method of three dimensional positioning using feature matching
CN107588721A (zh) 一种基于双目视觉的零件多尺寸的测量方法及系统
CN111210477B (zh) 一种运动目标的定位方法及系统
CN107844750A (zh) 一种水面全景图像目标检测识别方法
CN109872366B (zh) 一种物体的三维位置检测方法和装置
CN106650701B (zh) 基于双目视觉的室内阴影环境下障碍物检测方法及装置
CN110310331B (zh) 一种基于直线特征与点云特征结合的位姿估计方法
Munoz-Banon et al. Targetless camera-lidar calibration in unstructured environments
CN111640158A (zh) 基于对应掩模的端到端的摄像头与激光雷达外参标定方法
CN112184765B (zh) 一种用于水下航行器的自主跟踪方法
Yan et al. Joint camera intrinsic and lidar-camera extrinsic calibration
CN115147723B (zh) 一种内河船舶识别与测距方法、系统、介质、设备及终端
Olson et al. Wide-baseline stereo vision for Mars rovers
Ding et al. A robust detection method of control points for calibration and measurement with defocused images
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
CN116091603A (zh) 一种基于点特征的箱体工件位姿测量方法
CN110197104B (zh) 基于车辆的测距方法及装置
CN112001954B (zh) 一种基于极曲线约束的水下pca-sift图像匹配方法
CN111860270B (zh) 一种基于鱼眼相机的障碍物检测方法及装置
CN115112098B (zh) 一种单目视觉的一维二维测量方法
CN109815966A (zh) 一种基于改进sift算法的移动机器人视觉里程计实现方法
CN116091401A (zh) 基于目标检测和复合目标码的航天器装配件识别定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination