CN112507755A - 最小化二维码角点重投影误差的目标物体六自由度定位方法及系统 - Google Patents
最小化二维码角点重投影误差的目标物体六自由度定位方法及系统 Download PDFInfo
- Publication number
- CN112507755A CN112507755A CN202011522791.6A CN202011522791A CN112507755A CN 112507755 A CN112507755 A CN 112507755A CN 202011522791 A CN202011522791 A CN 202011522791A CN 112507755 A CN112507755 A CN 112507755A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- dimensional code
- target object
- corner
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 4
- 239000012636 effector Substances 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000036544 posture Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
- G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种最小化二维码角点重投影误差的目标物体六自由度定位方法,包括:S1、相机Cm拍摄二维码M图像,获取二维码M角点在像素坐标系{Im}下的坐标称为二维码角点像素坐标采集值;S2、读取二维码M角点在目标物体坐标系{L}中的坐标将二维码M角点从目标物体坐标系{L}转换至相机像素坐标系{Im},获取二维码M角点在像素坐标系{Im}下的坐标称为二维码角点像素坐标计算值;S3、获取与二维码角点像素坐标采集值偏差最小的二维码角点像素坐标计算值及该二维码角点像素坐标计算值下的为最小重投影误差对应的目标物体坐标系{L}相对于定位坐标系{H}的位姿。别适用于大尺寸目标物体高精度定位,也适用于某一类大尺寸物体的不同个体的识别和定位。
Description
技术领域
本发明属于定位技术领域,更具体地,本发明涉及一种最小化二维码角点重投影误差的目标物体六自由度定位方法及系统。
背景技术
二维码,是一种按一定规律在平面上分布的、黑白相间的、记录数据符号信息的图形,其使用黑白矩形图案表示二进制数据,通过光电设备扫描后自动解读二维码内容并识别二维码位置。二维码相比于一维码,增加了定位点和容错机制,定位点用于定位二维码在图像数据中的位置,容错机制在即使没有识别到全部的条码、或是说条码有污损时,也可以正确地还原条码上的信息。目前二维码的生成、打印、读取和识别已相当成熟,针对一个二维码,现有相机可快速拍摄二维码图像,并读取二维码内容以及定位二维码角点在图像中的位置坐标。
已有基于二维码的定位方法大多是利用二维码本身的结构信息以及采用的二维码的大小尺寸信息进行定位,其定位信息包含三个维度,平面内X、Y坐标和Z轴方位角,属于三自由度定位,自由度描述不能给出完整的姿态信息,位姿即位置和姿态,位置可用X、Y、Z坐标描述,姿态可用X、Y、Z方位角描述,不便于于目标物体的抓取。
发明内容
本发明提供了一种最小化二维码角点重投影误差的目标物体六自由度定位方法,旨在改善上述问题。
本发明是这样实现的,一种最小化二维码角点重投影误差的目标物体六自由度定位方法,所述方法具体包括如下步骤:
其中,为二维码M角点在目标物体坐标系{L}中的坐标,为目标物体坐标系{L}相对于定位坐标系{H}之间的坐标转换矩阵,为定位坐标系{H}相对于相机坐标系{Cm}之间的坐标转换矩阵,为二维码M角点在相机坐标系{Cm}中的坐标,为的Z坐标分量,Mm为相机Cm的内参矩阵;
其中,n表示粘贴在目标物体中的二维码数量,j表示二维码的角点序号。
本发明是这样实现的,一种最小化二维码角点重投影误差的目标物体六自由度定位系统,所述系统包括:
目标物体,设于目标物体上的t个二维码,t≥1;
设于目标物体上方的工业视觉系统,工业视觉系统中设有p个工业相机,t个二维码处于p个工业相机的视野中间区域;
与工业视觉系统通讯连接的PLC控制单元,PLC控制单元基于所述最小化二维码角点重投影误差的目标物体六自由度定位系统来获取最小重投影误差对应的目标物体坐标系{L}相对于定位坐标系{H}的位姿,其中定位坐标系{H}设于机器人末端执行器上。
本发明主要通过在目标物体上布置多个二维码,并通过多个已标定的工业相机对二维码进行拍照和角点检测,根据识别的二维码角点图像坐标,以及在目标物体坐标系下的角点坐标,优化求解目标物体相对于多目视觉系统的空间位置和姿态关系。本发明特别适用于大尺寸目标物体高精度定位,也适用于某一类大尺寸物体的不同个体的识别和定位。
附图说明
图1为本发明实施例提供的最小化二维码角点重投影误差的目标物体六自由度定位系统的结构示意图;
图2为本发明实施例提供的最小化二维码角点重投影误差的目标物体六自由度定位方法流程图;
图3为本发明实施例提供的相机内参标定示意图;
图4为本发明实施例提供的重投影过程示意图。
具体实施方式
下面对照附图,通过对实施例的描述,对本发明的具体实施方式作进一步详细的说明,以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。
图3为畸变矫正后的工业视觉系统成像原理图,对于一个由工业相机和镜头组成的确定工业视觉系统,设其相机坐标系为坐标系{C},像素坐标系为坐标系{I},相机坐标系{C}下的一个三维点P,在像素坐标系下的投影点为p,若设三维点P的齐次坐标为:[X,Y,Z,1]T;点P在像素坐标系{I}上的二维投影像素点p的齐次坐标为[u,v,1]T,则有
其中矩阵
为相机的内参矩阵,可以通过标定相机获得,根据以上公式,给定相机坐标系{C}下的任意点三维坐标,均能计算出其对应的像素坐标系{I}下的二维投影点坐标,但是给定某个点在像素坐标系{I}下的二维投影点,则无法求出其在相机坐标系下的三维点,因为缺乏此三维点在相机坐标系下的深度,也即Z轴坐标值。
重投影误差。如图4所示,假定已知视觉系统的内参矩阵,对于相机坐标系{C}下的某一点P,通过视觉系统成像得到图像数据,其图像数据内也即在像素坐标系{I}下的投影点为p,自然如果已知点P在相机坐标系{C}下的坐标,那么根据内参矩阵也可以计算出点P在像素坐标系{I}下的投影点p',如果输入的点P的三维坐标存在误差,那么在像素坐标系{I}下投影点p和投影点p'将不重合,实际投影点p与计算投影点p'之间的误差称为重投影误差。
本发明方法包含三个重要过程,其一,标定过程,标定出二维码角点在目标物体坐标系下的准确位置,标定出所有相机的内参矩阵,标定出相机坐标系与定位坐标系之间的关系;其二,检测过程,通过相机拍摄目标物体上所有二维码,并在图像数据中检测二维码角点的像素坐标;其三,建立优化目标,也即最小化重投影误差。通过此三个步骤即可实现目标物体空间六自由度定位。
图1为本发明实施例提供的最小化二维码角点重投影误差的目标物体六自由度定位系统的结构示意图,为了便于说明,仅示出与本发明实施例相关的部分。
1需要进行六自由度空间定位的目标物体,2为目标物体坐标系{L},3、4、5和6为粘贴在目标物体上的二维码1、二维码2、二维码3、二维码4,7为定位坐标系{H},8、9、10和11分为别相机1、相机2、相机3和相机4,12为相机1自身的相机坐标系{Cm},{Im}为相机Cm对应的像素坐标系。
图1中是以四个工业相机拍摄四个二维码为例进行说明,在本发明实施例中,二维码的数量不限于四个,但目标物体上粘贴至少一个二维码,一个二维码存在四个角点,二维码粘贴的位置根据对应工业相机成像视野确定,尽可能粘贴在工业相机成像视野的中间区域,以使多目视觉系统检测范围更广,工业相机的数量也不限于四个,一个工业相机的视野中间区域存在至少一个二维码,也可以存在多个二维码。
二维码至少包含二维码的编号信息、及编码信息关联的二维码各角点在目标物体坐标系中的坐标信息,二维码的四个角点按照指定的顺序记性编号,例如顺时针或逆时针编号,设定二维码编号的目的是,便于系统通过二维码内容查询其角点在目标物体坐标系中的坐标息,在二维码编码中也可添加对应目标物体的其他信息,以便区分不同目标物体;
图2为本发明实施例提供的最小化二维码角点重投影误差的目标物体六自由度定位方法流程图,该方法具体包括如下步骤:
S2、对多目视觉系统的多个工业相机,调整好镜头焦距后分别进行标定,获得其内参矩阵,如对第m个相机获得其内参矩为Mm:
S5、基于以上分析,建立优化目标:
其中,优化变量为即需要定位的目标物体坐标系{L}相对于定位坐标系{H}的转换矩阵,为二维码M角点在目标物体坐标系{L}中的坐标,为定位坐标系{H}相对于相机坐标系{Cm}之间的坐标转换矩阵,为二维码M角点在相机坐标系{Cm}中的坐标,为的Z坐标分量,Mm为相机Cm的内参矩阵,本发明中的定位坐标系{H}可以理解为机器人末端执行器上的坐标系;
只有求得的目标物体坐标系{L}相对于定位坐标系{H}的位姿关系矩阵足够精度,才能使计算的二维码角点图像坐标与实际图像中二维码角点坐标足够接近。通过求解采用最常用的非线性最小二乘方法即可实现优化求解,优化求解的包含的目标物体坐标系{L}相对于定位坐标系{H}的位置和姿态信息,也即实现了目标物体的空间六自由度定位。
上述优化过程通过搜索法、迭代线性最小二乘法、非线性最小二乘法均可实现,本发明仅以非线性最小二乘法为例进行了相关说明。
本发明主要通过在目标物体上布置多个二维码,并通过多个已标定的工业相机对二维码进行拍照和角点检测,根据识别的二维码角点图像坐标,以及在目标物体坐标系下的角点坐标,优化求解目标物体相对于多目视觉系统的空间位置和姿态关系。本发明特别适用于大尺寸目标物体高精度定位,也适用于某一类大尺寸物体的不同个体的识别和定位。
并不受上述方式的限制,只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进,或未经改进将本发明的构思和技术方案直接应用于其它场合的,均在本发明的保护范围之内。
Claims (4)
4.一种最小化二维码角点重投影误差的目标物体六自由度定位系统,其特征在于,所述系统包括:
目标物体,设于目标物体上的t个二维码,t≥1;
设于目标物体上方的工业视觉系统,工业视觉系统中设有p个工业相机,t个二维码处于p个工业相机的视野中间区域;
与工业视觉系统通讯连接的PLC控制单元,PLC控制单元基于权利要求1至3任一权利要求所述最小化二维码角点重投影误差的目标物体六自由度定位系统来获取最小重投影误差对应的目标物体坐标系{L}相对于定位坐标系{H}的位姿,其中定位坐标系{H}设于机器人末端执行器上。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011522791.6A CN112507755A (zh) | 2020-12-22 | 2020-12-22 | 最小化二维码角点重投影误差的目标物体六自由度定位方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011522791.6A CN112507755A (zh) | 2020-12-22 | 2020-12-22 | 最小化二维码角点重投影误差的目标物体六自由度定位方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112507755A true CN112507755A (zh) | 2021-03-16 |
Family
ID=74921837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011522791.6A Pending CN112507755A (zh) | 2020-12-22 | 2020-12-22 | 最小化二维码角点重投影误差的目标物体六自由度定位方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112507755A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113658269A (zh) * | 2021-08-06 | 2021-11-16 | 湖南视比特机器人有限公司 | 面向大尺寸工件测量的高精度多相机联合标定方法及系统 |
CN114281022A (zh) * | 2021-12-24 | 2022-04-05 | 哈尔滨工业大学芜湖机器人产业技术研究院 | 一种管路控制点误差计算方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105096317A (zh) * | 2015-07-03 | 2015-11-25 | 吴晓军 | 一种复杂背景中的高性能相机全自动标定方法 |
CN107609451A (zh) * | 2017-09-14 | 2018-01-19 | 斯坦德机器人(深圳)有限公司 | 一种基于二维码的高精度视觉定位方法及系统 |
CN110163025A (zh) * | 2019-04-29 | 2019-08-23 | 达泊(东莞)智能科技有限公司 | 二维码定位方法及装置 |
CN110262507A (zh) * | 2019-07-04 | 2019-09-20 | 杭州蓝芯科技有限公司 | 一种基于5g通信的相机阵列机器人定位方法及装置 |
CN111750806A (zh) * | 2020-07-20 | 2020-10-09 | 西安交通大学 | 一种多视角三维测量系统及方法 |
CN111784778A (zh) * | 2020-06-04 | 2020-10-16 | 华中科技大学 | 基于线性求解非线性优化的双目相机外参标定方法和系统 |
-
2020
- 2020-12-22 CN CN202011522791.6A patent/CN112507755A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105096317A (zh) * | 2015-07-03 | 2015-11-25 | 吴晓军 | 一种复杂背景中的高性能相机全自动标定方法 |
CN107609451A (zh) * | 2017-09-14 | 2018-01-19 | 斯坦德机器人(深圳)有限公司 | 一种基于二维码的高精度视觉定位方法及系统 |
CN110163025A (zh) * | 2019-04-29 | 2019-08-23 | 达泊(东莞)智能科技有限公司 | 二维码定位方法及装置 |
CN110262507A (zh) * | 2019-07-04 | 2019-09-20 | 杭州蓝芯科技有限公司 | 一种基于5g通信的相机阵列机器人定位方法及装置 |
CN111784778A (zh) * | 2020-06-04 | 2020-10-16 | 华中科技大学 | 基于线性求解非线性优化的双目相机外参标定方法和系统 |
CN111750806A (zh) * | 2020-07-20 | 2020-10-09 | 西安交通大学 | 一种多视角三维测量系统及方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113658269A (zh) * | 2021-08-06 | 2021-11-16 | 湖南视比特机器人有限公司 | 面向大尺寸工件测量的高精度多相机联合标定方法及系统 |
CN113658269B (zh) * | 2021-08-06 | 2023-10-13 | 湖南视比特机器人有限公司 | 面向大尺寸工件测量的高精度多相机联合标定方法及系统 |
CN114281022A (zh) * | 2021-12-24 | 2022-04-05 | 哈尔滨工业大学芜湖机器人产业技术研究院 | 一种管路控制点误差计算方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110296691B (zh) | 融合imu标定的双目立体视觉测量方法与系统 | |
Shah et al. | Intrinsic parameter calibration procedure for a (high-distortion) fish-eye lens camera with distortion model and accuracy estimation | |
CN100583151C (zh) | 三维扫描系统中双摄像机标定方法 | |
CN110555889A (zh) | 一种基于CALTag和点云信息的深度相机手眼标定方法 | |
CN111369630A (zh) | 一种多线激光雷达与相机标定的方法 | |
CN109448054A (zh) | 基于视觉融合的目标分步定位方法、应用、装置及系统 | |
CN111707187B (zh) | 一种大型零件的测量方法及系统 | |
CN110136068B (zh) | 基于双侧远心镜头相机之间位置标定的音膜球顶装配系统 | |
Stein | Internal camera calibration using rotation and geometric shapes | |
CN112507755A (zh) | 最小化二维码角点重投影误差的目标物体六自由度定位方法及系统 | |
CN109544642B (zh) | 一种基于n型靶标的tdi-ccd相机参数标定方法 | |
CN116740187A (zh) | 一种无重叠视场多相机联合标定方法 | |
CN113963067B (zh) | 一种采用小靶标对大视场视觉传感器进行标定的标定方法 | |
CN110827359A (zh) | 基于棋盘格三面体的相机与激光器外参检校方法及装置 | |
CN115187612A (zh) | 一种基于机器视觉的平面面积测量方法、装置及系统 | |
Zhang et al. | Improved Camera Calibration Method and Accuracy Analysis for Binocular Vision | |
CN111754584A (zh) | 一种远距离大视场相机参数标定系统和方法 | |
CN110020997B (zh) | 图像畸变纠正方法、图像的还原方法以及对位方法 | |
Lynch et al. | The use of feedforward neural networks for machine vision calibration | |
CN112489141B (zh) | 车载摄像头单板单图带中继镜的产线标定方法及装置 | |
Oniga et al. | Metric and Non-Metric Cameras Calibration for the Improvement of Real-Time Monitoring Process Results. | |
CN114037768A (zh) | 一种多套跟踪式扫描仪联合标定的方法和装置 | |
Liang et al. | An integrated camera parameters calibration approach for robotic monocular vision guidance | |
CN113781581B (zh) | 基于靶标松姿态约束的景深畸变模型标定方法 | |
CN117406185B (zh) | 雷达与相机间的外参标定方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |