CN112364677A - 基于二维码的机器人视觉定位方法 - Google Patents

基于二维码的机器人视觉定位方法 Download PDF

Info

Publication number
CN112364677A
CN112364677A CN202011318587.2A CN202011318587A CN112364677A CN 112364677 A CN112364677 A CN 112364677A CN 202011318587 A CN202011318587 A CN 202011318587A CN 112364677 A CN112364677 A CN 112364677A
Authority
CN
China
Prior art keywords
dimensional code
robot
coordinate system
image
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011318587.2A
Other languages
English (en)
Inventor
熊大华
许金金
张浒
谷成刚
苗应亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxvision Technology Corp
Original Assignee
Maxvision Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxvision Technology Corp filed Critical Maxvision Technology Corp
Priority to CN202011318587.2A priority Critical patent/CN112364677A/zh
Publication of CN112364677A publication Critical patent/CN112364677A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1452—Methods for optical code recognition including a method step for retrieval of the optical code detecting bar code edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/146—Methods for optical code recognition the method including quality enhancement steps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Toxicology (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于二维码的机器人视觉定位方法，其包括：接收输入的机器人图像，对机器人图像转为二值图像，并将二值图像进行分块，形成多个分块区域；对多个分块区域分别检测和信息提取以获得二维码；该二维码是预先在机器人的运动路径上放置的包含位姿信息的Apriltag二维码；识别得到的二维码，获得位姿信息，建立二维码坐标系与世界坐标系的相对转换关系，以标定机器人在世界坐标系中的位姿。本申请在机器人运动的路径上放置包含位姿信息的Apriltag二维码，机器人在运动时检测二维码的存在，并得到位姿信息辅助建图和定位，该方法尤其适用于环境复杂和大范围地图计算量大的场合，可实现全局的精确定位。

Description

基于二维码的机器人视觉定位方法
技术领域
本发明涉及机器视觉和数字图像处理领域，具体是一种基于二维码的机器人视觉定位方法。
背景技术
目前主流的slam算法，包含front-end和back-end两部分，结构如图1所示。现代slam算法往往将back-end问题转换为Maximum a posteriori(MAP)estimation问题，采用因子图来对变量关系建模，最后利用最优化方法得到位姿。
假设需要估计的未知变量为：χ，一般的，里面包含了机器人的轨迹位姿信息。机器人移动过程中，会得到传感器的测量数据：Z＝{zk:k＝1,....,m}，将Z表示为χ的函数(观测方程)：
zk＝hk(χk)+εk， (1)
其中χk是χ的子集即：χk∈χ，hk(·)表示测量模型，εk表示测量误差。
在最大后验估计中，目的是在已知Z的条件下，计算出χ的最优值χ*。使得最大后验概率达到最大值：
Figure BDA0002792090460000011
其中P(Z|χ)为似然函数，P(χ)为先验概率，包含了χ的先验知识，通常取常数，在优化问题求解过程中可以不予考虑。这样将最大后验问题转换成了最大释然估计问题。
鉴于观测的独立性，可以重写(2)式为：
Figure BDA0002792090460000021
结合(1)和(2)，得到：
Figure BDA0002792090460000022
求解问题(4)可以采用逐次线性化的方法解决，例如：Gauss-Newton，Levenberg-Marquardt方法。
由于环境复杂和计算大的限制，目前在大范围地图中，无法实现全局的精确定位。现有技术需要利用front-end对测量进行建模，提供data association和初始值等功能，然而机器人配置的传感器，例如里程计在使用过程中存在累积误差，不能提供精度较高的测量数据。
由于现有计算能力，无法实时解决大规模稠密矩阵优化问题，问题(4)的解决依赖测量和pose的data association，这个工作也是耗时操作，导致快速loop closure无法实现。
发明内容
在下文中给出了关于本发明实施例的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，以下概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
根据本申请的一个方面，提供一种基于二维码的机器人视觉定位方法，包括：
步骤1：接收输入的机器人图像，对机器人图像进行预处理，将滤波后的机器人图像转为二值图像，并将二值图像进行分块，形成多个分块区域；
步骤2：对多个分块区域分别检测和信息提取以获得二维码；该二维码是预先在机器人的运动路径上放置的包含位姿信息的Apriltag二维码；Apriltag二维码上的位姿信息为二维码坐标系；
步骤3：识别步骤2得到的二维码，获得位姿信息，建立二维码坐标系Apriltag二维码、世界坐标系以及相机坐标系的相对转换关系，以标定机器人在世界坐标系中的位姿。
其中，步骤3具体包括：
建立二维码坐标系Fm相对于世界坐标系Fw的相对转换关系Twm，其初始值根据步骤2在二维码坐标系Fm下的计算四个角坐标Pk获得，其中k＝1,2,3,4；建立相机坐标系Fc相对于世界坐标系Fw的相对转换关系Tcw,其初始值依靠惯性导航传感器提供；
可以得到观测值pj，j＝1,2,3,4与Pk，k＝1,2,3,4的关系表达式：
p＝π(TcwTwmP) (5)
其中π表示相机内参，可以通过标定得到。
将问题转化为最优化问题：
Figure BDA0002792090460000031
最后利用李群和李代数求导和本方案第一部分的优化方法，求得较为准确的位姿信息。
步骤2对多个分块区域分别检测和信息提取以获得二维码，是对步骤1输出的二值图像进行二维码四边形检测和信息提取；具体包括轮廓查找、四边形查找、解码和位姿求解步骤；其中，轮廓查找是利用union-find算法来查找轮廓，去掉明显错误的轮廓，并给每个待选轮廓分配唯一的
Figure BDA0002792090460000042
；四边形查找是：得到轮廓之后，首先对无序的轮廓点按照对重心的角度进行排序；有了排序的轮廓点，然后就是按部就班的按照顺序选取每一个待选轮廓中的点进行直线拟合，不断迭代索引，计算每条直线的误差总和；对误差总和进行一个低通滤波，使系统更加鲁棒，然后选取误差总和最小的四条直线对应的角点索引作为四边形角点；然后取角点间的点拟合直线，求得四条直线的角点作为Tag(Apriltag二维码)的四个顶点P1,P2,P3,P4；最后读取四个点组成的四边形的编码内容读出数字
Figure BDA0002792090460000041
每个id都对应了全局地图上的一个全局位姿pose,这个全局位姿可以辅助全局定位,大大提高全局定位的成功率。
步骤1中，对机器人图像进行预处理，具体包括：首先采用高斯核对机器人图像并进行滤波操作以滤除图像中的噪点；然后采用自适应阈值将灰度的机器人图像变为二值图像，对二值图像进行分块(例如4*4的分块)，求出每个分块的灰度最大值和最小值，然后对所有分块计算的最大最小灰度值进行一个3邻域最大最小滤波处理，将滤波后的最大最小均值((max+min)/2)作为分块区域的阈值，得到具有多个分块区域的二值图像，送给后面的步骤2进行二维码矩形框查找。
鉴于传统方案的局限性，本申请在机器人运动的路径上放置包含位姿信息的Apriltag二维码。机器人在运动时检测二维码的存在，并得到位姿信息辅助建图和定位。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中：
图1为slam(同时定位和建图)的front-end and back-end(前端和后端)结构示意图；sensor data(传感器数据)feature extraction(特征提取)data association(数据关联)robot pose(机器人位姿)MAP estimation(最大后验概率估计)
图2为自适应滤波二值图；
图3为检测到的二维码的示意图；
图4为二维码坐标系图；
图5为本发明的算法流程图。
具体实施方式
下面将参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。
鉴于传统方案的局限性，本申请在机器人运动的路径上放置包含位姿信息的Apriltag二维码，机器人在运动时检测二维码的存在，并得到位姿信息辅助建图和定位。
具体的，参见图2-图5，本发明的一种基于二维码的机器人视觉定位方法包括如下步骤：
第一步，图像预处理；首先采用高斯核对图像进行滤波操作，主要目的是滤除图像中的噪点；之后采用自适应阈值将灰度图像变为二值图像(见图2)，这里将图像分为4*4的分块，求出每个分块的灰度最大值和最小值，然后对所有分块计算的最大最小灰度值进行一个3邻域最大最小滤波处理，将滤波后的最大最小均值((max+min)/2)作为分块区域的阈值，得到二值图(见图3)送给后面的二维码矩形框查找流程。
第二步，二维码四边形检测和信息提取。这步包括轮廓查找，四边形查找，解码和位姿求解等步骤。轮廓查找主要利用union-find算法来查找轮廓，去掉明显错误的轮廓，并给每个待选轮廓分配唯一的
Figure BDA0002792090460000061
得到轮廓之后，首先对无序的轮廓点按照对重心的角度进行排序。有了排序的轮廓点，然后就是按部就班的按照顺序选取每一个待选轮廓中的点进行直线拟合，不断迭代索引，计算每条直线的误差总和；对误差总和进行一个低通滤波，使系统更加鲁棒，然后选取误差总和最小的四条直线对应的角点索引作为四边形角点。然后取角点间的点拟合直线，求得四条直线的角点作为Tag的顶点P1,P2,P3,P4。最后读取四个点组成的四边形的编码内容读出数字
Figure BDA0002792090460000062
每个id都对应了全局地图上的一个全局位姿pose,这个全局位姿可以辅助全局定位,大大提高全局定位的成功率。
第三步，基于marker的Bundle Adjustmet。这里的marker就是二维码坐标系Fm，它相对于世界坐标系Fw的相对转换关系Twm的初始值是可以事先知道的。经过第二步可以得到在Fm下的四个点Pk，k＝1,2,3,4(见图4),Fc到相机坐标系Fw的转换Tcw,这个初始值依靠惯性导航传感器提供。
可以得到观测值pj，j＝1,2,3,4与Pk的关系表达式：
p＝π(TcwTwmP) (5)
其中π表示相机内参，可以通过标定得到。
将问题转化为最优化问题：
Figure BDA0002792090460000071
最后利用李群和李代数求导和本方案第一部分的优化方法，求得较为准确的位姿信息。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。

Claims (4)

1.一种基于二维码的机器人视觉定位方法，其特征在于：包括：
步骤1：接收输入的机器人图像，对机器人图像进行预处理，将滤波后的机器人图像转为二值图像，并将二值图像进行分块，形成多个分块区域；
步骤2：对多个分块区域分别检测和信息提取以获得二维码；该二维码是预先在机器人的运动路径上放置的包含位姿信息的Apriltag二维码；
步骤3：识别步骤2得到的二维码，获得位姿信息，建立二维码坐标系与世界坐标系的相对转换关系，以标定机器人在世界坐标系中的位姿。
2.根据权利要求1所述的一种基于二维码的机器人视觉定位方法，其特征在于：步骤3具体包括：
建立二维码坐标系Fm相对于世界坐标系Fw的相对转换关系Twm，其初始值根据步骤2获得在二维码坐标系Fm下的四个角坐标Pk计算获得，其中k＝1,2,3,4；
建立相机坐标系Fc相对于世界坐标系Fw的相对转换关系Tcw,其初始值依靠惯性导航传感器提供；
可以得到观测值pj，j＝1,2,3,4与Pk的关系表达式：
p＝π(TcwTwmP) (5)
其中π表示相机内参，可以通过标定得到；
将问题转化为最优化问题：
Figure FDA0002792090450000011
最后利用李群和李代数求导，获得较为准确的位姿信息。
3.根据权利要求1所述的一种基于二维码的机器人视觉定位方法，其特征在于：步骤2对多个分块区域分别检测和信息提取以获得二维码，是对步骤1输出的二值图像进行二维码四边形检测和信息提取；具体包括：利用union-find 算法来查找轮廓，去掉明显错误的轮廓，并给每个待选轮廓分配唯一的
Figure FDA0002792090450000021
得到轮廓之后，首先对无序的轮廓点按照对重心的角度进行排序；按照顺序选取每一个待选轮廓中的点进行直线拟合，不断迭代索引，计算每条直线的误差总和；对误差总和进行一个低通滤波，然后选取误差总和最小的四条直线对应的角点索引作为四边形角点；然后取角点间的点拟合直线，求得四条直线的角点作为Tag的四个顶点P1,P2,P3,P4；最后读取四个点组成的四边形的编码内容读出数字
Figure FDA0002792090450000022
每个id都对应了全局地图上的一个全局位姿。
4.根据权利要求1所述的一种基于二维码的机器人视觉定位方法，其特征在于：步骤1中，对机器人图像进行预处理，具体包括：首先采用高斯核对机器人图像并进行滤波操作以滤除图像中的噪点；然后采用自适应阈值将灰度的机器人图像变为二值图像，对二值图像进行分块，求出每个分块的灰度最大值和最小值，然后对所有分块计算的最大最小灰度值进行一个3邻域最大最小滤波处理，将滤波后的最大最小均值作为分块区域的阈值，得到具有多个分块区域的二值图像。
CN202011318587.2A 2020-11-23 2020-11-23 基于二维码的机器人视觉定位方法 Pending CN112364677A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011318587.2A CN112364677A (zh) 2020-11-23 2020-11-23 基于二维码的机器人视觉定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011318587.2A CN112364677A (zh) 2020-11-23 2020-11-23 基于二维码的机器人视觉定位方法

Publications (1)

Publication Number Publication Date
CN112364677A true CN112364677A (zh) 2021-02-12

Family

ID=74532685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011318587.2A Pending CN112364677A (zh) 2020-11-23 2020-11-23 基于二维码的机器人视觉定位方法

Country Status (1)

Country Link
CN (1) CN112364677A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884832A (zh) * 2021-03-12 2021-06-01 上海电机学院 一种基于多目视觉的智能小车轨迹预测方法
CN113160075A (zh) * 2021-03-30 2021-07-23 武汉数字化设计与制造创新中心有限公司 Apriltag视觉定位的加工方法、系统、爬壁机器人及存储介质
CN114862301A (zh) * 2022-03-31 2022-08-05 浙江科钛机器人股份有限公司 基于二维码辅助定位的托盘叉车agv自动装载方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809687A (zh) * 2016-03-08 2016-07-27 清华大学 一种基于图像中边沿点信息的单目视觉测程方法
CN109387204A (zh) * 2018-09-26 2019-02-26 东北大学 面向室内动态环境的移动机器人同步定位与构图方法
WO2019169540A1 (zh) * 2018-03-06 2019-09-12 斯坦德机器人（深圳）有限公司 紧耦合视觉slam的方法、终端及计算机可读存储介质
US20190278288A1 (en) * 2018-03-08 2019-09-12 Ubtech Robotics Corp Simultaneous localization and mapping methods of mobile robot in motion area

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809687A (zh) * 2016-03-08 2016-07-27 清华大学 一种基于图像中边沿点信息的单目视觉测程方法
WO2019169540A1 (zh) * 2018-03-06 2019-09-12 斯坦德机器人（深圳）有限公司 紧耦合视觉slam的方法、终端及计算机可读存储介质
US20190278288A1 (en) * 2018-03-08 2019-09-12 Ubtech Robotics Corp Simultaneous localization and mapping methods of mobile robot in motion area
CN109387204A (zh) * 2018-09-26 2019-02-26 东北大学 面向室内动态环境的移动机器人同步定位与构图方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JOHN WANG.ET AL: "AprilTag 2: Efficient and robust fiducial detection", 《IEEE》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884832A (zh) * 2021-03-12 2021-06-01 上海电机学院 一种基于多目视觉的智能小车轨迹预测方法
CN113160075A (zh) * 2021-03-30 2021-07-23 武汉数字化设计与制造创新中心有限公司 Apriltag视觉定位的加工方法、系统、爬壁机器人及存储介质
CN114862301A (zh) * 2022-03-31 2022-08-05 浙江科钛机器人股份有限公司 基于二维码辅助定位的托盘叉车agv自动装载方法

Similar Documents

Publication Publication Date Title
CN111340797B (zh) 一种激光雷达与双目相机数据融合检测方法及系统
CN112634451B (zh) 一种融合多传感器的室外大场景三维建图方法
CN112364677A (zh) 基于二维码的机器人视觉定位方法
CN112734852B (zh) 一种机器人建图方法、装置及计算设备
CA2982044C (en) Method and device for real-time mapping and localization
CN111210477B (zh) 一种运动目标的定位方法及系统
CN111795686A (zh) 一种移动机器人定位与建图的方法
CN108682027A (zh) 基于点、线特征融合的vSLAM实现方法及系统
CN111664843A (zh) 一种基于slam的智能仓储盘点方法
CN109708658B (zh) 一种基于卷积神经网络的视觉里程计方法
CN112419497A (zh) 基于单目视觉的特征法与直接法相融合的slam方法
CN112200869B (zh) 一种基于点线特征的机器人全局最优视觉定位方法及装置
CN112541423A (zh) 一种同步定位与地图构建方法和系统
CN112729318A (zh) 一种agv叉车自主定位移动slam导航系统
CN112101160A (zh) 一种面向自动驾驶场景的双目语义slam方法
CN110751123A (zh) 一种单目视觉惯性里程计系统及方法
CN113763549A (zh) 融合激光雷达和imu的同时定位建图方法、装置和存储介质
CN113188557A (zh) 一种融合语义特征的视觉惯性组合导航方法
CN112179373A (zh) 一种视觉里程计的测量方法及视觉里程计
CN116468786A (zh) 一种面向动态环境的基于点线联合的语义slam方法
Qimin et al. A methodology of vehicle speed estimation based on optical flow
CN117523461A (zh) 一种基于机载单目相机的运动目标跟踪与定位方法
CN117490688A (zh) 相机-imu-二维码融合的车间agv导航方法
CN113899361B (zh) 基于空间划分的slam快速回环检测方法
CN115861352A (zh) 单目视觉、imu和激光雷达的数据融合和边缘提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210212

RJ01 Rejection of invention patent application after publication