CN112766008B - 一种基于二维码的物体空间位姿获取方法 - Google Patents

一种基于二维码的物体空间位姿获取方法 Download PDF

Info

Publication number
CN112766008B
CN112766008B CN202110016721.1A CN202110016721A CN112766008B CN 112766008 B CN112766008 B CN 112766008B CN 202110016721 A CN202110016721 A CN 202110016721A CN 112766008 B CN112766008 B CN 112766008B
Authority
CN
China
Prior art keywords
dimensional code
matrix
dimensional
pose
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110016721.1A
Other languages
English (en)
Other versions
CN112766008A (zh
Inventor
严宇恒
肖建
梁逸秋
周子涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202110016721.1A priority Critical patent/CN112766008B/zh
Publication of CN112766008A publication Critical patent/CN112766008A/zh
Application granted granted Critical
Publication of CN112766008B publication Critical patent/CN112766008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1447—Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于二维码的物体空间位姿获取方法，首先通过单目摄像头获取目标的实时图像，输入至处理器，然后对实时图像进行二值化处理，并找出图像中所有的二维码，获取实时图像的二维码位置坐标信息；对所述二维码位置坐标进行单应变换，获得二维码的单应变换矩阵，基于所述单应变换矩阵获取二维码的欧拉角和空间位置；最后记录各二维码的相对位置关系，将各二维码的欧拉角转换成轴角，融合各个二维码坐标系，并将融合后的坐标系对应到空间坐标系上；基于已识别的二维码当前位姿，获取融合后坐标系上的位姿，得到物体在空间坐标系下的位姿；本发明使用单目摄像头与二维码，可以在一般处理平台上准确获得物体空间位姿，成本低、易部署。

Description

一种基于二维码的物体空间位姿获取方法
技术领域
本发明涉及物体姿态感知技术领域，主要涉及一种基于二维码的物体空间位姿获取方法。
背景技术
随着近年来二维码技术的发展与普及，可以说人们在生活中已经离不开二维码，如二维码支付、二维码名片等。这类应用大多使用的是二维码携带文本信息的功能，但同时，二维码也可以提供精确的位姿信息。
目前大多对于物体位姿的解算依赖的是双目摄像头或深度摄像头等，不仅成本高昂，而且体积较大，不利于移动设备上的搭载。也有在物体上搭载惯性传感器来完成位姿检测，但这一方案同样面临成本高昂，传感器易损坏等问题。所以物体的位姿检测需要一种便捷且低成本的解决方案。
基于二维码的物体空间位姿获取系统在工业生产、物流运输、影视特效、展览、教育等领域有着广泛的应用前景，同时对于在便携设备和算力不充足的设备上实现物体的位姿解算有着重要意义。
发明内容
发明目的：针对上述背景技术中存在的问题，本发明提供了一种基于二维码的物体空间位姿获取方法，实现了用一般的单目摄像头解算物体位姿的功能，成本低、易部署。该方法可以解算获得单个二维码的位姿，也可以通过在物体表面粘贴多个二维码来实现对物体全方位的位姿获取。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种基于二维码的物体空间位姿获取方法，包括以下步骤：
步骤S1、基于单目摄像头获取目标的实时图像，输入至处理器；
步骤S2、处理器对实时图像进行二值化处理，并找出图像中所有的二维码，获取实时图像的二维码位置坐标信息；
步骤S3、对所述二维码位置坐标进行单应变换，获得二维码的单应变换矩阵；
步骤S4、基于所述单应变换矩阵获取二维码的欧拉角和空间位置；
步骤S5、记录各二维码的相对位置关系，将各二维码的欧拉角转换成轴角，融合各个二维码坐标系，并将融合后的坐标系对应到空间坐标系上；基于已识别的二维码当前位姿，获取融合后坐标系上的位姿，得到物体在空间坐标系下的位姿。
进一步地，所述步骤S3中获取二维码的单应变换矩阵具体步骤如下：
设定相机内参矩阵为
Figure GDA0003756023870000021
单应变换矩阵
Figure GDA0003756023870000022
其中，fx和fy分别为相机在x和y方向上的焦距，cx和cy分别为相机中心与图像传感器中心在x和y方向上的偏移量；基于相机内参矩阵K和单应变换矩阵H，获得旋转矩阵
Figure GDA0003756023870000023
和位置矩阵
Figure GDA0003756023870000024
相机投影矩阵表示为：P＝K[R|T]，空间点X通过投影矩阵变换为图像上的像素点x，投影关系表示为：x＝PX；设定二维码所在平面为X-Y平面，即Z＝0，中心为坐标原点，则对于二维码平面：
Figure GDA0003756023870000025
将旋转矩阵R的第三列去掉可得：
Figure GDA0003756023870000026
其中r0，r1分别是R的第一列和第二列；则K[r0r1T]即为所述单应变换矩阵。
进一步地，所述步骤S4中获取二维码的欧拉角和空间位置具体步骤如下：
设定旋转矩阵
Figure GDA0003756023870000027
计算四元数q＝(q0q1q2q3)如下：
Figure GDA0003756023870000028
由
Figure GDA0003756023870000031
可得：
Figure GDA0003756023870000032
其中，(αβγ)代表二维码的欧拉角；使用atan2函数代替arctan函数表示如下：
Figure GDA0003756023870000033
设定
Figure GDA0003756023870000034
其中λ为缩放比例，
Figure GDA0003756023870000035
代表缩放后的单位二维码的角点，则
Figure GDA0003756023870000036
通过非单位化的单应变换矩阵得到旋转矩阵R和位置矩阵T。
进一步地，所述步骤S5中，将各二维码的欧拉角转换为轴角具体步骤如下：
angle＝2*arccos(c1c2c3-s1s2s3)
x＝c1c2s3+s1s2c3
y＝s1c2c3+c1s2s3
z＝c1s2c3-s1c2s3
其中：
Figure GDA0003756023870000037
Figure GDA0003756023870000038
α、β、γ分别为偏航角、横滚角和俯仰角；x、y、z为轴角中轴向量的坐标；angle为轴角中的角度。
有益效果：
本发明提供的基于二维码的物体空间位姿获取方法实现了用一般的单目摄像头解算物体位姿的功能，成本低、易部署。该系统可以解算获得单个二维码的位姿，也可以通过在物体表面粘贴多个二维码来实现对物体全方位的位姿获取。
附图说明
图1是本发明提供的基于二维码的物体空间位姿获取方法流程图；
图2是本发明实施例中使用的二维码与一般二维码对比图；
图3是本发明提供的单应变换原理示意图；
图4是本发明提供的物体表面二维码粘贴示意图与各二维码坐标系示意图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图1所示的一种基于二维码的物体空间位姿获取方法，包括以下步骤：
步骤S1、基于单目摄像头获取目标的实时图像，输入至处理器。
步骤S2、处理器对实时图像进行二值化处理，对二值化后的图像进行阈值分割、连通域查找、直线拟合等图像处理算法，以此来找出图像中所有的二维码，并获得图像中二维码的坐标。本发明采用优化设计过的二维码样式，如图2所示，在保留表达文本信息能力的同时，比普通二维码图样更稀疏，以满足远距离识别的要求，并提高识别稳定性提升识别速度。
步骤S3、对所述二维码位置坐标进行单应变换，获得二维码的单应变换矩阵。具体如图3所示：
设定相机内参矩阵为
Figure GDA0003756023870000041
单应变换矩阵
Figure GDA0003756023870000042
其中，fx和fy分别为相机在x和y方向上的焦距，cx和cy分别为相机中心与图像传感器中心在x和y方向上的偏移量；基于相机内参矩阵K和单应变换矩阵H，获得旋转矩阵
Figure GDA0003756023870000043
和位置矩阵
Figure GDA0003756023870000044
相机投影矩阵表示为：P＝K[R|T]，空间点X通过投影矩阵变换为图像上的像素点x，投影关系表示为：x＝PX；设定二维码所在平面为X-Y平面，即Z＝0，中心为坐标原点，则对于二维码平面：
Figure GDA0003756023870000051
将旋转矩阵R的第三列去掉可得：
Figure GDA0003756023870000052
其中r0，r1分别是R的第一列和第二列；则K[r0r1T]即为所述单应变换矩阵。
令K[λr0λr1T]＝K[r0′r1′T],可得如下等式：
fxr00′+cxr20′＝h00
fxr01′+cxr21′＝h01
fxtx+cxtz＝h12
fyr10′+cyr20′＝h10
fyr11′+cyr21′＝h11
fyty+cytz＝h12
r20′＝h20
r21′＝h21
tz＝h22
由此可解出[r0′r1′T]。然后对其进行单位化处理：
Figure GDA0003756023870000053
单位化后的r0，r1和r0′，r1′是一样的，T和T′是不同的。对于在相机图像上同一个二维码，T表示相机到R表示方向上实际大小二维码的距离，T′则表示相机到同一方向上实际大小为单位方形的二维码的距离。因为是对同一个二维码方形在T方向上的比例缩放，所以可以通过实际二维码的尺寸计算出相机到实际二维码的距离。若二维码的宽度为ω，那么相机到实际二维码的距离就为T＝ωT′。
步骤S4、基于所述单应变换矩阵获取二维码的欧拉角和空间位置。具体地，
设定旋转矩阵
Figure GDA0003756023870000061
计算四元数q＝(q0q1q2q3)如下：
Figure GDA0003756023870000062
由
Figure GDA0003756023870000063
可得：
Figure GDA0003756023870000064
其中，(αβγ)代表二维码的欧拉角；由于arctan的取值范围在-π/2和π/2之间，而α和γ的范围应当是360°，因此使用atan2函数代替arctan函数表示如下：
Figure GDA0003756023870000065
设定
Figure GDA0003756023870000066
其中λ为缩放比例，
Figure GDA0003756023870000067
代表缩放后的单位二维码的角点，则
Figure GDA0003756023870000068
通过非单位化的单应变换矩阵得到旋转矩阵R和位置矩阵T。
步骤S5、记录各二维码的相对位置关系，将各二维码的欧拉角转换成轴角，融合各个二维码坐标系，并将融合后的坐标系对应到空间坐标系上；基于已识别的二维码当前位姿，获取融合后坐标系上的位姿，得到物体在空间坐标系下的位姿。
如图4所示，通过在一个物体上粘贴多个二维码，可以实现对这个物体全方位的位姿估计，避免二维码在摄像头视野中被遮挡。同时依据同一个物体上多个二维码的位置关系，可以由单个二维码的位姿信息得到该物体整体的位姿信息。考虑到多个二维码的欧拉角难以直接融合，多个二维码旋转时易出现混乱，须将欧拉角转换为轴角，具体步骤如下：
angle＝2*arccos(c1c2c3-s1s2s3)
x＝c1c2s3+s1s2c3
y＝s1c2c3+c1s2s3
z＝c1s2c3-s1c2s3
其中：
Figure GDA0003756023870000071
Figure GDA0003756023870000072
α、β、γ分别为偏航角、横滚角和俯仰角；x、y、z为轴角中轴向量的坐标；angle为轴角中的角度。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1.一种基于二维码的物体空间位姿获取方法，其特征在于，包括以下步骤：
步骤S1、基于单目摄像头获取目标的实时图像，输入至处理器；
步骤S2、处理器对实时图像进行二值化处理，并找出图像中所有的二维码，获取实时图像的二维码位置坐标信息；
步骤S3、对所述二维码位置坐标进行单应变换，获得二维码的单应变换矩阵；
步骤S4、基于所述单应变换矩阵获取二维码的欧拉角和空间位置；
步骤S5、记录各二维码的相对位置关系，将各二维码的欧拉角转换成轴角，融合各个二维码坐标系，并将融合后的坐标系对应到空间坐标系上；基于已识别的二维码当前位姿，获取融合后坐标系上的位姿，得到物体在空间坐标系下的位姿；
所述步骤S3中获取二维码的单应变换矩阵具体步骤如下：
设定相机内参矩阵为
Figure FDA0003756023860000011
单应变换矩阵
Figure FDA0003756023860000012
其中，fx和fy分别为相机在x和y方向上的焦距，cx和cy分别为相机中心与图像传感器中心在x和y方向上的偏移量；基于相机内参矩阵K和单应变换矩阵H，获得旋转矩阵
Figure FDA0003756023860000013
和位置矩阵
Figure FDA0003756023860000014
相机投影矩阵表示为：P＝K[R|T]，空间点X通过投影矩阵变换为图像上的像素点x，投影关系表示为：x＝PX；设定二维码所在平面为X-Y平面，即Z＝0，中心为坐标原点，则对于二维码平面：
Figure FDA0003756023860000015
将旋转矩阵R的第三列去掉可得：
Figure FDA0003756023860000016
其中r0，r1分别是R的第一列和第二列；则K[r0 r1 T]即为所述单应变换矩阵；
所述步骤S4中获取二维码的欧拉角和空间位置具体步骤如下：
设定旋转矩阵
Figure FDA0003756023860000021
计算四元数q＝(q0 q1 q2 q3)如下：
Figure FDA0003756023860000022
由
Figure FDA0003756023860000023
可得：
Figure FDA0003756023860000024
其中，(α β γ)代表二维码的欧拉角；使用atan2函数代替arctan函数表示如下：
Figure FDA0003756023860000025
设定
Figure FDA0003756023860000026
其中λ为缩放比例，
Figure FDA0003756023860000027
代表缩放后的单位二维码的角点，则
Figure FDA0003756023860000028
通过非单位化的单应变换矩阵得到旋转矩阵R和位置矩阵T；
所述步骤S5中，将各二维码的欧拉角转换为轴角具体步骤如下：
angle＝2*arccos(c1c2c3-s1s2s3)
x＝c1c2s3+s1s2c3
y＝s1c2c3+c1s2s3
z＝c1s2c3-s1c2s3
其中：
Figure FDA0003756023860000031
Figure FDA0003756023860000032
其中α、β、γ分别为偏航角、横滚角和俯仰角；x、y、z为轴角中轴向量的坐标；angle为轴角中的角度。
CN202110016721.1A 2021-01-07 2021-01-07 一种基于二维码的物体空间位姿获取方法 Active CN112766008B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110016721.1A CN112766008B (zh) 2021-01-07 2021-01-07 一种基于二维码的物体空间位姿获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110016721.1A CN112766008B (zh) 2021-01-07 2021-01-07 一种基于二维码的物体空间位姿获取方法

Publications (2)

Publication Number Publication Date
CN112766008A CN112766008A (zh) 2021-05-07
CN112766008B true CN112766008B (zh) 2022-09-06

Family

ID=75700450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110016721.1A Active CN112766008B (zh) 2021-01-07 2021-01-07 一种基于二维码的物体空间位姿获取方法

Country Status (1)

Country Link
CN (1) CN112766008B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240346687A1 (en) * 2021-08-05 2024-10-17 Dai Nippon Printing Co., Ltd. Measuring system
CN113807218B (zh) * 2021-09-03 2024-02-20 科大讯飞股份有限公司 版面分析方法、装置、计算机设备和存储介质
CN113936010A (zh) * 2021-10-15 2022-01-14 北京极智嘉科技股份有限公司 货架定位方法、装置、货架搬运设备及存储介质
CN115062737A (zh) * 2022-05-06 2022-09-16 劢微机器人科技(深圳)有限公司 基于2d相机获取货物位姿方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803261A (zh) * 2015-11-20 2017-06-06 沈阳新松机器人自动化股份有限公司 机器人相对位姿估计方法
CN106969766A (zh) * 2017-03-21 2017-07-21 北京品创智能科技有限公司 一种基于单目视觉和二维码路标的室内自主导航方法
CN108120544A (zh) * 2018-02-13 2018-06-05 深圳精智机器有限公司 一种基于视觉传感器的三维测力平台
CN108181896A (zh) * 2017-11-21 2018-06-19 浙江大学 一种直圆管表面作业机器人及其位姿检测方法
CN109397249A (zh) * 2019-01-07 2019-03-01 重庆大学 基于视觉识别的二维码定位抓取机器人系统算法
CN109658461A (zh) * 2018-12-24 2019-04-19 中国电子科技集团公司第二十研究所 一种基于虚拟仿真环境的合作二维码的无人机定位方法
CN110084243A (zh) * 2019-03-13 2019-08-02 南京理工大学 一种基于二维码和单目相机的档案识别与定位方法
CN111531407A (zh) * 2020-05-08 2020-08-14 太原理工大学 一种基于图像处理的工件姿态快速测量方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803261A (zh) * 2015-11-20 2017-06-06 沈阳新松机器人自动化股份有限公司 机器人相对位姿估计方法
CN106969766A (zh) * 2017-03-21 2017-07-21 北京品创智能科技有限公司 一种基于单目视觉和二维码路标的室内自主导航方法
CN108181896A (zh) * 2017-11-21 2018-06-19 浙江大学 一种直圆管表面作业机器人及其位姿检测方法
CN108120544A (zh) * 2018-02-13 2018-06-05 深圳精智机器有限公司 一种基于视觉传感器的三维测力平台
CN109658461A (zh) * 2018-12-24 2019-04-19 中国电子科技集团公司第二十研究所 一种基于虚拟仿真环境的合作二维码的无人机定位方法
CN109397249A (zh) * 2019-01-07 2019-03-01 重庆大学 基于视觉识别的二维码定位抓取机器人系统算法
CN110084243A (zh) * 2019-03-13 2019-08-02 南京理工大学 一种基于二维码和单目相机的档案识别与定位方法
CN111531407A (zh) * 2020-05-08 2020-08-14 太原理工大学 一种基于图像处理的工件姿态快速测量方法

Also Published As

Publication number Publication date
CN112766008A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN112766008B (zh) 一种基于二维码的物体空间位姿获取方法
CN109345588B (zh) 一种基于Tag的六自由度姿态估计方法
US12094226B2 (en) Simultaneous localization and mapping method, device, system and storage medium
CN110108283B (zh) 一种基于多二维码视觉的高精度定位方法
CN113865580B (zh) 构建地图的方法、装置、电子设备及计算机可读存储介质
CN108122256B (zh) 一种逼近状态下旋转目标位姿测量的方法
CN101782969B (zh) 一种基于物理定位信息的图像特征可靠匹配的方法
CN112396595B (zh) 一种动态环境下基于点线特征的语义slam方法
CN111260779B (zh) 地图构建方法、装置及系统、存储介质
CN112750203A (zh) 模型重建方法、装置、设备及存储介质
CN116485856B (zh) 一种基于语义分割的无人机图像地理配准方法及相关设备
Zhang et al. RGB-D simultaneous localization and mapping based on combination of static point and line features in dynamic environments
Altuntas Pair-wise automatic registration of three-dimensional laser scanning data from historical building by created two-dimensional images
Xie et al. Real-time reconstruction of unstructured scenes based on binocular vision depth
Aqel et al. Estimation of image scale variations in monocular visual odometry systems
CN114387405B (zh) 基于机器视觉的微小特征跨数量级快速定位方法和装置
Su Vanishing points in road recognition: A review
Huang et al. 360Loc: A Dataset and Benchmark for Omnidirectional Visual Localization with Cross-device Queries
CN113870307B (zh) 一种基于帧间信息的目标检测方法及装置
CN115147738B (zh) 一种定位方法、装置、设备及存储介质
CN117928519B (zh) 服务机器人的多传感器融合定位与建图方法及系统
Kim et al. Geo-registration of wide-baseline panoramic image sequences using a digital map reference
CN114674308B (zh) 基于安全出口指示牌视觉辅助激光长廊定位方法及装置
Cai et al. SPS: Accurate and Real-Time Semantic Positioning System Based on Low-Cost DEM Maps
Qian et al. Environmental Perception Using Fish-Eye Cameras for Autonomous Driving

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant