CN112766008B - 一种基于二维码的物体空间位姿获取方法 - Google Patents
一种基于二维码的物体空间位姿获取方法 Download PDFInfo
- Publication number
- CN112766008B CN112766008B CN202110016721.1A CN202110016721A CN112766008B CN 112766008 B CN112766008 B CN 112766008B CN 202110016721 A CN202110016721 A CN 202110016721A CN 112766008 B CN112766008 B CN 112766008B
- Authority
- CN
- China
- Prior art keywords
- dimensional code
- matrix
- dimensional
- pose
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
- G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
- G06K7/1447—Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于二维码的物体空间位姿获取方法,首先通过单目摄像头获取目标的实时图像,输入至处理器,然后对实时图像进行二值化处理,并找出图像中所有的二维码,获取实时图像的二维码位置坐标信息;对所述二维码位置坐标进行单应变换,获得二维码的单应变换矩阵,基于所述单应变换矩阵获取二维码的欧拉角和空间位置;最后记录各二维码的相对位置关系,将各二维码的欧拉角转换成轴角,融合各个二维码坐标系,并将融合后的坐标系对应到空间坐标系上;基于已识别的二维码当前位姿,获取融合后坐标系上的位姿,得到物体在空间坐标系下的位姿;本发明使用单目摄像头与二维码,可以在一般处理平台上准确获得物体空间位姿,成本低、易部署。
Description
技术领域
本发明涉及物体姿态感知技术领域,主要涉及一种基于二维码的物体空间位姿获取方法。
背景技术
随着近年来二维码技术的发展与普及,可以说人们在生活中已经离不开二维码,如二维码支付、二维码名片等。这类应用大多使用的是二维码携带文本信息的功能,但同时,二维码也可以提供精确的位姿信息。
目前大多对于物体位姿的解算依赖的是双目摄像头或深度摄像头等,不仅成本高昂,而且体积较大,不利于移动设备上的搭载。也有在物体上搭载惯性传感器来完成位姿检测,但这一方案同样面临成本高昂,传感器易损坏等问题。所以物体的位姿检测需要一种便捷且低成本的解决方案。
基于二维码的物体空间位姿获取系统在工业生产、物流运输、影视特效、展览、教育等领域有着广泛的应用前景,同时对于在便携设备和算力不充足的设备上实现物体的位姿解算有着重要意义。
发明内容
发明目的:针对上述背景技术中存在的问题,本发明提供了一种基于二维码的物体空间位姿获取方法,实现了用一般的单目摄像头解算物体位姿的功能,成本低、易部署。该方法可以解算获得单个二维码的位姿,也可以通过在物体表面粘贴多个二维码来实现对物体全方位的位姿获取。
技术方案:为实现上述目的,本发明采用的技术方案为:
一种基于二维码的物体空间位姿获取方法,包括以下步骤:
步骤S1、基于单目摄像头获取目标的实时图像,输入至处理器;
步骤S2、处理器对实时图像进行二值化处理,并找出图像中所有的二维码,获取实时图像的二维码位置坐标信息;
步骤S3、对所述二维码位置坐标进行单应变换,获得二维码的单应变换矩阵;
步骤S4、基于所述单应变换矩阵获取二维码的欧拉角和空间位置;
步骤S5、记录各二维码的相对位置关系,将各二维码的欧拉角转换成轴角,融合各个二维码坐标系,并将融合后的坐标系对应到空间坐标系上;基于已识别的二维码当前位姿,获取融合后坐标系上的位姿,得到物体在空间坐标系下的位姿。
进一步地,所述步骤S3中获取二维码的单应变换矩阵具体步骤如下:
相机投影矩阵表示为:P=K[R|T],空间点X通过投影矩阵变换为图像上的像素点x,投影关系表示为:x=PX;设定二维码所在平面为X-Y平面,即Z=0,中心为坐标原点,则对于二维码平面:
将旋转矩阵R的第三列去掉可得:
其中r0,r1分别是R的第一列和第二列;则K[r0r1T]即为所述单应变换矩阵。
进一步地,所述步骤S4中获取二维码的欧拉角和空间位置具体步骤如下:
其中,(αβγ)代表二维码的欧拉角;使用atan2函数代替arctan函数表示如下:
通过非单位化的单应变换矩阵得到旋转矩阵R和位置矩阵T。
进一步地,所述步骤S5中,将各二维码的欧拉角转换为轴角具体步骤如下:
angle=2*arccos(c1c2c3-s1s2s3)
x=c1c2s3+s1s2c3
y=s1c2c3+c1s2s3
z=c1s2c3-s1c2s3
其中:
α、β、γ分别为偏航角、横滚角和俯仰角;x、y、z为轴角中轴向量的坐标;angle为轴角中的角度。
有益效果:
本发明提供的基于二维码的物体空间位姿获取方法实现了用一般的单目摄像头解算物体位姿的功能,成本低、易部署。该系统可以解算获得单个二维码的位姿,也可以通过在物体表面粘贴多个二维码来实现对物体全方位的位姿获取。
附图说明
图1是本发明提供的基于二维码的物体空间位姿获取方法流程图;
图2是本发明实施例中使用的二维码与一般二维码对比图;
图3是本发明提供的单应变换原理示意图;
图4是本发明提供的物体表面二维码粘贴示意图与各二维码坐标系示意图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图1所示的一种基于二维码的物体空间位姿获取方法,包括以下步骤:
步骤S1、基于单目摄像头获取目标的实时图像,输入至处理器。
步骤S2、处理器对实时图像进行二值化处理,对二值化后的图像进行阈值分割、连通域查找、直线拟合等图像处理算法,以此来找出图像中所有的二维码,并获得图像中二维码的坐标。本发明采用优化设计过的二维码样式,如图2所示,在保留表达文本信息能力的同时,比普通二维码图样更稀疏,以满足远距离识别的要求,并提高识别稳定性提升识别速度。
步骤S3、对所述二维码位置坐标进行单应变换,获得二维码的单应变换矩阵。具体如图3所示:
相机投影矩阵表示为:P=K[R|T],空间点X通过投影矩阵变换为图像上的像素点x,投影关系表示为:x=PX;设定二维码所在平面为X-Y平面,即Z=0,中心为坐标原点,则对于二维码平面:
将旋转矩阵R的第三列去掉可得:
其中r0,r1分别是R的第一列和第二列;则K[r0r1T]即为所述单应变换矩阵。
令K[λr0λr1T]=K[r0′r1′T],可得如下等式:
fxr00′+cxr20′=h00
fxr01′+cxr21′=h01
fxtx+cxtz=h12
fyr10′+cyr20′=h10
fyr11′+cyr21′=h11
fyty+cytz=h12
r20′=h20
r21′=h21
tz=h22
由此可解出[r0′r1′T]。然后对其进行单位化处理:
单位化后的r0,r1和r0′,r1′是一样的,T和T′是不同的。对于在相机图像上同一个二维码,T表示相机到R表示方向上实际大小二维码的距离,T′则表示相机到同一方向上实际大小为单位方形的二维码的距离。因为是对同一个二维码方形在T方向上的比例缩放,所以可以通过实际二维码的尺寸计算出相机到实际二维码的距离。若二维码的宽度为ω,那么相机到实际二维码的距离就为T=ωT′。
步骤S4、基于所述单应变换矩阵获取二维码的欧拉角和空间位置。具体地,
其中,(αβγ)代表二维码的欧拉角;由于arctan的取值范围在-π/2和π/2之间,而α和γ的范围应当是360°,因此使用atan2函数代替arctan函数表示如下:
通过非单位化的单应变换矩阵得到旋转矩阵R和位置矩阵T。
步骤S5、记录各二维码的相对位置关系,将各二维码的欧拉角转换成轴角,融合各个二维码坐标系,并将融合后的坐标系对应到空间坐标系上;基于已识别的二维码当前位姿,获取融合后坐标系上的位姿,得到物体在空间坐标系下的位姿。
如图4所示,通过在一个物体上粘贴多个二维码,可以实现对这个物体全方位的位姿估计,避免二维码在摄像头视野中被遮挡。同时依据同一个物体上多个二维码的位置关系,可以由单个二维码的位姿信息得到该物体整体的位姿信息。考虑到多个二维码的欧拉角难以直接融合,多个二维码旋转时易出现混乱,须将欧拉角转换为轴角,具体步骤如下:
angle=2*arccos(c1c2c3-s1s2s3)
x=c1c2s3+s1s2c3
y=s1c2c3+c1s2s3
z=c1s2c3-s1c2s3
其中:
α、β、γ分别为偏航角、横滚角和俯仰角;x、y、z为轴角中轴向量的坐标;angle为轴角中的角度。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (1)
1.一种基于二维码的物体空间位姿获取方法,其特征在于,包括以下步骤:
步骤S1、基于单目摄像头获取目标的实时图像,输入至处理器;
步骤S2、处理器对实时图像进行二值化处理,并找出图像中所有的二维码,获取实时图像的二维码位置坐标信息;
步骤S3、对所述二维码位置坐标进行单应变换,获得二维码的单应变换矩阵;
步骤S4、基于所述单应变换矩阵获取二维码的欧拉角和空间位置;
步骤S5、记录各二维码的相对位置关系,将各二维码的欧拉角转换成轴角,融合各个二维码坐标系,并将融合后的坐标系对应到空间坐标系上;基于已识别的二维码当前位姿,获取融合后坐标系上的位姿,得到物体在空间坐标系下的位姿;
所述步骤S3中获取二维码的单应变换矩阵具体步骤如下:
相机投影矩阵表示为:P=K[R|T],空间点X通过投影矩阵变换为图像上的像素点x,投影关系表示为:x=PX;设定二维码所在平面为X-Y平面,即Z=0,中心为坐标原点,则对于二维码平面:
将旋转矩阵R的第三列去掉可得:
其中r0,r1分别是R的第一列和第二列;则K[r0 r1 T]即为所述单应变换矩阵;
所述步骤S4中获取二维码的欧拉角和空间位置具体步骤如下:
其中,(α β γ)代表二维码的欧拉角;使用atan2函数代替arctan函数表示如下:
通过非单位化的单应变换矩阵得到旋转矩阵R和位置矩阵T;
所述步骤S5中,将各二维码的欧拉角转换为轴角具体步骤如下:
angle=2*arccos(c1c2c3-s1s2s3)
x=c1c2s3+s1s2c3
y=s1c2c3+c1s2s3
z=c1s2c3-s1c2s3
其中:
其中α、β、γ分别为偏航角、横滚角和俯仰角;x、y、z为轴角中轴向量的坐标;angle为轴角中的角度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110016721.1A CN112766008B (zh) | 2021-01-07 | 2021-01-07 | 一种基于二维码的物体空间位姿获取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110016721.1A CN112766008B (zh) | 2021-01-07 | 2021-01-07 | 一种基于二维码的物体空间位姿获取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112766008A CN112766008A (zh) | 2021-05-07 |
CN112766008B true CN112766008B (zh) | 2022-09-06 |
Family
ID=75700450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110016721.1A Active CN112766008B (zh) | 2021-01-07 | 2021-01-07 | 一种基于二维码的物体空间位姿获取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112766008B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20240346687A1 (en) * | 2021-08-05 | 2024-10-17 | Dai Nippon Printing Co., Ltd. | Measuring system |
CN113807218B (zh) * | 2021-09-03 | 2024-02-20 | 科大讯飞股份有限公司 | 版面分析方法、装置、计算机设备和存储介质 |
CN113936010A (zh) * | 2021-10-15 | 2022-01-14 | 北京极智嘉科技股份有限公司 | 货架定位方法、装置、货架搬运设备及存储介质 |
CN115062737A (zh) * | 2022-05-06 | 2022-09-16 | 劢微机器人科技(深圳)有限公司 | 基于2d相机获取货物位姿方法、装置、设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106803261A (zh) * | 2015-11-20 | 2017-06-06 | 沈阳新松机器人自动化股份有限公司 | 机器人相对位姿估计方法 |
CN106969766A (zh) * | 2017-03-21 | 2017-07-21 | 北京品创智能科技有限公司 | 一种基于单目视觉和二维码路标的室内自主导航方法 |
CN108120544A (zh) * | 2018-02-13 | 2018-06-05 | 深圳精智机器有限公司 | 一种基于视觉传感器的三维测力平台 |
CN108181896A (zh) * | 2017-11-21 | 2018-06-19 | 浙江大学 | 一种直圆管表面作业机器人及其位姿检测方法 |
CN109397249A (zh) * | 2019-01-07 | 2019-03-01 | 重庆大学 | 基于视觉识别的二维码定位抓取机器人系统算法 |
CN109658461A (zh) * | 2018-12-24 | 2019-04-19 | 中国电子科技集团公司第二十研究所 | 一种基于虚拟仿真环境的合作二维码的无人机定位方法 |
CN110084243A (zh) * | 2019-03-13 | 2019-08-02 | 南京理工大学 | 一种基于二维码和单目相机的档案识别与定位方法 |
CN111531407A (zh) * | 2020-05-08 | 2020-08-14 | 太原理工大学 | 一种基于图像处理的工件姿态快速测量方法 |
-
2021
- 2021-01-07 CN CN202110016721.1A patent/CN112766008B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106803261A (zh) * | 2015-11-20 | 2017-06-06 | 沈阳新松机器人自动化股份有限公司 | 机器人相对位姿估计方法 |
CN106969766A (zh) * | 2017-03-21 | 2017-07-21 | 北京品创智能科技有限公司 | 一种基于单目视觉和二维码路标的室内自主导航方法 |
CN108181896A (zh) * | 2017-11-21 | 2018-06-19 | 浙江大学 | 一种直圆管表面作业机器人及其位姿检测方法 |
CN108120544A (zh) * | 2018-02-13 | 2018-06-05 | 深圳精智机器有限公司 | 一种基于视觉传感器的三维测力平台 |
CN109658461A (zh) * | 2018-12-24 | 2019-04-19 | 中国电子科技集团公司第二十研究所 | 一种基于虚拟仿真环境的合作二维码的无人机定位方法 |
CN109397249A (zh) * | 2019-01-07 | 2019-03-01 | 重庆大学 | 基于视觉识别的二维码定位抓取机器人系统算法 |
CN110084243A (zh) * | 2019-03-13 | 2019-08-02 | 南京理工大学 | 一种基于二维码和单目相机的档案识别与定位方法 |
CN111531407A (zh) * | 2020-05-08 | 2020-08-14 | 太原理工大学 | 一种基于图像处理的工件姿态快速测量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112766008A (zh) | 2021-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112766008B (zh) | 一种基于二维码的物体空间位姿获取方法 | |
CN109345588B (zh) | 一种基于Tag的六自由度姿态估计方法 | |
US12094226B2 (en) | Simultaneous localization and mapping method, device, system and storage medium | |
CN110108283B (zh) | 一种基于多二维码视觉的高精度定位方法 | |
CN112070770B (zh) | 一种高精度三维地图与二维栅格地图同步构建方法 | |
CN108122256B (zh) | 一种逼近状态下旋转目标位姿测量的方法 | |
CN101782969B (zh) | 一种基于物理定位信息的图像特征可靠匹配的方法 | |
CN112396595B (zh) | 一种动态环境下基于点线特征的语义slam方法 | |
CN111260779B (zh) | 地图构建方法、装置及系统、存储介质 | |
CN113865580A (zh) | 构建地图的方法、装置、电子设备及计算机可读存储介质 | |
CN112750203A (zh) | 模型重建方法、装置、设备及存储介质 | |
CN116485856B (zh) | 一种基于语义分割的无人机图像地理配准方法及相关设备 | |
Zhang et al. | RGB-D simultaneous localization and mapping based on combination of static point and line features in dynamic environments | |
CN113870307B (zh) | 一种基于帧间信息的目标检测方法及装置 | |
Altuntas | Pair-wise automatic registration of three-dimensional laser scanning data from historical building by created two-dimensional images | |
CN108986025B (zh) | 基于不完备姿轨信息的高精度异时图像拼接及校正方法 | |
Xie et al. | Real-time reconstruction of unstructured scenes based on binocular vision depth | |
Aqel et al. | Estimation of image scale variations in monocular visual odometry systems | |
CN114387405B (zh) | 基于机器视觉的微小特征跨数量级快速定位方法和装置 | |
Su | Vanishing points in road recognition: A review | |
Salah et al. | Summarizing large scale 3D mesh for urban navigation | |
Huang et al. | 360Loc: A Dataset and Benchmark for Omnidirectional Visual Localization with Cross-device Queries | |
CN115147738B (zh) | 一种定位方法、装置、设备及存储介质 | |
CN117928519B (zh) | 服务机器人的多传感器融合定位与建图方法及系统 | |
Kim et al. | Geo-registration of wide-baseline panoramic image sequences using a digital map reference |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |