CN110926405A - 一种基于单目视觉灭点检测的arv姿态测量方法 - Google Patents
一种基于单目视觉灭点检测的arv姿态测量方法 Download PDFInfo
- Publication number
- CN110926405A CN110926405A CN201911225524.XA CN201911225524A CN110926405A CN 110926405 A CN110926405 A CN 110926405A CN 201911225524 A CN201911225524 A CN 201911225524A CN 110926405 A CN110926405 A CN 110926405A
- Authority
- CN
- China
- Prior art keywords
- straight line
- vanishing point
- arv
- line segment
- line segments
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C1/00—Measuring angles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于单目视觉灭点检测的ARV姿态测量方法,该包括:对ARV获取的影像进行直线特征提取;对提取得到的直线进行灭点检测;计算旋转矩阵;根据旋转矩阵与姿态角的变换关系,即可得到ARV姿态角。该方法无需在物理环境中布设精密的标记点,而充分利用物理环境中的垂直结构,仅需利用ARV自身搭载的单目相机,即可获得ARV相对于物理空间坐标系的姿态。
Description
技术领域
本发明涉及机器人领域,尤其涉及移动机器人导航与定位技术, 具体为一种基于单目视觉灭点检测的ARV姿态测量方法。
背景技术
随着工业自动化程度的提高,各种先进技术和设备的应用愈发普 及,越来越多的工厂和仓储车间由劳动密集型转向技术密集型,实现 了智能化生产和运输,由传统模式向智能化、现代化升级,使得复合 机器人(ARV)在自动化生产和智能物流中的使用呈现爆发式增长, 越来越多的应用于汽车制造、电力、烟草、医疗等行业。
导航定位技术是ARV系统中最为核心的技术,目的在于确定ARV 当前的位置和姿态,将其提供于调度和路径规划系统。目前可用的方 法主要有:通过激光雷达扫描获得ARV周围环境的点云数据,通过点 云与已知环境地图配准从而实现ARV的定位,其精度高,实时性强, 但成本较高;利用里程计、加速度计和陀螺仪,通过航迹推算出ARV 的位置和姿态,数据更新频率高,短期精度和稳定性较好,但定位误 差会随时间积累;基于视觉的方法同样受到误差累积的影响,通常采 用闭环检测来减少累计误差,会产生较大的数据冗余。
发明内容
本发明针对ARV的姿态估计问题,提出了一种基于单目视觉灭点 检测的姿态测量方法。
在透视投影中,灭点是空间中平行直线在无穷远点处的交点,其 对应着影像中的一组直线。而直线特征是影像的一种重要特征,普遍 存在于ARV工作环境中,同时具有很高的稳定性,因此在位姿估计、 三维重建、目标识别中广泛使用。通常情况下,在ARV工作场景中 存在着三个互相垂直的方向XYZ,基于对单目视觉影像的直线特征 提取计算出的一组三个灭点分别与之对应,通过三个灭点所在的方向 向量的对比关系,能够反映拍摄影像的相机的姿态,也即ARV的姿 态。
根据以上原理,本发明提供的基于单目视觉灭点检测的ARV姿态 测量方法,包括以下步骤:
(1.1)对ARV获取的影像进行直线特征提取;
(1.2)对提取得到的直线进行灭点检测;
(1.3)计算旋转矩阵;
根据旋转矩阵与姿态角的变换关系,即可得到ARV姿态角。
进一步地,对所述影像进行直线特征提取的方法包括:
对影像进行直线特征的初步提取;
对初步提取到的直线段中的断裂、连续短直线进行合并;
删除短直线段。
进一步地,对初步提取到的直线段,按照如下准则判断是否需要 进行合并:
a.角度:两直线段的方向夹角θ是否小于角度阈值θT;
b.垂距:两直线段的中点分别与另一条直线的垂距D1,D2是否小于 垂距阈值DT;
当两条直线段同时满足上述两个准则时,则对其进行合并。
进一步地,对直线段进行合并的方法包括:
a.确定合并后直线段上一点P:假设合并前两直线段为别为AB, CD,A、B、C、D分别为其端点,其长度分别为lAB,lCD,则P点的坐 标为
b.确定合并后直线段的角度:直线段AB,CD的角度分别为 θAB,θCD,合并后直线段的角度为
c.确定合并直线段的端点:将原直线段AB、CD分别投影到合并 后的新直线上,取其包含的最长直线段,则得到合并后直线段的端点。
进一步地,对提取得到的直线进行灭点检测的方法包括以下步骤:
(2.1)生成灭点假设集合:假设提取出的直线段有N条,则从 中随机选取M组直线对(两条直线互不相同),求出每组直线对的交 点,即为灭点假设集合,灭点假设集合的大小为M;
(2.3)构建倾向矩阵W,其大小为N×M,其中矩阵每一行表 示提取到的一条直线段,每一列表示(2.1)中生成的假设灭点,如 果直线Li与假设灭点VPj的一致性度量值D(Li,VPj)小于阈值,则Wij= 1;反之,则Wij=0;
(2.4)倾向矩阵优化:遍历倾向矩阵,计算直线类之间的Jaccard 距离,将Jaccard距离小于1的两个直线类合并,直到所有直线类之 间的Jaccard距离都为1,从而完成直线段的分类;
(2.5)计算灭点:对于每一类直线,其均对应一个灭点,假设 某一类直线有s条直线段,其直线方程为 Akx+Bky+ck=0,k=1,2,...,s
则采用最小二乘法可求出该s条直线对应的灭点:
进一步地,旋转矩阵的计算方法包括如下步骤:
(3.1)灭点单位化,仅取其方向向量:
其中,j=1,2,3,VP1,VP2,VP3为所述步骤(1.2)中计算出的灭 点,对应场景中三个互相垂直的方向XYZ;
将方向向量用齐次坐标表示如下:
(3.2)在XYZ三个方向上的无穷远点的齐次坐标分别为:
由相机成像模型则有:
其中K为相机的内参数矩阵,由厂商给出或标定得到;由此可 得到旋转矩阵R。
本发明通过提取单张影像上的灭点作为全局观测量,对ARV的姿 态进行修正。与现有技术相比,这种方法的优势在于:无需在物理环 境中布设精密的标记点,而充分利用物理环境中的垂直结构,仅需利 用ARV自身搭载的单目相机,即可获得ARV相对于物理空间坐标系的 姿态。
应了解的是,上述一般描述及以下具体实施方式仅为示例性及阐 释性的,其并不能限制本发明所欲主张的范围。
附图说明
下面的附图是本发明的说明书的一部分,其绘示了本发明的示例 实施例,所附附图与说明书的描述一起用来说明本发明的原理。
图1为根据示例性实施例的基于单目视觉灭点检测的ARV姿态 测量方法流程图。
具体实施方式
现详细说明本发明的多种示例性实施方式,该详细说明不应认为 是对本发明的限制,而应理解为是对本发明的某些方面、特性和实施 方案的更详细的描述。
在不背离本发明的范围或精神的情况下,可对本发明说明书的具 体实施方式做多种改进和变化,这对本领域技术人员而言是显而易见 的。由本发明的说明书得到的其他实施方式对技术人员而言是显而易 见得的。本申请说明书和实施例仅是示例性的。
如附图1所示,根据示例性实施例的基于单目视觉灭点检测的姿 态测量方法,主要包括以下步骤:
步骤1:对ARV所获影像的直线特征提取。
现有的直线特征提取方法较多;在示例性实施例中,为了获得稳 定的直线特征,采用以下方法完成直线特征提取:
(1.1)进行直线特征的初步提取。
优选采用LSD算法进行直线特征的初步提取。该算法具有很高 的实时性、稳定性和准确性,计算效率高,无需设置过多参数。该算 法包括梯度幅值和梯度方向估计、提取直线支撑区域、矩形逼近支撑 区域和直线检测四个步骤。
当然,本领域技术人员也可采用其他现有算法完成直线特征的初 步提取。
(1.2)直线特征精化。由于影像噪声、遮挡和提取算法误差的 影响,现有的各种算法提取的直线特征会出现断裂、连续短直线等, 因此对在方向、垂距上相近的直线进行合并操作。
优选按照如下准则判断是否进行合并:
a.角度:两直线段的方向夹角θ是否小于角度阈值θT;
b.垂距:两直线段的中点分别与另一条直线的垂距D1,D2是否小于 垂距阈值DT;
当两条直线段同时满足上述两个准则时,则对其进行合并。
优选按照如下方法确定合并后的直线段:
a.确定合并后直线段上一点P。假设合并前两直线段为别为AB, CD,A、B、C、D分别为其端点,其长度分别为lAB,lCD,则P点的坐 标为:
b.确定合并后直线段的角度。直线段AB,CD的角度分别为 θAB,θCD,合并后直线段的角度为:
c.确定合并直线段的端点。将原直线段AB,CD分别投影到合并 后的新直线上,取其包含的最长直线段,则得到合并后直线段的端点。
(1.3)如果合并后的直线段的长度大于长度阈值lT,则将其保留; 否则将其删除。
完成后,即可得到稳定的直线段特征。
步骤2:对提取到的直线段进行灭点检测。实际上,灭点的检测 对应着影像上直线的分类。对于每一类直线,其均对应一个灭点。
同样,现有可用的直线分类方法较多;在示例性实施例中,采用 多模型分类方法J-Linkage算法对提取到的直线段进行分类,然后再 进行灭点的计算。具体包括以下步骤:
(2.1)生成灭点假设集合。假设在步骤1中提取出N条直线段, 则从中随机选取M组直线对(两条直线互不相同)。求出每组直线对 的交点,即为灭点假设集合,灭点假设集合的大小为M。
(2.3)构建倾向矩阵W,其大小为N×M。其中矩阵每一行表 示步骤1中提取的一条直线段,每一列表示步骤(2.1)中生成的假 设灭点。如果直线Li与假设灭点VPj的一致性度量D(Li,VPj)小于阈值, 则Wij=1;反之,则Wij=0。
(2.4)倾向矩阵优化。遍历倾向矩阵,计算直线类之间的Jaccard 距离,将Jaccard距离小于1的两个直线类合并,直到所有直线类之 间的Jaccard距离都为1,从而完成直线段的分类。
(2.5)计算灭点。假设某一类直线有s条直线段,其直线方程为 Akx+Bky+ck=0,k=1,2,...,s
则采用最小二乘求出该s条直线求出对应的灭点:
步骤3:计算旋转矩阵,从而得到相机姿态,即ARV的姿态。 通常情况下,在场景中存在着三个互相垂直的方向XYZ,在步骤2 中计算出的灭点VP1,VP2,VP3与之对应。
(3.1)灭点单位化,仅取其方向向量:
之后将方向向量用齐次坐标表示如下:
(3.2)在XYZ三个方向上的无穷远点的齐次坐标分别为:
由相机成像模型则有:
其中K为相机的内参数矩阵,由厂商给出或标定得到。旋转矩 阵与平移向量t组成的矩阵就表示了物理空间坐标系与相机坐标系之 间的对应关系。
由此可得到旋转矩阵R。
根据现有技术中旋转矩阵与姿态角的变换关系,即可得到最终的 姿态角。
以上所述仅为本发明示意性的具体实施方式,在不脱离本发明的 构思和原则的前提下,任何本领域的技术人员所做出的等同变化与修 改,均应属于本发明保护的范围。
Claims (6)
1.一种基于单目视觉灭点检测的ARV姿态测量方法,包括以下步骤:
(1.1)对ARV获取的影像进行直线特征提取;
(1.2)对提取得到的直线进行灭点检测;
(1.3)计算旋转矩阵;
根据旋转矩阵与姿态角的变换关系,即可得到ARV姿态角。
2.根据权利要求1所述的ARV姿态测量方法,其特征在于,对所述影像进行直线特征提取的方法包括:
对影像进行直线特征的初步提取;
对初步提取到的直线段中的断裂、连续短直线进行合并;
删除短直线段。
3.根据权利要求2所述的ARV姿态测量方法,其特征在于,对所述初步提取到的直线段,按照如下准则判断是否需要进行合并:
a.角度:两直线段的方向夹角θ是否小于角度阈值θT;
b.垂距:两直线段的中点分别与另一条直线的垂距D1,D2是否小于垂距阈值DT;
当两条直线段同时满足上述两个准则时,则对其进行合并。
5.根据权利要求1所述的ARV姿态测量方法,其特征在于,所述对提取得到的直线进行灭点检测的方法包括以下步骤:
(2.1)生成灭点假设集合:假设提取出的直线段有N条,则从中随机选取M组直线对(两条直线互不相同),求出每组直线对的交点,即为灭点假设集合,灭点假设集合的大小为M;
(2.3)构建倾向矩阵W,其大小为N×M,其中矩阵每一行表示提取到的一条直线段,每一列表示(2.1)中生成的假设灭点,如果直线Li与假设灭点VPj的一致性度量值D(Li,VPj)小于阈值,则Wij=1;反之,则Wij=0;
(2.4)倾向矩阵优化:遍历倾向矩阵,计算直线类之间的Jaccard距离,将Jaccard距离小于1的两个直线类合并,直到所有直线类之间的Jaccard距离都为1,从而完成直线段的分类;
(2.5)计算灭点:对于每一类直线,其均对应一个灭点,假设某一类直线有s条直线段,其直线方程为
Akx+Bky+ck=0,k=1,2,...,s
则采用最小二乘法可求出该s条直线对应的灭点:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911225524.XA CN110926405B (zh) | 2019-12-04 | 2019-12-04 | 一种基于单目视觉灭点检测的arv姿态测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911225524.XA CN110926405B (zh) | 2019-12-04 | 2019-12-04 | 一种基于单目视觉灭点检测的arv姿态测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110926405A true CN110926405A (zh) | 2020-03-27 |
CN110926405B CN110926405B (zh) | 2022-02-22 |
Family
ID=69857729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911225524.XA Active CN110926405B (zh) | 2019-12-04 | 2019-12-04 | 一种基于单目视觉灭点检测的arv姿态测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110926405B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111652831A (zh) * | 2020-06-28 | 2020-09-11 | 腾讯科技(深圳)有限公司 | 对象融合方法、装置、计算机可读存储介质及电子设备 |
CN111932608A (zh) * | 2020-06-19 | 2020-11-13 | 广州图匠数据科技有限公司 | 一种基于消失点检测的单目零售货架姿态估计方法和装置 |
CN113554672A (zh) * | 2021-08-05 | 2021-10-26 | 沭阳县浙台工贸有限公司 | 一种基于机器视觉的气密性检测中相机位姿检测方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1564581A (zh) * | 2004-04-15 | 2005-01-12 | 上海交通大学 | 交通监视环境下的摄像机标定方法 |
EP2199951A2 (de) * | 2008-12-19 | 2010-06-23 | Hella KG Hueck & Co. | Verfahren und Vorrichtung zum Ermitteln eines Fluchtpunktes |
CN101915570A (zh) * | 2010-07-20 | 2010-12-15 | 同济大学 | 一种基于灭点的地面移动测量影像线段自动提取分类方法 |
CN104848861A (zh) * | 2015-05-28 | 2015-08-19 | 西安交通大学 | 一种基于图像消失点识别技术的移动设备姿态测量方法 |
CN108090958A (zh) * | 2017-12-06 | 2018-05-29 | 上海阅面网络科技有限公司 | 一种机器人同步定位和地图构建方法和系统 |
CN109059897A (zh) * | 2018-05-30 | 2018-12-21 | 上海懒书智能科技有限公司 | 一种基于agv小车的实时运行姿态的获取方法 |
CN110060277A (zh) * | 2019-04-30 | 2019-07-26 | 哈尔滨理工大学 | 一种多特征融合的视觉slam方法 |
-
2019
- 2019-12-04 CN CN201911225524.XA patent/CN110926405B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1564581A (zh) * | 2004-04-15 | 2005-01-12 | 上海交通大学 | 交通监视环境下的摄像机标定方法 |
EP2199951A2 (de) * | 2008-12-19 | 2010-06-23 | Hella KG Hueck & Co. | Verfahren und Vorrichtung zum Ermitteln eines Fluchtpunktes |
CN101915570A (zh) * | 2010-07-20 | 2010-12-15 | 同济大学 | 一种基于灭点的地面移动测量影像线段自动提取分类方法 |
CN104848861A (zh) * | 2015-05-28 | 2015-08-19 | 西安交通大学 | 一种基于图像消失点识别技术的移动设备姿态测量方法 |
CN108090958A (zh) * | 2017-12-06 | 2018-05-29 | 上海阅面网络科技有限公司 | 一种机器人同步定位和地图构建方法和系统 |
CN109059897A (zh) * | 2018-05-30 | 2018-12-21 | 上海懒书智能科技有限公司 | 一种基于agv小车的实时运行姿态的获取方法 |
CN110060277A (zh) * | 2019-04-30 | 2019-07-26 | 哈尔滨理工大学 | 一种多特征融合的视觉slam方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111932608A (zh) * | 2020-06-19 | 2020-11-13 | 广州图匠数据科技有限公司 | 一种基于消失点检测的单目零售货架姿态估计方法和装置 |
CN111652831A (zh) * | 2020-06-28 | 2020-09-11 | 腾讯科技(深圳)有限公司 | 对象融合方法、装置、计算机可读存储介质及电子设备 |
CN111652831B (zh) * | 2020-06-28 | 2022-04-19 | 腾讯科技(深圳)有限公司 | 对象融合方法、装置、计算机可读存储介质及电子设备 |
CN113554672A (zh) * | 2021-08-05 | 2021-10-26 | 沭阳县浙台工贸有限公司 | 一种基于机器视觉的气密性检测中相机位姿检测方法及系统 |
CN113554672B (zh) * | 2021-08-05 | 2022-07-19 | 沭阳县浙台工贸有限公司 | 一种基于机器视觉的气密性检测中相机位姿检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110926405B (zh) | 2022-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108012325B (zh) | 一种基于uwb和双目视觉的导航定位方法 | |
CN110926405B (zh) | 一种基于单目视觉灭点检测的arv姿态测量方法 | |
CN107481292B (zh) | 车载摄像头的姿态误差估计方法和装置 | |
KR101003168B1 (ko) | 다차원 에비던스 그리드 및 그를 적용한 시스템 및 방법 | |
CN109270545B (zh) | 一种定位真值校验方法、装置、设备及存储介质 | |
CN108279670B (zh) | 用于调整点云数据采集轨迹的方法、设备以及计算机可读介质 | |
CN109143207A (zh) | 激光雷达内参精度验证方法、装置、设备及介质 | |
CN110842901B (zh) | 基于一种新型三维标定块的机器人手眼标定方法与装置 | |
CN110930495A (zh) | 基于多无人机协作的icp点云地图融合方法、系统、装置及存储介质 | |
CN111279154B (zh) | 导航区域识别和拓扑结构匹配以及相关联的系统和方法 | |
CN110160528B (zh) | 一种基于角度特征识别的移动装置位姿定位方法 | |
CN111123242B (zh) | 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质 | |
WO2021016806A1 (zh) | 高精度地图定位方法、系统、平台及计算机可读存储介质 | |
CN109781003B (zh) | 一种结构光视觉系统的下一最佳测量位姿确定方法 | |
CN111238386A (zh) | 发动机管道最小间距测量方法 | |
Ishihara et al. | Beacon-guided structure from motion for smartphone-based navigation | |
KR20230003803A (ko) | 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법 | |
Agrawal et al. | PCE-SLAM: A real-time simultaneous localization and mapping using LiDAR data | |
US20090226094A1 (en) | Image correcting device and method, and computer program | |
Grudziński et al. | Stereovision tracking system for monitoring loader crane tip position | |
JPH07103715A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
WO2021051361A1 (zh) | 高精度地图定位方法、系统、平台及计算机可读存储介质 | |
CN111474560A (zh) | 一种障碍物定位方法、装置及设备 | |
CN113487676B (zh) | 确定安装于采集实体的相机之间相对姿态角的方法和装置 | |
CN116047480A (zh) | 一种激光雷达到姿态传感器的外参标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |