CN106996769A - 一种无需相机标定的主动式位姿快速重定位方法 - Google Patents

一种无需相机标定的主动式位姿快速重定位方法 Download PDF

Info

Publication number
CN106996769A
CN106996769A CN201710176001.5A CN201710176001A CN106996769A CN 106996769 A CN106996769 A CN 106996769A CN 201710176001 A CN201710176001 A CN 201710176001A CN 106996769 A CN106996769 A CN 106996769A
Authority
CN
China
Prior art keywords
point
ordinate
matrix
instruction frame
axis coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710176001.5A
Other languages
English (en)
Other versions
CN106996769B (zh
Inventor
冯伟
孙济洲
田飞鹏
张乾
肖冬瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710176001.5A priority Critical patent/CN106996769B/zh
Publication of CN106996769A publication Critical patent/CN106996769A/zh
Application granted granted Critical
Publication of CN106996769B publication Critical patent/CN106996769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/12—Simultaneous equations, e.g. systems of linear equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Operations Research (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

一种无需相机标定的主动式位姿快速重定位方法：判断是否符合设定的重定位标准，如果符合重定位标准，结束流程；否则进入下一步骤：计算单应变换矩阵H，是提取当前图像与参考图相匹配的特征点对，根据所提取的特征点对计算单应变换矩阵H；根据求解后的单应变换矩阵H动态更新指示框；根据动态更新后的指示框，提到调整控制摄像机六个自由度运动的指标，所述的六个自由度包括：抬头/低头、左转/右转、左摆/右摆、左移/右移、上移/下移、前移/后移；根据调整控制摄像机六个自由度运动的指标进行相机位姿调整；重复步骤上述过程，直到符合重定位标准，结束。本发明实时性好、灵活性高、定位精度较高、对光照条件不敏感、适用于室内外各种工作环境。

Description

一种无需相机标定的主动式位姿快速重定位方法
技术领域
本发明涉及一种位姿快速重定位方法。特别是涉及一种无需相机标定的主动式位姿快速重定位方法。
背景技术
(1)SIFT:Scale Invariant Feature Transform的简称，一种计算机视觉中的算法。用来侦测与描述图像中的局部性特征。它在空间尺度中寻找极值点并提取出其位置、尺度、旋转不变量。局部影像特征的描述与侦测可以帮助辨识物体，SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、一些视角改变的容忍度也相当高。对于这些特性，它们是高度显著而且相对容易获得的。使用SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位，辨识速度也可接近即时运算。
(2)DLT(参见文献[1])：Direct Linear Transform的简称，一个用于解决包含尺度问题的最小二乘问题的算法，通过DLT法求出初值，再用牛顿法迭代求解。简单来说，就是通过两张图像矩阵，求解其两个矩阵的单应变换矩阵。
DLT解决问题的标准形式为：
Xk∝A*Yk (1)
另一种表现形式为：
Xk＝a*A*Yk或者a*Xk＝A*Yk (2)。
上述两个技术虽然比较成熟，但是它们只是应用于图像处理的技术，无法解决主动式位姿重定位这一课题。
发明内容
本发明所要解决的技术问题是，提供一种具有实时性好、灵活性高、定位精度较高的无需相机标定的主动式位姿快速重定位方法。
本发明所采用的技术方案是：一种无需相机标定的主动式位姿快速重定位方法，包括如下步骤：
1)判断是否符合设定的重定位标准，如果符合重定位标准，结束流程；如果不符合重定位标准，进入下一步骤：
2)计算单应变换矩阵H，是提取当前图像与参考图相匹配的特征点对，根据所提取的特征点对计算单应变换矩阵H；
3)根据求解后的单应变换矩阵H动态更新指示框，包括：
在参考图像中构造一个以参考图像为中心位置的指示框，得到第三矩阵，将第三矩阵与步骤2)求出的单应变换矩阵H相乘，得到第四矩阵，即为动态更新后的指示框；
4)根据动态更新后的指示框，提到调整控制摄像机六个自由度运动的指标，所述的六个自由度包括：抬头/低头、左转/右转、左摆/右摆、左移/右移、上移/下移、前移/后移；
5)根据调整控制摄像机六个自由度运动的指标进行相机位姿调整；
6)重复步骤1)～步骤5)，直到符合重定位标准，结束。
步骤2)包括：
分别找出当前图像若干个点的坐标(x,y,z),构成第一矩阵，再分别找出参考图像中与当前图像若干个点的坐标(x,y,z)相匹配的若干个点的坐标(x',y',z')，构成第二矩阵，得出如下等式：
H*[x,y,z]T＝[x',y',z']T
利用直接线性变换算法，通过多个等式组成的方程组，求解得出变换矩阵H。
步骤4)包括：
(1)首先从动态更新后的指示框左上角顶点开始，设定四个顶点顺时针依次为点0、点1、点2和点3，将以所述指示框中心为中心点画出十字，设定十字中的横线左端点为点4，右端点为点5；
(2)根据动态更新后的指示框，得到调整控制摄像机六个自由度运动的指标。
第(2)中步6个自由度的调整依据是：
抬头：第一个点的横坐标－第零个点的横坐标＞第二个点的横坐标－第三个点的横坐标；
低头：第一个点的横坐标－第零个点的横坐标＜第二个点的横坐标－第三个点的横坐标；
左转：第三个点的纵坐标－第零个点的纵坐标＜第二个点的纵坐标－第一个点的纵坐标；
右转：第三个点的纵坐标－第零个点的纵坐标＞第二个点的纵坐标－第一个点的纵坐标；
左摆：第五个点的纵坐标－第四个点的纵坐标＜0；
右摆：第五个点的纵坐标－第四个点的纵坐标＞0；
左移：参考图的中心点x轴坐标＜当前图的中心点x轴坐标；
右移：参考图的中心点x轴坐标＞当前图的中心点x轴坐标；
上移：参考图的中心点y轴坐标＞当前图的中心点y轴坐标；
下移：参考图的中心点y轴坐标＜当前图的中心点y轴坐标；
前移：参考图的导航框面积＜当前图的导航框面积；
后移：参考图的导航框面积＞当前图的导航框面积。
本发明的一种无需相机标定的主动式位姿快速重定位方法，具有实时性好、灵活性高、定位精度较高、对光照条件不敏感、适用于室内外各种工作环境等突出优点。特别适用于以室外文物为代表的高值目标本体微小变化监测任务中的数据精确采集需求。
附图说明
图1是本发明一种无需相机标定的主动式位姿快速重定位方法的流程图；
图2是移动前拍摄结果图；
图3是移动过程某个时刻拍摄结果图；
图4是重定位方法结束后拍摄结果图。
具体实施方式
下面结合实施例和附图对本发明的一种无需相机标定的主动式位姿快速重定位方法做出详细说明。
本发明的一种无需相机标定的主动式位姿快速重定位方法，通过计算当前状态下拍摄图像与上次状态下图像之间的单应变换关系，反馈出六个自由度的移动控制变量，指导操作者或执行机构向正确方向移动。
如图1所示，本发明的一种无需相机标定的主动式位姿快速重定位方法，包括如下步骤：
1)判断是否符合设定的重定位标准，这种主动式相机位姿快速重定位存在一种结束标准，在开始时，需要对当前状态与标准对比，如果符合重定位标准，结束流程；如果不符合重定位标准，进入下一步骤：
2)计算单应变换矩阵H，是提取当前图像与参考图相匹配的特征点对，根据所提取的特征点对计算单应变换矩阵H；包括：
分别找出当前图像若干个点的坐标(x,y,z),构成第一矩阵，再分别找出参考图像中与当前图像若干个点的坐标(x,y,z)相匹配的若干个点的坐标(x',y',z')，构成第二矩阵，得出如下等式：
H*[x,y,z]T＝[x',y',z']T
利用直接线性变换算法，通过多个等式组成的方程组，求解得出变换矩阵H。
3)根据求解后的单应变换矩阵H动态更新指示框，包括：
在参考图像中构造一个以参考图像为中心位置的指示框，得到第三矩阵，将第三矩阵与步骤2)求出的单应变换矩阵H相乘，得到第四矩阵，即为动态更新后的指示框；
4)根据动态更新后的指示框，提到调整控制摄像机六个自由度运动的指标，所述的六个自由度包括：抬头/低头、左转/右转、左摆/右摆、左移/右移、上移/下移、前移/后移；具体包括：
(1)首先从动态更新后的指示框左上角顶点开始，设定四个顶点顺时针依次为点0、点1、点2和点3，将以所述指示框中心为中心点画出十字，设定十字中的横线左端点为点4，右端点为点5；
(2)根据动态更新后的指示框，得到调整控制摄像机六个自由度运动的指标。
6个自由度的调整依据是：
抬头：第一个点的横坐标－第零个点的横坐标＞第二个点的横坐标－第三个点的横坐标；
低头：第一个点的横坐标－第零个点的横坐标＜第二个点的横坐标－第三个点的横坐标；
左转：第三个点的纵坐标－第零个点的纵坐标＜第二个点的纵坐标－第一个点的纵坐标；
右转：第三个点的纵坐标－第零个点的纵坐标＞第二个点的纵坐标－第一个点的纵坐标；
左摆：第五个点的纵坐标－第四个点的纵坐标＜0；
右摆：第五个点的纵坐标－第四个点的纵坐标＞0；
左移：参考图的中心点x轴坐标＜当前图的中心点x轴坐标；
右移：参考图的中心点x轴坐标＞当前图的中心点x轴坐标；
上移：参考图的中心点y轴坐标＞当前图的中心点y轴坐标；
下移：参考图的中心点y轴坐标＜当前图的中心点y轴坐标；
前移：参考图的导航框面积＜当前图的导航框面积；
后移：参考图的导航框面积＞当前图的导航框面积。
5)根据调整控制摄像机六个自由度运动的指标进行相机位姿调整；
6)重复步骤1)～步骤5)，直到符合重定位标准，结束。
图2所示是使用本发明的方法之前相机显示的界面，其定位的效果明显很差。
图3所示是使用本发明的方法过程中相机的显示界面，此时正在向本发明想要的效果中运动。
图4所示是使用本发明的方法结束后显示的界面，此时重定位的效果就很好了。
由上明显可以看到，使用本发明的方法得到的重定位效果非常好，已基本达到完全重定位效果。

Claims (4)

1.一种无需相机标定的主动式位姿快速重定位方法，其特征在于，包括如下步骤：
1)判断是否符合设定的重定位标准，如果符合重定位标准，结束流程；如果不符合重定位标准，进入下一步骤；
2)计算单应变换矩阵H，是提取当前图像与参考图相匹配的特征点对，根据所提取的特征点对计算单应变换矩阵H；
3)根据求解后的单应变换矩阵H动态更新指示框，包括：
在参考图像中构造一个以参考图像为中心位置的指示框，得到第三矩阵，将第三矩阵与步骤2)求出的单应变换矩阵H相乘，得到第四矩阵，即为动态更新后的指示框；
4)根据动态更新后的指示框，提到调整控制摄像机六个自由度运动的指标，所述的六个自由度包括：抬头/低头、左转/右转、左摆/右摆、左移/右移、上移/下移、前移/后移；
5)根据调整控制摄像机六个自由度运动的指标进行相机位姿调整；
6)重复步骤1)～步骤5)，直到符合重定位标准，结束。
2.根据权利要求1所述的一种无需相机标定的主动式位姿快速重定位方法，其特征在于，步骤2)包括：
分别找出当前图像若干个点的坐标(x,y,z),构成第一矩阵，再分别找出参考图像中与当前图像若干个点的坐标(x,y,z)相匹配的若干个点的坐标(x',y',z')，构成第二矩阵，得出如下等式：
H*[x,y,z]T＝[x',y',z']T
利用直接线性变换算法，通过多个等式组成的方程组，求解得出变换矩阵H。
3.根据权利要求1所述的一种无需相机标定的主动式位姿快速重定位方法，其特征在于，步骤4)包括：
(1)首先从动态更新后的指示框左上角顶点开始，设定四个顶点顺时针依次为点0、点1、点2和点3，将以所述指示框中心为中心点画出十字，设定十字中的横线左端点为点4，右端点为点5；
(2)根据动态更新后的指示框，得到调整控制摄像机六个自由度运动的指标。
4.根据权利要求3所述的一种无需相机标定的主动式位姿快速重定位方法，其特征在于，第(2)步中6个自由度的调整依据是：
抬头：第一个点的横坐标－第零个点的横坐标＞第二个点的横坐标－第三个点的横坐标；
低头：第一个点的横坐标－第零个点的横坐标＜第二个点的横坐标－第三个点的横坐标；
左转：第三个点的纵坐标－第零个点的纵坐标＜第二个点的纵坐标－第一个点的纵坐标；
右转：第三个点的纵坐标－第零个点的纵坐标＞第二个点的纵坐标－第一个点的纵坐标；
左摆：第五个点的纵坐标－第四个点的纵坐标＜0；
右摆：第五个点的纵坐标－第四个点的纵坐标＞0；
左移：参考图的中心点x轴坐标＜当前图的中心点x轴坐标；
右移：参考图的中心点x轴坐标＞当前图的中心点x轴坐标；
上移：参考图的中心点y轴坐标＞当前图的中心点y轴坐标；
下移：参考图的中心点y轴坐标＜当前图的中心点y轴坐标；
前移：参考图的导航框面积＜当前图的导航框面积；
后移：参考图的导航框面积＞当前图的导航框面积。
CN201710176001.5A 2017-03-22 2017-03-22 一种无需相机标定的主动式位姿快速重定位方法 Active CN106996769B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710176001.5A CN106996769B (zh) 2017-03-22 2017-03-22 一种无需相机标定的主动式位姿快速重定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710176001.5A CN106996769B (zh) 2017-03-22 2017-03-22 一种无需相机标定的主动式位姿快速重定位方法

Publications (2)

Publication Number Publication Date
CN106996769A true CN106996769A (zh) 2017-08-01
CN106996769B CN106996769B (zh) 2020-02-14

Family

ID=59431487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710176001.5A Active CN106996769B (zh) 2017-03-22 2017-03-22 一种无需相机标定的主动式位姿快速重定位方法

Country Status (1)

Country Link
CN (1) CN106996769B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107843240A (zh) * 2017-09-14 2018-03-27 中国人民解放军92859部队 一种海岸带区域无人机影像同名点信息快速提取方法
CN108648235A (zh) * 2018-04-27 2018-10-12 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置及存储介质
CN108764152A (zh) * 2018-05-29 2018-11-06 北京物灵智能科技有限公司 基于图片匹配实现互动提示的方法、装置及存储设备
CN113343739A (zh) * 2020-03-02 2021-09-03 杭州萤石软件有限公司 可移动设备的重定位方法和可移动设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441769A (zh) * 2008-12-11 2009-05-27 上海交通大学 单目摄像机实时视觉定位方法
EP2444361A2 (de) * 2010-10-22 2012-04-25 Gerald Fuxjäger Brücken-Untersichtgerät
CN102937816A (zh) * 2012-11-22 2013-02-20 四川华雁信息产业股份有限公司 摄像机预置位偏差校准方法及装置
CN103900535A (zh) * 2014-03-10 2014-07-02 天津大学 面向文物微小变化检测的相机四点重定位方法
CN105956074A (zh) * 2016-04-28 2016-09-21 北京航空航天大学 邻近位姿融合引导的单幅图像场景六自由度定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441769A (zh) * 2008-12-11 2009-05-27 上海交通大学 单目摄像机实时视觉定位方法
EP2444361A2 (de) * 2010-10-22 2012-04-25 Gerald Fuxjäger Brücken-Untersichtgerät
CN102937816A (zh) * 2012-11-22 2013-02-20 四川华雁信息产业股份有限公司 摄像机预置位偏差校准方法及装置
CN103900535A (zh) * 2014-03-10 2014-07-02 天津大学 面向文物微小变化检测的相机四点重定位方法
CN105956074A (zh) * 2016-04-28 2016-09-21 北京航空航天大学 邻近位姿融合引导的单幅图像场景六自由度定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
唐庆顺等: "移动机器人车载摄像机位姿的高精度快速求解", 《山东大学学报（理学版）》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107843240A (zh) * 2017-09-14 2018-03-27 中国人民解放军92859部队 一种海岸带区域无人机影像同名点信息快速提取方法
CN108648235A (zh) * 2018-04-27 2018-10-12 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置及存储介质
US11205282B2 (en) 2018-04-27 2021-12-21 Tencent Technology (Shenzhen) Company Limited Relocalization method and apparatus in camera pose tracking process and storage medium
CN108648235B (zh) * 2018-04-27 2022-05-17 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置及存储介质
CN108764152A (zh) * 2018-05-29 2018-11-06 北京物灵智能科技有限公司 基于图片匹配实现互动提示的方法、装置及存储设备
CN108764152B (zh) * 2018-05-29 2020-12-04 北京物灵智能科技有限公司 基于图片匹配实现互动提示的方法、装置及存储设备
CN113343739A (zh) * 2020-03-02 2021-09-03 杭州萤石软件有限公司 可移动设备的重定位方法和可移动设备
CN113343739B (zh) * 2020-03-02 2022-07-22 杭州萤石软件有限公司 可移动设备的重定位方法和可移动设备

Also Published As

Publication number Publication date
CN106996769B (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
CN106996769A (zh) 一种无需相机标定的主动式位姿快速重定位方法
JP6223122B2 (ja) 拡張現実のための自動基準フレーム較正
WO2018049581A1 (zh) 一种同时定位与地图构建方法
CN105844631B (zh) 一种目标定位方法及装置
CN102169366B (zh) 三维立体空间中的多目标跟踪方法
CN106813672B (zh) 移动机器人的导航方法及移动机器人
CN107817500B (zh) 一种模块化舞台激光定位方法
CN110782492B (zh) 位姿跟踪方法及装置
US20110285703A1 (en) 3d avatar service providing system and method using background image
EP2904417A1 (en) Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image
KR20020086931A (ko) 몸짓 기반 입력 및 타겟 지시용 단일 카메라 시스템
CN108549878B (zh) 基于深度信息的手部检测方法及系统
CN114399554A (zh) 一种多相机系统的标定方法及系统
CN111002312A (zh) 基于标定球的工业机器人手眼标定方法
CN112123343B (zh) 点云匹配方法、设备及存储介质
US11995254B2 (en) Methods, devices, apparatuses, and storage media for mapping mouse models for computer mouses
CN110332930B (zh) 一种位置确定方法、装置及设备
CN109785373A (zh) 一种基于散斑的六自由度位姿估计系统及方法
US20210390732A1 (en) Indoor positioning method and apparatus, electronic device and storage medium
CN109584347B (zh) 一种基于主动表观模型的增强现实虚实遮挡处理方法
TWI722738B (zh) 擴增實境裝置與定位方法
CN110111378B (zh) 一种基于室内三维数据的点云配准优化方法和装置
CN109760066B (zh) 一种服务机器人地图定位标定方法
CN114385015A (zh) 虚拟对象的控制方法及电子设备
CN111309141A (zh) 屏幕估计

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant