CN105959529B - 一种基于全景相机的单像自定位方法及系统 - Google Patents

一种基于全景相机的单像自定位方法及系统 Download PDF

Info

Publication number
CN105959529B
CN105959529B CN201610256949.7A CN201610256949A CN105959529B CN 105959529 B CN105959529 B CN 105959529B CN 201610256949 A CN201610256949 A CN 201610256949A CN 105959529 B CN105959529 B CN 105959529B
Authority
CN
China
Prior art keywords
panorama camera
control point
local
coordinates
polar coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610256949.7A
Other languages
English (en)
Other versions
CN105959529A (zh
Inventor
钟若飞
黄小川
宫辉力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jincheng Qianfang Technology Co ltd
Original Assignee
Nanjing Taisi Space Information Technology Co Ltd
Capital Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Taisi Space Information Technology Co Ltd, Capital Normal University filed Critical Nanjing Taisi Space Information Technology Co Ltd
Priority to CN201610256949.7A priority Critical patent/CN105959529B/zh
Publication of CN105959529A publication Critical patent/CN105959529A/zh
Application granted granted Critical
Publication of CN105959529B publication Critical patent/CN105959529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开一种基于全景相机的单像自定位方法及系统，包括：获取全景影像中控制点坐标、全景相机系统的俯仰角和全景相机系统的翻滚角；利用控制点坐标、全景相机系统的俯仰角和翻滚角，计算得到控制点的局部极坐标；利用局部极坐标，计算得到控制点的局部空间坐标；获取全景相机系统的方向向量，计算全景相机系统在全局坐标系的航向角；利用航向角，获得旋转矩阵M；利用控制点的局部极坐标、局部空间坐标以及旋转矩阵M得到全景相机全局坐标。本申请的自定位方法运算量小、精度较高，可用于移动测量系统的实时自定位。

Description

一种基于全景相机的单像自定位方法及系统
技术领域
本发明涉及定位领域，特别是涉及一种基于全景相机的单像自定位方法及系统。
背景技术
移动设备的自定位技术是近年来的研究热点，包括无人机航测、车载移动测量、机器人自主导航等多个领域都需要一种低成本、可靠、轻便的部件，从而使移动设备可以依靠这种部件较为精确地自主确定设备在环境中的位置，摆脱对GPS等外部导航仪器的依赖。
目前市面上的机器人主要使用地面磁轨来进行导航及定位，近几年，基于激光的实时同步地图构建及定位技术(SLAM)开始应用于机器人导航及定位，从而使机器人可以不依靠地面磁轨便能够确定自身在环境中的位置。同时，基于视觉的机器人自定位技术也是最近几年的研究热点，然而由于视觉自定位技术需要环境中有足够的视觉特征点，因此视场角过小的相机会经常遇到视野内特征点不足的问题，导致相机无法进行自身定位。
现有技术中磁导轨技术必须事先地面上布设磁性导轨，移动设备沿着导轨进行运动，缺点是铺设导轨工程量大、限制性高，只能沿着磁导轨运动。而组合导航技术中使用移动设备上的惯性导航以及里程计进行定位，缺点是惯性导航成本高，且定位误差随时间不断积累。还有，激光定位技术中使用移动设备上的横置激光雷达进行自身定位，缺点是激光雷达成本高，当机器人行进路线中出现障碍物时，由于机器人所扫描点云找不到匹配特征，因此会导致机器人无法定位。深度相机定位技术中使用移动设备上的深度相机进行自身定位，缺点是深度相机量测距离短，难以在空旷地区使用。双目相机定位技术中使用移动设备上的双目相机进行自身定位，缺点是相机视角小，当视野中无特征点时定位失效。
发明内容
本发明的目的是提供一种基于全景相机的单像自定位方法及系统，能够实现不用预先铺设磁性导轨、设备运动无限制、机器人前方出现障碍物时不影响自身定位、可以在空旷环境中使用、误差不随时间积累，且在定位的同时拍摄当前环境的全景照片，可以在事后对运动环境进行全面的分析以及了解。
为实现上述目的，本发明提供了如下方案：
一种基于全景相机的单像自定位方法，包括：
获取全景影像中控制点坐标、全景相机系统的俯仰角和全景相机系统的翻滚角；
利用所述控制点坐标、所述全景相机系统的俯仰角和翻滚角，计算得到所述控制点的局部极坐标；
利用所述局部极坐标，计算得到所述控制点的局部空间坐标；
获取所述全景相机系统的方向向量，计算所述全景相机系统在全局坐标系的航向角；
利用所述航向角，获得旋转矩阵M；
利用所述控制点的局部极坐标、局部空间坐标以及所述旋转矩阵M得到全景相机全局坐标。
可选的，所述利用所述控制点坐标、所述全景相机系统的俯仰角和所述全景相机系统的翻滚角，所述得到所述控制点的局部极坐标具体为：
根据公式计算控制点的局部极坐标；
其中，θ，α为所述控制点的局部极坐标，x,y为全景影像中控制点坐标，col为列像素数，row为行像素数。
可选的，所述利用所述局部极坐标，所述得到所述控制点的局部空间坐标具体为：
根据公式计算得到所述控制点的局部空间坐标；
其中，X,Y,Z为控制点局部空间坐标，H为全景相机系统中心距地面高度。
可选的，所述获取方向向量，所述得到全局坐标系的航向角具体为：
根据公式计算得到所述全景相机系统在全局坐标系的航向角；
其中，V0＝(0,1,0)为全局坐标系中的初始方向向量，AB为方向向量在以全景相机系统为中心的局部坐标系中的平行单位向量，A’,B’为向量AB在全景影像中的实际投影点。
可选的，所述旋转矩阵M具体为：
可选的，所述得到全景相机全局坐标具体为：
根据公式O＝P0+M·P，计算全景相机全局坐标；
其中，P为所述控制点的局部极坐标，P0为所述控制点全局坐标，M为旋转矩阵。
本申请还包括一种基于全景相机的单像自定位系统，包括：
第一获取单元，用于获取全景影像中控制点坐标、全景相机系统的俯仰角和全景相机系统的翻滚角；
第一计算单元，用于利用所述控制点坐标、所述全景相机系统的俯仰角和翻滚角，计算得到所述控制点的局部极坐标；
第二计算单元，用于利用所述局部极坐标，计算得到所述控制点的局部空间坐标；
第二获取单元，用于获取所述全景相机系统的方向向量，计算所述全景相机系统在全局坐标系的航向角；
第三计算单元，用于利用所述航向角，获得旋转矩阵M；
第三获取单元，用于利用所述控制点的局部极坐标、局部空间坐标以及所述旋转矩阵M得到全景相机全局坐标。
可选的，所述第一计算单元，用于根据公式计算控制点的局部极坐标；
其中，θ，α为所述控制点的局部极坐标，x,y为全景影像中控制点坐标，col为列像素数，row为行像素数；
所述第二计算单元，用于根据公式计算得到所述控制点的局部空间坐标；
其中，X,Y,Z为控制点局部空间坐标，H为全景相机系统中心距地面高度。
可选的，所述第二获取单元，用于根据公式计算得到所述全景相机系统在全局坐标系的航向角；
其中，V0＝(0,1,0)为全局坐标系中的初始方向向量，AB为方向向量在以全景相机系统为中心的局部坐标系中的平行单位向量，A’,B’为向量AB在全景影像中的实际投影点；
所述第三计算单元，根据得到旋转矩阵。
可选的，所述第三获取单元，用于根据公式O＝P0+M·P，计算全景相机全局坐标；
其中，P为所述控制点的局部极坐标，P0为所述控制点全局坐标，M为旋转矩阵。
本发明提供一种基于单像量测的全景相机自定位方法：在仅使用一个全景相机(包括鱼眼全景相机或多镜头组合式全景相机)的情况下，通过识别所拍摄全景影像中至少1个地面控制点，根据全景相机距离地面的高度、地面控制点三维坐标以及所拍摄的全景影像对应的像素坐标，计算全景相机系统中心位置。本方案不需要进行全景影像间的匹配，只需要将全景相机固定在一定高度，通过人工或模式识别方法提取出影像中的1个地面控制点，就可以计算全景相机位置，还原系统移动轨迹。此方法运算量小、精度较高，可用于移动测量系统的实时自定位。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于全景相机的单像自定位方法实施例的流程图；
图2为本发明一种基于全景相机的单像自定位系统实施例的结构图；
图3为本发明一种基于全景相机的单像自定位系统实施例的局部极坐标测量原理图；
图4为本发明一种基于全景相机的单像自定位系统实施例的局部空间坐标测量原理图；
图5为本发明一种基于全景相机的单像自定位方法实施例的方向角计算原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明一种基于全景相机的单像自定位方法实施例的流程图，如图1所示包括：
步骤101，获取全景影像中控制点坐标、全景相机系统的俯仰角和全景相机系统的翻滚角；
步骤102，利用所述控制点坐标、所述全景相机系统的俯仰角和翻滚角，计算得到所述控制点的局部极坐标；
步骤103，利用所述局部极坐标，计算得到所述控制点的局部空间坐标；
步骤104，获取所述全景相机系统的方向向量，计算所述全景相机系统在全局坐标系的航向角；
步骤105，利用所述航向角，获得旋转矩阵M；
步骤106，利用所述控制点的局部极坐标、局部空间坐标以及所述旋转矩阵M得到全景相机全局坐标。
可选的，如图3所示，所述利用所述控制点坐标、所述全景相机系统的俯仰角和所述全景相机系统的翻滚角，所述得到所述控制点的局部极坐标具体为：
根据公式计算控制点的局部极坐标；
其中，θ，α为所述控制点的局部极坐标，x,y为全景影像中控制点坐标，col为列像素数，row为行像素数。
可选的，如图4所示，利用所述局部极坐标，得到所述控制点的局部空间坐标具体为：
根据公式计算得到所述控制点的局部空间坐标；
其中，X,Y,Z为控制点局部空间坐标，H为全景相机系统中心距地面高度。
可选的，如图5所示，所述获取方向向量，所述得到全局坐标系的航向角具体为：
根据公式计算得到所述全景相机系统在全局坐标系的航向角；
其中，V0＝(0,1,0)为全局坐标系中的初始方向向量，AB为方向向量在以全景相机系统为中心的局部坐标系中的平行单位向量，A’,B’为向量AB在全景影像中的实际投影点。
可选的，所述旋转矩阵M具体为：
可选的，所述得到全景相机全局坐标具体为：
根据公式O＝P0+M·P，计算全景相机全局坐标；
其中，P为所述控制点的局部极坐标，P0为所述控制点全局坐标，M为旋转矩阵。
可以利用系列的地面控制点还原全景相机运动轨迹。
本方案不需要进行全景影像间的匹配，只需要将全景相机固定在一定高度，通过人工或模式识别方法提取出影像中的1个地面控制点，就可以计算全景相机位置，还原系统移动轨迹。此方法运算量小、精度较高，可用于移动测量系统的实时自定位。
本申请还公开了一种基于全景相机的单像自定位系统。图2为本发明一种基于全景相机的单像自定位系统实施例的结构图。如图2所示，该系统包括：
第一获取单元201，用于获取全景影像中控制点坐标、全景相机系统的俯仰角和全景相机系统的翻滚角；
第一计算单元202，用于利用所述控制点坐标、所述全景相机系统的俯仰角和翻滚角，计算得到所述控制点的局部极坐标；
第二计算单元203，用于利用所述局部极坐标，计算得到所述控制点的局部空间坐标；
第二获取单元204，用于获取所述全景相机系统的方向向量，计算所述全景相机系统在全局坐标系的航向角；
第三计算单元205，用于利用所述航向角，获得旋转矩阵M；
第三获取单元206，用于利用所述控制点的局部极坐标、局部空间坐标以及所述旋转矩阵M得到全景相机全局坐标。
可选的，所述第一计算单元202，用于根据公式计算控制点的局部极坐标；
其中，θ，α为所述控制点的局部极坐标，x,y为全景影像中控制点坐标，col为列像素数，row为行像素数；
所述第二计算单元203，用于根据公式计算得到所述控制点的局部空间坐标；
其中，X,Y,Z为控制点局部空间坐标，H为全景相机系统中心距地面高度。
可选的，所述第二获取单元204，用于根据公式计算得到所述全景相机系统在全局坐标系的航向角；
其中，V0＝(0,1,0)为全局坐标系中的初始方向向量，AB为方向向量在以全景相机系统为中心的局部坐标系中的平行单位向量，A’,B’为向量AB在全景影像中的实际投影点；
所述第三计算单元205，用于根据得到旋转矩阵。
可选的，所述第三获取单元206，用于根据公式O＝P0+M·P，计算全景相机全局坐标；
其中，P为所述控制点的局部极坐标，P0为所述控制点全局坐标，M为旋转矩阵。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于全景相机的单像自定位方法，其特征在于，包括：
获取全景影像中控制点坐标、全景相机系统的俯仰角和全景相机系统的翻滚角；
利用所述控制点坐标、所述全景相机系统的俯仰角和翻滚角，计算得到所述控制点的局部极坐标；
利用所述局部极坐标，计算得到所述控制点的局部空间坐标；
获取所述全景相机系统的方向向量，计算所述全景相机系统在全局坐标系的航向角；
利用所述航向角，获得旋转矩阵M；
利用所述控制点的局部极坐标、局部空间坐标以及所述旋转矩阵M得到全景相机全局坐标；
所述得到全局坐标系的航向角具体为：
根据公式计算得到所述全景相机系统在全局坐标系的航向角；
其中，V0＝(0,1,0)为全局坐标系中的初始方向向量，AB为方向向量在以全景相机系统为中心的局部坐标系中的平行单位向量，A’,B’为向量AB在全景影像中的实际投影点。
2.根据权利要求1所述的基于全景相机的单像自定位方法，其特征在于，所述利用所述控制点坐标、所述全景相机系统的俯仰角和所述全景相机系统的翻滚角，所述得到所述控制点的局部极坐标具体为：
根据公式计算控制点的局部极坐标；
其中，θ，α为所述控制点的局部极坐标，x,y为全景影像中控制点坐标，col为列像素数，row为行像素数。
3.根据权利要求1所述的基于全景相机的单像自定位方法，其特征在于，所述利用所述局部极坐标，所述得到所述控制点的局部空间坐标具体为：
根据公式计算得到所述控制点的局部空间坐标；
其中，X,Y,Z为控制点局部空间坐标，H为全景相机系统中心距地面高度。
4.根据权利要求1所述的基于全景相机的单像自定位方法，其特征在于，所述旋转矩阵M具体为：
5.根据权利要求1所述的基于全景相机的单像自定位方法，其特征在于，所述得到全景相机全局坐标具体为：
根据公式O＝P0+M·P，计算全景相机全局坐标；
其中，P为所述控制点的局部极坐标，P0为所述控制点全局坐标，M为旋转矩阵。
6.一种基于全景相机的单像自定位系统，其特征在于，包括：
第一获取单元，用于获取全景影像中控制点坐标、全景相机系统的俯仰角和全景相机系统的翻滚角；
第一计算单元，用于利用所述控制点坐标、所述全景相机系统的俯仰角和翻滚角，计算得到所述控制点的局部极坐标；
第二计算单元，用于利用所述局部极坐标，计算得到所述控制点的局部空间坐标；
第二获取单元，用于获取所述全景相机系统的方向向量，计算所述全景相机系统在全局坐标系的航向角；
第三计算单元，用于利用所述航向角，获得旋转矩阵M；
第三获取单元，用于利用所述控制点的局部极坐标、局部空间坐标以及所述旋转矩阵M得到全景相机全局坐标；
所述第二获取单元，用于根据公式计算得到所述全景相机系统在全局坐标系的航向角；
其中，V0＝(0,1,0)为全局坐标系中的初始方向向量，AB为方向向量在以全景相机系统为中心的局部坐标系中的平行单位向量，A’,B’为向量AB在全景影像中的实际投影点；
所述第三计算单元，用于根据得到旋转矩阵。
7.根据权利要求6所述的一种基于全景相机的单像自定位系统，其特征在于，
所述第一计算单元，用于根据公式计算控制点的局部极坐标；
其中，θ，α为所述控制点的局部极坐标，x,y为全景影像中控制点坐标，col为列像素数，row为行像素数；
所述第二计算单元，用于根据公式计算得到所述控制点的局部空间坐标；
其中，X,Y,Z为控制点局部空间坐标，H为全景相机系统中心距地面高度。
8.根据权利要求6所述的一种基于全景相机的单像自定位系统，其特征在于，
所述第三获取单元，用于根据公式O＝P0+M·P，计算全景相机全局坐标；
其中，P为所述控制点的局部极坐标，P0为所述控制点全局坐标，M为旋转矩阵。
CN201610256949.7A 2016-04-22 2016-04-22 一种基于全景相机的单像自定位方法及系统 Active CN105959529B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610256949.7A CN105959529B (zh) 2016-04-22 2016-04-22 一种基于全景相机的单像自定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610256949.7A CN105959529B (zh) 2016-04-22 2016-04-22 一种基于全景相机的单像自定位方法及系统

Publications (2)

Publication Number Publication Date
CN105959529A CN105959529A (zh) 2016-09-21
CN105959529B true CN105959529B (zh) 2018-12-21

Family

ID=56915663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610256949.7A Active CN105959529B (zh) 2016-04-22 2016-04-22 一种基于全景相机的单像自定位方法及系统

Country Status (1)

Country Link
CN (1) CN105959529B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108269234B (zh) * 2016-12-30 2021-11-19 成都美若梦景科技有限公司 一种全景相机镜头姿态估计方法及全景相机
CN110377015B (zh) * 2018-04-13 2021-04-27 北京三快在线科技有限公司 机器人定位方法和机器人定位装置
WO2021223124A1 (zh) * 2020-05-06 2021-11-11 深圳市大疆创新科技有限公司 位置信息获取方法、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102538761A (zh) * 2012-01-09 2012-07-04 刘进 球面全景相机摄影测量方法
CN105096284A (zh) * 2014-05-04 2015-11-25 北京四维图新科技股份有限公司 一种生成道路正射投影图像的方法、装置及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100169946A1 (en) * 2008-12-31 2010-07-01 Stanley James C Method and system for configuring device control in a multimedia entertainment system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102538761A (zh) * 2012-01-09 2012-07-04 刘进 球面全景相机摄影测量方法
CN105096284A (zh) * 2014-05-04 2015-11-25 北京四维图新科技股份有限公司 一种生成道路正射投影图像的方法、装置及系统

Also Published As

Publication number Publication date
CN105959529A (zh) 2016-09-21

Similar Documents

Publication Publication Date Title
JP7398506B2 (ja) ローカライゼーション基準データを生成及び使用する方法及びシステム
US10240934B2 (en) Method and system for determining a position relative to a digital map
US11906983B2 (en) System and method for tracking targets
CN107727079A (zh) 一种微小型无人机全捷联下视相机的目标定位方法
CN105184776A (zh) 目标跟踪方法
JP5610870B2 (ja) 無人走行車両の誘導装置及び無人走行車両の誘導方法
McManus et al. Towards appearance-based methods for lidar sensors
KR101444685B1 (ko) 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치
JP6138326B1 (ja) 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置
JP4978615B2 (ja) 対象特定装置
KR101179108B1 (ko) 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템 및 그 방법
CN105959529B (zh) 一种基于全景相机的单像自定位方法及系统
CN106338286B (zh) 一种动基座测量方法
JP6135972B2 (ja) 標定方法、標定プログラム、及び標定装置
Hoang et al. 3D motion estimation based on pitch and azimuth from respective camera and laser rangefinder sensing
CN109146936B (zh) 一种图像匹配方法、装置、定位方法及系统
JP2013024686A (ja) モバイルマッピングシステム、及びこれを用いた沿道対象物の計測方法と、位置特定プログラム
Veth et al. Two-dimensional stochastic projections for tight integration of optical and inertial sensors for navigation
CN104897152A (zh) 导航的方法及其装置
Jingjing et al. Research on autonomous positioning method of UAV based on binocular vision
CN103699883B (zh) 一种利用村落地标群识别定位建筑物的方法
Mounier et al. High-precision positioning in GNSS-challenged environments: a LiDAR-based multi-sensor fusion approach with 3D digital maps registration
Lukashevich et al. The new approach for reliable UAV navigation based on onboard camera image processing
Ishii et al. Autonomous UAV flight using the Total Station Navigation System in Non-GNSS Environments
Stürzl et al. An insect-inspired active vision approach for orientation estimation with panoramic images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240503

Address after: Room A2103, Wantong Financial Center, Xicheng District, Beijing, 100037

Patentee after: BEIJING JINCHENG QIANFANG TECHNOLOGY CO.,LTD.

Country or region after: China

Address before: 100000 Collective, No. 105 West Third Ring North Road, Haidian District, Beijing

Patentee before: Capital Normal University

Country or region before: China

Patentee before: NANJING TAISI SPACE INFORMATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right