CN114387321A - 基于平均场景深度的飞行器视觉里程计尺度估计方法 - Google Patents

基于平均场景深度的飞行器视觉里程计尺度估计方法 Download PDF

Info

Publication number
CN114387321A
CN114387321A CN202111544396.2A CN202111544396A CN114387321A CN 114387321 A CN114387321 A CN 114387321A CN 202111544396 A CN202111544396 A CN 202111544396A CN 114387321 A CN114387321 A CN 114387321A
Authority
CN
China
Prior art keywords
aircraft
visual
camera
height
scene depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111544396.2A
Other languages
English (en)
Inventor
梁文斌
张波
陈齐文
姜文海
郭凯
蒋强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Tengdun Technology Co Ltd
Original Assignee
Sichuan Tengdun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Tengdun Technology Co Ltd filed Critical Sichuan Tengdun Technology Co Ltd
Priority to CN202111544396.2A priority Critical patent/CN114387321A/zh
Publication of CN114387321A publication Critical patent/CN114387321A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于平均场景深度的飞行器视觉里程计尺度估计方法，属于飞行器定位技术领域，包括步骤：S1，对带有视觉里程计系统的飞行器获得的观测图像与卫星地图进行特征点检测和匹配，并以此计算飞行器高度；S2，计算视觉里程计的平均场景深度，通过飞行器高度与平均场景深度计算视觉里程计到真实世界之间的尺度变换，实现视觉里程计在飞行器视觉定位中的应用。本发明使得视觉里程计可以被直接应用于飞行器定位，并提高了飞行器飞行高度估算精度。

Description

基于平均场景深度的飞行器视觉里程计尺度估计方法
技术领域
本发明涉及飞行器定位技术领域，更为具体的，涉及一种基于平均场景深度的飞行器视觉里程计尺度估计方法。
背景技术
飞行器(例如无人机)在执行任务时首先需要定位自身的位置，这个定位任务依赖GPS，但GPS信号在遇到遮挡物，或在军事应用中被敌方干扰时，会导致飞行器定位系统失效。飞行器GPS定位系统短暂失效时，可以继续通过视觉里程计进行定位。
目前存在许多开源的视觉里程计系统，但这些视觉里程计系统在没有惯性测量单元(IMU)时，无法估计运动轨迹的尺度，即视觉里程计系统估计的运动轨迹与真实运动轨迹之间的相对尺度变换未知，这使得视觉里程计难以被直接应用于飞行器定位。并且，飞行器飞行高度存在估算精度较低的问题。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于平均场景深度的飞行器视觉里程计尺度估计方法，使得视觉里程计可以被直接应用于飞行器定位和提高了飞行器飞行高度估算精度。
本发明的目的是通过以下方案实现的：
一种基于平均场景深度的飞行器视觉里程计尺度估计方法，包括步骤：
S1，对带有视觉里程计系统的飞行器获得的观测图像与卫星地图进行特征点检测和匹配，并以此计算飞行器高度；
S2，计算视觉里程计的平均场景深度，通过飞行器高度与平均场景深度计算视觉里程计到真实世界之间的尺度变换，实现视觉里程计在飞行器视觉定位中的应用。
进一步地，步骤S1中，所述特征点检测和匹配包括子步骤：
S11，将视觉里程计系统中相机坐标系下特征点的深度z近似为飞行器在视觉里程计系统坐标下的高度，并计算视野内N个点的平均深度，N为正整数，称为平均场景深度：
Figure BDA0003415418480000021
S12，将观测图像与卫星地图的特征点匹配；
S13，得到观测图像与卫星地图的特征点匹配后，先得到卫星地图上一个特征点距离光轴的距离，记为X，再根据相机观测图像上与之匹配的特征点的像素距离和相机像元大小，得到像素点距离光轴的距离，记为x，相机的焦距f通过标定得到，根据相似三角形原理，相机的高度h根据如下关系计算得到：
Figure BDA0003415418480000022
进一步地，在步骤S1中，包括子步骤：采用多个特征点，并分别计算相机的高度h，再通过最小二乘法处理得到一个相机精确高度，记为H。
进一步地，在步骤S2中，用平均场景深度z代表飞行器在视觉里程计坐标下的高度，用卫星地图匹配计算出实际相机精确高度H，视觉里程计相对于真实世界的尺度变换则表示为：
Figure BDA0003415418480000031
进一步地，相机被沿着光心垂直向下的方向安装。
进一步地，飞行器通过视觉里程计系统推测飞行轨迹，同时可以建立观测场景的三维点云地图。
进一步地，在步骤S12中，根据选定的卫星地图的特征点的像素位置得到它的实际坐标，进而得到它相对于相机光轴的距离。
进一步地，所述飞行器包括无人机。
本发明的有益效果是：
本发明实施例中，提供了一种在飞行器视觉定位应用中，根据视觉里程计点云地图的平均场景深度和卫星地图特征点匹配飞行器高度估计，实现计算视觉里程计到真实世界的相对尺度变换的估计方法，使得视觉里程计可以被直接应用于飞行器定位，特别是在飞行器的GPS失效后，在没有IMU的情况下，本发明提供的方法可以直接利用视觉里程计继续进行定位。
本发明实施例中，提供了一种根据卫星地图特征点匹配实现估计飞行器飞行高度的方法，提高了高度估算精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的观测图像与卫星地图的特征点匹配示意图；
图2为本发明实施例的方法步骤流程图；
图中，1-卫星地图上的特征点，2-卫星地图上的特征点投影在像平面上的像素点，3-相机光心，4-卫星地图上的特征点到相机光心的距离，5-像素点距离光轴的距离，6-飞行器上的相机相对于地面的实际高度，7-相机焦距。
具体实施方式
本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
下面根据附图1～图2，对本发明解决的技术问题、技术构思、工作过程作进一步详细说明。
本发明至少解决了背景技术中提出的两个技术问题，根据平均场景深度估计视觉里程计到真实世界的尺度变换，使得飞行器在GPS失效后，在没有IMU的情况下，可以利用视觉里程计继续进行定位。
本发明的技术构思是这样的：通过对飞行器观测图像与卫星地图进行特征点检测和匹配，并以此计算飞行器的实际飞行高度，然后计算视觉里程计的平均场景深度，通过飞行器高度与平均场景深度计算视觉里程计到真实世界之间的尺度变换，从而实现视觉里程计在飞行器视觉定位中的应用。
本发明的工作原理和过程是这样的：飞行器在飞行过程中，相机被沿着光心垂直向下的方向安装。飞行器可以通过视觉里程计系统推测飞行轨迹，同时可以建立观测场景的三维点云地图，但视觉里程计建立的地图相对于真实世界的尺度未知。若飞行器飞行高度足够高，地面上的特征点则可假设在一个平面上，此时，视觉里程计中相机坐标系下特征点的深度z，可以近似为飞行器在视觉里程计坐标下的高度，为了使高度估计更加精确鲁棒，本发明计算视野内所有N个点的平均深度，称为平均场景深度：
Figure BDA0003415418480000051
然后本发明通过对观测图像与卫星地图之间进行特征点匹配，来估计飞行器的实际飞行高度，高度计算原理如图1所示。图1中，1表示卫星地图上的特征点，本发明可以根据它的像素位置得到它的实际坐标，进而得到它相对于相机光轴的距离；2代表卫星地图上的特征点1投影在像平面上得到的像素点；3代表相机光心，4代表卫星地图上的特征点1到相机光心3的距离；5代表卫星地图上的特征点1投影在像平面上得到的像素点2距离光轴的距离，6代表飞行器上的相机相对于地面的实际高度，7代表相机焦距。得到相机图像与卫星地图的特征点匹配后，先得到卫星地图上特征点距离光轴的距离，记为X，再根据相机观测图像上与之匹配的特征点的像素距离和相机像元大小，得到像素点距离光轴的距离，记为x，相机的焦距f可以通过标定得到，根据相似三角形原理，相机的高度h可以根据如下关系得到：
Figure BDA0003415418480000052
只根据一个点得到的相机高度不够准确，本发明用多个点，通过最小二乘法得到一个比较精确的相机高度，记为H。
用平均场景深度
Figure BDA0003415418480000053
代表飞行器在视觉里程计坐标下的高度，用卫星地图匹配计算出实际相机高度H，于是视觉里程计相对于真实世界的尺度变换表示为：
Figure BDA0003415418480000061
本发明技术方案适用的对象不仅包括无人机，还包括其他飞行器，例如飞船等涉及到估算飞行高度和视觉里程计系统应用的场景。
实施例1：如图2所示，一种基于平均场景深度的飞行器视觉里程计尺度估计方法，包括步骤：
S1，对带有视觉里程计系统的飞行器获得的观测图像与卫星地图进行特征点检测和匹配，并以此计算飞行器高度；
S2，计算视觉里程计的平均场景深度，通过飞行器高度与平均场景深度计算视觉里程计到真实世界之间的尺度变换，实现视觉里程计在飞行器视觉定位中的应用。
实施例2：实施例1的基础上，步骤S1中，所述特征点检测和匹配包括子步骤：
S11，将视觉里程计系统中相机坐标系下特征点的深度z近似为飞行器在视觉里程计系统坐标下的高度，并计算视野内N个点的平均深度，N为正整数，称为平均场景深度：
Figure BDA0003415418480000062
S12，将观测图像与卫星地图的特征点匹配；
S13，得到观测图像与卫星地图的特征点匹配后，先得到卫星地图上一个特征点距离光轴的距离，记为X，再根据相机观测图像上与之匹配的特征点的像素距离和相机像元大小，得到像素点距离光轴的距离，记为x，相机的焦距f通过标定得到，根据相似三角形原理，相机的高度h根据如下关系计算得到：
Figure BDA0003415418480000071
实施例3：实施例2的基础上，在步骤S1中，包括子步骤：采用多个特征点，并分别计算相机的高度h，再通过最小二乘法处理得到一个相机精确高度，记为H。
实施例4：实施例3的基础上，在步骤S2中，用平均场景深度z代表飞行器在视觉里程计坐标下的高度，用卫星地图匹配计算出实际相机精确高度H，视觉里程计相对于真实世界的尺度变换则表示为：
Figure BDA0003415418480000072
在实际应用时，相机被沿着光心垂直向下的方向安装。
在实际应用时，飞行器通过视觉里程计系统推测飞行轨迹，同时可以建立观测场景的三维点云地图。
在实际应用时，在步骤S12中，根据选定的卫星地图的特征点的像素位置得到它的实际坐标，进而得到它相对于相机光轴的距离。
在实际应用时，所述飞行器包括无人机。
本发明功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，在一台计算机设备(可以是个人计算机，服务器，或者网络设备等)以及相应的软件中执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、或者光盘等各种可以存储程序代码的介质，进行测试或者实际的数据在程序实现中存在于只读存储器(Random Access Memory，RAM)、随机存取存储器(Random Access Memory，RAM)等。

Claims (8)

1.一种基于平均场景深度的飞行器视觉里程计尺度估计方法，其特征在于，包括步骤：
S1，对带有视觉里程计系统的飞行器获得的观测图像与卫星地图进行特征点检测和匹配，并以此计算飞行器高度；
S2，计算视觉里程计的平均场景深度，通过飞行器高度与平均场景深度计算视觉里程计到真实世界之间的尺度变换，实现视觉里程计在飞行器视觉定位中的应用。
2.根据权利要求1所述的基于平均场景深度的飞行器视觉里程计尺度估计方法，其特征在于，步骤S1中，所述特征点检测和匹配包括子步骤：
S11，将视觉里程计系统中相机坐标系下特征点的深度z近似为飞行器在视觉里程计系统坐标下的高度，并计算视野内N个点的平均深度，N为正整数，称为平均场景深度：
Figure FDA0003415418470000011
S12，将观测图像与卫星地图的特征点匹配；
S13，得到观测图像与卫星地图的特征点匹配后，先得到卫星地图上一个特征点距离光轴的距离，记为X，再根据相机观测图像上与之匹配的特征点的像素距离和相机像元大小，得到像素点距离光轴的距离，记为x，相机的焦距f通过标定得到，根据相似三角形原理，相机的高度h根据如下关系计算得到：
Figure FDA0003415418470000012
3.根据权利要求2所述的基于平均场景深度的飞行器视觉里程计尺度估计方法，其特征在于，在步骤S1中，包括子步骤：采用多个特征点，并分别计算相机的高度h，再通过最小二乘法处理得到一个相机精确高度，记为H。
4.根据权利要求3所述的基于平均场景深度的飞行器视觉里程计尺度估计方法，其特征在于，在步骤S2中，用平均场景深度
Figure FDA0003415418470000022
代表飞行器在视觉里程计坐标下的高度，用卫星地图匹配计算出实际相机精确高度H，视觉里程计相对于真实世界的尺度变换则表示为：
Figure FDA0003415418470000021
5.根据权利要求1所述的基于平均场景深度的飞行器视觉里程计尺度估计方法，其特征在于，相机沿着光心垂直向下的方向安装。
6.根据权利要求1所述的于平均场景深度的飞行器视觉里程计尺度估计方法，其特征在于，飞行器通过视觉里程计系统推测飞行轨迹，同时能够建立观测场景的三维点云地图。
7.根据权利要求1所述的于平均场景深度的飞行器视觉里程计尺度估计方法，其特征在于，在步骤S12中，根据选定的卫星地图的特征点的像素位置得到它的实际坐标，进而得到它相对于相机光轴的距离。
8.根据权利要求1～7任一项所述的于平均场景深度的飞行器视觉里程计尺度估计方法，其特征在于，所述飞行器包括无人机。
CN202111544396.2A 2021-12-16 2021-12-16 基于平均场景深度的飞行器视觉里程计尺度估计方法 Pending CN114387321A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111544396.2A CN114387321A (zh) 2021-12-16 2021-12-16 基于平均场景深度的飞行器视觉里程计尺度估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111544396.2A CN114387321A (zh) 2021-12-16 2021-12-16 基于平均场景深度的飞行器视觉里程计尺度估计方法

Publications (1)

Publication Number Publication Date
CN114387321A true CN114387321A (zh) 2022-04-22

Family

ID=81197696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111544396.2A Pending CN114387321A (zh) 2021-12-16 2021-12-16 基于平均场景深度的飞行器视觉里程计尺度估计方法

Country Status (1)

Country Link
CN (1) CN114387321A (zh)

Similar Documents

Publication Publication Date Title
US20210012520A1 (en) Distance measuring method and device
CN107727079B (zh) 一种微小型无人机全捷联下视相机的目标定位方法
CN109324337B (zh) 无人飞行器的航线生成及定位方法、装置及无人飞行器
US20190072392A1 (en) System and method for self-geoposition unmanned aerial vehicle
CN108810473B (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统
CN108140245B (zh) 测距方法、装置以及无人机
CN111829532B (zh) 一种飞行器重定位系统和重定位方法
CN111966133A (zh) 一种云台视觉伺服控制系统
WO2018133727A1 (zh) 一种正射影像图的生成方法及装置
KR102239562B1 (ko) 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템
WO2020039937A1 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
CN109341686B (zh) 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法
CN112154303B (zh) 高精度地图定位方法、系统、平台及计算机可读存储介质
US10642272B1 (en) Vehicle navigation with image-aided global positioning system
CN109143303B (zh) 飞行定位方法、装置及固定翼无人机
CN114387341A (zh) 通过单张航拍观测图像计算飞行器六自由度位姿的方法
CN112964291A (zh) 一种传感器标定的方法、装置、计算机存储介质及终端
US9885569B2 (en) Passive altimeter
CN109146936B (zh) 一种图像匹配方法、装置、定位方法及系统
KR101821992B1 (ko) 무인비행체를 이용한 목표물의 3차원 위치 산출 방법 및 장치
CN109827595B (zh) 室内惯性导航仪方向校准方法、室内导航装置及电子设备
Han et al. Multiple targets geolocation using SIFT and stereo vision on airborne video sequences
CN114387321A (zh) 基于平均场景深度的飞行器视觉里程计尺度估计方法
CN113781567B (zh) 基于三维地图生成的航拍图像目标地理定位方法
CN113301248B (zh) 拍摄方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination