CN113532455A - 视觉融合定位方法、装置、电子设备和可读存储介质 - Google Patents

视觉融合定位方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN113532455A
CN113532455A CN202010308033.8A CN202010308033A CN113532455A CN 113532455 A CN113532455 A CN 113532455A CN 202010308033 A CN202010308033 A CN 202010308033A CN 113532455 A CN113532455 A CN 113532455A
Authority
CN
China
Prior art keywords
determining
noise
state information
feature point
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010308033.8A
Other languages
English (en)
Other versions
CN113532455B (zh
Inventor
邓瑞亮
范云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202010308033.8A priority Critical patent/CN113532455B/zh
Publication of CN113532455A publication Critical patent/CN113532455A/zh
Application granted granted Critical
Publication of CN113532455B publication Critical patent/CN113532455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种视觉融合定位方法、装置、电子设备和可读存储介质，所述方法包括：获取视觉图像的特征点信息；根据观测状态信息确定各特征点信息的自适应图像观测噪声值；根据所述自适应图像观测噪声值和所述特征点信息更新定位状态信息，以根据更新后的所述定位状态信息确定定位结果。通过本申请，能够根据不同观测状态信息自适应调整图像观测噪声，使得自适应图像观测噪声更接近于实际噪声值，提高了视觉定位的准确性和稳定性，进而解决了相关技术中视觉定位估计效果不佳的技术问题。

Description

视觉融合定位方法、装置、电子设备和可读存储介质
技术领域
本申请涉及视觉定位领域，具体涉及一种视觉融合定位方法、装置、电子设备和可读存储介质。
背景技术
当无人机等自动驾驶车辆在城市等复杂环境下执行配送任务时，GPS(GlobalPositioning System，全球定位系统)定位失效的风险很大，VIO(Visual-InertialOdometry，视觉惯性里程计)等利用多传感器实现的视觉融合定位就显得十分重要。在这种情况下，视觉融合定位需要有尽可能高的定位精度，以保证无人机正常有效地完成任务。
以VIO为例，其需要用到图像观测值来进行状态更新。这里的图像观测值主要是指空间点经过相机成像后所得特征点的像素坐标值。在基于滤波器的VIO框架中，图像特征点的观测噪声是十分重要的信息，影响着状态估计的性能。目前，相关技术中的图像观测噪声通常使用预先设置的默认值，即使该默认值通过调整或对历史数据的分析选取最优值，这样得到的状态估计性能也是有限的，因而，现有技术中的图像观测噪声设置方法无法达到最优的定位估计效果。
发明内容
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的视觉融合定位方法、装置、电子设备和可读存储介质。
依据本申请的第一方面，提供了一种视觉融合定位方法，包括：
获取视觉图像的特征点信息；
根据观测状态信息确定各特征点信息的自适应图像观测噪声值；
根据所述自适应图像观测噪声值和所述特征点信息更新定位状态信息，以根据更新后的所述定位状态信息确定定位结果。
可选地，所述根据观测状态信息确定各特征点信息的自适应图像观测噪声值包括：
按照观测状态信息的类别，分别确定各类别的噪声影响因子；
根据各类别的各所述噪声影响因子联合确定自适应图像观测噪声的标准差。
可选地，所述观测状态信息包括根据视觉惯性里程计VIO中惯性测量单元确定的视觉传感器的角速度，所述根据观测状态信息确定各特征点信息的自适应图像观测噪声值包括：
根据第一子函数fω(ωi)确定角速度ωi的角速度噪声影响因子，其中，ωi表示第i时刻视觉传感器的角速度，对于任意|ω1|<|ω2|，fω(ω1)≤fω(ω2)均成立，i为不小于1的整数；
根据所述角速度噪声影响因子确定所述自适应图像观测噪声值。
可选地，所述观测状态信息包括相邻帧视觉图像的特征点匹配度，所述根据观测状态信息确定各特征点信息的自适应图像观测噪声值包括：
根据第二子函数
Figure BDA0002456466730000021
确定特征点匹配度
Figure BDA0002456466730000022
的特征点匹配度噪声影响因子，其中，
Figure BDA0002456466730000023
表示第i时刻第j个特征点的特征点匹配度，对于任意Epi1 (j1)<Epi2 (j2)，fEp(Epi1 (j1))≥fEp(Epi2 (j2))均成立，i1、j1、i2和j2均为不小于1的整数；
根据所述特征点匹配度噪声影响因子确定所述自适应图像观测噪声值。
可选地，所述观测状态信息包括特征点与视觉传感器的相对距离，所述根据观测状态信息确定各特征点信息的自适应图像观测噪声值包括：
根据第三子函数
Figure BDA0002456466730000024
确定所述相对距离
Figure BDA0002456466730000025
的相对距离噪声影响因子，其中，
Figure BDA0002456466730000026
表示第i时刻第j个特征点相对于视觉传感器的三维位置，对于任意||Pi1 (j1)||<||Pi2 (j2)||，fP(Pi1 (j1))≥fP(Pi2 (j2))均成立，i1、j1、i2和j2均不小于1的整数；
根据所述相对距离噪声影响因子确定所述自适应图像观测噪声值。
可选地，所述观测状态信息包括环境亮度，所述根据观测状态信息确定各特征点信息的自适应图像观测噪声值包括：
根据第四子函数fl(li)确定所述环境亮度li的环境亮度噪声影响因子，其中，li表示第i时刻视觉图像的环境亮度，lα表示预设环境亮度下限，lβ表示预设环境亮度上限，flα为预设低亮度噪声，flm为预设正常亮度噪声，flβ为预设高亮度噪声，当li<lα时，取fl(li)＝flα；当li>lβ时，取fl(li)＝flβ；否则，取fl(li)＝flm，α、β和i均为不小于1的整数；
根据所述环境亮度噪声影响因子确定所述自适应图像观测噪声值。
可选地，所述根据各类别的各所述噪声影响因子联合确定自适应图像观测噪声的标准差包括：
根据各类别的预设函数分别确定各所述噪声影响因子，所述预设函数包括分段函数；
根据各所述噪声影响因子的乘积确定所述自适应图像观测噪声的标准差。
依据本申请的第二方面，提供了一种视觉融合定位装置，包括：
获取单元，用于获取视觉图像的特征点信息；
确定单元，用于根据观测状态信息确定各特征点信息的自适应图像观测噪声值；
更新单元，用于根据所述自适应图像观测噪声值和所述特征点信息更新定位状态信息，以根据更新后的所述定位状态信息确定定位结果。
依据本申请的第三方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。
依据本申请的第四方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的方法。
由上述可知，本申请的技术方案，采用获取视觉图像的特征点信息，根据观测状态信息确定各特征点信息的自适应图像观测噪声值；根据所述自适应图像观测噪声值和所述特征点信息更新定位状态信息的方式，达到了根据更新后的定位状态信息确定定位结果的目的，进而提高了视觉定位的准确性、稳定性和实效性。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本申请一个实施例的视觉融合定位方法的流程示意图；
图2示出了根据本申请一个实施例的基于自适应图像观测噪声值更新特征点信息的流程框图；
图3示出了根据本申请一个实施例的角速度噪声影响因子函数图像示意图；
图4示出了根据本申请一个实施例的自适应图像噪声VIO的流程框图；
图5示出了根据本申请一个实施例的视觉融合定位装置的结构示意图；
图6示出了根据本申请一个实施例的电子设备的结构示意图；
图7示出了根据本申请一个实施例的计算机可读存储介质的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
现有基于滤波的VIO定位方法主要采用的是MSCKF(multi state constraintkalman filter，多状态约束下的卡尔曼滤波器)算法，该算法使用ESKF(error statekalman filter，误差状态卡尔曼滤波)，将IMU(Inertial Measurement Unit，惯性测量单元)和视觉测量耦合起来进行状态估计。误差状态的过程传播利用IMU测量值进行，图像信息则用于状态的观测更新。
算法分为前端和后端两部分：前端进行图像处理，得到帧间的匹配特征点；后端则利用前端的处理结果进行状态估计。以单目MSCKF为例详细介绍如下：
(1)前端：利用光流法进行当前图和上一帧图的FAST(Features fromAccelerated Segment Test，暂无中文名称)角点跟踪，在使用剔除算法去除外点之后，可以得到与之前特征相匹配的一组特征点。
(2)后端：ESKF框架，将状态量记为X(包括当前时刻的IMU状态和保留的历史相机位姿)，误差状态记为
Figure BDA0002456466730000052
后端实施分为三步：
(2.1)进行两帧相邻图像帧间的IMU状态传播。待到IMU传播到与当前图像时间对齐时，利用当前IMU状态与外参可以表示出相机的位姿，将该位姿增扩到状态滑窗中，同时增扩相机的位姿误差量；然后再对相应增扩量的协方差进行增扩(增扩协方差需要将增扩误差量对已有误差状态量求雅可比矩阵，之后再使用雅可比矩阵对协方差进行传播)。
(2.2)使用一些策略选择出可用于状态更新的特征点的观测序列。对需要更新的特征点，使用其多帧的观测信息和对应的相机观测位姿，进行非线性优化(GN算法或LM算法)求解特征点坐标。
(2.3)使用特征点坐标和对应需要更新的相机位姿序列，构建反投影误差。反投影误差需要对IMU状态量、滑动窗口内相机的历史位姿误差量、特征点坐标误差量分别进行求偏导，进而构建误差线性叠加传播等式，此处仅举一个特征的一个观测的残差传播等式为例：
令第i个时刻相机对第j特征的观测所构建的误差线性叠加传播等式为:
Figure BDA0002456466730000051
其中，
Figure BDA0002456466730000061
包含了反投影误差需要对IMU状态量、滑动窗口内相机的历史位姿误差量求偏导；
Figure BDA0002456466730000062
是第j个特征在第i个时刻相机上的观测噪声。
上述残差方程再通过左零空间、QR分解(正交三角分解，Q为正交矩阵，R为非奇异上三角矩阵)等一系列操作，最终形成可以用于标准EKF更新的误差传播形式，最终实现EKF更新，更新后将求得的状态修正量“加”到已有状态中去，即完成一步状态更新，进而完成一步特征点对状态约束。
然而，如上所述，
Figure BDA0002456466730000063
作为图像观测的噪声，是MSCKF中重要的参数。在所有基于卡尔曼滤波器的框架中，观测噪声都会对状态估计的性能产生很重要的影响。准确的噪声信息可以提高滤波器估计结果的准确性，而错误的观测噪声则会使估计性能变得很差。
而在现有技术方案中，图像观测噪声都使用预先设置的默认值。即使该默认值通过调整或对历史数据的分析选取最优值，这样得到的性能也是有限的。这是因为
Figure BDA0002456466730000064
与相机运动状态、环境光线、特征点与相机的相对位置等多种因素有关，从而导致不仅同一特征点在不同时刻的观测噪声不同，而且同一时刻不同特征点的观测噪声也不相同。因此使用单一的默认值显然没有办法满足在所有情况下该默认值都与实际噪声大小匹配，因而也没有办法达到最优的定位估计效果。
基于此，本申请提供的方案主要解决的是，在基于滤波的视觉融合，如VIO方案中，根据图像特征点匹配的不确定度、加速度和角速度信息、光照条件、空间点的相对位置等多个维度的观测状态信息自适应地调整图像观测噪声，使得噪声信息与实际情况更加符合，从而提升视觉定位估计的准确性、稳定性和实效性。
图1示出了根据本申请一个实施例的视觉融合定位方法，包括如下的步骤S110至步骤S130：
步骤S110，获取视觉图像的特征点信息。
在无人车、无人机、机器人等自动驾驶车辆执行任务的场景下，可以通过自动驾驶车辆上安装的单目或者双目相机采集多帧图像信息，在前端利用光流法对当前帧图像和上一帧图像进行FAST角点跟踪，在使用剔除算法去除外点之后，可以得到与上一帧图像的特征相匹配的一组特征点信息，作为当前视觉图像的特征点信息。具体地，视觉图像的特征点信息是指空间点经过相机成像后所得特征点的像素坐标值。基于上述图像特征点信息设计算法可以对无人车等自动驾驶车辆进行定位。
步骤S120，根据观测状态信息确定各特征点信息的自适应图像观测噪声值。
本申请实施例中的观测状态信息是针对采集图像的相机而言的，具体可以包括相机的运动状态如角速度和加速度、相邻帧图像特征点的匹配度、图像特征点与相机的相对位置以及环境亮度等多种信息，这些观测状态信息都会对图像观测噪声的大小造成影响，因此，本申请实施例可根据多种观测状态信息确定每个特征点信息的自适应图像观测噪声值。任何一个观测状态信息的不同，都可能导致该特征点对应的自适应图像观测噪声值不同。例如，以单一变量为例，特征点a1在相邻帧图像的特征点匹配度高于特征点a2在相邻帧图像的特征点匹配度，那么特征点a1的自适应图像观测噪声值则会低于特征点a2的自适应图像观测噪声值，因为匹配度越高意味着相似度越高，跟踪误差越小，则对应设置较小的噪声值来修正。通过灵活、动态地设置图像特征点的观测噪声值，能够在尽可能多的情况下满足该自适应观测噪声值更加接近于实际噪声值的要求。当然，观测状态信息的类型不限于上述列举的几种，本领域技术人员可以根据实际情况灵活设置和选择，在此不做具体限定。
步骤S130，根据所述自适应图像观测噪声值和所述特征点信息更新定位状态信息，以根据更新后的所述定位状态信息确定定位结果。
这里根据上述得到的自适应图像观测噪声值更新的定位状态信息是针对自动驾驶车辆而言的，定位状态信息具体可以包括自动驾驶车辆的位置、速度、姿态等信息，以使更新后的定位状态信息能够更加准确地映射出自动驾驶车辆的位置。例如，在执行配送任务的自动驾驶车辆，在前一时刻所面临的观测状态是白天或者晴天，光线强度适中，对应的图像观测噪声值为b1，根据该图像观测噪声值b1确定的特征点信息为c1,而在一段时间后，观测状态转变为夜晚或者阴天，光线强度较弱，此时若仍采用和之前时刻相同的图像观测噪声值，那么得到的图像的清晰度将无法满足准确定位自动驾驶车辆位置的要求，因此需要根据光线强度的变化将图像观测噪声值自动调整为b2，根据该图像观测噪声值b2重新确定自动驾驶车辆的定位状态信息，进而保证根据得到的视觉图像特点信息均能准确定位出自动驾驶车辆的当前位置。
在本申请的一个实施例中，所述根据观测状态信息确定各特征点信息的自适应图像观测噪声值包括：按照观测状态信息的类别，分别确定各类别的噪声影响因子；根据各类别的各所述噪声影响因子联合确定自适应图像观测噪声的标准差。
具体实施时，如前所述，观测状态信息的类别可以有多种，包括但不限于相机的运动状态如角速度和加速度、相邻帧图像特征点的匹配度、图像特征点与相机的相对位置以及环境亮度等，而不同的观测状态信息对应的观测噪声调整逻辑通常是不同的，例如相机的角速度越大，相机旋转较快，会导致图像变模糊，这种情况下应适当地增大该帧图像上特征点的观测噪声值，而对于特征点的匹配度，如果某一特征点在相邻两帧图像进行匹配时，相似度较低，这种情况应适当地增大该帧图像上特征点的观测噪声值，因此需要根据观测状态信息的类别，分别确定各类别的噪声影响因子。噪声影响因子在本申请的实施例中用于表征各类别的观测状态信息对图像观测噪声的影响程度。
由于影响图像观测噪声值的因素是多种多样的，因此需要根据各类别观测状态信息对应的噪声影响因子综合确定每个特征点的自适应图像观测噪声值，这里的自适应图像观测噪声值可以用观测噪声值的标准差来表征。各噪声影响因子的联合方式可以采用简单乘积方式，将每个特征点对应的各类别的噪声影响因子相乘后确定最终的自适应图像观测噪声的标准差，当然也可以采用其他数学联合方法，在此不做具体限定。
如图2所示，提供了一种基于自适应图像观测噪声值更新特征点信息的流程框图，具体流程详见上文描述，在此不做赘述。
在本申请的一个实施例中，所述观测状态信息包括根据视觉惯性里程计VIO中惯性测量单元确定的视觉传感器的角速度，所述根据观测状态信息确定各特征点信息的自适应图像观测噪声值包括：根据第一子函数fω(ωi)确定角速度ωi的角速度噪声影响因子，其中，ωi表示第i时刻视觉传感器的角速度，对于任意|ω1|<|ω2|，fω(ω1)≤fω(ω2)均成立，i为不小于1的整数；根据所述角速度噪声影响因子确定所述自适应图像观测噪声值。
具体实施时，当自动驾驶车辆处在某些复杂场景下如人流密集且交通拥堵的十字路口、紧急刹车或者遇到雨雪等恶劣天气环境时，这时视觉传感器需要较大的角速度值，快速旋转相机，进而捕捉到更多、更全面的图像信息以辅助复杂场景下自动驾驶车辆的自主操作、位置判断和路径规划。然而在这种场景下，由于相机旋转速度较快，会导致图像变模糊，图像观测的不确定性显然更大，因此应该适当地增大该帧图像上特征点观测噪声的方差值。
在本申请的一个实施例中，所述观测状态信息包括相邻帧视觉图像的特征点匹配度，所述根据观测状态信息确定各特征点信息的自适应图像观测噪声值包括：根据第二子函数
Figure BDA0002456466730000091
确定特征点匹配度
Figure BDA0002456466730000092
的特征点匹配度噪声影响因子，其中，
Figure BDA0002456466730000093
表示第i时刻第j个特征点的特征点匹配度，对于任意Epi1 (j1)<Epi2 (j2)，fEp(Epi1 (j1))≥fEp(Epi2 (j2))均成立，i1、j1、i2和j2均为不小于1的整数；根据所述特征点匹配度噪声影响因子确定所述自适应图像观测噪声值。
具体实施时，相邻帧视觉图像的特征点匹配度同样会影响图像的观测噪声，在前端会进行图像特征点的跟踪，如果某一特征点在相邻两帧图像进行匹配时，匹配度或相似度较低，则其跟踪的不确定性较大，导致跟踪误差较大，这种情况应该对该特征点使用较大的观测噪声；相反，则使用较小的观测噪声。例如，在上一帧捕捉到的图像中的特征点包括某一交通标识牌在该帧图像中所对应的特征点，而在下一帧捕捉到的图像中，由于新车辆的驶入导致该交通标识牌被遮挡无法识别，那么对于该交通标识牌在前后两帧图像中的特征点的匹配度就较低，需要通过增大该特征点的匹配度噪声方差，进而弥补由于相邻帧图像特征点匹配度不高导致定位不准的问题。
在本申请的一个实施例中，所述观测状态信息包括特征点与视觉传感器的相对距离，所述根据观测状态信息确定各特征点信息的自适应图像观测噪声值包括：根据第三子函数
Figure BDA0002456466730000094
确定所述相对距离
Figure BDA0002456466730000095
的相对距离噪声影响因子，其中，
Figure BDA0002456466730000096
表示第i时刻第j个特征点相对于视觉传感器的三维位置，对于任意||Pi1 (j1)||<||Pi2 (j2)||，fP(Pi1 (j1))≥fP(Pi2 (j2))均成立，i1、j1、i2和j2均不小于1的整数；根据所述相对距离噪声影响因子确定所述自适应图像观测噪声值。
具体实施时，特征点与视觉传感器的相对距离也会影响图像观测噪声，当特征点距离视觉传感器较远时，视觉传感器的平移运动导致其图像投影点的变化较小，这种情况下该特征点的跟踪和匹配的效果较好，应该使用较小的观测噪声；而当特征点距离相机较近时，其图像投影的变化一般很快，这时应该使用较大的观测噪声。当然也可结合视觉传感器的速度等其他观测状态信息进行自适应，如果相机静止，则两者的观测噪声相当。
在本申请的一个实施例中，所述观测状态信息包括环境亮度，所述根据观测状态信息确定各特征点信息的自适应图像观测噪声值包括：根据第四子函数fl(li)确定所述环境亮度li的环境亮度噪声影响因子，其中，li表示第i时刻视觉图像的环境亮度，lα表示预设环境亮度下限，lβ表示预设环境亮度上限，flα为预设低亮度噪声，flm为预设正常亮度噪声，flβ为预设高亮度噪声，当li<lα时，取fl(li)＝flα；当li>lβ时，取fl(li)＝flβ；否则，取fl(li)＝flm，α、β和i均为不小于1的整数；根据所述环境亮度噪声影响因子确定所述自适应图像观测噪声值。
在自动驾驶场景下，需要尽可能实现自动驾驶车辆在不同光照与环境变化中的定位准确性和稳定性，因此环境亮度同样是影响图像观测噪声大小的因素。当环境光照过亮或过暗时，图像对比度过低，这会导致特征点提取、匹配和跟踪的性能变差，因此需要适当地增大该帧图像的观测噪声。例如，当无人机等自动驾驶车辆在夜晚环境下执行任务时，由于夜晚光线较弱，采集到的图像画面不够清晰，为了保证无人车能够稳定工作，需要适当增大自适应图像的观测噪声，又或者当无人机等自动驾驶车辆在白天且光线强度过高的环境下执行任务时，采集到的图像容易曝光导致图像不清晰，同样需要适当增大自适应图像的观测噪声，进而提高定位的准确性和稳定性。
在本申请的一个实施例中，所述根据各类别的各所述噪声影响因子联合确定自适应图像观测噪声的标准差包括：根据各类别的预设函数分别确定各所述噪声影响因子，所述预设函数包括分段函数；根据各所述噪声影响因子的乘积确定所述自适应图像观测噪声的标准差。
具体实施时，用ωi表示第i时刻相机的角速度，li表示第i时刻相机图像的亮度，ai表示第i时刻相机的加速度，
Figure BDA0002456466730000101
表示第i时刻第j个特征点相对于视觉传感器的三维位置，
Figure BDA0002456466730000111
表示第i时刻第j个特征点的特征点匹配度，则本申请实施例的自适应观测噪声调整逻辑可以为：
Figure BDA0002456466730000112
其中，
Figure BDA0002456466730000113
是观测噪声标准差，f是自适应观测噪声调整函数，需要根据实际情况来合理地设置，分解为各噪声影响因子的乘积：
Figure BDA0002456466730000114
每个噪声影响因子函数可取分段函数的形式，以角速度噪声影响因子函数fω为例，取
fω(x)＝fωk,x∈(xk,xk+1]， (3)
fω函数图像如图3所示(fω应该为偶函数，图中只给出自变量非负时的图像)，选定一系列阈值点xk，在区间(xk,xk+1]上，函数取定值fω(x)＝fωk，这样fωk作为待调节的参数，可以根据经验数据和试错方法进行设计调整。其他影响特征点提取和匹配的观测状态信息也可用类似上述逻辑进行自适应调整噪声，在此不做赘述。
如图4所示，提供了一种自适应图像噪声VIO的流程框图，通过该流程得到的自适应噪声值可以更符合实际情况，利用该自适应噪声值对特征点进行观测更新，根据更新后的特征点调整IMU状态，待到IMU传播到与当前图像时间对齐时，利用当前IMU状态与外参可以表示出相机的位姿，将该位姿增扩到状态滑窗中，同时增扩相机的位姿误差量；然后再对相应增扩量的协方差进行增扩；使用一些策略选择出可用于状态更新的特征点的观测序列，从而形成闭环控制，提升VIO定位估计的性能。
需要说明的是，本申请中使用的词语“自动驾驶车辆”包括在地面上行驶的车辆(例如汽车，卡车，公交车等)，但也可以包括在空中行驶的车辆(例如无人机，飞机，直升机等)，在水上行驶的车辆(例如船，潜艇等)。此外，本申请中讨论的一个或多个“车辆”可以在其中容纳或不容纳一个或多个乘客。本申请中讨论的车辆也可以应用于无人配送比如快递物流或外卖送餐等领域。
图5示出了根据本申请一个实施例的视觉融合定位装置的结构示意图。如图5所示，视觉融合定位装置500包括：获取单元510、确定单元520和更新单元530。
本申请实施例的获取单元510用于获取视觉图像的特征点信息。
在无人车、无人机、机器人等自动驾驶车辆执行任务的场景下，可以通过自动驾驶车辆上安装的单目或者双目相机采集多帧图像信息，在前端利用光流法对当前帧图像和上一帧图像进行FAST角点跟踪，在使用剔除算法去除外点之后，可以得到与上一帧图像的特征相匹配的一组特征点信息，作为当前视觉图像的特征点信息。具体地，视觉图像的特征点信息是指空间点经过相机成像后所得特征点的像素坐标值。基于上述图像特征点信息设计算法可以对无人车等自动驾驶车辆进行定位。
本申请实施例的确定单元520，用于根据观测状态信息确定各特征点信息的自适应图像观测噪声值。
这里的观测状态信息是针对采集图像的相机而言的，具体可以包括相机的运动状态如角速度和加速度、相邻帧图像特征点的匹配度、图像特征点与相机的相对位置以及环境亮度等多种信息，这些观测状态信息都会对图像观测噪声的大小造成影响，因此，本申请实施例可根据多种观测状态信息确定每个特征点信息的自适应图像观测噪声值。任何一个观测状态信息的不同，都可能导致该特征点对应的自适应图像观测噪声值不同。例如，以单一变量为例，特征点a1在相邻帧图像的特征点匹配度高于特征点a2在相邻帧图像的特征点匹配度，那么特征点a1的自适应图像观测噪声值则会低于特征点a2的自适应图像观测噪声值，因为匹配度越高意味着相似度越高，跟踪误差越小，则对应设置较小的噪声值来修正。通过灵活、动态地设置图像特征点的观测噪声值，能够在尽可能多的情况下满足该自适应观测噪声值更加接近于实际噪声值的要求。当然，观测状态信息的类型不限于上述列举的几种，本领域技术人员可以根据实际情况灵活设置和选择，在此不做具体限定。
本申请实施例的更新单元530，用于根据所述自适应图像观测噪声值和所述特征点信息更新定位状态信息，以根据更新后的所述定位状态信息确定定位结果。
这里根据上述得到的自适应图像观测噪声值更新的定位状态信息是针对自动驾驶车辆而言的，定位状态信息具体可以包括自动驾驶车辆的位置、速度、姿态等信息，以使更新后的定位状态信息能够更加准确地映射出自动驾驶车辆的位置。例如，在执行配送任务的自动驾驶车辆，在前一时刻所面临的观测状态是白天或者晴天，光线强度适中，对应的图像观测噪声值为b1，根据该图像观测噪声值b1确定的特征点信息为c1,而在一段时间后，观测状态转变为夜晚或者阴天，光线强度较弱，此时若仍采用和之前时刻相同的图像观测噪声值，那么得到的图像的清晰度将无法满足准确定位自动驾驶车辆位置的要求，因此需要根据光线强度的变化将图像观测噪声值自动调整为b2,根据该图像观测噪声值b2重新确定自动驾驶车辆的定位状态信息，进而保证根据得到的视觉图像特点信息均能准确定位出自动驾驶车辆的当前位置。
在本申请的一个实施例中，确定单元520，用于按照观测状态信息的类别，分别确定各类别的噪声影响因子；根据各类别的各所述噪声影响因子联合确定自适应图像观测噪声的标准差。
在本申请的一个实施例中，所述观测状态信息包括根据视觉惯性里程计VIO中惯性测量单元确定的视觉传感器的角速度，确定单元520，用于根据第一子函数fω(ωi)确定角速度ωi的角速度噪声影响因子，其中，ωi表示第i时刻视觉传感器的角速度，对于任意|ω1|<|ω2|，fω(ω1)≤fω(ω2)均成立，i为不小于1的整数；根据所述角速度噪声影响因子确定所述自适应图像观测噪声值。
在本申请的一个实施例中，所述观测状态信息包括相邻帧视觉图像的特征点匹配度，确定单元520，用于根据第二子函数
Figure BDA0002456466730000131
确定特征点匹配度
Figure BDA0002456466730000132
的特征点匹配度噪声影响因子，其中，
Figure BDA0002456466730000133
表示第i时刻第j个特征点的特征点匹配度，对于任意Epi1 (j1)<Epi2 (j2)，fEp(Epi1 (j1))≥fEp(Epi2 (j2))均成立，i1、j1、i2和j2均为不小于1的整数；根据所述特征点匹配度噪声影响因子确定所述自适应图像观测噪声值。
在本申请的一个实施例中，所述观测状态信息包括特征点与视觉传感器的相对距离，确定单元520，用于根据第三子函数
Figure BDA0002456466730000141
确定所述相对距离
Figure BDA0002456466730000142
的相对距离噪声影响因子，其中，
Figure BDA0002456466730000143
表示第i时刻第j个特征点相对于视觉传感器的三维位置，对于任意||Pi1 (j1)||<||Pi2 (j2)||，fP(Pi1 (j1))≥fP(Pi2 (j2))均成立，i1、j1、i2和j2均不小于1的整数；根据所述相对距离噪声影响因子确定所述自适应图像观测噪声值。
在本申请的一个实施例中，所述观测状态信息包括环境亮度，确定单元520，用于根据第四子函数fl(li)确定所述环境亮度li的环境亮度噪声影响因子，其中，li表示第i时刻视觉图像的环境亮度，lα表示预设环境亮度下限，lβ表示预设环境亮度上限，flα为预设低亮度噪声，flm为预设正常亮度噪声，flβ为预设高亮度噪声，当li<lα时，取fl(li)＝flα；当li>lβ时，取fl(li)＝flβ；否则，取fl(li)＝flm，α、β和i均为不小于1的整数；根据所述环境亮度噪声影响因子确定所述自适应图像观测噪声值。
在本申请的一个实施例中，所述确定单元520，用于根据各类别的预设函数分别确定各所述噪声影响因子，所述预设函数包括分段函数；根据各所述噪声影响因子的乘积确定所述自适应图像观测噪声的标准差。
需要说明的是，上述各装置实施例的具体实施方式可以参照前述对应方法实施例的具体实施方式进行，在此不再赘述。
综上所述，本申请的技术方案，采用获取视觉图像的特征点信息，根据观测状态信息确定各特征点信息的自适应图像观测噪声值；根据所述自适应图像观测噪声值和所述特征点信息更新定位状态信息的方式，达到了根据更新后的定位状态信息确定定位结果的目的，进而提高了视觉定位的准确性、稳定性和实效性。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的视觉融合定位方法中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图6示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备600包括处理器610和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器620。存储器620可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器620具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码631的存储空间630。例如，用于存储计算机可读程序代码的存储空间630可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码631。计算机可读程序代码631可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图7所述的计算机可读存储介质。图7示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质700存储有用于执行根据本申请的方法步骤的计算机可读程序代码631，可以被电子设备600的处理器610读取，当计算机可读程序代码631由电子设备600运行时，导致该电子设备600执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码631可以执行上述任一实施例中示出的方法。计算机可读程序代码631可以以适当形式进行压缩。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种视觉融合定位方法，其特征在于，包括：
获取视觉图像的特征点信息；
根据观测状态信息确定各特征点信息的自适应图像观测噪声值；
根据所述自适应图像观测噪声值和所述特征点信息更新定位状态信息，以根据更新后的所述定位状态信息确定定位结果。
2.根据权利要求1所述的视觉融合定位方法，其特征在于，所述根据观测状态信息确定各特征点信息的自适应图像观测噪声值包括：
按照观测状态信息的类别，分别确定各类别的噪声影响因子；
根据各类别的各所述噪声影响因子联合确定自适应图像观测噪声的标准差。
3.根据权利要求1所述的视觉融合定位方法，其特征在于，所述观测状态信息包括根据视觉惯性里程计VIO中惯性测量单元确定的视觉传感器的角速度，所述根据观测状态信息确定各特征点信息的自适应图像观测噪声值包括：
根据第一子函数fω(ωi)确定角速度ωi的角速度噪声影响因子，其中，ωi表示第i时刻视觉传感器的角速度，对于任意|ω1|<|ω2|，fω(ω1)≤fω(ω2)均成立，i为不小于1的整数；
根据所述角速度噪声影响因子确定所述自适应图像观测噪声值。
4.根据权利要求1所述的视觉融合定位方法，其特征在于，所述观测状态信息包括相邻帧视觉图像的特征点匹配度，所述根据观测状态信息确定各特征点信息的自适应图像观测噪声值包括：
根据第二子函数
Figure FDA0002456466720000011
确定特征点匹配度
Figure FDA0002456466720000012
的特征点匹配度噪声影响因子，其中，
Figure FDA0002456466720000013
表示第i时刻第j个特征点的特征点匹配度，对于任意Epi1 (j1)<Epi2 (j2)，fEp(Epi1 (j1))≥fEp(Epi2 (j2))均成立，i1、j1、i2和j2均为不小于1的整数；
根据所述特征点匹配度噪声影响因子确定所述自适应图像观测噪声值。
5.根据权利要求1所述的视觉融合定位方法，其特征在于，所述观测状态信息包括特征点与视觉传感器的相对距离，所述根据观测状态信息确定各特征点信息的自适应图像观测噪声值包括：
根据第三子函数fP(Pi (j))确定所述相对距离Pi (j)的相对距离噪声影响因子，其中，Pi (j)表示第i时刻第j个特征点相对于视觉传感器的三维位置，对于任意||Pi1 (j1)||<||Pi2 (j2)||，fP(Pi1 (j1))≥fP(Pi2 (j2))均成立，i1、j1、i2和j2均不小于1的整数；
根据所述相对距离噪声影响因子确定所述自适应图像观测噪声值。
6.根据权利要求1所述的视觉融合定位方法，其特征在于，所述观测状态信息包括环境亮度，所述根据观测状态信息确定各特征点信息的自适应图像观测噪声值包括：
根据第四子函数fl(li)确定所述环境亮度li的环境亮度噪声影响因子，其中，li表示第i时刻视觉图像的环境亮度，lα表示预设环境亮度下限，lβ表示预设环境亮度上限，flα为预设低亮度噪声，flm为预设正常亮度噪声，flβ为预设高亮度噪声，当li<lα时，取fl(li)＝flα；当li>lβ时，取fl(li)＝flβ；否则，取fl(li)＝flm，α、β和i均为不小于1的整数；
根据所述环境亮度噪声影响因子确定所述自适应图像观测噪声值。
7.根据权利要求2所述的视觉融合定位方法，其特征在于，所述根据各类别的各所述噪声影响因子联合确定自适应图像观测噪声的标准差包括：
根据各类别的预设函数分别确定各所述噪声影响因子，所述预设函数包括分段函数；
根据各所述噪声影响因子的乘积确定所述自适应图像观测噪声的标准差。
8.一种视觉融合定位装置，其特征在于，包括：
获取单元，用于获取视觉图像的特征点信息；
确定单元，用于根据观测状态信息确定各特征点信息的自适应图像观测噪声值；
更新单元，用于根据所述自适应图像观测噪声值和所述特征点信息更新定位状态信息，以根据更新后的所述定位状态信息确定定位结果。
9.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1至7中任一项所述的方法。
CN202010308033.8A 2020-04-17 2020-04-17 视觉融合定位方法、装置、电子设备和可读存储介质 Active CN113532455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010308033.8A CN113532455B (zh) 2020-04-17 2020-04-17 视觉融合定位方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010308033.8A CN113532455B (zh) 2020-04-17 2020-04-17 视觉融合定位方法、装置、电子设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN113532455A true CN113532455A (zh) 2021-10-22
CN113532455B CN113532455B (zh) 2023-03-31

Family

ID=78093618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010308033.8A Active CN113532455B (zh) 2020-04-17 2020-04-17 视觉融合定位方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN113532455B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102059703A (zh) * 2010-11-22 2011-05-18 北京理工大学 基于自适应粒子滤波的机器人视觉伺服控制方法
CN102538781A (zh) * 2011-12-14 2012-07-04 浙江大学 基于机器视觉和惯导融合的移动机器人运动姿态估计方法
CN107491099A (zh) * 2017-08-30 2017-12-19 浙江华飞智能科技有限公司 一种基于视觉和陀螺仪的云台控制方法及装置
CN108121764A (zh) * 2016-11-26 2018-06-05 星克跃尔株式会社 图像处理装置、图像处理方法、电脑程序及电脑可读取记录介质
US20190204084A1 (en) * 2017-09-29 2019-07-04 Goertek Inc. Binocular vision localization method, device and system
CN110006423A (zh) * 2019-04-04 2019-07-12 北京理工大学 一种自适应惯导和视觉组合导航方法
CN110246147A (zh) * 2019-05-14 2019-09-17 中国科学院深圳先进技术研究院 视觉惯性里程计方法、视觉惯性里程计装置及移动设备
CN110455309A (zh) * 2019-08-27 2019-11-15 清华大学 具备在线时间校准的基于msckf的视觉惯性里程计
CN110517324A (zh) * 2019-08-26 2019-11-29 上海交通大学 基于变分贝叶斯自适应算法的双目vio实现方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102059703A (zh) * 2010-11-22 2011-05-18 北京理工大学 基于自适应粒子滤波的机器人视觉伺服控制方法
CN102538781A (zh) * 2011-12-14 2012-07-04 浙江大学 基于机器视觉和惯导融合的移动机器人运动姿态估计方法
CN108121764A (zh) * 2016-11-26 2018-06-05 星克跃尔株式会社 图像处理装置、图像处理方法、电脑程序及电脑可读取记录介质
CN107491099A (zh) * 2017-08-30 2017-12-19 浙江华飞智能科技有限公司 一种基于视觉和陀螺仪的云台控制方法及装置
US20190204084A1 (en) * 2017-09-29 2019-07-04 Goertek Inc. Binocular vision localization method, device and system
CN110006423A (zh) * 2019-04-04 2019-07-12 北京理工大学 一种自适应惯导和视觉组合导航方法
CN110246147A (zh) * 2019-05-14 2019-09-17 中国科学院深圳先进技术研究院 视觉惯性里程计方法、视觉惯性里程计装置及移动设备
CN110517324A (zh) * 2019-08-26 2019-11-29 上海交通大学 基于变分贝叶斯自适应算法的双目vio实现方法
CN110455309A (zh) * 2019-08-27 2019-11-15 清华大学 具备在线时间校准的基于msckf的视觉惯性里程计

Also Published As

Publication number Publication date
CN113532455B (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
CN111326023B (zh) 一种无人机航线预警方法、装置、设备及存储介质
CN108801276B (zh) 高精度地图生成方法及装置
CN111830953B (zh) 车辆自定位方法、装置及系统
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及系统
EP2491530B1 (de) Bestimmung der pose einer kamera
CN111448591A (zh) 不良光照条件下用于定位车辆的系统和方法
CN110415544B (zh) 一种灾害天气预警方法及汽车ar-hud系统
US20150317838A1 (en) Registration for vehicular augmented reality using auto-harmonization
EP2618322B1 (en) System and method for detecting and displaying airport approach lights
CN110865650B (zh) 基于主动视觉的无人机位姿自适应估计方法
EP3531375B1 (en) Method and apparatus for measuring distance, and unmanned aerial vehicle
CN110211176A (zh) 一种相机外参数校正系统与方法
EP3881221A1 (en) System and method for measuring the distance to an object in water
EP3859386A1 (en) Imaging and radar fusion for multiple-object tracking
CN109345591B (zh) 一种车辆自身姿态检测方法和装置
WO2018149539A1 (en) A method and apparatus for estimating a range of a moving object
CN113744315A (zh) 一种基于双目视觉的半直接视觉里程计
CN109143303A (zh) 飞行定位方法、装置及固定翼无人机
CN113532455B (zh) 视觉融合定位方法、装置、电子设备和可读存储介质
EP3584536A1 (de) Terrestrisches beobachtungsgerät mit lagebestimmungsfunktionalität
CN116182855A (zh) 一种弱光强环境下仿复眼偏振视觉无人机组合导航方法
CN115665553A (zh) 一种无人机的自动跟踪方法、装置、电子设备及存储介质
CN113011212B (zh) 图像识别方法、装置及车辆
US10802276B2 (en) Display system, related display method and computer program
CN115100983A (zh) 一种ar画面的亮度调节方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant