CN117474987A - 定位模式的确定方法、装置，存储介质及电子设备 - Google Patents

定位模式的确定方法、装置，存储介质及电子设备 Download PDF

Info

Publication number
CN117474987A
CN117474987A CN202210869236.3A CN202210869236A CN117474987A CN 117474987 A CN117474987 A CN 117474987A CN 202210869236 A CN202210869236 A CN 202210869236A CN 117474987 A CN117474987 A CN 117474987A
Authority
CN
China
Prior art keywords
image
monocular
image quality
determining
quality inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210869236.3A
Other languages
English (en)
Inventor
胡君
郎小明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202210869236.3A priority Critical patent/CN117474987A/zh
Publication of CN117474987A publication Critical patent/CN117474987A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种定位模式的确定方法、装置，存储介质及电子设备。该方法应用于基于视觉惯性里程计进行位姿定位的装置，该方法包括：获取相机采集的图像；判断所述图像的图像类型；对所述图像进行单目图像质量检测，得到单目图像质检结果，所述单目图像质检结果用于表征是否能够基于所述图像完成单目视觉惯性里程计位姿计算；根据所述单目图像质检结果和所述图像类型，确定目标定位模式。采用本公开这种方式，能够在各种图像异常状况下基于图像的质量来自适应确定目标定位模式，从而适应于当前的图像异常状况，通过目标定位模式得到准确性高的位姿定位结果，保障装置的安全性。

Description

定位模式的确定方法、装置，存储介质及电子设备
技术领域
本公开涉及视觉惯性定位技术领域，具体地，涉及一种定位模式的确定方法、装置，存储介质及电子设备。
背景技术
基于相机和惯性测量单元(Inertial Measurement Unit，IMU)数据的VIO(Visual-Inertial Odometry)算法，即视觉惯性里程计，使用小型轻量级的相机来提供丰富的环境信息以辅助高频率的IMU进行位姿测量，可有效地提高被噪声和偏置影响的位姿估计的准确性。其中，双目视觉惯性里程计(即双目VIO)利用一对同时曝光的相机图像和IMU数据作为输入，可以解决单目VIO在静止时无法进行特征点三角化的问题。
相关技术中，双目VIO要求两个相机之间需要有一定的共视区域才能进行双目匹配处理和特征点的三角化处理。目前的双目VIO方案可以大致分为基于优化和基于滤波这两种。基于优化的方案有vins-fusion，基于滤波的方案有s-msckf和openvins。每一种方案都可以分为前端和后端两个处理部分，前端会进行特征点提取、特征点跟踪和外点滤除等操作；后端则利用相机对特征点的观测进行三角化处理和利用重投影误差进行状态更新处理。然而，其中vins-fusion和s-msckf这两种方案是采取在左目图像上提取特征点后再进行双目跟踪的方法，在遇到一目图像出现异常时，比如右目图像出现异常时，双目跟踪处理将会由于左目图像上的特征点在右目图像上找不到对应的特征点而失败，进而因无法完成前端特征点跟踪而使得VIO算法无法完成定位功能。而方案openvins的前端特征点跟踪方式和上述两种方案不同，openvins方案在左目图像上提取特征点，如果双目跟踪后在右目图像中没有跟踪到足够多的特征点则会在右目图像上进一步提取特征点，因此openvins方案可以处理遇到一目图像出现异常的情况。但是，当双目图像都出现异常时，特征点跟踪处理的准确度将会显著降低，由此引来的问题就是定位效果不佳甚至得到完全错误的位姿估计结果，如果使用错误的位姿估计作为定位结果，将会导致无人设备因定位错误而引发风险。
发明内容
为解决相关技术中存在的问题，本公开提供一种定位模式的确定方法、装置，存储介质及电子设备。
为了实现上述目的，本公开实施例的第一方面提供一种定位模式的确定方法，所述方法应用于基于视觉惯性里程计进行位姿定位的装置，所述方法包括：
获取相机采集的图像；
判断所述图像的图像类型；
对所述图像进行单目图像质量检测，得到单目图像质检结果，所述单目图像质检结果用于表征是否能够基于所述图像完成单目视觉惯性里程计位姿计算；
根据所述单目图像质检结果和所述图像类型，确定目标定位模式。
可选地，所述对所述图像进行单目图像质量检测，得到单目图像质检结果，包括：
在所述图像不是异常图像、且所述图像满足单目特征点提取条件的情况下，确定所述图像通过所述单目图像质量检测，其中，所述异常图像包括过曝图像、过暗图像和纯色图像中的至少一种；
在所述图像不是所述异常图像、且所述图像不满足所述单目特征点提取条件的情况下，或者，在所述图像为所述异常图像的情况下，确定所述图像未通过所述单目图像质量检测；
其中，所述图像通过所述单目图像质量检测，表征能够基于所述图像至少完成单目视觉惯性里程计位姿计算；所述图像未通过所述单目图像质量检测，表征不能基于所述图像完成单目视觉惯性里程计位姿计算。
可选地，所述判断所述图像的图像类型，包括：
在所述图像的数量为1的情况下，确定所述图像类型为单目图像类型；
所述根据所述单目图像质检结果和所述图像类型，确定目标定位模式，包括：
在所述图像类型为所述单目图像类型的情况下，若所述单目图像质检结果为所述图像通过所述单目图像质量检测，则将单目定位模式确定为所述目标定位模式；
若所述单目图像质检结果为所述图像未通过所述单目图像质量检测，则将非定位模式确定为所述目标定位模式。
可选地，所述判断所述图像的图像类型，包括：
在所述图像的数量为2的情况下，确定所述图像中的第一图像和第二图像的所述图像类型为双目图像类型；
所述根据所述单目图像质检结果和所述图像类型，确定目标定位模式，包括：
在所述图像类型为所述双目图像类型的情况下，根据所述第一图像的第一单目图像质检结果，和所述第二图像的第二单目图像质检结果确定所述目标定位模式。
可选地，所述根据所述第一图像的第一单目图像质检结果，和所述第二图像的第二单目图像质检结果确定所述目标定位模式，包括：
若所述第一单目图像质检结果表征所述第一图像通过所述单目图像质量检测、且所述第二单目图像质检结果表征所述第二图像通过所述单目图像质量检测，则对所述第一图像和所述第二图像进行双目图像质量检测，得到双目图像质检结果，所述双目图像质检结果用于表征是否能够基于所述第一图像和所述第二图像完成双目视觉惯性里程计位姿计算；
在所述第一图像和所述第二图像通过所述双目图像质量检测的情况下，将双目定位模式确定为所述目标定位模式；
在所述第一图像和所述第二图像未通过所述双目图像质量检测的情况下，将单目定位模式确定为所述目标定位模式。
可选地，所述根据所述第一图像的第一单目图像质检结果，和所述第二图像的第二单目图像质检结果确定所述目标定位模式，包括：
若所述第一单目图像质检结果表征所述第一图像通过所述单目图像质量检测，且所述第二单目图像质检结果表征所述第二图像未通过所述单目图像质量检测，则将单目定位模式确定为所述目标定位模式；
若所述第一单目图像质检结果表征所述第一图像未通过所述单目图像质量检测，且所述第二单目图像质检结果表征所述第二图像未通过所述单目图像质量检测，则将非定位模式确定为所述目标定位模式。
可选地，所述对所述第一图像和所述第二图像进行双目图像质量检测，得到双目图像质检结果，包括：
对所述第一图像和所述第二图像进行预处理，得到第一预处理图像、第二预处理图像和所述第一预处理图像与所述第二预处理图像之间的光流跟踪信息；
从所述第一预处理图像中提取多个第一目标特征点；
针对每一所述第一目标特征点，基于所述光流跟踪信息，从所述第二预处理图像中确定与所述第一目标特征点对应的第二目标特征点，并基于所述光流跟踪信息，从所述第一预处理图像中确定与所述第二目标特征点对应的第三目标特征点；
若所述第一目标特征点与对应的所述第三目标特征点之间的距离小于第一阈值、且所述第一目标特征点与对应的所述第二目标特征点满足对极约束筛选条件，则将所述第一目标特征点与对应的所述第二目标特征点确定为有效配对点；
在所述有效配对点的数量大于第二阈值的情况下，确定所述第一图像和所述第二图像通过所述双目图像质量检测。
可选地，所述相机包括第一相机和第二相机，判断所述第一目标特征点与所述第二目标特征点是否满足所述对极约束筛选条件的方式，包括：
根据所述第一相机的内参，确定所述第一目标特征点在所述第一相机对应的归一化平面上的第一坐标；
根据所述第二相机的内参，确定所述第二目标特征点在所述第二相机对应的归一化平面上的第二坐标；
基于所述第一相机与所述第二相机之间的外参，根据极线约束，确定所述第二坐标对应的极线；
在所述第一坐标到所述极线的距离小于第三阈值时，确定所述第一目标特征点与所述第二目标特征点满足所述对极约束筛选条件。
可选地，判断所述图像是否满足所述单目特征点提取条件的方式包括：
对所述图像进行直方图均衡化处理，得到预处理图像；
对所述预处理图像进行网格划分，得到多个网格子图像；
从每一所述网格子图像中选取响应值大于预设响应阈值的候选特征点集合，并从所述候选特征点集合中筛选出目标特征点集合，其中，所述目标特征点集合中的各目标特征点之间的距离大于第四阈值；
计算每一所述目标特征点集合的响应值均值，并根据所有的所述响应值均值计算标准差；
若所述标准差小于第五阈值、且所有所述目标特征点集合中目标特征点的总数量大于第六阈值，则确定所述图像满足所述单目特征点提取条件。
可选地，所述方法还包括：
在所述装置处于所述单目定位模式的情况下，每间隔预设时长，针对最近一次获取到的所述图像，触发执行所述判断所述图像的图像类型的步骤；
在所述装置处于所述非定位模式的情况下，针对每一次获取到的所述图像，触发执行所述判断所述图像的图像类型的步骤。
可选地，所述方法还包括：
在所述装置处于所述双目定位模式的情况下，若在基于所述第一图像和所述第二图像进行双目视觉惯性里程计位姿计算的过程中，出现特征点匹配失败的情况，则将非定位模式确定为所述目标定位模式。
本公开实施例的第二方面提供一种定位模式的确定装置，所述装置基于视觉惯性里程计进行位姿定位，所述装置包括：
接收模块，被配置为用于获取相机采集的图像；
判断模块，被配置为用于判断所述图像的图像类型；
单目质检模块，被配置为用于对所述图像进行单目图像质量检测，得到单目图像质检结果，所述单目图像质检结果用于表征是否能够基于所述图像完成单目视觉惯性里程计位姿计算；
确定模块，被配置为用于根据所述单目图像质检结果和所述图像类型，确定目标定位模式。
可选地，所述单目质检模块，包括：
第一执行子模块，被配置为用于在所述图像不是异常图像、且所述图像满足单目特征点提取条件的情况下，确定所述图像通过所述单目图像质量检测，其中，所述异常图像包括过曝图像、过暗图像和纯色图像中的至少一种；
第二执行子模块，被配置为用于在所述图像不是所述异常图像、且所述图像不满足所述单目特征点提取条件的情况下，或者，在所述图像为所述异常图像的情况下，确定所述图像未通过所述单目图像质量检测；
其中，所述图像通过所述单目图像质量检测，表征能够基于所述图像至少完成单目视觉惯性里程计位姿计算；所述图像未通过所述单目图像质量检测，表征不能基于所述图像完成单目视觉惯性里程计位姿计算。
可选地，所述判断模块，包括：
第一确定子模块，被配置为用于在所述图像的数量为1的情况下，确定所述图像类型为单目图像类型；
所述确定模块，包括：
第二确定子模块，被配置为用于在所述图像类型为所述单目图像类型的情况下，若所述单目图像质检结果为所述图像通过所述单目图像质量检测，则将单目定位模式确定为所述目标定位模式；
第三确定子模块，被配置为用于若所述单目图像质检结果为所述图像未通过所述单目图像质量检测，则将非定位模式确定为所述目标定位模式。
可选地，所述判断模块，包括：
第四确定子模块，被配置为用于在所述图像的数量为2的情况下，确定所述图像中的第一图像和第二图像的所述图像类型为双目图像类型；
所述确定模块，包括：
第五确定子模块，被配置为用于在所述图像类型为所述双目图像类型的情况下，根据所述第一图像的第一单目图像质检结果，和所述第二图像的第二单目图像质检结果确定所述目标定位模式。
可选地，所述第五确定子模块，包括：
双目图像质检子模块，被配置为用于若所述第一单目图像质检结果表征所述第一图像通过所述单目图像质量检测、且所述第二单目图像质检结果表征所述第二图像通过所述单目图像质量检测，则对所述第一图像和所述第二图像进行双目图像质量检测，得到双目图像质检结果，所述双目图像质检结果用于表征是否能够基于所述第一图像和所述第二图像完成双目视觉惯性里程计位姿计算；
第六确定子模块，被配置为用于在所述第一图像和所述第二图像通过所述双目图像质量检测的情况下，将双目定位模式确定为所述目标定位模式；
第七确定子模块，被配置为用于在所述第一图像和所述第二图像未通过所述双目图像质量检测的情况下，将单目定位模式确定为所述目标定位模式。
可选地，所述第五确定子模块，包括：
第八确定子模块，被配置为用于若所述第一单目图像质检结果表征所述第一图像通过所述单目图像质量检测，且所述第二单目图像质检结果表征所述第二图像未通过所述单目图像质量检测，则将单目定位模式确定为所述目标定位模式；
第九确定子模块，被配置为用于若所述第一单目图像质检结果表征所述第一图像未通过所述单目图像质量检测，且所述第二单目图像质检结果表征所述第二图像未通过所述单目图像质量检测，则将非定位模式确定为所述目标定位模式。
可选地，所述双目图像质检子模块，被配置为用于：
第一预处理子模块，被配置为用于对所述第一图像和所述第二图像进行预处理，得到第一预处理图像、第二预处理图像和所述第一预处理图像与所述第二预处理图像之间的光流跟踪信息；
提取子模块，被配置为用于从所述第一预处理图像中提取多个第一目标特征点；
光流跟踪子模块，被配置为用于针对每一所述第一目标特征点，基于所述光流跟踪信息，从所述第二预处理图像中确定与所述第一目标特征点对应的第二目标特征点，并基于所述光流跟踪信息，从所述第一预处理图像中确定与所述第二目标特征点对应的第三目标特征点；
第三执行子模块，被配置为用于若所述第一目标特征点与对应的所述第三目标特征点之间的距离小于第一阈值、且所述第一目标特征点与对应的所述第二目标特征点满足对极约束筛选条件，则将所述第一目标特征点与对应的所述第二目标特征点确定为有效配对点；
第四执行子模块，被配置为用于在所述有效配对点的数量大于第二阈值的情况下，确定所述第一图像和所述第二图像通过所述双目图像质量检测。
可选地，所述相机包括第一相机和第二相机，第三执行子模块，还被配置为用于：
根据所述第一相机的内参，确定所述第一目标特征点在所述第一相机对应的归一化平面上的第一坐标；
根据所述第二相机的内参，确定所述第二目标特征点在所述第二相机对应的归一化平面上的第二坐标；
基于所述第一相机与所述第二相机之间的外参，根据极线约束，确定所述第二坐标对应的极线；
在所述第一坐标到所述极线的距离小于第三阈值时，确定所述第一目标特征点与所述第二目标特征点满足所述对极约束筛选条件。
可选地，第二执行子模块，还被配置为用于通过如下方式判断所述图像是否满足所述单目特征点提取条件：
对所述图像进行直方图均衡化处理，得到预处理图像；
对所述预处理图像进行网格划分，得到多个网格子图像；
从每一所述网格子图像中选取响应值大于预设响应阈值的候选特征点集合，并从所述候选特征点集合中筛选出目标特征点集合，其中，所述目标特征点集合中的各目标特征点之间的距离大于第四阈值；
计算每一所述目标特征点集合的响应值均值，并根据所有的所述响应值均值计算标准差；
若所述标准差小于第五阈值、且所有所述目标特征点集合中目标特征点的总数量大于第六阈值，则确定所述图像满足所述单目特征点提取条件。
可选地，所述装置还包括：
第一自适应模块，被配置为用于在所述装置处于所述单目定位模式的情况下，每间隔预设时长，针对最近一次获取到的所述图像，触发执行所述判断所述图像的图像类型的步骤；
第二自适应模块，被配置为用于在所述装置处于所述非定位模式的情况下，针对每一次获取到的所述图像，触发执行所述判断所述图像的图像类型的步骤。
可选地，所述装置还包括：
第三自适应模块，被配置为用于在所述装置处于所述双目定位模式的情况下，若在基于所述第一图像和所述第二图像进行双目视觉惯性里程计位姿计算的过程中，出现特征点匹配失败的情况，则将非定位模式确定为所述目标定位模式。
本公开实施例的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述方法的步骤。
本公开实施例的第四方面提供一种电子设备，所述电子设备包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面中任一项所述方法的步骤。
采用上述技术方案，至少能够达到如下的有益技术效果：
获取相机采集的图像，并判断接收到的图像的图像类型。对图像进行单目图像质量检测，得到单目图像质检结果。由于单目图像质检结果表征是否能够基于接收到的图像至少完成单目视觉惯性里程计位姿计算，所以可根据单目图像质检结果、结合图像类型确定具体地目标定位模式，以控制装置进入目标定位模式，使装置按照目标定位模式进行位姿定位计算。本公开这种方法，因在进行视觉惯性里程计位姿定位计算之前，对接收到的图像进行了质量检测，并根据单目图像质检结果，结合图像类型确定目标定位模式，所以，本公开这种方式可以有效地避免相关技术中vins-fusion和s-msckf方案因一目图像异常而无法定位的问题，并且还能够避免openvins方案中因双目图像异常而导致定位结果准确性低的问题。由此可见，采用本公开这种方式，能够在各种图像异常状况下基于图像的质量来自适应确定目标定位模式，从而适应于当前的图像异常状况，通过目标定位模式得到准确性高的位姿定位结果，保障装置的安全性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据本公开一示例性实施例示出的一种定位模式的确定方法的流程图。
图2是根据本公开一示例性实施例示出的另一种定位模式的确定方法的流程图。
图3是根据本公开一示例性实施例示出的一种定位模式的确定装置的框图。
图4是根据本公开一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
需要说明的是，本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
本公开针对相关技术中，双目视觉惯性里程计在遇到一目图像或者双目图像出现异常时位姿定位效果不佳甚至无法定位的问题，提出一种在进行视觉惯性里程计位姿定位计算之前，对图像进行质量检测，并根据所检测的图像的质量对视觉惯性里程计的定位模式进行自适应确定/切换的方法，以有效地避免一目图像异常时无法定位的问题，或者避免双目图像异常时定位效果不佳的问题。
下面对本公开的技术方案进行详细的实施例说明。
图1是根据本公开一示例性实施例示出的一种定位模式的确定方法的流程图。该定位模式的确定方法应用于基于视觉惯性里程计进行位姿定位的装置，例如该装置可以是无人机、无人车、机器人等电子设备。如图1所示，该定位模式的确定方法可以包括以下步骤：
S11、获取相机采集的图像。
其中相机可以是单目相机，也可以是双目相机。在该相机为双目相机的情况下，该相机包括左目的第一相机和右目的第二相机。
S12、判断所述图像的图像类型。
其中，图像类型可以包括单目图像类型、双目图像类型中的至少一种。
由于双目视觉惯性里程计利用一对同时曝光的相机图像和IMU数据作为输入数据，所以，一种判断图像的图像类型的实施方式可以是，根据步骤S11接收到的图像的数量，判断接收到的图像的图像类型。
另一种判断图像的图像类型的实施方式为，根据图像上的图像类型标记，确定图像类型。图像类型标记可由相机系统进行标记。
S13、对所述图像进行单目图像质量检测，得到单目图像质检结果，所述单目图像质检结果用于表征是否能够基于所述图像完成单目视觉惯性里程计位姿计算。
示例地，在确定接收到的图像的图像类型之后，可对每一张图像进行单目图像质量检测，得到单目图像质检结果。单目图像质检结果表征是否能够基于接收到的图像至少完成单目视觉惯性里程计位姿计算。例如，如果接收到的一张图像通过单目图像质量检测，那么可根据该张图像完成单目视觉惯性里程计位姿计算。又例如，如果接收到的两张图像均通过单目图像质量检测，那么在能够基于两张图像中的任一图像完成单目视觉惯性里程计位姿计算的基础之上，还可能实现根据该两张图像完成双目视觉惯性里程计位姿计算。
S14、根据所述单目图像质检结果和所述图像类型，确定目标定位模式。
在确定目标定位模式之后，可控制装置进入或切换为目标定位模式。在装置进入/切换为目标定位模式的情况下，装置根据目标定位模式进行位姿定位计算。
采用上述方法，获取相机采集的图像，并判断接收到的图像的图像类型。对图像进行单目图像质量检测，得到单目图像质检结果。由于单目图像质检结果用于表征是否能够基于接收到的图像至少完成单目视觉惯性里程计位姿计算，所以可根据单目图像质检结果、结合图像类型确定具体地目标定位模式，以控制装置进入目标定位模式，使装置按照目标定位模式进行位姿定位计算。本公开这种方法，因在进行视觉惯性里程计位姿定位计算之前，对接收到的图像进行了质量检测，并根据单目图像质检结果，结合图像类型确定目标定位模式，所以，本公开这种方式可以有效地避免相关技术中vins-fusion和s-msckf方案因一目图像异常而无法定位的问题，并且还能够避免openvins方案中因双目图像异常而导致定位结果准确性低的问题。由此可见，采用本公开这种方式，能够在各种图像异常状况下基于图像的质量来自适应确定目标定位模式，从而适应于当前的图像异常状况，通过目标定位模式得到准确性高的位姿定位结果，保障装置的安全性。
可选地，所述对所述图像进行单目图像质量检测，得到单目图像质检结果，包括：
在所述图像不是异常图像、且所述图像满足单目特征点提取条件的情况下，确定所述图像通过所述单目图像质量检测，其中，所述异常图像包括过曝图像、过暗图像和纯色图像中的至少一种；在所述图像不是所述异常图像、且所述图像不满足所述单目特征点提取条件的情况下，或者，在所述图像为所述异常图像的情况下，确定所述图像未通过所述单目图像质量检测；其中，所述图像通过所述单目图像质量检测，表征能够基于所述图像至少完成单目视觉惯性里程计位姿计算；所述图像未通过所述单目图像质量检测，表征不能基于所述图像完成单目视觉惯性里程计位姿计算。
由于过曝图像、过暗图像和纯色图像均会导致特征点跟踪的准确性降低或跟踪失败，进而导致位姿定位效果不佳甚至得到完全错误的位姿估计结果，所以本公开实施例中将过曝图像、过暗图像和纯色图像确定为异常图像。
一种判断图像是否为异常图像的实施方式为，计算图像的灰度均值和灰度标准差，由于灰度均值可以表示图像的平均亮度，灰度标准差可以表示图像的亮度离散程度。而过暗图像的灰度均值较小，过亮图像的灰度均值较大，纯色图像(或接近纯色的图像)的灰度标准差较小。所以，在本公开中，可在阈值g_min<图像的灰度均值<阈值g_max，且该图像的灰度标准差>阈值h_min时，确定该图像不是过曝图像、过暗图像或纯色图像的异常图像。相反，可确定图像是异常图像。应声明的是，过曝图像是指灰度均值大于阈值g_max的图像。过暗图像是指灰度均值小于阈值g_min的图像。纯色图像是指灰度标准差大于阈值h_min的图像。
另一种判断图像是否为异常图像的实施方式为，确定图像的直方图，根据直方图的图像特征确定对应地图像是否为过曝图像、过暗图像或者纯色图像的异常图像。
在确定图像不是异常图像的情况下，还需进一步判断图像是否满足单目特征点提取条件，一种实施方式，判断所述图像是否满足所述单目特征点提取条件的方式包括：
对所述图像进行直方图均衡化处理，得到预处理图像；对所述预处理图像进行网格划分，得到多个网格子图像；从每一所述网格子图像中选取响应值大于预设响应阈值的候选特征点集合，并基于点与点之间的距离从所述候选特征点集合中筛选出目标特征点集合，其中，所述目标特征点集合中的各目标特征点之间的距离大于第四阈值；计算每一所述目标特征点集合的响应值均值，并根据所有的所述响应值均值计算标准差；若所述标准差小于第五阈值、且所有所述目标特征点集合中目标特征点的总数量大于第六阈值，则确定所述图像满足所述单目特征点提取条件。
应解释的是，直方图均衡化是图像处理领域中利用图像直方图对对比度进行调整的方法，本公开对此不进行详细阐述。
在本公开中，对图像进行直方图均衡化处理，可以增加该图像的全局对比度，得到预处理图像。对预处理图像进行网格划分，可以将该图像划分成多个网格子图像。针对每一网格子图像，基于FAST算法从该网格子图像中选取响应值大于预设响应阈值的候选特征点集合，并从该候选特征点集合中筛选出目标特征点集合，该目标特征点集合中的各目标特征点之间的距离大于第四阈值。这种方式不仅能够使得选出来的目标特征点是均匀分布在图像中的点，还能避免出现选出来的目标特征点扎堆的现象。
在得到每一网格子图像对应的目标特征点集合之后，可根据每一目标特征点的响应值计算每一目标特征点集合的响应值均值，并可以根据所有的响应值均值计算标准差。若标准差小于第五阈值、且所有目标特征点集合中目标特征点的总数量大于第六阈值，则说明从图像上能够提取到足够数量的、且均匀分布的目标特征点，且各个网格子图像中的目标特征点的平均响应值较为接近，该种图像适合进行单目VIO的特征点提取处理和跟踪处理，即该图像适合用于完成单目视觉惯性里程计位姿计算。因此可确定该图像满足单目特征点提取条件。
相反地，若标准差大于或等于第五阈值、或者所有目标特征点集合中目标特征点的总数量小于或等于第六阈值，则可确定该图像不满足单目特征点提取条件。
其中，应说明的是，FAST算法定义如果某个像素点和他周围领域足够多的像素点处于不同区域，那么这个像素点就是特征点。响应值是指用于描述特征点的区分度大小的参数。特征点的响应值越大表征该特征点的区分度越大。
本公开中的任一种阈值均可基于需求而进行适应性设置，对此，本公开不作具体限制。
示例地，在图像不是异常图像、且该图像满足单目特征点提取条件的情况下，可确定该图像通过单目图像质量检测，若该图像通过单目图像质量检测，则表征能够基于该图像至少完成单目视觉惯性里程计位姿计算。
再示例地，在图像不是异常图像、且该图像不满足单目特征点提取条件的情况下，或者，在该图像为异常图像的情况下，可确定图像未通过单目图像质量检测。若该图像未通过单目图像质量检测，则表征不能基于该图像完成单目视觉惯性里程计位姿计算。
可选地，所述判断所述图像的图像类型，包括：
在所述图像的数量为1的情况下，确定所述图像类型为单目图像类型；
相应地，所述根据所述单目图像质检结果和所述图像类型，确定目标定位模式，包括：
在所述图像类型为所述单目图像类型的情况下，若所述单目图像质检结果为所述图像通过所述单目图像质量检测，则将单目定位模式确定为所述目标定位模式；若所述单目图像质检结果为所述图像未通过所述单目图像质量检测，则将非定位模式确定为所述目标定位模式。
示例地，若接收到的图像的数量为1，则可确定该一张图像的图像类型为单目图像类型。并且，若该图像的单目图像质检结果为该图像通过单目图像质量检测，则可将单目定位模式确定为目标定位模式，并在单目定位模式下，根据该图像完成单目视觉惯性里程计位姿计算。相反地，若单目图像质检结果为该图像未通过单目图像质量检测，则可将非定位模式确定为目标定位模式。
其中，单目定位模式是指装置基于单目视觉惯性里程计进行位姿计算的模式。非定位模式是指装置不进行位姿计算的模式。
可选地，所述判断所述图像的图像类型，包括：
在所述图像的数量为2的情况下，确定所述图像中的第一图像和第二图像的所述图像类型为双目图像类型；
相应地，所述根据所述单目图像质检结果和所述图像类型，确定目标定位模式，包括：
在所述图像类型为所述双目图像类型的情况下，根据所述第一图像的第一单目图像质检结果，和所述第二图像的第二单目图像质检结果确定所述目标定位模式。
示例地，在接收到的图像的数量为2的情况下，可确定图像中的第一图像和第二图像的图像类型为双目图像类型。并可根据第一图像的第一单目图像质检结果和第二图像的第二单目图像质检结果确定目标定位模式。例如，可在第一图像的第一单目图像质检结果表征第一图像未通过单目图像质量检测，且第二图像的第二单目图像质检结果表征第二图像未通过单目图像质量检测的情况下，可将非定位模式确定为目标定位模式。又例如，可在第一单目图像质检结果表征第一图像通过单目图像质量检测、且第二单目图像质检结果表征第二图像未通过单目图像质量检测的情况下，将单目定位模式确定为目标定位模式，并在单目定位模式下根据第一图像完成单目视觉惯性里程计位姿计算。
又例如，可在第一单目图像质检结果表征第一图像未通过单目图像质量检测、且第二单目图像质检结果表征第二图像通过单目图像质量检测的情况下，将单目定位模式确定为目标定位模式。并在单目定位模式下根据第二图像完成单目视觉惯性里程计位姿计算。
又例如，可在第一单目图像质检结果表征第一图像通过单目图像质量检测、且第二单目图像质检结果表征第二图像通过单目图像质量检测的情况下，进一步判断是否能够根据第一图像和第二图像完成双目视觉惯性里程计位姿计算。
应说明的是，本公开实施例中，第一图像和第二图像表征的是左目图像和右目图像，但是本公开并不限定第一图像/第二图像是左目图像还是右目图像。
可选地，所述根据所述第一图像的第一单目图像质检结果，和所述第二图像的第二单目图像质检结果确定所述目标定位模式，包括：
若所述第一单目图像质检结果表征所述第一图像通过所述单目图像质量检测、且所述第二单目图像质检结果表征所述第二图像通过所述单目图像质量检测，则对所述第一图像和所述第二图像进行双目图像质量检测，得到双目图像质检结果，所述双目图像质检结果用于表征是否能够基于所述第一图像和所述第二图像完成双目视觉惯性里程计位姿计算；在所述第一图像和所述第二图像通过所述双目图像质量检测的情况下，将双目定位模式确定为所述目标定位模式；在所述第一图像和所述第二图像未通过所述双目图像质量检测的情况下，将单目定位模式确定为所述目标定位模式。
示例地，在第一单目图像质检结果表征第一图像通过单目图像质量检测、且第二单目图像质检结果表征第二图像通过单目图像质量检测的情况下，对第一图像和第二图像进行双目图像质量检测，得到用于表征是否能够基于第一图像和第二图像完成双目视觉惯性里程计位姿计算的双目图像质检结果。若第一图像和第二图像通过双目图像质量检测，则可将双目定位模式确定为目标定位模式，双目定位模式下，根据第一图像和第二图像完成双目视觉惯性里程计位姿计算。若第一图像和第二图像未通过双目图像质量检测，则可将单目定位模式确定为目标定位模式，单目定位模式下，根据第一图像、第二图像中的任一者完成单目视觉惯性里程计位姿计算。
可选地，所述对所述第一图像和所述第二图像进行双目图像质量检测，得到双目图像质检结果，包括：
对所述第一图像和所述第二图像进行预处理，得到第一预处理图像、第二预处理图像和所述第一预处理图像与所述第二预处理图像之间的光流跟踪信息；从所述第一预处理图像中提取多个第一目标特征点；针对每一所述第一目标特征点，基于所述光流跟踪信息，从所述第二预处理图像中确定与所述第一目标特征点对应的第二目标特征点，并基于所述光流跟踪信息，从所述第一预处理图像中确定与所述第二目标特征点对应的第三目标特征点；若所述第一目标特征点与对应的所述第三目标特征点之间的距离小于第一阈值、且所述第一目标特征点与对应的所述第二目标特征点满足对极约束筛选条件，则将所述第一目标特征点与对应的所述第二目标特征点确定为有效配对点；在所述有效配对点的数量大于第二阈值的情况下，确定所述第一图像和所述第二图像通过所述双目图像质量检测。
其中，对第一图像和第二图像进行预处理包括，对第一图像和第二图像进行直方图均衡化处理，以使处理后的第一预处理图像和第二预处理图像的平均灰度相近，从而尽可能满足光流跟踪所要求的灰度不变假设。在尽可能满足光流跟踪所要求的灰度不变假设的基础之上，采用基于图像金字塔改进L-K光流的跟踪算法(KLT光流算法)对第一预处理图像和第二预处理图像进行光流跟踪处理，得到第一预处理图像与第二预处理图像之间的光流跟踪信息，光流跟踪信息包括第一预处理图像与第二预处理图像之间的光流和仿射变换矩阵。
在一些实施方式中，第一预处理图像和第二预处理图像可以是在对第一图像、第二图像进行单目图像质量检测的过程中得到的直方图均衡化处理结果。另一种实施方式，为了使得处理后的第一预处理图像和第二预处理图像的平均灰度尽可能的相近，还可以设置目标参数(如采用相同的平均灰度值)对第一图像和第二图像进行直方图均衡化处理。
在对第一图像和第二图像进行预处理，得到第一预处理图像、第二预处理图像和第一预处理图像与第二预处理图像之间的光流跟踪信息之后，可从第一预处理图像中提取多个第一目标特征点，提取第一目标特征点的方式与前述确定图像的所有目标特征点集合的方式相类似，或者，可直接将在对第一图像进行单目图像质量检测的过程中得到的第一图像的所有目标特征点集合作为第一预处理图像的多个第一目标特征点。
进一步地，针对第一预处理图像中的每一第一目标特征点，基于光流跟踪信息，从第二预处理图像中跟踪确定与该第一目标特征点对应的第二目标特征点，并基于光流跟踪信息，从第一预处理图像中跟踪确定与该第二目标特征点对应的第三目标特征点。若该第一目标特征点与对应的该第三目标特征点之间的距离小于第一阈值、且该第一目标特征点与对应的该第二目标特征点满足对极约束筛选条件，则将该第一目标特征点与对应的该第二目标特征点确定为有效配对点。
在第一预处理图像与第二预处理图像中，有效配对点的数量大于第二阈值的情况下，可确定第一图像和第二图像通过双目图像质量检测。相反地，在第一预处理图像与第二预处理图像中，有效配对点的数量小于或等于第二阈值的情况下，可确定第一图像和第二图像未通过双目图像质量检测。
可选地，所述相机包括第一相机和第二相机，判断所述第一目标特征点与所述第二目标特征点是否满足所述对极约束筛选条件的方式，包括：
根据第一相机的内参，确定所述第一目标特征点在所述第一相机对应的归一化平面上的第一坐标；根据第二相机的内参，确定所述第二目标特征点在所述第二相机对应的归一化平面上的第二坐标；基于所述第一相机与所述第二相机之间的外参，根据极线约束，确定所述第二坐标对应的极线；在所述第一坐标到所述极线的距离小于第三阈值时，确定所述第一目标特征点与所述第二目标特征点满足所述对极约束筛选条件。
其中，双目相机中的第一相机的内参k1、第二相机的内参k2和第一相机与第二相机之间的外参R、t均为已知参数。具体参数定义可参见相关技术中的定义。
极线约束(epipolar constraint)是一种点对直线的约束，极线约束给出了对应点重要的约束条件，它将对应点匹配从整幅图像寻找压缩到在一条直线上寻找对应点。
根据第一相机的内参k1，可确定第一目标特征点p1在第一相机对应的归一化平面上的第一坐标根据第二相机的内参k2，可确定第二目标特征点p2在第二相机对应的归一化平面上的第二坐标/>基于第一相机与第二相机之间的外参R、T，根据极线约束，确定第二坐标x2对应的极线l(a，b，c)＝t∧×R×x2，其中，t^表征t的反对称矩阵；在第一坐标x1到极线l(a，b，c)＝t^×R×x2的距离/>小于第三阈值时，确定第一目标特征点p1与第二目标特征点p2满足对极约束筛选条件。其中，a，b，c为公式l(a，b，c)＝t^×R×x2的向量的3维数据，T为转置符号。相反地，在第一坐标x1到极线l(a，b，c)＝t^×R×x2的距离/>大于或等于第三阈值时，确定第一目标特征点p1与第二目标特征点p2未满足对极约束筛选条件。
可选地，所述定位模式的确定方法还包括：
在所述装置处于所述单目定位模式的情况下，每间隔预设时长，针对最近一次获取到的所述图像，触发执行所述判断所述图像的图像类型的步骤；在所述装置处于所述非定位模式的情况下，针对每一次获取到的所述图像，触发执行所述判断所述图像的图像类型的步骤。
示例地，在装置处于单目定位模式的情况下，每间隔预设时长如30秒，可针对最近一次获取到的图像，触发执行S12判断图像的图像类型的步骤，进而对图像进行单目图像质量检测，得到单目图像质检结果，并根据单目图像质检结果和图像类型，确定目标定位模式，控制装置进入或切换为目标定位模式。例如，在步骤S11之后，判断计时器是否到达30秒，若是，则执行S12。若否，则继续按照单目定位模式进行位姿计算。
同理地，在装置处于非定位模式的情况下，针对每一次步骤S11获取到的图像，均触发执行S12判断图像的图像类型的步骤，进而对图像进行单目图像质量检测，得到单目图像质检结果，并根据单目图像质检结果和图像类型，确定目标定位模式，控制装置进入或切换为目标定位模式。例如，在每一次步骤S11之后，均执行S12。
这种只在非定位模式下每一次获取到图像的情况下和在单目定位模式下每隔30s的情况下触发执行S12判断图像的图像类型的步骤，进而对图像进行单目图像质量检测，得到单目图像质检结果，并根据单目图像质检结果和图像类型，确定目标定位模式，控制装置进入或切换为目标定位模式的方式，可降低因对图像进行质量检测而带来的额外的计算消耗。
可选地，所述定位模式的确定方法还包括：
在所述装置处于所述双目定位模式的情况下，若在基于所述第一图像和所述第二图像进行双目视觉惯性里程计位姿计算的过程中，出现特征点匹配失败的情况，则将非定位模式确定为目标定位模式。
在装置处于双目定位模式的情况下，若在基于第一图像和第二图像进行双目视觉惯性里程计位姿计算的过程中，出现特征点匹配失败的情况，则控制装置退出双目定位模式，并进入非定位模式。如此，可实现装置在非定位模式、单目定位模式和双目定位模式之间进行自适应切换。
图2是根据本公开一示例性实施例示出的另一种定位模式的确定方法的流程图。如图2所示，该方法包括以下步骤：
S21、获取相机采集的图像；
S22、判断图像的图像类型；
若为单目图像类型，则执行S23。若为双目图像类型，则表征图像包括第一图像和第二图像，执行S24。
S23、对图像进行单目图像质量检测，得到单目图像质检结果；
S24、针对图像中的第一图像和第二图像分别进行单目图像质量检测，得到第一单目图像质检结果、以及第二单目图像质检结果；
S25、确定单目图像质检结果是否表征图像通过单目图像质量检测；
若单目图像质检结果表征图像通过单目图像质量检测，则执行S26；若单目图像质检结果表征图像未通过单目图像质量检测，则执行S27。
S26、将单目定位模式确定为目标定位模式；
S27、将非定位模式确定为目标定位模式；
S28、确定第一单目图像质检结果、以及第二单目图像质检结果表征第一图像和第二图像中的一者通过单目图像质量检测；
此种情况下，则执行S26。
S29、确定第一单目图像质检结果、以及第二单目图像质检结果表征第一图像和第二图像均未通过单目图像质量检测；
此种情况下，则执行S27。
S30、第一单目图像质检结果、以及第二单目图像质检结果表征第一图像和第二图像均通过单目图像质量检测；
此种情况下，则执行S31。
S31、判断第一图像和第二图像是否通过双目图像质量检测；
若第一图像和第二图像通过双目图像质量检测，则执行S32；若第一图像和第二图像未通过双目图像质量检测，则执行S26。
S32、将双目定位模式确定为目标定位模式。
上述实施例中各个步骤的具体实施方式已经在前述相关方法的实施例中进行了详细的阐述，此处不再赘述。
图3是根据本公开一示例性实施例示出的一种定位模式的确定装置的框图。如图3所示，该定位模式的确定装置300包括：
接收模块310，被配置为用于获取相机采集的图像；
判断模块320，被配置为用于判断所述图像的图像类型；
单目质检模块330，被配置为用于对所述图像进行单目图像质量检测，得到单目图像质检结果，所述单目图像质检结果用于表征是否能够基于所述图像完成单目视觉惯性里程计位姿计算；
确定模块340，被配置为用于根据所述单目图像质检结果和所述图像类型，确定目标定位模式。
采用上述装置，因在进行视觉惯性里程计位姿定位计算之前，对接收到的图像进行了质量检测，并根据单目图像质检结果，结合图像类型确定目标定位模式，所以，本公开这种方式可以有效地避免相关技术中vins-fusion和s-msckf方案因一目图像异常而无法定位的问题，并且还能够避免openvins方案中因双目图像异常而导致定位结果准确性低的问题。由此可见，采用本公开这种方式，能够在各种图像异常状况下基于图像的质量来自适应确定目标定位模式，从而适应于当前的图像异常状况，通过目标定位模式得到准确性高的位姿定位结果，保障装置的安全性。
可选地，所述单目质检模块330，包括：
第一执行子模块，被配置为用于在所述图像不是异常图像、且所述图像满足单目特征点提取条件的情况下，确定所述图像通过所述单目图像质量检测，其中，所述异常图像包括过曝图像、过暗图像和纯色图像中的至少一种；
第二执行子模块，被配置为用于在所述图像不是所述异常图像、且所述图像不满足所述单目特征点提取条件的情况下，或者，在所述图像为所述异常图像的情况下，确定所述图像未通过所述单目图像质量检测；
其中，所述图像通过所述单目图像质量检测，表征能够基于所述图像至少完成单目视觉惯性里程计位姿计算；所述图像未通过所述单目图像质量检测，表征不能基于所述图像完成单目视觉惯性里程计位姿计算。
可选地，所述判断模块320，包括：
第一确定子模块，被配置为用于在所述图像的数量为1的情况下，确定所述图像类型为单目图像类型；
所述确定模块340，包括：
第二确定子模块，被配置为用于在所述图像类型为所述单目图像类型的情况下，若所述单目图像质检结果为所述图像通过所述单目图像质量检测，则将单目定位模式确定为所述目标定位模式；
第三确定子模块，被配置为用于若所述单目图像质检结果为所述图像未通过所述单目图像质量检测，则将非定位模式确定为所述目标定位模式。
可选地，所述判断模块320，包括：
第四确定子模块，被配置为用于在所述图像的数量为2的情况下，确定所述图像中的第一图像和第二图像的所述图像类型为双目图像类型；
所述确定模块，包括：
第五确定子模块，被配置为用于在所述图像类型为所述双目图像类型的情况下，根据所述第一图像的第一单目图像质检结果，和所述第二图像的第二单目图像质检结果确定所述目标定位模式。
可选地，所述第五确定子模块，包括：
双目图像质检子模块，被配置为用于若所述第一单目图像质检结果表征所述第一图像通过所述单目图像质量检测、且所述第二单目图像质检结果表征所述第二图像通过所述单目图像质量检测，则对所述第一图像和所述第二图像进行双目图像质量检测，得到双目图像质检结果，所述双目图像质检结果用于表征是否能够基于所述第一图像和所述第二图像完成双目视觉惯性里程计位姿计算；
第六确定子模块，被配置为用于在所述第一图像和所述第二图像通过所述双目图像质量检测的情况下，将双目定位模式确定为所述目标定位模式；
第七确定子模块，被配置为用于在所述第一图像和所述第二图像未通过所述双目图像质量检测的情况下，将单目定位模式确定为所述目标定位模式。
可选地，所述第五确定子模块，包括：
第八确定子模块，被配置为用于若所述第一单目图像质检结果表征所述第一图像通过所述单目图像质量检测，且所述第二单目图像质检结果表征所述第二图像未通过所述单目图像质量检测，则将单目定位模式确定为所述目标定位模式；
第九确定子模块，被配置为用于若所述第一单目图像质检结果表征所述第一图像未通过所述单目图像质量检测，且所述第二单目图像质检结果表征所述第二图像未通过所述单目图像质量检测，则将非定位模式确定为所述目标定位模式。
可选地，所述双目图像质检子模块，被配置为用于：
第一预处理子模块，被配置为用于对所述第一图像和所述第二图像进行预处理，得到第一预处理图像、第二预处理图像和所述第一预处理图像与所述第二预处理图像之间的光流跟踪信息；
提取子模块，被配置为用于从所述第一预处理图像中提取多个第一目标特征点；
光流跟踪子模块，被配置为用于针对每一所述第一目标特征点，基于所述光流跟踪信息，从所述第二预处理图像中确定与所述第一目标特征点对应的第二目标特征点，并基于所述光流跟踪信息，从所述第一预处理图像中确定与所述第二目标特征点对应的第三目标特征点；
第三执行子模块，被配置为用于若所述第一目标特征点与对应的所述第三目标特征点之间的距离小于第一阈值、且所述第一目标特征点与对应的所述第二目标特征点满足对极约束筛选条件，则将所述第一目标特征点与对应的所述第二目标特征点确定为有效配对点；
第四执行子模块，被配置为用于在所述有效配对点的数量大于第二阈值的情况下，确定所述第一图像和所述第二图像通过所述双目图像质量检测。
可选地，所述相机包括第一相机和第二相机，第三执行子模块，还被配置为用于：
根据所述第一相机的内参，确定所述第一目标特征点在所述第一相机对应的归一化平面上的第一坐标；
根据所述第二相机的内参，确定所述第二目标特征点在所述第二相机对应的归一化平面上的第二坐标；
基于所述第一相机与所述第二相机之间的外参，根据极线约束，确定所述第二坐标对应的极线；
在所述第一坐标到所述极线的距离小于第三阈值时，确定所述第一目标特征点与所述第二目标特征点满足所述对极约束筛选条件。
可选地，第二执行子模块，还被配置为用于通过如下方式判断所述图像是否满足所述单目特征点提取条件：
对所述图像进行直方图均衡化处理，得到预处理图像；
对所述预处理图像进行网格划分，得到多个网格子图像；
从每一所述网格子图像中选取响应值大于预设响应阈值的候选特征点集合，并从所述候选特征点集合中筛选出目标特征点集合，其中，所述目标特征点集合中的各目标特征点之间的距离大于第四阈值；
计算每一所述目标特征点集合的响应值均值，并根据所有的所述响应值均值计算标准差；
若所述标准差小于第五阈值、且所有所述目标特征点集合中目标特征点的总数量大于第六阈值，则确定所述图像满足所述单目特征点提取条件。
可选地，所述装置300还包括：
第一自适应模块，被配置为用于在所述装置处于所述单目定位模式的情况下，每间隔预设时长，针对最近一次获取到的所述图像，触发执行所述判断所述图像的图像类型的步骤；
第二自适应模块，被配置为用于在所述装置处于所述非定位模式的情况下，针对每一次获取到的所述图像，触发执行所述判断所述图像的图像类型的步骤。
可选地，所述装置300还包括：
第三自适应模块，被配置为用于在所述装置处于所述双目定位模式的情况下，若在基于所述第一图像和所述第二图像进行双目视觉惯性里程计位姿计算的过程中，出现特征点匹配失败的情况，则将非定位模式确定为所述目标定位模式。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例中的定位模式的确定方法的步骤。
图4是根据本公开一示例性实施例示出的一种电子设备700的框图。如图4所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。此外，该电子设备700包括相机和IMU单元。
其中，处理器701用于控制该电子设备700的整体操作，以完成上述的定位模式的确定方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的定位模式的确定方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的定位模式的确定方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的定位模式的确定方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的定位模式的确定方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (14)

1.一种定位模式的确定方法，其特征在于，所述方法应用于基于视觉惯性里程计进行位姿定位的装置，所述方法包括：
获取相机采集的图像；
判断所述图像的图像类型；
对所述图像进行单目图像质量检测，得到单目图像质检结果，所述单目图像质检结果用于表征是否能够基于所述图像完成单目视觉惯性里程计位姿计算；
根据所述单目图像质检结果和所述图像类型，确定目标定位模式。
2.根据权利要求1所述的方法，其特征在于，所述对所述图像进行单目图像质量检测，得到单目图像质检结果，包括：
在所述图像不是异常图像、且所述图像满足单目特征点提取条件的情况下，确定所述图像通过所述单目图像质量检测，其中，所述异常图像包括过曝图像、过暗图像和纯色图像中的至少一种；
在所述图像不是所述异常图像、且所述图像不满足所述单目特征点提取条件的情况下，或者，在所述图像为所述异常图像的情况下，确定所述图像未通过所述单目图像质量检测；
其中，所述图像通过所述单目图像质量检测，表征能够基于所述图像至少完成单目视觉惯性里程计位姿计算；所述图像未通过所述单目图像质量检测，表征不能基于所述图像完成单目视觉惯性里程计位姿计算。
3.根据权利要求2所述的方法，其特征在于，所述判断所述图像的图像类型，包括：
在所述图像的数量为1的情况下，确定所述图像类型为单目图像类型；
所述根据所述单目图像质检结果和所述图像类型，确定目标定位模式，包括：
在所述图像类型为所述单目图像类型的情况下，若所述单目图像质检结果为所述图像通过所述单目图像质量检测，则将单目定位模式确定为所述目标定位模式；
若所述单目图像质检结果为所述图像未通过所述单目图像质量检测，则将非定位模式确定为所述目标定位模式。
4.根据权利要求2所述的方法，其特征在于，所述判断所述图像的图像类型，包括：
在所述图像的数量为2的情况下，确定所述图像中的第一图像和第二图像的所述图像类型为双目图像类型；
所述根据所述单目图像质检结果和所述图像类型，确定目标定位模式，包括：
在所述图像类型为所述双目图像类型的情况下，根据所述第一图像的第一单目图像质检结果，和所述第二图像的第二单目图像质检结果确定所述目标定位模式。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一图像的第一单目图像质检结果，和所述第二图像的第二单目图像质检结果确定所述目标定位模式，包括：
若所述第一单目图像质检结果表征所述第一图像通过所述单目图像质量检测、且所述第二单目图像质检结果表征所述第二图像通过所述单目图像质量检测，则对所述第一图像和所述第二图像进行双目图像质量检测，得到双目图像质检结果，所述双目图像质检结果用于表征是否能够基于所述第一图像和所述第二图像完成双目视觉惯性里程计位姿计算；
在所述第一图像和所述第二图像通过所述双目图像质量检测的情况下，将双目定位模式确定为所述目标定位模式；
在所述第一图像和所述第二图像未通过所述双目图像质量检测的情况下，将单目定位模式确定为所述目标定位模式。
6.根据权利要求4或5所述的方法，其特征在于，所述根据所述第一图像的第一单目图像质检结果，和所述第二图像的第二单目图像质检结果确定所述目标定位模式，包括：
若所述第一单目图像质检结果表征所述第一图像通过所述单目图像质量检测，且所述第二单目图像质检结果表征所述第二图像未通过所述单目图像质量检测，则将单目定位模式确定为所述目标定位模式；
若所述第一单目图像质检结果表征所述第一图像未通过所述单目图像质量检测，且所述第二单目图像质检结果表征所述第二图像未通过所述单目图像质量检测，则将非定位模式确定为所述目标定位模式。
7.根据权利要求5所述的方法，其特征在于，所述对所述第一图像和所述第二图像进行双目图像质量检测，得到双目图像质检结果，包括：
对所述第一图像和所述第二图像进行预处理，得到第一预处理图像、第二预处理图像和所述第一预处理图像与所述第二预处理图像之间的光流跟踪信息；
从所述第一预处理图像中提取多个第一目标特征点；
针对每一所述第一目标特征点，基于所述光流跟踪信息，从所述第二预处理图像中确定与所述第一目标特征点对应的第二目标特征点，并基于所述光流跟踪信息，从所述第一预处理图像中确定与所述第二目标特征点对应的第三目标特征点；
若所述第一目标特征点与对应的所述第三目标特征点之间的距离小于第一阈值、且所述第一目标特征点与对应的所述第二目标特征点满足对极约束筛选条件，则将所述第一目标特征点与对应的所述第二目标特征点确定为有效配对点；
在所述有效配对点的数量大于第二阈值的情况下，确定所述第一图像和所述第二图像通过所述双目图像质量检测。
8.根据权利要求7所述的方法，其特征在于，所述相机包括第一相机和第二相机，判断所述第一目标特征点与所述第二目标特征点是否满足所述对极约束筛选条件的方式，包括：
根据所述第一相机的内参，确定所述第一目标特征点在所述第一相机对应的归一化平面上的第一坐标；
根据所述第二相机的内参，确定所述第二目标特征点在所述第二相机对应的归一化平面上的第二坐标；
基于所述第一相机与所述第二相机之间的外参，根据极线约束，确定所述第二坐标对应的极线；
在所述第一坐标到所述极线的距离小于第三阈值时，确定所述第一目标特征点与所述第二目标特征点满足所述对极约束筛选条件。
9.根据权利要求2所述的方法，其特征在于，判断所述图像是否满足所述单目特征点提取条件的方式包括：
对所述图像进行直方图均衡化处理，得到预处理图像；
对所述预处理图像进行网格划分，得到多个网格子图像；
从每一所述网格子图像中选取响应值大于预设响应阈值的候选特征点集合，并从所述候选特征点集合中筛选出目标特征点集合，其中，所述目标特征点集合中的各目标特征点之间的距离大于第四阈值；
计算每一所述目标特征点集合的响应值均值，并根据所有的所述响应值均值计算标准差；
若所述标准差小于第五阈值、且所有所述目标特征点集合中目标特征点的总数量大于第六阈值，则确定所述图像满足所述单目特征点提取条件。
10.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在所述装置处于所述单目定位模式的情况下，每间隔预设时长，针对最近一次获取到的所述图像，触发执行所述判断所述图像的图像类型的步骤；
在所述装置处于所述非定位模式的情况下，针对每一次获取到的所述图像，触发执行所述判断所述图像的图像类型的步骤。
11.根据权利要求5所述的方法，其特征在于，所述方法还包括：
在所述装置处于所述双目定位模式的情况下，若在基于所述第一图像和所述第二图像进行双目视觉惯性里程计位姿计算的过程中，出现特征点匹配失败的情况，则将非定位模式确定为所述目标定位模式。
12.一种定位模式的确定装置，其特征在于，所述装置包括：
接收模块，被配置为用于获取相机采集的图像；
判断模块，被配置为用于判断所述图像的图像类型；
单目质检模块，被配置为用于对所述图像进行单目图像质量检测，得到单目图像质检结果，所述单目图像质检结果用于表征是否能够基于所述图像完成单目视觉惯性里程计位姿计算；
确定模块，被配置为用于根据所述单目图像质检结果和所述图像类型，确定目标定位模式。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-11中任一项所述方法的步骤。
14.一种电子设备，其特征在于，所述电子设备包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-11中任一项所述方法的步骤。
CN202210869236.3A 2022-07-22 2022-07-22 定位模式的确定方法、装置，存储介质及电子设备 Pending CN117474987A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210869236.3A CN117474987A (zh) 2022-07-22 2022-07-22 定位模式的确定方法、装置，存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210869236.3A CN117474987A (zh) 2022-07-22 2022-07-22 定位模式的确定方法、装置，存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN117474987A true CN117474987A (zh) 2024-01-30

Family

ID=89628082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210869236.3A Pending CN117474987A (zh) 2022-07-22 2022-07-22 定位模式的确定方法、装置，存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN117474987A (zh)

Similar Documents

Publication Publication Date Title
KR102126513B1 (ko) 카메라의 포즈를 판단하기 위한 장치 및 방법
CN110807377B (zh) 目标跟踪和入侵检测方法、装置、及存储介质
CN107707871B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
US10395379B2 (en) Image object tracking method and apparatus
US8682109B2 (en) Method and system of reconstructing super-resolution image
US10268904B2 (en) Vehicle vision system with object and lane fusion
Kim et al. Feature point classification based global motion estimation for video stabilization
CN109583391B (zh) 关键点检测方法、装置、设备及可读介质
CN115861975B (zh) 障碍物车辆位姿估计方法及设备
KR20160024771A (ko) 화상 통신 장치, 화상 송신 장치 및 화상 수신 장치
CN110610150A (zh) 一种目标运动物体的跟踪方法、装置、计算设备和介质
CN113301320B (zh) 图像信息处理方法、装置和电子设备
CN109685062B (zh) 一种目标检测方法、装置、设备及存储介质
CN103366155A (zh) 通畅路径检测中的时间相干性
CN111563517B (zh) 图像处理方法、装置、电子设备及存储介质
US20190095761A1 (en) Vicinity supervising device and method for supervising vicinity of vehicle
Chereau et al. Robust motion filtering as an enabler to video stabilization for a tele-operated mobile robot
US20230419500A1 (en) Information processing device and information processing method
US20210089809A1 (en) Deposit detection device and deposit detection method
US20210090237A1 (en) Deposit detection device and deposit detection method
CN117474987A (zh) 定位模式的确定方法、装置，存储介质及电子设备
US10572753B2 (en) Outside recognition device for vehicle
US20130027549A1 (en) Method and device for video surveillance
US9842406B2 (en) System and method for determining colors of foreground, and computer readable recording medium therefor
CN114510031A (zh) 机器人视觉导航方法、装置、机器人及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination