CN117647263A - 基于非线性优化的单光子相机视觉惯性里程计方法及系统 - Google Patents

基于非线性优化的单光子相机视觉惯性里程计方法及系统 Download PDF

Info

Publication number
CN117647263A
CN117647263A CN202311667845.1A CN202311667845A CN117647263A CN 117647263 A CN117647263 A CN 117647263A CN 202311667845 A CN202311667845 A CN 202311667845A CN 117647263 A CN117647263 A CN 117647263A
Authority
CN
China
Prior art keywords
image
frame
optical flow
sum
flow field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311667845.1A
Other languages
English (en)
Other versions
CN117647263B (zh
Inventor
戴志强
姚荷雄
吴欣怡
梁晓琳
赖廷钦
朱祥维
孙仕海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202311667845.1A priority Critical patent/CN117647263B/zh
Publication of CN117647263A publication Critical patent/CN117647263A/zh
Application granted granted Critical
Publication of CN117647263B publication Critical patent/CN117647263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉技术领域，尤其涉及一种基于非线性优化的单光子相机视觉惯性里程计方法及系统，包括：利用单光子相机捕获二值图像帧序列，基于二值图像帧序列，采用高斯图像金字塔进行光流场计算，得到目标图像；将目标图像进行后去噪和色调映射处理，得到关键帧图像，对关键帧图像进行特征点跟踪，得到图像帧角特征跟踪序列，构建滑动窗口状态向量，联合非线性优化求解滑动窗口状态向量的最大后验估计，得到单光子相机视觉惯性里程计的最优位姿估计结果。本发明提出的单光子相机视觉惯性里程计，有效地解决传统图像传感器在复杂环境下的局限性，能够在快速运动、弱光和高动态范围等复杂环境中有效执行视觉惯性里程计及视觉SLAM任务。

Description

基于非线性优化的单光子相机视觉惯性里程计方法及系统
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于非线性优化的单光子相机视觉惯性里程计方法及系统。
背景技术
红外相机利用红外光进行成像，使其在光线较弱的环境下具有良好的视觉表现，能够在低照度环境下工作，且不受光照变化的影响，这使得红外相机在夜间或室内光线较暗的环境中提供更为稳定的视觉信息，然而，红外相机由于相机自身的发热和读取数据结构等原因，会产生固定模式的噪声，在进行非均匀性校正去除噪声时，会导致图像前后存在较大的视角变化，如果视野中存在极端温度的物体，则会导致图像对比度降低和剧烈的光度变化。
同时，事件相机能够在微秒级别上捕捉场景中的运动，使其能够跟踪快速移动的物体或在高速运动下进行SLAM，并能处理较大的动态范围，能够很好地适应复杂的光照条件，例如，室外环境或强烈的光源，然而，事件相机输出的数据与传统相机不同，需要特殊的算法来解决视觉SLAM问题，这些算法需要更多的计算资源和时间来实现，此外，事件相机的视场相对较小且分辨率通常也比传统相机低，这导致事件相机无法捕捉场景中的细节或进行更精确的定位和建图，且在事件相机静止时，无法产生有效的数据。
综上，红外相机和事件相机虽然在各自领域都有其独特的优势，但也存在一些局限性，对于红外相机而言，其最大的挑战在于如何处理由于相机自身发热以及读取数据结构等原因所产生的固定模式噪声，此外，当视野中出现极端温度的物体时，会导致图像对比度降低和剧烈的光度变化，这也会对图像质量产生负面影响；而事件相机的视场相对较小且分辨率通常比传统相机低，导致其无法捕捉到场景中的细节或进行更精确的定位和建图，同时其因像素级别的变化检测导致需要更多的计算资源，而且当事件相机处于静止状态时，无法产生有效的数据，这使其在执行视觉惯性里程计及视觉SLAM任务等需要实时动态反馈的应用场景中表现不佳，无法在快速运动、弱光和高动态范围等具有挑战性的环境中进行准确的位姿估计。
发明内容
本发明的目的在于提供一种基于非线性优化的单光子相机视觉惯性里程计方法及系统，以在快速运动、弱光和高动态范围等挑战性环境下实现位姿的准确估计，执行视觉惯性里程计及视觉SLAM任务。
为解决以上技术问题，本发明提供了一种基于非线性优化的单光子相机视觉惯性里程计方法及系统。
第一方面，本发明提供了一种基于非线性优化的单光子相机视觉惯性里程计方法，所述方法包括以下步骤：
利用单光子相机捕获光子时间切片，得到二值图像帧序列，并将所述二值图像帧序列在时间维度划分为若干非重叠的图像集合；
采用高斯图像金字塔对若干图像集合中相邻二值图像帧进行光流场计算，得到每个图像集合的帧间光流场分布信息；
利用所述帧间光流场分布信息对每个图像集合内的二值图像帧进行对齐合并操作，得到目标图像；
将所述目标图像进行后去噪和色调映射处理，得到关键帧图像；
利用预设的角点检测跟踪算法对所述关键帧图像进行特征点跟踪，得到图像帧角特征跟踪序列；
根据图像帧角特征跟踪序列构建滑动窗口状态向量，并联合非线性优化求解滑动窗口状态向量的最大后验估计，得到单光子相机视觉惯性里程计的最优位姿估计结果。
在进一步的实施方案中，所述采用高斯图像金字塔对若干图像集合中相邻二值图像帧进行光流场计算，得到每个图像集合的帧间光流场分布信息的步骤包括：
从若干所述图像集合中提取一图像集合作为参考图像集合，将剩余图像集合作为辅助图像集合；
计算每个所述辅助图像集合和所述参考图像集合的像素总和，得到局部总和图像；局部总和图像包括辅助总和图像和参考总和图像；
建立每个所述局部总和图像的高斯图像金字塔，并对每个高斯图像金字塔的最顶层图像进行基于图像块的对齐操作，计算每个辅助总和图像相对于参考总和图像的光流场，得到局部总和图像间的光流场；
将所述局部总和图像间的光流场作为每个图像集合中心帧之间的光流场，并利用图像集合中心帧之间的光流场对每个图像集合中所有二值图像帧进行线性插值，获得对应图像集合中相邻二值图像帧之间的帧间光流场分布信息。
在进一步的实施方案中，所述对每个高斯图像金字塔的最顶层图像进行基于图像块的对齐操作，计算每个辅助总和图像相对于参考总和图像的光流场，得到局部总和图像间的光流场的步骤包括：
最小化每个辅助总和图像的高斯图像金字塔最顶层图像相对于参考总和图像的高斯图像金字塔最顶层图像在各个图像块范围内的匹配误差，得到每个辅助总和图像相对于参考总和图像的金字塔顶层光流；
利用所述金字塔顶层光流对所述高斯图像金字塔的各个金字塔层进行逐层迭代，计算每个辅助总和图像相对于参考总和图像的光流场，得到局部总和图像间的光流场。
在进一步的实施方案中，所述匹配误差的表达式为：
式中，Ed表示匹配误差；(u,v)表示最小运动向量；表示图像块的坐标索引，图像块的大小为M×M；(x,y)表示图像块中的像素坐标索引；Saux表示辅助总和图像；Sref表示参考总和图像。
在进一步的实施方案中，所述利用所述帧间光流场分布信息对每个图像集合内的二值图像帧进行对齐合并操作，得到目标图像的步骤包括：
利用所述帧间光流场分布信息对每个图像集合内的二值图像帧进行延迟变换，得到延迟变换二值图像，并将所述延迟变换二值图像相加，得到对准总和图像；
采用维纳滤波器合并所有所述对准总和图像，获得目标图像。
在进一步的实施方案中，将位于所述二值图像帧序列中心的图像集合作为参考图像集合。
在进一步的实施方案中，在联合非线性优化求解滑动窗口状态向量的最大后验估计时所采用的代价函数具体为：
式中，J(χ)表示代价函数；χ表示滑动窗口状态向量；em表示边缘化残差；表示滑动窗口中图像帧角特征点对的自适应权重；/>表示单光子相机的重投影残差；l表示图像帧角特征跟踪序列中的第l个图像帧角特征；k表示第k个关键帧图像；/>表示IMU残差；ξ表示图像帧角特征跟踪序列；χb表示滑动窗口的优化状态变量；λc表示目标图像中图像帧角特征的逆深度；/>表示单光子相机到IMU的外参。
在进一步的实施方案中，所述单光子相机的重投影残差的计算公式为：
式中，表示单光子相机的重投影残差；/>表示第i个关键帧图像中首次观测到的第l个图像帧角特征的像素坐标；/>表示在第k个关键帧图像中观测到的相同图像帧角特征的像素坐标；πc(·)表示单光子相机的投影模型；/>表示时间戳bi中的IMU坐标系到世界系的变换矩阵；/>表示第k个关键帧图像中世界系到IMU坐标系的变换矩阵。
在进一步的实施方案中，所述自适应权重的计算公式为：
其中，
式中，表示第i帧关键帧图像和第j帧关键帧图像匹配的图像帧角特征点对的自适应权重；α表示常数；δα表示常数，用于约束权重的上下限；/>表示姿态协方差矩阵。
第二方面，本发明提供了一种基于非线性优化的单光子相机视觉惯性里程计系统，所述系统包括：
图像获取模块，用于利用单光子相机捕获光子时间切片，得到二值图像帧序列，并将所述二值图像帧序列在时间维度划分为若干非重叠的图像集合；采用高斯图像金字塔对若干图像集合中相邻二值图像帧进行光流场计算，得到每个图像集合的帧间光流场分布信息；利用所述帧间光流场分布信息对每个图像集合内的二值图像帧进行对齐合并操作，得到目标图像；
图像处理模块，用于将所述目标图像进行后去噪和色调映射处理，得到关键帧图像；
特征跟踪模块，用于利用预设的角点检测跟踪算法对所述关键帧图像进行特征点跟踪，得到图像帧角特征跟踪序列；
位姿估计模块，用于根据图像帧角特征跟踪序列构建滑动窗口状态向量，并联合非线性优化求解滑动窗口状态向量的最大后验估计，得到单光子相机视觉惯性里程计的最优位姿估计结果。
第三方面，本发明还提供了一种计算机设备，包括处理器和存储器，所述处理器与所述存储器相连，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以使得所述计算机设备执行实现上述方法的步骤。
本发明提供了一种基于非线性优化的单光子相机视觉惯性里程计方法及系统，所述方法通过单光子相机捕获光子时间切片，得到二值图像帧序列，并将二值图像帧序列在时间维度划分为若干非重叠的图像集合；采用高斯图像金字塔获取目标图像；将目标图像进行后去噪和色调映射处理，得到关键帧图像；利用预设的角点检测跟踪算法对关键帧图像进行特征点跟踪，得到图像帧角特征跟踪序列；根据图像帧角特征跟踪序列构建滑动窗口状态向量，并联合非线性优化求解滑动窗口状态向量的最大后验估计，得到单光子相机视觉惯性里程计的最优位姿估计结果。与现有技术相比，该方法提出的单光子相机视觉惯性里程计能够在极具挑战性的环境中有效执行视觉惯性里程计及视觉SLAM任务，使用单光子相机有效地解决了红外相机引入的噪声问题和物体表面温度对图像对比度和光度的影响、以及事件相机因像素级别变化检测而导致的额外计算资源需求，能够在快速运动、弱光和高动态范围等复杂环境中有效执行视觉惯性里程计及视觉SLAM任务，提高了其在复杂环境中位姿估计的准确性，在视觉导航和定位领域具有广泛的应用前景。
附图说明
图1是本发明实施例提供的基于非线性优化的单光子相机视觉惯性里程计方法流程示意图；
图2是本发明实施例提供的目标图像获取过程示意图；
图3是本发明实施例提供的单光子相机视觉惯性里程计方法实现过程示意图；
图4是本发明实施例提供的基于非线性优化的单光子相机视觉惯性里程计系统框图；
图5是本发明实施例提供的计算机设备的结构示意图。
具体实施方式
下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
参考图1，本发明实施例提供了一种基于非线性优化的单光子相机视觉惯性里程计方法，如图1所示，该方法包括以下步骤：
S1.利用单光子相机捕获光子时间切片，得到二值图像帧序列，并将所述二值图像帧序列在时间维度划分为若干非重叠的图像集合。
SPAD(Single-Photon Avalanche Diode，单光子雪崩二极管)相机成像时，先捕获一系列光子时间切片，也就是二值图像帧序列，可以将它们加和转化为灰度图像，二值图像中的每个像素都有0或1两种状态，用于表示是否探测到光子，如果探测到一个或一个以上光子时，其像素值记为1，否则其像素值记为0，当场景和相机相对运动时，从一个场景点反射回相机的光子会在相机的多个SPAD探测器像素上发生失配准，导致像素值出现飞跃，然而，通过对SPAD相机连续获取的多帧二值图像进行对齐和合并，可以利用像素值的抖动或飞跃特性，获取到一个场景点在不同时间段内反射回相机的所有光子信息，并将它们合并为更加准确的像素值，这种处理方式能够有效提高像素值的位深度和动态范围，在弱光、高速运动的极端条件下获得高位深度、高动态范围的目标场景照片。
当利用SPAD相机捕获高帧率图像时，在局部时间窗口内的图像序列中，图像序列的每个像素间的速率近似恒定，因此，在处理图像序列时，可以将这个恒定速率的像素值作为求解随机二值图像帧序列运动场的附加约束条件，同时为了更好地对齐合并分析图像序列，本实施例将二值图像帧序列按照时间维度进行划分，通过将二值图像帧序列切分为多个非重叠且包含相等帧数的图像集合，可以更方便地进行运动场的估计和重建，每个图像集合都代表了相对连续的时间段内捕获的图像，本实施例优先以60帧为一个图像集合。
S2.采用高斯图像金字塔对若干图像集合中相邻二值图像帧进行光流场计算，得到每个图像集合的帧间光流场分布信息。
所述采用高斯图像金字塔对若干图像集合中相邻二值图像帧进行光流场计算，得到每个图像集合的帧间光流场分布信息的步骤包括：
从若干所述图像集合中提取一图像集合作为参考图像集合，将剩余图像集合作为辅助图像集合；
计算每个所述辅助图像集合和所述参考图像集合的像素总和，得到局部总和图像；局部总和图像包括辅助总和图像和参考总和图像；
建立每个所述局部总和图像的高斯图像金字塔，并对每个高斯图像金字塔的最顶层图像进行基于图像块的对齐操作，计算每个辅助总和图像相对于参考总和图像的光流场，得到局部总和图像间的光流场；
将所述局部总和图像间的光流场作为每个图像集合中心帧之间的光流场，并利用图像集合中心帧之间的光流场对每个图像集合中所有二值图像帧进行线性插值，获得对应图像集合中相邻二值图像帧之间的帧间光流场分布信息。
所述对每个高斯图像金字塔的最顶层图像进行基于图像块的对齐操作，计算每个辅助总和图像相对于参考总和图像的光流场，得到局部总和图像间的光流场的步骤包括：
最小化每个辅助总和图像的高斯图像金字塔最顶层图像相对于参考总和图像的高斯图像金字塔最顶层图像在各个图像块范围内的匹配误差，得到每个辅助总和图像相对于参考总和图像的金字塔顶层光流；
利用所述金字塔顶层光流对所述高斯图像金字塔的各个金字塔层进行逐层迭代，计算每个辅助总和图像相对于参考总和图像的光流场，得到局部总和图像间的光流场。
具体地，本实施例将位于所述二值图像帧序列中心的图像集合作为参考图像集合，其余的图像集合作为辅助图像集合，然后计算每个图像集合的总和(对应像素的像素值简单累加)，获得局部总和图像，局部总和图像相较于单独的二值帧图像有着更高的SNR，因此，更容易通过光流法进行对齐，在完成对二值帧图像序列的获取和划分后，为了更好地进行对齐合并操作，本实施例首先需要计算图像间的光流，光流场的计算分为局部总和图像间的光流场和帧间光流场分布信息两级，其中，局部总和图像间的光流场的计算过程为：
对每个图像集合的局部总和图像建立高斯图像金字塔，金字塔的层数可以根据局部总和图像的空间分辨率进行调整，较高的空间分辨率可以建立更多层数的高斯图像金字塔，本实施例将局部总和图像与低通高斯滤波矩阵(常用3*3或5*5的奇数矩阵)做卷积处理；然后利用基数为2的下采样获得维数减半的上一层图像，从下往上逐层构建，得到对应的高斯图像金字塔；
本实施例在参考图像集合以及所有辅助图像集合的局部总和图像都得到对应的高斯图像金字塔之后，将每个高斯图像金字塔最顶层(分辨率最低的一层)图像进行基于图像块的对齐操作，即通过最小化每个辅助总和图像的高斯图像金字塔最顶层图像相对于参考总和图像的高斯图像金字塔最顶层图像在各个图像块范围内的匹配误差，得到图像块的光流(运动向量)，所有图像块光流的集合即为光流场，对于索引为的图像块，拓展到像素索引为：
该图像块范围内的匹配误差由下式给出：
式中，Ed表示匹配误差；(u,v)表示所找的最小运动向量；表示图像块的坐标索引，图像块的大小为M×M；(x,y)表示图像块中的像素坐标索引；Saux表示辅助总和图像；Sref表示参考总和图像；
在计算得出每个辅助总和图像相对于参考总和图像的金字塔顶层光流后，通过逐层向下不断迭代反馈，获得高斯图像金字塔最底层的光流场，即每个辅助总和图像相对于参考总和图像的实际运动场，同时视作每个辅助图像集合相对于参考图像集合的运动场，本实施例设高斯图像金字塔最顶层为L层，最底层为0层，最顶层的光流计算结果为dL，由于高斯图像金字塔自下而上进行下采样，减小了图像块的光流值，因此，拟定最顶层光流估计值为gL＝0，将上一层的光流向下反馈，作为下一层初始的光流估计值，设置下一层的光流估计值为：
gL-1＝2(gL+dL)
由于上层金字塔中的一个像素可以代表下层的两个像素，因此，在上层向下反馈时，光流向量需要扩大2倍，同时通过最小化匹配误差计算得到同一层的光流dL-1，从而再下一层的光流估计值为：
gL-2＝2(gL-1+dL-1)
按照上述方式向下迭代反馈，重复估计每一层的光流值，最终获得局部总和图像间的光流场为d＝g0+d0。
在计算得到局部总和图像间的光流场之后，本实施例将上述计算获得的局部总和图像间的光流场视为每个图像集合中心帧之间的光流场，并基于图像集合中心帧对每个图像集合所有图像帧进行线性插值，获得整个二值图像帧序列中相邻二值图像之间的帧间光流场分布信息。
S3.利用所述帧间光流场分布信息对每个图像集合内的二值图像帧进行对齐合并操作，得到目标图像。
本实施例利用通过线性插值获得的帧间光流场分布信息在细尺度上对每个图像集合内的二值图像进行延迟变换，延迟变换后的二值图像通过简单相加得到对准总和图像，然后采用维纳滤波器合并所有对准总和图像，获得最终消除运动模糊、且提高一定程度信噪比和分辨率的灰度图像，并将合并得到的该灰度图像作为目标图像。
S4.将所述目标图像进行后去噪和色调映射处理，得到关键帧图像。
在二值图像合并后，作为目标图像的灰度图像仍然存在高度马赛克现象，并且物体边缘受噪声干扰较大，导致出现伪边缘的情况，这种情况会对下游特征提取产生影响，因此，为了改善图像质量，在合并图像后，本实施例将采用BM3D(Block-matching and 3Dfiltering，3维块匹配滤波)算法进行空间去噪，提高图像的清晰度和边缘的准确性。
此外，高动态图像是指具有较大动态范围的图像，图像的动态范围是指最大亮度值与最小亮度值之间的比值，高动态图像的灰度值分布不均匀，而且只有少数像素点亮度较高，因此，如果直接将图像进行线性归一化(将最大值映射为255，最小值映射为0)后显示，整个图像会变得一片黑暗，因此，为了更好地表达高动态图像中的信息和特征，需要采用色调映射来调整图像的灰度，本实施例优先采用伽马校正进行灰度校正，伽马校正可以对图像的亮度进行非线性的变换，使得亮度值分布更加合适，能够更好地展示图像中的细节和特征。
因此，本实施例在图像合并得到目标图像后，使用BM3D算法对目标图像进行空间去噪，以消除马赛克现象和伪边缘，同时，通过采用伽马校正进行灰度校正，可以更好地展现高动态图像的特征和信息。
S5.利用预设的角点检测跟踪算法对所述关键帧图像进行特征点跟踪，得到图像帧角特征跟踪序列。
由于FAST(Features from Accelerated Segment Test)角点检测算法能够快速而准确地检测到关键的角点特征，因此，本实施例优先采用FAST角点检测算法来提取关键帧图像中的特征点，然后使用KLT(Kanade-Lucas-Tomasi)光流法对检测到的特征点进行跟踪，KLT光流法可以利用特征点在连续帧之间的位置变化来估计其对应的运动，每个特征点被视为候选特征点，并在多个帧上进行特征点跟踪，一旦某个特征点在多帧中得到可靠的跟踪结果，本实施例将对该特征点进行三角测量，计算其对应的3D路标点，并将其标记为可长期跟踪的特征点，这个特征点将在下一帧中进行进一步的跟踪，在此过程中，本实施例设置了两个相邻特征点之间的最小像素间隔来实现均匀的特征分布，这样可以避免特征点集中在图像的某个局部区域，保证特征点的均匀分布，需要说明的是，如果跟踪的特征点数量低于设定的阈值，则会重新检测图像帧上的特征点，以补充或更新特征点集合。
由此，本实施例对关键帧图像进行特征点提取和跟踪，可以在图像序列中提取并跟踪出具有稳定运动的特征点，并将其转化为长期可用的特征点，以用于后续的目标跟踪或视觉定位等任务。
S6.根据图像帧角特征跟踪序列构建滑动窗口状态向量，并联合非线性优化求解滑动窗口状态向量的最大后验估计，得到单光子相机视觉惯性里程计的最优位姿估计结果。
本实施例根据图像帧角特征跟踪序列构建滑动窗口状态向量，所述滑动窗口状态向量定义为：
式中，χ表示滑动窗口状态向量；表示目标图像中第m个图像帧角特征的逆深度；/>表示单光子相机到IMU的外参；χb＝[X1,...,XK]表示滑动窗口的优化状态变量，所述优化状态变量包括IMU在世界坐标系的位置、方向四元数、速度、加速度计偏差和陀螺仪偏差，其中，K表示滑动窗口的关键帧图像总数，第K个关键帧图像的系统状态XK由IMU在世界坐标系的位置/>方向四元数/>速度/>加速度计偏差/>陀螺仪偏差/>组成，第K个关键帧图像的系统状态XK如下式所示：
本实施例使用联合非线性优化方法来求解滑动窗口状态向量的最大后验估计，通过定义代价函数J(χ)，并使用Ceres优化器来求解这个非线性问题进行优化，在使用Ceres优化器求解这个非线性问题时，需要将代价函数J(χ)转化为Ceres可接受的形式，本实施例将滑动窗口状态估计问题转化为一个最小化代价函数的优化问题，通过最小化代价函数J(χ)，以使Ceres优化器可以通过迭代的方式找到滑动窗口状态向量χ的最优估计，从而实现滑动窗口状态向量的最大后验估计，得到滑动窗口状态向量的最优位姿估计值，在联合非线性优化求解滑动窗口状态向量的最大后验估计时，所采用的代价函数具体为：
式中，J(χ)表示代价函数；χ表示滑动窗口状态向量；em表示边缘化残差；表示滑动窗口中图像帧角特征点对的自适应权重；/>表示单光子相机的重投影残差；l表示图像帧角特征跟踪序列中的第l个图像帧角特征；k表示第k个关键帧图像；/>表示IMU残差；ξ表示图像帧角特征跟踪序列；χb表示滑动窗口的优化状态变量；λc表示目标图像中图像帧角特征的逆深度；/>表示单光子相机到IMU的外参。
在本实施例中，在第i个关键帧图像中首次观测到的第l个图像帧角特征，其在第k个关键帧图像的单光子相机重投影残差定义为：
式中，表示单光子相机的重投影残差；/>表示在第i个关键帧图像中首次观测到的第l个图像帧角特征的像素坐标；/>表示在第k个关键帧图像中观测到的相同图像帧角特征的像素坐标；πc(·)表示单光子相机的投影模型；/>表示第i个关键帧图像中的IMU坐标系到世界系的变换矩阵；/>表示第k个关键帧图像中世界系到IMU坐标系的变换矩阵。
对于IMU残差，在时间tk时，IMU角速度ωk和加速度ak的原始测量值为：
式中，na和nω表示加性高斯白噪声；表示k帧IMU测量得到的三轴加速度；ak表示为k时刻的加速度实际值；/>表示第k个关键帧图像从世界系到机体系的旋转矩阵；/>表示k帧IMU加速度的偏置量；/>表示k帧IMU测量得到的三轴角速度；ωk表示k时刻的角速度实际值；/>表示(k+1)帧IMU角速度的偏置量；gw表示世界系下的重力向量。
本实施例给定与关键帧图像bk和bk+1相对应的时间间隔[tk,tk+1]，使用陀螺仪和加速度计将在对应的时间间隔在世界系中表示出：
为了确保预积分项仅与[tk,tk+1]中的IMU测量值和偏差有关，并进行离散化，得到预积分估计值：
因此，IMU残差可以表示为：
式中，[·]xyz表示提取了用于误差状态表示的方向四元数的向量部分；/>表示四元数乘法；/>表示k时刻从IMU坐标系到世界系的旋转矩阵；/>表示(k+1)时刻IMU坐标系在世界坐标系下对应的位置；/>表示(k+1)时刻IMU坐标系在世界坐标系下对应的速度；Δt表示两个连续关键帧图像bk和bk+1之间的时间间隔，即k与(k+1)时刻之间的时间间隔；gw表示是世界坐标系下的重力矢量；/> 表示两个连续关键帧图像bk和bk+1的时间间隔内位置、速度、角速度的预积分估计值；/>表示(k+1)时刻IMU加速度的偏置量；/>表示(k+1)时刻IMU角速度的偏置量。
在本实施例中，虽然通过对目标图像进行去噪、色调映射等处理，可以获得较小的运动模糊和伪影、高信噪比和高动态范围的图像，从而使得视觉惯性里程计能够在光照变化、图像模糊下完成位姿估计任务，但是在一些极端的环境下，图像质量仍会急剧下降，导致视觉惯性融合失败，降低位姿估计精度，因此，为了克服这个问题，本实施例设计了多传感器层自适应加权算法，当图像质量较好时，由视觉构建的姿态协方差矩阵具有高置信度，并且视觉信息能够提供更有效、更合理的位姿估计，此时，算法倾向于选择视觉并增加视觉约束的权重，以使视觉信息得到更有效、更合理的使用，然而，在图像质量较差的情况下，由IMU测量获得的姿态信息更加可靠，并且IMU能够提供足够的惯性约束以减少视觉估计的误差，因此，当图像质量下降时，多传感器层自适应加权算法更倾向于选择IMU并减少视觉约束的权重，以使系统能够获得更可靠的位姿估计，通过自适应加权算法，系统能够根据不同环境下的传感器信息的可靠性和置信度，动态地调整视觉与IMU信息的加权比例，从而在不同环境下获得更精确、更鲁棒的位姿估计。
在本实施例中，第l个图像帧角特征的雅可比矩阵J是视觉重投影误差对姿态的偏导数，q个图像帧角特征的雅可比矩阵定义为：
通过协方差矩阵给出了图像测量传播误差对姿态参数的一阶近似：
其中，ΣI为图像测量的协方差矩阵，是一个对角线为的对角矩阵。
矩阵Σθ表示姿态空间中的6-DoF置信椭球，椭球的平均半径为：
ρ＝(α)1/2(detΣθ)1/12
其中，α是一个常数，使用滑动窗口中(i-1)帧的姿态以及(i-1)帧与i帧之间的IMU信息，可以推断出i帧中姿态的初始值，基于初始值以及(i-1)帧与i帧之间匹配的特征点对，可以构造姿态协方差矩阵因此，视觉约束的权重为：
通过匹配第i帧和第j帧的特征点对构建的多传感器层自适应权重如下，所述自适应权重的计算公式为：
其中，按照上述视觉约束的权重公式可知：
式中，表示第i帧关键帧图像和第j帧关键帧图像匹配的图像帧角特征点对的自适应权重；α表示常数；δα表示常数，用于约束权重的上下限；/>表示姿态协方差矩阵。
综上所述，单光子雪崩二极管是一种先进的图像传感器，为执行视觉惯性里程计和视觉SLAM任务提供了全新的解决方案，在应对快速运动、弱光和高动态范围等复杂环境表现出色，有效地解决传统图像传感器在复杂环境下的局限性，相比传统的红外相机和事件相机，单光子相机不仅有效地解决了红外相机在低照度环境下引入的噪声问题以及物体表面温度对图像对比度和光度的质量影响，使其能够生成高质量、清晰度高的图像，为视觉任务提供可靠的输入数据，而且单光子相机避免了事件相机因像素级别变化检测而导致的额外计算资源需求，事件相机在捕捉场景中的运动时，需要对每个像素进行变化检测，这需要大量的计算资源和时间，然而，单光子相机能够在不增加计算负担的情况下实现运动捕捉和位姿估计，即使在静止状态下，单光子相机也能输出稳定的图像，，这为计算资源的合理利用提供了便利，能够解决在执行视觉惯性里程计及视觉SLAM任务需要不断地捕捉图像并进行处理时，由图像输出不稳定产生的对位姿估计准确性的负面影响问题，单光子相机这些优势的结合使得单光子相机在快速运动、弱光和高动态范围等挑战性环境下的位姿估计任务具备了更高的准确性和可靠性。
本发明实施例提供了一种基于非线性优化的单光子相机视觉惯性里程计方法，所述方法通过将单光子相机捕获的二值图像帧序列对齐并合并，重建图像帧，使其具有较小的运动模糊和伪影、高信噪比和高动态范围，并将单光子相机数据和IMU数据进行融合，使用滑动窗口进行位姿优化，得到准确的位姿估计。与采用传统图像传感器的视觉惯性里程计方法相比，本实施例提出的单光子相机视觉惯性里程计有效地解决传统图像传感器在复杂环境下的局限性，在快速运动、弱光和高动态范围等挑战性环境下的位姿估计任务中具备更高的准确性和可靠性，能够在极具复杂的环境中有效执行视觉惯性里程计及视觉SLAM任务，有效解决了红外相机产生的噪声问题和物体表面温度导致的图像对比度降低及光度剧烈变化问题，而且避免了事件相机因像素级别的变化检测而导致的额外计算资源消耗，为视觉导航和定位领域带来了广泛的应用前景，并为解决真实复杂环境下的位姿估计问题提供了有力的技术支持。
需要说明的是，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一个实施例中，如图4所示，本发明实施例提供了一种基于非线性优化的单光子相机视觉惯性里程计系统，所述系统包括：
图像获取模块101，用于利用单光子相机捕获光子时间切片，得到二值图像帧序列，并将所述二值图像帧序列在时间维度划分为若干非重叠的图像集合；采用高斯图像金字塔对若干图像集合中相邻二值图像帧进行光流场计算，得到每个图像集合的帧间光流场分布信息；利用所述帧间光流场分布信息对每个图像集合内的二值图像帧进行对齐合并操作，得到目标图像；
图像处理模块102，用于将所述目标图像进行后去噪和色调映射处理，得到关键帧图像；
特征跟踪模块103，用于利用预设的角点检测跟踪算法对所述关键帧图像进行特征点跟踪，得到图像帧角特征跟踪序列；
位姿估计模块104，用于根据图像帧角特征跟踪序列构建滑动窗口状态向量，并联合非线性优化求解滑动窗口状态向量的最大后验估计，得到单光子相机视觉惯性里程计的最优位姿估计结果。
关于一种基于非线性优化的单光子相机视觉惯性里程计系统的具体限定可以参见上述对于一种基于非线性优化的单光子相机视觉惯性里程计方法的限定，此处不再赘述。本领域普通技术人员可以意识到，结合本申请所公开的实施例描述的各个模块和步骤，能够以硬件、软件或者两者结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本发明实施例提供了一种基于非线性优化的单光子相机视觉惯性里程计系统，所述系统通过图像获取模块将单光子相机捕获的二值图像帧序列对齐并合并，重建图像帧，使其具有较小的运动模糊和伪影、高信噪比和高动态范围；通过图像处理模块对目标图像进行去噪和色调映射处理；通过特征跟踪模块实现对图像特征点的检测跟踪；通过位姿估计模块将单光子相机数据和IMU数据进行融合，使用滑动窗口进行位姿优化，得到准确的位姿估计。与现有技术相比，本申请采用的单光子相机的视觉惯性里程计能够在各种快速运动、弱光和高动态范围等极具挑战性的复杂环境下，执行视觉惯性里程计及视觉SLAM任务，有效地解决传统图像传感器在复杂环境下的局限性，同时以其在静止状态下也能提供稳定的图像输出的特点，大大提高了单光子相机在执行视觉惯性里程计及视觉SLAM任务中的位姿估计准确性。
图5是本发明实施例提供的一种计算机设备，包括存储器、处理器和收发器，它们之间通过总线连接；存储器用于存储一组计算机程序指令和数据，并可以将存储的数据传输给处理器，处理器可以执行存储器存储的程序指令，以执行上述方法的步骤。
其中，存储器可以包括易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者；处理器可以是中央处理器、微处理器、特定应用集成电路、可编程逻辑器件或其组合。通过示例性但不是限制性说明，上述可编程逻辑器件可以是复杂可编程逻辑器件、现场可编程逻辑门阵列、通用阵列逻辑或其任意组合。
另外，存储器可以是物理上独立的单元，也可以与处理器集成在一起。
本领域普通技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有相同的部件布置。
本发明实施例提供的一种基于非线性优化的单光子相机视觉惯性里程计方法及系统，其一种基于非线性优化的单光子相机视觉惯性里程计方法在快速运动、弱光和高动态范围等挑战性环境下具有卓越的性能，避免了传统图像传感器视觉惯性里程计在复杂环境下的局限性，并以其在静止状态下也能提供稳定的图像输出，使其能够在极具挑战性的环境中有效执行视觉惯性里程计及视觉SLAM任务，大大提高了在快速运动、弱光和高动态范围等复杂环境下的位姿估计准确性。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。
本领域技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。
以上所述实施例仅表达了本申请的几种优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。因此，本申请专利的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于非线性优化的单光子相机视觉惯性里程计方法，其特征在于，包括以下步骤：
利用单光子相机捕获光子时间切片，得到二值图像帧序列，并将所述二值图像帧序列在时间维度划分为若干非重叠的图像集合；
采用高斯图像金字塔对若干图像集合中相邻二值图像帧进行光流场计算，得到每个图像集合的帧间光流场分布信息；
利用所述帧间光流场分布信息对每个图像集合内的二值图像帧进行对齐合并操作，得到目标图像；
将所述目标图像进行后去噪和色调映射处理，得到关键帧图像；
利用预设的角点检测跟踪算法对所述关键帧图像进行特征点跟踪，得到图像帧角特征跟踪序列；
根据图像帧角特征跟踪序列构建滑动窗口状态向量，并联合非线性优化求解滑动窗口状态向量的最大后验估计，得到单光子相机视觉惯性里程计的最优位姿估计结果。
2.如权利要求1所述的一种基于非线性优化的单光子相机视觉惯性里程计方法，其特征在于，所述采用高斯图像金字塔对若干图像集合中相邻二值图像帧进行光流场计算，得到每个图像集合的帧间光流场分布信息的步骤包括：
从若干所述图像集合中提取一图像集合作为参考图像集合，将剩余图像集合作为辅助图像集合；
计算每个所述辅助图像集合和所述参考图像集合的像素总和，得到局部总和图像；局部总和图像包括辅助总和图像和参考总和图像；
建立每个所述局部总和图像的高斯图像金字塔，并对每个高斯图像金字塔的最顶层图像进行基于图像块的对齐操作，计算每个辅助总和图像相对于参考总和图像的光流场，得到局部总和图像间的光流场；
将所述局部总和图像间的光流场作为每个图像集合中心帧之间的光流场，并利用图像集合中心帧之间的光流场对每个图像集合中所有二值图像帧进行线性插值，获得对应图像集合中相邻二值图像帧之间的帧间光流场分布信息。
3.如权利要求2所述的一种基于非线性优化的单光子相机视觉惯性里程计方法，其特征在于，所述对每个高斯图像金字塔的最顶层图像进行基于图像块的对齐操作，计算每个辅助总和图像相对于参考总和图像的光流场，得到局部总和图像间的光流场的步骤包括：
最小化每个辅助总和图像的高斯图像金字塔最顶层图像相对于参考总和图像的高斯图像金字塔最顶层图像在各个图像块范围内的匹配误差，得到每个辅助总和图像相对于参考总和图像的金字塔顶层光流；
利用所述金字塔顶层光流对所述高斯图像金字塔的各个金字塔层进行逐层迭代，计算每个辅助总和图像相对于参考总和图像的光流场，得到局部总和图像间的光流场。
4.如权利要求3所述的一种基于非线性优化的单光子相机视觉惯性里程计方法，其特征在于，所述匹配误差的表达式为：
式中，Ed表示匹配误差；(u,v)表示最小运动向量；表示图像块的坐标索引，图像块的大小为M×M；(x,y)表示图像块中的像素坐标索引；Saux表示辅助总和图像；Sref表示参考总和图像。
5.如权利要求1所述的一种基于非线性优化的单光子相机视觉惯性里程计方法，其特征在于，所述利用所述帧间光流场分布信息对每个图像集合内的二值图像帧进行对齐合并操作，得到目标图像的步骤包括：
利用所述帧间光流场分布信息对每个图像集合内的二值图像帧进行延迟变换，得到延迟变换二值图像，并将所述延迟变换二值图像相加，得到对准总和图像；
采用维纳滤波器合并所有所述对准总和图像，获得目标图像。
6.如权利要求1所述的一种基于非线性优化的单光子相机视觉惯性里程计方法及系统，其特征在于，在联合非线性优化求解滑动窗口状态向量的最大后验估计时所采用的代价函数具体为：
式中，J(χ)表示代价函数；χ表示滑动窗口状态向量；em表示边缘化残差；表示滑动窗口中图像帧角特征点对的自适应权重；/>表示单光子相机的重投影残差；l表示图像帧角特征跟踪序列中的第l个图像帧角特征；k表示第k个关键帧图像；/>表示IMU残差；ξ表示图像帧角特征跟踪序列；χb表示滑动窗口的优化状态变量；λc表示目标图像中图像帧角特征的逆深度；/>表示单光子相机到IMU的外参。
7.如权利要求6所述的一种基于非线性优化的单光子相机视觉惯性里程计方法，其特征在于，所述单光子相机的重投影残差的计算公式为：
式中，表示单光子相机的重投影残差；/>表示第i个关键帧图像中首次观测到的第l个图像帧角特征的像素坐标；/>表示在第k个关键帧图像中观测到的相同图像帧角特征的像素坐标；πc(·)表示单光子相机的投影模型；/>表示第i个关键帧图像中的IMU坐标系到世界系的变换矩阵；/>表示第k个关键帧图像中世界系到IMU坐标系的变换矩阵。
8.如权利要求6所述的一种基于非线性优化的单光子相机视觉惯性里程计方法，其特征在于，所述自适应权重的计算公式为：
其中，
式中，表示第i帧关键帧图像和第j帧关键帧图像匹配的图像帧角特征点对的自适应权重；α表示常数；δα表示常数，用于约束权重的上下限；/>表示姿态协方差矩阵。
9.一种基于非线性优化的单光子相机视觉惯性里程计系统，其特征在于，所述系统包括：
图像获取模块，用于利用单光子相机捕获光子时间切片，得到二值图像帧序列，并将所述二值图像帧序列在时间维度划分为若干非重叠的图像集合；采用高斯图像金字塔对若干图像集合中相邻二值图像帧进行光流场计算，得到每个图像集合的帧间光流场分布信息；利用所述帧间光流场分布信息对每个图像集合内的二值图像帧进行对齐合并操作，得到目标图像；
图像处理模块，用于将所述目标图像进行后去噪和色调映射处理，得到关键帧图像；
特征跟踪模块，用于利用预设的角点检测跟踪算法对所述关键帧图像进行特征点跟踪，得到图像帧角特征跟踪序列；
位姿估计模块，用于根据图像帧角特征跟踪序列构建滑动窗口状态向量，并联合非线性优化求解滑动窗口状态向量的最大后验估计，得到单光子相机视觉惯性里程计的最优位姿估计结果。
10.一种计算机设备，其特征在于：包括处理器和存储器，所述处理器与所述存储器相连，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以使得所述计算机设备执行如权利要求1至8中任一项所述的方法。
CN202311667845.1A 2023-12-06 2023-12-06 基于非线性优化的单光子相机视觉惯性里程计方法及系统 Active CN117647263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311667845.1A CN117647263B (zh) 2023-12-06 2023-12-06 基于非线性优化的单光子相机视觉惯性里程计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311667845.1A CN117647263B (zh) 2023-12-06 2023-12-06 基于非线性优化的单光子相机视觉惯性里程计方法及系统

Publications (2)

Publication Number Publication Date
CN117647263A true CN117647263A (zh) 2024-03-05
CN117647263B CN117647263B (zh) 2024-07-09

Family

ID=90047479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311667845.1A Active CN117647263B (zh) 2023-12-06 2023-12-06 基于非线性优化的单光子相机视觉惯性里程计方法及系统

Country Status (1)

Country Link
CN (1) CN117647263B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140333741A1 (en) * 2013-05-08 2014-11-13 Regents Of The University Of Minnesota Constrained key frame localization and mapping for vision-aided inertial navigation
CN110517283A (zh) * 2019-07-18 2019-11-29 平安科技（深圳）有限公司 姿态跟踪方法、装置及计算机可读存储介质
CN111609868A (zh) * 2020-05-29 2020-09-01 电子科技大学 一种基于改进光流法的视觉惯性里程计方法
CN111932616A (zh) * 2020-07-13 2020-11-13 清华大学 一种利用并行计算加速的双目视觉惯性里程计方法
CN114234967A (zh) * 2021-12-16 2022-03-25 浙江大学 一种基于多传感器融合的六足机器人定位方法
CN114782499A (zh) * 2022-04-28 2022-07-22 杭州电子科技大学 一种基于光流和视图几何约束的图像静态区域提取方法及装置
CN115371673A (zh) * 2022-07-14 2022-11-22 北京理工大学 一种未知环境中基于Bundle Adjustment的双目相机目标定位方法
CN115406447A (zh) * 2022-10-31 2022-11-29 南京理工大学 拒止环境下基于视觉惯性的四旋翼无人机自主定位方法
CN115479602A (zh) * 2022-10-14 2022-12-16 北京航空航天大学 一种融合事件与距离的视觉惯性里程计方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140333741A1 (en) * 2013-05-08 2014-11-13 Regents Of The University Of Minnesota Constrained key frame localization and mapping for vision-aided inertial navigation
CN110517283A (zh) * 2019-07-18 2019-11-29 平安科技（深圳）有限公司 姿态跟踪方法、装置及计算机可读存储介质
CN111609868A (zh) * 2020-05-29 2020-09-01 电子科技大学 一种基于改进光流法的视觉惯性里程计方法
CN111932616A (zh) * 2020-07-13 2020-11-13 清华大学 一种利用并行计算加速的双目视觉惯性里程计方法
CN114234967A (zh) * 2021-12-16 2022-03-25 浙江大学 一种基于多传感器融合的六足机器人定位方法
CN114782499A (zh) * 2022-04-28 2022-07-22 杭州电子科技大学 一种基于光流和视图几何约束的图像静态区域提取方法及装置
CN115371673A (zh) * 2022-07-14 2022-11-22 北京理工大学 一种未知环境中基于Bundle Adjustment的双目相机目标定位方法
CN115479602A (zh) * 2022-10-14 2022-12-16 北京航空航天大学 一种融合事件与距离的视觉惯性里程计方法
CN115406447A (zh) * 2022-10-31 2022-11-29 南京理工大学 拒止环境下基于视觉惯性的四旋翼无人机自主定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LAI YANQING等: "Single-pixel 3D imaging based on fusion temporal data of single photon detector and millimeter-wave radar", COMPUTER SCIENCE, 20 October 2023 (2023-10-20) *
刘大鹏: "面向室内SLAM的视觉惯性融合定位方法研究", 中国优秀硕士学位论文全文数据库信息科技辑, 15 March 2023 (2023-03-15) *

Also Published As

Publication number Publication date
CN117647263B (zh) 2024-07-09

Similar Documents

Publication Publication Date Title
US10769480B2 (en) Object detection method and system
US10542208B2 (en) Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
CN104704384B (zh) 具体用于装置的基于视觉的定位的图像处理方法
US11215700B2 (en) Method and system for real-time motion artifact handling and noise removal for ToF sensor images
CN111210477B (zh) 一种运动目标的定位方法及系统
JP2020522067A (ja) 動的視覚センサ用ブロックマッチングオプティカルフローとステレオ視
EP2901236B1 (en) Video-assisted target location
Falquez et al. Inertial aided dense & semi-dense methods for robust direct visual odometry
KR20150121179A (ko) 실시간 스테레오 정합
KR20140027468A (ko) 깊이 측정치 품질 향상
CN109247068A (zh) 用于滚动快门补偿的方法和设备
US11042984B2 (en) Systems and methods for providing image depth information
CN108827341A (zh) 用于确定图像采集装置的惯性测量单元中的偏差的方法
CN111899276A (zh) 一种基于双目事件相机的slam方法及系统
JP2014526736A (ja) 方位センサに基づくホモグラフィ分解の曖昧性の解決
JP2015524946A (ja) 画像解像度が改善された超解像画像を形成するための方法及び測定装置
WO2020044886A1 (ja) 変位計測装置及び変位計測方法
WO2016022188A2 (en) Video-assisted landing guidance system and method
CN117036404A (zh) 一种单目热成像同时定位与建图方法和系统
CN112179373A (zh) 一种视觉里程计的测量方法及视觉里程计
WO2021230157A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
CN104937608B (zh) 道路区域检测
JP5267100B2 (ja) 運動推定装置及びプログラム
CN113438409A (zh) 延迟校准方法、装置、计算机设备和存储介质
CN117647263B (zh) 基于非线性优化的单光子相机视觉惯性里程计方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant