CN116188545A - 基于imu和里程计的红外与可见光传感器在线配准方法 - Google Patents

基于imu和里程计的红外与可见光传感器在线配准方法 Download PDF

Info

Publication number
CN116188545A
CN116188545A CN202211707440.1A CN202211707440A CN116188545A CN 116188545 A CN116188545 A CN 116188545A CN 202211707440 A CN202211707440 A CN 202211707440A CN 116188545 A CN116188545 A CN 116188545A
Authority
CN
China
Prior art keywords
image
visible light
infrared
pixel
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211707440.1A
Other languages
English (en)
Inventor
耿可可
柳智超
殷国栋
王金湘
张宁
庄伟超
祝小元
高强
徐利伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202211707440.1A priority Critical patent/CN116188545A/zh
Publication of CN116188545A publication Critical patent/CN116188545A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于IMU和里程计的红外与可见光传感器在线配准方法，涉及计算机视觉及图像处理技术领域，解决了红外与可见光图像的配准精度不够高的技术问题，其技术方案要点是对红外和可见光图像分别进行了图像增强和灰度处理，提高了两个图像的灰度相似性，为后续特征点对提取和匹配创造了更好条件，提高了准确率；采用改进的FAST方法提取角点，添加了尺度和旋转的描述，大大提升了它们在不同图像之间表述的鲁棒性；依据双向搜索算法筛选匹配特征点对，有效地减少了误匹配数量；利用视觉里程计中构建对极几何约束的配准策略，能够有效利用特征点对来计算图像间准确的变换关系，从而得到最新的外参矩阵。

Description

基于IMU和里程计的红外与可见光传感器在线配准方法
技术领域
本申请涉及计算机视觉及图像处理技术领域，尤其涉及一种基于IMU和里程计的红外与可见光传感器在线配准方法。
背景技术
智能感知技术作为无人驾驶汽车的关键技术之一，直接或间接影响了汽车的智能化水平，是智能驾驶领域的一个研究热点。而多源信息融合感知是实现智能车辆在复杂环境中安全驾驶的必然途径。车载传感器中的可见光成像传感器分辨率高，对图像细节纹理信息表达细致，但是其成像容易受自然环境影响在雾天、黑夜等环境下成像效果不好。红外成像传感器主要优点在于其在雾天、黑夜等自然条件下依然能够很好地成像，但是红外成像传感器分辨率一般较低，生成的红外图像虽然能直观地反映物体的热辐射能量大小，不受光照影响，但会丢失一部分物体的纹理、结构等外观信息，对于图像的细节纹理信息表现不够好。
两种传感器由于成像机理的不同，分辨率的不同，以及物理成像条件的不同，两种不同模式下的成像存在着旋转、平移、缩放等线性变换，甚至也可能存在扭曲畸变等非线性变换。越来越多的视觉系统采用红外成像传感器与可见光成像传感器互相配合的工作模式来对单一可见光成像模式进行补充，多传感器配合可以获取到更多层面的场景信息，对图像场景进行更加深入的分析，得到更为丰富的图像信息。图像配准本质就是寻找一种最优的几何变换来将这两种图像实现几何意义上的对准操作。快速、精准度高、算法鲁棒性好成为红外与可见光图像在线配准算法所追求的一个目标。
常用的图像配准方式可以分为两大类：基于区域灰度的配准方法和基于特征的配准方法。其中基于区域灰度的配准方法通常是用图像的某一区域或者整幅图像去估计图像之间在空间几何上的变换参数。常见的基于区域的配准方法有相关类方法、相位相关法、概率型测度法等。这种方法的优点在于不需要对多模态图像灰度间的关系作任何假设，几乎可用于任何不同模态的配准，但忽略了图像的空间信息和结果信息，计算时间长且对噪声的鲁棒性不强。而基于特征的配准方法由于具有计算速度快、鲁棒性好等特点逐渐被广泛应用，其核心是对于多源图像选择共有的特征和适用于该特征点匹配策略。典型的基于特征的配准算法有Harris角点检测、SIFT、SURF及ORB算法等。其中，Rublee等人在2011年针对SIFT、SURF算法效率及内存占用难题，进行匹配算法改进，提出ORB(Oriented FAST andRotated BRIEF)算法，进一步提升图像特征配准任务执行效率。
实际上在智能驾驶的多源传感器在线配准过程中，大部分都是利用一些图像配准算法不断求解最新的外参矩阵来对其进行实时配准。但在这个过程中，很有可能存在特征点误匹配或者数据计算误差，从而造成前后两帧的外参矩阵数值不一样，但此时两个传感器相对位姿或许并没有发生变化，若外参矩阵仍根据配准算法结果实时更新，则会造成“伪配准”。
目前，红外与可见光图像配准的研究现状离复杂环境下的智能驾驶的要求还有挺大的差距，仍然存在着许多问题等待解决。用于智能驾驶车辆上的红外与可见光在线配准方法需要解决如下4个主要问题：(1)特征点提取，保证两幅图像中的大部分特征点能够对应与实际场景中的相同位置；(2)特征点匹配，确保图像特征点之间的匹配准确率，减少误匹配；(3)配准策略，能够有效利用特征点对来计算图像间准确的变换关系，从而得到最新的外参矩阵；(4)配准时机，如何在两个传感器相对位姿发生变化时再对外参矩阵进行更新。
发明内容
本申请提供了一种基于IMU和里程计的红外与可见光传感器在线配准方法，其技术目的是提高红外与可见光图像的配准精度。
本申请的上述技术目的是通过以下技术方案得以实现的：
一种基于IMU和里程计的红外与可见光传感器在线配准方法，包括：
S1：通过安装在红外传感器和可见光传感器下的IMU对前后帧红外传感器与可见光传感器的相对位姿是否发生变化进行判断，若发生变化转至步骤S2；
S2：对同一帧下红外传感器的红外图像和可见光传感器的可见光图像进行获取，对红外图像和可见光图像进行预处理以使红外图像和可见光图像的尺寸相同，得到第一红外图像和第一可见光图像；
S3：通过Laplace算子对第一红外图像进行增强得到第二红外图像，对第一可见光图像进行灰度处理得到第二可见光图像；
S4：通过改进的FAST角点方法对第二红外图像和第二可见光图像的FAST角点进行提取；
S5：通过BRIEF描述子对所述FAST角点周围图像区域进行描述，得到描述信息，所述FAST角点和所述描述信息构成特征点；
S6：依据汉明距离对第二红外图像和第二可见光图像中的特征点进行匹配，当匹配的特征点的汉明距离小于最小距离的两倍时保存该匹配的特征点得到匹配特征点对，否则剔除该匹配的特征点；
S7：根据双向搜索算法对匹配特征点对进行筛选，得到最终匹配特征点对；
S8：利用视觉里程计根据最终匹配特征点对构建对极几何约束，根据对极几何约束和里程计得到红外传感器和可见光传感器的相对位姿变换矩阵，根据所述变换矩阵对红外传感器和可见光传感器进行配准。
本申请的有益效果在于：(1)对红外图像和可见光图像分别进行了图像增强和灰度处理，提高了两个图像的灰度相似性，为后续特征点对提取和匹配创造了更好条件，提高了准确率；(2)采用改进的FAST方法提取角点，添加了尺度和旋转的描述，大大提升了它们在不同图像之间表述的鲁棒性；(3)依据双向搜索算法筛选匹配特征点对，有效地减少了误匹配数量；(4)利用视觉里程计中构建对极几何约束的配准策略，能够有效利用特征点对来计算图像间准确的变换关系，从而得到最新的外参矩阵；(5)利用IMU能够很好的把握住配准时机，减少误差。
附图说明
图1为本申请所述方法的流程图；
图2为通过视觉里程计求外参矩阵的流程图；
图3为红外相机与可见光相机的平面投影图。
具体实施方式
下面将结合附图对本申请技术方案进行详细说明。
如图1所示，本申请所述的基于IMU和里程计的红外与可见光传感器在线配准方法，包括：
S1：通过安装在红外传感器和可见光传感器下的IMU对前后帧红外传感器与可见光传感器的相对位姿是否发生变化进行判断，若发生变化转至步骤S2。
具体地，IMU一般包括加速度计和陀螺仪，根据加速度计和陀螺仪输出的加速度和角速度得到每一帧传感器的空间姿态，即欧拉角；通过对前后帧红外传感器和可见光传感器欧拉角之间的变换关系进行比较，以对红外传感器和可见光传感器是否发生漂移进行判断。若检测到发生了漂移就进行后续求最新外参矩阵的操作。
S2：对同一帧下红外传感器的红外图像和可见光传感器的可见光图像进行获取，对红外图像和可见光图像进行预处理以使红外图像和可见光图像的尺寸相同，得到第一红外图像和第一可见光图像。
一般情况下红外相机与可见光相机得到的图像在像素点数量以及深度方面不一致，所以需要进行初步预处理，对其进行裁剪得到尺寸相同的两个图像。
S3：通过Laplace算子对第一红外图像进行增强得到第二红外图像，对第一可见光图像进行灰度处理得到第二可见光图像。
对红外图像和可见光图像分别进行了Laplace图像增强和灰度处理，可以提高了两个图像的灰度相似性，在后续的角点提取以及计算描述子的过程中，误差会更小，能提图像高配准准确率。
S4：通过改进的FAST角点方法对第二红外图像和第二可见光图像的FAST角点进行提取。
具体地，步骤S4包括：
S41：在第二红外图像和第二可见光图像中分别选取像素p，该像素p的亮度为Ip，并设置阈值T。
具体地，对第二红外图像和第二可见光图像构建图像金字塔，在该图像金字塔的每一层中选取像素p。
S42：以像素p为圆心的圆上若有连续的N个点的亮度大于Ip+T或小于Ip-T，则像素p为FAST角点；其中，N≥12。
具体地，以像素p为中心，选取半径为3的圆上的16个像素点。假如选取的圆上，有连续的N个点的亮度大于Ip+T或小于Ip-T,那么像素p可以被认为是角点(N通常取12)。
为了更高效，在所述步骤S42之前添加一项预测试操作，以快速排除绝大多数不是角点的像素。对于每个像素p，若以其为圆心的圆上的第1、5、9、13个像素中有三个像素的亮度均大于Ip+T或小于Ip-T时，执行步骤S42对像素p作进一步检测以确定其是否为角点，否则直接排除像素p作为角点的可能性。这样的预测试操作大大加速了角点检测。
S43：对每一个像素循环步骤S41至S42，直至在第二红外图像和第二可见光图像中选取到全部的FAST角点。
所述FAST角点选取完成后，通过质心法实现所述FAST角点的旋转，所述质心法包括：
S431：在一个图像块B中，定义该图像块B的矩为：
mpq＝Σx，y∈Bxp'yq'I(x,y); p',q'＝{0,1}；
其中，I(x,y)表示每个特征点的灰度值；
S432：通过矩得到图像块B的质心，则质心表示为：
Figure BDA0004025238720000041
其中，质心M表示以图像块B灰度值作为权重的中心；m10表示X轴上的灰度值，m10＝∑x,y∈BxI(x,y)；m01表示Y轴上的灰度值，m01＝∑x,y∈ByI(x,y)；m00表示整个特征点周围整个圆的灰度值，m00＝∑x,y∈BI(x,y)；
S433：将图像块B的几何中心O与质心M进行连接，得到方向向量
Figure BDA0004025238720000042
则所述FAST角点的方向表示为：
θ＝arctan(m01/m10)；
S434：所述FAST角点根据方向θ实现旋转，达到所述FAST角点的旋转不变性。
S5：通过BRIEF描述子对所述FAST角点周围图像区域进行描述，得到描述信息，所述FAST角点和所述描述信息构成特征点。
所述BRIEF描述子的描述向量由0和1组成，若所述FAST角点附近的像素p比像素q大则取1，否则取0，完成对所述FAST角点周围图像区域的描述后，得到由0和1构成的多维向量，该多维向量即构成描述信息。
本申请使用的是一种二进制描述子BRIEF，它的描述向量由许多个0和1组成，这里的0和1编码了角点附近两个像素(比如说p和q)的大小关系：如果p比q大，则取1，反之就取0。如果我们取了128个这样的p和q，最后就得到128维由0、1组成的向量。
S6：依据汉明距离对第二红外图像和第二可见光图像中的特征点进行匹配，当匹配的特征点的汉明距离小于最小距离的两倍时保存该匹配的特征点得到匹配特征点对，否则剔除该匹配的特征点。
Brute Force匹配算法又名为暴力匹配，该算法是通过计算Hamming距离(汉明距离)去描述红外图像与可见光图像之间的相似程度，通过在红外图像上去搜寻距离可见光图像中特征点最近的特征点。虽然暴力匹配算法鲁棒性比较好，但是当红外与可见光图像具有一定的重叠区域时，红外图像中两个或多个点与可见光图像中的同一点匹配成功，从而导致正确匹配率较差。因此，再通过以下双向搜索算法进行筛选。
S7：根据双向搜索算法对匹配特征点对进行筛选，得到最终匹配特征点对。
具体地，所述双向搜索方法包括：在第二红外图像确定一特征点A，然后在第二可见光图像寻找与A相匹配的特征点A'，再在第二红外图像中搜索与特征点A'相对应的特征点
Figure BDA0004025238720000051
若/>
Figure BDA0004025238720000052
与A为同一点，则A与A'为匹配的特征点对。
该双向搜索方法表示为：
Figure BDA0004025238720000053
其中，Ia表示第二红外图像，Ib表示第二可见光图像。
S8：利用视觉里程计根据最终匹配特征点对构建对极几何约束，根据对极几何约束和里程计得到红外传感器和可见光传感器的相对位姿变换矩阵，根据所述变换矩阵对红外传感器和可见光传感器进行配准。
具体地，如图2所示，所述步骤S8包括：
S71：匹配特征点对提取完成后，将第二红外图像上匹配特征点的齐次坐标pi从红外坐标系I转换到相机坐标系C上，即
Figure BDA0004025238720000054
其中，pi＝(xi,yi,1)T，/>
Figure BDA0004025238720000055
表示将pi从红外坐标系转化到可见光坐标系的旋转矩阵；/>
Figure BDA0004025238720000056
表示将pi从红外坐标系转化到可见光坐标系的平移向量；
S72：构建对极几何约束，获取本质矩阵
Figure BDA0004025238720000057
根据本质矩阵E求得外参矩阵
Figure BDA0004025238720000058
根据图3的红外相机与可见光相机平面投影图中，可以看出I和C分别为红外相机和可见光相机光学中心，α和B分别为两个相机的归一化平面。pi、pc都是图像上的二维点，不过这里会把它们变成三维向量来计算。归一化平面离红外相机和可见光相机中心焦距为1，所以pi＝(xi,yi,1)T，pc＝(xc,yc,1)T。
所述步骤S72包括：
S721：构建向量等式，表示为：
Figure BDA0004025238720000059
S722：此时，pi和pc不在同一坐标系下，需要进行坐标变换，利用旋转矩阵将pi转换到以C为原点的相机坐标系下，表示为：
Figure BDA00040252387200000510
S723：将红外相机和可见光相机中心的平移距离视为平移向量t，将所述向量等式转换成对极约束，表示为：
Figure BDA00040252387200000511
S724：令
Figure BDA00040252387200000512
则有pc TEpi＝0，然后根据像素点位置求得E，对E进行分解得到最新的外参矩阵/>
Figure BDA00040252387200000513
以上为本申请示范性实施例，本申请的保护范围由权利要求书及其等效物限定。

Claims (10)

1.一种基于IMU和里程计的红外与可见光传感器在线配准方法，其特征在于，包括：
S1：通过安装在红外传感器和可见光传感器下的IMU对前后帧红外传感器与可见光传感器的相对位姿是否发生变化进行判断，若发生变化转至步骤S2；
S2：对同一帧下红外传感器的红外图像和可见光传感器的可见光图像进行获取，对红外图像和可见光图像进行预处理以使红外图像和可见光图像的尺寸相同，得到第一红外图像和第一可见光图像；
S3：通过Laplace算子对第一红外图像进行增强得到第二红外图像，对第一可见光图像进行灰度处理得到第二可见光图像；
S4：通过改进的FAST角点方法对第二红外图像和第二可见光图像的FAST角点进行提取；
S5：通过BRIEF描述子对所述FAST角点周围图像区域进行描述，得到描述信息，所述FAST角点和所述描述信息构成特征点；
S6：依据汉明距离对第二红外图像和第二可见光图像中的特征点进行匹配，当匹配的特征点的汉明距离小于最小距离的两倍时保存该匹配的特征点得到匹配特征点对，否则剔除该匹配的特征点；
S7：根据双向搜索算法对匹配特征点对进行筛选，得到最终匹配特征点对；
S8：利用视觉里程计根据最终匹配特征点对构建对极几何约束，根据对极几何约束和里程计得到红外传感器和可见光传感器的相对位姿变换矩阵，根据所述变换矩阵对红外传感器和可见光传感器进行配准。
2.如权利要求1所述的方法，其特征在于，步骤S1中，所述IMU包括加速度计和陀螺仪，根据加速度计和陀螺仪输出的加速度和角速度得到每一帧传感器的空间姿态，即欧拉角；通过对前后帧红外传感器和可见光传感器欧拉角之间的变换关系进行比较，以对红外传感器和可见光传感器是否发生漂移进行判断。
3.如权利要求1所述的方法，其特征在于，步骤S4包括：
S41：在第二红外图像和第二可见光图像中分别选取像素p，该像素p的亮度为Ip，并设置阈值T；
S42：以像素p为圆心的圆上若有连续的N个点的亮度大于Ip+T或小于Ip-T，则像素p为FAST角点；其中，N≥12；
S43：循环步骤S41至S42，直至在第二红外图像和第二可见光图像中选取到全部的FAST角点。
4.如权利要求3所述的方法，其特征在于，所述步骤S41中，对第二红外图像和第二可见光图像构建图像金字塔，在该图像金字塔的每一层中选取像素p。
5.如权利要求3或4所述的方法，其特征在于，在所述步骤S42之前，对于每个像素p，若以其为圆心的圆上的第1、5、9、13个像素中有三个像素的亮度均大于Ip+T或小于Ip-T时，执行步骤S42对像素p作进一步检测以确定其是否为角点，否则直接排除像素p作为角点的可能性。
6.如权利要求5所述的方法，其特征在于，所述步骤S43中，所述FAST角点选取完成后，通过质心法实现所述FAST角点的旋转，所述质心法包括：
S431：在一个图像块B中，定义该图像块B的矩为：
mpq＝∑x，y∈Bxp′yq′I(x，y)；p′，q′＝{0，1}；
其中，I(x，y)表示每个特征点的灰度值；
S432：通过矩得到图像块B的质心，则质心表示为：
Figure FDA0004025238710000021
其中，质心M表示以图像块B灰度值作为权重的中心；m10表示X轴上的灰度值，m10＝∑x，y∈BxI(x，y)；m01表示Y轴上的灰度值，m01＝∑x，y∈ByI(x，y)；m00表示整个特征点周围整个圆的灰度值，m00＝∑x，y∈BI(x，y)；
S433：将图像块B的几何中心O与质心M进行连接，得到方向向量
Figure FDA0004025238710000022
则所述FAST角点的方向表示为：
θ＝arctan(m01/m10)；
S434：所述FAST角点根据方向θ实现旋转，达到所述FAST角点的旋转不变性。
7.如权利要求1所述的方法，其特征在于，步骤S5中，所述BRIEF描述子的描述向量由0和1组成，若所述FAST角点附近的像素p比像素q大则取1，否则取0，完成对所述FAST角点周围图像区域的描述后，得到由0和1构成的多维向量，该多维向量构成描述信息。
8.如权利要求1所述的方法，其特征在于，步骤S7中，所述双向搜索方法包括：
在第二红外图像确定一特征点A，然后在第二可见光图像寻找与A相匹配的特征点A′，再在第二红外图像中搜索与特征点A′相对应的特征点
Figure FDA0004025238710000023
若/>
Figure FDA0004025238710000024
与A为同一点，则A与A′为匹配的特征点对；
所述双向搜索方法表示为：
Figure FDA0004025238710000025
其中，Ia表示第二红外图像，Ib表示第二可见光图像。
9.如权利要求1所述的方法，其特征在于，所述步骤S8包括：
S71：匹配特征点对提取完成后，将第二红外图像上匹配特征点的齐次坐标pi从红外坐标系I转换到相机坐标系C上，即
Figure FDA0004025238710000026
其中，pi＝(xi，yi，1)T，/>
Figure FDA0004025238710000027
表示将pi从红外坐标系转化到可见光坐标系的旋转矩阵；/>
Figure FDA0004025238710000028
表示将pi从红外坐标系转化到可见光坐标系的平移向量；
S72：构建对极几何约束，获取本质矩阵
Figure FDA0004025238710000029
根据本质矩阵E求得外参矩阵
Figure FDA00040252387100000210
10.如权利要求9所述的方法，其特征在于，所述步骤S72包括：
S721：构建向量等式，表示为：
Figure FDA00040252387100000211
S722：将pi转换到以C为原点的相机坐标系下，表示为：
Figure FDA00040252387100000212
S723：将红外相机和可见光相机中心的平移距离视为平移向量
Figure FDA00040252387100000213
将所述向量等式转换成对极约束，表示为：/>
Figure FDA0004025238710000031
S724：令
Figure FDA0004025238710000032
则有pc TEpi＝0，然后根据像素点位置求得E，对E进行分解得到最新的外参矩阵/>
Figure FDA0004025238710000033
/>
CN202211707440.1A 2022-12-29 2022-12-29 基于imu和里程计的红外与可见光传感器在线配准方法 Pending CN116188545A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211707440.1A CN116188545A (zh) 2022-12-29 2022-12-29 基于imu和里程计的红外与可见光传感器在线配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211707440.1A CN116188545A (zh) 2022-12-29 2022-12-29 基于imu和里程计的红外与可见光传感器在线配准方法

Publications (1)

Publication Number Publication Date
CN116188545A true CN116188545A (zh) 2023-05-30

Family

ID=86443498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211707440.1A Pending CN116188545A (zh) 2022-12-29 2022-12-29 基于imu和里程计的红外与可见光传感器在线配准方法

Country Status (1)

Country Link
CN (1) CN116188545A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117268418A (zh) * 2023-09-20 2023-12-22 中国地质大学（北京） 一种无人机野外路径规划方法、终端设备及储存介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117268418A (zh) * 2023-09-20 2023-12-22 中国地质大学（北京） 一种无人机野外路径规划方法、终端设备及储存介质
CN117268418B (zh) * 2023-09-20 2024-08-20 中国地质大学（北京） 一种无人机野外路径规划方法、终端设备及储存介质

Similar Documents

Publication Publication Date Title
CN109345588B (zh) 一种基于Tag的六自由度姿态估计方法
WO2021233029A1 (en) Simultaneous localization and mapping method, device, system and storage medium
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN110910453B (zh) 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
CN108481327B (zh) 一种增强视觉的定位装置、定位方法及机器人
CN111897349A (zh) 一种基于双目视觉的水下机器人自主避障方法
CN111145232A (zh) 一种基于特征信息变化度的三维点云自动配准方法
CN110992424B (zh) 基于双目视觉的定位方法和系统
CN115936029B (zh) 一种基于二维码的slam定位方法及装置
CN112419497A (zh) 基于单目视觉的特征法与直接法相融合的slam方法
CN115049821A (zh) 一种基于多传感器融合的三维环境目标检测方法
CN114022560A (zh) 标定方法及相关装置、设备
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN113793413A (zh) 三维重建方法、装置、电子设备及存储介质
CN114088081A (zh) 一种基于多段联合优化的用于精确定位的地图构建方法
CN116188545A (zh) 基于imu和里程计的红外与可见光传感器在线配准方法
John et al. Automatic calibration and registration of lidar and stereo camera without calibration objects
Zhang et al. Data association between event streams and intensity frames under diverse baselines
JP2778430B2 (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
CN111311652B (zh) 一种基于回归校正网络的声呐图像配准方法及系统
Zhang et al. An improved SLAM algorithm based on feature contour extraction for camera pose estimation
CN113011212B (zh) 图像识别方法、装置及车辆
CN114821113A (zh) 基于自适应鲁棒核的单目视觉惯性slam方法与系统
Stevens et al. Interleaving 3D model feature prediction and matching to support multi-sensor object recognition
CN114018271B (zh) 一种基于陆标图像的精确定点着陆自主导航方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination