CN114638897A - 基于无重叠视域的多相机系统的初始化方法、系统及装置 - Google Patents

基于无重叠视域的多相机系统的初始化方法、系统及装置 Download PDF

Info

Publication number
CN114638897A
CN114638897A CN202210536441.8A CN202210536441A CN114638897A CN 114638897 A CN114638897 A CN 114638897A CN 202210536441 A CN202210536441 A CN 202210536441A CN 114638897 A CN114638897 A CN 114638897A
Authority
CN
China
Prior art keywords
image data
frame
camera
vehicle body
relative rotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210536441.8A
Other languages
English (en)
Other versions
CN114638897B (zh
Inventor
王一夫
张如高
虞正华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Vision Intelligent Technology Wuhan Co ltd
Original Assignee
Magic Vision Intelligent Technology Wuhan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Vision Intelligent Technology Wuhan Co ltd filed Critical Magic Vision Intelligent Technology Wuhan Co ltd
Priority to CN202210536441.8A priority Critical patent/CN114638897B/zh
Publication of CN114638897A publication Critical patent/CN114638897A/zh
Application granted granted Critical
Publication of CN114638897B publication Critical patent/CN114638897B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于无重叠视域的多相机系统的初始化方法、系统及装置。在车辆初始化过程中，针对相机拍摄的图像数据，生成各帧图像数据相对于第一帧图像数据的车体相对旋转；基于所述车体相对旋转，构建各帧图像数据之间的约束关系，并从所述约束关系中求解特征点的坐标信息和车辆的位移；根据所述坐标信息和所述位移，构建特征点的视觉重投影残差信息和相邻图像帧之间的惯性残差信息；对所述视觉重投影残差信息和所述惯性残差信息进行联合优化，以生成优化后的车体坐标系的位姿信息和特征点的坐标信息。本发明提供的技术方案，能够提升SLAM的初始化精度。

Description

基于无重叠视域的多相机系统的初始化方法、系统及装置
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种基于无重叠视域的多相机系统的初始化方法、系统及装置。
背景技术
常规单目或双目视觉SLAM（Simultaneous Localization and Mapping，即时定位与地图构建）通常在起始阶段会进行初始化工作，为之后的同步定位和地图构建提供初始值。现有无重叠视域车载环视多相机系统的初始化方法，通常利用从环视相机的图像中提取到的稀疏特征点或语义特征，搭配惯性测量单元数据，以及从轮速里程计或GPS获得的尺度信息，通过优化特征到图像的重投影误差的方式，计算初始车辆位姿和构造初始局部地图。但是对于在无权限访问车辆轮速数据、缺少GPS信号等受限的应用场景，缺少真实尺度信息的情况下，定位和建图方法的准确度和效率均会受到很大影响。
发明内容
有鉴于此，本发明实施方式提供了一种基于无重叠视域的多相机系统的初始化方法、系统及装置，能够在无需使用轮速计或GPS信号的情况下提高SLAM的初始化精度。
本发明提供了一种基于无重叠视域的多相机系统的初始化方法，所述方法包括：
在车辆初始化过程中，针对相机拍摄的图像数据，生成各帧图像数据相对于第一帧图像数据的车体相对旋转；
基于所述车体相对旋转，构建各帧图像数据之间的约束关系，并从所述约束关系中求解特征点的坐标信息和车辆的位移；
根据所述坐标信息和所述位移，构建特征点的视觉重投影残差信息和相邻图像帧之间的惯性残差信息；
对所述视觉重投影残差信息和所述惯性残差信息进行联合优化，以生成优化后的车体坐标系的位姿信息和特征点的坐标信息。
在一个实施方式中，生成各帧图像数据相对于第一帧图像数据的车体相对旋转包括：
从惯性系统中识别车体坐标系的第一相对旋转，并从多相机系统中识别车体坐标系的第二相对旋转；
将所述第一相对旋转和所述第二相对旋转进行融合，并对融合后的旋转进行航迹推算，生成各帧图像数据相对于第一帧图像数据的车体相对旋转。
在一个实施方式中，从惯性系统中识别车体坐标系的第一相对旋转包括：
获取惯性测量单元在所述车辆初始化过程中的惯性相对旋转，并通过惯性坐标系到车体坐标系之间的旋转外参，将所述惯性相对旋转转换为车体坐标系的第一相对旋转。
在一个实施方式中，在车辆进入初始化过程之前，所述方法还包括：
在相机拍摄的图像数据中，针对第一帧图像数据中的目标特征点，在其它各帧图像数据中识别与所述目标特征点相匹配的匹配特征点；
计算所述匹配特征点与所述目标特征点之间的位置误差，若所述位置误差小于或者等于指定误差阈值，判定车辆当前处于静止状态；
当所述匹配特征点与所述目标特征点之间的位置误差大于所述指定误差阈值时，判定所述车辆进入车辆初始化过程。
在一个实施方式中，按照以下公式构建各帧图像数据之间的约束关系：
Figure 700772DEST_PATH_IMAGE001
其中，
Figure 983024DEST_PATH_IMAGE002
表示第n个相机拍摄的第j帧图像数据相对于第一帧图像数据的车体相 对旋转，Cn表示第n个相机，
Figure 559499DEST_PATH_IMAGE003
表示第i个特征点在相机的第一帧图像数据下的相对深度，
Figure 423550DEST_PATH_IMAGE004
表示第i个特征点在第j帧图像数据中的方向向量，
Figure 503501DEST_PATH_IMAGE005
表示第n个相机拍摄的第j帧图 像数据相对于第一帧图像数据的车体相对位移。
在一个实施方式中，各个相机拍摄的图像数据应用至所述约束关系后，得到非齐次线性方程组AX=B，其中：
Figure 919439DEST_PATH_IMAGE006
Figure 655314DEST_PATH_IMAGE007
其中，
Figure 447690DEST_PATH_IMAGE008
表示第n个相机标定后的旋转外参，
Figure 585410DEST_PATH_IMAGE009
表示第n个相机标定后的位移 外参，
Figure 375511DEST_PATH_IMAGE010
表示当前相机拍摄的第j帧图像数据时刻相对于第一帧图像数据时刻的车体相 对旋转，
Figure 395420DEST_PATH_IMAGE011
表示当前相机拍摄的第j帧图像数据时刻相对于第一帧图像数据时刻的车体相 对位移。
在一个实施方式中，构建特征点的视觉重投影残差信息包括：
识别特征点在相机坐标系下的估计值和观测值，其中，所述估计值为特征点在图像平面的投影；
将所述估计值和所述观测值之间的平面距离作为构建的视觉重投影残差信息。
在一个实施方式中，所述相邻图像帧之间的惯性残差信息为相邻图像帧之间惯性测量单元的测量值与估计值的差值。
本发明另一方面提供一种基于无重叠视域的多相机系统的初始化系统，所述初始化系统包括：
车体相对旋转生成单元，用于在车辆初始化过程中，针对相机拍摄的图像数据，生成各帧图像数据相对于第一帧图像数据的车体相对旋转；
约束关系求解单元，用于基于所述车体相对旋转，构建各帧图像数据之间的约束关系，并从所述约束关系中求解特征点的坐标信息和车辆的位移；
残差信息构建单元，用于根据所述坐标信息和所述位移，构建特征点的视觉重投影残差信息和相邻图像帧之间的惯性残差信息；
优化单元，用于对所述视觉重投影残差信息和所述惯性残差信息进行联合优化，以生成优化后的车体坐标系的位姿信息和特征点的坐标信息。
本发明提供一种基于无重叠视域的多相机系统的初始化装置，其特征在于，所述装置包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述初始化方法。
本申请提供的技术方案，利用相机拍摄到的图像数据之间的位姿关系构建约束关系，并从约束关系中求解出位姿关系的参数，利用该参数构建特征点的视觉重投影残差信息和相邻帧之间的惯性残差信息，对所述残差信息进行联合优化得到优化后的位姿的参数，进而提高SLAM初始化精度。在本申请的技术方案中，并未使用轮速计和GPS信号，而是对多相机系统拍摄的图像数据进行处理，从而完成SLAM初始化的过程。这样，不仅能够提高SLAM初始化的精度，同时还能够简化SLAM初始化的过程。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1示出了本发明一个实施方式中相机安装示意图；
图2示出了本发明一个实施方式中SLAM初始化方法的步骤图；
图3示出了本发明一个实施方式中多相机系统的几何关系图；
图4示出了本发明一个实施方式中初始化系统的功能模块示意图；
图5示出了本发明一个实施方式中初始化装置的结构示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
本申请提供的基于无重叠视域的多相机系统的初始化方法，由于航迹推算任务通常要求将多相机的信息转换到同一个坐标系下进行描述，因此需要对多相机相对于车体后轴中心的外参数进行标定和各相机内参数提前进行标定，相机之间通过硬件触发进行同步采集，并且图片采集时的帧率可控。
可以应用于图1所示的系统中。在图1中，矩形框表示车体，在车体的前后左右可以各安装一路单目车载相机（圆形所示）。当然，在实际应用中，根据车体配置的不同，也可以安装更多路的车载相机，本申请对此并不做限定，下文仅以四个车载相机为例进行阐述本申请的技术方案，更多路的车载相机对应的技术方案可以类推。
在图1所示的系统中，可以先定义各个不同的坐标系。这些坐标系可以包括车体坐标系、相机原始坐标系和图像坐标系。这些坐标系都可以是右手系的坐标系。其中，车体坐标系的原点为车体后轴中心，y轴垂直车体后轴中心向下指向地面，x轴指向车体行进方向的右侧，z轴指向车体行进方向。相机原始坐标系的原点为车载相机的光心，z轴指向车载相机的朝向，x轴平行于图像平面且指向图像右侧，y轴垂直于图像平面且指向地面。图像坐标系是一个二维直角坐标系，反映了相机CCD（Charge Coupled Device，电荷耦合器件）芯片中像素的排列情况。其原点位于图像的左上角，其它两个坐标轴分别与图像的两条边重合。当然，在实际应用中，可以根据车辆的实际构造，灵活地调整相机的分布，并且相机的类型也可以根据实际应用场景的需求灵活调整。
请参阅图2，本申请一个实施方式提供的基于无重叠视域的多相机系统的初始化方法，可以包括以下步骤：
S1：在车辆初始化过程中，针对相机拍摄的图像数据，生成各帧图像数据相对于第一帧图像数据的车体相对旋转。
S3：基于所述车体相对旋转，构建各帧图像数据之间的约束关系，并从所述约束关系中求解特征点的坐标信息和车辆的位移。
S5：根据所述坐标信息和所述位移，构建特征点的视觉重投影残差信息和相邻图像帧之间的惯性残差信息。
S7：对所述视觉重投影残差信息和所述惯性残差信息进行联合优化，以生成优化后的车体坐标系的位姿信息和特征点的坐标信息。
在一个实施中，车辆初始化过程需要车辆启动行驶一段时间，为了规避退化场景，行驶的路径需要包含一段时间的转弯行驶。所述退化场景是直线行驶情况下会由于尺度不可观情况，使定位精度下降。
在一个实施方式中，生成各帧图像数据相对于第一帧图像数据的车体相对旋转包括：
S11：从惯性系统中识别车体坐标系的第一相对旋转，并从多相机系统中识别车体坐标系的第二相对旋转。
在本实施方式中，从惯性系统中识别车体坐标系的第一相对旋转包括：获取惯性测量单元在所述车辆初始化过程中的惯性相对旋转，并通过惯性坐标系到车体坐标系之间的旋转外参，将所述惯性相对旋转转换为车体坐标系的第一相对旋转。
具体地，利用固定好并已与车体坐标系进行外参数标定后的惯性测量单元（Inertial measurement unit，IMU）获得在初始化过程中的加速度与角速度数据，IMU与多相机系统之间通过硬件触发进行数据同步。
记录初始化系统在静止状态时间段内的IMU数据，对静止时间段内加速度计和陀螺仪求平均值，利用静止时间段内加速度计方向为重力方向，而重力方向是相对世界坐标系而言的，因此可以建立加速度计坐标系和世界坐标系之间的关联关系，具体为：将加速度计平均值除以其模长可以获得平均加速度方向向量，即为世界坐标系z轴的方向在IMU坐标系下的投影，并进一步利用施密特正交化的方法构建单位坐标系，获得世界坐标系到惯性坐标系的初始旋转。
利用静止期间IMU角速度真值为0，因此陀螺仪的零偏（bias）等于陀螺仪数据的平 均值，记为
Figure 725907DEST_PATH_IMAGE012
。加速度计的bias为加速度平均值与实际重力加速度的差，记为
Figure 718134DEST_PATH_IMAGE013
。利用IMU 初始化期间估计的bias参数
Figure 947646DEST_PATH_IMAGE012
和初始化过程中相邻的两帧图片之间同步获得的IMU数据 中的加速度值与角速度数据，通过视觉惯性里程计中常用的预积分模型，获得惯性测量单 元（IMU）在车辆初始化过程中的惯性相对旋转
Figure 782746DEST_PATH_IMAGE014
。并通过惯性坐标系到车体坐标系之间 的旋转外参
Figure 792291DEST_PATH_IMAGE015
将惯性相对旋转
Figure 232499DEST_PATH_IMAGE014
转换为车体坐标系的第一相对旋转
Figure 161141DEST_PATH_IMAGE016
。其表达 式可以表示为：
Figure 358904DEST_PATH_IMAGE017
需要说明的是上述IMU数据是在进行图像采集时IMU与多相机系统之间通过硬件触发进行数据同步，所以是相邻的两帧图片之间同步获得的IMU数据。
在本实施方式中，从多相机系统中识别车体坐标系的第二相对旋转具体为，利用 计算机视觉中针对多相机系统的相对位姿估计算法，计算相邻两帧之间车体坐标系的相对 位姿，记为多相机系统中识别车体坐标系的第二相对旋转
Figure 31194DEST_PATH_IMAGE018
，其中上标c代表的相机。 并利用随机采样一致性（RANdom SAmple Consensus，RANSAC）的方法剔除出相邻帧匹配特 征点对中的误匹配点对使后续建立的非齐次线性方程组不受误匹配点影响从而获得准确 结果。
S13：将所述第一相对旋转和所述第二相对旋转进行融合，并对融合后的旋转进行航迹推算，生成各帧图像数据相对于第一帧图像数据的车体相对旋转。
利用计算机视觉中常用的旋转融合的方法将上述的第一相对旋转
Figure 263592DEST_PATH_IMAGE019
和第二相 对旋转
Figure 831977DEST_PATH_IMAGE018
进行融合，获得融合后的旋转
Figure 641670DEST_PATH_IMAGE020
，进而通过航迹推算生成各帧相对于第一 帧图像数据的车体相对旋转
Figure 993017DEST_PATH_IMAGE021
。
在一个实施方式中，车辆在进行初始化过程之前，相机会对周边的环境进行拍摄选取参照物，该参照物可以是车辆周边的某一棵树木也可以是车辆周围的房屋等。在相机拍摄的图像数据中，针对第一帧图像数据中的目标特征点，在其他各帧图像数据中识别与所述目标特征点相匹配的特征点。
计算各帧中的匹配特征点与第一帧中的目标特征点之间的位置误差，若该位置误差小于或等于指定的误差阈值，判定车辆当前处于静止状态。当匹配特征点与第一帧图像数据中的目标特征点之间的位置误差大于指定误差阈值时，判定车辆进入车辆初始化过程，其中，在匹配特征点与第一帧图像数据中的目标特征点之间的位置误差大于指定误差阈值这帧（设为第i帧）的前一帧（设为第i-1帧）与目标特征点之间的位置误差小于或等于指定误差阈值，则认为i-1帧依然处于静止状态，车辆是从第i帧开始进行初始化过程的。
需要说明的是，本实施方式中的第一帧与车辆初始化过程中的第一帧是不同的，本实施方式中的第一帧是车辆一直处于静止状态相机拍摄的第一帧，车辆初始化过程中的第一帧的车辆已经在行驶中相机拍摄的第一帧。
在一个实施方式中，可以按照如下方式构建各帧图像数据之间的约束关系：
当车辆初始化过程中收集到足量的初始化数据后，筛选出每个相机在初始化期间 所有被持续追踪的空间三维特征点
Figure 142238DEST_PATH_IMAGE022
，其中i为特征点编号。利用预先标定好的相机内参 数可以获得空间中三维点
Figure 946771DEST_PATH_IMAGE022
即第i个特征点在相机的第j帧时刻对应在图像上2D特征点的 方向向量
Figure 853547DEST_PATH_IMAGE023
。利用多视图几何约束可以获得初始化期间当前相机任一时刻相对该相机第 一帧之间的几何约束关系，将这个约束关系命名为第一约束关系，其可以表达为：
Figure 867639DEST_PATH_IMAGE001
其中，
Figure 809051DEST_PATH_IMAGE024
表示第n个相机拍摄的第j帧图像数据相对于第一帧图像数据的车体 相对旋转，Cn表示第n个相机，
Figure 719238DEST_PATH_IMAGE025
表示第i个特征点在相机的第一帧图像数据下的相对深 度，
Figure 706785DEST_PATH_IMAGE026
表示第i个特征点在第j帧图像数据中的方向向量，
Figure 524569DEST_PATH_IMAGE027
表示第n个相机拍摄的第j 帧图像数据相对于第一帧图像数据的车体相对位移，所述车体相对位移即车辆的位移。
利用预先标定好的相机外参数
Figure 320486DEST_PATH_IMAGE028
（第n个相机标定后的旋转外参）和
Figure 401575DEST_PATH_IMAGE029
（第n个 相机标定后的位移外参），将S13中解得的车体相对旋转
Figure 407577DEST_PATH_IMAGE030
代入上述的约束关系，可获得 第二约束关系：
Figure 904417DEST_PATH_IMAGE032
利用上述的第二约束关系构造非齐次线性方程组AX=B，其中：
Figure 679475DEST_PATH_IMAGE006
Figure 337990DEST_PATH_IMAGE033
其中，
Figure 99797DEST_PATH_IMAGE034
表示第n个相机标定后的旋转外参，
Figure 134749DEST_PATH_IMAGE035
表示第n个相机标定后的位移 外参，
Figure 233155DEST_PATH_IMAGE036
表示当前相机拍摄的第j帧图像数据时刻相对于第一帧图像数据时刻的车体相 对旋转，
Figure 187204DEST_PATH_IMAGE037
表示当前相机拍摄的第j帧图像数据时刻相对于第一帧图像数据时刻的车体相 对位移。
利用线性方程组的求解方法，例如奇异值分解（Singular Value Decomposition， SVD），可以最终获得第i个特征点在第一帧图像中的坐标信息
Figure 839903DEST_PATH_IMAGE038
，以及在初始化期间的 车辆对应编号的相机拍摄的第j帧图像数据时刻相对于第一帧图像数据时刻的车体相对位 移
Figure 678546DEST_PATH_IMAGE039
。
在一个实施方式中，通过上述步骤解得特征点的坐标信息
Figure 162617DEST_PATH_IMAGE038
和初始化期间 车体的相对位移
Figure 428513DEST_PATH_IMAGE039
构建特征点的视觉重投影残差信息和相邻图像帧之间的惯性残差信 息。
其中构建特征点的视觉重投影残差信息包括：
识别特征点在相机坐标系下的估计值和观测值，其中，所述估计值为特征点在归一化相机坐标系下的投影，观测值就是相机在拍摄图像时真实物体中的特征点会在图像平面中生成对应的特征点，考虑到图像的测量误差以及单位矩阵的计算误差两者之间会存在一定的误差。
将所述估计值和所述观测值之间的距离作为构建的视觉重投影残差信息。假设一个特征点p1对应的2D特征点坐标的观测值为(u1,v1), 该3D特征点投影到像素坐标系下的估计值为(u2,v2)，则两者之间的距离为：
Figure 365245DEST_PATH_IMAGE040
相邻图像帧之间的惯性残差信息利用两帧之间惯性测量单元构建的预积分量作为测量值减去估计值进行构建。所述估计值包括两帧之间车体的相对位移、旋转、速度以及测量单元的零偏，其中所述测量单元的零偏包括加速度计的偏置以及陀螺仪的偏置。
在一个实施方式中，对所述视觉重投影残差信息和所述惯性残差信息进行联合优 化，以生成优化后的车体坐标系的位姿信息（
Figure 7579DEST_PATH_IMAGE041
和
Figure 611736DEST_PATH_IMAGE042
）和特征点的坐标信息（
Figure 48533DEST_PATH_IMAGE038
）， 在进行优化时可采用现有技术进行优化，如利用集束优化的方式进行联合优化。
在一个实施方式中，基于无重叠视域车载环视多相机系统的几何关系如图3。在初 始化过程第一帧时，Cn是第n个相机，此时的车体坐标系为
Figure 738140DEST_PATH_IMAGE043
，
Figure 918586DEST_PATH_IMAGE044
分别是在第一帧 时相机拍摄到的i个特征点
Figure 49353DEST_PATH_IMAGE045
在图像上的方向向量。
在初始化过程中由于车辆是行驶的，选取的参照物是一个不动的物体，由图中可 以看到随着车辆的移动，参照物上的特征点
Figure 781686DEST_PATH_IMAGE045
在相机中的观测位置是变化的。与此 同时，相机是固定在车辆上的，所以相机坐标系与车体坐标系之间的外参数在初始化过程 中是不变的。随着初始化的进行，车辆移动着，此时无论是相机坐标系还是车体坐标系相对 于第一帧的时候都是一直在移动的。
当初始化过程中相机拍下第j帧时，此时车体坐标系以及相机坐标系的位置分别 变化到了
Figure 833955DEST_PATH_IMAGE046
和
Figure 691795DEST_PATH_IMAGE047
，此时车体坐标系以及相机坐标系相对于第一帧时的车体相对旋转 为
Figure 880331DEST_PATH_IMAGE048
，位移量为
Figure 783565DEST_PATH_IMAGE049
。
Figure 323130DEST_PATH_IMAGE045
特征点在图像上的方向向量变化到了
Figure 642116DEST_PATH_IMAGE050
。
本发明另一方面提供了一种基于无重叠视域的多相机系统的初始化系统，如图4，所述初始化系统包括：
车体相对旋转生成单元，用于在车辆初始化过程中，针对相机拍摄的图像数据，生成各帧图像数据相对于第一帧图像数据的车体相对旋转；
约束关系求解单元，用于基于所述车体相对旋转，构建各帧图像数据之间的约束关系，并从所述约束关系中求解特征点的坐标信息和车辆的位移；
残差信息构建单元，用于根据所述坐标信息和所述位移，构建特征点的视觉重投影残差信息和相邻图像帧之间的惯性残差信息；
优化单元，用于对所述视觉重投影残差信息和所述惯性残差信息进行联合优化，以生成优化后的车体坐标系的位姿信息和特征点的坐标信息。
如图5所示，本发明另一方面提供一种基于无重叠视域的多相机系统的初始化装置，所述装置包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述基于无重叠视域的多相机系统的初始化方法。
其中，处理器可以为中央处理器（Central Processing Unit，CPU）。处理器还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本领域技术人员可以理解，实现上述实施方式方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施方式的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）、随机存储记忆体（Random AccessMemory，RAM）、快闪存储器（Flash Memory）、硬盘（Hard Disk Drive，HDD）或固态硬盘（Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本申请提供的技术方案，利用相机拍摄到的图像数据之间的位姿关系构建约束关系，并从约束关系中求解出位姿关系的参数，利用该参数构建特征点的视觉重投影残差信息和相邻帧之间的惯性残差信息，对所述残差信息进行联合优化得到优化后的位姿的参数进而提高SLAM初始化精度。在本申请的技术方案中，并未使用轮速计和GPS信号，而是对多相机系统拍摄的图像数据进行处理，从而完成SLAM初始化的过程。这样，不仅能够提高SLAM初始化的精度，同时还能够简化SLAM初始化的过程。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种基于无重叠视域的多相机系统的初始化方法，其特征在于，所述方法包括：
在车辆初始化过程中，针对相机拍摄的图像数据，生成各帧图像数据相对于第一帧图像数据的车体相对旋转；
基于所述车体相对旋转，构建各帧图像数据之间的约束关系，并从所述约束关系中求解特征点的坐标信息和车辆的位移；
根据所述坐标信息和所述位移，构建特征点的视觉重投影残差信息和相邻图像帧之间的惯性残差信息；
对所述视觉重投影残差信息和所述惯性残差信息进行联合优化，以生成优化后的车体坐标系的位姿信息和特征点的坐标信息。
2.根据权利要求1所述的方法，其特征在于，生成各帧图像数据相对于第一帧图像数据的车体相对旋转包括：
从惯性系统中识别车体坐标系的第一相对旋转，并从多相机系统中识别车体坐标系的第二相对旋转；
将所述第一相对旋转和所述第二相对旋转进行融合，并对融合后的旋转进行航迹推算，生成各帧图像数据相对于第一帧图像数据的车体相对旋转。
3.根据权利要求2所述的方法，其特征在于，从惯性系统中识别车体坐标系的第一相对旋转包括：
获取惯性测量单元在所述车辆初始化过程中的惯性相对旋转，并通过惯性坐标系到车体坐标系之间的旋转外参，将所述惯性相对旋转转换为车体坐标系的第一相对旋转。
4.根据权利要求1所述的方法，其特征在于，在车辆进入初始化过程之前，所述方法还包括：
在相机拍摄的图像数据中，针对第一帧图像数据中的目标特征点，在其它各帧图像数据中识别与所述目标特征点相匹配的匹配特征点；
计算所述匹配特征点与所述目标特征点之间的位置误差，若所述位置误差小于或者等于指定误差阈值，判定车辆当前处于静止状态；
当所述匹配特征点与所述目标特征点之间的位置误差大于所述指定误差阈值时，判定所述车辆进入车辆初始化过程。
5.根据权利要求1所述的方法，其特征在于，按照以下公式构建各帧图像数据之间的约束关系：
Figure 996667DEST_PATH_IMAGE001
其中，
Figure 805223DEST_PATH_IMAGE002
表示第n个相机拍摄的第j帧图像数据相对于第一帧图像数据的车体相对旋 转，Cn表示第n个相机，
Figure 566505DEST_PATH_IMAGE003
表示第i个特征点在相机的第一帧图像数据下的相对深度，
Figure 17078DEST_PATH_IMAGE004
表 示第i个特征点在第j帧图像数据中的方向向量，
Figure 180206DEST_PATH_IMAGE005
表示第n个相机拍摄的第j帧图像数据 相对于第一帧图像数据车体相对位移。
6.根据权利要求5所述的方法，其特征在于，各个相机拍摄的图像数据应用至所述约束关系后，得到非齐次线性方程组AX=B，其中：
Figure 425243DEST_PATH_IMAGE006
Figure 939401DEST_PATH_IMAGE007
其中，
Figure 928086DEST_PATH_IMAGE008
表示第n个相机标定后的旋转外参，
Figure 742458DEST_PATH_IMAGE009
表示第n个相机标定后的位移外参，
Figure 299341DEST_PATH_IMAGE010
表示当前相机拍摄的第j帧图像数据时刻相对于第一帧图像数据时刻的车体相对旋 转，
Figure 366042DEST_PATH_IMAGE011
表示当前相机拍摄的第j帧图像数据时刻相对于第一帧图像数据时刻的车体相对 位移。
7.根据权利要求1所述的方法，其特征在于，构建特征点的视觉重投影残差信息包括：
识别特征点在相机坐标系下的估计值和观测值，其中，所述估计值为特征点在图像平面的投影；
将所述估计值和所述观测值之间的平面距离作为构建的视觉重投影残差信息。
8.根据权利要求1所述的方法，其特征在于，所述相邻图像帧之间的惯性残差信息为相邻图像帧之间惯性测量单元的测量值与估计值的差值。
9.一种基于无重叠视域的多相机系统的初始化系统，其特征在于，所述初始化系统包括：
车体相对旋转生成单元，用于在车辆初始化过程中，针对相机拍摄的图像数据，生成各帧图像数据相对于第一帧图像数据的车体相对旋转；
约束关系求解单元，用于基于所述车体相对旋转，构建各帧图像数据之间的约束关系，并从所述约束关系中求解特征点的坐标信息和车辆的位移；
残差信息构建单元，用于根据所述坐标信息和所述位移，构建特征点的视觉重投影残差信息和相邻图像帧之间的惯性残差信息；
优化单元，用于对所述视觉重投影残差信息和所述惯性残差信息进行联合优化，以生成优化后的车体坐标系的位姿信息和特征点的坐标信息。
10.一种基于无重叠视域的多相机系统的初始化装置，其特征在于，所述装置包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1至8中任一所述的方法。
CN202210536441.8A 2022-05-18 2022-05-18 基于无重叠视域的多相机系统的初始化方法、系统及装置 Active CN114638897B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210536441.8A CN114638897B (zh) 2022-05-18 2022-05-18 基于无重叠视域的多相机系统的初始化方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210536441.8A CN114638897B (zh) 2022-05-18 2022-05-18 基于无重叠视域的多相机系统的初始化方法、系统及装置

Publications (2)

Publication Number Publication Date
CN114638897A true CN114638897A (zh) 2022-06-17
CN114638897B CN114638897B (zh) 2022-09-27

Family

ID=81952868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210536441.8A Active CN114638897B (zh) 2022-05-18 2022-05-18 基于无重叠视域的多相机系统的初始化方法、系统及装置

Country Status (1)

Country Link
CN (1) CN114638897B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601450A (zh) * 2022-11-29 2023-01-13 浙江零跑科技股份有限公司（Cn） 周视标定方法及相关装置、设备、系统和介质
CN116228875A (zh) * 2022-11-30 2023-06-06 苏州魔视智能科技有限公司 一种多相机车载系统的标定方法、装置、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160327395A1 (en) * 2014-07-11 2016-11-10 Regents Of The University Of Minnesota Inverse sliding-window filters for vision-aided inertial navigation systems
CN109166149A (zh) * 2018-08-13 2019-01-08 武汉大学 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN111882607A (zh) * 2020-07-14 2020-11-03 中国人民解放军军事科学院国防科技创新研究院 一种适用于增强现实应用的视觉惯导融合位姿估计方法
CN113376669A (zh) * 2021-06-22 2021-09-10 东南大学 一种基于点线特征的单目vio-gnss融合定位算法
CN113436261A (zh) * 2021-06-24 2021-09-24 湖南大学 一种面向封闭园区自动驾驶的单目视觉惯性定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160327395A1 (en) * 2014-07-11 2016-11-10 Regents Of The University Of Minnesota Inverse sliding-window filters for vision-aided inertial navigation systems
CN109166149A (zh) * 2018-08-13 2019-01-08 武汉大学 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN111882607A (zh) * 2020-07-14 2020-11-03 中国人民解放军军事科学院国防科技创新研究院 一种适用于增强现实应用的视觉惯导融合位姿估计方法
CN113376669A (zh) * 2021-06-22 2021-09-10 东南大学 一种基于点线特征的单目vio-gnss融合定位算法
CN113436261A (zh) * 2021-06-24 2021-09-24 湖南大学 一种面向封闭园区自动驾驶的单目视觉惯性定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JAYDENQ: "【VINS-Mono论文全文翻译】：VINS-Mono: A Robust and Versatile Monocular Visual-Inertial State Estimator", 《HTTPS://BLOG.CSDN.NET/JAYDENQ/ARTICLE/DETAILS/119845406》 *
龚赵慧等: "基于视觉惯性融合的半直接单目视觉里程计", 《机器人》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601450A (zh) * 2022-11-29 2023-01-13 浙江零跑科技股份有限公司（Cn） 周视标定方法及相关装置、设备、系统和介质
CN116228875A (zh) * 2022-11-30 2023-06-06 苏州魔视智能科技有限公司 一种多相机车载系统的标定方法、装置、系统及存储介质
CN116228875B (zh) * 2022-11-30 2023-12-08 苏州魔视智能科技有限公司 一种多相机车载系统的标定方法、装置、系统及存储介质

Also Published As

Publication number Publication date
CN114638897B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN110044354B (zh) 一种双目视觉室内定位与建图方法及装置
CN109993113B (zh) 一种基于rgb-d和imu信息融合的位姿估计方法
CN109887057B (zh) 生成高精度地图的方法和装置
CN109506642B (zh) 一种机器人多相机视觉惯性实时定位方法及装置
CN109084732B (zh) 定位与导航方法、装置及处理设备
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及系统
CN110832275B (zh) 基于双目图像更新高分辨率地图的系统和方法
CN111024066B (zh) 一种无人机视觉-惯性融合室内定位方法
CN107990899B (zh) 一种基于slam的定位方法和系统
US8213706B2 (en) Method and system for real-time visual odometry
JP5992184B2 (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
CN114638897B (zh) 基于无重叠视域的多相机系统的初始化方法、系统及装置
CN110319772B (zh) 基于无人机的视觉大跨度测距方法
CN110411457B (zh) 基于行程感知与视觉融合的定位方法、系统、终端和存储介质
US10401175B2 (en) Optical inertial measurement apparatus and method
JP6229041B2 (ja) 基準方向に対する移動要素の角度偏差を推定する方法
CN111986261B (zh) 一种车辆定位方法、装置、电子设备及存储介质
CN110458885B (zh) 基于行程感知与视觉融合的定位系统和移动终端
CN114693754B (zh) 一种基于单目视觉惯导融合的无人机自主定位方法与系统
CN113580134A (zh) 视觉定位方法、设备、机器人、存储介质及程序产品
Xian et al. Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach
CN113450334B (zh) 一种水上目标检测方法、电子设备及存储介质
CN117115271A (zh) 无人机飞行过程中的双目相机外参数自标定方法及系统
Yang et al. Simultaneous estimation of ego-motion and vehicle distance by using a monocular camera
KR102225321B1 (ko) 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant