CN113763481B - 一种移动场景中多相机视觉三维地图构建与自标定方法 - Google Patents
一种移动场景中多相机视觉三维地图构建与自标定方法 Download PDFInfo
- Publication number
- CN113763481B CN113763481B CN202110935727.9A CN202110935727A CN113763481B CN 113763481 B CN113763481 B CN 113763481B CN 202110935727 A CN202110935727 A CN 202110935727A CN 113763481 B CN113763481 B CN 113763481B
- Authority
- CN
- China
- Prior art keywords
- camera
- map
- points
- point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 104
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000010276 construction Methods 0.000 title claims abstract description 41
- 238000005457 optimization Methods 0.000 claims abstract description 27
- 238000004590 computer program Methods 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 21
- 238000006073 displacement reaction Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 239000000758 substrate Substances 0.000 claims description 7
- 238000004873 anchoring Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000007500 overflow downdraw method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种移动场景中多相机视觉三维地图构建与自标定方法，包括：构建用于多相机的通用相机模型；生成图像掩膜，获得标定图像点；采用多相机旋转平均策略，基于历史锚点测量位姿和锚点最优位姿，获得多相机当前时刻锚点的第一最优位姿；结合所有相机的所有匹配特征点对，构建新地图并融合冗余，得到三维视觉地图；采用光束集束优化方法进行迭代优化，得到锚点的第二最优位姿，实现三维视觉地图的自标定，基于图像语义，确定重识别图像，对三维视觉地图进行优化，并再次进行在线自标定。采用通用相机模型，扩展了多相机适用范围，优化在跟踪过程中的锚点位姿的旋转信息，保留绝对距离信息，实现三维视觉地图构建和在线自标定。
Description
技术领域
本发明涉及多相机建模技术领域，尤其是涉及一种移动场景中多相机视觉三维地图构建与自标定方法。
背景技术
目前，自动驾驶和平面运动的机器人越来越成为大家关注的焦点，在环境比较复杂的空间中，单一相机获取的环境图像几何纹理不清晰、视角内的环境动态变化、快速运动导致环境追踪丢失等问题。而多相机系统能够获取更大视角的环境信息，特别在车载多相机系统中，通过相机位置的组合能够获得全景的视觉信息，因此车载多相机系统在解决单相机存在的上述问题中更加鲁棒。但是，在车载多相机系统安装的过程中，由于重叠区域较小导致相机间的相对位置标定精度有限，人为安装误差，以及车身在运动过程中形变的存在，需要在建图过程中对多相机外参进行动态标定。
专利申请号为CN108257161A、名称为基于多相机的车辆环境三维重构和运动估计系统及方法中，公开了一种基于多目全景惯导的slam系统，提出通过双目视觉系统进行系统初始化，并且在建图过程中依赖双目视觉构建具有绝对尺度的视觉地图。但在没有双目装置以及视觉重叠的系统中，此技术无法应用。
专利申请号为CN109307508、名称为一种基于多关键帧的全景惯导SLAM方法中，公开了一种基于多关键帧的全景惯导slam方法，提出了通过多相机与惯导的紧融合，解决相机快速运动导致的运动模糊以及尺度恢复的问题，但其初始化过程中，需要单独初始化视觉与惯导，且必须将视觉与惯导对齐校正惯导的参数，比较繁琐，运算量大。
专利申请号为CN111274847A、名称为一种定位方法中，公开了通过惯导推导的位姿和视觉的连续帧构建初始化三维地图，并在后续视觉地图跟踪过程中采用惯导的旋转信息剔除掉错误匹配点对。但是在跟踪过程中使用了惯导的加速度推导的距离信息，因此在构建的视觉地图中没有和真实空间对应的绝对尺度信息。
基于以上技术的局限性，如何实现移动场景中多相机进行视觉三维地图重建与在线自标定，是目前亟待解决的问题。
发明内容
本发明的目的是提供一种移动场景中多相机视觉三维地图构建与自标定方法，通过建立通用相机模型，选择图像点，采用多相机旋转平均策略，获得多相机当前时刻锚点的第一最优位姿，基于第一最优位姿、所有相机的匹配特征点对，构建三维视觉地图，采用光束集束优化方法，实现三维视觉地图的自标定，并结合重识别图像，对三维视觉地图进行优化，实现了多相机三维视觉地图的重建与自标定。
第一方面，本发明的上述发明目的通过以下技术方案得以实现：
一种移动场景中多相机视觉三维地图构建与自标定方法，包括：构建用于多相机的通用相机模型；生成图像掩膜，获得标定图像点；采用多相机旋转平均策略，基于历史锚点测量位姿和锚点最优位姿，获得多相机当前时刻锚点的最优位姿；结合所有相机的所有匹配特征点对，构建新地图并融合冗余，得到三维视觉地图；采用光束集束优化方法进行迭代优化，得到锚点的优化后的最优位姿，实现三维视觉地图的在线自标定，基于图像语义，确定重识别图像，进行场景重识别，对三维视觉地图进行优化，并再次进行在线自标定；在所有图像经过旋转平均、构建与融合三维视觉地图、在线自标定、场景重识别处理完成后，输出地图。
本发明进一步设置为：采用最小二乘拟合法，对各相机标定模型进行拟合，得到用于多相机的通用相机模型。
本发明进一步设置为：基于通用相机模型，建立三维空间点与图像中像素的对应几何关系，计算三维空间点与相机光轴向量的角度，根据角度大小，生成图像掩膜，获得标定图像点。
本发明进一步设置为：采用多相机旋转平均策略，获得多相机当前时刻锚点的第二最优位姿，包括以下步骤：
S1、判断多相机地图是否已经初始化，对未初始化的地图进行初始化；对于初始化后的地图，基于各相机上一时刻的锚点位姿、外部传感器输入的锚点测量位姿及图像上的特征点，估算当前锚点的最优预测位姿与第一最优位姿，第一最优位姿包括第一最优旋转和外部传感器输入的位移；
S2、将多个时刻各相机跟踪到的地图点和当前时刻多相机检测到的特征点进行匹配，采用最小二乘优化，计算当前时刻的锚点第二最优旋转，得到当前时刻的锚点第二最优位姿。
本发明进一步设置为：多相机地图初始化，包括：基于多相机对锚点的外参及外部传感器输入的锚点测量位姿，计算连续K个时刻的各相机位姿；提取各相机图像中的图像特征点和特征描述子，对K个时刻中同一相机的二个不同时刻图像帧，计算各特征描述子之间的距离，得到匹配的特征点对，求解特征点对对应的三维空间点坐标；遍历所有相机的所有不同图像帧，匹配特征点对求解特征点对对应的三维空间点坐标，对多相机地图进行初始化。
本发明进一步设置为：步骤S1中，基于各相机上一时刻的锚点测量位姿、上一时刻的锚点最优位姿、当前时刻锚点的测量位姿，估算当前时刻锚点的最优预测位姿，结合当前时刻所有相机图像的图像特征点及特征描述子，分别与同一相机上一时刻跟踪到的第一视觉地图点进行匹配，得到当前时刻各相机能够观测到的第二视觉地图点及其在当前图像上的第二位置，计算当前时刻锚点的第一最优旋转。
本发明进一步设置为：步骤S2中，将各相机过去多个时刻跟踪到的地图点与当前时刻各相机生成的图像的特征点进行匹配，包括：将各相机过去多个时刻跟踪到的地图点与当前时刻同一相机生成的图像的特征点进行匹配；和
将各相机过去多个时刻跟踪到的地图点与当前时刻非同一相机生成的图像的特征点进行匹配；
非同一相机包括：距离最近的相机和距离最远的相机。
本发明进一步设置为：构建与融合多相机机地图：包括基于锚点第二最优位姿，将某相机获取的当前时刻图像特征点与其邻近的过去多个时刻的图像特征点进行匹配，形成匹配点对和新地图点；遍历所有相机的所有匹配点对，得到所有的新地图点，匹配地图点对，以地图点对被跟踪到的次数多少，融合冗余点，得到三维视觉地图。
本发明进一步设置为：融合方法包括：
将与某个相机距离最近的相机作为匹配相机，或将与某个相机距离最远的相机作为匹配相机；
将过去多个时刻某个相机生成和跟踪到的第一地图点，投影到匹配相机当前时刻图像，进行特征点匹配；或将当前时刻某个相机生成和跟踪到的第二地图点，投影到匹配相机过去多个时刻图像，进行特征点匹配；
若匹配成功，且匹配相机相应的特征点已经有对应的第三地图点，则融合第一地图点与第三地图点，或融合第二地图点与第三地图点；
若匹配不成功，则保留两个地图点。
本发明进一步设置为：基于三维视觉地图，进行局部地图的光束集束优化迭代，更新得到锚点第三最优位姿、各相机相对锚点的第一外参及参与优化的地图点坐标，进行地图在线自标定。
本发明进一步设置为：判断场景重识别是否成功，在重识别成功后，采用图像语义、BOW词袋算法，计算多相机图像特征描述子叠加，与历史时刻多相机图像特征描述子叠加的相似度，根据相似度确定重识别成功图像，采用同一相机不同时刻图像匹配方法，确定地图点与图像特征点之间的3D-2D匹配对，得到锚点的第三最优位姿、各相机相对锚点的外参以及所有地图点的坐标，优化三维视觉地图。
第二方面，本发明的上述发明目的通过以下技术方案得以实现：
一种移动场景中多相机视觉三维地图构建与自标定系统，包括普适相机转换模块、自动掩膜生成模块、旋转平均跟踪模块、多相机地图构建与融合冗余模块、多相机在线自标定模块、锚定基底场景重识别模块；
普适相机转换模块用于根据图像上的所有像素点，将各相机模型转换为统一相机模型；
自动掩膜生成模块用于将图像上所有像素点，基于统一相机模型进行标记；
旋转平均跟踪模块用于利用锚点的测量位姿预测当前锚点的最佳位姿，结合各相机之间相对锚点的外参，确定跟踪到的地图点，采用旋转平均方法迭代优化，估算当前锚点最佳位姿；
多相机地图构建与融合冗余模块，基于估算的当前锚点最佳位姿和各相机相对锚点的外参，构建新地图点，采用地图点融合策略进行去冗余操作；
多相机在线自标定模块基于去冗余后的地图点、锚点、各相机相对锚点的外参，经过迭代优化优化得到最优的锚点位姿、多相机系统中的外参及估计的地图点位置，更新地图和各模块；
锚定基底场景重识别模块，采用图像语义、BOW词袋算法，对同一相机的地图点与图像特征点进行匹配，得到3D-2D匹配对，基于多个3D-2D匹配对计算锚点第四最优位姿，代入在线自标定模块，再次优化。
第三方面，本发明的上述发明目的通过以下技术方案得以实现：
一种移动场景中多相机视觉三维地图构建与自标定终端，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请所述方法。
第四方面，本发明的上述发明目的通过以下技术方案得以实现：
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被所述处理器执行时实现本申请所述方法。
与现有技术相比，本申请的有益技术效果为：
1.本申请通过对多相机系统建立通用相机模型，构建三维空间点到图像像素点的对应几何关系，扩展了本技术方案的适用范围；
2.进一步地，本申请通过图像掩膜方法，滤除掉非必要的图像信息，只保留符合要求的图像信息，减小了计算强度；
3.进一步地，本申请采用旋转平均策略，优化锚点位姿的旋转信息，保留绝对距离信息，实现三维空间点真实距离的恢复；
4.进一步地，本申请采用相机匹配方式，去除冗余点，实现三维视觉地图的构建；
5.进一步地，本申请采用光束集束优化方法，实现了对三维视觉地图的自标定。
6.进一步地，本申请通过锚定基底的视觉回环校正，将全景的丰富纹理用于场景重识别，实现了三维视觉地图的进一步优化。
附图说明
图1是本申请的一个具体实施例的多相机视觉三维地图构建与自标定方法流程示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
在本申请中，用锚点(anchor)表示多相机系统中已知相对位置的外参标定基点，且与轮式编码器或者惯导系统的中心对齐。用外部传感器输入位姿表示轮式编码器或者惯性导航系统给定的系统位姿。
具体实施例一
本申请的一种移动场景中多相机视觉三维地图构建与自标定方法，如图1所示，包括：
1、构建多相机适用的通用相机模型；
2、自动生成图像掩膜，获得标定图像点；
3、接收视频序列输入与外部传感器输入，进行旋转平均跟踪；基于外部传感器输入的上一时刻与当前时刻的锚点测量位姿，结合上一时刻锚点的最优位姿，进行预测，得到当前时刻锚点的最优预测位姿，提取当前时刻所有相机的第一图像特征点与对应的第一特征描述子，用图像掩膜过滤，得到符合条件的当前时刻所有相机的图像特征点与对应的特征描述子，分别与上一时刻各相机跟踪到的视觉地图进行匹配，得到当前图像各相机能够观测到的地图点及对应在当前图像上的位置，估算当前时刻锚点的第一最优旋转，结合传感器输入的测量位移，得到当前时刻锚点的第一最优位姿；将各相机过去时刻跟踪到的地图点与分别与当前时刻所有相机的图像特征点进行匹配，匹配完成后对第一最优旋转采用最小二乘优化，得到第二最优旋转，基于第二最优旋转、外部传感器输入的测量位移，得到当前时刻锚点的第二最优位姿；
4、融合多相机地图：基于第二最优位姿，生成新地图，对新地图进行去冗余，得到三维视觉地图。
5、基于三维视觉地图，采用局部地图的光束集束优化，更新锚点位姿、各相机相对锚点的外参、地图点坐标，实现三维视觉地图的自标定；
6、基于锚点的场景重识别：包括判断场景重识别是否成功，在场景重识别成功后，基于场景重识别约束，对三维视觉地图进行矫正，并再次进行地图自标定；
基于场景重识别约束，对三维视觉地图进行矫正，包括：基于图像语义，对当前时刻所有相机的特征描述子进行叠加，计算与历史时刻特征描述子叠加的相似度，确定重识别图像，再次更新地图中锚点的位姿、各相机相对锚点的外参以及所有地图点的坐标，对三维视觉地图进行矫正，并进行在线自标定，实现基于锚点的场景重识别；
7、在所有视频序列经过旋转平均跟踪、构建与融合多相机地图、在线自标定、及基于锚点的场景重识别完成后，输出地图。
以下分别进行描述。
一、构建多相机适用的通用相机模型：
多相机系统包括n个相机，各相机具有各自的标定相机模型，将各标定相机模型转换为通用相机模型，包括以下步骤：
所有标定相机模型中的任意一个标定相机模型β，对于三维空间中的任一点P，得到其对应图像上的成像点p，即：
p＝β(P) (1)；
那么该标定相机模型的逆成像过程为β-1，即：
P＝β-1(p) (2)；
设通用相机模型为π，在同一个相机得到的图片数据中，对于空间中任一点P，采用不同的标定相机模型，其对应的像素点p是同一点。采用最小二乘拟合得到通用相机模型π，其中m表示图像上的像素点个数：
式中，对相机上所有像素产生的误差进行求和。
相应地有：P＝π-1(p) (4)；
基于逆相机模型β-1，将图像上所有的像素点，转换为像素点对应的入射光线方向向量，再将入射光线方向向量通过通用相机模型，投影成对应的投影点，计算投影点与原像素点之间的误差，利用最小二乘拟合算法，拟合得到通用相机模型，建立正确可用的三维空间点到图像像素点的对应几何关系。
二、生成自动图像掩膜：
采用通用相机模型，将图像上的所有像素点，转换为入射光线方向向量，建立三维空间点与图像上像素点的对应关系，根据入射光线与相机光轴的角度大小，对所有入射光线进行筛选，从中选择符合条件的入射光线，各入射光线对应图像上不同的像素点，将选中入射光线对应的像素点标记为标定像素点，对应地标记非标定像素点，后续以标定像素点进行处理，用标定像素点筛选特征点。
基于公式(4)，遍历所有相机图像上的所有标定像素点，得到对应的三维空间点P，设相机光轴为Z轴，相机光轴的单位向量为
三维空间点P与相机光轴单位向量的角度为：
将θ＞θ0对应的图像像素点在掩膜上置0，而θ≤θ0对应的图像像素点置1，即在设定角度θ0范围内的像素点为标定像素点，其余像素点为非标定像素点。
本过程通过三维空间点与像素平面点的对应关系，滤除非必要的图像信息，保留系统后续需要的图像信息。
三、基于旋转平均策略，确定锚点当前时刻的最佳位姿：
通过多相机的内跟踪和外跟踪的旋转平均策略，优化在跟踪过程中的惯导提供的锚点位姿的旋转信息，而保留轮齿编码器的提供的绝对距离信息，在后续构造多相机地图点的过程中，通过预先标定的相机外参，恢复三维空间点的真实距离。
包括以下步骤：
S1、判断地图是否已经初始化，若否，则对地图进行初始化，若是，根据外部传感器输入的第一时刻的第一锚点测量位姿及第一时间锚点的最优位姿、第二时刻的第二锚点测量位姿，估算第二时刻锚点的最优预测位姿和第一最优位姿，第一最优位姿包括外部传感器的输入位移和第一最优旋转；
其中，第一时刻表示上一个图像产生时刻，第一图像表示上一个图像，第一图像特征点表示上一个图像中的特征点；
S2、将各相机多个时刻跟踪到的地图点，与当前时刻多相机检测到的图像特征点进行匹配，采用最小二乘优化方法，计算第二时刻锚点的第二最优旋转，结合外部传感器输入的位移，得到当前时刻的锚点第二最优位姿。
其中，第二时刻表示当前图像产生时刻，第二图像表示当前图像，第二图像特征点表示当前图像中的特征点。
地图初始化：
基于多相机对锚点的外参及外部传感器输入的锚点测量位姿，计算连续k个时刻的相机位姿：
式中，表示第j个相机在第ti时刻的相机位姿(0≤i≤k)，/>表示外部传感器输入的第ti时刻的锚点测量位姿，/>表示第j个相机相对于锚点的外参，k为正整数。
对第j个相机的第u帧图像和第v帧图像，其中0≤u＜v≤k，分别图像中的图像特征点和特征描述子，计算两帧图像各特征描述子之间的距离，进行图像特征点匹配，得到相互匹配的图像特征点对，基于图像特征点对，计算该图像特征点对在三维空间的对应空间点P的坐标，由下式表示：
式中，pu、pv分别表示图像特征点对中的二个特征点，表示第u帧图像对应的相机位姿，/>表示第v帧图像对应的相机位姿，P表示三维空间点P的坐标。
对所有n个相机的所有不同帧图像，进行图像特征点匹配，并计算图像特征点对的对应空间点坐标，通过三角化地图点完成多相机地图初始化，得到初始化后的地图，称为第一地图。
估算当前时刻锚点的最优预测位姿及第一最优旋转：
基于第一地图，根据外部传感器输入的第一时刻tb的第一锚点测量位姿第二时刻ta的锚点测量位姿/>第一时刻tb的锚点最优位姿/>估算第二时刻锚点的最优预测位姿/>
其中，第一时刻tb的锚点最优位姿是与外部传感器输入的初始位姿相同，或是采用最小二乘拟合法得到：
式中，表示第j个相机的第一图像特征点坐标值，/>表示第一图像特征点对应的空间点坐标值，称为第一空间点，/>为t时刻外部传感器输入的锚点测量位姿，n表示相机数量。
第二时刻锚点的最优预测位姿由下式表示：
式中，表示第一时刻tb的锚点最优位姿；/>表示第一时刻tb的锚点测量位姿；/>表示第二时刻ta的锚点测量位姿，/>表示第二时刻ta的锚点测量位姿的逆矩阵。
提取所有相机当前图像的第二图像特征点及其对应的第二特征描述子，将第j个相机的第二图像特征点、第二特征描述子分别与第一时刻跟踪到的第一视觉地图点进行匹配。遍历所有相机，得到第二时刻各相机能够观测到的第二视觉地图点及其在当前图像上的第二位置/>视觉地图点对应具有图像特征的一个空间点。
计算当前时刻锚点的第一最优旋转：
式中，表示/>的旋转部分，/>表示/>的旋转部分，/>表示/>的旋转部分，/>为第二时刻锚点第一最优位姿，/>的位移部分和/>的位移部分保持一致，表示第二时刻锚点的最优预测位姿/>
表示将一个物理空间点和相机中心的连线转换成这个连线的单位向量。
地图点与特征点匹配：
将过去多个时刻的各相机的第一视觉地图点与第二时刻各相机检测到的第二特征点进行匹配，包括选择匹配相机和选择匹配时间。
A1、将第j个相机过去多个时刻跟踪到的第一视觉地图点与所有相机第二时刻的第二特征点进行匹配。
包括二个步骤：
A11、将第j个相机过去多个时刻跟踪到的地图点与该相机第二时刻的第二特征点进行匹配，即自匹配；
A12、将第j个相机过去多个时刻跟踪到的地图点与非同一个相机第二时刻的第二特征点进行匹配，即交叉匹配。
非同一相机指第j个相机以外的其余n-1个相机，包括与第j个相机距离最近的相机、与第j个相机距离最远的相机。
在本申请的一个具体实施例中，将第j个相机与距离最近的第h个相机形成匹配相机，或与距离最远的第l个相机形成匹配相机。
将第j个相机过去多个时刻跟踪到的地图点与当前时刻匹配相机生成图像的特征点进行匹配。
A2、改变j的取值，完成所有相机的匹配。
再次优化，计算当前时刻锚点的第一最优位姿：
匹配完成后，对第一最优旋转，采用最小二乘优化方法进行优化，得到第二最优旋转
式中，tz为选定的多相机在过去生成某个图像的时刻；表示第h个相机在tz时刻能够观测到的地图点，/>表示第l个相机在tz时刻能够观测到的地图点；/>表示当前时刻各相机能够观测到的地图点，/>表示地图点/>在当前图像上的位置。
第二最优旋转表示当前时刻锚点的局部最优旋转，基于局部最优旋转，得到当前时刻锚点的第二最优位姿/>其中，第二最优位姿/>中的旋转部分为/>位移部分与/>的位移部分保持一致。
通过优化在跟踪过程中惯导提供的锚点测量位姿的旋转信息，保留轮齿编码器的绝对距离信息，以便于在后续构造多相机地图点的过程中，通过预先标定的外参，恢复三维空间点的真实距离。
四、多相机地图构建与融合：
基于锚点第二最优位姿融合多相机系统中的冗余，构建多相机系统的三维视觉地图。
B1、对各相机获取的图像，分别提取当前时刻图像特征点及其邻近多个时刻的图像特征点，并对特征点进行匹配，基于所有相机的所有匹配特征点对，得到新地图点坐标P，构建多相机系统的新地图。
通过匹配特征点对，计算新地图点坐标P，由下式表示：
其中j表示n个相机中的任意一个。
B2、以地图点对被跟踪次数多少，对新地图中的冗余点进行融合，得到多相机系统的三维视觉地图。
融合冗余点，是将当前时刻图像帧的地图点与设定时间范围内的过去多个邻近时刻图像帧的地图点进行匹配，得到地图点对进行融合。
设地图点Pq、Pr是具有相同或相近特征描述子的地图点对，地图点Pq被跟踪到的次数为地图点Pr被跟踪到的次数为/>比较/>与/>的大小，以被跟踪次数多的点替换被跟踪次数少的点，进行融合。
即：若则用地图点Pq信息替换地图点Pr在地图中的所有保存的信息，删除地图点Pr。
若则用地图点Pr信息替换地图点Pq在地图中的所有保存的信息，删除地图点Pq。
在一个时序上，由于当前相机和过去帧匹配产生了很多地图点，这个地图点是属于当前帧的；但是在上一帧，同样产生了很多地图点；这些地图点在时间上是相邻的，图像中的场景大部分是相同的，对这一部分地图点进行融合。因此是当前帧的地图点和一定时间范围的过去多个邻近时间上的图像帧生成的地图点融合。
B3、将与某个相机距离最近的相机作为该相机的匹配相机，或将与某个相机距离最远的相机作为该相机的匹配相机。
将过去多个时刻某个相机生成和跟踪到的第一视觉地图点，投影到匹配相机当前时刻图像，进行特征点匹配；或将当前时刻某个相机生成和跟踪到的第二视觉地图点，投影到匹配相机过去多个时刻图像，进行特征点匹配。若匹配成功，且匹配相机相应的图像特征点已经有对应的第三视觉地图点，则融合第一视觉地图点与第三视觉地图点，或融合第二视觉地图点与第三视觉地图点；
若匹配不成功，则保留两个地图点。
具体地，包括：
方法一、将多个过去时刻j相机生成和跟踪到的地图点Pj，投影到与j相机最近邻的h相机当前时刻生成的图像上，进行特征点匹配，如果匹配成功，并且h相机的此图像特征点本身已经有对应的地图点Ph，则融合Pj和Ph两个地图点。
方法二、将多个过去时刻j相机生成和跟踪到的地图点Pj，投影到与j相机距离最远的相机l相机当前时刻生成的图像上，进行特征点匹配，如果匹配成功，并且l相机的此图像特征点本身已经有对应的地图点Pl，则融合Pj和Pl两个地图点。
方法三、将当前时刻j相机生成和跟踪到的地图点Pj，投影到与j相机最近邻的相机h相机过去时刻产生的图像，进行特征点匹配，如果匹配成功，并且h相机的图像特征点本身已经有对应的地图点Ph，则融合Pj和Ph两个地图点。
方法四、将当前时刻j相机生成和跟踪到的地图点Pj，投影到与j相机距离最远的l相机过去时刻产生的图像，进行特征点匹配，如果匹配成功，并且l相机的图像特征点本身已经有对应的地图点Pl，则融合Pj和Pl两个地图点。
本过程基于锚点第二最优位姿，通过相机自匹配与交叉匹配两种模式，去除由于图像视角可能存在的交叉而造成地图点的冗余，构建三维视觉地图点。
五、在线自标定：
对视觉三维地图，采用局部地图光束集束优化方法，迭代更新锚点第二最优位姿、各相机相对锚点的第一外参和第一三维视觉地图，得到锚点第三最优位姿、各相机相对锚点的第二外参和优化后的三维视觉地图。
在地图点融合后，以及在场景重识别完成后，都会进行自标定以进一步优化。所以实际上第三最优位姿，是地图点融合后优化生成的最优位姿，或者是重识别完成后优化生成的最优位姿。
求解下式，得到以下约束的最小值的最优解：
其中TE表示n表示相机的数量。
迭代优化完成后，用更新公式(6)-(9)中，更新参与优化的各个锚点的第三最优位姿/>以及参与优化的地图点的第二坐标/>对三维视觉地图进行优化。
在局部地图构建过程以及完成里程计累积漂移校正之后的光束集差过程中，通过外部相机的观测以及相机外参，将观测直接约束到锚点的位姿，对基于固定锚点的多相机外参、锚点测量位姿、外部观测的地图点，建立的最小二乘误差函数迭代优化，得到最优的多相机第二外参、第三锚点最优位姿以及外部观测地图点。将优化后的参数更新到旋转平均策略方式中，用于三维视觉地图的跟踪；或更新到场景重识别过程中，用于三维视觉地图的重识别。
六、锚定基底(Anchor-based)场景重识别：
采用图像语义进行场景语义级别的场景重识别，将当前时刻所有相机图像提取出来的特征描述子进行叠加，采用BOW词袋算法，计算叠加多相机图像特征描述子与历史时刻的叠加多相机特征描述子的相似度，得到相似度值最高的叠加多相机特征描述子，以其对应的多相机图像，作为重识别成功图像。
在多相机系统仅进行各相机的单独匹配，即j相机当前时刻ta的图像与j相机过去时刻tb的图像进行特征点匹配。查找过去时刻tb基于特征描述子匹配成功的特征点是否有对应地图点，如果存在地图点，则确认该地图点和该特征点为一对成功匹配的3D-2D匹配对。
通过3D-2D匹配对过去时刻tb锚点相对于当前时刻tb锚点的位姿Tab，构建方程：
通过多个3D-2D匹配对，能够求解得到Tab。
Tab表示b时刻相对a时刻的位姿。
在锚点位姿连接图中，加入重识别约束Tab，建立锚点位姿连接关系：
其中：TA表示所有锚点的第二最优位姿的集合。d、f是位于时刻b、a之间的两个时刻，且，按照b、f、d、a的顺序排列，时刻b最早，时刻a为当前时刻。表示时刻d锚点的第二最优位姿，/>表示时刻f锚点第二最优位姿的逆矩阵，/>表示时刻d、f3D-2D匹配对锚点的第二最优位姿，Ta表示时刻a锚点的第二最优位姿，/>表示时刻b锚点第二最优位姿的逆矩阵。
通过锚点基底场景重识别更新优化锚点位姿后，得到锚点第三最优位姿，将第三最优位姿代入在线自标定过程，再次优化，更新地图中锚点的位姿、各相机相对锚点的外参以及所有地图点的坐标。
本过程基于多相机的全景重识别和基于锚定基底的多相机独立约束的视觉回环校正，将全景的丰富纹理用于场景重识别，多相机独立约束的锚定算法用于校正长时间里程计的漂移。
具体实施例二
本申请的一种移动场景中多相机视觉三维地图构建与在线自标定系统，包括普适相机转换模块、自动掩膜生成模块、旋转平均跟踪模块、多相机地图构建与融合模块、在线自标定模块、锚点基底场景重识别模块。
普适相机转换模块用于利用最小二乘拟合算法，将各相机的标定相机模型转换成通用相机模型。
自动掩膜生成模块用于根据通用相机模型，将图像上的所有像素点，转换为空间点的入射光线方向向量，根据入射光线方向向量与相机光轴法向量的角度，生成掩膜，对像素进行标定。
旋转平均跟踪模块用于对未初始化的地图进行初始化，对初始化的地图，根据外部传感器输入的上一个时刻的锚点测量位姿、当前时刻的锚点测量位姿、上一时刻锚点的最优位姿，进行预测，得到当前时刻锚点的最优预测位姿；
结合当前时刻所有相机图像的特征点与特征描述子，上一时刻各相机跟踪到的视觉地图点，得到当前时刻锚点的第一最优旋转，结合外部传感器输入的位移，得到当前时刻锚点的第一最优位姿；
将过去多个时刻各相机跟踪到的地图点与当前时刻多相机检测到的特征点进行匹配，采用最小二乘进行优化，得到当前时刻锚点的第二最优旋转、当前时刻锚点的第二最优位姿。
多相机地图构建与融合模块用于根据第二最优位姿，对某个相机当前时刻的图像特征点与邻近多个时刻的图像特征点进行匹配，得到新地图点；遍历所有相机，得到所有新地图点，标记为第一地图点，组成第二地图；
根据新地图中各地图点被跟踪到的次数，对新地图进行去冗余，得到视觉三维地图。
在线自标定模块用于对局部地图的光束集束优化迭代，更新锚点位姿，得到锚点第三最优位姿、各相机相对锚点的第一外参、第二地图点。
将锚点第三最优位姿、各相机相对锚点的第一外参、第二地图点输入旋转平均跟踪模块，进行迭代更新。
锚点基底场景重识别模块用于通过图像语义，进行场景语义级别的场景重识别，将当前时刻所有相机的特征描述子进行叠加，采用BOW词袋算法，计算当前时刻多相机叠加图像特征描述子与历史时刻相机叠加图像特征描述子的相似度，以相似度最高的叠加图像特征描述子对应的多相机的图像，作为重识别成功的图像。
对单个相机不同时刻的图像进行特征点匹配，查找过去时刻图像特征对应的地图点，构建3D-2D匹配对，建立锚点位姿连接关系，更新锚点位姿，得到锚点第四最优位姿，将第四最优位姿代入在线自标定过程，再次优化，更新地图中锚点的位姿、各相机相对锚点的外参以及所有地图点的坐标。
本申请的工作原理如下：
本申请首先通过相机模型统一模块将任意的已知相机模型转化为通用相机模型，再通过通用相机模型以及自动掩膜生成模块生成所需视角范围内的图像掩膜。
接收到视频序列输入的情况下，进入旋转平均跟踪模块，首先判断地图是否已经初始化。
如果地图未初始化，根据已知的锚点位姿和各个相机外参对地图进行初始化。
如果地图已初始化，那么根据外部传感器输入的位姿、上一时刻锚点的最优位姿，得到当前时刻锚点的最优预测位姿，匹配已有的地图点，结合外部传感器输入的位移，通过旋转平均得到当前时刻锚点的第一最优位姿、第二最优位姿。
将当前锚点的第二最优位姿、图像特征点、特征描述子、各相机的外参，输入多相机地图构建与融合模块，与邻近当前时刻的图像进行特征描述子匹配，结合点的三角化算法，构建新的地图点。对新地图点进行匹配及采用去冗余策略，去掉冗余的地图点，得到第一地图点，生成第二地图。
将第一地图点、第一地图点对应的锚点位姿以及各个相机相对锚点的外参，输入在线自标定模块，优化得到锚点的第三最优位姿、各相机的第一外参以及第二地图点，将各相机的第二外参以及第三地图点，输入旋转平局跟踪模块等待下一帧图像跟踪使用。
将当前时刻图像对应的锚点第三最优位姿、各个相机的第二外参、以及第三地图点，输入锚点基底(anchor-based)场景重识别模块，在计算确认场景重识别成功的情况下，通过重识别约束，优化锚点的位姿。优化完成后，得到锚点第四最优位姿、各个相机的第三外参以及第四地图点，将锚点第四最优位姿、各个相机的第三外参以及第四地图点再次输入在线自标定模块，优化得到锚点第五最优位姿、各个相机的第四外参以及第五地图点，输入旋转平均跟踪模块等待下一帧图像跟踪使用。
在视频序列输入完成或停止的情况下，将地图输出，其中包括锚点的位姿，各个相机的外参以及地图点。
具体实施例三
本发明一实施例提供的一种移动场景中多相机视觉三维地图构建与在线自标定系统终端设备，该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如移动场景中多相机视觉三维地图构建与在线自标定系统计算机程序，所述处理器执行所述计算机程序时实现实施例1中的方法。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述移动场景中多相机视觉三维地图构建与在线自标定系统终端设备中的执行过程。例如，所述计算机程序可以被分割成多个模块，各模块具体功能如下：
1.普适相机转换模块，用于建立通用相机模型；
2.自动掩膜生成模块，用于标记像素点；
3.旋转平均跟踪模块，用于计算当前锚点位姿；
4.多相机地图构建与融合模块，用于构建新地图；
5.在线自标定模块，用于进行地图标定
6.锚点基底场景重识别模块，用于更新锚点位姿。
所述移动场景中多相机视觉三维地图构建与在线自标定系统终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述移动场景中多相机视觉三维地图构建与在线自标定系统终端设备可包括，但不仅限于处理器、存储器。本领域技术人员可以理解，所述上述示例仅仅是移动场景中多相机视觉三维地图构建与在线自标定系统终端设备的示例，并不构成对所述终端设备的限定，可以包括更多或更少的部件，或组合某些部件，或不同的部件，例如所述移动场景中多相机视觉三维地图构建与在线自标定系统终端设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数据信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种移动场景中多相机视觉三维地图构建与在线自标定系统终端设备的控制中心，利用各种接口和线路连接整个一种移动场景中多相机视觉三维地图构建与在线自标定系统终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种移动场景中多相机视觉三维地图构建与在线自标定系统终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
具体实施例三
所述一种移动场景中多相机视觉三维地图构建与在线自标定系统终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本具体实施方式的实施例均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。
Claims (14)
1.一种移动场景中多相机视觉三维地图构建与自标定方法，其特征在于：包括：构建用于多相机的通用相机模型；生成图像掩膜，获得标定图像点；采用多相机旋转平均策略，基于历史锚点测量位姿和锚点最优位姿，获得多相机当前时刻锚点的最优位姿；结合所有相机的所有匹配特征点对，构建新地图并融合冗余，得到三维视觉地图；采用光束集束优化方法进行迭代优化，得到锚点的优化后的最优位姿，实现三维视觉地图的在线自标定，基于图像语义，确定重识别图像，进行场景重识别，对三维视觉地图进行优化，并再次进行在线自标定；在所有图像经过旋转平均、构建与融合三维视觉地图、在线自标定、场景重识别处理完成后，输出地图。
2.根据权利要求1所述移动场景中多相机视觉三维地图构建与自标定方法，其特征在于：采用最小二乘拟合法，对各相机标定模型进行拟合，得到用于多相机的通用相机模型。
3.根据权利要求1所述移动场景中多相机视觉三维地图构建与自标定方法，其特征在于：基于通用相机模型，建立三维空间点与图像中像素的对应几何关系，计算三维空间点与相机光轴向量的角度，根据角度大小，生成图像掩膜，获得标定图像点。
4.根据权利要求1所述移动场景中多相机视觉三维地图构建与自标定方法，其特征在于：采用多相机旋转平均策略，获得多相机当前时刻锚点的第二最优位姿，包括以下步骤：
S1、判断多相机地图是否已经初始化，对未初始化的地图进行初始化；对于初始化后的地图，基于各相机上一时刻的锚点位姿、外部传感器输入的锚点测量位姿及图像上的特征点，估算当前锚点的最优预测位姿与第一最优位姿，第一最优位姿包括第一最优旋转和外部传感器输入的位移；
S2、将多个时刻各相机跟踪到的地图点和当前时刻多相机检测到的特征点进行匹配，采用最小二乘优化，计算当前时刻的锚点第二最优旋转，得到当前时刻的锚点第二最优位姿。
5.根据权利要求4所述移动场景中多相机视觉三维地图构建与自标定方法，其特征在于：多相机地图初始化，包括：基于多相机对锚点的外参及外部传感器输入的锚点测量位姿，计算连续K个时刻的各相机位姿；提取各相机图像中的图像特征点和特征描述子，对K个时刻中同一相机的二个不同时刻图像帧，计算各特征描述子之间的距离，得到匹配的特征点对，求解特征点对对应的三维空间点坐标；遍历所有相机的所有不同图像帧，匹配特征点对求解特征点对对应的三维空间点坐标，对多相机地图进行初始化。
6.根据权利要求4所述移动场景中多相机视觉三维地图构建与自标定方法，其特征在于：步骤S1中，基于各相机上一时刻的锚点测量位姿、上一时刻的锚点最优位姿、当前时刻锚点的测量位姿，估算当前时刻锚点的最优预测位姿，结合当前时刻所有相机图像的图像特征点及特征描述子，分别与同一相机上一时刻跟踪到的第一视觉地图点进行匹配，得到当前时刻各相机能够观测到的第二视觉地图点及其在当前图像上的第二位置，计算当前时刻锚点的第一最优旋转。
7.根据权利要求4所述移动场景中多相机视觉三维地图构建与自标定方法，其特征在于：步骤S2中，将各相机过去多个时刻跟踪到的地图点与当前时刻各相机生成的图像的特征点进行匹配，包括：
将各相机过去多个时刻跟踪到的地图点与当前时刻同一相机生成的图像的特征点进行匹配；和
将各相机过去多个时刻跟踪到的地图点与当前时刻非同一相机生成的图像的特征点进行匹配；
非同一相机包括：距离最近的相机和距离最远的相机。
8.根据权利要求1所述移动场景中多相机视觉三维地图构建与自标定方法，其特征在于：构建与融合多相机机地图：包括基于锚点第二最优位姿，将某相机获取的当前时刻图像特征点与其邻近的过去多个时刻的图像特征点进行匹配，形成匹配点对和新地图点；遍历所有相机的所有匹配点对，得到所有的新地图点，匹配地图点对，以地图点对被跟踪到的次数多少，融合冗余点，得到三维视觉地图。
9.根据权利要求8所述移动场景中多相机视觉三维地图构建与自标定方法，其特征在于：
融合方法包括：
将与某个相机距离最近的相机作为匹配相机，或将与某个相机距离最远的相机作为匹配相机；
将过去多个时刻某个相机生成和跟踪到的第一地图点，投影到匹配相机当前时刻图像，进行特征点匹配；或将当前时刻某个相机生成和跟踪到的第二地图点，投影到匹配相机过去多个时刻图像，进行特征点匹配；
若匹配成功，且匹配相机相应的特征点已经有对应的第三地图点，则融合第一地图点与第三地图点，或融合第二地图点与第三地图点；
若匹配不成功，则保留两个地图点。
10.根据权利要求1所述移动场景中多相机视觉三维地图构建与自标定方法，其特征在于：基于三维视觉地图，进行局部地图的光束集束优化迭代，更新得到锚点第三最优位姿、各相机相对锚点的第一外参及参与优化的地图点坐标，进行地图在线自标定。
11.根据权利要求1所述移动场景中多相机视觉三维地图构建与自标定方法，其特征在于：判断场景重识别是否成功，在重识别成功后，采用图像语义、BOW词袋算法，计算多相机图像特征描述子叠加，与历史时刻多相机图像特征描述子叠加的相似度，根据相似度确定重识别成功图像，采用同一相机不同时刻图像匹配方法，确定地图点与图像特征点之间的3D-2D匹配对，得到锚点的第三最优位姿、各相机相对锚点的外参以及所有地图点的坐标，优化三维视觉地图。
12.一种移动场景中多相机视觉三维地图构建与自标定系统，其特征在于：包括普适相机转换模块、自动掩膜生成模块、旋转平均跟踪模块、多相机地图构建与融合冗余模块、多相机在线自标定模块、锚定基底场景重识别模块；
普适相机转换模块用于根据图像上的所有像素点，将各相机模型转换为统一相机模型；
自动掩膜生成模块用于将图像上所有像素点，基于统一相机模型进行标记；
旋转平均跟踪模块用于利用锚点的测量位姿预测当前锚点的最佳位姿，结合各相机之间相对锚点的外参，确定跟踪到的地图点，采用旋转平均策略迭代优化，估算当前锚点最佳位姿；
多相机地图构建与融合冗余模块，基于估算的当前锚点最佳位姿和各相机相对锚点的外参，构建新地图点，采用地图点融合策略进行去冗余操作；
多相机在线自标定模块基于去冗余后的地图点、锚点、各相机相对锚点的外参，经过迭代优化优化得到最优的锚点位姿、多相机系统中的外参及估计的地图点位置，更新地图和各模块；
锚定基底场景重识别模块，采用图像语义、BOW词袋算法，对同一相机的地图点与图像特征点进行匹配，得到3D-2D匹配对，基于多个3D-2D匹配对计算锚点第四最优位姿，代入在线自标定模块，再次优化。
13.一种移动场景中多相机视觉三维地图构建与自标定终端，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-11任一所述方法。
14.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-11任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110935727.9A CN113763481B (zh) | 2021-08-16 | 2021-08-16 | 一种移动场景中多相机视觉三维地图构建与自标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110935727.9A CN113763481B (zh) | 2021-08-16 | 2021-08-16 | 一种移动场景中多相机视觉三维地图构建与自标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113763481A CN113763481A (zh) | 2021-12-07 |
| CN113763481B true CN113763481B (zh) | 2024-04-05 |
Family
ID=78789401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110935727.9A Active CN113763481B (zh) | 2021-08-16 | 2021-08-16 | 一种移动场景中多相机视觉三维地图构建与自标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763481B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115631240B (zh) * | 2022-12-21 | 2023-05-26 | 速度时空信息科技股份有限公司 | 大规模场景的视觉定位数据处理方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107063258A (zh) * | 2017-03-07 | 2017-08-18 | 重庆邮电大学 | 一种基于语义信息的移动机器人室内导航方法 |
| CN110060277A (zh) * | 2019-04-30 | 2019-07-26 | 哈尔滨理工大学 | 一种多特征融合的视觉slam方法 |
| WO2019157925A1 (zh) * | 2018-02-13 | 2019-08-22 | 视辰信息科技(上海)有限公司 | 视觉惯性里程计的实现方法及系统 |
| CN110458897A (zh) * | 2019-08-13 | 2019-11-15 | 北京积加科技有限公司 | 多摄像头自动标定方法及系统、监控方法及系统 |
| CN111986296A (zh) * | 2020-08-20 | 2020-11-24 | 叠境数字科技（上海）有限公司 | 一种用于子弹时间的cg动画合成方法 |
| CN113160325A (zh) * | 2021-04-01 | 2021-07-23 | 长春博立电子科技有限公司 | 基于进化算法的多摄像机高精度自动标定方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110657803B (zh) * | 2018-06-28 | 2021-10-29 | 深圳市优必选科技有限公司 | 机器人定位方法、装置以及存储装置 |
-
2021
- 2021-08-16 CN CN202110935727.9A patent/CN113763481B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107063258A (zh) * | 2017-03-07 | 2017-08-18 | 重庆邮电大学 | 一种基于语义信息的移动机器人室内导航方法 |
| WO2019157925A1 (zh) * | 2018-02-13 | 2019-08-22 | 视辰信息科技(上海)有限公司 | 视觉惯性里程计的实现方法及系统 |
| CN110060277A (zh) * | 2019-04-30 | 2019-07-26 | 哈尔滨理工大学 | 一种多特征融合的视觉slam方法 |
| CN110458897A (zh) * | 2019-08-13 | 2019-11-15 | 北京积加科技有限公司 | 多摄像头自动标定方法及系统、监控方法及系统 |
| CN111986296A (zh) * | 2020-08-20 | 2020-11-24 | 叠境数字科技（上海）有限公司 | 一种用于子弹时间的cg动画合成方法 |
| CN113160325A (zh) * | 2021-04-01 | 2021-07-23 | 长春博立电子科技有限公司 | 基于进化算法的多摄像机高精度自动标定方法 |
Non-Patent Citations (5)
| Title |
|---|
| A general optimization-based framework for local odometry estimation with multiple sensors;Qin Tong et al.;arXIV;全文 * |
| Exhaustive linearization for robust camera pose and focal length estimation;Penate-sanchez A et al.;TPAMI;全文 * |
| MonoSlAM：real-time single camera SLAM;Davison A J et al.;IEEE;全文 * |
| 基于单目多视角影像的场景三维重建;吴铮铮;寇展;;光学与光电技术(05);全文 * |
| 基于双目视觉的目标识别与定位研究;蒋萌;王尧尧;陈柏;;机电工程(04);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113763481A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| CN110009681B (zh) | 一种基于imu辅助的单目视觉里程计位姿处理方法 | |
| CN110246147B (zh) | 视觉惯性里程计方法、视觉惯性里程计装置及移动设备 | |
| US9270891B2 (en) | Estimation of panoramic camera orientation relative to a vehicle coordinate frame | |
| CN109443348B (zh) | 一种基于环视视觉和惯导融合的地下车库库位跟踪方法 | |
| JP7002007B2 (ja) | カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム | |
| CN111415387A (zh) | 相机位姿确定方法、装置、电子设备及存储介质 | |
| CN111489288B (zh) | 一种图像的拼接方法和装置 | |
| CN111882655B (zh) | 三维重建的方法、装置、系统、计算机设备和存储介质 | |
| CN110717861A (zh) | 图像拼接方法、装置、电子设备和计算机可读存储介质 | |
| CN113506342B (zh) | 一种基于多相机全景视觉的slam全向回环校正方法 | |
| CN111383264B (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
| CN113587934B (zh) | 一种机器人、室内定位方法、装置和可读存储介质 | |
| CN112348889A (zh) | 视觉定位方法及相关装置、设备 | |
| CN112198878B (zh) | 一种即时地图构建方法、装置、机器人及存储介质 | |
| CN113345032B (zh) | 一种基于广角相机大畸变图的初始化建图方法及系统 | |
| Martins et al. | Monocular camera calibration for autonomous driving—a comparative study | |
| CN113763481B (zh) | 一种移动场景中多相机视觉三维地图构建与自标定方法 | |
| CN113240597B (zh) | 基于视觉惯性信息融合的三维软件稳像方法 | |
| CN114754779B (zh) | 一种定位与建图方法、装置及电子设备 | |
| KR102225321B1 (ko) | 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법 | |
| CN109919998B (zh) | 卫星姿态确定方法、装置和终端设备 | |
| CN113124906A (zh) | 基于在线标定的测距方法、装置及电子设备 | |
| CN114462622B (zh) | 一种用于众包数据的深度学习模型部署与训练方法 | |
| CN118037936A (zh) | 一种地图局部更新方法、系统及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |