CN107862720A - 基于多地图融合的位姿优化方法及位姿优化系统 - Google Patents
基于多地图融合的位姿优化方法及位姿优化系统 Download PDFInfo
- Publication number
- CN107862720A CN107862720A CN201711200599.3A CN201711200599A CN107862720A CN 107862720 A CN107862720 A CN 107862720A CN 201711200599 A CN201711200599 A CN 201711200599A CN 107862720 A CN107862720 A CN 107862720A
- Authority
- CN
- China
- Prior art keywords
- mrow
- pose
- key frame
- mtd
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 105
- 230000004927 fusion Effects 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 26
- 230000033001 locomotion Effects 0.000 claims abstract description 16
- 238000012937 correction Methods 0.000 claims description 17
- 238000009432 framing Methods 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 claims description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多地图融合的位姿优化方法及系统。方法包括：分别对多个相机的广角镜头进行标定，获得多个相机的广角镜头的标定参数；根据标定参数，对与该标定参数相对应地广角镜头的广角图像进行矫正，获得正常视角图像；将多个相机放置于世界坐标系中的相同坐标位置处并初始化；跟踪并获取每个相机运动时的正常视角图像，计算得到每个相机的关键帧位姿，生成关键帧位姿集合；对关键帧位姿集合中的每一个关键帧位姿进行优化处理，生成优化关键帧位姿集合，并根据优化关键帧位姿集合，生成融合地图。因此，可以使得多个相机的位姿统一到同一坐标系下，以建立相同的地图，从而可以将多个地图进行融合。
Description
技术领域
本发明涉及体感技术应用领域，特别涉及一种基于多地图融合的位姿优化方法和一种基于多地图融合的位姿优化系统。
背景技术
目前，即时定位与地图构建(SLAM，Simultaneous Localization And Mapping)技术，在增强现实(AR，Augment Reality)技术领域中有着重要的地位，单SLAM系统的研究目前已经很多了，未来多SLAM系统的融合将扮演重要的角色，可为多种应用提供服务，如基于软件即服务(Saas，Software-as-a-Service)的SLAM应用将普遍出现在移动端设备上。因此，在这样的环境下，位姿优化将成为多SLAM地图的融合技术中的关键。
国内虚拟现实(VR，Virtual Reality)技术的应用产品近几年已经很广泛，普遍应用在游戏、直播和在线视频娱乐中，VR是纯虚拟技术，用户无法与现实之间进行交互。AR则能实现现实和虚拟的交互，能为用户带来更逼真的体验。SLAM技术在AR领域中的地位举足轻重，它是实现定位(Localization)和建图(Mapping)的技术，其核心点是跟踪和路径优化。单SLAM系统一般硬件采用摄像机和传感器，现有的传感器主要有激光扫描仪和飞行时间(TOF，Time of Flight)摄像头，其中基于TOF的SLAM性能优于激光扫描，然而TOF的缺点是可扫描范围有限，适用于局部建图。基于视觉里程计(VO，Visual Odometry)的SLAM系统的可视范围不受限，应用型比TOF强，由于其累积的误差随着时间增加而增加，所以最重要的问题在于位姿的全局和局部优化。单SLAM系统建图的密度、范围有限，多SLAM则能很好的解决这样的问题，通过地图融合，可实现大范围的地图构建。
但是，多SLAM系统的难点之一是如何将得到的相机姿态统一到同一坐标系下，如此才能建立相同的地图。单个SLAM系统得到的位姿往往是离散的，统一坐标实际是将多个SLAM系统的离散位姿映射都世界坐标下的位置中，因为存在着误差，且加上误差的累积，所以需要利用优化算法对位姿进行优化矫正。
因此，如何设计出一种可以将多SLAM系统中的多地图融合的位姿优化方法成为本领域亟需解决的技术问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一，提出了一种基于多地图融合的位姿优化方法和一种基于多地图融合的位姿优化系统。
为了实现上述目的，本发明的第一方面，提供了一种基于多地图融合的位姿优化方法，所述方法包括：
分别对多个相机的广角镜头进行标定，获得所述多个相机的广角镜头的标定参数；
根据所述标定参数，对与该标定参数相对应地广角镜头的广角图像进行矫正，以获得正常视角图像；
将所述多个相机放置于世界坐标系中的相同坐标位置处，并初始化；
跟踪并获取每个所述相机运动时的正常视角图像，计算得到每个所述相机的关键帧位姿，生成关键帧位姿集合，其中，每个所述相机自所述相同坐标位置处独立运动；
对所述关键帧位姿集合中的每一个所述关键帧位姿进行优化处理，生成优化关键帧位姿集合，并根据所述优化关键帧位姿集合，生成融合地图。
优选地，所述根据所述标定参数，对与该标定参数相对应地广角镜头的广角图像进行矫正，以获得正常视角图像的步骤包括：
设定广角图像中的点的坐标为(x，y)，以及设定矫正后的正常视角图像中的该点的坐标为(X，Y)；
获取预设尺度z，得到向量(x，y，z)；
根据所述向量(x，y，z)以及下述公式进行矫正：
ρ＝arctan(z/norm)；
f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+……；
u＝x*f(ρ)/norm；
v＝y*f(ρ)/norm；
其中，norm为图像坐标点L2范数，ρ为z方向角，f(ρ)为畸变矫正模型函数，a0、a1、a2和a3为标定得到的多项式f(ρ)的系数参数，u为第一计算中间值，v为第二计算中间值，c、d和e均是标定得到的仿射参数，xc为标定的行偏移量参数，yc为标定的列偏移量参数。
优选地，所述跟踪并获取每个所述相机运动时的正常视角图像，计算得到每个所述相机的关键帧位姿，生成关键帧位姿集合的步骤包括：
基于SLAM算法，对每个所述相机的正常视角图像进行处理，得到所述正常视角图像中每帧的位姿；
将全部所述正常视角图像中的全部帧的位姿与预设关键帧条件进行匹配，并获取全部与所述预设关键帧条件相匹配的帧的位姿，生成所述关键帧位姿集合。
优选地，所述对所述关键帧位姿集合中的每一个所述关键帧位姿进行优化处理，生成优化关键帧位姿集合，并根据所述优化关键帧位姿集合，生成融合地图的步骤包括：
建立下述优化模型：
其中，Ti为第i个SLAM系统的世界坐标系到标准世界坐标系的变换矩阵，Rj，tj为每个SLAM系统中的第j个相机的关键帧位姿，Pjk表示每个SLAM系统中的第j个相机的第k个三维空间点，p′jk表示每个SLAM系统中的第j个相机的广角图像中的第k个特征点，f(x)表示广角图像的坐标到矫正后的坐标，d(x，y)表示x与y之间的向量距离；
基于所述优化模型，利用非线性优化算法，对全部所述关键帧位姿进行优化处理，生成所述优化关键帧位姿集合，并根据所述优化关键帧位姿集合，生成所述融合地图。
优选地，所述基于所述优化模型，利用非线性优化算法，对全部所述关键帧位姿进行优化处理，生成所述优化关键帧位姿集合，并根据所述优化关键帧位姿集合，生成所述融合地图的步骤中，利用下述公式进行优化：
f＝d(Ti*(Rijtij)*Pjk，pjk)；
其中，f为投影残差函数，d为距离函数。
本发明的第二方面，提供了一种基于多地图融合的位姿优化系统，所述系统包括多个SLAM子系统，每个所述SLAM子系统包括多个相机，所述系统还包括：
标定模块，所述标定模块用于分别对多个相机的广角镜头进行标定，获得所述多个相机的广角镜头的标定参数；
矫正模块，所述矫正模块用于根据所述标定参数，对与该标定参数相对应地广角镜头的广角图像进行矫正，以获得正常视角图像；
初始化模块，所述初始化模块用于将所述多个相机放置于世界坐标系中的相同坐标位置处，并初始化；
跟踪模块，所述跟踪模块用于跟踪并获取每个所述相机运动时的正常视角图像，计算得到每个所述相机的关键帧位姿，生成关键帧位姿集合，其中，每个所述相机自所述相同坐标位置处独立运动；
优化模块，所述优化模块用于对所述关键帧位姿集合中的每一个所述关键帧位姿进行优化处理，生成优化关键帧位姿集合，并根据所述优化关键帧位姿集合，生成融合地图。
优选地，所述矫正模块包括设定子模块和获取子模块；
所述设定子模块用于设定广角图像中的点的坐标为(x，y)，以及设定矫正后的正常视角图像中的该点的坐标为(X，Y)；
所述获取子模块用于获取预设尺度z，得到向量(x，y，z)；
所述矫正模块用于根据所述向量(x，y，z)以及下述公式进行矫正：
ρ＝arctan(z/norm)；
f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+……；
u＝x*f(ρ)/norm；
v＝y*f(ρ)/norm；
其中，norm为图像坐标点L2范数，ρ为z方向角，f(ρ)为畸变矫正模型函数，a0、a1、a2和a3为标定得到的多项式f(ρ)的系数参数，u为第一计算中间值，v为第二计算中间值，c、d和e均是标定得到的仿射参数，xc为标定的行偏移量参数，yc为标定的列偏移量参数。
优选地，所述跟踪模块包括处理子模块和匹配子模块；
所述处理子模块用于基于SLAM算法，对每个所述相机的正常视角图像进行处理，得到所述正常视角图像中每帧的位姿；
所述匹配子模块用于将全部所述正常视角图像中的全部帧的位姿与预设关键帧条件进行匹配，并获取全部与所述预设关键帧条件相匹配的帧的位姿，生成所述关键帧位姿集合。
优选地，所述优化模块包括模型建立子模块和模型优化子模块：
所述模型建立子模块用于建立下述优化模型：
其中，Ti为第i个SLAM系统的世界坐标系到标准世界坐标系的变换矩阵，Rj，tj为每个SLAM系统中的第j个相机的关键帧位姿，Pjk表示每个SLAM系统中的第j个相机的第k个三维空间点，p′jk表示每个SLAM系统中的第j个相机的广角图像中的第k个特征点，f(x)表示广角图像的坐标到矫正后的坐标，d(x，y)表示x与y之间的向量距离；
所述模型优化子模块用于基于所述优化模型，利用非线性优化算法，对全部所述关键帧位姿进行优化处理，生成所述优化关键帧位姿集合，并根据所述优化关键帧位姿集合，生成所述融合地图。
优选地，所述模型优化子模块根据下述公式对所述优化模型进行优化：
f＝d(Ti*(Rijtij)*Pjk，pjk)；
其中，f为投影残差函数，d为距离函数。
本发明的基于多地图融合的位姿优化方法中，首先，分别对多个相机的广角镜头进行标定，获得多个相机的广角镜头的标定参数。其次，根据标定参数，对与该标定参数相对应地广角镜头的广角图像进行矫正，以获得正常视角图像。之后，将多个相机放置于世界坐标系中的相同坐标位置处，并初始化。进一步地，跟踪并获取每个相机运动时的正常视角图像，计算得到每个相机的关键帧位姿，生成关键帧位姿集合，其中，每个相机自相同坐标位置处独立运动。最后，对关键帧位姿集合中的每一个关键帧位姿进行优化处理，生成优化关键帧位姿集合，并根据优化关键帧位姿集合，生成融合地图。因此，本发明的基于多地图融合的位姿优化方法，可以使得多个相机的位姿统一到同一坐标系下，从而可以建立相同的地图，进而可以将多个地图进行融合，得到全局地图。
本发明的基于多地图融合的位姿优化系统中，首先，标定模块分别对多个相机的广角镜头进行标定，获得多个相机的广角镜头的标定参数。其次，矫正模块根据标定参数，对与该标定参数相对应地广角镜头的广角图像进行矫正，以获得正常视角图像。之后，初始化模块将多个相机放置于世界坐标系中的相同坐标位置处，并初始化。进一步地，跟踪模块跟踪并获取每个相机运动时的正常视角图像，计算得到每个相机的关键帧位姿，生成关键帧位姿集合，其中，每个相机自相同坐标位置处独立运动。最后，优化模块对关键帧位姿集合中的每一个关键帧位姿进行优化处理，生成优化关键帧位姿集合，并根据优化关键帧位姿集合，生成融合地图。因此，本发明的基于多地图融合的位姿优化系统，可以使得多个相机的位姿统一到同一坐标系下，从而可以建立相同的地图，进而可以将多个地图进行融合，得到全局地图。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1为本发明第一实施例中基于多地图融合的位姿优化方法的流程图；
图2为本发明第二实施例中基于基于多地图融合的位姿优化系统的结构示意图。
附图标记说明
100：基于多地图融合的位姿优化系统；
110：SLAM子系统；
111：相机；
120：标定模块；
130：矫正模块；
131：设定子模块；
132：获取子模块；
140：初始化模块；
150：跟踪模块；
151：处理子模块；
152：匹配子模块；
160：优化模块；
161：模型建立子模块；
162：模型优化子模块。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
参考图1，本发明的第一方面，涉及一种基于多地图融合的位姿优化方法S100。该优化方法适用于本发明的基于多地图融合的位姿优化系统100中，如图2所示，该系统包括多个SLAM子系统110，每个SLAM子系统110包括多个相机111。方法S100包括：
S110、分别对多个相机的广角镜头进行标定，获得多个相机的广角镜头的标定参数。
具体地，在本步骤中，例如，可以采用matlab全方位摄像机标定工具箱对多个相机的广角镜头进行标定，从而可以获得每个相机的广角镜头的标定参数。当然，除了可以采用matlab全方位摄像机标定工具箱进行标定以外，还可以采取其他的标定方式。
至于每个相机的广角镜头的标定参数的具体内容，并没有作出限定，可以根据实际需要确定所需要的标定参数，例如，可以是下述的标定的行偏移量参数以及列偏移量参数等。
S120、根据标定参数，对与该标定参数相对应地广角镜头的广角图像进行矫正，以获得正常视角图像。
具体地，广角镜头的视场角一般采用120°，之所以采用广角镜头，是因为广角镜头本身的优点，其焦距短、视角大，在较短的拍摄距离范围内，能拍摄到较大面积的景物。因此，采用广角镜头的相机在运动时，可以获取大范围的图像信息。同时，为了真实反映相机所拍摄的大范围图像信息以及后续正确地提取图像特征点，需要对广角图像进行矫正，以获得正常视角图像。至于采用何种技术手段对广角图像进行矫正得到正常视角图像并没有限定。
S130、将多个相机放置于世界坐标系中的相同坐标位置处，并初始化。
具体地，将多个相机放置在世界坐标系中的相同坐标位置处，可以利用视觉SLAM算法模块根据深度图对场景图像进行特征点提取，并建立当前图像特征点的世界坐标值和将当前帧作为关键帧，完成初始化。这样，可以最大限度得到相同的世界坐标系。
S140、跟踪并获取每个相机运动时的正常视角图像，计算得到每个相机的关键帧位姿，生成关键帧位姿集合，其中，每个相机自相同坐标位置处独立运动。
在本步骤中，多个相机自相同坐标位置处各自独立运动，每个相机可以实时拍摄所经过的场景的广角图像，并对该广角图像矫正后获得正常视角图像。因此，当每个SLAM系统中的任意一个相机从初始位置(也就是上述的相同坐标位置)移动到任意位置处时，该相机会反馈该位置处的正常视角图像。根据每个相机的正常视角图像，可以计算得到每个相机的关键帧位姿。这样，每个SLAM系统中的全部相机的关键帧位姿集合相当于一个初始地图。全部的SLAM系统也就初步形成了多个初始地图。
需要说明的是，对于如何确定每个相机的关键帧，并根据该关键帧计算得到关键帧位姿并没有作出限定，例如，可以预先确定关键帧判定条件，只要每个相机的其中一帧图像符合关键帧判定条件，则将该帧记录为关键帧。当然，除了此种方式以外，还可以采取其他的技术手段。
S150、对关键帧位姿集合中的每一个关键帧位姿进行优化处理，生成优化关键帧位姿集合，并根据优化关键帧位姿集合，生成融合地图。
也就是说，在上述步骤S140中，根据全部SLAM系统中的关键帧位姿集合可以生成多个初始地图，虽然在初始时，全部的相机均设定在世界坐标系中的相同坐标位置处，并从该相同坐标位置处开始运动，已经可以最大限度得到相同的世界坐标系。但是，随着每个相机的运动，计算得到的相机位姿会有误差，因此，为了消除该误差，采用对每个关键帧位姿进行优化的方式，得到优化关键帧位姿集合，并根据优化关键帧位姿集合，生成融合地图，也就是说，每个SLAM系统中的优化关键帧位姿集合为一个待融合的地图，每个待融合的地图均具有相同的世界坐标系，因此，可以将多个待融合的地图进行融合，从而可以获得全局地图。
本实施例的基于多地图融合的位姿优化方法S100中，首先，分别对多个相机的广角镜头进行标定，获得多个相机的广角镜头的标定参数。其次，根据标定参数，对与该标定参数相对应地广角镜头的广角图像进行矫正，以获得正常视角图像。之后，将多个相机放置于世界坐标系中的相同坐标位置处，并初始化。进一步地，跟踪并获取每个相机运动时的正常视角图像，计算得到每个相机的关键帧位姿，生成关键帧位姿集合，其中，每个相机自相同坐标位置处独立运动。最后，对关键帧位姿集合中的每一个关键帧位姿进行优化处理，生成优化关键帧位姿集合，并根据优化关键帧位姿集合，生成融合地图。因此，本发明的基于多地图融合的位姿优化方法S100，可以使得多个相机的位姿统一到同一坐标系下，从而可以建立相同的地图，进而可以将多个地图进行融合，得到全局地图。
优选地，上述步骤S120包括：
设定广角图像中的点的坐标为(x，y)，以及设定矫正后的正常视角图像中的该点的坐标为(X，Y)；
获取预设尺度z，得到向量(x，y，z)；
根据向量(x，y，z)以及下述公式进行矫正：
ρ＝arctan(z/norm)； (2)
f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+……； (3)
u＝x*f(ρ)/norm； (4)
v＝y*f(ρ)/norm； (5)
其中，norm为图像坐标点L2范数，ρ为z方向角，f(ρ)为畸变矫正模型函数，a0、a1、a2和a3为标定得到的多项式f(ρ)的系数参数，u为第一计算中间值，v为第二计算中间值，c、d和e均是标定得到的仿射参数，xc为标定的行偏移量参数，yc为标定的列偏移量参数。
本实施例中的基于多地图融合的位姿优化方法S100，是上述步骤S120中的一个具体技术方案。能够进一步地使得多个相机的位姿统一到同一坐标系下，从而可以建立相同的地图，进而可以将多个地图进行融合，得到全局地图。
优选地，上述步骤S140包括：
基于SLAM算法，对每个相机的正常视角图像进行处理，得到正常视角图像中每帧的位姿。
将全部正常视角图像中的全部帧的位姿与预设关键帧条件进行匹配，并获取全部与预设关键帧条件相匹配的帧的位姿，生成关键帧位姿集合。
本实施例中的基于多地图融合的位姿优化方法S100，是上述步骤S140中的一个具体技术方案。能够进一步地使得多个相机的位姿统一到同一坐标系下，从而可以建立相同的地图，进而可以将多个地图进行融合，得到全局地图。
优选地，上述步骤S150包括：
建立下述优化模型：
其中，Ti为第i个SLAM系统的世界坐标系到标准世界坐标系的变换矩阵，Rj，tj为每个SLAM系统中的第j个相机的关键帧位姿，Pjk表示每个SLAM系统中的第j个相机的第k个三维空间点，p′jk表示每个SLAM系统中的第j个相机的广角图像中的第k个特征点，f(x)表示广角图像的坐标到矫正后的坐标，d(x，y)表示x与y之间的向量距离。
基于优化模型，利用非线性优化算法，对全部关键帧位姿进行优化处理，生成优化关键帧位姿集合，并根据优化关键帧位姿集合，生成融合地图。
本实施例中的基于多地图融合的位姿优化方法S100，是上述步骤S150中的一个具体技术方案。能够进一步地使得多个相机的位姿统一到同一坐标系下，从而可以建立相同的地图，进而可以将多个地图进行融合，得到全局地图。
优选地，上述基于优化模型，利用非线性优化算法，对全部关键帧位姿进行优化处理，生成优化关键帧位姿集合，并根据优化关键帧位姿集合，生成融合地图的步骤中，利用下述公式进行优化：
f＝d(Ti*(Rijtij)*Pjk，pjk)； (8)
其中，f为投影残差函数，d为距离函数。
上述d可以采用欧氏距离。另外，由于开始跟踪是从同一位置，因此，Ti约为单位矩阵。
本实施例中的基于多地图融合的位姿优化方法S100，是上述步骤S150中的一个具体技术方案。能够进一步地使得多个相机的位姿统一到同一坐标系下，从而可以建立相同的地图，进而可以将多个地图进行融合，得到全局地图。
本发明的第二方面，如图2所示，提供了一种基于多地图融合的位姿优化系统100，该系统包括多个SLAM子系统110，每个SLAM子系统110包括多个相机111，该系统还包括：
标定模块120，标定模块120用于分别对多个相机111的广角镜头进行标定，获得多个相机111的广角镜头的标定参数。
矫正模块130，矫正模块130用于根据标定参数，对与该标定参数相对应地广角镜头的广角图像进行矫正，以获得正常视角图像。
初始化模块140，初始化模块140用于将多个相机111放置于世界坐标系中的相同坐标位置处，并初始化。
跟踪模块150，跟踪模块150用于跟踪并获取每个相机111运动时的正常视角图像，计算得到每个相机111的关键帧位姿，生成关键帧位姿集合，其中，每个相机111自相同坐标位置处独立运动。
优化模块160，优化模块160用于对关键帧位姿集合中的每一个关键帧位姿进行优化处理，生成优化关键帧位姿集合，并根据优化关键帧位姿集合，生成融合地图。
本实施例的基于多地图融合的位姿优化系统100中，首先，标定模块120分别对多个相机111的广角镜头进行标定，获得多个相机111的广角镜头的标定参数。其次，矫正模块130根据标定参数，对与该标定参数相对应地广角镜头的广角图像进行矫正，以获得正常视角图像。之后，初始化模块140将多个相机111放置于世界坐标系中的相同坐标位置处，并初始化。进一步地，跟踪模块150跟踪并获取每个相机111运动时的正常视角图像，计算得到每个相机111的关键帧位姿，生成关键帧位姿集合，其中，每个相机111自相同坐标位置处独立运动。最后，优化模块160对关键帧位姿集合中的每一个关键帧位姿进行优化处理，生成优化关键帧位姿集合，并根据优化关键帧位姿集合，生成融合地图。因此，本发明的基于多地图融合的位姿优化系统100，可以使得多个相机111的位姿统一到同一坐标系下，从而可以建立相同的地图，进而可以将多个地图进行融合，得到全局地图。
优选地，上述矫正模块130包括设定子模块131和获取子模块132。
上述设定子模块131用于设定广角图像中的点的坐标为(x，y)，以及设定矫正后的正常视角图像中的该点的坐标为(X，Y)。
上述获取子模块132用于获取预设尺度z，得到向量(x，y，z)。
上述矫正模块130还用于根据向量(x，y，z)以及下述公式进行矫正：
ρ＝arctan(z/norm)； (2’)
f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+……； (3’)
u＝x*f(ρ)/norm； (4’)
v＝y*f(ρ)/norm； (5’)
其中，norm为图像坐标点L2范数，ρ为z方向角，f(ρ)为畸变矫正模型函数，a0、a1、a2和a3为标定得到的多项式f(ρ)的系数参数，u为第一计算中间值，v为第二计算中间值，c、d和e均是标定得到的仿射参数，xc为标定的行偏移量参数，yc为标定的列偏移量参数。
本实施例中的基于多地图融合的位姿优化系统100，能够进一步地使得多个相机111的位姿统一到同一坐标系下，从而可以建立相同的地图，进而可以将多个地图进行融合，得到全局地图。
优选地，上述跟踪模块150包括处理子模块151和匹配子模块152。
上述处理子模块151用于基于SLAM算法，对每个相机111的正常视角图像进行处理，得到正常视角图像中每帧的位姿。
上述匹配子模块152用于将全部正常视角图像中的全部帧的位姿与预设关键帧条件进行匹配，并获取全部与预设关键帧条件相匹配的帧的位姿，生成关键帧位姿集合。
本实施例中的基于多地图融合的位姿优化系统100，能够进一步地使得多个相机111的位姿统一到同一坐标系下，从而可以建立相同的地图，进而可以将多个地图进行融合，得到全局地图。
优选地，上述优化模块160包括模型建立子模块161和模型优化子模块162。
上述模型建立子模块161用于建立下述优化模型：
其中，Ti为第i个SLAM系统的世界坐标系到标准世界坐标系的变换矩阵，Rj，tj为每个SLAM系统中的第j个相机的关键帧位姿，Pjk表示每个SLAM系统中的第j个相机的第k个三维空间点，p′jk表示每个SLAM系统中的第j个相机的广角图像中的第k个特征点，f(x)表示广角图像的坐标到矫正后的坐标，d(x，y)表示x与y之间的向量距离。
上述模型优化子模块162用于基于优化模型，利用非线性优化算法，对全部关键帧位姿进行优化处理，生成优化关键帧位姿集合，并根据优化关键帧位姿集合，生成融合地图。
本实施例中的基于多地图融合的位姿优化系统100，能够进一步地使得多个相机111的位姿统一到同一坐标系下，从而可以建立相同的地图，进而可以将多个地图进行融合，得到全局地图。
优选地，上述模型优化子模块162还用于根据下述公式对优化模型进行优化：
f＝d(Ti*(Rijtij)*Pjk，pjk)； (8’)
其中，f为投影残差函数，d为距离函数。
本实施例中的基于多地图融合的位姿优化系统100，能够进一步地使得多个相机111的位姿统一到同一坐标系下，从而可以建立相同的地图，进而可以将多个地图进行融合，得到全局地图。
需要说明的是，上述SLAM子系统可以是实现视觉SLAM的设备，例如，可以是移动设备，诸如如手机、平板等。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。
Claims (10)
1.一种基于多地图融合的位姿优化方法，其特征在于，所述方法包括：
分别对多个相机的广角镜头进行标定，获得所述多个相机的广角镜头的标定参数；
根据所述标定参数，对与该标定参数相对应地广角镜头的广角图像进行矫正，以获得正常视角图像；
将所述多个相机放置于世界坐标系中的相同坐标位置处，并初始化；
跟踪并获取每个所述相机运动时的正常视角图像，计算得到每个所述相机的关键帧位姿，生成关键帧位姿集合，其中，每个所述相机自所述相同坐标位置处独立运动；
对所述关键帧位姿集合中的每一个所述关键帧位姿进行优化处理，生成优化关键帧位姿集合，并根据所述优化关键帧位姿集合，生成融合地图。
2.根据权利要求1所述的基于多地图融合的位姿优化方法，其特征在于，所述根据所述标定参数，对与该标定参数相对应地广角镜头的广角图像进行矫正，以获得正常视角图像的步骤包括：
设定广角图像中的点的坐标为(x，y)，以及设定矫正后的正常视角图像中的该点的坐标为(X，Y)；
获取预设尺度z，得到向量(x，y，z)；
根据所述向量(x，y，z)以及下述公式进行矫正：
<mrow>
<mi>n</mi>
<mi>o</mi>
<mi>r</mi>
<mi>m</mi>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>;</mo>
</mrow>
ρ＝arctan(z/norm)；
f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+……；
u＝x*f(ρ)/norm；
v＝y*f(ρ)/norm；
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mi>X</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Y</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mi>c</mi>
</mtd>
<mtd>
<mi>d</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>e</mi>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mi>u</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>v</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>+</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>c</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mi>c</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
其中，norm为图像坐标点L2范数，ρ为z方向角，f(ρ)为畸变矫正模型函数，a0、a1、a2和a3为标定得到的多项式f(ρ)的系数参数，u为第一计算中间值，v为第二计算中间值，c、d和e均是标定得到的仿射参数，xc为标定的行偏移量参数，yc为标定的列偏移量参数。
3.根据权利要求1所述的基于多地图融合的位姿优化方法，其特征在于，所述跟踪并获取每个所述相机运动时的正常视角图像，计算得到每个所述相机的关键帧位姿，生成关键帧位姿集合的步骤包括：
基于SLAM算法，对每个所述相机的正常视角图像进行处理，得到所述正常视角图像中每帧的位姿；
将全部所述正常视角图像中的全部帧的位姿与预设关键帧条件进行匹配，并获取全部与所述预设关键帧条件相匹配的帧的位姿，生成所述关键帧位姿集合。
4.根据权利要求1至3中任意一项所述的基于多地图融合的位姿优化方法，其特征在于，所述对所述关键帧位姿集合中的每一个所述关键帧位姿进行优化处理，生成优化关键帧位姿集合，并根据所述优化关键帧位姿集合，生成融合地图的步骤包括：
建立下述优化模型：
<mrow>
<munder>
<mi>argmin</mi>
<mrow>
<msub>
<mi>T</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>R</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>t</mi>
<mi>j</mi>
</msub>
</mrow>
</munder>
<mrow>
<mo>(</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>N</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>M</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>K</mi>
</munderover>
<mi>d</mi>
<mo>(</mo>
<mrow>
<msub>
<mi>T</mi>
<mi>i</mi>
</msub>
<mo>&lsqb;</mo>
<msub>
<mi>R</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>t</mi>
<mi>j</mi>
</msub>
<mo>&rsqb;</mo>
<msub>
<mi>P</mi>
<mrow>
<mi>j</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>,</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>p</mi>
<mrow>
<mi>j</mi>
<mi>k</mi>
</mrow>
<mo>&prime;</mo>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中，Ti为第i个SLAM系统的世界坐标系到标准世界坐标系的变换矩阵，Rj，tj为每个SLAM系统中的第j个相机的关键帧位姿，Pjk表示每个SLAM系统中的第j个相机的第k个三维空间点，p′jk表示每个SLAM系统中的第j个相机的广角图像中的第k个特征点，f(x)表示广角图像的坐标到矫正后的坐标，d(x，y)表示x与y之间的向量距离；
基于所述优化模型，利用非线性优化算法，对全部所述关键帧位姿进行优化处理，生成所述优化关键帧位姿集合，并根据所述优化关键帧位姿集合，生成所述融合地图。
5.根据权利要求4所述的基于多地图融合的位姿优化方法，其特征在于，所述基于所述优化模型，利用非线性优化算法，对全部所述关键帧位姿进行优化处理，生成所述优化关键帧位姿集合，并根据所述优化关键帧位姿集合，生成所述融合地图的步骤中，利用下述公式进行优化：
f＝d(Ti*(Rij tij)*Pjk，pjk)；
其中，f为投影残差函数，d为距离函数。
6.一种基于多地图融合的位姿优化系统，其特征在于，所述系统包括多个SLAM子系统，每个所述SLAM子系统包括多个相机，所述系统还包括：
标定模块，所述标定模块用于分别对所述多个相机的广角镜头进行标定，获得所述多个相机的广角镜头的标定参数；
矫正模块，所述矫正模块用于根据所述标定参数，对与该标定参数相对应地广角镜头的广角图像进行矫正，以获得正常视角图像；
初始化模块，所述初始化模块用于将所述多个相机放置于世界坐标系中的相同坐标位置处，并初始化；
跟踪模块，所述跟踪模块用于跟踪并获取每个所述相机运动时的正常视角图像，计算得到每个所述相机的关键帧位姿，生成关键帧位姿集合，其中，每个所述相机自所述相同坐标位置处独立运动；
优化模块，所述优化模块用于对所述关键帧位姿集合中的每一个所述关键帧位姿进行优化处理，生成优化关键帧位姿集合，并根据所述优化关键帧位姿集合，生成融合地图。
7.根据权利要求6所述的基于多地图融合的位姿优化系统，其特征在于，所述矫正模块包括设定子模块和获取子模块；
所述设定子模块用于设定广角图像中的点的坐标为(x，y)，以及设定矫正后的正常视角图像中的该点的坐标为(X，Y)；
所述获取子模块用于获取预设尺度z，得到向量(x，y，z)；
所述矫正模块用于根据所述向量(x，y，z)以及下述公式进行矫正：
<mrow>
<mi>n</mi>
<mi>o</mi>
<mi>r</mi>
<mi>m</mi>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>;</mo>
</mrow>
ρ＝arctan(z/norm)；
f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+……；
u＝x*f(ρ)/norm；
v＝y*f(ρ)/norm；
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mi>X</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Y</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mi>c</mi>
</mtd>
<mtd>
<mi>d</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>e</mi>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mi>u</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>v</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>+</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>c</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mi>c</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
其中，norm为图像坐标点L2范数，ρ为z方向角，f(ρ)为畸变矫正模型函数，a0、a1、a2和a3为标定得到的多项式f(ρ)的系数参数，u为第一计算中间值，v为第二计算中间值，c、d和e均是标定得到的仿射参数，xc为标定的行偏移量参数，yc为标定的列偏移量参数。
8.根据权利要求7所述的基于多地图融合的位姿优化系统，其特征在于，所述跟踪模块包括处理子模块和匹配子模块；
所述处理子模块用于基于SLAM算法，对每个所述相机的正常视角图像进行处理，得到所述正常视角图像中每帧的位姿；
所述匹配子模块用于将全部所述正常视角图像中的全部帧的位姿与预设关键帧条件进行匹配，并获取全部与所述预设关键帧条件相匹配的帧的位姿，生成所述关键帧位姿集合。
9.根据权利要求6至8中任意一项所述的基于多地图融合的位姿优化系统，其特征在于，所述优化模块包括模型建立子模块和模型优化子模块：
所述模型建立子模块用于建立下述优化模型：
<mrow>
<munder>
<mi>argmin</mi>
<mrow>
<msub>
<mi>T</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>R</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>t</mi>
<mi>j</mi>
</msub>
</mrow>
</munder>
<mrow>
<mo>(</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>N</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>M</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>K</mi>
</munderover>
<mi>d</mi>
<mo>(</mo>
<mrow>
<msub>
<mi>T</mi>
<mi>i</mi>
</msub>
<mo>&lsqb;</mo>
<msub>
<mi>R</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>t</mi>
<mi>j</mi>
</msub>
<mo>&rsqb;</mo>
<msub>
<mi>P</mi>
<mrow>
<mi>j</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>,</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>p</mi>
<mrow>
<mi>j</mi>
<mi>k</mi>
</mrow>
<mo>&prime;</mo>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中，Ti为第i个SLAM系统的世界坐标系到标准世界坐标系的变换矩阵，Rj，tj为每个SLAM系统中的第j个相机的关键帧位姿，Pjk表示每个SLAM系统中的第j个相机的第k个三维空间点，p′jk表示每个SLAM系统中的第j个相机的广角图像中的第k个特征点，f(x)表示广角图像的坐标到矫正后的坐标，d(x，y)表示x与y之间的向量距离；
所述模型优化子模块用于基于所述优化模型，利用非线性优化算法，对全部所述关键帧位姿进行优化处理，生成所述优化关键帧位姿集合，并根据所述优化关键帧位姿集合，生成所述融合地图。
10.根据权利要求9所述的基于多地图融合的位姿优化系统，其特征在于，所述模型优化子模块根据下述公式对所述优化模型进行优化：
f＝d(Ti*(Rij tij)*Pjk，pjk)；
其中，f为投影残差函数，d为距离函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711200599.3A CN107862720B (zh) | 2017-11-24 | 2017-11-24 | 基于多地图融合的位姿优化方法及位姿优化系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711200599.3A CN107862720B (zh) | 2017-11-24 | 2017-11-24 | 基于多地图融合的位姿优化方法及位姿优化系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107862720A true CN107862720A (zh) | 2018-03-30 |
| CN107862720B CN107862720B (zh) | 2020-05-22 |
Family
ID=61703949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711200599.3A Active CN107862720B (zh) | 2017-11-24 | 2017-11-24 | 基于多地图融合的位姿优化方法及位姿优化系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107862720B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564045A (zh) * | 2018-04-17 | 2018-09-21 | 广州腾讯科技有限公司 | 增强现实的数据处理方法、装置、存储介质和计算机设备 |
| CN109035334A (zh) * | 2018-06-27 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 位姿的确定方法和装置、存储介质及电子装置 |
| CN109074407A (zh) * | 2018-07-23 | 2018-12-21 | 深圳前海达闼云端智能科技有限公司 | 多源数据建图方法、相关装置及计算机可读存储介质 |
| CN109126121A (zh) * | 2018-06-01 | 2019-01-04 | 成都通甲优博科技有限责任公司 | Ar终端互联方法、系统、装置及计算机可读存储介质 |
| CN109326006A (zh) * | 2018-09-30 | 2019-02-12 | 百度在线网络技术（北京）有限公司 | 地图融合方法和装置 |
| CN109345588A (zh) * | 2018-09-20 | 2019-02-15 | 浙江工业大学 | 一种基于Tag的六自由度姿态估计方法 |
| CN109579843A (zh) * | 2018-11-29 | 2019-04-05 | 浙江工业大学 | 一种空地多视角下的多机器人协同定位及融合建图方法 |
| CN109636916A (zh) * | 2018-07-17 | 2019-04-16 | 北京理工大学 | 一种动态标定的大范围虚拟现实漫游系统及方法 |
| CN110704563A (zh) * | 2019-09-27 | 2020-01-17 | Oppo广东移动通信有限公司 | 地图融合方法及装置、设备、存储介质 |
| CN110849380A (zh) * | 2019-10-28 | 2020-02-28 | 北京影谱科技股份有限公司 | 一种基于协同vslam的地图对齐方法及系统 |
| CN111098850A (zh) * | 2018-10-25 | 2020-05-05 | 北京初速度科技有限公司 | 一种自动停车辅助系统及自动泊车方法 |
| CN111368015A (zh) * | 2020-02-28 | 2020-07-03 | 北京百度网讯科技有限公司 | 用于压缩地图的方法和装置 |
| CN111553915A (zh) * | 2020-05-08 | 2020-08-18 | 深圳前海微众银行股份有限公司 | 物品识别检测方法、装置、设备和可读存储介质 |
| CN111932644A (zh) * | 2019-05-13 | 2020-11-13 | Aptiv技术有限公司 | 融合占用地图的方法及系统 |
| CN112132745A (zh) * | 2019-06-25 | 2020-12-25 | 南京航空航天大学 | 一种基于地理信息的多子地图拼接特征融合方法 |
| CN112559654A (zh) * | 2020-11-27 | 2021-03-26 | 广州极飞科技有限公司 | 电子地图的生成方法、装置和通信系统 |
| CN112948411A (zh) * | 2021-04-15 | 2021-06-11 | 深圳市慧鲤科技有限公司 | 位姿数据的处理方法及接口、装置、系统、设备和介质 |
| CN113034603A (zh) * | 2019-12-09 | 2021-06-25 | 百度在线网络技术（北京）有限公司 | 用于确定标定参数的方法和装置 |
| CN114332416A (zh) * | 2021-11-30 | 2022-04-12 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备和存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101502346A (zh) * | 2009-01-22 | 2009-08-12 | 东华大学 | 一种实用便捷的服装用人体宽厚尺寸自动测量的方法 |
| CN101919235A (zh) * | 2008-01-21 | 2010-12-15 | 株式会社博思科 | 正射影像图像的生成方法以及摄影装置 |
| CN103247075A (zh) * | 2013-05-13 | 2013-08-14 | 北京工业大学 | 基于变分机制的室内环境三维重建方法 |
| US20140323148A1 (en) * | 2013-04-30 | 2014-10-30 | Qualcomm Incorporated | Wide area localization from slam maps |
| CN104732518A (zh) * | 2015-01-19 | 2015-06-24 | 北京工业大学 | 一种基于智能机器人地面特征的ptam改进方法 |
| CN106251399A (zh) * | 2016-08-30 | 2016-12-21 | 广州市绯影信息科技有限公司 | 一种基于lsd‑slam的实景三维重建方法 |
| CN106446815A (zh) * | 2016-09-14 | 2017-02-22 | 浙江大学 | 一种同时定位与地图构建方法 |
| CN106595659A (zh) * | 2016-11-03 | 2017-04-26 | 南京航空航天大学 | 城市复杂环境下多无人机视觉slam的地图融合方法 |
| CN106878687A (zh) * | 2017-04-12 | 2017-06-20 | 吉林大学 | 一种基于多传感器的车载环境识别系统及全方位视觉模块 |
-
2017
- 2017-11-24 CN CN201711200599.3A patent/CN107862720B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101919235A (zh) * | 2008-01-21 | 2010-12-15 | 株式会社博思科 | 正射影像图像的生成方法以及摄影装置 |
| CN101502346A (zh) * | 2009-01-22 | 2009-08-12 | 东华大学 | 一种实用便捷的服装用人体宽厚尺寸自动测量的方法 |
| US20140323148A1 (en) * | 2013-04-30 | 2014-10-30 | Qualcomm Incorporated | Wide area localization from slam maps |
| CN103247075A (zh) * | 2013-05-13 | 2013-08-14 | 北京工业大学 | 基于变分机制的室内环境三维重建方法 |
| CN104732518A (zh) * | 2015-01-19 | 2015-06-24 | 北京工业大学 | 一种基于智能机器人地面特征的ptam改进方法 |
| CN106251399A (zh) * | 2016-08-30 | 2016-12-21 | 广州市绯影信息科技有限公司 | 一种基于lsd‑slam的实景三维重建方法 |
| CN106446815A (zh) * | 2016-09-14 | 2017-02-22 | 浙江大学 | 一种同时定位与地图构建方法 |
| CN106595659A (zh) * | 2016-11-03 | 2017-04-26 | 南京航空航天大学 | 城市复杂环境下多无人机视觉slam的地图融合方法 |
| CN106878687A (zh) * | 2017-04-12 | 2017-06-20 | 吉林大学 | 一种基于多传感器的车载环境识别系统及全方位视觉模块 |
Non-Patent Citations (4)
| Title |
|---|
| HAOMIN LIU 等: "Robust Keyframe-based Monocular SLAM for Augmented Reality", 《 MIXED AND AUGMENTED REALITY》 * |
| 吴修振 等: "基于视觉的同时定位和构图关键技术综述", 《战术导弹技术》 * |
| 张毅 等: "基于图优化的移动机器人视觉SLAM", 《智能系统学报》 * |
| 陆菲菲 等: "利用几何精校正进行多尺度数字栅格地图配准", 《计算机应用》 * |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564045A (zh) * | 2018-04-17 | 2018-09-21 | 广州腾讯科技有限公司 | 增强现实的数据处理方法、装置、存储介质和计算机设备 |
| CN108564045B (zh) * | 2018-04-17 | 2020-12-04 | 广州腾讯科技有限公司 | 增强现实的数据处理方法、装置、存储介质和计算机设备 |
| CN109126121A (zh) * | 2018-06-01 | 2019-01-04 | 成都通甲优博科技有限责任公司 | Ar终端互联方法、系统、装置及计算机可读存储介质 |
| CN109126121B (zh) * | 2018-06-01 | 2022-01-04 | 成都通甲优博科技有限责任公司 | Ar终端互联方法、系统、装置及计算机可读存储介质 |
| CN109035334A (zh) * | 2018-06-27 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 位姿的确定方法和装置、存储介质及电子装置 |
| CN109035334B (zh) * | 2018-06-27 | 2024-07-12 | 腾讯科技（北京）有限公司 | 位姿的确定方法和装置、存储介质及电子装置 |
| CN109636916A (zh) * | 2018-07-17 | 2019-04-16 | 北京理工大学 | 一种动态标定的大范围虚拟现实漫游系统及方法 |
| CN109636916B (zh) * | 2018-07-17 | 2022-12-02 | 北京理工大学 | 一种动态标定的大范围虚拟现实漫游系统及方法 |
| CN109074407A (zh) * | 2018-07-23 | 2018-12-21 | 深圳前海达闼云端智能科技有限公司 | 多源数据建图方法、相关装置及计算机可读存储介质 |
| CN109345588A (zh) * | 2018-09-20 | 2019-02-15 | 浙江工业大学 | 一种基于Tag的六自由度姿态估计方法 |
| CN109326006A (zh) * | 2018-09-30 | 2019-02-12 | 百度在线网络技术（北京）有限公司 | 地图融合方法和装置 |
| CN111098850A (zh) * | 2018-10-25 | 2020-05-05 | 北京初速度科技有限公司 | 一种自动停车辅助系统及自动泊车方法 |
| CN109579843B (zh) * | 2018-11-29 | 2020-10-27 | 浙江工业大学 | 一种空地多视角下的多机器人协同定位及融合建图方法 |
| CN109579843A (zh) * | 2018-11-29 | 2019-04-05 | 浙江工业大学 | 一种空地多视角下的多机器人协同定位及融合建图方法 |
| CN111932644B (zh) * | 2019-05-13 | 2024-01-02 | Aptiv技术有限公司 | 融合占用地图的方法及系统 |
| CN111932644A (zh) * | 2019-05-13 | 2020-11-13 | Aptiv技术有限公司 | 融合占用地图的方法及系统 |
| CN112132745A (zh) * | 2019-06-25 | 2020-12-25 | 南京航空航天大学 | 一种基于地理信息的多子地图拼接特征融合方法 |
| CN112132745B (zh) * | 2019-06-25 | 2022-01-04 | 南京航空航天大学 | 一种基于地理信息的多子地图拼接特征融合方法 |
| CN110704563B (zh) * | 2019-09-27 | 2022-06-28 | Oppo广东移动通信有限公司 | 地图融合方法及装置、设备、存储介质 |
| CN110704563A (zh) * | 2019-09-27 | 2020-01-17 | Oppo广东移动通信有限公司 | 地图融合方法及装置、设备、存储介质 |
| CN110849380A (zh) * | 2019-10-28 | 2020-02-28 | 北京影谱科技股份有限公司 | 一种基于协同vslam的地图对齐方法及系统 |
| CN113034603A (zh) * | 2019-12-09 | 2021-06-25 | 百度在线网络技术（北京）有限公司 | 用于确定标定参数的方法和装置 |
| CN111368015A (zh) * | 2020-02-28 | 2020-07-03 | 北京百度网讯科技有限公司 | 用于压缩地图的方法和装置 |
| CN111368015B (zh) * | 2020-02-28 | 2023-04-07 | 北京百度网讯科技有限公司 | 用于压缩地图的方法和装置 |
| CN111553915A (zh) * | 2020-05-08 | 2020-08-18 | 深圳前海微众银行股份有限公司 | 物品识别检测方法、装置、设备和可读存储介质 |
| CN112559654A (zh) * | 2020-11-27 | 2021-03-26 | 广州极飞科技有限公司 | 电子地图的生成方法、装置和通信系统 |
| CN112948411A (zh) * | 2021-04-15 | 2021-06-11 | 深圳市慧鲤科技有限公司 | 位姿数据的处理方法及接口、装置、系统、设备和介质 |
| CN114332416B (zh) * | 2021-11-30 | 2022-11-29 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备和存储介质 |
| CN114332416A (zh) * | 2021-11-30 | 2022-04-12 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107862720B (zh) | 2020-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107862720A (zh) | 基于多地图融合的位姿优化方法及位姿优化系统 | |
| JP2019536170A (ja) | 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法 | |
| CN103873758B (zh) | 全景图实时生成的方法、装置及设备 | |
| CN110505463A (zh) | 基于拍照的实时自动3d建模方法 | |
| US11216979B2 (en) | Dual model for fisheye lens distortion and an algorithm for calibrating model parameters | |
| CN110362098A (zh) | 无人机视觉伺服控制方法、装置以及无人机 | |
| CN108629829B (zh) | 一种球幕相机与深度相机结合的三维建模方法和系统 | |
| CN107192375B (zh) | 一种基于航拍姿态的无人机多帧图像自适应定位校正方法 | |
| CN105959625A (zh) | 控制无人机追踪拍摄的方法及装置 | |
| CN110084832A (zh) | 相机位姿的纠正方法、装置、系统、设备和存储介质 | |
| WO2023056544A1 (en) | Object and camera localization system and localization method for mapping of the real world | |
| KR20180066551A (ko) | 전방향 카메라의 깊이 지도 획득 방법 및 장치 | |
| KR102404867B1 (ko) | 3차원 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법 | |
| Rahimi et al. | Reducing drift in parametric motion tracking | |
| CN107330980A (zh) | 一种基于无标志物的虚拟家具布置系统 | |
| Fomena et al. | Improvements on visual servoing from spherical targets using a spherical projection model | |
| Thomas et al. | Dealing with noise in multiframe structure from motion | |
| Benosman et al. | A new catadioptric sensor for the panoramic vision of mobile robots | |
| CN108628310A (zh) | 基于射影单应性矩阵的机器人无标定视觉伺服轨迹规划方法 | |
| Kurz et al. | Bundle adjustment for stereoscopic 3d | |
| CN116664621A (zh) | 一种基于车载多目摄像头和深度神经网络的slam系统 | |
| TWI793579B (zh) | 同時追蹤可移動物體與可移動相機的六自由度方位之方法與系統 | |
| WO2022056683A1 (zh) | 视场确定方法、视场确定装置、视场确定系统和介质 | |
| KR20230013260A (ko) | 멀티-드론 시각적 콘텐츠 캡처링의 시스템 | |
| CN113409442A (zh) | 一种多全景图融合三维重建的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Pose optimization method and pose optimization system based on multi map fusion Effective date of registration: 20220311 Granted publication date: 20200522 Pledgee: Industrial Bank Co.,Ltd. Beijing West Railway Station sub branch Pledgor: BeiJing Hjimi Technology Co.,Ltd. Registration number: Y2022110000054 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20231101 Granted publication date: 20200522 |
|
| PP01 | Preservation of patent right |