CN112148742A - 地图更新方法及装置、终端、存储介质 - Google Patents

地图更新方法及装置、终端、存储介质 Download PDF

Info

Publication number
CN112148742A
CN112148742A CN201910578745.9A CN201910578745A CN112148742A CN 112148742 A CN112148742 A CN 112148742A CN 201910578745 A CN201910578745 A CN 201910578745A CN 112148742 A CN112148742 A CN 112148742A
Authority
CN
China
Prior art keywords
image
map
key frame
feature
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910578745.9A
Other languages
English (en)
Inventor
金珂
杨宇尘
陈岩
方攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910578745.9A priority Critical patent/CN112148742A/zh
Priority to EP20831138.1A priority patent/EP3975003A4/en
Priority to PCT/CN2020/096505 priority patent/WO2020259361A1/zh
Publication of CN112148742A publication Critical patent/CN112148742A/zh
Priority to US17/549,840 priority patent/US20220099455A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/387—Organisation of map data, e.g. version management or database structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Abstract

本申请实施例公开了一种地图更新方法，包括：获取第一地图中的第一图像特征；根据所述第一图像特征，从第二地图匹配出第二图像特征；其中，所述第一地图和所述第二地图对应的场景信息部分相同；根据所述第一图像特征和所述第二图像特征，将所述第一地图中每一关键帧图像添加到所述第二地图中，得到更新的第二地图。本申请实施例还同时提供了一种地图更新装置、终端及存储介质。

Description

地图更新方法及装置、终端、存储介质
技术领域
本申请涉及室内定位技术，涉及但不限于地图更新方法及装置、终端、存储介质。
背景技术
在相关技术中，通过两局部地图的直方图相关性构建全局地图，但是计算直方图的角度偏移量和平移偏移量是依赖于点云的法相特征；这样，由于点云的相特征该特征的准确性不高，易出现误差，会导致所得到的地图的精确性较低。
发明内容
有鉴于此，本申请实施例为解决相关技术中存在的至少一个问题而提供一种地图更新方法及装置、终端、存储介质。
本申请实施例的技术方案是这样实现的：
本申请实施例提供了一种地图更新方法，所述方法包括：
获取第一地图中的第一图像特征；
根据所述第一图像特征，从第二地图匹配出第二图像特征；其中，所述第一地图和所述第二地图对应的场景信息部分相同；
根据所述第一图像特征和所述第二图像特征，将所述第一地图中每一关键帧图像添加到所述第二地图中，得到更新的第二地图。
在上述方法中，所述获取第一地图中的第一图像特征，包括：
提取所述第一地图中的待匹配关键帧图像，得到第一图像特征；其中，所述待匹配关键帧图像为所述第一地图中的关键帧图像；
对应地，所述根据所述第一图像特征，从第二地图匹配出第二图像特征，包括：
根据所述第一图像特征，从第二地图中的关键帧图像的图像特征中，匹配出所述第二图像特征。
在上述方法中，根据所述第一图像特征和所述第二图像特征，将所述第一地图中每一关键帧图像添加到所述第二地图中，得到更新的第二地图，包括：
获取用于采集所述待匹配关键帧图像的图像采集设备在所述第一地图所处的第一坐标系中的第一位置信息；
根据所述第一图像特征和所述第二图像特征，确定所述图像采集设备在所述第二地图所处的第二坐标系中的第二位置信息；
根据所述第一位置信息和所述第二位置信息，将所述第一地图中每一关键帧图像添加到所述第二地图中，得到更新的第二地图。
在上述方法中，所述根据所述第一位置信息和所述第二位置信息，将所述第一地图中每一关键帧图像添加到所述第二地图中，得到更新的第二地图，包括：
根据所述第一位置信息和所述第二位置信息，确定所述第一坐标系和所述第二坐标系之间的转换关系；
根据所述转换关系，对所述第一地图中的每一关键帧图像对应的图像采集设备在第一坐标系中的坐标进行调整，使得所述每一关键帧图像对应的图像采集设备的调整后的坐标与所述第二坐标系相匹配；
将每一坐标调整后的图像采集设备对应的关键帧图像，添加到所述第二地图中，得到所述更新的第二地图。
在上述方法中，所述第一地图和所述第二地图对应的场景信息至少部分相同。
在上述方法中，所述第一图像特征包括：所述第一地图中的关键帧图像的特征点的二维(2-Dimensional，2D)位置信息、(3-Dimensional，3D)位置信息和标识信息；
所述第二图像特征包括：所述第二地图中的关键帧图像的特征点的二维位置信息、三维位置信息和标识信息；其中，所述三维位置信息是将所述二维位置信息映射在所述二维位置信息所处的坐标系中得到的。
在上述方法中，所述对第一地图中的关键帧图像进行提取，得到第一图像特征，包括：
提取所述第一地图中的每一关键帧图像的特征点，得到特征点集合；
确定所述特征点集合中每一特征点的标识信息和每一所述特征点在所述关键帧图像中的二维位置信息；
将每一二维位置信息分别映射在所述第一地图所处的坐标系中，得到每一所述特征点的三维位置信息。
在上述方法中，所述根据所述第一图像特征，从第二地图中的关键帧图像的图像特征中，匹配出第二图像特征，包括：
分别确定不同的样本特征点在所述特征点集合中所占的比值，得到第一比值向量；
获取第二比值向量，所述第二比值向量为所述多个样本特征点在所述第二地图中的关键帧图像中包含的特征点中所占的比值；
根据所述第一图像特征、所述第一比值向量和所述第二比值向量，从所述第二地图中的关键帧图像的图像特征中，匹配出第二图像特征。
在上述方法中，所述根据所述第一图像特征、所述第一比值向量和所述第二比值向量，从所述第二地图中的关键帧图像的图像特征中，匹配出第二图像特征，包括：
根据所述第一比值向量和所述第二比值向量，从所述第二地图中的关键帧图像的图像特征中，确定与所述第一图像特征的相似度大于第二阈值的相似图像特征；
确定所述相似图像特征所属的相似关键帧图像，得到相似关键帧图像集合；
从所述相似关键帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。
在上述方法中，所述从所述相似关键帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征，包括：
确定至少两个所述相似关键帧图像的采集时间之间的时间差，和所述至少两个相似关键帧图像的图像特征分别与所述第一图像特征的相似度差；
将所述时间差小于第三阈值，且所述相似度差小于第四阈值的相似关键帧图像进行联合，得到联合帧图像；
从所述联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。
在上述方法中，所述从所述联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征，包括：
分别确定多个联合帧图像中包含的每一关键帧图像的图像特征与所述第一图像特征的相似度之和；
将相似度之和最大的联合帧图像，确定为与所待匹配关键帧图像的相似度最高的目标联合帧图像；
根据目标联合帧图像的特征点的标识信息和所述待匹配关键帧图像的特征点的标识信息，从所述目标联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。
在上述方法中，在所述根据所述第一图像特征和所述第二图像特征，确定所述图像采集设备在所述第二地图所处的第二坐标系中的第二位置信息之前，所述方法还包括：
确定所述第二图像特征对应的关键帧图像中包含的任意两个特征点之间，小于第一阈值的目标欧式距离，得到目标欧式距离集合；
对应地，所述根据所述第一图像特征和所述第二图像特征，确定所述图像采集设备在所述第二地图所处的第二坐标系中的第二位置信息，包括：
如果所述目标欧式距离集合中包含的目标欧式距离的数量大于第五阈值，基于所述第二图像特征对应的关键帧图像的特征点的三维位置信息和所述第一图像特征对应的关键帧图像的特征点的二维位置信息，确定所述第二位置信息。
在上述方法中，在所述对第一地图中的关键帧图像进行提取，得到第一图像特征之前，所述方法还包括：
从样本图像库中，选择满足预设条件的关键帧图像，得到关键帧图像集合；
提取每一关键帧图像的图像特征，得到关键图像特征集合；
提取样本图像的特征点，得到包含不同的特征点的样本特征点集合；
确定每一样本特征点，在所述关键帧图像的中所占的比值，得到比值向量集合；
存储所述比值向量集合和所述关键图像特征集合，得到所述第一地图。
在上述方法中，在所述从样本图像库中，选择满足预设条件的关键帧图像，得到关键帧图像集合之前，所述方法还包括：
从所述样本图像中选择预设数量的角点；
如果采集时间相邻的两个样本图像中包含的相同的角点数量大于等于第六阈值，确定所述样本图像对应的场景为连续场景；
如果采集时间相邻的两个样本图像中包含的相同的角点数量小于第六阈值，确定所述样本图像对应的场景为离散场景。
在上述方法中，从样本图像库中，选择满足预设条件的关键帧图像，得到关键帧图像集合，包括：
如果所述样本图像对应的场景为离散场景，根据输入的选择指令，从样本图像库中选择关键帧图像；
如果所述样本图像对应的场景为连续场景，根据预设的帧率或视差，从样本图像库中选择关键帧图像。
在上述方法中，所述确定每一样本特征点，在所述关键帧图像的中所占的比值，得到比值向量集合，包括：
根据样本图像库中包含的样本图像的第一数量和第i个样本特征点在样本图像库中出现的第一次数，确定第一平均次数；其中，i为大于等于1的整数；所述第一平均次数用于表明所述第i个样本特征点平均在每一样本图像中出现的次数；
根据所述第i个样本特征点在第j个关键帧图像中出现的第二次数和所述第j个关键帧图像中包含的样本特征点的第二数量，确定第二平均次数；其中，j为大于等于1的整数；所述第二平均次数用于表明所述第i个样本特征点占据第j个关键帧图像中包含的样本特征点的比例；
根据所述第一平均次数和所述第二平均次数，得到样本特征点在所述关键帧图像的中所占的比值，得到所述比值向量集合。
本申请实施例提供一种地图更新装置，所述装置包括：第一获取模块、第一匹配模块和第一更新模块，其中：
所述第一获取模块，用于获取第一地图中的第一图像特征；
所述第一匹配模块，用于根据所述第一图像特征，从第二地图匹配出第二图像特征；其中，所述第一地图和所述第二地图对应的场景信息部分相同；
所述第一更新模块，用于根据所述第一图像特征和所述第二图像特征，将所述第一地图中每一关键帧图像添加到所述第二地图中，得到更新的第二地图。
在上述装置中，所述第一获取模块，包括：
第一提取子模块，用于提取所述第一地图中的待匹配关键帧图像，得到第一图像特征；其中，所述待匹配关键帧图像为所述第一地图中的关键帧图像；
对应地，所述第一匹配模块，包括：
第一匹配子模块，用于根据所述第一图像特征，从第二地图中的关键帧图像的图像特征中，匹配出所述第二图像特征。
在上述装置中，所述第一更新模块，包括：
第一获取子模块，用于获取用于采集所述待匹配关键帧图像的图像采集设备在所述第一地图所处的第一坐标系中的第一位置信息；
第一确定子模块，用于根据所述第一图像特征和所述第二图像特征，确定所述图像采集设备在所述第二地图所处的第二坐标系中的第二位置信息；
第一更新子模块，用于根据所述第一位置信息和所述第二位置信息，将所述第一地图中每一关键帧图像添加到所述第二地图中，得到更新的第二地图。
在上述装置中，所述第一更新子模块，包括：
第一确定单元，用于根据所述第一位置信息和所述第二位置信息，确定所述第一坐标系和所述第二坐标系之间的转换关系；
第一调整单元，用于根据所述转换关系，对所述第一地图中的每一关键帧图像对应的图像采集设备在第一坐标系中的坐标进行调整，使得所述每一关键帧图像对应的图像采集设备的调整后的坐标与所述第二坐标系相匹配；
第一添加单元，用于将每一坐标调整后的图像采集设备对应的关键帧图像，添加到所述第二地图中，得到所述更新的第二地图。
在上述装置中，所述第一地图和所述第二地图对应的场景信息至少部分相同。
在上述装置中，所述第一图像特征包括：所述第一地图中的关键帧图像的特征点的二维位置信息、三维位置信息和标识信息；
所述第二图像特征包括：所述第二地图中的关键帧图像的特征点的二维位置信息、三维位置信息和标识信息；其中，所述三维位置信息是将所述二维位置信息映射在所述二维位置信息所处的坐标系中得到的。
在上述装置中，所述第一提取子模块，包括：
第一提取单元，用于提取所述第一地图中的每一关键帧图像的特征点，得到特征点集合；
第二确定单元，用于确定所述特征点集合中每一特征点的标识信息和每一所述特征点在所述关键帧图像中的二维位置信息；
第一映射单元，用于将每一二维位置信息分别映射在所述第一地图所处的坐标系中，得到每一所述特征点的三维位置信息。
在上述装置中，所述第一匹配子模块，包括：
第三确定单元，用于分别确定不同的样本特征点在所述特征点集合中所占的比值，得到第一比值向量；
第一获取单元，用于获取第二比值向量，所述第二比值向量为所述多个样本特征点在所述第二地图中的关键帧图像中包含的特征点中所占的比值；
第一匹配单元，用于根据所述第一图像特征、所述第一比值向量和所述第二比值向量，从所述第二地图中的关键帧图像的图像特征中，匹配出第二图像特征。
在上述装置中，所述第一匹配单元，包括：
第一确定子单元，用于根据所述第一比值向量和所述第二比值向量，从所述第二地图中的关键帧图像的图像特征中，确定与所述第一图像特征的相似度大于第二阈值的相似图像特征；
第二确定子单元，用于确定所述相似图像特征所属的相似关键帧图像，得到相似关键帧图像集合；
第一选择子单元，用于从所述相似关键帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。
在上述装置中，所述第一选择子单元，用于：确定至少两个所述相似关键帧图像的采集时间之间的时间差，和所述至少两个相似关键帧图像的图像特征分别与所述第一图像特征的相似度差；将所述时间差小于第三阈值，且所述相似度差小于第四阈值的相似关键帧图像进行联合，得到联合帧图像；从所述联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。
在上述装置中，所述第一选择子单元，用于：分别确定多个联合帧图像中包含的每一关键帧图像的图像特征与所述第一图像特征的相似度之和；将相似度之和最大的联合帧图像，确定为与所待匹配关键帧图像的相似度最高的目标联合帧图像；根据目标联合帧图像的特征点的标识信息和所述待匹配关键帧图像的特征点的标识信息，从所述目标联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。
在上述装置中，所述装置还包括：
第一确定模块，用于确定所述第二图像特征对应的关键帧图像中包含的任意两个特征点之间，小于第一阈值的目标欧式距离，得到目标欧式距离集合；
对应地，所述第一确定子模块，包括：
第四确定单元，用于如果所述目标欧式距离集合中包含的目标欧式距离的数量大于第五阈值，基于所述第二图像特征对应的关键帧图像的特征点的三维位置信息和所述第一图像特征对应的关键帧图像的特征点的二维位置信息，确定所述第二位置信息。
在上述装置中，所述装置还包括：
第一选择模块，用于从样本图像库中，选择满足预设条件的关键帧图像，得到关键帧图像集合；
第一提取模块，用于提取每一关键帧图像的图像特征，得到关键图像特征集合；
第二提取模块，用于提取样本图像的特征点，得到包含不同的特征点的样本特征点集合；
第二确定模块，用于确定每一样本特征点，在所述关键帧图像的中所占的比值，得到比值向量集合；
第一存储模块，用于存储所述比值向量集合和所述关键图像特征集合，得到所述第一地图。
在上述装置中，所述装置还包括：
第二选择模块，用于从所述样本图像中选择预设数量的角点；
第三确定模块，用于如果采集时间相邻的两个样本图像中包含的相同的角点数量大于等于第六阈值，确定所述样本图像对应的场景为连续场景；
第四确定模块，用于如果采集时间相邻的两个样本图像中包含的相同的角点数量小于第六阈值，确定所述样本图像对应的场景为离散场景。
在上述装置中，所述第一选择模块，包括：
第一选择子模块，用于如果所述样本图像对应的场景为离散场景，根据输入的选择指令，从样本图像库中选择关键帧图像；
第二选择子模块，用于如果所述样本图像对应的场景为连续场景，根据预设的帧率或视差，从样本图像库中选择关键帧图像。
在上述装置中，所述第二确定模块，包括：
第二确定子模块，用于根据样本图像库中包含的样本图像的第一数量和第i个样本特征点在样本图像库中出现的第一次数，确定第一平均次数；其中，i为大于等于1的整数；所述第一平均次数用于表明所述第i个样本特征点平均在每一样本图像中出现的次数；
第三确定子模块，用于根据所述第i个样本特征点在第j个关键帧图像中出现的第二次数和所述第j个关键帧图像中包含的样本特征点的第二数量，确定第二平均次数；其中，j为大于等于1的整数；所述第二平均次数用于表明所述第i个样本特征点占据第j个关键帧图像中包含的样本特征点的比例；
第四确定子模块，用于根据所述第一平均次数和所述第二平均次数，得到样本特征点在所述关键帧图像的中所占的比值，得到所述比值向量集合。
本申请实施例提供一种终端，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述地图更新方法中的步骤。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述地图更新方法中的步骤。
本申请实施例提供一种地图更新方法及装置、终端、存储介质，其中，首先，获取第一地图中的第一图像特征；然后，根据所述第一图像特征，从第二地图匹配出第二图像特征；最后，根据所述第一图像特征和所述第二图像特征，将所述第一地图中每一关键帧图像添加到所述第二地图中，得到更新的第二地图；如此，通过提取局部地图第一地图中的关键帧图像的图像特征，然后将该图像特征，与另一地图中关键帧图像的图像特征进行匹配，即可得到第二图像特征对应的关键帧图像，从而基于不同地图中相匹配的图像特征，将多个地图进行融合，从而实现了地图的更新，提高了更新后的地图的精度高。
附图说明
图1A为本申请实施例地图更新方法实现流程示意图；
图1B为本申请实施例地图更新方法的另一实现流程示意图；
图2A为本申请实施例地图更新方法的实现流程示意图；
图2B为本申请实施例创建预设地图的又一实现流程示意图；
图2C为本申请实施例地图更新方法另一实现流程示意图；
图3为本申请实施例地图更新方法的又一实现流程示意图；
图4为本申请实施例比值向量的结构示意图；
图5A为本申请实施例确定第二图像特征对应的关键帧图像的应用场景图；
图5B为本申请实施例确定采集设备的位置信息的结构示意图；
图6为本申请实施例地图更新装置的组成结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请实施例提供一种地图更新方法，图1A为本申请实施例地图更新方法实现流程示意图，如图1A所示，所述方法包括以下步骤：
步骤S101，获取第一地图中的第一图像特征。
这里，所述第一地图可以理解为是全局地图的一部分，比如，全局地图是包含了100个室内场景对应的关键帧图像，那么第一地图可以是包含了其中一部分室内场景对应的关键帧图像。第一图像特征包括：所所述第一地图中的关键帧图像的特征点的2D位置信息、3D位置信息和标识信息。在步骤S101中，首先，提取所述第一地图中的每一关键帧图像的特征点，得到特征点集合；然后，确定所述特征点集合中每一特征点的标识信息和每一所述特征点在所述关键帧图像中的2D位置信息；其中，特征点的标识信息可以理解为是能够唯一标识该特征点的描述子信息；最后，将每一2D位置信息分别映射在所述第一地图所处的坐标系中，得到每一所述特征点的3D位置信息。
步骤S102，根据所述第一图像特征，从第二地图匹配出第二图像特征。
这里，第一地图和第二地图为不同的两个地图，第一地图和所述第二地图对应的场景信息部分相同，这样保证能够从第二地图中匹配出与第一地图中的关键帧图像的第一图像特征相似度较高的第二图像特征；所述第二地图，也可以理解为是全局地图的一部分，比如，全局地图是包含了100个室内场景对应的关键帧图像，那么第二地图可以是包含了其中一部分室内场景对应的关键帧图像。第一地图和所述第二地图对应的场景信息至少部分相同；即，第一地图和第二地图中有少许的重叠部分。所述第二图像特征包括：所述第二图像特征包括：所述第二地图中的关键帧图像的特征点的2D位置信息、3D位置信息和标识信息；其中，所述3D位置信息是将所述2D位置信息映射在所述2D位置信息所处的坐标系中得到的。所述步骤S102可以理解为，从第二地图中存储的关键帧图像的图像特征中，选择与第一图像特征匹配度较高的第二图像特征。
步骤S103，根据所述第一图像特征和所述第二图像特征，将所述第一地图中每一关键帧图像添加到所述第二地图中，得到更新的第二地图。
这里，基于所述第二图像特征对应的关键帧图像的特征点的3D位置信息和所述第一图像特征对应的关键帧图像的特征点的2D位置信息，确定第一图像特征对应的关键帧图像的图像采集设备的位置信息。比如，首先，将第一图像特征对应的关键帧图像的特征点的2D位置信息转换为3D位置信息，然后，将该3D位置信息与第二地图所处的第二坐标系中的关键帧图像的特征点的3D位置信息，进行比对，以确定第一图像特征对应的关键帧图像的图像采集设备的位置信息。这样，同时考虑了特征点的2D位置信息和3D位置信息，那么当对第一图像特征对应的关键帧图像进行定位时，既可以得到第一图像特征对应的待匹配关键帧图像的图像采集设备的2D位置信息，还可以得到第一图像特征对应的关键帧图像的图像采集设备的3D位置信息，也可以理解为，既可以得到图像采集设备像的平面空间位置，还可以得到图像采集设备的立体空间位置；如此，依据这些丰富的位置信息，可以更加精确的将多个局部地图融合在一起。
在本申请实施例中，对于第一地图中的任意关键帧图像，通过提取图像特征，首先，从第二地图中找出与该图像特征匹配的第二图像特征，其次，基于两个图像特征的特征点的位置信息，最后，基于图像特征的位置信息和两个地图分别对应的坐标系之间的转换关系，将第一地图中的每一关键帧图像添加到第二地图中，从而完成对第二地图的更新，保证了良好的地图融合精度。
本申请实施例提供一种地图更新方法，图1B为本申请实施例地图更新方法的另一实现流程示意图，如图1B所示，所述方法包括以下步骤：
步骤S121，提取所述第一地图中的待匹配关键帧图像，得到第一图像特征。
这里，所述待匹配关键帧图像为所述第一地图中的关键帧图像。
步骤S122，根据所述第一图像特征，从第二地图中的关键帧图像的图像特征中，匹配出第二图像特征。
这里，采用预设的词袋模型，从第二地图中存储的关键帧图像的图像特征中，检索出与第一图像特征相似度较高的第二图像特征。
步骤S123，获取用于采集所述待匹配关键帧图像的图像采集设备在所述第一地图所处的第一坐标系中的第一位置信息。
这里，第一坐标系可以是三维坐标系，第一位置信息可以理解为，待匹配关键帧图像的图像采集设备在第一坐标系中的三维坐标值。
步骤S124，根据所述第一图像特征和所述第二图像特征，确定所述图像采集设备在所述第二地图所处的第二坐标系中的第二位置信息。
这里，首先得到第二地图所处的第二坐标系，第二坐标系为三维坐标系，然后，基于所述第二图像特征对应的关键帧图像的特征点的3D位置信息和所述第一图像特征对应的关键帧图像的特征点的2D位置信息，确定第二位置信息。第二位置信息可以理解为是，待匹配关键帧图像的图像采集设备在第二坐标系中的三维坐标值。比如，将第二图像特征对应的关键帧图像的特征点的3D位置信息和所述第一图像特征对应的特征点的2D位置信息，作为前端位姿跟踪算法(Perspectives-n-Point，PnP)算法的输入，先求出待匹配关键帧图像中特征点的2D位置信息(比如，2D坐标)在第一坐标系下该特征点的3D位置信息(比如，3D坐标)，然后根据第二坐标系下第二特征对应的的特征点的3D位置信息和第一坐标系下的待匹配关键帧图像中特征点的3D位置信息，即可求解待匹配关键帧图像的图像采集设备的位置信息。
步骤S125，根据所述第一位置信息和所述第二位置信息，将所述第一地图中每一关键帧图像添加到所述第二地图中，得到更新的第二地图。
这里，更新的第二地图可以是全局地图，还可以是全局地图的一部分。所述步骤S125可以通过以下过程实现：
第一步，根据所述第一位置信息和所述第二位置信息，确定所述第一坐标系和所述第二坐标系之间的转换关系。
这里，第一坐标系和所述第二坐标系之间的转换关系，可以是第一坐标系相对于第二坐标系的旋转矩阵和平移向量。
第二步，据所述转换关系，对所述第一地图中的每一关键帧图像对应的图像采集设备在第一坐标系中的坐标进行调整，使得所述每一关键帧图像对应的图像采集设备的调整后的坐标与所述第二坐标系相匹配。
这里，据所述转换关系，对所述第一地图中的每一关键帧图像对应的图像采集设备在第一坐标系中的坐标进行调整的过程可以是：首先，利用旋转矩阵，对每一关键帧图像对应的图像采集设备在第一坐标系中的坐标，进行旋转；然后利用平移向量，对每一关键帧图像对应的图像采集设备在第一坐标系中的旋转后的坐标，进行平移，得到每一关键帧图像对应的图像采集设备的调整后的坐标。
第三步，将每一坐标调整后的图像采集设备对应的关键帧图像，添加到所述第二地图中，得到所述更新的第二地图。
这里，由于每一关键帧图像对应的图像采集设备在第一坐标系中的坐标均已调整为与第二坐标系相匹配的坐标，所以可以基于此，将第一地图中的每一关键帧图像添加到第二地图中，实现两个地图的融合，得到更新的第二地图(即全局地图)。在其他实施例中，还可以是将三个或三个以上的地图进行融合，得到全局地图。
上述步骤S123至步骤S125给出了一种实现“根据所述第一图像特征和所述第二图像特征，将所述第一地图中每一关键帧图像添加到所述第二地图中，得到更新的第二地图”的方式，在该方式中，基于待匹配关键帧的图像采集设备分别在第一坐标系和第二坐标系中的位置信息，确定第一坐标系和第二坐标系之间的转换关系，然后，将第一地图中每一关键帧图像对应的图像采集设备在第一坐标系中的坐标，按照该转换关系进行调整，这样第一地图中每一关键帧图像对应的图像采集设备在第一坐标系中的坐标与第二坐标系相匹配，从而将调整后的图像采集设备对应的关键帧图像添加到第二地图中，这样将两个地图精确的融合在一起。
在本申请实施例中，通过两个布局地图中的关键帧图像的图像特征，对多个局部地图进行融合，达成地图更新的目的，使得更新后的地图融合精度较高，鲁棒性强。
本申请实施例提供一种地图更新方法，图2A为本申请实施例地图更新方法的实现流程示意图，如图2A所示，所述方法包括以下步骤：
步骤S201，提取所述第一地图中的每一关键帧图像的特征点，得到特征点集合。
这里，对第一地图中的每一关键帧图像的特征点进行提取，得到特征点集合。
步骤S202，确定所述特征点集合中每一特征点的标识信息和每一所述特征点在所述关键帧图像中的2D位置信息。
这里，对于特征点集合中的每一特征点，确定该特征点的描述子信息即(标识信息)，2D位置信息可以认为是该特征点的2D坐标。
步骤S203，将每一2D位置信息分别映射在所述第一地图所处的坐标系中，得到每一所述特征点的3D位置信息。
上述步骤S201至步骤S203给出了一种实现“对第一地图中的关键帧图像进行提取，得到第一图像特征”的方式，在该方式中，得到第一地图中的关键帧图像的每一特征点的2D坐标、该特征点的描述子信息和3D坐标。
步骤S204，分别确定不同的样本特征点在所述特征点集合中所占的比值，得到第一比值向量。
这里，第一比值向量可以是预先存储在第一地图对应的预设词袋模型中的。当需要对第一地图中的待匹配关键帧图像的图像特征进行匹配时，从该预设词袋模型中，获取第一比值向量。所述多个样本特征点互不相同。所述预设的词袋模型中包含多个不同的样本特征点和多个样本特征点在所述关键帧图像中包含的特征点中所占的比值。所述第一比值向量可以是根据样本图像数量、样本特征点在样本图像中出现的次数、样本特征点在待匹配关键帧图像里出现的次数和待匹配关键帧图像中出现的样本特征点的总数来确定；如公式(1)所示：
Figure BDA0002112631490000161
其中，N为样本图像数量(即第一数量)，ni为样本特征点wi在样本图像中出现的次数(即第一次数)，It为t时刻采集的图像I，
Figure BDA0002112631490000162
为样本特征点wi在时刻采集到的关键帧图像It里出现的次数(即第二次数)，
Figure BDA0002112631490000163
为关键帧图像It里出现的样本特征点总数(即第二数量)。通过样本特征点评分，得到每个关键帧图像的w维的浮点数向量，即比值向量，还可以将该比值向量作为预设的词袋模型的特征信息。
步骤S205，获取第二比值向量。
这里，所述第二比值向量为所述多个样本特征点在所述第二地图中的关键帧图像中包含的特征点中所占的比值；第二比值向量是预先存储在预设的词袋模型中的，所以当需要对待匹配关键帧图像的图像特征进行匹配时，从预设的词袋模型中获取该第二比值向量。第二比值向量的确定过程与第一比值向量的确定过程类似，均可采用公式(1)进行确定；而且所述第一比值向量和所述第二比值向量的维数相同。
步骤S206，根据所述第一图像特征、所述第一比值向量和所述第二比值向量，从所述关键帧图像的图像特征中，匹配出第二图像特征。
这里，所述步骤S205可以通过以下过程实现：
第一步，根据所述第一比值向量和所述第二比值向量，从所述第二地图中的关键帧图像的图像特征中，确定与所述第一图像特征的相似度大于第二阈值的相似图像特征。
这里，逐一的比较待匹配关键帧图像的第一比值向量v1与第二地图中每一关键帧图像的第二比值向量v2，采用这两个比值向量进行如公式(2)所示的计算，即可确定第二地图中每一关键帧图像与待匹配关键帧图像的相似度，从而筛选出相似度大于等于第二阈值的相似关键帧图像，得到相似关键帧图像集合。
第二步，确定所述相似图像特征所属的相似关键帧图像，得到相似关键帧图像集合。
第三步，从所述相似关键帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。
这里，从相似关键帧图像包含的图像特征中，选择与第一图像特征相似度最高的第二图像特征；比如，首先，确定至少两个所述相似关键帧图像的采集时间之间的时间差，和所述至少两个相似关键帧图像的图像特征分别与所述第一图像特征的相似度差；然后，将所述时间差小于第三阈值，且所述相似度差小于第四阈值的相似关键帧图像进行联合，得到联合帧图像；也就是说，选择的是采集时间靠近，且与待匹配关键帧图像的相似度靠近的多个相似关键帧图像，说明这些关键帧图像可能是连续的的画面，所以将这样的多个相似关键帧图像联合在一起，组成联合帧图像(也可以成为岛)，这样得到多个联合帧图像；最后，从所述联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。比如，先是分别确定多个联合帧图像中包含的每一关键帧图像的图像特征与所述第一图像特征的相似度之和；这样，逐一的确定多个联合帧图像中包含的多个关键帧图像的图像特征与第一图像特征的相似度之和。再，将相似度之和最大的联合帧图像，确定为与所述待匹配关键帧图像的相似度最高的目标联合帧图像；最后，根据目标联合帧图像的特征点的标识信息和所述待匹配关键帧图像的特征点的标识信息，从所述目标联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。这样，由于目标联合帧图像的特征点的标识信息和所述待匹配关键帧图像的特征点的标识信息，分别能够唯一的标识目标联合帧图像的特征点和待匹配关键帧图像的特征点，所以基于这两个标识信息，可以非常准确的从所述目标联合帧图像的图像特征中，选择与第一图像特征相似度最高的第二图像特征。从而保证了，为待匹配关键帧图像的第一图像特征匹配第二图像特征的准确度，保证了选择到的第二图像特征与第一图像特征的相似度极高。在本实施例中，包含该第二图像特征的关键帧图像，说明该关键帧图像与待匹配关键帧图像非常相似，可以认为是与该待匹配关键帧图像最相似的图像。
上述步骤S204至步骤S206给出了一种实现“根据所述第一图像特征，从第二地图中的关键帧图像的图像特征中，匹配出第二图像特征，”的方式，在该方式中，通过采用预设的词袋模型从第二地图中的关键帧图像的图像特征中检索出与第一图像特征的相匹配的第二图像特征，保证了第二图像特征与第一图像特征的相似度。
步骤S207，确定所述第二图像特征对应的关键帧图像中包含的任意两个特征点之间，小于第一阈值的目标欧式距离，得到目标欧式距离集合。
这里，首先，确定第二图像特征对应的关键帧图像中包含的任意两个特征点之间的欧式距离，然后，从中选择小于第一阈值的欧式距离，作为目标欧式距离，以得到目标欧式距离集合；这是对于待匹配关键帧图像中的一个特征点进行处理，可得到一个目标欧式距离集合，那么对于待匹配关键帧图像中的多个特征点进行处理，则可得到多个欧式距离集合。所述小于第一阈值的目标欧式距离，还可以认为是首先从多个欧式距离中确定最小的欧式距离，然后判断该最小的欧式距离是否小于第一阈值，若小于，则确定该最小的欧式距离为目标欧式距离，那么目标欧式距离集合也就是多个欧式距离集合中，欧式距离最小的一个集合。
步骤S208，如果所述目标欧式距离集合中包含的目标欧式距离的数量大于第五阈值，基于所述第二图像特征对应的关键帧图像的特征点的3D位置信息和所述第一图像特征对应的关键帧图像的特征点的2D位置信息，确定所述第二位置信息。
这里，如果目标欧式距离集合中包含的目标欧式距离的数量大于第五阈值，说明目标欧式距离的数量是足够大，也说明与第一图像特征相匹配的特征点足够多，说明这个包含第二图像特征的关键帧图像与待匹配关键帧图像的相似度足够高。然后，将第二图像特征的关键帧图像的特征点的3D位置信息和所述第一图像特征对应的待匹配关键帧图像的特征点的2D位置信息，作为PnP算法的输入，先求出待匹配关键帧图像的当前帧中特征点的2D坐标，在当前坐标系下该特征点的3D坐标，然后根据地图坐标系下的关键帧图像的特征点的3D位置信息和当前坐标系下的待匹配关键帧图像的当前帧中特征点的3D位置信息，即可求解图像采集设备的位置信息。
上述步骤S206至步骤S208给出了一种实现“根据所述第一图像特征和所述第二图像特征，确定所述图像采集设备在所述第二地图所处的第二坐标系中的第二位置信息”的方式，在该方式中，同时考虑关键帧图像的2D和3D位置信息，在定位结果上可以同时提供位置和姿态，所以提高了确定图像采集设备的位置的准确度，从而能够有效的对第一地图中关键帧图像的图像采集设备的坐标，进行转换，更好的将第一地图中的关键帧图像融合到第二地图中，保证了地图的融合精度和鲁棒性。
步骤S209，获取用于采集所述待匹配关键帧图像的图像采集设备在所述第一地图所处的第一坐标系中的第一位置信息。
这里，在第一地图中每一关键帧图像对应的图像采集设备均有一个第一位置信息。第一位置信息可以理解为该图像采集设备在第一坐标系中的坐标值。
步骤S210，根据所述第一位置信息和所述第二位置信息，将所述第一地图中每一关键帧图像添加到所述第二地图中，得到更新的第二地图。
在本申请实施例中，是通过图像采集设备，得到待匹配关键帧图像，加载构建好的预设地图，并利用预设的词袋模型检索匹配到待匹配关键帧图像相对应的第二图像特征对应的关键帧图像，最后，再将待匹配关键帧图像的特征点的2D位置信息和关键帧图像的特征点的3D位置信息，作为PnP算法的输入，以得到待匹配关键帧图像的当前相机在第二地图中的位置，这样将第一地图中的关键帧图像对应的图像采集设备的坐标均转换为与第二地图的第二坐标系相匹配的坐标，然后再将第一地图中的关键帧图像精确的融合到第二地图中；这样，通过关键帧图像即可确定第一地图中的关键帧图像对应的图像采集设备，在第二地图的第二坐标系下的坐标，从而更加准确的将两个地图融合在一起，得到更新的第二地图，不需要两个局部地图有大量的重复区域，也能保证良好的地图融合精度，在以众包进行地图更新或多人创建地图的时候，提升了地图融合的稳定性，同时也提升了构建局部地图的效率。
本申请实施例提供一种地图更新方法，图2B为本申请实施例创建预设地图的又一实现流程示意图，如图2B所示，所述方法包括以下步骤：
步骤S221，从样本图像库中，选择满足预设条件的关键帧图像，得到关键帧图像集合。
这里，首先，确定该样本图像对应的场景为连续场景还是离散场景，如果是离散场景，过程如下：
第一步，从所述样本图像中选择预设数量的角点；所述角点为所述样本图像中与周围预设数量的像素点具有较大差别的像素点；比如，选择150个角点。
第二步，如果采集时间相邻的两个样本图像中包含的相同的角点数量大于等于第六阈值，确定所述样本图像对应的场景为连续场景；两个样本图像的采集时间相邻，还可以理解为是连续的两个样本图像，判断这两个样本图像中包含的相同的角点的数量，数量越大，说明这两个样本图像的相关度越高，也说明这两个样本图像是来自于连续场景的图像。连续场景，比如，单一的室内环境，比如，卧室、客厅或单个会议室等。
第三步，如果采集时间相邻的两个样本图像中包含的相同的角点数量小于第六阈值，确定所述样本图像对应的场景为离散场景。这两个样本图像中包含的相同的角点的数量越小，说明这两个样本图像的相关度越低，也说明这两个样本图像是来自于离散场景的图像。离散场景，比如，在多个室内环境下，比如，一栋楼里的多个房间或者一层里的多个会议室等。
然后，如果样本图像对应的场景为离散场景，根据输入的选择指令，从样本图像库中选择关键帧图像；即，如果样本图像属于离散场景，说明多个样本图像对应的不是一个场景，那么用户手动选择关键帧图像，这样，保证了不同的环境下，所选的关键图像的有效性。
如果样本图像对应的场景为连续场景，根据预设的帧率或视差，从样本图像库中选择关键帧图像；即，如果样本图像属于连续场景，说明多个样本图像对应的是同一个场景，那么通过事先设置预设的帧率或者预设的视差，自动选择满足该预设的帧率或者预设的视差的样本图像作为关键帧图像，这样，既所选的关键图像的有效性，还提高了选择关键帧图像的效率。
步骤S222，提取每一关键帧图像的图像特征，得到关键图像特征集合。
这里，关键帧的图像特征包括：关键帧图像的特征点的2D位置信息、3D位置信息和能够唯一标识该特征点的标识信息。得到关键图像特征集合，以便于从关键图像特征集合中匹配出与第一图像特征高度相似的第二图像特征，从而得到相应的第二图像特征对应的关键帧图像。
步骤S223，确定每一样本特征点，在关键帧图像的中所占的比值，得到比值向量集合。
这里，得到比值向量集合之后，将不同的样本特征点和该比值向量集合存储于预设的词袋模型中，以便于采用预设的词袋模型从关键帧图像中检索出待匹配关键帧图像的第二图像特征对应的关键帧图像。所述步骤S223可以通过以下过程实现：
首先，根据样本图像库中包含的样本图像的第一数量和第i个样本特征点在样本图像库中出现的第一次数，确定第一平均次数。i为大于等于1的整数；第一平均次数用于表明所述第i个样本特征点平均在每一样本图像中出现的次数；比如，样本图像的第一数量为N，第i个样本特征点在样本图像库中出现的第一次数为ni，通过公式(1)即可得到第一平均次数idf(i)。
其次，根据所述第i个样本特征点在第j个关键帧图像中出现的第二次数和所述第j个关键帧图像中包含的样本特征点的第二数量，确定第二平均次数；j为大于等于1的整数；第二平均次数用于表明所述第i个样本特征点占据第j个关键帧图像中包含的样本特征点的比例；比如，第二次数为
Figure BDA0002112631490000221
第二数量为
Figure BDA0002112631490000222
通过公式(1)即可得到第二平均次数tf(i,It)。
最后，根据所述第一平均次数和所述第二平均次数，得到样本特征点在关键帧图像的中所占的比值，得到所述比值向量集合。比如，根据公式(1)，将第一平均次数与第二平均次数相乘，即可得到比值向量
Figure BDA0002112631490000223
步骤S224，存储所述比值向量集合和所述关键图像特征集合，得到所述第一地图。
这里，将关键帧图像对应的比值向量集合和关键图像特征集合存储在第一地图中，以便于对图像采集设备进行定位时，采用该比值向量集合与利用预设的词袋模型确定的待匹配关键帧图像对应的比值向量集合进行比对，以从关键图像特征集合中确定与待匹配关键帧图像高度相似的第二图像特征对应的关键帧图像。
上述步骤S221至步骤S224给出了构建局部地图，比如第一地图和第二地图的过程，重复上述步骤S221至步骤S224，可得到第二地图，还可以得到任意场景对应的地图。
在本申请实施例中，对于样本图像的离散或连续场景，采用不同的关键帧图像选取方式，保证了所选择的关键帧图像的有效性，然后，从关键帧图像中提取图像特征，构建第一地图，保证了第一地图的准确性。
本申请实施例提供一种地图更新方法，图2C为本申请实施例地图更新方法另一实现流程示意图，如图2C所示，所述方法包括以下步骤：
步骤S231，从样本图像库中，选择满足预设条件的关键帧图像，得到关键帧图像集合。
步骤S232，提取每一关键帧图像的图像特征，得到关键图像特征集合。
步骤S233，提取样本图像的特征点，得到包含不同的特征点的样本特征点集合。
步骤S234，确定每一样本特征点，在关键帧图像的中所占的比值，得到比值向量集合。
步骤S235，存储所述比值向量集合和所述关键图像特征集合，得到所述第一地图和第二地图。
上述步骤S231至步骤S235，完成了预设地图的创建过程，将关键帧图像的图像特征和比值向量集合存储在预设地图中，以便于能够根据比值向量集合从第二地图中的关键帧图像的图像特征中搜索出与待匹配关键帧图像的图像特征相匹配的第二图像特征。
步骤S236，从第一地图中的待匹配关键帧图像的图像特征中，提取待匹配关键帧图像的第一图像特征。
这里，当对图像采集设备进行定位时，需要先加载第一地图和第二地图。
步骤S237，根据所述第一图像特征，从第二地图中的关键帧图像的图像特征中，匹配出第二图像特征。
步骤S238，根据所述第一图像特征和所述第二图像特征，确定所述图像采集设备在所述第二地图所处的第二坐标系中的第二位置信息。
上述步骤S236至步骤S238，给出了实现对图像采集设备进行定位的过程，在该过程中，通过采用从预设地图中存储的关键帧图像中匹配出与第一图像特征高度相似的第二图像特征，然后，利用利用这两个图像特征中的2D位置信息和3D位置信息，即可最终确定采集设备的在第二坐标系中的第二位置信息。
步骤S239，获取用于采集所述待匹配关键帧图像的图像采集设备在所述第一地图所处的第一坐标系中的第一位置信息。
步骤S240，根据所述第一位置信息和所述第二位置信息，将所述第一地图中每一关键帧图像添加到所述第二地图中，得到更新的第二地图。
在本申请实施例中，同时采用关键帧图像的2D和3D位置信息，保证了对采集设备的定位结果的准确度，定位成功率高，鲁棒性强，这样，将第一地图中的关键帧图像融合到第二地图中，保保证了融合后的地图的融合精度。
本申请实施例提供一种地图更新方法，图3为本申请实施例地图更新方法的又一实现流程示意图，如图3所示，所述方法包括以下步骤：
步骤S301，针对样本图像所属的场景，选择不同的关键帧图像选取方式。
这里，样本图像所属的场景包括：离散场景或连续场景；关键帧图像的选取方法包括手动选择和自动选择两类，手动选择要求建图者手动选择需要纳入地图的关键帧图像，而自动选择是根据帧率或视差自动选择图像作为关键帧图像的方法。在针对关键帧图像的图像特征提取过程中，每个关键帧图像中都会提取出150个FAST特征角点，连续两个关键帧图像中拥有相同角点的比例定义为角点追踪率。本申请实施例将有序的关键帧图像序列并且平均角点追踪率大于30％的场景定义为连续场景，否则即为离散场景。连续场景的关键帧图像选取方法使用自动选择法；而离散场景的关键帧图像选取方法使用手动选择法。连续场景适用于单一的室内环境下，比如卧室、客厅、单个会议室等；离散场景更适合在多个室内环境下使用，比如一栋楼里的多个房间，或者一层里的多个会议室等。在地图构建的过程中，连续场景和离散场景的关键帧图像选取策略不同，适用场景不同。这样针对室内的离散或连续场景，通过不同的关键帧图像的选取方式，提取图像特征进行地图构建，这样定位过程不依赖于外部基站设备，成本低，定位精度高，鲁棒性强。
步骤S302，利用摄像头进行关键帧图像采集。
这里，该摄像头可以是单目摄像头还可以是双目摄像头。
步骤S303，采集过程中实时提取关键帧图像中的图像特征。
这里，图像特征提取是对关键帧图像的一种解释和标注的过程。在步骤S303中，需要提取关键帧图像的特征点的2D位置信息、3D位置信息和标识信息(即该特征点的描述子信息)；其中，关键帧图像的特征点的3D位置信息是将关键帧图像的特征点的2D位置信息映射在预设地图所处的三维坐标系中得到的。比如，对关键帧图像提取多个2D的特征点，提取数量为150个(150为经验值，特征点数量过少，跟踪失败率高，特征点数量过多，影响算法效率)，用于图像跟踪；并对该特征点进行描述子的提取，用于特征点匹配；其次，通过三角化方法计算得到特征点的3D位置信息(即深度信息)，用于确定采集相机的位置。
步骤S304，采集过程中实时确定每一样本特征点，在关键帧图像的中所占的比值，得到比值向量。
这里，步骤S304可以理解为，在关键帧图像的采集过程中，针对当前帧图像，实时提取该关键帧图像的的比值向量，如图4所示，用词汇树的形式来描述词袋模型，词袋模型中包括样本图像库41，即词汇树的根结点；样本图像42、43和44，即叶子结点42、43；样本特征点1至3为样本图像42中不同的样本特征点，本特征点4至6为样本图像43中不同的样本特征点，本特征点7至9为样本图像44中不同的样本特征点。在词袋模型中假设有w种样本特征点，即w为词袋模型的样本图像里提取出来的特征点种类数量。所以词袋模型里一共有w个样本特征点。每个样本特征点会对该关键帧图像进行评分，评分值为0～1的浮点数，这样每个关键帧图像都可以用w维的浮点数来表示，这个w维向量就是词袋模型输出的比值向量
Figure BDA0002112631490000251
评分的过程，如公式(1)所示。
上述步骤S301至步骤S304，构建出一张依赖于关键帧图像的离线的局部地图，即第一地图和第二地图，该第一地图和第二地图以二进制格式存储关键帧图像的图像特征(包括：2D位置信息、2D位置信息和标识信息，比如，2D坐标、3D坐标、和描述子信息)到本地设备，当需要对图像采集设备进行时，该第一地图和第二地图将被加载使用。
步骤S305，加载构建好的第一地图和第二地图。
这里，以第二地图的第二坐标系作为全局坐标系。
步骤S306，提取第一地图中的待匹配关键帧图像的图像特征，得到第一图像特征。
这里，待匹配关键帧图像为第一地图中的关键帧图像中的任一个。
步骤S307，通过词袋模型检索待匹配关键帧图像的当前帧在第二地图中的第二图像特征对应的关键帧图像。
这里，所述通过词袋模型检索待匹配关键帧图像的当前帧在第二地图中的第二图像特征对应的关键帧图像，可以理解为利用词袋模型的特征信息即比值向量集合，进行检索待匹配关键帧图像的当前帧在第二地图中的第二图像特征对应的关键帧图像。
所述步骤S307可以通过以下过程实现：
第一步，查找待匹配关键帧图像的当前帧和第二地图中的每个关键帧图像的相似度，相似度s(v1,v2)的计算方式如公式(2)所示。
Figure BDA0002112631490000261
其中，v1和v2分别表示词袋模型中包含的每一样本特征点在所述待匹配关键帧图像的当前帧中所占的第一比值向量，和每一样本特征点在第二地图中的关键帧图像中所占的第二比值向量。如果词袋模型中包含w种样本特征点，那么第一比值向量和第二比值向量均为w维的向量。通过采用筛选出第二地图中的关键帧图像中相似度达到第二阈值的相似关键帧图像，成为相似关键帧图像集合。
第二步，在相似关键帧图像集合选取时间戳之差小于第三阈值，且相似度差小于第四阈值的相似关键帧图像联合在一起，得到联合帧图像(或被称为岛)。
这里，第二步可以理解为在相似关键帧图像集合选取时间戳靠近，且相似度的匹配分数靠近的相似关键帧图像联合在一起，被成为岛；这样将相似关键帧图像集合就被划分成了多联合帧图像(即多个岛)。联合帧图像中的第一个关键帧图像与最后一个关键帧图像之间的相似度之比非常小，该相似度之比
Figure BDA0002112631490000262
如公式(3)所示：
Figure BDA0002112631490000263
其中，
Figure BDA0002112631490000264
和s(vt,vt-△t)分别表示一前一后两个关键帧图像的与当前帧的待匹配关键帧图像的相似度。
第三步，分别确定多个联合帧图像中包含的每一关键帧图像的图像特征与所述第一图像特征的相似度之和，如公式(4)所示，
Figure BDA0002112631490000271
第四步，将相似度之和最大的联合帧图像，确定为与所述待匹配关键帧图像的相似度最高的目标联合帧图像，从所述目标联合帧图像中找出与待匹配关键帧图像的当前帧相似度最高的第二图像特征对应的关键帧图像。
步骤S308，采用PnP算法，确定待匹配关键帧图像对应的图像采集设备在第二地图所处的第二坐标系中的第二位置信息在地图坐标系中的位置信息。
这里，所述步骤S308可以通过以下步骤实现：
第一步，对待匹配关键帧图像的当前帧XC的第N个特征点FCN，遍历第二图像特征对应的关键帧图像X3的所有特征点，并确定第二图像特征对应的关键帧图像中任意两个特征点之间的欧式距离。如图5A所示，待匹配关键帧图像的当前帧Xc51，与该当前帧Xc51匹配的第二图像特征对应的关键帧图像X352。计算特征点X053和X154之间的欧式距离，得到欧式距离F0501；计算特征点X154和X255之间的欧式距离，得到欧式距离F1502；计算特征点X255和X352之间的欧式距离，得到欧式距离F2503；计算特征点Xc51和X456之间的欧式距离，得到欧式距离F3504。
第二步，选择欧式距离最小的一组(即目标欧式距离集合)进行阈值判断，若小于第一阈值，确定为目标欧式距离，则形成目标欧式距离集合，否则不形成目标欧式距离集合，跳转至第一步，直至遍历XC的所有特征点，进入第三步。比如，如图5A所示，通过比较多个欧式距离，得到一组最小的欧式距离组合{F1,F2,F3}。
第三步，形成目标欧式距离集合，可表示为{F1,F2,F3}，若目标欧式距离集合的元素数量大于第五阈值，则进行第四步，否则算法结束，输出匹配帧X3的位置信息。
第四步，基于目标欧式距离集合，调用PnP中的函数求解出XC在地图坐标系下的位置信息。其中，PnP算法的过程如下：
PnP算法的输入是包含第二图像特征的关键帧图像中的特征点的3D坐标和待匹配关键帧图像的当前帧中特征点的2D坐标，该算法的输出是待匹配关键帧图像的当前帧对应的图像采集设备在第二地图的第二坐标系中的位置。
PnP算法不是直接根据匹配对序列求出相机位姿矩阵的，而是先求出待匹配关键帧图像的当前帧中特征点的2D坐标在当前坐标系下待匹配关键帧图像的当前帧中特征点的3D坐标，然后根据地图坐标系下的3D坐标系和当前坐标系下的待匹配关键帧图像的当前帧中特征点的3D坐标求解相机位姿的。PnP算法的求解是从余弦定理开始的，设当前坐标系中心为点O，A、B和C为待匹配关键帧图像的当前帧中三个特征点，如图5B所示：
根据余弦定理，A、B和C之间的关系如公式(5)所示：
Figure BDA0002112631490000281
对上式进行消元，同时除以OC2，并另
Figure BDA0002112631490000282
则可得公式(6)：
Figure BDA0002112631490000283
接着进行替换，另
Figure BDA0002112631490000284
则可得公式(7)：
Figure BDA0002112631490000285
将公式(4)分别代入公式(6)和(7)，则分别得到公式(8)和(9)：
(1-w)x2-w·y2-2·x·cos<a,c>+2·w·x·y·cos<a,b>+1＝0 (8)；
(1-v)y2-v·x2-2·y·cos<b,c>+2·v·x·y·cos<a,b>+1＝0 (9)；
其中，由于A、B和C的2D坐标是已知的，所以w,v,cos<a,c>,cos<b,c>,cos<a,b>都是已知量，因此，未知量只有x,y两个，通过公式(8)和(9)可以求得x,y的值，从而，可以求解OA、OB和OC的值，如公式(10)所示：
Figure BDA0002112631490000291
最后，即可得到A、B和C三个特征点在当前三维坐标系下的3D坐标，分别可通过公式(11)得到：
Figure BDA0002112631490000292
得到A、B和C三个特征点在当前三维坐标系下的3D坐标后，然后通过地图坐标系到当前坐标系的变换，确定采集设备的位置。
上述步骤S305至步骤S308，对于图像采集设备采集到的待匹配关键帧图像加载构建好的离线地图，通过词袋模型在第二地图中的关键帧图像中检索待匹配关键帧图像的第二图像特征对应的关键帧图像，最后采用PnP算法求解当前相机在第二地图中的精确位姿，以确定该设备在第二坐标系下的位置和姿态，从而能够更加准确的将第一地图中的关键帧图像添加到第二地图中，实现地图更新。
步骤S309，将第一地图中每一关键帧图像对应的图像采集设备在第一坐标系中的坐标，进行调整，以使调整后的坐标与第二坐标系匹配，并将坐标调整后的图像采集设备对应的关键帧图像添加到第二地图中，得到更新的第二地图。
这里，首先，确定该图像采集设备在第一坐标系中的第一位置信息，其次，确定该图像采集设备在第二坐标系中的第二位置信息；再次，基于第一位置信息和第二位置信息，确定第一坐标系相对于第二坐标系的旋转矩阵和平移向量；利用该旋转矩阵和平移向量对该图像采集设备在第一坐标系中的坐标进行调整，使得调整后的图像采集设备的坐标与第二坐标系匹配。
在步骤S309之后，反复执行步骤S305至步骤S309，将其他局部地图融合到第二坐标系中(即全局坐标系)中，完成全局地图的融合。
在申请实施例中，同时考虑关键帧图像的2D坐标和3D坐标，在定位结果中可以提供采集设备的3D坐标，提高了图像采集设备的定位准确度，这样保证了将第一地图中的关键帧图融合到第二地图中的融合精度，使得更新的地图鲁棒性强。
本申请实施例提供一种地图更新装置，该装置包括所包括的各模块、以及各模块所包括的各单元，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图6为本申请实施例地图更新装置的组成结构示意图，如图6所示，所述装置600包括：第一获取模块601、第一匹配模块602和第一更新模块603，其中：
所述第一获取模块601，用于获取第一地图中的第一图像特征；
所述第一匹配模块602，用于根据所述第一图像特征，从第二地图匹配出第二图像特征；
所述第一更新模块603，用于根据所述第一图像特征和所述第二图像特征，将所述第一地图中每一关键帧图像添加到所述第二地图中，得到更新的第二地图。
在上述装置中，所述第一获取模块601，包括：
第一提取子模块，用于提取所述第一地图中的待匹配关键帧图像，得到第一图像特征；其中，所述待匹配关键帧图像为所述第一地图中的关键帧图像；
对应地，所述第一匹配模块602，包括：
第一匹配子模块，用于根据所述第一图像特征，从第二地图中的关键帧图像的图像特征中，匹配出所述第二图像特征。
在上述装置中，所述第一更新模块603，包括：
第一获取子模块，用于获取用于采集所述待匹配关键帧图像的图像采集设备在所述第一地图所处的第一坐标系中的第一位置信息；
第一确定子模块，用于根据所述第一图像特征和所述第二图像特征，确定所述图像采集设备在所述第二地图所处的第二坐标系中的第二位置信息；
第一更新子模块，用于根据所述第一位置信息和所述第二位置信息，将所述第一地图中每一关键帧图像添加到所述第二地图中，得到更新的第二地图。
在上述装置中，所述第一更新子模块，包括：
第一确定单元，用于根据所述第一位置信息和所述第二位置信息，确定所述第一坐标系和所述第二坐标系之间的转换关系；
第一调整单元，用于根据所述转换关系，对所述第一地图中的每一关键帧图像对应的图像采集设备在第一坐标系中的坐标进行调整，使得所述每一关键帧图像对应的图像采集设备的调整后的坐标与所述第二坐标系相匹配；
第一添加单元，用于将每一坐标调整后的图像采集设备对应的关键帧图像，添加到所述第二地图中，得到所述更新的第二地图。
在上述装置中，所述第一地图和所述第二地图对应的场景信息至少部分相同。
在上述装置中，所述第一图像特征包括：所述第一地图中的关键帧图像的特征点的2D位置信息、3D位置信息和标识信息；
所述第二图像特征包括：所述第二地图中的关键帧图像的特征点的2D位置信息、3D位置信息和标识信息；其中，所述3D位置信息是将所述2D位置信息映射在所述2D位置信息所处的坐标系中得到的。
在上述装置中，所述第一提取子模块，包括：
第一提取单元，用于提取所述第一地图中的每一关键帧图像的特征点，得到特征点集合；
第二确定单元，用于确定所述特征点集合中每一特征点的标识信息和每一所述特征点在所述关键帧图像中的2D位置信息；
第一映射单元，用于将每一2D位置信息分别映射在所述第一地图所处的坐标系中，得到每一所述特征点的3D位置信息。
在上述装置中，所述第一匹配子模块，包括：
第三确定单元，用于分别确定不同的样本特征点在所述特征点集合中所占的比值，得到第一比值向量；
第一获取单元，用于获取第二比值向量，所述第二比值向量为所述多个样本特征点在所述第二地图中的关键帧图像中包含的特征点中所占的比值；
第一匹配单元，用于根据所述第一图像特征、所述第一比值向量和所述第二比值向量，从所述第二地图中的关键帧图像的图像特征中，匹配出第二图像特征。
在上述装置中，所述第一匹配单元，包括：
第一确定子单元，用于根据所述第一比值向量和所述第二比值向量，从所述第二地图中的关键帧图像的图像特征中，确定与所述第一图像特征的相似度大于第二阈值的相似图像特征；
第二确定子单元，用于确定所述相似图像特征所属的相似关键帧图像，得到相似关键帧图像集合；
第一选择子单元，用于从所述相似关键帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。
在上述装置中，所述第一选择子单元，用于：确定至少两个所述相似关键帧图像的采集时间之间的时间差，和所述至少两个相似关键帧图像的图像特征分别与所述第一图像特征的相似度差；将所述时间差小于第三阈值，且所述相似度差小于第四阈值的相似关键帧图像进行联合，得到联合帧图像；从所述联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。
在上述装置中，所述第一选择子单元，用于：分别确定多个联合帧图像中包含的每一关键帧图像的图像特征与所述第一图像特征的相似度之和；将相似度之和最大的联合帧图像，确定为与所待匹配关键帧图像的相似度最高的目标联合帧图像；根据目标联合帧图像的特征点的标识信息和所述待匹配关键帧图像的特征点的标识信息，从所述目标联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。
在上述装置中，所述装置还包括：
第一确定模块，用于确定所述第二图像特征对应的关键帧图像中包含的任意两个特征点之间，小于第一阈值的目标欧式距离，得到目标欧式距离集合；
对应地，所述第一确定子模块，包括：
第四确定单元，用于如果所述目标欧式距离集合中包含的目标欧式距离的数量大于第五阈值，基于所述第二图像特征对应的关键帧图像的特征点的3D位置信息和所述第一图像特征对应的关键帧图像的特征点的2D位置信息，确定所述第二位置信息。
在上述装置中，所述装置还包括：
第一选择模块，用于从样本图像库中，选择满足预设条件的关键帧图像，得到关键帧图像集合；
第一提取模块，用于提取每一关键帧图像的图像特征，得到关键图像特征集合；
第二提取模块，用于提取样本图像的特征点，得到包含不同的特征点的样本特征点集合；
第二确定模块，用于确定每一样本特征点，在所述关键帧图像的中所占的比值，得到比值向量集合；
第一存储模块，用于存储所述比值向量集合和所述关键图像特征集合，得到所述第一地图。
在上述装置中，所述装置还包括：
第二选择模块，用于从所述样本图像中选择预设数量的角点；
第三确定模块，用于如果采集时间相邻的两个样本图像中包含的相同的角点数量大于等于第六阈值，确定所述样本图像对应的场景为连续场景；
第四确定模块，用于如果采集时间相邻的两个样本图像中包含的相同的角点数量小于第六阈值，确定所述样本图像对应的场景为离散场景。
在上述装置中，所述第一选择模块，包括：
第一选择子模块，用于如果所述样本图像对应的场景为离散场景，根据输入的选择指令，从样本图像库中选择关键帧图像；
第二选择子模块，用于如果所述样本图像对应的场景为连续场景，根据预设的帧率或视差，从样本图像库中选择关键帧图像。
在上述装置中，所述第二确定模块，包括：
第二确定子模块，用于根据样本图像库中包含的样本图像的第一数量和第i个样本特征点在样本图像库中出现的第一次数，确定第一平均次数；其中，i为大于等于1的整数；所述第一平均次数用于表明所述第i个样本特征点平均在每一样本图像中出现的次数；
第三确定子模块，用于根据所述第i个样本特征点在第j个关键帧图像中出现的第二次数和所述第j个关键帧图像中包含的样本特征点的第二数量，确定第二平均次数；其中，j为大于等于1的整数；所述第二平均次数用于表明所述第i个样本特征点占据第j个关键帧图像中包含的样本特征点的比例；
第四确定子模块，用于根据所述第一平均次数和所述第二平均次数，得到样本特征点在所述关键帧图像的中所占的比值，得到所述比值向量集合。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的地图更新方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得包含该存储介质的设备自动测试线执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
对应地，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的地图更新方法中的步骤。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本申请实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得设备自动测试线执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种地图更新方法，其特征在于，所述方法包括：
获取第一地图中的第一图像特征；
根据所述第一图像特征，从第二地图匹配出第二图像特征；其中，所述第一地图和所述第二地图对应的场景信息部分相同；
根据所述第一图像特征和所述第二图像特征，将所述第一地图中每一关键帧图像添加到所述第二地图中，得到更新的第二地图。
2.根据权利要求1所述的方法，其特征在于，所述获取第一地图中的第一图像特征，包括：
提取所述第一地图中的待匹配关键帧图像，得到第一图像特征；其中，所述待匹配关键帧图像为所述第一地图中的关键帧图像；
对应地，所述根据所述第一图像特征，从第二地图匹配出第二图像特征，包括：
根据所述第一图像特征，从第二地图中的关键帧图像的图像特征中，匹配出所述第二图像特征。
3.根据权利要求2所述的方法，其特征在于，根据所述第一图像特征和所述第二图像特征，将所述第一地图中每一关键帧图像添加到所述第二地图中，得到更新的第二地图，包括：
获取用于采集所述待匹配关键帧图像的图像采集设备在所述第一地图所处的第一坐标系中的第一位置信息；
根据所述第一图像特征和所述第二图像特征，确定所述图像采集设备在所述第二地图所处的第二坐标系中的第二位置信息；
根据所述第一位置信息和所述第二位置信息，将所述第一地图中每一关键帧图像添加到所述第二地图中，得到更新的第二地图。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一位置信息和所述第二位置信息，将所述第一地图中每一关键帧图像添加到所述第二地图中，得到更新的第二地图，包括：
根据所述第一位置信息和所述第二位置信息，确定所述第一坐标系和所述第二坐标系之间的转换关系；
根据所述转换关系，对所述第一地图中的每一关键帧图像对应的图像采集设备在第一坐标系中的坐标进行调整，使得所述每一关键帧图像对应的图像采集设备的调整后的坐标与所述第二坐标系相匹配；
将每一坐标调整后的图像采集设备对应的关键帧图像，添加到所述第二地图中，得到所述更新的第二地图。
5.根据权利要求1所述的方法，其特征在于，所述第一图像特征包括：所述第一地图中的关键帧图像的特征点的二维位置信息、三维位置信息和标识信息；
所述第二图像特征包括：所述第二地图中的关键帧图像的特征点的二维位置信息、三维位置信息和标识信息；其中，所述三维位置信息是将所述二维位置信息映射在所述二维位置信息所处的坐标系中得到的。
6.根据权利要求2所述的方法，其特征在于，所述对第一地图中的关键帧图像进行提取，得到第一图像特征，包括：
提取所述第一地图中的每一关键帧图像的特征点，得到特征点集合；
确定所述特征点集合中每一特征点的标识信息和每一所述特征点在所述关键帧图像中的二维位置信息；
将每一二维位置信息分别映射在所述第一地图所处的坐标系中，得到每一所述特征点的三维位置信息。
7.根据权利要求2所述的方法，其特征在于，所述根据所述第一图像特征，从第二地图中的关键帧图像的图像特征中，匹配出第二图像特征，包括：
分别确定不同的样本特征点在所述特征点集合中所占的比值，得到第一比值向量；
获取第二比值向量，所述第二比值向量为所述多个样本特征点在所述第二地图中的关键帧图像中包含的特征点中所占的比值；
根据所述第一图像特征、所述第一比值向量和所述第二比值向量，从所述第二地图中的关键帧图像的图像特征中，匹配出第二图像特征。
8.根据权利要求7所述的方法，其特征在于，所述根据所述第一图像特征、所述第一比值向量和所述第二比值向量，从所述第二地图中的关键帧图像的图像特征中，匹配出第二图像特征，包括：
根据所述第一比值向量和所述第二比值向量，从所述第二地图中的关键帧图像的图像特征中，确定与所述第一图像特征的相似度大于第二阈值的相似图像特征；
确定所述相似图像特征所属的相似关键帧图像，得到相似关键帧图像集合；
从所述相似关键帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。
9.根据权利要求8所述的方法，其特征在于，所述从所述相似关键帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征，包括：
确定至少两个所述相似关键帧图像的采集时间之间的时间差，和所述至少两个相似关键帧图像的图像特征分别与所述第一图像特征的相似度差；
将所述时间差小于第三阈值，且所述相似度差小于第四阈值的相似关键帧图像进行联合，得到联合帧图像；
从所述联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。
10.根据权利要求9所述的方法，其特征在于，所述从所述联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征，包括：
分别确定多个联合帧图像中包含的每一关键帧图像的图像特征与所述第一图像特征的相似度之和；
将相似度之和最大的联合帧图像，确定为与所待匹配关键帧图像的相似度最高的目标联合帧图像；
根据目标联合帧图像的特征点的标识信息和所述待匹配关键帧图像的特征点的标识信息，从所述目标联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。
11.根据权利要求3至10任一项所述的方法，其特征在于，在所述根据所述第一图像特征和所述第二图像特征，确定所述图像采集设备在所述第二地图所处的第二坐标系中的第二位置信息之前，所述方法还包括：
确定所述第二图像特征对应的关键帧图像中包含的任意两个特征点之间，小于第一阈值的目标欧式距离，得到目标欧式距离集合；
对应地，所述根据所述第一图像特征和所述第二图像特征，确定所述图像采集设备在所述第二地图所处的第二坐标系中的第二位置信息，包括：
如果所述目标欧式距离集合中包含的目标欧式距离的数量大于第五阈值，基于所述第二图像特征对应的关键帧图像的特征点的三维位置信息和所述第一图像特征对应的关键帧图像的特征点的二维位置信息，确定所述第二位置信息。
12.根据权利要求3至10任一项所述的方法，其特征在于，在所述对第一地图中的关键帧图像进行提取，得到第一图像特征之前，所述方法还包括：
从样本图像库中，选择满足预设条件的关键帧图像，得到关键帧图像集合；
提取每一关键帧图像的图像特征，得到关键图像特征集合；
提取样本图像的特征点，得到包含不同的特征点的样本特征点集合；
确定每一样本特征点，在所述关键帧图像的中所占的比值，得到比值向量集合；
存储所述比值向量集合和所述关键图像特征集合，得到所述第一地图。
13.根据权利要求12所述的方法，其特征在于，在所述从样本图像库中，选择满足预设条件的关键帧图像，得到关键帧图像集合之前，所述方法还包括：
从所述样本图像中选择预设数量的角点；
如果采集时间相邻的两个样本图像中包含的相同的角点数量大于等于第六阈值，确定所述样本图像对应的场景为连续场景；
如果采集时间相邻的两个样本图像中包含的相同的角点数量小于第六阈值，确定所述样本图像对应的场景为离散场景。
14.根据权利要求12所述的方法，其特征在于，从样本图像库中，选择满足预设条件的关键帧图像，得到关键帧图像集合，包括：
如果所述样本图像对应的场景为离散场景，根据输入的选择指令，从样本图像库中选择关键帧图像；
如果所述样本图像对应的场景为连续场景，根据预设的帧率或视差，从样本图像库中选择关键帧图像。
15.根据权利要求12所述的方法，其特征在于，所述确定每一样本特征点，在所述关键帧图像的中所占的比值，得到比值向量集合，包括：
根据样本图像库中包含的样本图像的第一数量和第i个样本特征点在样本图像库中出现的第一次数，确定第一平均次数；其中，i为大于等于1的整数；所述第一平均次数用于表明所述第i个样本特征点平均在每一样本图像中出现的次数；
根据所述第i个样本特征点在第j个关键帧图像中出现的第二次数和所述第j个关键帧图像中包含的样本特征点的第二数量，确定第二平均次数；其中，j为大于等于1的整数；所述第二平均次数用于表明所述第i个样本特征点占据第j个关键帧图像中包含的样本特征点的比例；
根据所述第一平均次数和所述第二平均次数，得到样本特征点在所述关键帧图像的中所占的比值，得到所述比值向量集合。
16.一种地图更新装置，其特征在于，所述装置包括：第一获取模块、第一匹配模块和第一更新模块，其中：
所述第一获取模块，用于获取第一地图中的第一图像特征；
所述第一匹配模块，用于根据所述第一图像特征，从第二地图匹配出第二图像特征；
所述第一更新模块，用于根据所述第一图像特征和所述第二图像特征，将所述第一地图中每一关键帧图像添加到所述第二地图中，得到更新的第二地图。
17.一种终端，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至15任一项所述方法中的步骤。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至15任一项所述方法中的步骤。
CN201910578745.9A 2019-06-28 2019-06-28 地图更新方法及装置、终端、存储介质 Pending CN112148742A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910578745.9A CN112148742A (zh) 2019-06-28 2019-06-28 地图更新方法及装置、终端、存储介质
EP20831138.1A EP3975003A4 (en) 2019-06-28 2020-06-17 MAP UPDATING METHOD AND APPARATUS AND TERMINAL AND STORAGE MEDIA
PCT/CN2020/096505 WO2020259361A1 (zh) 2019-06-28 2020-06-17 地图更新方法及装置、终端、存储介质
US17/549,840 US20220099455A1 (en) 2019-06-28 2021-12-13 Map update method, terminal and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910578745.9A CN112148742A (zh) 2019-06-28 2019-06-28 地图更新方法及装置、终端、存储介质

Publications (1)

Publication Number Publication Date
CN112148742A true CN112148742A (zh) 2020-12-29

Family

ID=73891185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910578745.9A Pending CN112148742A (zh) 2019-06-28 2019-06-28 地图更新方法及装置、终端、存储介质

Country Status (4)

Country Link
US (1) US20220099455A1 (zh)
EP (1) EP3975003A4 (zh)
CN (1) CN112148742A (zh)
WO (1) WO2020259361A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112749350A (zh) * 2021-01-14 2021-05-04 Oppo广东移动通信有限公司 推荐对象的信息处理方法、装置、存储介质与电子设备
CN113706592A (zh) * 2021-08-24 2021-11-26 北京百度网讯科技有限公司 一种定位信息的修正方法、装置、电子设备和存储介质
CN112749350B (zh) * 2021-01-14 2024-05-14 Oppo广东移动通信有限公司 推荐对象的信息处理方法、装置、存储介质与电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210404834A1 (en) * 2020-06-30 2021-12-30 Lyft, Inc. Localization Based on Multi-Collect Fusion
CN117459688B (zh) * 2023-12-26 2024-05-03 海纳云物联科技有限公司 基于地图系统的摄像头角度标示方法、装置及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160179830A1 (en) * 2014-12-19 2016-06-23 Qualcomm Incorporated Scalable 3d mapping system
CN107301402A (zh) * 2017-06-30 2017-10-27 锐捷网络股份有限公司 一种现实场景关键帧的确定方法、装置、介质及设备
US20180286432A1 (en) * 2017-03-28 2018-10-04 Casio Computer Co., Ltd. Voice detection apparatus, voice detection method, and non-transitory computer-readable storage medium
CN109074757A (zh) * 2018-07-03 2018-12-21 深圳前海达闼云端智能科技有限公司 一种建立地图的方法、终端和计算机可读存储介质
CN109086277A (zh) * 2017-06-13 2018-12-25 纵目科技（上海）股份有限公司 一种重叠区构建地图方法、系统、移动终端及存储介质
CN109544615A (zh) * 2018-11-23 2019-03-29 深圳市腾讯信息技术有限公司 基于图像的重定位方法、装置、终端及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101275854A (zh) * 2007-03-26 2008-10-01 日电（中国）有限公司 更新地图数据的方法和设备
CN102289809A (zh) * 2011-07-25 2011-12-21 清华大学 估计摄像机位姿的方法及装置
CN103123727B (zh) * 2011-11-21 2015-12-09 联想(北京)有限公司 即时定位与地图构建方法和设备
CN105447911B (zh) * 2014-09-26 2020-01-31 联想(北京)有限公司 一种3d地图融合方法、装置及电子设备
CN107167149B (zh) * 2017-06-26 2020-06-30 上海智讯信息科技有限公司 一种街景视图制作方法及系统
US10482674B1 (en) * 2018-06-27 2019-11-19 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for mobile augmented reality
CN109029422B (zh) * 2018-07-10 2021-03-05 北京木业邦科技有限公司 一种多无人机协作构建三维调查地图的方法和装置
JP7139762B2 (ja) * 2018-07-31 2022-09-21 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
CN109285117A (zh) * 2018-09-05 2019-01-29 南京理工大学 一种基于地图特征的多地图拼接融合算法
WO2020187705A1 (en) * 2019-03-15 2020-09-24 Retinai Medical Ag Feature point detection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160179830A1 (en) * 2014-12-19 2016-06-23 Qualcomm Incorporated Scalable 3d mapping system
CN107004028A (zh) * 2014-12-19 2017-08-01 高通股份有限公司 可缩放3d地图绘制系统
US20180286432A1 (en) * 2017-03-28 2018-10-04 Casio Computer Co., Ltd. Voice detection apparatus, voice detection method, and non-transitory computer-readable storage medium
CN109086277A (zh) * 2017-06-13 2018-12-25 纵目科技（上海）股份有限公司 一种重叠区构建地图方法、系统、移动终端及存储介质
CN107301402A (zh) * 2017-06-30 2017-10-27 锐捷网络股份有限公司 一种现实场景关键帧的确定方法、装置、介质及设备
CN109074757A (zh) * 2018-07-03 2018-12-21 深圳前海达闼云端智能科技有限公司 一种建立地图的方法、终端和计算机可读存储介质
CN109544615A (zh) * 2018-11-23 2019-03-29 深圳市腾讯信息技术有限公司 基于图像的重定位方法、装置、终端及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112749350A (zh) * 2021-01-14 2021-05-04 Oppo广东移动通信有限公司 推荐对象的信息处理方法、装置、存储介质与电子设备
CN112749350B (zh) * 2021-01-14 2024-05-14 Oppo广东移动通信有限公司 推荐对象的信息处理方法、装置、存储介质与电子设备
CN113706592A (zh) * 2021-08-24 2021-11-26 北京百度网讯科技有限公司 一种定位信息的修正方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
EP3975003A1 (en) 2022-03-30
WO2020259361A1 (zh) 2020-12-30
EP3975003A4 (en) 2022-07-27
US20220099455A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
CN110645986B (zh) 定位方法及装置、终端、存储介质
CN110728717B (zh) 定位方法及装置、设备、存储介质
CN110738143B (zh) 定位方法及装置、设备、存储介质
CN110705574B (zh) 定位方法及装置、设备、存储介质
CN111652934B (zh) 定位方法及地图构建方法、装置、设备、存储介质
CN110310333B (zh) 定位方法及电子设备、可读存储介质
CN110704563B (zh) 地图融合方法及装置、设备、存储介质
CN110738703B (zh) 定位方法及装置、终端、存储介质
CN112150548B (zh) 定位方法及装置、终端、存储介质
CN113592989B (zh) 一种三维场景的重建系统、方法、设备及存储介质
CN109658445A (zh) 网络训练方法、增量建图方法、定位方法、装置及设备
KR20230127313A (ko) 3차원 재구성 및 관련 인터랙션, 측정 방법 및 관련장치, 기기
EP3274964B1 (en) Automatic connection of images using visual features
WO2020259361A1 (zh) 地图更新方法及装置、终端、存储介质
WO2023280038A1 (zh) 一种三维实景模型的构建方法及相关装置
CN111323024B (zh) 定位方法及装置、设备、存储介质
CN105023266A (zh) 增强现实实现方法、装置和终端设备
CN109063549B (zh) 基于深度神经网络的高分辨率航拍视频运动目标检测方法
CN110766731A (zh) 一种全景影像与点云自动配准的方法、装置及存储介质
CN111105459A (zh) 描述子地图生成方法、定位方法、装置、设备和存储介质
KR20010055957A (ko) 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법
CN114255285A (zh) 视频与城市信息模型三维场景融合方法、系统及存储介质
Hwang et al. 3D modeling and accuracy assessment-a case study of photosynth
CN116612184B (zh) 一种基于监控场景的无人机相机位姿精确估算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination