CN110296686A - 基于视觉的定位方法、装置及设备 - Google Patents

基于视觉的定位方法、装置及设备 Download PDF

Info

Publication number
CN110296686A
CN110296686A CN201910421562.6A CN201910421562A CN110296686A CN 110296686 A CN110296686 A CN 110296686A CN 201910421562 A CN201910421562 A CN 201910421562A CN 110296686 A CN110296686 A CN 110296686A
Authority
CN
China
Prior art keywords
multiple images
information
double points
feature
matching double
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910421562.6A
Other languages
English (en)
Other versions
CN110296686B (zh
Inventor
王颢星
张永杰
李照虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910421562.6A priority Critical patent/CN110296686B/zh
Publication of CN110296686A publication Critical patent/CN110296686A/zh
Application granted granted Critical
Publication of CN110296686B publication Critical patent/CN110296686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种基于视觉的定位方法、装置及设备。该方法包括：获取至少两个视角的多张图像；提取多张图像的特征；根据所提取的特征，确定多张图像和地图数据库的匹配点对；根据至少两个视角的相对位姿，以及匹配点对，确定相机坐标系与地图坐标系之间的尺度信息、旋转信息和平移信息；根据尺度信息、旋转信息和平移信息，确定待定位图像的位置。本发明实施例的方法，通过获取至少两个视角的多张图像，具有更大的视野范围，能够获得更多的匹配点对，提高了定位精度和定位成功率。

Description

基于视觉的定位方法、装置及设备
技术领域
本发明实施例涉及定位技术领域，尤其涉及一种基于视觉的定位方法、装置及设备。
背景技术
视觉定位服务(Visual Positioning Service，VPS)是使用图像采集设备获取视觉信息来进行定位的技术。与当前占主导地位的全球定位系统(Global PositioningSystem，GPS)相比较，VPS不依赖卫星信号进行定位，可以在GPS无法工作的场合，如无法接收GPS信号的室内场景，提供基于位置的服务(Location Based Services，LBS)。因此，VPS有着广泛的应用前景，例如可以用于机器人导航、无人驾驶、增强现实(AugmentedReality，AR)地图导航、机器人定位、室内LBS等。
现有VPS通常基于单张图像进行定位。例如基于单张图像的图像检索方法，该方法以整幅单张图像的图像特征作为匹配单位，在地图数据库中查找与该图像特征最接近的图像，把最接近的图像的位置作为定位结果。由于单张图像的视角范围有限，且缺乏尺度信息，因此基于单张图像的定位精度低，无法满足应用对于定位精度的需求。
发明内容
本发明实施例提供一种基于视觉的定位方法、装置及设备，用以解决现有VPS定位精度低的问题。
第一方面，本发明实施例提供一种基于视觉的定位方法，包括：
获取至少两个视角的多张图像；
提取多张图像的特征；
根据所提取的特征，确定多张图像和地图数据库的匹配点对；
根据至少两个视角的相对位姿，以及匹配点对，确定相机坐标系与地图坐标系之间的尺度信息、旋转信息和平移信息；
根据尺度信息、旋转信息和平移信息，确定待定位图像的位置。
在一种可能的实现方式中，获取至少两个视角的多张图像，包括通过以下方式中的一种获取多张图像：
通过多个图像采集装置同时获取多张图像；
通过一个图像采集装置获取时序上的多张图像；
通过多个图像采集装置获取时序上的多张图像。
在一种可能的实现方式中，特征包括以下特征中的一种或者多种：
尺度不变特征变换(Scale-invariant Feature Transform，SIFT)、加速稳健特征(Speeded Up Robust Features，SURF)和ORB(Oriented FAST and Rotated BRIEF)特征。
在一种可能的实现方式中，根据所提取的特征，确定多张图像和地图数据库的匹配点对，包括：
根据多张图像的特征描述子与地图数据库中的特征描述子之间的汉明距离，确定多张图像和地图数据库的匹配点对。
在一种可能的实现方式中，确定多张图像和地图数据库的匹配点对之后，方法还包括：
基于随机采样一致性(Random Sample Consensus，RANSAC)算法，过滤匹配点对中不满足多张图像几何约束的匹配点对。
在一种可能的实现方式中，根据至少两个视角的相对位姿，以及匹配点对，确定相机坐标系与地图坐标系之间的尺度信息、旋转信息和平移信息包括：
根据如下公式确定相机坐标系与地图坐标系之间的尺度信息、旋转信息和平移信息：
spi+αidi＝Rqi+t；
其中，s表示尺度信息，R表示旋转信息，t表示平移信息，pi表示第i张图像的相机光心位置，di为相机坐标系中的一点，qi为地图坐标系中的一点，di与qi匹配，αi表示长度信息。
在一种可能的实现方式中，所述方法还包括：
根据当前获取的图像，更新尺度信息、旋转信息和平移信息。
第二方面，本发明实施例提供一种基于视觉的定位装置，包括：
获取模块，用于获取至少两个视角的多张图像；
预处理模块，用于提取多张图像的特征；
匹配模块，用于根据所提取的特征，确定多张图像和地图数据库的匹配点对；
处理模块，用于根据至少两个视角的相对位姿，以及匹配点对，确定相机坐标系与地图坐标系之间的尺度信息、旋转信息和平移信息；
定位模块，用于根据尺度信息、旋转信息和平移信息，确定待定位图像的位置。
第三方面，本发明实施例提供一种电子设备，包括：
至少一个处理器和存储器；
存储器存储计算机执行指令；
至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如第一方面任一项所述的基于视觉的定位方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第一方面任一项所述的基于视觉的定位方法。
本发明实施例提供的基于视觉的定位方法、装置及设备，通过获取至少两个视角的多张图像，并提取多张图像的特征，然后根据所提取的特征，确定多张图像和地图数据库的匹配点对，再根据至少两个视角的相对位姿，以及匹配点对，确定相机坐标系与地图坐标系之间的尺度信息、旋转信息和平移信息，最后根据尺度信息、旋转信息和平移信息，确定待定位图像的位置，实现了基于多视角的视觉定位。通过获取至少两个视角的多张图像，具有更大的视野范围，能够获得更多的成功匹配；利用多张照片的几何约束，能够避免噪声与几何歧义性造成的定位错误；充分考虑相机坐标系与地图坐标系之间的尺度信息、旋转信息和平移信息，可以避免由于尺度偏差造成的定位失败。综上所述，本实施例提供的方法可以有效提高定位精度和定位成功率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于视觉的定位方法一实施例的流程图；
图2为本发明一实施例提供的处理过程示意图；
图3为本发明提供的基于视觉的定位装置一实施例的结构示意图；
图4为本发明提供的电子设备一实施例的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
本发明的说明书和权利要求书中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明中的“第一”和“第二”只起标识作用，而不能理解为指示或暗示顺序关系、相对重要性或者隐含指明所指示的技术特征的数量。“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本发明的说明书中通篇提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
图1为本发明提供的基于视觉的定位方法一实施例的流程图。如图1所示，本实施例提供的方法可以包括：
S101、获取至少两个视角的多张图像。
本实施例中为了获得较大的视野范围，需要从至少两个视角去获取图像。可选的，本实施例中可以通过以下方式中的一种获取多张图像：
通过多个图像采集装置同时获取多张图像；
通过一个图像采集装置获取时序上的多张图像；
通过多个图像采集装置获取时序上的多张图像。
本实施例提供的方法既可以在终端设备中应用，也可以在网络侧设备中应用。以将该方法应用于终端设备如智能手机中为例，可以通过智能手机搭载的多个摄像头同时进行采集，以获取多个视角的多张图像。具体来说，可以采用智能手机的前摄像头与后摄像头同时进行采集；或者，也可以采用智能手机的后双摄摄像头同时进行采集；或者，还可以使用智能手机自带的摄像头以及智能手机外接的摄像头同时进行采集，例如可以使用外接的广角摄像头。还可以通过智能手机所搭载的一个摄像头获取时间序列上的多张图像。可选的，还可以将上述两种采集方式进行结合，即通过智能手机所搭载的多个摄像头，采集时间序列上的多张图像，以获取更密集的、视野更加开阔的图像。
需要说明的是，当本实施例提供的方法应用于网络侧设备，如服务器中时，服务器接收终端设备所获取的至少两个视角的多张图像。举例来说，终端设备在获取至少两个视角的多张图像之后，对所获取的多张图像进行压缩编码，将经过压缩编码的多张图像发送至服务器端。服务器对接收到的数据进行解码，以获取所述至少两个视角的多张图像。
S102、提取多张图像的特征。
本实施例中在获取至少两个视角的多张图像之后，进行特征提取，同时提取多张图像中的全部特征点。为了提高定位的精度，本实施例中所提取的特征对于尺度、旋转、光照、噪声等因素具有稳定性。
可选的，本实施例中可以对多张图像提取以下特征中的一种或者多种：尺度不变特征变换(Scale-invariant Feature Transform，SIFT)、加速稳健特征(Speeded UpRobust Features，SURF)和ORB(Oriented FAST and Rotated BRIEF)特征。例如可以提取多张图像的SIFT特征和SURF特征。
S103、根据所提取的特征，确定多张图像和地图数据库的匹配点对。
本实施例中在提取多张图像的特征之后，则可以根据所提取的特征，将多张图像与地图数据库进行匹配，确定多张图像和地图数据库的匹配点对。需要说明的是，本实施例中的地图数据库是基于视觉图像所建立的，例如可以使用运动重构(Structure FromMotion，SFM)、即时定位与地图构建(Simultaneous Localization And Mapping，SLAM)等方法通过海量多视角图像建立三维模型，构建地图数据库。
S104、根据至少两个视角的相对位姿，以及匹配点对，确定相机坐标系与地图坐标系之间的尺度信息、旋转信息和平移信息。
本实施例中在确定多张图像和地图数据库的匹配点对之后，便可以根据至少两个视角的相对位姿，以及匹配点对，确定相机坐标系与地图坐标系之间的尺度信息、旋转信息和平移信息。通过尺度信息、旋转信息和平移信息，可以对相机坐标系与地图坐标系中点进行相互转换。
本实施例中至少两个视角的相对位姿可以是预先标定的，或者可以根据终端设备的惯性测量单元IMU获取。以通过终端设备搭载的多个摄像头，同时获取至少两个视角的多张图像为例，则至少两个视角的相对位姿可以采用终端设备中预先标注的多个摄像头之间的相对位姿；以通过终端设备的一个摄像头，获取时序上的多张图像为例，则至少两个视角的相对位姿可以根据各个图像采集时刻摄像头的位姿确定，摄像头的位姿可以根据终端设备中搭载的传感器如IMU确定。
S105、根据尺度信息、旋转信息和平移信息，确定待定位图像的位置。
本实施例中在确定相机坐标系与地图坐标系之间的尺度信息、旋转信息和平移信息之后，则可以根据尺度信息、旋转信息和平移信息，确定待定位图像的位置。具体的，可以根据待定位图像视角的位姿信息，以及相机坐标系与地图坐标系之间的尺度信息、旋转信息和平移信息，确定待定位图像的位置。
本实施例提供的基于视觉的定位方法，通过获取至少两个视角的多张图像，并提取多张图像的特征，然后根据所提取的特征，确定多张图像和地图数据库的匹配点对，再根据至少两个视角的相对位姿，以及匹配点对，确定相机坐标系与地图坐标系之间的尺度信息、旋转信息和平移信息，最后根据尺度信息、旋转信息和平移信息，确定待定位图像的位置，实现了基于多视角的视觉定位。通过获取至少两个视角的多张图像，具有更大的视野范围，能够获得更多的成功匹配；利用多张照片的几何约束，能够避免噪声与几何歧义性造成的定位错误；充分考虑相机坐标系与地图坐标系之间的尺度信息、旋转信息和平移信息，可以避免由于尺度偏差造成的定位失败。综上所述，本实施例提供的方法可以有效提高定位精度和定位成功率。
可选的，根据所提取的特征，确定多张图像和地图数据库的匹配点对的一种实现方式可以是：根据多张图像的特征描述子与地图数据库中的特征描述子之间的汉明距离，确定多张图像和地图数据库的匹配点对。例如可以对多张图像中的每一个特征描述子，在地图数据库中寻找与该特征描述子的汉明距离最小的特征描述子，作为其在地图数据库中对应的匹配点。
可选的，为了进一步提高匹配点对的有效性，可以进一步对匹配点对之间的汉明距离进行判断，若匹配点对之间的汉明距离小于预设阈值，则确定该匹配点对为有效匹配点对；反之，则认为该匹配点对为无效匹配点对。
在上述任一实施例的基础上，为了进一步提高定位精度，本实施例提供的方法在确定多张图像和地图数据库的匹配点对之后，还可以基于随机采样一致性(Random SampleConsensus，RANSAC)算法，过滤匹配点对中不满足多张图像几何约束的匹配点对。
在一些实施例中，根据至少两个视角的相对位姿，以及匹配点对，确定相机坐标系与地图坐标系之间的尺度信息、旋转信息和平移信息的一种实现方式可以是：
根据如下公式确定相机坐标系与地图坐标系之间的尺度信息、旋转信息和平移信息：
spi+αidi＝Rqi+t；
其中，s表示尺度信息，R表示旋转信息，t表示平移信息，pi表示第i张图像的相机光心位置，di为相机坐标系中的一点，qi为地图坐标系中的一点，di与qi匹配，αi表示长度信息。
本实施例提供的方法，其处理过程可以参考图2。图2为本发明一实施例提供的处理过程示意图。如图2所示，p1、p2、p3、p4分别表示4个视角的4张图像的相机光心位置，视角间的相对位姿如图2所示。d1、d2、d3、d4分别表示经过图像匹配点的单位长度光线方向，αi表示长度信息，延伸光线与地图匹配点相交。q1、q2、q3、q4分别表示地图坐标系中的点。s表示尺度信息，R表示旋转信息，t表示平移信息。
在确定相机坐标系与地图坐标系之间的s、R与t之后，便可以定位出用户在地图中的真实位置。
可选了，为了进一步提升用户体验，还可以将地图数据库中的3D信息投影到用户的手机坐标系中，实现基于VPS的增强现实与导航等。
在上述任一实施例的基础上，为了避免因噪声以及误差积累而导致定位精度的降低，本实施例提供的方法还可以包括：根据当前获取的图像，更新尺度信息、旋转信息和平移信息。
以通过一个图像采集装置获取时序上的多张图像，确定尺度信息、旋转信息和平移信息为例，若根据该图像采集装置获取的第1帧、第2帧、第3帧和第4帧图像，确定了第一尺度信息、第一旋转信息和第一平移信息；当该图像采集装置获取到底5帧图像时，则可以根据第1帧、第2帧、第3帧、第4帧和第5帧图像，或者，可以根据第2帧、第3帧、第4帧和第5帧图像，确定第二尺度信息、第二旋转信息和第二平移信息。然后根据更新后的尺度信息、旋转信息和平移信息，对待定位图像进行定位，可以进一步提高定位精度和定位成功率。
本发明实施例还提供一种基于视觉的定位装置，请参见图3所示，本发明实施例仅以图3为例进行说明，并不表示本发明仅限于此。图3为本发明提供的基于视觉的定位装置一实施例的结构示意图。如图3所示，本实施例提供的基于视觉的定位装置30可以包括：获取模块301、预处理模块302、匹配模块303、处理模块304和定位模块305。
获取模块301，用于获取至少两个视角的多张图像；
预处理模块302，用于提取多张图像的特征；
匹配模块303，用于根据所提取的特征，确定多张图像和地图数据库的匹配点对；
处理模块304，用于根据至少两个视角的相对位姿，以及匹配点对，确定相机坐标系与地图坐标系之间的尺度信息、旋转信息和平移信息；
定位模块305，用于根据尺度信息、旋转信息和平移信息，确定待定位图像的位置。
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
可选的，获取模块301用于获取至少两个视角的多张图像，具体可以包括通过以下方式中的一种获取多张图像：
通过多个图像采集装置同时获取多张图像；
通过一个图像采集装置获取时序上的多张图像；
通过多个图像采集装置获取时序上的多张图像。
可选的，所提取的特征可以包括以下特征中的一种或者多种：
尺度不变特征变换(Scale-invariant Feature Transform，SIFT)、加速稳健特征(Speeded Up Robust Features，SURF)和ORB(Oriented FAST and Rotated BRIEF)特征。
可选的，匹配模块303用于根据所提取的特征，确定多张图像和地图数据库的匹配点对，具体可以包括：
根据多张图像的特征描述子与地图数据库中的特征描述子之间的汉明距离，确定多张图像和地图数据库的匹配点对。
可选的，基于视觉的定位装置30还可以包括过滤模块(图中未示出)，过滤模块，用于在确定多张图像和地图数据库的匹配点对之后，基于随机采样一致性(Random SampleConsensus，RANSAC)算法，过滤匹配点对中不满足多张图像几何约束的匹配点对。
可选的，处理模块304用于根据至少两个视角的相对位姿，以及匹配点对，确定相机坐标系与地图坐标系之间的尺度信息、旋转信息和平移信息具体可以包括：
根据如下公式确定相机坐标系与地图坐标系之间的尺度信息、旋转信息和平移信息：
spi+αidi＝Rqi+t；
其中，s表示尺度信息，R表示旋转信息，t表示平移信息，pi表示第i张图像的相机光心位置，di为相机坐标系中的一点，qi为地图坐标系中的一点，di与qi匹配，αi表示长度信息。
可选的，基于视觉的定位装置30还可以包括更新模块(图中未示出)，更新模块用于根据当前获取的图像，更新尺度信息、旋转信息和平移信息。
本发明实施例还提供一种电子设备，请参见图4所示，本发明实施例仅以图4为例进行说明，并不表示本发明仅限于此。图4为本发明提供的电子设备一实施例的结构示意图。如图4所示，本实施例提供的电子设备40可以包括：存储器401、处理器402和总线403。其中，总线403用于实现各元件之间的连接。
存储器401中存储有计算机程序，计算机程序被处理器402执行时可以实现上述任一方法实施例提供的基于视觉的定位方法的技术方案。
其中，存储器401和处理器402之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线403连接。存储器401中存储有实现基于视觉的定位方法的计算机程序，包括至少一个可以软件或固件的形式存储于存储器401中的软件功能模块，处理器402通过运行存储在存储器401内的软件程序以及模块，从而执行各种功能应用以及数据处理。
存储器401可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器401用于存储程序，处理器402在接收到执行指令后，执行程序。进一步地，上述存储器401内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
处理器402可以是一种集成电路芯片，具有信号的处理能力。上述的处理器402可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(Network Processor，简称：NP)等。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以理解，图4的结构仅为示意，还可以包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件和/或软件实现。
需要说明的是，本实施例提供的电子设备包括但不限于以下中的至少一个：用户侧设备、网络侧设备。用户侧设备包括但不限于计算机、智能手机、平板电脑、数字广播终端、消息收发设备、游戏控制台、个人数字助理等。网络侧设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机组成的一个超级虚拟计算机。
以用户侧设备为例，可选的，电子设备40还可以包括电源组件，为电子设备40的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。
可选的，电子设备40还可以包括多媒体组件。例如可以在所述电子设备和用户之间的提供一个输出接口的屏幕，用于显示用户在地图数据库中所处的位置，以及可以将地图数据库中的3D信息投影到用户的手机坐标系中，实现基于VPS的增强现实与导航等。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件还可以包括一个前置摄像头和/或后置摄像头，用于获取至少两个视角的多张图像，用于进行定位。当电子设备处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
可选的，电子设备40还可以包括音频组件，音频组件可以被配置为输出和/或输入音频信号。例如，音频组件可以包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。在一些实施例中，音频组件还可以包括一个扬声器，用于输出音频信号。本实施例中，可以通过扬声器播放对用户的提示信息。
可选的，电子设备40还可以包括传感器组件。传感器组件可以包括一个或多个传感器，用于为电子设备提供各个方面的状态评估。例如，可以通过传感器组件获取多个视角的相对位姿。
可选的，电子设备40还可以包括通信组件。通信组件可以被配置为便于电子设备和其他设备之间有线或无线方式的通信。本实施例中通信组件可以用于实现电子设备和云端服务器之间的交互。电子设备可以接入基于通信标准的无线网络，如WiFi，2G、3G或4G，或它们的组合。在一个示例性实施例中，通信组件可以经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还可以包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时可以实现上述任一方法实施例提供的基于视觉的定位方法。本实施例中的计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备，可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。
在上述的实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于视觉的定位方法，其特征在于，包括：
获取至少两个视角的多张图像；
提取所述多张图像的特征；
根据所提取的特征，确定所述多张图像和地图数据库的匹配点对；
根据所述至少两个视角的相对位姿，以及所述匹配点对，确定相机坐标系与地图坐标系之间的尺度信息、旋转信息和平移信息；
根据所述尺度信息、旋转信息和平移信息，确定待定位图像的位置。
2.根据权利要求1所述的方法，其特征在于，所述获取至少两个视角的多张图像，包括通过以下方式中的一种获取所述多张图像：
通过多个图像采集装置同时获取多张图像；
通过一个图像采集装置获取时序上的多张图像；
通过多个图像采集装置获取时序上的多张图像。
3.根据权利要求1所述的方法，其特征在于，所述特征包括以下特征中的一种或者多种：
尺度不变特征变换SIFT、加速稳健特征SURF和ORB特征。
4.根据权利要求1所述的方法，其特征在于，所述根据所提取的特征，确定所述多张图像和地图数据库的匹配点对，包括：
根据所述多张图像的特征描述子与所述地图数据库中的特征描述子之间的汉明距离，确定所述多张图像和所述地图数据库的匹配点对。
5.根据权利要求1所述的方法，其特征在于，所述确定所述多张图像和地图数据库的匹配点对之后，所述方法还包括：
基于随机采样一致性RANSAC算法，过滤所述匹配点对中不满足所述多张图像几何约束的匹配点对。
6.根据权利要求1所述的方法，其特征在于，所述根据所述至少两个视角的相对位姿，以及所述匹配点对，确定相机坐标系与地图坐标系之间的尺度信息、旋转信息和平移信息包括：
根据如下公式确定相机坐标系与地图坐标系之间的尺度信息、旋转信息和平移信息：
spi+αidi＝Rqi+t；
其中，s表示所述尺度信息，R表示所述旋转信息，t表示所述平移信息，pi表示第i张图像的相机光心位置，di为所述相机坐标系中的一点，qi为所述地图坐标系中的一点，di与qi匹配，αi表示长度信息。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
根据当前获取的图像，更新所述尺度信息、旋转信息和平移信息。
8.一种基于视觉的定位装置，其特征在于，包括：
获取模块，用于获取至少两个视角的多张图像；
预处理模块，用于提取所述多张图像的特征；
匹配模块，用于根据所提取的特征，确定所述多张图像和地图数据库的匹配点对；
处理模块，用于根据所述至少两个视角的相对位姿，以及所述匹配点对，确定相机坐标系与地图坐标系之间的尺度信息、旋转信息和平移信息；
定位模块，用于根据所述尺度信息、旋转信息和平移信息，确定待定位图像的位置。
9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-7任一项所述的基于视觉的定位方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7任一项所述的基于视觉的定位方法。
CN201910421562.6A 2019-05-21 2019-05-21 基于视觉的定位方法、装置及设备 Active CN110296686B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910421562.6A CN110296686B (zh) 2019-05-21 2019-05-21 基于视觉的定位方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910421562.6A CN110296686B (zh) 2019-05-21 2019-05-21 基于视觉的定位方法、装置及设备

Publications (2)

Publication Number Publication Date
CN110296686A true CN110296686A (zh) 2019-10-01
CN110296686B CN110296686B (zh) 2021-11-09

Family

ID=68026927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910421562.6A Active CN110296686B (zh) 2019-05-21 2019-05-21 基于视觉的定位方法、装置及设备

Country Status (1)

Country Link
CN (1) CN110296686B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706447A (zh) * 2019-10-14 2020-01-17 浙江大华技术股份有限公司 灾情位置的确定方法、装置、存储介质及电子装置
CN110942520A (zh) * 2019-11-27 2020-03-31 中南大学 作业设备辅助定位方法、装置、系统及存储介质
CN111859003A (zh) * 2020-07-22 2020-10-30 浙江商汤科技开发有限公司 视觉定位方法及装置、电子设备和存储介质
WO2021168841A1 (zh) * 2020-02-28 2021-09-02 华为技术有限公司 定位方法及装置
CN113543307A (zh) * 2021-06-01 2021-10-22 北京邮电大学 视觉信息特征指纹库构建方法、定位方法及装置
CN114674291A (zh) * 2022-05-26 2022-06-28 西安大地测绘股份有限公司 一种基于手机前后置摄像头拍照的室内定位校核方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102313536A (zh) * 2011-07-21 2012-01-11 清华大学 基于机载双目视觉的障碍物感知方法
EP2927635A1 (en) * 2014-04-03 2015-10-07 Honeywell International Inc. Feature set optimization in vision-based positioning
WO2016184255A1 (zh) * 2015-05-19 2016-11-24 北京蚁视科技有限公司 一种视觉定位装置及基于该装置的三维测绘系统及方法
CN106289188A (zh) * 2016-08-05 2017-01-04 航天恒星科技有限公司 一种基于多视角航空影像的测量方法及系统
CN107063189A (zh) * 2017-01-19 2017-08-18 上海勤融信息科技有限公司 基于视觉的定位系统及方法
CN107562189A (zh) * 2017-07-21 2018-01-09 广州励丰文化科技股份有限公司 一种基于双目摄像头的空间定位方法及服务设备
CN107808395A (zh) * 2017-10-31 2018-03-16 南京维睛视空信息科技有限公司 一种基于slam的室内定位方法
CN108254776A (zh) * 2017-12-25 2018-07-06 东风汽车集团有限公司 基于路沿荧光反射和双目相机的隧道定位系统及方法
CN108645398A (zh) * 2018-02-09 2018-10-12 深圳积木易搭科技技术有限公司 一种基于结构化环境的即时定位与地图构建方法及系统
CN108648235A (zh) * 2018-04-27 2018-10-12 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置及存储介质
US20180322654A1 (en) * 2017-05-03 2018-11-08 International Business Machines Corporation Location determination using street view images
CN109099888A (zh) * 2017-06-21 2018-12-28 中兴通讯股份有限公司 一种位姿测量方法、设备及存储介质
CN109341668A (zh) * 2018-10-11 2019-02-15 重庆邮电大学 基于折射投影模型和光束追踪法的多相机测量方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102313536A (zh) * 2011-07-21 2012-01-11 清华大学 基于机载双目视觉的障碍物感知方法
EP2927635A1 (en) * 2014-04-03 2015-10-07 Honeywell International Inc. Feature set optimization in vision-based positioning
WO2016184255A1 (zh) * 2015-05-19 2016-11-24 北京蚁视科技有限公司 一种视觉定位装置及基于该装置的三维测绘系统及方法
CN106289188A (zh) * 2016-08-05 2017-01-04 航天恒星科技有限公司 一种基于多视角航空影像的测量方法及系统
CN107063189A (zh) * 2017-01-19 2017-08-18 上海勤融信息科技有限公司 基于视觉的定位系统及方法
US20180322654A1 (en) * 2017-05-03 2018-11-08 International Business Machines Corporation Location determination using street view images
CN109099888A (zh) * 2017-06-21 2018-12-28 中兴通讯股份有限公司 一种位姿测量方法、设备及存储介质
CN107562189A (zh) * 2017-07-21 2018-01-09 广州励丰文化科技股份有限公司 一种基于双目摄像头的空间定位方法及服务设备
CN107808395A (zh) * 2017-10-31 2018-03-16 南京维睛视空信息科技有限公司 一种基于slam的室内定位方法
CN108254776A (zh) * 2017-12-25 2018-07-06 东风汽车集团有限公司 基于路沿荧光反射和双目相机的隧道定位系统及方法
CN108645398A (zh) * 2018-02-09 2018-10-12 深圳积木易搭科技技术有限公司 一种基于结构化环境的即时定位与地图构建方法及系统
CN108648235A (zh) * 2018-04-27 2018-10-12 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置及存储介质
CN109341668A (zh) * 2018-10-11 2019-02-15 重庆邮电大学 基于折射投影模型和光束追踪法的多相机测量方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706447A (zh) * 2019-10-14 2020-01-17 浙江大华技术股份有限公司 灾情位置的确定方法、装置、存储介质及电子装置
CN110706447B (zh) * 2019-10-14 2022-05-03 浙江大华技术股份有限公司 灾情位置的确定方法、装置、存储介质及电子装置
CN110942520A (zh) * 2019-11-27 2020-03-31 中南大学 作业设备辅助定位方法、装置、系统及存储介质
CN110942520B (zh) * 2019-11-27 2022-06-28 中南大学 作业设备辅助定位方法、装置、系统及存储介质
WO2021168841A1 (zh) * 2020-02-28 2021-09-02 华为技术有限公司 定位方法及装置
CN111859003A (zh) * 2020-07-22 2020-10-30 浙江商汤科技开发有限公司 视觉定位方法及装置、电子设备和存储介质
CN111859003B (zh) * 2020-07-22 2021-12-28 浙江商汤科技开发有限公司 视觉定位方法及装置、电子设备和存储介质
WO2022016803A1 (zh) * 2020-07-22 2022-01-27 浙江商汤科技开发有限公司 视觉定位方法及装置、电子设备和计算机可读存储介质
CN113543307A (zh) * 2021-06-01 2021-10-22 北京邮电大学 视觉信息特征指纹库构建方法、定位方法及装置
CN113543307B (zh) * 2021-06-01 2022-06-03 北京邮电大学 视觉信息特征指纹库构建方法、定位方法及装置
CN114674291A (zh) * 2022-05-26 2022-06-28 西安大地测绘股份有限公司 一种基于手机前后置摄像头拍照的室内定位校核方法

Also Published As

Publication number Publication date
CN110296686B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
CN110457414B (zh) 离线地图处理、虚拟对象显示方法、装置、介质和设备
CN110296686A (zh) 基于视觉的定位方法、装置及设备
CN110555883B (zh) 相机姿态追踪过程的重定位方法、装置及存储介质
CN108615248B (zh) 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN110599549B (zh) 界面显示方法、装置及存储介质
WO2019242262A1 (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
CN110517319B (zh) 一种相机姿态信息确定的方法及相关装置
JP7236565B2 (ja) 位置姿勢決定方法、装置、電子機器、記憶媒体及びコンピュータプログラム
JP6144826B2 (ja) データベース作成のための対話型および自動的３ｄオブジェクト走査方法
CN108876854B (zh) 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN111738220A (zh) 三维人体姿态估计方法、装置、设备及介质
CN112927363B (zh) 体素地图构建方法及装置、计算机可读介质和电子设备
WO2013118458A1 (en) Image processing device, and computer program product
CN108389264B (zh) 坐标系统确定方法、装置、存储介质及电子设备
CN107646109B (zh) 管理电子设备上的环境映射的特征数据
CN108805917A (zh) 空间定位的方法、介质、装置和计算设备
CN111833447A (zh) 三维地图构建方法、三维地图构建装置及终端设备
CN109992111B (zh) 增强现实扩展方法和电子设备
CN108682037B (zh) 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN112819860B (zh) 视觉惯性系统初始化方法及装置、介质和电子设备
EP2851868A1 (en) 3D Reconstruction
CN112365530A (zh) 增强现实处理方法及装置、存储介质和电子设备
CN111258413A (zh) 虚拟对象的控制方法和装置
CN115344113A (zh) 多视角人体运动捕捉方法、装置、系统、介质及终端
WO2024001849A1 (zh) 视觉定位的位姿确定方法、装置以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant