CN109141444A - 定位方法、装置、存储介质及移动设备 - Google Patents

定位方法、装置、存储介质及移动设备 Download PDF

Info

Publication number
CN109141444A
CN109141444A CN201810987799.6A CN201810987799A CN109141444A CN 109141444 A CN109141444 A CN 109141444A CN 201810987799 A CN201810987799 A CN 201810987799A CN 109141444 A CN109141444 A CN 109141444A
Authority
CN
China
Prior art keywords
circuit unit
mobile device
feature information
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810987799.6A
Other languages
English (en)
Other versions
CN109141444B (zh
Inventor
程保山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meituan Technology Co ltd
Shenzhen Meituan Technology Co ltd
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201810987799.6A priority Critical patent/CN109141444B/zh
Publication of CN109141444A publication Critical patent/CN109141444A/zh
Priority to US17/289,239 priority patent/US20220011117A1/en
Priority to PCT/CN2019/102755 priority patent/WO2020043081A1/zh
Application granted granted Critical
Publication of CN109141444B publication Critical patent/CN109141444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Navigation (AREA)

Abstract

本申请提供一种定位方法、装置、存储介质及移动设备,其中,所述方法包括:确定图像中的第一道路部件的第一特征信息以及类别信息,所述图像为移动设备在移动过程中拍摄的;在高精地图中确定与所述类别信息相同的第二道路部件的第二特征信息;基于所述第一特征信息与所述第二特征信息的匹配结果,定位所述移动设备。本申请可降低对道路部件上轮廓点的精度要求,避免由于轮廓点提取不精确或轮廓点的数量较少导致定位误差大。

Description

定位方法、装置、存储介质及移动设备
技术领域
本申请涉及定位技术领域,尤其涉及一种定位方法、装置、存储介质及移动设备。
背景技术
高精地图通常包括矢量图层和特征(feature)图层,其中,特征图层可以包括激光特征图层或图像特征图层。现有技术中的高精定位方法分别在矢量图层与特征图层进行定位后,再基于二者得到的定位结果进行融合,得到最终的定位结果。其中,基于特征图层进行高精定位的方法需要实时提取图像或激光特征点,再通过特征点匹配,结合摄影几何原理的方法解算车辆位置姿态信息,然而,特征图层存储体积大,且在开放道路环境下容易增加误匹配概率,导致定位精度下降。而基于矢量图层进行高精定位的方法需要精确获取相关物体(例如,道路标志、交通标志等)的轮廓点,若轮廓点提取不精确或轮廓点的数量较少,容易出现较大定位误差。
发明内容
有鉴于此,本申请提供一种定位方法、装置、存储介质及移动设备,可降低了对道路部件上轮廓点的提取精度要求,避免由于轮廓点提取不精确或轮廓点的数量较少导致定位失败概率增大。
为实现上述目的,本申请提供技术方案如下:
根据本申请的第一方面,提出了一种定位方法,包括:
确定图像中的第一道路部件的第一特征信息以及类别信息,所述图像为移动设备在移动过程中拍摄的;
在高精地图中确定与所述类别信息相同的第二道路部件的第二特征信息;
基于所述第一特征信息与所述第二特征信息的匹配结果,定位所述移动设备。
根据本申请的第二方面,提出了一种定位装置,包括:
第一确定模块,用于确定图像中的第一道路部件的第一特征信息以及类别信息,所述图像为移动设备在移动过程中拍摄的;
第二确定模块,用于在高精地图中确定与所述第一确定模块确定的所述类别信息相同的第二道路部件的第二特征信息;
定位模块,用于基于所述第一确定模块确定的所述第一特征信息与所述第二确定模块确定的所述第二特征信息的匹配结果,定位所述移动设备。
根据本申请的第三方面,提出了一种存储介质,储介质存储有计算机程序,所述计算机程序用于执行上述第一方面提出的定位方法。
根据本申请的第四方面,提出了一种移动设备,所述移动设备包括:
处理器;用于存储所述处理器可执行指令的存储器;
其中,所述处理器,用于执行上述第一方面提出的定位方法。
由以上技术方案可见,本申请由于通过确定图像中的第一道路部件的类别信息获知了第一道路部件所表示的物理意义,因此可将第一道路部件的类别信息视为高语义特征,第一道路部件的第一特征信息与高精地图中的第二道路部件的第二特征信息表示了道路部件的像素信息,因此可将第一特征信息与第二特征信息视为低级语义特征,通过将高语义特征与低语义特征结合,实现了对移动设备的高精度定位;由于道路部件上的图像特征信息的数量丰富且特征信息准确,并且图像特征信息作为道路部件的整体特征,不需要识别图像中的第一道路部件的轮廓点,因此降低了对道路部件上轮廓点的提取精度要求,避免由于轮廓点提取不精确或轮廓点的数量较少导致定位误失败概率增大或者定位失败的可能性。
附图说明
图1A是本申请一示例性实施例示出的定位方法的流程示意图。
图1B是图1A所示实施例的交通场景的示意图。
图2是本申请另一示例性实施例示出的定位方法的流程示意图。
图3本本申请又一示例性实施例示出的定位方法的流程示意图。
图4是本申请一示例性实施例示出的定位装置的结构示意图。
图5是本申请另一示例性实施例示出的定位装置的结构示意图。
图6是本申请以示例性实施例示出的移动设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请可适用在移动设备上,该移动设备可以为车辆、配送货物的机器人、手持手机等可在室外道路上使用的设备。以移动设备为车辆为例进行示例性说明,在车辆行驶的过程中,通过车辆上的摄像装置拍摄图像,识别出图像中的道路部件,并提取出道路部件的图像特征信息(本申请中的第一特征信息),通过在高精地图中找到与图像中的道路部件相同的道路部件,进而对高精地图中的道路部件的图像特征信息(本申请中的第二特征信息)与图像中的道路部件的图像特征信息进行匹配,基于匹配结果以及车辆的运动模型,对车辆进行定位。
本申请中的高精地图可包括矢量图层和图像图层,其中,可通过提取图像中的道路边缘、车道、道路结构属性、交通灯、交通标志、路灯杆等道路部件信息制作矢量图层,形成高语义的地图信息。可通过提取矢量图层中的道路标志、路面标志等道路部件的图像特征信息,形成低语义的地图信息。将高语义的地图信息和低语义的图像特征信息以设定的数据格式储存在高精地图内。
图1A是本申请一示例性实施例示出的定位方法的流程示意图,图1B是图1A所示实施例的交通场景的示意图;本实施例可应用在需要进行定位的移动设备上,移动设备例如为需要进行定位的车辆、配送货物的机器人、手持手机,等等,如图1A所示,包括如下步骤:
步骤101,确定图像中的第一道路部件的第一特征信息以及类别信息,其中,图像为移动设备在移动过程中拍摄的。
在一实施例中,可以通过深度学习网络确定图像中的第一道路部件所在的位置框;在第一道路部件的位置框中,提取第一道路部件的第一特征信息。其中,图像中可包含多个第一道路部件,多个第一道路部件可以为:交通信号灯、路面标识(例如,左转箭头、直行箭头、右转箭头、数字、人行道、车道线、指示文字,等)等等。通过识别图像中的第一道路部件的位置框,可以排除树木、行人的特征信息对道路部件的特征信息的干扰,以确保后续定位的准确度。
在一实施例中,第一特征信息可以为第一道路部件的图像特征信息,图像特征信息例如为第一道路部件的角点、特征描述子、纹理、灰度等等。在一实施例中,第一道路部件的类别信息可以为第一道路部件的名称或者类型标识(ID),例如,第一道路部件为交通信号灯、路面标识(例如,左转箭头、直行箭头、右转箭头、人行横道,等)等。
步骤102,在高精地图中确定与类别信息相同的第二道路部件的第二特征信息。
在一实施例中,高精地图包含矢量图层和图像图层,其中,矢量图层存储道路部件的类别信息、道路部件在世界坐标系下的几何信息、道路部件在世界坐标系下的地理位置、道路部件在世界坐标系的几何信息可以为长度、宽度以及高度,道路部件在世界坐标系下的地理位置可以为WGS84坐标系下的经纬度坐标和高程信息;图像图层存储与道路部件标识相对应的图像特征信息,具体地,高精地图的矢量图层中的道路部件类别对应的特征信息可存储在高精地图的矢量图层或者图像图层中,进一步地,若高精地图中的道路部件的特征信息存储在高精地图的图像图层中,则矢量图层中的类别信息与所述图像图层中的特征信息相关联,即,矢量图层中的道路部件标识对应的类别信息在高精地图中的坐标位置与图像图层中存储的特征信息所在的坐标位置相同。通过在高精地图的矢量图层或者图像图层中存储道路部件的特征信息,可以确保高精地图中包含高级语义信息的同时,还能够增加丰富的低级特征信息。
在一实施例中,对应于上述高精地图存储的特征信息和类别信息,当需要在高精地图中确定与第一道路部件的类别信息相同的第二道路部件的第二特征信息时,可以先基于移动设备已有的定位系统(例如,GPS定位系统、北斗定位系统,等等),确定移动设备在拍摄图像时的第一地理位置,该第一地理位置可通过经纬度或者通用横格网系统(UNIVERSALTRANSVERSE MERCARTOR GRID SYSTEM,简称为UTM)坐标来表示;在高精地图的矢量图层中距离第一地理位置的预设范围内,确定与类别信息相同的第二道路部件;在高精地图中确定与类别信息相同的第二道路部件的第二特征信息。由于只需要在高精地图中确定与第一道路部件的类别信息相同的第二道路部件,避免在高精地图中对非道路部件的搜索,大大缩短了在高精地图中搜索第二道路部件的时间。
进一步地,预设范围可以由定位系统的误差范围来确定,从而可以对定位系统产生的误差进行纠正,本申请对预设范围的具体值不做限制。例如,预设范围为5米,类别信息包括红路灯和左转箭头,则可以以移动设备拍摄图像时的第一地理位置为中心,在高精地图中搜索5米内的红绿灯和直行箭头,从高精地图中找到5米内的红绿灯和左转箭头各自的第二特征信息。与第一特征信息类似,第二特征信息例如为第二道路部件的角点、描述子、道路部件的结构、纹理、灰度等等。
步骤103,基于第一特征信息与第二特征信息的匹配结果,定位移动设备。
在一实施例中,可以将第一特征信息与第二特征信息包含的角点、特征描述子、纹理、灰度等进行比对,若通过比对确定二者为相同的道路部件,则匹配结果表示第一道路部件与第二道路部件相同,若二者为不相同的道路部件,则匹配结果表示第一道路部件与第二道路部件不相同。
在一实施例中,若匹配结果符合预设条件,可基于第二道路部件在高精地图中的第三地理位置以及移动设备的运动模型,定位移动设备。其中,预设条件可以为第一特征信息与第二特征信息匹配成功,即,第一特征信息与第二特征信息相同或者相似。在一实施例中,第二道路部件在高精地图总的地理坐标可以通过地球的经纬度或者UTM坐标来表示。
在一实施例中,可以通过移动设备在纵向和侧向的速度、移动设备的偏航角速度建立移动设备的运动模型,基于运动模型计算出移动设备相对第二道路部件在高精地图中的地理坐标的偏移坐标,基于偏移坐标和第二道路部件在高精地图中的地理坐标,定位移动设备。
在一示例性场景中,如图1B所示,通过移动设备上安装的GPS将移动设备定位到实心黑点11处,则实心黑点11处为本申请所述的第一地理位置,而移动设备在拍摄图像时的真实位置为A处,通过本申请可将通过GPS定位得到的第一地理位置进行纠正,将移动设备在拍摄图像时的位置准确地定位在A处,并基于A处的地理位置和移动设备的运动模型,将移动设备定位到当前所在的位置A’处。
具体地,通过上述步骤101识别出移动设备在实心黑点11处拍摄的图像中包含的左转箭头以及红绿灯,其中,图像中的左转箭头以及红绿灯均可视为本申请中的第一道路部件。提取图像中的左转箭头以及红绿灯各自的第一特征信息。通过上述步骤102,在高精地图中确定与图像中的左转箭头相同的左转箭头的第二特征信息,以及,确定与图像中的红绿灯相同的红绿灯的第二特征信息,其中,高精地图中的左转箭头以及红绿灯可视为本申请中的第二道路部件,第二道路部件在高精地图中的地理位置可视为本申请中的第三地理位置。通过上述步骤103,基于第一特征信息和第二特征信息的匹配结果,定位移动设备。具体地,若匹配结果表示第一特征信息与第二特征信息匹配成功,表示二者相似;基于A处前方的左转箭头在高精地图中的第三地理位置以及移动设备的运动模型,将移动设备定位到A’处,得到移动设备当前在高精地图中A’处的地理位置。
需要说明的是,图1B所示的红绿灯以及直行箭头仅为一个示例性说明,其并不能形成对本申请的限制,只要从拍摄的图像中识别出道路部件,均可通过本申请提供的定位方法基于图像中识别出的道路部件对移动设备进行定位。
本实施例中,由于通过确定图像中的第一道路部件的类别信息获知了第一道路部件所表示的物理意义,因此可将第一道路部件的类别信息视为高语义特征,第一道路部件的第一特征信息与高精地图中的第二道路部件的第二特征信息表示了道路部件的像素信息,因此可将第一特征信息与第二特征信息视为低级语义特征,通过将高语义特征与低语义特征结合,实现了对移动设备的高精度定位;由于道路部件上的图像特征信息的数量丰富且特征信息准确,并且图像特征信息作为道路部件的整体特征,不需要精确提取出图像中的第一道路部件的轮廓点即可基于道路部件实现定位,因此降低了对道路部件上轮廓点的提取精度要求,避免由于轮廓点提取不精确或轮廓点的数量较少导致定位误失败概率增大或者定位失败的可能性。
图2本申请又一示例性实施例示出的定位方法的流程示意图;本实施例在上述图1A所示实施例的基础上,以如何在高精地图中确定与类别信息相同的第二道路部件的第二特征信息为例并结合图1B进行示例性说明,如图2所示,包括如下步骤:
步骤201,确定图像中的第一道路部件的第一特征信息以及类别信息,其中,图像为移动设备在移动过程中拍摄的。
如图1B所示,通过GPS定位得到的移动设备在拍摄图像时的地理地理位置为实心黑点12处,从图像中识别到的第一道路部件包括红绿灯和直行箭头各自的第一特征信息,并识别出第一道路部件的类别信息为红绿灯和直行箭头。
步骤202,若与类别信息相同的道路部件的个数大于1,基于移动设备已有的定位系统,确定移动设备在拍摄图像时的第一地理位置。
如图1B所示,若从高精地图中确定出的与红绿灯和直行箭头对应的道路部件包括B处、C处、D处、E处位于各自前方的直行箭头以及对应的红绿灯,即直行箭头的个数为4个,红绿灯的个数也为4个,均大于1。
在一实施例中,可基于移动设备上已有的定位系统确定出第一地理位置。如图1B所示,通过GPS定位出移动设备在拍摄图像时的第一地理位置为实心黑点12处。
步骤203,确定距离当前最近一次定位得到的第二地理位置。
在一实施例中,第二地理位置为移动设备通过图1A所示实施例在距离当前最近一次定位得到的地理位置,如图1A所示,通过GPS定位得到实心黑点12处对应的地理位置,距离当前最近一次定位得到的地理位置为F处对应的地理位置,则F处对应的地理位置为本申请所述的第二地理位置。
步骤204,基于第二地理位置与第一地理位置之间的位置关系,从与类别信息相同的道路部件中确定出第二道路部件。
如图1B所示,基于F处的地理位置以及实心黑点12所在位置之间的位置关系,可确定出移动设备是由F处直行到达实心黑点12所在的路口,因此移动设备需要从F处移动至B处,由此可得知E处、B处、C处、D处各自对应的直行箭头以及对应的红绿灯中确定出B处对应的直行箭头以及对应的红绿灯为本申请中的第二道路部件。
步骤205,在高精地图中确定第二道路部件的第二特征信息。
在一实施例中,可在高精地图的图像图层中与矢量图层中的地理位置相同的地理位置处,确定第二道路部件的第二特征信息。也即,第二特征信息作为低语义特征,存储在高精地图的图像图层中。
步骤206,基于第一特征信息与第二特征信息的匹配结果,定位移动设备。
步骤206的描述可参见上述图1A或者下述图3所示实施例的描述,在此不再详述。
本实施例在具有上述图1A所示实施例的基础上,当图像中存在与类别信息相同的两个以上的道路部件时,通过移动设备距离当前最近一次定位得到的第二地理位置与第一地理位置之间的位置关系,从与类别信息相同的道路部件中确定出第二道路部件,可以确保将车辆定位到准确的位置,避免识别到的其他道路部件对定位结果产生干扰。
图3是本申请另一示例性实施例示出的定位方法的流程示意图;本实施例在上述图1A所示实施例的基础上,以如何基于匹配结果以及移动设备的运动模型定位移动设备为例进行示例性说明,如图3所示,包括如下步骤:
步骤301,确定图像中的第一道路部件的第一特征信息以及类别信息,图像为移动设备在移动过程中拍摄的。
步骤302,在高精地图中确定与类别信息相同的第二道路部件的第二特征信息。
步骤303,匹配第一特征信息与第二特征信息,得到匹配结果。
步骤301-步骤303的描述可参见上述图1A所示实施例的描述,在此不再详述。
步骤304,若匹配结果符合预设条件,基于单目视觉定位方法确定拍摄图像时移动设备在高精地图中的第三地理位置。
在一实施例中,单目视觉定位方法的描述可参见现有技术的描述,本申请不再详细描述。如图1B所示,通过单目视觉定位方法可得到移动设备在拍摄图像时在高精地图中的第三地理位置,第三地理位置例如为(M,N)。在一实施例中,第三地理位置可以通过地球的经纬度或者UTM坐标来表示。
步骤305、基于第三地理位置以及移动设备的运动模型,定位移动设备。
移动设备的运动模型的描述可参见上述图1A所示实施例的描述,在此不在详述。例如,通过运动模型得到移动设备从拍摄图像时的时间点到当前时间点的偏移坐标为(ΔM,ΔN),则移动设备当前的位置为(M+ΔM,N+ΔN)。
本实施例在具有上述图1A所示实施例的基础上,基于移动设备在拍摄图像时移动设备在高精地图中的第三地理位置和移动设备的运动模型,实现对移动设备的定位,由于第一道路部件相对移动设备的距离较近,在通过定位系统得到移动设备在拍摄图像时的地理位置存在较大误差的前提下,通过第一道路部件以及移动设备的运动模型对移动设备进行定位,可以避免已有的定位系统对移动设备得到的定位结果带来的误差积累,提高移动设备的定位精度。
与前述定位方法的实施例相对应,本申请还提供了定位装置的实施例。
图4是本申请一示例性实施例示出的定位装置的结构示意图,如图4所示,定位装置包括:
第一确定模块41,用于确定图像中的第一道路部件的第一特征信息以及确定图像中的第一道路部件的类别信息,图像为移动设备在移动过程中拍摄的;
第二确定模块42,用于在高精地图中距离拍摄图像时的位置的预设范围内,确定与第一确定模块41确定的类别信息相同的第二道路部件的第二特征信息;
定位模块43,用于基于第一确定模块41得到的第一特征信息与第二确定模块42确定的第二特征信息的匹配结果,定位移动设备。
图5是本申请另一示例性实施例示出的定位装置的结构示意图,如图5所示,在上述图4所示实施例的基础上,第二确定模块42可包括:
第一确定单元421,用于基于移动设备已有的定位系统,确定移动设备在拍摄图像时的第一地理位置;
第二确定单元422,用于在高精地图的矢量图层中距离第一确定单元421确定的第一地理位置范围的设定范围内,确定与类别信息相同的第二道路部件;
第三确定单元423,用于在高精地图中确定与类别信息相同的第二道路部件的第二特征信息。
在一实施例中,第二确定模块42可包括:
第四确定单元424,用于若与类别信息相同的道路部件的个数大于1,基于移动设备已有的定位系统,确定移动设备在拍摄图像时的第一地理位置;
第五确定单元425,用于确定距离当前最近一次定位得到的第二地理位置;
第六确定单元426,用于基于第五确定单元425确定的第二地理位置与第四确定单元424确定的第一地理位置之间的位置关系,从与类别信息相同的道路部件中确定出第二道路部件;
第七确定单元427,用于在高精地图中确定第六确定单元426确定出的第二道路部件的第二特征信息。
在一实施例中,第七确定单元427具体可用于:
确定第二道路部件在矢量图层中的坐标位置;
在高精地图的图像图层中与矢量图层中的坐标位置相同的坐标位置处,确定第二道路部件的第二特征信息。
在一实施例中,定位模块43可包括:
匹配单元431,用于匹配第一特征信息与第二特征信息,得到匹配结果;
第八确定单元432,用于若匹配单元431得到的匹配结果符合预设条件,基于单目视觉定位方法确定拍摄图像时移动设备在高精地图中的第三地理位置;
定位单元433,用于基于第八确定单元432确定的第三地理位置以及移动设备的运动模型,定位移动设备。
在一实施例中,第一确定模块41可包括:
第九确定单元411,用于确定图像中的第一道路部件所在的位置框;
特征提取单元412,用于在第九确定单元411确定的第一道路部件的位置框中,提取第一道路部件的第一特征信息。
在一实施例中,高精地图的矢量图层中的道路部件标识对应的特征信息存储在高精地图的矢量图层中或者图像图层中。
在一实施例中,若高精地图中的道路部件的特征信息存储在高精地图的图像图层中,矢量图层中的类别信息与图像图层中的特征信息相关联。
本申请定位装置的实施例可以应用在移动设备上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在移动设备的处理器将非易失性存储介质中对应的计算机程序指令读取到内存中运行形成的,从而可执行上述图1A-图3任一实施例提供的定位方法。从硬件层面而言,如图6所示,为本申请定位装置所在移动设备的的一种硬件结构图,除了图6所示的处理器、内存、网络接口、以及非易失性存储介质之外,实施例中装置所在的移动设备的通常根据该移动设备的的实际功能,还可以包括其他硬件,对此不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (10)

1.一种定位方法,其特征在于,所述方法包括:
确定图像中的第一道路部件的第一特征信息以及类别信息,所述图像为移动设备在移动过程中拍摄的;
在高精地图中确定与所述类别信息相同的第二道路部件的第二特征信息;
基于所述第一特征信息与所述第二特征信息的匹配结果,定位所述移动设备。
2.根据权利要求1所述的方法,其特征在于,所述在高精地图中确定与所述类别信息相同的第二道路部件的第二特征信息,包括:
基于所述移动设备已有的定位系统,确定所述移动设备在拍摄所述图像时的第一地理位置;
在所述高精地图的矢量图层中距离所述第一地理位置的设定范围内,确定与所述类别信息相同的第二道路部件;
在所述高精地图中确定与所述类别信息相同的第二道路部件的第二特征信息。
3.根据权利要求1所述的方法,其特征在于,所述在高精地图中确定与所述类别信息相同的第二道路部件的第二特征信息,包括:
若与所述类别信息相同的道路部件的个数大于1,基于所述移动设备已有的定位系统,确定所述移动设备在拍摄所述图像时的第一地理位置;
确定距离当前最近一次定位得到的所述移动设备的第二地理位置;
基于所述第二地理位置与所述第一地理位置之间的位置关系,从与所述类别信息相同的道路部件中确定出所述第二道路部件;
在所述高精地图中确定所述第二道路部件的第二特征信息。
4.根据权利要求3所述的方法,其特征在于,所述在所述高精地图中确定所述第二道路部件的第二特征信息,包括:
确定所述第二道路部件在所述矢量图层中的坐标位置;
在所述高精地图的图像图层中与所述矢量图层中的坐标位置相同的坐标位置处,确定所述第二道路部件的第二特征信息。
5.根据权利要求1所述的方法,其特征在于,所述基于所述第一特征信息与所述第二特征信息的匹配结果,定位所述移动设备,包括:
匹配所述第一特征信息与所述第二特征信息,得到匹配结果;
若所述匹配结果符合预设条件,基于单目视觉定位方法确定拍摄图像时所述移动设备在高精地图中的第三地理位置;
基于所述第三地理位置以及所述移动设备的运动模型,定位所述移动设备。
6.根据权利要求1所述的方法,其特征在于,所述确定图像中的第一道路部件的第一特征信息,包括:
确定图像中的第一道路部件所在的位置框;
在所述第一道路部件所在的位置框中,提取所述第一道路部件的第一特征信息。
7.根据权利要求1所述的方法,其特征在于,所述高精地图的矢量图层中的道路部件对应的特征信息存储在所述高精地图的矢量图层中或者图像图层中。
8.一种定位装置,其特征在于,所述设备包括:
第一确定模块,用于确定图像中的第一道路部件的第一特征信息以及类别信息,所述图像为移动设备在移动过程中拍摄的;
第二确定模块,用于在高精地图中确定与所述第一确定模块确定的所述类别信息相同的第二道路部件的第二特征信息;
定位模块,用于基于所述第一确定模块确定的所述第一特征信息与所述第二确定模块确定的所述第二特征信息的匹配结果,定位所述移动设备。
9.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-7任一所述的定位方法。
10.一种移动设备,所述移动设备包括:
处理器;用于存储所述处理器可执行指令的存储器;
其中,所述处理器,用于执行上述权利要求1-7任一所述的定位方法。
CN201810987799.6A 2018-08-28 2018-08-28 定位方法、装置、存储介质及移动设备 Active CN109141444B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810987799.6A CN109141444B (zh) 2018-08-28 2018-08-28 定位方法、装置、存储介质及移动设备
US17/289,239 US20220011117A1 (en) 2018-08-28 2019-08-27 Positioning technology
PCT/CN2019/102755 WO2020043081A1 (zh) 2018-08-28 2019-08-27 定位技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810987799.6A CN109141444B (zh) 2018-08-28 2018-08-28 定位方法、装置、存储介质及移动设备

Publications (2)

Publication Number Publication Date
CN109141444A true CN109141444A (zh) 2019-01-04
CN109141444B CN109141444B (zh) 2019-12-06

Family

ID=64828654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810987799.6A Active CN109141444B (zh) 2018-08-28 2018-08-28 定位方法、装置、存储介质及移动设备

Country Status (3)

Country Link
US (1) US20220011117A1 (zh)
CN (1) CN109141444B (zh)
WO (1) WO2020043081A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110108287A (zh) * 2019-06-03 2019-08-09 福建工程学院 一种基于路灯辅助的无人车高精度地图匹配方法及系统
CN110727748A (zh) * 2019-09-17 2020-01-24 禾多科技(北京)有限公司 小体量高精度定位图层的构建、编译及读取方法
WO2020043081A1 (zh) * 2018-08-28 2020-03-05 北京三快在线科技有限公司 定位技术
CN111274974A (zh) * 2020-01-21 2020-06-12 北京百度网讯科技有限公司 定位元素检测方法、装置、设备和介质
WO2020199564A1 (zh) * 2019-03-29 2020-10-08 魔门塔(苏州)科技有限公司 一种导航地图在初始化时车辆位姿的修正方法和装置
WO2021104180A1 (zh) * 2019-11-29 2021-06-03 上海商汤临港智能科技有限公司 地图生成方法、定位方法、装置、设备、存储介质及计算机程序
CN112991805A (zh) * 2021-04-30 2021-06-18 湖北亿咖通科技有限公司 一种辅助驾驶方法和装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200082561A1 (en) * 2018-09-10 2020-03-12 Mapbox, Inc. Mapping objects detected in images to geographic positions
TWI768548B (zh) * 2020-11-19 2022-06-21 財團法人資訊工業策進會 定位用基礎資訊產生系統與方法以及自身定位判斷裝置
CN112507951B (zh) * 2020-12-21 2023-12-12 阿波罗智联(北京)科技有限公司 指示灯识别方法、装置、设备、路侧设备和云控平台

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1841023A (zh) * 2005-01-28 2006-10-04 爱信艾达株式会社 车辆位置识别装置及车辆位置识别方法
JP2007085911A (ja) * 2005-09-22 2007-04-05 Clarion Co Ltd 車両位置判定装置、その制御方法及び制御プログラム
CN106647742A (zh) * 2016-10-31 2017-05-10 纳恩博(北京)科技有限公司 移动路径规划方法及装置
CN107339996A (zh) * 2017-06-30 2017-11-10 百度在线网络技术(北京)有限公司 车辆自定位方法、装置、设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945327A (zh) * 2010-09-02 2011-01-12 郑茂 基于数字图像识别和检索的无线定位方法、系统
US9251433B2 (en) * 2012-12-10 2016-02-02 International Business Machines Corporation Techniques for spatial semantic attribute matching for location identification
EP3885217A1 (en) * 2015-02-10 2021-09-29 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
JP7213809B2 (ja) * 2016-12-09 2023-01-27 トムトム グローバル コンテント ベスローテン フエンノートシャップ ビデオベースの位置決め及びマッピングの方法及びシステム
CN107742311B (zh) * 2017-09-29 2020-02-18 北京易达图灵科技有限公司 一种视觉定位的方法及装置
CN107833236B (zh) * 2017-10-31 2020-06-26 中国科学院电子学研究所 一种动态环境下结合语义的视觉定位系统和方法
CN108416808B (zh) * 2018-02-24 2022-03-08 斑马网络技术有限公司 车辆重定位的方法及装置
CN109141444B (zh) * 2018-08-28 2019-12-06 北京三快在线科技有限公司 定位方法、装置、存储介质及移动设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1841023A (zh) * 2005-01-28 2006-10-04 爱信艾达株式会社 车辆位置识别装置及车辆位置识别方法
JP2007085911A (ja) * 2005-09-22 2007-04-05 Clarion Co Ltd 車両位置判定装置、その制御方法及び制御プログラム
CN106647742A (zh) * 2016-10-31 2017-05-10 纳恩博(北京)科技有限公司 移动路径规划方法及装置
CN107339996A (zh) * 2017-06-30 2017-11-10 百度在线网络技术(北京)有限公司 车辆自定位方法、装置、设备及存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020043081A1 (zh) * 2018-08-28 2020-03-05 北京三快在线科技有限公司 定位技术
WO2020199564A1 (zh) * 2019-03-29 2020-10-08 魔门塔(苏州)科技有限公司 一种导航地图在初始化时车辆位姿的修正方法和装置
CN110108287A (zh) * 2019-06-03 2019-08-09 福建工程学院 一种基于路灯辅助的无人车高精度地图匹配方法及系统
CN110727748A (zh) * 2019-09-17 2020-01-24 禾多科技(北京)有限公司 小体量高精度定位图层的构建、编译及读取方法
CN110727748B (zh) * 2019-09-17 2021-08-24 禾多科技(北京)有限公司 小体量高精度定位图层的构建、编译及读取方法
WO2021104180A1 (zh) * 2019-11-29 2021-06-03 上海商汤临港智能科技有限公司 地图生成方法、定位方法、装置、设备、存储介质及计算机程序
CN111274974A (zh) * 2020-01-21 2020-06-12 北京百度网讯科技有限公司 定位元素检测方法、装置、设备和介质
CN111274974B (zh) * 2020-01-21 2023-09-01 阿波罗智能技术(北京)有限公司 定位元素检测方法、装置、设备和介质
CN112991805A (zh) * 2021-04-30 2021-06-18 湖北亿咖通科技有限公司 一种辅助驾驶方法和装置

Also Published As

Publication number Publication date
US20220011117A1 (en) 2022-01-13
CN109141444B (zh) 2019-12-06
WO2020043081A1 (zh) 2020-03-05

Similar Documents

Publication Publication Date Title
CN109141444A (zh) 定位方法、装置、存储介质及移动设备
JP6833886B2 (ja) 初期ナビゲーションにおいて視覚ランドマークを使用するためのシステムおよび方法
CN110617821B (zh) 定位方法、装置及存储介质
EP3650814B1 (en) Vision augmented navigation
CN106530794B (zh) 行车道路的自动识别和校准方法及系统
CN108416808B (zh) 车辆重定位的方法及装置
CN108318043A (zh) 用于更新电子地图的方法、装置和计算机可读存储介质
CN110322702A (zh) 一种基于双目立体视觉系统的车辆智能测速方法
CN104881860B (zh) 基于照片进行定位的方法和装置
CN109931939A (zh) 车辆的定位方法、装置、设备及计算机可读存储介质
CN103632626A (zh) 一种基于移动互联网的智能导游实现方法、装置及移动客户端
US10762660B2 (en) Methods and systems for detecting and assigning attributes to objects of interest in geospatial imagery
CN109515439B (zh) 自动驾驶控制方法、装置、系统及存储介质
CN109949365A (zh) 基于路面特征点的车辆指定位置停车方法及系统
CN110136058A (zh) 一种基于俯视拼接图的建图方法及车载终端
CN111179162A (zh) 一种特殊环境下的定位初始化方法及车载终端
CN113255578B (zh) 交通标识的识别方法及装置、电子设备和存储介质
CN113139031A (zh) 用于自动驾驶的交通标识的生成方法及相关装置
WO2018131546A1 (ja) 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム
KR102463698B1 (ko) 도로표지판의 위치정보 데이터베이스 구축 시스템 및 그 방법과 이를 이용한 차량의 위치 추정 장치 및 그 방법
JP2012215442A (ja) 自位置特定システム、自位置特定プログラム及び自位置特定方法
CN110068328B (zh) 导航路线生成方法、装置、计算机可读存储介质和计算机设备
CN116337068A (zh) 基于仿人思路的机器人同步语义定位与建图方法及系统
JP7327083B2 (ja) 領域切り出し方法および領域切り出しプログラム
CN113566824A (zh) 车辆定位方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240524

Address after: 100080 2106-030, 9 North Fourth Ring Road, Haidian District, Beijing.

Patentee after: BEIJING SANKUAI ONLINE TECHNOLOGY Co.,Ltd.

Country or region after: China

Patentee after: Shenzhen Meituan Technology Co.,Ltd.

Patentee after: Meituan Technology Co.,Ltd.

Address before: 100080 2106-030, 9 North Fourth Ring Road, Haidian District, Beijing.

Patentee before: BEIJING SANKUAI ONLINE TECHNOLOGY Co.,Ltd.

Country or region before: China