CN114710970A - 用于定位设备的装置和方法 - Google Patents

用于定位设备的装置和方法 Download PDF

Info

Publication number
CN114710970A
CN114710970A CN202080045672.8A CN202080045672A CN114710970A CN 114710970 A CN114710970 A CN 114710970A CN 202080045672 A CN202080045672 A CN 202080045672A CN 114710970 A CN114710970 A CN 114710970A
Authority
CN
China
Prior art keywords
signature
location
compressed
request
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080045672.8A
Other languages
English (en)
Inventor
洛朗·斯马贾
内森·毕加索
兹米特里·齐什库
尹涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN114710970A publication Critical patent/CN114710970A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Navigation (AREA)

Abstract

提供了用于确定设备的位置的装置和方法。定位是基于获取具有独特位置识别特征的图像，这些特征是自然形成的或人为构建的。这些位置识别特征用于生成多维签名。对所述多维签名进行处理，以实现具有降低维度的压缩签名。所述设备的所述位置可以使用所述压缩签名检索。

Description

用于定位设备的装置和方法
技术领域
以下描述大体上涉及定位系统领域。更具体地，以下描述涉及用于定位设备的装置和方法。
背景技术
现代汽车、手机和许多其它设备通常都配备了定位系统。定位系统用于测量设备的位置。位置信息可以在许多应用中使用。例如，导航和其它与地图相关的应用要求知道设备的位置，以便可以形成导航指令。
获得确切位置信息的最常见方法是使用基于卫星的导航系统。在卫星导航中，设备通过接收来自多个卫星的沿着视线发送的信号来确定当前位置。该设备(如手机或车辆)具有电子接收器，用于接收可用于设备定位的信号。通常，全球导航卫星系统不需要互联网接收；但是，在一些情况下，互联网接收可用于协助定位过程。
如上所述，沿着视线接收定位信号。因此，至少有四颗卫星的视线时，才能进行定位。这使得只能在室外进行许多位置的定位此外，有时建筑物、山脉或其它障碍物使得至少四颗卫星不可见，因此无法进行定位。在地下停车场和公路隧道等地方进行地下定位或在建筑物内进行定位尤其困难。
通过开发室内定位系统，可见性问题已经得到解决。可以使用移动通信网络实现粗定位。特殊用途的室内定位系统能够提供准确的位置。但是，它们通常基于地理位置信标，这些信标使用蓝牙、Wi-Fi或其它适当的无线电技术发送信号。这些信标价格昂贵，需要维护。另一个选择是单独或一起使用多个不同的传感器和地图。例如，车辆在进入隧道时可以使用地图和里程测量来支持导航；但是，车辆通常漂移很快。此外，当使用手机或平板电脑代替集成导航设备时，里程测量信息不可访问。因此，需要改进定位系统。
发明内容
在以下公开内容中，公开了用于确定设备的位置的装置和方法。定位是基于获取具有独特位置识别特征的图像，这些特征是自然形成的或人为构建的。这些位置识别特征用于生成多维签名。对所述多维签名进行处理，以实现具有降低维度的压缩签名。所述设备的所述位置可以使用所述压缩签名检索。
在第一方面中，公开了一种用于确定装置的位置的方法。所述方法包括：获取图像；从所述获取的图像中提取位置识别特征；使用所述位置识别特征生成所述获取的图像的多维签名；通过降低所述获取的图像的所述多维签名的维度来生成压缩签名；使用所述压缩签名检索所述装置的所述位置。使用获取的图像中的位置识别特征来确定设备或车辆的位置是有益的。这能够在不能进行卫星定位的地点进行准确定位。
在第一方面的一种实现方式中，获取所述图像包括在道路方向上获取所述图像。使用在道路方向上(无论是前方还是后方)获取的图像是有益的。这有助于准确测量图像之间的距离，并减少运动模糊。
在第一方面的一种实现方式中，所述方法还包括：获取多个图像；从每个所述获取的图像中提取位置识别特征；使用所述位置识别特征生成每个所述获取的图像的多维签名；通过降低每个所述多维签名的维度来生成压缩签名；使用多个压缩签名检索所述装置的所述位置。使用多个图像是有益的，因为它这在其中一个图像发生遮挡的情况下可以提高该方法的准确性。
在第一方面的一种实现方式中，所述方法还包括测量第一个图像与最后一个图像之间的地理距离。测量第一个图像和最后一个图像之间的距离是有益的，因为距离信息通过确定多维签名的适当长度提高了该方法的准确性。
在第一方面的一种实现方式中，检索所述装置的所述位置包括：生成包括所述压缩签名的请求；将所述请求的所述压缩签名与包括多个压缩签名的数据库匹配，其中，每个所述压缩签名与位置相关联；根据与所述至少一个签名匹配的所述压缩签名的位置确定所述装置的所述位置。在所述设备中设置数据库是有益的，这样就可以在没有网络连接的情况下进行定位，因为当需要定位时，网络连接可能不可用。
在第一方面的一种实现方式中，匹配包括查找与所述请求的所述压缩签名最相似的压缩签名序列。尝试查找与所述请求的压缩签名最相似的序列是有益的。请求的压缩签名也可能具有不识别位置的特征，并且压缩签名不需要精确匹配。
在第一方面的一种实现方式中，检索所述位置包括：生成包括所述压缩签名的请求；根据与所述至少一个签名匹配的所述压缩签名的位置，将所述请求发送到适合于将所述请求的所述压缩签名与包括与所述装置的所述位置相关联的多个压缩签名的数据库匹配的外部数据库；响应于所述请求，接收所述装置的所述位置。使用外部数据库是有益的，该数据库可能更大，也更容易维护，以便随时更新。
在第一方面的一种实现方式中，使用用于查找相关位置识别特征的机器学习装置提取位置识别特征。在检测位置识别特征时使用机器学习装置是有益的，因为机器学习装置可以被进一步训练。这改进了所有可能位置的定位，而不仅仅是训练过的位置的定位。
在第二方面中，公开了一种包括计算机程序代码的计算机程序。计算机程序代码用于当计算机程序代码在计算装置中执行时，执行如上所述的方法。使用用于确定位置的电路将定位方法作为软件实现是有益的。
第三方面公开了一种装置。所述装置包括：摄像头，用于获取图像；处理电路，用于：从所述获取的图像中提取位置识别特征；使用所述位置识别特征生成所述获取的图像的多维签名；通过降低所述获取的图像的所述多维签名的维度来生成压缩签名；使用包括所述压缩签名的至少一个压缩签名检索所述装置的所述位置。使用获取的图像中的位置识别特征来确定设备或车辆的位置是有益的。这能够在不能进行卫星定位的地点进行准确定位。
在第三方面的一种实现方式中，所述摄像头用于在道路方向上获取图像。使用在道路方向上(无论是前方还是后方)获取的图像是有益的。这有助于准确测量图像之间的距离，并减少运动模糊。
在第三方面的一种实现方式中，所述摄像头用于获取多个图像；所述处理电路用于：从每个所述获取的图像中提取位置识别特征；使用所述位置识别特征生成每个所述获取的图像的多维签名；通过降低每个所述多维签名的维度来生成压缩签名；使用多个压缩签名检索所述装置的所述位置。使用多个图像是有益的，因为它这在其中一个图像发生遮挡的情况下可以提高该方法的准确性。
在第三方面的一种实现方式中，所述处理电路还用于：测量第一个图像与最后一个图像之间的地理距离。测量第一个图像和最后一个图像之间的距离是有益的，因为距离信息通过确定多维签名的适当长度提高了该方法的准确性。
在第三方面的一种实现方式中，当检索所述装置的所述位置时，所述处理电路还用于：生成包括所述压缩签名的请求；将所述请求的一个或多个压缩签名与包括多个压缩签名的数据库匹配，其中，每个所述压缩签名与位置相关联；根据与所述至少一个签名匹配的所述压缩签名的位置确定所述装置的所述位置。在所述设备中设置数据库是有益的，这样就可以在没有网络连接的情况下进行定位，因为当需要定位时，网络连接可能不可用。
在第三方面的一种实现方式中，当匹配时，所述处理电路还用于查找与所述请求的所述压缩签名最相似的压缩签名序列。尝试查找与所述请求的压缩签名最相似的序列是有益的。请求的压缩签名也可能具有不识别位置的特征，并且压缩签名不需要精确匹配。
在第三方面的一种实现方式中，当检索所述装置的所述位置时，所述处理电路还用于：生成包括所述压缩签名的请求；根据与至少一个压缩签名匹配的所述压缩签名的位置，将所述请求发送到适合于将所述请求的一个或多个压缩签名与包括与所述装置的所述位置相关联的多个压缩签名的数据库匹配的外部服务；响应于所述请求，接收所述装置的所述位置。使用外部数据库是有益的，该数据库可能更大，也更容易维护，以便随时更新。
在第三方面的一种实现方式中，所述处理电路用于使用用于查找相关位置识别特征的机器学习装置提取所述位置识别特征。在检测位置识别特征时使用机器学习装置是有益的，因为机器学习装置可以被进一步训练。这改进了所有可能位置的定位，而不仅仅是训练过的位置的定位。
第四方面公开了一种用于定位的服务器。所述服务器包括：数据库，所述数据库包括与位置相关联的多个压缩签名；处理电路，所述处理电路用于：接收包括至少一个压缩签名的请求；将所述请求的至少一个压缩签名与包括多个压缩签名的数据库匹配，其中，每个所述压缩签名与位置相关联；根据与所述至少一个签名匹配的所述压缩签名的位置确定请求装置的位置。使用外部服务器接收来自定位设备的请求是有益的。所述外部服务器的数据库可能更大，也更容易维护，以便随时更新。
在第四方面的一种实现方式中，匹配包括查找与所述请求的所述压缩签名最相似的压缩签名序列。尝试查找与所述请求的压缩签名最相似的序列是有益的。请求的压缩签名也可能具有不识别位置的特征，并且压缩签名不需要精确匹配。
上述和其它目的是通过由独立权利要求请求保护的主题来实现的。其它实现方式在从属权利要求、说明书和附图中是显而易见的。
本说明书中描述的原理可以通过硬件和/或软件实现。
附图说明
将结合以下附图描述其它示例性实施例，其中：
图1示出了用于生成压缩签名的方法的示例；
图2示出了用于生成压缩签名的方案的示例；
图3示出了涉及道路签名生成的机器学习的训练过程的示例；
图4示出了用于获取车辆的方案的示例；
图5示出了用于定位汽车的装置的示例。
在以下附图中，使用相同的附图标记表示相同的或至少功能等同的特征。
具体实施方式
以下结合附图进行描述，附图形成本发明的一部分，并通过图解说明的方式示出可以实现本发明的装置和方法的具体方面。应理解，在不脱离权利要求书的范围的情况下，可以利用其它方面，并且可以进行结构或逻辑更改。因此，以下详细描述不应从限制意义上理解。
例如，应理解的是，与所描述的方法有关的公开内容对用于执行所述方法的对应设备或系统也同样适用，反之亦然。例如，如果描述了特定的方法步骤，则对应的设备可以包括执行所描述的方法步骤的单元，即使在附图中没有明确描述或示出这样的单元。此外，应理解，除非另外明确说明，否则本文中描述的各种示例性方面的特征可以相互组合。
图1公开了用于检索装置的位置的方法的示例，该装置为手机、车辆或包括摄像头且能访问数据库的任何类似装置，该数据库包括位置关联的压缩签名或可以从图像导出的其它类似参考。在图1的示例中，该方法从获取图像(步骤100)开始。图像是使用手机的摄像头单元或车辆的摄像头等传统的摄像头获取的。然后，处理所获取的图像，以便从该图像中提取位置识别特征(步骤110)。当提取特征时，也可以提取非位置识别特征。可以使用其它分析工具来删除非位置识别特征；但是，当获取的图像包括足够的位置识别特征时，可以进行定位。在一些情况下，一个位置识别特征就足够了。例如，一些路标是唯一的，当它们被提取时，即使图像包括其它特征，也可以准确地确定位置。提取步骤可以包括识别提取的特征。例如，当特征被识别为车辆时，该特征可能会被丢弃，因为车辆极不可能用于确定位置。从提取的特征生成多维签名(步骤120)。多维签名提供了提取特征的非常准确的识别信息。多维签名被用作生成压缩签名(步骤130)的源。最后，使用一个或多个生成的压缩签名检索设备的位置(步骤140)。
在上面，公开了一种方法的示例。该方法可以在包括处理电路的一个设备中实现。处理电路包括用于执行计算机程序的至少一个处理器和用于存储计算机程序和相关数据的至少一个存储器。根据所需的任务，存储器可以是易失性的或非易失性的。处理器用于执行计算机程序，从而执行如上所述的方法。可以使用两个或更多个设备，而不是使用一个设备，如以下公开内容中所述。
图1的示例性方法可以在设备中完全执行。此实现方式可以被视为线下实现方式。在在线实现方式中，一个或多个步骤由云服务或定位服务器等远程服务执行。在被定位的设备中执行获取图像的步骤100。由于现代摄像头具有高分辨率，所以通常不希望通过网络将获取的图像发送到远程服务。为了减少网络流量，位置识别特征通常在请求设备中提取。此外，生成多维签名和生成压缩签名通常在请求设备中完成。这是很有益的，因为压缩签名的大小较小，因此发送到云或定位服务的请求不需要图像或多维签名所需的那么多带宽。该位置可以从存储在设备的存储器中的内部数据库检索，也可以从外部服务检索。检索包括生成适当的请求和接收响应。此外，检索包括处理请求和发送响应。在线下实现方式中，这些是设备内的内部步骤和信号。在在线实现方式中，这些任务由外部服务执行，设备不需要有关这些任务的任何进一步的信息。
图2公开了用于生成压缩签名的方案的示例。该方案可以用于几种不同的设备或装置，例如用于手机或汽车。以下公开内容以汽车为例；但是，该方案可以应用于具有用于获取图像的摄像头单元且能访问数据库的任何设备中，该数据库可以位于设备中或网络服务(例如云服务)中或服务器中。
在该方案中，首先获取一个或多个图像(步骤200)。在汽车的示例中，这些图像是在道路方向上获取的。此方向可以是向前或向后。一个图像可能足以进行粗定位。但是，当使用该方案提供的方法时，例如在导航应用中，使用多个图像可以提高该方法的准确性。此外，可以测量在第一个图像与最后一个图像之间或在每个连续图像之间的行进距离，并用于定位。所获取的图像可以是用已经集成到获取设备中的摄像头获取的普通图像。例如，现代汽车和手机通常有一个或多个摄像头。
所获取的图像被发送到图像编码器210。在图像编码器中，处理图像以查找图像中的位置识别特征。位置识别特征是可用于定位的特征。因此，位置识别特征是物体、地标等。位置识别特征不会随着时间的推移而变化或快速移动。位置识别特征的示例包括树木、岩层、湖泊、建筑物、路标、道路和街道等。其它特征的示例包括太阳、人、动物和其它汽车。这些特征通常会移动和更改位置，因此不能用于确定位置。作为结果，图像编码器210提供包括一个或多个位置识别特征的一组图像特征220。
图像编码器包括卷积神经网络(convolutional neural network，CNN)，然后是全局池化层。CNN输出k个特征图，这些特征图被全局池化层汇总为一个值(一个特征图)。最终对获得的k维向量进行归一化。
在图2的示例中，图像编码器210的结果220被馈送到签名生成器230。然后，位置识别特征220与距离信息一起用于生成签名。道路签名生成模块使用从时间t到t+n的连续图像序列以及从摄像头在时间t时的位置至摄像头在时间t+n时的位置的行进距离dt+n作为输入。生成的l个向量的数量由签名生成器的空间分辨率因子dΔ控制，且可以使用以下关系计算：
Figure GDA0003483469990000051
签名生成器内部的注意力机制使用时间滤波器将输入图像特征组合成道路签名向量。
签名生成器230返回被称为道路签名的l个向量的集合240。签名的每个向量都有一个维度k，两个连续的向量间隔距离dΔ。然后，l个向量的集合240被馈送到降维250。在图2的示例中，降维是一种无监督机器学习方法，用于降低道路签名的维度。降维应用于每个道路签名向量，以将其大小从k降低到m，m<<k。结果是压缩道路签名260，它是l个向量的集合，其中，每个向量具有一个维度m，该维度m远小于k，两个连续的向量间隔距离dΔ。
在上述图像编码的过程中，签名生成和降维是可微的操作。这是指签名生成过程是一个完全可微的操作，因此道路签名可以端到端优化，以实现本地化目的，并且所有道路签名生成器部件可以在训练期间联合优化。训练过程如下所述。
如上所述的过程是可在下面讨论的示例中使用的过程的示例。可以使用在一个或多个获取的图像与位置之间提供关联的其它类似过程。
在图3中，公开了道路签名生成器中涉及的机器学习的训练过程的示例。当生成用于精确定位的判别式压缩签名时，可以用以下原则训练道路签名生成器。
图3的示例示出了涉及道路签名生成的两个单独的流水线。第一流水线包括接收参考图像序列和距离300作为参考输入，该参考输入由道路签名生成器302处理。从而计算一个或多个参考压缩签名304。生成道路签名的过程可以类似于上面图2的示例中描述的过程。第二流水线接收目标图像序列和距离310作为目标输入，该目标输入由道路签名生成器304处理。从而计算一个或多个目标压缩签名314。
第一流水线使用从时间t到t+n的连续图像序列的参考输入，以及从摄像头在时间t时的位置至摄像头在时间t+n时的位置的行进距离dt+n。第二流水线使用从时间t'到t'+m的连续图像序列的目标输入，以及从摄像头在时间t'时的位置至摄像头在时间t'+m时的位置的行进距离dt’+m。目标序列在不同的时间(t≠t’)记录在与参考序列相同的道路上。目标序列比参考序列长：dt’+m>dt+n。
道路签名生成器302和312都使用共享相同参数权重集的暹罗网络来根据图像序列计算参考签名和目标签名。这些暹罗网络返回参考图像序列的压缩签名和目标图像序列的压缩签名。由于目标序列中的行进距离比参考序列中的行进距离长，因此目标签名比参考签名长。
道路签名匹配器320使用滑动窗口函数，例如零均值归一化互相关，计算参考签名与目标签名之间的信号相似性322。道路签名匹配器320根据签名长度返回不同大小的相似性测量330。高相似性得到相似性测量信号中的低值。道路签名匹配器320根据参考序列和目标序列的地面真值空间和时间对齐360创建地面真值信号。它是通过生成以参考序列和目标序列重叠位置为中心的窄1D高斯函数来计算的。参考序列和目标序列的地面真值对齐通过GPS测量或基于内容的图像检索获得。通过计算地面真值信号与从道路签名匹配器320获得的相似性测量之间的交叉熵损失350来获得训练信号。在计算损失之前，使用相对信号上的Softmax函数335，将从道路签名匹配器320获得的相似性测量转换为概率340。根据输入序列计算损失的梯度，并在整个流水线中反向传播，以校正道路签名生成器的权重参数。
图4公开了用于收集位置相关数据和构建用于基于图像定位的数据库的获取车辆400的方法。图4示例中的获取车辆包括获取子系统，包括惯性导航系统、基于卫星410的导航系统天线和里程测量系统。惯性导航系统耦合到沿着车辆纵轴定向的摄像头。此外，子系统可用于确保图像捕获过程和惯性导航系统输出的同步。其它子系统将图像保存在专用存储器中。获取子系统获取沿行进道路精确地理定位和地理标记的图像。
道路签名生成器430根据记录的图像序列420和行进距离计算压缩道路签名。道路签名计算可以在嵌入式车辆上完成，以减少车内存储使用，也可以在远程服务器上完成，以减少获取车辆的计算负担。道路签名生成器430生成精确纵向定位在获取车辆行驶的道路上的压缩道路签名440。精确定位的压缩道路签名440存储在地理数据库450中。然后，地理数据库450被用作信息源，或者存储的信息可以被打包以供以后使用。
图5示出了用于定位汽车500的装置的示例。用户在车辆中，配备了结合GNSS应用程序和摄像头模块的设备，存储器中带有地理数据库。当进入GNSS限制区域时，GNSS应用程序将触发在线流程，该流程使用基于图像的位置系统确定汽车的位置。汽车500从其摄像头模块获取图像510以及图像序列的行进距离或车速(用于导出行进距离)。车辆使用道路签名生成器512从在线捕获的图像序列计算压缩道路签名514。由用户设备或车辆在线计算的压缩道路签名514称为目标道路签名。
预先计算的压缩道路签名的地理数据库520可以存储或部分存储在用户车辆或设备上，并且在进入GNSS限制区域时查询它。在另一种实现方式中，使用车辆的互联网连接访问地理数据库。
地理数据库520用于检索参考地理参考压缩道路签名。这是从进入GNSS限制区域之前接收到的最后一个有效的GNSS位置完成的。用户设备或车辆从嵌入式地理数据库520检索地理定位在用户正在行进的道路上的预先计算的压缩道路签名522。这个精确纵向位于道路上的压缩道路签名522被称为参考压缩道路签名。
车辆500继续使用道路签名匹配器530进行目标签名和参考签名匹配。道路签名匹配器530生成用于相似性测量532的目标签名和参考签名之间的相似性信号。相似性信号的挑选表示目标签名和参考签名之间的最佳对齐。因此，它提供了目标签名与产生最高相似性测量的参考签名的相对位置。
最后，用户设备或车辆的道路签名地理参考模块540使用来自道路签名匹配器530的相似性信号和参考压缩道路签名的精确位置来计算目标压缩道路签名沿着行驶道路的精确位置550并导出用户车辆的当前位置。最后，设备位置可以显示在通常依赖于卫星定位的应用中。
如上所述，上文所述的使用定位的装置可以通过手机、平板电脑、计算机、电信网络基站或任何其它网络连接设备等硬件实现，或实现为一种方法。该方法可以实现为计算机程序。然后，在计算设备中执行计算机程序。
该装置，例如用于定位的装置，用于执行上述方法之一。该装置包括必要的硬件部件。这些可以包括至少一个处理器、至少一个存储器、至少一个网络连接、总线等。例如，可以与其它部件共享存储器或处理器，或者从云服务、集中式计算单元或可经由网络连接使用的其它资源访问，代替专用硬件部件。
用于定位的装置和对应的方法已经结合本文的各种实施例进行了描述。但是，根据对附图、本发明和所附权利要求书的研究，本领域技术人员在实践所要求保护的发明时，能够理解和实现所公开实施例的其它变型。在权利要求中，词语“包括”不排除其它元件或步骤，并且“一”或“一个”不排除多个。单个处理器或其它单元可以满足权利要求中所列举的若干项目的功能。在互不相同的从属权利要求中列举某些措施并不表示这些措施的组合不能被有利地使用。计算机程序可存储/分配在合适的介质上，例如与其它硬件一起或者作为其它硬件的部分提供的光存储介质或者固态介质上，也可以通过其它形式分配，例如通过互联网或者其它有线或无线电信系统分配。

Claims (19)

1.一种用于确定装置的位置的方法，其特征在于，所述方法包括：
获取图像；
从所述获取的图像中提取位置识别特征；
使用所述位置识别特征生成所述获取的图像的多维签名；
通过降低所述获取的图像的所述多维签名的维度来生成压缩签名；
使用所述压缩签名检索所述装置的所述位置。
2.根据权利要求1中任一项所述的方法，其特征在于，获取所述图像包括在道路方向上获取所述图像。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
获取多个图像；
从每个所述获取的图像中提取位置识别特征；
使用所述位置识别特征生成每个所述获取的图像的多维签名；
通过降低每个所述多维签名的维度来生成压缩签名；
使用多个压缩签名检索所述装置的所述位置。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括测量第一个图像与最后一个图像之间的地理距离。
5.根据权利要求1至4中任一项所述的方法，其特征在于，检索所述装置的所述位置包括：
生成包括所述压缩签名的请求；
将所述请求的所述压缩签名与包括多个压缩签名的数据库匹配，其中，每个所述压缩签名与位置相关联；
根据与所述至少一个签名匹配的所述压缩签名的位置确定所述装置的所述位置。
6.根据权利要求5所述的方法，其特征在于，匹配包括查找与所述请求的所述压缩签名最相似的压缩签名序列。
7.根据权利要求1至4中任一项所述的方法，其特征在于，检索所述位置包括：
生成包括所述压缩签名的请求；
根据与至少一个签名匹配的所述压缩签名的位置，将所述请求发送到适合于将所述请求的所述压缩签名与包括与所述装置的所述位置相关联的多个压缩签名的数据库匹配的外部数据库；
响应于所述请求，接收所述装置的所述位置。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述位置识别特征是使用用于查找相关位置识别特征的机器学习装置提取的。
9.一种包括计算机程序代码的计算机程序，其特征在于，所述计算机程序代码用于当所述计算机程序代码在计算装置中执行时，执行根据权利要求1至8中任一项所述的方法。
10.一种装置，其特征在于，包括：
摄像头，用于获取图像；
处理电路，用于：
从所述获取的图像中提取位置识别特征；
使用所述位置识别特征生成所述获取的图像的多维签名；
通过降低所述获取的图像的所述多维签名的维度来生成压缩签名；
使用包括所述压缩签名的至少一个压缩签名检索所述装置的所述位置。
11.根据权利要求10所述的装置，其特征在于，所述摄像头用于在道路方向上获取所述图像。
12.根据权利要求10或11所述的装置，其特征在于，所述摄像头用于：
获取多个图像；
所述处理电路用于：
从每个所述获取的图像中提取位置识别特征；
使用所述位置识别特征生成每个所述获取的图像的多维签名；
通过降低每个所述多维签名的维度来生成压缩签名；
使用多个压缩签名检索所述装置的所述位置。
13.根据权利要求12所述的装置，其特征在于，所述处理电路还用于：测量第一个图像与最后一个图像之间的地理距离。
14.根据权利要求10至13中任一项所述的装置，其特征在于，当检索所述装置的所述位置时，所述处理电路还用于：
生成包括所述压缩签名的请求；
将所述请求的一个或多个压缩签名与包括多个压缩签名的数据库匹配，其中，每个所述压缩签名与位置相关联；
根据与所述至少一个签名匹配的所述压缩签名的位置确定所述装置的所述位置。
15.根据权利要求14所述的装置，其特征在于，当匹配时，所述处理电路还用于查找与所述请求的所述压缩签名最相似的压缩签名序列。
16.根据权利要求10至13中任一项所述的装置，其特征在于，当检索所述装置的所述位置时，所述处理电路还用于：
生成包括所述压缩签名的请求；
根据与至少一个压缩签名匹配的所述压缩签名的位置，将所述请求发送到适合于将所述请求的一个或多个压缩签名与包括与所述装置的所述位置相关联的多个压缩签名的数据库匹配的外部服务；
响应于所述请求，接收所述装置的所述位置。
17.根据权利要求10至16中任一项所述的装置，其特征在于，所述处理电路用于使用用于查找相关位置识别特征的机器学习装置提取所述位置识别特征。
18.一种用于定位的服务器，其特征在于，包括：
数据库，所述数据库包括与位置相关联的多个压缩签名；
处理电路，所述处理电路用于：
接收包括至少一个压缩签名的请求；
将所述请求的至少一个压缩签名与包括多个压缩签名的数据库匹配，其中，每个所述压缩签名与位置相关联；
根据与所述至少一个签名匹配的所述压缩签名的位置确定请求装置的位置。
19.根据权利要求18所述的服务器，其特征在于，匹配包括查找与所述请求的所述压缩签名最相似的压缩签名序列。
CN202080045672.8A 2020-10-29 2020-10-29 用于定位设备的装置和方法 Pending CN114710970A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2020/080338 WO2022089743A1 (en) 2020-10-29 2020-10-29 Apparatuses and methods for positioning a device

Publications (1)

Publication Number Publication Date
CN114710970A true CN114710970A (zh) 2022-07-05

Family

ID=73037990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080045672.8A Pending CN114710970A (zh) 2020-10-29 2020-10-29 用于定位设备的装置和方法

Country Status (3)

Country Link
EP (1) EP4204766A1 (zh)
CN (1) CN114710970A (zh)
WO (1) WO2022089743A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927387A (zh) * 2014-04-30 2014-07-16 成都理想境界科技有限公司 图像检索系统及其相关方法和装置
US9940729B1 (en) * 2016-11-18 2018-04-10 Here Global B.V. Detection of invariant features for localization
CN110929589A (zh) * 2019-10-31 2020-03-27 浙江大华技术股份有限公司 车辆特征识别的方法、设备、计算机设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102534792B1 (ko) * 2015-02-10 2023-05-19 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
US10416681B2 (en) * 2017-07-12 2019-09-17 Mitsubishi Electric Research Laboratories, Inc. Barcode: global binary patterns for fast visual inference

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927387A (zh) * 2014-04-30 2014-07-16 成都理想境界科技有限公司 图像检索系统及其相关方法和装置
US9940729B1 (en) * 2016-11-18 2018-04-10 Here Global B.V. Detection of invariant features for localization
CN110929589A (zh) * 2019-10-31 2020-03-27 浙江大华技术股份有限公司 车辆特征识别的方法、设备、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SIXING HU等: "CVM-Net: Cross-View Matching Network for Image-Based Ground-to-Aerial Geo-Localization", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 14 December 2018 (2018-12-14), pages 3 - 6 *

Also Published As

Publication number Publication date
EP4204766A1 (en) 2023-07-05
WO2022089743A1 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
US10698100B2 (en) Method and device for determining the position of a vehicle
US12117541B2 (en) Positioning method and device, and server and system
KR20190082071A (ko) 전자 지도를 업데이트하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체
JP5589900B2 (ja) 局所地図生成装置、グローバル地図生成装置、及びプログラム
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
CN111551186A (zh) 一种车辆实时定位方法、系统及车辆
WO2020140164A1 (en) Systems and methods for updating a high-definition map
US20120176494A1 (en) System and method for virtual range estimation
KR102522923B1 (ko) 차량의 자기위치 추정 장치 및 그 방법
CN112689234B (zh) 室内车辆定位方法、装置、计算机设备和存储介质
CN111159459B (zh) 地标定位方法、装置、计算机设备以及存储介质
US20220398825A1 (en) Method for generating 3d reference points in a map of a scene
CN110851545A (zh) 地图绘制方法、装置及设备
CN116097128A (zh) 用于对车辆位置进行确定的方法和设备
CN112513576A (zh) 导航方法及装置
WO2018131546A1 (ja) 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム
KR102622587B1 (ko) 정밀측위 시스템의 종방향 위치 오차를 보정하기 위한 장치 및 방법
US20200158887A1 (en) Device for estimating vehicle location and method for the same
US11812342B2 (en) Cellular-based navigation method
CN111397602A (zh) 一种宽频电磁指纹与组合导航融合的高精度定位方法与设备
CN110674327A (zh) 一种较精确的定位方法和装置
CN114710970A (zh) 用于定位设备的装置和方法
Verentsov et al. Bayesian framework for vehicle localization using crowdsourced data
De Agostino et al. GIMPHI: a new integration approach for early impact assessment
JP2018031627A (ja) 情報処理方法、情報処理プログラム、情報処理装置および情報処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination