CN111323024B - 定位方法及装置、设备、存储介质 - Google Patents

定位方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN111323024B
CN111323024B CN202010084290.8A CN202010084290A CN111323024B CN 111323024 B CN111323024 B CN 111323024B CN 202010084290 A CN202010084290 A CN 202010084290A CN 111323024 B CN111323024 B CN 111323024B
Authority
CN
China
Prior art keywords
fingerprint
positioning
map
fingerprint feature
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010084290.8A
Other languages
English (en)
Other versions
CN111323024A (zh
Inventor
杨宇尘
马标
李姬俊男
蒋燚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010084290.8A priority Critical patent/CN111323024B/zh
Publication of CN111323024A publication Critical patent/CN111323024A/zh
Application granted granted Critical
Publication of CN111323024B publication Critical patent/CN111323024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/46—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being of a radio-wave signal type

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Navigation (AREA)

Abstract

本申请实施例公开了定位方法及装置、设备、存储介质，其中，所述方法包括：获得电子设备所在位置的第一卫星信号、第一指纹特征和第一环境图像；根据所述第一卫星信号对所述电子设备进行卫星定位，以从地图中确定出与所述电子设备所在位置相关联的至少一个第二指纹特征；根据所述第一指纹特征和所述至少一个第二指纹特征，对所述电子设备进行指纹定位，以从所述至少一个第二指纹特征中筛选出至少一个目标指纹特征；从所述地图中获取每一所述目标指纹特征分别对应的视觉数据；根据所述第一环境图像和获取的所述视觉数据，对所述电子设备进行视觉定位，得到目标定位结果。

Description

定位方法及装置、设备、存储介质
技术领域
本申请实施例涉及电子技术，涉及但不限于定位方法及装置、设备、存储介质。
背景技术
视觉定位系统(Visual Positioning System，VPS)指的是通过图像信息，计算相机所在位置和相机的旋转信息，也就是用户的位姿。目前，视觉定位系统主要是利用事先获取到的标志物图像进行定位，将当前视觉特征和地图中的视觉特征进行匹配，从而计算当前相机的位姿。
然而，该方法无法实现大范围环境下的定位。例如，在城市级别的应用环境中，由于城市中的类似场景太多，这样就无法保证定位精度；且加载的地图数据量太大，这样在进行特征匹配时，耗时会非常大，从而导致定位的实时性较差。
发明内容
有鉴于此，本申请实施例提供定位方法及装置、设备、存储介质。
本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种定位方法，所述方法包括：获得电子设备所在位置的第一卫星信号、第一指纹特征和第一环境图像；根据所述第一卫星信号对所述电子设备进行卫星定位，以从地图中确定出与所述电子设备所在位置相关联的至少一个第二指纹特征；根据所述第一指纹特征和所述至少一个第二指纹特征，对所述电子设备进行指纹定位，以从所述至少一个第二指纹特征中筛选出至少一个目标指纹特征；从所述地图中获取每一所述目标指纹特征分别对应的视觉数据；根据所述第一环境图像和获取的所述视觉数据，对所述电子设备进行视觉定位，得到目标定位结果。
第二方面，本申请实施例提供一种定位装置，包括：第一获取模块，用于获得电子设备所在位置的第一卫星信号、第一指纹特征和第一环境图像；卫星定位模块，用于根据所述第一卫星信号对所述电子设备进行卫星定位，以从地图中确定出与所述电子设备所在位置相关联的至少一个第二指纹特征；指纹定位模块，用于根据所述第一指纹特征和所述至少一个第二指纹特征，对所述电子设备进行指纹定位，以从所述至少一个第二指纹特征中筛选出至少一个目标指纹特征；第二获取模块，用于从所述地图中获取每一所述目标指纹特征分别对应的视觉数据；视觉定位模块，用于根据所述第一环境图像和获取的所述视觉数据，对所述电子设备进行视觉定位，得到目标定位结果。
第三方面，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例任一所述定位方法中的步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例任一所述定位方法中的步骤。
本申请实施例中，首先，电子设备根据接收的第一卫星信号，进行一级定位，以从地图中确定出与所在位置相关联的至少一个第二指纹特征；然后，电子设备根据所在位置的第一指纹特征和所述至少一个第二指纹特征，进行二级定位，以从至少一个第二指纹特征中筛选出至少一个目标指纹特征；最后，电子设备根据所在位置的第一环境图像和每一目标指纹特征对应的视觉数据，进行三级定位，从而得到目标定位结果；如此，一方面，通过二级定位能够缩小视觉数据的覆盖范围，从而使得视觉数据中尽可能地包含较少的重复场景，进而提高三级定位的定位精度，实现更高精度的定位；另一方面，视觉数据的覆盖范围缩小，意味着视觉数据的数据量非常小，这样能够达到降低视觉定位的计算开销，进而提高更高精度定位的实时性。
附图说明
图1为本申请实施例地图的构建方法实现流程示意图；
图2为本申请实施例定位方法的实现流程示意图；
图3为本申请实施例电子设备所在的Geohash区域示意图；
图4为本申请实施例电子设备所处的网络环境示意图；
图5为本申请实施例地图构建和定位方法的实现流程示意图；
图6为本申请实施例将某块物理区域60划分成多个网格的示意图；
图7A为本申请实施例定位装置的组成结构示意图；
图7B为本申请实施例另一定位装置的组成结构示意图；
图8为本申请实施例电子设备的一种硬件实体示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
需要指出，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
本申请实施例提供一种定位方法，所述方法可以应用于电子设备，所述电子设备可以是手机、平板电脑、笔记本电脑、台式计算机、机器人、无人机等具有定位能力的设备。所述定位方法所实现的功能可以通过所述电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，所述电子设备至少包括处理器和存储介质。
本申请实施例先对地图的构建方法进行说明，图1为本申请实施例地图的构建方法的实现流程示意图，如图1所示，所述方法可以包括以下步骤101至步骤104：
步骤101，在移动的过程中获得多组目标数据，每组所述目标数据包括对应的采集位置处的第二指纹特征、第二卫星信号和第二环境图像。
需要说明的是，在卫星导航领域，卫星导航系统主要包括北斗系统、全球定位系统(Global Positioning System，GPS)、印度区域导航卫星系统(Indian RegionalNavigation Satellite System，IRNSS)和伽利略系统。在本申请实施例中，对于卫星信号的类型可以是上述卫星导航系统的任一类型，换言之，电子设备接收的卫星信号可以是北斗卫星信号、GPS卫星信号、IRNSS卫星信号或者伽利略卫星信号。
所谓指纹特征，指的是某个位置处的无线网络特征，由于无线信号在传播的过程中存在路径损耗和多径衰落等，所以，不同的位置处的指纹特征通常是不同的。在实现时，指纹特征可以是电子设备在某个位置处能够检测到的网络节点的接收信号强度值(Received Signal Strength，RSS)，还可以是电子设备在某个位置处获得的信道状态信息(Channel State Information，CSI)，或者，还可以是RSS或者CSI在特定时长内的变化情况等。网络节点，可以是以下至少之一：无线保真(Wireless-Fidelity，Wi-Fi)节点(即无线节点AP)、用于移动通信的基站、蓝牙。当然，网络节点还可以是其他用于发送无线信号的节点。
所谓环境图像，包括的是电子设备在某个位置处的环境。例如，电子设备在某个位置处拍摄了一张图像，该图像即为环境图像。
在实现时，可以通过电子设备同步完成上述三种信息的采集。例如，电子设备通过内置的卫星导航模块、无线通信模块和相机，同步采集上述三种信息，并根据时间戳将上述三种信息对齐。
步骤102，根据每一所述采集位置处的第二卫星信号，分别确定对应的第二标识码。
例如，第二卫星信号为GPS信号，电子设备在实现时，可以利用Geohash算法对接收的GPS信号进行计算，从而得到表征电子设备当前所在区域的Geohash编码，即第二标识码的一种示例。
步骤103，对每一所述采集位置处的第二环境图像分别进行处理，得到对应的视觉数据。
在实现时，电子设备在每一位置处可能采集了多帧第二环境图像，例如，电子设备在多种姿态下，即不同的拍摄角度，拍摄周围的环境，从而得到多帧第二环境图像。
电子设备可以在每一位置处以采集视频或者拍照的方式获得所述多帧第二环境图像。电子设备对于采集的视频，可以从中选取部分图像作为第二环境图像，例如，电子设备的移动距离超过第二距离阈值时，将当前获得的视频帧作为第二环境图像；然后，将获得的多帧第二环境图像输入至一个前端为视觉惯性里程计(Visual-Inertial Odometry，VIO)的即时定位与地图构建(Simultaneous Localization And Mapping，SLAM)中，以获得采集位置处对应的视觉数据，该视觉数据包括：每帧第二环境图像的相机位姿、点云数据(包括图像中每一特征点的空间三维坐标、像素坐标和描述子)和词袋模型特征。在一些实施例中，该视觉数据还包括每帧第二环境图像包含的关键文字信息，例如，所述关键文字信息可以是建筑物的名称、道路标识等。
步骤104，将每一所述采集位置处的第二标识码、视觉数据和第二指纹特征作为一组地图数据，记录在所述地图中，以实现所述地图的构建。
本申请实施例再提供一种地图的构建方法，所述方法可以包括以下步骤201至步骤207：
步骤201，在移动的过程中按照特定采集参数采集多组候选数据，每组所述候选数据包括对应的采集位置处的候选指纹特征、候选卫星信号和候选环境图像。
所述采集参数可以包括特定的采集频率和特定的采集时长，即，在每次采集数据时，持续时长为所述采集时长。例如，每次开始采集数据时，均采集30秒的数据。
可以理解地，每组候选数据是在不同的时间和不同的位置采集的数据。
步骤202，确定每一所述候选指纹特征与已确定的第二指纹特征之间的第二相似度。
在本申请实施例中，第二相似度可以是欧式距离、汉明距离或者余弦相似度等。在实现时，电子设备可以边采集候选数据，边筛选候选指纹特征。电子设备可以先确定当前采集的候选指纹特征与之前已确定的第二指纹特征之间的第二相似度；然后，判断该相似度是否大于第二阈值；如果是，则将当前采集的候选指纹特征确定为第二指纹特征，记录在地图中；否则，删除该候选指纹特征。如此，使得地图中保留的第二指纹特征均为显著性比较高的特征，换言之，地图中记录的多个第二指纹特征之间的区别比较大，这样一方面能够在一定程度上提高定位的精度，另一方面能够降低指纹定位时的计算开销。
步骤203，将所述第二相似度大于第二阈值的候选指纹特征确定为第二指纹特征；
步骤204，将所述第二指纹特征、与所述第二指纹特征对应的候选卫星信号和候选环境图像，确定为一组所述目标数据。
这里，所述第二指纹特征即为步骤203中确定的第二指纹特征，与该第二指纹特征对应的候选卫星信号，在地图中被称为第二卫星信号；与该第二指纹特征对应的候选环境图像，在地图中被称为第二环境图像。
步骤205，根据每一所述采集位置处的第二卫星信号，分别确定对应的第二标识码；
步骤206，对每一所述采集位置处的第二环境图像分别进行处理，得到对应的视觉数据；
步骤207，将每一所述采集位置处的第二标识码、视觉数据和第二指纹特征作为一组地图数据，记录在所述地图中，以实现所述地图的构建。
在完成地图的构建之后，电子设备就可以基于所述地图进行定位了，图2为本申请实施例定位方法的实现流程示意图，如图2所示，所述方法可以包括以下步骤301至步骤305：
步骤301，获得电子设备所在位置的第一卫星信号、第一指纹特征和第一环境图像。
需要说明的是，第一卫星信号与第二卫星信号不同，两者可能是电子设备在不同的时间和不同的位置接收的信息，还可能是电子设备在同一位置的不同时间接收的信息。同理，第一指纹特征和第二指纹特征不同，两者可能是电子设备在不同的时间和不同的位置采集的特征，还可能是在同一位置的不同时间采集的特征。第一环境图像和第二环境图像不同，两者可能是电子设备在不同的时间和不同的位置拍摄的图像，还可能是在同一位置的不同时间拍摄的图像。
步骤302，根据所述第一卫星信号对所述电子设备进行卫星定位，以从地图中确定出与所述电子设备所在位置相关联的至少一个第二指纹特征。
需要说明的是，第二指纹特征与第一指纹特征不同，第一指纹特征指的是电子设备当前所在位置处的特征，通常被称为在线定位时采集的特征。而，第二指纹特征指的是在构建地图时在某个位置处采集的特征，通常被称为在离线建图时采集的特征。
在实现时，电子设备可以根据第一卫星信号，确定电子设备当前在地图上的目标区域，然后，从地图中获取该区域内的第二指纹特征；在另一实施例中，电子设备还可以获取该目标区域的周围区域内的第二指纹特征。换言之，与所述电子设备所在位置相关联的至少一个第二指纹特征，可以仅包括目标区域内的第二指纹特征，还可以包括目标区域和其周围区域内的第二指纹特征。
举例来说，第一卫星信号为GPS信号，电子设备根据该GPS信号，电子设备当前所在的Geohash区域(即目标区域的一种示例)的Geohash编码。如图3所示，电子设备当前位置(即白色圆点301)所在的Geohash区域的Geohash编码为(2，3)，那么在实现时，可以从(2，3)标识的区域和该区域的周围8个区域，即总区域30内检索对应的第二指纹特征。
步骤303，根据所述第一指纹特征和所述至少一个第二指纹特征，对所述电子设备进行指纹定位，以从所述至少一个第二指纹特征中筛选出至少一个目标指纹特征。
在实现时，电子设备将第一指纹特征与每一所述第二指纹特征分别进行比较，以确定两者之间的相似度，从而从所述至少一个第二指纹特征中选出满足条件的目标指纹特征。例如，如下实施例步骤503至步骤505。
步骤304，从所述地图中获取每一所述目标指纹特征分别对应的视觉数据。
在一些实施例中，视觉数据包括在对应位置处拍摄的至少一帧第二环境图像、电子设备的相机在拍摄每帧第二环境图像时对应的相机位姿、从每帧第二环境图像中提取的点云数据和每帧第二环境图像对应的词袋模型特征；其中，所述点云数据包括图像的多个特征点的特征描述子、像素坐标和三维空间坐标。在另一些实施例中，视觉数据除了包括上述数据，还包括每帧第二环境图像中包含的关键文字信息，所述关键文字信息，例如为标志性建筑物的名称、道路标识等。
从地图的构建方法实施例中可以看出，在地图中，同一位置处的第二指纹特征和视觉数据是被关联存储的，因此，可以从地图中获取每一目标指纹特征分别对应的视觉数据。
步骤305，根据所述第一环境图像和获取的所述视觉数据，对所述电子设备进行视觉定位，得到目标定位结果。
需要说明的是，所述目标定位结果可以至少包括以下之一：电子设备的三维空间坐标、电子设备的朝向(即姿态)。
在本申请实施例中，首先，电子设备根据接收的第一卫星信号，进行一级定位，以从地图中确定出与所在位置相关联的至少一个第二指纹特征；然后，电子设备根据所在位置的第一指纹特征和所述至少一个第二指纹特征，进行二级定位，以从至少一个第二指纹特征中筛选出至少一个目标指纹特征；最后，电子设备根据所在位置的第一环境图像和每一目标指纹特征对应的视觉数据，进行三级定位，从而得到目标定位结果；如此，一方面，通过二级定位能够缩小视觉数据的覆盖范围，从而使得视觉数据中尽可能地包含较少的重复场景，进而提高三级定位的定位精度，实现更高精度的定位；另一方面，视觉数据的覆盖范围缩小，意味着视觉数据的数据量非常小，这样能够达到降低视觉定位的计算开销，进而提高更高精度定位的实时性。
举例来说，一级定位，即卫星定位，能够确定电子设备在哪栋楼；二级定位，即指纹定位，能够确定电子设备在该栋楼的哪个房间；三级定位，即视觉定位，能够进一步确定电子设备在该房间的具体位置。如此，在进行视觉定位时，只需根据该房间内的视觉数据，即可实现更高精度的定位，并且还能够降低视觉定位的计算开销，从而提高更高精度定位的实时性。
本申请实施例再提供一种定位方法，所述方法可以包括以下步骤401至步骤406：
步骤401，获得电子设备所在位置的第一卫星信号、第一指纹特征和第一环境图像；
步骤402，根据所述第一卫星信号，对所述电子设备进行卫星定位，得到所述电子设备所在区域的第一标识码。
例如，第一卫星信号为GPS信号，电子设备在实现时，可以利用Geohash算法对接收的GPS信号进行计算，从而得到表征电子设备当前所在区域的Geohash编码，即第一标识码的一种示例。
步骤403，从所述地图中，获取与所述第一标识码相关联的至少一个第二指纹特征。
所谓相关联的至少一个第二指纹特征，指的是包括直接与第一标识码对应的每一第二指纹特征，还可以包括与第一标识码的距离小于第二距离阈值的第二标识码对应的每一第二指纹特征。
在一些实施例中，电子设备可以通过如下步骤4031至步骤4033实现：步骤4031，确定所述第一标识码分别与所述地图中的多个第二标识码之间的距离；步骤4032，将满足特定条件的每一距离对应的第二标识码，确定为目标标识码；步骤4033，从所述地图中，获取每一所述目标标识码对应的第二指纹特征。
可以理解地，实际上电子设备通过执行上述步骤4031至步骤4033，是为了获得电子设备所在区域内的第二指纹特征和与电子设备所在区域相邻近的其他区域内的第二指纹特征；这样，可以增加定位方法的可靠性。
电子设备在实现步骤4032时，可以将步骤4031得到的每一距离进行排序，取前M个最小距离对应的第二标识码，作为所述目标标识码；其中，M为大于0的整数。
在另一实施例中，电子设备在实现步骤4032时，还可以将大于第二距离阈值的距离对应的第二标识码，作为所述目标标识码。
步骤404，根据所述第一指纹特征和所述至少一个第二指纹特征，对所述电子设备进行指纹定位，以从所述至少一个第二指纹特征中筛选出至少一个目标指纹特征；
步骤405，从所述地图中获取每一所述目标指纹特征分别对应的视觉数据；
步骤406，根据所述第一环境图像和获取的所述视觉数据，对所述电子设备进行视觉定位，得到目标定位结果。
在本申请实施例中，电子设备在进行一级定位时，根据第一卫星信号，对电子设备进行卫星定位，得到电子设备所在区域的第一标识码；从地图中获取与第一标识码相关联的至少一个第二指纹特征；如此，通过标识码，能够高效、快速地从地图中检索出与电子设备所在位置相关联的第二指纹特征。
本申请实施例再提供一种定位方法，所述方法可以包括以下步骤501至步骤509：
步骤501，获得电子设备所在位置的第一卫星信号、第一指纹特征和第一环境图像；
步骤502，根据所述第一卫星信号对所述电子设备进卫星行定位，以从地图中确定出与所述电子设备所在位置相关联的至少一个第二指纹特征；
步骤503，确定所述第一指纹特征分别与每一所述第二指纹特征之间的第一相似度，以得到第一集合。
在本申请实施例中，第一相似度可以是欧式距离、汉明距离或者余弦相似度等。以第一指纹特征为多个网络节点的接收信号强度值为例，电子设备所处的网络环境如图4所示，电子设备能够接收AP1、AP2、基站BS1和基站BS2发送的无线信号，则获取的第一指纹特征为
Figure BDA0002381492820000081
其中，
Figure BDA0002381492820000082
为电子设备在所处位置处接收Wi-Fi节点AP1发送的信号时多个信号强度的平均值，
Figure BDA0002381492820000083
为电子设备在所处位置处接收基站BS1发送的信号时多个信号强度的平均值。
假设某个第二指纹特征为
Figure BDA0002381492820000084
那么ρ1与ρ2之间的欧式距离d可以通过如下公式(1)确定：
Figure BDA0002381492820000085
在实际应用中，如公式(2)所示，指纹特征可以表示成特征向量XW：
XW＝{(I1,S1),…,(Iw,Sw)} (2)；
式中，Iw指的是网络节点的媒体存取控制位址(Media Access Control Address，MAC)地址，Sw指的是对应网络节点的接收信号强度值，w为电子设备在所在位置处能够检测到的网络节点总数。
步骤504，从所述第一集合中筛选出K个最小的第一相似度，得到第二集合，K为大于1的整数。
电子设备可以通过K最近邻(K-Nearest Neighbor，KNN)算法实现步骤503和步骤504。
步骤505，将所述第二集合中最小第一相似度对应的第二指纹特征和/或小于第一阈值的第j小第一相似度对应的第二指纹特征，确定为目标指纹特征；
其中，所述第j小第一相似度大于所述最小第一相似度，j为小于或等于所述第二集合中第一相似度总数且大于1的整数。
所述第一阈值，例如可以是第一系数与所述最小相似度的乘积；其中第一系数为大于或等于1的数。这样，从第二集合的除最小第一相似度外的其他第一相似度中，筛选出每一小于该乘积的第一相似度，从而确定对应的第二指纹特征。如此，相比于仅将最小第一相似度对应的第二指纹特征确定为目标指纹特征，能够使得电子设备根据更多的目标指纹特征，从而获得更多的视觉数据，进而提高定位的可靠性。
步骤506，从所述地图中获取每一所述目标指纹特征分别对应的视觉数据；
步骤507，从所述第一环境图像中提取关键文字信息。
例如，第一环境图像中包括某著名商店的名称，则将该名称确定为关键文字信息；再如，第一环境图像中包括某路标指示牌，则将该指示牌上指示的道路信息作为关键文字信息。
步骤508，从获取的所述视觉数据中，筛选出包含所述关键文字信息的目标视觉数据；
步骤509，根据所述第一环境图像和每一所述目标视觉数据，对所述电子设备进行视觉定位，得到目标定位结果。
在本申请实施例中，电子设备先进行卫星定位(即步骤501和步骤502)；然后，基于卫星定位的结果，再进行指纹定位(即步骤503至步骤506)；进一步地，从指纹定位结果，即每一目标指纹特征分别对应的视觉数据中，筛选出目标视觉数据；最后基于目标视觉数据和第一环境图像，进行视觉定位，获得目标定位结果；可见，在本申请实施例中，实际上进行了四层筛选，相比于基于指纹定位结果和第一环境图像确定目标定位结果，通过上述步骤507和步骤508，能够进一步缩小最终用于定位的视觉数据的数据量，从而降低计算开销，提高定位的实时性。
相关技术中，提供一种视觉定位方法，利用事先获取到的标志物图像进行定位，即，用当前视觉特征和地图中的视觉特征进行匹配，从而计算当前相机的位姿。但是该方法无法实现大范围环境下的定位，例如，在城市级别的应用环境中，由于城市中的类似场景太多，这样就无法保证定位精度；且数据量太大，这样在进行特征匹配时，耗时会非常大，导致定位的实时性较差。
在另一相关技术中，考虑用语义信息将场景中的动态物体(例如人、动物等)剔除，再进行建图。定位时使用集束优化，从而提高精度。这种方法在小范围地图中效果较好，例如超市、办公室等，能够精确定位。但在城市级大小，或者较大建筑物中，由于地图数据量太大，检索时间会很长，并且也无法区分相似场景。
在又一相关技术中，将GPS定位和视觉定位结合。但在建筑物中，GPS信号不好，无法获得可靠的定位信息。此时只用视觉定位，存在问题仍然是定位精度差和定位的实时性较差。
基于此，下面将说明本申请实施例在一个实际的应用场景中的示例性应用。
在本申请实施例中，提供一种融合视觉数据、Wi-Fi指纹和GPS的Geohash信息的建图算法，得到的地图包含多种传感器信息，基于此，进行三级定位，从而输出精度更高的定位结果。
在本申请实施例中，提供一种基于GPS的Geohash信息、Wi-Fi指纹和视觉数据的三层定位算法。利用GPS的Geohash编码，能够在城市级大小的地图范围内进行快速定位。利用Wi-Fi指纹，能够在办公室等重复性较高的场景中，选取正确的视觉数据，进而基于选取的视觉数据，实现高精度定位。
本申请实施例可以在城市范围内精确定位用户拍摄到的图片的6自由度位姿，包括平移的3个自由度和旋转的3个自由度。
在构建地图时，通过手机扫描环境，拍摄视频，并将拍摄的视频输入到一个前端为VIO的SLAM系统，或者一个带有尺度信息的运动中恢复结构(Structure From Motion，SFM)系统中，从而输出以下视觉数据：1.拍摄每一帧图像时对应的相机位姿。2.每一帧图像的点云数据。3.点云数据中每一特征点的位置和描述子。
这里的描述子使用尺寸不变特征变换(Scale Invariant Feature Transform，SIFT)描述子。它在非深度学习的描述子中对尺度、视角变化、光照的鲁棒性最好，相比于深度学习的描述子，计算速度更快。同时，将视觉数据在时间上或者位置上对应的Wi-Fi指纹和Geohash编码进行关联，记录在地图中。
Wi-Fi指纹指的是，每个无线节点(Access Point，AP)，例如无线路由器等，它们都有一个独有的MAC地址。用户在某个地方时，只要打开了Wi-Fi功能，就能够接收到周围所有AP发送的Wi-Fi信号和信号强度。GPS信息指的是用户所在位置的经纬度。
本申请实施例提供的地图构建和定位方法的实现流程，如图5所示，其中地图构建方法的实现流程可以包括以下步骤S1.1至步骤S1.3；定位方法的实现流程可以包括以下步骤S2.1至步骤S2.3：
步骤S1.1，手机将采集的视频输入到一个前端为VIO的SLAM系统中。这里使用realsense系统，它用双目鱼眼镜头和惯性测量单元(Inertial Measurement Unit，IMU)进行追踪，以获得相机位姿，同时可以采集红绿蓝(Red Green Blue，RGB)和飞行时间(Timeof Flight，TOF)深度数据。在RGB图像上提取SIFT描述子，再映射到深度图像上，就可以得到三维点云。由于TOF采集距离的限制，这种生成点云的方法只在室内，物体和相机距离较远的时候效果较好。
当在室外尺度较大的环境中建图时，可以结合前端为VIO的SLAM系统和SFM系统。
对于采集到的视频，手机只选取部分图像，也就是关键帧，存储到地图中，从而避免数据冗余。相机移动距离超过某个阈值，或旋转过某个阈值后，插入一个关键帧。
对于每个关键帧，具有对应的视觉数据，包括：拍摄关键帧时的相机位姿、基于关键帧得到的点云数据(包括关键帧中特征点的三维空间坐标、像素坐标、描述子)和关键帧的词袋模型特征。
步骤S1.2，手机采集Wi-Fi指纹信息，即，第二指纹特征的一种示例。这里不需要每帧图像都采集Wi-Fi指纹信息，因为相邻帧移动距离很小，能接收到的Wi-Fi信号强度变化不大。
采集到的Wi-Fi指纹如下公式(3)所示，可以表示成特征向量XW：
XW＝{(I1,S1),…,(Iw,Sw)} (3)；
式中，Iw指的是AP的MAC地址，Sw指的是对应AP的接收信号强度值，w为手机在所在位置处能够检测到的AP总数。
需要说明的是，接收信号强度值，如下公式(4)所示，与AP的发射功率、环境、信号频率和手机与AP之间的距离有关：
RSS＝Pt-K-10log10d (4)；
式中，RSS为接收信号强度，Pt为AP的发送功率，K是一个取决于环境和频率的常数，d为手机和AP之间的距离。
Wi-Fi信号的信号接收强度，在同一个位置也会有浮动。通常AP每大约100ms发送一个Beacon帧，包含了网络信息、网络的名字以及其他一些网络信息。Beacon帧是没有加密的，所以即便手机没有和这个AP连接，也能够接收到。
手机可以选择1秒内每个AP信号分别对应的平均接收信号强度，作为这一秒的Wi-Fi指纹特征向量。
由于手机在采集地图时会移动，采集到的Wi-Fi指纹也会变化。所以一张地图会对应多个Wi-Fi指纹。如果当前采集的Wi-Fi指纹和之前已记录在地图中的Wi-Fi指纹之间的欧氏距离超过了一定阈值，那么就将当前的Wi-Fi指纹记录下来，作为该地图的一个新指纹。计算欧氏距离的公式如下式(5)所示：
Figure BDA0002381492820000111
式中，Dj指当前的Wi-Fi指纹和地图中第j个Wi-Fi指纹之间的欧氏距离。Si指当前接收到的环境中第i个AP的信号强度。ρj,i指地图中第j个Wi-Fi指纹中，编号为i的AP信号强度。如果当前的Wi-Fi指纹中，接收到了一个地图Wi-Fi指纹j没有接收到的AP信号，那么这里的ρj,i为0。反之，如果地图Wi-Fi指纹j中，有一个当前没有接收到的AP信号，那么这时的Si为0。
如果当前的Wi-Fi指纹，和之前同一张地图中采集到的Wi-Fi指纹之间的欧氏距离都大于一个阈值，那么说明当前在一个之前没有采集到的地方进行指纹采集，因此将当前的Wi-Fi指纹就要保存下来。
最终地图中有N个Wi-Fi指纹，作为整张地图的Wi-Fi特征向量VW如下式(6)所示，其中，N为大于0的整数：
VW＝{XW,i,i∈[1,N]} (6)
步骤S1.3，手机采集GPS信号。
在实现时，手机获取当前所在位置处的经纬度信息。然后将当前所在位置处的经纬度信息，记录到Geohash中。Geohash是为了定位时，根据经纬度快速检索附近的离线地图。比如，图6所示，将某块物理区域60划分成多个网格，图中，点601的Geohash编码是(2，2)。点602的Geohash编码是(3，2)。即对每一个网格赋予一个具有唯一性的Geohash编码。
当采集地图时走动，导致GPS信号变化，Geohash编码变化时，例如点602代表的网格区域，有一部分在(2，2)的Geohash网格中，那么也可以通过(3，2)与(2，2)标识同一Geohash网格。
步骤S1.4，手机将采集到的视觉数据、Wi-Fi指纹和Geohash编码进行汇总，生成地图。
至此，完成了离线地图的构建，以下对基于离线地图进行多级定位的实施方式进行说明。
步骤S2.1，手机采集当前的GPS信号，计算当前所在的Geohash网格。
例如，图3所示，手机当前的位置在圆点301处，对应的Geohash编码为(2，3)，那么手机可以通过检索周围8个Geohash网格和网格(2，3)，从中获得对应的Wi-Fi指纹。
步骤S2.2，手机获取当前的Wi-Fi指纹，和步骤S2.1中获得的每一Wi-Fi指纹做比较。和采集地图时一样，这里采集1秒内的Wi-Fi指纹平均值作为当前的Wi-Fi指纹。
在进行指纹比较时，手机可以使用KNN算法。对步骤S2.1中获得的每一Wi-Fi指纹，分别计算与当前的Wi-Fi指纹之间的欧氏距离。这样手机可以得到K个和当前的Wi-Fi指纹最接近的地图指纹。
然后上述K个地图指纹进行筛选。记欧氏距离最小的Wi-Fi指纹为XW,0，对于上述K个地图指纹，其中如果有与当前的Wi-Fi指纹的欧氏距离小于rNNXW,0的地图指纹，那么将该地图指纹作为目标指纹。
步骤S2.3，手机根据当前帧与每一目标指纹对应的视觉数据，进行视觉定位，得到当前的6自由度相机位姿，其中包括3个位置自由度和3个旋转自由度。
在实现时，手机可以通过以下步骤实现S2.3.1至步骤S2.3.5实现：
步骤S2.3.1，对当前帧提取Noctave个尺度下的高斯差分(Difference ofGaussian，DoG)特征，并计算SIFT描述子。
其中，Noctave的值，如下公式(7)所示，由图像的分辨率决定：
Figure BDA0002381492820000121
式中，Noctave指的是尺度数量，round指四舍五入，log是以10为底的对数函数，Rimg,x指图像矩阵在水平方向的像素宽度，Rimg,y指图像矩阵在竖直方向的像素宽度。
步骤S2.3.2，手机可以根据提取出的SIFT描述子，以及一个预先训练好的词典文件，计算当前帧的SIFT词袋模型特征，并在地图中进行检索。
词典文件是一个将指定描述子聚类后的树状结构。在使用时，可以将每个SIFT描述子放到词典树中，得到最接近的一个单词。再计算这个描述子和这个单词之间的L2范数距离，并归一化，就得到了这个描述子在这个单词上的得分。
如果又有一个描述子和这个单词很接近，可以再计算归一化L2范数距离，再累加到这个单词的得分上。
对图像上所有的SIFT描述子计算词典得分后，如下式(8)所示，可以得到一个描述整张图像的特征向量Vbow，即词袋模型特征：
Vbow＝{(Wi,Si),i∈[1,N]} (8)；
式中，Wi指词典中第i个单词，Si指词典中第i个单词的得分。N指词典中的单词个数。如果图像中没有这个单词，那么单词得分为0。
在得到当前帧的词袋模型特征之后，再用KNN算法进行图像检索。用当前帧的词袋模型特征，和目标指纹对应的视觉数据中的每一关键帧的词袋模型特征，计算欧氏距离。当最小的欧氏距离，小于0.8乘以倒数第二小的欧氏距离时，说明最小的欧氏距离显著性较高，结果比较可靠，判定为检索成功，此时将前五名最小欧式距离对应的关键帧作为候选关键帧。否则判定为检索失败，没有检索到候选关键帧。
步骤S2.3.2，对当前帧和候选关键帧进行2D-3D特征匹配。
手机可以对当前帧和候选关键帧对应的SIFT描述子进行KNN匹配，这里K取2，计算当前帧中每个特征点的SIFT描述子与候选关键帧中的特征点的SIFT描述子之间的L2范数距离。当最小距离小于倒数第二小距离的0.8倍时，认为这个匹配对显著性较好。这里只考虑一对一的匹配，也就是说当候选关键帧中的某个特征点已经和当前帧中的某个特征点匹配上时，就不再与其他候选关键帧中的特征点进行匹配。
然后手机可以得到一组匹配对，每个匹配对包括当前帧中一个特征点的2D特征、候选关键帧中一个特征点的2D特征和3D特征。
步骤S2.3.4，对上述得到的匹配对，用随机抽样一致性(Random SampleConsensus，RANSAC)算法，并结合基础矩阵进行筛选，筛选掉错误的匹配对。
步骤S2.3.5，手机计算当前的相机位姿。可以用上一步得到的正确匹配对包括的信息，计算相机位姿。
这里可以使用RANSAC算法和P3P算法，确定相机位姿。先对上一步的正确匹配进行随机采样，每组存3个匹配对。每组分别计算相机位姿，再计算每个点云和当前帧中对应特征的重投影误差。选取重投影误差最小的作为最终的相机位姿。
在本申请实施例中，融合了视觉数据、Wi-Fi指纹和GPS的Geohash，能够在城市级的大场景中进行快速定位。且相比于其他基于单个传感器的定位方法，精度更高。
在本申请实施例中，构建地图和实施定位可以只使用手机，不需要其他设备，成本较低。
在本申请实施例中，使用精度较高的SIFT描述子，定位精度比使用其他传统描述子更高。
在一些实施例中，可以将图像检索和特征匹配使用的特征，替换成基于深度学习的特征。例如用HF-Net进行图像检索，用深度学习特征点(SuperPoint)的描述子进行建图。
在一些实施例中，可以在构建地图和实施定位所使用的图像中，进行语义分割，从而赋予点云语义信息，在匹配时只考虑语义标签相同的点进行匹配，从而提高匹配的正确率。
在一些实施例中，可以将地图和周围的商店、广告牌等信息绑定，提高检索地图的准确率。
基于前述的实施例，本申请实施例提供一种定位装置，该装置包括所包括的各模块、以及各模块所包括的各单元，可以通过电子设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图7A为本申请实施例定位装置的组成结构示意图，如图7A所示，所述装置700包括第一获取模块701、卫星定位模块702、指纹定位模块703、第二获取模块704和视觉定位模块705，其中：
第一获取模块701，用于获得电子设备所在位置的第一卫星信号、第一指纹特征和第一环境图像；
卫星定位模块702，用于根据所述第一卫星信号对所述电子设备进行卫星定位，以从地图中确定出与所述电子设备所在位置相关联的至少一个第二指纹特征；
指纹定位模块703，用于根据所述第一指纹特征和所述至少一个第二指纹特征，对所述电子设备进行指纹定位，以从所述至少一个第二指纹特征中筛选出至少一个目标指纹特征；
第二获取模块704，用于从所述地图中获取每一所述目标指纹特征分别对应的视觉数据；
视觉定位模块705，用于根据所述第一环境图像和获取的所述视觉数据，对所述电子设备进行视觉定位，得到目标定位结果。
在一些实施例中，卫星定位模块702，用于：根据所述第一卫星信号，对所述电子设备进行卫星定位，得到所述电子设备所在区域的第一标识码；从所述地图中，获取与所述第一标识码相关联的至少一个第二指纹特征。
在一些实施例中，卫星定位模块702，用于：确定所述第一标识码分别与所述地图中的多个第二标识码之间的距离；将满足特定条件的每一距离对应的第二标识码，确定为目标标识码；从所述地图中，获取每一所述目标标识码对应的第二指纹特征。
在一些实施例中，指纹定位模块703，用于：确定所述第一指纹特征分别与每一所述第二指纹特征之间的第一相似度，以得到第一集合；从所述第一集合中筛选出K个最小的第一相似度，得到第二集合，K为大于1的整数；将所述第二集合中最小第一相似度对应的第二指纹特征和/或小于第一阈值的第j小第一相似度对应的第二指纹特征，确定为目标指纹特征；其中，所述第j小第一相似度大于所述最小第一相似度，j为小于或等于所述第二集合中第一相似度总数且大于1的整数。
在一些实施例中，视觉定位模块705，用于：从所述第一环境图像中提取关键文字信息；从获取的所述视觉数据中，筛选出包含所述关键文字信息的目标视觉数据；根据所述第一环境图像和每一所述目标视觉数据，对所述电子设备进行视觉定位，得到目标定位结果。
在一些实施例中，如图7B所示，装置700还包括地图构建模块706，地图构建模块706，包括：数据采集单元，用于在移动的过程中获得多组目标数据，每组所述目标数据包括对应的采集位置处的第二指纹特征、第二卫星信号和第二环境图像；确定单元，用于根据每一所述采集位置处的第二卫星信号，分别确定对应的第二标识码；图像处理单元，对每一所述采集位置处的第二环境图像分别进行处理，得到对应的视觉数据；地图构建单元，用于将每一所述采集位置处的第二标识码、视觉数据和第二指纹特征作为一组地图数据，记录在所述地图中，以实现所述地图的构建。
在一些实施例中，所述数据采集单元，用于：在移动的过程中按照特定采集参数采集多组候选数据，每组所述候选数据包括对应的采集位置处的候选指纹特征、候选卫星信号和候选环境图像；确定每一所述候选指纹特征与已确定的第二指纹特征之间的第二相似度；将所述第二相似度大于第二阈值的候选指纹特征确定为第二指纹特征；将所述第二指纹特征、与所述第二指纹特征对应的候选卫星信号和候选环境图像，确定为一组所述目标数据。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的定位方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备(可以是手机、平板电脑、笔记本电脑、台式计算机、机器人、无人机等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
对应地，本申请实施例提供一种电子设备，图8为本申请实施例电子设备的一种硬件实体示意图，如图8所示，该电子设备800的硬件实体包括：包括存储器801和处理器802，所述存储器801存储有可在处理器802上运行的计算机程序，所述处理器802执行所述程序时实现上述实施例中提供的定位方法中的步骤。
存储器801配置为存储由处理器802可执行的指令和应用，还可以缓存待处理器802以及电子设备800中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。
对应地，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的定位方法中的步骤。
这里需要指出的是：以上存储介质、芯片和终端设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质、芯片和终端设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”或“一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“在一些实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的触摸屏系统的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的模块可以是、或也可以不是物理上分开的，作为模块显示的部件可以是、或也可以不是物理模块；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部模块来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能模块可以全部集成在一个处理单元中，也可以是各模块分别单独作为一个单元，也可以两个或两个以上模块集成在一个单元中；上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备(可以是手机、平板电脑、笔记本电脑、台式计算机、机器人、无人机等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种定位方法，其特征在于，所述方法包括：
获得电子设备所在位置的第一卫星信号、第一指纹特征和第一环境图像；
根据所述第一卫星信号对所述电子设备进行卫星定位，以从地图中确定出与所述电子设备所在位置相关联的至少一个第二指纹特征；所述地图是根据每一采集处的一组地图数据构建的；所述一组地图数据包括：视觉数据和所述第二指纹特征；
根据所述第一指纹特征和所述至少一个第二指纹特征，对所述电子设备进行指纹定位，以从所述至少一个第二指纹特征中筛选出至少一个目标指纹特征；
从所述地图中获取每一所述目标指纹特征分别对应的所述视觉数据；
根据所述第一环境图像和获取的所述视觉数据，对所述电子设备进行视觉定位，得到目标定位结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一卫星信号对所述电子设备进行卫星定位，以从地图中确定出与所述电子设备所在位置相关联的至少一个第二指纹特征，包括：
根据所述第一卫星信号，对所述电子设备进行卫星定位，得到所述电子设备所在区域的第一标识码；
从所述地图中，获取与所述第一标识码相关联的至少一个第二指纹特征。
3.根据权利要求2所述的方法，其特征在于，所述从所述地图中，获取与所述第一标识码相关联的至少一个第二指纹特征，包括：
确定所述第一标识码分别与所述地图中的多个第二标识码之间的距离；
将满足特定条件的每一距离对应的第二标识码，确定为目标标识码；
从所述地图中，获取每一所述目标标识码对应的第二指纹特征。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一指纹特征和所述至少一个第二指纹特征，对所述电子设备进行指纹定位，以从所述至少一个第二指纹特征中筛选出目标指纹特征，包括：
确定所述第一指纹特征分别与每一所述第二指纹特征之间的第一相似度，以得到第一集合；
从所述第一集合中筛选出K个最小的第一相似度，得到第二集合，K为大于1的整数；
将所述第二集合中最小第一相似度对应的第二指纹特征和/或小于第一阈值的第j小第一相似度对应的第二指纹特征，确定为目标指纹特征；
其中，所述第j小第一相似度大于所述最小第一相似度，j为小于或等于所述第二集合中第一相似度总数且大于1的整数。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一环境图像和获取的所述视觉数据，对所述电子设备进行视觉定位，得到目标定位结果，包括：
从所述第一环境图像中提取关键文字信息；
从获取的所述视觉数据中，筛选出包含所述关键文字信息的目标视觉数据；
根据所述第一环境图像和每一所述目标视觉数据，对所述电子设备进行视觉定位，得到目标定位结果。
6.根据权利要求2所述的方法，其特征在于，所述地图的构建方法包括：
在移动的过程中获得多组目标数据，每组所述目标数据包括对应的采集位置处的第二指纹特征、第二卫星信号和第二环境图像；
根据每一所述采集位置处的第二卫星信号，分别确定对应的第二标识码；
对每一所述采集位置处的第二环境图像分别进行处理，得到对应的视觉数据；
将每一所述采集位置处的第二标识码、视觉数据和第二指纹特征作为一组地图数据，记录在所述地图中，以实现所述地图的构建。
7.根据权利要求6所述的方法，其特征在于，所述在移动的过程中获得多组目标数据，包括：
在移动的过程中按照特定采集参数采集多组候选数据，每组所述候选数据包括对应的采集位置处的候选指纹特征、候选卫星信号和候选环境图像；
确定每一所述候选指纹特征与已确定的第二指纹特征之间的第二相似度；
将所述第二相似度大于第二阈值的候选指纹特征确定为第二指纹特征；
将所述第二指纹特征、与所述第二指纹特征对应的候选卫星信号和候选环境图像，确定为一组所述目标数据。
8.一种定位装置，其特征在于，包括：
第一获取模块，用于获得电子设备所在位置的第一卫星信号、第一指纹特征和第一环境图像；
卫星定位模块，用于根据所述第一卫星信号对所述电子设备进行卫星定位，以从地图中确定出与所述电子设备所在位置相关联的至少一个第二指纹特征；所述地图是根据每一采集处的一组地图数据构建的；所述一组地图数据包括:视觉数据和所述第二指纹特征；
指纹定位模块，用于根据所述第一指纹特征和所述至少一个第二指纹特征，对所述电子设备进行指纹定位，以从所述至少一个第二指纹特征中筛选出至少一个目标指纹特征；
第二获取模块，用于从所述地图中获取每一所述目标指纹特征分别对应的所述视觉数据；
视觉定位模块，用于根据所述第一环境图像和获取的所述视觉数据，对所述电子设备进行视觉定位，得到目标定位结果。
9.一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述定位方法中的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述定位方法中的步骤。
CN202010084290.8A 2020-02-10 2020-02-10 定位方法及装置、设备、存储介质 Active CN111323024B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010084290.8A CN111323024B (zh) 2020-02-10 2020-02-10 定位方法及装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010084290.8A CN111323024B (zh) 2020-02-10 2020-02-10 定位方法及装置、设备、存储介质

Publications (2)

Publication Number Publication Date
CN111323024A CN111323024A (zh) 2020-06-23
CN111323024B true CN111323024B (zh) 2022-11-15

Family

ID=71165162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010084290.8A Active CN111323024B (zh) 2020-02-10 2020-02-10 定位方法及装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN111323024B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111935641B (zh) * 2020-08-14 2022-08-19 上海木木聚枞机器人科技有限公司 一种室内自定位的实现方法、智能移动设备和存储介质
CN112284394A (zh) * 2020-10-23 2021-01-29 北京三快在线科技有限公司 一种地图构建及视觉定位的方法及装置
CN113311459B (zh) * 2021-06-17 2024-01-30 东南大学 一种室内伪卫星观测量指纹匹配定位方法
CN113612824A (zh) * 2021-07-23 2021-11-05 上海瓶钵信息科技有限公司 标定数据的管理方法、系统、介质及设备
CN113674400A (zh) * 2021-08-18 2021-11-19 公安部物证鉴定中心 基于重定位技术的光谱三维重建方法、系统及存储介质
CN113840228B (zh) * 2021-08-25 2024-04-02 北京航空航天大学杭州创新研究院 一种基于定位匹配的行人室内定位方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11120240A (ja) * 1997-10-14 1999-04-30 Fujitsu Ltd 携帯型端末装置及びそれを用いた情報管理システム並びに情報管理方法
CN106793086A (zh) * 2017-03-15 2017-05-31 河北工业大学 一种室内定位方法
CN106908821A (zh) * 2017-02-28 2017-06-30 北京交通大学 一种室内外无缝定位切换方法
CN107547598A (zh) * 2016-06-27 2018-01-05 华为技术有限公司 一种定位方法、服务器及终端
CN109099929A (zh) * 2018-07-13 2018-12-28 武汉理工大学 基于场景指纹的智能车定位装置及方法
EP3460405A1 (en) * 2017-09-25 2019-03-27 Mapsted Corp. Crowd-sourced passive positioning and calibration
US10345452B1 (en) * 2018-11-05 2019-07-09 Mapsted Corp. Method and system for mobile device localization region in trusted-GPS region
CN110675457A (zh) * 2019-09-27 2020-01-10 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8185134B2 (en) * 2008-10-21 2012-05-22 Qualcomm Incorporated Multimode GPS-enabled camera
US20190320061A1 (en) * 2018-04-13 2019-10-17 Magnet Smart Networking, Incorporated Proximity-based event networking system and wearable augmented reality clothing

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11120240A (ja) * 1997-10-14 1999-04-30 Fujitsu Ltd 携帯型端末装置及びそれを用いた情報管理システム並びに情報管理方法
CN107547598A (zh) * 2016-06-27 2018-01-05 华为技术有限公司 一种定位方法、服务器及终端
CN106908821A (zh) * 2017-02-28 2017-06-30 北京交通大学 一种室内外无缝定位切换方法
CN106793086A (zh) * 2017-03-15 2017-05-31 河北工业大学 一种室内定位方法
EP3460405A1 (en) * 2017-09-25 2019-03-27 Mapsted Corp. Crowd-sourced passive positioning and calibration
CN109099929A (zh) * 2018-07-13 2018-12-28 武汉理工大学 基于场景指纹的智能车定位装置及方法
US10345452B1 (en) * 2018-11-05 2019-07-09 Mapsted Corp. Method and system for mobile device localization region in trusted-GPS region
CN110675457A (zh) * 2019-09-27 2020-01-10 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
国内室内定位技术发展现状综述;闫大禹，宋伟，王旭丹，胡子烨;《导航定位学报》;20191231;第5-12页 *

Also Published As

Publication number Publication date
CN111323024A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN111323024B (zh) 定位方法及装置、设备、存储介质
CN109829398B (zh) 一种基于三维卷积网络的视频中的目标检测方法
CN110645986B (zh) 定位方法及装置、终端、存储介质
CN111652934B (zh) 定位方法及地图构建方法、装置、设备、存储介质
Chen et al. City-scale landmark identification on mobile devices
CN103609178B (zh) 地点辅助的识别
US10062010B2 (en) System for building a map and subsequent localization
Ardeshir et al. GIS-assisted object detection and geospatial localization
CN107131883B (zh) 基于视觉的全自动移动终端室内定位系统
CN110738143A (zh) 定位方法及装置、设备、存储介质
JP2019087229A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
US9792528B2 (en) Information processing system, information processing method, information processing apparatus and control method and control program thereof, and communication terminal and control method and control program thereof
CN112445929B (zh) 视觉定位方法及相关装置
US20060120589A1 (en) Image matching system using 3-dimensional object model, image matching method, and image matching program
EP3274964B1 (en) Automatic connection of images using visual features
EP3818741A1 (en) Method, apparatus and computer program for performing three dimensional radio model construction
CN111310728B (zh) 基于监控相机和无线定位的行人重识别系统
Vishal et al. Accurate localization by fusing images and GPS signals
CN109063549A (zh) 基于深度神经网络的高分辨率航拍视频运动目标检测方法
CN114241464A (zh) 基于深度学习的跨视角影像实时匹配地理定位方法及系统
CN107578003B (zh) 一种基于地理标记图像的遥感图像迁移学习方法
Xue et al. A fast visual map building method using video stream for visual-based indoor localization
CN112132754B (zh) 一种车辆移动轨迹修正方法及相关装置
KR102249381B1 (ko) 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법
Sui et al. An accurate indoor localization approach using cellphone camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant