CN110645986B - 定位方法及装置、终端、存储介质 - Google Patents

定位方法及装置、终端、存储介质 Download PDF

Info

Publication number
CN110645986B
CN110645986B CN201910922471.0A CN201910922471A CN110645986B CN 110645986 B CN110645986 B CN 110645986B CN 201910922471 A CN201910922471 A CN 201910922471A CN 110645986 B CN110645986 B CN 110645986B
Authority
CN
China
Prior art keywords
image
key frame
determining
map
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910922471.0A
Other languages
English (en)
Other versions
CN110645986A (zh
Inventor
金珂
马标
李姬俊男
刘耀勇
蒋燚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910922471.0A priority Critical patent/CN110645986B/zh
Publication of CN110645986A publication Critical patent/CN110645986A/zh
Priority to PCT/CN2020/117156 priority patent/WO2021057797A1/zh
Application granted granted Critical
Publication of CN110645986B publication Critical patent/CN110645986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种定位方法，包括：根据用于采集待处理图像的图像采集设备所处的当前网络的网络特征信息和预设第一地图，确定所述图像采集设备所处的目标区域；根据待处理图像的第一图像特征，从所述目标区域对应的预设第二地图中存储的关键帧图像的图像特征中，匹配出第二图像特征；根据所述第二图像特征，确定所述图像采集设备的位姿信息。本申请实施例还同时提供了一种定位装置、终端及存储介质。

Description

定位方法及装置、终端、存储介质
技术领域
本申请涉及室内定位技术，涉及但不限于定位方法及装置、终端、存储介质。
背景技术
在相关技术中，通过步行者航位推算(Pedestrian Dead Reckoning，PDR)进行室内定位，但是采用这种定位技术进行室内定位的精度仅在2米左右，在定位精度上仍然存在提高空间。
发明内容
有鉴于此，本申请实施例为解决相关技术中存在的至少一个问题而提供一种定位方法及装置、终端、存储介质。
本申请实施例的技术方案是这样实现的：
本申请实施例提供了一种定位方法，所述方法包括：
确定所述图像采集设备所处的网络的当前位置的当前网络特征信息；
从预设第一地图中，查找与所述当前网络特征信息对应的区域标识；
根据所述区域标识，确定所述图像采集设备所处的目标区域；
采用所述图像采集设备采集待处理图像，并提取所述待处理图像的第一图像特征；
从所述目标区域对应的预设第二地图中存储的关键帧图像的图像特征中，匹配出所述第一图像特征相对应的图像特征，得到第二图像特征；
根据所述第二图像特征，确定所述图像采集设备的位姿信息。
对应地，本申请实施例提供一种定位装置，所述装置包括：第一确定模块、第一查找模块、第二确定模块、第一提取模块、第一匹配模块和第三确定模块，其中：
所述第一确定模块，用于确定所述图像采集设备所处的网络的当前位置的当前网络特征信息；
所述第一查找模块，用于从预设第一地图中，查找与所述当前网络特征信息对应的区域标识；
所述第二确定模块，用于根据所述区域标识，确定所述图像采集设备所处的目标区域；
所述第一提取模块，用于采用所述图像采集设备采集待处理图像，并提取所述待处理图像的第一图像特征；
所述第一匹配模块，用于从所述目标区域对应的预设第二地图中存储的关键帧图像的图像特征中，匹配出所述第一图像特征相对应的图像特征，得到第二图像特征；
所述第三确定模块，用于根据所述第二图像特征，确定所述图像采集设备的位姿信息。
本申请实施例提供一种终端，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述定位方法中的步骤。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述定位方法中的步骤。
本申请实施例提供一种定位方法及装置、终端、存储介质，其中，首先，确定所述图像采集设备所处的网络的当前位置的当前网络特征信息；从预设第一地图中，查找与所述当前网络特征信息对应的区域标识；根据所述区域标识，确定所述图像采集设备所处的目标区域；然后，采用所述图像采集设备采集待处理图像，并提取所述待处理图像的第一图像特征；从所述目标区域对应的预设第二地图中存储的关键帧图像的图像特征中，匹配出所述第一图像特征相对应的图像特征，得到第二图像特征；最后，根据所述第二图像特征，确定所述图像采集设备的位姿信息；如此，先利用预设第一地图对图像采集设备进行粗定位，然后利用粗定位的目标区域对应的预设第二地图，基于该预设第二地图中的关键帧图像对该图像采集设备进行精确定位，以得到该图像采集设备的位姿信息，提高了定位精度。
附图说明
图1为本申请实施例定位方法实现流程示意图；
图2A为本申请实施例定位方法的实现流程示意图；
图2B为本申请实施例定位方法另一实现流程示意图；
图3A为本申请实施例定位方法的又一实现流程示意图；
图3B为本申请实施例定位方法的场景示意图；
图3C为本申请实施例定位方法的另一场景示意图；
图4为本申请实施例比值向量的结构示意图；
图5A为本申请实施例确定匹配帧图像的应用场景图；
图5B为本申请实施例确定采集设备的位置信息的结构示意图；
图6为本申请实施例定位装置的组成结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请实施例提供一种定位方法，图1为本申请实施例定位方法实现流程示意图，如图1所示，所述方法包括以下步骤：
步骤S101，确定所述图像采集设备所处的网络的当前位置的当前网络特征信息。
这里，所述网络特征信息可以是该图像采集设备所处网络的信号强度，或者该图像采集设备所处网络的信号强度的分布。
步骤S102，从预设第一地图中，查找与所述当前网络特征信息对应的区域标识。
这里，所述预设第一地图可以理解为无线保真(Wireless Fidelity，WiFi)指纹地图，即所述预设第一地图中存储有每一区域的标识信息和该区域对应的网络的信号强度，或者该区域对应的网络信号强度的分布情况，这样区域的标识信息与网络的信号强度一一对应，基于图像采集设备所处网络的当前网络特征信息，即可在预设第一地图中查找出该当前网络特征信息对应的区域标识。
步骤S103，根据所述区域标识，确定所述图像采集设备所处的目标区域。
这里，基于区域标识可以唯一的确定该图像采集设备所处的目标区域。
步骤S104，采用所述图像采集设备采集待处理图像，并提取所述待处理图像的第一图像特征。
这里，第一图像特征包括：所述待处理图像的特征点的描述信息和二维(2Dimensions，2D)位置信息。在步骤S102中，首先，提取待处理图像的第一图像特征，比如，提取所述待处理图像的特征点；确定所述特征点的描述信息和所述特征点的在所述待处理图像中的2D坐标信息；其中，特征点的描述信息可以理解为是能够唯一标识该特征点的描述子信息。
步骤S105，从所述目标区域对应的预设第二地图中存储的关键帧图像的图像特征中，匹配出所述第一图像特征相对应的图像特征，得到第二图像特征。
这里。所述第二图像特征包括：所述包含有目标区域的标识信息的关键帧图像的特征点的2D坐标信息、三维(3Dimensions，3D)位置信息和描述信息。所述目标区域对应的预设第二地图，可以理解为全局地图中，标识有目标区域的标识信息的关键帧图像对应的部分全局地图。比如，对于所有的关键帧图像标识该关键帧图像对应的区域的标识信息，那么，确定目标区域之后，即可根据目标区域的标识信息，确定出标识该目标区域的标识信息的关键帧图像的预设第二地图，即预设第二地图中关键帧图像集合是标识该目标区域的标识信息的关键帧图像集合，和每一样本特征点，在关键帧图像的中所占的比值对应的比值向量集合。所述步骤S102可以理解为，从预设第二地图中存储的关键帧图像的图像特征中，选择与第一图像特征匹配度较高的第二图像特征。
步骤S106，根据所述第二图像特征，确定所述图像采集设备的位姿信息。
这里，所述位姿信息包括图像采集设备的采集朝向和该图像采集设备的位置。基于所述第二图像特征对应的关键帧图像的特征点的3D坐标信息和所述第一图像特征对应的待处理图像的特征点的2D坐标信息，确定所述图像采集设备的位置信息。比如，首先，在图像采集设备所处的三维坐标空间，将待处理图像的特征点的2D坐标信息转换为3D坐标信息，然后，将该3D坐标信息与预设第二地图的三维坐标系中的关键帧图像的特征点的3D坐标信息，进行比对，以确定图像采集设备的位置信息。这样，同时考虑了特征点的2D坐标信息和3D坐标信息，那么当对图像采集设备进行定位时，既可以得到图像采集设备的位置还可以得到该图像采集设备的采集朝向，提高了定位精度。
在本申请实施例中，首先，基于预设第一地图对图像采集设备进行粗定位，以得到目标区域；然后，从预设第二地图中的关键帧图像的图像特征中选择与该图像特征匹配的第二图像特征，以实现对图像采集设备的精确定位，这样，先利用预设第一地图进行粗定位，然后利用预设第二地图，基于关键帧图像对图像采集设备进行精确定位，以确定出图像采集设备的位置和采集朝向，从而提高了定位精度。
本申请实施例提供一种定位方法，图2A为本申请实施例定位方法的实现流程示意图，如图2A所示，所述方法包括以下步骤：
步骤S201，将当前网络的覆盖范围划分为多个区域。
这里，可以将当前网络的覆盖范围划分为多个网格，如图3B所示，将当前网络的覆盖范围划分为4行7列的网格，每一网格表示表示为一个区域，而且每一区域均有一个能够唯一标识该区域的标识信息，比如，该区域的身份证标识号(Identity document，ID)。
步骤S202，确定所述当前网络中的多个无线访问接入点在每一区域内的网络特征信息。
这里，如图3B所示，在该当前网络中有两个无线访问接入点(Wireless AccessPoint，AP)，即AP 31和AP 32，所述步骤S202可以理解为，分别确定AP 31和AP 32在每一网格内的信号强度。
步骤S203，存储所述每一区域的标识信息和所述每一区域对应的网络特征信息，得到所述预设第一地图。
这里，每一区域对应的网络特征信息，可以理解为该区域能够检测到的所有AP的信号强度。所述每一区域的标识信息不同。每一区域的标识信息和该区域对应的网络特征信息，一一对应地存储在预设第一地图，所述预设第一地图可以理解为WiFi指纹地图，其中，每一区域的指纹可以是该区域能够检测到的AP的信号强度，如图3B所示，一个网格(即一个区域)的指纹是一个二维的向量ρ＝[ρ1 ρ2]，其中ρi是来自第i个AP的平均信号强度。
上述步骤S201至步骤S203给出了一种创建预设第一地图的方式，在该方式中每一区域的标识信息和该区域能够检测到的网络特征信息一一对应，这样，确定图像采集设备所处网络的网络特征信息，即可在预设第一地图中粗略的确定该图像采集设备所处的区域。
步骤S204，从所述预设第一地图中存储的网络特征信息中，确定与所述当前网络特征信息相匹配的目标特征信息。
这里，预设第一地图中存储有每一区域对应的网络特征信息，基于当前网络特征信息，在预设第一地图中即可查找到与该当前网络特征信息相似度较高的目标特征信息。
步骤S205，根据所述预设第一地图中存储的所述网络特征信息和区域的标识信息的对应关系，查找所述当前网络特征信息对应的区域标识。
这里，在预设第一地图中网络特征信息与区域的标识信息一一对应，所以当确定目标特征信息之后，可根据设第一地图中存储的所述网络特征信息和区域的标识信息的对应关系，定位到图像采集设备所处的目标区域，从而实现对图像采集设备的粗定位，比如，确定图像采集设备所在的房间。
上述步骤S204和步骤S205给出了一种实现“从预设第一地图中，查找与所述当前网络特征信息对应的区域标识”的方式，在该方式中，得到图像采集设备所处网络的当前网络特征信息之后，即根据预设第一地图中网络特征信息和区域的标识信息的一一对应地关系，查找到该图像采集设备所处的目标区域，从而实现了对图像采集设备的粗略定位。
步骤S206，从样本图像库中，选择满足预设条件的多个关键帧图像，得到关键帧图像集合。
这里，首先，确定该样本图像对应的场景为连续场景还是离散场景，如果是离散场景，过程如下：
第一步，从所述样本图像中选择预设数量的角点；所述角点为所述样本图像中与周围预设数量的像素点具有较大差别的像素点；比如，选择150个角点。
第二步，如果采集时间相邻的两个样本图像中包含的相同的角点数量大于等于特定阈值，确定所述样本图像对应的场景为连续场景；两个样本图像的采集时间相邻，还可以理解为是连续的两个样本图像，判断这两个样本图像中包含的相同的角点的数量，数量越大，说明这两个样本图像的相关度越高，也说明这两个样本图像是来自于连续场景的图像。连续场景，比如，单一的室内环境，比如，卧室、客厅或单个会议室等。
第三步，如果采集时间相邻的两个样本图像中包含的相同的角点数量小于特定阈值，确定所述样本图像对应的场景为离散场景。这两个样本图像中包含的相同的角点的数量越小，说明这两个样本图像的相关度越低，也说明这两个样本图像是来自于离散场景的图像。离散场景，比如，在多个室内环境下，比如，一栋楼里的多个房间或者一层里的多个会议室等。
然后，如果样本图像对应的场景为离散场景，根据输入的选择指令，从样本图像库中选择关键帧图像；即，如果样本图像属于离散场景，说明多个样本图像对应的不是一个场景，那么用户手动选择关键帧图像，这样，保证了不同的环境下，所选的关键图像的有效性。
如果样本图像对应的场景为连续场景，根据预设的帧率或视差，从样本图像库中选择关键帧图像；即，如果样本图像属于连续场景，说明多个样本图像对应的是同一个场景，那么通过事先设置预设的帧率或者预设的视差，自动选择满足该预设的帧率或者预设的视差的样本图像作为关键帧图像，这样，既所选的关键图像的有效性，还提高了选择关键帧图像的效率。
步骤S207，采用每一关键帧图像对应的区域的标识信息，一一对应地标识每一所述关键帧图像，得到标识的关键帧图像集合。
这里，根据关键帧图像的图像内容确定采集该关键帧图像的图像采集设备对应的区域，以及该区域的标识信息，采用该标识信息标识该关键帧图像，这样每一个关键帧图像上均标识有相应区域的标识信息。
步骤S208，提取每一标识的关键帧图像的图像特征，得到关键图像特征集合。
这里，标识的关键帧的图像特征包括：关键帧图像的特征点的2D坐标信息、3D坐标信息和能够唯一标识该特征点的描述信息。得到关键图像特征集合，以便于从关键图像特征集合中匹配出与第一图像特征高度相似的第二图像特征，从而得到相应的匹配帧图像。
步骤S209，确定所述样本特征点集合中每一样本特征点，在标识的关键帧图像的中所占的比值，得到比值向量集合。
这里，得到比值向量集合之后，将不同的样本特征点和该比值向量集合存储于预设的词袋模型中，以便于采用预设的词袋模型从关键帧图像中检索出待处理图像的匹配帧图像。所述步骤S209可以通过以下过程实现：
首先，根据样本图像库中包含的样本图像的第一数量和第i个样本特征点在样本图像库中出现的第一次数，确定第一平均次数。第一平均次数用于表明所述第i个样本特征点平均在每一样本图像中出现的次数；比如，样本图像的第一数量为N，第i个样本特征点在样本图像库中出现的第一次数为ni，基于此，即可得到第一平均次数idf(i)。
其次，根据所述第i个样本特征点在第j个关键帧图像中出现的第二次数和所述第j个关键帧图像中包含的样本特征点的第二数量，确定第二平均次数；第二平均次数用于表明所述第i个样本特征点占据第j个关键帧图像中包含的样本特征点的比例；比如，第二次数为niIt，第二数量为nIt，即可得到第二平均次数tf(i,It)。
最后，根据所述第一平均次数和所述第二平均次数，得到样本特征点在关键帧图像的中所占的比值，得到所述比值向量集合。比如，将第一平均次数与第二平均次数相乘，即可得到比值向量
Figure BDA0002217992100000061
步骤S210，存储所述比值向量集合和所述关键图像特征集合，得到所述预设第二地图所属的全局地图。
这里，预设第二地图是全局地图的一部分，将标识的关键帧图像对应的比值向量集合和关键图像特征集合存储在预设第二地图中，以便于对图像采集设备进行定位时，采用该比值向量集合与利用预设的词袋模型确定的待处理图像对应的比值向量集合进行比对，以从关键图像特征集合中确定与待处理图像高度相似的匹配帧图像。
上述步骤S206至步骤S210给出了一种创建全局地图的方式，在该方式中，将得到的关键帧图像采用区域的标识信息进行标识，这样得到的全局地图中每一关键帧图像都是标识有对应区域的标识信息的。
步骤S211，从所述全局地图中存储的标识的关键帧图像中，确定标识所述目标区域的标识信息的关键帧图像。
这里，确定目标区域之后，基于目标区域的标识信息可在全局地图中，找出标识目标区域的标识信息的关键帧图像对应的部分全局地图，即预设第二地图。
步骤S212，将标识所述目标区域的标识信息的关键帧图像对应的部分全局地图，作为所述预设第二地图。
上述步骤S211和步骤S212给出了确定预设第二地图的方式，在该方式中，在全局地图中查找标识有目标区域的标识信息的关键帧图像，将这一部分标识有目标区域的标识信息的关键帧图像对应的部分全局地图，作为预设第二地图。
步骤S213，根据待处理图像的第一图像特征，从所述目标区域对应的预设第二地图中存储的关键帧图像的图像特征中，匹配出第二图像特征。
这里，所述步骤S213可以通过以下步骤实现：
第一步，分别确定不同的样本特征点在所述特征点集合中所占的比值，得到第一比值向量。
这里，所述多个样本特征点互不相同。预设的词袋模型中包含多个不同的样本特征点和多个样本特征点在所述关键帧图像中包含的特征点中所占的比值。所述第一比值向量可以是根据样本图像数量、样本特征点在样本图像中出现的次数、样本特征点在待处理图像里出现的次数和待处理图像中出现的样本特征点的总数来确定。
第二步，获取第二比值向量。
这里，所述第二比值向量为所述多个样本特征点在所述关键帧图像中包含的特征点中所占的比值；第二比值向量是预先存储在预设的词袋模型中的，所以当需要对待处理图像的图像特征进行匹配时，从预设的词袋模型中获取该第二比值向量。第二比值向量的确定过程与第一比值向量的确定过程类似；而且所述第一比值向量和所述第二比值向量的维数相同。
第三步，根据所述第一图像特征、所述第一比值向量和所述第二比值向量，从所述关键帧图像的图像特征中，匹配出第二图像特征。
这里，所述第三步可以通过以下过程实现：
首先，根据所述第一比值向量和所述第二比值向量，从所述关键帧图像的图像特征中，确定与所述第一图像特征的相似度大于第二阈值的相似图像特征。
这里，逐一的比较待处理图像的第一比值向量v1与每一关键帧图像的第二比值向量v2，采用这两个比值向量进行计算，即可确定每一关键帧图像与待处理图像的相似度，从而筛选出相似度大于等于第二阈值的相似关键帧图像，得到相似关键帧图像集合。
其次，确定所述相似图像特征所属的相似关键帧图像，得到相似关键帧图像集合。
最后，从所述相似关键帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。
这里，从相似关键帧图像包含的图像特征中，选择与第一图像特征相似度最高的第二图像特征；比如，首先，确定至少两个所述相似关键帧图像的采集时间之间的时间差，和所述至少两个相似关键帧图像的图像特征分别与所述第一图像特征的相似度差；然后，将所述时间差小于第三阈值，且所述相似度差小于第四阈值的相似关键帧图像进行联合，得到联合帧图像；也就是说，选择的是采集时间靠近，且与待处理图像的相似度靠近的多个相似关键帧图像，说明这些关键帧图像可能是连续的的画面，所以将这样的多个相似关键帧图像联合在一起，组成联合帧图像(也可以成为岛)，这样得到多个联合帧图像；最后，从所述联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。比如，先是分别确定多个联合帧图像中包含的每一关键帧图像的图像特征与所述第一图像特征的相似度之和；这样，逐一的确定多个联合帧图像中包含的多个关键帧图像的图像特征与第一图像特征的相似度之和。再，将相似度之和最大的联合帧图像，确定为与所述待处理图像的相似度最高的目标联合帧图像；最后，根据目标联合帧图像的特征点的描述信息和所述待处理图像的特征点的描述信息，从所述目标联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。这样，由于目标联合帧图像的特征点的描述信息和所述待处理图像的特征点的描述信息，分别能够唯一的标识目标联合帧图像的特征点和待处理图像的特征点，所以基于这两个描述信息，可以非常准确的从所述目标联合帧图像的图像特征中，选择与第一图像特征相似度最高的第二图像特征。从而保证了，为待处理图像的第一图像特征匹配第二图像特征的准确度，保证了选择到的第二图像特征与第一图像特征的相似度极高。
步骤S214，根据所述第二图像特征，确定所述图像采集设备的位姿信息。
这里，所述步骤S214可以通过以下过程实现：
第一步，将包含所述第二图像特征的图像，确定为所述待处理图像的匹配帧图像。
在本申请实施例中，包含该第二图像特征的关键帧图像，说明该关键帧图像与待处理图像非常相似，所以将该关键帧图像作为该待处理图像的匹配帧图像。
第二步，确定所述匹配帧图像中包含的任意两个特征点之间，小于第一阈值的目标欧式距离，得到目标欧式距离集合。
在本申请实施例中，比如，首先，确定匹配帧图像中包含的任意两个特征点之间的欧式距离，然后，从中选择小于第一阈值的欧式距离，作为目标欧式距离，以得到目标欧式距离集合；这是对于待处理图像中的一个特征点进行处理，可得到一个目标欧式距离集合，那么对于待处理图像中的多个特征点进行处理，则可得到多个欧式距离集合。所述小于第一阈值的目标欧式距离，还可以认为是首先从多个欧式距离中确定最小的欧式距离，然后判断该最小的欧式距离是否小于第一阈值，若小于，则确定该最小的欧式距离为目标欧式距离，那么目标欧式距离集合也就是多个欧式距离集合中，欧式距离最小的一个集合。
第三步，如果所述目标欧式距离集合中包含的目标欧式距离的数量大于第五阈值，基于所述第二图像特征对应的关键帧图像的特征点的3D坐标信息和所述第一图像特征对应的待处理图像的特征点的2D坐标信息，确定所述图像采集设备的位置信息。
在本申请实施例中，如果目标欧式距离集合中包含的目标欧式距离的数量大于第五阈值，说明目标欧式距离的数量是足够大，也说明与第一图像特征相匹配的特征点足够多，说明这个关键帧图像与待处理图像的相似度足够高。然后，将关键帧图像的特征点的3D坐标信息和所述第一图像特征对应的待处理图像的特征点的2D坐标信息，作为前端位姿跟踪算法(Perspectives-n-Point，PnP)算法的输入，先求出待处理图像的当前帧中特征点的2D坐标信息(比如，2D坐标)在当前坐标系下该特征点的3D坐标信息(比如，3D坐标)，然后根据地图坐标系下的关键帧图像的特征点的3D坐标信息和当前坐标系下的待处理图像的当前帧中特征点的3D坐标信息，即可求解图像采集设备的位置信息。在该方式中，同时考虑关键帧图像的2D和3D坐标信息，在定位结果上可以同时提供图像采集设备的位置和姿态，所以提高了图像采集设备的定位准确度。
在本申请实施例中，是通过预设第一地图对图像采集设备，进行粗定位，以确定图像采集设备所处的目标区域，然后，基于该目标区域的标识信息加载构建好的预设第二地图，并利用预设的词袋模型检索匹配到待处理图像相对应的匹配帧图像，最后，再将待处理图像的特征点的2D坐标信息和关键帧图像的特征点的3D坐标信息，作为PnP算法的输入，以得到当前图像采集设备在地图中的精确位置和采集朝向，以达到定位目的；这样，通过关键帧图像即可达到定位目的，得到图像采集设备在地图坐标系下的位置和采集朝向，提高了定位结果精度，而且鲁棒性强。
本申请实施例提供一种定位方法，图2B为本申请实施例定位方法另一实现流程示意图，如图2B所示，所述方法包括以下步骤：
步骤S221，确定所述图像采集设备所处的网络的当前位置的当前网络特征信息；
步骤S222，从预设第一地图中，查找与所述当前网络特征信息对应的区域标识；
步骤S223，根据所述区域标识，确定所述图像采集设备所处的目标区域。
步骤S224，根据待处理图像的第一图像特征，从所述目标区域对应的预设第二地图中存储的关键帧图像的图像特征中，匹配出第二图像特征。
步骤S225，确定所述第二图像特征对应的关键帧图像的特征点，在所述预设第二地图对应的地图坐标系中的地图坐标。
这里，获取预设第二地图中第二图像特征对应的特征点，在该预设第二地图对应的地图坐标系中的3D坐标。
步骤S226，确定所述第二图像特征对应的关键帧图像的特征点，在所述图像采集设备中所处的当前坐标系中的当前坐标。
这里，将地图坐标作为PnP算法的输入，得到该特征点在图像采集设备中所处的当前坐标系中的当前坐标。
步骤S227，根据所述地图坐标和所述当前坐标，确定所述当前坐标系相对于所述地图坐标系的转换关系。
这里，比较地图坐标和当前坐标，确定图像采集设备在当前坐标系中相对于地图坐标系的旋转向量，和平移向量。
步骤S228，根据所述转换关系和所述图像采集设备在所述当前坐标系中的当前坐标，确定所述图像采集设备在所述地图坐标系中的位置和所述图像采集设备相对于所述地图坐标系的采集朝向。
这里，采用旋转向量对图像采集设备的当前坐标进行旋转，确定图像采集设备相对于所述地图坐标系的采集朝向；采用平移向量对图像采集设备的当前坐标进行平移，确定图像采集设备在地图坐标系中的位置。
在本申请实施例中，通过确定第二图特征对应的特征点在当前坐标系中的3D坐标，这样通过比较该特征点在地图坐标系中的3D坐标和在当前坐标系中的3D坐标，确定当前坐标系相对于地图坐标系的旋转关系，然后根据该旋转关系求解图像采集设备的采集朝向和位置。
本申请实施例提供一种定位方法，图3A为本申请实施例定位方法的又一实现流程示意图，如图3A所示，所述方法包括以下步骤：
步骤S301，加载创建好的预设第一地图，并保存在本地。
这里，预设第一地图可以理解为WiFi指纹地图，创建预设第一地图(WiFi指纹地图)的过程可以在未连接当前网络的离线阶段实现。在离线阶段，为了采集各个位置上的指纹，首先，构建一个数据库，即在多个区域进行多次测量，得到数据库，该多个区域可以是大于等于网络覆盖的范围内，包含采集待处理图像的图像采集设备所处的区域。比如，构建该数据库的开发人员任意指定的区域。在该数据库中位置和指纹的对应关系的建立通常在离线阶段进行。如图3B所示，地理区域被一个矩形网格所覆盖，将该地理区域划分为4行7列的网格，AP31和AP32是该网络中的无线访问接入点。AP31和AP32是被部署在这个区域中用于通信的。在利用WiFi指纹定位的过程中，AP所发出的信号强度被用作构建指纹信息。在上述每一个网格点上，通过一段时间的数据采样，得到来自各个AP的平均信号强度。比如，采集的时间大概在5到15分钟，大约每秒采集一次，采集的时候移动设备可能有不同的朝向和角度。如图3B所示，一个网格点的指纹是一个二维的向量ρ＝[ρ1 ρ2]，其中ρi是来自第i个AP的平均信号强度，当然也可以用平均信号强度样本的分布作为指纹。每一个网格点都对应了一个二维向量(即指纹)，由此构建出了一张WiFi指纹地图(即预设第一地图)。在本申请实施例中，假设有N个AP，那么指纹ρ就是一个N维向量。预设第一地图的网格粒度允许非常大，可以到房间级别，因为预设第一地图只用作粗定位。
步骤S302，从样本图像库中，选择满足预设条件的关键帧图像。
步骤S303，采集过程中实时提取关键帧图像中的图像特征。
这里，图像特征提取是对关键帧图像的一种解释和标注的过程。在步骤S303中，需要提取关键帧图像的特征点的2D坐标信息、3D坐标信息和描述信息(即该特征点的描述子信息)；其中，关键帧图像的特征点的3D坐标信息是将关键帧图像的特征点的2D坐标信息映射在预设第二地图所处的三维坐标系中得到的。比如，对关键帧图像提取多个2D的特征点，提取数量为150个(150为经验值，特征点数量过少，跟踪失败率高，特征点数量过多，影响算法效率)，用于图像跟踪；并对该特征点进行描述子的提取，用于特征点匹配；其次，通过三角化方法计算得到特征点的3D坐标信息(即深度信息)，用于确定采集图像采集设备的位置。
步骤S304，采集过程中实时确定每一样本特征点，在关键帧图像的中所占的比值，得到比值向量。
这里，步骤S304可以理解为，在关键帧图像的采集过程中，针对当前帧图像，实时提取该关键帧图像的的比值向量，如图4所示，用词汇树的形式来描述词袋模型，词袋模型中包括样本图像库41，即词汇树的根结点；样本图像42、43和44，即叶子结点42、43和44；样本特征点1至3为样本图像42中不同的样本特征点，样本特征点4至6为样本图像43中不同的样本特征点，样本特征点7至9为样本图像44中不同的样本特征点。在词袋模型中假设有w种样本特征点，即w为词袋模型的样本图像里提取出来的特征点种类数量。所以词袋模型里一共有w个样本特征点。每个样本特征点会对该关键帧图像进行评分，评分值为0～1的浮点数，这样每个关键帧图像都可以用w维的浮点数来表示，这个w维向量就是词袋模型输出的比值向量
Figure BDA0002217992100000111
在评分的过程中，需要获取多个参数，比如，确定样本图像数量N(即第一数量)，样本特征点wi在样本图像中出现的次数ni(即第一次数)，It为t时刻采集的图像I，niIt为样本特征点wi在时刻采集到的关键帧图像It里出现的次数(即第二次数)，nIt为关键帧图像It里出现的样本特征点总数(即第二数量)，通过样本特征点评分，得到每个关键帧图像的w维的浮点数向量，即比值向量，还可以将该比值向量作为预设的词袋模型的特征信息。
上述步骤S301至步骤S304，构建出一张依赖于关键帧图像的离线的预设第二地图，该预设第二地图以二进制格式存储关键帧图像的图像特征(包括：2D坐标信息、2D坐标信息和描述信息，比如，2D坐标、3D坐标、和描述子信息)到本地设备，当需要对图像采集设备进行时，该预设第二地图将被加载使用。
步骤S305，采用关键帧图像对应区域的标识信息对关键帧图像进行标注，以使标识的关键帧图像与预设第一地图相关联，得到全局地图。
这里，采集过程中将关键帧图像进行标注，标注内容为区域ID，并与WiFi指纹地图相关联关键帧图像的标注内容为区域ID，区域ID与预设第一地图建立时候的网格点是一一对应的。在这种模式下，意味着一个预设第一地图的区域对应一个区域ID，一个区域ID对应着多个关键帧图像。如图3C所示，关键帧图像331和关键帧图像332中标识的标识信息是ID341，ID341为区域33的标识信息；关键帧图像333标识信息是ID342，ID342为区域34的标识信息；关键帧图像334和关键帧图像335总标识的标识信息是ID343，ID343为区域35的标识信息；关键帧图像336标识信息是ID344，ID344为区域36的标识信息。
上述步骤S301至步骤S304构建出一张WiFi指纹地图(即预设第一地图)，以及一张全局地图，该预设第二地图以二进制格式存储视觉关键帧的特征点信息(包括2D坐标、3D坐标和描述子信息)以及标注信息到本地。在对图像采集设备进行定位的过程中，这两张地图将被分别加载使用。
步骤S306，通过预设第一地图对图像采集设备进行粗定位，得到该图像采集设备所处的目标区域。
步骤S307，从全局地图中存储的标识的关键帧图像中，确定标识所述目标区域的标识信息的关键帧图像，得到预设第二地图。
这里，预设第二地图可以理解为是全局地图的局部地图。
步骤S308，利用图像采集设备进行图像采集，得到待处理图像。
步骤S309，在待处理图像采集过程中，实时提取待处理图像的当前帧中的第一图像特征。
这里，实时提取待处理图像的当前帧中的第一图像特征与步骤S303的过程类似，但不需要确定待处理图像的3D坐标信息，因为在后续的PnP算法中不需要提供待处理图像的3D坐标信息。
步骤S310，通过词袋模型检索待处理图像的当前帧在预设第二地图中的匹配帧图像。
这里，所述通过词袋模型检索待处理图像的当前帧在预设第二地图中的匹配帧图像，可以理解为利用词袋模型的特征信息即比值向量集合，进行检索待处理图像的当前帧在预设第二地图中的匹配帧图像。
所述步骤S310可以通过以下过程实现：
第一步，查找待处理图像的当前帧和每个关键帧图像的相似度，相似度s(v1,v2)的计算方式为，首先，确定v1和v2，v1和v2分别表示词袋模型中包含的每一样本特征点在所述待处理图像的当前帧中所占的第一比值向量，和每一样本特征点在关键帧图像中所占的第二比值向量。基于v1和v2，即可确定待处理图像的当前帧和每个关键帧图像的相似度。如果词袋模型中包含w种样本特征点，那么第一比值向量和第二比值向量均为w维的向量。通过采用筛选出关键帧图像中相似度达到第二阈值的相似关键帧图像，成为相似关键帧图像集合。
第二步，在相似关键帧图像集合选取时间戳之差小于第三阈值，且相似度差小于第四阈值的相似关键帧图像联合在一起，得到联合帧图像(或被称为岛)。
这里，第二步可以理解为在相似关键帧图像集合选取时间戳靠近，且相似度的匹配分数靠近的相似关键帧图像联合在一起，被成为岛；这样将相似关键帧图像集合就被划分成了多联合帧图像(即多个岛)。联合帧图像中的第一个关键帧图像与最后一个关键帧图像之间的相似度之比非常小，该相似度之比
Figure BDA0002217992100000121
通过确定分别表示一前一后两个关键帧图像的与当前帧的待处理图像的相似度/>
Figure BDA0002217992100000122
和s(vt,vt-△t)，即可得到。
第三步，分别确定多个联合帧图像中包含的每一关键帧图像的图像特征与所述第一图像特征的相似度之和。
第四步，将相似度之和最大的联合帧图像，确定为与所述待处理图像的相似度最高的目标联合帧图像，从所述目标联合帧图像中找出与待处理图像的当前帧相似度最高的匹配帧图像。
步骤S311，采用PnP算法，确定图像采集设备当前在地图坐标系中的位置和采集朝向。
这里，所述步骤S311可以通过以下步骤实现：
第一步，对待处理图像的当前帧XC的第N个特征点FCN，遍历匹配帧图像X3的所有特征点，并确定匹配帧图像中任意两个特征点之间的欧式距离。如图5A所示，待处理图像的当前帧Xc51，与该当前帧Xc51匹配的匹配帧图像X352。计算特征点X053和X154之间的欧式距离，得到欧式距离F0501；计算特征点X154和X255之间的欧式距离，得到欧式距离F1502；计算特征点X456和X352之间的欧式距离，得到欧式距离F2503；计算特征点Xc51和X456之间的欧式距离，得到欧式距离F3504。
第二步，选择欧式距离最小的一组(即目标欧式距离集合)进行阈值判断，若小于第一阈值，确定为目标欧式距离，则形成目标欧式距离集合，否则不形成目标欧式距离集合，跳转至第一步，直至遍历XC的所有特征点，进入第三步。比如，如图5A所示，通过比较多个欧式距离，得到一组最小的欧式距离组合{F1,F2,F3}。
第三步，形成目标欧式距离集合，可表示为{F1,F2,F3}，若目标欧式距离集合的元素数量大于第五阈值，则进行第四步，否则算法结束，输出匹配帧X3的位置信息。
第四步，基于目标欧式距离集合，调用PnP中的函数求解出XC在地图坐标系下的位置信息。其中，PnP算法的过程如下：
PnP算法的输入是关键帧图像中的特征点的3D坐标和待处理图像的当前帧中特征点的2D坐标，该算法的输出是待处理图像的当前帧在地图坐标系中的位置。
PnP算法不是直接根据匹配对序列求出图像采集设备位姿矩阵的，而是先求出标注有目标区域的标识信息的关键帧图像中特征点在当前坐标系下3D坐标，然后根据该特征点在地图坐标系下的3D坐标系和当前坐标系下3D坐标，求解当前坐标系相对于地图坐标系的旋转向量和平移向量，然后基于该旋转向量求解图像采集设备的采集朝向，基于该平移向量求解图像采集设备的位置。PnP算法的求解是从余弦定理开始的，设当前坐标系中心为点O，A、B和C为待处理图像的当前帧中三个特征点，如图5B所示：首先，根据余弦定理，确定A、B和C之间的关系；然后，基于a，b和c，确定三角形abc的三个夹角的余弦值，由于A、B和C的2D坐标是已知的，所以w,v,cos<a,c>,cos<b,c>,cos<a,b>都是已知量，基于此，即可得到A、B和C三个特征点在当前三维坐标系下的3D坐标；最后，基于得到A、B和C三个特征点在当前三维坐标系下的3D坐标，通过地图坐标系到当前坐标系的变换，确定采集设备的位置。
上述步骤S307至步骤S311，融合定位部分主要包括利用预设第一地图的粗定位和基于视觉关键帧图像的精定位。粗定位过程确定用户的大致位置，也确定了要加载的局部视觉地图；精定位是通过单目摄像头，采集当前的待处理图像，加载由粗定位的目标区域选定的预设第二地图，并利用词袋模型检索匹配到相对应的匹配帧图像，最后再通过PnP算法求解图像采集设备当前在地图坐标系中的精确位姿，以达到定位目的。
在申请实施例中，结合无线室内定位和视觉关键帧图像的室内定位方法，帮助用户实时、高精度地定位自身位置。利用预设第一地图(比如，WiFi指纹地图)对图像采集设备进行粗定位，得到图像采集设备的大致位置，即目标区域，再通过视觉关键帧图像对应的预设第二地图进行精定位，获取图像采集设备的精确位置和姿态。本申请实施例可以针对大规模的室内场景，结合WiFi指纹地图和视觉关键帧地图，定位精度高，鲁棒性强。
本申请实施例提供一种定位装置，该装置包括所包括的各模块、以及各模块所包括的各单元，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器、微处理器、数字信号处理器或现场可编程门阵列等。
图6为本申请实施例定位装置的组成结构示意图，如图6所示，所述装置600包括：第一确定模块601、第一查找模块602、第二确定模块603、第一提取模块604、第一匹配模块605和第三确定模块606，其中：
所述第一确定模块601，用于确定所述图像采集设备所处的网络的当前位置的当前网络特征信息；
所述第一查找模块602，用于从预设第一地图中，查找与所述当前网络特征信息对应的区域标识；
所述第二确定模块603，用于根据所述区域标识，确定所述图像采集设备所处的目标区域；
所述第一提取模块604，用于采用所述图像采集设备采集待处理图像，并提取所述待处理图像的第一图像特征；
所述第一匹配模块605，用于从所述目标区域对应的预设第二地图中存储的关键帧图像的图像特征中，匹配出所述第一图像特征相对应的图像特征，得到第二图像特征；
所述第三确定模块606，用于根据所述第二图像特征，确定所述图像采集设备的位姿信息。
在上述装置中，所述装置还包括：
第一划分模块，用于将所述当前网络的覆盖范围划分为多个区域；
第四确定模块，用于确定所述当前网络中的多个无线访问接入点在每一区域内的网络特征信息；
第一存储模块，用于存储所述每一区域的标识信息和所述每一区域对应的网络特征信息，作为所述预设第一地图；其中，所述每一区域的标识信息不同。
在上述装置中，所述第一确定模块601，包括：
第一确定子模块，用于从所述预设第一地图中存储的网络特征信息中，确定与所述当前网络特征信息相匹配的目标特征信息；
第二确定子模块，用于根据所述预设第一地图中存储的所述网络特征信息和区域的标识信息的对应关系，查找所述当前网络特征信息对应的区域标识。
在上述装置中，所述装置还包括：
第二提取模块，用于提取所述待处理图像的特征点集合；
第五确定模块，用于确定所述特征点集合中每一特征点的描述信息和每一所述特征点在所述待处理图像中的二维坐标信息；
第六确定模块，用于将所述描述信息和所述二维坐标信息，确定为所述第一图像特征。
在上述装置中，所述装置还包括：
第一选择模块，用于从样本图像库中，选择满足预设条件的多个关键帧图像，得到关键帧图像集合；
第一标识模块，用于采用每一关键帧图像对应的区域的标识信息，一一对应地标识每一所述关键帧图像，得到标识的关键帧图像集合；
第三提取模块，用于提取每一标识的关键帧图像的图像特征，得到关键图像特征集合；
第四提取模块，用于从所述样本图像库中提取样本图像的特征点，得到包含不同的特征点的样本特征点集合；
第七确定模块，用于确定所述样本特征点集合中每一样本特征点，在标识的关键帧图像的中所占的比值，得到比值向量集合；
第二存储模块，用于存储所述比值向量集合和所述关键图像特征集合，得到所述预设第二地图所属的全局地图。
在上述装置中，所述第七确定模块，包括：
第三确定子模块，用于根据所述样本图像库中包含的样本图像的第一数量和第i个样本特征点在样本图像库中出现的第一次数，确定第一平均次数；其中，i为大于等于1的整数；所述第一平均次数用于表明所述第i个样本特征点平均在每一样本图像中出现的次数；
第四确定子模块，用于根据所述第i个样本特征点在第j个关键帧图像中出现的第二次数和所述第j个关键帧图像中包含的样本特征点的第二数量，确定第二平均次数；其中，j为大于等于1的整数；所述第二平均次数用于表明所述第i个样本特征点占据第j个关键帧图像中包含的样本特征点的比例；
第五确定子模块，用于根据所述第一平均次数和所述第二平均次数，得到样本特征点在关键帧图像的中所占的比值，得到所述比值向量集合。
在上述装置中，所述装置还包括：
第八确定模块，用于从所述全局地图中存储的标识的关键帧图像中，确定标识所述目标区域的标识信息的关键帧图像；
第九确定模块，用于将标识所述目标区域的标识信息的关键帧图像对应的部分全局地图，作为所述预设第二地图。
在上述装置中，所述第一匹配模块605，包括：
第六确定子模块，用于分别确定不同的样本特征点在所述特征点集合中所占的比值，得到第一比值向量；
第一获取子模块，用于获取第二比值向量，所述第二比值向量为所述多个样本特征点在所述关键帧图像中包含的特征点中所占的比值；
第一匹配子模块，用于根据所述第一比值向量和所述第二比值向量，从标识所述目标区域的标识信息的关键帧图像的图像特征中，匹配出第一图像特征对应的第二图像特征。
在上述装置中，所述第一匹配子模块，包括：
第一确定单元，用于根据所述第一比值向量和所述第二比值向量，从所述标识所述目标区域的标识信息的关键帧图像的图像特征中，确定与所述第一图像特征的相似度大于第一阈值的相似图像特征；
第二确定单元，用于确定所述相似图像特征所属的相似关键帧图像，得到相似关键帧图像集合；
第一选择单元，用于从所述相似关键帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。
在上述装置中，所述第一选择单元，包括：
第一确定子单元，用于确定至少两个所述相似关键帧图像的采集时间之间的时间差，和所述至少两个相似关键帧图像的图像特征分别与所述第一图像特征的相似度差；
第一联合子单元，用于将所述时间差小于第二阈值，且所述相似度差小于第三阈值的相似关键帧图像进行联合，得到联合帧图像；
第一选择子单元，用于从所述联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。
在上述装置中，所述第一选择子单元，用于分别确定多个联合帧图像中包含的每一关键帧图像的图像特征与所述第一图像特征的相似度之和；将相似度之和最大的联合帧图像，确定为与所述待处理图像的相似度最高的目标联合帧图像；根据目标联合帧图像的特征点的描述信息和所述待处理图像的特征点的描述信息，从所述目标联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。
在上述装置中，所述装置还包括：
第十确定模块，用于将包含所述第二图像特征的图像，确定为所述待处理图像的匹配帧图像；
第十一确定模块，用于确定所述匹配帧图像中包含的任意两个特征点之间，小于第四阈值的目标欧式距离，得到目标欧式距离集合；
对应地，第七确定子模块，用于如果所述目标欧式距离集合中包含的目标欧式距离的数量大于第五阈值，根据所述第二图像特征，确定所述图像采集设备的位姿信息。
在上述装置中，所述第七确定子模块，包括：
第三确定单元，用于确定所述第二图像特征对应的关键帧图像的特征点，在所述预设第二地图对应的地图坐标系中的地图坐标；
第四确定单元，用于确定所述第二图像特征对应的关键帧图像的特征点，在所述图像采集设备中所处的当前坐标系中的当前坐标；
第五确定单元，用于根据所述地图坐标和所述当前坐标，确定所述当前坐标系相对于所述地图坐标系的转换关系；
第六确定单元，用于根据所述转换关系和所述图像采集设备在所述当前坐标系中的当前坐标，确定所述图像采集设备在所述地图坐标系中的位置和所述图像采集设备相对于所述地图坐标系的采集朝向。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的定位方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得包含该存储介质的设备自动测试线执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
对应地，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的定位方法中的步骤。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本申请实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得设备自动测试线执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种定位方法，其特征在于，所述方法包括：
确定图像采集设备在当前网络的当前网络特征信息；
从预设第一地图中，查找与所述网络特征信息对应的区域标识；
根据所述区域标识，确定所述图像采集设备所处的目标区域；
通过所述图像采集设备采集待处理图像，并提取所述待处理图像的第一图像特征；
从所述目标区域对应的预设第二地图中存储的关键帧图像的图像特征中，匹配出与所述第一图像特征相对应的图像特征，得到第二图像特征；
根据所述第二图像特征，确定所述图像采集设备的位姿信息；
在所述从所述目标区域对应的预设第二地图中存储的关键帧图像的图像特征中，匹配出与所述第一图像特征相对应的图像特征，得到第二图像特征之前，所述方法还包括：
从样本图像库中，选择满足预设条件的多个关键帧图像，得到关键帧图像集合；
对于所述关键帧图像集合中的每一关键帧图像，采用每一关键帧图像对应的区域的标识信息进行标识，得到标识的关键帧图像集合；
提取每一标识的关键帧图像的图像特征，得到关键图像特征集合；
从所述样本图像库中提取样本图像的特征点，得到包含不同的特征点的样本特征点集合；
确定所述样本特征点集合中每一样本特征点，在标识的关键帧图像中所占的比值，得到比值向量集合；
存储所述比值向量集合和所述关键图像特征集合，得到所述预设第二地图的全局地图。
2.根据权利要求1所述的方法，其特征在于，在所述从预设第一地图中，查找与所述当前网络特征信息对应的区域标识之前，所述方法还包括：
将所述当前网络的覆盖范围划分为多个区域；
确定所述当前网络中的多个无线访问接入点在每一区域内的网络特征信息；
存储每一区域的标识信息和每一区域对应的网络特征信息，作为所述预设第一地图；其中，每一区域的标识信息不同。
3.根据权利要求1所述的方法，其特征在于，所述从预设第一地图中，查找与所述当前网络特征信息对应的区域标识，包括：
从所述预设第一地图中存储的网络特征信息中，确定与所述当前网络特征信息相匹配的目标特征信息；
根据所述预设第一地图中存储的所述网络特征信息和区域的标识信息的对应关系，查找所述当前网络特征信息对应的区域标识。
4.根据权利要求1所述的方法，其特征在于，在所述从所述目标区域对应的预设第二地图中存储的关键帧图像的图像特征中，匹配出与所述第一图像特征相对应的图像特征，得到第二图像特征之前，所述方法还包括：
提取所述待处理图像的特征点集合；
确定所述特征点集合中每一特征点的描述信息和每一所述特征点在所述待处理图像中的二维坐标信息；
将所述描述信息和所述二维坐标信息，确定为所述第一图像特征。
5.根据权利要求1所述的方法，其特征在于，所述确定所述样本特征点集合中每一样本特征点，在标识的关键帧图像中所占的比值，得到比值向量集合，包括：
根据所述样本图像库中包含的样本图像的第一数量和第i个样本特征点在样本图像库中出现的第一次数，确定第一平均次数；其中，i为大于等于1的整数；所述第一平均次数用于表明所述第i个样本特征点平均在每一样本图像中出现的次数；
根据所述第i个样本特征点在第j个关键帧图像中出现的第二次数和所述第j个关键帧图像中包含的样本特征点的第二数量，确定第二平均次数；其中，j为大于等于1的整数；所述第二平均次数用于表明所述第i个样本特征点占据第j个关键帧图像中包含的样本特征点的比例；
根据所述第一平均次数和所述第二平均次数，得到样本特征点在关键帧图像中所占的比值，得到所述比值向量集合。
6.根据权利要求1所述的方法，其特征在于，在所述根据所述区域标识，确定所述图像采集设备所处的目标区域之后，所述方法还包括：
从所述全局地图中存储的标识的关键帧图像中，确定标识所述目标区域的标识信息的关键帧图像；
将标识所述目标区域的标识信息的关键帧图像对应的部分全局地图，作为所述预设第二地图。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述从所述目标区域对应的预设第二地图中存储的关键帧图像的图像特征中，匹配出与所述第一图像特征相对应的图像特征，得到第二图像特征，包括：
分别确定不同的样本特征点在所述样本特征点集合中所占的比值，得到第一比值向量；
获取第二比值向量，所述第二比值向量为多个样本特征点在所述关键帧图像中包含的特征点中所占的比值；
根据所述第一比值向量和所述第二比值向量，从标识所述目标区域的标识信息的关键帧图像的图像特征中，匹配出第一图像特征对应的第二图像特征。
8.根据权利要求7所述的方法，其特征在于，所述根据所述第一比值向量和所述第二比值向量，从标识所述目标区域的标识信息的关键帧图像的图像特征中，匹配出第一图像特征对应的第二图像特征，包括：
根据所述第一比值向量和所述第二比值向量，从所述标识所述目标区域的标识信息的关键帧图像的图像特征中，确定与所述第一图像特征的相似度大于第一阈值的相似图像特征；
确定所述相似图像特征所属的相似关键帧图像，得到相似关键帧图像集合；
从所述相似关键帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。
9.根据权利要求8所述的方法，其特征在于，所述从所述相似关键帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征，包括：
确定至少两个所述相似关键帧图像的采集时间之间的时间差，和所述至少两个相似关键帧图像的图像特征分别与所述第一图像特征的相似度差；
将所述时间差小于第二阈值，且所述相似度差小于第三阈值的相似关键帧图像进行联合，得到联合帧图像；
从所述联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。
10.根据权利要求9所述的方法，其特征在于，所述从所述联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征，包括：
分别确定多个联合帧图像中包含的每一关键帧图像的图像特征与所述第一图像特征的相似度之和；
将相似度之和最大的联合帧图像，确定为与所述待处理图像的相似度最高的目标联合帧图像；
根据目标联合帧图像的特征点的描述信息和所述待处理图像的特征点的描述信息，从所述目标联合帧图像的图像特征中，选择与所述第一图像特征相似度满足预设相似度阈值的第二图像特征。
11.根据权利要求1或2所述的方法，其特征在于，在所述根据所述第二图像特征，确定所述图像采集设备的位姿信息之前，所述方法还包括：
将包含所述第二图像特征的图像，确定为所述待处理图像的匹配帧图像；
确定所述匹配帧图像中包含的任意两个特征点之间，小于第四阈值的目标欧式距离，得到目标欧式距离集合；
对应地，如果所述目标欧式距离集合中包含的目标欧式距离的数量大于第五阈值，根据所述第二图像特征，确定所述图像采集设备的位姿信息。
12.根据权利要求11所述的方法，其特征在于，所述根据所述第二图像特征，确定所述图像采集设备的位姿信息，包括：
确定所述第二图像特征对应的关键帧图像的特征点，在所述预设第二地图对应的地图坐标系中的地图坐标；
确定所述第二图像特征对应的关键帧图像的特征点，在所述图像采集设备中所处的当前坐标系中的当前坐标；
根据所述地图坐标和所述当前坐标，确定所述当前坐标系相对于所述地图坐标系的转换关系；
根据所述转换关系和所述图像采集设备在所述当前坐标系中的当前坐标，确定所述图像采集设备在所述地图坐标系中的位置和所述图像采集设备相对于所述地图坐标系的采集朝向。
13.一种定位装置，其特征在于，所述装置包括：第一确定模块、第一查找模块、第二确定模块、第一提取模块、第一匹配模块和第三确定模块，其中：
所述第一确定模块，用于确定图像采集设备所处的网络的当前位置的当前网络特征信息；
所述第一查找模块，用于从预设第一地图中，查找与所述当前网络特征信息对应的区域标识；
所述第二确定模块，用于根据所述区域标识，确定所述图像采集设备所处的目标区域；
所述第一提取模块，用于采用所述图像采集设备采集待处理图像，并提取所述待处理图像的第一图像特征；
所述第一匹配模块，用于从所述目标区域对应的预设第二地图中存储的关键帧图像的图像特征中，匹配出与所述第一图像特征相对应的图像特征，得到第二图像特征；
所述第三确定模块，用于根据所述第二图像特征，确定所述图像采集设备的位姿信息；
所述装置还包括：
第一选择模块，用于从样本图像库中，选择满足预设条件的多个关键帧图像，得到关键帧图像集合；
第一标识模块，用于采用每一关键帧图像对应的区域的标识信息，一一对应地标识每一所述关键帧图像，得到标识的关键帧图像集合；
第三提取模块，用于提取每一标识的关键帧图像的图像特征，得到关键图像特征集合；
第四提取模块，用于从所述样本图像库中提取样本图像的特征点，得到包含不同的特征点的样本特征点集合；
第七确定模块，用于确定所述样本特征点集合中每一样本特征点，在标识的关键帧图像中所占的比值，得到比值向量集合；
第二存储模块，用于存储所述比值向量集合和所述关键图像特征集合，得到所述预设第二地图所属的全局地图。
14.一种终端，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至12任一项所述方法中的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至12任一项所述方法中的步骤。
CN201910922471.0A 2019-09-27 2019-09-27 定位方法及装置、终端、存储介质 Active CN110645986B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910922471.0A CN110645986B (zh) 2019-09-27 2019-09-27 定位方法及装置、终端、存储介质
PCT/CN2020/117156 WO2021057797A1 (zh) 2019-09-27 2020-09-23 定位方法及装置、终端、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910922471.0A CN110645986B (zh) 2019-09-27 2019-09-27 定位方法及装置、终端、存储介质

Publications (2)

Publication Number Publication Date
CN110645986A CN110645986A (zh) 2020-01-03
CN110645986B true CN110645986B (zh) 2023-07-14

Family

ID=69011607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910922471.0A Active CN110645986B (zh) 2019-09-27 2019-09-27 定位方法及装置、终端、存储介质

Country Status (2)

Country Link
CN (1) CN110645986B (zh)
WO (1) WO2021057797A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110645986B (zh) * 2019-09-27 2023-07-14 Oppo广东移动通信有限公司 定位方法及装置、终端、存储介质
CN111447553B (zh) * 2020-03-26 2021-10-15 云南电网有限责任公司电力科学研究院 一种基于wifi的增强视觉slam方法及装置
CN111511017B (zh) * 2020-04-09 2022-08-16 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN111506687B (zh) * 2020-04-09 2023-08-08 北京华捷艾米科技有限公司 一种地图点数据提取方法、装置、存储介质及设备
CN111680596B (zh) * 2020-05-29 2023-10-13 北京百度网讯科技有限公司 基于深度学习的定位真值校验方法、装置、设备及介质
CN111623783A (zh) * 2020-06-30 2020-09-04 杭州海康机器人技术有限公司 一种初始定位方法、视觉导航设备、仓储系统
CN112362047A (zh) * 2020-11-26 2021-02-12 浙江商汤科技开发有限公司 定位方法及装置、电子设备和存储介质
CN112529887B (zh) * 2020-12-18 2024-02-23 广东赛诺科技股份有限公司 一种基于gis地图数据懒加载方法及系统
CN112509053B (zh) * 2021-02-07 2021-06-04 深圳市智绘科技有限公司 机器人位姿的获取方法、装置及电子设备
CN113063424B (zh) * 2021-03-29 2023-03-24 湖南国科微电子股份有限公司 一种商场内导航方法、装置、设备及存储介质
CN113259883B (zh) * 2021-05-18 2023-01-31 南京邮电大学 一种面向手机用户的多源信息融合的室内定位方法
CN113657164B (zh) * 2021-07-15 2024-07-02 美智纵横科技有限责任公司 标定目标对象的方法、装置、清扫设备和存储介质
CN113808269A (zh) * 2021-09-23 2021-12-17 视辰信息科技(上海)有限公司 地图生成方法、定位方法、系统及计算机可读存储介质
CN114140674B (zh) * 2021-10-20 2024-04-16 郑州信大先进技术研究院 结合图像处理及数据挖掘技术的电子证据可用性鉴别方法
CN114427863A (zh) * 2022-04-01 2022-05-03 天津天瞳威势电子科技有限公司 车辆定位方法及系统、自动泊车方法及系统、存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934339A (zh) * 2017-01-19 2017-07-07 上海博康智能信息技术有限公司 一种目标跟踪、跟踪目标识别特征的提取方法和装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8311733B2 (en) * 2005-02-15 2012-11-13 The Invention Science Fund I, Llc Interactive key frame image mapping system and method
JP4564564B2 (ja) * 2008-12-22 2010-10-20 株式会社東芝 動画像再生装置、動画像再生方法および動画像再生プログラム
US9297881B2 (en) * 2011-11-14 2016-03-29 Microsoft Technology Licensing, Llc Device positioning via device-sensed data evaluation
US9400930B2 (en) * 2013-09-27 2016-07-26 Qualcomm Incorporated Hybrid photo navigation and mapping
CN104661300B (zh) * 2013-11-22 2018-07-10 高德软件有限公司 定位方法、装置、系统及移动终端
CN104936283B (zh) * 2014-03-21 2018-12-25 中国电信股份有限公司 室内定位方法、服务器和系统
TWI543117B (zh) * 2014-06-18 2016-07-21 台達電子工業股份有限公司 物件辨識與定位方法
CN105372628A (zh) * 2015-11-19 2016-03-02 上海雅丰信息科技有限公司 一种基于Wi-Fi的室内定位导航方法
CN105974357A (zh) * 2016-04-29 2016-09-28 北京小米移动软件有限公司 终端的定位方法及装置
CN105828296A (zh) * 2016-05-25 2016-08-03 武汉域讯科技有限公司 一种利用图像匹配与wi-fi融合的室内定位方法
CN108495259A (zh) * 2018-03-26 2018-09-04 上海工程技术大学 一种渐进式室内定位服务器及定位方法
CN108764297B (zh) * 2018-04-28 2020-10-30 北京猎户星空科技有限公司 一种可移动设备位置的确定方法、装置及电子设备
CN109086350B (zh) * 2018-07-13 2021-07-30 哈尔滨工业大学 一种基于WiFi的混合图像检索方法
CN109579856A (zh) * 2018-10-31 2019-04-05 百度在线网络技术（北京）有限公司 高精度地图生成方法、装置、设备及计算机可读存储介质
CN109658445A (zh) * 2018-12-14 2019-04-19 北京旷视科技有限公司 网络训练方法、增量建图方法、定位方法、装置及设备
CN109948525A (zh) * 2019-03-18 2019-06-28 Oppo广东移动通信有限公司 拍照处理方法、装置、移动终端以及存储介质
CN109993113B (zh) * 2019-03-29 2023-05-02 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法
CN110645986B (zh) * 2019-09-27 2023-07-14 Oppo广东移动通信有限公司 定位方法及装置、终端、存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934339A (zh) * 2017-01-19 2017-07-07 上海博康智能信息技术有限公司 一种目标跟踪、跟踪目标识别特征的提取方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于ORB关键帧匹配算法的机器人SLAM实现;艾青林;余杰;胡克用;陈琦;;机电工程;33(05);全文 *

Also Published As

Publication number Publication date
WO2021057797A1 (zh) 2021-04-01
CN110645986A (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
CN110645986B (zh) 定位方法及装置、终端、存储介质
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
CN111199564B (zh) 智能移动终端的室内定位方法、装置与电子设备
CN107833280B (zh) 一种基于地理网格与图像识别相结合的户外移动增强现实方法
CN112150548B (zh) 定位方法及装置、终端、存储介质
CN111179358A (zh) 标定方法、装置、设备及存储介质
EP3398164B1 (en) System for generating 3d images for image recognition based positioning
CN111028358B (zh) 室内环境的增强现实显示方法、装置及终端设备
CN111323024B (zh) 定位方法及装置、设备、存储介质
CN101300588A (zh) 确定收集中的特定人的方法
CN110738703B (zh) 定位方法及装置、终端、存储介质
CN105571583B (zh) 一种用户位置定位方法以及服务器
US20220099455A1 (en) Map update method, terminal and storage medium
CN107193820B (zh) 位置信息获取方法、装置及设备
CN112634368A (zh) 场景目标的空间与或图模型生成方法、装置及电子设备
CN110645999A (zh) 导航方法、装置、服务器、终端及存储介质
CN111126288B (zh) 目标对象的关注度计算方法、装置、存储介质及服务器
CN111832579A (zh) 地图兴趣点数据处理方法、装置、电子设备以及可读介质
CN112215964A (zh) 基于ar的场景导览方法和设备
CN105740777B (zh) 信息处理方法及装置
CN110636248B (zh) 目标跟踪方法与装置
CN110781797B (zh) 一种标注方法、装置及电子设备
Miyajima et al. Ar sightseeing system with proximity detection and markerless ar
WO2024083010A1 (zh) 一种视觉定位方法及相关装置
KR102249380B1 (ko) 기준 영상 정보를 이용한 cctv 장치의 공간 정보 생성 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant