CN112066988B - 定位方法及定位设备 - Google Patents

定位方法及定位设备 Download PDF

Info

Publication number
CN112066988B
CN112066988B CN202010827267.3A CN202010827267A CN112066988B CN 112066988 B CN112066988 B CN 112066988B CN 202010827267 A CN202010827267 A CN 202010827267A CN 112066988 B CN112066988 B CN 112066988B
Authority
CN
China
Prior art keywords
image
target
acquired
historical
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010827267.3A
Other languages
English (en)
Other versions
CN112066988A (zh
Inventor
刘万凯
陆柳慧
陈嘉胤
孙峰
杨东清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202010827267.3A priority Critical patent/CN112066988B/zh
Publication of CN112066988A publication Critical patent/CN112066988A/zh
Application granted granted Critical
Publication of CN112066988B publication Critical patent/CN112066988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种定位方法及设备，其中所述方法包括：获得采集图像，所述采集图像为可行进设备采集到的弱纹理图像；获得与采集图像的图像特征相似的N帧历史图像，N为大于等于2的正整数；获得各帧历史图像和采集图像之间的光流点对；依据光流点对，从N帧历史图像中获得目标历史图像；获得采集所述目标历史图像时所述可行进设备所处的目标位置；依据目标历史图像和采集图像，对第一参数进行估计，所述第一参数表征为在采集所述采集图像时可行进设备所处的位置与所述目标位置之间的相对位置关系；依据所述目标位置和所述第一参数，定位出所述可行进设备在采集所述采集图像时所处的位置。

Description

定位方法及定位设备
技术领域
本申请涉及定位技术，具体涉及一种定位方法及设备。
背景技术
增强现实(AR，Augmented Reality)或虚拟现实(VR，Virtual Reality)设备可随着佩戴者的行进而行进，当其处于一个未知环境中时，可通过传感器获取运动信息和周围的环境信息，基于获取的环境信息对其所处的行进环境进行地图构建，并对AR或VR设备在其所处环境中的位置进行定位。这种定位方法比较适合于行进环境为强纹理场景环境，该行进环境中存在的物体或物体属性等不单一或不单调，比如行进环境中存在有在颜色、形状、大小等属性方面存在较大差异的多个物体。由于该行进环境中这些物体在以上几个方面的差异性，利用前述方案能够准确定位出AR或VR设备在行进环境中的位置。而对于行进环境为弱纹理场景环境，比如空旷的厂房或仓库、存放物体单一或物体属性较为单一的厂房或仓库。在行进环境为弱纹理场景的情况下，仍然使用前述方案进行设备的定位，则会导致定位结果不够准确。针对行进环境为弱纹理场景下的环境，如何对AR或VR设备进行准确定位成为了亟待解决的技术问题。
发明内容
为解决现有存在的技术问题，本申请实施例提供一种定位方法及设备。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种定位方法，包括：
获得采集图像，所述采集图像为可行进设备采集到的弱纹理图像；
获得与采集图像的图像特征相似的N帧历史图像，N为大于等于2的正整数；
获得各帧历史图像和采集图像之间的光流点对；
依据光流点对，从N帧历史图像中获得目标历史图像；
获得采集所述目标历史图像时所述可行进设备所处的目标位置；
依据目标历史图像和采集图像，对第一参数进行估计，所述第一参数表征为在采集所述采集图像时可行进设备所处的位置与所述目标位置之间的相对位置关系；
依据所述目标位置和所述第一参数，定位出所述可行进设备在采集所述采集图像时所处的位置。
前述方案中，所述目标历史图像的数量为M帧，M为大于等于2的正整数；
获得采集M帧目标历史图像时所述可行进设备所处的M个目标位置；
依据M帧目标历史图像和采集图像，对M个第一参数进行估计；
依据所述M个目标位置和所述M个第一参数，定位出所述可行进设备在采集所述采集图像时所处的位置。
前述方案中，所述采集图像和所述M帧目标历史图像均由图像采集装置进行采集；所述图像采集装置固定设置在所述可行进设备上；
所述目标位置为采集任一帧目标历史图像时图像采集装置所处的位置；
所述第一参数表征为采集所述采集图像时图像采集装置所处的位置相对于所述目标位置的位置关系；
相应的，所述依据所述M个目标位置和所述M个第一参数，定位出所述可行进设备在采集所述采集图像时所处的位置，包括：
依据所述M个目标位置和所述M个第一参数，估算采集所述采集图像时所述图像采集装置所处的M个位置；
依据所述图像采集装置所处的M个位置，计算出所述可行进设备在采集所述采集图像时所处位置的M个估算值；
依据所述M个估算值，对所述可行进设备在采集所述采集图像时所处的位置进行计算。
前述方案中，所述依据M帧目标历史图像和采集图像，对M个第一参数进行估计，包括：
依据任一帧目标历史图像和采集图像之间的光流点对，获得针对任一帧目标历史图像的本征矩阵；
依据所述本征矩阵，对采集所述采集图像时图像采集装置所处位置相对于所述目标位置的平移关系和旋转关系进行计算；
依据所述相对平移关系和所述相对旋转关系，得到针对所述任一帧目标历史图像的所述第一参数。
前述方案中，还包括：
依据所述本征矩阵，获得图像采集装置采集所述任一帧目标历史图像时采用的尺寸因子；
相应的，所述依据所述相对平移关系和所述相对旋转关系，得到所述第一参数，包括：
依据相对平移关系、相对旋转关系和尺寸因子，得到所述第一参数。
前述方案中，所述依据所述本征矩阵，对采集所述采集图像时图像采集装置所处位置相对于所述目标位置的平移关系和旋转关系进行计算，包括：
对针对所述任一帧目标历史图像的本征矩阵进行矩阵分解；
依据分解结果和预设的单位矩阵，计算在采集所述采集图像时图像采集装置所处位置相对于在采集所述任一帧目标历史图像时图像采集装置所处位置的平移关系和旋转关系。
前述方案中，所述依据所述本征矩阵，获得图像采集装置采集所述任一帧目标历史图像时采用的尺寸因子，包括：
从所述M帧目标历史图像除所述任一帧目标历史图像之外的其它图像中筛选出关联帧目标历史图像；
依据第一相对平移关系、第二相对平移关系、第一目标位置和第二目标位置，计算图像采集装置采集所述任一帧目标历史图像时采用的尺寸因子；
其中，第一相对平移关系为在采集所述采集图像时图像采集装置所处位置相对于在采集所述任一帧目标历史图像时图像采集装置所处位置的平移关系；第二相对平移关系为采集所述采集图像时图像采集装置所处位置相对于在采集所述关联帧目标历史图像时图像采集装置所处位置的平移关系；所述第二目标位置为采集所述关联帧目标历史图像时图像采集装置所处的位置。
前述方案中，所述依据光流点对，从N帧历史图像中获得目标历史图像，包括：
计算各帧历史图像与采集图像之间的光流点对的数量；
从N帧历史图像中，获得与采集图像之间的光流点对数量大于等于阈值的历史图像；
确定所获得的历史图像为目标历史图像。
本申请实施例还提供一种定位设备，包括：
第一获得单元，用于获得采集图像，所述采集图像为可行进设备采集到的弱纹理图像；
第二获得单元，用于获得与采集图像的图像特征相似的N帧历史图像，N 为大于等于2的正整数；
第三获得单元，用于获得各帧历史图像和采集图像之间的光流点对；
第四获得单元，用于依据光流点对，从N帧历史图像中获得目标历史图像；
第五获得单元，用于获得采集所述目标历史图像时所述可行进设备所处的目标位置；
估计单元，用于依据目标历史图像和采集图像，对第一参数进行估计，所述第一参数表征为在采集所述采集图像时可行进设备所处的位置和所述目标位置之间的相对位置关系；
定位单元，用于依据所述目标位置和所述第一参数，定位出所述可行进设备在采集所述采集图像时所处的位置。
本申请实施例还提供一种定位设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述方法的步骤。
本申请实施例提供的方案相当于从弱纹理图像的光流特性方面入手对可行进设备在弱纹理场景下所处的位置进行定位。进一步的，结合弱纹理图像的图像特征和图像的光流点对，进行目标历史图像的获得，可保证目标历史图像的获得准确性。基于获得准确的目标历史图像和采集图像，可准确地估计出相对位置关系，由此可实现对在弱纹理场景下行进的可行进设备进行准确地定位，保证定位准确性，提高定位准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的定位方法实施例的实现流程示意图一；
图2为本申请提供的定位方法实施例的实现流程示意图二；
图3为本申请提供的定位方法实施例的实现流程示意图三；
图4为本申请提供的定位方法实施例的实现流程示意图四；
图5为本申请提供的弱纹理场景示意图；
图6为本申请提供的定位方法实施例的实现流程示意图五；
图7为本申请提供的定位设备实施例的组成结构示意图；
图8为本申请提供的定位设备实施例的硬件构成示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
可以理解，弱纹理场景的概念是相对于强纹理场景的概念而言的，为一个相对概念。如果对弱纹理场景和强纹理场景下的环境分别进行采集，由于强纹理场景下的物体种类较为丰富，各物体在颜色、形状、大小等方面均存在较大差异，则从强纹理场景环境下采集的图像中，可以看到丰富的图像信息，在视觉上可让观看此图像的用户观看到不同色彩、不同大小的物体，视觉体验较佳，给人一种比较生动的感受。由于弱纹理场景下的环境在色彩方面比较单一，色彩变化幅度较小，或环境中所处的物体在颜色、形状、大小等方面的差异不大，则从弱纹理场景环境下采集的图像中，无法看到像从强纹理场景环境下采集的图像所体现的丰富信息，其所体现的信息较为单一。例如弱纹理场景为存放纸箱的厂房，对该环境进行图像采集，从采集的图像中看到的就是颜色相同或相近的纸箱，还例如在空旷的厂房、电影院、商场等，在视觉上让观看图像的用户感受不到良好的视觉体验，给人一种沉闷的感受。在实际应用中，可行进设备的行进环境即为这种弱纹理场景，当其在这种弱纹理场景中进行行进或移动，如果实现对其的准确定位即为需要本申请实施例解决的技术问题。
本申请提供的定位方法实施例的实现流程示意图一，应用于可行进设备中。可行进设备可以是任何可以进行行进的设备，如AR或VR设备，在用户的佩戴下，随着用户在可行进环境中的行进而行进。如在商场或电影院进行定位，以找到出口。此外，可行进设备可以是任何能够进行自主行进的合理设备，比如是平衡车、平衡轮等。用户可利用平衡车、平衡轮驶入至弱纹理场景如空旷的厂房中进行骑行练习，依据对平衡车、平衡轮在厂房中的定位结果，为用户找到准确的出口。可行进设备还可以是具有一定运输功能的自主行进设备，如自动导引运输车(AGV，Automated Guided Vehicle)，AGV上可承载一定的货品如纸箱，依据对AGV在存放纸箱的厂房中的定位结果，进行路线的规划，按照规划的路线代替人工将厂房中存放的货品运输到指定地点如将纸箱从厂房内运输到厂房外。本申请实施例中优选的可行进设备为AR或VR设备。
如图1所示，应用于可行进设备的定位方法包括：
S101：获得采集图像，所述采集图像为可行进设备采集到的弱纹理图像；
本步骤中，在可行进设备处于弱纹理场景中时，可对当前所处的环境进行图像采集或拍摄，得到弱纹理图像。也即弱纹理图像是可行进设备对弱纹理场景进行拍摄而得到的图像。考虑到在实际应用中，可行进设备可需要被进行实时定位，在需要被实时定位的情形下，可行进设备可对采集图像进行实时采集。可行进设备也可以每隔一段时间进行一次定位，则可按照所述每隔一段时间进行图像的拍摄。
S102：获得与采集图像的图像特征相似的N帧历史图像，N为大于等于2 的正整数；
本步骤中，历史图像可以是预先将可行进设备在该弱纹理场景下行进一次，在该次行进下，每行进至一个位置均对其的周边环境进行拍摄而得到的。将预先得到的这些历史图像保存下来，并将各张历史图像及拍摄各张历史图像时可行进设备在该弱纹理场景下所处的位置进行对应记录。从保存的历史图像中，查找与采集图像的图像特征相似的历史图像。这里的相似图像特征指的是采集图像和历史图像均是针对同一拍摄对象进行拍摄的图像。例如，均是针对厂房中的纸箱进行拍摄的图像、或均是针对厂房中用于承载纸箱的承载体如货架进行拍摄的图像。可以理解，本步骤相当于从图像特征角度出发，从保存的多个历史图像中筛选出初步有用的历史图像。真正有用的历史图像如目标历史图像还需要通过后续的方案筛选出。
在实际应用中，考虑到定位准确性，需要预先在尽可能多的位置进行历史图像的拍摄。在同一位置可拍摄一帧历史图像，也可拍摄两帧或两帧以上历史图像。在拍摄历史图像时可行进设备所处的位置较为丰富、历史图像数量较多的情况下，查找出的历史图像的数量通常也较多，如为2帧或2帧及以上。
S103：获得各帧历史图像和采集图像之间的光流点对；
本步骤中，利用光流法进行各帧历史图像和采集图像之间的光流点对的提取。光流法是分析运动图像的方法，当物体在运动时，对运动的物体进行图像拍摄，它在图像上对应点的亮度也在运动。这种图像亮度运动就可视为光流。光流可表示图像的变化，由于其包含了物体的运动信息，可被用来确定物体的运动情况。基于这种原理，在本申请实施例的弱纹理场景下，各帧历史图像是对可行进设备在弱纹理环境的移动或运动情况下而得到的，在相邻两帧或多帧历史图像中如果出现有同一拍摄对象如纸箱A，则这些拍摄对象在两帧或多帧历史图像中的对应点的亮度也在运动。利用光流法，相当于利用同一对应点在不同帧中的运动亮度，将历史图像和采集图像中表征为同一拍摄对象的点进行提取，得到一个点对，被称之为光流点对。对光流点对可以这样理解：历史图像中的某个特征点，该特征点对应于弱纹理场景中的某个拍摄对象如纸箱A上的一个字母标识，在可行进设备移动至可拍摄到采集图像的位置处拍摄到的采集图像中，该拍摄对象对应于哪个特征点。由于是利用光流法进行特征点的提取的，所以历史图像中的该拍摄对象对应的特征点和采集图像中该拍摄对象对应的特征点即可视为一个光流点对。
S104：依据光流点对，从N帧历史图像中获得目标历史图像；
本步骤中，计算各帧历史图像与采集图像之间的光流点对的数量；从N帧历史图像中，获得与采集图像之间的光流点对数量大于等于阈值的历史图像；确定所获得的历史图像为目标历史图像。该方案可视为从光流点对的数量的角度入手，从初步筛选出的历史图像(N帧历史图像)中筛选出期望的历史图像即目标历史图像。本申请实施例中的目标历史图像是结合了图像特征和图像间光流点对的数量这两个方面，从保存的多个历史图像中筛选出来的。结合以上两个方面进行筛选，可保证目标历史图像的被筛选出来的准确性。其中，基于光流法进行图像间(N帧历史图像中的各帧历史图像与采集图像之间)光流点对的提取以及基于提取的光流点对的数量进行的历史图像筛选，也可保证筛选准确性。其中，阈值可以根据实际使用情况而预先设定好的，如阈值为50或 100，还可以为其它合理取值，不一一列举。
S105：获得采集所述目标历史图像时所述可行进设备所处的目标位置；
在本步骤中，在预先将历史图像保存下来的方案中，还将各张历史图像及拍摄各张历史图像时可行进设备在该弱纹理场景下所处的位置进行了对应记录。在筛选出目标历史图像之后，在预先保存的如上记录信息中，查找与筛选出的目标历史图像对应的位置信息，该位置信息即为可行进设备在采集该目标历史图像时在该弱纹理场景下所处的位置(目标位置)。
S106：依据目标历史图像和采集图像，对第一参数进行估计，所述第一参数表征为在采集所述采集图像时可行进设备所处的位置与所述目标位置之间的相对位置关系；
本步骤中，依据筛选出的目标历史图像和采集图像，对可行进设备在采集所述采集图像时其所处的位置与目标位置之间的相对位置关系进行估计。
S107：依据所述目标位置和所述第一参数，定位出所述可行进设备在采集所述采集图像时所处的位置。
本步骤中，依据可行进设备在采集目标历史图像时在弱纹理场景下所处的位置以及估计出的可行进设备在采集所述采集图像时其所处的位置与目标位置之间的相对位置关系，对可行进设备在采集所述采集图像时所处的位置进行计算。示例性地，以目标位置为坐标A为例，相对位置关系为可行进设备在采集所述采集图像时其所处的位置在目标位置的以南2m处，则可计算出可行进设备在采集所述采集图像时所处的位置。
从S101～S107的方案可知，从弱纹理图像的光流特性方面入手对可行进设备在弱纹理场景下所处的位置进行定位。进一步的，获得可行进设备在其所处的弱纹理场景下采集到的弱纹理图像，从采集到的弱纹理图像和历史图像的图像特征的角度以及图像间光流点对的角度筛选出期望的历史图像-目标历史图像，获得可行进设备在采集该目标历史图像时在该弱纹理场景下所处的目标位置，依据筛选出的目标历史图像和采集图像，对可行进设备在采集所述采集图像时其所处的位置与目标位置之间的相对位置关系进行估计，依据目标位置以及估计出的相对位置关系，对可行进设备在采集所述采集图像时所处的位置进行计算。结合图像特征和光流点对这两个方面进行目标历史图像的筛选，可保证筛选准确性。基于筛选准确的目标历史图像和采集图像，可准确地估计出相对位置关系，由此可实现对行进在弱纹理场景下的可行进设备进行准确地定位，保证定位准确性，提高定位准确率。
在前述S104中，获得的目标历史图像的数量可以为一帧或单帧，可以为两帧，还可以为两帧及以上。
在目标历史图像的数量为单帧的情况下，依据可行进设备在采集该单帧目标历史图像时在弱纹理场景下所处的位置以及估计出的可行进设备在采集所述采集图像时其所处的位置与目标位置(可行进设备拍摄该单帧目标历史图像时在该弱纹理场景下所处的位置)之间的相对位置关系，对可行进设备在采集所述采集图像时所处的位置进行计算。示例性地，以可行进设备拍摄该单帧目标历史图像时在该弱纹理场景下所处的位置为坐标A为例，估计出的相对位置关系为可行进设备在采集所述采集图像时其所处的位置在目标位置的以南2m处，则可计算出可行进设备在采集所述采集图像时所处的位置为可行进设备从坐标 A处开始向南行进2m处所到达的位置。
在获得的目标历史图像的数量为两帧或两帧及以上的情况下，也即在目标历史图像的数量M为大于等于2的正整数的情况下，如图2所示，所述 S105～S107为：
S105a：获得采集M帧目标历史图像时所述可行进设备所处的M个目标位置；
在本步骤中，在预先记录的各张历史图像及拍摄各张历史图像时可行进设备在该弱纹理场景下所处的位置之间的对应关系中，查找与每帧目标历史图像对应的位置信息，该位置信息即为可行进设备在采集该帧目标历史图像时在该弱纹理场景下所处的位置(目标位置)。查找M帧目标历史图像即可得到M个目标位置。
S106a：依据M帧目标历史图像和采集图像，对M个第一参数进行估计；
在本步骤中，依据每帧目标历史图像和采集图像，对一个第一参数进行估计。
S107a：依据所述M个目标位置和所述M个第一参数，定位出所述可行进设备在采集所述采集图像时所处的位置。
在具体实现上，依据所述M个目标位置和所述M个第一参数，计算出所述可行进设备在采集所述采集图像时所处位置的M个估计值，依据M个估计值，进行所述可行进设备在采集所述采集图像时所处位置的确定。示例性地，对于M帧中的其中一帧目标历史图像，依据该帧目标历史图像和采集图像，对可行进设备在弱纹理场景下采集所述采集图像时所处的位置与采集该帧目标历史图像所处的位置(目标位置)之间的相对位置关系进行估计，依据利用该帧目标历史图像估计出的相对位置关系和采集该帧目标历史图像时可行进设备所处的位置，计算出可行进设备在采集所述采集图像时所处位置的一个估计值。利用M帧目标历史图像得到M个目标位置和M个第一参数，得到M个可行进设备在采集所述采集图像时所处位置的估计值，可将M个估计值进行算术平均或加权平均运算；或者删除M个估计值中差异较大的值，保留下差异较小的几个值，取差异较小的几个值的均值作为运算后的位置估计值，将运算后的位置估计值作为可行进设备采集所述采集图像时在该弱纹理场景下所处的位置。
S105a～S107a可视为利用两帧或两帧以上的目标历史图像进行可行进设备在采集所述采集图像时在弱纹理场景下所处的位置的计算，与利用单帧目标历史图像进行位置的计算方案相比，可保证位置计算的准确性，实现对行进在弱纹理场景下的可行进设备的更准确定位。
本申请实施例中的可行进设备包括图像采集装置如摄像头，所述图像采集装置固定设置在所述可行进设备上，即图像采集装置在可行进设备上无法产生转动。前述的采集图像、及所有历史图像(包括M帧目标历史图像)均由图像采集装置进行采集。如此，图1和/或图2中的所述目标位置为采集任一帧目标历史图像时图像采集装置所处的位置；所述第一参数表征为采集所述采集图像时图像采集装置所处的位置相对于图像采集装置采集目标帧历史图像时在弱纹理场景下所处的位置(目标位置)的位置关系。这种情况下，如图3所示，所述S107a依据所述M个目标位置和所述M个第一参数，定位出所述可行进设备在采集所述采集图像时所处的位置的技术方案可通过如下过程来实现：
S107a1：依据所述M个目标位置和所述M个第一参数，估算采集所述采集图像时所述图像采集装置所处的M个位置；
S107a2：依据所述图像采集装置所处的M个位置，计算出所述可行进设备在采集所述采集图像时所处位置的M个估算值；
S107a3：依据所述M个估算值，对所述可行进设备在采集所述采集图像时所处的位置进行计算。
在前述S107a1～S107a3中，由于可行进设备是由固定设置在其上的部件如摄像头进行的采集图像和历史图像的采集，所以估算出的M个估算值是采集所述采集图像时摄像头在弱纹理场景下所处的M个位置；依据估算出的M个估算值，对可行进设备在采集所述采集图像时在弱纹理场景下所处的位置进行计算。示例性地，因为摄像头是固定设置在可行进设备上的，可直接将M个估算值的算术平均或加权平均运算结果作为可行进设备在采集所述采集图像时在弱纹理场景下所处的位置。或者将M个估算值中差异较小的几个值的均值作为可行进设备在采集所述采集图像时在弱纹理场景下所处的位置。从前述方案可看出，本申请实施例可利用固定设置在可行进设备上的摄像头采集所述采集图像时在弱纹理场景下所处位置的M个估算值，进行可行进设备在采集所述采集图像时在弱纹理场景下所处的位置的最终确定，方案可实施性强，易于推广。
在利用固定设置在可行进设备上的摄像头采集所述采集图像时在弱纹理场景下所处位置的M个估算值，进行可行进设备在采集所述采集图像时在弱纹理场景下所处的位置的最终确定的方案中，如图4所示，S106a依据M帧目标历史图像和采集图像，对M个第一参数进行估计的具体实现过程是：
S106a1：依据任一帧目标历史图像和采集图像之间的光流点对，获得针对任一帧目标历史图像的本征矩阵；
S106a2：依据所述本征矩阵，对采集所述采集图像时图像采集装置所处位置相对于所述目标位置的平移关系和旋转关系进行计算；
本步骤中，如果将采集所述采集图像时图像采集装置所处位置相对于采集第i帧目标历史图像时所处位置(第i个目标位置)的平移关系、旋转关系视为相对平移关系和相对旋转关系。为方便描述，将矩阵Ei视为利用第i帧目标历史图像而得到的本征矩阵，将矩阵Ti视为利用Ei得到的可反映相对平移关系的矩阵，也可视为第i个相对平移关系；将矩阵Ri视为利用Ei得到的可反映相对旋转关系的矩阵，也可视为第i个相对旋转关系。其中，i为正整数，1≤i≤M。
S106a3：依据所述相对平移关系和所述相对旋转关系，得到针对所述任一帧目标历史图像的第一参数。
本步骤中，利用Ti和Ri，得到图像采集装置在采集所述采集图像时其在弱纹理场景所处的位置相对于采集第i帧目标历史图像时所处位置(第i个目标位置)的位置关系。由于该相对位置关系是基于第i帧目标历史图像而得到的，为方便后续的描述，可视该相对位置关系为第i个相对位置关系。
可以理解，在利用图像特征和图像间的光流点对筛选出M帧目标历史图像的情况下，针对每帧目标历史图像均进行S106a1～S106a3的计算，得到图像采集装置在采集所述采集图像时其在弱纹理场景所处的位置相对于采集各帧目标历史图像时在该弱纹理场景下所处的位置(目标位置)的位置关系。可保证各个相对位置关系的计算准确性，由此可保证图像采集装置在采集所述采集图像时在弱纹理场景下所处的位置的定位准确性。
在一些实施例中，在S106a3之前，所述方法包括：
S1061：依据所述本征矩阵，获得图像采集装置采集所述任一帧目标历史图像时采用的尺寸因子；
S1061和S106a2无严格的先后顺序，还可以同时进行。
相应的，S106a3依据所述相对平移关系和所述相对旋转关系，得到所述第一参数，包括：
S1062：依据相对平移关系、相对旋转关系和尺寸因子，得到所述第一参数。
可以理解，本申请实施例中的图像采集装置在采集弱纹理场景下的所述采集图像时所处的位置以及可行进设备在采集弱纹理场景下的所述采集图像时所处的位置均是在世界坐标系下的位置。而图像采集装置是在摄像头坐标系下进行的图像采集。在S1061～S1062所示的方案中，想要计算出在世界坐标下的位置，还需要考虑这两个坐标系存在的差异，将摄像头坐标系下得到的信息转换到世界坐标系下，这个转换关系即可视为前述的尺寸因子。在技术层面上，如果所述任一帧目标历史图像为第i帧目标历史图像，则依据Ei得到的尺寸因子可视为第i个尺寸因子。基于三个因素(Ti、Ri和第i个尺寸因子)进行第i个相对位置关系的计算，可保证相对位置关系的计算准确性。
在一些实施例中，前述S106a2依据所述本征矩阵，对采集所述采集图像时图像采集装置所处位置相对于所述目标位置的平移关系和旋转关系进行计算，还可通过如下方案来实现：对针对所述任一帧目标历史图像的本征矩阵进行矩阵分解；依据分解结果和预设的单位矩阵，计算在采集所述采集图像时图像采集装置所处位置相对于在采集所述任一帧目标历史图像时图像采集装置所处位置的平移关系和旋转关系。示例性地，如果将所述任一帧目标历史图像视为M 帧目标历史图像中的第i帧目标历史图像时，对矩阵Ei进行矩阵分解，得到两个矩阵(Ui和Vi)。假定预设的单位矩阵为W，则可依据Ui、Vi和W，计算第 i个相对平移关系Ti和第i个相对旋转关系Ri，在工程上易于实现，可行性高。
在一些实施例中，前述S1061依据所述本征矩阵，获得图像采集装置采集所述任一帧目标历史图像时采用的尺寸因子的方案可通过如下过程来实现：
从所述M帧目标历史图像除所述任一帧目标历史图像之外的其它图像中筛选出关联帧目标历史图像；依据第一相对平移关系、第二相对平移关系、第一目标位置和第二目标位置，计算图像采集装置采集所述任一帧目标历史图像时采用的尺寸因子；其中，第一相对平移关系为在采集所述采集图像时图像采集装置所处位置相对于在采集所述任一帧目标历史图像时图像采集装置所处位置的平移关系；第二相对平移关系为采集所述采集图像时图像采集装置所处位置相对于在采集所述关联帧目标历史图像时图像采集装置所处位置的平移关系；所述第二目标位置为采集所述关联帧目标历史图像时图像采集装置所处的位置。
前述方案中，如果将所述任一帧目标历史图像视为M帧目标历史图像中的第i帧目标历史图像，则关联帧目标历史图像可以是M帧目标历史图像中的第 j帧目标历史图像，i≠j。图像采集装置在采集第i帧目标历史图像在弱纹理场景中所处的位置为第i个目标位置(即第一个目标位置)。第二相对平移关系(即第j个相对平移关系)为采集所述采集图像时图像采集装置所处位置相对于在采集第j帧目标历史图像时图像采集装置所处位置的平移关系。图像采集装置在采集第j帧目标历史图像在弱纹理场景中所处的位置为第j个目标位置(即第二个目标位置)。第i个尺寸因子可通过第i个相对平移关系(第一相对平移关系)、第j个相对平移关系、第i个目标位置(第一目标位置)和第j个目标位置(第二个目标位置)而得到。其中，第j个相对平移关系和第j个目标位置是基于第j帧目标历史图像而得到的信息，即是与第j帧目标历史图像有关的信息，利用与第j帧目标历史图像有关的信息，对第i个尺寸因子进行计算，这种尺寸因子的计算方法较为新颖，为一种全新的计算方案，将与任一帧的关联帧目标历史图像考虑在内，可保证尺寸因子的计算准确性。
下面结合应用场景一和二对本申请实施例作进一步详细的说明。
应用场景一：如图5所示的应用场景为例，本申请实施例中以可行进设备为AGV、弱纹理场景为用于存放纸箱的厂房、图像采集装置为固定设置在AGV 上的相机、每帧图像包括一张/个图像为例，AGV可在前述的厂房中进行行进，可装载厂房中存放的纸箱，并基于对自身的定位结果，规划出将装载的纸箱运输至指定地点如厂房外的路线，按照规划出的路线进行运输，以代替人工运输。本应用场景中，以如何对在厂房中进行行进的AGV的行进位置进行定位为主要描述方案。在对如何进行定位的方案进行描述之前，还需要介绍下定位方案使用到的图库是如何打得到的，即先对图库的建立过程进行描述。
令AGV在该厂房中进行预行进，在预行进的过程中，可以每行进一个位置，使用相机对该AGV对处于该位置上其周围的环境进行图像拍摄，如拍摄一张图像。在尽可能多的位置进行图像的拍摄，以增加图库中保存的历史图像的丰富性。在相机每次进行图像拍摄时，均需要对相机拍摄图像时采用的6个自由度信息(6DoF)进行感知。可利用设置在AGV上的传感器进行6DOF信息的感知。可以理解，相机的6DOF指的是沿着世界坐标系下的X、Y和Z方向的平移信息以及绕着X、Y和Z轴的转动信息的集合。该集合可视为相机在拍摄图像时在世界坐标系下所处的位置，也即相机所处的位置。应该而知，在 AGV预行进过程中拍摄到的图像即为历史图像，在拍摄每个历史图像时对在拍摄该张历史图像时相机的6DOF信息进行感知，并对各张历史图像以及在拍摄该张历史图像时相机的6DOF信息进行对应记录，形成图库。可以理解，如果 AGV在预行进过程中相邻两个或几个拍摄位置之间距离得很近，由于相机是固定设置在AGV上的，不会产生转动，则在该相邻两个或几个拍摄位置采集到的历史图像中会存在有相同的拍摄对象，如同一纸箱。如此，图库里保存或存储的历史图像的数量越多。图库的建立可满足后续筛选目标历史图像的需求。
在预行进结束后，待到有需要AGV进行纸箱运输需求时，AGV在该厂房中进行行进。在其处于一位置时，在该位置上相机对此时AGV周围所处的环境进行图像拍摄，该拍摄到的图像即为采集图像。提取采集图像的图像特征，基于图像特征，利用图库搜索方法、如视觉词袋方法(bovw)、深度学习检索方法，从预先建立的图库中查找与其图像特征相似的历史图像。可以理解，前述方案作为初步筛选的方案，其是从图库中筛选出与采集图像具有相同拍摄对象的历史图像。即提取采集图像的图像特征，基于图像特征分析该采集图像是对厂房中的哪些拍摄对象进行的拍摄，如是对纸箱进行的拍摄，是对厂房的墙壁进行的拍摄，是对用于承载纸箱的货架进行的拍摄。前述的初步筛选方案意在筛选出图库中与采集图像具有相同拍摄对象的历史图像。由于图库中保存的历史图像的数量较多，初步筛选得到的与采集图像具有相同拍摄对象的历史图像的数量N通常也较多，为至少两张。可以理解，由于存放纸箱的厂房为一个弱纹理环境，所以针对这个弱纹理环境拍摄出的历史图像和采集图像均为弱纹理图像，本应用场景的方案在于如何基于弱纹理图像实现对AGV的定位。
在初步筛选出N张历史图像的情况下，为方便描述，将每张历史图像和采集图像视为一个图像组，利用光流法对各个图像组中的光流点对进行提取。其中，可利用光流法中的稠密光流算法、半稠密光流算法或稀疏光流算法进行光流点对的提取。考虑到半稠密法既可以兼顾计算资源同时可保证光流点对的数量，在本应用场景中优选使用半稠密光流点法进行光流点对的提取。此外，可以理解，由于光流法既可以依据图像组中的其中一个图像中的光流点，对图像组中的另一图像中对应于该光流点的特征点进行查找，并匹配这两个点而得到光流点对。还可以依据图像组中的另一个图像中的光流点，对其中一个图像中对应于该光流点的特征点进行查找。针对同一图像组，利用光流法可实现对该图像组的光流点对的两次提取。将两次提取的光流点对进行比对，如果一致则可以认为光流点对中的两个光流点匹配正确。如果将第一次光流点对的提取视为正向提取，第二次光流点对的提取视为反向提取，比对过程即可视为正反向提取交叉验证的过程，如此可保证光流点对的提取正确性。本领域技术人员应该而知，光流法是基于图像特征点的亮度运动的原理进行的图像特征点的匹配，可以有效应对弱纹理场景中图像在色彩、形状、大小等方面差异不足的问题，实现对弱纹理图像的光流点对中两个光流点或特征点的正确匹配，以提高后续目标历史图像的筛选准确性。
计算从各个图像组中的提取的光流点对的数量，将各个数量与预设的阈值进行大小比较，对于光流点对数量小于阈值的图像组，删除这些图像组中的历史图像。对于光流点对数量大于或等于阈值的图像组，保留这些图像组中的历史图像，保留下的历史图像即为目标历史图像。通常，目标历史图像的数量M 大于等于2。
本应用场景中，假定N张目标历史图像中的任一帧目标历史图像为N张目标历史图像中的第i张目标历史图像，N张目标历史图像中除了第i张之外的其它图像中与第i张关联的图像为第j张目标历史图像。根据图库中记载的各目标历史图像与相机在拍摄各目标历史图像时的6DOF信息，查找相机拍摄第i 张目标历史图像时相机的6DOF信息-Pcam_i和拍摄第j张目标历史图像时相机的 6DOF信息-Pcam_j。利用第i张目标历史图像和采集图像，可估算出相机在采集所述采集图像时其(在世界坐标系下)所处的位置(第1个估算值)。利用第j张目标图像和采集图像，也可估算出相机在采集相机在采集所述采集图像时其 (在世界坐标系下)所处的位置(第2个估算值)。利用前述的两个估算值进行最终相机在采集所述采集图像时位置的确定，基于确定值，计算可行进设备在相机采集所述采集图像时其在弱纹理场景下的位置。如上具体实现过程请参见下面的说明。其中，利用第i张目标历史图像和采集图像估算出第1个估算值与利用第j张目标历史图像和采集图像股算出第2个估算值的过程类似，参见后续对利用第i张目标历史图像和采集图像估算出第1个估算值的说明来理解对第2个估算值的估算过程。
依据第i张目标历史图像和采集图像之间的光流点对，获得本征矩阵Ei；对本征矩阵Ei进行奇异值分解(SVD，Singular Value Decomposition)分解，得到分解后的两个矩阵Ui和Vi。其中，依据光流点对获得本征矩阵的过程请参见现有相关说明，不赘述。本征矩阵Ei与Ui和Vi之间的关系如公式(1)所示： Vi T表示对矩阵Vi的转置。
Ei＝Ui∑Vi T (1)
预先设置单位矩阵W，
Figure BDA0002636663100000131
为3*3的矩阵。
依据Ui、Vi和单位矩阵W，计算第i个相对平移关系Ti和旋转关系Ri。其中，Ti和Ri均为矩阵。Ti可根据公式(2)计算而得，Ri可根据公式(3)计算而得。
Figure BDA0002636663100000132
Ri＝UiW-1Vi T (3)
假定Pcam_cur为相机采集所述采集图像时的6DOF信息。Qi为相机在拍摄所述采集图像时相对于拍摄第i张目标历史图像时的位置关系，即为第i个相对位置关系。Qj为相机在拍摄所述采集图像时相对于拍摄第j张目标历史图像时的位置关系，即为第j个相对位置关系。Pcam_cur可以通过如下公式(4)或(5) 而得到。
Figure BDA0002636663100000133
Figure BDA0002636663100000134
其中，Si为第i个尺寸因子，Sj为第j个尺寸因子。Tj为第j个相对平移关系；Rj为第j个相对旋转关系。Tj、Rj的计算过程参见对Ti、Ri的计算过程，重复之处不赘述。公式(4)、(5)都是关于Pcam_cur的计算公式，公式(4)和(5) 在数值上应该是相等的，即存在公式(6):
Figure BDA0002636663100000135
公式(6)中对应位置上的元素应该相等，由此可得到包括两个未知数(Si和Sj)的三个方程，从三个方程中可求解出这两个未知数，由此得到Si和Sj。这种尺寸因子的计算方法较为新颖，为一种全新的计算方案，相当于在联合了两张目标历史图像：第i张和第j张目标历史图像，实现了两个尺寸因子的一并计算。在对某张目标历史图像的尺寸因子进行计算时，将与其关联的目标历史图像考虑在内，可保证尺寸因子的计算准确性。前述方案可视为将两张或多张目标历史图像联合，进行尺寸因子计算的方案。
在求解出Si和Sj之后，可将Si代入至公式(4)，和/或将Sj代入至公式(5) 得到Pcam_cur。将Si代入至公式(4)或公式(5)得出的Pcam_cur可作为对相机采集所述采集图像时的6DOF的估算值。因为相机是固定设置在AGV上的，可简单地将相机在采集所述采集图像时的6DOF信息视为在相机采集所述采集图像时AGV在弱纹理场景下所处的位置。示例性地，将利用公式(4)得出的 Pcam_cur、或者将利用公式(5)得出的Pcam_cur作为相机在采集所述采集图像时AGV在弱纹理场景下所处的位置。此外，还可以将利用公式(4)得出的Pcam_cur和利用公式(5)得出的Pcam_cur进行加权平均或代数平均，将平均后的结果作为最终相机采集所述采集图像时的6DOF信息，并将这个最终结果作为相机在采集所述采集图像时AGV在弱纹理场景下所处的位置，由此实现了对处于弱纹理场景下的AGV所处位置的定位。
前述方案，是以M＝2为例进行的相机在采集所述采集图像时AGV在弱纹理场景下所处的位置的计算，此外，M还可以取为其它任何合理的数值，计算过程大致如前所述，相同之处请参照理解。
前述方案中，基于在弱纹理场景下采集到的弱纹理图像实现了弱纹理场景下的AGV所处位置的定位。结合了图像特征和图像光流点这两个方面，从图库中筛选出目标历史图像，可使得筛选出的目标历史图像更加准确，基于更为准确的目标历史图像进行弱纹理场景下的AGV定位，可保证定位准确性。
以上方案除了拍摄图像由相机完成之外，其它处理过程可由AGV的处理器如CPU或微控制器来完成，还可以由其它具有处理功能的器件来实现。
前述的应用场景是以可行进设备为AGV为例进行的说明，此外，还可以以可行进设备为AR或VR设备为例进行说明，以AR设备为例实现对处于电影院中AR设备的定位。在实际应用中，电影院中的布置多数是放映厅、墙面、座椅和显示屏，相对于具有丰富色彩、形状的强纹理场景来说，本申请实施例中可将电影院视为弱纹理场景。
应用场景二：令AR设备在该电影院中进行预行进，在预行进的过程中，可以每行进一个位置，使用相机对该AR设备对处于该位置上其周围的环境进行图像拍摄，如拍摄一张图像，该图像即为历史图像。在相机每次进行图像拍摄时，均需要对相机拍摄图像时采用的6个自由度信息(6DoF)进行感知。其中，AR设备上的相机可是虚拟相机还可以是物理相机，对此不做具体限定。可以理解，AR设备上的相机在拍摄图像时相机所处的位置为在世界坐标系下所处的位置。AR设备对相机在各个位置拍摄的各张历史图像以及在拍摄该张历史图像时相机的6DOF信息进行对应记录，形成图库。
在AR设备的预行进结束后，在佩戴AR设备的用户在该电影院中进行行进的过程中，在其处于一位置时，在该位置上相机对此时AR设备周围所处的环境进行图像拍摄，该拍摄到的图像即为采集图像。提取采集图像的图像特征，基于图像特征，利用bovw方法或深度学习检索方法从预先建立的图库中查找与其图像特征相似的历史图像，以从图库中筛选出与采集图像具有相同拍摄对象的历史图像，如筛选出包括有放映厅或座椅的图像。
在初步筛选出N(N≥2)张历史图像的情况下，利用可利用光流法中的稠密光流算法、半稠密光流算法或稀疏光流算法对各个图像组(每张历史图像和采集图像视为一个图像组)中的光流点对进行提取。考虑到半稠密法既可以兼顾计算资源同时可保证光流点对的数量，在本应用场景中优选使用半稠密光流点法进行光流点对的提取。此外，可以理解，与前述应用场景一的方案类似，本应用场景中针对同一图像组，利用光流法可实现对该图像组的光流点对的两次提取。可利用两次提取的光流点对实现对彼此的交叉验证，以保证光流点对的提取正确性。在AR技术中，利用光流法实现对光流点对的提取，可以有效应对弱纹理场景中图像在色彩、形状、大小等方面差异不足的问题，实现对弱纹理图像的光流点对中两个光流点或特征点的正确匹配，以提高后续目标历史图像的筛选准确性。
计算从各个图像组中的提取的光流点对的数量，将各个数量与预设的阈值进行大小比较，对于光流点对数量小于阈值的图像组，删除这些图像组中的历史图像。对于光流点对数量大于或等于阈值的图像组，保留这些图像组中的历史图像，保留下的历史图像即为目标历史图像。通常，目标历史图像的数量M 大于等于2。
本应用场景中，假定N张目标历史图像中的任一帧目标历史图像为N张目标历史图像中的第i张目标历史图像，N张目标历史图像中除了第i张之外的其它图像中与第i张关联的图像为第j张目标历史图像。根据图库中记载的各目标历史图像与相机在拍摄各目标历史图像时的6DOF信息，查找相机拍摄第i张目标历史图像时相机的6DOF信息-Pcam_i和拍摄第j张目标历史图像时相机的 6DOF信息-Pcam_j。计算第i张目标历史图像的Ei，按照前述公式(1)进行矩阵分解，得到分解后的两个矩阵Ui和Vi。再根据单位矩阵W和公式(2)和(3)，计算出第i个相对平移矩阵Ti和旋转矩阵Ri。再计算出第i个相对平移矩阵Ti和旋转矩阵Ri的情况下，需要计算出第i个尺寸因子Si。计算Si需要第j个尺寸因子Sj、第j个相对平移矩阵Tj、及第j个相对旋转关系Rj等的辅助。其中，Tj、 Rj的计算过程请参见前述对Ti和Ri的描述，重复之处不赘述。在已知Pcam_i、 Ti、Ri和Pcam_j、Tj、Rj的基础上，按照前述公式(6)所示，可计算出Si和Sj。相当于，第i张和第j张目标历史图像进行联合，一并计算出各自的尺寸因子，大大节省了计算资源。
在求解出Si和Sj之后，可将Si代入至前述的公式(4)，和/或将Sj代入至前述的公式(5)得到Pcam_cur。将Si代入至公式(4)或公式(5)得出的Pcam_cur可作为对AR设备上的相机采集所述采集图像时的6DOF的估算值。可简单地将相机在采集所述采集图像时的6DOF信息视为AR设备在相机采集所述采集图像时在弱纹理场景下所处的位置。此外，还可以将利用公式(4)得出的Pcam_cur和利用公式(5)得出的Pcam_cur进行加权平均或代数平均，将平均后的结果作为最终AR相机采集所述采集图像时的6DOF信息，并将这个最终结果作为在相机采集所述采集图像时AR设备在弱纹理场景下所处的位置，由此实现了对处于弱纹理场景下的AR所处位置的定位。在应用场景二中，针对AR场景，结合了采集图像和历史图像的图像特征和图像光流点这两个方面，从图库中筛选出目标历史图像，可使得筛选出的目标历史图像更加准确，基于更为准确的目标历史图像进行弱纹理场景下的AR定位，可保证在弱纹理场景下的AR定位的准确性。
从前述的应用场景一和二中可知，本申请实施例的技术方案可实现对处于弱纹理场景的设备的定位，不仅可应用于AR或VR设备中，还可以应用于任何其它需要进行定位的设备中如前述的AGV、手机或平板电脑(PAD)等。还可以应用于对处于弱纹理场景中的车辆的定位，如对处于赛道中的车辆进行定位，应用范围广，实用性更强。
本申请实施例还提供一种定位设备，如图7所示，包括：第一获得单元1001、第二获得单元1002、第三获得单元1003、第四获得单元1004、第五获得单元 1005及估计单元1006、定位单元1007；其中，
第一获得单元1001，用于获得采集图像，所述采集图像为可行进设备采集到的弱纹理图像；
第二获得单元1002，用于获得与采集图像的图像特征相似的N帧历史图像， N为大于等于2的正整数；
第三获得单元1003，用于获得各帧历史图像和采集图像之间的光流点对；
第四获得单元1004，用于依据光流点对，从N帧历史图像中获得目标历史图像；
第五获得单元1005，用于获得采集所述目标历史图像时所述可行进设备所处的目标位置；
估计单元1006，用于依据目标历史图像和采集图像，对第一参数进行估计，所述第一参数表征为在采集所述采集图像时可行进设备所处的位置和所述目标位置之间的相对位置关系；
定位单元1007，用于依据所述目标位置和所述第一参数，定位出所述可行进设备在采集所述采集图像时所处的位置。
在一个可选的方案中，所述目标历史图像的数量为M帧，M为大于等于2 的正整数；
所述第五获得单元1005，用于获得采集M帧目标历史图像时所述可行进设备所处的M个目标位置；
所述估计单元1006，用于依据M帧目标历史图像和采集图像，对M个第一参数进行估计；
所述定位单元1007，用于依据所述M个目标位置和所述M个第一参数，定位出所述可行进设备在采集所述采集图像时所处的位置。
在一个可选的方案中，所述设备包括图像采集装置，所述采集图像和所述 M帧目标历史图像均由图像采集装置进行采集；所述图像采集装置固定设置在所述可行进设备上；
所述目标位置为采集任一帧目标历史图像时图像采集装置所处的位置；
所述第一参数表征为采集所述采集图像时图像采集装置所处的位置相对于所述目标位置的位置关系；
所述定位单元1007，还用于：
依据所述M个目标位置和所述M个第一参数，估算采集所述采集图像时所述图像采集装置所处的M个位置；
依据所述图像采集装置所处的M个位置，计算出所述可行进设备在采集所述采集图像时所处位置的M个估算值；
依据所述M个估算值，对所述可行进设备在采集所述采集图像时所处的位置进行确定。
在一个可选的方案中，所述估计单元1006，用于：
依据任一帧目标历史图像和采集图像之间的光流点对，获得针对任一帧目标历史图像的本征矩阵；
依据所述本征矩阵，对采集所述采集图像时图像采集装置所处位置相对于所述目标位置的平移关系和旋转关系进行计算；
依据所述相对平移关系和所述相对旋转关系，得到所述第一参数。
在一个可选的方案中，所述估计单元1006，用于：依据所述本征矩阵，获得图像采集装置采集所述任一帧目标历史图像时采用的尺寸因子；依据相对平移关系、相对旋转关系和尺寸因子，得到所述第一参数。
在一个可选的方案中，所述估计单元1006，用于：
对针对所述任一帧目标历史图像的本征矩阵进行矩阵分解；
依据分解结果和预设的单位矩阵，计算在采集所述采集图像时图像采集装置所处位置相对于在采集所述任一帧目标历史图像时图像采集装置所处位置的平移关系和旋转关系。
在一个可选的方案中，所述估计单元1006，用于：
从所述M帧目标历史图像除所述任一帧目标历史图像之外的其它图像中筛选出关联帧目标历史图像；
依据第一相对平移关系、第二相对平移关系、第一目标位置和第二目标位置，计算图像采集装置采集所述任一帧目标历史图像时采用的尺寸因子；
其中，第一相对平移关系为在采集所述采集图像时图像采集装置所处位置相对于在采集所述任一帧目标历史图像时图像采集装置所处位置的平移关系；第二相对平移关系为采集所述采集图像时图像采集装置所处位置相对于在采集所述关联帧目标历史图像时图像采集装置所处位置的平移关系；所述第二目标位置为采集所述关联帧目标历史图像时图像采集装置所处的位置。
在一个可选的方案中，第四获得单元1004，用于：
计算各帧历史图像与采集图像之间的光流点对的数量；
从N帧历史图像中，获得与采集图像之间的光流点对数量大于等于阈值的历史图像；
确定所获得的历史图像为目标历史图像。
可以理解，所述定位设备中的第一获得单元1001、第二获得单元1002、第三获得单元1003、第四获得单元1004、第五获得单元1005、估计单元1006、及定位单元1007在实际应用中均可由设备的中央处理器(CPU，Central Processing Unit)、数字信号处理器(DSP，Digital Signal Processor)、微控制单元(MCU，Microcontroller Unit)或可编程门阵列(FPGA，Field－Programmable Gate Array)实现。所述图像采集装置由摄像头来实现。
需要说明的是，本申请实施例的定位设备，由于该定位设备解决问题的原理与前述的定位方法相似，因此，定位设备的实施过程及实施原理均可以参见前述定位方法的实施过程及实施原理描述，重复之处不再赘述。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时至少用于执行图1至图6任一所示方法的步骤。所述计算机可读存储介质具体可以为存储器。所述存储器可以为如图8 所示的存储器62。
图8为本申请实施例的定位设备的硬件结构示意图，如图8所示，定位设备包括：用于进行数据传输的通信组件63、至少一个处理器61和用于存储能够在处理器61上运行的计算机程序的存储器62。终端中的各个组件通过总线系统64耦合在一起。可理解，总线系统64用于实现这些组件之间的连接通信。总线系统64除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为总线系统64。
其中，所述处理器61执行所述计算机程序时至少执行图1至图6任一所示方法的步骤。
可以理解，存储器62可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM， Read OnlyMemory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM， ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM， Static Random Access Memory)、同步静态随机存取存储器(SSRAM， Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM， SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM， SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器 (DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器62旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器61中，或者由处理器61 实现。处理器61可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器61中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器61可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器61可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器62，处理器61读取存储器62中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，定位设备可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD， ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、FPGA、通用处理器、控制器、MCU、微处理器 (Microprocessor)、或其他电子元件实现，用于执行前述的定位方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种定位方法，包括：
获得采集图像，所述采集图像为可行进设备采集到的弱纹理图像；
获得与采集图像的图像特征相似的N帧历史图像，N为大于等于2的正整数；
获得各帧历史图像和采集图像之间的光流点对；
计算各帧历史图像与所述采集图像之间的光流点对的数量；从N帧历史图像中，获得与所述采集图像之间的光流点对数量大于等于阈值的历史图像；确定所获得的历史图像为目标历史图像；
获得采集所述目标历史图像时所述可行进设备所处的目标位置；
依据目标历史图像和采集图像，对第一参数进行估计，所述第一参数表征为在采集所述采集图像时可行进设备所处的位置与所述目标位置之间的相对位置关系；
依据所述目标位置和所述第一参数，定位出所述可行进设备在采集所述采集图像时所处的位置。
2.根据权利要求1所述的方法，所述目标历史图像的数量为M帧，M为大于等于2的正整数；
获得采集M帧目标历史图像时所述可行进设备所处的M个目标位置；
依据M帧目标历史图像和采集图像，对M个第一参数进行估计；
依据所述M个目标位置和所述M个第一参数，定位出所述可行进设备在采集所述采集图像时所处的位置。
3.根据权利要求2所述的方法，所述采集图像和所述M帧目标历史图像均由图像采集装置进行采集；所述图像采集装置固定设置在所述可行进设备上；
所述目标位置为采集任一帧目标历史图像时图像采集装置所处的位置；
所述第一参数表征为采集所述采集图像时图像采集装置所处的位置相对于所述目标位置的位置关系；
相应的，所述依据所述M个目标位置和所述M个第一参数，定位出所述可行进设备在采集所述采集图像时所处的位置，包括：
依据所述M个目标位置和所述M个第一参数，估算采集所述采集图像时所述图像采集装置所处的M个位置；
依据所述图像采集装置所处的M个位置，计算出所述可行进设备在采集所述采集图像时所处位置的M个估算值；
依据所述M个估算值，对所述可行进设备在采集所述采集图像时所处的位置进行计算。
4.根据权利要求3所述的方法，所述依据M帧目标历史图像和采集图像，对M个第一参数进行估计，包括：
依据任一帧目标历史图像和采集图像之间的光流点对，获得针对任一帧目标历史图像的本征矩阵；
依据所述本征矩阵，对采集所述采集图像时图像采集装置所处位置相对于所述目标位置的相对平移关系和相对旋转关系进行计算；
依据所述相对平移关系和所述相对旋转关系，得到针对所述任一帧目标历史图像的所述第一参数。
5.根据权利要求4所述的方法，还包括：
依据所述本征矩阵，获得图像采集装置采集所述任一帧目标历史图像时采用的尺寸因子；
相应的，所述依据所述相对平移关系和所述相对旋转关系，得到针对所述任一帧目标历史图像的所述第一参数，包括：
依据所述相对平移关系、所述相对旋转关系和所述尺寸因子，得到所述第一参数。
6.根据权利要求4或5所述的方法，所述依据所述本征矩阵，对采集所述采集图像时图像采集装置所处位置相对于所述目标位置的相对平移关系和相对旋转关系进行计算，包括：
对针对所述任一帧目标历史图像的本征矩阵进行矩阵分解；
依据分解结果和预设的单位矩阵，计算在采集所述采集图像时图像采集装置所处位置相对于在采集所述任一帧目标历史图像时图像采集装置所处位置的相对平移关系和相对旋转关系。
7.根据权利要求5所述的方法，所述依据所述本征矩阵，获得图像采集装置采集所述任一帧目标历史图像时采用的尺寸因子，包括：
从所述M帧目标历史图像除所述任一帧目标历史图像之外的其它图像中筛选出关联帧目标历史图像；
依据第一相对平移关系、第二相对平移关系、第一目标位置和第二目标位置，计算图像采集装置采集所述任一帧目标历史图像时采用的尺寸因子；
其中，所述第一相对平移关系为在采集所述采集图像时图像采集装置所处位置相对于在采集所述任一帧目标历史图像时图像采集装置所处位置的相对平移关系；所述第二相对平移关系为采集所述采集图像时图像采集装置所处位置相对于在采集所述关联帧目标历史图像时图像采集装置所处位置的相对平移关系；所述第二目标位置为采集所述关联帧目标历史图像时图像采集装置所处的位置。
8.一种定位设备，包括：
第一获得单元，用于获得采集图像，所述采集图像为可行进设备采集到的弱纹理图像；
第二获得单元，用于获得与采集图像的图像特征相似的N帧历史图像，N为大于等于2的正整数；
第三获得单元，用于获得各帧历史图像和采集图像之间的光流点对；
第四获得单元，用于计算各帧历史图像与所述采集图像之间的光流点对的数量；从N帧历史图像中，获得与所述采集图像之间的光流点对数量大于等于阈值的历史图像；确定所获得的历史图像为目标历史图像；
第五获得单元，用于获得采集所述目标历史图像时所述可行进设备所处的目标位置；
估计单元，用于依据目标历史图像和采集图像，对第一参数进行估计，所述第一参数表征为在采集所述采集图像时可行进设备所处的位置与所述目标位置之间的相对位置关系；
定位单元，用于依据所述目标位置和所述第一参数，定位出所述可行进设备在采集所述采集图像时所处的位置。
9.一种定位设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至7任一所述方法的步骤。
CN202010827267.3A 2020-08-17 2020-08-17 定位方法及定位设备 Active CN112066988B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010827267.3A CN112066988B (zh) 2020-08-17 2020-08-17 定位方法及定位设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010827267.3A CN112066988B (zh) 2020-08-17 2020-08-17 定位方法及定位设备

Publications (2)

Publication Number Publication Date
CN112066988A CN112066988A (zh) 2020-12-11
CN112066988B true CN112066988B (zh) 2022-07-26

Family

ID=73662045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010827267.3A Active CN112066988B (zh) 2020-08-17 2020-08-17 定位方法及定位设备

Country Status (1)

Country Link
CN (1) CN112066988B (zh)

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914065B (zh) * 2014-03-24 2016-09-07 深圳市大疆创新科技有限公司 飞行器状态实时修正的方法和装置
CN106444846A (zh) * 2016-08-19 2017-02-22 杭州零智科技有限公司 移动终端的定位和控制方法、装置及无人机
US10366508B1 (en) * 2016-08-29 2019-07-30 Perceptin Shenzhen Limited Visual-inertial positional awareness for autonomous and non-autonomous device
CN107330940A (zh) * 2017-01-25 2017-11-07 问众智能信息科技（北京）有限公司 车载相机姿态自动估计的方法和装置
CN106920259B (zh) * 2017-02-28 2019-12-06 武汉工程大学 一种定位方法及系统
CN106959101B (zh) * 2017-03-17 2019-04-09 哈尔滨工业大学 一种基于光流法的室内定位方法
CN110517319B (zh) * 2017-07-07 2022-03-15 腾讯科技（深圳）有限公司 一种相机姿态信息确定的方法及相关装置
CN110520694A (zh) * 2017-10-31 2019-11-29 深圳市大疆创新科技有限公司 一种视觉里程计及其实现方法
CN108492316A (zh) * 2018-02-13 2018-09-04 视辰信息科技(上海)有限公司 一种终端的定位方法和装置
CN108596976B (zh) * 2018-04-27 2022-02-22 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN109414145B (zh) * 2018-06-28 2022-03-15 广州市小罗机器人有限公司 基于光流传感器的测速方法、打滑检测方法、可移动电子设备、路径纠正方法及装置
CN109520497B (zh) * 2018-10-19 2022-09-30 天津大学 基于视觉和imu的无人机自主定位方法
CN109544615B (zh) * 2018-11-23 2021-08-24 深圳市腾讯信息技术有限公司 基于图像的重定位方法、装置、终端及存储介质
CN109583391B (zh) * 2018-12-04 2021-07-16 北京字节跳动网络技术有限公司 关键点检测方法、装置、设备及可读介质
CN111354042B (zh) * 2018-12-24 2023-12-01 深圳市优必选科技有限公司 机器人视觉图像的特征提取方法、装置、机器人及介质
CN110992401A (zh) * 2019-11-25 2020-04-10 上海眼控科技股份有限公司 目标跟踪方法、装置、计算机设备和存储介质
CN111160237A (zh) * 2019-12-27 2020-05-15 智车优行科技（北京）有限公司 头部姿态估计方法和装置、电子设备和存储介质
CN111210463B (zh) * 2020-01-15 2022-07-15 上海交通大学 基于特征点辅助匹配的虚拟宽视角视觉里程计方法及系统
CN111260726A (zh) * 2020-02-07 2020-06-09 北京三快在线科技有限公司 一种视觉定位方法及装置
CN111402294B (zh) * 2020-03-10 2022-10-18 腾讯科技（深圳）有限公司 目标跟踪方法、装置、计算机可读存储介质和计算机设备

Also Published As

Publication number Publication date
CN112066988A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN108665373B (zh) 一种车辆定损的交互处理方法、装置、处理设备及客户端
Park et al. High-precision depth estimation using uncalibrated LiDAR and stereo fusion
CN114782691A (zh) 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备
Neumann et al. Augmented virtual environments (ave): Dynamic fusion of imagery and 3d models
US11263810B2 (en) Surface reconstruction for environments with moving objects
JP2020087440A (ja) 位置合わせされたｃａｄモデルを使用するａｒ対応ラベル付け
Tang et al. ESTHER: Joint camera self-calibration and automatic radial distortion correction from tracking of walking humans
CN110310326A (zh) 一种位姿数据处理方法、装置、终端及计算机可读存储介质
CN112418288B (zh) 一种基于gms和运动检测的动态视觉slam方法
CN108537214B (zh) 一种室内语义地图的自动化构建方法
CN110648363A (zh) 相机姿态确定方法、装置、存储介质及电子设备
CN113378605B (zh) 多源信息融合方法及装置、电子设备和存储介质
KR20220149717A (ko) 단안 카메라로부터 전체 골격 3d 포즈 복구
CN114266823A (zh) 一种结合SuperPoint网络特征提取的单目SLAM方法
You et al. MISD‐SLAM: multimodal semantic SLAM for dynamic environments
CN111899279A (zh) 一种目标对象的运动速度检测方法及装置
Singh et al. Fusing semantics and motion state detection for robust visual SLAM
Baker et al. Localization and tracking of stationary users for augmented reality
CN114612545A (zh) 图像分析方法及相关模型的训练方法、装置、设备和介质
Zhu et al. PairCon-SLAM: Distributed, online, and real-time RGBD-SLAM in large scenarios
CN111402429B (zh) 一种尺度还原、三维重建方法、系统、存储介质及设备
CN112270748B (zh) 基于图像的三维重建方法及装置
CN112066988B (zh) 定位方法及定位设备
Englert et al. Enhancing the ar experience with machine learning services
CN108874269A (zh) 一种目标跟踪方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant