CN112013850A - 定位方法、装置、自移动设备和存储介质 - Google Patents

定位方法、装置、自移动设备和存储介质 Download PDF

Info

Publication number
CN112013850A
CN112013850A CN202011106810.7A CN202011106810A CN112013850A CN 112013850 A CN112013850 A CN 112013850A CN 202011106810 A CN202011106810 A CN 202011106810A CN 112013850 A CN112013850 A CN 112013850A
Authority
CN
China
Prior art keywords
coordinate system
mark
image
coordinate
mark point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011106810.7A
Other languages
English (en)
Other versions
CN112013850B (zh
Inventor
张彦刚
高梓翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Orion Star Technology Co Ltd
Original Assignee
Beijing Orion Star Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Orion Star Technology Co Ltd filed Critical Beijing Orion Star Technology Co Ltd
Priority to CN202111257931.6A priority Critical patent/CN113984081B/zh
Priority to CN202011106810.7A priority patent/CN112013850B/zh
Publication of CN112013850A publication Critical patent/CN112013850A/zh
Priority to PCT/CN2021/124027 priority patent/WO2022078488A1/zh
Application granted granted Critical
Publication of CN112013850B publication Critical patent/CN112013850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3446Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3844Data obtained from position sensors only, e.g. from inertial navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3852Data derived from aerial or satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)

Abstract

本申请提出一种定位方法、装置、自移动设备和存储介质,涉及定位领域,其中,方法包括:获取图像传感器采集的图像;其中,图像中展示有多个第一标记点,以及多个第二标记点;根据图像中各第一标记点,在图像中确定候选坐标系;根据各第二标记点在候选坐标系中的坐标位置,解码得到目标编码;根据目标编码,查询得到各第二标记点在世界坐标系中的坐标位置;根据各第二标记点在世界坐标系中的坐标位置,以及在图像中的坐标位置,确定搭载图像传感器的自移动设备在世界坐标系下的位姿。由此,能够实现即使自移动设备所处空间内的陈设位置发生变化,或者人员移动干扰激光雷达扫描周围环境,也能够有效定位自移动设备的位置,提升该定位方法的适用性。

Description

定位方法、装置、自移动设备和存储介质
技术领域
本申请涉及定位技术领域,尤其涉及一种定位方法、装置、自移动设备和存储介质。
背景技术
随着人工智能技术的不断发展,人工智能产品,比如自移动设备不断普及。当控制自移动设备移动时,首先需要对自移动设备进行定位,即识别自移动设备在所处空间内的位置,之后才能对该自移动设备进行导航。
相关技术中,采用地图导航方式,确定自移动设备在室内空间中所处的位置。具体地,通过在自移动设备上搭载激光雷达,在自移动设备移动的过程中,采用激光雷达实时扫描周围环境,获取激光点云图,进而将激光雷达实时采集的点云图与预置的地图进行匹配的方式,来确定自移动设备在地图中的实时位置,从而实现对自移动设备进行定位。
然而上述定位方式,无法适用于室内环境经常发生变化的场景。比如,当室内家具等室内陈设位置发生变化时,或者,当人员移动干扰激光雷达扫描周围环境时,自移动设备在移动过程中所采集到的激光点云图,与预置的地图将无法匹配,从而无法定位自移动设备的位置。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
本申请提出一种定位方法、装置、自移动设备和存储介质,以实现即使自移动设备所处空间内的陈设位置发生变化,或者人员移动干扰激光雷达扫描周围环境,也能够有效定位自移动设备的位置,可以提升该定位方法的适用性。
本申请第一方面实施例提出了一种定位方法,包括:
获取图像传感器采集的图像;其中,所述图像中展示有多个第一标记点,以及多个第二标记点;
根据所述图像中各所述第一标记点,在所述图像中确定候选坐标系;
根据各所述第二标记点在所述候选坐标系中的坐标位置,解码得到目标编码;
根据所述目标编码,查询得到各所述第二标记点在世界坐标系中的坐标位置;
根据各所述第二标记点在所述世界坐标系中的坐标位置,以及在所述图像中的坐标位置,确定搭载所述图像传感器的自移动设备在所述世界坐标系下的位姿。
在本申请实施例的第一种可能的实现方式中,所述第一标记点为至少五个;所述根据所述图像中各所述第一标记点,在所述图像中确定候选坐标系,包括:
在所述图像中,连接共线的至少三个所述第一标记点,得到两条连线;
将处于所述两条连线交点的第一标记点,确定为所述候选坐标系的原点,将所述两条连线,确定为所述候选坐标系的坐标轴;其中,所述坐标轴的方向,是根据处于所述坐标轴上的所述第一标记点与所述原点的距离确定的。
在本申请实施例的第二种可能的实现方式中,所述根据各所述第二标记点在所述候选坐标系中的坐标位置,解码得到目标编码,包括:
将所述候选坐标系,与设定的标准坐标系进行坐标系变换,得到所述候选坐标系与所述标准坐标系之间的仿射变换矩阵;
采用所述仿射变换矩阵,将各所述第二标记点在所述候选坐标系中的坐标位置变换至所述标准坐标系下,以得到各所述第二标记点在所述标准坐标系中的坐标位置;
根据各所述第二标记点在所述标准坐标系中的坐标位置,确定对应的目标编码。
在本申请实施例的第三种可能的实现方式中,所述根据各所述第二标记点在所述候选坐标系中的坐标位置,解码得到目标编码,包括:
将所述候选坐标系,与设定的标准坐标系进行坐标系变换,得到所述候选坐标系与所述标准坐标系之间的仿射变换矩阵;
采用所述仿射变换矩阵,将各所述第二标记点在所述候选坐标系中的坐标位置变换至所述标准坐标系下,以得到各所述第二标记点与所述标准坐标系中参考轴之间的夹角和/或各所述第二标记点与所述标准坐标系原点的距离;
根据各所述第二标记点与所述标准坐标系中参考轴之间的夹角和/或各所述第二标记点与所述标准坐标系原点的距离,确定对应的目标编码。
在本申请实施例的第四种可能的实现方式中,所述根据各所述第二标记点在所述候选坐标系中的坐标位置,解码得到目标编码之后,还包括:
若所述第二标记点的个数小于设定阈值个数,则查询所述目标编码对应的辅助标记点在所述世界坐标系中的第一坐标位置,以及在所述标准坐标系中的坐标位置;
采用所述仿射变换矩阵,将所述辅助标记点在所述标准坐标系中的坐标位置变换至所述候选坐标系下,以得到所述辅助标记点在所述候选坐标系中的坐标位置;
根据所述候选坐标系的原点在所述图像中的坐标位置,确定所述辅助标记点在所述图像中的第二坐标位置;
将所述辅助标记点确定为在所述世界坐标系中处于所述第一坐标位置,且在所述图像中处于第二坐标位置的第二标记点。
在本申请实施例的第五种可能的实现方式中,所述获取图像传感器采集的图像之后,还包括:
根据所述图像中各像素点的取值,确定各标记点;
从各所述标记点中识别出各所述第一标记点;其中,所述第一标记点的位置分布符合设定的几何约束条件。
在本申请实施例的第六种可能的实现方式中,所述根据所述图像中各所述第一标记点,在所述图像中确定候选坐标系之后,还包括:
在所述候选坐标系中,确定所述第二标记点的设定分布范围;
将处于所述设定分布范围内的所述标记点作为所述第二标记点。
在本申请实施例的第七种可能的实现方式中,所述根据各所述第二标记点在所述候选坐标系中的坐标位置,解码得到目标编码,包括:
校验所述第二标记点的数量;
若校验通过,则根据各所述第二标记点在所述候选坐标系中的坐标位置,解码得到目标编码。
在本申请实施例的第八种可能的实现方式中,所述根据所述目标编码,查询得到各所述第二标记点在世界坐标系中的坐标位置,包括:
在建立的导航地图中,查询所述目标编码,得到所述目标编码所属位置标识在所述世界坐标系中的位姿;
根据所述位置标识在所述世界坐标系中的位姿,以及各所述第二标记点在所述位置标识所在的标准坐标系中的坐标位置,确定各所述第二标记点在世界坐标系中的坐标位置。
在本申请实施例的第九种可能的实现方式中,所述根据各所述第二标记点在所述世界坐标系中的坐标位置,以及在所述图像中的坐标位置,确定搭载所述图像传感器的自移动设备在所述世界坐标系下的位姿,包括:
根据各所述第二标记点在所述世界坐标系中的坐标位置,以及在所述图像中的坐标位置,采用透视n点PnP算法,确定搭载所述图像传感器的自移动设备在所述世界坐标系下的位姿。
本申请实施例的定位方法,通过根据图像传感器采集的图像中各第一标记点,在图像中确定候选坐标系,之后,根据图像中各第二标记点在候选坐标系中的坐标位置,解码得到目标编码,之后,根据目标编码,查询得到各第二标记点在世界坐标系中的坐标位置,以根据各第二标记点在世界坐标系中的坐标位置,和在图像中的坐标位置,确定搭载图像传感器的自移动设备在世界坐标系下的位姿。由此,即使自移动设备所处空间内的陈设位置发生变化,或者人员移动干扰激光雷达扫描周围环境,也能够有效定位自移动设备的位置,可以提升该定位方法的适用性。
本申请第二方面实施例提出了一种定位装置,包括:
获取模块,用于获取图像传感器采集的图像;其中,所述图像中展示有多个第一标记点,以及多个第二标记点;
确定模块,用于根据所述图像中各所述第一标记点,在所述图像中确定候选坐标系;
解码模块,用于根据各所述第二标记点在所述候选坐标系中的坐标位置,解码得到目标编码;
查询模块,用于根据所述目标编码,查询得到各所述第二标记点在世界坐标系中的坐标位置;
定位模块,用于根据各所述第二标记点在所述世界坐标系中的坐标位置,以及在所述图像中的坐标位置,确定搭载所述图像传感器的自移动设备在所述世界坐标系下的位姿。
在本申请实施例的第一种可能的实现方式中,所述第一标记点为至少五个;所述确定模块,具体用于:
在所述图像中,连接共线的至少三个所述第一标记点,得到两条连线;
将处于所述两条连线交点的第一标记点,确定为所述候选坐标系的原点,将所述两条连线,确定为所述候选坐标系的坐标轴;其中,所述坐标轴的方向,是根据处于所述坐标轴上的所述第一标记点与所述原点的距离确定的。
在本申请实施例的第二种可能的实现方式中,所述解码模块,具体用于:
将所述候选坐标系,与设定的标准坐标系进行坐标系变换,得到所述候选坐标系与所述标准坐标系之间的仿射变换矩阵;
采用所述仿射变换矩阵,将各所述第二标记点在所述候选坐标系中的坐标位置变换至所述标准坐标系下,以得到各所述第二标记点在所述标准坐标系中的坐标位置;
根据各所述第二标记点在所述标准坐标系中的坐标位置,确定对应的目标编码。
在本申请实施例的第三种可能的实现方式中,所述解码模块,具体用于:
将所述候选坐标系,与设定的标准坐标系进行坐标系变换,得到所述候选坐标系与所述标准坐标系之间的仿射变换矩阵;
采用所述仿射变换矩阵,将各所述第二标记点在所述候选坐标系中的坐标位置变换至所述标准坐标系下,以得到各所述第二标记点与所述标准坐标系中参考轴之间的夹角和/或各所述第二标记点与所述标准坐标系原点的距离;
根据各所述第二标记点与所述标准坐标系中参考轴之间的夹角和/或各所述第二标记点与所述标准坐标系原点的距离,确定对应的目标编码。
在本申请实施例的第四种可能的实现方式中,所述装置还包括:
第一处理模块,用于在所述第二标记点的个数小于设定阈值个数的情况下,查询所述目标编码对应的辅助标记点在所述世界坐标系中的第一坐标位置,以及在所述标准坐标系中的坐标位置;采用所述仿射变换矩阵,将所述辅助标记点在所述标准坐标系中的坐标位置变换至所述候选坐标系下,以得到所述辅助标记点在所述候选坐标系中的坐标位置;根据所述候选坐标系的原点在所述图像中的坐标位置,确定所述辅助标记点在所述图像中的第二坐标位置;将所述辅助标记点确定为在所述世界坐标系中处于所述第一坐标位置,且在所述图像中处于第二坐标位置的第二标记点。
在本申请实施例的第五种可能的实现方式中,所述装置还包括:
第二处理模块,用于根据所述图像中各像素点的取值,确定各标记点;从各所述标记点中识别出各所述第一标记点;其中,所述第一标记点的位置分布符合设定的几何约束条件。
在本申请实施例的第六种可能的实现方式中,所述装置还包括:
第三处理模块,用于在所述候选坐标系中,确定所述第二标记点的设定分布范围;将处于所述设定分布范围内的所述标记点作为所述第二标记点。
在本申请实施例的第七种可能的实现方式中,所述解码模块,具体用于:
校验所述第二标记点的数量;
若校验通过,则根据各所述第二标记点在所述候选坐标系中的坐标位置,解码得到目标编码。
在本申请实施例的第八种可能的实现方式中,所述查询模块,具体用于:
在建立的导航地图中,查询所述目标编码,得到所述目标编码所属位置标识在所述世界坐标系中的位姿;
根据所述位置标识在所述世界坐标系中的位姿,以及各所述第二标记点在所述位置标识所在的标准坐标系中的坐标位置,确定各所述第二标记点在世界坐标系中的坐标位置。
在本申请实施例的第九种可能的实现方式中,所述定位模块,具体用于:
根据各所述第二标记点在所述世界坐标系中的坐标位置,以及在所述图像中的坐标位置,采用透视n点PnP算法,确定搭载所述图像传感器的自移动设备在所述世界坐标系下的位姿。
本申请实施例的定位装置,通过根据图像传感器采集的图像中各第一标记点,在图像中确定候选坐标系,之后,根据图像中各第二标记点在候选坐标系中的坐标位置,解码得到目标编码,之后,根据目标编码,查询得到各第二标记点在世界坐标系中的坐标位置,以根据各第二标记点在世界坐标系中的坐标位置,和在图像中的坐标位置,确定搭载图像传感器的自移动设备在世界坐标系下的位姿。由此,即使自移动设备所处空间内的陈设位置发生变化,或者人员移动干扰激光雷达扫描周围环境,也能够有效定位自移动设备的位置,可以提升该定位装置的适用性。
本申请第三方面实施例提出了一种自移动设备,包括:图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如本申请第一方面实施例提出的定位方法。
本申请第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请第一方面实施例提出的定位方法。
本申请第五方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令被处理器执行时,实现如本申请第一方面实施例提出的定位方法。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例一所提供的定位方法的流程示意图;
图2为本申请实施例中的位置标识示意图;
图3为本申请实施例二所提供的定位方法的流程示意图;
图4为本申请实施例三所提供的定位方法的流程示意图;
图5为本申请实施例四所提供的定位方法的流程示意图;
图6为本申请实施例五所提供的导航地图的建立方法的流程示意图;
图7为本申请实施例六所提供的定位装置的结构示意图;
图8为本申请实施例七所提供的定位装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的定位方法、装置、自移动设备和存储介质。
图1为本申请实施例一所提供的定位方法的流程示意图。
本申请实施例的执行主体可以为本申请提供的定位装置,该定位装置可以被配置在自移动设备中,比如该定位装置可以为自移动设备的本地控制器,从而可以实现对自移动设备进行定位;或者,该定位装置也可以被配置在服务器中,比如该定位装置可以为与自移动设备通信的云端服务器,也可以实现对自移动设备进行定位。
其中,自移动设备可以为智能机器人等具备导航避障功能、可自主移动的设备。
如图1所示,该定位方法可以包括以下步骤:
步骤101,获取图像传感器采集的图像;其中,图像中展示有多个第一标记点,以及多个第二标记点。
本申请实施例中,图像传感器可以为电荷耦合器件(Charge Coupled Device,简称CCD)、互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,简称CMOS)、薄膜晶体管(Thin Film Transistor,简称TFT)等图像传感器。其中,图像传感器可以设置在自移动设备上,图像传感器在采集到图像后,自移动设备可以直接获取图像传感器采集的图像。或者,图像传感器也可以独立于自移动设备进行设置,当图像传感器采集到图像后,可以以蓝牙、无线局域网(Wireless Fidelity,简称WiFi)等无线通信方式,发送至自移动设备。
本申请实施例中,当定位装置被配置在自移动设备中时,定位装置可直接获取图像传感器采集的图像,或者接收图像传感器发送的图像;而当定位装置被配置在服务器中时,可由自移动设备在接收到图像传感器采集的图像后,将该图像发送至服务器,从而定位装置可以获取该图像。
本申请实施例中,可以在自移动设备所处的空间内,设置二维的位置标识(或称为路标),比如,可以在室内墙壁或屋顶贴附位置标识。其中,该位置标识上可以展示有多个标记点,可以根据功能对上述多个标记点进行划分,得到两个部分,一个部分为坐标系部分,由多个第一标记点构成,另一部分为编码部分,由多个第二标记点构成。也就是说,多个第一标记点,用于确定坐标系,多个第二标记点,用于解码得到位置标识对应的编码以及定位观测位置。
本申请实施例中,当定位装置获取到图像传感器采集到的图像后,可以对采集到的图像进行识别,以确定图像中是否展示有多个第一标记点,以及多个第二标记点。
可以理解的是,位置标识中的各第一标记点和第二标记点的形状、大小、颜色等特征是已知的,因此,在本申请实施例的一种可能的实现方式中,可以基于目标检测算法,识别图像中的各第一标记点和各第二标记点。
例如,可以基于单发多框检测(Single Shot MultiBox Detector,简称SSD)、你只看一眼(You Only Look Once,简称YOLO)、Faster-RCNN 等目标检测算法,对图像传感器采集到的图像进行识别,确定各第一标记点和各第二标记点,本申请对此并不做限制。
在本申请实施例的另一种可能的实现方式中,可以对图像传感器采集到的图像进行连通域检测以获取多个连通区域,根据每个连通区域的几何特征,确定各第一标记点和各第二标记点。其中,几何特征,可以为连通区域的尺寸大小、长宽比例、颜色分布等特征信息。
应当理解的是,为了提升识别结果的准确性,以及提升图像的处理效率,还可以先识别得到图像中的位置标识,比如,可以基于感兴趣区域(Region of Interest,简称ROI)提取算法、目标检测算法等,识别得到图像中位置标识所在的区域,而后在位置标识所在的区域,识别多个第一标记点和第二标记点。
步骤102,根据图像中各第一标记点,在图像中确定候选坐标系。
本申请实施例中,候选坐标系是二维坐标系,该候选坐标系是在图像上建立的坐标系,具体由多个第一标记点构建的坐标系。
需要说明的是,当第一标记点和第二标记点的形状、大小、颜色等特征完全相同时,基于步骤101中的图像识别技术,仅可以识别得到图像中的各个标记点,此时,需要进一步从各个标记点中确定多个第一标记点和多个第二标记点。
作为一种示例,参见图2,图2为本申请实施例中的位置标识示意图,其中,多个第一标记点A和多个第二标记点B的图像特征相同。
因此,在本申请实施例的一种可能的实现方式中,为了提升第一标记点和第二标记点识别结果的准确性,可以首先从图像中识别得到各标记点,从各标记点中识别出各第一标记点;其中,第一标记点的位置分布符合设定的几何约束条件,从而可以将除第一标记点之外的各标记点,作为第二标记点。
例如,上述设定的几何约束条件可以为非对称的几何约束条件,当第一标记点的位置分布符合非对称的几何约束条件时,可以基于该几何约束条件,确定图像中的候选坐标系的坐标轴以及坐标轴的方向。
本申请实施例中,在识别得到多个第一标记点和多个第二标记点后,可以根据图像中各第一标记点,在图像中确定候选坐标系。
在本申请实施例的一种可能的实现方式中,第一标记点的个数为至少五个,可以在图像中,连接共线的至少三个第一标记点,得到两条连线,将处于两条连线交点的第一标记点,确定为候选坐标系的原点,将两条连线,确定为候选坐标系的坐标轴;其中,坐标轴的方向,是根据处于坐标轴上的第一标记点与原点的距离确定的。
作为一种示例,参见图2,可以确定各第一标记点与原点的距离,根据距离长的一侧,确定坐标轴的正方向,根据距离短的一侧,确定坐标轴的负方向。需要说明的是,图2仅以根据距离长的一侧确定坐标轴的正方向,根据距离短的一侧确定坐标轴的负方向进行示例,实际应用时,也可以根据距离长的一侧,确定坐标轴的负方向,根据距离短的一侧,确定坐标轴的正方向,本申请对此并不做限制。为了便于说明,本申请以根据距离长的一侧,确定坐标轴的正方向,根据距离短的一侧,确定坐标轴的负方向进行示例。
需要说明的是,上述步骤101和102仅是示例性实施例,但本申请不限于此,还可以包括本领域已知的其他的图像识别方法,只要能够识别得到图像中的各标记点即可。例如,还可以对图像传感器采集到的图像进行预处理,比如高斯模糊、二值化、边缘提取等处理,根据预处理后的图像中各像素点的取值,确定各标记点,或者,还可以直接根据图像传感器采集到的图像中各像素点的取值,确定各标记点。比如,可以确定图像中像素点的取值超过预设阈值的各像素点,并根据取值超过预设阈值的各像素点,确定连通域,将各连通域作为各标记点。或者,可以直接将图像中像素点的取值超过预设阈值的各像素点作为各标记点,本申请对此并不作限制。
也就是说,可以根据连通域内的亮度情况,来实现对各标记点进行识别,可以排除形状与标记点相似,但亮度不满足条件的连通域,以提升标记点检测结果的准确性。
步骤103,根据各第二标记点在候选坐标系中的坐标位置,解码得到目标编码。
本申请实施例中,候选坐标系中的单位可以为像素,或者,还可以根据实际需求进行设置,比如,候选坐标系中的单位可设置为设定长度,该设定长度例如可为0.001cm、0.01cm等,本申请对此并不作限制。
本申请实施例中,在图像中建立得到候选坐标系后,可以确定每个第二标记点在候选坐标系中的坐标位置,根据各第二标记点在候选坐标系中的坐标位置,可以解码得到目标编码。
可以理解的是,第二标记点中可以包含多个像素点,针对每个第二标记点,该第二标记点在候选坐标系中的坐标位置,可以根据该第二标记点中包含的多个像素点的坐标位置来确定。
作为一种示例,针对每个第二标记点,可以确定该第二标记点中包含的多个像素点在候选坐标系中的坐标位置,将该第二标记点中包含的多个像素点在候选坐标系中的坐标位置求取均值,来确定该第二标记点在候选坐标系中的坐标位置。
作为另一种示例,针对每个第二标记点,可以确定该第二标记点中包含的多个像素点在候选坐标系中的坐标位置,根据该第二标记点中包含的多个像素点在候选坐标系中的坐标位置,对该第二标记点的形状进行数学方程的拟合,根据拟合的数学方程,确定该第二标记点的形心,将形心的坐标位置,作为该第二标记点在候选坐标系中的坐标位置。
应当理解的是,当第一标记点的位置分布符合非对称的几何约束条件时,可以确定候选坐标系中坐标轴的方向,当坐标轴有方向时,编码在不同象限内具有不同的含义,这种方式还可以增加编码容量。
步骤104,根据目标编码,查询得到各第二标记点在世界坐标系中的坐标位置。
本申请实施例中,世界坐标系是指自移动设备或服务器在建立导航地图时生成的地图坐标系。例如,当建立导航地图时,可以以自移动设备启动时所在位置作为世界坐标系的原点位置,自移动设备的前进方向可作为X轴的正方向,与X轴垂直的方向可作为Y轴,与X轴和Y轴垂直的方向可作为Z轴,或者,可将自移动设备的前进方向作为Y轴的正方向,与Y轴垂直的方向可作为X轴,与X轴和Y轴垂直的方向可作为Z轴。即,世界坐标系的原点为自移动设备启动时所在位置,而各坐标轴,以及各坐标轴的方向可预先定义。
本申请实施例中,查询的具体过程为:在建立的导航地图中,查询目标编码,得到目标编码所属位置标识在世界坐标系中的位姿,根据位置标识在世界坐标系中的位姿,以及各第二标记点在位置标识所在的标准坐标系中的坐标位置,确定每个第二标记点在世界坐标系中的坐标位置。其中,上述位姿可以包括坐标位置和/或姿态。
其中,标准坐标系为位置标识所在的坐标系,即标准坐标系是根据自移动设备所处空间内的位置标识上的各第一标记点,在位置标识上预先建立的坐标系。应当理解的是,图像传感器采集到的图像可能存在畸变,候选坐标系可能存在畸变或扭曲,为观测到的坐标系,随着观测位置的改变而改变,坐标轴可能并非为直的。而标准坐标系是与候选坐标系相对应的,未存在畸变的坐标系,即该标准坐标系不随观测位置的改变而改变。
也就是说,每个位置标识在世界坐标系中的位姿,例如坐标位置和姿态都是已知的,是由自移动设备或服务器在建立导航地图时确定的,例如,自移动设备或服务器在建立导航地图时,可根据每个目标编码,生成该目标编码对应的位置标识在世界坐标系中的位姿,从而,本申请中,可以根据目标编码,查询预先建立的导航地图,得到该目标编码所属位置标识在世界坐标系中的位姿,从而可以根据位置标识在世界坐标系中的位姿,以及各第二标记点在位置标识所在的标准坐标系中的坐标位置,确定每个第二标记点在世界坐标系中的坐标位置。
需要说明的是,导航地图可以由自移动设备建立,自移动设备在建立导航地图后,可以在本地存储该导航地图。当定位装置被配置在自移动设备中时,该定位装置可以直接在导航地图中,查询目标编码,得到目标编码所属位置标识在世界坐标系中的位姿,根据位置标识在世界坐标系中的位姿,以及各第二标记点在位置标识所在的标准坐标系中的坐标位置,确定每个第二标记点在世界坐标系中的坐标位置。而当定位装置被配置在服务器中时,自移动设备可以将建立的导航地图发送至服务器,从而定位装置可以根据该导航地图执行上述查询过程,确定目标编码所属位置标识在世界坐标系中的位姿,根据位置标识在世界坐标系中的位姿,以及各第二标记点在位置标识所在的标准坐标系中的坐标位置,确定每个第二标记点在世界坐标系中的坐标位置。
或者,导航地图也可以由服务器建立,服务器在建立导航地图后,可以在数据库中存储各自移动设备的标识与导航地图之间的对应关系。当定位装置被配置在服务器中时,该定位装置可以根据自移动设备的标识,查询上述对应关系,确定该自移动设备对应的导航地图,并在查询到的导航地图中,查询目标编码,得到目标编码所属位置标识在世界坐标系中的位姿,根据位置标识在世界坐标系中的位姿,以及各第二标记点在位置标识所在的标准坐标系中的坐标位置,确定每个第二标记点在世界坐标系中的坐标位置。而当定位装置被配置在自移动设备中时,服务器可以根据自移动设备的标识,查询上述对应关系,确定该自移动设备对应的导航地图,并将对应的导航地图发送至自移动设备,或者,自移动设备可以主动从服务器侧查询自身对应的导航地图,从而定位装置可以根据该导航地图执行上述查询过程,确定目标编码所属位置标识在世界坐标系中的位姿,根据位置标识在世界坐标系中的位姿,以及各第二标记点在位置标识所在的标准坐标系中的坐标位置,确定每个第二标记点在世界坐标系中的坐标位置。
在本申请实施例的一种可能的实现方式中,在自移动设备或服务器建立导航地图时,可以获取自移动设备在移动过程中采集的图像,以及采集图像时自移动设备在世界坐标系中的设备位姿,根据各第二标记点在候选坐标系中坐标位置(例如标记为参考坐标位置),解码得到目标编码,根据目标编码,查询得到各第二标记点在位置标识所在的标准坐标系中的坐标位置(例如标记为标准坐标位置),根据标准坐标位置和参考坐标位置,确定标准坐标系与采集图像时自移动设备的坐标系之间的坐标变换关系,根据坐标变换关系,和自移动设备在世界坐标系中的设备位姿,在世界坐标系中标注位置标识的预测位姿。具体执行过程可以参见后续实施例,此处不做赘述。
从而,本申请中,可以根据目标编码查询上述已建立的导航地图,得到目标编码所属位置标识在世界坐标系中的位姿,从而可以根据位置标识在世界坐标系中的位姿,以及各第二标记点在位置标识所在的标准坐标系中的坐标位置,确定每个第二标记点在世界坐标系中的坐标位置。
需要说明的是,定位和建立导航地图(即建图)的执行时序可以先后执行,即先执行建图,后执行定位,或者,还可以同时执行建图和定位,本申请上述仅以先执行建图,后执行定位进行示例。
步骤105,根据各第二标记点在世界坐标系中的坐标位置,以及在图像中的坐标位置,确定搭载图像传感器的自移动设备在世界坐标系下的位姿。
本申请实施例中,搭载图像传感器的自移动设备在世界坐标系下的位姿,可以包括自移动设备在世界坐标系下的坐标位置(绝对位置)和/或姿态。
本申请实施例中,各第二标记点在图像中的坐标位置,可以为各第二标记点在图像坐标系中的坐标位置,或者,也可以为各第二标记点在像素坐标系中的坐标位置,本申请对此并不作限制。其中,图像坐标系的坐标原点,为图像的中心点,X轴水平向右,Y轴水平向下,单位是像素。像素坐标系的坐标原点,为图像左上角,X轴水平向右,Y轴水平向下,单位是像素。
本申请实施例中,在确定第二标记点在世界坐标系中的坐标位置后,可以根据各第二标记点在世界坐标系中的坐标位置,以及各第二标记点在图像中的坐标位置,采用透视n点PnP算法确定搭载图像传感器的自移动设备在世界坐标系下的位姿。其中,PnP(pespective-n-point)算法可以包括P3P、EPnP、UPnP、DLT(Direct Linear Transform)、优化求解等算法。
需要说明的是,PnP算法的解可能不止一个,为了提升自移动设备在世界坐标系下的位姿计算结果的准确性,可以在位置标识所在的标准坐标系中设定一个校验点,根据候选坐标系与标准坐标系之间的仿射变换矩阵,确定该校验点在候选坐标系中的坐标位置,使用该校验点在候选坐标系中的坐标位置来对多个解进行校验,以排除错误的位姿。
作为一种应用场景,以定位装置被配置在自移动设备中进行示例,当自移动设备所处的室内空间的墙壁或屋顶贴附位置标识时,该位置标识的图案可以如图2所示,自移动设备可以通过拍摄包含该位置标识的图像,并对该图像进行识别,来确定自移动设备在世界坐标系下的绝对位置,由此,即使室内空间的陈设位置发生变化,或者人员移动干扰激光雷达扫描周围环境,仍然能够实现对自移动设备进行定位,即该定位方法不易受到周围环境的干扰,可以提升该方法的适用性。
本申请实施例的定位方法,通过根据图像传感器采集的图像中各第一标记点,在图像中确定候选坐标系,之后,根据图像中各第二标记点在候选坐标系中的坐标位置,解码得到目标编码,之后,根据目标编码,查询得到各第二标记点在世界坐标系中的坐标位置,以根据各第二标记点在世界坐标系中的坐标位置,和在图像中的坐标位置,确定搭载图像传感器的自移动设备在世界坐标系下的位姿。由此,即使自移动设备所处空间内的陈设位置发生变化,或者人员移动干扰激光雷达扫描周围环境,也能够有效定位自移动设备的位置,可以提升该定位方法的适用性。
需要说明的是,为了便于图像识别,对于位置标识的设计,可以采用高对比设计,例如,位置标识的底色可以为黑色,各标记点的颜色可以为白色,或者,位置标识的底色可以为白色,各标记点的颜色可以为黑色,或者,还可以将位置标识设计为高反光的形式,等等,本申请对此并不作限制。
其中,第一标记点和第二标记点的颜色可以相同,也可以不同。并且,各第一标记点的颜色可以相同,也可以不同,各第二标记点的颜色可以相同,也可以不同,本申请对此并不作限制。
在本申请实施例的一种可能的实现方式中,位置标识可能受到照明和光照的影响,当环境亮度较高或者较低时,均影响图像识别结果的准确性,因此,本申请中,为了提升采集的图像中坐标系部分和编码部分识别结果的准确性,从而提升位姿计算结果的准确性,当在自移动设备所处的空间内设置二维的位置标识时,位置标识中的坐标系部分(比如图2中的五个第一标记点)和编码部分(比如图2中的三个第二标记点)所处的位置可以设置红外LED光源,用于向外发射红外光,图像传感器可以为红外相机,从而可拍摄包含位置标识的图像,可以不受自移动设备所处空间内的环境亮度影响,可以提升识别结果的准确性。此外,红外光的波段可为940纳米,以使用户肉眼不可见,从而避免干扰用户。
在本申请实施例的另一种可能的实现方式中,位置标识可设计为高反光的形式,自移动设备可以携带光发射器,用于向外发射光线,发射的光线投射到位置标识进行反光,从而根据位置标识上反射的光线,可以捕捉到位置标识。
例如,光发射器可以包括发光二极管,该发光二极管发射的可以为可见光,或者,也可以为非可见光,比如为红外光。
作为一种可能的实现方式,可以将候选坐标系中的第二标记点的坐标位置,映射到位置标识所在的标准坐标系中,得到第二标记点在标准坐标系中的坐标位置,根据各第二标记点在标准坐标系下的坐标位置,确定目标编码。下面结合实施例二,对上述过程进行详细说明。
图3为本申请实施例二所提供的定位方法的流程示意图。
如图3所示,在图1所示实施例的基础上,步骤103具体可以包括以下步骤:
步骤201,将候选坐标系,与设定的标准坐标系进行坐标系变换,得到候选坐标系与标准坐标系之间的仿射变换矩阵。
本申请实施例中,标准坐标系为预先在自移动设备所处空间内的位置标识上建立的坐标系。具体地,根据位置标识上的各第一标记点,在位置标识上预先建立的坐标系。该标准坐标系是与候选坐标系相对应的,未存在畸变的坐标系。
本申请实施例中,仿射变换可以理解为对原坐标轴进行放缩、旋转、平移后形成的新坐标轴。在确定候选坐标系和标准坐标系后,可以根据二维几何变换,确定候选坐标系与标准坐标系之间的仿射变换矩阵。
步骤202,采用仿射变换矩阵,将各第二标记点在候选坐标系中的坐标位置变换至标准坐标系下,以得到各第二标记点在标准坐标系中的坐标位置。
本申请实施例中,针对候选坐标系中的每个第二标记点,可以采用仿射变换矩阵,将该第二标记点的坐标位置变换至标准坐标系下,得到该第二标记点在标准坐标系中的坐标位置。
步骤203,根据各第二标记点在标准坐标系中的坐标位置,确定对应的目标编码。
本申请实施例中,可以根据各第二标记点在标准坐标系中的坐标位置,确定对应的目标编码。例如,可以将各第二标记点在标准坐标系中的坐标位置进行组合,得到对应的目标编码。举例而言,当第二标记点的个数为3个时,假设3个第二标记点在标准坐标系中的坐标位置分别为(1,1)、(2,2)和(3,3),则目标编码可以为112233、11-22- 33、11 22 33、1-1-2-2-3-3等。
作为另一种可能的实现方式,可以将候选坐标系中的第二标记点的坐标位置,映射到位置标识所在的标准坐标系中,得到第二标记点与标准坐标系中参考轴之间的夹角和/或第二标记点与标准坐标系原点的距离,根据各第二标记点与标准坐标系中参考轴之间的夹角和/或各第二标记点与标准坐标系原点的距离,确定目标编码。下面结合实施例三,对上述过程进行详细说明。
图4为本申请实施例三所提供的定位方法的流程示意图。
如图4所示,在图1所示实施例的基础上,步骤103具体可以包括以下步骤:
步骤301,将候选坐标系,与设定的标准坐标系进行坐标系变换,得到候选坐标系与标准坐标系之间的仿射变换矩阵。
步骤301的执行过程可以参见上述实施例中步骤201的执行过程,在此不做赘述。
步骤302,采用仿射变换矩阵,将各第二标记点在候选坐标系中的坐标位置变换至标准坐标系下,以得到各第二标记点与标准坐标系中参考轴之间的夹角和/或各第二标记点与标准坐标系原点的距离。
本申请实施例中,参考轴为预先设置的,例如,参考轴可以为标准坐标系中的X轴,或者,也可以为标准坐标系中的Y轴,对此不作限制。
本申请实施例中,可以采用仿射变换矩阵,将各第二标记点在候选坐标系中的坐标位置变换至标准坐标系下,得到各第二标记点在标准坐标系中的坐标位置,之后,可以根据各第二标记点在标准坐标系中的坐标位置,计算得到各第二标记点与标准坐标系中参考轴之间的夹角,和/或,计算得到各第二标记点与标准坐标系原点的距离。
步骤303,根据各第二标记点与标准坐标系中参考轴之间的夹角和/或各第二标记点与标准坐标系原点的距离,确定对应的目标编码。
本申请实施例中,可以根据各第二标记点与标准坐标系中参考轴之间的夹角,和/或,各第二标记点与标准坐标系原点的距离,确定对应的目标编码。例如,可以将各第二标记点在标准坐标系中参考轴之间的夹角,和/或,各第二标记点与标准坐标系原点的距离进行组合,得到对应的目标编码。
举例而言,当第二标记点的个数为3个时,假设参考轴为X轴,并且3个第二标记点在标准坐标系中的坐标位置分别为(1,1)、(1,
Figure 213779DEST_PATH_IMAGE001
)和(
Figure 950791DEST_PATH_IMAGE001
,1),则3个第二标记点与标准坐标系中参考轴之间的夹角分别为45°、60°、30°,3个第二标记点与标准坐标系原点的距离分别为
Figure 208597DEST_PATH_IMAGE002
、2、2。若根据各第二标记点与标准坐标系中参考轴之间的夹角,确定对应的目标编码,则目标编码例如可以为45°60°30°、45°-60°-30°、45° 60° 30°等;若根据各第二标记点与标准坐标系原点的距离,确定对应的目标编码,则目标编码例如可以为
Figure 638441DEST_PATH_IMAGE002
22、
Figure 880067DEST_PATH_IMAGE002
-2-2、
Figure 483087DEST_PATH_IMAGE002
22等;若根据各第二标记点与标准坐标系中参考轴之间的夹角和各第二标记点与标准坐标系原点的距离,确定对应的目标编码,则目标编码例如可以为45°60°30°
Figure 126558DEST_PATH_IMAGE003
22、
Figure 461724DEST_PATH_IMAGE002
2245°60°30°、45°60°30°-
Figure 721804DEST_PATH_IMAGE002
22、
Figure 800618DEST_PATH_IMAGE002
22-45°60°30°等。
由此,可以实现根据多种方式计算目标编码,可以提升该定位方法的适用性。
需要说明的是,本申请中,需要根据设定阈值个数的第二标记点,来定位自移动设备在世界坐标系下的位姿,比如,当采用透视n点PnP算法,计算搭载图像传感器的自移动设备在世界坐标系下的位姿时,设定阈值个数可为3个。当第二标记点的个数小于设定阈值个数时,则无法计算自移动设备在世界坐标系下的位姿。因此,作为本申请实施例的一种可能的实现方式,为了实现对自移动设备进行实时定位,当第二标记点的个数小于设定阈值个数时,可以在多个第二标记点中增加辅助标记点,来计算自移动设备在世界坐标系下的位姿,以实现有效对自移动设备进行定位。下面结合实施例四,对上述过程进行详细说明。
图5为本申请实施例四所提供的定位方法的流程示意图。
如图5所示,在上述实施例的基础上,在步骤103之后,或者,在步骤203之后,或者,在步骤303之后,该定位方法还可以包括以下步骤:
步骤401,若第二标记点的个数小于设定阈值个数,则查询目标编码对应的辅助标记点在世界坐标系中的第一坐标位置,以及在标准坐标系中的坐标位置。
本申请实施例中,设定阈值个数为预先设置的,比如,设定阈值个数可以为3个。
本申请实施例中,每个目标编码均具有对应的辅助标记点,辅助标记点是位于位置标识上的,可以预先确定各辅助标记点在位置标识所在的标准坐标系中的坐标位置,以及各辅助标记点在世界坐标系中的坐标位置,本申请中记为第一坐标位置,并建立各目标编码与辅助标记点在世界坐标系中的第一坐标位置,以及在标准坐标系中的坐标位置之间的对应关系。从而本申请中,在确定第二标记点的个数小于设定阈值个数时,可以根据目标编码查询上述对应关系,确定目标编码对应的辅助标记点在世界坐标系中的第一坐标位置,以及在标准坐标系中的坐标位置。
步骤402,采用仿射变换矩阵,将辅助标记点在标准坐标系中的坐标位置变换至候选坐标系下,以得到辅助标记点在候选坐标系中的坐标位置。
本申请实施例中,可以采用步骤201计算得到的候选坐标系与标准坐标系之间的仿射变换矩阵,将辅助标记点在标准坐标系中的坐标位置变换至候选坐标系下,得到辅助标记点在候选坐标系中的坐标位置。
步骤403,根据候选坐标系的原点在图像中的坐标位置,确定辅助标记点在图像中的第二坐标位置。
本申请实施例中,可以根据候选坐标系的原点在图像中的坐标位置,以及辅助标记点在候选坐标系中的坐标位置,确定辅助标记点在图像中的第二坐标位置。
例如,当辅助标记点在图像中的坐标位置为该辅助标记点在图像坐标系中的坐标位置时,若候选坐标系的原点在图像中的坐标位置为(a,b),辅助标记点在候选坐标系中的坐标位置为(c,d),则辅助标记点在图像中的第二坐标位置为(a+c,b+d)。
步骤404,将辅助标记点确定为在世界坐标系中处于第一坐标位置,且在图像中处于第二坐标位置的第二标记点。
本申请实施例中,在确定辅助标记点在世界坐标系中的第一坐标位置,以及在图像中的第二坐标位置后,可以将该辅助标记点作为第二标记点,从而可以根据第二标记点的在世界坐标系中的坐标位置,以及在图像中的坐标位置,确定搭载图像传感器的自移动设备在世界坐标系下的位姿。
本申请实施例中,当第二标记点的个数小于设定阈值个数时,可以根据目标编码对应的辅助标记点,来辅助计算搭载图像传感器的自移动设备在世界坐标系下的位姿,可以有效定位自移动设备的位置。
在本申请实施例的一种可能的实现方式中,为了提升处理效率,降低工作量,在根据图像中各第一标记点,在图像中确定候选坐标系之后,可以仅从设定分布范围内,确定第二标记点。
具体地,可以在候选坐标系中,确定第二标记点的设定分布范围,将处于设定分布范围内的标记点作为第二标记点。
也就是说,位置标识为已知的,第二标记点的分布范围也是可获知的,为了提升图像的处理效率,仅可以识别处于设定分布范围的标记点作为第二标记点。举例而言,当位置标识如图2所示时,设定分布范围可以为候选坐标系的第四象限,仅可以将处于第四象限的标记点,作为第二标记点。
需要说明的是,本申请中,需要根据设定阈值个数的第二标记点,来定位自移动设备在世界坐标系下的位姿,比如,当采用透视n点PnP算法,计算搭载图像传感器的自移动设备在世界坐标系下的位姿时,设定阈值个数可为3个。当第二标记点的个数小于设定阈值个数时,则无法计算自移动设备在世界坐标系下的位姿。因此,作为本申请实施例的一种可能的实现方式,可以校验第二标记点的数量,比如,校验第二标记点的数量是否大于或者等于设定阈值个数,若校验通过,比如第二标记点的数量大于或者等于设定阈值个数,则根据各第二标记点在候选坐标系中的坐标位置,解码得到目标编码,若校验不通过,则丢弃该图像,以进行下一帧图像的采集,即重复执行步骤101及后续步骤,或者,若校验不通过,则执行步骤401至404。
下面结合实施例五,对自移动设备的建图过程进行详细说明。
图6为本申请实施例五所提供的前述定位方法中所使用的导航地图的建立方法的流程示意图。
本申请实施例中,该导航地图的建立方法可以应用于自移动设备,或者,应用于与自移动设备通信的服务器。
如图6所示,该导航地图的建立方法可以包括以下步骤:
步骤501,获取自移动设备在移动过程中采集的图像,以及采集图像时自移动设备在地图坐标系中的设备位姿;其中,图像中展示有位置标识。
其中,地图坐标系可以为上述实施例中的世界坐标系,是指自移动设备或服务器在建立导航地图时生成的坐标系。例如,当建立导航地图时,可以以自移动设备启动时所在位置作为地图坐标系的原点位置,自移动设备的前进方向可作为X轴的正方向,与X轴垂直的方向可作为Y轴,与X轴和Y轴垂直的方向可作为Z轴,或者,可将自移动设备的前进方向作为Y轴的正方向,与Y轴垂直的方向可作为X轴,与X轴和Y轴垂直的方向可作为Z轴。即,地图坐标系的原点为自移动设备启动时所在位置,而各坐标轴,以及各坐标轴的方向可预先定义。
本申请实施例中,在自移动设备移动过程中,可以通过图像传感器采集图像。其中,图像中展示有位置标识,该位置标识可以包括多个第一标记点,以及多个第二标记点。位置标识、多个第一标记点和第二标记点的识别过程可以参见上述实施例的执行过程,在此不做赘述。
本申请实施例中,设备位姿可以包括自移动设备的坐标位置和/或姿态。自移动设备的设备位姿可以通过相关传感器检测得到,例如,可以通过激光雷达、里程计、惯性测量装置(Inertial Measurement Unit,简称IMU)等传感器,测量自移动设备的设备位姿。例如,当自移动设备启动后,可以确定地图坐标系,根据自移动设备的移动方向,以及移动距离,可以确定该自移动设备在地图坐标系中的坐标位置,并且,根据自移动设备在移动过程中每一次的移动方向、移动角度和移动距离,可以确定该自移动设备相对初始启动时的位姿,该位姿即为自移动设备的设备位姿。其中,移动角度可以为移动方向相对IMU标定的参考方向之间的角度。
本申请实施例中,当该导航地图的建立方法应用于自移动设备时,自移动设备可以直接获取上述图像以及采集图像时自移动设备在地图坐标系中的设备位姿,而当导航地图的建立方法应用于服务器时,自移动设备在移动过程中采集图像后,可以将采集的图像,以及采集图像时自移动设备在地图坐标系中的设备位姿,发送至服务器,相应的,服务器可以接收上述图像,以及采集图像时自移动设备在地图坐标系中的设备位姿。
步骤502,根据位置标识中的多个第一标记点,确定候选坐标系。
步骤502的执行过程可以参见上述实施例中步骤102的执行过程,在此不做赘述。
步骤503,根据位置标识中的多个第二标记点在候选坐标系中坐标位置,解码得到目标编码。
本申请实施例中,在图像中建立得到候选坐标系后,可以确定每个第二标记点在候选坐标系中的坐标位置。在计算得到各第二标记点在候选坐标系中坐标位置后,可以将候选坐标系中的第二标记点的坐标位置,映射到位置标识所在的标准坐标系中,得到第二标记点在标准坐标系中的坐标位置,根据各第二标记点在标准坐标系中的坐标位置,确定目标编码。
具体地,可以将候选坐标系与标准坐标系进行坐标系变换,得到候选坐标系与标准坐标系之间的仿射变换矩阵;采用仿射变换矩阵,将各第二标记点在候选坐标系中的坐标位置变换至标准坐标系下,以得到各第二标记点在标准坐标系中的坐标位置;根据各第二标记点在标准坐标系中的坐标位置,确定对应的目标编码。
例如,可以将各第二标记点在标准坐标系中的坐标位置进行组合,得到对应的目标编码。举例而言,当第二标记点的个数为3个时,假设3个第二标记点在标准坐标系中的坐标位置分别为(1,1)、(2,2)和(3,3),则目标编码例如可以为112233、11-22- 33、11 22 33、1-1-2-2-3-3等。
步骤504,根据目标编码,查询得到各第二标记点在位置标识所在的标准坐标系中的坐标位置,本申请中记为标准坐标位置。
本申请实施例中,由于候选坐标系可能存在畸变,而目标编码是根据编码部分在候选坐标系中的坐标位置确定的,因此,该目标编码可能与实际编码存在偏差。因此,本申请中,为了提升定位结果的准确性,可以根据目标编码,查询得到编码部分中各第二标记点在位置标识所在的标准坐标系中的标准坐标位置。
应当理解的是,每个位置标识是已知的,位置标识中的编码部分和坐标系部分也是已知的,在自移动设备所处空间中设置位置标识后,标准坐标系可以确定,编码部分中各第二标记点在标准坐标系中的标准坐标位置也是可确定的,例如,参见图2,编码部分中的每个第二标记点在标准坐标系中的标准坐标位置是可以计算得到的。因此,本申请中,针对每个位置标识,可以预先计算该位置标识中编码部分中各第二标记点在位置标识所在的标准坐标系中的标准坐标位置,并对应存储各位置标识,与该位置标识中编码部分中第二标记点在该位置标识所在的标准坐标系中的标准坐标位置。
从而本申请中,可以根据目标编码,查询存储的数据,获取与目标编码匹配的标准坐标位置,作为编码部分中各第二标记点在位置标识所在的标准坐标系中的标准坐标位置。
举例而言,当第二标记点的个数为3个,目标编码为1-1-2-2-3.1-3.1,可以查询与该目标编码匹配度最高的属于同一位置标识中的三个第二标记点的标准坐标位置,比如为(1,1)、(2,2)和(3,3),则可以将查询得到的标准坐标位置,作为编码部分中3个第二标记点在位置标识所在的标准坐标系中的标准坐标位置。
步骤505,根据标准坐标位置和参考坐标位置,确定标准坐标系与采集图像时自移动设备的坐标系之间的坐标变换关系;其中,参考坐标位置,是各第二标记点在候选坐标系中的坐标位置。
本申请实施例中,自移动设备的坐标系为预先标定的坐标系,比如,该自移动设备的坐标系可以为预先在自移动设备上标定的坐标系,比如该自移动设备的坐标系的原点可以为自移动设备的质心,Y轴竖直向上,X轴水平向右或向左。
本申请实施例中,可以根据多个第二标记点对应的标准坐标位置和参考坐标位置,采用PnP算法确定标准坐标系与采集图像时自移动设备的坐标系之间的坐标变换关系,该坐标变换关系可以包括标准坐标系与采集图像时自移动设备的坐标系之间的旋转矩阵R和位移矢量t(或称为平移向量),例如该坐标变换关系可以为由旋转矩阵R和位移矢量t组成的变换矩阵T_tn。
步骤506,根据坐标变换关系,和自移动设备在地图坐标系中的设备位姿,在地图坐标系中标注位置标识的预测位姿。
本申请实施例中,可以根据标准坐标系与采集图像时自移动设备的坐标系之间的坐标变换关系,和自移动设备在地图坐标系中的设备位姿,确定位置标识在地图坐标系中的预测位姿,并在地图坐标系中标注位置标识的预测位姿。
例如,标记位置标识的预测位姿为Target_id_P,自移动设备在地图坐标系中的设备位姿为Pn,则Target_id_P=Pn⊕T_tn。
从而,针对步骤104,可以根据目标编码查询上述已建立的导航地图,得到位置标识在世界坐标系或地图坐标系中的位姿,从而可以根据位置标识在世界坐标系中的位姿,以及各第二标记点在位置标识所在的标准坐标系中的坐标位置,确定每个第二标记点在世界坐标系中的坐标位置。
为了实现上述实施例,本申请还提出一种定位装置。
图7为本申请实施例六所提供的定位装置的结构示意图。
如图7所示,该定位装置100可以包括:获取模块110、确定模块120、解码模块130、查询模块140以及定位模块150。
其中,获取模块110,用于获取图像传感器采集的图像;其中,图像中展示有多个第一标记点,以及多个第二标记点。
确定模块120,用于根据图像中各第一标记点,在图像中确定候选坐标系。
解码模块130,用于根据各第二标记点在候选坐标系中的坐标位置,解码得到目标编码。
查询模块140,用于根据目标编码,查询得到各第二标记点在世界坐标系中的坐标位置。
定位模块150,用于根据各第二标记点在世界坐标系中的坐标位置,以及在图像中的坐标位置,确定搭载图像传感器的自移动设备在世界坐标系下的位姿。
在本申请实施例的一种可能的实现方式中,第一标记点为至少五个,确定模块120,具体用于:在图像中,连接共线的至少三个第一标记点,得到两条连线;将处于两条连线交点的第一标记点,确定为候选坐标系的原点,将两条连线,确定为候选坐标系的坐标轴;其中,坐标轴的方向,是根据处于坐标轴上的第一标记点与原点的距离确定的。
在本申请实施例的一种可能的实现方式中,解码模块130,具体用于:将候选坐标系,与设定的标准坐标系进行坐标系变换,得到候选坐标系与标准坐标系之间的仿射变换矩阵;采用仿射变换矩阵,将各第二标记点在候选坐标系中的坐标位置变换至标准坐标系下,以得到各第二标记点在标准坐标系中的坐标位置;根据各第二标记点在标准坐标系中的坐标位置,确定对应的目标编码。
在本申请实施例的另一种可能的实现方式中,解码模块130,具体用于:将候选坐标系,与设定的标准坐标系进行坐标系变换,得到候选坐标系与标准坐标系之间的仿射变换矩阵;采用仿射变换矩阵,将各第二标记点在候选坐标系中的坐标位置变换至标准坐标系下,以得到各第二标记点与标准坐标系中参考轴之间的夹角和/或各第二标记点与标准坐标系原点的距离;根据各第二标记点与标准坐标系中参考轴之间的夹角和/或各第二标记点与标准坐标系原点的距离,确定对应的目标编码。
进一步地,在本申请实施例的一种可能的实现方式中,参见图8,在图7所示实施例的基础上,该定位装置100还可以包括:
第一处理模块160,用于在第二标记点的个数小于设定阈值个数的情况下,查询目标编码对应的辅助标记点在世界坐标系中的第一坐标位置,以及在标准坐标系中的坐标位置;采用仿射变换矩阵,将辅助标记点在标准坐标系中的坐标位置变换至候选坐标系下,以得到辅助标记点在候选坐标系中的坐标位置;根据候选坐标系的原点在图像中的坐标位置,确定辅助标记点在图像中的第二坐标位置;将辅助标记点确定为在世界坐标系中处于第一坐标位置,且在图像中处于第二坐标位置的第二标记点。
第二处理模块170,用于根据所述图像中各像素点的取值,确定各标记点;从各标记点中识别出各第一标记点;其中,第一标记点的位置分布符合设定的几何约束条件。
第三处理模块180,用于在候选坐标系中,确定第二标记点的设定分布范围;将处于设定分布范围内的标记点作为第二标记点。
在本申请实施例的又一种可能的实现方式中,解码模块130,具体用于:校验第二标记点的数量;若校验通过,则根据各第二标记点在候选坐标系中的坐标位置,解码得到目标编码。
在本申请实施例的一种可能的实现方式中,查询模块140,具体用于:在建立的导航地图中,查询目标编码,得到目标编码所属位置标识在世界坐标系中的位姿;根据位置标识在世界坐标系中的位姿,以及各第二标记点在位置标识所在的标准坐标系中的坐标位置,确定各第二标记点在世界坐标系中的坐标位置。
在本申请实施例的一种可能的实现方式中,定位模块150,具体用于:根据各第二标记点在世界坐标系中的坐标位置,以及在图像中的坐标位置,采用透视n点PnP算法,确定搭载图像传感器的自移动设备在世界坐标系下的位姿。
需要说明的是,前述对定位方法实施例的解释说明也适用于该实施例的定位装置100,此处不再赘述。
本申请实施例的定位装置,通过根据图像传感器采集的图像中各第一标记点,在图像中确定候选坐标系,之后,根据图像中各第二标记点在候选坐标系中的坐标位置,解码得到目标编码,之后,根据目标编码,查询得到各第二标记点在世界坐标系中的坐标位置,以根据各第二标记点在世界坐标系中的坐标位置,和在图像中的坐标位置,确定搭载图像传感器的自移动设备在世界坐标系下的位姿。由此,即使自移动设备所处空间内的陈设位置发生变化,或者人员移动干扰激光雷达扫描周围环境,也能够有效定位自移动设备的位置,可以提升该定位装置的适用性。
为了实现上述实施例,本申请还提出一种自移动设备,包括:图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时,实现如本申请前述实施例提出的定位方法。
为了实现上述实施例,本申请还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请前述实施例提出的定位方法。
为了实现上述实施例,本申请还提出一种计算机程序产品,当计算机程序产品中的指令被处理器执行时,如本申请前述实施例提出的定位方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (22)

1.一种定位方法,其特征在于,所述方法包括以下步骤:
获取图像传感器采集的图像;其中,所述图像中展示有多个第一标记点,以及多个第二标记点;
根据所述图像中各所述第一标记点,在所述图像中确定候选坐标系;
根据各所述第二标记点在所述候选坐标系中的坐标位置,解码得到目标编码;
根据所述目标编码,查询得到各所述第二标记点在世界坐标系中的坐标位置;
根据各所述第二标记点在所述世界坐标系中的坐标位置,以及在所述图像中的坐标位置,确定搭载所述图像传感器的自移动设备在所述世界坐标系下的位姿。
2.根据权利要求1所述的定位方法,其特征在于,所述第一标记点为至少五个;所述根据所述图像中各所述第一标记点,在所述图像中确定候选坐标系,包括:
在所述图像中,连接共线的至少三个所述第一标记点,得到两条连线;
将处于所述两条连线交点的第一标记点,确定为所述候选坐标系的原点,将所述两条连线,确定为所述候选坐标系的坐标轴;其中,所述坐标轴的方向,是根据处于所述坐标轴上的所述第一标记点与所述原点的距离确定的。
3.根据权利要求1所述的定位方法,其特征在于,所述根据各所述第二标记点在所述候选坐标系中的坐标位置,解码得到目标编码,包括:
将所述候选坐标系,与设定的标准坐标系进行坐标系变换,得到所述候选坐标系与所述标准坐标系之间的仿射变换矩阵;
采用所述仿射变换矩阵,将各所述第二标记点在所述候选坐标系中的坐标位置变换至所述标准坐标系下,以得到各所述第二标记点在所述标准坐标系中的坐标位置;
根据各所述第二标记点在所述标准坐标系中的坐标位置,确定对应的目标编码。
4.根据权利要求1所述的定位方法,其特征在于,所述根据各所述第二标记点在所述候选坐标系中的坐标位置,解码得到目标编码,包括:
将所述候选坐标系,与设定的标准坐标系进行坐标系变换,得到所述候选坐标系与所述标准坐标系之间的仿射变换矩阵;
采用所述仿射变换矩阵,将各所述第二标记点在所述候选坐标系中的坐标位置变换至所述标准坐标系下,以得到各所述第二标记点与所述标准坐标系中参考轴之间的夹角和/或各所述第二标记点与所述标准坐标系原点的距离;
根据各所述第二标记点与所述标准坐标系中参考轴之间的夹角和/或各所述第二标记点与所述标准坐标系原点的距离,确定对应的目标编码。
5.根据权利要求3或4所述的定位方法,其特征在于,所述根据各所述第二标记点在所述候选坐标系中的坐标位置,解码得到目标编码之后,还包括:
若所述第二标记点的个数小于设定阈值个数,则查询所述目标编码对应的辅助标记点在所述世界坐标系中的第一坐标位置,以及在所述标准坐标系中的坐标位置;
采用所述仿射变换矩阵,将所述辅助标记点在所述标准坐标系中的坐标位置变换至所述候选坐标系下,以得到所述辅助标记点在所述候选坐标系中的坐标位置;
根据所述候选坐标系的原点在所述图像中的坐标位置,确定所述辅助标记点在所述图像中的第二坐标位置;
将所述辅助标记点确定为在所述世界坐标系中处于所述第一坐标位置,且在所述图像中处于第二坐标位置的第二标记点。
6.根据权利要求1-4任一项所述的定位方法,其特征在于,所述获取图像传感器采集的图像之后,还包括:
根据所述图像中各像素点的取值,确定各标记点;
从各所述标记点中识别出各所述第一标记点;其中,所述第一标记点的位置分布符合设定的几何约束条件。
7.根据权利要求6所述的定位方法,其特征在于,所述根据所述图像中各所述第一标记点,在所述图像中确定候选坐标系之后,还包括:
在所述候选坐标系中,确定所述第二标记点的设定分布范围;
将处于所述设定分布范围内的所述标记点作为所述第二标记点。
8.根据权利要求1-4任一项所述的定位方法,其特征在于,所述根据各所述第二标记点在所述候选坐标系中的坐标位置,解码得到目标编码,包括:
校验所述第二标记点的数量;
若校验通过,则根据各所述第二标记点在所述候选坐标系中的坐标位置,解码得到目标编码。
9.根据权利要求1-4任一项所述的定位方法,其特征在于,所述根据所述目标编码,查询得到各所述第二标记点在世界坐标系中的坐标位置,包括:
在建立的导航地图中,查询所述目标编码,得到所述目标编码所属位置标识在所述世界坐标系中的位姿;
根据所述位置标识在所述世界坐标系中的位姿,以及各所述第二标记点在所述位置标识所在的标准坐标系中的坐标位置,确定各所述第二标记点在世界坐标系中的坐标位置。
10.根据权利要求1-4任一项所述的定位方法,其特征在于,所述根据各所述第二标记点在所述世界坐标系中的坐标位置,以及在所述图像中的坐标位置,确定搭载所述图像传感器的自移动设备在所述世界坐标系下的位姿,包括:
根据各所述第二标记点在所述世界坐标系中的坐标位置,以及在所述图像中的坐标位置,采用透视n点PnP算法,确定搭载所述图像传感器的自移动设备在所述世界坐标系下的位姿。
11.一种定位装置,其特征在于,所述装置包括:
获取模块,用于获取图像传感器采集的图像;其中,所述图像中展示有多个第一标记点,以及多个第二标记点;
确定模块,用于根据所述图像中各所述第一标记点,在所述图像中确定候选坐标系;
解码模块,用于根据各所述第二标记点在所述候选坐标系中的坐标位置,解码得到目标编码;
查询模块,用于根据所述目标编码,查询得到各所述第二标记点在世界坐标系中的坐标位置;
定位模块,用于根据各所述第二标记点在所述世界坐标系中的坐标位置,以及在所述图像中的坐标位置,确定搭载所述图像传感器的自移动设备在所述世界坐标系下的位姿。
12.根据权利要求11所述的定位装置,其特征在于,所述第一标记点为至少五个;所述确定模块,具体用于:
在所述图像中,连接共线的至少三个所述第一标记点,得到两条连线;
将处于所述两条连线交点的第一标记点,确定为所述候选坐标系的原点,将所述两条连线,确定为所述候选坐标系的坐标轴;其中,所述坐标轴的方向,是根据处于所述坐标轴上的所述第一标记点与所述原点的距离确定的。
13.根据权利要求11所述的定位装置,其特征在于,所述解码模块,具体用于:
将所述候选坐标系,与设定的标准坐标系进行坐标系变换,得到所述候选坐标系与所述标准坐标系之间的仿射变换矩阵;
采用所述仿射变换矩阵,将各所述第二标记点在所述候选坐标系中的坐标位置变换至所述标准坐标系下,以得到各所述第二标记点在所述标准坐标系中的坐标位置;
根据各所述第二标记点在所述标准坐标系中的坐标位置,确定对应的目标编码。
14.根据权利要求11所述的定位装置,其特征在于,所述解码模块,具体用于:
将所述候选坐标系,与设定的标准坐标系进行坐标系变换,得到所述候选坐标系与所述标准坐标系之间的仿射变换矩阵;
采用所述仿射变换矩阵,将各所述第二标记点在所述候选坐标系中的坐标位置变换至所述标准坐标系下,以得到各所述第二标记点与所述标准坐标系中参考轴之间的夹角和/或各所述第二标记点与所述标准坐标系原点的距离;
根据各所述第二标记点与所述标准坐标系中参考轴之间的夹角和/或各所述第二标记点与所述标准坐标系原点的距离,确定对应的目标编码。
15.根据权利要求13或14所述的定位装置,其特征在于,所述装置还包括:
第一处理模块,用于在所述第二标记点的个数小于设定阈值个数的情况下,查询所述目标编码对应的辅助标记点在所述世界坐标系中的第一坐标位置,以及在所述标准坐标系中的坐标位置;采用所述仿射变换矩阵,将所述辅助标记点在所述标准坐标系中的坐标位置变换至所述候选坐标系下,以得到所述辅助标记点在所述候选坐标系中的坐标位置;根据所述候选坐标系的原点在所述图像中的坐标位置,确定所述辅助标记点在所述图像中的第二坐标位置;将所述辅助标记点确定为在所述世界坐标系中处于所述第一坐标位置,且在所述图像中处于第二坐标位置的第二标记点。
16.根据权利要求11-14任一项所述的定位装置,其特征在于,所述装置还包括:
第二处理模块,用于根据所述图像中各像素点的取值,确定各标记点;从各所述标记点中识别出各所述第一标记点;其中,所述第一标记点的位置分布符合设定的几何约束条件。
17.根据权利要求16所述的定位装置,其特征在于,所述装置还包括:
第三处理模块,用于在所述候选坐标系中,确定所述第二标记点的设定分布范围;将处于所述设定分布范围内的所述标记点作为所述第二标记点。
18.根据权利要求11-14任一项所述的定位装置,其特征在于,所述解码模块,具体用于:
校验所述第二标记点的数量;
若校验通过,则根据各所述第二标记点在所述候选坐标系中的坐标位置,解码得到目标编码。
19.根据权利要求11-14任一项所述的定位装置,其特征在于,所述查询模块,具体用于:
在建立的导航地图中,查询所述目标编码,得到所述目标编码所属位置标识在所述世界坐标系中的位姿;
根据所述位置标识在所述世界坐标系中的位姿,以及各所述第二标记点在所述位置标识所在的标准坐标系中的坐标位置,确定各所述第二标记点在世界坐标系中的坐标位置。
20.根据权利要求11-14任一项所述的定位装置,其特征在于,所述定位模块,具体用于:
根据各所述第二标记点在所述世界坐标系中的坐标位置,以及在所述图像中的坐标位置,采用透视n点PnP算法,确定搭载所述图像传感器的自移动设备在所述世界坐标系下的位姿。
21.一种自移动设备,其特征在于,包括图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如权利要求1-10中任一所述的定位方法。
22.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-10中任一所述的定位方法。
CN202011106810.7A 2020-10-16 2020-10-16 定位方法、装置、自移动设备和存储介质 Active CN112013850B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111257931.6A CN113984081B (zh) 2020-10-16 2020-10-16 定位方法、装置、自移动设备和存储介质
CN202011106810.7A CN112013850B (zh) 2020-10-16 2020-10-16 定位方法、装置、自移动设备和存储介质
PCT/CN2021/124027 WO2022078488A1 (zh) 2020-10-16 2021-10-15 定位方法、装置、自移动设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011106810.7A CN112013850B (zh) 2020-10-16 2020-10-16 定位方法、装置、自移动设备和存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111257931.6A Division CN113984081B (zh) 2020-10-16 2020-10-16 定位方法、装置、自移动设备和存储介质

Publications (2)

Publication Number Publication Date
CN112013850A true CN112013850A (zh) 2020-12-01
CN112013850B CN112013850B (zh) 2021-11-19

Family

ID=73528038

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111257931.6A Active CN113984081B (zh) 2020-10-16 2020-10-16 定位方法、装置、自移动设备和存储介质
CN202011106810.7A Active CN112013850B (zh) 2020-10-16 2020-10-16 定位方法、装置、自移动设备和存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202111257931.6A Active CN113984081B (zh) 2020-10-16 2020-10-16 定位方法、装置、自移动设备和存储介质

Country Status (2)

Country Link
CN (2) CN113984081B (zh)
WO (1) WO2022078488A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767487A (zh) * 2021-01-27 2021-05-07 京东数科海益信息科技有限公司 机器人的定位方法、装置以及系统
CN113341977A (zh) * 2021-06-09 2021-09-03 丰疆智能科技股份有限公司 一种基于被动红外标签定位的移动机器人
CN113712665A (zh) * 2021-11-01 2021-11-30 北京柏惠维康科技有限公司 基于定位标志物的定位方法、装置及计算机存储介质
WO2022078488A1 (zh) * 2020-10-16 2022-04-21 北京猎户星空科技有限公司 定位方法、装置、自移动设备和存储介质
WO2023020575A1 (zh) * 2021-08-18 2023-02-23 深圳市创客工场科技有限公司 计算方法、激光加工设备及计算机可读存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6405891B2 (ja) * 2014-10-29 2018-10-17 富士通株式会社 位置・姿勢推定装置、位置・姿勢推定方法、及び、プログラム
CN106403926B (zh) * 2016-08-30 2020-09-11 上海擎朗智能科技有限公司 一种定位方法和系统
WO2018044191A1 (en) * 2016-08-31 2018-03-08 Limited Liability Company "Topcon Positioning Systems" Apparatus and method for providing vehicular positioning
CN106643735A (zh) * 2017-01-06 2017-05-10 中国人民解放军信息工程大学 一种室内定位方法、装置和移动终端
CN107103056B (zh) * 2017-04-13 2021-01-29 哈尔滨工业大学 一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法
CN107689061A (zh) * 2017-07-11 2018-02-13 西北工业大学 用于室内移动机器人定位的规则图形码及定位方法
CN108195381B (zh) * 2017-12-26 2020-06-30 中国科学院自动化研究所 室内机器人视觉定位系统
CN108573511B (zh) * 2018-02-11 2021-10-12 湖南科技大学 点状分布合作编码标志及其识别定位方法
CN109191529A (zh) * 2018-07-19 2019-01-11 武汉卫思德科技有限公司 一种基于双目技术的室内可见光自定位系统与方法
CN110750094A (zh) * 2018-07-23 2020-02-04 杭州海康威视数字技术股份有限公司 确定可移动设备的位姿变化信息的方法、装置和系统
CN109938809A (zh) * 2019-03-13 2019-06-28 付立功 一种目标点定位导航系统和方法
CN110619663A (zh) * 2019-08-28 2019-12-27 山东科技大学 一种基于三维激光点云的视频影像目标定位方法
CN112013858B (zh) * 2020-10-16 2021-07-02 北京猎户星空科技有限公司 定位方法、装置、自移动设备和存储介质
CN113984081B (zh) * 2020-10-16 2024-05-03 北京猎户星空科技有限公司 定位方法、装置、自移动设备和存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022078488A1 (zh) * 2020-10-16 2022-04-21 北京猎户星空科技有限公司 定位方法、装置、自移动设备和存储介质
CN112767487A (zh) * 2021-01-27 2021-05-07 京东数科海益信息科技有限公司 机器人的定位方法、装置以及系统
CN112767487B (zh) * 2021-01-27 2024-04-05 京东科技信息技术有限公司 机器人的定位方法、装置以及系统
CN113341977A (zh) * 2021-06-09 2021-09-03 丰疆智能科技股份有限公司 一种基于被动红外标签定位的移动机器人
WO2023020575A1 (zh) * 2021-08-18 2023-02-23 深圳市创客工场科技有限公司 计算方法、激光加工设备及计算机可读存储介质
CN113712665A (zh) * 2021-11-01 2021-11-30 北京柏惠维康科技有限公司 基于定位标志物的定位方法、装置及计算机存储介质

Also Published As

Publication number Publication date
CN113984081B (zh) 2024-05-03
CN112013850B (zh) 2021-11-19
CN113984081A (zh) 2022-01-28
WO2022078488A1 (zh) 2022-04-21

Similar Documents

Publication Publication Date Title
CN112013858B (zh) 定位方法、装置、自移动设备和存储介质
CN112013850B (zh) 定位方法、装置、自移动设备和存储介质
CN111932675B (zh) 建立地图的方法、装置、自移动设备和存储介质
CN107328420B (zh) 定位方法和装置
US8265425B2 (en) Rectangular table detection using hybrid RGB and depth camera sensors
US9538892B2 (en) Robot management systems for determining docking station pose including mobile robots and methods using same
CA3117899A1 (en) Method and apparatus for combining data to construct a floor plan
CN108022264B (zh) 相机位姿确定方法及设备
US20100172571A1 (en) Robot and control method thereof
KR20100005488A (ko) 이동 로봇의 지도 구성 장치 및 방법
CN112265463B (zh) 自移动设备的控制方法、装置、自移动设备和介质
EP3955020A1 (en) Laser scanner with ultrawide-angle lens camera for registration
US20210374978A1 (en) Capturing environmental scans using anchor objects for registration
Schneider et al. On the accuracy of dense fisheye stereo
JP2017120551A (ja) 自律走行装置
Martín-Martín et al. Jrdb: A dataset and benchmark for visual perception for navigation in human environments
Yamamoto et al. Optical sensing for robot perception and localization
Avgeris et al. Single vision-based self-localization for autonomous robotic agents
Tian et al. The extrinsic calibration of area-scan camera and 2D laser rangefinder (LRF) using checkerboard trihedron
KR100581086B1 (ko) RFID Tag LED를 이용한 로봇 위치 측정 방법 및장치
KR101233938B1 (ko) 객체 추적 로봇 및 그 방법
Lin et al. A monocular target pose estimation system based on an infrared camera
Cucchiara et al. Efficient Stereo Vision for Obstacle Detection and AGV Navigation.
Rostkowska et al. Improving self-localization efficiency in a small mobile robot by using a hybrid field of view vision system
Makabe et al. Shape-coded aruco: Fiducial marker for bridging 2d and 3d modalities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant