CN112013858A - 定位方法、装置、自移动设备和存储介质 - Google Patents

定位方法、装置、自移动设备和存储介质 Download PDF

Info

Publication number
CN112013858A
CN112013858A CN202011106787.1A CN202011106787A CN112013858A CN 112013858 A CN112013858 A CN 112013858A CN 202011106787 A CN202011106787 A CN 202011106787A CN 112013858 A CN112013858 A CN 112013858A
Authority
CN
China
Prior art keywords
coordinate system
coordinate
candidate
point
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011106787.1A
Other languages
English (en)
Other versions
CN112013858B (zh
Inventor
张彦刚
高梓翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Orion Star Technology Co Ltd
Original Assignee
Beijing Orion Star Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Orion Star Technology Co Ltd filed Critical Beijing Orion Star Technology Co Ltd
Priority to CN202110642495.8A priority Critical patent/CN113390426B/zh
Priority to CN202011106787.1A priority patent/CN112013858B/zh
Publication of CN112013858A publication Critical patent/CN112013858A/zh
Application granted granted Critical
Publication of CN112013858B publication Critical patent/CN112013858B/zh
Priority to PCT/CN2021/124197 priority patent/WO2022078513A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • G01C21/32Structuring or formatting of map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Navigation (AREA)

Abstract

本申请提出一种定位方法、装置、自移动设备和存储介质,涉及定位技术领域,其中,方法包括:获取图像传感器采集的图像;其中,图像中展示有图案部分,以及标记点部分;根据图案部分,确定候选坐标系;根据标记点部分中的各标记点在候选坐标系中的坐标位置,解码得到目标编码;根据目标编码,查询得到各标记点在世界坐标系中的坐标位置;根据各标记点在世界坐标系中的坐标位置,以及在图像中的坐标位置,确定搭载图像传感器的自移动设备在世界坐标系下的位姿。由此,能够实现有效对自移动设备进行定位。

Description

定位方法、装置、自移动设备和存储介质
技术领域
本申请涉及定位技术领域,尤其涉及一种定位方法、装置、自移动设备和存储介质。
背景技术
随着人工智能技术的不断发展,人工智能产品,比如自移动设备不断普及。当控制自移动设备移动时,首先需要对自移动设备进行定位,即识别自移动设备在所处空间内的位置,之后才能对该自移动设备进行导航。
相关技术中,采用地图导航方式,确定自移动设备在室内空间中所处的位置。具体地,通过在自移动设备上搭载激光雷达,在自移动设备移动的过程中,采用激光雷达实时扫描周围环境,获取激光点云图,进而将激光雷达实时采集的点云图与预置的地图进行匹配的方式,来确定自移动设备在地图中的实时位置,从而实现对自移动设备进行定位。
然而上述定位方式,无法适用于室内环境经常发生变化的场景。比如,当室内家具等室内陈设位置发生变化时,或者,当人员移动干扰激光雷达扫描周围环境时,自移动设备在移动过程中所采集到的激光点云图,与预置的地图将无法匹配,从而无法定位自移动设备的位置。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
本申请提出一种定位方法、装置、自移动设备和存储介质,以实现即使自移动设备所处空间内的陈设位置发生变化,或者人员移动干扰激光雷达扫描周围环境,也能够有效定位自移动设备的位置,提升该定位方法的适用性。
本申请第一方面实施例提出了一种定位方法,包括:
获取图像传感器采集的图像;其中,所述图像中展示有图案部分,以及标记点部分;
根据所述图案部分,确定候选坐标系;
根据所述标记点部分中的各标记点在所述候选坐标系中的坐标位置,解码得到目标编码;
根据所述目标编码,查询得到各所述标记点在世界坐标系中的坐标位置;
根据各所述标记点在所述世界坐标系中的坐标位置,以及在所述图像中的坐标位置,确定搭载所述图像传感器的自移动设备在所述世界坐标系下的位姿。
在本申请实施例的第一种可能的实现方式中,所述图案部分展示有非对称图案,所述根据所述图案部分,确定候选坐标系,包括:
根据所述非对称图案中的设定参考线,确定所述候选坐标系的坐标轴;其中,所述坐标轴的方向,是根据所述非对称图案中设定局部图案所在位置确定的;
和/或,
根据所述非对称图案中设定关键点所在位置,确定所述候选坐标系中设定的坐标点。
在本申请实施例的第二种可能的实现方式中,所述根据所述标记点部分中的各标记点在所述候选坐标系中的坐标位置,解码得到目标编码,包括:
将所述候选坐标系,与设定的标准坐标系进行坐标系变换,得到所述候选坐标系与所述标准坐标系之间的仿射变换矩阵;
采用所述仿射变换矩阵,将各所述标记点在所述候选坐标系中的坐标位置变换至所述标准坐标系下,以得到各所述标记点在所述标准坐标系中的坐标位置;
根据各所述标记点在所述标准坐标系中的坐标位置,确定对应的目标编码。
在本申请实施例的第三种可能的实现方式中,所述根据所述标记点部分中的各标记点在所述候选坐标系中的坐标位置,解码得到目标编码,包括:
将所述候选坐标系,与设定的标准坐标系进行坐标系变换,得到所述候选坐标系与所述标准坐标系之间的仿射变换矩阵;
采用所述仿射变换矩阵,将各所述标记点在所述候选坐标系中的坐标位置变换至所述标准坐标系下,以得到所述标准坐标系下各所述标记点与所述标准坐标系中坐标轴之间的夹角和/或与所述标准坐标系原点的距离;
根据所述标准坐标系下各所述标记点与所述标准坐标系中坐标轴之间的夹角和/或与所述标准坐标系原点的距离,确定对应的目标编码。
在本申请实施例的第四种可能的实现方式中,所述根据所述标记点部分中的各标记点在所述候选坐标系中的坐标位置,解码得到目标编码之后,还包括:
若所述标记点的个数小于设定阈值个数,则查询所述目标编码对应的辅助标记点在所述世界坐标系中的第一坐标位置,以及在所述标准坐标系中的坐标位置;
采用所述放射变换矩阵,将所述辅助标记点在所述标准坐标系中的坐标位置变换至所述候选坐标系下,以得到所述辅助标记点在所述候选坐标系中的坐标位置;
根据所述候选坐标系的原点在所述图像中的坐标位置,确定所述辅助标记点在所述图像中的第二坐标位置;
将所述辅助标记点确定为在所述世界坐标系中处于所述第一坐标位置,且在所述图像中处于第二坐标位置的所述标记点。
在本申请实施例的第五种可能的实现方式中,所述获取图像传感器采集的图像之后,还包括:
根据所述图像中各像素点的取值,确定所述图案部分。
在本申请实施例的第六种可能的实现方式中,所述根据所述图案部分,确定候选坐标系之后,还包括:
根据所述候选坐标系,确定所述标记点部分的设定分布范围;
在所述图像中的所述设定分布范围内识别各所述标记点。
在本申请实施例的第七种可能的实现方式中,所述根据所述标记点部分中的各标记点在所述候选坐标系中的坐标位置,解码得到目标编码,包括:
校验所述标记点的数量;
若校验通过,则根据各所述标记点在所述候选坐标系中的坐标位置,解码得到目标编码。
在本申请实施例的第八种可能的实现方式中,所述根据所述目标编码,查询得到各所述标记点在世界坐标系中的坐标位置,包括:
在建立的导航地图中,查询所述目标编码,得到所述目标编码所属位置标识在所述世界坐标系中的位姿;
根据所述位置标识在所述世界坐标系中的位姿,以及各所述标记点在所述位置标识所在的标准坐标系中的坐标位置,确定各所述标记点在世界坐标系中的坐标位置。
在本申请实施例的第九种可能的实现方式中,所述根据各所述标记点在所述世界坐标系中的坐标位置,以及在所述图像中的坐标位置,确定搭载所述图像传感器的自移动设备在所述世界坐标系下的位姿,包括:
根据各所述标记点在所述世界坐标系中的坐标位置,以及在所述图像中的坐标位置,采用透视n点PnP算法,确定搭载所述图像传感器的自移动设备在所述世界坐标系下的位姿。
本申请实施例的定位方法,通过根据图像传感器采集的图像中的图案部分,确定候选坐标系,之后,根据图像中的标记点部分中的各标记点在候选坐标系中的坐标位置,解码得到目标编码,之后,根据目标编码,查询得到各标记点在世界坐标系中的坐标位置,以根据各标记点在世界坐标系中的坐标位置,以及在图像中的坐标位置,确定搭载图像传感器的自移动设备在世界坐标系下的位姿。由此,即使自移动设备所处空间内的陈设位置发生变化,或者人员移动干扰激光雷达扫描周围环境,也能够有效定位自移动设备的位置,可以提升该定位方法的适用性。
本申请第二方面实施例提出了一种定位装置,包括:
获取模块,用于获取图像传感器采集的图像;其中,所述图像中展示有图案部分,以及标记点部分;
确定模块,用于根据所述图案部分,确定候选坐标系;
解码模块,用于根据所述标记点部分中的各标记点在所述候选坐标系中的坐标位置,解码得到目标编码;
查询模块,用于根据所述目标编码,查询得到各所述标记点在世界坐标系中的坐标位置;
定位模块,用于根据各所述标记点在所述世界坐标系中的坐标位置,以及在所述图像中的坐标位置,确定搭载所述图像传感器的自移动设备在所述世界坐标系下的位姿。
在本申请实施例的第一种可能的实现方式中,所述图案部分展示有非对称图案,所述确定模块,具体用于:
根据所述非对称图案中的设定参考线,确定所述候选坐标系的坐标轴;其中,所述坐标轴的方向,是根据所述非对称图案中设定局部图案所在位置确定的;
和/或,
根据所述非对称图案中设定关键点所在位置,确定所述候选坐标系中设定的坐标点。
在本申请实施例的第二种可能的实现方式中,所述解码模块,具体用于:
将所述候选坐标系,与设定的标准坐标系进行坐标系变换,得到所述候选坐标系与所述标准坐标系之间的仿射变换矩阵;
采用所述仿射变换矩阵,将各所述标记点在所述候选坐标系中的坐标位置变换至所述标准坐标系下,以得到各所述标记点在所述标准坐标系中的坐标位置;
根据各所述标记点在所述标准坐标系中的坐标位置,确定对应的目标编码。
在本申请实施例的第三种可能的实现方式中,所述解码模块,具体用于:
将所述候选坐标系,与设定的标准坐标系进行坐标系变换,得到所述候选坐标系与所述标准坐标系之间的仿射变换矩阵;
采用所述仿射变换矩阵,将各所述标记点在所述候选坐标系中的坐标位置变换至所述标准坐标系下,以得到所述标准坐标系下各所述标记点与所述标准坐标系中坐标轴之间的夹角和/或与所述标准坐标系原点的距离;
根据所述标准坐标系下各所述标记点与所述标准坐标系中坐标轴之间的夹角和/或与所述标准坐标系原点的距离,确定对应的目标编码。
在本申请实施例的第四种可能的实现方式中,所述装置还包括:
第一处理模块,用于若所述标记点的个数小于设定阈值个数,则查询所述目标编码对应的辅助标记点在所述世界坐标系中的第一坐标位置,以及在所述标准坐标系中的坐标位置;采用所述放射变换矩阵,将所述辅助标记点在所述标准坐标系中的坐标位置变换至所述候选坐标系下,以得到所述辅助标记点在所述候选坐标系中的坐标位置;根据所述候选坐标系的原点在所述图像中的坐标位置,确定所述辅助标记点在所述图像中的第二坐标位置;将所述辅助标记点确定为在所述世界坐标系中处于所述第一坐标位置,且在所述图像中处于第二坐标位置的所述标记点。
在本申请实施例的第五种可能的实现方式中,所述装置还包括:
第二处理模块,用于根据所述图像中各像素点的取值,确定所述图案部分。
在本申请实施例的第六种可能的实现方式中,所述装置还包括:
第三处理模块,用于根据所述候选坐标系,确定所述标记点部分的设定分布范围;在所述图像中的所述设定分布范围内识别各所述标记点。
在本申请实施例的第七种可能的实现方式中,所述解码模块,具体用于:
校验所述标记点的数量;
若校验通过,则根据各所述标记点在所述候选坐标系中的坐标位置,解码得到目标编码。
在本申请实施例的第八种可能的实现方式中,所述查询模块,具体用于:
在建立的导航地图中,查询所述目标编码,得到所述目标编码所属位置标识在所述世界坐标系中的位姿;
根据所述位置标识在所述世界坐标系中的位姿,以及各所述标记点在所述位置标识所在的标准坐标系中的坐标位置,确定各所述标记点在世界坐标系中的坐标位置。
在本申请实施例的第九种可能的实现方式中,所述定位模块,具体用于:
根据各所述标记点在所述世界坐标系中的坐标位置,以及在所述图像中的坐标位置,采用透视n点PnP算法,确定搭载所述图像传感器的自移动设备在所述世界坐标系下的位姿。
本申请实施例的定位装置,通过根据图像传感器采集的图像中的图案部分,确定候选坐标系,之后,根据图像中的标记点部分中的各标记点在候选坐标系中的坐标位置,解码得到目标编码,之后,根据目标编码,查询得到各标记点在世界坐标系中的坐标位置,以根据各标记点在世界坐标系中的坐标位置,以及在图像中的坐标位置,确定搭载图像传感器的自移动设备在世界坐标系下的位姿。由此,即使自移动设备所处空间内的陈设位置发生变化,或者人员移动干扰激光雷达扫描周围环境,也能够有效定位自移动设备的位置,可以提升该定位装置的适用性。
本申请第三方面实施例提出了一种自移动设备,包括:图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如本申请第一方面实施例提出的定位方法。
本申请第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请第一方面实施例提出的定位方法。
本申请第五方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令被处理器执行时,实现如本申请第一方面实施例提出的定位方法。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例一所提供的定位方法的流程示意图;
图2为本申请实施例中的位置标识示意图;
图3为本申请实施例二所提供的定位方法的流程示意图;
图4为本申请实施例三所提供的定位方法的流程示意图;
图5为本申请实施例四所提供的定位方法的流程示意图;
图6为本申请实施例五所提供的导航地图的建立方法的流程示意图;
图7为本申请实施例六所提供的定位装置的结构示意图;
图8为本申请实施例七所提供的定位装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的定位方法、装置、自移动设备和存储介质。
图1为本申请实施例一所提供的定位方法的流程示意图。
本申请实施例的执行主体可以为本申请提供的定位装置,该定位装置可以被配置在自移动设备中,比如该定位装置可以为自移动设备的本地控制器,从而可以实现对自移动设备进行定位;或者,该定位装置也可以被配置在服务器中,比如该定位装置可以为与自移动设备通信的云端服务器,也可以实现对自移动设备进行定位。
其中,自移动设备可以为智能机器人等具备导航避障功能、可自主移动的设备。
如图1所示,该定位方法包括以下步骤:
步骤101,获取图像传感器采集的图像;其中,图像中展示有图案部分,以及标记点部分。
本申请实施例中,图像传感器可以为电荷耦合器件(Charge Coupled Device,简称CCD)、互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,简称CMOS)、薄膜晶体管(Thin Film Transistor,简称TFT)等图像传感器。其中,图像传感器可以设置在自移动设备上,图像传感器在采集到图像后,自移动设备可以直接获取图像传感器采集的图像。或者,图像传感器也可以独立于自移动设备进行设置,当图像传感器采集到图像后,可以以蓝牙、无线局域网(Wireless Fidelity,简称WiFi)等无线通信方式,将图像发送至自移动设备。
本申请实施例中,当定位装置被配置在自移动设备中时,定位装置可直接获取图像传感器采集的图像,或者接收图像传感器发送的图像;而当定位装置被配置在服务器中时,可由自移动设备在接收到图像传感器采集的图像后,将该图像发送至服务器,从而定位装置可以获取该图像。
本申请实施例中,可以在自移动设备所处的空间内,设置二维的位置标识(或称为路标),比如,可以在室内墙壁或屋顶贴附位置标识。其中,该位置标识上可以展示有图案部分以及标记点部分,其中,图案部分用于确定坐标系,标记点部分用于解码得到位置标识对应的编码以及定位观测位置。
可以理解的是,位置标识中的图案部分,以及标记点部分中各标记点的形状、大小、颜色等特征是已知的,因此,在本申请实施例的一种可能的实现方式中,定位装置在获取到图像传感器采集的图像后,可以基于目标检测算法,识别图像中的图案部分和标记点部分。
例如,可以基于单发多框检测(Single Shot MultiBox Detector,简称SSD)、你只看一眼(You Only Look Once,简称YOLO)、Faster-RCNN 等目标检测算法,对图像传感器采集到的图像进行识别,确定图案部分和标记点部分,本申请对此并不做限制。
在本申请实施例的另一种可能的实现方式中,定位装置在获取到图像传感器采集的图像后,可以对图像传感器采集到的图像进行连通域检测以获取多个连通区域,根据每个连通区域的几何特征,确定图案部分和标记点部分。其中,几何特征,可以为连通区域的尺寸大小、长宽比例、颜色分布等特征信息。
应当理解的是,为了提升识别结果的准确性,以及提升图像的处理效率,还可以先识别得到图像中的位置标识,比如,可以基于感兴趣区域(Region of Interest,简称ROI)提取算法、目标检测算法等,识别得到图像中位置标识所在的区域,而后在位置标识所在的区域,识别图案部分和标记点部分。
在本申请实施例的又一种可能的实现方式中,定位装置在获取到图像传感器采集的图像后,可以对图像传感器采集到的图像进行预处理,比如高斯模糊、二值化、边缘提取等处理,根据预处理后的图像中各像素点的取值,确定图案部分和标记点部分。或者,还可以直接根据图像传感器采集到的图像中各像素点的取值,确定图案部分和标记点部分。
比如,可以确定图像中像素点的取值超过预设阈值的各像素点,并根据取值超过预设阈值的各像素点,确定连通域,之后可以根据各连通域的几何特征,识别图案部分和标记点部分。也就是说,可以根据连通域内的亮度情况,来实现对图案部分和标记点部分进行识别,可以排除形状与图案部分或标记点部分相似,但亮度不满足条件的连通域,以提升图案部分和标记点部分检测结果的准确性。
步骤102,根据图案部分,确定候选坐标系。
本申请实施例中,候选坐标系是二维坐标系,该候选坐标系是在图像上建立的坐标系,具体由图案部分构建的坐标系。
在本申请实施例的一种可能的实现方式中,图案部分可以展示有非对称图案,可以根据非对称图案中的设定参考线,确定候选坐标系的坐标轴;其中,坐标轴的方向,是根据非对称图案中设定局部图案所在位置确定的。
举例而言,非对称图案中可以具有两条连接线,可以分别将这两条连接线作为候选坐标系的X轴和Y轴,X轴和Y轴的方向可以根据非对称图案中设定局部图案所在位置确定,例如,可以将设定局部图案所处的象限,作为第一象限,从而可确定X轴和Y轴的方向。当然,也可以将设定局部图案所处的象限,作为第二象限、第三象限或第四象限,本申请对此并不作限制。
需要说明的是,上述仅以根据非对称图案中设定局部图案所在位置确定坐标轴的方向进行示例,实际应用时,还可以直接根据设定局部图案的图像特征,来确定坐标轴的方向,比如,设定局部图案为箭头图案,则可以根据设定局部图案的箭头方向确定坐标轴的正方向。
在本申请实施例的另一种可能的实现方式中,图案部分可以展示有非对称图案,可以根据非对称图案中设定关键点所在位置,确定候选坐标系中设定的坐标点。例如,已知非对称图案中设定关键点在候选坐标系中设定的坐标点为(-1,1),此时,可以直接根据该设定的坐标点为(-1,1)建立候选坐标系。
在本申请实施例的又一种可能的实现方式中,图案部分可以展示有非对称图案,可以根据非对称图案中的设定参考线,确定候选坐标系的坐标轴,以及根据非对称图案中设定关键点所在位置,确定候选坐标系中设定的坐标点。其中,坐标轴的方向,是根据非对称图案中设定局部图案所在位置确定的。
作为一种示例,参见图2,图2为本申请实施例中的位置标识示意图。其中,该位置标识包括设定局部图案21和由三个标记点组成的标记点部分22。设定参考线可以为设定局部图案21的对称轴,可以将该设定参考线作为候选坐标系中的X轴,将设定局部图案21的箭头方向,作为X轴的正方向,非对称图案中设置有至少一个设定关键点,该设定关键点可以为候选坐标系的原点,或者是处于Y轴正方向或负方向中的点,根据该设定关键点,以及X轴,可以建立候选坐标系。
步骤103,根据标记点部分中的各标记点在候选坐标系中的坐标位置,解码得到目标编码。
本申请实施例中,候选坐标系中的单位可以为像素,或者,还可以根据实际需求进行设置,比如,候选坐标系中的单位可设置为设定长度,该设定长度例如可为0.001cm、0.01cm等,本申请对此并不作限制。
本申请实施例中,在图像中建立得到候选坐标系后,可以确定标记点部分中的每个标记点在候选坐标系中的坐标位置,根据各标记点在候选坐标系中的坐标位置,可以解码得到目标编码。
可以理解的是,标记点中可以包含多个像素点,针对每个标记点,该标记点在候选坐标系中的坐标位置,可以根据该标记点中包含的多个像素点的坐标位置来确定。
作为一种示例,针对每个标记点,可以确定该标记点中包含的多个像素点在候选坐标系中的坐标位置,将该标记点中包含的多个像素点在候选坐标系中的坐标位置求取均值,来确定该标记点在候选坐标系中的坐标位置。
作为另一种示例,针对每个标记点,可以确定该标记点中包含的多个像素点在候选坐标系中的坐标位置,根据该标记点中包含的多个像素点在候选坐标系中的坐标位置,对该标记点的形状进行数学方程的拟合,根据拟合的数学方程,确定该标记点的形心,将形心的坐标位置,作为该标记点在候选坐标系中的坐标位置。
应当理解的是,当候选坐标系中坐标轴有方向时,编码在不同象限内具有不同的含义,通过建立坐标系的方式,还可以增加编码容量。
步骤104,根据目标编码,查询得到各标记点在世界坐标系中的坐标位置。
本申请实施例中,世界坐标系是指自移动设备或服务器在建立导航地图时生成的地图坐标系。例如,当建立导航地图时,可以以自移动设备启动时所在位置作为世界坐标系的原点位置,自移动设备的前进方向可作为X轴的正方向,与X轴垂直的方向可作为Y轴,与X轴和Y轴垂直的方向可作为Z轴,或者,可将自移动设备的前进方向作为Y轴的正方向,与Y轴垂直的方向可作为X轴,与X轴和Y轴垂直的方向可作为Z轴。即,世界坐标系的原点为自移动设备启动时所在位置,而各坐标轴,以及各坐标轴的方向可预先定义。
本申请实施例中,查询的具体过程为:在建立的导航地图中,查询目标编码,得到目标编码所属位置标识在世界坐标系中的位姿,根据位置标识在世界坐标系中的位姿,以及各标记点在位置标识所在的标准坐标系中的坐标位置,确定每个标记点在世界坐标系中的坐标位置。其中,上述位姿可以包括坐标位置和/或姿态。
其中,标准坐标系为位置标识所在的坐标系,即标准坐标系是根据自移动设备所处空间内的位置标识上的图案部分,在位置标识上预先标定的坐标系。应当理解的是,图像传感器采集到的图像可能存在畸变,候选坐标系可能存在畸变或扭曲,为观测到的坐标系,随着观测位置的改变而改变,坐标轴可能并非为直的。而标准坐标系是与候选坐标系相对应的,未存在畸变的坐标系,即该标准坐标系不随观测位置的改变而改变。
也就是说,每个位置标识在世界坐标系中的位姿,例如坐标位置和姿态都是已知的,是由自移动设备或服务器在建立导航地图时确定的,例如,自移动设备或服务器在建立导航地图时,可根据每个目标编码,生成该目标编码对应的位置标识在世界坐标系中的位姿,从而,本申请中,可以根据目标编码,查询预先建立的导航地图,得到该目标编码所属位置标识在世界坐标系中的位姿,从而可以根据位置标识在世界坐标系中的位姿,以及各标记点在位置标识所在的标准坐标系中的坐标位置,确定每个标记点在世界坐标系中的坐标位置。
需要说明的是,导航地图可以由自移动设备建立,自移动设备在建立导航地图后,可以在本地存储该导航地图。当定位装置被配置在自移动设备中时,该定位装置可以直接在导航地图中,查询目标编码,得到目标编码所属位置标识在世界坐标系中的位姿,根据位置标识在世界坐标系中的位姿,以及各标记点在位置标识所在的标准坐标系中的坐标位置,确定每个标记点在世界坐标系中的坐标位置。而当定位装置被配置在服务器中时,自移动设备可以将建立的导航地图发送至服务器,从而定位装置可以根据该导航地图执行上述查询过程,确定目标编码所属位置标识在世界坐标系中的位姿,根据位置标识在世界坐标系中的位姿,以及各标记点在位置标识所在的标准坐标系中的坐标位置,确定每个标记点在世界坐标系中的坐标位置。
或者,导航地图也可以由服务器建立,服务器在建立导航地图后,可以在数据库中存储各自移动设备的标识与导航地图之间的对应关系。当定位装置被配置在服务器中时,该定位装置可以根据自移动设备的标识,查询上述对应关系,确定该自移动设备对应的导航地图,并在查询到的导航地图中,查询目标编码,得到目标编码所属位置标识在世界坐标系中的位姿,根据位置标识在世界坐标系中的位姿,以及各标记点在位置标识所在的标准坐标系中的坐标位置,确定每个标记点在世界坐标系中的坐标位置。而当定位装置被配置在自移动设备中时,服务器可以根据自移动设备的标识,查询上述对应关系,确定该自移动设备对应的导航地图,并将对应的导航地图发送至自移动设备,或者,自移动设备可以主动从服务器侧查询自身对应的导航地图,从而定位装置可以根据该导航地图执行上述查询过程,确定目标编码所属位置标识在世界坐标系中的位姿,根据位置标识在世界坐标系中的位姿,以及各标记点在位置标识所在的标准坐标系中的坐标位置,确定每个标记点在世界坐标系中的坐标位置。
在本申请实施例的一种可能的实现方式中,在自移动设备或服务器建立导航地图时,可以获取自移动设备在移动过程中采集的图像,以及采集图像时自移动设备在世界坐标系中的设备位姿,根据各标记点在候选坐标系中坐标位置(例如标记为参考坐标位置),解码得到目标编码,根据目标编码,查询得到各标记点在位置标识所在的标准坐标系中的坐标位置(例如标记为标准坐标位置),根据标准坐标位置和参考坐标位置,确定标准坐标系与采集图像时自移动设备的坐标系之间的坐标变换关系,根据坐标变换关系,和自移动设备在世界坐标系中的设备位姿,在世界坐标系中标注位置标识的预测位姿。自移动设备的具体建图过程可以参见后续实施例,此处不做赘述。
从而,本申请中,可以根据目标编码查询上述已建立的导航地图,得到目标编码所属位置标识在世界坐标系中的位姿,从而可以根据位置标识在世界坐标系中的位姿,以及各标记点在位置标识所在的标准坐标系中的坐标位置,确定每个标记点在世界坐标系中的坐标位置。
需要说明的是,定位和建立导航地图(即建图)的执行时序可以先后执行,即先执行建图,后执行定位,或者,还可以同时执行建图和定位,本申请上述仅以先执行建图,后执行定位进行示例。
步骤105,根据各标记点在世界坐标系中的坐标位置,以及在图像中的坐标位置,确定搭载图像传感器的自移动设备在世界坐标系下的位姿。
本申请实施例中,搭载图像传感器的自移动设备在世界坐标系下的位姿,可以包括自移动设备在世界坐标系下的坐标位置(绝对位置)和/或姿态。
本申请实施例中,各标记点在图像中的坐标位置,可以为各标记点在图像坐标系中的坐标位置,或者,也可以为各标记点在像素坐标系中的坐标位置,本申请对此并不作限制。其中,图像坐标系的坐标原点,为图像的中心点,X轴水平向右,Y轴水平向下,单位是像素。像素坐标系的坐标原点,为图像左上角,X轴水平向右,Y轴水平向下,单位是像素。
本申请实施例中,在确定标记点在世界坐标系中的坐标位置后,可以根据各标记点在世界坐标系中的坐标位置,以及各第二标记点在图像中的坐标位置,采用透视n点PnP算法确定搭载图像传感器的自移动设备在世界坐标系下的位姿。其中,PnP(pespective-n-point)算法可以包括P3P、EPnP、UPnP、DLT(Direct Linear Transform)、优化求解等算法。
需要说明的是,PnP算法的解可能不止一个,为了提升自移动设备在世界坐标系下的位姿计算结果的准确性,可以在位置标识所在的标准坐标系中设定一个校验点,根据候选坐标系与标准坐标系之间的仿射变换矩阵,确定该校验点在候选坐标系中的坐标位置,使用该校验点在候选坐标系中的坐标位置来对多个解进行校验,以排除错误的位姿。
作为一种应用场景,以定位装置被配置在自移动设备中进行示例,当自移动设备所处的室内空间的墙壁或屋顶贴附位置标识时,该位置标识的图案可以如图2所示,自移动设备可以通过拍摄包含该位置标识的图像,并对该图像进行识别,来确定自移动设备在世界坐标系下的绝对位置,由此,即使室内空间的陈设位置发生变化,或者人员移动干扰激光雷达扫描周围环境,仍然能够实现对自移动设备进行定位,即该定位方法不易受到周围环境的干扰,可以提升该方法的适用性。
本申请实施例的定位方法,通过根据图像传感器采集的图像中的图案部分,确定候选坐标系,之后,根据图像中的标记点部分中的各标记点在候选坐标系中的坐标位置,解码得到目标编码,之后,根据目标编码,查询得到各标记点在世界坐标系中的坐标位置,以根据各标记点在世界坐标系中的坐标位置,以及在图像中的坐标位置,确定搭载图像传感器的自移动设备在世界坐标系下的位姿。由此,即使自移动设备所处空间内的陈设位置发生变化,或者人员移动干扰激光雷达扫描周围环境,也能够有效定位自移动设备的位置,可以提升该定位方法的适用性。
需要说明的是,为了便于图像识别,对于位置标识的设计,可以采用高对比设计,例如,位置标识的底色可以为黑色,图案部分和标记点部分的颜色可以为白色,或者,位置标识的底色可以为白色,图案部分和标记点部分的颜色可以为黑色,或者,还可以将位置标识设计为高反光的形式,等等,本申请对此并不作限制。
其中,图案部分和标记点部分的颜色可以相同,也可以不同。并且,标记点部分中的各标记点的颜色可以相同,也可以不同,本申请对此并不作限制。
在本申请实施例的一种可能的实现方式中,位置标识可能受到照明和光照的影响,当环境亮度较高或者较低时,均影响图像识别结果的准确性,因此,本申请中,为了提升采集的图像中图案部分和标记点部分识别结果的准确性,从而提升位姿计算结果的准确性,当在自移动设备所处的空间内设置二维的位置标识时,位置标识中的图案部分和标记点部分所处的位置可以设置红外LED光源,用于向外发射红外光,图像传感器可以为红外相机,从而可拍摄包含位置标识的图像,可以不受自移动设备所处空间内的环境亮度影响,可以提升识别结果的准确性。此外,红外光的波段可为940纳米,以使用户肉眼不可见,从而避免干扰用户。
在本申请实施例的另一种可能的实现方式中,位置标识可设计为高反光的形式,自移动设备可以携带光发射器,用于向外发射光线,发射的光线投射到位置标识进行反光,从而根据位置标识上反射的光线,可以捕捉到位置标识。
例如,光发射器可以包括发光二极管,该发光二极管发射的可以为可见光,或者,也可以为非可见光,比如为红外光。
作为一种可能的实现方式,可以将候选坐标系中的标记点的坐标位置,映射到位置标识所在的标准坐标系中,得到标记点在标准坐标系中的坐标位置,根据各标记点在标准坐标系下的坐标位置,确定目标编码。下面结合实施例二,对上述过程进行详细说明。
图3为本申请实施例二所提供的定位方法的流程示意图。
如图3所示,在图1所示实施例的基础上,步骤103具体可以包括以下步骤:
步骤201,将候选坐标系,与设定的标准坐标系进行坐标系变换,得到候选坐标系与标准坐标系之间的仿射变换矩阵。
本申请实施例中,标准坐标系为预先在自移动设备所处空间内的位置标识上标定的坐标系。具体地,根据位置标识上的图案部分,在位置标识上预先标定的坐标系。该标准坐标系是与候选坐标系相对应的,未存在畸变的坐标系。
本申请实施例中,仿射变换可以理解为对原坐标轴进行放缩、旋转、平移后形成的新坐标轴。在确定候选坐标系和标准坐标系后,可以根据二维几何变换,确定候选坐标系与标准坐标系之间的仿射变换矩阵。
步骤202,采用仿射变换矩阵,将各标记点在候选坐标系中的坐标位置变换至标准坐标系下,以得到各标记点在标准坐标系中的坐标位置。
本申请实施例中,针对候选坐标系中的每个标记点,可以采用仿射变换矩阵,将该标记点的坐标位置变换至标准坐标系下,得到该标记点在标准坐标系中的坐标位置。
步骤203,根据各标记点在标准坐标系中的坐标位置,确定对应的目标编码。
本申请实施例中,可以根据各标记点在标准坐标系中的坐标位置,确定对应的目标编码。例如,可以将各标记点在标准坐标系中的坐标位置进行组合,得到对应的目标编码。举例而言,当标记点的个数为3个时,假设3个标记点在标准坐标系中的坐标位置分别为(1,1)、(2,2)和(3,3),则目标编码可以为112233、11-22- 33、11 22 33、1-1-2-2-3-3等。
作为另一种可能的实现方式,可以将候选坐标系中的标记点的坐标位置,映射到位置标识所在的标准坐标系中,得到标记点与标准坐标系中坐标轴之间的夹角和/或与标准坐标系原点的距离,根据各标记点与标准坐标系中坐标轴之间的夹角和/或与标准坐标系原点的距离,确定目标编码。下面结合实施例三,对上述过程进行详细说明。
图4为本申请实施例三所提供的定位方法的流程示意图。
如图4所示,在图1所示实施例的基础上,步骤103具体可以包括以下步骤:
步骤301,将候选坐标系,与设定的标准坐标系进行坐标系变换,得到候选坐标系与标准坐标系之间的仿射变换矩阵。
步骤301的执行过程可以参见上述实施例中步骤201的执行过程,在此不做赘述。
步骤302,采用仿射变换矩阵,将各标记点在候选坐标系中的坐标位置变换至标准坐标系下,以得到各标记点与标准坐标系中坐标轴之间的夹角和/或与标准坐标系原点的距离。
本申请实施例中,坐标轴可以为标准坐标系中的X轴,或者,也可以为标准坐标系中的Y轴,对此不作限制。
本申请实施例中,可以采用仿射变换矩阵,将各标记点在候选坐标系中坐标位置变换至标准坐标系下,得到各标记点在标准坐标系中的坐标位置,之后,可以根据各标记点在标准坐标系中的坐标位置,计算得到各标记点与标准坐标系中坐标轴之间的夹角,和/或,计算得到各标记点与标准坐标系原点的距离。
步骤303,根据各标记点与标准坐标系中坐标轴之间的夹角和/或与标准坐标系原点的距离,确定对应的目标编码。
本申请实施例中,可以根据各标记点与标准坐标系中坐标轴之间的夹角,和/或,各标记点与标准坐标系原点的距离,确定对应的目标编码。例如,可以将各标记点在标准坐标系中坐标轴之间的夹角,和/或,各标记点与标准坐标系原点的距离进行组合,得到对应的目标编码。
举例而言,当标记点的个数为3个时,假设坐标轴为X轴,并且3个标记点在标准坐标系中的坐标位置分别为(1,1)、(1,
Figure 378712DEST_PATH_IMAGE001
)和(
Figure 115723DEST_PATH_IMAGE001
,1),则3个标记点与标准坐标系中坐标轴之间的夹角分别为45°、60°、30°,3个标记点与标准坐标系原点的距离分别为
Figure 311212DEST_PATH_IMAGE002
、2、2。若根据各标记点与标准坐标系中坐标轴之间的夹角,确定对应的目标编码,则目标编码例如可以为45°60°30°、45°-60°-30°、45° 60° 30°等;若根据各标记点与标准坐标系原点的距离,确定对应的目标编码,则目标编码例如可以为
Figure 741057DEST_PATH_IMAGE002
22、
Figure 982682DEST_PATH_IMAGE002
-2-2、
Figure 133172DEST_PATH_IMAGE002
2 2等;若根据各标记点与标准坐标系中坐标轴之间的夹角和各标记点与标准坐标系原点的距离,确定对应的目标编码,则目标编码例如可以为45°60°30°
Figure 776643DEST_PATH_IMAGE002
22、
Figure 111809DEST_PATH_IMAGE002
2245°60°30°、45°60°30°-
Figure 716097DEST_PATH_IMAGE002
22、
Figure 794912DEST_PATH_IMAGE002
22-45°60°30°等。
由此,可以实现根据多种方式计算目标编码,可以提升该定位方法的适用性。
需要说明的是,本申请中,需要根据设定阈值个数的标记点,来定位自移动设备在世界坐标系下的位姿,比如,当采用透视n点PnP算法,计算搭载图像传感器的自移动设备在世界坐标系下的位姿时,设定阈值个数可为3个。当标记点的个数小于设定阈值个数时,则无法计算自移动设备在世界坐标系下的位姿。因此,作为本申请实施例的一种可能的实现方式,为了实现对自移动设备进行实时定位,当标记点的个数小于设定阈值个数时,可以在多个标记点中增加辅助标记点,来辅助计算自移动设备在世界坐标系下的位姿,以实现有效对自移动设备进行定位。下面结合实施例四,对上述过程进行详细说明。
图5为本申请实施例四所提供的定位方法的流程示意图。
如图5所示,在上述实施例的基础上,在步骤103之后,或者,在步骤203之后,或者,在步骤303之后,该定位方法还可以包括以下步骤:
步骤401,若标记点的个数小于设定阈值个数,则查询目标编码对应的辅助标记点在世界坐标系中的第一坐标位置,以及在标准坐标系中的坐标位置。
本申请实施例中,设定阈值个数为预先设置的,比如,设定阈值个数可以为3个。
本申请实施例中,每个目标编码均具有对应的辅助标记点,辅助标记点是位于位置标识上的,可以预先确定各辅助标记点在位置标识所在的标准坐标系中的坐标位置,以及各辅助标记点在世界坐标系中的坐标位置,本申请中记为第一坐标位置,并建立各目标编码与辅助标记点在世界坐标系中的第一坐标位置,以及在标准坐标系中的坐标位置之间的对应关系。从而本申请中,在确定标记点的个数小于设定阈值个数时,可以根据目标编码查询上述对应关系,确定目标编码对应的辅助标记点在世界坐标系中的第一坐标位置,以及在标准坐标系中的坐标位置。
步骤402,采用仿射变换矩阵,将辅助标记点在标准坐标系中的坐标位置变换至候选坐标系下,以得到辅助标记点在候选坐标系下的坐标位置。
本申请实施例中,可以采用步骤201计算得到的候选坐标系与标准坐标系之间的仿射变换矩阵,将辅助标记点在标准坐标系中的坐标位置变换至候选坐标系下,得到辅助标记点在候选坐标系中的坐标位置。
步骤403,根据候选坐标系的原点在图像中的坐标位置,确定辅助标记点在图像中的第二坐标位置。
本申请实施例中,可以根据候选坐标系的原点在图像中的坐标位置,以及辅助标记点在候选坐标系中的坐标位置,确定辅助标记点在图像中的第二坐标位置。
例如,当辅助标记点在图像中的坐标位置为该辅助标记点在图像坐标系中的坐标位置时,若候选坐标系的原点在图像中的坐标位置为(a,b),辅助标记点在候选坐标系中的坐标位置为(c,d),则辅助标记点在图像中的第二坐标位置为(a+c,b+d)。
步骤404,将辅助标记点确定为在世界坐标系中处于第一坐标位置,且在图像中处于第二坐标位置的标记点。
本申请实施例中,在确定辅助标记点在世界坐标系中的第一坐标位置,以及在图像中的第二坐标位置后,可以将该辅助标记点作为标记点部分中的标记点,从而可以根据各标记点的在世界坐标系中的坐标位置,以及在图像中的坐标位置,确定搭载图像传感器的自移动设备在世界坐标系下的位姿。
本申请实施例中,当标记点的个数小于设定阈值个数时,可以根据目标编码对应的辅助标记点,来辅助计算搭载图像传感器的自移动设备在世界坐标系下的位姿,可以有效定位自移动设备的位置。
在本申请实施例的一种可能的实现方式中,为了提升处理效率,降低工作量,在根据图像中图案部分,在图像中确定候选坐标系之后,可以仅从设定分布范围内,确定各标记点。
具体地,可以首先根据预处理后的图像中各像素点的取值,确定图案部分,或者,直接根据采集的图像中各像素点的取值,确定图案部分,之后,根据图案部分,确定候选坐标系,接着,在候选坐标系中,确定标记点部分的设定分布范围,最后,在预处理后的图像或采集的图像中的设定分布范围内识别各标记点。
也就是说,位置标识为已知的,标记点的分布范围也是可获知的,为了提升图像的处理效率,仅可以识别处于设定分布范围的标记点作为标记点。举例而言,当位置标识如图2所示时,设定分布范围可以为候选坐标系的第二象限,仅可以将图像中处于第二象限的标记点,作为标记点部分中的各标记点。
需要说明的是,本申请中,需要根据设定阈值个数的标记点,来定位自移动设备在世界坐标系下的位姿,比如,当采用透视n点PnP算法,计算搭载图像传感器的自移动设备在世界坐标系下的位姿时,设定阈值个数可为3个。当标记点的个数小于设定阈值个数时,则无法计算自移动设备在世界坐标系下的位姿。因此,作为本申请实施例的一种可能的实现方式,可以校验标记点的数量,比如,校验标记点的数量是否大于或者等于设定阈值个数,若校验通过,比如标记点的数量大于或者等于设定阈值个数,则根据各标记点在候选坐标系中的坐标位置,解码得到目标编码,若校验不通过,则丢弃该图像,以进行下一帧图像的采集,即重复执行步骤101及后续步骤,或者,若校验不通过,则执行步骤401至404。
下面结合实施例五,对自移动设备的建图过程进行详细说明。
图6为本申请实施例五所提供的前述定位方法中所使用的导航地图的建立方法的流程示意图。
本申请实施例中,该导航地图的建立方法可以应用于自移动设备,或者,应用于与自移动设备通信的服务器。
如图6所示,该导航地图的建立方法可以包括以下步骤:
步骤501,获取自移动设备在移动过程中采集的图像,以及采集图像时自移动设备在地图坐标系中的设备位姿;其中,图像中展示有位置标识。
其中,地图坐标系可以为上述实施例中的世界坐标系,是指自移动设备或服务器在建立导航地图时生成的坐标系。例如,当建立导航地图时,可以以自移动设备启动时所在位置作为地图坐标系的原点位置,自移动设备的前进方向可作为X轴的正方向,与X轴垂直的方向可作为Y轴,与X轴和Y轴垂直的方向可作为Z轴,或者,可将自移动设备的前进方向作为Y轴的正方向,与Y轴垂直的方向可作为X轴,与X轴和Y轴垂直的方向可作为Z轴。即,地图坐标系的原点为自移动设备启动时所在位置,而各坐标轴,以及各坐标轴的方向可预先定义。
本申请实施例中,在自移动设备移动过程中,可以通过图像传感器采集图像。其中,图像中展示有位置标识,该位置标识中包括图案部分以及标记点部分。位置标识、图案部分和标记点部分的识别过程可以参见上述实施例的执行过程,在此不做赘述。
本申请实施例中,设备位姿可以包括自移动设备的坐标位置和/或姿态。自移动设备的设备位姿可以通过相关传感器检测得到,例如,可以通过激光雷达、里程计、惯性测量装置(Inertial Measurement Unit,简称IMU)等传感器,测量自移动设备的设备位姿。例如,当自移动设备启动后,可以确定地图坐标系,根据自移动设备的移动方向,以及移动距离,可以确定该自移动设备在地图坐标系中的坐标位置,并且,根据自移动设备在移动过程中每一次的移动方向、移动角度和移动距离,可以确定该自移动设备相对初始启动时的位姿,该位姿即为自移动设备的设备位姿。其中,移动角度可以为移动方向相对IMU标定的参考方向之间的角度。
本申请实施例中,当该导航地图的建立方法应用于自移动设备时,自移动设备可以直接获取上述图像以及采集图像时自移动设备在地图坐标系中的设备位姿,而当导航地图的建立方法应用于服务器时,自移动设备在移动过程中采集图像后,可以将采集的图像,以及采集图像时自移动设备在地图坐标系中的设备位姿,发送至服务器,相应的,服务器可以接收上述图像,以及采集图像时自移动设备在地图坐标系中的设备位姿。
步骤502,根据位置标识中的图案部分,确定候选坐标系。
步骤502的执行过程可以参见上述实施例中步骤102的执行过程,在此不做赘述。
步骤503,根据位置标识中的标记点部分中的各标记点在候选坐标系中坐标位置,解码得到目标编码。
本申请实施例中,在图像中建立得到候选坐标系后,可以确定每个标记点在候选坐标系中的坐标位置。在计算得到各标记点在候选坐标系中坐标位置后,可以将候选坐标系中的标记点的坐标位置,映射到位置标识所在的标准坐标系中,得到标记点在标准坐标系中的坐标位置,根据各标记点在标准坐标系中的坐标位置,确定目标编码。
具体地,可以将候选坐标系与标准坐标系进行坐标系变换,得到候选坐标系与标准坐标系之间的仿射变换矩阵;采用仿射变换矩阵,将各标记点在候选坐标系中的坐标位置变换至标准坐标系下,以得到各标记点在标准坐标系中的坐标位置;根据各标记点在标准坐标系中的坐标位置,确定对应的目标编码。
例如,可以将各标记点在标准坐标系中的坐标位置进行组合,得到对应的目标编码。举例而言,当标记点的个数为3个时,假设3个标记点在标准坐标系中的坐标位置分别为(1,1)、(2,2)和(3,3),则目标编码例如可以为112233、11-22- 33、11 22 33、1-1-2-2-3-3等。
步骤504,根据目标编码,查询得到各标记点在位置标识所在的标准坐标系中的坐标位置,本申请中记为标准坐标位置。
本申请实施例中,由于候选坐标系可能存在畸变,而目标编码是根据标记点部分在候选坐标系中的坐标位置确定的,因此,该目标编码可能与实际编码存在偏差。因此,本申请中,为了提升定位结果的准确性,可以根据目标编码,查询得到各标记点在位置标识所在的标准坐标系中的标准坐标位置。
应当理解的是,每个位置标识是已知的,位置标识中的图案部分和标记点部分也是已知的,在自移动设备所处空间中设置位置标识后,标准坐标系可以确定,标记点部分中各标记点在标准坐标系中的标准坐标位置也是可确定的,例如,参见图2,标记点部分中的每个标记点在标准坐标系中的标准坐标位置是可以计算得到的。因此,本申请中,针对每个位置标识,可以预先计算该位置标识中标记点部分中各标记点在位置标识所在的标准坐标系中的标准坐标位置,并对应存储各位置标识,与该位置标识中标记点部分中标记点在该位置标识所在的标准坐标系中的标准坐标位置。
从而本申请中,可以根据目标编码,查询存储的数据,获取与目标编码匹配的标准坐标位置,作为标记点部分中各标记点在位置标识所在的标准坐标系中的标准坐标位置。
举例而言,当标记点的个数为3个,目标编码为1-1-2-2-3.1-3.1,可以查询与该目标编码匹配度最高的属于同一位置标识中的三个标记点的标准坐标位置,比如为(1,1)、(2,2)和(3,3),则可以将查询得到的标准坐标位置,作为标记点部分中3个标记点在位置标识所在的标准坐标系中的标准坐标位置。
步骤505,根据标准坐标位置和参考坐标位置,确定标准坐标系与采集图像时自移动设备的坐标系之间的坐标变换关系;其中,参考坐标位置,是各标记点在候选坐标系中的坐标位置。
本申请实施例中,自移动设备的坐标系为预先标定的坐标系,比如,该自移动设备的坐标系可以为预先在自移动设备上标定的坐标系,比如该自移动设备的坐标系的原点可以为自移动设备的质心,Y轴竖直向上,X轴水平向右或向左。
本申请实施例中,可以根据多个标记点对应的标准坐标位置和参考坐标位置,采用PnP算法确定标准坐标系与采集图像时自移动设备的坐标系之间的坐标变换关系,该坐标变换关系可以包括标准坐标系与采集图像时自移动设备的坐标系之间的旋转矩阵R和位移矢量t(或称为平移向量),例如该坐标变换关系可以为由旋转矩阵R和位移矢量t组成的变换矩阵T_tn。
步骤506,根据坐标变换关系,和自移动设备在地图坐标系中的设备位姿,在地图坐标系中标注位置标识的预测位姿。
本申请实施例中,可以根据标准坐标系与采集图像时自移动设备的坐标系之间的坐标变换关系,和自移动设备在地图坐标系中的设备位姿,确定位置标识在地图坐标系中的预测位姿,并在地图坐标系中标注位置标识的预测位姿。
例如,标记位置标识的预测位姿为Target_id_P,自移动设备在地图坐标系中的设备位姿为Pn,则Target_id_P=Pn⊕T_tn。
从而,针对步骤104,可以根据目标编码查询上述已建立的导航地图,得到位置标识在世界坐标系或地图坐标系中的位姿,从而可以根据位置标识在世界坐标系中的位姿,以及各标记点在位置标识所在的标准坐标系中的坐标位置,确定每个标记点在世界坐标系中的坐标位置。
图7为本申请实施例六所提供的定位装置的结构示意图。
如图7所示,该定位装置100可以包括:获取模块110、确定模块120、解码模块130、查询模块140以及定位模块150。
其中,获取模块110,用于获取图像传感器采集的图像;其中,图像中展示有图案部分,以及标记点部分。
确定模块120,用于根据图案部分,确定候选坐标系。
解码模块130,用于根据标记点部分中的各标记点在候选坐标系中的坐标位置,解码得到目标编码。
查询模块140,用于根据目标编码,查询得到各标记点在世界坐标系中的坐标位置。
定位模块150,用于根据各标记点在世界坐标系中的坐标位置,以及在图像中的坐标位置,确定搭载图像传感器的自移动设备在世界坐标系下的位姿。
在本申请实施例的一种可能的实现方式中,图案部分展示有非对称图案,确定模块120,具体用于:根据非对称图案中的设定参考线,确定候选坐标系的坐标轴;其中,坐标轴的方向,是根据非对称图案中设定局部图案所在位置确定的;和/或,根据非对称图案中设定关键点所在位置,确定候选坐标系中设定的坐标点。
在本申请实施例的一种可能的实现方式中,解码模块130,具体用于:将候选坐标系,与设定的标准坐标系进行坐标系变换,得到候选坐标系与标准坐标系之间的仿射变换矩阵;采用仿射变换矩阵,将各标记点在候选坐标系中的坐标位置变换至标准坐标系下,以得到各标记点在标准坐标系中的坐标位置;根据各标记点在标准坐标系中的坐标位置,确定对应的目标编码。
在本申请实施例的另一种可能的实现方式中,解码模块130,具体用于:将候选坐标系,与设定的标准坐标系进行坐标系变换,得到候选坐标系与标准坐标系之间的仿射变换矩阵;采用仿射变换矩阵,将各标记点在候选坐标系中的坐标位置变换至标准坐标系下,以得到标准坐标系下各标记点与标准坐标系中坐标轴之间的夹角和/或与标准坐标系原点的距离;根据标准坐标系下各标记点与标准坐标系中坐标轴之间的夹角和/或与标准坐标系原点的距离,确定对应的目标编码。
进一步地,在本申请实施例的一种可能的实现方式中,参见图8,在图7所示实施例的基础上,该定位装置100还可以包括:
第一处理模块160,用于若标记点的个数小于设定阈值个数,则查询目标编码对应的辅助标记点在世界坐标系中的第一坐标位置,以及在标准坐标系中的坐标位置;采用放射变换矩阵,将辅助标记点在标准坐标系中的坐标位置变换至候选坐标系下,以得到辅助标记点在候选坐标系中的坐标位置;根据候选坐标系的原点在图像中的坐标位置,确定辅助标记点在图像中的第二坐标位置;将辅助标记点确定为在世界坐标系中处于第一坐标位置,且在图像中处于第二坐标位置的标记点。
第二处理模块170,用于根据图像中各像素点的取值,确定图案部分。
第三处理模块180,用于根据候选坐标系,确定标记点部分的设定分布范围;在图像中的设定分布范围内识别各标记点。
在本申请实施例的又一种可能的实现方式中,解码模块130,具体用于:校验标记点的数量;若校验通过,则根据各标记点在候选坐标系中的坐标位置,解码得到目标编码。
在本申请实施例的一种可能的实现方式中,查询模块140,具体用于:在建立的导航地图中,查询目标编码,得到目标编码所属位置标识在世界坐标系中的位姿;根据位置标识在世界坐标系中的位姿,以及各标记点在位置标识所在的标准坐标系中的坐标位置,确定各标记点在世界坐标系中的坐标位置。
在本申请实施例的一种可能的实现方式中,定位模块150,具体用于:根据各标记点在世界坐标系中的坐标位置,以及在图像中的坐标位置,采用透视n点PnP算法,确定搭载图像传感器的自移动设备在世界坐标系下的位姿。
需要说明的是,前述对定位方法实施例的解释说明也适用于该实施例的定位装置100,此处不再赘述。
本申请实施例的定位装置,通过根据图像传感器采集的图像中的图案部分,确定候选坐标系,之后,根据图像中的标记点部分中的各标记点在候选坐标系中的坐标位置,解码得到目标编码,之后,根据目标编码,查询得到各标记点在世界坐标系中的坐标位置,以根据各标记点在世界坐标系中的坐标位置,以及在图像中的坐标位置,确定搭载图像传感器的自移动设备在世界坐标系下的位姿。由此,即使自移动设备所处空间内的陈设位置发生变化,或者人员移动干扰激光雷达扫描周围环境,也能够有效定位自移动设备的位置,可以提升该定位装置的适用性。
为了实现上述实施例,本申请还提出一种自移动设备,包括:图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时,实现如本申请前述实施例提出的定位方法。
为了实现上述实施例,本申请还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请前述实施例提出的定位方法。
为了实现上述实施例,本申请还提出一种计算机程序产品,当计算机程序产品中的指令被处理器执行时,如本申请前述实施例提出的定位方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (22)

1.一种定位方法,其特征在于,所述方法包括以下步骤:
获取图像传感器采集的图像;其中,所述图像中展示有图案部分,以及标记点部分;
根据所述图案部分,确定候选坐标系;
根据所述标记点部分中的各标记点在所述候选坐标系中的坐标位置,解码得到目标编码;
根据所述目标编码,查询得到各所述标记点在世界坐标系中的坐标位置;
根据各所述标记点在所述世界坐标系中的坐标位置,以及在所述图像中的坐标位置,确定搭载所述图像传感器的自移动设备在所述世界坐标系下的位姿。
2.根据权利要求1所述的定位方法,其特征在于,所述图案部分展示有非对称图案,所述根据所述图案部分,确定候选坐标系,包括:
根据所述非对称图案中的设定参考线,确定所述候选坐标系的坐标轴;其中,所述坐标轴的方向,是根据所述非对称图案中设定局部图案所在位置确定的;
和/或,
根据所述非对称图案中设定关键点所在位置,确定所述候选坐标系中设定的坐标点。
3.根据权利要求1所述的定位方法,其特征在于,所述根据所述标记点部分中的各标记点在所述候选坐标系中的坐标位置,解码得到目标编码,包括:
将所述候选坐标系,与设定的标准坐标系进行坐标系变换,得到所述候选坐标系与所述标准坐标系之间的仿射变换矩阵;
采用所述仿射变换矩阵,将各所述标记点在所述候选坐标系中的坐标位置变换至所述标准坐标系下,以得到各所述标记点在所述标准坐标系中的坐标位置;
根据各所述标记点在所述标准坐标系中的坐标位置,确定对应的目标编码。
4.根据权利要求1所述的定位方法,其特征在于,所述根据所述标记点部分中的各标记点在所述候选坐标系中的坐标位置,解码得到目标编码,包括:
将所述候选坐标系,与设定的标准坐标系进行坐标系变换,得到所述候选坐标系与所述标准坐标系之间的仿射变换矩阵;
采用所述仿射变换矩阵,将各所述标记点在所述候选坐标系中的坐标位置变换至所述标准坐标系下,以得到所述标准坐标系下各所述标记点与所述标准坐标系中坐标轴之间的夹角和/或与所述标准坐标系原点的距离;
根据所述标准坐标系下各所述标记点与所述标准坐标系中坐标轴之间的夹角和/或与所述标准坐标系原点的距离,确定对应的目标编码。
5.根据权利要求3或4所述的定位方法,其特征在于,所述根据所述标记点部分中的各标记点在所述候选坐标系中的坐标位置,解码得到目标编码之后,还包括:
若所述标记点的个数小于设定阈值个数,则查询所述目标编码对应的辅助标记点在所述世界坐标系中的第一坐标位置,以及在所述标准坐标系中的坐标位置;
采用所述放射变换矩阵,将所述辅助标记点在所述标准坐标系中的坐标位置变换至所述候选坐标系下,以得到所述辅助标记点在所述候选坐标系中的坐标位置;
根据所述候选坐标系的原点在所述图像中的坐标位置,确定所述辅助标记点在所述图像中的第二坐标位置;
将所述辅助标记点确定为在所述世界坐标系中处于所述第一坐标位置,且在所述图像中处于第二坐标位置的所述标记点。
6.根据权利要求1-4任一项所述的定位方法,其特征在于,所述获取图像传感器采集的图像之后,还包括:
根据所述图像中各像素点的取值,确定所述图案部分。
7.根据权利要求6所述的定位方法,其特征在于,所述根据所述图案部分,确定候选坐标系之后,还包括:
根据所述候选坐标系,确定所述标记点部分的设定分布范围;
在所述图像中的所述设定分布范围内识别各所述标记点。
8.根据权利要求1-4任一项所述的定位方法,其特征在于,所述根据所述标记点部分中的各标记点在所述候选坐标系中的坐标位置,解码得到目标编码,包括:
校验所述标记点的数量;
若校验通过,则根据各所述标记点在所述候选坐标系中的坐标位置,解码得到目标编码。
9.根据权利要求1-4任一项所述的定位方法,其特征在于,所述根据所述目标编码,查询得到各所述标记点在世界坐标系中的坐标位置,包括:
在建立的导航地图中,查询所述目标编码,得到所述目标编码所属位置标识在所述世界坐标系中的位姿;
根据所述位置标识在所述世界坐标系中的位姿,以及各所述标记点在所述位置标识所在的标准坐标系中的坐标位置,确定各所述标记点在世界坐标系中的坐标位置。
10.根据权利要求1-4任一项所述的定位方法,其特征在于,所述根据各所述标记点在所述世界坐标系中的坐标位置,以及在所述图像中的坐标位置,确定搭载所述图像传感器的自移动设备在所述世界坐标系下的位姿,包括:
根据各所述标记点在所述世界坐标系中的坐标位置,以及在所述图像中的坐标位置,采用透视n点PnP算法,确定搭载所述图像传感器的自移动设备在所述世界坐标系下的位姿。
11.一种定位装置,其特征在于,包括:
获取模块,用于获取图像传感器采集的图像;其中,所述图像中展示有图案部分,以及标记点部分;
确定模块,用于根据所述图案部分,确定候选坐标系;
解码模块,用于根据所述标记点部分中的各标记点在所述候选坐标系中的坐标位置,解码得到目标编码;
查询模块,用于根据所述目标编码,查询得到各所述标记点在世界坐标系中的坐标位置;
定位模块,用于根据各所述标记点在所述世界坐标系中的坐标位置,以及在所述图像中的坐标位置,确定搭载所述图像传感器的自移动设备在所述世界坐标系下的位姿。
12.根据权利要求11所述的定位装置,其特征在于,所述图案部分展示有非对称图案,所述确定模块,具体用于:
根据所述非对称图案中的设定参考线,确定所述候选坐标系的坐标轴;其中,所述坐标轴的方向,是根据所述非对称图案中设定局部图案所在位置确定的;
和/或,
根据所述非对称图案中设定关键点所在位置,确定所述候选坐标系中设定的坐标点。
13.根据权利要求11所述的定位装置,其特征在于,所述解码模块,具体用于:
将所述候选坐标系,与设定的标准坐标系进行坐标系变换,得到所述候选坐标系与所述标准坐标系之间的仿射变换矩阵;
采用所述仿射变换矩阵,将各所述标记点在所述候选坐标系中的坐标位置变换至所述标准坐标系下,以得到各所述标记点在所述标准坐标系中的坐标位置;
根据各所述标记点在所述标准坐标系中的坐标位置,确定对应的目标编码。
14.根据权利要求11所述的定位装置,其特征在于,所述解码模块,具体用于:
将所述候选坐标系,与设定的标准坐标系进行坐标系变换,得到所述候选坐标系与所述标准坐标系之间的仿射变换矩阵;
采用所述仿射变换矩阵,将各所述标记点在所述候选坐标系中的坐标位置变换至所述标准坐标系下,以得到所述标准坐标系下各所述标记点与所述标准坐标系中坐标轴之间的夹角和/或与所述标准坐标系原点的距离;
根据所述标准坐标系下各所述标记点与所述标准坐标系中坐标轴之间的夹角和/或与所述标准坐标系原点的距离,确定对应的目标编码。
15.根据权利要求13或14所述的定位装置,其特征在于,所述装置还包括:
第一处理模块,用于若所述标记点的个数小于设定阈值个数,则查询所述目标编码对应的辅助标记点在所述世界坐标系中的第一坐标位置,以及在所述标准坐标系中的坐标位置;采用所述放射变换矩阵,将所述辅助标记点在所述标准坐标系中的坐标位置变换至所述候选坐标系下,以得到所述辅助标记点在所述候选坐标系中的坐标位置;根据所述候选坐标系的原点在所述图像中的坐标位置,确定所述辅助标记点在所述图像中的第二坐标位置;将所述辅助标记点确定为在所述世界坐标系中处于所述第一坐标位置,且在所述图像中处于第二坐标位置的所述标记点。
16.根据权利要求11-14任一项所述的定位装置,其特征在于,所述装置还包括:
第二处理模块,用于根据所述图像中各像素点的取值,确定所述图案部分。
17.根据权利要求16所述的定位装置,其特征在于,所述装置还包括:
第三处理模块,用于根据所述候选坐标系,确定所述标记点部分的设定分布范围;在所述图像中的所述设定分布范围内识别各所述标记点。
18.根据权利要求11-14任一项所述的定位装置,其特征在于,所述解码模块,具体用于:
校验所述标记点的数量;
若校验通过,则根据各所述标记点在所述候选坐标系中的坐标位置,解码得到目标编码。
19.根据权利要求11-14任一项所述的定位装置,其特征在于,所述查询模块,具体用于:
在建立的导航地图中,查询所述目标编码,得到所述目标编码所属位置标识在所述世界坐标系中的位姿;
根据所述位置标识在所述世界坐标系中的位姿,以及各所述标记点在所述位置标识所在的标准坐标系中的坐标位置,确定各所述标记点在世界坐标系中的坐标位置。
20.根据权利要求11-14任一项所述的定位装置,其特征在于,所述定位模块,具体用于:
根据各所述标记点在所述世界坐标系中的坐标位置,以及在所述图像中的坐标位置,采用透视n点PnP算法,确定搭载所述图像传感器的自移动设备在所述世界坐标系下的位姿。
21.一种自移动设备,其特征在于,包括图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如权利要求1-10中任一所述的定位方法。
22.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-10中任一所述的定位方法。
CN202011106787.1A 2020-10-16 2020-10-16 定位方法、装置、自移动设备和存储介质 Active CN112013858B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110642495.8A CN113390426B (zh) 2020-10-16 2020-10-16 定位方法、装置、自移动设备和存储介质
CN202011106787.1A CN112013858B (zh) 2020-10-16 2020-10-16 定位方法、装置、自移动设备和存储介质
PCT/CN2021/124197 WO2022078513A1 (zh) 2020-10-16 2021-10-15 定位方法、装置、自移动设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011106787.1A CN112013858B (zh) 2020-10-16 2020-10-16 定位方法、装置、自移动设备和存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110642495.8A Division CN113390426B (zh) 2020-10-16 2020-10-16 定位方法、装置、自移动设备和存储介质

Publications (2)

Publication Number Publication Date
CN112013858A true CN112013858A (zh) 2020-12-01
CN112013858B CN112013858B (zh) 2021-07-02

Family

ID=73528252

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110642495.8A Active CN113390426B (zh) 2020-10-16 2020-10-16 定位方法、装置、自移动设备和存储介质
CN202011106787.1A Active CN112013858B (zh) 2020-10-16 2020-10-16 定位方法、装置、自移动设备和存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110642495.8A Active CN113390426B (zh) 2020-10-16 2020-10-16 定位方法、装置、自移动设备和存储介质

Country Status (2)

Country Link
CN (2) CN113390426B (zh)
WO (1) WO2022078513A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095103A (zh) * 2021-04-15 2021-07-09 京东数科海益信息科技有限公司 智能设备定位方法、装置、设备及存储介质
CN113420661A (zh) * 2021-06-23 2021-09-21 杭州海康威视数字技术股份有限公司 一种位姿确定方法、装置及设备
WO2022078513A1 (zh) * 2020-10-16 2022-04-21 北京猎户星空科技有限公司 定位方法、装置、自移动设备和存储介质
WO2022078488A1 (zh) * 2020-10-16 2022-04-21 北京猎户星空科技有限公司 定位方法、装置、自移动设备和存储介质
CN115835006A (zh) * 2021-09-16 2023-03-21 卡西欧计算机株式会社 信息处理装置、记录介质和定位方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023043632A (ja) * 2021-09-16 2023-03-29 カシオ計算機株式会社 情報処理装置、プログラム、測位方法
CN115218918B (zh) * 2022-09-20 2022-12-27 上海仙工智能科技有限公司 一种智能导盲方法及导盲设备
CN115439625B (zh) * 2022-11-08 2023-02-03 成都云中楼阁科技有限公司 建筑草图辅助绘制方法、装置、存储介质及绘制设备
CN116664666A (zh) * 2023-04-21 2023-08-29 北京极智嘉科技股份有限公司 基于识别码的设备调整方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600611A (zh) * 2016-12-23 2017-04-26 西安电子科技大学 基于稀疏三重马尔可夫场的sar图像分割方法
CN107992793A (zh) * 2017-10-20 2018-05-04 深圳华侨城卡乐技术有限公司 一种室内定位方法、装置以及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106403926B (zh) * 2016-08-30 2020-09-11 上海擎朗智能科技有限公司 一种定位方法和系统
EP4060288A3 (en) * 2016-08-31 2023-02-01 Topcon Positioning Systems, Inc. Apparatus and method for providing vehicular positioning
CN106651990B (zh) * 2016-12-23 2020-08-11 芜湖哈特机器人产业技术研究院有限公司 一种室内地图构建方法及基于室内地图的室内定位方法
CN106643735A (zh) * 2017-01-06 2017-05-10 中国人民解放军信息工程大学 一种室内定位方法、装置和移动终端
CN107689061A (zh) * 2017-07-11 2018-02-13 西北工业大学 用于室内移动机器人定位的规则图形码及定位方法
CN107481287A (zh) * 2017-07-13 2017-12-15 中国科学院空间应用工程与技术中心 一种基于多标识的物体定位定姿方法及系统
CN107388967B (zh) * 2017-08-14 2019-11-12 上海汽车集团股份有限公司 一种车载三维激光传感器的外参数补偿方法及装置
CN108562908A (zh) * 2017-12-21 2018-09-21 合肥中导机器人科技有限公司 激光导航混合定位方法、机器人导航方法及激光导航系统
CN108195381B (zh) * 2017-12-26 2020-06-30 中国科学院自动化研究所 室内机器人视觉定位系统
CN110298878B (zh) * 2018-03-21 2021-03-12 北京猎户星空科技有限公司 一种目标物体三维位姿的确定方法、装置及电子设备
CN108986163A (zh) * 2018-06-29 2018-12-11 南京睿悦信息技术有限公司 基于多标识识别的增强现实定位算法
CN110009681B (zh) * 2019-03-25 2021-07-30 中国计量大学 一种基于imu辅助的单目视觉里程计位姿处理方法
CN113390426B (zh) * 2020-10-16 2024-08-30 北京猎户星空科技有限公司 定位方法、装置、自移动设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600611A (zh) * 2016-12-23 2017-04-26 西安电子科技大学 基于稀疏三重马尔可夫场的sar图像分割方法
CN107992793A (zh) * 2017-10-20 2018-05-04 深圳华侨城卡乐技术有限公司 一种室内定位方法、装置以及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022078513A1 (zh) * 2020-10-16 2022-04-21 北京猎户星空科技有限公司 定位方法、装置、自移动设备和存储介质
WO2022078488A1 (zh) * 2020-10-16 2022-04-21 北京猎户星空科技有限公司 定位方法、装置、自移动设备和存储介质
CN113095103A (zh) * 2021-04-15 2021-07-09 京东数科海益信息科技有限公司 智能设备定位方法、装置、设备及存储介质
CN113095103B (zh) * 2021-04-15 2024-10-18 京东科技信息技术有限公司 智能设备定位方法、装置、设备及存储介质
CN113420661A (zh) * 2021-06-23 2021-09-21 杭州海康威视数字技术股份有限公司 一种位姿确定方法、装置及设备
CN115835006A (zh) * 2021-09-16 2023-03-21 卡西欧计算机株式会社 信息处理装置、记录介质和定位方法

Also Published As

Publication number Publication date
CN112013858B (zh) 2021-07-02
CN113390426A (zh) 2021-09-14
WO2022078513A1 (zh) 2022-04-21
CN113390426B (zh) 2024-08-30

Similar Documents

Publication Publication Date Title
CN112013858B (zh) 定位方法、装置、自移动设备和存储介质
CN112013850B (zh) 定位方法、装置、自移动设备和存储介质
CN111932675B (zh) 建立地图的方法、装置、自移动设备和存储介质
CN108406731B (zh) 一种基于深度视觉的定位装置、方法及机器人
CN107328420B (zh) 定位方法和装置
Alismail et al. Automatic calibration of a range sensor and camera system
CN108022264B (zh) 相机位姿确定方法及设备
CN112265463B (zh) 自移动设备的控制方法、装置、自移动设备和介质
CA3117899A1 (en) Method and apparatus for combining data to construct a floor plan
Yu et al. An autonomous restaurant service robot with high positioning accuracy
CN110243360A (zh) 机器人在运动区域的地图构建及定位方法
Mishra et al. Extrinsic Calibration of a 3D-LIDAR and a Camera
US20210374978A1 (en) Capturing environmental scans using anchor objects for registration
EP3955020A1 (en) Laser scanner with ultrawide-angle lens camera for registration
KR20100005488A (ko) 이동 로봇의 지도 구성 장치 및 방법
Schneider et al. On the accuracy of dense fisheye stereo
Yamamoto et al. Optical sensing for robot perception and localization
Martín-Martín et al. Jrdb: A dataset and benchmark for visual perception for navigation in human environments
Hochdorfer et al. 6 DoF SLAM using a ToF camera: The challenge of a continuously growing number of landmarks
Avgeris et al. Single vision-based self-localization for autonomous robotic agents
KR100581086B1 (ko) RFID Tag LED를 이용한 로봇 위치 측정 방법 및장치
Shi et al. Large-scale three-dimensional measurement based on LED marker tracking
Lin et al. A monocular target pose estimation system based on an infrared camera
Hagiwara et al. Fpga-based stereo vision system using gradient feature correspondence
Cupec et al. Global localization based on 3d planar surface segments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant