CN112161618B - 仓储机器人定位与地图构建方法、机器人及存储介质 - Google Patents

仓储机器人定位与地图构建方法、机器人及存储介质 Download PDF

Info

Publication number
CN112161618B
CN112161618B CN202010963415.4A CN202010963415A CN112161618B CN 112161618 B CN112161618 B CN 112161618B CN 202010963415 A CN202010963415 A CN 202010963415A CN 112161618 B CN112161618 B CN 112161618B
Authority
CN
China
Prior art keywords
warehousing
robot
environment
target object
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010963415.4A
Other languages
English (en)
Other versions
CN112161618A (zh
Inventor
张广鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lingdong Technology Beijing Co Ltd
Original Assignee
Lingdong Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lingdong Technology Beijing Co Ltd filed Critical Lingdong Technology Beijing Co Ltd
Priority to CN202010963415.4A priority Critical patent/CN112161618B/zh
Publication of CN112161618A publication Critical patent/CN112161618A/zh
Priority to PCT/CN2021/109692 priority patent/WO2022052660A1/zh
Priority to US18/026,105 priority patent/US20230331485A1/en
Priority to JP2023516646A priority patent/JP2023541619A/ja
Application granted granted Critical
Publication of CN112161618B publication Critical patent/CN112161618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1373—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses
    • B65G1/1375—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses the orders being assembled on a commissioning stacker-crane or truck
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Warehouses Or Storage Devices (AREA)
  • Manipulator (AREA)

Abstract

本申请实施例提供一种仓储机器人定位与地图构建方法、机器人及存储介质。在本申请实施例中，预先构建仓储环境的语义地图，语义地图包括仓储环境中存在的多个对象及其语义信息；在定位过程中，仓储机器人利用自身图像传感器采集周围环境的图像或视频数据，并识别图像或视频数据中的目标对象及其语义信息，得到该目标对象与仓储机器人的相对位置关系，进而基于该相对位置关系和该目标对象的语义信息，定位仓储机器人在语义地图中的位置。该方法利用基于视觉语义定位的方式，由于直接检测的是明确的目标，检测速度快，语义信息丰富，不容易受其他干扰因素的影响，摆脱了对仓储环境中标志标识的依赖，定位灵活度较高。

Description

仓储机器人定位与地图构建方法、机器人及存储介质
技术领域
本申请涉及仓储机器人技术领域，尤其涉及一种仓储机器人定位与地图构建方法、机器人及存储介质。
背景技术
随着人工智能技术的发展，出现了物流仓储机器人。物流仓储机器人通常工作在仓储环境中，仓储环境通常具有很多货架以及堆放在地面上的物体，环境相对较为复杂。为了辅助仓储机器人定位，在仓储环境中会设置反光条、二维码等标志标识；在建图时，仓储机器人遍历仓储环境，采用即时定位与地图构建(Simultaneous Localization andMapping，SLAM)技术构建环境地图，并标注“标志标识”在环境地图上的位置。在定位时，仓储机器人通过检测标志标识相对于机器人本体的位置关系，结合标志标识在环境地图上的位置，推导出仓储机器人在环境地图中的位置。现有仓储定位方法需要在仓储环境中预先布设标志标识，对标志标识的依赖性较强，导致定位灵活度较差。
发明内容
本申请的多个方面提供一种仓储机器人定位与地图构建方法、机器人及存储介质，用以摆脱了对仓储环境中标志标识的依赖。
本申请实施例提供一种仓储机器人定位方法，包括：在仓储机器人移动过程中，利用仓储机器人上的图像传感器采集周围仓库环境的图像或视频数据；对周围仓储环境的图像或视频数据进行目标检测和语义识别，得到仓储机器人周围仓储环境中存在的目标对象及其语义信息；基于传感器坐标系和机器人坐标系之间的转换关系，计算目标对象与仓储机器人的相对位置关系；根据目标对象与仓储机器人的相对位置关系和目标对象的语义信息，定位仓储机器人在语义地图中的位置，语义地图包括仓储环境中存在的多个对象及其语义信息。
本申请实施例还提供一种语义地图构建方法，包括：在仓储机器人遍历仓储环境过程中，利用仓储机器人上的图像传感器采集仓储环境的图像或视频数据；对仓储环境的图像或视频数据进行目标检测和语义识别，得到仓储环境中存在的多个对象及其语义信息；基于传感器坐标系和机器人坐标系之间的转换关系，分别计算多个对象与仓储机器人的相对位置关系；根据多个对象与仓储机器人的相对位置关系和仓储机器人在采集仓储环境的图像或视频数据时在基础环境地图中的位置，将多个对象的语义信息添加到基础环境地图中以得到仓储环境的语义地图。
本申请实施例还提供一种仓储机器人，包括：设备本体，设备本体上设有存储器和处理器；存储器，用于存储计算机程序；处理器，与存储器耦合，用于执行计算机程序，以用于：在仓储机器人移动过程中，利用仓储机器人上的图像传感器采集周围仓库环境的图像或视频数据；对周围仓储环境的图像或视频数据进行目标检测和语义识别，得到仓储机器人周围仓储环境中存在的目标对象及其语义信息；基于传感器坐标系和机器人坐标系之间的转换关系，计算目标对象与仓储机器人的相对位置关系；根据目标对象与仓储机器人的相对位置关系和目标对象的语义信息，定位仓储机器人在语义地图中的位置，语义地图包括仓储环境中存在的多个对象及其语义信息。
本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器实现本申请实施例中任一项仓储机器人定位方法和语义地图构建方法中的步骤。
在本申请实施例中，预先构建仓储环境的语义地图，语义地图包括仓储环境中存在的多个对象及其语义信息；在定位过程中，仓储机器人利用自身图像传感器采集周围环境的图像或视频数据，并识别图像或视频数据中的目标对象及其语义信息，得到该目标对象与仓储机器人的相对位置关系，进而基于该相对位置关系和该目标对象的语义信息，定位仓储机器人在语义地图中的位置。该方法利用基于视觉语义定位的方式，由于直接检测的是明确的目标，检测速度快，语义信息丰富，不容易受其他干扰因素的影响，摆脱了对仓储环境中标志标识的依赖，定位灵活度较高。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1a为本申请示例性实施例提供的一种仓储机器人定位方法的流程示意图；
图1b为本申请示例性实施例提供的一种仓储环境中货架的示意图；
图1c为本申请示例性实施例提供的一种仓储环境中货架与地平面的交线的示意图；
图1d为本申请示例性实施例提供的一种仓储环境中货架构成的路口的示意图；
图1e为本申请示例性实施例提供的一种目标检测得到的货架的示意图；
图2为本申请示例性实施例提供的一种单目相机的像素平面与地平面的位置关系的示意图；
图3为本申请示例性实施例提供的一种语义地图构建方法的流程示意图；
图4为本申请示例性实施例提供的一种仓储机器人的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
针对现有技术中对标志标识的依赖性较强，导致定位灵活度较差的问题，在本申请实施例中，预先构建仓储环境的语义地图，语义地图包括仓储环境中存在的多个对象及其语义信息；在定位过程中，仓储机器人利用自身图像传感器采集周围环境的图像或视频数据，并识别图像或视频数据中的目标对象及其语义信息，得到该目标对象与仓储机器人的相对位置关系，进而基于该相对位置关系和该目标对象的语义信息，定位仓储机器人在语义地图中的位置。该方法利用基于视觉语义定位的方式，由于直接检测的是明确的目标，检测速度快，语义信息丰富，不容易受其他干扰因素的影响，摆脱了对仓储环境中标志标识的依赖，定位灵活度较高。
以下结合附图，详细说明本申请各实施例提供的技术方案。
图1a为本申请示例性实施例提供的一种仓储机器人定位方法的流程示意图。如图1a所示，该方法包括：
11、在仓储机器人移动过程中，利用仓储机器人上的图像传感器采集周围仓库环境的图像或视频数据；
12、对周围仓储环境的图像或视频数据进行目标检测和语义识别，得到仓储机器人周围仓储环境中存在的目标对象及其语义信息；
13、基于传感器坐标系和机器人坐标系之间的转换关系，计算目标对象与仓储机器人的相对位置关系；
14、根据目标对象与仓储机器人的相对位置关系和目标对象的语义信息，定位仓储机器人在语义地图中的位置，语义地图包括仓储环境中存在的多个对象及其语义信息。
在本实施例中，仓储环境指的是储存货品的地方，例如可以是仓库、货仓或者栈房等。在仓储环境中，通常包含存放的货品，存放货品的多个货架、货架与地平面的交线以及由货架构成的路口等多个对象，如图1b-图1d所示；进一步还可以包括货架脚位、消防栓以及逃生标识中的至少一个对象。
在本实施例中，仓储机器人是指工作在仓储环境中，且能够在仓储环境中高度自主地进行空间移动的机械设备。例如，仓储协作机器人、拣货机器人或者搬运机器人等。仓储机器人包含设备本体，设备本体中包含控制单元和底盘结构，底盘是仓储机器人的承重部件，底盘结构包括：底板、驱动轮组件以及从动轮组件。控制单元可以控制驱动轮组件带动从动轮组件在仓储环境中移动。除此之外，仓储机器人上还可以包括显示屏和/或音频组件等用于人机交互的部件，用户通过这些部件可以向仓储机器人发出控制指令，或者向仓储机器人提供货品、订单、搬运地点等有关数据，以辅助仓储机器人成功完成仓储作业。进一步，仓储机器人还可以包含图像传感器，用于采集仓储机器人周围仓储环境的图像或视频数据。在本实施例中，并不对图像传感器进行限定，凡是可以采集仓储机器人周围仓储环境的图像或视频数据的图像传感器均适用于本申请实施例。例如，图像传感器可以是但不限于：单目相机、双目相机或者红绿蓝深度图(Red Green Blue Depth map，RGBD)摄像头等。进一步，仓储机器人上还可以具有其他传感器，例如激光传感器、里程计以及惯性测量单元(Inertial Measurement Unit，IMU)中的至少一种，用于采集仓储机器人周围环境信息、运动数据和/或姿态数据等，以辅助仓储机器人定位。
在本实施例中，仓储机器人所处仓储环境对应有语义地图，该语义地图指的是包含仓储环境中多个对象的语义信息的环境地图。对象的语义信息是指能够借助自然语言去领会和解释对象是什么或所属种类等信息，例如可以包含但不限于对象的名称、形状、位置等。相比于现有非语义的环境地图，语义地图具有较高的语义层次，便于仓储机器人自身进行定位，提高了用户的体验感，可满足人们对于语义地图的需求。在本实施例中，仓储机器人可以基于语义地图实现视觉语义定位。关于语义地图的构建过程可参见下述图3所示的实施例，在此暂不详述。
仓储机器人在仓储环境中移动，在移动过程中，其图像传感器可采集仓储机器人周围仓储环境的图像或视频数据，如图1b-图1d所示。周围仓储环境指的是仓储机器人附近的部分仓储环境，仓储机器人在周围仓储环境中能够采集图像或者视频数据的范围与图像传感器的视场有关，图像传感器的视场角越大，其采集的图像或者视频数据的范围也就越大。在采集到周围仓储环境的图像或视频数据之后，可以对周围仓储环境的图像或视频数据进行目标检测和语义识别，得到仓储机器人周围仓储环境中存在的对象及其语义信息。其中，以图1b所示图像数据为例，检测到该图像数据中包含的对象如图1e所示；进一步，在识别到对象之后，对它进行语义识别，得到对象对应的语义信息，例如为货架。整个仓储环境中存在多个对象，为了便于区分和描述，将定位过程中采集到的仓储机器人周围仓储环境中存在的对象称为目标对象。在本实施例中，对象的语义信息是通过视觉语义技术识别出来的，即可直接检测明确的目标，检测速度快，语义信息丰富，不容易受其他干扰因素的影响，为仓储机器人定位摆脱对仓储环境中标志标识的依赖提供了基础，有利于提高定位灵活度。
在本实施例中，并不限定对仓储环境的图像和视频数据进行目标检测和语义识别的实施方式，例如可以利用目标检测模型对该图像或视频数据进行目标检测和语义识别。目标检测模型可以同时具有目标检测和语义识别功能，既能够识别出仓储环境中包含的对象及其位置，又能对检测出的对象进行语义识别得到对象的视觉语义信息。凡是同时具有目标检测和语义识别功能的模型均使用与本申请实施例的目标检测模型。例如可以是基于区域的目标检测模型，例如，区域卷积神经网络(Region-Convolutional NeuralNetworks，R-CNN)或者快速区域卷积神经网络(Fast Region-Convolutional NeuralNetworks，Fast-R-CNN)等；也可以是基于回归的目标检测模型，例如你只能看一次(YouOnly Look Once，YOLO)模型或者单镜头多盒检测器(Single Shot MultiBox Detector，SSD)等，对此不做限定。
在得到目标对象的语义信息之后，结合仓储环境的语义地图，可确定目标对象在语义地图中的位置，如果知道目标对象与仓储机器人的相对位置关系，就可以结合目标对象的语义信息，定位仓储机器人在语义地图中的位置。基于此，在本实施例中，在得到图像传感器采集的周围仓储环境的图像或视频数据之后，还可以计算目标对象的位置坐标，进而以目标对象的位置坐标为基础，来计算目标对象与仓储机器人的相对位置关系。其中，图像传感器安装于仓储机器人上，图像传感器使用传感器坐标系，可选地，若图像传感器为相机，则传感器坐标系可称为相机坐标系；仓储机器人使用机器人坐标系，两个坐标系之间具有转换关系。图像传感器采集到的仓储机器人周围仓储环境的图像和视频数据是位于传感器坐标系下的，也即利用目标检测模型识别出来目标对象的位置坐标是位于传感器坐标系下的。基于此，为了获取目标对象与仓储机器人的相对位置关系，可以基于传感器坐标系和机器人坐标系之间的转换关系，将目标对象的位置坐标转换到机器人坐标系下，从而计算目标对象与仓储机器人的相对位置关系。具体包括：计算目标对象上的像素点在传感器坐标系下的三维坐标；基于传感器坐标系和机器人坐标系之间的转换关系，将目标对象上的像素点在传感器坐标系下的三维坐标转换到机器人坐标系下；根据目标对象上的像素点在机器人坐标系下的三维坐标，计算出目标对象与仓储机器人的相对位置关系。其中，图像传感器位于仓储机器人上，图像传感器相对于仓储机器人的安装位置是确定且可获知的，因此，可根据图像传感器相对于仓储机器人的安装位置预先计算出传感器坐标系和机器人坐标系之间的转换关系。
其中，传感器坐标系和机器人坐标系之间的转换关系可以用旋转矩阵R1和平移向量T1来得到，具体如下：
Figure BDA0002681388020000071
其中，(XR，YR，ZR，1)为机器人坐标系中的点，
Figure BDA0002681388020000072
R1是3x3的矩阵，T1是3x1的矩阵，(XC，YC，ZC，1)为传感器坐标系中的点。其中，旋转矩阵R1和平移向量T1与图像传感器安装在仓储机器人的位置有关，在图像传感器在仓储机器人的安装位置确定的情况下，可预先计算出旋转矩阵R1和平移向量T1。在此说明，根据图像传感器的不同，计算目标对象上的像素点在传感器坐标系下的三维坐标的实施方式也有所不同，可参见后续实施例的示例性说明。
进一步，在得到目标对象与仓储机器人的相对位置关系之后，可以根据目标对象与仓储机器人的相对位置关系和目标对象的语义信息，定位仓储机器人在语义地图中的位置。
在本申请实施例中，预先构建仓储环境的语义地图，语义地图包括仓储环境中存在的多个对象及其语义信息；在定位过程中，仓储机器人利用自身图像传感器采集周围环境的图像或视频数据，并识别图像或视频数据中的目标对象及其语义信息，得到该目标对象与仓储机器人的相对位置关系，进而基于该相对位置关系和该目标对象的语义信息，定位仓储机器人在语义地图中的位置。该方法利用基于视觉语义定位的方式，直接检测的是明确的目标，检测速度快，语义信息丰富，不容易受其他干扰因素的影响，摆脱了对仓储环境中标志标识的依赖，定位灵活度较高。
在本下述实施例中，以图像传感器是单目相机、双目相机或RGBD摄像头为例，对计算目标对象上的像素点在传感器坐标系下的三维坐标的实施方式进行说明。
实施方式A1：仓储机器人上采用的图像传感器是单目相机。单目相机采集仓储机器人周围仓储环境的图像或视频数据，该图像或视频数据中包括一些与地平面相交的目标对象，例如货架与地平面的交线，也包括一些位于地平面上的目标对象，例如货架之间在地平面上构成的路口，可能是丁字路口、十字路口。对于这种情况，可以结合单目相机的摄影几何学，计算目标对象上与地平面相交的每个像素点在地平面上的三维坐标，该三维坐标是传感器坐标系的位置坐标。
如图2所示，假设O为单目相机的光心，D为单目相机的像素平面，Q为地平面。单目相机采集的图像或者视频数据中每个像素点p对应一个从光心O经过像素平面D的一条射线，该射线Op与地平面Q相交与点q。计算目标对象上与地平面相交的像素点在地平面上的三维坐标的方式，也即计算点q的三维坐标的方式，依赖于单目相机的内参和外参，单目相机的内参是与单目相机自身特性相关的参数，例如单目相机的焦距、像素大小等；单目相机的外参指的是相机的位置或者旋转方向等。
假设地平面Q相对单目相机的外参为旋转矩阵R和平移矩阵T，则地平面的法向量(0，0，1)经过旋转矩阵R转换变为相机坐标系下的法向量R*(0,0,1)T，假设R*(0,0,1)T为(a，b，c)，则可以得到地平面在相机坐标系下的平面方程为ax+by+cz+d＝0，则可以计算并得到相机坐标系下射线Op与地平面的交点q的三维坐标。
实施方式A2：仓储机器人上采用的图像传感器是双目相机。双目相机采集仓储环境的图像时，可以拍摄同一场景的左和右两幅视点图像，运用双目立体匹配算法可以获取两幅视点图的视差图，进而获取深度图，基于深度图获取目标对象上的像素点在相机坐标系下的三维坐标。
实施方式A3:仓储机器人上采用的图像传感器是RGBD摄像头。RGBD摄像头采集仓储环境的图像时，可以拍摄同一场景的深度图像和RGB图像，从而利用RGB图像和深度图像的匹配关系直接获得目标对象上的像素点在摄像头坐标系下的三维坐标。
另外，仓储机器人除了包含图像传感器之外，还可以包含深度传感器，深度传感器可以采集仓储环境的深度图像，仓储机器人可以将图像传感器采集到的图像信息和深度传感器采集到的深度信息进行结合，得到图像中目标对象的三维坐标。
无论上述哪种实施方式，在获取到目标对象上的像素点在传感器坐标系下的三维坐标之后，可以基于传感器坐标系和机器人坐标系之间的转换关系，将目标对象上的像素点在传感器坐标系下的三维坐标转换到机器人坐标系下；根据目标对象上的像素点在机器人坐标系下的三维坐标，计算出目标对象与仓储机器人的相对位置关系。
在本申请实施例中，在获取到目标对象的语义信息和目标对象与仓储机器人的相对位置关系之后，可以根据目标对象的语义信息，确定目标对象在语义地图中的位置；根据目标对象与仓储机器人的相对位置关系和目标对象在语义地图中的位置，定位仓储机器人在语义地图中的位置。
在一些应用场景中，整个仓储环境中虽然存在多个对象，但多个对象的语义信息彼此不同，或者，可以在构建语义地图的过程中，通过对语义信息做精细化区分，做到每个对象具有不同的语义信息，例如同一货架，可以通过货架品牌、规格、型号、颜色等特征定义货架的语义，从而使不同货架具有不同的语义信息，这样语义地图中包括的是多个具有不同语义信息的对象。对于这种情况，可以直接根据目标对象的语义信息，确定目标对象在语义地图中的位置。
当然，在另外一些应用场景中，仓储环境中会有很多相似的货架，这些货架在语义地图中可能都会标注为货架，那么简单地根据货架的语义信息将无法直接定位出仓储机器人具体是在哪个货架附近。对于这种情况，为了区分仓储机器人位于哪个货架附近，可以先对仓储机器人进行粗略定位，基于粗略定位的结果，先确定仓储机器人位于哪个货架附近，再结合该货架的位置对仓储机器人进行精细定位。当然，仓储环境中除了具有较多相似的货架之外，也可能存在较多相似的路口、货架脚位、消防栓、逃生标识等其它对象，处理方式相同或类似。基于此，在一些可选实施例中，根据目标对象的语义信息，确定目标对象在语义地图中的位置的实施方式，包括：基于仓储机器人上其它传感器数据，计算仓储机器人在语义地图中的初始位置；根据目标对象的语义信息，在语义地图中初始位置周围查找目标对象的位置。确定目标对象在语义地图中的位置之后，可以结合目标对象与仓储机器人的相对位置关系，定位仓储机器人在语义地图中的位置。其中，初始位置周围的目标对象可以是距离初始位置最近且具有识别到的语义信息的对象，或者是距离初始位置一定范围内具有前述识别到的语义信息的对象。
可选地，其他传感器数据可以是激光传感器数据、惯性测量单元IMU数据以及里程计数据中的至少一种。下面对根据其他传感器数据，计算仓储机器人在语义地图中的初始位置的部分实施方式进行说明。
实施方式B1：仓储机器人上还安装有激光传感器，在仓储机器人移动过程中，激光传感器也可以采集周围环境信息，此时采集的环境信息称为激光传感器数据。结合激光传感器数据，仓储机器人可以在已构建的基础环境地图中定位出仓储机器人的初始位置，即SLAM初始定位过程。其中，基础环境地图可以是仓储机器人预先采用SLAM技术构建出的。
在实施方式B1中，首先采用SLAM技术对仓储机器人进行初始定位，之后结合视觉语义进行二次精确定位，这使得对仓储机器人的初始位置的精度要求不用太高，因此在利用激光传感器在定位仓储机器人初始位置过程中，可以采用相对较少的传感器数据，有利于提高定位效率，节约计算资源；另外，结合视觉语义定位，还可以克服采用SLAM定位过程因采集到的特征缺失，没有明显或足够的纹理信息，导致定位精度不足的问题，确保定位精度。
对于下述实施方式B2和实施方式B3，假设开始移动时，仓储机器人在语义地图中的位置是已知的，可以通过其它传感器测量仓储机器人的位姿和方向角的变化，从而基于开始移动时，仓储机器人在语义地图中的位置，结合仓储机器人的位姿以及方向角变化，得到仓储机器人在语义地图中的初始位置。
实施方式B2：仓储机器人上还安装有IMU，在仓储机器人移动过程中，IMU可以采集仓储机器人的运动和/姿态数据，简称为IMU数据。IMU内部包含有三轴加速度计和三轴的陀螺仪。其中，加速度计用于输出仓储机器人在机器人坐标系中三个坐标轴方向上的加速度信息，陀螺仪用于输出仓储机器人相对于机器人坐标系三个坐标轴方向上的角速度信息，根据仓储机器人在机器人三维坐标系的角速度以及加速度信息就可以得到仓储机器人的位姿和方向角变化，进而得到仓储机器人在语义地图中的初始位置。
实施方式B3：仓储机器人上还安装有里程计，在仓储机器人移动过程中，里程计可以仓储机器人的移动距离、角度等数据，简称为里程计数据。里程计主要基于光电编码器在采样周期内脉冲的变化量计算出仓储机器人相对于地面移动的距离和方向角的变化量，从而计算出仓储机器人在语义地图中的初始位置。
在本上述实施例中，定位仓储机器人在语义地图中的位置时，需要用到仓储机器人所处仓储环境的语义地图，基于此，本申请实施例还提供一种语义地图构建方法的流程示意图。如图3所示，该方法包括：
31、在仓储机器人遍历仓储环境过程中，利用仓储机器人上的图像传感器采集仓储环境的图像或视频数据；
32、对仓储环境的图像或视频数据进行目标检测和语义识别，得到仓储环境中存在的多个对象及其语义信息；
33、基于传感器坐标系和机器人坐标系之间的转换关系，分别计算多个对象与仓储机器人的相对位置关系；
34、根据多个对象与仓储机器人的相对位置关系和仓储机器人在采集仓储环境的图像或视频数据时在基础环境地图中的位置，将多个对象的语义信息添加到基础环境地图中以得到仓储环境的语义地图。
在本实施例中，仓储机器人需要遍历整个仓储环境，以构建仓储环境对应的语义地图。在遍历整个仓储环境的过程中，可以利用图像传感器采集整个仓储环境的图像或视频数据，并对采集到的图像或视频数据进行目标检测和语义识别，得到仓储环境中存在的多个对象及其语义信息。其中，得到仓储环境中存在的多个对象及其语义信息的详细实施过程可参见前述实施例，在此不再赘述。
在一可选实施例中，在遍历整个仓储环境的过程中，还可以利用SLAM技术构建仓储环境的基础环境地图，进一步，在采集仓储环境的图像或视频数据时，还可以利用SLAM技术定位仓储机器人在基础环境地图中的位置，其中基础环境地图指的是仓储机器人利用SLAM技术构建的环境地图，例如，可以是栅格地图。相对于语义地图，基础环境地图是不包含语义信息的环境地图。当然，需要说明的是，基础环境地图和语义地图可以在同一遍历过程中完成构建，或者，也可以通过另外的遍历过程预先完成基础环境地图的构建，对此不做限定。
在得到仓储环境中存在的多个对象及其语义信息之后，若知道多个对象与仓储机器人的相对位置关系，则可以基于仓储机器人在采集仓储环境的图像或视频数据时在基础环境地图中的位置，确定多个对象在语义地图中的位置。基于此，在本实施例中，在得到图像传感器采集的仓储环境的图像或视频数据之后，还可以计算目标对象的位置坐标，进而以目标对象的位置坐标为基础，来计算目标对象与仓储机器人的相对位置关系。详细内容可参见前述实施例，在此不再赘述。
进一步，根据多个对象与仓储机器人的相对位置关系和仓储机器人在采集仓储环境的图像或视频数据时在基础环境地图中的位置，得到多个对象在基础环境地图中的位置。最后将仓储环境中多个对象及其语义信息添加至基础环境地图中，以得到语义地图。
需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤11至步骤13的执行主体可以为设备A；又比如，步骤11和12的执行主体可以为设备A，步骤13的执行主体可以为设备B；等等。
另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如11、12等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
图4为本申请示例性实施例提供的一种仓储机器人的结构示意图。如图4所示，该仓储机器人包括：设备本体40，设备本体40上设有存储器44和处理器45。
存储器44，用于存储计算机程序，并可被配置为存储其它各种数据以支持在仓储机器人上的操作。这些数据的示例包括用于在仓储机器人上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
存储器44可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器45，与存储器44耦合，用于执行存储器44中的计算机程序，以用于：在仓储机器人移动过程中，利用仓储机器人上的图像传感器采集周围仓库环境的图像或视频数据；对周围仓储环境的图像或视频数据进行目标检测和语义识别，得到仓储机器人周围仓储环境中存在的目标对象及其语义信息；基于传感器坐标系和机器人坐标系之间的转换关系，计算目标对象与仓储机器人的相对位置关系；根据目标对象与仓储机器人的相对位置关系和目标对象的语义信息，定位仓储机器人在语义地图中的位置，语义地图包括仓储环境中存在的多个对象及其语义信息。
在一可选实施例中，处理器45在基于传感器坐标系和机器人坐标系之间的转换关系，计算目标对象与仓储机器人的相对位置关系时，具体用于：计算目标对象上的像素点在传感器坐标系下的三维坐标；基于传感器坐标系和机器人坐标系之间的转换关系，将目标对象上的像素点在传感器坐标系下的三维坐标转换到机器人坐标系下；根据目标对象上的像素点在机器人坐标系下的三维坐标，计算出目标对象与仓储机器人的相对位置关系。
在一可选实施例中，图像传感器为单目相机，目标对象是与地平面相交的对象或位于地平面上的对象，则处理器45在计算目标对象上的像素点在传感器坐标系下的三维坐标时，具体用于：结合单目相机的摄影几何学，计算目标对象上与地平面相交的像素点在地平面上的三维坐标；或者，图像传感器为双目相机，则处理器45在计算目标对象上的像素点在传感器坐标系下的三维坐标时，具体用于：采用双目立体匹配算法计算目标对象上的像素点在传感器坐标系下的三维坐标；或者，图像传感器为RGBD摄像头，则处理器45在计算目标对象上的像素点在传感器坐标系下的三维坐标时，具体用于：根据采集到的包含目标对象的RGB图像和深度图像的匹配关系，计算目标对象上的像素点在传感器坐标系下的三维坐标。
在一可选实施例中，处理器45在根据目标对象与仓储机器人的相对位置关系和目标对象的语义信息，定位仓储机器人在语义地图中的位置时，具体用于：根据目标对象的语义信息，确定目标对象在语义地图中的位置；根据目标对象与仓储机器人的相对位置关系和目标对象在语义地图中的位置，定位仓储机器人在语义地图中的位置。
在一可选实施例中，处理器45在根据目标对象的语义信息，确定目标对象在语义地图中的位置时，具体用于：基于仓储机器人上其它传感器数据，计算仓储机器人在语义地图中的初始位置；根据目标对象的语义信息，在语义地图中初始位置周围查找目标对象的位置。
在一可选实施例中，处理器45在基于仓储机器人上其它传感器数据，计算仓储机器人在语义地图中的初始位置时，具体用于：基于仓储机器人上的激光传感器数据、惯性测量单元IMU数据以及里程计数据中的至少一种，计算仓储机器人在语义地图中的初始位置。
在一可选实施例中，处理器45还用于：在仓储机器人遍历仓储环境过程中，利用仓储机器人上的图像传感器采集仓储环境的图像或视频数据；对仓储环境的图像或视频数据进行目标检测和语义识别，得到仓储环境中存在的多个对象及其语义信息；基于传感器坐标系和机器人坐标系之间的转换关系，分别计算多个对象与仓储机器人的相对位置关系；根据多个对象与仓储机器人的相对位置关系和仓储机器人在采集仓储环境的图像或视频数据时在基础环境地图中的位置，将多个对象的语义信息添加到基础环境地图中以得到仓储环境的语义地图。
在一可选实施例中，处理器45采集仓储环境的图像或视频数据的过程中，还用于：采用SLAM技术建立仓储环境的基础环境地图，并定位仓储机器人在采集仓储环境的图像或视频数据时在基础环境地图中的位置。
在一可选实施例中，目标对象至少包括：货架、货架与地平面的交线以及货架构成的路口。
在一可选实施例中目标对象还包括：货架脚位、消防栓以及逃生标识中的至少一个。
进一步，如图4所示，该仓储机器人还包括：通信组件46、显示器47、电源组件48、音频组件49等其它组件。图4中仅示意性给出部分组件，并不意味着仓储机器人只包括图4所示组件。需要说明的是，图4中虚线框内的组件为可选组件，而非必选组件，具体可视仓储机器人的产品形态而定。
相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述仓储机器人定位方法和语义地图构建方法实施例中可由仓储机器人执行的各步骤。
上述图4中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
上述图4中的显示器包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
上述图4中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
上述图4中的音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(MIC)，当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种仓储机器人定位方法，其特征在于，包括：
在仓储机器人移动过程中，利用仓储机器人上的图像传感器采集周围仓储环境的图像或视频数据；
对所述周围仓储环境的图像或视频数据进行目标检测和语义识别，得到仓储机器人周围仓储环境中存在的目标对象及其语义信息，所述目标对象至少包括：货架、货架与地平面的交线以及货架构成的路口；
基于传感器坐标系和机器人坐标系之间的转换关系，计算所述目标对象与所述仓储机器人的相对位置关系；
基于所述仓储机器人上其它传感器数据，计算所述仓储机器人在语义地图中的初始位置；根据所述目标对象的语义信息，在所述语义地图中所述初始位置周围查找所述目标对象的位置；根据所述目标对象与所述仓储机器人的相对位置关系和所述目标对象在语义地图中的位置，定位所述仓储机器人在语义地图中的位置。
2.根据权利要求1所述的方法，其特征在于，基于传感器坐标系和机器人坐标系之间的转换关系，计算所述目标对象与所述仓储机器人的相对位置关系，包括：
计算所述目标对象上的像素点在传感器坐标系下的三维坐标；
基于传感器坐标系和机器人坐标系之间的转换关系，将所述目标对象上的像素点在传感器坐标系下的三维坐标转换到机器人坐标系下；
根据所述目标对象上的像素点在机器人坐标系下的三维坐标，计算出所述目标对象与所述仓储机器人的相对位置关系。
3.根据权利要求2所述的方法，其特征在于，所述图像传感器为单目相机，所述目标对象是与地平面相交的对象或位于地平面上的对象，则计算所述目标对象上的像素点在传感器坐标系下的三维坐标，包括：结合所述单目相机的摄影几何学，计算所述目标对象上与地平面相交的像素点在地平面上的三维坐标；
或者
所述图像传感器为双目相机，则计算所述目标对象上的像素点在传感器坐标系下的三维坐标，包括：采用双目立体匹配算法计算所述目标对象上的像素点在传感器坐标系下的三维坐标；
或者
所述图像传感器为红绿蓝深度图RGBD摄像头，则计算所述目标对象上的像素点在传感器坐标系下的三维坐标，包括：根据采集到的包含所述目标对象的RGB图像和深度图像的匹配关系，计算所述目标对象上的像素点在传感器坐标系下的三维坐标。
4.根据权利要求1所述的方法，其特征在于，基于所述仓储机器人上其它传感器数据，计算所述仓储机器人在语义地图中的初始位置，包括：
基于所述仓储机器人上的激光传感器数据、惯性测量单元IMU数据以及里程计数据中的至少一种，计算所述仓储机器人在语义地图中的初始位置。
5.根据权利要求1-4中任一项所述的方法，其特征在于，还包括：
在仓储机器人遍历所述仓储环境过程中，利用仓储机器人上的图像传感器采集所述仓储环境的图像或视频数据；
对所述仓储环境的图像或视频数据进行目标检测和语义识别，得到所述仓储环境中存在的多个对象及其语义信息；
基于传感器坐标系和机器人坐标系之间的转换关系，分别计算所述多个对象与所述仓储机器人的相对位置关系；
根据所述多个对象与所述仓储机器人的相对位置关系和所述仓储机器人在采集所述仓储环境的图像或视频数据时在基础环境地图中的位置，将所述多个对象的语义信息添加到所述基础环境地图中以得到仓储环境的语义地图。
6.根据权利要求5所述的方法，其特征在于，在采集所述仓储环境的图像或视频数据的过程中，还包括：
采用SLAM技术建立仓储环境的基础环境地图，并定位所述仓储机器人在采集所述仓储环境的图像或视频数据时在基础环境地图中的位置。
7.根据权利要求1-4和6任一项所述的方法，其特征在于，所述目标对象还包括：货架脚位、消防栓以及逃生标识中的至少一个。
8.一种语义地图构建方法，其特征在于，包括：
在仓储机器人遍历仓储环境过程中，利用仓储机器人上的图像传感器采集所述仓储环境的图像或视频数据；
对所述仓储环境的图像或视频数据进行目标检测和语义识别，得到所述仓储环境中存在的多个对象及其语义信息，所述多个对象至少包括：货架、货架与地平面的交线以及货架构成的路口；
基于传感器坐标系和机器人坐标系之间的转换关系，分别计算所述多个对象与所述仓储机器人的相对位置关系；
基于所述仓储机器人上其它传感器数据，计算所述仓储机器人在基础环境地图中的位置；根据所述多个对象与所述仓储机器人的相对位置关系和所述仓储机器人在采集仓储环境的图像或视频数据时在基础环境地图中的位置，得到所述多个对象在所述基础环境地图中的位置；根据所述多个对象在所述基础环境地图中的位置，将所述多个对象及其语义信息添加至基础环境地图中，以得到语义地图；
所述语义地图用于供所述仓储机器人实现权利要求1-7任一项所述方法中的步骤。
9.一种仓储机器人，其特征在于，包括：设备本体，所述设备本体上设有存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，与所述存储器耦合，用于执行所述计算机程序，以用于：在仓储机器人移动过程中，利用仓储机器人上的图像传感器采集周围仓储环境的图像或视频数据；对所述周围仓储环境的图像或视频数据进行目标检测和语义识别，得到仓储机器人周围仓储环境中存在的目标对象及其语义信息，所述目标对象至少包括：货架、货架与地平面的交线以及货架构成的路口；基于传感器坐标系和机器人坐标系之间的转换关系，计算所述目标对象与所述仓储机器人的相对位置关系；基于所述仓储机器人上其它传感器数据，计算所述仓储机器人在语义地图中的初始位置；根据所述目标对象的语义信息，在所述语义地图中所述初始位置周围查找所述目标对象的位置；根据所述目标对象与所述仓储机器人的相对位置关系和所述目标对象在语义地图中的位置，定位所述仓储机器人在语义地图中的位置。
10.根据权利要求9所述的仓储机器人，其特征在于，所述处理器在基于传感器坐标系和机器人坐标系之间的转换关系，计算所述目标对象与所述仓储机器人的相对位置关系时，具体用于：
计算所述目标对象上的像素点在传感器坐标系下的三维坐标；
基于传感器坐标系和机器人坐标系之间的转换关系，将所述目标对象上的像素点在传感器坐标系下的三维坐标转换到机器人坐标系下；
根据所述目标对象上的像素点在机器人坐标系下的三维坐标，计算出所述目标对象与所述仓储机器人的相对位置关系。
11.根据权利要求9-10任一项所述的仓储机器人，其特征在于，所述处理器还用于：
在仓储机器人遍历所述仓储环境过程中，利用仓储机器人上的图像传感器采集所述仓储环境的图像或视频数据；
对所述仓储环境的图像或视频数据进行目标检测和语义识别，得到所述仓储环境中存在的多个对象及其语义信息；
基于传感器坐标系和机器人坐标系之间的转换关系，分别计算所述多个对象与所述仓储机器人的相对位置关系；
根据所述多个对象与所述仓储机器人的相对位置关系和所述仓储机器人在采集所述仓储环境的图像或视频数据时在基础环境地图中的位置，将所述多个对象的语义信息添加到所述基础环境地图中以得到仓储环境的语义地图。
12.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，致使所述处理器实现权利要求1-8任一项所述方法中的步骤。
CN202010963415.4A 2020-09-14 2020-09-14 仓储机器人定位与地图构建方法、机器人及存储介质 Active CN112161618B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010963415.4A CN112161618B (zh) 2020-09-14 2020-09-14 仓储机器人定位与地图构建方法、机器人及存储介质
PCT/CN2021/109692 WO2022052660A1 (zh) 2020-09-14 2021-07-30 仓储机器人定位与地图构建方法、机器人及存储介质
US18/026,105 US20230331485A1 (en) 2020-09-14 2021-07-30 A method for locating a warehousing robot, a method of constructing a map, robot and storage medium
JP2023516646A JP2023541619A (ja) 2020-09-14 2021-07-30 倉庫保管ロボットの位置決めと地図作成方法、ロボット及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010963415.4A CN112161618B (zh) 2020-09-14 2020-09-14 仓储机器人定位与地图构建方法、机器人及存储介质

Publications (2)

Publication Number Publication Date
CN112161618A CN112161618A (zh) 2021-01-01
CN112161618B true CN112161618B (zh) 2023-03-28

Family

ID=73857971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010963415.4A Active CN112161618B (zh) 2020-09-14 2020-09-14 仓储机器人定位与地图构建方法、机器人及存储介质

Country Status (4)

Country Link
US (1) US20230331485A1 (zh)
JP (1) JP2023541619A (zh)
CN (1) CN112161618B (zh)
WO (1) WO2022052660A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112161618B (zh) * 2020-09-14 2023-03-28 灵动科技（北京）有限公司 仓储机器人定位与地图构建方法、机器人及存储介质
CN112883132B (zh) * 2021-01-15 2024-04-30 北京小米移动软件有限公司 语义地图生成方法、语义地图生成装置、以及电子设备
CN113311789A (zh) * 2021-04-25 2021-08-27 北京工业大学 一种基于5g和类脑脉冲神经网络模型的仓储机器人的控制方法
CN113460558B (zh) * 2021-06-29 2023-05-02 上海芭熹机器人有限责任公司 一种室外可移动货物搬运机器人
CN113419537A (zh) * 2021-07-08 2021-09-21 西安理工大学 一种面向移动机器人自主运动的脑机融合控制方法及系统
CN113907645A (zh) * 2021-09-23 2022-01-11 追觅创新科技(苏州)有限公司 移动机器人的定位方法及装置、存储介质及电子装置
CN114332298A (zh) * 2021-12-31 2022-04-12 汉朔科技股份有限公司 货架定位地图的生成方法
CN115294507B (zh) * 2022-10-10 2022-12-16 四川川西数据产业有限公司 一种基于水果外形的动态视频数据识别方法
CN116952250B (zh) * 2023-09-18 2024-01-05 之江实验室 一种基于语义地图的机器人指路方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9908702B2 (en) * 2016-02-05 2018-03-06 Invia Robotics, Inc. Robotic navigation and mapping
CN107103069A (zh) * 2017-04-19 2017-08-29 成都领创先科技有限公司 用于大型超市室内地图构建的系统及方法
CN107328420B (zh) * 2017-08-18 2021-03-02 上海智蕙林医疗科技有限公司 定位方法和装置
KR20200124263A (ko) * 2018-02-23 2020-11-02 크라운 이큅먼트 코포레이션 광학 타겟 기반 실내 차량 내비게이션을 위한 시스템 및 방법
CN109084749B (zh) * 2018-08-21 2021-05-11 北京云迹科技有限公司 通过环境中物体进行语义定位的方法及装置
CN110147095A (zh) * 2019-03-15 2019-08-20 广东工业大学 基于路标信息与多传感器数据融合的机器人重定位方法
CN110532978A (zh) * 2019-09-03 2019-12-03 北京百度网讯科技有限公司 仓储管理方法、装置、设备及存储介质
CN111486855B (zh) * 2020-04-28 2021-09-14 武汉科技大学 一种具有物体导航点的室内二维语义栅格地图构建方法
CN112161618B (zh) * 2020-09-14 2023-03-28 灵动科技（北京）有限公司 仓储机器人定位与地图构建方法、机器人及存储介质

Also Published As

Publication number Publication date
WO2022052660A1 (zh) 2022-03-17
US20230331485A1 (en) 2023-10-19
CN112161618A (zh) 2021-01-01
JP2023541619A (ja) 2023-10-03

Similar Documents

Publication Publication Date Title
CN112161618B (zh) 仓储机器人定位与地图构建方法、机器人及存储介质
US11360216B2 (en) Method and system for positioning of autonomously operating entities
US11360731B2 (en) Sharing neighboring map data across devices
CN207117844U (zh) 多vr/ar设备协同系统
JP7236565B2 (ja) 位置姿勢決定方法、装置、電子機器、記憶媒体及びコンピュータプログラム
US11415986B2 (en) Geocoding data for an automated vehicle
US10699438B2 (en) Mobile device localization in complex, three-dimensional scenes
CN109459029B (zh) 一种用于确定目标对象的导航路线信息的方法与设备
CN113116224B (zh) 机器人及其控制方法
KR20210029586A (ko) 이미지 내의 특징적 객체에 기반하여 슬램을 수행하는 방법 및 이를 구현하는 로봇과 클라우드 서버
CN110392908A (zh) 用于生成地图数据的电子设备及其操作方法
CN112465907B (zh) 一种室内视觉导航方法及系统
EP3651144A1 (en) Method and apparatus for information display, and display device
US11947354B2 (en) Geocoding data for an automated vehicle
CN108629842B (zh) 一种无人驾驶设备运动信息提供及运动控制方法与设备
CN114529621B (zh) 户型图生成方法、装置、电子设备及介质
CN109618131B (zh) 一种用于呈现决策辅助信息的方法与设备
US20210258476A1 (en) System for generating a three-dimensional scene of a physical environment
CN115366097A (zh) 机器人跟随方法、装置、机器人及计算机可读存储介质
Li et al. A combined vision-inertial fusion approach for 6-DoF object pose estimation
US20230215092A1 (en) Method and system for providing user interface for map target creation
WO2022121606A1 (zh) 用于获得场景中的设备或其用户的标识信息的方法和系统
KR102709388B1 (ko) 맵 타겟 생성을 위한 사용자 인터페이스 제공 방법 및 그 시스템
Li et al. Handheld pose tracking using vision-inertial sensors with occlusion handling
CN117968656A (zh) 多传感器融合定位方法、自移动设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant