CN116425088B - 货物搬运方法、装置及机器人 - Google Patents

货物搬运方法、装置及机器人 Download PDF

Info

Publication number
CN116425088B
CN116425088B CN202310680784.6A CN202310680784A CN116425088B CN 116425088 B CN116425088 B CN 116425088B CN 202310680784 A CN202310680784 A CN 202310680784A CN 116425088 B CN116425088 B CN 116425088B
Authority
CN
China
Prior art keywords
point cloud
cloud data
target
robot
goods
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310680784.6A
Other languages
English (en)
Other versions
CN116425088A (zh
Inventor
杨秉川
李陆洋
方牧
鲁豫杰
杨思琪
方晓曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visionnav Robotics Shenzhen Co Ltd
Original Assignee
Visionnav Robotics Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visionnav Robotics Shenzhen Co Ltd filed Critical Visionnav Robotics Shenzhen Co Ltd
Priority to CN202310680784.6A priority Critical patent/CN116425088B/zh
Publication of CN116425088A publication Critical patent/CN116425088A/zh
Application granted granted Critical
Publication of CN116425088B publication Critical patent/CN116425088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/063—Automatically guided
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/07581—Remote controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Manipulator (AREA)

Abstract

本申请实施例公开一种货物搬运方法、装置及机器人，应用于机器人，该方法包括：获取第一感知设备采集的针对目标货物的第一点云数据，根据第一点云数据确定目标货物的第一位姿信息；根据第一位姿信息提取目标货物；获取第二感知设备采集的针对放货区域的第二点云数据，根据第二点云数据确定放货区域的第二位姿信息；其中，第二感知设备采集的点云数据的点云密度小于第一感知设备采集的点云数据的点云密度；根据第二位姿信息，将目标货物放置在放货区域。实施本申请实施例，无需额外的传输装置即可实现货物的精准搬运，能够提高货物搬运准确率及效率，降低了货物搬运过程的成本。

Description

货物搬运方法、装置及机器人
技术领域
本申请涉及物流运输技术领域，具体涉及一种货物搬运方法、装置及机器人。
背景技术
随着贸易的不断发展，物流运输的重要性愈发显现。货物的搬运或者说装卸则是物流运输过程中非常重要的一环。现有的货物装卸系统中，需要加装额外的传输装置，以使得机器人提取到货物后能够通过传输装置将货物放置到放货区域。但由于传输装置成本高、体积大以及移动性较差，使得机器人将搬运到放货区域这个过程的效率较低。
发明内容
本申请实施例公开了一种货物搬运方法、装置及机器人，无需额外的传输装置即可实现货物的精准搬运，能够提高货物搬运准确率及效率，降低了货物搬运过程的成本。
本申请实施例第一方面公开了一种货物搬运方法，应用于机器人，所述机器人设置有第一感知设备以及第二感知设备，所述方法包括：
获取所述第一感知设备采集的针对目标货物的第一点云数据，根据所述第一点云数据确定所述目标货物的第一位姿信息；
根据所述第一位姿信息提取所述目标货物；
获取所述第二感知设备采集的针对放货区域的第二点云数据，根据所述第二点云数据确定所述放货区域的第二位姿信息；其中，所述第二感知设备采集的点云数据的点云密度小于所述第一感知设备采集的点云数据的点云密度；
根据所述第二位姿信息，将所述目标货物放置在所述放货区域。
本申请实施例第二方面公开了一种货物搬运装置，所述装置包括：
第一感知模块，用于获取第一感知设备采集的针对目标货物的第一点云数据，根据所述第一点云数据确定所述目标货物的第一位姿信息；
货物提取模块，用于根据所述第一位姿信息提取所述目标货物；
第二感知模块，用于获取第二感知设备采集的针对放货区域的第二点云数据，根据所述第二点云数据确定所述放货区域的第二位姿信息；其中，所述第二感知设备采集的点云数据的点云密度小于所述第一感知设备采集的点云数据的点云密度；
货物放置模块，用于根据所述第二位姿信息，将所述目标货物放置在所述放货区域。
本申请实施例第三方面公开了一种机器人，所述机器人包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现本申请实施例公开的任意一种货物搬运方法。
与相关技术相比，本申请实施例具有以下有益效果：
通过第一感知设备采集针对目标货物的第一点云数据，根据第一点云数据确定目标货物的第一位姿信息，并且根据第一位姿信息对目标货物进行提取；另外，通过第二感知设备采集针对放货区域的第二点云数据，根据第二点云数据确定放货区域的第二位姿信息，并且根据第二位姿信息将目标货物放置到放货区域。其中，第二感知设备采集的点云数据的点云密度要小于第一感知设备采集的点云数据的点云密度。实施本申请实施例，机器人分别通过第一感知设备及第二感知设备进行位姿检测，在针对目标货物需要更高精度的位姿检测时，采用更高精度的第一感知设备，可以提高位姿检测的准确性，在针对放货区域等不需要高精度的位姿检测时，采用精度较低的第二感知设备，可以节省功耗，同时兼顾检测精度及功耗，实现对货物的精准搬运，并且搬运过程无需额外加装的传输装置，降低了货物搬运过程的成本。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例公开的一种货物搬运方法的应用场景图；
图2为一个实施例公开的一种货物搬运方法的流程示意图；
图3为一个实施例公开的另一种货物搬运方法的应用场景图；
图4是一个实施例公开的另一种货物搬运方法的流程示意图；
图5为一个实施例公开的又一种货物搬运方法的应用场景图；
图6是一个实施例公开的又一种货物搬运方法的流程示意图；
图7为一个实施例公开的货物装卸的流程图；
图8为一个实施例公开的一种货物搬运装置的结构示意图；
图9为一个实施例公开的另一种货物搬运装置的结构示意图；
图10为一个实施例公开的又一种货物搬运装置的结构示意图；
图11为一个实施例公开的一种机器人的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例公开了一种货物搬运方法、装置及机器人，无需额外的传输装置即可实现货物的精准搬运，能够提高货物搬运准确率及效率，降低了货物搬运过程的成本。以下分别进行详细说明。
为了更加方便地对本申请实施例公开的货物搬运方法进行介绍，首先对一种适用于该方法的应用场景进行介绍。可选的，该方法可以应用于机器人，该机器人可以包括第一感知设备和第二感知设备。可选的，第一感知设备为视觉检测装置，第二感知设备为激光检测装置。在另外一种可选的实施例中，第一感知设备和第二感知设备为不同的激光检测装置。
基于此，以下对货物搬运方法进行介绍。
请参阅图1，图1为一个实施例公开的一种货物搬运方法的应用场景图。如图1所示，可包括机器人10（例如无人叉车等，也可称为自动搬运机器人或自动导向车，即Automated Guided Vehicle，AGV）、目标货物20以及放货区域30。
如图1所示，机器人10可以包括第一感知设备11以及第二感知设备12。
其中，上述第一感知设备11可以包括飞行时间（Time of flight，TOF）相机，以用于针对目标货物20进行点云数据采集，得到相应的点云数据。该点云数据可以用于进行目标货物20的位姿识别，以确定其中针对目标对象20的位姿信息。在一些实施例中，上述第一感知设备11也可以替换为（或者在已设置第一感知设备11的基础上追加设置）其他类型的感知模块，例如高精度雷达、3D激光雷达等。示例性地，以高精度的毫米波雷达为例，该毫米波雷达可以用于对机器人10附近，尤其是其前方空间的目标货物20进行检测，并通过其所采集到的第一点云数据，准确得到目标货物20的第一位姿信息。
其中，上述第二感知设备12，可以包括3D激光雷达，以用于针对放货区域20进行点云数据采集，得到相应的点云数据。该点云数据可以用于进行放货区域30的位姿识别，以确定其中针对放货区域30的位姿信息。示例性地，以3D激光雷达为例，该3D激光雷达可以用于在机器人10移动至放货区域30附近时，对机器人10附近，尤其是其前方空间的放货区域30进行检测，并通过其所采集到的第二点云数据，准确得到放货区域30的第二位姿信息。
示例性地，以机器人10包括无人叉车为例，上述第一感知设备11可以设置于该无人叉车的叉臂根部间的中点处（例如设置于车体上或叉臂结构上，前者如图1所示），也可以根据实际条件设置于其他位置（例如基于无人叉车形态、仓储空间环境的不同调整设置位置）。上述第二感知设备12也可以设置于该无人叉车的叉臂根部间的中点处（例如设置于第一感知设备11附近，如图1所示），也可以根据实际条件设置于其他位置（例如基于无人叉车形态、仓储空间环境的不同调整设置位置）。
需要说明的是，图1所示的机器人10为车辆形态，这仅是一种示例。在其他实施例中，机器人10也可以具有其他不同的形态，例如轨道机器人、非车辆形态的无轨道机器人等，本申请实施例中不作具体限定。示例性地，上述机器人10所搭载的第一感知设备11和第二感知设备12，可以由该机器人10内置的处理器模块（未具体图示）进行控制，例如车机、电脑、基于SoC（System-on-a-Chip，片上系统）的机器人取货检测系统等各类设备或系统，本申请实施例中也不作具体限定。
在一些实施例中，上述第一感知设备11和第二感知设备12，也可以分别搭载有相应的处理单元，并通过与机器人10内置的其他必要模块建立通信连接，受控实现所需的货物搬运功能。示例性地，上述其他必要模块，可以包括处理器（可用于向第一感知设备11和/或第二感知设备12发送触发信号）、目标检测模块（可用于根据第一感知设备11和/或第二感知设备12所采集的数据，检测目标货物20和/或放货区域30）、结果预测模块（可用于根据第一感知设备11和/或第二感知设备12所采集的数据，确定目标货物20对应的位姿信息和/或放货区域30对应的位姿信息）等，本申请实施例中也不作具体限定。
示例性地，上述目标货物20，可以包括待取放的货物、货物托盘（例如空托盘，或者盛放有货物的托盘）等，可根据该机器人10在工作场景中的具体需求而确定。上述放货区域30，可以包括货物托盘、货架、地面区域、包含用于放置货物的内部存储空间的其他装置等，可根据机器人10在工作场景中的具体需求而确定。
在本申请实施例中，为了在仓储物流的工作场景中将目标货物20搬运至放货区域30的过程中，并克服相关技术中需要增加额外的传输装置如传输带等，而导致货物搬运过程成本高以及效率低的问题，可以通过结合上述第一感知设备11所采集的第一点云数据，以及第二感知设备12所采集的第二点云数据，共同实现将目标货物20搬运至放货区域30。示例性地，机器人10获取通过第一感知设备11采集的针对目标货物20的第一点云数据，根据第一点云数据确定目标货物20的第一位姿信息。机器人10根据第一位姿信息提取目标货物20。机器人10获取通过第二感知设备12采集的针对放货区域30的第二点云数据，根据第二点云数据确定放货区域30的第二位姿信息。机器人10根据第二位姿信息将目标货物20放置到放货区域30；其中，第二感知设备12采集的点云数据的点云密度要小于第一感知设备11采集的点云数据的点云密度。
可见，实施本实施例的货物搬运方法，通过第一感知设备采集针对目标货物的第一点云数据，根据第一点云数据确定目标货物的第一位姿信息，并且根据第一位姿信息对目标货物进行提取；另外，通过第二感知设备采集针对放货区域的第二点云数据，根据第二点云数据确定放货区域的第二位姿信息，并且根据第二位姿信息将目标货物放置到放货区域。其中，第二感知设备采集的点云数据的点云密度要小于第一感知设备采集的点云数据的点云密度。实现了无需通过额外加装的传输装置，即可将目标进行提取并准确地放置到放货区域中的搬运效果，提高了机器人从货物提取到货物放置这个搬运过程的效率。
请参阅图2，图2为一个实施例公开的一种货物搬运方法的流程示意图，该方法可应用于如图1所示的应用场景中的机器人10，机器人10设置有第一感知设备11和第二感知设备12。如图2所示，该方法可包括以下步骤：
210、获取第一感知设备采集的针对目标货物的第一点云数据，根据第一点云数据确定目标货物的第一位姿信息。
在本申请实施例中，机器人可采用第一感知设备对目标货物进行点云数据采集，得到第一点云数据。其中，第一感知设备为将目标货物转换成图像信号，并根据像素分布和亮度、颜色等信息，转变成数字化信号的装置；第一点云数据为第一感知设备采集的针对目标货物的点云数据。
具体实施时，第一感知设备为视觉检测装置，视觉检测装置可选为飞行时间TOF相机。机器人控制TOF对目标货物连续发送光脉冲，然后用传感器接收从目标货物返回的光，通过探测光脉冲的飞行时间来得到目标货物的距离，从而得到针对目标货物的深度图像。接着机器人或者是机器人中的处理模块可对深度图像进行深度图到点云数据之间的转换，得到针对目标货物的第一点云数据。其中，机器人可以根据深度图像中各个像素在图像坐标系中的坐标以及深度，转换到世界坐标系下的三维空间坐标，从而实现深度图到点云数据之间的转换，具体转换公式可如式（1）所示。
式（1）
其中，（，/>，/>）为第一点云数据在世界坐标系下的三维空间坐标，/>为深度图的深度值，/>为TOF相机在/>轴上的焦距，/>为TOF相机在/>轴上的焦距，（/>，/>） 为像素点在图像坐标系下的坐标。
在本申请实施例中，机器人根据获取的第一点云数据，确定目标货物的第一位姿信息。其中，第一位姿信息为目标货物相对于机器人的位置信息及姿态信息。具体实施时，机器人可以根据第一点云数据，确定目标货物与机器人之间的距离、目标货物的位置以及目标货物的倾斜度等信息。
220、根据第一位姿信息提取目标货物。
在本申请实施例中，机器人根据第一位姿信息，进行相应的移动，并且对机器人的姿态以及用于进行货物搬运的模块进行调整，从而对目标货物进行提取。具体实施时，机器人可以为无人叉车，无人叉车可以根据目标货物的第一位姿信息，移动至目标货物前方或者附近，接着对自身的倾斜度以及货叉的高度和叉取角度等进行调整，从而实现对目标货物的叉取。
230、获取第二感知设备采集的针对放货区域的第二点云数据，根据第二点云数据确定放货区域的第二位姿信息；其中，第二感知设备采集的点云数据的点云密度小于第一感知设备采集的点云数据的点云密度。
在本申请实施例中，机器人可采用第二感知设备对放货区域进行点云数据采集，得到第二点云数据。其中，第二感知设备为通过激光束扫描放货区域以测量放货区域表面三维信息的装置；第二点云数据为第二感知设备采集的针对放货区域的点云数据。
第二感知设备采集的点云数据的密度要小于第一感知设备采集的点云数据的密度。也就是说，第二感知设备采集到的目标对象的精度，要低于第一感知设备采集到的目标对象的精度。
机器人根据获取的第二点云数据，确定放货区域的第二位姿信息。其中，第二位姿信息为放货区域相对于机器人的位置信息及姿态信息。具体实施时，机器人可以根据第二点云数据，确定放货区域与机器人之间的距离、放货区域的位置以及放货区域的倾斜度等信息。
240、根据第二位姿信息，将目标货物放置在放货区域。
在本申请实施例中，机器人根据第二位姿信息，进行相应的移动，并且对机器人的姿态以及用于进行货物搬运的模块进行调整，从而将目标货物放置到放货区域。具体实施时，机器人可以为无人叉车，无人叉车可以根据放货区域如货架的第二位姿信息，移动至放货区域前方或者附近，接着对自身的倾斜度以及货叉的高度和叉取角度等进行调整，从而实现将目标货物放置到放货区域。
采用上述实施例，机器人分别通过第一感知设备及第二感知设备进行位姿检测，在针对目标货物需要更高精度的位姿检测时，采用更高精度的第一感知设备，可以提高位姿检测的准确性，在针对放货区域等不需要高精度的位姿检测时，采用精度较低的第二感知设备，可以节省功耗，同时兼顾检测精度及功耗，实现对货物的精准搬运，并且搬运过程无需额外加装的传输装置，降低了货物搬运过程的成本。
在一些实施例中，机器人执行获取第一感知设备采集的针对目标货物的第一点云数据，根据第一点云数据确定目标货物的第一位姿信息的步骤中，可以包括以下步骤：
获取第一感知设备采集的针对多个货物的初始点云数据；
对初始点云数据执行点云重建操作，生成多个货物的第一点云数据；
对多个货物的第一点云数据执行点云分割操作，以获取目标货物对应的第一点云数据；
根据目标货物对应的第一点云数据确定目标货物在地面坐标系下的坐标，并根据地面坐标系下的坐标确定目标货物的第一位姿信息。
在本申请实施例中，由于货物提取过程中，可能存放多个货物，为了从多个货物中准确提取目标货物，机器人可以先获取第一感知设备采集的针对多个货物的初始点云数据；其中，初始点云数据为包含了至少两个货物的三维空间信息的未优化的点云数据。第一感知设备对对象进行深度图采集，并根据深度图获取点云数据的方式如上述实施例所述，在此不再赘述。
机器人获取到初始点云数据后，可对初始点云数据进行点云重建操作，得到包含多个货物的第一点云数据。其中，点云重建操作可以包括凹包重建、凸包重建、泊松重建和贪婪重建。
机器人对多个货物的第一点云数据执行点云分割操作，以获取目标货物对应的第一点云数据。其中，点云分割操作包括基于边缘的点云分割、基于区域的点云分割、基于属性的点云分割、基于模型的点云分割、基于图优化的点云分割和基于临近信息的点云分割。例如，机器人采用基于区域的点云分割作为点云分割操作时，机器人使用邻域信息来将具有相似属性的附近点云归类，以获得多个分割区域，根据多个分割区域对第一点云数据进行分割，得到不同货物对应的第一点云数据，再根据目标货物对应的邻域信息，确定出目标货物对应的第一点云数据。
机器人根据目标货物对应的第一点云数据确定目标货物在地面坐标系下的坐标，并根据地面坐标系下的坐标确定目标货物的第一位姿信息。其中，地面坐标系为固定在地球表面的一种坐标系，地面坐标系的OX轴为指向地面平面的任意方向，OZ轴铅垂向上，OY与OZ轴构成的平面垂直。
采用上述实施例，通过对初始点云数据进行点云重建操作，以得到第一点云数据，使得第一点云数据能够更加准确地反映出各个货物的表面信息，接着通过点云分割操作能够准确地得到目标货物对应的第一点云数据，最后根据目标货物对应的第一点云数据确定目标货物在地面坐标系下的坐标，并根据地面坐标系下的坐标确定目标货物的第一位姿信息，第一位姿信息能够反映目标货物在地面坐标系或者说在地球表面的状态，更加准确地体现了目标货物的位姿，进一步提高了货物搬运过程的准确性。
在一些实施例中，机器人还包括里程计装置。
机器人在执行获取第一感知设备采集的针对目标货物的第一点云数据，根据第一点云数据确定目标货物的第一位姿信息的步骤之后，还可以执行以下步骤：
获取通过里程计装置采集的机器人的多帧里程信息；
根据每个第一点云数据对应的采集时刻以及每帧里程信息对应的时间戳，将多个第一点云数据与多帧里程信息进行匹配；
根据任一第一点云数据匹配的第一里程信息以及最新第一点云数据匹配的第一目标里程信息，对第一点云数据进行修正。
在本申请实施例中，机器人可以通过里程计装置进行持续或者间断的里程信息采集，得到多帧里程信息。其中，里程信息为反映机器人运动情况的信息，具体可以包括机器人的三维加速度和三维角速度。里程信息可以包括机器人运动的空间信息、方向信息等，例如该机器人的空间坐标x、y、z（可基于指定原点所建立的XYZ三维坐标系而确定），以及该机器人的朝向方向信息roll（横滚角/翻滚角，即绕Z轴旋转的角度）、pitch（俯仰角，即绕X轴旋转的角度）、yaw（航向角/偏航角，即绕Y轴旋转的角度）等，本申请实施例中也不作具体限定。
在本申请实施例中，机器人根据获取的每个第一点云数据对应的采集时刻，以及获取的每帧里程信息对应的时间戳，将第一点云数据与里程信息进行匹配。其中，针对每个第一点云数据，可以根据第一点云数据对应的采集时刻，按顺序分别与每帧里程信息对应的时间戳进行比较，确定出于与第一点云数据的采集时刻最接近的时间戳，并将该最接近的时间戳对应的里程信息确定为该第一点云数据匹配的里程信息。每个第一点云数据所匹配的里程信息各不相同。采集时刻为采集到点云数据或者是对点云数据进行采集的时刻；时间戳为采集到里程信息或者是对里程信息进行采集的时间数据。
举例来说，机器人获取了3个第一点云数据和4个里程信息，3个第一点云数据分别为第一点云数据A、第一点云数据B和第一点云数据C，这三个第一点云数据对应的采集时刻分别为1s、1.5s和2s，而4个里程信息分别为里程信息a、里程信息b、里程信息c和里程信息d，这四个里程信息对应的时间戳分别为0.8s、1.2s、1.6s和2s。机器人按照第一点云数据对应的采集时刻的先后顺序，来依次匹配里程信息。因此先从第一点云数据A开始匹配，由于里程信息a和里程信息b的时间戳均为最接近第一点云数据A对应的采集时刻，因此，机器人可以将里程信息a或者里程信息b确定为第一点云数据A匹配的里程信息，在这里，机器人将里程信息a确定为第一点云数据A匹配的里程信息。接着，机器人将第一点云数据B与每个里程信息进行匹配。由于，每个第一点云数据所匹配的里程信息各不相同，而里程信息a已与第一点云数据A匹配了，因此，机器人可以将第一点云数据B与里程信息b、里程信息c和里程信息d进行匹配。可见，里程信息c的时间戳均为最接近第一点云数据B对应的采集时刻，因此，机器人可以将里程信息c确定为第一点云数据B匹配的里程信息。最后，机器人将第一点云数据C与里程信息b和里程信息d进行匹配。可见，里程信息d的时间戳均为最接近第一点云数据C对应的采集时刻，因此，机器人可以将里程信息d确定为第一点云数据C匹配的里程信息。
在本申请实施例中，机器人确定出每个第一点云数据匹配的里程信息后，根据第一点云数据匹配的第一里程信息以及最新第一点云数据匹配的目标里程信息，对第一点云数据进行修正。其中，第一点云数据为获取的多个第一点云数据中的任意一个；最新第一点云数据为获取的多个第一点云数据中，采集时刻距离当前时刻最接近的第一点云数据，目标里程信息为最新第一点云数据所匹配的里程信息。
机器人按照上述修正方式，对获取的每个第一点云数据进行修正，得到每个第一点云数据所对应的目标点云数据。其中，目标点云数据为第一点云数据修正后的点云数据。
采用上述实施例，能够根据最新第一点云数据，对同步后的第一点云数据进行运动去畸变处理，提高了点云数据的准确性。后续根据修正后的第一点云数据确定目标货物的第一位姿信息，提高了目标货物检测的准确性；此外，通过对第一感知设备与里程计进行了时间上的同步处理，并利用里程计信息将第一感知设备的检测结果更新到最新时间，确保了位姿检测的实时性。
在一些实施例中，机器人执行根据任一第一点云数据匹配的第一里程信息以及最新第一点云数据匹配的第一目标里程信息，对第一点云数据进行修正的步骤，可以包括以下步骤：
根据第一点云数据匹配的第一里程信息以及最新第一点云数据匹配的目标里程信息，将第一点云数据从第一里程信息对应的第一坐标系，转换至目标里程信息对应的目标坐标系，以得到第一点云数据对应的目标点云数据。其中，第一点云数据为多个第一点云数据中的任一第一点云数据，最新第一点云数据为采集时刻距离当前时刻最近的第一点云数据。
在本申请实施例中，基于多帧里程信息中的任意一帧里程信息，均可以建立相应的坐标系。针对任意一个第一点云数据，机器人根据确定的第一点云数据匹配的第一里程信息，以及最新第一点云数据匹配的目标里程信息，将第一点云数据从第一里程信息对应的第一坐标系，转换至目标里程信息对应的目标坐标系，得到的坐标系转换后的第一点云数据为第一点云数据对应的目标点云数据。其中，第一坐标系为基于第一里程信息建立的坐标系，目标坐标系为基于目标里程信息建立的坐标系。
举例来说，第一点云数据可以表示为，第一里程信息对应的第一坐标系为/>，目标里程信息对应的目标坐标系为/>。因此，机器人将第一点云数据从第一里程信息对应的第一坐标系，转换至目标里程信息对应的目标坐标系，得到修正后的第一点云数据的过程可以如下式（2）所示，
式（2）
其中，为修正后的第一点云数据。
机器人可以根据上述目标点云数据确定过程，得到每个第一点云数据对应的目标点云数据。
采用上述实施例，通过基于里程信息建立的坐标系之间的坐标系转换方式，能够令最新第一点云数据以外的其他第一点云数据，更好地与最新第一点云数据进行对齐，从而提高其他第一点云数据与最新第一点云数据进行对齐而实现的点云去运动畸变的效果。
在一些实施例中，第一感知设备为视觉检测装置，第二感知设备为激光检测装置，第一点云数据由第一感知设备采集针对目标货物的图像数据，并依据图像数据与点云数据之间的转化关系转化得到；第二点云数据由第二感知设备针对放货区域直接采集得到，第二感知设备直接采集的点云数据的点云密度小于第一感知设备采集的图像数据转化得到的点云数据的点云密度；
或者，第一感知设备和第二感知设备均为激光检测装置，第一点云数据由第一感知设备针对目标货物直接采集得到，第二点云数据由第二感知设备针对放货区域直接采集得到，第二感知设备直接采集的点云数据的点云密度小于第一感知设备直接采集的点云数据的点云密度。
在本申请实施例中，第一感知设备为视觉检测装置时，第一感知设备采集针对目标货物的图像数据，并且根据图像数据与点云数据之间的转换关系，对针对目标货物的图像数据进行转化，得到第一点云数据。而第一感知设备为激光检测装置时，第一感知设备直接对目标货物进行点云数据采集，得到的点云数据即为第一点云数据。
第二感知设备为激光检测装置时，第二感知设备直接对放货区域进行点云数据采集，得到的点云数据即为第二点云数据。其中，无论第一感知设备为视觉检测装置还是激光检测装置，得到的第一点云数据的点云密度都要大于第二感知设备得到的第二点云数据的点云密度；也就是说，第一感知设备的精度要高于第二感知设备。
采用上述实施例，第一感知设备可以为不同类型的数据采集设备，提高了点云数据获取过程的适用性。
请参阅图3，图3为一个实施例公开的另一种货物搬运方法的应用场景图。如图3所示，可包括机器人10（例如无人叉车等，也可称为自动搬运机器人或自动导向车，即Automated Guided Vehicle，AGV）、目标货物20以及放货区域30。如图3所示，机器人10可以包括第一感知设备11以及第二感知设备12。放货区域30位于目标货车的车厢中。机器人10要将位于目标货车外部的目标货物，搬运到目标货车车厢中，并放置到车厢中的放货区域30。
请参阅图4，图4是一个实施例公开的另一种货物搬运方法的流程示意图，该方法可以应用于图3所示的机器人10，机器人10设置有第一感知设备11和第二感知设备12。如图4所示，该货物搬运方法可以包括以下步骤：
410、获取第一感知设备采集的针对目标货物的第一点云数据，根据第一点云数据确定目标货物的第一位姿信息。
420、根据第一位姿信息提取目标货物。
430、获取第二感知设备采集的针对目标货车的第三点云数据，根据第三点云数据确定目标货车的第三位姿信息。
在本申请实施例中，在机器人对目标货物进行装车的过程中，也就是机器人需要将目标货物从目标货车外部，搬运至目标货车的车厢中。因此，在装车过程中，机器人首先空载（不载有任何货物）移动至目标货物附近，并获取第一感知设备采集的针对目标货物的第一点云数据，根据第一点云数据确定目标货物的第一位姿信息，接着根据第一点云信息对目标货物进行提取，例如机器人为无人叉车的情况下，无人叉车根据第一点云信息将目标货物叉取到货叉上。
机器人在完成目标货物的提取之后，可采用第二感知设备对目标货车进行点云数据采集，得到第三点云数据。其中，第三点云数据为第二感知设备采集的针对目标货车的点云数据；目标货车为机器人将目标货物进行搬运过程中所要对接的货车。此外，采集第三点云数据所使用的第二感知设备可以与采集第二点云数据所使用的第二感知设备相同，也就是说，第二感知设备采集的第二点云数据的密度可以与的第三点云数据的密度相等，但均小于第一感知设备采集的点云数据的密度。或者说，第二感知设备采集到的目标对象的精度，要低于第一感知设备采集到的目标对象的精度。
机器人根据获取的第三点云数据，确定目标货车的第三位姿信息。其中，第三位姿信息为目标货车的位姿信息。具体实施时，机器人可以根据第三点云数据，确定目标货车与机器人之间的距离、目标货车的位置以及目标货车的车厢高度和倾斜度等信息。
440、根据第三位姿信息进入目标货车的车厢。
在本申请实施例中，机器人根据第三位姿信息，进行相应的移动，并且对机器人的姿态以及用于进行货物搬运的模块进行调整，从而令机器人进入目标货车的车厢。具体的，机器人进入目标货车的车厢，可以为机器人整体移动至目标货车的车厢的空间中，也可以为机器人的部分进入到目标货车的车厢的空间中。例如，机器人为无人叉车时，可以整体移动到目标货车的车厢中，也可以是无人叉车控制货叉伸入到目标货车的车厢中。
具体实施时，机器人可以为无人叉车，无人叉车可以根据目标货车的第三位姿信息，移动至目标货车前方或者附近，接着机器人根据第三位姿信息中目标货车的车厢高度、倾斜度等，对自身的倾斜度、货叉的高度以及叉取角度等进行调整，从而实现无人叉车进去目标货车的车厢中。
采用上述实施例，在机器人对目标货物进行装车的过程中，可以先获取目标货车的位姿信息，从而进入到目标货车的车厢中，以便于后续的目标货物装车过程，能够在无需通过额外加装的传输装置的情况下，更好地实现将目标货物搬运至目标货车的车厢中，进一步提高了机器人将目标货物进行装车的效率。
450、获取第二感知设备采集的针对放货区域的第二点云数据，根据第二点云数据确定放货区域的第二位姿信息；其中，第二感知设备采集的点云数据的点云密度小于第一感知设备采集的点云数据的点云密度。
460、根据第二位姿信息，移动至放货区域，并将目标货物放置在放货区域，以使机器人将目标货物装入到目标货车的车厢中。
在本申请实施例中，在机器人对目标货物进行装车的过程中，机器人进入目标货车的车厢之后，可以载着目标货物移动至放货区域附近，并采用第二感知设备对放货区域进行点云数据采集，得到第二点云数据。接着根据获取的第二点云数据，确定放货区域的第二位姿信息。机器人根据第二位姿信息，进行相应的移动，并且对机器人的姿态以及用于进行货物搬运的模块进行调整，从而将目标货物放置到放货区域。具体实施时，机器人可以为无人叉车，无人叉车可以先控制货叉的高度，将货叉以及货叉上的目标货物伸入目标货车的车厢中，以实现无人叉车进入目标货车的车厢。接着无人叉车通过货叉上的第二感知设备采集针对放货区域的第二点云数据，并根据第二点云数据确定放货区域的第二位姿信息。根据第二位姿信息对货叉的高度和叉取角度等进行调整，以将目标货物放置到目标货车的车厢中的放货区域上，实现无人叉车将目标货物进行装车的过程。
采用上述实施例，在机器人对目标货物进行装车的过程中，在机器人进入到目标货车的车厢之后，采集第二点云数据并根据第二点云数据确定放货区域的第二位姿信息，根据第二位姿信息对机器人进行调整以实现将目标货物进行装车，能够在无需通过额外加装的传输装置的情况下，更好地实现将目标货物搬运至目标货车的车厢中，进一步提高了机器人将目标货物进行装车的效率。
在一些实施例中，目标货车包括两侧栏板和/或车厢厢体。
机器人在执行获取第二感知设备采集的针对目标货车的第三点云数据，根据第三点云数据确定目标货车的第三位姿信息的过程中，可以包括以下步骤：
获取第二感知设备采集的针对两侧栏板和/或车厢厢体的第三点云数据；
根据第三点云数据确定目标货车与地面之间的倾斜角以及目标货车的空间坐标，以得到目标货车的第三位姿信息。
在本申请实施例中，机器人在完成目标货物的提取之后对目标货车进行点云数据采集的过程中，可采用第二感知设备对目标货车进行点云数据采集，得到第三点云数据，并从得到的第三点云数据中，筛选出的两侧栏板和/或车厢厢体对应的第三点云数据。具体实施时，机器人可以根据设定的预设高度，将大于三维空间坐标中竖坐标大于预设高度的第三点云数据，确定为两侧栏板和/或车厢厢体对应的第三点云数据。
由于货车的两侧栏板垂直于地面或者是货车所停靠在的平面，货车车厢的左右两侧也垂直于地面或者是货车所停靠在的平面，货车车厢的顶部以及底部则平行于地面或者是货车所停靠在的平面。因此，机器人根据两侧栏板和/或车厢厢体对应的第三点云数据，可以确定出目标货车与地面之间的倾斜角以及目标货车尤其是目标货车的车厢的空间坐标，以得到目标货车的第三位姿信息。其中，目标货车的第三位姿信息可以包括目标货车与机器人之间的距离、目标货车的位置以及目标货车的车厢高度和车厢倾斜度等信息。
采用上述实施例，通过获取针对目标货车的两侧栏板和/或车厢厢体的第三点云数据，根据上述第三点云数据来确定目标货车包括了与地面之间的倾斜角以及空间坐标等信息的第三位姿信息，能够更加准确地检测出目标货车尤其是目标货车的车厢相对于机器人的位姿，使得机器人能够更加平稳地进入到目标货车的车厢中，提高了货物搬运过程的效率以及安全性。
请参阅图5，图5为一个实施例公开的又一种货物搬运方法的应用场景图。如图5所示，可包括机器人10（例如无人叉车等，也可称为自动搬运机器人或自动导向车，即Automated Guided Vehicle，AGV）、目标货物20以及放货区域30。如图5所示，机器人10可以包括第一感知设备11以及第二感知设备12。放货区域30位于所述目标货车的外部。机器人10要将位于目标货车车厢中的目标货物，搬运到目标货车外部，并放置到目标货车外部的放货区域30。
请参阅图6，图6是一个实施例公开的又一种货物搬运方法的流程示意图，该方法可以应用于图5所示的机器人10，机器人10设置有第一感知设备11和第二感知设备12。如图6所示，该货物搬运方法可以包括以下步骤：
610、获取第二感知设备采集的针对目标货车的第三点云数据，根据第三点云数据确定目标货车的第三位姿信息。
在本申请实施例中，在机器人将目标货物从目标货车进行卸下的过程中，也就是机器人需要将目标货物从目标货车的车厢中，搬运至目标货车的外部。因此，在卸车过程中，机器人首先空载（不载有任何货物）移动至目标货车附近，并获取第二感知设备采集的针对目标货车的第三点云数据。机器人根据获取的第三点云数据，确定目标货车的第三位姿信息。
620、根据第三位姿信息进入目标货车的车厢。
在本申请实施例中，机器人根据第三位姿信息，进行相应的移动，并且对机器人的姿态以及用于进行货物搬运的模块进行调整，从而令机器人进入目标货车的车厢。具体的，机器人进入目标货车的车厢，可以为机器人整体移动至目标货车的车厢的空间中，也可以为机器人的部分进入到目标货车的车厢的空间中。
采用上述实施例，在机器人对目标货物进行卸车的过程中，可以先获取目标货车的位姿信息，从而进入到目标货车的车厢中，以便于后续的目标货物卸车过程，能够在无需通过额外加装的传输装置的情况下，更好地实现将目标货物从目标货车的车厢中搬运至目标货车外部的放货区域上，进一步提高了机器人将目标货物进行卸车的效率。
630、获取第一感知设备采集的针对目标货物的第一点云数据，根据第一点云数据确定目标货物的第一位姿信息。
640、根据第一位姿信息提取目标货物。
650、离开目标货车的车厢，并且向放货区域进行移动。
在本申请实施例中，在机器人对目标货物进行卸车的过程中，机器人可以在进入到目标货车的车厢之后，获取第一感知设备采集的针对目标货物的第一点云数据，根据第一点云数据确定目标货物的第一位姿信息，接着根据第一点云信息对目标货物进行提取，例如机器人为无人叉车的情况下，无人叉车根据第一点云信息将目标货物叉取到货叉上。
在本申请实施例中，机器人在完成对目标货车中的目标货物的提取之后，可以按照进入目标货车的车厢的路径，原路退回，以离开目标货车的车厢，实现了机器人将目标货物从目标货车中进行卸下。接着机器人可以根据预先输入的搬运指令中指示的放货区域的大概位置，向放货区域所在的大概位置进行移动。其中，如果机器人是整体进入到目标货车的车厢中，可以通过全向轮等移动模块，控制机器人按照进入到目标货车的车厢的路径，原路后退，从而令机器人离开目标货车的车厢；如果机器人是部分进入到目标货车的车厢中如无人叉车的货叉部分进入到车厢中，那么机器人可以控制货叉收回和/或自行后退，从而令机器人离开目标货车的车厢。
660、获取第二感知设备采集的针对放货区域的第二点云数据，根据第二点云数据确定放货区域的第二位姿信息；其中，第二感知设备采集的点云数据的点云密度小于第一感知设备采集的点云数据的点云密度。
670、根据第二位姿信息，将目标货物放置在放货区域。
在本申请实施例中，机器人在离开目标货车的车厢之后，可以载着目标货物移动至放货区域附近，并采用第二感知设备对放货区域进行点云数据采集，得到第二点云数据。接着根据获取的第二点云数据，确定放货区域的第二位姿信息。机器人根据第二位姿信息，进行相应的移动，并且对机器人的姿态以及用于进行货物搬运的模块进行调整，从而将目标货物放置到放货区域。具体实施时，机器人可以为无人叉车，放货区域为货架。无人叉车可以通过货叉上的第二感知设备采集针对放货区域的第二点云数据，并根据第二点云数据确定放货区域的第二位姿信息。根据第二位姿信息对货叉的高度和叉取角度等进行调整，以将目标货物放置到货架上，实现无人叉车将目标货物进行卸车的过程。
采用上述实施例，在机器人对目标货物进行卸车的过程中，可以先行采集第三点云数据以确定目标货车的位姿，使得进入到目标货车的车厢中。在机器人进入到目标货车的车厢之后，采集第一点云数据并根据第一点云数据确定目标货物的第一位姿信息，根据第一位姿信息对机器人进行调整以实现将目标货物进行提取，提取后离开目标货车的车厢，实现了目标货物的卸车，最后将目标货物放置到目标货车外部的放货区域，能够在无需通过额外加装的传输装置的情况下，更好地实现将目标货物从目标货车的车厢搬运至目标货车外部，进一步提高了机器人将目标货物进行卸车的效率。
在一些实施例中，目标货车包括两侧栏板和/或车厢厢体。
机器人在执行获取第二感知设备采集的针对目标货车的第三点云数据，根据第三点云数据确定目标货车的第三位姿信息的过程中，可以包括以下步骤：
获取第二感知设备采集的针对两侧栏板和/或车厢厢体的第三点云数据；
根据第三点云数据确定目标货车与地面之间的倾斜角以及目标货车的空间坐标，以得到目标货车的第三位姿信息。
请参阅图7，图7为一个实施例公开的货物装卸的流程图。如图7所示，在一般的货物搬运过程中，机器人需要将一辆货车上的目标货物，搬运到另一辆货车中的放货区域上。具体实施时，机器人空载移动到第一目标货车附近，通过第二感知设备获取第一目标货车的点云数据，根据第一目标货车的点云数据确定第一目标货车的位姿信息，机器人根据第一目标货车的位姿信息进入到第一目标货车的车厢中。接着机器人通过第一感知设备获取第一目标货车上的目标货物的点云数据，根据目标货物的点云数据，确定目标货物的位姿信息，并根据目标货物的位姿信息对目标货物进行提取。机器人提取到目标货物后，载着目标货物离开第一目标货车的车厢，实现目标货物的卸车过程。
机器人载着目标货物移动到第二目标货车附近，通过第二感知设备获取第二目标货车的点云数据，根据第二目标货车的点云数据确定第二目标货车的位姿信息，机器人根据第二目标货车的位姿信息进入到第二目标货车的车厢中。接着机器人通过第二感知设备获取第二目标货车上的放货区域的点云数据，根据放货区域的点云数据，确定放货区域的位姿信息，并根据放货区域的位姿信息将目标货物放置到放货区域上，实现目标货物的装车过程。最后机器人空载离开第二目标货车的车厢，并循环上述过程，实现目标货物的不断搬运。
请参阅图8，图8为一个实施例公开的一种货物搬运装置的结构示意图，该货物搬运装置可应用于如图1所示的应用场景中的机器人10，机器人10设置有第一感知设备11和第二感知设备12。该货物搬运装置800可包括：第一感知模块810、货物提取模块820、第二感知模块830以及货物放置模块840。
第一感知模块810，用于获取第一感知设备采集的针对目标货物的第一点云数据，根据第一点云数据确定目标货物的第一位姿信息；
货物提取模块820，用于根据第一位姿信息提取目标货物；
第二感知模块830，用于获取第二感知设备采集的针对放货区域的第二点云数据，根据第二点云数据确定放货区域的第二位姿信息；其中，第二感知设备采集的点云数据的点云密度小于第一感知设备采集的点云数据的点云密度；
货物放置模块840，用于根据第二位姿信息，将目标货物放置在放货区域。
在一些实施例中，第一感知模块810，还用于：
获取第一感知设备采集的针对多个货物的初始点云数据；
对初始点云数据执行点云重建操作，生成多个货物的第一点云数据；
对多个货物的第一点云数据执行点云分割操作，以获取目标货物对应的第一点云数据；
根据目标货物对应的第一点云数据确定目标货物在地面坐标系下的坐标，并根据地面坐标系下的坐标确定目标货物的第一位姿信息。
在一些实施例中，机器人还包括里程计装置。
第一感知模块810，还用于：
在获取第一感知设备采集的针对目标货物的第一点云数据，根据第一点云数据确定目标货物的第一位姿信息之后，获取通过里程计装置采集的机器人的多帧里程信息；
根据每个第一点云数据对应的采集时刻以及每帧里程信息对应的时间戳，将多个第一点云数据与多帧里程信息进行匹配；
根据任一第一点云数据匹配的第一里程信息以及最新第一点云数据匹配的第一目标里程信息，对第一点云数据进行修正。
请参阅图9，图9为一个实施例公开的另一种货物搬运装置的结构示意图，该货物搬运装置可应用于如图3所示的应用场景中的机器人10，机器人10设置有第一感知设备11和第二感知设备12，放货区域30位于目标货车的车厢中。该货物搬运装置800可包括：第一感知模块810、货物提取模块820、第二感知模块830、货物放置模块840以及全向移动模块850。
第一感知模块810，用于获取第一感知设备采集的针对目标货物的第一点云数据，根据第一点云数据确定目标货物的第一位姿信息；
货物提取模块820，用于根据第一位姿信息提取目标货物；
第二感知模块830，用于获取第二感知设备采集的针对目标货车的第三点云数据，根据第三点云数据确定目标货车的第三位姿信息；
全向移动模块850，用于根据第三位姿信息进入目标货车的车厢；
第二感知模块830，还用于获取第二感知设备采集的针对放货区域的第二点云数据，根据第二点云数据确定放货区域的第二位姿信息；其中，第二感知设备采集的点云数据的点云密度小于第一感知设备采集的点云数据的点云密度；
货物放置模块840，用于根据第二位姿信息，移动至放货区域，并将目标货物放置在放货区域，以使机器人将目标货物装入到目标货车的车厢中。
在一些实施例中，目标货车包括两侧栏板和/或车厢厢体。
第二感知模块830，还用于：
获取第二感知设备采集的针对两侧栏板和/或车厢厢体的第三点云数据；
根据第三点云数据确定目标货车与地面之间的倾斜角以及目标货车的空间坐标，以得到目标货车的第三位姿信息。
请参阅图10，图10为一个实施例公开的又一种货物搬运装置的结构示意图，该货物搬运装置可应用于如图5所示的应用场景中的机器人10，机器人10设置有第一感知设备11和第二感知设备12，放货区域30位于所述目标货车的外部。该货物搬运装置800可包括：第一感知模块810、货物提取模块820、第二感知模块830、货物放置模块840以及全向移动模块850。
第二感知模块830，用于获取第二感知设备采集的针对目标货车的第三点云数据，根据第三点云数据确定目标货车的第三位姿信息；
全向移动模块850，用于根据第三位姿信息进入目标货车的车厢；
第一感知模块810，用于获取第一感知设备采集的针对目标货物的第一点云数据，根据第一点云数据确定目标货物的第一位姿信息；
货物提取模块820，用于根据第一位姿信息提取目标货物；
全向移动模块850，还用于离开目标货车的车厢，并且向放货区域进行移动；
第二感知模块830，还用于获取第二感知设备采集的针对放货区域的第二点云数据，根据第二点云数据确定放货区域的第二位姿信息；其中，第二感知设备采集的点云数据的点云密度小于第一感知设备采集的点云数据的点云密度；
货物放置模块840，用于根据第二位姿信息，将目标货物放置在放货区域。
在一些实施例中，目标货车包括两侧栏板和/或车厢厢体。
第二感知模块830，还用于：
获取第二感知设备采集的针对两侧栏板和/或车厢厢体的第三点云数据；
根据第三点云数据确定目标货车与地面之间的倾斜角以及目标货车的空间坐标，以得到目标货车的第三位姿信息。
请参阅图11，图11为一个实施例公开的一种机器人的结构示意图。如图11所示，该机器人1100可以包括：
存储有可执行程序代码的存储器1110。
与存储器1110耦合的处理器1120。
其中，处理器1120调用存储器1110中存储的可执行程序代码，执行本申请实施例公开的任意一种货物搬运方法。
需要说明的是，图11所示的机器人还可以包括电源、输入按键、摄像头、扬声器、屏幕、RF电路、Wi-Fi模块、蓝牙模块等未显示的组件，本实施例不作赘述。
本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行本申请实施例公开的任意一种货物搬运方法。
本申请实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行本申请实施例公开的任意一种货物搬运方法。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备（可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器）执行本申请的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器（Read-Only Memory，ROM）、随机存储器（Random Access Memory，RAM）、可编程只读存储器（Programmable Read-only Memory，PROM）、可擦除可编程只读存储器（Erasable Programmable Read Only Memory，EPROM）、一次可编程只读存储器（One-time Programmable Read-Only Memory，OTPROM）、电子抹除式可复写只读存储器（Electrically-Erasable Programmable Read-Only Memory，EEPROM）、只读光盘（CompactDisc Read-Only Memory，CD-ROM）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本申请实施例公开的货物搬运方法、装置及机器人进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时，对于本领域的一般技术人员，根据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种货物搬运方法，其特征在于，应用于机器人，所述机器人设置有第一感知设备以及第二感知设备，所述方法包括：
获取所述第一感知设备采集的针对目标货物的第一点云数据，根据所述第一点云数据确定所述目标货物的第一位姿信息；
根据所述第一位姿信息提取所述目标货物；
获取所述第二感知设备采集的针对放货区域的第二点云数据，根据所述第二点云数据确定所述放货区域的第二位姿信息；其中，所述第二感知设备采集的点云数据的点云密度小于所述第一感知设备采集的点云数据的点云密度，所述第二感知设备采集到的目标对象的精度低于所述第一感知设备采集到的目标对象的精度；
根据所述第二位姿信息，将所述目标货物放置在所述放货区域；
所述机器人还包括里程计装置；在所述获取所述第一感知设备采集的针对目标货物的第一点云数据，根据所述第一点云数据确定所述目标货物的第一位姿信息之后，所述方法还包括：
获取通过所述里程计装置采集的所述机器人的多帧里程信息；
根据每个所述第一点云数据对应的采集时刻以及每帧所述里程信息对应的时间戳，将多个第一点云数据与所述多帧里程信息进行匹配；
根据任一所述第一点云数据匹配的第一里程信息以及最新第一点云数据匹配的第一目标里程信息，对所述第一点云数据进行修正。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述第二感知设备采集的针对目标货车的第三点云数据，根据所述第三点云数据确定所述目标货车的第三位姿信息；
根据所述第三位姿信息进入所述目标货车的车厢。
3.根据权利要求2所述的方法，其特征在于，所述目标货车包括两侧栏板和/或车厢厢体；
所述获取所述第二感知设备采集的针对目标货车的第三点云数据，根据所述第三点云数据确定所述目标货车的第三位姿信息，包括：
获取所述第二感知设备采集的针对所述两侧栏板和/或车厢厢体的第三点云数据；
根据所述第三点云数据确定所述目标货车与地面之间的倾斜角以及所述目标货车的空间坐标，以得到所述目标货车的第三位姿信息。
4.根据权利要求2所述的方法，其特征在于，所述放货区域位于所述目标货车的车厢中；
所述根据所述第二位姿信息，将所述目标货物放置在所述放货区域，包括：
在所述机器人根据所述第三位姿信息进入到所述目标货车的车厢之后，根据所述第二位姿信息，移动至所述放货区域，并将所述目标货物放置在所述放货区域，以使所述机器人将所述目标货物装入到所述目标货车的车厢中。
5.根据权利要求2所述的方法，其特征在于，所述放货区域位于所述目标货车的外部；
所述根据所述第一位姿信息提取所述目标货物，包括：
在所述机器人根据所述第三位姿信息进入所述目标货车的车厢之后，根据所述第一位姿信息提取所述目标货物；
离开所述目标货车的车厢，并且向所述放货区域进行移动，以使所述机器人将所述目标货物从所述目标货车中进行卸下。
6.根据权利要求1~5任一所述的方法，其特征在于，所述获取所述第一感知设备采集的针对目标货物的第一点云数据，根据所述第一点云数据确定所述目标货物的第一位姿信息，包括：
获取所述第一感知设备采集的针对多个货物的初始点云数据；
对所述初始点云数据执行点云重建操作，生成所述多个货物的第一点云数据；
对所述多个货物的第一点云数据执行点云分割操作，以获取目标货物对应的第一点云数据；
根据所述目标货物对应的第一点云数据确定所述目标货物在地面坐标系下的坐标，并根据所述地面坐标系下的坐标确定所述目标货物的第一位姿信息。
7.根据权利要求1~5任一所述的方法，其特征在于，所述第一感知设备为视觉检测装置，所述第二感知设备为激光检测装置，所述第一点云数据由所述第一感知设备采集针对所述目标货物的图像数据，并依据所述图像数据与点云数据之间的转化关系转化得到；所述第二点云数据由所述第二感知设备针对所述放货区域直接采集得到，所述第二感知设备直接采集的点云数据的点云密度小于所述第一感知设备采集的图像数据转化得到的点云数据的点云密度；
或者，所述第一感知设备和所述第二感知设备均为激光检测装置，所述第一点云数据由所述第一感知设备针对目标货物直接采集得到，所述第二点云数据由所述第二感知设备针对放货区域直接采集得到，所述第二感知设备直接采集的点云数据的点云密度小于所述第一感知设备直接采集的点云数据的点云密度。
8.一种货物搬运装置，其特征在于，所述货物搬运装置应用于机器人，所述机器人包括第一感知设备、第二感知设备和里程计装置，所述货物搬运装置包括：
第一感知模块，用于获取所述第一感知设备采集的针对目标货物的第一点云数据，根据所述第一点云数据确定所述目标货物的第一位姿信息；
货物提取模块，用于根据所述第一位姿信息提取所述目标货物；
第二感知模块，用于获取所述第二感知设备采集的针对放货区域的第二点云数据，根据所述第二点云数据确定所述放货区域的第二位姿信息；其中，所述第二感知设备采集的点云数据的点云密度小于所述第一感知设备采集的点云数据的点云密度，所述第二感知设备采集到的目标对象的精度低于所述第一感知设备采集到的目标对象的精度；
货物放置模块，用于根据所述第二位姿信息，将所述目标货物放置在所述放货区域；
所述第一感知模块，还用于在所述获取所述第一感知设备采集的针对目标货物的第一点云数据，根据所述第一点云数据确定所述目标货物的第一位姿信息之后，获取通过所述里程计装置采集的所述装置的多帧里程信息；根据每个所述第一点云数据对应的采集时刻以及每帧所述里程信息对应的时间戳，将多个第一点云数据与所述多帧里程信息进行匹配；根据任一所述第一点云数据匹配的第一里程信息以及最新第一点云数据匹配的第一目标里程信息，对所述第一点云数据进行修正。
9.一种机器人，其特征在于，所述机器人包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至7任一项所述的方法。
CN202310680784.6A 2023-06-09 2023-06-09 货物搬运方法、装置及机器人 Active CN116425088B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310680784.6A CN116425088B (zh) 2023-06-09 2023-06-09 货物搬运方法、装置及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310680784.6A CN116425088B (zh) 2023-06-09 2023-06-09 货物搬运方法、装置及机器人

Publications (2)

Publication Number Publication Date
CN116425088A CN116425088A (zh) 2023-07-14
CN116425088B true CN116425088B (zh) 2023-10-24

Family

ID=87085761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310680784.6A Active CN116425088B (zh) 2023-06-09 2023-06-09 货物搬运方法、装置及机器人

Country Status (1)

Country Link
CN (1) CN116425088B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117521936B (zh) * 2024-01-04 2024-05-07 未来机器人（深圳）有限公司 搬运设备的调度方法、装置及电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108007451A (zh) * 2017-11-10 2018-05-08 未来机器人（深圳）有限公司 货物承载装置位姿的检测方法、装置、计算机设备和存储介质
CN111060101A (zh) * 2018-10-16 2020-04-24 深圳市优必选科技有限公司 视觉辅助的距离slam方法及装置、机器人
CN111190191A (zh) * 2019-12-11 2020-05-22 杭州电子科技大学 一种基于激光slam的扫描匹配方法
CN112278891A (zh) * 2020-12-29 2021-01-29 南京景曜智能科技有限公司 一种车厢内部姿态检测方法
CN113740875A (zh) * 2021-08-03 2021-12-03 上海大学 一种基于激光里程计和点云描述符匹配的自动驾驶车辆定位方法
CN114455511A (zh) * 2021-12-27 2022-05-10 劢微机器人科技(深圳)有限公司 叉车装货方法及设备、计算机可读存储介质
CN114494453A (zh) * 2021-12-29 2022-05-13 劢微机器人科技(深圳)有限公司 基于雷达和相机的自动装卸车方法及自动装卸车系统
CN115018895A (zh) * 2022-05-25 2022-09-06 劢微机器人科技(深圳)有限公司 无人叉车高位货架放货方法、装置、设备及存储介质
CN115205373A (zh) * 2022-06-09 2022-10-18 劢微机器人(深圳)有限公司 基于雷达和相机融合的卸货方法、检测装置及存储介质
CN115375752A (zh) * 2022-08-31 2022-11-22 中科海微(北京)科技有限公司 基于神经网络的装载率确定方法、装置
CN116125980A (zh) * 2022-12-30 2023-05-16 中国联合网络通信集团有限公司 无人货车驾驶方法、装置、电子设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108007451A (zh) * 2017-11-10 2018-05-08 未来机器人（深圳）有限公司 货物承载装置位姿的检测方法、装置、计算机设备和存储介质
CN111060101A (zh) * 2018-10-16 2020-04-24 深圳市优必选科技有限公司 视觉辅助的距离slam方法及装置、机器人
CN111190191A (zh) * 2019-12-11 2020-05-22 杭州电子科技大学 一种基于激光slam的扫描匹配方法
CN112278891A (zh) * 2020-12-29 2021-01-29 南京景曜智能科技有限公司 一种车厢内部姿态检测方法
CN113740875A (zh) * 2021-08-03 2021-12-03 上海大学 一种基于激光里程计和点云描述符匹配的自动驾驶车辆定位方法
CN114455511A (zh) * 2021-12-27 2022-05-10 劢微机器人科技(深圳)有限公司 叉车装货方法及设备、计算机可读存储介质
CN114494453A (zh) * 2021-12-29 2022-05-13 劢微机器人科技(深圳)有限公司 基于雷达和相机的自动装卸车方法及自动装卸车系统
CN115018895A (zh) * 2022-05-25 2022-09-06 劢微机器人科技(深圳)有限公司 无人叉车高位货架放货方法、装置、设备及存储介质
CN115205373A (zh) * 2022-06-09 2022-10-18 劢微机器人(深圳)有限公司 基于雷达和相机融合的卸货方法、检测装置及存储介质
CN115375752A (zh) * 2022-08-31 2022-11-22 中科海微(北京)科技有限公司 基于神经网络的装载率确定方法、装置
CN116125980A (zh) * 2022-12-30 2023-05-16 中国联合网络通信集团有限公司 无人货车驾驶方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN116425088A (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
US10451405B2 (en) Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue
CN110837814B (zh) 车辆导航方法、装置及计算机可读存储介质
CN116425088B (zh) 货物搬运方法、装置及机器人
CN111328408B (zh) 形状信息生成设备、控制设备、装卸设备、物流系统、程序和控制方法
CN105431370A (zh) 用于使用集装箱起重机将集装箱自动地卸货在卸货目标上的方法和系统
CN112379387A (zh) 货位自动标定方法、装置、设备及存储介质
US20210101747A1 (en) Positioning apparatus capable of measuring position of moving body using image capturing apparatus
CN109987550A (zh) 一种高位叉车、归还仓储容器的校准方法及存储介质
WO2022121460A1 (zh) Agv智能叉车及地堆库存区域站台状态的检测方法、装置
US11977392B2 (en) Identifying elements in an environment
CN110816522A (zh) 车辆姿态的控制方法、设备及计算机可读存储介质
KR20200104223A (ko) 기준 마커를 포함하는 컨테이너 크레인
EP3904993B1 (en) Positioning apparatus and moving body
JP2021160931A (ja) 荷役システム
CN116341772A (zh) 库位规划方法、装置、电子设备及存储介质
WO2020114638A1 (en) A system and method for alignment of a terminal truck relative to a crane
CN113084815B (zh) 一种带载机器人的物理尺寸计算方法及装置、机器人
US20220355474A1 (en) Method and computing system for performing robot motion planning and repository detection
CN113605766B (zh) 一种汽车搬运机器人的探测系统及位置调整方法
CN117897348A (zh) 货架定位方法、货架对接方法以及装置、设备、介质
CN219791778U (zh) 装卸系统
CN116342858B (zh) 物体检测方法、装置、电子设备及存储介质
CN117521936B (zh) 搬运设备的调度方法、装置及电子设备
WO2024114682A1 (zh) 定位方法、装置、计算设备和存储介质
CN115330854A (zh) 货物管理系统和货物管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant