CN114089735A - 可移动机器人调整货架位姿的方法和装置 - Google Patents

可移动机器人调整货架位姿的方法和装置 Download PDF

Info

Publication number
CN114089735A
CN114089735A CN202110134237.9A CN202110134237A CN114089735A CN 114089735 A CN114089735 A CN 114089735A CN 202110134237 A CN202110134237 A CN 202110134237A CN 114089735 A CN114089735 A CN 114089735A
Authority
CN
China
Prior art keywords
shelf
pose
preset
identification
target shelf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110134237.9A
Other languages
English (en)
Inventor
范小燕
汤敬仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN202110134237.9A priority Critical patent/CN114089735A/zh
Priority to EP22745063.2A priority patent/EP4187348A4/en
Priority to PCT/CN2022/072023 priority patent/WO2022161186A1/zh
Priority to JP2023509431A priority patent/JP7507964B2/ja
Publication of CN114089735A publication Critical patent/CN114089735A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Warehouses Or Storage Devices (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本公开的实施例公开了可移动机器人调整货架位姿的方法和装置。该方法的一具体实施方式包括：获取目标货架的货架标识图像，货架标识图像为图像采集装置在预设采集位置以预设采集姿态拍摄目标货架的货架标识得到的图像；从货架标识图像识别出目标货架的位姿标识，并基于目标货架的位姿标识，确定目标货架的当前位姿；响应于目标货架的当前位姿与预设位姿的差值大于预设的偏差阈值，确定目标货架发生偏移；响应于确定目标货架发生偏移，基于目标货架的当前位姿与预设位姿的差值，生成搬运路径；将搬运路径发送至可移动机器人，以使可移动机器人按照搬运路径将目标货架的当前位姿调整至与预设位姿一致。可以自动检测和纠正货架的位姿。

Description

可移动机器人调整货架位姿的方法和装置
技术领域
本公开的实施例涉及计算机技术领域，具体涉及智慧仓库领域，尤其涉及一种可移动机器人调整货位姿的方法和装置。
背景技术
可移动机器人在智慧仓库中的应用极为广泛，通常用来搬运货架。可移动机器人在搬运货架的过程中，可能会与周围的货架发生接触，导致周围的货架发生偏移。发生偏移的货架会影响到可移动机器人的搬运任务，为仓储的运营带来安全隐患。
相关技术中，通常由运营人员定期对货架进行观察，并对发生偏移的货架进行人为纠正。
发明内容
本公开的实施例提出了可移动机器人调整货位姿的方法和装置。
第一方面，本公开的实施例提供了一种可移动机器人调整货位姿的方法，该方法包括：获取目标货架的货架标识图像，货架标识图像为图像采集装置在预设采集位置以预设采集姿态拍摄目标货架的货架标识得到的图像，货架标识包括目标货架的位姿标识；从货架标识图像识别出目标货架的位姿标识，并基于目标货架的位姿标识，确定目标货架的当前位姿；响应于目标货架的当前位姿与预设位姿的差值大于预设的偏差阈值，确定目标货架发生偏移；响应于确定目标货架发生偏移，基于目标货架的当前位姿与预设位姿的差值，生成搬运路径；将搬运路径发送至可移动机器人，以使可移动机器人按照搬运路径将目标货架的当前位姿调整至与预设位姿一致。
在一些实施例中，货架标识的中心点与目标货架的中心点在水平面内的投影重合；位姿标识包括货架的长度方向标识、货架的宽度方向标识和距离标识，距离标识包括均匀分布于货架标识区域内的多个区域标识，每个区域标识表征该区域标识所在的区域距离货架标识的中心点的相对位置；以及，目标货架的当前位姿经由如下步骤确定：基于货架标识图像中目标货架的长度方向标识和宽度方向标识，确定目标货架当前的长度方向和宽度方向，得到目标货架的当前姿态；从货架标识图像中的区域标识中识别出目标货架相对于所述图像采集装置的相对位置，并基于目标货架相对于图像采集装置的相对位置和预设采集位置，确定目标货架的当前位置；基于目标货架的当前姿态和当前位置，得到目标货架的当前位姿。
在一些实施例中，预设采集位置设置有预设采集位置标识，预设采集位置标识包括第一参考方向标识和第二参考方向标识；方法还包括：获取预设采集位置标识的图像；从预设采集位置标识的图像中识别出第一参考方向标识和第二参考方向标识；将第一参考方向标识指示的方向确定为目标货架的预设长度方向，将第二参考方向标识指示的方向确定为目标货架的预设宽度方向，得到目标货架的预设姿态；将预设采集位置标识的中心点确定为目标货架的预设位置；基于预设姿态和目标货架的预设位置，确定目标货架的预设位姿。
在一些实施例中，该方法还包括：响应于确定货架标识图像中不存在目标货架的货架标识，发送报警信息。
第二方面，本公开的实施例提供了一种可移动机器人调整货架位姿的装置，装置包括：图像获取单元，被配置成获取目标货架的货架标识图像，货架标识图像为图像采集装置在预设采集位置以预设采集姿态拍摄目标货架的货架标识得到的图像，货架标识包括目标货架的位姿标识；图像识别单元，被配置成从货架标识图像识别出目标货架的位姿标识，并基于目标货架的位姿标识，确定目标货架的当前位姿；位姿确定单元，被配置成响应于目标货架的当前位姿与预设位姿的差值大于预设的偏差阈值，确定目标货架发生偏移；路径生成单元，被配置成响应于确定目标货架发生偏移，基于目标货架的当前位姿与预设位姿的差值，生成搬运路径；路径发送单元，被配置成将搬运路径发送至可移动机器人，以使可移动机器人按照搬运路径将目标货架的当前位姿调整至与预设位姿一致。
在一些实施例中，货架标识的中心点与目标货架的中心点在水平面内的投影重合；位姿标识包括货架的长度方向标识、货架的宽度方向标识和距离标识，距离标识包括均匀分布于货架标识区域内的多个区域标识，每个区域标识表征该区域标识所在的区域距离货架标识的中心点的相对位置；以及，图像识别单元进一步包括：当前姿态确定模块，被配置成基于货架标识图像中目标货架的长度方向标识和宽度方向标识，确定目标货架当前的长度方向和宽度方向，得到目标货架的当前姿态；当前位置确定模块，被配置成从货架标识图像中的区域标识中识别出目标货架相对于图像采集装置的相对位置，并基于目标货架相对于图像采集装置的相对位置和预设采集位置，确定所述目标货架的当前位置；当前位姿确定模块，被配置成基于目标货架的当前姿态和当前位置，得到目标货架的当前位姿。
在一些实施例中，预设采集位置设置有预设采集位置标识；预设采集位置标识包括第一参考方向标识和第二参考方向标识；装置还包括预设位姿确定单元，被配置成：获取预设采集位置标识的图像；从预设采集位置标识的图像中识别出第一参考方向标识和第二参考方向标识；将第一参考方向标识指示的方向确定为目标货架的预设长度方向，将第二参考方向标识指示的方向确定为目标货架的预设宽度方向，得到目标货架的预设姿态；将预设采集位置标识的中心点确定为目标货架的预设位置；基于预设姿态和预设位置，确定目标货架的预设位姿。
在一些实施例中，该装置还包括：报警单元，被配置成响应于货架标识图像中不存在目标货架的货架标识，发送报警信息。
第三方面，本公开的实施例还公开了一种可移动机器人，包括：第一图像采集装置、顶升装置和控制器，其中，第一图像采集装置固定设置于可移动机器人的车体上，被配置成竖直向上采集设置于货架底面的货架标识的图像；顶升装置包括竖直运动组件和旋转运动组件，竖直运动组件与旋转运动组件连接，竖直运动组件被配置成带动旋转运动组件沿竖直方向运动，旋转运动组件被配置成带动货架绕竖直方向转动；控制器与第一图像采集装置和顶升装置通信连接，被配置成执行上述可移动机器人调整货架位姿的方法中的步骤。
在一些实施例中，可移动机器人还包括固定设置于可移动机器人的车体上的第二图像采集装置，被配置成竖直向下采集设置于地面上的预设采集位置标识的图像；以及，控制器还被配置成：识别预设采集位置标识的图像，以控制可移动机器人移动至预设采集位置。
在一些实施例中，旋转运动组件包括水平设置的托盘，托盘的底面与竖直运动组件连接，且托盘的中心区域设置有竖直通孔，竖直通孔的中心轴与托盘的转轴共线；以及，第一图像采集装置位于托盘在水平面内投影的通孔区域中。
第四方面，本公开的实施例还公开了一种搬运系统，包括：货架、无人搬运车和上述可移动机器人，其中，货架的底面中心设置有货架标识；无人搬运车可移动机器人调整货架位姿；可移动机器人被配置成检测货架是否发生偏移，以及，将发生偏移的货架的位姿调整至预设位姿。
在一些实施例中，该搬运系统至少包括第一可移动机器人和第二可移动机器人，被配置成：第一可移动机器人和第二可移动机器人分别检测货架是否发生偏移，并将第一可移动机器人和第二可移动机器人同时确定为发生偏移的货架确定为待调整货架；第一可移动机器人还被配置成将待调整货架的位姿调整至预设位姿；第二可移动机器人还被配置成检测待调整货架调整后的位姿是否发生偏移，以及，响应于确定待调整货架调整后的位姿发生偏移，发送报警信息。
本公开的实施例提供的可移动机器人调整货架位姿的方法和装置，可以基于货架标识确定目标货架的当前位姿，通过当前位姿与预设位姿的差值确定目标货架是否发生偏移。若目标货架发生偏移，则基于当前位姿与预设位姿的差值生成搬运路径，以指示可移动机器人将目标货架的位姿调整至与预设位姿一致，实现了货架位姿的自动检测和纠正，可以降低仓库的运营成本。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
图1是根据本公开的可移动机器人调整货架位姿的方法的一个实施例的流程图；
图2是图1所示的可移动机器人调整货架位姿的方法的一个应用场景示意图；
图3是根据本公开的可移动机器人调整货架位姿的方法的又一个实施例的流程图；
图4是根据本公开的可移动机器人的一个实施例的结构示意图；
图5是根据本公开的可移动机器人调整货架位姿的装置的一个实施例的结构示意图；
图6是适于用来实现本公开的实施例的电子设备的结构示意图。
附图标记：401：第一图像采集装置；402：顶升装置；403：竖直运动组件；404：旋转运动组件。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了根据本公开的可移动机器人调整货架位姿的方法的一个实施例的流程100。该流程包括以下步骤：
步骤101，获取目标货架的货架标识图像，货架标识图像为图像采集装置在预设采集位置以预设采集姿态拍摄目标货架的货架标识得到的图像，货架标识包括目标货架的位姿标识。
在本实施例中，位姿标识用于表征货架的在水平面内的姿态信息和位置信息。图像采集装置拍摄货架标识时的预设采集位置和预设姿态，用于预先确定图像采集装置的相机外参。如此，可移动机器人调整货架位姿的方法运行于其上的电子设备(例如可以是运行有WMS(Warehouse Management System，仓储物流管理系统)的终端设备)可以通过网络获取图像采集装置采集的货架标识图像，并基于采集到的货架标识图像中位姿标识的像素坐标，通过图像处理领域中的坐标转换算法，结合图像采集装置的相机外参和相机内参，确定出目标货架在实际场景中的当前位姿。
作为示例，可以预先将货架标识固定在目标货架上(例如可以是货架的水平面上)，然后以货架标识的中心点表征目标货架的位置信息。例如，可以在货架标识中以图像(例如可以是箭头)的形式标记出货架的方向，并在货架标识中设置均匀分布的关键点，相邻两个关键点之间的距离均为预设的固定长度。如此，可移动机器人调整货架位姿的方法运行于其上的电子设备可以从货架标识图像中识别出目标货架的当前姿态；以及，通过对比货架标识图像中关键点之间的像素距离与预设的固定长度，确定货架标识图像的缩放系数，进而确定货架标识相对于图像采集装置的相对位置；再结合图像采集装置的预设采集位置，得到目标货架的当前位姿。
再例如，货架标识还可以采用间隔排列的黑白格图像作为目标货架的位姿标识，每个格子区域的边长均为标定长度，且边长的延伸方向与目标货架的长度方向或宽度方向平行，如此，可以通过格子图像同时表征目标货架的位置信息和姿态信息。
在一个具体的示例中，可移动机器人调整货架位姿的方法运行于其上的电子设备可以是AGV(Automated Guided Vehicle，无人搬运车)的控制器，该AGV的车体上可以设置有图像采集装置。当AGV行进至预设采集位置时，由图像采集装置以预设姿态拍摄目标货架上附着的货架标识，得到目标货架的货架标识图像，并将货架标识图像发送至AGV的控制器。
步骤102，从货架标识图像识别出目标货架的位姿标识，并基于目标货架的位姿标识，确定目标货架的当前位姿。
在本实施例中，可移动机器人调整货架位姿的方法运行于其上的电子设备中可以从货架标识图像中识别出目标货架的位姿标识，确定出位姿标识的像素坐标，然后结合图像采集装置的相机外参、相机内参以及货架标识相对于目标货架的相对位姿，确定出目标货架的当前位姿，例如可以采用位姿矩阵的形式表征目标货架的当前位姿。
可以理解的是，当前位姿包括当前位置信息和当前姿态信息，例如可以通过坐标表征当前位置信息，通过方向向量表征当前姿态信息。
需要说明的是，基于图像的像素坐标、相机外参和相机内参，确定图像中各像素点在实际场景中的位置是图像处理领域的成熟技术，本申请对此不做限制。
步骤103，响应于目标货架的当前位姿与预设位姿的差值大于预设的偏差阈值，确定目标货架发生偏移。
在本实施例中，当前位姿与预设位姿的差值包括姿态差值和位置差值，其中，姿态差值可以用方向夹角表示，例如当前位姿中目标货架的长度方向与预设位姿中目标货架的长度方向的方向夹角。相应地，偏差阈值也包括姿态差阈值和位置差阈值。
作为示例，可移动机器人调整货架位姿的方法运行于其上的电子设备中可以基于步骤103中得到的目标货架当前的GPS(Global Positioning System，全球定位系统)坐标以及预设的GPS坐标，两者的差值即为目标货架的位置差值；然后基于步骤103中得到的目标货架的方向向量与预设的方向向量的夹角确定出目标货架相对于预设姿态的偏转角度，即目标货架的姿态差值。之后，电子设备分别对比位置差值与位置差阈值以及姿态差值与姿态差阈值，如果两个差值均不大于阈值，则确定目标货架未发生偏移；如果两个差值有一个或两个大于阈值，则确定目标货架发生偏移。
步骤104，响应于确定目标货架发生偏移，基于目标货架的当前位姿与预设位姿的差值，生成搬运路径。
在本实施例中，搬运路径用于指示可移动机器人搬运货架以将货架的当前姿态调整至与预设姿态一致。
作为示例，可移动机器人调整货架位姿的方法运行于其上的电子设备在步骤103中确定出的目标货架的当前位姿与预设位姿的差值为：方向夹角为30°，第一方向上的距离为-10cm，第二方向上的距离为30cm，其中正负号表示参考方向。则电子设备生成的搬运路径用于指示可移动机器人执行如下动作：将目标货架在当前位置旋转-30°，之后将目标货架沿第一方向行进10cm，最后再沿第二方向的反方向行进30cm。
步骤105，将搬运路径发送至可移动机器人，以使可移动机器人按照搬运路径将目标货架的当前位姿调整至与预设位姿一致。
作为示例，可移动机器人调整货架位姿的方法运行于其上的电子设备可以是终端设备，该终端设备可以通过网络与执行搬运任务的可移动机器人进行数据交互，以将搬运路径发送至可移动机器人。
再例如，可移动机器人调整货架位姿的方法运行于其上的电子设备可以也可以是可移动机器人的控制器，如此，可移动机器人的控制器可以直接控制可移动机器人移动至目标货架的底部，然后由可移动机器人托举起目标货架，并按照搬运路径运动，以调整目标货架的姿态并将目标货架运送至预设位姿中指向的位置，完成目标货架的姿态纠正。
继续参考图2，图2是如1所示方法的一个应用场景示意图。首先参考图2(a)所示的场景，货架标识设置在目标货架201的底面，AGV202的车体上装备有图像采集装置。当AGV202行进至目标货架下方的预设采集位置之后，由图像采集装置拍摄货架标识得到目标货架201的货架标识图像。接着参考图2(b)，AGV202通过网络将货架标识图像发送至终端设备203，由终端设备203对获取到的货架标识图像进行识别，确定出目标货架201的当前位姿，并确定出当前位姿与预设位姿的差值；然后，通过对比差值与预设偏差阈值确定目标货架201是否发生偏移，若确定目标货架201发生偏移，则基于当前位姿与预设位姿的差值生成搬运路径，并将搬运路径发送至AGV202，以指示AGV202按照搬运路径调整目标货架202的位姿。如图2(c)所示，位姿调整完毕后的目标货架201的姿态与预设姿态一致。
本公开的实施例提供的可移动机器人调整货架位姿的方法和装置，可以基于货架标识确定目标货架的当前位姿，通过当前位姿与预设位姿的差值确定目标货架是否发生偏移。若目标货架发生偏移，则基于当前位姿与预设位姿的差值生成搬运路径，以指示可移动机器人将目标货架的位姿调整至与预设位姿一致，实现了货架位姿的自动检测和纠正，可以降低仓库的运营成本。
接下来参考图3，其示出了本公开的可移动机器人调整货架位姿的方法的又一个实施例的流程300。该可移动机器人调整货架位姿的方法的流程300，包括以下步骤：
步骤301，获取目标货架的货架标识图像。
在本实施例中，货架标识的中心点与目标货架的中心点在水平面内的投影重合；位姿标识包括货架的长度方向标识、货架的宽度方向标识和距离标识，距离标识包括均匀分布于货架标识区域内的多个区域标识，每个区域标识表征该区域标识所在的区域距离货架标识的中心点的相对位置。
在本实施中，货架标识的中心点在水平面内的位置可以表征目标货架的水平位置。
作为示例，可以在货架标识中以箭头图标的形式标记目标货架的长度方向和宽度方向，如此，可移动机器人调整货架位姿的方法运行于其上的电子设备只需识别出货架标识图像中的箭头图标的指向，即可确定目标货架的当前姿态。
在另一个示例中，还可以采用如下方式在货架标识中表征目标货架的姿态：以货架标识的中心点为原点，以目标货架的长度方向和宽度方向为坐标轴，建立货架坐标系，并在货架标识中以图像的形式标记出坐标轴。如此，可移动机器人调整货架位姿的方法运行于其上的电子设备可以从货架标识图像中识别出货架坐标系，并通过货架坐标系与图像坐标系确定目标货架相对于图像采集设备的相对位姿，再结合图像采集装置在实际场景中的预设采集位置和预设采集姿态，确定出目标货架的当前位姿。
在本实现方式中，可以预先对货架标识中各区域与货架标识中心点的相对位置信息进行编码，并生成区域标识。
作为示例，可以预先以货架标识中心点为原点，以目标货架的长度方向和宽度方向为坐标轴，建立货架坐标系。然后将各区域的中心点在货架坐标系中的坐标作为各区域的相对位置信息，并对相对位置信息进行编码，生成可以被图像识别模型识别的图像(例如可以直接将坐标数值嵌入区域标识中)，即得到各区域的区域标识。
在一个具体的示例中，可以采用二维码图像作为区域标识，每个二维码图像均为边长相等的正方形，且二维码图像的边长的延伸方向与目标货架的长度方向或宽度方向平行，之后将二维码图像所在区域的中心点相对于货架标识中心点的相对位置编码成二维码图像。如此，图像采集装置只需识别出位于货架标识图像中心区域的二维码表征的信息，即可确定出目标货架的中心点的像素坐标，即得到了目标货架相对于图像采集装置的相对位置；然后再以二维码图像边长的延伸方向确定目标货架的长度方向和宽度方向，以此，确定出目标货架的相对于图像采集装置的相对姿态，结合目标货架的相对位置以及相对姿态即可得到目标货架相对于图像采集装置的相对位姿。之后，结合图像采集装置的在实际场景中的预设采集位置和预设采集姿态，即可确定目标货架在实际场景中的当前姿态。
步骤302，基于货架标识图像中目标货架的长度方向标识和宽度方向标识，确定目标货架当前的长度方向和宽度方向，得到目标货架的当前姿态。
在本实施例中，可移动机器人调整货架位姿的方法运行于其上的电子设备可以采用图像识别模型从步骤301中得到的货架标识图像中识别出目标货架的长度方向和宽度方向，例如可以是识别出货架标识图像中用于表征目标货架长度方向和宽度方向的图像标记、坐标轴或区域的边长的延伸方向，如此可以确定目标货架相对于图像采集装置的相对姿态，然后结合图像采集装置的预设采集姿态，确定目标货架的当前姿态。
步骤303，从货架标识图像中的区域标识中识别出目标货架相对于所述图像采集装置的相对位置，并基于目标货架相对于图像采集装置的相对位置和预设采集位置，确定目标货架的当前位置。
在本实施例中，可移动机器人调整货架位姿的方法运行于其上的电子设备可以将货架标识图像中心区域的区域标识作为表征目标货架相对于图像采集装置的相对位置的目标区域标识，然后从该区域标识中识别出该区域相对于货架标识中心点(即目标货架的中心点)的相对位置，即可得到目标货架相对于图像采集装置的相对位置，再结合图像采集装置在实际场景中的位置(预设采集位置)，即可确定目标货架的当前位置。
步骤304，基于目标货架的当前姿态和当前位置，得到目标货架的当前位姿。
作为示例，可移动机器人调整货架位姿的方法运行于其上的电子设备可以以向量的形式表征步骤302和步骤303中得到的目标货架的当前姿态和当前位置，然后以位姿矩阵的规则对各个向量进行组合，得到的位姿矩阵即可表征目标货架的当前位姿。
本实施例中提供的可移动机器人调整货架位姿的方法中，可以采用步骤305至步骤309确定目标货架的预设位姿。
步骤305，获取预设采集位置标识的图像。
在本实施例中，预设采集位置设置有预设采集位置标识；预设采集位置标识包括第一参考方向标识和第二参考方向标识。
在本实施例的一些可选的实现方式中，图像采集装置的预设采集姿态可以基于第一参考方向标识和第二参考方向标识确定，使得图像采集装置的图像坐标系中坐标轴的方向与第一参考方向标识或第二参考方向标识所指示的方向平行。如此，货架标识图像中目标货架的长度方向与宽度方向相对于图像坐标系的夹角与目标货架的当前姿态相对于预设姿态的差值是线性相关的，可移动机器人调整货架位姿的方法运行于其上的电子设备只需结合图像采集装置的缩放系数，通过线性计算即可确定目标货架的当前姿态相对于预设姿态的差值。
作为示例，可移动机器人调整货架位姿的方法运行于其上的电子设备可以是AGV的控制器，该AGV装载有两个摄像头，两个摄像头生成的图像的图像坐标系与AGV的行进方向平行或垂直。其中，第一摄像头的拍摄角度为竖直向上，用于拍摄目标货架的货架标识；第二摄像头的拍摄角度为竖直向下，用于拍摄预设采集位置标识。在AGV向目标货架的行进过程中，当第二摄像头捕捉到的预设采集位置标识的中心点与第二摄像头的中心点重合时，表示AGV已到达预设采集位置，AGV停止移动。之后，AGV的控制器从预设采集位置标识中识别出第一参考方向标识和第二参考方向标识，并基于第一参考方向标识和第二参考方向标识所指示的方向调整AGV的姿态，例如可以将第一参考方向标识指示的方向作为AGV的行进方向。如此，实现了第一摄像头预设采集位置和预设采集姿态的确定，并且第一摄像头的图像坐标系中坐标轴的方向与目标货架的预设长度方向或预设宽度方向是平行或垂直的。
步骤306，从预设采集位置标识的图像中识别出第一参考方向标识和第二参考方向标识。
步骤307，将第一参考方向标识指示的方向确定为目标货架的预设长度方向，将第二参考方向标识指示的方向确定为目标货架的预设宽度方向，得到目标货架的预设姿态。
在本实施例中，可移动机器人调整货架位姿的方法运行于其上的电子设备可以通过步骤306与步骤307，从预设采集位置标识中确定出目标货架的预设姿态。
进一步地，若图像采集装置的预设姿态基于第一参考方向标识和第二参考方向确定的，则图像采集装置的图像坐标系与目标货架的预设姿态坐标系是平行的，有助于减少运算数据量，提高运算效率。
步骤308，将预设采集位置标识的中心点确定为目标货架的预设位置。
在本实施中，将图像采集装置采集图像时的预设采集位置确定为目标货架的预设位置，使得图像采集装置拍摄的图像的中心点与目标货架的预设位置在水平面内的投影是重合的，如此一来，货架标识的中心点相对于货架标识图像的中心点的相对位置与目标货架的当前位置与目标货架的预设位置的差值是线性相关的，可移动机器人调整货架位姿的方法运行于其上的电子设备只需结合图像采集装置的缩放系数即可确定目标货架的当前位置与目标货架的预设位置的差值，从而减少了运算量，提高运算效率。
步骤309，基于目标货架的预设姿态和目标货架的预设位置，确定目标货架的预设位姿。
本实施例中，经由步骤305至步骤309，可移动机器人调整货架位姿的方法运行于其上的电子设备可以从预设采集位置标识中识别出目标货架的预设位姿。
进一步结合步骤305中的示例进行说明，第一摄像头和第二摄像头的中心与AGV的中心在竖直方向上共线，如此，AGV在预设采集位置上调整至预设采集姿态时，第一摄像头的图像坐标系中坐标轴方向与目标货架的预设长度方向平行或垂直，如此，可移动机器人调整货架位姿的方法运行于其上的电子设备可以采用线性变换，基于目标货架在货架标识图像中的相对位姿确定出目标货架相对于预设位姿的差值。从而，降低了运算数据量，提高了运算效率。
步骤310，响应于目标货架的当前位姿与预设位姿的差值大于预设的偏差阈值，确定目标货架发生偏移。
步骤311，响应于确定目标货架发生偏移，基于目标货架的当前位姿与预设位姿的差值，生成搬运路径。
步骤312，将搬运路径发送至可移动机器人，以使可移动机器人按照搬运路径将目标货架的当前位姿调整至与预设位姿一致。
步骤310至步骤312与前述步骤103至105相对应，此处不再赘述。
从图3中可以看出，本实施例中的可移动机器人调整货架位姿的方法的流程300突出了如下内容：通过识别货架标识中目标货架的长度方向和宽度方向确定目标货架的当前姿态；通过识别区域标识确定目标货架的当前位置；通过识别预设采集位置标识确定目标货架的预设位姿。有助于降低运算量，提高运算效率。
在上述实施例的一些可选的实现方式中，可移动机器人调整货架位姿的方法还可以包括：响应于确定货架标识图像中不存在目标货架的货架标识，发送报警信息。
在本实现方式中，货架标识图像中不存在目标货架的货架标识表示目标货架的偏移距离过大，由此造成的安全风险也较大，此时，应通知运营人员进行查看，以排除安全隐患。
接下来参考图4，其示出了本公开的可移动机器人的一个实施例的结构示意图，如图4所示，可移动机器人400包括：第一图像采集装置401、顶升装置402和控制器(图中未示出)，其中，第一图像采集装置401固定设置于可移动机器人的车体上，被配置成竖直向上采集设置于货架底面的货架标识的图像；顶升装置402包括竖直运动组件403和旋转运动组件404，竖直运动组件403与旋转运动组件404连接，竖直运动组件403被配置成带动旋转运动组件404沿竖直方向运动，旋转运动组件404被配置成带动货架绕竖直方向转动；控制器与第一图像采集装置401和顶升装置402通信连接，被配置成执行上述可移动机器人调整货架位姿的方法中的步骤。
在本实施例中，可移动机器人可以是仓储AGV，也可以是仓储AMR(AutonomousMobile Robot，自主移动机器人)。可移动机器人的控制器中装载有上述实施例提供的可移动机器人调整货架位姿的方法，以此控制可移动机器人识别货架是否发生偏移，以及当货架发生偏移时，自动纠正货架的位姿，可以降低仓库的运营成本。
在一个示例中，可移动机器人为AGV，AGV车体的顶部设置有摄像头。AGV可以通过内置的陀螺仪确定AGV的实时位置和行进方向。当AGV行进至目标货架的预设采集位置时，由控制器控制摄像头竖直向上拍摄货架底面的货架标识，并对得到的货架标识图像进行识别，以确定目标货架是否发生偏移。当确定目标货架发生偏移时，控制器基于目标货架当前位姿与预设位姿的差值生成搬运路径，并基于该搬运路径控制AGV依次执行如下步骤：控制AGV行进至目标货架底部的中心点；控制顶升装置中的竖直运动组件403上升以托起目标货架；控制旋转组件404带动目标货架转动，以将目标货架的姿态调整至与预设姿态一致；控制AGV移动至目标货架的预设位姿所指向的位置；控制竖直运动组件下降，以将目标货架放置在地面上。完成目标货架的位姿纠正。
在本实施例的一些可选的实现方式中，可移动机器人还包括固定设置于可移动机器人的车体上的第二图像采集装置(图中未示出)，被配置成竖直向下采集设置于地面上的预设采集位置标识的图像；以及，控制器还被配置成：识别预设采集位置标识的图像，以控制可移动机器人移动至预设采集位置。
在本实现方式中，可以通过预设采集位置标识在仓库中标记出预设采集位置，如此，可移动机器人只需通过第二图像采集装置采集预设采集位置标识的图像，并由控制器对采集到的预设采集位置标识的图像进行识别，即可确定可移动机器人是否到达预设采集位置。
在本实施例的一些可选的实现方式中，旋转运动组件404包括水平设置的托盘，托盘的底面与竖直运动组件连接，且托盘的中心区域设置有竖直通孔，竖直通孔的中心轴与托盘的转轴共线；以及，第一图像采集装置401位于托盘在水平面内投影的通孔区域中。
在本实现方式中，托盘用于托举目标货架，在可移动机器人调整目标货架的姿态时，第一图像采集装置401可以通过托盘中心区域的通孔实时捕捉货架标识图像，以此，控制器可以确定目标货架的当前姿态，并更新搬运路径，从而提高纠正货架姿态的准确度。
本公开的实施例提供的可移动机器人，可以通过第一图像采集装置采集目标货架的货架标识图像，以此识别出目标货架的当前姿态，并确定目标货架是否发生偏移。若确定目标货架发生偏移，则自动将目标货架的位姿调整至与预设位姿一致，可以降低运营成本。
本公开的实施例还提供了一种搬运系统，包括：货架、无人搬运车和上述可移动机器人，其中，货架的底面中心设置有货架标识；无人搬运车可移动机器人调整货架位姿；可移动机器人被配置成检测货架是否发生偏移，以及，将发生偏移的货架的位姿调整至预设位姿。
在本实施例中，无人搬运车用于执行日常的搬运任务，可移动机器人用于监控仓库中货架的位姿，若检测到货架的位姿发生偏移，则由可移动机器人自动将货架的位姿调整至与预设位姿一致，可以避免货架位姿偏移导致的安全隐患，并降低运营成本。
在本实施例的一些可选的实现方式中，该搬运系统至少包括第一可移动机器人和第二可移动机器人，被配置成：第一可移动机器人和第二可移动机器人分别检测货架是否发生偏移，并将第一可移动机器人和第二可移动机器人同时确定为发生偏移的货架确定为待调整货架；第一可移动机器人还被配置成将待调整货架的位姿调整至预设位姿；第二可移动机器人还被配置成检测待调整货架调整后的位姿是否发生偏移，以及，响应于确定待调整货架调整后的位姿发生偏移，发送报警信息。
在本实现方式中，通过第一可移动机器人与第二可移动机器人确定待调整的货架，并由第二可移动机器人检测待调整的货架调整后的位姿，可以提高可移动机器人调整货架位姿的容错性，避免可移动机器人发生故障导致货架位姿发生偏移，进一步降低风险。
进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种可移动机器人调整货架位姿的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的可移动机器人调整货架位姿的装置500包括：图像获取单元501，被配置成获取目标货架的货架标识图像，货架标识图像为图像采集装置在预设采集位置以预设采集姿态拍摄目标货架的货架标识得到的图像，货架标识包括目标货架的位姿标识；图像识别单元502，被配置成从货架标识图像识别出目标货架的位姿标识，并基于目标货架的位姿标识，确定目标货架的当前位姿；位姿确定单元503，被配置成响应于目标货架的当前位姿与预设位姿的差值大于预设的偏差阈值，确定目标货架发生偏移；路径生成单元504，被配置成响应于确定目标货架发生偏移，基于目标货架的当前位姿与预设位姿的差值，生成搬运路径；路径发送单元505，被配置成将搬运路径发送至可移动机器人，以使可移动机器人按照搬运路径将目标货架的当前位姿调整至与预设位姿一致。
在本实施例中，货架标识的中心点与目标货架的中心点在水平面内的投影重合；位姿标识包括货架的长度方向标识、货架的宽度方向标识和距离标识，距离标识包括均匀分布于货架标识区域内的多个区域标识，每个区域标识表征该区域标识所在的区域距离货架标识的中心点的相对位置；以及，图像识别单元502进一步包括：当前姿态确定模块，被配置成基于货架标识图像中目标货架的长度方向标识和宽度方向标识，确定目标货架当前的长度方向和宽度方向，得到目标货架的当前姿态；当前位置确定模块，被配置成从货架标识图像中的区域标识中识别出目标货架相对于图像采集装置的相对位置，并基于目标货架相对于图像采集装置的相对位置和预设采集位置，确定所述目标货架的当前位置；当前位姿确定模块，被配置成基于目标货架的当前姿态和当前位置，得到目标货架的当前位姿。
在本实施例中，预设采集位置设置有预设采集位置标识；预设采集位置标识包括第一参考方向标识和第二参考方向标识；装置还包括预设位姿确定单元，被配置成：获取预设采集位置标识的图像；从预设采集位置标识的图像中识别出第一参考方向标识和第二参考方向标识；将第一参考方向标识指示的方向确定为目标货架的预设长度方向，将第二参考方向标识指示的方向确定为目标货架的预设宽度方向，得到目标货架的预设姿态；将预设采集位置标识的中心点确定为目标货架的预设位置；基于预设姿态和预设位置，确定目标货架的预设位姿。
在本实施例中，该装置500还包括：报警单元，被配置成响应于货架标识图像中不存在目标货架的货架标识，发送报警信息。
下面参考图6，其示出了适于用来实现本公开的实施例的电子设备(例如图1中的服务器或终端设备)600的结构示意图。本公开的实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的终端设备仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取目标货架的货架标识图像，货架标识图像为图像采集装置在预设采集位置以预设采集姿态拍摄目标货架的货架标识得到的图像，货架标识包括目标货架的位姿标识；从货架标识图像识别出目标货架的位姿标识，并基于目标货架的位姿标识，确定目标货架的当前位姿；响应于目标货架的当前位姿与预设位姿的差值大于预设的偏差阈值，确定目标货架发生偏移；响应于确定目标货架发生偏移，基于目标货架的当前位姿与预设位姿的差值，生成搬运路径；将搬运路径发送至可移动机器人，以使可移动机器人按照搬运路径将目标货架的当前位姿调整至与预设位姿一致。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括图像获取单元、图像识别单元、位姿确定单元、路径生成单元和路径发送单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，图像获取单元还可以被描述为“获取目标货架的货架标识图像的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (15)

1.一种可移动机器人调整货架位姿的方法，包括：
获取目标货架的货架标识图像，所述货架标识图像为图像采集装置在预设采集位置以预设采集姿态拍摄所述目标货架的货架标识得到的图像，所述货架标识包括所述目标货架的位姿标识；
从所述货架标识图像识别出所述目标货架的位姿标识，并基于所述目标货架的位姿标识，确定所述目标货架的当前位姿；
响应于所述目标货架的当前位姿与预设位姿的差值大于预设的偏差阈值，确定所述目标货架发生偏移；
响应于确定所述目标货架发生偏移，基于所述目标货架的当前位姿与预设位姿的差值，生成搬运路径；
将所述搬运路径发送至可移动机器人，以使所述可移动机器人按照所述搬运路径将所述目标货架的当前位姿调整至与所述预设位姿一致。
2.根据权利要求1所述的方法，其中，所述货架标识的中心点与所述目标货架的中心点在水平面内的投影重合；所述位姿标识包括货架的长度方向标识、货架的宽度方向标识和距离标识，所述距离标识包括均匀分布于所述货架标识区域内的多个区域标识，每个所述区域标识表征该区域标识所在的区域距离所述货架标识的中心点的相对位置；以及，
所述目标货架的当前位姿经由如下步骤确定：
基于所述货架标识图像中目标货架的长度方向标识和宽度方向标识，确定所述目标货架当前的长度方向和宽度方向，得到所述目标货架的当前姿态；从所述货架标识图像中的区域标识中识别出所述目标货架相对于所述图像采集装置的相对位置，并基于所述目标货架相对于所述图像采集装置的相对位置和所述预设采集位置，确定所述目标货架的当前位置；基于所述目标货架的当前姿态和当前位置，得到所述目标货架的当前位姿。
3.根据权利要求2所述的方法，其中，所述预设采集位置设置有预设采集位置标识，所述预设采集位置标识包括第一参考方向标识和第二参考方向标识；
所述方法还包括：获取所述预设采集位置标识的图像；从所述预设采集位置标识的图像中识别出所述第一参考方向标识和所述第二参考方向标识；将所述第一参考方向标识指示的方向确定为所述目标货架的预设长度方向，将所述第二参考方向标识指示的方向确定为所述目标货架的预设宽度方向，得到所述目标货架的预设姿态；将所述预设采集位置的中心点确定为所述目标货架的预设位置；基于所述预设姿态和所述目标货架的预设位置，确定所述目标货架的预设位姿。
4.根据权利要求1至3所述的方法，所述方法还包括：
响应于确定所述货架标识图像中不存在所述目标货架的货架标识，发送报警信息。
5.一种可移动机器人调整货架位姿的装置，包括：
图像获取单元，被配置成获取目标货架的货架标识图像，所述货架标识图像为图像采集装置在所述预设采集位置以预设采集姿态拍摄所述目标货架的货架标识得到的图像，所述货架标识包括所述目标货架的位姿标识；
图像识别单元，被配置成从所述货架标识图像识别出所述目标货架的位姿标识，并基于所述目标货架的位姿标识，确定所述目标货架的当前位姿；
位姿确定单元，被配置成响应于所述目标货架的当前位姿与预设位姿的差值大于预设的偏差阈值，确定所述目标货架发生偏移；
路径生成单元，被配置成响应于确定所述目标货架发生偏移，基于所述目标货架的当前位姿与预设位姿的差值，生成搬运路径；
路径发送单元，被配置成将所述搬运路径发送至可移动机器人，以使所述可移动机器人按照所述搬运路径将所述目标货架的当前位姿调整至与所述预设位姿一致。
6.根据权利要求5所述的装置，其中，所述货架标识的中心点与所述目标货架的中心点在水平面内的投影重合；所述位姿标识包括货架的长度方向标识、货架的宽度方向标识和距离标识，所述距离标识包括均匀分布于所述货架标识区域内的多个区域标识，每个所述区域标识表征该区域标识所在的区域距离所述货架标识的中心点的相对位置；以及，
所述图像识别单元进一步包括：
当前姿态确定模块，被配置成基于所述货架标识图像中目标货架的长度方向标识和宽度方向标识，确定所述目标货架当前的长度方向和宽度方向，得到所述目标货架的当前姿态；
当前位置确定模块，被配置成从所述货架标识图像中的区域标识中识别出所述目标货架相对于所述图像采集装置的相对位置，并基于所述目标货架相对于所述图像采集装置的相对位置和所述预设采集位置，确定所述目标货架的当前位置；
当前位姿确定模块，被配置成基于所述目标货架的当前姿态和当前位置，得到所述目标货架的当前位姿。
7.根据权利要求6所述的装置，其中，所述预设采集位置设置有预设采集位置标识，所述预设采集位置标识包括第一参考方向标识和第二参考方向标识；
所述装置还包括预设位姿确定单元，被配置成：获取所述预设采集位置标识的图像；从所述预设采集位置标识的图像中识别出所述第一参考方向标识和所述第二参考方向标识；将所述第一参考方向标识指示的方向确定为所述目标货架的预设长度方向，将所述第二参考方向标识指示的方向确定为所述目标货架的预设宽度方向，得到所述目标货架的预设姿态；将所述预设采集位置标识的中心点确定为所述目标货架的预设位置；基于所述预设姿态和所述目标货架的预设位置，确定所述目标货架的预设位姿。
8.根据权利要求7所述的装置，所述装置还包括：
报警单元，被配置成响应于所述货架标识图像中不存在所述目标货架的货架标识，发送报警信息。
9.一种可移动机器人，包括：第一图像采集装置、顶升装置和控制器，其中，
所述第一图像采集装置固定设置于所述可移动机器人的车体上，被配置成竖直向上采集设置于货架底面的货架标识的图像；
所述顶升装置包括竖直运动组件和旋转运动组件，所述竖直运动组件与所述旋转运动组件连接，所述竖直运动组件被配置成带动所述旋转运动组件沿竖直方向运动，所述旋转运动组件被配置成带动货架绕竖直方向转动；
所述控制器与所述第一图像采集装置和所述顶升装置通信连接，被配置成执行权利要求1至4之一所述的可移动机器人调整货架位姿的方法中的步骤。
10.根据权利要求9所述的可移动机器人，其中，所述可移动机器人还包括固定设置于所述可移动机器人的车体上的第二图像采集装置，被配置成竖直向下采集设置于地面上的预设采集位置标识的图像；以及，
所述控制器还被配置成：识别所述预设采集位置标识的图像，以控制所述可移动机器人移动至预设采集位置。
11.根据权利要求9所述的可移动机器人，其中，所述旋转运动组件包括水平设置的托盘，所述托盘的底面与所述竖直运动组件连接，且所述托盘的中心区域设置有竖直通孔，所述竖直通孔的中心轴与所述托盘的转轴共线；以及，
所述第一图像采集装置位于所述托盘在水平面内投影的通孔区域中。
12.一种搬运系统，包括：货架、无人搬运车和权利要求9至11之一所述的可移动机器人，其中，所述货架的底面中心设置有货架标识；所述无人搬运车用于搬运所述货架；所述可移动机器人被配置成检测所述货架是否发生偏移，以及，将发生偏移的货架的位姿调整至预设位姿。
13.根据权利要求12所述的搬运系统，其中，所述搬运系统至少包括第一可移动机器人和第二可移动机器人，被配置成：所述第一可移动机器人和所述第二可移动机器人分别检测所述货架是否发生偏移，并将第一可移动机器人和所述第二可移动机器人同时确定为发生偏移的货架确定为待调整货架；
所述第一可移动机器人还被配置成将所述待调整货架的位姿调整至预设位姿；
所述第二可移动机器人还被配置成检测所述待调整货架调整后的位姿是否发生偏移，以及，响应于确定所述待调整货架调整后的位姿发生偏移，发送报警信息。
14.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。
15.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。
CN202110134237.9A 2021-01-29 2021-01-29 可移动机器人调整货架位姿的方法和装置 Pending CN114089735A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110134237.9A CN114089735A (zh) 2021-01-29 2021-01-29 可移动机器人调整货架位姿的方法和装置
EP22745063.2A EP4187348A4 (en) 2021-01-29 2022-01-14 METHOD AND APPARATUS ALLOWING A MOBILE ROBOT TO ADJUST THE POSITION OF A GOODS DISPLAY
PCT/CN2022/072023 WO2022161186A1 (zh) 2021-01-29 2022-01-14 可移动机器人调整货架位姿的方法和装置
JP2023509431A JP7507964B2 (ja) 2021-01-29 2022-01-14 可動ロボットによる棚の位置姿勢の調整のための方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110134237.9A CN114089735A (zh) 2021-01-29 2021-01-29 可移动机器人调整货架位姿的方法和装置

Publications (1)

Publication Number Publication Date
CN114089735A true CN114089735A (zh) 2022-02-25

Family

ID=80295964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110134237.9A Pending CN114089735A (zh) 2021-01-29 2021-01-29 可移动机器人调整货架位姿的方法和装置

Country Status (4)

Country Link
EP (1) EP4187348A4 (zh)
JP (1) JP7507964B2 (zh)
CN (1) CN114089735A (zh)
WO (1) WO2022161186A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115057190A (zh) * 2022-04-26 2022-09-16 浙江华睿科技股份有限公司 目标移动方法、系统、电子设备和计算机可读存储介质
CN115070758A (zh) * 2022-06-14 2022-09-20 深圳市优必选科技股份有限公司 机器人控制方法、机器人控制装置、机器人及存储介质
CN116750463A (zh) * 2023-08-09 2023-09-15 杭州蓝芯科技有限公司 货架调整自动拆分方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240044929A (ko) * 2022-09-29 2024-04-05 네이버랩스 주식회사 식별자 인식 기반 위치 결정 방법 및 장치
CN115973651B (zh) * 2023-03-21 2023-06-23 烟台东方瑞创达电子科技有限公司 基于智能监控技术的仓储运输设备
CN116674920B (zh) * 2023-04-25 2024-01-23 中国铁建电气化局集团有限公司 一种智能化运输方法、装置、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106347919A (zh) * 2016-11-10 2017-01-25 杭州南江机器人股份有限公司 一种自动仓储系统
CN206014333U (zh) * 2016-08-02 2017-03-15 诺力机械股份有限公司 一种基于二维码定位的货物托盘存取系统
CN106556341A (zh) * 2016-10-08 2017-04-05 浙江国自机器人技术有限公司 一种基于特征信息图形的货架位姿偏差检测方法和系统
CN109189066A (zh) * 2018-08-31 2019-01-11 深圳市易成自动驾驶技术有限公司 Agv小车与货架对接方法、装置及计算机可读存储介质
WO2020211565A1 (zh) * 2019-04-14 2020-10-22 炬星科技（深圳）有限公司 一种仓库快速配置方法、设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103472854B (zh) 2013-09-11 2016-02-24 无锡普智联科高新技术有限公司 基于非导引路径的agv举升校正系统及其方法
JP6350243B2 (ja) * 2014-11-28 2018-07-04 株式会社ダイフク 移動棚設備
US20180211407A1 (en) * 2016-10-08 2018-07-26 Zhejiang Guozi Robot Technology Co., Ltd. System and method for detecting position deviation of inventory holder based on feature information graphs
CL2017003463A1 (es) * 2017-12-28 2019-10-11 Univ Pontificia Catolica Chile Sistema robótico autónomo para el monitoreo automático del estado de estanterías en tiendas
TWI721628B (zh) * 2018-11-22 2021-03-11 仁寶電腦工業股份有限公司 搬運裝置、搬運系統及貨架搬運方法
CN111256676B (zh) * 2018-11-30 2022-02-11 杭州海康机器人技术有限公司 移动机器人定位方法、装置和计算机可读存储介质
CN110002367B (zh) * 2019-03-28 2023-05-05 上海快仓智能科技有限公司 Agv搬运货架过程中agv姿态调整系统及方法
CN111169894B (zh) * 2019-11-08 2021-03-30 成都图灵时代科技有限公司 基于潜伏式搬运机器人的货架对准方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206014333U (zh) * 2016-08-02 2017-03-15 诺力机械股份有限公司 一种基于二维码定位的货物托盘存取系统
CN106556341A (zh) * 2016-10-08 2017-04-05 浙江国自机器人技术有限公司 一种基于特征信息图形的货架位姿偏差检测方法和系统
CN106347919A (zh) * 2016-11-10 2017-01-25 杭州南江机器人股份有限公司 一种自动仓储系统
CN109189066A (zh) * 2018-08-31 2019-01-11 深圳市易成自动驾驶技术有限公司 Agv小车与货架对接方法、装置及计算机可读存储介质
WO2020211565A1 (zh) * 2019-04-14 2020-10-22 炬星科技（深圳）有限公司 一种仓库快速配置方法、设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115057190A (zh) * 2022-04-26 2022-09-16 浙江华睿科技股份有限公司 目标移动方法、系统、电子设备和计算机可读存储介质
CN115057190B (zh) * 2022-04-26 2024-04-26 浙江华睿科技股份有限公司 目标移动方法、系统、电子设备和计算机可读存储介质
CN115070758A (zh) * 2022-06-14 2022-09-20 深圳市优必选科技股份有限公司 机器人控制方法、机器人控制装置、机器人及存储介质
CN116750463A (zh) * 2023-08-09 2023-09-15 杭州蓝芯科技有限公司 货架调整自动拆分方法及系统
CN116750463B (zh) * 2023-08-09 2023-11-03 杭州蓝芯科技有限公司 货架调整自动拆分方法及系统

Also Published As

Publication number Publication date
JP7507964B2 (ja) 2024-06-28
EP4187348A4 (en) 2024-07-24
WO2022161186A1 (zh) 2022-08-04
JP2023537080A (ja) 2023-08-30
EP4187348A1 (en) 2023-05-31

Similar Documents

Publication Publication Date Title
CN114089735A (zh) 可移动机器人调整货架位姿的方法和装置
CA3101978C (en) Tracking vehicles in a warehouse environment
US10930015B2 (en) Method and system for calibrating multiple cameras
CN111158355A (zh) 自动导航云服务器及自动导航控制方法
US10229501B2 (en) Mobile robot and method for controlling the same
KR101319045B1 (ko) 무인 화물 이송로봇
JP2023530787A (ja) Ｐｖモジュールのロボット操作
WO2020137312A1 (ja) 測位装置及び移動体
CN108153302B (zh) 自动导引车的导引方法、装置及计算机可读存储介质
CN111693046A (zh) 机器人系统和机器人导航地图建图系统及方法
EP4179401A1 (en) Autonomous robotic navigation in storage site
US20220012494A1 (en) Intelligent multi-visual camera system and method
JP7482453B2 (ja) 測位装置及び移動体
CN112694035B (zh) 自动导引运输车搬运货架的方法、装置及系统
KR20200046161A (ko) 운송 로봇의 실내 위치 인식 시스템
CN111975776A (zh) 基于深度学习和卡尔曼滤波的机器人移动跟踪系统及方法
CN107538485B (zh) 一种机器人导引方法及系统
CN113673276A (zh) 目标物体识别对接方法、装置、电子设备及存储介质
US20230001576A1 (en) Adaptive mobile manipulation apparatus and method
CN116674920B (zh) 一种智能化运输方法、装置、设备和存储介质
CN111766858B (zh) 基于水平视角监控画面的水面航行器目标定向方法
CN114019963B (zh) 一种面向桌面集群机器人的外部定位系统
US20230297121A1 (en) Moving body control system, control apparatus, and moving body control method
JP7491229B2 (ja) 自律移動システム、自律移動方法及び自律移動プログラム
CN112099513A (zh) 一种移动机器人精准取料的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination