CN110054121A - 一种智能叉车以及容器位姿偏移检测方法 - Google Patents

一种智能叉车以及容器位姿偏移检测方法 Download PDF

Info

Publication number
CN110054121A
CN110054121A CN201910337791.XA CN201910337791A CN110054121A CN 110054121 A CN110054121 A CN 110054121A CN 201910337791 A CN201910337791 A CN 201910337791A CN 110054121 A CN110054121 A CN 110054121A
Authority
CN
China
Prior art keywords
container
handled
image
picture frame
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910337791.XA
Other languages
English (en)
Other versions
CN110054121B (zh
Inventor
郭晓丽
杨宁宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jizhijia Technology Co Ltd
Original Assignee
Beijing Jizhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jizhijia Technology Co Ltd filed Critical Beijing Jizhijia Technology Co Ltd
Priority to CN201910337791.XA priority Critical patent/CN110054121B/zh
Publication of CN110054121A publication Critical patent/CN110054121A/zh
Priority to EP19926162.9A priority patent/EP3960692A4/en
Priority to KR1020217035759A priority patent/KR102461759B1/ko
Priority to JP2021563272A priority patent/JP7206421B2/ja
Priority to PCT/CN2019/128048 priority patent/WO2020215772A1/zh
Application granted granted Critical
Publication of CN110054121B publication Critical patent/CN110054121B/zh
Priority to US17/508,784 priority patent/US11625854B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
    • B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Civil Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开一种智能叉车以及容器位姿偏移检测方法。该智能叉车包括：工作状态监测模块，用于监测智能叉车搬运待搬运库存容器的工作状态，并依据工作状态，控制容器图像采集模块进行图像采集；容器图像采集模块，用于响应工作状态监测模块的触发，采集获得包括待搬运库存容器的RGBD图像帧，并将该RGBD图像帧传输至处理模块；处理模块，用于接收容器图像采集模块反馈的RGBD图像帧，以及依据RGBD图像帧检测待搬运库存容器的位姿偏移程度；并依据位姿偏移程度检测结果进行报警提示，以调整待搬运库存容器在所述智能叉车上的位姿。本发明实施例实现对货叉上的待搬运库存容器的位姿偏移进行有效检测，提高叉车搬运库存容器的效率和安全性。

Description

一种智能叉车以及容器位姿偏移检测方法
技术领域
本发明实施例涉及智能仓储技术领域，尤其涉及一种智能叉车以及容器位姿偏移检测方法。
背景技术
随着现代仓库存储技术的快速发展，叉车在仓储领域中发挥着越来越重要的作用，叉车承载着托盘等库存容器实现物品的搬运和存储。
现有技术中，可以通过人工开动叉车移动至待搬运库存容器的存储位置处，利用叉车的货叉将待搬运库存容器举起以拾取待搬运库存容器，从而在搬运的过程中，工作人员通过时刻注意待搬运库存容器在货叉上的位置，实现安全稳定地将物品搬运和存储至指定存储位置。此外，在智能仓储环境中，还可以通过为智能叉车预设移动路线，以使智能叉车按照预设路线移动至待搬运库存容器的存储位置处，通过对库存容器底面标识的识别，来举起待搬运库存容器并进行搬运、存储等操作流程。
然而，现有技术在搬运库存容器的过程中，人工难以对货叉上举起的库存容器位姿进行准确有效且及时地观察，增加了操作难度以及人工干预成本，且智能叉车无法实现对货叉上的库存容器进行智能化位姿检测，降低了叉车搬运库存容器的效率和安全性。
发明内容
本发明实施例提供了一种智能叉车以及容器位姿偏移检测方法，能够对货叉上的库存容器进行智能化位姿检测，提高了叉车搬运库存容器的效率和安全性。
第一方面，本发明实施例提供了一种智能叉车，所述智能叉车包括：工作状态监测模块、容器图像采集模块和处理模块；
所述容器图像采集模块分别与所述工作状态监测模块以及所述处理模块电连接；其中：
所述工作状态监测模块，用于监测所述智能叉车搬运待搬运库存容器的工作状态，并依据所述工作状态，控制所述容器图像采集模块进行图像采集；
所述容器图像采集模块，用于响应所述工作状态监测模块的触发，采集获得包括所述待搬运库存容器的RGBD图像帧，并将该RGBD图像帧传输至所述处理模块；
所述处理模块，用于接收所述容器图像采集模块反馈的RGBD图像帧，以及依据所述RGBD图像帧检测所述待搬运库存容器的位姿偏移程度；并依据位姿偏移程度检测结果进行报警提示，以调整所述待搬运库存容器在所述智能叉车上的位姿。
进一步的，所述容器图像采集模块包括至少一个摄像头，所述摄像头安装于所述智能叉车的货叉上方。
进一步的，所述RGBD图像帧包括RGB图像和深度图像，所述RGBD图像帧中用于表征待搬运库存容器的图像位于所述RGBD图像帧中的指定区域内。
进一步的，所述工作状态监测模块具体用于：
若监测所述智能叉车完成待搬运库存容器的举起动作，则触发所述容器图像采集模块进行图像采集；
若监测所述智能叉车完成待搬运库存容器的放置动作，则终止所述容器图像采集模块的图像采集动作。
进一步的，所述处理模块具体用于：
依据预先确定的容器识别模型，从当前RGBD图像帧的RGB图像中，确定所述待搬运存储容器在所述RGB图像中的位置；
依据所述待搬运存储容器在所述RGB图像中的位置，从当前RGBD图像帧的深度图像中，截取包含所述待搬运存储容器的目标感兴趣区域；
确定所述目标感兴趣区域的深度特征和面积特征，并依据所述目标感兴趣区域的深度特征和面积特征，以及预设待比对模板的深度特征和面积特征，确定深度特征差值和面积特征差值；
依据所述深度特征差值和面积特征差值，以及预设深度特征阈值和面积特征阈值，检测所述待搬运库存容器当前的位姿偏移程度。
进一步的，所述处理模块具体用于：
依据预设层数对所述目标感兴趣区域进行降采样处理，得到降采样后的感兴趣区域图像；
将降采样后的感兴趣区域图像各像素点的深度值求和，得到所述目标感兴趣区域的深度特征；
确定降采样后的感兴趣区域图像的面积，得到所述目标感兴趣区域的面积特征。
进一步的，预设待比对模板至少包括标准容器模板和上一帧RGBD图像。
进一步的，所述标准容器模板是依据初始采集的预设数量的RGBD图像帧的均值计算获得。
进一步的，所述处理模块具体用于：
依据当前RGBD图像帧与所述标准容器模板之间的深度特征差值和面积特征差值，当前RGBD图像帧与上一帧RGBD图像帧之间的深度特征差值和面积特征差值，以及预设的标准深度特征阈值、标准面积特征阈值、相邻特征阈值和相邻面积特征阈值，若检测到至少一项特征差值大于对应的特征阈值，则确定当前时刻，所述待搬运库存容器在所述智能叉车上的位姿发生了偏移。
第二方面，本发明实施例提供了一种容器位姿偏移检测方法，包括：
若监测智能叉车完成待搬运库存容器的举起动作，则采集获得包括所述待搬运库存容器的RGBD图像帧；其中，所述RGBD图像帧包括RGB图像和深度图像；
依据预先确定的容器识别模型，从当前RGBD图像帧的RGB图像中，确定所述待搬运存储容器在所述RGB图像中的位置；
依据所述待搬运存储容器在所述RGB图像中的位置，从当前RGBD图像帧的深度图像中，截取包含所述待搬运存储容器的目标感兴趣区域；
依据所述目标感兴趣区域的深度特征和面积特征、预设待比对模板的深度特征和面积特征，以及预设深度特征阈值和面积特征阈值，检测所述待搬运库存容器当前的位姿偏移程度。
进一步的，所述依据所述目标感兴趣区域的深度特征和面积特征、预设待比对模板的深度特征和面积特征，以及预设深度特征阈值和面积特征阈值，检测所述待搬运库存容器当前的位姿偏移程度，包括：
确定所述目标感兴趣区域的深度特征和面积特征；
依据所述目标感兴趣区域的深度特征和面积特征，以及预设待比对模板的深度特征和面积特征，确定深度特征差值和面积特征差值；
依据所述深度特征差值和面积特征差值，以及预设深度特征阈值和面积特征阈值，检测所述待搬运库存容器当前的位姿偏移程度。
进一步的，所述确定所述目标感兴趣区域的深度特征和面积特征，包括：
依据预设层数对所述目标感兴趣区域进行降采样处理，得到降采样后的感兴趣区域图像；
将降采样后的感兴趣区域图像各像素点的深度值求和，得到所述目标感兴趣区域的深度特征；
确定降采样后的感兴趣区域图像的面积，得到所述目标感兴趣区域的面积特征。
进一步的，预设待比对模板至少包括标准容器模板和上一帧RGBD图像。
进一步的，所述标准容器模板是依据初始采集的预设数量的RGBD图像帧的均值计算获得。
进一步的，所述依据所述深度特征差值和面积特征差值，以及预设深度特征阈值和面积特征阈值，检测所述待搬运库存容器当前的位姿偏移程度，包括：
依据当前RGBD图像帧与所述标准容器模板之间的深度特征差值和面积特征差值，当前RGBD图像帧与上一帧RGBD图像帧之间的深度特征差值和面积特征差值，以及预设的标准深度特征阈值、标准面积特征阈值、相邻特征阈值和相邻面积特征阈值，若检测到至少一项特征差值大于对应的特征阈值，则确定当前时刻，所述待搬运库存容器在所述智能叉车上的位姿发生了偏移。
进一步的，在所述检测所述待搬运库存容器当前的位姿偏移程度之后，还包括：
若确定所述待搬运库存容器在所述智能叉车上的位姿发生了偏移，则进行报警提示，以调整所述待搬运库存容器在所述智能叉车上的位姿。
第三方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的容器位姿偏移检测方法。
本发明实施例通过安装于智能叉车的容器图像采集模块，在搬运库存容器的过程中，对货叉上的待搬运存储容器进行RGBD图像采集，从而依据时刻采集的RGBD图像帧，对货叉上的待搬运存储容器进行位姿偏移程度的检测，并依据位姿偏移程度检测结果进行报警提示，以调整待搬运库存容器在智能叉车上的位姿。本发明实施例通过对包含货叉上待搬运存储容器的RGBD图像进行采集和容器识别，实现了对货叉上的待搬运库存容器的位姿偏移进行有效检测，避免了搬运过程中由于待搬运库存容器受到外力或叉车紧急刹车等原因，导致待搬运库存容器在货叉上的位置发生变化而无法安全搬运的问题，从而提高了叉车搬运库存容器的效率和安全性。
附图说明
图1为本发明实施例提供的智能叉车搬运库存容器示例图；
图2为本发明实施例提供的库存容器的结构示意图；
图3为本发明实施例提供的智能叉车的结构示意图；
图4为本发明实施例一提供的一种智能叉车的结构框图；
图5为本发明实施例三提供的一种容器位姿偏移检测方法的流程图；
图6为本发明实施例四提供的一种容器位姿偏移检测方法的流程图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。
请参阅图1所示的智能叉车搬运库存容器示例图。如图1所示，智能叉车110通过货叉举起库存容器120，以使库存容器120位于智能叉车110的货叉上，对库存容器120进行搬运操作。其中，库存容器120侧壁具有与智能叉车110货叉对应的叉孔结构，例如托盘，用于智能叉车将货叉插入至叉孔结构中，以承载库存容器进行搬运。库存容器120上可以放置有物品130。在仓储环境中，库存容器120可以位于存储区域中，例如存储区域中货架隔层上，还可以位于工作站等分拣区域。从而智能叉车110依据需求，在仓储环境中对库存容器120进行搬运操作。
图2为本发明实施例提供的库存容器的结构示意图。如图2所示，库存容器120可以为规则或者不规则的长方体，库存容器120具有四个侧壁，其至少两个相对的侧壁具有叉孔结构200。叉孔结构200中包括叉孔子结构210以及库存容器120本身的框架子结构220。库存容器130上可以直接放置各种物品130，物品130在库存容器120上能够以任何适当的方式放置在库存容器120上，例如存放有物品130的料箱放置在库存容器120上。其中，料箱可以与库存容器120分离，也可以与库存容器为一体结构，料箱中可以放置一个或多个物品130。
图3为本发明实施例提供的智能叉车的结构示意图。结合图1和图3所示，在一个示例中，智能叉车110可以包括货叉111和滑轨112，通过该滑轨112，智能叉车110的货叉111能够在一定高度范围内升降。智能叉车110可以运动到货架的出口处等库存区的存储位置，利用货叉111插入库存容器120的叉孔结构200内而承载库存容器120，并搬运到指定地点，例如被分配的接驳位置或工作站等。在拣选工作站处工作人员(或机械臂等自动化设备)从库存容器120上拣选出物品。其中，本发明实施例不限于将物品搬运至接驳位置或工作站等指定位置，任何搬运方式都可以应用于本实施例中。
除此之外，在一个示例中，智能叉车110至少包括容器图像采集模块113，例如深度相机，其能够对货叉111、货叉111上的库存容器120以及库存容器120上的物品130进行图像采集，获得完整包含库存容器120和物品130的图像。相应的，智能叉车110还包括处理模块114，用于容器图像采集模块113采集的图像进行处理，实现对库存容器120位姿偏移程度的检测。
智能叉车110在搬运库存容器120的过程中，当监测到货叉111完成库存容器120的举起动作时，触发容器图像采集模块113采集货叉111上库存容器120的图像，处理模块114依据采集图像，通过对库存容器120进行识别，确定库存容器120当前时刻的位姿偏移程度，从而依据位姿偏移程度检测结果，进行制动和报警提示，以在调整运库存容器130在货叉111上的位置之后，继续进行搬运操作。
在传统的仓储系统中，可以通过人工开动叉车移动至待搬运库存容器的存储位置处，利用叉车的货叉将待搬运库存容器举起以拾取待搬运库存容器，从而在搬运的过程中，工作人员通过时刻注意待搬运库存容器在货叉上的位置，实现安全稳定的将物品搬运和存储至指定存储位置。此外，在智能仓储环境中，还可以通过为智能叉车预设移动路线，以使智能叉车按照预设路线移动至待搬运库存容器的存储位置处，通过对库存容器底面标识的识别，来举起待搬运库存容器并进行搬运、存储等操作流程。然而，人工难以对货叉上举起的库存容器位姿进行准确有效且及时地观察，增加了操作难度以及人工干预成本，且智能叉车无法实现对货叉上的库存容器进行智能化位姿检测，降低了叉车搬运库存容器的效率和安全性。
下面针对本发明实施例中提供的智能叉车，通过各实施例进行详细阐述。
实施例一
图4为本发明实施例一提供的一种智能叉车的结构框图，本实施例可适用于智能叉车搬运库存容器的情况，该智能叉车400具体包括：工作状态监测模块410、容器图像采集模块420和处理模块430；容器图像采集模块420分别与工作状态监测模块410以及处理模块430电连接；其中：
工作状态监测模块410，用于监测智能叉车搬运待搬运库存容器的工作状态，并依据工作状态，控制容器图像采集模块进行图像采集；
容器图像采集模块，用于响应工作状态监测模块的触发，采集获得包括待搬运库存容器的RGBD图像帧，并将该RGBD图像帧传输至处理模块；
处理模块，用于接收容器图像采集模块反馈的RGBD图像帧，以及依据RGBD图像帧检测待搬运库存容器的位姿偏移程度；并依据位姿偏移程度检测结果进行报警提示，以调整待搬运库存容器在智能叉车上的位姿。
在本发明具体实施例中，工作状态监测模块具有监测智能叉车各部分机械结构工作状态的功能，可以以硬件的形式安装于智能叉车中，其具体安装位置不被限定，或者可以以软件的形式集成于智能叉车软件处理程序中。具体的，工作状态监测模块可以根据智能叉车位置、货叉升降高度、货叉承载重量以及智能叉车路径行进进度等数据，监测智能叉车对于库存容器的搬运状态，例如，库存容器已举起、库存容器搬运中以及库存容器已放下等状态。从而依据监测到的工作状态，控制容器图像采集模块的工作状态，例如触发其进行图像采集，或终止图像采集。
容器图像采集模块具有图像采集功能，安装于智能叉车上，用于实时地对智能叉车货叉上的库存容器以及库存容器上的承载物品进行图像采集。容器图像采集模块在被触发启动图像采集后，进行连续多帧的图像采集。智能叉车上安装的容器图像采集模块可以为一个，也可以为多个。例如，在智能叉车的货叉所能够经过的每个高度档位上均安装一个容器图像采集模块，或者在货叉上方即智能叉车的顶端安装一个容器图像采集模块。
处理模块可以具体图像识别功能、数据处理功能、容器位姿检测功能以及报警等功能。处理模块安装于智能叉车中，其具体安装位置不被限定。具体的，处理模块可以接收容器图像采集模块实时反馈的图像帧，对图像帧进行库存容器识别，并依据识别结果确定库存容器特征，最终依据库存容器特征进行位姿偏移程度检测等。
本实施例中，容器图像采集模块与工作状态监测模块之间的连接方式，以及容器图像采集模块与处理模块之间的连接方式，可以为电连接，也可以为通信连接，通过电连接或通信连接进行数据或指令的传输等。
本实施例中，待搬运库存容器是指仓储环境中叉车所能搬运的库存容器，例如托盘等。相应的，该类待搬运库存容器具有与叉车的货叉相匹配的叉孔结构，用于货叉的插入，以举起待搬运库存容器进行搬运。该类待搬运库存容器可以位于仓储环境中的任意位置，例如位于存储区域，具体的还可以位于存储区域中货架的隔层上。进而在智能叉车的货叉升降至待搬运库存容器所在高度的情况下，当货叉与待搬运库存容器的叉孔结构对齐时，将货叉插入至待搬运库存容器的叉孔结构中，从而智能叉车承载起待搬运库存容器，实现对待搬运库存容器的拾取和搬运等操作。
其中，容器图像采集模块可以为Kinect等RGBD图像传感器，用于采集RGBD(RGB+Depth Map)图像。RGBD图像中每个像素点包括R(Red，红色)、G(Green，绿色)、B(Blue，蓝色)彩色像素信息以及对应的深度信息。RGBD图像中每个像素点的RGB彩色信息构成RGB图像，RGBD图像中每个像素点的深度信息构成场景的二维像素矩阵，即深度图像。深度图像中每个像素值代表的是该像素点位置对应的物体与容器图像采集模块所在平面的距离，每个像素与其在场景中的位置对应，与关联的RGB图像中的位置对应。
具体的，在对待搬运库存容器进行搬运时，智能叉车按照既定路线行驶至待搬运库存容器所在存储位置，例如存储区域或存储具有叉孔结构的托盘的货架区等。智能叉车在控制下，将货叉升降至待搬运库存容器的存储位置所在高度。其中，工作状态监测模块可以对货叉所在高度、承载重量或货叉作业动作等进行监测，若监测到货叉升降至与待搬运库存容器所在高度，且完成对待搬运库存容器的举起动作，则触发容器图像采集模块进行RGBD图像帧连续采集。容器图像采集模块响应工作状态监测模块的触发，采集获得包括待搬运库存容器的RGBD图像帧，并将该RGBD图像帧传输至处理模块。
从而处理模块接收容器图像采集模块反馈的RGBD图像帧，可以基于预先确定的容器识别模型，对RGBD图像帧中待搬运库存容器进行识别，从当前RGBD图像帧的RGB图像中，确定待搬运存储容器在RGB图像中的位置。并依据待搬运存储容器在RGB图像中的位置，从当前RGBD图像帧的深度图像中，截取包含待搬运存储容器的目标感兴趣区域。进而利用具有深度信息的目标感兴趣区域，确定目标感兴趣区域的深度特征和面积特征，对待搬运库存容器当前的位姿偏移程度进行检测。其中，位姿偏移程度的检测可以包括对待搬运库存容器与货叉之间相对偏移程度的检测，还可以包括待搬运库存容器上的物品与待搬运库存容器之间相对偏移程度的检测。
因此，本发明实施例的智能叉车在搬运待搬运库存容器的过程中，时刻对货叉上的待搬运库存容器及其上放置的物品进行位置偏移程度检测，从而当确定货叉上的待搬运库存容器或物品存在较大位置偏移时，进行制动和报警提示，以提示工作人员或其他机器人对该智能叉车货叉上的待搬运库存容器和/或物品进行位姿的调整。在位姿调整后继续进行搬运，直至智能叉车将待搬运库存容器搬运至目的地，并放下待搬运库存容器为止，终止图像的采集和检测。从而避免由于货叉上的待搬运库存容器和/或物品的位姿发生变化，而无法安全或正常进行搬运的问题，保证了在待搬运库存容器的整个搬运过程中，待搬运库存容器和/或物品稳定地放置在货叉上。
本实施例的技术方案，通过安装于智能叉车的容器图像采集模块，在搬运库存容器的过程中，对货叉上的待搬运存储容器进行RGBD图像采集，从而依据时刻采集的RGBD图像帧，对货叉上的待搬运存储容器进行位姿偏移程度的检测，并依据位姿偏移程度检测结果进行报警提示，以调整待搬运库存容器在智能叉车上的位姿。本发明实施例通过对包含货叉上待搬运存储容器的RGBD图像进行采集和容器识别，实现了对货叉上的待搬运库存容器的位姿偏移进行有效检测，避免了搬运过程中由于待搬运库存容器受到外力或叉车紧急刹车等原因，导致待搬运库存容器在货叉上的位置发生变化而无法安全搬运的问题，从而提高了叉车搬运库存容器的效率和安全性。
实施例二
本实施例在上述实施例一的基础上，提供了智能叉车的一个优选实施方式，能够通过对待搬运库存容器识别以及特征的确定，来检测待搬运库存容器的位姿偏移程度。
进一步的，容器图像采集模块420包括至少一个摄像头，摄像头安装于智能叉车的货叉上方。
可选的，RGBD图像帧包括RGB图像和深度图像，RGBD图像帧中用于表征待搬运库存容器的图像位于RGBD图像帧中的指定区域内。
可选的，工作状态监测模块410具体用于：
若监测智能叉车完成待搬运库存容器的举起动作，则触发容器图像采集模块420进行图像采集；
若监测智能叉车完成待搬运库存容器的放置动作，则终止容器图像采集模块420的图像采集动作。
在本发明具体实施例中，容器图像采集模块可以为深度相机或Kinect传感器等能够采集RGBD图像的设备，相应的，容器图像采集模块包括至少一个摄像头，摄像头可以安装于货叉所能够经过的每个高度档位上，或者优选于安装在货叉上方，即智能叉车的顶端。进而在货叉完成对待搬运库存容器的托举动作后，摄像头可以投射采集获得完整包含待搬运库存容器及其上物品的GRBD图像帧。
本实施例中，相对于容器图像采集模块，摄像头距离托盘的距离或相对高度有所变化，进而采集的图像中可能包括地面等无效的周围环境图像。为了提高待搬运库存容器位姿的检测效率，只对包含待搬运库存容器及其上物品的区域进行检测即可。因此可以根据货叉的高度，以及该高度下货叉与摄像头之间固有的相对位置关系，确定图像中库存容器所在图像中的具体位置，从而在获得图像时，图像中可以表征待搬运库存容器的图像通常位于图像中的指定区域内。
本实施例中，工作状态监测模块可以对货叉所在高度、承载重量或货叉作业动作等进行监测，若监测到货叉升降至待搬运库存容器所在高度，且完成对待搬运库存容器的举起动作，则触发容器图像采集模块进行RGBD图像帧连续采集。反之，若监测到货叉升降至与目标存储位置所在高度，且完成对待搬运库存容器的放下动作，则控制容器图像采集模块停止图像采集动作。
可选的，处理模块430具体用于：
依据预先确定的容器识别模型，从当前RGBD图像帧的RGB图像中，确定待搬运存储容器在RGB图像中的位置；
依据待搬运存储容器在所述RGB图像中的位置，从当前RGBD图像帧的深度图像中，截取包含待搬运存储容器的目标感兴趣区域；
确定目标感兴趣区域的深度特征和面积特征，并依据目标感兴趣区域的深度特征和面积特征，以及预设待比对模板的深度特征和面积特征，确定深度特征差值和面积特征差值；
依据深度特征差值和面积特征差值，以及预设深度特征阈值和面积特征阈值，检测待搬运库存容器当前的位姿偏移程度。
可选的，处理模块430具体用于：
依据预设层数对所述目标感兴趣区域进行降采样处理，得到降采样后的感兴趣区域图像；
将降采样后的感兴趣区域图像各像素点的深度值求和，得到目标感兴趣区域的深度特征；
确定降采样后的感兴趣区域图像的面积，得到目标感兴趣区域的面积特征。
可选的，预设待比对模板至少包括标准容器模板和上一帧RGBD图像。
可选的，标准容器模板是依据初始采集的预设数量的RGBD图像帧的均值计算获得。
可选的，处理模块430具体用于：
依据当前RGBD图像帧与标准容器模板之间的深度特征差值和面积特征差值，当前RGBD图像帧与上一帧RGBD图像帧之间的深度特征差值和面积特征差值，以及预设的标准深度特征阈值、标准面积特征阈值、相邻特征阈值和相邻面积特征阈值，若检测到至少一项特征差值大于对应的特征阈值，则确定当前时刻，待搬运库存容器在智能叉车上的位姿发生了偏移。
在本发明具体实施例中，容器识别模型是指用于识别货叉上待搬运库存容器的模型，可以通过预先的训练获得。具体的，基于智能叉车上述结构，可以预设多种场景，采集在各种场景下智能叉车搬运库存容器过程中大量的样本RGB图像。基于场景的不同，样本RGB图像中可能包含完整、部分或不包含库存容器及其上物品。从而对样本RGB图像进行分类，将包含库存容器的RGB图像作为正样本，将不包含库存容器的RGB图像作为负样本。并可以采用支持向量机(Support Vector Machine，SVM)进行容器识别模型的训练，得到容器识别模型。
本实施例中，采用训练好的SVM模型对当前RGBD图像帧的RGB图像进行识别，对识别出的待搬运库存容器添加最小外接矩形，并记录在RGB图像中该最小外接矩形的至少两个对角顶点的坐标，作为待搬运存储容器在RGB图像中的位置，例如左上角顶点坐标和右下角顶点坐标，通过该位置可以表示该最小外接矩形的位置和大小。
本实施例中，容器图像采集模块的摄像头在智能叉车移动的过程中进行图像采集，在此期间，摄像头与智能叉车相对位置固定，在正常工况下，待搬运库存容器和物品的位置不变。在进行特征确定前，可以采用滤波器对深度图像进行去噪处理。例如可以采用高斯低通滤波器对深度图像进行平滑处理，将深度图像中因相机震动或激光接收干扰等引起的噪点进行去除，从而获取每个像素点准确的距离信息。其中，可以采用的高斯滤波器模板大小为3×3或5×5，标准差为1。本实施例中深度图像的去噪算法不局限于高斯低通滤波器，任何可以实现深度图像去噪的算法都可以应用于本实施例中。
本实施例中，在去除噪点的深度图像的基础上，由于当前RGBD图像帧的RGB图像与深度图像中的每个像素点具有关联对应的关系，表示了同一场景下的不同图像信息。因此可以依据待搬运存储容器在RGB图像中的位置，从当前RGBD图像帧的深度图像中，截取同样的矩形区域作为目标感兴趣区域。相应的，该目标感兴趣区域包含待搬运存储容器，且包含待搬运存储容器的深度信息。
本实施例中，将深度特征和面积特征作为目标感兴趣区域的关键信息，依据关键信息进行库存容器位姿偏移程度的检测。其中，深度特征是指深度图像中每个像素点的深度值之和，面积特征是指深度图像的总面积。由于原始图像的像素分辨率较高，为了提高检测效率，本实施例在获得目标感兴趣区域之后，可以先对目标感兴趣区域构建金字塔图像，以对目标感兴趣区域进行降采样处理。其中，金字塔图像的层数可以根据RGBD传感器的相机焦距来确定。从而对降采样处理后的感兴趣区域图像，求取其每个像素点的深度值之和作为深度特征，计算其总面积作为面积特征。
本实施例中，预设待比对模板可以是指具有安全位姿状态的库存容器的深度图像，也可以是指当前帧之前的图像帧的深度图像。其中，由于待搬运库存容器在初始举起状态时，其位姿较为安全和稳定，因此可以将初始采集的预设数量的RGBD图像帧的深度图像均值，作为预设待比对模板；此外，由于在进行当前帧检测时，当前帧之前的图像帧都是经过检测无位姿偏移或在安全偏移范围之内的，因此还可以将当前RGBD图像帧的上一帧RGBD图像的深度图像作为预设待比对模板。进而依据上述深度特征和面积特征的确定方法，可以确定预设待比对模板的深度特征和面积特征。从而将目标感兴趣区域的深度特征和面积特征，分别与预设待比对模板的深度特征和面积特征进行比较，得到深度特征差值和面积特征差值。
相应的，本实施例依据不同场景下的危险偏移程度，预先确定深度特征阈值和面积特征阈值。即依据深度特征差值和面积特征差值确定的位姿偏移程度，超过深度特征阈值和/或面积特征阈值限定的位姿偏移限度，则确定待搬运库存容器当前发生了较大偏移，存在安全隐患，易导致无法安全或正常搬运，或影响仓储环境中其他叉车或机器人的正常搬运。因此在检测存在较大偏移时，处理模块进行控制智能叉车制动，并进行报警提示，以使工作人员或其他机器人对该智能叉车货叉上的待搬运库存容器和/或物品进行位姿的调整。在位姿调整后继续进行搬运，直至智能叉车将待搬运库存容器搬运至目的地，并放下待搬运库存容器为止，此时停止图像采集和检测。
示例性的，通过对当前RGBD图像帧中的RGB图像进行容器识别，确定图像中待搬运库存容器的最小外接矩形，及该最小外接矩形坐标信息(XLeftTop,YLeftTop)和(XRightBottem,YRightBottem)，并将该坐标信息作为待搬运存储容器在RGB图像中的位置。通过对当前RGBD图像帧中的深度图像进行高斯低通滤波去噪，得到去噪后的深度图像Dfilter。根据该位置(XLeftTop,YLeftTop)和(XRightBottem,YRightBottem)，在Dfilter上截取对应的矩形区域作为目标感兴趣区域RD1。
假设金字塔图像层数为3，对RD1进行降采样处理。即第一次降采样后得到图像RD11，RD11为RD1尺寸的1/2；第二次降采样后得到图像RD12，RD12为RD1尺寸的1/4；第三次降采样后得到图像RD13，RD13为RD1尺寸的1/8。将图像RD13内所有像素点的深度值进行求和，得到深度特征d，并将图像RD13的面积作为面积特征a。即当前RGBD图像帧的关键信息可以为[RD13,d,a]。假设将容器图像采集模块触发采集的前三帧的均值作为预设待比对模板。具体的，依据上述深度特征和图像特征的计算流程，将前三帧的关键信息均值作为预设待比对模板的深度特征和图像特征，即Src[RD13,d,a]。同时将当前帧的上一帧作为预设待比对模板，依据上述深度特征和图像特征的计算流程，确定该上一帧的深度特征和图像特征构成的关键信息为Current[RD13,d,a]。
从而得到当前帧与初始三帧之间的深度特征差值|d-Src(d)|和面积特征差值|a-Src(a)|，以及当前帧与上一帧之间的深度特征差值|d-Current(d)|和面积特征差值|a-Current(a)|。假设依据不同场景下的危险偏移程度，预先确定当前帧与初始三帧之间的深度特征阈值为DCurrSrc，面积特征阈值SCurrSrc，预先确定当前帧与上一帧之间的深度特征阈值为DCurrLast，面积特征阈值SCurrLast。其中，相邻帧为连续变化的，所以正常工况下两相邻图像帧的面积与像素点个数相似。当|d-Src(d)|、|a-Src(a)|、|d-Current(d)|以及|a-Current(a)|这四项特征差值中，存在至少一项超过对应的特征阈值，则确定待搬运库存容器当前发生了较大偏移。智能叉车根据上传的检测数据进行制动和报警，待人工介入后，报警取消，完成调整后，智能叉车继续工作。
本实施例的技术方案，在监测智能叉车举起库存容器时，触发容器图像采集模块对货叉上的待搬运存储容器进行RGBD图像采集。通过对当前RGBD图像帧的RGB图像进行库存容器识别，确定待搬运库存容器在RGB图像中的位置，依据该位置，截取当前RGBD图像帧的深度图像的目标感兴趣区域。从而对目标感兴趣区域进行深度特征和面积特征的确定，依据预设待比对模板进行特征的比较，并依据特征比较结果与特征阈值，对货叉上的待搬运存储容器进行位姿偏移程度的检测，并依据位姿偏移程度检测结果进行报警提示，以调整待搬运库存容器在智能叉车上的位姿。本发明实施例通过对包含货叉上待搬运存储容器的RGBD图像进行采集和容器识别，实现了对货叉上的待搬运库存容器的位姿偏移进行有效检测，避免了搬运过程中由于待搬运库存容器受到外力或叉车紧急刹车等原因，导致待搬运库存容器在货叉上的位置发生变化而无法安全搬运的问题，从而提高了叉车搬运库存容器的效率和安全性。
实施例三
图5为本发明实施例三提供的一种容器位姿偏移检测方法的流程图，本实施例可适用于智能叉车搬运库存容器的情况，该方法可由一种容器位姿偏移检测装置来执行，该装置可以采用软件和/或硬件的方式实现，优选是配置于智能叉车中。该方法具体包括如下步骤：
步骤510、若监测智能叉车完成待搬运库存容器的举起动作，则采集获得包括待搬运库存容器的RGBD图像帧。
在本发明具体实施例中，待搬运库存容器是指仓储环境中叉车所能搬运的库存容器，例如托盘等。相应的，该类待搬运库存容器具有与叉车的货叉相匹配的叉孔结构，用于货叉的插入，以举起待搬运库存容器进行搬运。该类待搬运库存容器可以位于仓储环境中的任意位置，例如位于存储区域，具体的还可以位于存储区域中货架的隔层上。进而在智能叉车的货叉升降至待搬运库存容器所在高度的情况下，当货叉与待搬运库存容器的叉孔结构对齐时，将货叉插入至待搬运库存容器的叉孔结构中，从而智能叉车承载起待搬运库存容器，实现对待搬运库存容器的拾取和搬运等操作。
其中，可以采用Kinect等RGBD图像传感器进行图像采集，所采集的图像为RGBD图像(RGB+Depth Map)，RGBD图像中每个像素点包括R(Red，红色)、G(Green，绿色)、B(Blue，蓝色)彩色像素信息以及对应的深度信息。RGBD图像中每个像素点的RGB彩色信息构成RGB图像，RGBD图像中每个像素点的深度信息构成场景的二维像素矩阵，即深度图像。深度图像中每个像素值代表的是该像素点位置对应的物体与容器图像采集模块所在平面的距离，每个像素与其在场景中的位置对应，与关联的RGB图像中的位置对应。
具体的，在对待搬运库存容器进行搬运时，智能叉车按照既定路线行驶至待搬运库存容器所在存储位置，例如存储区域或存储具有叉孔结构的托盘的货架区等。智能叉车在控制下，将货叉升降至待搬运库存容器的存储位置所在高度。其中，可以对货叉所在高度、承载重量或货叉作业动作等进行监测，若监测到货叉升降至与待搬运库存容器所在高度，且完成对待搬运库存容器的举起动作，则触发进行RGBD图像帧连续采集。
步骤520、依据预先确定的容器识别模型，从当前RGBD图像帧的RGB图像中，确定待搬运存储容器在RGB图像中的位置。
在本发明具体实施例中，可以基于预先确定的容器识别模型，对RGBD图像帧中待搬运库存容器进行识别，从当前RGBD图像帧的RGB图像中，确定待搬运存储容器在RGB图像中的位置。容器识别模型是指用于识别货叉上待搬运库存容器的模型，可以通过预先的训练获得。具体的，基于智能叉车上述结构，可以预设多种场景，采集在各种场景下智能叉车搬运库存容器过程中大量的样本RGB图像。基于场景的不同，样本RGB图像中可能包含完整、部分或不包含库存容器及其上物品。从而对样本RGB图像进行分类，将包含库存容器的RGB图像作为正样本，将不包含库存容器的RGB图像作为负样本。并可以采用SVM进行容器识别模型的训练，得到容器识别模型。
本实施例中，采用训练好的SVM模型对当前RGBD图像帧的RGB图像进行识别，对识别出的待搬运库存容器添加最小外接矩形，并记录在RGB图像中该最小外接矩形的至少两个对角顶点的坐标，作为待搬运存储容器在RGB图像中的位置，例如左上角顶点坐标和右下角顶点坐标，通过该位置可以表示该最小外接矩形的位置和大小。
步骤530、依据待搬运存储容器在RGB图像中的位置，从当前RGBD图像帧的深度图像中，截取包含待搬运存储容器的目标感兴趣区域。
在本发明具体实施例中，由于当前RGBD图像帧的RGB图像与深度图像中的每个像素点具有关联对应的关系，表示了同一场景下的不同图像信息。因此可以依据待搬运存储容器在RGB图像中的位置，从当前RGBD图像帧的深度图像中，截取同样的矩形区域作为目标感兴趣区域。相应的，该目标感兴趣区域包含待搬运存储容器，且包含待搬运存储容器的深度信息。
步骤540、依据目标感兴趣区域的深度特征和面积特征、预设待比对模板的深度特征和面积特征，以及预设深度特征阈值和面积特征阈值，检测待搬运库存容器当前的位姿偏移程度。
在本发明具体实施例中，将深度特征和面积特征作为目标感兴趣区域的关键信息，依据关键信息进行库存容器位姿偏移程度的检测。其中，深度特征是指深度图像中每个像素点的深度值之和，面积特征是指深度图像的总面积。
本实施例中，预设待比对模板可以是指具有安全位姿状态的库存容器的深度图像，也可以是指当前帧之前的图像帧的深度图像。其中，由于待搬运库存容器在初始举起状态时，其位姿较为安全和稳定，因此可以将初始采集的预设数量的RGBD图像帧的深度图像均值，作为预设待比对模板；此外，由于在进行当前帧检测时，当前帧之前的图像帧都是经过检测无位姿偏移或在安全偏移范围之内的，因此还可以将当前RGBD图像帧的上一帧RGBD图像的深度图像作为预设待比对模板。进而依据上述深度特征和面积特征的确定方法，可以确定预设待比对模板的深度特征和面积特征。从而将目标感兴趣区域的深度特征和面积特征，分别与预设待比对模板的深度特征和面积特征进行比较，得到深度特征差值和面积特征差值。
相应的，本实施例依据不同场景下的危险偏移程度，预先确定深度特征阈值和面积特征阈值。即依据深度特征差值和面积特征差值确定的位姿偏移程度，超过深度特征阈值和/或面积特征阈值限定的位姿偏移限度，则确定待搬运库存容器当前发生了较大偏移，存在安全隐患，易导致无法安全或正常搬运，或影响仓储环境中其他叉车或机器人的正常搬运。
本实施例的技术方案，在监测到智能叉车完成待搬运库存容器的举起动作时，触发图像采集功能，以使在搬运库存容器的过程中，对货叉上的待搬运存储容器进行连续的RGBD图像采集，从而依据时刻采集的RGBD图像帧，对货叉上的待搬运存储容器进行位姿偏移程度的检测，并依据位姿偏移程度检测结果进行报警提示，以调整待搬运库存容器在智能叉车上的位姿。本发明实施例通过对包含货叉上待搬运存储容器的RGBD图像进行采集和容器识别，实现了对货叉上的待搬运库存容器的位姿偏移进行有效检测，避免了搬运过程中由于待搬运库存容器受到外力或叉车紧急刹车等原因，导致待搬运库存容器在货叉上的位置发生变化而无法安全搬运的问题，从而提高了叉车搬运库存容器的效率和安全性。
实施例四
本实施例在上述实施例三的基础上，提供了容器位姿偏移检测方法的一个优选实施方式，能够通过对待搬运库存容器识别以及特征的确定，来检测待搬运库存容器的位姿偏移程度。图6为本发明实施例四提供的一种容器位姿偏移检测方法的流程图，如图6所示，该方法包括以下具体步骤：
步骤610、若监测智能叉车完成待搬运库存容器的举起动作，则采集获得包括待搬运库存容器的RGBD图像帧。
步骤620、依据预先确定的容器识别模型，从当前RGBD图像帧的RGB图像中，确定待搬运存储容器在RGB图像中的位置。
在本发明具体实施例中，采用训练好的SVM模型对当前RGBD图像帧的RGB图像进行识别，对识别出的待搬运库存容器添加最小外接矩形，并记录在RGB图像中该最小外接矩形的至少两个对角顶点的坐标，作为待搬运存储容器在RGB图像中的位置，通过该位置可以表示该最小外接矩形的位置和大小。
示例性的，通过对当前RGBD图像帧中的RGB图像进行容器识别，确定图像中待搬运库存容器的最小外接矩形，及该最小外接矩形坐标信息(XLeftTop,YLeftTop)和(XRightBottem,YRightBottem)，并将该坐标信息作为待搬运存储容器在RGB图像中的位置。
步骤630、依据待搬运存储容器在RGB图像中的位置，从当前RGBD图像帧的深度图像中，截取包含待搬运存储容器的目标感兴趣区域。
在本发明具体实施例中，深度相机等图像传感器在智能叉车移动的过程中进行图像采集，在此期间，图像传感器与智能叉车位置相对位置固定，在正常工况下，待搬运库存容器和物品的位置不变。在进行特征确定前，可以采用滤波器对深度图像进行去噪处理。例如可以采用高斯低通滤波器对深度图像进行平滑处理，将深度图像中因图像传感器震动或激光接收干扰等引起的噪点进行去除，从而获取每个像素点准确的距离信息。其中，可以采用的高斯滤波器模板大小为3×3或5×5，标准差为1。本实施例中深度图像的去噪算法不局限于高斯低通滤波器，任何可以实现深度图像去噪的算法都可以应用于本实施例中。
本实施例中，在去除噪点的深度图像的基础上，由于当前RGBD图像帧的RGB图像与深度图像中的每个像素点具有关联对应的关系，表示了同一场景下的不同图像信息。因此可以依据待搬运存储容器在RGB图像中的位置，从当前RGBD图像帧的深度图像中，截取同样的矩形区域作为目标感兴趣区域。相应的，该目标感兴趣区域包含待搬运存储容器，且包含待搬运存储容器的深度信息。
示例性的，在上述示例中，通过对当前RGBD图像帧中的深度图像进行高斯低通滤波去噪，得到去噪后的深度图像Dfilter。根据该位置(XLeftTop,YLeftTop)和(XRightBottem,YRightBottem)，在Dfilter上截取对应的矩形区域作为目标感兴趣区域RD1。
步骤640、确定目标感兴趣区域的深度特征和面积特征。
在本发明具体实施例中，由于原始图像的像素分辨率较高，为了提高检测效率，本实施例在获得目标感兴趣区域之后，可以先对目标感兴趣区域构建金字塔图像，以对目标感兴趣区域进行降采样处理。其中，金字塔图像的层数可以根据RGBD传感器的相机焦距来确定。从而对降采样处理后的感兴趣区域图像，求取其每个像素点的深度值之和作为深度特征，计算其总面积作为面积特征。
可选的，依据预设层数对所述目标感兴趣区域进行降采样处理，得到降采样后的感兴趣区域图像；将降采样后的感兴趣区域图像各像素点的深度值求和，得到所述目标感兴趣区域的深度特征；确定降采样后的感兴趣区域图像的面积，得到所述目标感兴趣区域的面积特征。
本实施例中，由于原始图像的像素分辨率较高，为了提高检测效率，本实施例在获得目标感兴趣区域之后，可以先对目标感兴趣区域构建金字塔图像，以对目标感兴趣区域进行降采样处理。其中，金字塔图像的层数可以根据RGBD传感器的相机焦距来确定。从而对降采样处理后的感兴趣区域图像，求取其每个像素点的深度值之和作为深度特征，计算其总面积作为面积特征。
示例性的，在上述示例中，假设金字塔图像层数为3，对RD1进行降采样处理。即第一次降采样后得到图像RD11，RD11为RD1尺寸的1/2；第二次降采样后得到图像RD12，RD12为RD1尺寸的1/4；第三次降采样后得到图像RD13，RD13为RD1尺寸的1/8。将图像RD13内所有像素点的深度值进行求和，得到深度特征d，并将图像RD13的面积作为面积特征a。即当前RGBD图像帧的关键信息可以表示为[RD13,d,a]。
步骤650、依据目标感兴趣区域的深度特征和面积特征，以及预设待比对模板的深度特征和面积特征，确定深度特征差值和面积特征差值。
在本发明具体实施例中，预设待比对模板可以是指具有安全位姿状态的库存容器的深度图像，也可以是指当前帧之前的图像帧的深度图像。其中，由于待搬运库存容器在初始举起状态时，其位姿较为安全和稳定；或者由于在进行当前帧检测时，当前帧之前的图像帧都是经过检测无位姿偏移或在安全偏移范围之内的。因此可选的，预设待比对模板至少可以包括标准容器模板和上一帧RGBD图像。其中，标准容器模板是依据初始采集的预设数量的RGBD图像帧中，深度特征和面积特征的均值计算获得。进而依据上述深度特征和面积特征的确定方法，可以确定预设待比对模板的深度特征和面积特征。从而将目标感兴趣区域的深度特征和面积特征，分别与预设待比对模板的深度特征和面积特征进行比较，得到深度特征差值和面积特征差值。
示例性的，在上述示例中，假设将触发采集的初始前三帧的均值作为预设待比对模板。具体的，依据上述深度特征和图像特征的计算流程，将前三帧的关键信息均值作为预设待比对模板的深度特征和图像特征，即Src[RD13,d,a]。同时将当前帧的上一帧作为预设待比对模板，依据上述深度特征和图像特征的计算流程，确定该上一帧的深度特征和图像特征构成的关键信息表示为Current[RD13,d,a]。从而得到当前帧与初始三帧之间的深度特征差值|d-Src(d)|和面积特征差值|a-Src(a)|，以及当前帧与上一帧之间的深度特征差值|d-Current(d)|和面积特征差值|a-Current(a)|。
步骤660、依据深度特征差值和面积特征差值，以及预设深度特征阈值和面积特征阈值，检测待搬运库存容器当前的位姿偏移程度。
在本发明具体实施例中，依据不同场景下的危险偏移程度，预先确定深度特征阈值和面积特征阈值。即依据深度特征差值和面积特征差值确定的位姿偏移程度，超过深度特征阈值和/或面积特征阈值限定的位姿偏移限度，则确定待搬运库存容器当前发生了较大偏移，存在安全隐患，易导致无法安全或正常搬运，或影响仓储环境中其他叉车或机器人的正常搬运。
可选的，依据当前RGBD图像帧与标准容器模板之间的深度特征差值和面积特征差值，当前RGBD图像帧与上一帧RGBD图像帧之间的深度特征差值和面积特征差值，以及预设的标准深度特征阈值、标准面积特征阈值、相邻特征阈值和相邻面积特征阈值，若检测到至少一项特征差值大于对应的特征阈值，则确定当前时刻，待搬运库存容器在所述智能叉车上的位姿发生了偏移。
本实施例中，将当前RGBD图像帧与标准容器模板之间的深度特征差值，与标准深度特征阈值进行比较；将当前RGBD图像帧与标准容器模板之间的面积特征差值，与标准面积特征阈值进行比较；将当前RGBD图像帧与上一帧RGBD图像帧之间的深度特征差值，与预设的相邻特征阈值进行比较；将当前RGBD图像帧与上一帧RGBD图像帧之间的面积特征差值，与相邻面积特征阈值进行比较。从而在上述四项比较中，若存在至少一项特征差值大于对应的特征阈值，则确定当前时刻，待搬运库存容器在所述智能叉车上的位姿发生了偏移。
示例性的，在上述示例中，假设依据不同场景下的危险偏移程度，预先确定当前帧与初始三帧之间的深度特征阈值为DCurrSrc，面积特征阈值SCurrSrc，预先确定当前帧与上一帧之间的深度特征阈值为DCurrLast，面积特征阈值SCurrLast。因此，当|d-Src(d)|>DCurrSrc、|a-Src(a)|>SCurrSrc、|d-Current(d)|>DCurrLast以及|a-Current(a)|>SCurrLast中存在至少一项满足时，则确定待搬运库存容器当前发生了较大偏移。
步骤670、若确定待搬运库存容器在智能叉车上的位姿发生了偏移，则进行报警提示，以调整待搬运库存容器在智能叉车上的位姿。
在本发明具体实施例中，智能叉车根据上传的检测数据，在检测存在较大偏移时进行制动和报警，以使工作人员或其他机器人对该智能叉车货叉上的待搬运库存容器和/或物品进行位姿的调整，并取消报警。完成调整后，智能叉车继续执行搬运任务，直至将待搬运库存容器搬运至目的地，并放下待搬运库存容器为止，进而停止图像采集和检测。
本实施例的技术方案，在监测智能叉车举起库存容器时，触发对货叉上的待搬运存储容器进行RGBD图像采集。通过对当前RGBD图像帧的RGB图像进行库存容器识别，确定待搬运库存容器在RGB图像中的位置，依据该位置，截取当前RGBD图像帧的深度图像的目标感兴趣区域。从而对目标感兴趣区域进行深度特征和面积特征的确定，依据预设待比对模板进行特征的比较，并依据特征比较结果与特征阈值，对货叉上的待搬运存储容器进行位姿偏移程度的检测，并依据位姿偏移程度检测结果进行报警提示，以调整待搬运库存容器在智能叉车上的位姿。本发明实施例通过对包含货叉上待搬运存储容器的RGBD图像进行采集和容器识别，实现了对货叉上的待搬运库存容器的位姿偏移进行有效检测，避免了搬运过程中由于待搬运库存容器受到外力或叉车紧急刹车等原因，导致待搬运库存容器在货叉上的位置发生变化而无法安全搬运的问题，从而提高了叉车搬运库存容器的效率和安全性。
实施例五
本发明实施例五还提供一种计算机可读存储介质，其上存储有计算机程序(或称为计算机可执行指令)，该程序被处理器执行时用于执行一种容器位姿偏移检测方法，该方法包括：
若监测智能叉车完成待搬运库存容器的举起动作，则采集获得包括所述待搬运库存容器的RGBD图像帧；其中，所述RGBD图像帧包括RGB图像和深度图像；
依据预先确定的容器识别模型，从当前RGBD图像帧的RGB图像中，确定所述待搬运存储容器在所述RGB图像中的位置；
依据所述待搬运存储容器在所述RGB图像中的位置，从当前RGBD图像帧的深度图像中，截取包含所述待搬运存储容器的目标感兴趣区域；
依据所述目标感兴趣区域的深度特征和面积特征、预设待比对模板的深度特征和面积特征，以及预设深度特征阈值和面积特征阈值，检测所述待搬运库存容器当前的位姿偏移程度。
当然，本发明实施例所提供的一种计算机可读存储介质,其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的容器位姿偏移检测方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明实施例可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明实施例进行了较为详细的说明，但是本发明实施例不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种智能叉车，其特征在于，所述智能叉车包括：工作状态监测模块、容器图像采集模块和处理模块；
所述容器图像采集模块分别与所述工作状态监测模块以及所述处理模块电连接；其中：
所述工作状态监测模块，用于监测所述智能叉车搬运待搬运库存容器的工作状态，并依据所述工作状态，控制所述容器图像采集模块进行图像采集；
所述容器图像采集模块，用于响应所述工作状态监测模块的触发，采集获得包括所述待搬运库存容器的RGBD图像帧，并将该RGBD图像帧传输至所述处理模块；
所述处理模块，用于接收所述容器图像采集模块反馈的RGBD图像帧，以及依据所述RGBD图像帧检测所述待搬运库存容器的位姿偏移程度；并依据位姿偏移程度检测结果进行报警提示，以调整所述待搬运库存容器在所述智能叉车上的位姿。
2.根据权利要求1所述的智能叉车，其特征在于，所述容器图像采集模块包括至少一个摄像头，所述摄像头安装于所述智能叉车的货叉上方。
3.根据权利要求1所述的智能叉车，其特征在于，所述RGBD图像帧包括RGB图像和深度图像，所述RGBD图像帧中用于表征待搬运库存容器的图像位于所述RGBD图像帧中的指定区域内。
4.根据权利要求1所述的智能叉车，其特征在于，所述工作状态监测模块具体用于：
若监测所述智能叉车完成待搬运库存容器的举起动作，则触发所述容器图像采集模块进行图像采集；
若监测所述智能叉车完成待搬运库存容器的放置动作，则终止所述容器图像采集模块的图像采集动作。
5.根据权利要求3所述的智能叉车，其特征在于，所述处理模块具体用于：
依据预先确定的容器识别模型，从当前RGBD图像帧的RGB图像中，确定所述待搬运存储容器在所述RGB图像中的位置；
依据所述待搬运存储容器在所述RGB图像中的位置，从当前RGBD图像帧的深度图像中，截取包含所述待搬运存储容器的目标感兴趣区域；
确定所述目标感兴趣区域的深度特征和面积特征，并依据所述目标感兴趣区域的深度特征和面积特征，以及预设待比对模板的深度特征和面积特征，确定深度特征差值和面积特征差值；
依据所述深度特征差值和面积特征差值，以及预设深度特征阈值和面积特征阈值，检测所述待搬运库存容器当前的位姿偏移程度。
6.根据权利要求5所述的智能叉车，其特征在于，所述处理模块具体用于：
依据预设层数对所述目标感兴趣区域进行降采样处理，得到降采样后的感兴趣区域图像；
将降采样后的感兴趣区域图像各像素点的深度值求和，得到所述目标感兴趣区域的深度特征；
确定降采样后的感兴趣区域图像的面积，得到所述目标感兴趣区域的面积特征。
7.根据权利要求5所述的智能叉车，其特征在于，预设待比对模板至少包括标准容器模板和上一帧RGBD图像。
8.根据权利要求7所述的智能叉车，其特征在于，所述标准容器模板是依据初始采集的预设数量的RGBD图像帧的均值计算获得。
9.一种容器位姿偏移检测方法，其特征在于，包括：
若监测智能叉车完成待搬运库存容器的举起动作，则采集获得包括所述待搬运库存容器的RGBD图像帧；其中，所述RGBD图像帧包括RGB图像和深度图像；
依据预先确定的容器识别模型，从当前RGBD图像帧的RGB图像中，确定所述待搬运存储容器在所述RGB图像中的位置；
依据所述待搬运存储容器在所述RGB图像中的位置，从当前RGBD图像帧的深度图像中，截取包含所述待搬运存储容器的目标感兴趣区域；
依据所述目标感兴趣区域的深度特征和面积特征、预设待比对模板的深度特征和面积特征，以及预设深度特征阈值和面积特征阈值，检测所述待搬运库存容器当前的位姿偏移程度。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求9所述的容器位姿偏移检测方法。
CN201910337791.XA 2019-04-25 2019-04-25 一种智能叉车以及容器位姿偏移检测方法 Active CN110054121B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201910337791.XA CN110054121B (zh) 2019-04-25 2019-04-25 一种智能叉车以及容器位姿偏移检测方法
EP19926162.9A EP3960692A4 (en) 2019-04-25 2019-12-24 INTELLIGENT FORKLIFT TRUCK AND CONTAINER POSITION AND POSTURE DEVIATION DETECTION METHOD
KR1020217035759A KR102461759B1 (ko) 2019-04-25 2019-12-24 지능형 지게차 및 컨테이너 위치 및 자세 편이 검출 방법
JP2021563272A JP7206421B2 (ja) 2019-04-25 2019-12-24 スマートフォークリフト及び容器位置姿勢ずれの検出方法
PCT/CN2019/128048 WO2020215772A1 (zh) 2019-04-25 2019-12-24 一种智能叉车以及容器位姿偏移检测方法
US17/508,784 US11625854B2 (en) 2019-04-25 2021-10-22 Intelligent forklift and method for detecting pose deviation of container

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910337791.XA CN110054121B (zh) 2019-04-25 2019-04-25 一种智能叉车以及容器位姿偏移检测方法

Publications (2)

Publication Number Publication Date
CN110054121A true CN110054121A (zh) 2019-07-26
CN110054121B CN110054121B (zh) 2021-04-20

Family

ID=67320596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910337791.XA Active CN110054121B (zh) 2019-04-25 2019-04-25 一种智能叉车以及容器位姿偏移检测方法

Country Status (6)

Country Link
US (1) US11625854B2 (zh)
EP (1) EP3960692A4 (zh)
JP (1) JP7206421B2 (zh)
KR (1) KR102461759B1 (zh)
CN (1) CN110054121B (zh)
WO (1) WO2020215772A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781794A (zh) * 2019-10-21 2020-02-11 兰剑智能科技股份有限公司 一种智能识别的方法及系统
CN110950277A (zh) * 2019-12-16 2020-04-03 浙江迈睿机器人有限公司 用于agv叉车的托盘姿态识别系统及其方法
WO2020215772A1 (zh) * 2019-04-25 2020-10-29 北京极智嘉科技有限公司 一种智能叉车以及容器位姿偏移检测方法
CN111874512A (zh) * 2020-06-10 2020-11-03 北京旷视机器人技术有限公司 位置调整方法、装置、托举式机器人及计算机存储介质
CN112507984A (zh) * 2021-02-03 2021-03-16 苏州澳昆智能机器人技术有限公司 一种基于图像识别的输送物料异常识别方法、装置及系统
CN112614183A (zh) * 2020-12-25 2021-04-06 深圳市镭神智能系统有限公司 托盘位姿检测方法、装置、设备和存储介质
WO2021217977A1 (zh) * 2020-04-28 2021-11-04 平安科技（深圳）有限公司 多机器人的协作控制方法、装置及计算机设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220016779A1 (en) * 2020-07-15 2022-01-20 The Board Of Trustees Of The University Of Illinois Autonomous Robot Packaging of Arbitrary Objects
US11866258B2 (en) 2020-10-19 2024-01-09 Gideon Brothers d.o.o. User interface for mission generation of area-based operation by autonomous robots in a facility context
US20240174499A1 (en) * 2021-03-31 2024-05-30 Still Gmbh Method and System for Load Detection in an Industrial Truck

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3822766A (en) * 1971-07-20 1974-07-09 Oehler Wyhlen Lagertechnik Ag Process and a device for the fine positioning of a vertically movable platform in front of a pallet location
DE2932899B1 (de) * 1979-08-14 1980-11-27 Jungheinrich Kg Vorrichtung zum beruehrungslosen Messen der Hoehe eines Lasttraegers an einem Lasttraegerfahrzeug ueber einem Bezugspunkt
CN106672859A (zh) * 2017-01-05 2017-05-17 深圳市有光图像科技有限公司 一种基于叉车视觉识别托盘的方法及叉车
CN107562049A (zh) * 2017-08-09 2018-01-09 深圳市有光图像科技有限公司 一种通过对比图像识别智能叉车的位置的方法及智能叉车
CN109368552A (zh) * 2018-10-22 2019-02-22 广州微牌智能科技有限公司 托盘入叉方法、装置、系统、设备和存储介质
CN109650292A (zh) * 2019-02-02 2019-04-19 北京极智嘉科技有限公司 一种智能叉车以及智能叉车的位置调整方法和介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006017634A (ja) * 2004-07-02 2006-01-19 Kubota Corp 移動作業機の位置検出装置
JP4731934B2 (ja) 2005-02-07 2011-07-27 株式会社アイチコーポレーション 伸縮ブームのワイヤ切断検出装置
JP2006240873A (ja) 2005-03-07 2006-09-14 Apurikotto Instruments Kk フォークモニタリング装置
JP4666154B2 (ja) * 2005-09-20 2011-04-06 株式会社豊田自動織機 フォークリフトにおける荷役作業支援装置
JP5069936B2 (ja) * 2007-04-18 2012-11-07 日立Ｇｅニュークリア・エナジー株式会社 資材保管位置管理システムおよびその方法
JP2010100408A (ja) 2008-10-24 2010-05-06 Toyota Industries Corp スタッカクレーン
JP5900987B2 (ja) 2014-04-16 2016-04-06 ニチユ三菱フォークリフト株式会社 荷役車両
JP2015228184A (ja) * 2014-06-02 2015-12-17 富士通株式会社 監視プログラム、監視システムおよび監視方法
KR101834336B1 (ko) * 2016-09-27 2018-03-06 삼성중공업 주식회사 자재적치장 영상모니터링을 통한 자재위치 인식시스템 및 지게차
CN107031629B (zh) * 2017-03-10 2019-11-19 上海大学 一种3d机器视觉叉车行驶辅助安全系统及方法
US10328578B2 (en) * 2017-04-21 2019-06-25 X Development Llc Methods and systems for detecting, recognizing, and localizing pallets
CN107123142B (zh) * 2017-05-09 2020-05-01 北京京东尚科信息技术有限公司 位姿估计方法和装置
CN107218927B (zh) * 2017-05-16 2019-08-09 上海交通大学 一种基于tof相机的货物托盘检测系统和方法
CN107610176B (zh) * 2017-09-15 2020-06-26 斯坦德机器人（深圳）有限公司 一种基于Kinect的栈板动态识别与定位方法、系统及介质
CN109573897B (zh) * 2018-12-21 2020-09-15 宁波如意股份有限公司 基于视觉的叉车agv货叉起升高度定位的系统及方法
CN110054121B (zh) * 2019-04-25 2021-04-20 北京极智嘉科技有限公司 一种智能叉车以及容器位姿偏移检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3822766A (en) * 1971-07-20 1974-07-09 Oehler Wyhlen Lagertechnik Ag Process and a device for the fine positioning of a vertically movable platform in front of a pallet location
DE2932899B1 (de) * 1979-08-14 1980-11-27 Jungheinrich Kg Vorrichtung zum beruehrungslosen Messen der Hoehe eines Lasttraegers an einem Lasttraegerfahrzeug ueber einem Bezugspunkt
CN106672859A (zh) * 2017-01-05 2017-05-17 深圳市有光图像科技有限公司 一种基于叉车视觉识别托盘的方法及叉车
CN107562049A (zh) * 2017-08-09 2018-01-09 深圳市有光图像科技有限公司 一种通过对比图像识别智能叉车的位置的方法及智能叉车
CN109368552A (zh) * 2018-10-22 2019-02-22 广州微牌智能科技有限公司 托盘入叉方法、装置、系统、设备和存储介质
CN109650292A (zh) * 2019-02-02 2019-04-19 北京极智嘉科技有限公司 一种智能叉车以及智能叉车的位置调整方法和介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215772A1 (zh) * 2019-04-25 2020-10-29 北京极智嘉科技有限公司 一种智能叉车以及容器位姿偏移检测方法
US11625854B2 (en) 2019-04-25 2023-04-11 Beijing Geekplus Technology Co. Ltd. Intelligent forklift and method for detecting pose deviation of container
CN110781794A (zh) * 2019-10-21 2020-02-11 兰剑智能科技股份有限公司 一种智能识别的方法及系统
CN110950277A (zh) * 2019-12-16 2020-04-03 浙江迈睿机器人有限公司 用于agv叉车的托盘姿态识别系统及其方法
WO2021217977A1 (zh) * 2020-04-28 2021-11-04 平安科技（深圳）有限公司 多机器人的协作控制方法、装置及计算机设备
CN111874512A (zh) * 2020-06-10 2020-11-03 北京旷视机器人技术有限公司 位置调整方法、装置、托举式机器人及计算机存储介质
CN111874512B (zh) * 2020-06-10 2022-02-22 北京旷视机器人技术有限公司 位置调整方法、装置、托举式机器人及计算机存储介质
CN112614183A (zh) * 2020-12-25 2021-04-06 深圳市镭神智能系统有限公司 托盘位姿检测方法、装置、设备和存储介质
CN112507984A (zh) * 2021-02-03 2021-03-16 苏州澳昆智能机器人技术有限公司 一种基于图像识别的输送物料异常识别方法、装置及系统
CN112507984B (zh) * 2021-02-03 2021-05-11 苏州澳昆智能机器人技术有限公司 一种基于图像识别的输送物料异常识别方法、装置及系统

Also Published As

Publication number Publication date
EP3960692A4 (en) 2022-10-05
CN110054121B (zh) 2021-04-20
US20220067960A1 (en) 2022-03-03
KR20210145802A (ko) 2021-12-02
EP3960692A1 (en) 2022-03-02
US11625854B2 (en) 2023-04-11
WO2020215772A1 (zh) 2020-10-29
JP7206421B2 (ja) 2023-01-17
KR102461759B1 (ko) 2022-11-01
JP2022525441A (ja) 2022-05-13

Similar Documents

Publication Publication Date Title
CN110054121A (zh) 一种智能叉车以及容器位姿偏移检测方法
WO2021249568A1 (zh) 仓储机器人的控制方法、装置、设备及可读存储介质
CN109650292B (zh) 一种智能叉车以及智能叉车的位置调整方法和介质
US10692231B1 (en) Composite agent representation
AU2016243617B2 (en) Imager for detecting visual light and infrared projected patterns
CN106573381B (zh) 卡车卸载机可视化
DE112019000177T5 (de) Ein robotersystem mit automatisiertem paketregistrierungsmechanismus und verfahren zum betreiben dieses systems
US10512941B2 (en) Projection instruction device, parcel sorting system, and projection instruction method
WO2022105231A1 (zh) 入库管理方法、装置、仓库管理系统和电子系统
WO2009052854A1 (en) Device, method and system for recording inspection data about a freight container
WO2021249406A1 (zh) 货箱的提取方法、装置、系统、机器人和存储介质
US10012992B2 (en) Integrated obstacle detection and payload centering sensor system
US20230410362A1 (en) Target object detection method and apparatus, and electronic device, storage medium and program
CN109573526A (zh) 搬运控制方法及搬运机器人
US20190099783A1 (en) Projection indicator, cargo assortment system, and projection indicating method
CN106248058B (zh) 一种对于仓储运输工具的定位方法、装置及系统
CN115049322B (zh) 一种集装箱堆场的集装箱管理方法及系统
US11666948B2 (en) Projection instruction device, parcel sorting system, and projection instruction method
CN113978987B (zh) 栈板物品打包提货方法、装置、设备及介质
US10891736B1 (en) Associating an agent with an event using motion analysis
CN115375759A (zh) 基于目标检测的机器人视觉定位方法和装置
CN113642453A (zh) 障碍物的检测方法、装置和系统
CN117798957A (zh) 物体抓取系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100085 101, building 1, No.36 courtyard, Chuangyuan Road, Chaoyang District, Beijing

Patentee after: Beijing jizhijia Technology Co.,Ltd.

Address before: 100085 101, building 1, No.36 courtyard, Chuangyuan Road, Chaoyang District, Beijing

Patentee before: Beijing Geekplus Technology Co.,Ltd.