CN109969989B - 行驶策略确定方法、智能叉车及存储介质 - Google Patents

行驶策略确定方法、智能叉车及存储介质 Download PDF

Info

Publication number
CN109969989B
CN109969989B CN201910262867.7A CN201910262867A CN109969989B CN 109969989 B CN109969989 B CN 109969989B CN 201910262867 A CN201910262867 A CN 201910262867A CN 109969989 B CN109969989 B CN 109969989B
Authority
CN
China
Prior art keywords
depth
value
cargo
goods
highest point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910262867.7A
Other languages
English (en)
Other versions
CN109969989A (zh
Inventor
纪彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jizhijia Technology Co Ltd
Original Assignee
Beijing Geekplus Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Geekplus Technology Co Ltd filed Critical Beijing Geekplus Technology Co Ltd
Priority to CN201910262867.7A priority Critical patent/CN109969989B/zh
Publication of CN109969989A publication Critical patent/CN109969989A/zh
Priority to PCT/CN2019/102910 priority patent/WO2020199471A1/zh
Priority to EP19923051.7A priority patent/EP3950566B1/en
Priority to US17/600,544 priority patent/US11958687B2/en
Application granted granted Critical
Publication of CN109969989B publication Critical patent/CN109969989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/063—Automatically guided
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Civil Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Abstract

本发明实施例公开了一种行驶策略确定方法、智能叉车及存储介质，其中，该方法包括：若确定智能叉车已获取到货物且货叉处于归位状态，则控制深度相机启动；依据所述深度相机的参数信息和所述深度相机采集的深度图像，确定货物的高度值和/或深度值；依据所述货物的高度值和/或深度值，确定行驶策略。通过本发明实施例提供的技术方案，提高了智能叉车行驶的安全性。

Description

行驶策略确定方法、智能叉车及存储介质
技术领域
本发明实施例涉及物流仓储技术领域，尤其涉及一种行驶策略确定方法、智能叉车及存储介质。
背景技术
随着自动化技术的快速发展，机器人越来越多的出现在人们的视野中。移动机器人是一种智能控制移动以进行各种任务的设备，例如，清洁机器人、智能叉车、以及智能拣选系统中用于拉货物的机器人等。其中，智能叉车在物流仓储作业过程中占据重要地位。
智能叉车在搬运货物过程中，通常按照行驶策略中规定的行驶路径、行驶参数(速度等)行驶，因此，为了保证其安全性，准确制定行驶策略至关重要。目前，通常以智能叉车的高度来确定智能叉车所能行驶的空间，而后基于智能叉车所能行驶的空间中的路线等制定其行驶策略。然而智能叉车采用上述方案所指定的行驶策略，在行驶过程容易出现智能叉车上的货物碰撞了高空中物体，或者，智能叉车上的货物掉下来，遮挡在前进方向等现象，进而存在导致智能叉车无法安全到达目的地的问题。因此，制定一种行驶策略以保证智能叉车安全的将货物运输至目的地是十分有必要的。
发明内容
本发明提供了一种行驶策略确定方法、智能叉车及存储介质，提高了智能叉车行驶的安全性。
第一方面，本发明实施例提供了一种行驶策略确定方法，该方法包括：
若确定智能叉车已获取到货物且货叉处于归位状态，则控制深度相机启动；
依据所述深度相机的参数信息和所述深度相机采集的深度图像，确定货物的高度值和/或深度值；
依据所述货物的高度值和/或深度值，确定行驶策略。
进一步的，所述货物的高度值和深度值为货物最高点的高度值和深度值，其中，所述货物最高点的高度值用于表征货物最高点到所述智能叉车中货叉的垂直距离，所述货物最高点的深度值用于表征货物最高点到所述深度相机的距离。
进一步的，依据所述深度相机的参数信息和所述深度相机采集的深度图像，确定货物最高点的高度值和高度值，包括：
依据所述深度图像中货物最高点的像素坐标，确定货物最高点的深度值；
依据所述深度图像中货物最高点的像素坐标，以及所述参数信息中的垂直视场角和分辨率，确定所述货物最高点与所述深度相机的水平夹角；
依据所述水平夹角，货物最高点的深度值以及所述参数信息中的安装位置信息，确定所述货物最高点的高度值。
进一步的，依据所述水平夹角，货物最高点的深度值以及所述参数信息中的安装位置信息，确定所述货物最高点的高度值，包括：
依据所述水平夹角以及货物最高点的深度值，确定所述货物最高点相对所述深度相机的垂直高度；
依据所述垂直高度，以及所述参数信息中的安装位置信息，确定所述货物最高点的高度值。
进一步的，依据所述货物的高度值，确定行驶策略，包括：
依据所述货物的高度值，以及所述智能叉车的本体高度值，确定避障高度；
依据所述避障高度制定所述行驶策略中的避障行驶策略，以使所述智能叉车依据所述避障行驶策略从当前位置运行到目标位置。
进一步的，依据所述货物的高度值和/或深度值，确定行驶策略，包括：
确定相邻两帧深度图像中货物的高度差值和/或深度差值；
若所述高度差值和/或深度差值大于预设阈值，则执行所述行驶策略中的应急行驶策略。
进一步的，依据所述深度相机的参数信息和所述深度相机采集的深度图像，确定货物最高点的高度值和/或深度值，包括：
若所述深度图像中存在深度值小于固定深度值，则获取货物最高点信息，其中，所述固定深度值为所述深度相机到所述智能叉车中货叉末端的垂直距离值；
依据所述深度相机的参数信息和所述货物最高点信息，确定货物最高点的高度值和/或深度值。
第二方面，本发明实施例提供了一种智能叉车，所述智能叉车包括货叉、深度相机和处理器模块，所述深度相机和所述处理器模块电连接；其中：
所述处理器模块，用于若确定所述智能叉车已获取到货物且货叉处于归位状态，则控制深度相机启动；
所述深度相机，用于按照预设周期采集指定方位的深度图像；
所述处理器模块，还用于依据所述深度相机的参数信息和所述深度相机采集的深度图像，确定货物的高度值和深度值；依据所述货物的高度值和/或深度值，确定行驶策略。
进一步的，所述货物的高度值和深度值为货物最高点的高度值和深度值，其中，所述货物最高点的高度值用于表征货物最高点到所述智能叉车中货叉的垂直距离，所述货物最高点的深度值用于表征货物最高点到所述深度相机的距离。
进一步的，所述处理器模块包括：
深度值确定单元，用于依据所述深度图像中货物最高点的像素坐标，确定货物最高点的深度值；
夹角确定单元，用于依据所述深度图像中货物最高点的像素坐标，以及所述参数信息中的垂直视场角和分辨率，确定所述货物最高点与所述深度相机的水平夹角；
高度值确定单元，用于依据所述水平夹角，货物最高点的深度值以及所述参数信息中的安装位置信息，确定所述货物最高点的高度值。
进一步的，所述高度值确定单元具体用于：
依据所述水平夹角以及货物最高点的深度值，确定所述货物最高点相对所述深度相机的垂直高度；
依据所述垂直高度，以及所述参数信息中的安装位置信息，确定所述货物最高点的高度值。
进一步的，所述处理器模块在依据所述货物的高度值，确定行驶策略时，具体用于：
依据所述货物的高度值，以及所述智能叉车的本体高度值，确定避障高度；
依据所述避障高度制定所述行驶策略中的避障行驶策略，以使所述智能叉车依据所述避障行驶策略从当前位置运行到目标位置。
进一步的，所述处理器模块在依据所述货物的高度值和/或深度值，确定行驶策略时，还具体用于：
确定相邻两帧深度图像中货物的高度差值和/或深度差值；
若所述高度差值和/或深度差值大于预设阈值，则执行所述行驶策略中的应急行驶策略。
进一步的，所述处理器模块在依据所述深度相机的参数信息和所述深度相机采集的深度图像，确定货物最高点的高度值和/或深度值时，具体用于：
若所述深度图像中存在深度值小于固定深度值，则获取货物最高点信息，所述固定深度值为所述深度相机到所述智能叉车中货叉末端的垂直距离值；
依据所述深度相机的参数信息和所述货物最高点信息，确定货物最高点的高度值和/或深度值。
第三方面，本发明实施例还提供了一种行驶策略确定装置，该装置包括：
控制模块，用于若确定智能叉车已获取到货物且货叉处于归位状态，则控制深度相机启动；
货物值确定模块，用于依据所述深度相机的参数信息和所述深度相机采集的深度图像，确定货物的高度值和/或深度值；
行驶策略确定模块，用于依据所述货物的高度值和/或深度值，确定行驶策略。
进一步的，所述货物的高度值和深度值为货物最高点的高度值和深度值，其中，所述货物最高点的高度值用于表征货物最高点到所述智能叉车中货叉的垂直距离，所述货物最高点的深度值用于表征货物最高点到所述深度相机的距离。
进一步的，货物值确定模块包括：
深度值确定单元，用于依据所述深度图像中货物最高点的像素坐标，确定货物最高点的深度值；
夹角确定单元，用于依据所述深度图像中货物最高点的像素坐标，以及所述参数信息中的垂直视场角和分辨率，确定所述货物最高点与所述深度相机的水平夹角；
高度值确定单元，用于依据所述水平夹角，货物最高点的深度值以及所述参数信息中的安装位置信息，确定所述货物最高点的高度值。
进一步的，高度值确定单元具体用于：
依据所述水平夹角以及货物最高点的深度值，确定所述货物最高点相对所述深度相机的垂直高度；
依据所述垂直高度，以及所述参数信息中的安装位置信息，确定所述货物最高点的高度值。
进一步的，行驶策略确定模块具体用于：
依据所述货物的高度值，以及所述智能叉车的本体高度值，确定避障高度；
依据所述避障高度制定所述行驶策略中的避障行驶策略，以使所述智能叉车依据所述避障行驶策略从当前位置运行到目标位置。
进一步的，行驶策略确定模块还具体用于：
确定相邻两帧深度图像中货物的高度差值和/或深度差值；
若所述高度差值和/或深度差值大于预设阈值，则执行所述行驶策略中的应急行驶策略。
进一步的，货物值确定模块具体用于：
若所述深度图像中存在深度值小于固定深度值，则获取货物最高点信息，其中，所述固定深度值为所述深度相机到所述智能叉车中货叉末端的垂直距离值；
依据所述深度相机的参数信息和所述货物最高点信息，确定货物最高点的高度值和/或深度值。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的行驶策略确定方法。
本发明实施例提供了一种行驶策略确定方法、智能叉车及存储介质，通过在确定智能叉车已获取到货物且货叉处于归位状态时，控制深度相机启动，以实时获取深度图像；而后依据深度相机的参数信息和深度相机采集的深度图像，确定货物的高度值和/或深度值，进而依据货物的高度值和/或深度值，为智能叉车确定行驶策略。相比于现有的技术方案，本方案根据货物的高度值和/或深度值确定行驶策略，充分考虑智能叉车搬运货物的实际情况，解决了依据智能叉车的高度制定的行驶策略，容易出现智能叉车无法安全到达目的地的问题，提高了智能叉车行驶的安全性，进而可保证智能叉车安全的将货物运输至目的地。
附图说明
为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
图1是本发明实施例提供的一种仓储系统的结构示意图；
图2A是本发明实施例一提供的一种行驶策略确定方法的流程图；
图2B是本发明实施例一提供的一种智能叉车未装载货物的示意图；
图2C是本发明实施例一提供的一种智能叉车装载货物且货叉处于归位状态的示意图；
图3A是本发明实施例二提供的一种行驶策略确定方法的流程图；
图3B是本发明实施例二提供的一种简化的智能叉车装载货物的右视图；
图4A是本发明实施例三提供的一种行驶策略确定方法的流程图；
图4B是本发明实施例三提供的一种货物的高度值计算示意图；
图4C是本发明实施例三提供的一种深度图像坐标系的示意图；
图5是本发明实施例四提供的一种行驶策略确定方法的流程图；
图6是本发明实施例五提供的一种行驶策略确定方法的流程图；
图7是本发明实施例六提供的一种行驶策略确定装置的结构框图；
图8是本发明实施例七提供的一种智能叉车的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在介绍本发明各实施例之前，先对本发明实施例的应用场景进行说明，本发明实施例的行驶策略确定方法、装置、智能叉车及存储介质可以适用于任何需要搬运货物的场景中，如在仓储物流领域，智能叉车作为一种移动机器人，逐渐代替人工在工作区域内的不同工作站点之间进行货物的搬运操作。为了更好的了解智能叉车在仓储系统中的工作情况，下述以有大宗物品到达仓库，智能叉车将该大宗物品上货至高位货架上的场景为例进行说明，但是智能叉车所能工作的场景并不限于此。具体请参见图1所示的仓储系统的结构示意图，该系统100可以包括：智能叉车110、控制服务器120、备货区130以及工作站140，备货区130设置有多个货架1301(例如，为了提高仓库的存储效率，该货架可以是高位货架，下述以备货区130设置的货架为高位货架1301进行描述)，高位货架1301上存储有各种大宗物品(如，整箱的可乐)。
控制服务器120可与智能叉车110进行无线通信，工作人员可以通过操作台使控制服务器120工作，智能叉车110在控制系统120的控制下，执行相应的任务。例如，控制服务器120根据任务为智能叉车110规划移动路径，智能叉车110根据移动路径沿高位货架1301所组成的高位货架阵列中的空着的空间(智能叉车110通行通道的一部分)行驶。为了方便为智能叉车110规划移动路径，预先将智能叉车110的工作区域(该工作区域至少包括备货区130以及工作站140所在区域)划分为若干个子区域(即单元格)，智能叉车110逐个子区域地进行移动从而形成移动轨迹。
智能叉车110可以包括货叉，所述货叉的出叉方向与智能叉车的行驶方向平行。此外，该智能叉车110还可以包括用于控制货叉上下平行移动的控制器、目标识别组件、以及导航识别组件如摄像头等。智能叉车110通过其上配置的货叉、控制器等各部件之间的相互配合，可以从备货区130的高位货架1301中取出或存放库存容器1302。其中，库存容器1302放置于高位货架1301上，用于存放各种大宗物品。可选的，库存容器1302可以是托盘，还可以是料箱等。
具体的，在大宗物品到达仓库时，控制服务器120可依据备货区130的存储情况，确定目标库存容器1302，以及存放目标库存容器1302的目标高位货架1301；并依据工作站140的操作任务情况，确定执行本次操作任务(即上货任务)的目标工作站140；还可以依据当前智能叉车110的工作情况，确定搬运目标库存容器1302的目标智能叉车110，以及为该目标智能叉车110规划行驶路径；而后向目标智能叉车110发送控制指令。智能叉车110响应该控制指令，可以根据行驶路径、导航组件行驶至备货区130的目标高位货架1301处，并基于目标识别组件确定目标高位货架1301上的所要获取的目标库存容器1302的位置；而后智能叉车110中的控制器将货叉调节至目标库存容器的高度，并控制货叉出叉且深入至目标库存容器底下，进而获取目标库存容器。之后，根据行驶路径行驶至目标工作站140中工作人员或上货机器人150所在工作区域，以便工作人员或上货机器人150将大宗货物放置目标库存容器1302中。在目标库存容器1302的操作任务已完成之后，目标智能叉车110还可以将目标库存容器1302从目标工作站140搬回至备货区中(图1中未示出)。
但是，面对范围较大且环境复杂的物流工作区域，为了保证智能叉车能够安全的将货物搬运至目的地，需要准确制定行驶策略。目前，通常以智能叉车本体高度(也就是说智能叉车门架的高度)作为门限值，来确定智能叉车所能行驶的空间，而后基于智能叉车所能行驶的空间中的路线等制定其行驶策略。然而在实际场景中，为了提高智能叉车的工作效率，智能叉车所装载货物将会超过门限值，此时，若智能叉车仍采用上述方案所指定的行驶策略，在行驶过程将容易出现智能叉车上的货物碰撞了高空中物体，进而导致智能叉车无法安全到达目的地。此外，仅依据智能叉车本体高度制定智能叉车行驶策略的方案，未考虑智能叉车行驶过程中可能出现的紧急事件，如智能叉车上的货物掉下来，遮挡在前进方向等现象，也会导致智能叉车无法安全到达目的地。由此可见，采用智能叉车本体高度为智能叉车制定行驶策略，无法保证其的安全性。
因此，为了提高了智能叉车行驶的安全性，本实施例，基于深度相机较大的视场角能够对智能叉车进行全方位检测的特性，使用深度相机作为传感器进行避障，即将深度相机安装在智能叉车上。基于此，以下对本发明实施例的技术方案进行介绍，以解决该问题。
实施例一
图2A为本发明实施例一提供的一种行驶策略确定方法的流程图，本实施例适用于如何确保智能叉车安全的将货物运输至目的地的情况。该方法可以由本发明实施例提供的行驶策略确定装置或智能叉车来执行，其中，行驶策略确定装置可采用软件和/或硬件的方式实现，该装置可配置于智能叉车上；也可以是一个独立的设备，能够与智能叉车进行通信。可选的，行驶策略确定装置配置于智能叉车上，该智能叉车可配置有深度相机作为采集模块，进一步的，深度相机可安装于智能叉车门架上，并与门架平行，如图2B所示。此外，智能叉车还配置有处理器模块来对采集的数据进行处理，进而确定该智能叉车的行驶策略。参见图2A，该方法具体包括：
S210，若确定智能叉车已获取到货物且货叉处于归位状态，则控制深度相机启动。
本实施例中，确定智能叉车已获取到货物的方式有很多种，本申请对此不做限定，具体什么方式，可根据智能叉车所配置的处理器模块中检测单元如传感器的类型确定。可选的，智能叉车所配置的处理器模块中包括重量传感器、以及激光雷达等中的至少一个。因此，可以通过重量传感器检测智能叉车是否已获取到货物；还可以通过将本次激光雷达扫描智能叉车所获得的激光数据，与激光雷达扫描智能叉车空载时的激光数据进行比对，从而确定智能叉车是否已获取到货物等。
为了使智能叉车能够平稳运输，在获取到货物后，需将货叉调整至处于归位状态。其中，货叉处于归位状态是指智能叉车中货叉处于可允许调整的最低位置，如图2C所示货叉的状态。
本实施例中，深度相机配置于智能叉车中，进一步的，其可安装于智能叉车门架上，并与门架平行，如图2B和2C所示。深度相机用于按照预设周期采集指定方位的深度图像，深度图像指将从图像采集器到场景中各点的距离/深度作为像素值的图像，它直接反映了景物可见表面的几何形状；预设周期是指预先设定的深度相机的采集频率，可根据实际曝光量和光线情况等进行修正。可选的，深度相机可以是TOF(Time of Flight，飞行时间)深度相机或结构光深度相机等。
具体的，智能叉车可以通过配置于其上的重量传感器所测的重量数据，或激光雷达所采集的激光数据等，确定是否已获取到货物；在确定已获取到货物时，可以控制货叉调整至归位状态；在确定货叉处于归位状态后，可以控制配置于其上的深度相机启动，以使深度相机按照预设周期采集指定方位的深度图像。
S220，依据深度相机的参数信息和深度相机采集的深度图像，确定货物的高度值和/或深度值。
本实施例中，深度相机的参数信息可以包括深度相机的内参和外参，其中，深度相机的内参是深度相机所固有的参数，不随外部环境的变化而变化，可以包括深度相机的分辨率、视场角(垂直视场角和水平视场角)以及焦距等；深度相机的外参是依据外部环境所设置的参数，可以包括深度相机的安装位置以及旋转角度等。
货物中任意一点到智能叉车中货叉的垂直距离可以作为货物中该点的高度值，从而货物的高度值可以是货物中最高点到智能叉车中货叉的垂直距离；也可以是货物中任意一点如中心点到智能叉车中货叉的垂直距离，与预设距离值之和等。可选的，后者大于等于前者，且后者与前者之差在误差允许范围内，如0-5cm内。其中，预设距离值是指预先设定的距离数值，且不同货物形状，对应不同的预设距离值等。需要说明的是，货物的高度值与货物的实际高度之差在误差允许范围内，也就是说，本实施例中，货物的高度值即为货物的实际高度。
可选的，可以依据深度图像，确定货物各点信息，而后依据深度相机的参数信息和货物各点信息，确定货物的高度值；其中，货物各点信息可以包括深度图像中货物各点的像素坐标，具体的，任意一点的，像素坐标可以用(x，y，z)，其中，z用于表示货物中该点的深度值。具体的，可依据深度图像确定货物各点的像素坐标，并从货物各点的像素坐标中提取货物中心点的像素坐标；依据深度相机的参数信息和货物中心点的像素坐标，确定货物的中心距离值；而后将货物的中心距离值与预设距离值作和运算，并将求和结果作为货物的高度值。还可以是，依据深度图像确定货物各点的像素坐标，并从货物各点的像素坐标中提取货物最高点的像素坐标；而后依据深度相机的参数信息和货物最高点的像素坐标，确定货物的高度值。
对应的，货物中任意一点到深度相机的距离可以作为货物中该点的深度值，从而货物的深度值可以是货物中最高点到深度相机的距离，也可以是货物中任意一点如中心点到深度相机的距离与预设深度值之和。可选的，后者大于等于前者，且后者与前者之差在误差允许范围内，如0-5cm内。其中，预设深度值是指预先设定的深度数值，且不同货物形状，对应不同的预设深度值等。
可选的，可依据深度图像确定，货物各点信息，进而依据货物各点信息即可确定货物的深度值。具体可以是，依据深度图像确定货物各点的像素坐标，并从货物各点的像素坐标中提取货物中心点的像素坐标，依据货物中心点的像素坐标确定货物的中心深度值；进而将货物的中心深度值与预设深度值作和运算，并将求和结果作为货物的深度值。还可以是，依据深度图像确定货物各点的像素坐标，从货物各点的像素坐标中提取货物最高点的像素坐标，进而依据货物最高点的像素坐标确定货物的深度值。
S230，依据货物的高度值和/或深度值，确定行驶策略。
本实施例中，行驶策略可以包括避障行驶策略以及应急行驶策略等。其中，避障行驶策略可以用于指示智能叉车遇到障碍物后执行相应的操作，以及可以规划行驶路线；应急行驶策略是指为智能叉车行驶过程中出现的紧急事件(如智能叉车上的货物掉下来，遮挡在前进方向)提供策略等。
具体的，依据货物的高度值和/或深度值，确定行驶策略可以包括下述几种情况：1)依据货物的高度值，确定行驶策略中的避障行驶策略和应急行驶策略；例如，可依据货物的高度值和智能叉车的本体高度值等确定行驶策略中的避障行驶策略；依据货物的高度值的变化情况，确定相应的应急行驶策略等。2)依据货物的高度值确定行驶策略中的避障行驶策略，依据货物的深度值确定行驶策略中的应急行驶策略；例如，可依据货物的深度值的变化情况，确定相应的应急行驶策略等。3)依据货物的高度值和深度值，确定行驶策略中的应急行驶策略等。具体依据货物的高度值和/或深度值，如何确定行驶策略将在下述实施例中详细介绍。
本发明实施例提供的技术方案，通过在确定智能叉车已获取到货物且货叉处于归位状态时，控制深度相机启动，以实时获取深度图像；而后依据深度相机的参数信息和深度相机采集的深度图像，确定货物的高度值和/或深度值，进而依据货物的高度值和/或深度值，为智能叉车确定行驶策略。相比于现有的技术方案，本方案根据货物的高度值和/或深度值确定行驶策略，充分考虑智能叉车搬运货物的实际情况，解决了依据智能叉车的高度制定的行驶策略，容易出现智能叉车无法安全到达目的地的问题，提高了智能叉车行驶的安全性，进而可保证智能叉车安全的将货物运输至目的地。
实施例二
图3A为本发明实施例二提供的一种行驶策略确定方法的流程图，本实施例在上述实施例的基础上，为了给智能叉车确定准确的行驶策略，且计算简单，示例性的，货物的高度值和深度值优选为货物最高点的高度值和深度值，其中，货物最高点的高度值用于表征货物最高点到智能叉车中货叉的垂直距离；货物最高点的深度值用于表征货物最高点到深度相机的距离。在此情况下，进一步对依据深度相机的参数信息和深度相机采集的深度图像，确定货物最高点的高度值和深度值进行解释说明。参见图3A，该方法具体包括：
S310，若确定智能叉车已获取到货物且货叉处于归位状态，则控制深度相机启动。
S320，若深度图像中存在深度值小于固定深度值，则获取货物最高点信息，其中，固定深度值为深度相机到智能叉车中货叉末端的垂直距离值。
本实施例中，货物最高点信息可以包括深度图像中货物最高点的像素坐标，该像素坐标可以用(x，y，z)，其中，z用于表示货物最高点的深度值。货物最高点的高度值可以用L1表示，货物最高点的深度值可以用D1表示，固定深度值可以用L2表示。如图3B简化的智能叉车装载货物的右视图，假设货物最高点为B点。
可选的，基于实践验证，在智能叉车上无货物时，深度相机所采集的深度图像中深度值均大于固定深度值；而在智能叉车上有货物时，深度相机所采集的深度图像中存在深度值小于固定深度值。因此，基于上述实践验证，可以以固定深度值为基准，将确定深度相机所采集的深度图像中存在深度值小于固定深度值，作为获取货物最高点信息的触发机制，也就是确定货物最高点的高度值和深度值的触发机制。此外，确定深度相机所采集的深度图像中存在深度值小于固定深度值，也可以作为判断智能叉车是否获取到货物的条件，此时需要深度相机实时处于开启状态。
具体的，深度相机在启动后，将按照预设周期采集制定方位的深度图像；而后智能叉车对深度相机所采集的深度图像进行分析，进一步为配置于智能叉车中的处理器模块，对深度相机所采集的深度图像进行分析，在确定深度相机所采集的深度图像中存在深度值小于固定深度值，则从该深度图像中获取货物最高点信息。
S330，依据深度相机的参数信息和货物最高点信息，确定货物最高点的高度值和/或深度值。
本实施例中，可以依据深度相机的参数信息和货物最高点信息中的像素坐标，确定货物最高点的高度值和/或深度值。具体可以是，依据货物最高点的像素坐标，确定货物最高点的深度值；依据深度相机的参数信息和依据货物最高点的像素坐标，确定货物最高点的高度值。
S340，依据货物的高度值和/或深度值，确定行驶策略。
本发明实施例提供的技术方案，通过在确定智能叉车已获取到货物且货叉处于归位状态时，控制深度相机启动，以实时获取深度图像；而后在确定深度图像中存在深度值小于固定深度值时，依据深度相机的参数信息和深度相机采集的深度图像，确定货物的高度值和深度值，进而依据货物的高度值或深度值，为智能叉车确定行驶策略。相比于现有的技术方案，本方案根据货物的高度值和/或深度值确定行驶策略，充分考虑智能叉车搬运货物的实际情况，解决了依据智能叉车的高度制定的行驶策略，容易出现智能叉车无法安全到达目的地的问题，提高了智能叉车行驶的安全性，进而可保证智能叉车安全的将货物运输至目的地。此外，增加确定货物的高度值和深度值的触发机制，优化了实施例一所提供的行驶策略确定方法。
实施例三
图4为本发明实施例三提供的一种行驶策略确定方法的流程图，本实施例在上述实施例的基础上，又进一步对依据深度相机的参数信息和深度相机采集的深度图像，确定货物最高点的高度值和深度值进行解释说明。参见图4，该方法具体包括：
S410，若确定智能叉车已获取到货物且货叉处于归位状态，则控制深度相机启动。
S420，依据深度图像中货物最高点的像素坐标，确定货物最高点的深度值。
本实施例中，货物最高点信息可以包括深度图像中货物最高点的像素坐标，该像素坐标可以用(x，y，z)，其中，z用于表示货物最高点的深度值。具体的，可以从深度图中货物最高点的像素坐标中提取z值，并将该z值作为货物最高点的深度值。
S430，依据深度图像中货物最高点的像素坐标，以及参数信息中的垂直视场角和分辨率，确定货物最高点与深度相机的水平夹角。
本实施例中涉及到的视场角，是衡量一台相机能够“看到”的最大视野范围的标度，通常以角度作为单位。可选的，本实施例可采用TOF深度相机采集指定方位的深度图像，以深度相机所在空间的水平面和垂直平面为基准，该深度相机的垂直视场角可以用a表示，如图4B所示的角COD。其中，图4B是在图3B的基础上，将深度相机和货物最高点提取出来，进而构建的货物的高度值计算示意图。
深度相机的参数信息中的分辨率即为深度相机所采集的深度图像的分辨率，可以用M*N表示，且深度相机的垂直视场角对应深度图像的N行数据；深度图像中货物最高点的像素坐标可以用(x，y，z)，其中，z用于表示货物最高点的深度值，也就是图4B中BO之间的距离。此外，本实施例中，深度相机所采集的深度图像的坐标系如图4C所示。货物最高点与深度相机的水平夹角即角BOA可以用b表示。
基于不同垂直视场角与行数据比值相等的原则，可得到如下表达式：
Figure BDA0002015858590000151
基于上述表达式，可推导得到货物最高点与深度相机的水平夹角
Figure BDA0002015858590000152
S440，依据水平夹角，货物最高点的深度值以及参数信息中的安装位置信息，确定货物最高点的高度值。
具体的，继续参见图4B，在确定货物最高点与深度相机的水平夹角b之后，可以依据水平夹角，货物最高点的深度值以及参数信息中的安装位置信息，确定货物最高点的高度值。具体可以是：依据该水平夹角以及货物最高点的深度值z，确定货物最高点相对深度相机的垂直高度，进而依据垂直高度及参数信息中的安装位置信息，即可确定货物最高点的高度值。
示例性的，依据水平夹角，货物最高点的深度值以及参数信息中的安装位置信息，确定货物最高点的高度值具体可以包括下述：
A、依据水平夹角以及货物最高点的深度值，确定货物最高点相对深度相机的垂直高度；
继续参见图4B，水平夹角为b，货物最高点的深度值(也就是图4B中BO之间的距离)为z，货物最高点相对深度相机的垂直高度可以用L3表示。通过计算sinb可确定货物最高点相对深度相机的垂直高度L3。
B、依据垂直高度，以及参数信息中的安装位置信息，确定货物最高点的高度值。
本实施例中，参数信息中的安装位置信息即为深度相机在智能叉车中安装位置，可以用L4表示，如图3B所示。
具体的，在确定货物最高点相对深度相机的垂直高度L3之后，将垂直高度L3，与参数信息中的安装位置信息L4做求和运算，并将求和结果作为货物最高点的高度值L1。
S450，依据货物的高度值和/或深度值，确定行驶策略。
本发明实施例提供的技术方案，通过在确定智能叉车已获取到货物且货叉处于归位状态时，控制深度相机启动，以实时获取深度图像；而后可依据深度相机的参数信息和深度相机采集的深度图像，确定货物的高度值和深度值，进而依据货物的高度值和/或深度值，为智能叉车确定行驶策略。相比于现有的技术方案，本方案根据货物的高度值和/或深度值确定行驶策略，充分考虑智能叉车搬运货物的实际情况，解决了依据智能叉车的高度制定的行驶策略，容易出现智能叉车无法安全到达目的地的问题，提高了智能叉车行驶的安全性，进而可保证智能叉车安全的将货物运输至目的地。
实施例四
图5为本发明实施例四提供的一种行驶策略确定方法的流程图，本实施例在上述实施例的基础上，进一步对依据货物的高度值，确定行驶策略进行解释说明。参见图5，该方法具体包括：
S510，若确定智能叉车已获取到货物且货叉处于归位状态，则控制深度相机启动。
S520，依据深度相机的参数信息和深度相机采集的深度图像，确定货物的高度值和/或深度值。
S530，依据货物的高度值，以及智能叉车的本体高度值，确定避障高度。
本实施例中，在一定的误差允许范围内，智能叉车的本体高度值即为智能叉车门架的高度值。避障高度是为智能叉车制定避障行驶策略或者避障行驶路线的基准，具体可以是货物的高度值和智能叉车的本体高度值中较大的一个。
具体的，在确定货物的高度值之后，可以将货物的高度值，与智能叉车的本体高度值进行比较，进而依据比较结果，确定避障高度。例如，当货物的高度值高于智能叉车的本体高度值时，避障高度以货物的高度值为准；当货物的高度值低于智能叉车的本体高度值时，避障高度以智能叉车的本体高度值为准。
S540，依据避障高度制定行驶策略中的避障行驶策略，以使智能叉车依据避障行驶策略从起始位置运行到目标位置。
本实施例中，避障行驶策略是行驶策略中的一种，可以用于指示智能叉车遇到障碍物后执行相应的操作，如可以是停止前行，或者选取另外一条路线从当前位置行驶至目标位置；还可以为智能叉车规划行驶路线等。目标位置是指机器人所要达到的终点位置，例如，可以是拣选站的拣选区。
可选的，可以依据避障高度制定智能叉车的避障行驶策略，以为智能叉车规划从起始位置至目标位置的行驶路线，以及智能叉车依据行驶路线行驶过程中，遇到障碍物后执行的操作等，进而使智能叉车依据避障行驶策略从起始位置运行到目标位置。例如，确定从起始位置至目标位置的所有可行驶路线，而后依据避障高度，从所有可行驶路线中选择满足条件(行驶路线所在的空间区域的高度高于避障高度)的行驶路线，并依据最短路径原则，从满足条件的行驶路线中选择智能叉车从起始位置至目标位置的行驶路线；若智能叉车在依据行驶路线行驶过程中，遇到障碍物(障碍物可以为悬空障碍物)后，智能叉车可依据避障行驶策略重新规划智能叉车所在当前位置(障碍物的位置，或者与障碍物距离较近的位置)至目标位置的另外一条路线，进而行驶至目标位置。还可以是智能叉车可依据避障行驶策略停止到当前位置，等待另一智能叉车或工作人员将前方障碍物(可以为地面障碍物)移走后，依据原先的行驶路线行驶至目标位置等。
需要说明的是，本实施例充分考虑货物运输的实际情况，不仅考虑了地面障碍物对智能叉车行进的影响，而且当货物的高度值高于智能叉车的本体高度值时，选择货物的高度值作为避障高度，也充分考虑了高于智能叉车的本体高度值，但低于货物的高度值之间的悬空障碍物对智能叉车行进的影响，进而可保证智能叉车安全的将货物运输至目的地。
本发明实施例提供的技术方案，通过在确定智能叉车已获取到货物且货叉处于归位状态时，控制深度相机启动，以实时获取深度图像；而后依据深度相机的参数信息和深度相机采集的深度图像，可确定货物的高度值和深度值；从而可依据货物的高度值和智能叉车的本体高度值，确定避障高度，并依据避障高度为智能叉车制定避障行驶策略，以使智能叉车依据避障行驶策略从当前位置运行到目标位置。相比于现有的技术方案，本方案结合智能叉车搬运货物的实际情况，不仅考虑了地面障碍物对智能叉车行进的影响，也充分考虑了悬空障碍物对智能叉车行进的影响，解决了依据智能叉车的高度制定的行驶策略，容易出现智能叉车无法安全到达目的地的问题，提高了智能叉车行驶的安全性，进而可保证智能叉车安全的将货物运输至目的地。
实施例五
图6为本发明实施例五提供的一种行驶策略确定方法的流程图，本实施例在上述实施例的基础上，进一步对依据货物的高度值或深度值，确定行驶策略进行解释说明。参见图6，该方法具体包括：
S610，若确定智能叉车已获取到货物且货叉处于归位状态，则控制深度相机启动。
S620，依据深度相机的参数信息和深度相机采集的深度图像，确定货物的高度值和/或深度值。
S630，确定相邻两帧深度图像中货物的高度差值和/或深度差值。
本实施例中，货物的高度差值为相邻两帧深度图像中货物的高度值之差的绝对值；对应的，货物的深度差值为相邻两帧深度图像中货物的深度值之差的绝对值。
具体的，可以将当前帧深度图像中货物的高度值与下一帧深度图像中货物的高度值之差的绝对值，作为货物的高度差值；将当前帧深度图像中货物的深度值与下一帧深度图像中货物的深度值之差的绝对值，作为货物的深度差值。
例如，若货物的高度值和深度值分别为货物最高点的高度值和深度值，则可以记录当前帧深度图像中货物最高点的高度值和深度值；而后采用S620相同的实现过程，确定下一帧深度图像中货物最高点的高度值和深度值；进而将两次确定的货物最高点的高度值作差，并取绝对值，即可得到相邻两帧深度图像中货物的高度差值；对应的，将两次确定的货物最高点的深度值作差，并取绝对值，即可得到相邻两帧深度图像中货物的深度差值。
S640，若高度差值和/或深度差值大于预设阈值，则执行行驶策略中的应急行驶策略。
本实施例中，应急行驶策略是行驶策略中的一种，用于为智能叉车行驶过程中出现的紧急事件(如智能叉车上的货物掉下来，遮挡在前进方向)提供策略等。
预设阈值是预先设定的数值，可根据实际情况进行修正，可用于表征智能叉车行驶过程中，未出现紧急事件即正常情况下，相邻两帧深度图像中货物的高度差值和深度差值，默认可以为0。可选的，预设阈值可以包括预设距离阈值和预设深度阈值。具体的，若高度差值和/或深度差值大于预设阈值，则执行应急行驶策略可以包括：若确定相邻两帧深度图像中货物的高度差值大于预设距离阈值，和/或确定相邻两帧深度图像中货物的深度差值大于预设深度阈值，则可以执行应急行驶策略。
例如，在实际的智能叉车搬运场景中，未出现紧急事件即正常情况下，可以默认相邻两帧深度图像中货物的高度值和深度值是一样，也就是说相邻两帧深度图像中货物的高度差值和深度差值为0。因此，若智能叉车上的货物掉下来，则将会存在相邻两帧深度图像中货物的高度差值发生变化，也就是说相邻两帧深度图像中货物的高度差值大于预设距离阈值，此时，可执行行驶策略中的应急行驶策略，如停止前进并发出报警，以便工作人员及时对所掉货物进行处理如重新放到智能叉车上或者搬走等。
在实际的智能叉车搬运场景中，若智能叉车上的货物相对位置发生变化如货物移出了货叉末端一部分等，则将会存在相邻两帧深度图像中货物的深度差值发生变化，也就是说相邻两帧深度图像中货物的深度差值大于预设深度阈值，此时，可执行行驶策略中的应急行驶策略，如停止前进并发出报警，以便工作人员及时将货物放好等。
此外，若智能叉车上的货物发生左右倾斜的现象，则将会存在相邻两帧深度图像中货物的深度差值和/或高度值差值发生变化，也就是说相邻两帧深度图像中货物的深度差值大于预设深度阈值，和/或相邻两帧深度图像中货物的高度差值大于预设距离阈值，此时，可执行行驶策略中的应急行驶策略，如停止前进并发出报警，以便工作人员及时将货物放好等。
本发明实施例提供的技术方案，通过在确定智能叉车已获取到货物且货叉处于归位状态时，控制深度相机启动，以实时获取深度图像；而后依据深度相机的参数信息和深度相机采集的深度图像，可确定货物的高度值和深度值；进而可确定相邻两帧深度图像中货物的高度差值和/或深度差值，且在高度差值和/或深度差值大于预设阈值时，执行应急行驶策略。相比于现有的技术方案，本方案综合考虑了智能叉车搬运货物过程中可能出现的紧急事件，提供了应尽行驶策略，解决了依据智能叉车的高度制定的行驶策略，容易出现智能叉车无法安全到达目的地的问题，提高了智能叉车行驶的安全性，进而可保证智能叉车安全的将货物运输至目的地。
实施例六
图7为本发明实施例六提供的一种行驶策略确定装置的结构框图，该装置可执行本发明任意实施例所提供的行驶策略确定方法，具备执行方法相应的功能模块和有益效果。可配置于智能叉车的处理器中，如图7所示，该装置包括：
控制模块710，用于若确定智能叉车已获取到货物且货叉处于归位状态，则控制深度相机启动；
货物值确定模块720，用于依据深度相机的参数信息和深度相机采集的深度图像，确定货物的高度值和/或深度值；
行驶策略确定模块730，用于依据货物的高度值和/或深度值，确定行驶策略。
本发明实施例提供的技术方案，通过在确定智能叉车已获取到货物且货叉处于归位状态时，控制深度相机启动，以实时获取深度图像；而后依据深度相机的参数信息和深度相机采集的深度图像，确定货物的高度值和/或深度值，进而依据货物的高度值和/或深度值，为智能叉车确定行驶策略。相比于现有的技术方案，本方案根据货物的高度值和/或深度值确定行驶策略，充分考虑智能叉车搬运货物的实际情况，解决了依据智能叉车的高度制定的行驶策略，容易出现智能叉车无法安全到达目的地的问题，提高了智能叉车行驶的安全性，进而可保证智能叉车安全的将货物运输至目的地。
进一步的，货物的高度值和深度值为货物最高点的高度值和深度值，其中，货物最高点的高度值用于表征货物最高点到智能叉车中货叉的垂直距离，货物最高点的深度值用于表征货物最高点到深度相机的距离。
进一步的，货物值确定模块720可以包括：
深度值确定单元，用于依据深度图像中货物最高点的像素坐标，确定货物最高点的深度值；
夹角确定单元，用于依据深度图像中货物最高点的像素坐标，以及参数信息中的垂直视场角和分辨率，确定货物最高点与深度相机的水平夹角；
高度值确定单元，用于依据水平夹角，货物最高点的深度值以及参数信息中的安装位置信息，确定货物最高点的高度值。
进一步的，高度值确定单元具体可以用于：
依据水平夹角以及货物最高点的深度值，确定货物最高点相对深度相机的垂直高度；
依据垂直高度，以及参数信息中的安装位置信息，确定货物最高点的高度值。
进一步的，行驶策略确定模块730具体用于：
依据货物的高度值，以及智能叉车的本体高度值，确定避障高度；
依据所述避障高度制定行驶策略中的避障行驶策略，以使智能叉车依据避障行驶策略从当前位置运行到目标位置。
进一步的，行驶策略确定模块730还具体用于：
确定相邻两帧深度图像中货物的高度差值和/或深度差值；
若高度差值和/或深度差值大于预设阈值，则执行行驶策略中的应急行驶策略。
进一步的，货物值确定模块720具体用于：
若深度图像中存在深度值小于固定深度值，则获取货物最高点信息，其中，固定深度值为深度相机到智能叉车中货叉末端的垂直距离值；
依据深度相机的参数信息和货物最高点信息，确定货物最高点的高度值和/或深度值。
实施例七
图8为本发明实施例七提供的一种智能货叉的结构示意图。图8示出了适于用来实现本发明实施方式的示例性智能货叉80的框图。图8显示的智能货叉80仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。可选的，智能货叉80可以是实现本发明任意实施例所述的行驶策略确定方法的设备。
如图8所示，该智能货叉80以通用计算设备的形式表现。该智能货叉80可执行本发明任意实施例所提供的行驶策略确定方法，具备执行方法相应的功能模块和有益效果。实施例的智能货叉80的组件可以包括但不限于：采集模块809和处理器模块801，所述采集模块809和所述处理器模块801电连接；该可以包括系统存储器802，连接不同系统组件(包括系统存储器802和处理器模块801)的总线803。可选的，智能货叉80上配置的采集模块809可以是深度相机。可选的，深度相机可基于处理器模块801的控制按照预设周期采集指定方位的深度图像，并将采集到的深度图像发送至处理器模块801，以使处理器模块801根据接收到的深度图像，以及依据深度相机的参数信息，确定货物的高度值和深度值；进而依据货物的高度值和/或深度值，确定行驶策略。采集模块809和处理器模块801之间的通信可以通过输入/输出(I/O)接口811进行。并且，智能货叉80还可以通过网络适配器812与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图8所示，网络适配器812通过总线803与智能货叉80的其它模块通信。应当明白，尽管图中未示出，可以结合智能货叉80使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
总线803表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
智能货叉80典型地包括多种计算机系统可读介质。这些介质可以是任何能够被智能货叉80访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器802可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)804和/或高速缓存存储器805。智能货叉80可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统806可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线803相连。系统存储器802可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块807的程序/实用工具808，可以存储在例如系统存储器802中，这样的程序模块807包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块807通常执行本发明所描述的实施例中的功能和/或方法。
处理器模块801通过运行存储在系统存储器802中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的行驶策略确定方法。
具体的，处理器模块801，用于若确定智能叉车已获取到货物且货叉处于归位状态，则控制深度相机启动；
深度相机809，用于按照预设周期采集指定方位的深度图像；
处理器模块801，还用于依据深度相机的参数信息和深度相机采集的深度图像，确定货物的高度值和/或深度值；依据货物的高度值和/或深度值，确定行驶策略。
进一步的，货物的高度值和深度值为货物最高点的高度值和深度值，其中，货物最高点的高度值用于表征货物最高点距离智能叉车中货叉的垂直距离，货物最高点的深度值用于表征货物最高点距离深度相机的距离。
进一步的，上述处理器模块801可以包括：
深度值确定单元，用于依据深度图像中货物最高点的像素坐标，确定货物最高点的深度值；
夹角确定单元，用于依据深度图像中货物最高点的像素坐标，以及参数信息中的垂直视场角和分辨率，确定货物最高点与深度相机的水平夹角；
高度值确定单元，用于依据水平夹角，货物最高点的深度值以及参数信息中的安装位置信息，确定货物最高点的高度值。
进一步的，高度值确定单元具体用于：
依据水平夹角以及货物最高点的深度值，确定货物最高点相对深度相机的垂直高度；
依据垂直高度，以及参数信息中的安装位置信息，确定货物最高点的高度值。
进一步的，上述处理器模块801在依据货物的高度值，确定行驶策略时，具体可以用于：
依据货物的高度值，以及智能叉车的本体高度值，确定避障高度；
依据避障高度制定行驶策略中的避障行驶策略，以使智能叉车依据避障行驶策略从当前位置运行到目标位置。
进一步的，上述处理器模块801在依据货物的高度值和/或深度值，确定行驶策略时，还具体用于：
确定相邻两帧深度图像中货物的高度差值和/或深度差值；
若高度差值和/或深度差值大于预设阈值，则执行行驶策略中的应急行驶策略。
进一步的，上述处理器模块801在依据深度相机的参数信息和深度相机采集的深度图像，确定货物最高点的高度值和/或深度值时，可以具体用于：
若深度图像中存在深度值小于固定深度值，则获取货物最高点信息，所述固定深度值为所述深度相机到智能叉车中货叉末端的垂直距离值；
依据深度相机的参数信息和货物最高点信息，确定货物最高点的高度值和/或深度值。
实施例八
本发明实施例八还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述实施例所述的行驶策略确定方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
上述实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员应该明白，上述的本发明实施例的各模块或各操作可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或操作制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间的相同或相似的部分互相参见即可。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种智能叉车，其特征在于，所述智能叉车包括货叉、深度相机和处理器模块，所述深度相机和所述处理器模块电连接；其中：
所述处理器模块，用于若确定所述智能叉车已获取到货物且货叉处于归位状态，则控制深度相机启动；
所述深度相机，用于按照预设周期采集指定方位的深度图像；
所述处理器模块，还用于依据所述深度相机的参数信息和所述深度相机采集的深度图像，确定货物的高度值和/或深度值；依据所述货物的高度值和/或深度值，确定行驶策略；
其中，所述处理器模块在依据所述深度相机的参数信息和所述深度相机采集的深度图像，确定货物最高点的高度值和/或深度值时，具体用于：
若所述深度图像中存在深度值小于固定深度值，则获取货物最高点信息，所述固定深度值为所述深度相机到所述智能叉车中货叉末端的水平距离值；
依据所述深度相机的参数信息和所述货物最高点信息，确定货物最高点的高度值和/或深度值；
所述货物的深度值为货物最高点的深度值，所述货物最高点的深度值用于表征货物最高点距离所述深度相机的距离。
2.根据权利要求1所述的智能叉车，其特征在于，所述货物的高度值为货物最高点的高度值，其中，所述货物最高点的高度值用于表征货物最高点距离所述智能叉车中货叉的垂直距离。
3.根据权利要求2所述的智能叉车，其特征在于，所述处理器模块包括：
深度值确定单元，用于依据所述深度图像中货物最高点的像素坐标，确定货物最高点的深度值；
夹角确定单元，用于依据所述深度图像中货物最高点的像素坐标，以及所述参数信息中的垂直视场角和分辨率，确定所述货物最高点与所述深度相机的水平夹角；
高度值确定单元，用于依据所述水平夹角，货物最高点的深度值以及所述参数信息中的安装位置信息，确定所述货物最高点的高度值。
4.根据权利要求3所述的智能叉车，其特征在于，所述高度值确定单元具体用于：
依据所述水平夹角以及货物最高点的深度值，确定所述货物最高点相对所述深度相机的垂直高度；
依据所述垂直高度，以及所述参数信息中的安装位置信息，确定所述货物最高点的高度值。
5.根据权利要求1或2中任一所述的智能叉车，其特征在于，所述处理器模块在依据所述货物的高度值，确定行驶策略时，具体用于：
依据所述货物的高度值，以及所述智能叉车的本体高度值，确定避障高度；
依据所述避障高度制定所述行驶策略中的避障行驶策略，以使所述智能叉车依据所述避障行驶策略从当前位置运行到目标位置。
6.根据权利要求1或2中任一所述的智能叉车，其特征在于，所述处理器模块在依据所述货物的高度值和/或深度值，确定行驶策略时，还具体用于：
确定相邻两帧深度图像中货物的高度差值和/或深度差值；
若所述高度差值和/或深度差值大于预设阈值，则执行所述行驶策略中的应急行驶策略。
7.一种行驶策略确定方法，其特征在于，包括：
若确定智能叉车已获取到货物且货叉处于归位状态，则控制深度相机启动；
依据所述深度相机的参数信息和所述深度相机采集的深度图像，确定货物的高度值和/或深度值；
依据所述货物的高度值和/或深度值，确定行驶策略；
其中，依据所述深度相机的参数信息和所述深度相机采集的深度图像，确定货物的高度值和/或深度值，包括：
若所述深度图像中存在深度值小于固定深度值，则获取货物最高点信息，所述固定深度值为所述深度相机到所述智能叉车中货叉末端的水平距离值；
依据所述深度相机的参数信息和所述货物最高点信息，确定货物最高点的高度值和/或深度值；
所述货物的深度值为货物最高点的深度值，所述货物最高点的深度值用于表征货物最高点距离所述深度相机的距离。
8.根据权利要求7所述的方法，其特征在于，所述货物的高度值为货物最高点的高度值，其中，所述货物最高点的高度值用于表征货物最高点距离所述智能叉车中货叉的垂直距离。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求7-8中任一所述的行驶策略确定方法。
CN201910262867.7A 2019-04-02 2019-04-02 行驶策略确定方法、智能叉车及存储介质 Active CN109969989B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910262867.7A CN109969989B (zh) 2019-04-02 2019-04-02 行驶策略确定方法、智能叉车及存储介质
PCT/CN2019/102910 WO2020199471A1 (zh) 2019-04-02 2019-08-27 一种高位机器人、归还仓储容器的校准方法及存储介质
EP19923051.7A EP3950566B1 (en) 2019-04-02 2019-08-27 High-position robot, method for calibrating return of storage container, and storage medium
US17/600,544 US11958687B2 (en) 2019-04-02 2019-08-27 High-position robot, method for calibrating return of storage container, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910262867.7A CN109969989B (zh) 2019-04-02 2019-04-02 行驶策略确定方法、智能叉车及存储介质

Publications (2)

Publication Number Publication Date
CN109969989A CN109969989A (zh) 2019-07-05
CN109969989B true CN109969989B (zh) 2020-12-04

Family

ID=67082446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910262867.7A Active CN109969989B (zh) 2019-04-02 2019-04-02 行驶策略确定方法、智能叉车及存储介质

Country Status (1)

Country Link
CN (1) CN109969989B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020199471A1 (zh) * 2019-04-02 2020-10-08 北京极智嘉科技有限公司 一种高位机器人、归还仓储容器的校准方法及存储介质
CN110790192B (zh) * 2019-09-12 2021-08-13 广东嘉腾机器人自动化有限公司 一种柔性物体堆放方法及存储介质
CN112661061B (zh) * 2019-10-16 2022-05-10 北京极智嘉科技股份有限公司 一种智能叉车及其控制方法
CN111232840B (zh) * 2020-01-21 2021-03-23 周岳 基于机器视觉识别技术的精准自动进叉方法
CN113067386B (zh) * 2021-04-07 2023-06-06 山东沐点智能科技有限公司 一种防爆型巡检机器人无线充电系统及方法
CN114476477B (zh) * 2022-03-25 2023-07-04 深圳市海柔创新科技有限公司 货箱拿取方法、机器人及仓储系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001199698A (ja) * 2000-01-19 2001-07-24 Tcm Corp フォークリフトの制動装置
CN104129735A (zh) * 2013-05-05 2014-11-05 上海盛络建筑工程有限公司 一种新型电动搬运车
EP3192616A1 (en) * 2016-01-14 2017-07-19 Magazino GmbH Robot to pick up and transport objects and method using such a robot
US10346797B2 (en) * 2016-09-26 2019-07-09 Cybernet Systems, Inc. Path and load localization and operations supporting automated warehousing using robotic forklifts or other material handling vehicles
CN206436927U (zh) * 2016-11-28 2017-08-25 英华达（上海）科技有限公司 Agv避撞传感装置
CN106764689B (zh) * 2016-12-28 2023-06-23 陕西中烟工业有限责任公司 堆垛机故障照明装置与堆垛机
CN108584809B (zh) * 2018-06-01 2024-04-19 诺力智能装备股份有限公司 Agv叉车自动存取货控制系统及方法
CN108791439A (zh) * 2018-07-17 2018-11-13 佛山迅拓奥科技有限公司 新型的货物高度检测装置

Also Published As

Publication number Publication date
CN109969989A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN109969989B (zh) 行驶策略确定方法、智能叉车及存储介质
CA3102674C (en) Storage and retrieval system for managing loading, alignment, and travel of storage units and robotic vehicles
AU2020201566B2 (en) Inventory management
US10265871B2 (en) Collaborative inventory monitoring
US20240028980A1 (en) System and method for automated cross-dock operations
RU2542932C1 (ru) Улучшенный способ и система обработки информации карт для навигации промышленных транспортных средств
EP3950566B1 (en) High-position robot, method for calibrating return of storage container, and storage medium
US20230202755A1 (en) Inventory management method and system
US20220162001A1 (en) Predicting a path of material handling equipment and determining an obstacle-free path
US20230236600A1 (en) Operational State Detection for Obstacles in Mobile Robots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100020 No. 1 Building, No. 36 Chuangyuan Road, Chaoyang District, Beijing 101

Patentee after: Beijing jizhijia Technology Co.,Ltd.

Address before: 100020 No. 1 Building, No. 36 Chuangyuan Road, Chaoyang District, Beijing 101

Patentee before: Beijing Geekplus Technology Co.,Ltd.