CN115018895A - 无人叉车高位货架放货方法、装置、设备及存储介质 - Google Patents

无人叉车高位货架放货方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115018895A
CN115018895A CN202210577015.9A CN202210577015A CN115018895A CN 115018895 A CN115018895 A CN 115018895A CN 202210577015 A CN202210577015 A CN 202210577015A CN 115018895 A CN115018895 A CN 115018895A
Authority
CN
China
Prior art keywords
forklift
point cloud
goods shelf
determining
goods
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210577015.9A
Other languages
English (en)
Inventor
黄金勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Multiway Robotics Shenzhen Co Ltd
Original Assignee
Multiway Robotics Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Multiway Robotics Shenzhen Co Ltd filed Critical Multiway Robotics Shenzhen Co Ltd
Priority to CN202210577015.9A priority Critical patent/CN115018895A/zh
Publication of CN115018895A publication Critical patent/CN115018895A/zh
Priority to PCT/CN2023/091273 priority patent/WO2023226676A2/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/063—Automatically guided
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/07559—Stabilizing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Abstract

本发明属于自动控制技术领域，公开了一种无人叉车高位货架放货方法、装置、设备及存储介质。该方法包括：通过无人叉车的叉臂上的深度相机获取叉车托盘与货架的图像信息；根据叉车托盘与货架的图像信息确定叉车托盘与货架的点云数据；根据点云数据确定叉车托盘与货架的空间位置信息；根据空间位置信息确定叉车托盘与货架的前表面之间的距离差值；根据距离差值控制叉臂进行位姿调整，以完成放货。通过上述方式，实现了可以减少叉车在高位货架放货时因为举升太高导致门架晃动的情况发生，使得无人叉车的放货更加精准，减小安全事故发生的可能性，提高用户的使用体验。

Description

无人叉车高位货架放货方法、装置、设备及存储介质
技术领域
本发明涉及自动控制技术领域，尤其涉及一种无人叉车高位货架放货方法、装置、设备及存储介质。
背景技术
随着工业4.0和智能制造的提出，工业领域由传统的制造业不断向数字化、智能化、无人化方向发展，在万物皆可智能的时代，无人化不断冲击我们的眼球，在智能仓储行业无人叉车应用需求越来越大，由于叉车门架伸的太高，导致门架晃动，在放货货车中偏差过大，导致放货不精准，容易发生安全事故。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种无人叉车高位货架放货方法、装置、设备及存储介质，旨在解决现有技术叉车门架伸展过高，易导致门架晃动，在放货货车中偏差过大，导致放货不精准，容易发生安全事故的技术问题。
为实现上述目的，本发明提供了一种无人叉车高位货架放货方法，所述方法包括以下步骤:
通过无人叉车的叉臂上的深度相机获取叉车托盘与货架的图像信息；
根据所述叉车托盘与货架的图像信息确定叉车托盘与货架的点云数据；
根据所述点云数据确定所述叉车托盘与所述货架的空间位置信息；
根据所述空间位置信息确定所述叉车托盘与所述货架的前表面之间的距离差值；
根据所述距离差值控制叉臂进行位姿调整，以完成放货。
可选地，所述根据所述叉车托盘与货架的图像信息确定叉车托盘与货架的点云数据，包括：
根据所述叉车托盘与货架的图像信息确定所述叉车托盘与货架的点云信息；
将所述叉车托盘与货架的点云信息与预设棋盘格进行匹配，得到匹配三维点云集合；
根据所述匹配三维点集合确定所述深度相机到所述无人叉车车体的旋转矩阵和平移矩阵；
根据所述旋转矩阵、所述平移矩阵和所述叉车托盘与货架的点云信息确定叉车托盘与货架的点云数据。
可选地，所述根据所述旋转矩阵、所述平移矩阵和所述叉车托盘与货架的点云信息确定叉车托盘与货架的点云数据，包括：
根据所述叉车托盘与货架的点云信息确定所述叉车托盘与货架的相机坐标系点云数据；
根据所述旋转矩阵和所述平移矩阵将所述相机坐标系点云数据转换为叉车坐标系点云数据；
将所述叉车坐标系点云数据作为叉车托盘与货架的点云数据。
可选地，所述将所述叉车托盘与货架的点云信息与预设棋盘格进行匹配，得到匹配三维点云集合，包括：
根据所述所述叉车托盘与货架的点云信息确定叉车托盘与货架的灰度图像；
根据所述叉车托盘与货架的灰度图像确定棋盘格角点；
根据所述叉车托盘与货架的灰度图像和所述棋盘格角点拟合出棋盘格平面公式；
根据所述棋盘格平面公式对所述叉车托盘与货架的灰度图像上的点进行查找匹配，得到横坐标与纵坐标相同的二维点云集合；
根据所述二维点云集合确定单应性矩阵；
根据所述单应性矩阵和所述棋盘格平面公式确定匹配三维点云集合。
可选地，所述根据所述叉车坐标系点云数据确定叉车托盘与货架的点云数据，包括：
根据所述根据所述叉车坐标系点云数据确定所述叉车托盘与货架的灰度图像在叉车坐标系下对应的点云图像；
根据所述叉车托盘与货架的灰度图像在叉车坐标系下对应的点云图像确定叉车托盘与货架的灰度图像在叉车坐标系下对应的点云图像上的感兴趣区域；
遍历所述感兴趣区域，得到叉车托盘与货架的点云数据。
可选地，所述根据所述点云数据确定所述叉车托盘与所述货架的空间位置信息，包括：
对所述点云数据进行离散点滤波、法向量滤波、点云平滑，点云聚类，以分割出托盘支腿与所述货架的目标点云数据；
对所述目标点云数据使用RANSAC算法，得到点云平面信息；
根据所述点云平面信息确定所述叉车托盘的表面点云均值数据，以及所述货架的表面点云数据；
根据所述表面点云均值数据和所述表面点云数据确定所述叉车托盘与所述货架的空间位置信息。
可选地，所述根据所述距离差值控制叉臂进行位姿调整，以完成放货，包括：
将所述距离差值与位姿调整阈值进行对比，得到对比结果；
当所述对比结果为所述距离差值大于所述位姿调整阈值时，控制叉臂按照所述距离差值进行位姿调整；
当所述对比结果为所述距离差值小于或等于所述位姿调整阈值时，不调整所述叉臂的位姿。
此外，为实现上述目的，本发明还提出一种无人叉车高位货架放货装置，所述无人叉车高位货架放货装置包括：
图像采集模块，用于通过无人叉车的叉臂上的深度相机获取叉车托盘与货架的图像信息；
点云提取模块，用于根据所述叉车托盘与货架的图像信息确定叉车托盘与货架的点云数据；
位置确定模块，用于根据所述点云数据确定所述叉车托盘与所述货架的空间位置信息；
差值计算模块，用于根据所述空间位置信息确定所述叉车托盘与所述货架前表面之间的距离差值；
调整放货模块，用于根据所述距离差值控制叉臂进行位姿调整，以完成放货。
此外，为实现上述目的，本发明还提出一种无人叉车高位货架放货设备，所述无人叉车高位货架放货设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的无人叉车高位货架放货程序，所述无人叉车高位货架放货程序配置为实现如上文所述的无人叉车高位货架放货方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有无人叉车高位货架放货程序，所述无人叉车高位货架放货程序被处理器执行时实现如上文所述的无人叉车高位货架放货方法的步骤。
本发明通过无人叉车的叉臂上的深度相机获取叉车托盘与货架的图像信息；根据所述叉车托盘与货架的图像信息确定叉车托盘与货架的点云数据；根据所述点云数据确定所述叉车托盘与所述货架的空间位置信息；根据所述空间位置信息确定所述叉车托盘与所述货架的前表面之间的距离差值；根据所述距离差值控制叉臂进行位姿调整，以完成放货。通过这种方式，实现了根据叉臂上的深度相机采集到的叉车托盘与货架的图像信息确定叉车托盘与货架的空间位置信息，从而确定叉车托盘与货架前表面之间的距离差值，从而按照距离差值进行叉臂的位姿调整，完成精准的放货，这样可以减少叉车在高位货架放货时因为举升太高导致门架晃动的情况发生，使得无人叉车的放货更加精准，减小安全事故发生的可能性，提高用户的使用体验。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的无人叉车高位货架放货设备的结构示意图；
图2为本发明无人叉车高位货架放货方法第一实施例的流程示意图；
图3为本发明无人叉车高位货架放货方法一实施例中深度相机安装位置示意图；
图4为本发明无人叉车高位货架放货方法第二实施例的流程示意图；
图5为本发明无人叉车高位货架放货装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的无人叉车高位货架放货设备结构示意图。
如图1所示，该无人叉车高位货架放货设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对无人叉车高位货架放货设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及无人叉车高位货架放货程序。
在图1所示的无人叉车高位货架放货设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明无人叉车高位货架放货设备中的处理器1001、存储器1005可以设置在无人叉车高位货架放货设备中，所述无人叉车高位货架放货设备通过处理器1001调用存储器1005中存储的无人叉车高位货架放货程序，并执行本发明实施例提供的无人叉车高位货架放货方法。
本发明实施例提供了一种无人叉车高位货架放货方法，参照图2，图2为本发明一种无人叉车高位货架放货方法第一实施例的流程示意图。
本实施例中，所述无人叉车高位货架放货方法包括以下步骤：
步骤S10：通过无人叉车的叉臂上的深度相机获取叉车托盘与货架的图像信息。
需要说明的是，本实施例的执行主体为一个控制器，该控制器可以是无人叉车的处理器，或者控制单元，或者其他能实现此功能的设备，本实施例对此不加以限制。
应理解的是，目前在工业中大范围使用无人叉车在仓库或者其他场景中进行智能化的货物管理和货物放置，但是往往无人叉车在放货时可能因为叉车门架的伸展过高，出现了门架的摇晃，这样更会导致放货时偏差过大，放货不精准，从而导致容易发生货物倾翻、高空货物掉落等安全问题。而本实施例中的方案通过在无人叉车的叉臂两侧安装深度相机，从而实现根据深度相机采集到的图像计算叉车托盘和货架的位置以及距离差值，从而精确调整位姿，实现更为安全和精准的无人叉车高位货架放货。
在具体实施中，无人叉车的叉臂上设置有两个深度相机，如图3所示，深度相机的安装位置具体为无人叉车的左叉臂的左侧和右叉臂的右侧。其中，深度相机指的是TOF相机，通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的往返时间来得到目标物距离。
需要说明的是，叉车托盘与货架的图像信息指的是两部深度相机分别采集到的图像的具体信息。
步骤S20：根据所述叉车托盘与货架的图像信息确定叉车托盘与货架的点云数据。
应理解的是，叉车托盘即无人叉车的叉臂上方的置物托盘，货架即为货物需要放置的目标的货架。
在具体实施中，根据所述叉车托盘与货架的图像信息确定叉车托盘与货架的点云数据指的是：根据叉车托盘与货架的图像信息得到叉车托盘与货架的灰度图像，然后基于叉车托盘与货架的灰度图像进行棋盘格标注，从而得到叉车托盘与货架的三维的点云数据。
步骤S30：根据所述点云数据确定所述叉车托盘与所述货架的空间位置信息。
需要说明的是，空间位置信息指的是叉车托盘与货架在空间位置中的具体坐标以及所占位置等相关信息。
应理解的是，根据所述点云数据确定所述叉车托盘与所述货架的空间位置信息指的是：对点云数据进行滤波、平滑等操作，然后使用RANSAC算法也就是可以将点云数据进行过滤得到有效数据的算法，最后得到叉车托盘的表面点云均值数据和货架的表面点云数据，从而确定叉车托盘与货架的空间位置信息。
进一步地，为了得到准确的空间位置信息，步骤S30包括：对所述点云数据进行离散点滤波、法向量滤波、点云平滑，点云聚类，以分割出托盘支腿与所述货架的目标点云数据；对所述目标点云数据使用RANSAC算法，得到点云平面信息；根据所述点云平面信息确定所述叉车托盘的表面点云均值数据，以及所述货架的表面点云数据；根据所述表面点云均值数据和所述表面点云数据确定所述叉车托盘与所述货架的空间位置信息。
在具体实施中，离散点滤波和法向量滤波均为滤波的步骤，即为点云数据进行去噪，然后再进行点云平滑和聚类，得到了托盘支腿与货架的区域的点云数据，也就是目标点云数据。
需要说明的是，对所述目标点云数据使用RANSAC算法，得到点云平面信息指的是：对目标点云数据使用RASNSAC算法，也就是对目标点云数据去除异常数据和噪声进行有效的过滤，得到了点云平面信息，也就是叉车的托盘支腿和货架的平面的点云数据。
应理解的是，根据所述点云平面信息确定所述叉车托盘的表面点云均值数据，以及所述货架的表面点云数据指的是：根据点云平面信息再提取，得到了叉车托盘的托盘表面的点云数据的均值z坐标，也就是叉车托盘所在平面的平均高度位置。货架的表面点云数据也为货架所在平面的点云数据。
通过这种方式，实现了基于点云数据进行滤波和去噪，然后得到叉车托盘与货架对应的平面的点云数据，从而准确的得到叉车托盘与货架的空间位置信息，进而可以准确的确定叉车的叉臂的调整位姿。
步骤S40：根据所述空间位置信息确定所述叉车托盘与所述货架的前表面之间的距离差值。
在具体实施中，根据所述空间位置信息确定所述叉车托盘与所述货架的前表面之间的距离差值指的是：根据空间位置信息中的叉车托盘的表面点云均值数据的z坐标数据，与货架的表面点云数据的z坐标数据，求取差值d，即为叉臂要调整的值，也就是距离差值。
步骤S50：根据所述距离差值控制叉臂进行位姿调整，以完成放货。
需要说明的是，根据所述距离差值控制叉臂进行位姿调整，以完成放货指的是根据距离差值确定叉臂需要调整的位姿范围以及目标的位置，从而完成放货。
进一步地，为了尽可能减少叉臂的调整次数，步骤S50包括：将所述距离差值与位姿调整阈值进行对比，得到对比结果；当所述对比结果为所述距离差值大于所述位姿调整阈值时，控制叉臂按照所述距离差值进行位姿调整；当所述对比结果为所述距离差值小于或等于所述位姿调整阈值时，不调整所述叉臂的位姿。
应理解的是，对比结果指的是距离差值与位姿调整阈值得到大小关系的对比结果，其中，位姿调整阈值是一个由用户预先设定的任意数值的阈值，本实施例对此不加以限制。
在具体实施中，当所述对比结果为所述距离差值大于所述位姿调整阈值时，控制叉臂按照所述距离差值进行位姿调整指的是，当距离差值大于位姿调整阈值时，判定需要进行叉臂的调整，所以按照距离差值将无人叉车的叉臂进行调整，使得叉臂的位姿可以将货物安全放置在货架上。
需要说明的是，当所述对比结果为所述距离差值小于或等于所述位姿调整阈值时，不调整所述叉臂的位姿指的是：当距离差值小于或者等于位姿调整阈值时，判定叉臂与货架的高度差的数据不影响放置货物的安全性和准度，从而可以不调整叉臂的位姿，直接进行货物的放置。
通过这种方式，可以在叉臂与货架的位置差值处于可以允许的误差范围内时不进行调整，从而可以减少不必要的位姿调整，使得无人叉车的货物放置的流程更加简便和快速。
本实施例通过无人叉车的叉臂上的深度相机获取叉车托盘与货架的图像信息；根据所述叉车托盘与货架的图像信息确定叉车托盘与货架的点云数据；根据所述点云数据确定所述叉车托盘与所述货架的空间位置信息；根据所述空间位置信息确定所述叉车托盘与所述货架的前表面之间的距离差值；根据所述距离差值控制叉臂进行位姿调整，以完成放货。通过这种方式，实现了根据叉臂上的深度相机采集到的叉车托盘与货架的图像信息确定叉车托盘与货架的空间位置信息，从而确定叉车托盘与货架前表面之间的距离差值，从而按照距离差值进行叉臂的位姿调整，完成精准的放货，这样可以减少叉车在高位货架放货时因为举升太高导致门架晃动的情况发生，使得无人叉车的放货更加精准，减小安全事故发生的可能性，提高用户的使用体验。
参考图4，图4为本发明一种无人叉车高位货架放货方法第二实施例的流程示意图。
基于上述第一实施例，本实施例无人叉车高位货架放货方法在所述步骤S20包括：
步骤S201：根据所述叉车托盘与货架的图像信息确定所述叉车托盘与货架的点云信息。
应理解的是，根据所述叉车托盘与货架的图像信息确定所述叉车托盘与货架的点云信息指的是：根据叉车托盘与货架的图像信息，基于深度相机的特性进行灰度处理，然后得到了叉车托盘与货架在深度相机的坐标系下的点云数据的相关信息。
步骤S202：将所述叉车托盘与货架的点云信息与预设棋盘格进行匹配，得到匹配三维点云集合。
需要说明的是，预设棋盘格指的是用户预先设定的初始棋盘格，用于与叉车托盘与货架的灰度图像进行匹配，从而得到匹配三维点云集合。其中，匹配三维点云集合指的是叉车托盘与货架的灰度图像中的各个x、y坐标相同的点构成的集合。
进一步地，为了能够准确得到匹配三维点云集合，步骤S202包括：根据所述所述叉车托盘与货架的点云信息确定叉车托盘与货架的灰度图像；根据所述叉车托盘与货架的灰度图像确定棋盘格角点；根据所述叉车托盘与货架的灰度图像和所述棋盘格角点拟合出棋盘格平面公式；根据所述棋盘格平面公式对所述叉车托盘与货架的灰度图像上的点进行查找匹配，得到横坐标与纵坐标相同的二维点云集合；根据所述二维点云集合确定单应性矩阵；根据所述单应性矩阵和所述棋盘格平面公式确定匹配三维点云集合。
需要说明的是，根据所述所述叉车托盘与货架的点云信息确定叉车托盘与货架的灰度图像指的是：首先根据叉车托盘与货架的点云信息提取出对应的叉车托盘以及货架位置的灰度图像。
应理解的是，根据所述叉车托盘与货架的灰度图像确定棋盘格角点指的是：根据叉车托盘与货架的灰度图像确定预设棋盘格在灰度图像上的棋盘格角点，也就是说是在叉车托盘与货架的灰度图像上确定四个预设棋盘格对应的棋盘格角点。
需要说明的是，根据所述叉车托盘与货架的灰度图像拟合出棋盘格平面公式指的是：分别拟合出两个深度相机坐标系下棋盘格的平面公式，然后将这两个平面公式作为棋盘格平面公式。
应理解的是，根据所述棋盘格平面公式对所述叉车托盘与货架的灰度图像上的点进行查找匹配，得到横坐标与纵坐标相同的二维点云集合指的是：根据棋盘格平面公式对叉车托盘与货架的灰度图像上的各个点进行查找和匹配，对应棋盘格的x、y坐标相同的点作为一个集合，得到若干二维点云集合。
在具体实施中，单应性矩阵指的是现实的物理坐标到理想像素点之间的投影矩阵。根据所述单应性矩阵和所述棋盘格平面公式确定匹配三维点云集合指的是：通过单应性矩阵H和图像上棋盘格角点的2维坐标来求得相对应的3维坐标xy值，即得到了匹配三维点云集合。
通过这种方式，实现了具体使用棋盘格标注的方法将叉车托盘与货架的灰度图像上的点得到二维点云集合，然后将二维点云集合进行匹配，得到匹配三维点云集合。
步骤S203：根据所述匹配三维点集合确定所述深度相机到所述无人叉车车体的旋转矩阵和平移矩阵。
应理解的是，旋转矩阵是在乘以一个向量的时候有改变向量的方向但不改变大小的效果并保持了属性的矩阵，而平移矩阵指的是实施矩阵平移时用于计算的矩阵。并且旋转矩阵和平移矩阵并不会改变原矩阵。
步骤S204：根据所述旋转矩阵、所述平移矩阵和所述叉车托盘与货架的点云信息确定叉车托盘与货架的点云数据。
在具体实施中，根据所述旋转矩阵和所述平移矩阵确定叉车托盘与货架的点云数据指的是：根据旋转矩阵和平移矩阵完成点云数据的标定，从而得到叉车托盘与货架的点云数据。
进一步地，为了能够准确的得到叉车托盘与货架的点云数据，步骤S204包括：根据所述叉车托盘与货架的点云信息确定所述叉车托盘与货架的相机坐标系点云数据；根据所述旋转矩阵和所述平移矩阵将所述相机坐标系点云数据转换为叉车坐标系点云数据；根据所述叉车坐标系点云数据确定叉车托盘与货架的点云数据。
需要说明的是，根据所述叉车托盘与货架的点云信息确定所述叉车托盘与货架的相机坐标系点云数据指的是：根据叉车托盘与货架的点云信息确定叉车托盘与货架的各个部位的位置在深度相机的坐标系下的点云数据，作为相机坐标系点云数据。
应理解的是，根据所述旋转矩阵和所述平移矩阵将所述相机坐标系点云数据转换为叉车坐标系点云数据指的是：通过旋转矩阵和平移矩阵将相机坐标系上的点云数据转换到叉车坐标系，也就是将各个点云数据进行坐标系转换，得到的即为叉车坐标系点云数据。
在具体实施中，根据所述叉车坐标系点云数据确定叉车托盘与货架的点云数据指的是：基于叉车坐标系点云数据确定叉车托盘与货架的灰度图像在叉车坐标系下对应的点云图像，然后进行感兴趣区域的确定，从而遍历感兴趣区域得到叉车托盘与货架的点云数据。
通过这种方式，实现了通过坐标系转换的方式准确的确定叉车托盘与货架的点云数据。
进一步地，为了能够根据旋转矩阵和平移矩阵确定准确的点云数据，根据所述叉车坐标系点云数据确定叉车托盘与货架的点云数据的步骤包括：所述根据所述叉车坐标系点云数据确定叉车托盘与货架的点云数据，包括：根据所述根据所述叉车坐标系点云数据确定所述叉车托盘与货架的灰度图像在叉车坐标系下对应的点云图像；根据所述叉车托盘与货架的灰度图像在叉车坐标系下对应的点云图像确定叉车托盘与货架的灰度图像在叉车坐标系下对应的点云图像上的感兴趣区域；遍历所述感兴趣区域，得到叉车托盘与货架的点云数据。
需要说明的是，在叉车托盘与货架的灰度图像在叉车坐标系下对应的点云图像上依据旋转矩阵和平移矩阵确定了点云在各个图像区域的分布图像，然后画一个ROI区域，也就是感兴趣区域，遍历感兴趣区域获取点云图像上的点云数据，最终可以得到准确的叉车托盘与货架的点云数据。
通过这种方式，实现了从叉车托盘与货架的灰度图像在叉车坐标系下对应的点云图像上准确的筛选出感兴趣区域以及叉车托盘和货架的点云数据，使得后续计算更加准确，且减少了数据的处理量。
本实施例通过根据所述叉车托盘与货架的图像信息确定所述叉车托盘与货架的点云信息；将所述叉车托盘与货架的点云信息与预设棋盘格进行匹配，得到匹配三维点云集合；根据所述匹配三维点集合确定所述深度相机到所述无人叉车车体的旋转矩阵和平移矩阵；根据所述旋转矩阵、所述平移矩阵和所述叉车托盘与货架的点云信息确定叉车托盘与货架的点云数据。通过这种方式，实现了根据叉车托盘与货架的图像信息得到叉车托盘与货架的点云信息，然后与预设棋盘格进行匹配和标定，得到匹配三维点集合，然后基于匹配三维点集合确定旋转矩阵和平移矩阵，最后基于旋转矩阵和平移矩阵确定叉车托盘与货架的点云数据，实现了通过棋盘格标注的方法得到叉车托盘与货架的点云数据，使得点云数据的获得更加简便与准确，使得后续的距离差值计算更准确，以及叉车自动放货的准确性。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有无人叉车高位货架放货程序，所述无人叉车高位货架放货程序被处理器执行时实现如上文所述的无人叉车高位货架放货方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不一一赘述。
参照图5，图5为本发明无人叉车高位货架放货装置第一实施例的结构框图。
如图5所示，本发明实施例提出的无人叉车高位货架放货装置包括：
图像采集模块10，用于通过无人叉车的叉臂上的深度相机获取叉车托盘与货架的图像信息.
点云提取模块20，用于根据所述叉车托盘与货架的图像信息确定叉车托盘与货架的点云数据。
位置确定模块30，用于根据所述点云数据确定所述叉车托盘与所述货架的空间位置信息。
差值计算模块40，用于根据所述空间位置信息确定所述叉车托盘与所述货架前表面之间的距离差值。
调整放货模块50，用于根据所述距离差值控制叉臂进行位姿调整，以完成放货。
本实施例通过无人叉车的叉臂上的深度相机获取叉车托盘与货架的图像信息；根据所述叉车托盘与货架的图像信息确定叉车托盘与货架的点云数据；根据所述点云数据确定所述叉车托盘与所述货架的空间位置信息；根据所述空间位置信息确定所述叉车托盘与所述货架的前表面之间的距离差值；根据所述距离差值控制叉臂进行位姿调整，以完成放货。通过这种方式，实现了根据叉臂上的深度相机采集到的叉车托盘与货架的图像信息确定叉车托盘与货架的空间位置信息，从而确定叉车托盘与货架前表面之间的距离差值，从而按照距离差值进行叉臂的位姿调整，完成精准的放货，这样可以减少叉车在高位货架放货时因为举升太高导致门架晃动的情况发生，使得无人叉车的放货更加精准，减小安全事故发生的可能性，提高用户的使用体验。
在一实施例中，所述点云提取模块20，还用于根据所述叉车托盘与货架的图像信息确定所述叉车托盘与货架的点云信息；将所述叉车托盘与货架的点云信息与预设棋盘格进行匹配，得到匹配三维点云集合；根据所述匹配三维点集合确定所述深度相机到所述无人叉车车体的旋转矩阵和平移矩阵；根据所述旋转矩阵、所述平移矩阵和所述叉车托盘与货架的点云信息确定叉车托盘与货架的点云数据。
在一实施例中，所述点云提取模块20，还用于根据所述叉车托盘与货架的点云信息确定所述叉车托盘与货架的相机坐标系点云数据；根据所述旋转矩阵和所述平移矩阵将所述相机坐标系点云数据转换为叉车坐标系点云数据；将所述叉车坐标系点云数据作为叉车托盘与货架的点云数据。
在一实施例中，所述点云提取模块20，还用于根据所述所述叉车托盘与货架的点云信息确定叉车托盘与货架的灰度图像；根据所述叉车托盘与货架的灰度图像确定棋盘格角点；根据所述叉车托盘与货架的灰度图像和所述棋盘格角点拟合出棋盘格平面公式；根据所述棋盘格平面公式对所述叉车托盘与货架的灰度图像上的点进行查找匹配，得到横坐标与纵坐标相同的二维点云集合；根据所述二维点云集合确定单应性矩阵；根据所述单应性矩阵和所述棋盘格平面公式确定匹配三维点云集合。
在一实施例中，所述点云提取模块20，还用于根据所述根据所述叉车坐标系点云数据确定所述叉车托盘与货架的灰度图像在叉车坐标系下对应的点云图像；根据所述叉车托盘与货架的灰度图像在叉车坐标系下对应的点云图像确定叉车托盘与货架的灰度图像在叉车坐标系下对应的点云图像上的感兴趣区域；遍历所述感兴趣区域，得到叉车托盘与货架的点云数据。
在一实施例中，所述位置确定模块30，还用于对所述点云数据进行离散点滤波、法向量滤波、点云平滑，点云聚类，以分割出托盘支腿与所述货架的目标点云数据；对所述目标点云数据使用RANSAC算法，得到点云平面信息；根据所述点云平面信息确定所述叉车托盘的表面点云均值数据，以及所述货架的表面点云数据；根据所述表面点云均值数据和所述表面点云数据确定所述叉车托盘与所述货架的空间位置信息。
在一实施例中，所述调整放货模块50，还用于将所述距离差值与位姿调整阈值进行对比，得到对比结果；当所述对比结果为所述距离差值大于所述位姿调整阈值时，控制叉臂按照所述距离差值进行位姿调整；当所述对比结果为所述距离差值小于或等于所述位姿调整阈值时，不调整所述叉臂的位姿。
由于本装置采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不一一赘述。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的无人叉车高位货架放货方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种无人叉车高位货架放货方法，其特征在于，所述无人叉车高位货架放货方法包括：
通过无人叉车的叉臂上的深度相机获取叉车托盘与货架的图像信息；
根据所述叉车托盘与货架的图像信息确定叉车托盘与货架的点云数据；
根据所述点云数据确定所述叉车托盘与所述货架的空间位置信息；
根据所述空间位置信息确定所述叉车托盘与所述货架的前表面之间的距离差值；
根据所述距离差值控制叉臂进行位姿调整，以完成放货。
2.如权利要求1所述的方法，其特征在于，所述根据所述叉车托盘与货架的图像信息确定叉车托盘与货架的点云数据，包括：
根据所述叉车托盘与货架的图像信息确定所述叉车托盘与货架的点云信息；
将所述叉车托盘与货架的点云信息与预设棋盘格进行匹配，得到匹配三维点云集合；
根据所述匹配三维点集合确定所述深度相机到所述无人叉车车体的旋转矩阵和平移矩阵；
根据所述旋转矩阵、所述平移矩阵和所述叉车托盘与货架的点云信息确定叉车托盘与货架的点云数据。
3.如权利要求2所述的方法，其特征在于，所述根据所述旋转矩阵、所述平移矩阵和所述叉车托盘与货架的点云信息确定叉车托盘与货架的点云数据，包括：
根据所述叉车托盘与货架的点云信息确定所述叉车托盘与货架的相机坐标系点云数据；
根据所述旋转矩阵和所述平移矩阵将所述相机坐标系点云数据转换为叉车坐标系点云数据；
根据所述叉车坐标系点云数据确定叉车托盘与货架的点云数据。
4.如权利要求2所述的方法，其特征在于，所述将所述叉车托盘与货架的点云信息与预设棋盘格进行匹配，得到匹配三维点云集合，包括：
根据所述所述叉车托盘与货架的点云信息确定叉车托盘与货架的灰度图像；
根据所述叉车托盘与货架的灰度图像确定棋盘格角点；
根据所述叉车托盘与货架的灰度图像和所述棋盘格角点拟合出棋盘格平面公式；
根据所述棋盘格平面公式对所述叉车托盘与货架的灰度图像上的点进行查找匹配，得到横坐标与纵坐标相同的二维点云集合；
根据所述二维点云集合确定单应性矩阵；
根据所述单应性矩阵和所述棋盘格平面公式确定匹配三维点云集合。
5.如权利要求3所述的方法，其特征在于，所述根据所述叉车坐标系点云数据确定叉车托盘与货架的点云数据，包括：
根据所述根据所述叉车坐标系点云数据确定所述叉车托盘与货架的灰度图像在叉车坐标系下对应的点云图像；
根据所述叉车托盘与货架的灰度图像在叉车坐标系下对应的点云图像确定叉车托盘与货架的灰度图像在叉车坐标系下对应的点云图像上的感兴趣区域；
遍历所述感兴趣区域，得到叉车托盘与货架的点云数据。
6.如权利要求1所述的方法，其特征在于，所述根据所述点云数据确定所述叉车托盘与所述货架的空间位置信息，包括：
对所述点云数据进行离散点滤波、法向量滤波、点云平滑，点云聚类，以分割出托盘支腿与所述货架的目标点云数据；
对所述目标点云数据使用RANSAC算法，得到点云平面信息；
根据所述点云平面信息确定所述叉车托盘的表面点云均值数据，以及所述货架的表面点云数据；
根据所述表面点云均值数据和所述表面点云数据确定所述叉车托盘与所述货架的空间位置信息。
7.如权利要求1至6中任一项所述的方法，其特征在于，所述根据所述距离差值控制叉臂进行位姿调整，以完成放货，包括：
将所述距离差值与位姿调整阈值进行对比，得到对比结果；
当所述对比结果为所述距离差值大于所述位姿调整阈值时，控制叉臂按照所述距离差值进行位姿调整；
当所述对比结果为所述距离差值小于或等于所述位姿调整阈值时，不调整所述叉臂的位姿。
8.一种无人叉车高位货架放货装置，其特征在于，所述无人叉车高位货架放货装置包括：
图像采集模块，用于通过无人叉车的叉臂上的深度相机获取叉车托盘与货架的图像信息；
点云提取模块，用于根据所述叉车托盘与货架的图像信息确定叉车托盘与货架的点云数据；
位置确定模块，用于根据所述点云数据确定所述叉车托盘与所述货架的空间位置信息；
差值计算模块，用于根据所述空间位置信息确定所述叉车托盘与所述货架前表面之间的距离差值；
调整放货模块，用于根据所述距离差值控制叉臂进行位姿调整，以完成放货。
9.一种无人叉车高位货架放货设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的无人叉车高位货架放货程序，所述无人叉车高位货架放货程序配置为实现如权利要求1至7中任一项所述的无人叉车高位货架放货方法。
10.一种存储介质，其特征在于，所述存储介质上存储有无人叉车高位货架放货程序，所述无人叉车高位货架放货程序被处理器执行时实现如权利要求1至7任一项所述的无人叉车高位货架放货方法。
CN202210577015.9A 2022-05-25 2022-05-25 无人叉车高位货架放货方法、装置、设备及存储介质 Pending CN115018895A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210577015.9A CN115018895A (zh) 2022-05-25 2022-05-25 无人叉车高位货架放货方法、装置、设备及存储介质
PCT/CN2023/091273 WO2023226676A2 (zh) 2022-05-25 2023-04-27 无人叉车高位货架放货方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210577015.9A CN115018895A (zh) 2022-05-25 2022-05-25 无人叉车高位货架放货方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115018895A true CN115018895A (zh) 2022-09-06

Family

ID=83069851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210577015.9A Pending CN115018895A (zh) 2022-05-25 2022-05-25 无人叉车高位货架放货方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN115018895A (zh)
WO (1) WO2023226676A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546202A (zh) * 2022-11-23 2022-12-30 青岛中德智能技术研究院 一种用于无人叉车的托盘检测与定位方法
CN115771866A (zh) * 2023-02-02 2023-03-10 福勤智能科技（昆山）有限公司 一种用于无人驾驶高位叉车的栈板位姿识别方法及装置
CN116425088A (zh) * 2023-06-09 2023-07-14 未来机器人（深圳）有限公司 货物搬运方法、装置及机器人

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117553819A (zh) * 2024-01-10 2024-02-13 齐鲁空天信息研究院 无人叉车室外装卸路径规划方法及装置
CN117584979B (zh) * 2024-01-19 2024-04-02 江西中汇云链供应链管理有限公司 一种工程车辆工作状态感知系统及确定方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546202A (zh) * 2022-11-23 2022-12-30 青岛中德智能技术研究院 一种用于无人叉车的托盘检测与定位方法
CN115546202B (zh) * 2022-11-23 2023-03-03 青岛中德智能技术研究院 一种用于无人叉车的托盘检测与定位方法
CN115771866A (zh) * 2023-02-02 2023-03-10 福勤智能科技（昆山）有限公司 一种用于无人驾驶高位叉车的栈板位姿识别方法及装置
CN116425088A (zh) * 2023-06-09 2023-07-14 未来机器人（深圳）有限公司 货物搬运方法、装置及机器人
CN116425088B (zh) * 2023-06-09 2023-10-24 未来机器人（深圳）有限公司 货物搬运方法、装置及机器人

Also Published As

Publication number Publication date
WO2023226676A2 (zh) 2023-11-30

Similar Documents

Publication Publication Date Title
CN115018895A (zh) 无人叉车高位货架放货方法、装置、设备及存储介质
CN112379387A (zh) 货位自动标定方法、装置、设备及存储介质
JP7181800B2 (ja) 移動体
CN110135278B (zh) 一种障碍物检测方法、装置及电子设备
CN114494453A (zh) 基于雷达和相机的自动装卸车方法及自动装卸车系统
AU2021288667A1 (en) Control method and apparatus for warehouse robot, and robot and warehouse system
CN110816522B (zh) 车辆姿态的控制方法、设备及计算机可读存储介质
CN114897972A (zh) 一种托盘定位方法及装置
CN115880252A (zh) 一种集装箱吊具检测方法、装置、计算机设备及存储介质
CN110070581B (zh) 双视野定位方法、装置及系统
CN110376603B (zh) 一种应用于叉车的定位对象方法和装置
CN113160310A (zh) 高位货架货物取放方法、装置、设备及存储介质
CN113516721B (zh) 一种基于多相机的测量方法、装置及存储介质
CN115062737A (zh) 基于2d相机获取货物位姿方法、装置、设备及存储介质
CN110852279B (zh) 托盘识别和定位方法、设备及计算机可读存储介质
CN112907666A (zh) 一种基于rgb-d的托盘位姿估计方法、系统及装置
CN110675384A (zh) 图像处理方法及装置
Bostanci et al. Extracting planar features from Kinect sensor
CN116188577A (zh) 托盘位姿检测方法及装置、设备、存储介质
JP6512852B2 (ja) 情報処理装置、情報処理方法
CN113379829A (zh) 基于相机的尺寸测量方法、装置、设备及存储介质
CN117105127A (zh) 托盘叉取方法、装置、计算机设备及存储介质
CN114897997B (zh) 相机标定方法、装置、设备及存储介质
CN116902467A (zh) 一种货箱定位方法、装置、设备和存储介质
CN113554703B (zh) 机器人定位方法、装置、系统和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination