CN113160310A - 高位货架货物取放方法、装置、设备及存储介质 - Google Patents

高位货架货物取放方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113160310A
CN113160310A CN202110573748.0A CN202110573748A CN113160310A CN 113160310 A CN113160310 A CN 113160310A CN 202110573748 A CN202110573748 A CN 202110573748A CN 113160310 A CN113160310 A CN 113160310A
Authority
CN
China
Prior art keywords
point cloud
goods
unmanned forklift
camera
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110573748.0A
Other languages
English (en)
Inventor
陈文成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Multiway Robotics Shenzhen Co Ltd
Original Assignee
Multiway Robotics Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Multiway Robotics Shenzhen Co Ltd filed Critical Multiway Robotics Shenzhen Co Ltd
Priority to CN202110573748.0A priority Critical patent/CN113160310A/zh
Publication of CN113160310A publication Critical patent/CN113160310A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Abstract

本发明公开了高位货架货物取放方法、装置、设备及存储介质。通过将两个相机分布在无人叉车两侧，相机与无人叉车进行标定，在高取放货物时，相机向外两侧延伸，相机采集实时点云数据，根据点云数据计算无人叉车移动距离数据。本方法通过两组点云数据计算得出无人叉车移动距离，算法鲁棒性高，复杂度低，操作简便。

Description

高位货架货物取放方法、装置、设备及存储介质
技术领域
本发明涉及智能机器人技术领域，特别涉及高位货架货物取放方法、装置、设备及存储介质。
背景技术
随着工业4.0和智能制造的提出，工业领域由传统的制造业不断向数字化、智能化、无人化方向发展，在万物皆可智能的时代，无人化不断冲击我们的眼球，在智能仓储行业无人叉车应用需求越来越大，如何保证无人叉车高位货架可靠安全的取放货物也成为了一个重要的问题。
发明内容
本发明提供高位货架货物取放方法、装置、设备及存储介质，旨在解决现有技术中无人叉车高位货架可靠安全的取放货物的技术问题。
为实现上述的目的，本发明提供了、高位货架货物取放方法，其特征在于，所述方法包括以下步骤：
两个相机分布在无人叉车两侧，所述相机与所述无人叉车进行标定；
取放货物时，所述相机向外两侧延伸，所述相机采集实时点云数据；
根据所述点云数据计算所述无人叉车移动距离数据。
进一步地，所述两个相机分布在无人叉车两侧，所述相机与所述无人叉车进行标定的步骤，具体包括：
两个相机分布在所述无人叉车两侧，所述相机获取振幅图像和点云图像，并对振幅图像进行处理，获得无人叉车信息；
根据所述无人叉车信息，建立对应的无人叉车坐标系，并根据所述无人叉车信息确定无人叉车中心点坐标；
根据所述相机点云图像以其中一个所述相机为基准相机，计算所述基准相机与另一个相机旋转平移矩阵；
根据所述基准相机计算所述基准相机与所述无人叉车坐标系的旋转平移矩阵；
记录两组所述旋转平移矩阵，完成所述相机与所述无人叉车进行标定。
进一步地，所述取放货物时，所述相机向外两侧延伸，所述相机采集实时点云数据的步骤，具体包括：
高取放货物时，所述相机向外两侧延伸，所述相机获取实时点云图像；
基于所述实时点云图像形成点云数据。
进一步地，根据所述点云数据计算所述无人叉车移动距离数据的步骤，具体包括：
将所述点云数据带入所述无人叉车坐标系计算，以得到货架点云数据和货物轮廓点云数据的交叠区域；
基于所述交叠区域得出所述无人叉车移动距离数据。
进一步地，所述将所述点云数据带入所述无人叉车坐标系计算，以得到货架点云数据和叉臂上货物轮廓点云数据的交叠区域的步骤，具体包括：
将所述货架点云数据和货物轮廓点云数据带入所述无人叉车坐标系计算；
所述货架点云数据和货物轮廓点云数据沿叉车叉臂方向进行投影，以得到点云交叠区域。
进一步地，所述两个相机分布在无人叉车两侧，所述相机与所述无人叉车进行标定的步骤，还具体包括：
所述相机获取振幅图像和点云图像；
对所述振幅图像和点云图像进行处理获得无人叉车叉臂尖端的棋盘格；
通过opencv相机标定方法获得所述棋盘格角点坐标；
基于所述棋盘格角点坐标，计算所述棋盘格角点在无人叉车坐标系的位置。
进一步地，所述两个相机分布在所述无人叉车两侧，所述相机获取振幅图像和点云图像，并对振幅图像进行处理，获得无人叉车信息的步骤，还包括：
所述相机获得货架以及货物点云图像。
此外，为实现上述目的，本发明还提出了高位货架货物取放装置，所述装置包括：
车体标定模块，两个相机分布在无人叉车两侧，所述相机与无人叉车进行标定；
点云采集模块，高取放货物时，所述相机向外两侧延伸，所述相机采集实时点云数据；
点云处理模块，根据所述点云数据计算无人叉车移动距离数据。
此外，为实现上述目的，本发明还提出了高位货架货物取放设备，所述设备包括：TOF相机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的高位货架货物取放程序，所述高位货架货物取放程序配置为实现如上述所述的高位货架货物取放方法的步骤。
此外，为实现上述目的，本发明还提出了存储介质，所述存储介质上存储有高位货架货物取放程序，所述高位货架货物取放程序被处理器执行时实现如上述所述的高位货架货物取放方法的步骤。
本发明的有益效果：本发明通过将两个相机分布在无人叉车两侧，相机与无人叉车进行标定，在高取放货物时，相机向外两侧延伸，相机采集实时点云数据，根据点云数据计算无人叉车移动距离数据。本方法通过两组点云数据计算得出无人叉车移动距离，算法鲁棒性高，复杂度低，操作简便。
附图说明
图1是本发明提供的高位货架货物取放方法的流程示意图；
图2是本发明提供的高位货架货物取放装置的结构框图；
图3是本发明提供的高位货架货物取放设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
请参阅图1，本发明提供的高位货架货物取放方法，所述方法包括以下步骤：
S10：两个相机分布在无人叉车两侧，所述相机与无人叉车进行标定；
S20：高取放货物时，所述相机向外两侧延伸，所述相机采集实时点云数据；
S30：根据所述点云数据计算无人叉车移动距离数据。
下面通过具体的实施例对本发明作进一步说明；
将两个相机分布安装在无人叉车两侧，需要说明的是相机采用TOF相机，TOF相机具有较强环境抗干扰能力，强弱光环境下均不受影响，根基相机获取振幅图像和点云图像，并对振幅图像进行处理，获得无人叉车信息，无人叉车叉臂尖端的棋盘格数据、货架以及货物点云图像、需要说明的是无人叉车信息，包括无人叉车车身数据，根据无人叉车信息，建立对应一个对应的无人叉车坐标系，并根据无人叉车信息确定一个点为无人叉车中心点坐标，根据相机获取的点云图像以其中一个相机为基准相机，计算基准相机与另一个相机旋转平移矩阵；在同时根据基准相机计算基准相机与无人叉车坐标系的旋转平移矩阵，其计算方法是利用最小二乘拟合得到最优旋转平移矩阵，记录两组旋转平移矩阵，完成相机与无人叉车进行标定，与此同时，在两个相机获得无人叉车叉臂尖端的棋盘格数据，两个相机通过opencv相机标定方法获得棋盘格角点坐标，基于棋盘格角点坐标，计算棋盘格角点在无人叉车坐标系的位置。
取放货物时，两个相机向外两侧延伸，相机获取实时点云图像，基于实时点云图像形成点云数据，将两组相机获得点云数据带入无人叉车坐标系计算，其计算方法包括但不限于离散点滤波、法向量过滤、点云平滑、平面分割、K均值聚类，以得货架点云数据和货物轮廓点云数据，货架点云数据和货物轮廓点云数据两组点云数据沿叉车叉臂方向进行投影，以得到点云交叠区域，基于交叠区域得出无人叉车移动距离数据。即叉臂需要水平方向移动的距离，本方法的算法鲁棒性高，复杂度低，操作简便。
请参阅图2，本发明实施例还提出了高位货架货物取放装置，所述装置包括：
车体标定模块21，两个相机分布在无人叉车两侧，所述相机与无人叉车进行标定；
点云采集模块22，高取放货物时，所述相机向外两侧延伸，所述相机采集实时点云数据23；
点云处理模块，根据所述点云数据计算无人叉车移动距离数据。
请参阅图3，本发明实施例还提出了高位货架货物取放设备，所述设备包括：TOF相机33、存储器32、处理器31及存储在所述存储器32上并可在所述处理器31上运行的上述高位货架货物取放程序，高位货架货物取放程序配置为实现如上述高位货架货物取放方法的步骤。
此外，本发明实施例还提出了存储介质，所述存储介质上存储有高位货架货物取放程序，所述高位货架货物取放程序被处理器执行时实现如上述所述的高位货架货物取放方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.高位货架货物取放方法，其特征在于，所述方法包括以下步骤：
两个相机分布在无人叉车两侧，所述相机与所述无人叉车进行标定；
取放货物时，所述相机向外两侧延伸，所述相机采集实时点云数据；
根据所述点云数据计算所述无人叉车移动距离数据。
2.根据权利要求1所述的高位货架货物取放方法，其特征在于，所述两个相机分布在无人叉车两侧，所述相机与所述无人叉车进行标定的步骤，具体包括：
两个相机分布在所述无人叉车两侧，所述相机获取振幅图像和点云图像，并对振幅图像进行处理，获得无人叉车信息；
根据所述无人叉车信息，建立对应的无人叉车坐标系，并根据所述无人叉车信息确定无人叉车中心点坐标；
根据所述相机点云图像以其中一个所述相机为基准相机，计算所述基准相机与另一个相机旋转平移矩阵；
根据所述基准相机计算所述基准相机与所述无人叉车坐标系的旋转平移矩阵；
记录两组所述旋转平移矩阵，完成所述相机与所述无人叉车进行标定。
3.根据权利要求2所述的高位货架货物取放方法，其特征在于，所述取放货物时，所述相机向外两侧延伸，所述相机采集实时点云数据的步骤，具体包括：
高取放货物时，所述相机向外两侧延伸，所述相机获取实时点云图像；
基于所述实时点云图像形成点云数据。
4.根据权利要求3所述的高位货架货物取放方法，其特征在于，根据所述点云数据计算所述无人叉车移动距离数据的步骤，具体包括：
将所述点云数据带入所述无人叉车坐标系计算，以得到货架点云数据和货物轮廓点云数据的交叠区域；
基于所述交叠区域得出所述无人叉车移动距离数据。
5.根据权利要求4所述的高位货架货物取放方法，其特征在于，所述将所述点云数据带入所述无人叉车坐标系计算，以得到货架点云数据和叉臂上货物轮廓点云数据的交叠区域的步骤，具体包括：
将所述货架点云数据和货物轮廓点云数据带入所述无人叉车坐标系计算；
所述货架点云数据和货物轮廓点云数据沿叉车叉臂方向进行投影，以得到点云交叠区域。
6.根据权利要求2所述的高位货架货物取放方法，其特征在于，所述两个相机分布在无人叉车两侧，所述相机与所述无人叉车进行标定的步骤，还具体包括：
所述相机获取振幅图像和点云图像；
对所述振幅图像和点云图像进行处理获得无人叉车叉臂尖端的棋盘格；
通过opencv相机标定方法获得所述棋盘格角点坐标；
基于所述棋盘格角点坐标，计算所述棋盘格角点在无人叉车坐标系的位置。
7.根据权利要求2所述的高位货架货物取放方法，其特征在于，所述两个相机分布在所述无人叉车两侧，所述相机获取振幅图像和点云图像，并对振幅图像进行处理，获得无人叉车信息的步骤，还包括：
所述相机获得货架以及货物点云图像。
8.高位货架货物取放装置，其特征在于，所述装置包括：
车体标定模块，两个相机分布在无人叉车两侧，所述相机与无人叉车进行标定；
点云采集模块，高取放货物时，所述相机向外两侧延伸，所述相机采集实时点云数据；
点云处理模块，根据所述点云数据计算无人叉车移动距离数据。
9.高位货架货物取放设备，其特征在于，所述设备包括：TOF相机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的高位货架货物取放程序，所述高位货架货物取放程序配置为实现如权利要求1至7中任一项所述的高位货架货物取放方法的步骤。
10.存储介质，其特征在于，所述存储介质上存储有高位货架货物取放程序，所述高位货架货物取放程序被处理器执行时实现如权利要求1至7中任一项所述的高位货架货物取放方法的步骤。
CN202110573748.0A 2021-05-25 2021-05-25 高位货架货物取放方法、装置、设备及存储介质 Withdrawn CN113160310A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110573748.0A CN113160310A (zh) 2021-05-25 2021-05-25 高位货架货物取放方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110573748.0A CN113160310A (zh) 2021-05-25 2021-05-25 高位货架货物取放方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113160310A true CN113160310A (zh) 2021-07-23

Family

ID=76877875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110573748.0A Withdrawn CN113160310A (zh) 2021-05-25 2021-05-25 高位货架货物取放方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113160310A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269834A (zh) * 2021-07-19 2021-08-17 浙江华睿科技股份有限公司 一种物流容器搬运方法、装置及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269834A (zh) * 2021-07-19 2021-08-17 浙江华睿科技股份有限公司 一种物流容器搬运方法、装置及存储介质

Similar Documents

Publication Publication Date Title
US11772267B2 (en) Robotic system control method and controller
CN107328420B (zh) 定位方法和装置
CN110163912B (zh) 二维码位姿标定方法、装置及系统
DE112019000172T5 (de) Ein Robotersystem mit automatisiertem Paketabtast- und Registrierungsmechanismus und Verfahren zum Betreiben dieses Systems
CN111015655A (zh) 机械臂抓取方法、装置、计算机可读存储介质及机器人
JP7181800B2 (ja) 移動体
CN108875689B (zh) 无人驾驶车辆对位方法、系统、设备及存储介质
CN111680685B (zh) 一种基于图像的定位方法、装置、电子设备及存储介质
CN113984081B (zh) 定位方法、装置、自移动设备和存储介质
CN109961471B (zh) 一种图像中物体位置的标注方法、装置及电子设备
AU2021288667B2 (en) Control method and apparatus for warehouse robot, and robot and warehouse system
CN112907586A (zh) 基于视觉的机械臂控制方法、装置、系统和计算机设备
CN109635700B (zh) 障碍物识别方法、设备、系统及存储介质
CN110962844A (zh) 一种车辆航向角修正方法及系统、存储介质及终端
CN110816522B (zh) 车辆姿态的控制方法、设备及计算机可读存储介质
CN113160310A (zh) 高位货架货物取放方法、装置、设备及存储介质
CN110807814A (zh) 摄影机位姿计算方法、装置、设备及存储介质
CN114820781A (zh) 基于机器视觉的智能搬运方法、装置、系统及存储介质
CN110070581B (zh) 双视野定位方法、装置及系统
CN115082565A (zh) 相机标定方法、装置、服务器及介质
CN114074331A (zh) 一种基于视觉的无序抓取方法及机器人
CN112987748A (zh) 机器人狭窄空间的控制方法、装置、终端及存储介质
WO2023036212A1 (zh) 货架定位方法、货架对接方法以及装置、设备、介质
WO2023202062A1 (zh) 基于图像识别的目标对接方法、终端设备及其介质
Lynch et al. The use of feedforward neural networks for machine vision calibration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210723