CN116468791A - 拆垛定位方法、装置、系统及存储介质 - Google Patents

拆垛定位方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN116468791A
CN116468791A CN202310360760.2A CN202310360760A CN116468791A CN 116468791 A CN116468791 A CN 116468791A CN 202310360760 A CN202310360760 A CN 202310360760A CN 116468791 A CN116468791 A CN 116468791A
Authority
CN
China
Prior art keywords
unstacking
box body
target
box
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310360760.2A
Other languages
English (en)
Inventor
杨千
尹选春
陈新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Foshan Longshen Robot Co Ltd
Original Assignee
South China Agricultural University
Foshan Longshen Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University, Foshan Longshen Robot Co Ltd filed Critical South China Agricultural University
Priority to CN202310360760.2A priority Critical patent/CN116468791A/zh
Publication of CN116468791A publication Critical patent/CN116468791A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G59/00—De-stacking of articles
    • B65G59/02—De-stacking from the top of the stack
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G61/00—Use of pick-up or transfer devices or of manipulators for stacking or de-stacking articles not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种拆垛定位方法、装置、系统及存储介质，涉及自动化拆垛技术领域，该方法包括以下步骤：通过视觉传感装置获取位于码垛底座最上层的待取箱体的图像信息；根据图像信息确定目标箱体数量；若存在至少一个目标箱体，则从图像信息中提取目标箱体的位姿信息，根据目标箱体的数量和位置确定拆垛机器人的抓取位姿，并将抓取位姿信息发送至拆垛机器人；通过拆垛机器人对目标箱体同时进行抓取，并将抓取的目标箱体转移至信息验证装置处进行信息验证。该拆垛定位方法破除了传统人工示教方式对于周转箱规格尺寸的限制以及一次只能抓取单个周转箱的弊端，适用于多种规格的周转箱及不同的堆垛形式，拓宽了应用范围，提高了拆垛效率。

Description

拆垛定位方法、装置、系统及存储介质
技术领域
本发明涉及自动化拆垛技术领域，尤其涉及一种拆垛定位方法、拆垛定位装置、拆垛定位系统及计算机可读存储介质。
背景技术
周转箱是重要的物流周转载体，其广泛应用于厂区物流运输、中转等环节。周转箱的拆码垛作业是自动化生产线中常见的应用场景，随着制造业和物流业的快速发展，传统人工拆垛方式由于工作强度大、工作内容单一、人工作业效率低下等问题，已不能满足当前的作业需求。
随着机器人等自动化设备在拆码垛场景中的应用，提高了作业效率。目前机器人的拆垛操作通常依赖人工示教方式完成，即通过记录及复刻机器人受人为摆转拖动时的移动轨迹，使得机器人在后续可依照该轨迹重复移动以完成拆垛操作。然而，该方式仅适用于规格尺寸单一的单个周转箱，应用范围小，适用性差，且整体拆垛运行效率不高。
发明内容
本发明的主要目的在于提供一种拆垛定位方法，旨在解决目前的自动化拆垛定位方式仅适用于规格尺寸单一的单个周转箱，应用范围小，适用性差，拆垛效率低的技术问题。
为实现上述目的，本发明提供一种拆垛定位方法，应用于拆垛设备，所述拆垛设备包括码垛底座、拆垛机器人和信息验证装置；所述码垛底座用于层叠放置待取箱体，所述码垛底座上方设有视觉传感装置；所述拆垛机器人、所述视觉传感装置、所述信息验证装置之间通信连接；
所述拆垛定位方法包括以下步骤：
通过所述视觉传感装置获取所述码垛底座上位于最上层的待取箱体的图像信息；
根据所述图像信息确定目标箱体的数量；其中，所述目标箱体指代可在单次抓取操作中被所述拆垛机器人同时抓取的待取箱体；
若存在至少一个所述目标箱体，则从所述图像信息中提取所述目标箱体的位姿信息，根据所述目标箱体的数量和位置确定所述拆垛机器人的抓取位姿，并将抓取位姿信息发送至所述拆垛机器人；
基于所述目标箱体的位姿信息，通过所述拆垛机器人对所述目标箱体同时进行抓取操作，并将抓取的所述目标箱体转移至所述信息验证装置处进行信息验证操作。
进一步地，所述根据所述图像信息确定目标箱体的数量的步骤，包括：
对所述图像信息进行预处理操作；
通过实例分割算法从所述图像信息中识别出待取箱体；
计算所述待取箱体的位姿信息；
判断所述待取箱体的位姿信息是否满足第一预设阈值条件，并以满足所述第一预设阈值条件的所述待取箱体作为所述目标箱体。
进一步地，所述通过所述视觉传感装置获取所述码垛底座上位于最上层的待取箱体的图像信息的步骤，包括：
通过所述视觉传感装置获取所述码垛底座上的待取箱体的初始平面图像和初始深度图像；
所述对所述图像信息进行预处理操作的步骤，包括：
将所述初始平面图像和所述初始深度图像转换为原始三维点云数据空间；
在所述原始三维点云数据空间中设置第一感兴趣区域，并从所述第一感兴趣区域中提取出所述待取箱体的第一点云数据；
计算所述第一点云数据的法向量，得到带有法向量的第二点云数据；
通过统计滤波算法对所述第二点云数据进行滤波操作，以去除离群点并得到第三点云数据；
通过体素滤波算法对所述第三点云数据进行降采样处理，得到第四点云数据。
进一步地，所述通过实例分割算法从所述图像信息中识别出待取箱体的步骤，包括：
在所述初始深度图像中设置第二感兴趣区域，并从所述第二感兴趣区域中提取出所述待取箱体的若干个第一深度图像；
按照预设层高提取所述第一深度图像中最高的区域作为第一掩膜，并对所述第一掩膜进行图像膨胀处理，得到第二掩膜；
将所述第二掩膜作用于所述初始平面图像，提取出掩膜区域对应的第一平面图像；
通过Mask R-CNN深度学习算法对所述第一平面图像进行实例分割，得到与所述第一平面图像中的所述待取箱体一一对应的箱体掩膜。
进一步地，所述计算所述待取箱体的位姿信息的步骤，包括：
根据所述第四点云数据和所述箱体掩膜，提取所述箱体掩膜中与所述待取箱体一一对应的箱体点云数据；
采用欧式聚类分割算法，通过预设的聚类点云数量阈值将所述待取箱体以外的点云数据过滤掉；
采用包围盒算法计算出每一所述箱体点云数据对应的位姿信息，即将每一所述箱体点云数据的包围盒中心点位姿信息作为对应的所述待取箱体的位姿信息；
通过预设的变换矩阵将所述待取箱体的位姿信息由视觉传感坐标系转换为机器人坐标系。
进一步地，所述若存在至少一个所述目标箱体，则从所述图像信息中提取所述目标箱体的位姿信息，根据所述目标箱体的数量和位置确定所述拆垛机器人的抓取位姿，并将抓取位姿信息发送至所述拆垛机器人的步骤，包括：
若所述目标箱体的数量大于一个，则按第二预设阈值条件在所述目标箱体中选定一个基准箱体；
判断以所述基准箱体为中心的预设范围内的若干个所述目标箱体是否满足第三预设阈值条件；
若存在至少一个满足所述第三预设阈值条件的所述目标箱体，则以满足所述第三预设阈值条件的所述目标箱体作为共同抓取箱体；
根据所述基准箱体的位姿信息、所述共同抓取箱体的位姿信息确定中心位姿，并以所述中心位姿作为所述拆垛机器人的抓取点位姿。
进一步地，所述若存在至少一个所述目标箱体，则从所述图像信息中提取所述目标箱体的位姿信息，根据所述目标箱体的数量和位置确定所述拆垛机器人的抓取位姿，并将抓取位姿信息发送至所述拆垛机器人的步骤，还包括：
若所述目标箱体的数量为一个，则以所述目标箱体的位姿信息作为所述拆垛机器人的抓取点位姿；
所述判断以所述基准箱体为中心的预设范围内的若干个所述目标箱体是否满足第三预设阈值条件的步骤之后，包括：
若不存在满足所述第三预设阈值条件的所述目标箱体，则以所述基准箱体的位姿信息作为所述拆垛机器人的抓取点位姿。
对应地，本发明还提出一种拆垛定位装置，所述拆垛定位装置包括：
传感模块，用于通过视觉传感装置获取码垛底座上位于最上层的待取箱体的图像信息；
识别模块，用于根据所述图像信息确定目标箱体的数量；
调节模块，用于若存在至少一个所述目标箱体，则从所述图像信息中提取所述目标箱体的位姿信息，根据所述目标箱体的数量和位置确定拆垛机器人的抓取位姿，并将抓取位姿信息发送至所述拆垛机器人；
抓取模块，用于基于所述目标箱体的位姿信息，通过所述拆垛机器人对所述目标箱体同时进行抓取操作。
对应地，本发明还提出一种拆垛定位系统，所述拆垛定位系统包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如前述的拆垛定位方法的步骤。
对应地，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有拆垛定位程序，所述拆垛定位程序被处理器执行时实现如前述的拆垛定位方法的步骤。
本发明提供的拆垛定位方法，通过视觉传感装置获取码垛底座上位于最上层的待取箱体的图像信息，以根据图像信息确定可在单次抓取操作中被拆垛机器人同时抓取的目标箱体，并从图像信息中提取目标箱体的位姿信息，根据目标箱体的数量和位置确定拆垛机器人的抓取位姿，从而可通过拆垛机器人完成针对一个或一个以上目标箱体的同时抓取，最后将抓取的目标箱体转移至信息验证装置处进行信息验证操作，验证通过的目标箱体方可进入后续下料流程，验证不通过的目标箱体则作回收处理，以确保供料准确性；该方法破除了传统人工示教方式对于周转箱规格尺寸的限制以及一次只能抓取单个周转箱的弊端，可适用于多种规格的周转箱及不同的堆垛形式，在拓宽了应用范围的同时加快了生产节拍，提高了拆垛效率。
附图说明
图1为本发明拆垛定位方法一实施例对应的拆垛设备结构示意图；
图2为本发明拆垛定位方法一实施例中的堆垛结构示意图；
图3为本发明拆垛定位方法一实施例中目标箱体的抓取示意图；
图4为本发明拆垛定位方法一实施例中拆垛机器人的抓取位姿调整示意图；
图5为本发明拆垛定位方法一实施例中基准箱体的第一选择示意图；
图6为本发明拆垛定位方法一实施例中基准箱体的第二选择示意图；
图7为本发明拆垛定位方法一实施例的操作流程示意图；
图8为本发明拆垛定位装置一实施例的结构示意图；
图9为本发明实施例方案涉及的硬件运行环境的系统结构示意图。
附图标号说明：
1-码垛底座，2-拆垛机器人，3-视觉传感装置，4-龙门架，5-信息验证装置，6-输送带，7-回收料框，11-待取箱体，21-吸盘，111-信息特征码。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，若本发明实施例中有涉及方向性指示（诸如上、下、左、右、前、后……），则该方向性指示仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，若全文中出现的“和/或”或者“及/或”，其含义包括三个并列的方案，以“A和/或B”为例，包括A方案、或B方案、或A和B同时满足的方案。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
参照图9，图9为本发明实施例方案涉及的硬件运行环境的拆垛定位系统结构示意图。
如图9所示，该拆垛定位系统可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。
其中，通信总线1002用于实现这些组件之间的连接通信。
用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。
网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIRELESSFIDELITY，WIFI）接口）。
存储器1005可以是高速的随机存取存储器（Random Access Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图9中示出的结构并不构成对拆垛定位系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图9所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及拆垛定位程序。
在图9所示的拆垛定位系统中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端（用户端），与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的拆垛定位程序，并执行下述任一实施例中的拆垛定位方法中的操作。
参照图1至图7，本发明实施例提供了一种拆垛定位方法，应用于拆垛设备，该拆垛设备包括码垛底座1、拆垛机器人2和信息验证装置5；码垛底座1用于层叠放置待取箱体11，码垛底座1上方设有视觉传感装置3；拆垛机器人2、视觉传感装置3、信息验证装置5之间通信连接；
在一种具体实施方式中，码垛底座1设有箱体放置区和限位结构，限位结构可保证待取箱体11以图1和图2所示的摆放垛型稳定地层叠放置于箱体放置区中，每层待取箱体11的数量均为8个；为便于对本发明实施例方案进行说明，后续均以图1和图2所示的摆放垛型为例进行描述；可以理解的是，该具体实施方式并不构成对本发明方案的限定。
如图2所示，每层待取箱体11分为左右两列，左列待取箱体11的左侧（即朝外的一侧）贴附有信息特征码111，右列待取箱体11的右侧（即朝外的一侧）贴附有信息特征码111，信息特征码111包括可通过扫码操作读取待取箱体11信息的二维码或条形码。视觉传感装置3可选用一种立体相机，视觉传感装置3可通过龙门架4设置于码垛底座1上方，视觉传感装置3的拍摄端朝向下方的待取箱体11；龙门架4上可设置导轨滑块机构，使得视觉传感装置3可横向滑动，当码垛底座1为多个时，可便于将视觉传感装置3移动至相应的码垛底座1上方进行图像获取。
拆垛机器人2的转动臂末端设有吸盘21，吸盘21可分为多个区域，以便于同时对多个待取箱体11进行吸附抓取。
该拆垛定位方法包括以下步骤：
S1，通过视觉传感装置3获取码垛底座1上位于最上层的待取箱体11的图像信息；其中，码垛底座1上可设置检测装置，检测装置用于检测码垛底座1上是否放置有待取箱体11，当检测到存在待取箱体11时，检测装置可通过工控机触发视觉传感装置3获取待取箱体11的图像信息（具体可以是对最上层的待取箱体11进行拍照）；
S2，根据图像信息确定目标箱体的数量；其中，目标箱体指代可在单次抓取操作中被拆垛机器人2同时抓取的待取箱体11；具体地，可通过相关的图像处理技术对图像信息进行降噪、提取目标特征等操作，并可借助边缘检测算法、点云算法等获取各个待取箱体11的轮廓，从而在视觉传感装置3拍摄的图像中识别出最上层的所有待取箱体11；然后可基于预设的方位、距离、角度等阈值条件，并结合可表征拆垛机器人2抓取能力的相关参数（例如转动臂末端的吸盘21尺寸、吸附力等），从待取箱体11中筛选出符合箱体堆垛标准、可被拆垛机器人2单次同时抓取的若干个目标箱体；
S3，若存在至少一个目标箱体，则从图像信息中提取目标箱体的位姿信息，根据目标箱体的数量和位置确定拆垛机器人2的抓取位姿，并将抓取位姿信息发送至拆垛机器人2；
S4，基于目标箱体的位姿信息，通过拆垛机器人2对目标箱体同时进行抓取操作，并将抓取的目标箱体转移至信息验证装置5处进行信息验证操作。
位姿信息包含对应的目标箱体中任意一个或多个点的XYZ三坐标及方向，用四元数表示，亦即用于表征空间中带方向的点。
具体地，以位姿信息代表目标箱体的中心点坐标及方向为例，当可被拆垛机器人2单次同时抓取的目标箱体仅有一个时，可直接以该目标箱体的位姿信息作为拆垛机器人2的抓取位姿，将拆垛机器人2的抓取中心点调整至与该目标箱体的中心点相互对应（相互对应并不限于直接正对），例如当拆垛机器人2转动臂末端设有两个吸盘21，且抓取中心点为两个吸盘21交界线的中点时，可移动抓取中心点，直至任一吸盘21完全覆盖于目标箱体的正上方，且该吸盘21的中心与目标箱体的中心点正对。而当可被拆垛机器人2单次同时抓取的目标箱体为两个时，可以两个目标箱体作为一整体，并令拆垛机器人2的抓取中心点与该整体的中心点相对（如图3所示），亦即需要在任一目标箱体的位姿信息基础上进行一定程度的偏移，以得到修正后的位姿信息（修正后的位姿信息即对应两个目标箱体作为一整体时的中心点），并将拆垛机器人2的抓取位姿调整至与该修正后的位姿信息相对应，以同时抓取两个目标箱体；以拆垛机器人2转动臂末端的吸盘21具有面积相等的A区和B区为例，拆垛机器人2的抓取中心点位于A区与B区之间，当拆垛机器人2的抓取中心点与两个目标箱体作为一整体时的中心点相对时，A区可位于任一目标箱体的正上方，B区可位于另一目标箱体的正上方，如此可同时实现对两个目标箱体的稳定吸合。当可被拆垛机器人2单次同时抓取的目标箱体为两个以上时，亦可根据上述构思进行拆垛机器人2的抓取位姿调整，此处不作赘述。
拆垛设备还可包括输送带6和回收料框7，信息验证装置5可以是设置于输送带6上的扫码器；拆垛机器人2抓取目标箱体至信息验证装置5处进行信息验证操作后，若信息验证正确，可将目标箱体放置于输送带6上，以输送至下料位；若信息验证错误，可将目标箱体放置于回收料框7中，以待后续统一回收。
可选地，由于信息验证装置5的安装角度固定，如图1和图2所示，位于左列的目标箱体的信息特征码111均朝向信息验证装置5，因此在抓取左列的目标箱体时，只需将拆垛机器人2的抓取位姿调整至与目标箱体的位姿信息相对应即可，亦即目标箱体只需保持当前摆放角度，其信息特征码111即可被信息验证装置5获取；而位于右列的目标箱体的信息特征码111均背向信息验证装置5，因此在抓取右列的目标箱体时，在将拆垛机器人2的抓取位姿调整至与目标箱体的位姿信息相对应后，还需进一步调整拆垛机器人2的抓取位姿，以使得目标箱体被抓取后可旋转至信息特征码111与信息验证装置5相对的角度，从而使得信息特征码111可被信息验证装置5顺利获取。基于上述构思，在一种具体实施方式中，基于图2至图4所示的坐标系，可预设一距离阈值X0，若机器人的抓取位姿对应的位置坐标x值小于距离阈值X0，可判定此时抓取的目标箱体位于垛堆的左列（如图4左侧所示）；若机器人的抓取位姿对应的位置坐标x值大于距离阈值X0，可判定此时抓取的目标箱体位于垛堆的右列，此时可控制拆垛机器人2的抓取位姿绕z轴旋转180°，以作为拆垛机器人2的最终抓取位姿（如图4右侧所示）。
由此可见，本实施例提供的拆垛定位方法，通过视觉传感装置3获取码垛底座1上位于最上层的待取箱体11的图像信息，以根据图像信息确定可在单次抓取操作中被拆垛机器人2同时抓取的目标箱体，并从图像信息中提取目标箱体的位姿信息，根据目标箱体的数量和位置确定拆垛机器人2的抓取位姿，从而可通过拆垛机器人2完成针对一个或一个以上目标箱体的同时抓取，最后将抓取的目标箱体转移至信息验证装置5处进行信息验证操作，验证通过的目标箱体方可进入后续下料流程，验证不通过的目标箱体则作回收处理，以确保供料准确性；该方法破除了传统人工示教方式对于周转箱规格尺寸的限制以及一次只能抓取单个周转箱的弊端，可适用于多种规格的周转箱及不同的堆垛形式，在拓宽了应用范围的同时加快了生产节拍，提高了拆垛效率。
可选地，参照图1至图7，步骤S2包括：
S21，对图像信息进行预处理操作；
S22，通过实例分割算法从图像信息中识别出待取箱体11；
S23，计算待取箱体11的位姿信息；
S24，判断待取箱体11的位姿信息是否满足第一预设阈值条件，并以满足第一预设阈值条件的待取箱体11作为目标箱体。
可选地，参照图1至图7，步骤S1包括：
S11，通过视觉传感装置3获取码垛底座1上的待取箱体11的初始平面图像和初始深度图像；其中，初始平面图像表征位于垛堆最上层的待取箱体11上表面的特征（即图2中x、y轴方向的特征），初始深度图像表征垛堆中各待取箱体11在高度方向的特征（即图2中z轴方向的特征）；
步骤S21包括：
S211，将初始平面图像和初始深度图像转换为原始三维点云数据空间；
S212，在原始三维点云数据空间中设置第一感兴趣区域（3D ROI，region ofinterest），并从第一感兴趣区域中提取出待取箱体11的第一点云数据；
S213，计算第一点云数据的法向量，得到带有法向量的第二点云数据；
S214，通过统计滤波算法对第二点云数据进行滤波操作，以去除离群点并得到第三点云数据；
S215，通过体素滤波算法对第三点云数据进行降采样处理，得到第四点云数据。
可选地，参照图1至图7，步骤S22包括：
S221，在初始深度图像中设置第二感兴趣区域（3D ROI，region of interest），并从第二感兴趣区域中提取出待取箱体11的若干个第一深度图像；
S222，按照预设层高提取第一深度图像中最高的区域作为第一掩膜（最高层深度图掩膜M1），并对第一掩膜进行图像膨胀处理，得到第二掩膜M2；其中，高度最高的第一深度图像对应垛堆中位于最上层的待取箱体11；
S223，将第二掩膜作用于初始平面图像，提取出掩膜区域对应的第一平面图像；
S224，通过Mask R-CNN深度学习算法对第一平面图像进行实例分割，得到与第一平面图像中的待取箱体11一一对应的箱体掩膜MM1、MM2、MM3……MMn（n≤8）。
可选地，参照图1至图7，步骤S23包括：
S231，根据第四点云数据和箱体掩膜MM1、MM2、MM3……MMn（n≤8），提取箱体掩膜中与待取箱体11一一对应的箱体点云数据PP1、PP2、PP3……PPn（n≤8）；
S232，采用欧式聚类分割算法，通过预设的聚类点云数量阈值将待取箱体11以外的点云数据过滤掉；具体地，在步骤S231中，在根据箱体掩膜MM1、MM2、MM3……MMn（n≤8）提取第四点云数据中对应的箱体点云数据PP1、PP2、PP3……PPn（n≤8）时，可能因前述步骤中获取的箱体掩膜面积较大而将待取箱体11以外区域的点云数据也一并提取到，如此会因点云数据的不准确而干扰下一步的计算，因此需通过欧式聚类分割算法将多余的点云数据过滤掉，以提高后续运算准确性。
S233，采用包围盒算法计算出每一箱体点云数据对应的位姿信息，即将每一箱体点云数据的包围盒中心点位姿信息作为对应的待取箱体11的位姿信息；
具体地，采用包围盒算法计算出的位姿信息包括待取箱体11在特定坐标系（如以视觉传感装置3为基准的视觉传感坐标系、以拆垛机器人2为基准的机器人坐标系）下的空间坐标xyz和旋转向量（以四元数表示）；如图2所示，获得的位姿信息x轴方向与垛堆中待取箱体11的长边平行，获得的位姿信息y轴方向与垛堆中待取箱体11的短边平行，获得的位姿信息z轴方向与垛堆中待取箱体11的顶面垂直。
S234，通过预设的变换矩阵将待取箱体11的位姿信息由视觉传感坐标系转换为机器人坐标系；其中，变换矩阵可借助手眼标定获得；将位姿信息由视觉传感坐标系（以视觉传感装置3为基准）转换为机器人坐标系（以拆垛机器人2为基准），可统一基准，提高后续通过拆垛机器人2对目标箱体进行抓取操作过程中的移动位置准确性。
可选地，为防止待取箱体11相对角度偏差较大而造成抓取失败或出现危险性抓取现象，可判断待取箱体11y轴正方向与机器人坐标系y轴正方向的相对角度偏差是否小于5°；若垛堆最上层的所有待取箱体11均满足该条件，则判定来料平整，可执行抓取操作；若垛堆最上层存在不满足该条件的待取箱体11，则判定为无合格抓取坐标并发出提示信号，控制拆垛机器人2不执行抓取操作。
可选地，参照图1至图7，步骤S3包括：
S31，若目标箱体的数量大于一个，则按第二预设阈值条件在目标箱体中选定一个基准箱体；
S32，判断以基准箱体为中心的预设范围内的若干个目标箱体是否满足第三预设阈值条件；
S33，若存在至少一个满足第三预设阈值条件的目标箱体，则以满足第三预设阈值条件的目标箱体作为共同抓取箱体；
S34，根据基准箱体的位姿信息、共同抓取箱体的位姿信息确定中心位姿，并以中心位姿作为拆垛机器人2的抓取点位姿。
可选地，参照图1至图7，步骤S3还包括：
S35，若目标箱体的数量为一个，则以目标箱体的位姿信息作为拆垛机器人2的抓取点位姿；
步骤S32之后，包括：
S36，若不存在满足第三预设阈值条件的目标箱体，则以基准箱体的位姿信息作为拆垛机器人2的抓取点位姿。
具体地，基于图5和图6所示的坐标系，对上述操作过程说明如下：
若识别出垛堆最上层仅有一个目标箱体，则控制拆垛机器人2按照单箱模式进行抓取操作。若识别出垛堆最上层的目标箱体数量大于一个，则基于各目标箱体的位姿信息，取位置坐标y值最小的两个目标箱体的位姿信息Pose1和Pose2进行比较；如图6所示，若该两个目标箱体的位置坐标x值之间的差值小于单个目标箱体的长边距离，则取Pose1作为基准箱体的位姿信息；如图5所示，若该两个目标箱体的位置坐标x值之间的差值大于单个目标箱体的长边距离，则取Pose1、Pose2中位置坐标x值较大的作为基准箱体的位姿信息。
根据上述第二预设阈值条件确定基准箱体后，根据第三预设阈值条件判断基准箱体与其周边的目标箱体是否满足可供拆垛机器人2进行两箱同时抓取的约束条件；具体地，以基准箱体的位姿信息为PoseA为例，以位姿信息PoseA对应的位置坐标（可以是基准箱体的中心点坐标）作为中心，计算该位置坐标与周边目标箱体位姿信息对应的位置坐标在XY平面上的直线距离，并预设一距离阈值，判断该距离阈值内是否存在另一位姿信息PoseB对应的位置坐标；若不存在，则控制拆垛机器人2按照单箱模式进行抓取操作；若存在，则根据预设的x轴方向距离差值条件、y轴方向距离差值条件、y轴方向角度偏差条件对PoseA、PoseB进行相对位置判断，若有任意一个条件不满足，则判定PoseA、PoseB对应的两个目标箱体的相对摆放位置不满足供拆垛机器人2同时抓取的条件，则需控制拆垛机器人2按照单箱模式进行抓取操作；若上述所有条件均满足，则确定按照两箱模式同时对PoseA、PoseB对应的两个目标箱体（即基准箱体和共同抓取箱体）进行抓取操作。
当确定按照两箱模式进行抓取后，如图3所示，可以PoseA对应的基准箱体、PoseB对应的共同抓取箱体的交界线中点位置坐标作为中心位姿，并以该中心位姿作为拆垛机器人2的抓取点位姿；其中，拆垛机器人2的抓取点位姿指的是在抓取过程中，被抓取的目标箱体上与拆垛机器人2的抓取中心点相对的坐标点的位姿信息；以拆垛机器人2转动臂末端的吸盘21具有面积相等的A区和B区为例，拆垛机器人2的抓取中心点位于A区与B区之间，当拆垛机器人2的抓取中心点与中心位姿（位于基准箱体与共同抓取箱体的交界线中点）相对时，A区可位于基准箱体的正上方，B区可位于共同抓取箱体的正上方，如此可同时实现对基准箱体、共同抓取箱体的稳定吸合，提高抓取稳定性。
可以理解的是，当共同抓取箱体的数量多于两个时，亦可基于基准箱体与各共同抓取箱体的位姿信息、沿用上述构思选定中心位姿并完成抓取操作，此处不作赘述。
对应地，参照图8，本发明实施例还提供一种拆垛定位装置，该拆垛定位装置包括：
传感模块10，用于通过视觉传感装置3获取码垛底座1上位于最上层的待取箱体11的图像信息；
识别模块20，用于根据图像信息确定目标箱体的数量；
调节模块30，用于若存在至少一个目标箱体，则从图像信息中提取目标箱体的位姿信息，根据目标箱体的数量和位置确定拆垛机器人2的抓取位姿，并将抓取位姿信息发送至拆垛机器人2；
抓取模块40，用于基于目标箱体的位姿信息，通过拆垛机器人2对目标箱体同时进行抓取操作。
对应地，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有拆垛定位程序，该拆垛定位程序被处理器执行时实现上述拆垛定位方法的步骤。
在本实施例中，上述计算机可读存储介质可以包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(RandomAccessMemory，随机存储器)、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片等各种可以存储程序代码的介质。
上述拆垛定位装置、拆垛定位系统及计算机可读存储介质均可设置为与拆垛定位方法相对应，该拆垛定位方法的具体步骤参照上述实施例。由于上述拆垛定位装置、拆垛定位系统及计算机可读存储介质采用了上述所有实施例对应的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种拆垛定位方法，应用于拆垛设备，其特征在于，所述拆垛设备包括码垛底座、拆垛机器人和信息验证装置；所述码垛底座用于层叠放置待取箱体，所述码垛底座上方设有视觉传感装置；所述拆垛机器人、所述视觉传感装置、所述信息验证装置之间通信连接；
所述拆垛定位方法包括以下步骤：
通过所述视觉传感装置获取所述码垛底座上位于最上层的待取箱体的图像信息；
根据所述图像信息确定目标箱体的数量；其中，所述目标箱体指代可在单次抓取操作中被所述拆垛机器人同时抓取的待取箱体；
若存在至少一个所述目标箱体，则从所述图像信息中提取所述目标箱体的位姿信息，根据所述目标箱体的数量和位置确定所述拆垛机器人的抓取位姿，并将抓取位姿信息发送至所述拆垛机器人；
基于所述目标箱体的位姿信息，通过所述拆垛机器人对所述目标箱体同时进行抓取操作，并将抓取的所述目标箱体转移至所述信息验证装置处进行信息验证操作。
2.根据权利要求1所述的拆垛定位方法，其特征在于，所述根据所述图像信息确定目标箱体的数量的步骤，包括：
对所述图像信息进行预处理操作；
通过实例分割算法从所述图像信息中识别出待取箱体；
计算所述待取箱体的位姿信息；
判断所述待取箱体的位姿信息是否满足第一预设阈值条件，并以满足所述第一预设阈值条件的所述待取箱体作为所述目标箱体。
3.根据权利要求2所述的拆垛定位方法，其特征在于，所述通过所述视觉传感装置获取所述码垛底座上位于最上层的待取箱体的图像信息的步骤，包括：
通过所述视觉传感装置获取所述码垛底座上的待取箱体的初始平面图像和初始深度图像；
所述对所述图像信息进行预处理操作的步骤，包括：
将所述初始平面图像和所述初始深度图像转换为原始三维点云数据空间；
在所述原始三维点云数据空间中设置第一感兴趣区域，并从所述第一感兴趣区域中提取出所述待取箱体的第一点云数据；
计算所述第一点云数据的法向量，得到带有法向量的第二点云数据；
通过统计滤波算法对所述第二点云数据进行滤波操作，以去除离群点并得到第三点云数据；
通过体素滤波算法对所述第三点云数据进行降采样处理，得到第四点云数据。
4.根据权利要求3所述的拆垛定位方法，其特征在于，所述通过实例分割算法从所述图像信息中识别出待取箱体的步骤，包括：
在所述初始深度图像中设置第二感兴趣区域，并从所述第二感兴趣区域中提取出所述待取箱体的若干个第一深度图像；
按照预设层高提取所述第一深度图像中最高的区域作为第一掩膜，并对所述第一掩膜进行图像膨胀处理，得到第二掩膜；
将所述第二掩膜作用于所述初始平面图像，提取出掩膜区域对应的第一平面图像；
通过Mask R-CNN深度学习算法对所述第一平面图像进行实例分割，得到与所述第一平面图像中的所述待取箱体一一对应的箱体掩膜。
5.根据权利要求4所述的拆垛定位方法，其特征在于，所述计算所述待取箱体的位姿信息的步骤，包括：
根据所述第四点云数据和所述箱体掩膜，提取所述箱体掩膜中与所述待取箱体一一对应的箱体点云数据；
采用欧式聚类分割算法，通过预设的聚类点云数量阈值将所述待取箱体以外的点云数据过滤掉；
采用包围盒算法计算出每一所述箱体点云数据对应的位姿信息，即将每一所述箱体点云数据的包围盒中心点位姿信息作为对应的所述待取箱体的位姿信息；
通过预设的变换矩阵将所述待取箱体的位姿信息由视觉传感坐标系转换为机器人坐标系。
6.根据权利要求1所述的拆垛定位方法，其特征在于，所述若存在至少一个所述目标箱体，则从所述图像信息中提取所述目标箱体的位姿信息，根据所述目标箱体的数量和位置确定所述拆垛机器人的抓取位姿，并将抓取位姿信息发送至所述拆垛机器人的步骤，包括：
若所述目标箱体的数量大于一个，则按第二预设阈值条件在所述目标箱体中选定一个基准箱体；
判断以所述基准箱体为中心的预设范围内的若干个所述目标箱体是否满足第三预设阈值条件；
若存在至少一个满足所述第三预设阈值条件的所述目标箱体，则以满足所述第三预设阈值条件的所述目标箱体作为共同抓取箱体；
根据所述基准箱体的位姿信息、所述共同抓取箱体的位姿信息确定中心位姿，并以所述中心位姿作为所述拆垛机器人的抓取点位姿。
7.根据权利要求6所述的拆垛定位方法，其特征在于，所述若存在至少一个所述目标箱体，则从所述图像信息中提取所述目标箱体的位姿信息，根据所述目标箱体的数量和位置确定所述拆垛机器人的抓取位姿，并将抓取位姿信息发送至所述拆垛机器人的步骤，还包括：
若所述目标箱体的数量为一个，则以所述目标箱体的位姿信息作为所述拆垛机器人的抓取点位姿；
所述判断以所述基准箱体为中心的预设范围内的若干个所述目标箱体是否满足第三预设阈值条件的步骤之后，包括：
若不存在满足所述第三预设阈值条件的所述目标箱体，则以所述基准箱体的位姿信息作为所述拆垛机器人的抓取点位姿。
8.一种拆垛定位装置，其特征在于，所述拆垛定位装置包括：
传感模块，用于通过视觉传感装置获取码垛底座上位于最上层的待取箱体的图像信息；
识别模块，用于根据所述图像信息确定目标箱体的数量；
调节模块，用于若存在至少一个所述目标箱体，则从所述图像信息中提取所述目标箱体的位姿信息，根据所述目标箱体的数量和位置确定拆垛机器人的抓取位姿，并将抓取位姿信息发送至所述拆垛机器人；
抓取模块，用于基于所述目标箱体的位姿信息，通过所述拆垛机器人对所述目标箱体同时进行抓取操作。
9.一种拆垛定位系统，其特征在于，所述拆垛定位系统包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的拆垛定位方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有拆垛定位程序，所述拆垛定位程序被处理器执行时实现如权利要求1至7中任一项所述的拆垛定位方法的步骤。
CN202310360760.2A 2023-04-06 2023-04-06 拆垛定位方法、装置、系统及存储介质 Pending CN116468791A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310360760.2A CN116468791A (zh) 2023-04-06 2023-04-06 拆垛定位方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310360760.2A CN116468791A (zh) 2023-04-06 2023-04-06 拆垛定位方法、装置、系统及存储介质

Publications (1)

Publication Number Publication Date
CN116468791A true CN116468791A (zh) 2023-07-21

Family

ID=87172821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310360760.2A Pending CN116468791A (zh) 2023-04-06 2023-04-06 拆垛定位方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN116468791A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116772521A (zh) * 2023-08-02 2023-09-19 中山市宏唯自动化科技有限公司 一种基于堆叠式装盘夹具的锂电池烘烤干燥方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116772521A (zh) * 2023-08-02 2023-09-19 中山市宏唯自动化科技有限公司 一种基于堆叠式装盘夹具的锂电池烘烤干燥方法
CN116772521B (zh) * 2023-08-02 2023-12-08 中山市宏唯自动化科技有限公司 一种基于堆叠式装盘夹具的锂电池烘烤干燥方法

Similar Documents

Publication Publication Date Title
US11772267B2 (en) Robotic system control method and controller
US11638993B2 (en) Robotic system with enhanced scanning mechanism
US9707682B1 (en) Methods and systems for recognizing machine-readable information on three-dimensional objects
US9205562B1 (en) Integration of depth points into a height map
JP5295828B2 (ja) 対象物の把持システム及び同システムにおける干渉検出方法
US10434652B2 (en) Workpiece picking system
AU2021288667B2 (en) Control method and apparatus for warehouse robot, and robot and warehouse system
JP6697204B1 (ja) ロボットシステムの制御方法、非一過性のコンピュータ読取可能な記録媒体及びロボットシステムの制御装置
JP2021015616A (ja) 画像データに基づく物体検出システム及び方法
CN116468791A (zh) 拆垛定位方法、装置、系统及存储介质
US20140161344A1 (en) Image recognition method
CN115116026B (zh) 一种物流搬运机器人自动循迹方法及系统
US11875528B2 (en) Object bin picking with rotation compensation
CN111470244B (zh) 机器人系统的控制方法以及控制装置
US20240104768A1 (en) Article detection device, calibration method, and article detection method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination