CN114986521B - 物体抓取方法、装置、电子设备及可读存储介质 - Google Patents

物体抓取方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN114986521B
CN114986521B CN202210916416.2A CN202210916416A CN114986521B CN 114986521 B CN114986521 B CN 114986521B CN 202210916416 A CN202210916416 A CN 202210916416A CN 114986521 B CN114986521 B CN 114986521B
Authority
CN
China
Prior art keywords
point cloud
point
unit
cloud data
normal vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210916416.2A
Other languages
English (en)
Other versions
CN114986521A (zh
Inventor
胡亘谦
赵佳南
张兵兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xinrun Fulian Digital Technology Co Ltd
Original Assignee
Shenzhen Xinrun Fulian Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xinrun Fulian Digital Technology Co Ltd filed Critical Shenzhen Xinrun Fulian Digital Technology Co Ltd
Priority to CN202210916416.2A priority Critical patent/CN114986521B/zh
Publication of CN114986521A publication Critical patent/CN114986521A/zh
Application granted granted Critical
Publication of CN114986521B publication Critical patent/CN114986521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种物体抓取方法、装置、电子设备及可读存储介质，所述方法包括步骤：获取目标物体的点云数据，并获取所述点云数据中的精特征点云数据，所述精特征点云数据为所述目标物体中最平整平面对应的点云数据；根据所述精特征点云数据得到所述目标物体的平整姿态；根据所述平整姿态执行抓取操作。通过获取目标物体的最平整平面对应的精特征点云数据，并基于精特征点云数据得到平整姿态，使得即便在目标物体无标准模型图纸的情况下，也能够基于平整姿态对目标物体进行抓取操作。

Description

物体抓取方法、装置、电子设备及可读存储介质
技术领域
本申请涉及工业生产领域，尤其涉及一种物体抓取方法、装置、电子设备及可读存储介质。
背景技术
随着时代发展科技进步，越来越多的工厂在生产中用上了机器视觉，大大提高了企业的生产效率并减少了人工成本。机器视觉搭配机械臂的应用案例中，最常见的就是无序抓取，目前无序抓取主要应用于有标准模型图纸的标准形状的工件抓取中，但如果所要抓取的物体是无标准模型图纸或非刚体例如膨化食品，则由于该物体的姿态缺少标准定义，导致难以规划抓取方案。
发明内容
本申请提供了一种物体抓取方法、装置、电子设备及可读存储介质，旨在解决现有技术中对于无标准模型图纸的物体难以进行抓取的技术问题。
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种物体抓取方法，所述方法包括步骤：
获取目标物体的点云数据，并获取所述点云数据中的精特征点云数据，所述精特征点云数据为所述目标物体中最平整平面对应的点云数据；
根据所述精特征点云数据得到所述目标物体的平整姿态；
根据所述平整姿态执行抓取操作。
可选地，所述获取所述点云数据中的精特征点云数据的步骤包括：
获取所述点云数据中各单位点基于第一半径邻域的面点云，并在各所述面点云中确定粗特征面点云，所述粗特征面点云为最平整的面点云；
获取所述粗特征面点云的粗特征单位点基于第二半径邻域的子面点云，并在各所述子面点云中确定所述精特征点云数据，其中，所述第一半径小于所述第二半径。
可选地，所述获取所述点云数据中各单位点基于第一半径邻域的面点云，并在各所述面点云中确定粗特征面点云，所述粗特征面点云为最平整的面点云的步骤包括：
针对每一所述单位点，在所述单位点对应的第一半径邻域内进行区域生长得到所述面点云；
获取各所述面点云的面积，并将面积最大的所述面点云作为所述粗特征面点云。
可选地，所述在所述单位点对应的第一半径邻域内进行区域生长得到所述面点云的步骤包括：
获取各所述单位点基于对应所述第一半径邻域的第一法向量；
将未生长过的源单位点作为当前单位点，并获取当前单位点的第一法向量与第一半径邻域内各所述源单位点的第一法向量之间的夹角；
将当前单位点转换为已处理单位点，将夹角小于预设夹角的源单位点作为当前单位点，并获取当前单位点的第一法向量与第一半径邻域内各所述源单位点的第一法向量之间的夹角，直到当前单位点的第一法向量与第一半径邻域内各所述源单位点的第一法向量之间的夹角均大于所述预设夹角时，将已处理单位点的集合作为面点云。
可选地，所述获取所述粗特征面点云中的粗特征单位点基于第二半径邻域的子面点云，并在各所述子面点云中确定所述精特征点云数据的步骤包括：
获取所述粗特征单位点基于对应第三半径邻域的第三法向量，其中，所述第三半径大于所述第一半径，且小于所述第二半径；
获取各所述粗特征单位点对应的第一法向量与第三法向量的夹角，并将夹角较小的第一预设数量个所述粗特征单位点作为第一中间单位点；
获取所述第一中间单位点基于第二半径邻域的子面点云，并在各所述子面点云中确定所述精特征点云数据。
可选地，所述获取所述第一中间单位点基于第二半径邻域的子面点云，并在各所述子面点云中确定所述精特征点云数据的步骤包括：
获取各所述第一中间单位点对应的第一法向量、第二法向量以及第三法向量，并根据所述第一法向量、所述第二法向量以及所述第三法向量得到第一中间单位点对应的均值夹角；
将均值夹角较小的第二预设数量个所述第一中间单位点作为第二中间单位点；
获取所述第二中间单位点基于第二半径邻域的子面点云，并将包含所述第二中间单位点最多的所述子面点云作为所述精特征点云数据。
可选地，所述根据所述精特征点云数据得到所述目标物体的平整姿态的步骤包括：
针对所述精特征点云数据中每一精特征单位点，计算所述精特征单位点与其它精特征单位点分别在不同方向上的差值均值，并计算不同方向上的均值和；
将均值和最小的所述精特征单位点作为所述平整姿态的代表点，并将所述代表点对应的第一法向量、第二法向量以及第三法向量的联合作为所述平整姿态的代表方向；
根据所述代表点以及所述代表方向确定所述平整姿态。
为实现上述目的，本发明还提供一种物体抓取装置，所述物体抓取装置包括：
第一获取模块，用于获取目标物体的点云数据，并获取所述点云数据中的精特征点云数据，所述精特征点云数据为所述目标物体中最平整平面对应的点云数据；
第一执行模块，用于根据所述精特征点云数据得到所述目标物体的平整姿态；
第二执行模块，用于根据所述平整姿态执行抓取操作。
为实现上述目的，本发明还提供一种电子设备，所述电子设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的物体抓取方法的步骤。
为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的物体抓取方法的步骤。
本发明提出的一种物体抓取方法、装置、电子设备及可读存储介质，获取目标物体的点云数据，并获取所述点云数据中的精特征点云数据，所述精特征点云数据为所述目标物体中最平整平面对应的点云数据；根据所述精特征点云数据得到所述目标物体的平整姿态；根据所述平整姿态执行抓取操作。通过获取目标物体的最平整平面对应的精特征点云数据，并基于精特征点云数据得到平整姿态，使得即便在目标物体无标准模型图纸的情况下，也能够基于平整姿态对目标物体进行抓取操作。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明物体抓取方法第一实施例的流程示意图；
图2为本发明物体抓取方法步骤S20的细化流程图；
图3为本发明电子设备的模块结构示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本发明提供一种物体抓取方法，参照图1，图1为本发明物体抓取方法第一实施例的流程示意图，所述方法包括步骤：
步骤S10，获取目标物体的点云数据，并获取所述点云数据中的精特征点云数据，所述精特征点云数据为所述目标物体中最平整平面对应的点云数据；
点云数据可以根据实际应用场景以及需要选择合适的三维点云采集设备进行采集，如结构光、线激光或双目视觉等。点云数据的获取操作可以由工作人员手动触发，或在抓取范围内设置相应检测器件，如传感器或摄像头等，当检测到抓取范围内存在目标物体时，触发点云数据的获取操作。精特征点云数据中包含的单位点为目标物体中最平整平面在点云数据中对应的单位点。需要说明的是，在获取目标物体的点云数据时，可能存在抓取范围内多个目标物体的情况，即点云数据中包括多个目标物体的点云，此时可以对点云数据进行分割以得到单个目标物体对应的点云数据，具体的分割方式可以根据实际应用场景以及需要进行选择，在此不进行限定。
所述步骤S10包括步骤：
步骤S11，获取所述点云数据中各单位点基于第一半径邻域的面点云，并在各所述面点云中确定粗特征面点云，所述粗特征面点云为最平整的面点云；
具体地，第一半径的具体数值可根据实际应用场景以及需要进行设置，本实施例中以r表示第一半径，一般地，使得每个单位点对应的第一半径领域中均至少包含10个单位点。可以理解的是，点云数据中包括目标物体所有表面对应的单位点，面点云是指基于目标物体表面的面对单位点进行划分得到的目标物体表面的面对应的单位点集合。
进一步地，所述步骤S11包括：
步骤S111，针对每一所述单位点，在所述单位点对应的第一半径邻域内进行区域生长得到所述面点云；
区域生长是指将成组的点或区域发展成更大区域的过程。从种子点的集合开始，从这些点的区域增长是通过将与每个种子点有相似属性的相邻单位点合并到此区域。通过区域生长得到的区域则为面点云。
进一步地，所述步骤S111包括：
步骤S1111，获取各所述单位点基于对应所述第一半径邻域的第一法向量；
步骤S1112，将未生长过的源单位点作为当前单位点，并获取当前单位点的第一法向量与第一半径邻域内各所述源单位点的第一法向量之间的夹角；
步骤S1113，将当前单位点转换为已处理单位点，将夹角小于预设夹角的源单位点作为当前单位点，并获取当前单位点的第一法向量与第一半径邻域内各所述源单位点的第一法向量之间的夹角，直到当前单位点的第一法向量与第一半径邻域内各所述源单位点的第一法向量之间的夹角均大于所述预设夹角时，将已处理单位点的集合作为面点云。
具体地，第一法向量的计算方式可以基于实际应用场景以及需要进行设置，如PCA算法等，在此不进行限定，后文中第二法向量与第三法向量同理。本实施例中为进行区域生长的单位点为源单位点，正在进行区域生长的单位点为当前单位点，已进行区域生长的点为已处理单位点。在进行区域生长时，分别获取当前单位点与当前单位点的第一半径领域范围内的各源单位点的第一法向量之间的夹角，夹角用于反映当前单位点与对应源单位点所在第一半径平面之间的相对平整程度，预设夹角的具体数值可基于实际应用场景以及需要进行选择，一般介于10°-30°之间，夹角越小，则说明越平整，此时可以将对应的源单位点纳入到当前进行区域生长的面点云中，并基于以对应的源单位点作为新的当前单位点进行区域生长，该夹角越大，则说明越不平整，此时，不将对应的源单位点入到当前进行区域生长的面点云中，并仍然保持该源单位点为源单位点，当不存在可以纳入到当前进行区域生长的面点云中的源单位点时，当前的面点云生长结束，重新选取一个源单位点作为新的当前单位点进行新的面点云的区域生长，直到所有单位点均为已处理单位点。
在实际应用中，可以建立数组T，并将T中的所有元素初始化为0，T的大小与点云数据中的单位点的数量相同，同时创建变量id=1，以记录面点云的序号，从S0开始对点云数据S中的点Si遍历并进行区域生长，具体地：
将点Si作为种子点，如果T[i]为0，则说明Si未被遍历或区域生长过，将T[i]赋值为当前的id值，查找Si的第一半径邻域内所有单位点Sj至Sk；
分别计算Si分别与Sj至Sk第一法向量之间的夹角Δα，如Si与Sj的夹角Δα小于预设夹角θ，则将T[j]赋值为当前的id值，并将Sj作为新的种子点进行区域生长，直到无法得到Δα小于θ单元点时，当前面点云的区域生长结束，将id自加1，重新选取T[i]为0的单位点进行新的面点云的区域生长；其中，单位点对应的T[i]值即为该单位点所在面点云的序号。
步骤S112，获取各所述面点云的面积，并将面积最大的所述面点云作为所述粗特征面点云。
由前述面点云的生成方式可知，本实施例中的面点云是基于单位点所在平面之间的相对平整程度生成的，因此，面点云的面积越大，则说明对应的目标物体的表面越平整，因此，将面积最大的所述面点云作为所述粗特征面点云。需要说明的是，计算面点云面积的方法可以根据实际需求进行设置，本实施例中，先将各面点云通过Delaunay三角剖分进行三角网格化处理，以使得面点云转换为由三角形组成得平面，进而，计算面点云中所有三角形面积之和即可得到面点云的面积。
步骤S12，获取所述粗特征面点云的粗特征单位点基于第二半径邻域的子面点云，并在各所述子面点云中确定所述精特征点云数据，其中，所述第一半径小于所述第二半径。
粗特征单位点为粗特征面点云中的单位点。第二半径的具体数值可以根据实际应用场景以及需要进行设置，本实施例中第二半径为第一半径的三倍，本实施例中以3r表示第二半径。
进一步地，所述步骤S12包括：
步骤S121，获取所述粗特征单位点基于对应第三半径邻域的第三法向量，其中，所述第三半径大于所述第一半径，且小于所述第二半径；
步骤S122，获取各所述粗特征单位点对应的第一法向量与第三法向量的夹角，并将夹角较小的第一预设数量个所述粗特征单位点作为第一中间单位点；
第三半径的具体数值可以根据实际应用场景以及需要进行设置，本实施例中第三半径为第一半径的两倍，本实施例中以2r表示第三半径。
第一法向量与第三法向量的夹角即为粗特征单位点的曲率角度，曲率角度越大，说明该粗特征单位点所在平面越不平整，反之，说明该粗特征单位点所在平面越平整；第一预设数量可以根据实际应用场景以及需要进行设置，第一预设数量可以为固定的数值还可以为粗特征单位点的比例，本实施例中的第一预设数量为40%，即将各粗特征单位点依据曲率角度排列，将曲率角度较小的前40%的粗特征单位点作为第一中间单位点。
步骤S123，获取所述第一中间单位点基于第二半径邻域的子面点云，并在各所述子面点云中确定所述精特征点云数据。
进一步地，所述步骤S123包括：
步骤S1231，获取各所述第一中间单位点对应的第一法向量、第二法向量以及第三法向量，并根据所述第一法向量、所述第二法向量以及所述第三法向量得到第一中间单位点对应的均值夹角；
步骤S1232，将均值夹角较小的第二预设数量个所述第一中间单位点作为第二中间单位点；
步骤S1233，获取所述第二中间单位点基于第二半径邻域的子面点云，并将包含所述第二中间单位点最多的所述子面点云作为所述精特征点云数据。
具体地，获取第一法向量与第二法向量之间的夹角，记作γ1，获取第一法向量与第三法向量之间的夹角，记作γ2，均值夹角γ为：
Figure 142936DEST_PATH_IMAGE001
第二预设数量可以根据实际应用场景以及需要进行设置，第二预设数量可以为固定的数值还可以为粗特征单位点的比例，本实施例中的第二预设数量为40%，即将各第一中间单位点依据均值夹角排列，将均值夹角较小的前40%的第一中间单位点作为第二中间单位点。
依次对第二中间单元点进行区域生长得到一个或多个子面点云，其中，包含第二中间单元点最多的子面点云被认为对应最平整的平面，因此，将其作为精致点云数据。
步骤S20，根据所述精特征点云数据得到所述目标物体的平整姿态；
平整姿态即目标物体的代表姿态，通过平整姿态
进一步地，参见图2，所述步骤S20包括：
步骤S21，针对所述精特征点云数据中每一精特征单位点，计算所述精特征单位点与其它精特征单位点分别在不同方向上的差值均值，并计算不同方向上的均值和；
步骤S22，将均值和最小的所述精特征单位点作为所述平整姿态的代表点，并将所述代表点对应的第一法向量、第二法向量以及第三法向量的联合作为所述平整姿态的代表方向；
步骤S23，根据所述代表点以及所述代表方向确定所述平整姿态。
本实施例中所指的方向为空间直角坐标系中的X轴、Y轴、Z轴的方向；具体地，以X轴方向为例，精特征单位点Si的差值均值ΔXi为：
Figure 922674DEST_PATH_IMAGE002
其中，Q为精特征点云数据，xi为第i个精特征单位点在X轴方向的等效长度；Y轴方向的差值均值ΔYi与Z轴方向的差值均值ΔZi以类比计算得到。
精特征单位点Si的均值和为ΔXi+ΔYi+ΔZi。在得到所有精特征单位点的均值和后，将均值和最小的精特征单位点作为精特征点云数据的代表点Qt，并将所述代表点对应的第一法向量、第二法向量以及第三法向量联合后得到的向量方向作为精特征点云数据的代表方向nt；将Qt与nt合并即可得到目标物体的6D代表姿态即平整姿态，具体形式为(x，y，z，Rx，Ry，Rz)。
步骤S30，根据所述平整姿态执行抓取操作。
在得到目标物体的平整姿态之后，即可规划抓取动作，如根据平整姿态确定机械臂抓取位置、目标物体上的抓取点位等，具体如何基于平整姿态确定抓取操作的方法可以根据实际需要进行选择，在此不进行赘述。
本实施例通过获取目标物体的最平整平面对应的精特征点云数据，并基于精特征点云数据得到平整姿态，使得即便在目标物体无标准模型图纸的情况下，也能够基于平整姿态对目标物体进行抓取操作。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本申请各个实施例所述的方法。
本申请还提供一种用于实施上述物体抓取方法的物体抓取装置，物体抓取装置包括：
第一获取模块，用于获取目标物体的点云数据，并获取所述点云数据中的精特征点云数据，所述精特征点云数据为所述目标物体中最平整平面对应的点云数据；
第一执行模块，用于根据所述精特征点云数据得到所述目标物体的平整姿态；
第二执行模块，用于根据所述平整姿态执行抓取操作。
本物体抓取装置通过获取目标物体的最平整平面对应的精特征点云数据，并基于精特征点云数据得到平整姿态，使得即便在目标物体无标准模型图纸的情况下，也能够基于平整姿态对目标物体进行抓取操作。
需要说明的是，该实施例中的第一获取模块可以用于执行本申请实施例中的步骤S10，该实施例中的第一执行模块可以用于执行本申请实施例中的步骤S20，该实施例中的第二执行模块可以用于执行本申请实施例中的步骤S30。
进一步地，所述第一获取模块包括：
第一获取子模块，用于获取所述点云数据中各单位点基于第一半径邻域的面点云，并在各所述面点云中确定粗特征面点云，所述粗特征面点云为最平整的面点云；
第二获取子模块，用于获取所述粗特征面点云的粗特征单位点基于第二半径邻域的子面点云，并在各所述子面点云中确定所述精特征点云数据，其中，所述第一半径小于所述第二半径。
进一步地，所述第一获取子模块包括：
第一执行单元，用于针对每一所述单位点，在所述单位点对应的第一半径邻域内进行区域生长得到所述面点云；
第一获取单元，用于获取各所述面点云的面积，并将面积最大的所述面点云作为所述粗特征面点云。
进一步地，所述第一执行单元包括：
第一获取子单元，用于获取各所述单位点基于对应所述第一半径邻域的第一法向量；
第一执行子单元，用于将未生长过的源单位点作为当前单位点，并获取当前单位点的第一法向量与第一半径邻域内各所述源单位点的第一法向量之间的夹角；
第一转换子单元，用于将当前单位点转换为已处理单位点，将夹角小于预设夹角的源单位点作为当前单位点，并获取当前单位点的第一法向量与第一半径邻域内各所述源单位点的第一法向量之间的夹角，直到当前单位点的第一法向量与第一半径邻域内各所述源单位点的第一法向量之间的夹角均大于所述预设夹角时，将已处理单位点的集合作为面点云。
进一步地，所述第二获取子模块包括：
第二获取单元，用于获取所述粗特征单位点基于对应第三半径邻域的第三法向量，其中，所述第三半径大于所述第一半径，且小于所述第二半径；
第三获取单元，用于获取各所述粗特征单位点对应的第一法向量与第三法向量的夹角，并将夹角较小的第一预设数量个所述粗特征单位点作为第一中间单位点；
第四获取单元，用于获取所述第一中间单位点基于第二半径邻域的子面点云，并在各所述子面点云中确定所述精特征点云数据。
进一步地，所述第四获取单元包括：
第二获取子单元，用于获取各所述第一中间单位点对应的第一法向量、第二法向量以及第三法向量，并根据所述第一法向量、所述第二法向量以及所述第三法向量得到第一中间单位点对应的均值夹角；
第二执行子单元，用于将均值夹角较小的第二预设数量个所述第一中间单位点作为第二中间单位点；
第三获取子单元，用于获取所述第二中间单位点基于第二半径邻域的子面点云，并将包含所述第二中间单位点最多的所述子面点云作为所述精特征点云数据。
进一步地，所述第一执行模块包括：
第一计算子模块，用于针对所述精特征点云数据中每一精特征单位点，计算所述精特征单位点与其它精特征单位点分别在不同方向上的差值均值，并计算不同方向上的均值和；
第一执行子模块，用于将均值和最小的所述精特征单位点作为所述平整姿态的代表点，并将所述代表点对应的第一法向量、第二法向量以及第三法向量的联合作为所述平整姿态的代表方向；
第一确定子模块，用于根据所述代表点以及所述代表方向确定所述平整姿态。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
参照图3，在硬件结构上所述电子设备可以包括通信模块10、存储器20以及处理器30等部件。在所述电子设备中，所述处理器30分别与所述存储器20以及所述通信模块10连接，所述存储器20上存储有计算机程序，所述计算机程序同时被处理器30执行，所述计算机程序执行时实现上述方法实施例的步骤。
通信模块10，可通过网络与外部通讯设备连接。通信模块10可以接收外部通讯设备发出的请求，还可以发送请求、指令及信息至所述外部通讯设备，所述外部通讯设备可以是其它电子设备、服务器或者物联网设备，例如电视等等。
存储器20，可用于存储软件程序以及各种数据。存储器20可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如获取目标物体的点云数据）等；存储数据区可包括数据库，存储数据区可存储根据系统的使用所创建的数据或信息等。此外，存储器20可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器30，是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器20内的软件程序和/或模块，以及调用存储在存储器20内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器30可包括一个或多个处理单元；可选地，处理器30可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器30中。
尽管图3未示出，但上述电子设备还可以包括电路控制模块，所述电路控制模块用于与电源连接，保证其他部件的正常工作。本领域技术人员可以理解，图3中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提出一种计算机可读存储介质，其上存储有计算机程序。所述计算机可读存储介质可以是图3的电子设备中的存储器20，也可以是如ROM（Read-Only Memory，只读存储器）/RAM（Random Access Memory，随机存取存储器）、磁碟、光盘中的至少一种，所述计算机可读存储介质包括若干指令用以使得一台具有处理器的终端设备(可以是电视，汽车，手机，计算机，服务器，终端，或者网络设备等)执行本发明各个实施例所述的方法。
在本发明中，术语“第一”“第二”“第三”“第四”“第五”仅用于描述的目的，而不能理解为指示或暗示相对重要性，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，本发明保护的范围并不局限于此，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改和替换，这些变化、修改和替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种物体抓取方法，其特征在于，所述方法包括：
获取目标物体的点云数据，并获取所述点云数据中的精特征点云数据，所述精特征点云数据为所述目标物体中最平整平面对应的点云数据；
根据所述精特征点云数据得到所述目标物体的平整姿态；
根据所述平整姿态执行抓取操作；
所述根据所述精特征点云数据得到所述目标物体的平整姿态的步骤包括：
针对所述精特征点云数据中每一精特征单位点，计算所述精特征单位点与其它精特征单位点分别在不同方向上的差值均值，并计算不同方向上的均值和；
将均值和最小的所述精特征单位点作为所述平整姿态的代表点，并将所述代表点对应的第一法向量、第二法向量以及第三法向量的联合作为所述平整姿态的代表方向；
根据所述代表点以及所述代表方向确定所述平整姿态。
2.如权利要求1所述的物体抓取方法，其特征在于，所述获取所述点云数据中的精特征点云数据的步骤包括：
获取所述点云数据中各单位点基于第一半径邻域的面点云，并在各所述面点云中确定粗特征面点云，所述粗特征面点云为最平整的面点云；
获取所述粗特征面点云的粗特征单位点基于第二半径邻域的子面点云，并在各所述子面点云中确定所述精特征点云数据，其中，所述第一半径小于所述第二半径。
3.如权利要求2所述的物体抓取方法，其特征在于，所述获取所述点云数据中各单位点基于第一半径邻域的面点云，并在各所述面点云中确定粗特征面点云，所述粗特征面点云为最平整的面点云的步骤包括：
针对每一所述单位点，在所述单位点对应的第一半径邻域内进行区域生长得到所述面点云；
获取各所述面点云的面积，并将面积最大的所述面点云作为所述粗特征面点云。
4.如权利要求3所述的物体抓取方法，其特征在于，所述在所述单位点对应的第一半径邻域内进行区域生长得到所述面点云的步骤包括：
获取各所述单位点基于对应所述第一半径邻域的第一法向量；
将未生长过的源单位点作为当前单位点，并获取当前单位点的第一法向量与第一半径邻域内各所述源单位点的第一法向量之间的夹角；
将当前单位点转换为已处理单位点，将夹角小于预设夹角的源单位点作为当前单位点，并获取当前单位点的第一法向量与第一半径邻域内各所述源单位点的第一法向量之间的夹角，直到当前单位点的第一法向量与第一半径邻域内各所述源单位点的第一法向量之间的夹角均大于所述预设夹角时，将已处理单位点的集合作为面点云。
5.如权利要求2所述的物体抓取方法，其特征在于，所述获取所述粗特征面点云中的粗特征单位点基于第二半径邻域的子面点云，并在各所述子面点云中确定所述精特征点云数据的步骤包括：
获取所述粗特征单位点基于对应第三半径邻域的第三法向量，其中，所述第三半径大于所述第一半径，且小于所述第二半径；
获取各所述粗特征单位点对应的第一法向量与第三法向量的夹角，并将夹角较小的第一预设数量个所述粗特征单位点作为第一中间单位点；
获取所述第一中间单位点基于第二半径邻域的子面点云，并在各所述子面点云中确定所述精特征点云数据。
6.如权利要求5所述的物体抓取方法，其特征在于，所述获取所述第一中间单位点基于第二半径邻域的子面点云，并在各所述子面点云中确定所述精特征点云数据的步骤包括：
获取各所述第一中间单位点对应的第一法向量、第二法向量以及第三法向量，并根据所述第一法向量、所述第二法向量以及所述第三法向量得到第一中间单位点对应的均值夹角；
将均值夹角较小的第二预设数量个所述第一中间单位点作为第二中间单位点；
获取所述第二中间单位点基于第二半径邻域的子面点云，并将包含所述第二中间单位点最多的所述子面点云作为所述精特征点云数据。
7.一种物体抓取装置，其特征在于，所述物体抓取装置包括：
第一获取模块，用于获取目标物体的点云数据，并获取所述点云数据中的精特征点云数据，所述精特征点云数据为所述目标物体中最平整平面对应的点云数据；
第一执行模块，用于根据所述精特征点云数据得到所述目标物体的平整姿态；
第二执行模块，用于根据所述平整姿态执行抓取操作；
所述第一执行模块包括：
第一计算子模块，用于针对所述精特征点云数据中每一精特征单位点，计算所述精特征单位点与其它精特征单位点分别在不同方向上的差值均值，并计算不同方向上的均值和；
第一执行子模块，用于将均值和最小的所述精特征单位点作为所述平整姿态的代表点，并将所述代表点对应的第一法向量、第二法向量以及第三法向量的联合作为所述平整姿态的代表方向；
第一确定子模块，用于根据所述代表点以及所述代表方向确定所述平整姿态。
8.一种电子设备，其特征在于，所述电子设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的物体抓取方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的物体抓取方法的步骤。
CN202210916416.2A 2022-08-01 2022-08-01 物体抓取方法、装置、电子设备及可读存储介质 Active CN114986521B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210916416.2A CN114986521B (zh) 2022-08-01 2022-08-01 物体抓取方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210916416.2A CN114986521B (zh) 2022-08-01 2022-08-01 物体抓取方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN114986521A CN114986521A (zh) 2022-09-02
CN114986521B true CN114986521B (zh) 2022-11-15

Family

ID=83021295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210916416.2A Active CN114986521B (zh) 2022-08-01 2022-08-01 物体抓取方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114986521B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6325174B1 (ja) * 2017-04-04 2018-05-16 株式会社Ｍｕｊｉｎ 制御装置、ピッキングシステム、物流システム、プログラム、制御方法、及び、生産方法
JP7424800B2 (ja) * 2019-11-06 2024-01-30 ファナック株式会社 制御装置、その制御方法、及び制御システム
CN112720477B (zh) * 2020-12-22 2024-01-30 泉州装备制造研究所 一种基于局部点云模型的物体最优抓取识别方法
CN113674204A (zh) * 2021-07-16 2021-11-19 杭州未名信科科技有限公司 基于深度学习和3d点云数据的木板形变检测方法与系统
CN114029946A (zh) * 2021-10-14 2022-02-11 五邑大学 一种基于3d光栅引导机器人定位抓取的方法、装置及设备

Also Published As

Publication number Publication date
CN114986521A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN108537876B (zh) 三维重建方法、装置、设备及存储介质
US20210370510A1 (en) Robot path planning method with static and dynamic collision avoidance in an uncertain environment
CN108279670B (zh) 用于调整点云数据采集轨迹的方法、设备以及计算机可读介质
CN111582054B (zh) 点云数据处理方法及装置、障碍物检测方法及装置
JP4982410B2 (ja) 空間移動量算出装置及びその方法
CN108898171B (zh) 图像识别处理方法、系统及计算机可读存储介质
CN113256718B (zh) 定位方法和装置、设备及存储介质
Zhang et al. A visual distance approach for multicamera deployment with coverage optimization
EP4157589A1 (en) A robot path planning method with static and dynamic collision avoidance in an uncertain environment
CN111142514B (zh) 一种机器人及其避障方法和装置
CN116958146B (zh) 3d点云的采集方法及装置、电子装置
CN113361365A (zh) 定位方法和装置、设备及存储介质
WO2023273415A1 (zh) 基于无人机的定位方法、装置、存储介质、电子设备和产品
CN108537214A (zh) 一种室内语义地图的自动化构建方法
CN114981845A (zh) 图像扫描方法及装置、设备、存储介质
CN110706288A (zh) 目标检测的方法、装置、设备及可读存储介质
CN114986521B (zh) 物体抓取方法、装置、电子设备及可读存储介质
CN111784579B (zh) 制图方法及装置
CN111283730B (zh) 基于点线特征机器人初始位姿获取方法及开机自定位方法
CN114037753A (zh) 应用于智能设备的物体抓取方法、智能设备及存储介质
CN110579169A (zh) 基于云计算的立体视觉高精度测量方法和存储介质
CN116148883B (zh) 基于稀疏深度图像的slam方法、装置、终端设备及介质
TWI834495B (zh) 物件姿態辨識方法及系統
CN118518009B (zh) 标定参数确定方法、校正方法、介质及设备
CN114299129B (zh) 深度恢复方法、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant