CN112720459B - 目标物体抓取方法、装置、存储介质及电子设备 - Google Patents
目标物体抓取方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN112720459B CN112720459B CN202011406175.4A CN202011406175A CN112720459B CN 112720459 B CN112720459 B CN 112720459B CN 202011406175 A CN202011406175 A CN 202011406175A CN 112720459 B CN112720459 B CN 112720459B
- Authority
- CN
- China
- Prior art keywords
- point
- grabbing
- coordinates
- target object
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种目标物体抓取方法、装置、存储介质及电子设备，以解决相关技术中目标物体的抓取位置选择准确性较低的问题，包括：根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标；基于下采样方法，根据所述每一输入点的目标坐标生成种子点；将每一所述种子点的原始坐标输入抓取轴线端点预测模型中，以得到所述目标物体的抓取轴线端点坐标；根据所述抓取轴线端点坐标确定机器人的抓取位姿，并控制所述机器人按照所述抓取位姿调整位姿，以及按照所述抓取轴线端点坐标对所述目标物体进行抓取。这样，提高了目标物体的抓取位置选择准确性。
Description
技术领域
本公开涉及计算机视觉技术领域，具体地，涉及一种目标物体抓取方法、装置、存储介质及电子设备。
背景技术
物体6D位姿(6D Object Pose Estimation)是指拍摄当前图像时刻，相机坐标系相对于原始物体所在的世界系，发生的平移和旋转变换。其中，包括3个位移自由度以及3个旋转自由度。基于物体6D位姿能够准确地确定抓取机器人的6D抓取位姿信息，从而可以提高物体抓取的准确性。
在相关场景中，根据目标物体的几何结构确定抓取特征点，通过人工指定或者在模拟器中模拟，预先标定抓取机器人的最佳抓取位置以及标定抓取机器人的机械臂等的位姿信息；或者，通过对目标物体随机采样抓取点，并判定抓取点是否满足力封闭(Force-closure)等要求，评估抓取点的抓取质量，例如，抓取的稳定性、抓取是否损坏目标物体等，并选择抓取质量最高的抓取点作为调整抓取机器人位姿的依据。
发明内容
本公开的目的是提供一种目标物体抓取方法、装置、存储介质及电子设备，以解决相关技术中目标物体的抓取位置选择准确性较低的问题。
为了实现上述目的，本公开实施例的第一方面，提供一种目标物体抓取方法，所述方法包括：
根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标；
基于下采样方法，根据所述每一输入点的目标坐标生成种子点；
将每一所述种子点的原始坐标输入抓取轴线端点预测模型中，以得到所述目标物体的抓取轴线端点坐标；
根据所述抓取轴线端点坐标确定机器人的抓取位姿，并控制所述机器人按照所述抓取位姿调整位姿，以及按照所述抓取轴线端点坐标对所述目标物体进行抓取。
本公开实施例的第二方面，提供一种目标物体抓取装置，包括：
确定模块，用于根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标；
生成模块，用于基于下采样方法，根据所述每一输入点的目标坐标生成种子点；
输入模块，用于将每一所述种子点的原始坐标输入抓取轴线端点预测模型中，以得到所述目标物体的抓取轴线端点坐标；
控制模块，用于根据所述抓取轴线端点坐标确定机器人的抓取位姿，并控制所述机器人按照所述抓取位姿调整位姿，以及按照所述抓取轴线端点坐标对所述目标物体进行抓取。
本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述方法的步骤。
本公开实施例的第四方面，提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面所述方法的步骤。
通过上述技术方案至少可以达到以下有益效果：
通过根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标；基于下采样方法，根据所述每一输入点的目标坐标生成种子点；将每一所述种子点的原始坐标输入抓取轴线端点预测模型中，以得到所述目标物体的抓取轴线端点坐标；根据所述抓取轴线端点坐标确定机器人的抓取位姿，并控制所述机器人按照所述抓取位姿调整位姿，以及按照所述抓取轴线端点坐标对所述目标物体进行抓取。这样，通过抓取轴线端点预测模型将每一个种子点的坐标回归其标准姿态下的坐标，进而确定抓取轴线端点坐标，并根据抓取轴线端点坐标确定机器人的抓取位姿，提高了目标物体的抓取位置选择准确性，进而提高了目标物体的抓取稳定性，有效地降低了目标物体损坏的风险。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的一种目标物体抓取方法的流程图。
图2是根据一示例性实施例示出的一种抓取轴线端点预测模型生成抓取轴线端点坐标的流程图。
图3是根据一示例性实施例示出的一种实现图2中步骤S21的流程图。
图4是根据一示例性实施例示出的一种实现图1中步骤S11的流程图。
图5是根据一示例性实施例示出的一种实现图1中步骤S12的流程图。
图6是根据一示例性实施例示出的一种目标物体3D点云确定方法的流程图。
图7是根据一示例性实施例示出的另一种目标物体3D点云确定方法的流程图。
图8是根据一示例性实施例示出的一种目标物体抓取装置的框图。
图9是根据一示例性实施例示出的一种电子设备900的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
需要说明的是，在本公开中，说明书和权利要求书以及附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必理解为描述特定的顺序或先后次序。同理，术语“S51”、“S61”等用于区别步骤，而不必理解为按照特定的顺序或先后次序执行方法步骤。
在介绍本公开提供的目标物体抓取方法、装置、存储介质及电子设备之前，首先对本公开的应用场景进行介绍。本公开提供的目标物体抓取方法可以应用于抓取机器人，例如，抓取机器人可以是用于分拣商品的机器人，也可以是为行动障碍人员或者老年人端茶倒水的机器人，可以提高抓取机器人抓取目标物体的准确性。
发明人发现，基于随机采样的方法确定目标物体位姿，需要不断重复地寻找对应点对以及计算变换误差，位姿确定计算过程繁琐，耗费时间较长，抓取机器人抓取前的等待时间较长，从而增加了例如分拣商品的时间成本，并且，最终得到的抓取点位置不可控，有可能不在抓取机器人的机械臂的可操作空间内。而基于几何结构确定抓取特征点，需要目标物体的几何机构显著性较高，若目标物体的几何机构显著性较低，则确定的抓取特征点的准确性降低，可能导致抓取机器人抓取位置确定以及增强现实的准确性较低，因而增加了目标物体损坏的风险。
为解决上述技术问题，本公开提供一种目标物体抓取方法。图1是根据一示例性实施例示出的一种目标物体抓取方法的流程图，如图1所示，所述方法包括以下步骤。
S11、根据目标物体对应的3D点云确定目标物体中每一输入点的目标坐标。
S12、基于下采样方法，根据每一输入点的目标坐标生成种子点。
S13、将每一种子点的原始坐标输入抓取轴线端点预测模型中，以得到目标物体的抓取轴线端点坐标。
S14、根据抓取轴线端点坐标确定机器人的抓取位姿，并控制机器人按照抓取位姿调整位姿，以及按照抓取轴线端点坐标对目标物体进行抓取。
可选地，深度神经网络模型的样本标注方式包括人工标注和自动标注；
其中，所述自动标注包括：标注抓取位置坐标的点云，并将抓取位置坐标的点云投影到多个角度，生成对应的单个视角点云，得到目标抓取位置坐标。
具体实施时，抓取位姿包括抓取机器人的机械臂的3个维度的坐标值和抓取机器人的机械臂的相对于相机系坐标轴的3个维度夹角。
上述技术方案通过根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标；基于下采样方法，根据所述每一输入点的目标坐标生成种子点；将每一所述种子点的原始坐标输入抓取轴线端点预测模型中，以得到所述目标物体的抓取轴线端点坐标；根据所述抓取轴线端点坐标确定机器人的抓取位姿，并控制所述机器人按照所述抓取位姿调整位姿，以及按照所述抓取轴线端点坐标对所述目标物体进行抓取。这样，通过抓取轴线端点预测模型将每一个种子点的坐标回归其标准姿态下的坐标，进而确定抓取轴线端点坐标，并根据抓取轴线端点坐标确定机器人的抓取位姿，提高了目标物体的抓取位置选择准确性，进而提高了目标物体的抓取稳定性，有效地降低了目标物体损坏的风险。并且，不仅可以估计实例级的目标物体的6D位姿，还能够估计类别级的目标物体的6D位姿，进而减少了对模型完全一致性的依赖。
可选地，参见图2实施例示出的一种抓取轴线端点预测模型生成抓取轴线端点坐标的流程图，所述抓取轴线端点预测模型通过如下方式生成所述目标物体的抓取轴线端点坐标：
S21、根据每一种子点的原始坐标确定目标物体的多个端点坐标簇云。
S22、确定每一端点坐标簇云对应的簇云重心坐标。
S23、根据所述每一簇云重心坐标确定对应抓取轴线端点的预测端点坐标，并确定所述端点坐标簇云中每一所述种子点相对于对应预测端点坐标的预测偏移坐标；
S24、根据所述每一种子点的原始坐标以及对应该种子点的预测偏移坐标确定偏移后的目标端点坐标，并将每一所述端点坐标簇云中各所述种子点的目标端点坐标的平均值作为该端点坐标簇云对应的所述抓取轴线端点坐标。
具体实施时，以目标物体包括上下两个端点坐标簇云为例，针对上端点簇云，根据上端点簇云中每一种子点对应的簇云坐标，确定上端点簇云的簇云重心坐标，针对下端点簇云，根据下端点簇云中每一种子点对应的簇云坐标，确定下端点簇云的簇云重心坐标。
进一步地，根据上端点簇云的簇云重心坐标确定上端点的预测端点坐标，并确定上端点簇云中每一种子点相对于上端点的预测端点坐标的预测偏移坐标；根据下端点簇云的簇云重心坐标确定下端点的预测端点坐标，并确定下端点簇云中每一种子点相对于下端点的预测端点坐标的预测偏移坐标。
进一步地，根据上端点簇云中每一种子点的原始坐标以及对应的上端点的预测偏移坐标，确定上端点簇云中每一种子点的目标端点坐标，并根据上端点簇云中的所有目标端点坐标计算上端点簇云的目标端点坐标的平均值；根据上端点簇云中每一种子点的原始坐标以及对应的上端点的预测偏移坐标，确定下端点簇云中每一种子点的目标端点坐标，并根据下端点簇云中的所有目标端点坐标计算下端点簇云的目标端点坐标的平均值。
采用上述技术方案，可以确定任意几何结构的目标物体的抓取轴线端点坐标，消除了相关技术中依赖目标物体几何结构显著性的弊端，扩大了抓取机器人的使用范围。
可选地，参见图3实施例示出的一种实现图2中步骤S21的流程图，在步骤S21中，所述根据每一所述种子点的原始坐标确定所述目标物体抓取的多个端点坐标簇云，包括：
S211、根据每一种子点的原始坐标确定该种子点的高维特征信息。
S212、根据每一种子点的高维特征信息确定对应的偏移值。
S213、根据每一种子点的原始坐标以及对应的偏移值，确定目标物体的多个端点坐标簇云。
具体实施时，基于信息抽取层和上采样层，根据每一种子点的原始坐标确定该种子点的高维特征信息。
进一步地，基于深度神经网络模型中的多层感知机，根据每一种子点的高维特征信息确定每一种子点相对于预测抓取点的偏移值。例如，在预测抓取点包括上端预测抓取点和下端预测抓取点的情况下，确定每一种子点相对于上端预测抓取点的偏移值，以及确定每一种子点相对于下端预测抓取点的偏移值。
进一步地，根据每一种子点的原始坐标以及对应上端预测抓取点的偏移值得到n个预测上端点，即上端点坐标簇云；根据每一种子点的原始坐标以及对应下端预测抓取点的偏移值得到n个预测下端点，即下端点坐标簇云。
进一步地，针对上端点坐标簇云，计算n个预测上端点的坐标的重心坐标，针对下端点坐标簇云，计算n个预测下端点的坐标的重心坐标。
采用上述技术方案，可以有效地确定目标物体的抓取轴线端点坐标，进而提高了抓取目标物体的准确性。
可选地，所述根据所述抓取轴线端点坐标确定机器人的抓取位姿包括：以所述抓取轴线端点坐标的连线的垂线方向作为所述机器人的抓取朝向，所述抓取位姿包括所述抓取朝向。
所述控制所述机器人按照所述抓取位姿调整位姿包括：控制所述机器人按照所述抓取朝向调整朝向。
具体实施时，选择任意两个抓取轴线端点坐标的中点作为抓取的目标位置点，以该两个抓取轴线端点坐标的连线的垂线方向作为机器人的抓取中轴朝向。例如，选择上下两个抓取轴线端点坐标作为目标抓取轴线端点坐标，以该上下两个抓取轴线端点坐标的连线的垂线方向作为机器人的抓取中轴朝向。
进一步地，根据该抓取朝向控制机器人的机械臂朝向该方向。并根据目标物体的抓取轴线端点坐标，基于现实增强技术，例如，以家庭机器人为例，在抓取轴线端点坐标为抓取轴线上、下端点坐标的情况下，确定抓取轴线为竖直方向，则可以根据目标物体的形状以及功能区确定左侧抓取点和右侧抓取点。
进一步地，根据左侧抓取点以及抓取轴线端点坐标确定机器人左侧驱动轮的停止位置，以及根据右侧抓取点以及抓取轴线端点坐标确定机器人右侧驱动轮的停止位置，这样可以准确地确定机器人的位置信息，保证目标物体处于抓取机器人的机械臂的可操作空间内，避免反复调整机器人的位置。
采用上述技术方案，可以有效地确定目标物体的抓取位置，进而保证抓取位置位于抓取机器人的机械臂的可操作空间内，提高了目标物体的抓取稳定性。
可选地，参考图4所示出的一种实现图1中步骤S11的流程图，在步骤S11中，所述根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标，包括：
S111、根据目标物体对应的3D点云确定目标物体中每一输入点的原始坐标。
S112、根据每一输入点的原始坐标确定3D点云的重心坐标。
S113、针对每一输入点，确定该输入点的原始坐标与重心坐标在每一维度上的偏移值。
S114、根据每一维度上的偏移值确定对应该输入点的目标坐标。
具体地，若3D点云的重心坐标为ocenter，则该输入点的目标坐标pnew＝pori-ocenter。
示例地，确定3D点云的重心坐标为(2,3,4)，目标物体的某一输入点的原始坐标(8,7,9)，确定该输入点的原始坐标与重心坐标在第一维度上的偏移值为6，即8-2＝6，确定该输入点的原始坐标与重心坐标在第二维度上的偏移值为4，即7-3＝4，确定该输入点的原始坐标与重心坐标在第三维度上的偏移值为5，即9-4＝5。
进一步地，根据第一维度上的偏移值6、第二维度上的偏移值4以及第三维度上的偏移值5，确定该输入点的目标坐标为(6,4,5)。
采用上述技术方案，由于目标物体的3D点云出现的位置是随机的，通过3D点云的重心坐标，可以归一化目标物体的原始坐标，这样，可以减小目标物体的原始坐标对模型计算的影响。
可选地，所述下采样方法为最远点采样方法，参考图5所示出的一种实现图1中步骤S12的流程图，在步骤S12中，所述基于下采样方法，根据所述每一输入点的目标坐标生成种子点，包括：
S121、根据目标物体中每一输入点的原始坐标确定3D点云的中心点。
S122、选择距离3D点云的中心点欧氏距离最远的输入点作为第一种子点。
S123、以第一种子点为基准，将与已确定的种子点之间的欧式距离最远的输入点作为新的种子点，直到种子点的个数达到预设阈值。
可选地，下采样方法包括随机采样、最远点采样FPS(Farthest Point Sampling)以及基于深度模型采样的方法。
示例地，此处以下采样方法为最远点采样方法为例，选择距离所述3D点云的中心点欧氏距离最远的输入点作为第一种子点，进而选择距离第一种子点欧氏距离最远的输入点作为第二种子点，进而基于第一种子点以及第二种子点，选择欧式距离最远的输入点为第三种子点，即选择距离第一种子点欧氏距离最远以及距离第二种子点欧氏距离最远的输入点作为第三种子点。
进一步地，基于第二种子点以及第三种子点，选择欧式距离最远的输入点为第四种子点，即选择距离第二种子点欧氏距离最远以及距离第三种子点欧氏距离最远的输入点作为第四种子点，以此类推，直到种子点的数量达到1024个。即预设阈值为1024。
采用上述技术方案，由于目标物体的种子点的稠密不均匀，通过下采样方法，可以确定目标物体的种子点，这样，可以减小目标物体的原始坐标密度不同对模型计算的影响。
可选地，在所述抓取轴线端点坐标为抓取点轴线上、下端点坐标的情况下，所述抓取轴线端点预测模型的损失函数为：
L＝λ1Lupper+λ2Llowwer；
其中，n为样本种子点的总数量，Lupper为抓取点轴线上端点坐标损失值，Llower为抓取点轴线下端点坐标损失值，λ1为所述抓取点轴线上端点坐标损失值的预设权重，λ2为所述抓取点轴线下端点坐标损失值的预设权重，
Δui为第i个样本种子点对应的抓取点轴线上端点坐标的预测偏差，Δli为第i抓取点轴线下端点坐标的预测偏差，
为第i个样本种子点对应的抓取点轴线上端点坐标的原始坐标距离重心坐标的真实偏移量，
为第i个样本种子点对应的抓取点轴线下端点坐标的原始坐标距离重心坐标的真实偏移量。
值得说明的是第i个样本种子点对应的第二抓取点的原始坐标距离重心坐标的真实偏移量
可以由第二抓取点的原始坐标的真实值与该种子点预测偏差计算得到，第i个样本种子点对应的第一抓取点的原始坐标距离重心坐标的真实偏移量
可以由第一抓取点的原始坐标的真实值与该种子点预测偏差计算得到。
可选地，图6是根据一示例性实施例示出的一种目标物体3D点云确定方法的流程图，在所述根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标之前，包括：
S51、通过图像采集装置采集目标物体的RGB图像。
S52、根据RGB图像，确定目标物体的深度图像，并对RGB图像进行实例分割，得到对应的类别级蒙版区域。
S53、根据类别级蒙版区域、图像采集装置的内部参数以及深度图像，确定目标物体对应的3D点云。
具体实施时，在确定图像采集装置的采集范围内存在目标物体的情况下，例如，在工作台的图像采集装置的采集范围内放置目标物体，图像采集装置采集其采集范围的RGB图像，进而对该RGB图像进行实例分割，例如，利用Mask R-CNN实例分割算法对RGB图像进行实例分割，得到该目标物体所占有的类别级蒙版区域。
进一步地，基于RGB图像与深度图像是对齐的，根据该目标物体的RGB图像，确定该目标物体对应的深度图像，进而可以确定该目标图像的深度图像所占的区域，即该目标图像的图像深度区域。
进一步地，根据类别级蒙版区域以及深度图像区域，结合图像采集装置的噪声抑制参数、纹理还原度参数，确定目标物体对应的3D点云。这样，可以合理地去除图像的背景噪声，提高3D点云确定的准确性。
采用上述技术方案，通过对目标物体的RGB图像进行类别级蒙版区域以及深度图像区域的确定，以及去除背景噪声，可以提高3D点云确定的准确性，进而提高了目标物体位姿确定的准确性。
可选地，图7是根据一示例性实施例示出的另一种目标物体3D点云确定方法的流程图，在所述根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标之前，包括：
S61、根据获取到的目标物体的RGB图像以及目标检测算法，确定目标物体对应的类别级矩形区域。
S62、对类别级矩形区域进行远近裁剪，得到目标物体的截锥体区域点云。
S63、基于语义分割模型对截锥体区域点云进行语义分割，确定目标物体对应的3D点云。
具体实施时，在确定图像采集装置的采集范围内存在目标物体的情况下，通过图像采集装置采集目标物体的RGB图像，并通过单阶段2D目标检测算法YOLOv3，可以识别该目标区域所占的类别级矩形框区域。
进一步地，基于图像采集装置的远近裁剪功能，对该类别级矩形区域进行远近裁剪，得到该目标物体对应的视椎体，基于图像采集装置的截锥体平面，该截锥体平面不过视椎体的顶点且与视锥体的母线相交，对该视椎体进行截锥体操作，得到该目标物体对应的截锥体，并确定该截锥体所占的区域。
进一步地，根据该截锥体所占的区域确定截锥体区域点云，并基于语义分割模型，例如PointNet++模型，对该截锥体区域点云进行语义分割，去除图像的背景噪声，进而确定目标物体对应的3D点云。
采用上述技术方案，通过对目标物体的RGB图像进行类别级矩形框区域以及截锥体所占区域的确定，进而确定截锥体区域点云，并去除图像的背景噪声，可以提高3D点云确定的准确性，进而提高了目标物体位姿确定的准确性。
基于相同的发明构思，本公开还提供一种目标物体抓取装置800，用于执行上述方法实施例提供的目标物体抓取方法的步骤，该装置800可以以软件、硬件或者两者相结合的方式实现目标物体抓取方法。图8是根据一示例性实施例示出的一种目标物体抓取装置的框图，如图8所示，所述装置800包括：确定模块810、生成模块820、输入模块830和控制模块840。
其中，确定模块810，用于根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标；
生成模块820，用于基于下采样方法，根据所述每一输入点的目标坐标生成种子点；
输入模块830，用于将每一所述种子点的原始坐标输入抓取轴线端点预测模型中，以得到所述目标物体的抓取轴线端点坐标；
控制模块840，用于根据所述抓取轴线端点坐标确定机器人的抓取位姿，并控制所述机器人按照所述抓取位姿调整位姿，以及按照所述抓取轴线端点坐标对所述目标物体进行抓取。
上述装置通过抓取轴线端点预测模型将每一个种子点的坐标回归其标准姿态下的坐标，进而确定抓取轴线端点坐标，并根据抓取轴线端点坐标确定机器人的抓取位姿，提高了目标物体的抓取位置选择准确性，进而提高了目标物体的抓取稳定性，有效地降低了目标物体损坏的风险。
可选地，所述抓取轴线端点预测模型通过如下方式生成所述目标物体的抓取轴线端点坐标：
第一确定子模块，用于根据每一所述种子点的原始坐标确定所述目标物体的多个端点坐标簇云；
第二确定子模块，用于确定每一所述端点坐标簇云对应的簇云重心坐标；
第三确定子模块，用于根据所述每一簇云重心坐标确定对应抓取轴线端点的预测端点坐标，并确定所述端点坐标簇云中每一所述种子点相对于对应预测端点坐标的预测偏移坐标；
第四确定子模块，用于根据所述每一种子点的原始坐标以及对应该种子点的预测偏移坐标确定偏移后的目标端点坐标，并将每一所述端点坐标簇云中各所述种子点的目标端点坐标的平均值作为该端点坐标簇云对应的所述抓取轴线端点坐标。
可选地，所述第一确定子模块用于：
根据每一所述种子点的原始坐标确定该种子点的高维特征信息；
根据每一所述种子点的高维特征信息确定对应的偏移值；
根据每一所述种子点的原始坐标以及对应的偏移值，确定所述目标物体的多个端点坐标簇云。
可选地，所述抓取位姿包括抓取朝向，所述控制模块840，用于：
以所述抓取轴线端点坐标的连线的垂线方向作为所述机器人的抓取朝向；以及
控制所述机器人按照所述抓取朝向调整朝向。
可选地，所述确定模块810，用于：
根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的原始坐标；
根据所述每一输入点的原始坐标确定所述3D点云的重心坐标；
针对所述每一输入点，确定该输入点的原始坐标与所述重心坐标在每一维度上的偏移值；
根据每一维度上的所述偏移值确定对应该输入点的目标坐标。
可选地，所述下采样方法为最远点采样方法，所述生成模块820，用于：
根据所述目标物体中每一输入点的原始坐标确定所述3D点云的中心点；
选择距离所述3D点云的中心点欧氏距离最远的输入点作为第一种子点；
以所述第一种子点为基准，将与已确定的种子点之间的欧式距离最远的输入点作为新的种子点，直到种子点的个数达到预设阈值。
可选地，在所述抓取轴线端点坐标为抓取点轴线上、下端点坐标的情况下，所述抓取轴线端点预测模型的损失函数为：
L＝λ1Lupper+λ2Llowwer；
其中，n为样本种子点的总数量，Lupper为抓取点轴线上端点坐标损失值，Llower为抓取点轴线下端点坐标损失值，λ1为所述抓取点轴线上端点坐标损失值的预设权重，λ2为所述抓取点轴线下端点坐标损失值的预设权重，
Δui为第i个样本种子点对应的抓取点轴线上端点坐标的预测偏差，Δli为第i抓取点轴线下端点坐标的预测偏差，
为第i个样本种子点对应的抓取点轴线上端点坐标的原始坐标距离重心坐标的真实偏移量，
为第i个样本种子点对应的抓取点轴线下端点坐标的原始坐标距离重心坐标的真实偏移量。
可选地，所述装置还包括采集模块，用于：
通过图像采集装置采集所述目标物体的RGB图像；
根据所述RGB图像，确定所述目标物体的深度图像，并对所述RGB图像进行实例分割，得到对应的类别级蒙版区域；
根据所述类别级蒙版区域、所述图像采集装置的内部参数以及所述深度图像，确定所述目标物体对应的3D点云。
可选地，所述装置还包括获取模块，用于：
根据获取到的所述目标物体的RGB图像以及目标检测算法，确定所述目标物体对应的类别级矩形区域；
对所述类别级矩形区域进行远近裁剪，得到所述目标物体的截锥体区域点云；
基于语义分割模型对所述截锥体区域点云进行语义分割，确定所述目标物体对应的3D点云。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
此外值得说明的是，为描述的方便和简洁，说明书中所描述的实施例均属于优选实施例，其所涉及的部分并不一定是本发明所必须的，例如，输入模块830和控制模块840，在具体实施时可以是相互独立的装置也可以是同一个装置，本公开对此不作限定。
本公开实施例还一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。
本公开实施例还一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现上述任一项所述方法的步骤。
图9是根据一示例性实施例示出的一种电子设备900的框图。如图9所示，该电子设备900可以包括：处理器701，存储器702。该电子设备900还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。
其中，处理器701用于控制该电子设备900的整体操作，以完成上述的目标物体抓取方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备900的操作，这些数据例如可以包括用于在该电子设备900上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备900与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备900可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的目标物体抓取方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的目标物体抓取方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备900的处理器701执行以完成上述的目标物体抓取方法。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
实施例
1、一种目标物体抓取方法，包括：
根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标；
基于下采样方法，根据所述每一输入点的目标坐标生成种子点；
将每一所述种子点的原始坐标输入抓取轴线端点预测模型中，以得到所述目标物体的抓取轴线端点坐标；
根据所述抓取轴线端点坐标确定机器人的抓取位姿，并控制所述机器人按照所述抓取位姿调整位姿，以及按照所述抓取轴线端点坐标对所述目标物体进行抓取。
2、根据实施例1所述的方法，所述抓取轴线端点预测模型通过如下方式生成所述目标物体的抓取轴线端点坐标：
根据每一所述种子点的原始坐标确定所述目标物体的多个端点坐标簇云；
确定每一所述端点坐标簇云对应的簇云重心坐标；
根据所述每一簇云重心坐标确定对应抓取轴线端点的预测端点坐标，并确定所述端点坐标簇云中每一所述种子点相对于对应预测端点坐标的预测偏移坐标；
根据所述每一种子点的原始坐标以及对应该种子点的预测偏移坐标确定偏移后的目标端点坐标，并将每一所述端点坐标簇云中各所述种子点的目标端点坐标的平均值作为该端点坐标簇云对应的所述抓取轴线端点坐标。
3、根据实施例2所述的方法，所述根据每一所述种子点的原始坐标确定所述目标物体抓取的多个端点坐标簇云，包括：
根据每一所述种子点的原始坐标确定该种子点的高维特征信息；
根据每一所述种子点的高维特征信息确定对应的偏移值；
根据每一所述种子点的原始坐标以及对应的偏移值，确定所述目标物体的多个端点坐标簇云。
4、根据实施例1所述的方法，所述根据所述抓取轴线端点坐标确定机器人的抓取位姿包括：以所述抓取轴线端点坐标的连线的垂线方向作为所述机器人的抓取朝向，所述抓取位姿包括所述抓取朝向；
所述控制所述机器人按照所述抓取位姿调整位姿包括：控制所述机器人按照所述抓取朝向调整朝向。
5、根据实施例1所述的方法，所述根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标，包括：
根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的原始坐标；
根据所述每一输入点的原始坐标确定所述3D点云的重心坐标；
针对所述每一输入点，确定该输入点的原始坐标与所述重心坐标在每一维度上的偏移值；
根据每一维度上的所述偏移值确定对应该输入点的目标坐标。
6、根据实施例1所述的方法，所述下采样方法为最远点采样方法，所述基于下采样方法，根据所述每一输入点的目标坐标生成种子点，包括：
根据所述目标物体中每一输入点的原始坐标确定所述3D点云的中心点；
选择距离所述3D点云的中心点欧氏距离最远的输入点作为第一种子点；
以所述第一种子点为基准，将与已确定的种子点之间的欧式距离最远的输入点作为新的种子点，直到种子点的个数达到预设阈值。
7、根据实施例1所述的方法，在所述抓取轴线端点坐标为抓取点轴线上、下端点坐标的情况下，所述抓取轴线端点预测模型的损失函数为：
L＝λ1Lupper+λ2Llowwer；
其中，n为样本种子点的总数量，Lupper为抓取点轴线上端点坐标损失值，Llower为抓取点轴线下端点坐标损失值，λ1为所述抓取点轴线上端点坐标损失值的预设权重，λ2为所述抓取点轴线下端点坐标损失值的预设权重，
Δui为第i个样本种子点对应的抓取点轴线上端点坐标的预测偏差，Δli为第i抓取点轴线下端点坐标的预测偏差，
为第i个样本种子点对应的抓取点轴线上端点坐标的原始坐标距离重心坐标的真实偏移量，
为第i个样本种子点对应的抓取点轴线下端点坐标的原始坐标距离重心坐标的真实偏移量。
8、根据实施例1至实施例7中任一实施例所述的方法，在所述根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标之前，包括：
通过图像采集装置采集所述目标物体的RGB图像；
根据所述RGB图像，确定所述目标物体的深度图像，并对所述RGB图像进行实例分割，得到对应的类别级蒙版区域；
根据所述类别级蒙版区域、所述图像采集装置的内部参数以及所述深度图像，确定所述目标物体对应的3D点云。
9、根据实施例1至实施例7中任一实施例所述的方法，在所述根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标之前，包括：
根据获取到的所述目标物体的RGB图像以及目标检测算法，确定所述目标物体对应的类别级矩形区域；
对所述类别级矩形区域进行远近裁剪，得到所述目标物体的截锥体区域点云；
基于语义分割模型对所述截锥体区域点云进行语义分割，确定所述目标物体对应的3D点云。
10、一种目标物体抓取装置，包括：
确定模块，用于根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标；
生成模块，用于基于下采样方法，根据所述每一输入点的目标坐标生成种子点；
输入模块，用于将每一所述种子点的原始坐标输入抓取轴线端点预测模型中，以得到所述目标物体的抓取轴线端点坐标；
控制模块，用于根据所述抓取轴线端点坐标确定机器人的抓取位姿，并控制所述机器人按照所述抓取位姿调整位姿，以及按照所述抓取轴线端点坐标对所述目标物体进行抓取。
11、根据实施例10所述的装置，所述抓取轴线端点预测模型通过如下方式生成所述目标物体的抓取轴线端点坐标：
第一确定子模块，用于根据每一所述种子点的原始坐标确定所述目标物体的多个端点坐标簇云；
第二确定子模块，用于确定每一所述端点坐标簇云对应的簇云重心坐标；
第三确定子模块，用于根据所述每一簇云重心坐标确定对应抓取轴线端点的预测端点坐标，并确定所述端点坐标簇云中每一所述种子点相对于对应预测端点坐标的预测偏移坐标；
第四确定子模块，用于根据所述每一种子点的原始坐标以及对应该种子点的预测偏移坐标确定偏移后的目标端点坐标，并将每一所述端点坐标簇云中各所述种子点的目标端点坐标的平均值作为该端点坐标簇云对应的所述抓取轴线端点坐标。
12、根据实施例11所述的装置，所述第一确定子模块用于：
根据每一所述种子点的原始坐标确定该种子点的高维特征信息；
根据每一所述种子点的高维特征信息确定对应的偏移值；
根据每一所述种子点的原始坐标以及对应的偏移值，确定所述目标物体的多个端点坐标簇云。
13、根据实施例10所述的装置，
所述抓取位姿包括抓取朝向，所述控制模块，用于：
以所述抓取轴线端点坐标的连线的垂线方向作为所述机器人的抓取朝向；以及
控制所述机器人按照所述抓取朝向调整朝向。
14、根据实施例10所述的装置，所述确定模块，用于：
根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的原始坐标；
根据所述每一输入点的原始坐标确定所述3D点云的重心坐标；
针对所述每一输入点，确定该输入点的原始坐标与所述重心坐标在每一维度上的偏移值；
根据每一维度上的所述偏移值确定对应该输入点的目标坐标。
15、根据实施例10所述的装置，所述下采样方法为最远点采样方法，所述生成模块，用于：
根据所述目标物体中每一输入点的原始坐标确定所述3D点云的中心点；
选择距离所述3D点云的中心点欧氏距离最远的输入点作为第一种子点；
以所述第一种子点为基准，将与已确定的种子点之间的欧式距离最远的输入点作为新的种子点，直到种子点的个数达到预设阈值。
16、根据实施例10所述的装置，在所述抓取轴线端点坐标为抓取点轴线上、下端点坐标的情况下，所述抓取轴线端点预测模型的损失函数为：
L＝λ1Lupper+λ2Llowwer；
其中，n为样本种子点的总数量，Lupper为抓取点轴线上端点坐标损失值，Llower为抓取点轴线下端点坐标损失值，λ1为所述抓取点轴线上端点坐标损失值的预设权重，λ2为所述抓取点轴线下端点坐标损失值的预设权重，
Δui为第i个样本种子点对应的抓取点轴线上端点坐标的预测偏差，Δli为第i抓取点轴线下端点坐标的预测偏差，
为第i个样本种子点对应的抓取点轴线上端点坐标的原始坐标距离重心坐标的真实偏移量，
为第i个样本种子点对应的抓取点轴线下端点坐标的原始坐标距离重心坐标的真实偏移量。
17、根据实施例10至实施例16中任一实施例所述的装置，所述装置还包括采集模块，用于：
通过图像采集装置采集所述目标物体的RGB图像；
根据所述RGB图像，确定所述目标物体的深度图像，并对所述RGB图像进行实例分割，得到对应的类别级蒙版区域；
根据所述类别级蒙版区域、所述图像采集装置的内部参数以及所述深度图像，确定所述目标物体对应的3D点云。
18、根据实施例10至实施例16中任一实施例所述的装置，所述装置还包括获取模块，用于：
根据获取到的所述目标物体的RGB图像以及目标检测算法，确定所述目标物体对应的类别级矩形区域；
对所述类别级矩形区域进行远近裁剪，得到所述目标物体的截锥体区域点云；
基于语义分割模型对所述截锥体区域点云进行语义分割，确定所述目标物体对应的3D点云。
19、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例1至实施例9中任一实施例所述方法的步骤。
20、一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现实施例1至实施例9中任一实施例所述方法的步骤。
Claims (18)
1.一种目标物体抓取方法，其特征在于，所述方法包括：
根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标；
基于下采样方法，根据所述每一输入点的目标坐标生成种子点；
将每一所述种子点的原始坐标输入抓取轴线端点预测模型中，以得到所述目标物体的抓取轴线端点坐标；
根据所述抓取轴线端点坐标确定机器人的抓取位姿，并控制所述机器人按照所述抓取位姿调整位姿，以及按照所述抓取轴线端点坐标对所述目标物体进行抓取；
其中，所述抓取轴线端点预测模型通过如下方式生成所述目标物体的抓取轴线端点坐标：
根据每一所述种子点的原始坐标确定所述目标物体的多个端点坐标簇云；
确定每一所述端点坐标簇云对应的簇云重心坐标；
根据所述每一簇云重心坐标确定对应抓取轴线端点的预测端点坐标，并确定所述端点坐标簇云中每一所述种子点相对于对应预测端点坐标的预测偏移坐标；
根据所述每一种子点的原始坐标以及对应该种子点的预测偏移坐标确定偏移后的目标端点坐标，并将每一所述端点坐标簇云中各所述种子点的目标端点坐标的平均值作为该端点坐标簇云对应的所述抓取轴线端点坐标。
2.根据权利要求1所述的方法，其特征在于，所述根据每一所述种子点的原始坐标确定所述目标物体抓取的多个端点坐标簇云，包括：
根据每一所述种子点的原始坐标确定该种子点的高维特征信息；
根据每一所述种子点的高维特征信息确定对应的偏移值；
根据每一所述种子点的原始坐标以及对应的偏移值，确定所述目标物体的多个端点坐标簇云。
3.根据权利要求1所述的方法，其特征在于，所述根据所述抓取轴线端点坐标确定机器人的抓取位姿包括：以所述抓取轴线端点坐标的连线的垂线方向作为所述机器人的抓取朝向，所述抓取位姿包括所述抓取朝向；
所述控制所述机器人按照所述抓取位姿调整位姿包括：控制所述机器人按照所述抓取朝向调整朝向。
4.根据权利要求1所述的方法，其特征在于，所述根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标，包括：
根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的原始坐标；
根据所述每一输入点的原始坐标确定所述3D点云的重心坐标；
针对所述每一输入点，确定该输入点的原始坐标与所述重心坐标在每一维度上的偏移值；
根据每一维度上的所述偏移值确定对应该输入点的目标坐标。
5.根据权利要求1所述的方法，其特征在于，所述下采样方法为最远点采样方法，所述基于下采样方法，根据所述每一输入点的目标坐标生成种子点，包括：
根据所述目标物体中每一输入点的原始坐标确定所述3D点云的中心点；
选择距离所述3D点云的中心点欧氏距离最远的输入点作为第一种子点；
以所述第一种子点为基准，将与已确定的种子点之间的欧式距离最远的输入点作为新的种子点，直到种子点的个数达到预设阈值。
6.根据权利要求1所述的方法，其特征在于，在所述抓取轴线端点坐标为抓取点轴线上、下端点坐标的情况下，所述抓取轴线端点预测模型的损失函数为：
L＝λ1Lupper+λ2Llowwer；
其中，n为样本种子点的总数量，Lupper为抓取点轴线上端点坐标损失值，Llower为抓取点轴线下端点坐标损失值，λ1为所述抓取点轴线上端点坐标损失值的预设权重，λ2为所述抓取点轴线下端点坐标损失值的预设权重，
Δui为第i个样本种子点对应的抓取点轴线上端点坐标的预测偏差，Δli为第i抓取点轴线下端点坐标的预测偏差，
为第i个样本种子点对应的抓取点轴线上端点坐标的原始坐标距离重心坐标的真实偏移量，
为第i个样本种子点对应的抓取点轴线下端点坐标的原始坐标距离重心坐标的真实偏移量。
7.根据权利要求1-6任一项所述的方法，其特征在于，在所述根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标之前，包括：
通过图像采集装置采集所述目标物体的RGB图像；
根据所述RGB图像，确定所述目标物体的深度图像，并对所述RGB图像进行实例分割，得到对应的类别级蒙版区域；
根据所述类别级蒙版区域、所述图像采集装置的内部参数以及所述深度图像，确定所述目标物体对应的3D点云。
8.根据权利要求1-6任一项所述的方法，其特征在于，在所述根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标之前，包括：
根据获取到的所述目标物体的RGB图像以及目标检测算法，确定所述目标物体对应的类别级矩形区域；
对所述类别级矩形区域进行远近裁剪，得到所述目标物体的截锥体区域点云；
基于语义分割模型对所述截锥体区域点云进行语义分割，确定所述目标物体对应的3D点云。
9.一种目标物体抓取装置，其特征在于，所述装置包括：
确定模块，用于根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的目标坐标；
生成模块，用于基于下采样方法，根据所述每一输入点的目标坐标生成种子点；
输入模块，用于将每一所述种子点的原始坐标输入抓取轴线端点预测模型中，以得到所述目标物体的抓取轴线端点坐标；
控制模块，用于根据所述抓取轴线端点坐标确定机器人的抓取位姿，并控制所述机器人按照所述抓取位姿调整位姿，以及按照所述抓取轴线端点坐标对所述目标物体进行抓取；
其中，所述抓取轴线端点预测模型通过如下方式生成所述目标物体的抓取轴线端点坐标：
第一确定子模块，用于根据每一所述种子点的原始坐标确定所述目标物体的多个端点坐标簇云；
第二确定子模块，用于确定每一所述端点坐标簇云对应的簇云重心坐标；
第三确定子模块，用于根据所述每一簇云重心坐标确定对应抓取轴线端点的预测端点坐标，并确定所述端点坐标簇云中每一所述种子点相对于对应预测端点坐标的预测偏移坐标；
第四确定子模块，用于根据所述每一种子点的原始坐标以及对应该种子点的预测偏移坐标确定偏移后的目标端点坐标，并将每一所述端点坐标簇云中各所述种子点的目标端点坐标的平均值作为该端点坐标簇云对应的所述抓取轴线端点坐标。
10.根据权利要求9所述的装置，所述第一确定子模块用于：
根据每一所述种子点的原始坐标确定该种子点的高维特征信息；
根据每一所述种子点的高维特征信息确定对应的偏移值；
根据每一所述种子点的原始坐标以及对应的偏移值，确定所述目标物体的多个端点坐标簇云。
11.根据权利要求9所述的装置，所述抓取位姿包括抓取朝向，所述控制模块，用于：
以所述抓取轴线端点坐标的连线的垂线方向作为所述机器人的抓取朝向；以及
控制所述机器人按照所述抓取朝向调整朝向。
12.根据权利要求9所述的装置，所述确定模块，用于：
根据所述目标物体对应的3D点云确定所述目标物体中每一输入点的原始坐标；
根据所述每一输入点的原始坐标确定所述3D点云的重心坐标；
针对所述每一输入点，确定该输入点的原始坐标与所述重心坐标在每一维度上的偏移值；
根据每一维度上的所述偏移值确定对应该输入点的目标坐标。
13.根据权利要求9所述的装置，所述下采样方法为最远点采样方法，所述生成模块，用于：
根据所述目标物体中每一输入点的原始坐标确定所述3D点云的中心点；
选择距离所述3D点云的中心点欧氏距离最远的输入点作为第一种子点；
以所述第一种子点为基准，将与已确定的种子点之间的欧式距离最远的输入点作为新的种子点，直到种子点的个数达到预设阈值。
14.根据权利要求9所述的装置，在所述抓取轴线端点坐标为抓取点轴线上、下端点坐标的情况下，所述抓取轴线端点预测模型的损失函数为：
L＝λ1Lupper+λ2Llowwer；
其中，n为样本种子点的总数量，Lupper为抓取点轴线上端点坐标损失值，Llower为抓取点轴线下端点坐标损失值，λ1为所述抓取点轴线上端点坐标损失值的预设权重，λ2为所述抓取点轴线下端点坐标损失值的预设权重，
Δui为第i个样本种子点对应的抓取点轴线上端点坐标的预测偏差，Δli为第i抓取点轴线下端点坐标的预测偏差，
为第i个样本种子点对应的抓取点轴线上端点坐标的原始坐标距离重心坐标的真实偏移量，
为第i个样本种子点对应的抓取点轴线下端点坐标的原始坐标距离重心坐标的真实偏移量。
15.根据权利要求9-14任一项所述的装置，所述装置还包括采集模块，用于：
通过图像采集装置采集所述目标物体的RGB图像；
根据所述RGB图像，确定所述目标物体的深度图像，并对所述RGB图像进行实例分割，得到对应的类别级蒙版区域；
根据所述类别级蒙版区域、所述图像采集装置的内部参数以及所述深度图像，确定所述目标物体对应的3D点云。
16.根据权利要求9-14任一项所述的装置，所述装置还包括获取模块，用于：
根据获取到的所述目标物体的RGB图像以及目标检测算法，确定所述目标物体对应的类别级矩形区域；
对所述类别级矩形区域进行远近裁剪，得到所述目标物体的截锥体区域点云；
基于语义分割模型对所述截锥体区域点云进行语义分割，确定所述目标物体对应的3D点云。
17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8中任一项所述方法的步骤。
18.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-8中任一项所述方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011406175.4A CN112720459B (zh) | 2020-12-02 | 2020-12-02 | 目标物体抓取方法、装置、存储介质及电子设备 |
| PCT/CN2021/122453 WO2022116677A1 (zh) | 2020-12-02 | 2021-09-30 | 目标物体抓取方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011406175.4A CN112720459B (zh) | 2020-12-02 | 2020-12-02 | 目标物体抓取方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112720459A CN112720459A (zh) | 2021-04-30 |
| CN112720459B true CN112720459B (zh) | 2022-07-12 |
Family
ID=75598892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011406175.4A Active CN112720459B (zh) | 2020-12-02 | 2020-12-02 | 目标物体抓取方法、装置、存储介质及电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112720459B (zh) |
| WO (1) | WO2022116677A1 (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112720459B (zh) * | 2020-12-02 | 2022-07-12 | 达闼机器人股份有限公司 | 目标物体抓取方法、装置、存储介质及电子设备 |
| CN113345100B (zh) * | 2021-05-19 | 2023-04-07 | 上海非夕机器人科技有限公司 | 用于物体的目标抓取姿态的预测方法、装置、设备和介质 |
| CN113592884B (zh) * | 2021-08-19 | 2022-08-09 | 遨博（北京）智能科技有限公司 | 一种人体遮罩生成方法 |
| CN114912287B (zh) * | 2022-05-26 | 2023-07-25 | 四川大学 | 基于目标6d位姿估计的机器人自主抓取仿真系统及方法 |
| CN115213122B (zh) * | 2022-07-14 | 2024-07-12 | 中船鹏力(南京)智能装备系统有限公司 | 基于3d深度网络的无序分拣方法 |
| CN115319739B (zh) * | 2022-08-02 | 2024-07-09 | 中国科学院沈阳自动化研究所 | 一种基于视觉机械臂抓取工件方法 |
| CN115570574B (zh) * | 2022-08-31 | 2024-04-30 | 华南理工大学 | 用于远程超声机器人的辅助遥控方法、系统、装置及介质 |
| CN115958605B (zh) * | 2023-01-09 | 2024-06-21 | 成都理工大学 | 单目红外热成像视觉机械手抓取物体姿态估计装置及方法 |
| CN115995013A (zh) * | 2023-03-21 | 2023-04-21 | 江苏金恒信息科技股份有限公司 | 覆盖剂添加方法、装置、计算机设备和存储介质 |
| CN116330306B (zh) * | 2023-05-31 | 2023-08-15 | 之江实验室 | 一种物体的抓取方法、装置、存储介质及电子设备 |
| CN116824064B (zh) * | 2023-07-14 | 2024-06-04 | 湖南大学 | 点云数据模型生成方法、装置、计算设备及存储介质 |
| CN118357934B (zh) * | 2024-06-20 | 2024-08-20 | 深圳市双翌光电科技有限公司 | 一种基于视觉定位的机械手精准定位方法及装置 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107186708B (zh) * | 2017-04-25 | 2020-05-12 | 珠海智卓投资管理有限公司 | 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法 |
| US10646999B2 (en) * | 2017-07-20 | 2020-05-12 | Tata Consultancy Services Limited | Systems and methods for detecting grasp poses for handling target objects |
| EP3676766A4 (en) * | 2017-09-01 | 2021-05-26 | The Regents of the University of California | ROBOTIC SYSTEMS AND ROBUST OBJECT GRIPPING AND TARGETING PROCESSES |
| CN108010036B (zh) * | 2017-11-21 | 2020-01-21 | 江南大学 | 一种基于rgb-d相机的物体对称轴检测方法 |
| CN110363815A (zh) * | 2019-05-05 | 2019-10-22 | 东南大学 | 一种单视角点云下基于实例分割的机器人抓取检测方法 |
| CN110298886B (zh) * | 2019-07-01 | 2020-12-25 | 中国科学技术大学 | 一种基于四级卷积神经网络的灵巧手抓取规划方法 |
| CN110648361B (zh) * | 2019-09-06 | 2022-01-11 | 深圳市华汉伟业科技有限公司 | 一种三维目标物体的实时位姿估计方法及定位抓取系统 |
| CN110653820B (zh) * | 2019-09-29 | 2022-11-01 | 东北大学 | 一种结合几何约束的机器人抓取位姿估计方法 |
| CN110948492B (zh) * | 2019-12-23 | 2021-10-22 | 浙江大学 | 一种基于深度学习的三维抓取平台和抓取方法 |
| CN111652928B (zh) * | 2020-05-11 | 2023-12-15 | 上海交通大学 | 三维点云中物体抓取位姿检测方法 |
| CN112720459B (zh) * | 2020-12-02 | 2022-07-12 | 达闼机器人股份有限公司 | 目标物体抓取方法、装置、存储介质及电子设备 |
-
2020
- 2020-12-02 CN CN202011406175.4A patent/CN112720459B/zh active Active
-
2021
- 2021-09-30 WO PCT/CN2021/122453 patent/WO2022116677A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022116677A1 (zh) | 2022-06-09 |
| CN112720459A (zh) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112720459B (zh) | 目标物体抓取方法、装置、存储介质及电子设备 | |
| CN112150551B (zh) | 物体位姿的获取方法、装置和电子设备 | |
| CN107138432B (zh) | 非刚性物体分拣方法和装置 | |
| CN112435297B (zh) | 目标物体位姿确定方法、装置、存储介质及电子设备 | |
| CN115147558B (zh) | 三维重建模型的训练方法、三维重建方法及装置 | |
| CN112070782B (zh) | 识别场景轮廓的方法、装置、计算机可读介质及电子设备 | |
| CN109559341B (zh) | 一种机械臂抓取方案的生成方法及装置 | |
| CN111275758B (zh) | 混合型3d视觉定位方法、装置、计算机设备及存储介质 | |
| CN115082498A (zh) | 一种机器人抓取位姿估计方法、装置、设备及存储介质 | |
| CN112767294A (zh) | 深度图像的增强方法、装置、电子设备以及存储介质 | |
| CN112070835A (zh) | 机械臂位姿预测方法、装置、存储介质及电子设备 | |
| JP2022014921A (ja) | 路側カメラの外部パラメータに基づく三次元感知情報取得方法及び路側機器 | |
| Caporali et al. | 3D DLO shape detection and grasp planning from multiple 2D views | |
| CN113034526B (zh) | 一种抓取方法、抓取装置及机器人 | |
| JP7475959B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN116246026B (zh) | 三维重建模型的训练方法、三维场景渲染方法及装置 | |
| CN116673955A (zh) | 一种基于深度学习的柔性物体外肢体操作方法及系统 | |
| CN115775214A (zh) | 一种基于多阶段分形组合的点云补全方法及系统 | |
| CN114758076A (zh) | 一种用于建立三维模型的深度学习模型的训练方法及装置 | |
| CN115760575A (zh) | 一种激光点云数据处理方法、装置、电子设备及存储介质 | |
| CN115307622A (zh) | 在动态环境下基于深度学习的自主建图方法和系统 | |
| CN116108601B (zh) | 电力缆线深度几何信息补全方法、检测器、设备及介质 | |
| JP2020102773A (ja) | 画像処理装置、画像処理装置が行う制御方法およびプログラム | |
| CN111754636B (zh) | 三维点云处理方法、三维点云处理模型训练方法及装置 | |
| CN116708995B (zh) | 摄影构图方法、装置及摄影设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai Applicant after: Dayu robot Co.,Ltd. Address before: 200245 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai Applicant before: Dalu Robot Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |