CN109598264B - 物体抓取方法及装置 - Google Patents
物体抓取方法及装置 Download PDFInfo
- Publication number
- CN109598264B CN109598264B CN201710944250.4A CN201710944250A CN109598264B CN 109598264 B CN109598264 B CN 109598264B CN 201710944250 A CN201710944250 A CN 201710944250A CN 109598264 B CN109598264 B CN 109598264B
- Authority
- CN
- China
- Prior art keywords
- grabbing
- grabbed
- image data
- mode
- grabbing mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
Abstract
本发明提出一种物体抓取方法及装置，其中方法包括：获取待抓取物体的图像数据；图像数据包括：待抓取物体表面上各个点的三维坐标信息；根据待抓取物体的图像数据生成至少一个抓取方式；抓取方式包括：至少一个抓取点的三维坐标信息，以及抓取角度；将待抓取物体的图像数据以及抓取方式输入抓取评估模型，获取抓取方式的评估分数；选取评估分数符合规则的抓取方式对待抓取物体进行抓取操作，从而避免采用鲁棒性不高的姿态估计算法，而采用训练好的抓取评估模型，获取评估分数符合规则的抓取方式进行抓取操作，从而提高了抓取方式的准确度，提高了物体抓取的成功率。
Description
技术领域
本发明涉及机器人技术领域，尤其涉及一种物体抓取方法及装置。
背景技术
目前，机器人进行物体抓取的主要流程是，获取物体的图像数据；根据图像数据对物体进行分割、物体识别以及姿态估计；然后根据物体的几何结构以及姿态选择合适的抓点和抓取方式，以便机器人根据抓点以及抓取方式对物体进行抓取操作。
然而，上述方法中，在确定合适的抓点和抓取方式之前，需要先对物体进行分割、物体识别以及姿态估计，而目前的姿态估计算法的鲁棒性不高，传感器噪声、物体遮挡等都会对物体的姿态估计算法产生较大的影响，降低了获取到的抓点以及抓取方式的准确度，从而影响物体抓取的成功率。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种物体抓取方法，用于解决现有技术中获取到的抓点以及抓取方式的准确度差，导致物体抓取成功率低的问题。
本发明的第二个目的在于提出一种物体抓取装置。
本发明的第三个目的在于提出另一种物体抓取装置。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
本发明的第五个目的在于提出一种计算机程序产品。
为达上述目的，本发明第一方面实施例提出了一种物体抓取方法，包括：
获取待抓取物体的图像数据；所述图像数据包括：所述待抓取物体表面上各个点的三维坐标信息；
根据所述待抓取物体的图像数据生成至少一个抓取方式；所述抓取方式包括：至少一个抓取点的三维坐标信息，以及抓取角度；
将所述待抓取物体的图像数据以及所述抓取方式输入抓取评估模型，获取所述抓取方式的评估分数；
选取评估分数符合规则的抓取方式对所述待抓取物体进行抓取操作。
进一步的，所述获取待抓取物体的图像数据之前，还包括：
获取训练数据，所述训练数据中包括：获取仿真物体的图像数据，抓取方式以及标注结果；所述标注结果用于描述使用所述抓取方式应用于所述仿真物体的抓取结果；
根据所述训练数据，对构建的深度卷积神经网络进行训练，得到所述抓取评估模型。
进一步的，所述选取评估分数符合规则的抓取方式对所述待抓取物体进行抓取操作之后，还包括：
获取所述待抓取物体的抓取结果；
根据所述抓取结果，对所述训练数据中所述评估分数符合规则的抓取方式的评估分数进行调整，得到所述抓取方式的标注结果；
将所述待抓取物体的图像数据，所述抓取方式以及所述标注结果作为训练数据，对所述抓取评估模型重新进行训练。
进一步的，所述获取待抓取物体的图像数据之前，包括：
获取所述待抓取物体所处的场景的图像数据；
对所述场景的图像数据中的物体进行识别，获取所述待抓取物体的图像数据。
进一步的，所述获取仿真物体的图像数据，抓取方式以及标注结果，具体包括：
根据所述仿真物体的图像数据生成至少一个抓取方式，结合抓取要素对所述抓取方式进行评估打分；所述抓取要素包括以下要素中的任意一个或者多个：抓取机械臂是否与物体碰撞、物体宽度是否可抓以及抓取方式是否稳固；
根据所述抓取方式的评估分数确定标注结果。
进一步的，所述根据所述待抓取物体的图像数据生成抓取方式，包括：
计算所述待抓取物体的图像数据中每个点的法线和曲率；
根据所述法线和曲率生成抓取方式。
本发明实施例的物体抓取方法，通过获取待抓取物体的图像数据；图像数据包括：待抓取物体表面上各个点的三维坐标信息；根据待抓取物体的图像数据生成至少一个抓取方式；抓取方式包括：至少一个抓取点的三维坐标信息，以及抓取角度；将待抓取物体的图像数据以及抓取方式输入抓取评估模型，获取抓取方式的评估分数；选取评估分数符合规则的抓取方式对待抓取物体进行抓取操作，从而避免采用鲁棒性不高的姿态估计算法，而采用训练好的抓取评估模型，获取评估分数符合规则的抓取方式进行抓取操作，从而提高了抓取方式的准确度，提高了物体抓取的成功率。
为达上述目的，本发明第二方面实施例提出了一种物体抓取装置，包括：
获取模块，用于获取待抓取物体的图像数据；所述图像数据包括：所述待抓取物体表面上各个点的三维坐标信息；
生成模块，用于根据所述待抓取物体的图像数据生成至少一个抓取方式；所述抓取方式包括：至少一个抓取点的三维坐标信息，以及抓取角度；
输入模块，用于将所述待抓取物体的图像数据以及所述抓取方式输入抓取评估模型，获取所述抓取方式的评估分数；
选取模块，用于选取评估分数符合规则的抓取方式对所述待抓取物体进行抓取操作。
进一步的，所述的装置还包括：第一训练模块；
所述获取模块，还用于获取训练数据，所述训练数据中包括：获取仿真物体的图像数据，抓取方式以及标注结果；所述标注结果用于描述使用所述抓取方式应用于所述仿真物体的抓取结果；
所述第一训练模块，用于根据所述训练数据，对构建的深度卷积神经网络进行训练，得到所述抓取评估模型。
进一步的，所述的装置还包括：调整模块和第二训练模块；
所述获取模块，还用于获取所述待抓取物体的抓取结果；
所述调整模块，用于根据所述抓取结果，对所述训练数据中所述评估分数符合规则的抓取方式的评估分数进行调整，得到所述抓取方式的标注结果；
所述第二训练模块，用于将所述待抓取物体的图像数据，所述抓取方式以及所述标注结果作为训练数据，对所述抓取评估模型重新进行训练。
进一步的，所述的装置还包括：识别模块；
所述获取模块，还用于获取所述待抓取物体所处的场景的图像数据；
所述识别模块，用于对所述场景的图像数据中的物体进行识别，获取所述待抓取物体的图像数据。
进一步的，所述获取模块具体用于，
根据所述仿真物体的图像数据生成至少一个抓取方式，结合抓取要素对所述抓取方式进行评估打分；所述抓取要素包括以下要素中的任意一个或者多个：抓取机械臂是否与物体碰撞、物体宽度是否可抓以及抓取方式是否稳固；
根据所述抓取方式的评估分数确定标注结果。
进一步的，所述生成模块具体用于，
计算所述待抓取物体的图像数据中每个点的法线和曲率；
根据所述法线和曲率生成抓取方式。
本发明实施例的物体抓取装置，通过获取待抓取物体的图像数据；图像数据包括：待抓取物体表面上各个点的三维坐标信息；根据待抓取物体的图像数据生成至少一个抓取方式；抓取方式包括：至少一个抓取点的三维坐标信息，以及抓取角度；将待抓取物体的图像数据以及抓取方式输入抓取评估模型，获取抓取方式的评估分数；选取评估分数符合规则的抓取方式对待抓取物体进行抓取操作，从而避免采用鲁棒性不高的姿态估计算法，而采用训练好的抓取评估模型，获取评估分数符合规则的抓取方式进行抓取操作，从而提高了抓取方式的准确度，提高了物体抓取的成功率。
为达上述目的，本发明第三方面实施例提出了另一种物体抓取装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上所述的物体抓取方法。
为了实现上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的物体抓取方法。
为了实现上述目的，本发明第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行一种物体抓取方法，所述方法包括：
获取待抓取物体的图像数据；所述图像数据包括：所述待抓取物体表面上各个点的三维坐标信息；
根据所述待抓取物体的图像数据生成至少一个抓取方式；所述抓取方式包括：至少一个抓取点的三维坐标信息，以及抓取角度；
将所述待抓取物体的图像数据以及所述抓取方式输入抓取评估模型，获取所述抓取方式的评估分数；
选取评估分数符合规则的抓取方式对所述待抓取物体进行抓取操作。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例提供的一种物体抓取方法的流程示意图；
图2为五个物体对应的抓取方式的示意图；
图3为本发明实施例提供的另一种物体抓取方法的流程示意图；
图4为本发明实施例提供的另一种物体抓取方法的流程示意图；
图5为本发明实施例提供的一种物体抓取装置的结构示意图；
图6为本发明实施例提供的另一种物体抓取装置的结构示意图；
图7为本发明实施例提供的另一种物体抓取装置的结构示意图；
图8为本发明实施例提供的另一种物体抓取装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的物体抓取方法及装置。
图1为本发明实施例提供的一种物体抓取方法的流程示意图。如图1所示，该物体抓取方法包括以下步骤：
S101、获取待抓取物体的图像数据；图像数据包括：待抓取物体表面上各个点的三维坐标信息。
本发明提供的物体抓取方法的执行主体为物体抓取装置，物体抓取装置可以为用于抓取物体的设备，例如机器人等，或者为安装在机器人等上的软件或者硬件。
本实施例中，物体抓取装置可以采用深度传感器等采集待抓取物体的图像数据。其中，物体抓取装置可以采用一个深度传感器获取待抓取物体各个侧面上的图像数据，进而得到待抓取物体整个表面上的图像数据；或者物体抓取装置可以采用多个深度传感器获取待抓取物体整个表面上的图像数据。
另外，图像数据中还可以包括：待抓取物体的颜色信息和强度信息。颜色信息可以通过相机获取待抓取物体的彩色影像，然后将对应位置的像素的颜色信息(RGB)赋予对应位置的点。强度信息的获取是激光扫描仪接收装置采集到的回波强度，此强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。
进一步的，本实施例中，由于待抓取物体可能和其他物体放置在同一场景中，难以区分，物体抓取装置难以直接从场景中获取待抓取物体的图像数据，因此，获取待抓取物体的图像数据的其中一种可选的方式可以为，获取待抓取物体所处的场景的图像数据；对场景的图像数据中的物体进行识别，获取待抓取物体的图像数据。例如，若待抓取的物体放置在桌面上，桌面上还包括除待抓取的物体之外的其他物体，此时物体抓取装置可以先获取桌面上所有物体的图像数据，然后对图像数据中的各个物体进行识别，获取待抓取物体的图像数据。
S102、根据待抓取物体的图像数据生成至少一个抓取方式；抓取方式包括：至少一个抓取点的三维坐标信息，以及抓取角度。
具体的，以机器人的机械臂的抓取端成开口的方形为例进行说明，如图2所示，图2为五个物体对应的抓取方式的示意图。在图2中，在物体的表面上显示有多个抓取端，对应表示多个抓取方式。每个抓取方式具有不同的抓取点或者不同的抓取角度。其中，抓取点为机械臂的抓取端与物体的接触点；抓取角度表示机械臂的抓取端与物体之间的角度。
本实施例中，物体抓取装置根据待抓取物体的图像数据生成至少一个抓取方式的过程具体可以为，计算待抓取物体的图像数据中每个点的法线和曲率；根据法线和曲率生成抓取方式。
S103、将待抓取物体的图像数据以及抓取方式输入抓取评估模型，获取抓取方式的评估分数。
S104、选取评估分数符合规则的抓取方式对待抓取物体进行抓取操作。
其中，所述规则例如可以对应的评估分数大于预设评估分数，或者，对应的评估分数为最大值等，可以根据需要进行设置，此处不做具体限定。
其中，以所述规则为对应的评估分数为最大值为例，物体抓取装置可以获取对应的评估分数为最大值的抓取方式，按照该抓取方式，计算机械臂上各个轴的位置和角度，进而控制机械臂上的各个轴，使得机械臂的抓取端能够按照该抓取方式抓取待抓取物体。
本发明实施例的物体抓取方法，通过获取待抓取物体的图像数据；图像数据包括：待抓取物体表面上各个点的三维坐标信息；根据待抓取物体的图像数据生成至少一个抓取方式；抓取方式包括：至少一个抓取点的三维坐标信息，以及抓取角度；将待抓取物体的图像数据以及抓取方式输入抓取评估模型，获取抓取方式的评估分数；选取评估分数符合规则的抓取方式对待抓取物体进行抓取操作，从而避免采用鲁棒性不高的姿态估计算法，而采用训练好的抓取评估模型，获取评估分数符合规则的抓取方式进行抓取操作，从而提高了抓取方式的准确度，提高了物体抓取的成功率。
图3为本发明实施例提供的另一种物体抓取方法的流程示意图。如图3所示，在图1所示实施例的基础上，步骤101之前，所述的方法还可以包括：
S105、获取训练数据，训练数据中包括：获取仿真物体的图像数据，抓取方式以及标注结果；标注结果用于描述使用抓取方式应用于仿真物体的抓取结果。
本实施例中，物体抓取装置可以从互联网上的谷歌3D模型库、模型网站ShapeNet等获取大量物体的仿真模型，进而获取到大量的仿真物体的图像数据；物体抓取装置可以计算仿真物体的图像数据中每个点的法线和曲率，进而生成每个仿真物体的至少一个抓取方式。然后结合抓取要素对抓取方式进行评估打分，获取抓取方式的评估分数，进而根据抓取方式的评估分数确定标注结果。其中，抓取要素可以包括以下要素中的任意一个或者多个：抓取机械臂是否与物体碰撞、物体宽度是否可抓以及抓取方式是否稳固。
例如，标注结果可以为0、1。若抓取方式的评估分数大于第一预设分数，则确定抓取方式的标注结果为1；若抓取方式的评估分数小于第二预设分数，则确定抓取方式的标注结果为0。
S106、根据训练数据，对构建的深度卷积神经网络进行训练，得到抓取评估模型。
本实施例中，具体的，物体抓取装置每次可以将一个仿真物体的图像数据以及一个抓取方式输入构建的深度卷积神经网络中，对深度卷积神经网络中的各系数进行调整，直至深度卷积神经网络的输出为所述抓取方式的标注结果为止；依次类推，根据每个仿真物体的图像数据、抓取方式以及标注结果对深度卷积神经网络进行训练，得到抓取评估模型。
另外，还需要进行说明的是，对抓取评估模型训练完成后，物体抓取装置还可以获取测试数据，测试数据中包括至少一个物体的图像数据，抓取方式以及标注结果；根据测试数据对训练好的抓取评估模型进行测试，判断抓取评估模型的输出是否满足要求；若抓取评估模型的输出不满足要求，则重新获取训练数据，对抓取评估模型重新进行训练。
本实施例中，采用上述经过大量的训练数据训练得到的抓取评估模型，进行抓取方式评估分数确定，能够提高确定的评估分数的准确度，进而能够选择合适的抓取方式，从而提高物体抓取的成功率，且在待抓取物体的某个侧面存在部分遮挡时，也能够结合其他侧面上各个点的三维坐标信息，获取合适的抓取方式。
本发明实施例的物体抓取方法，通过先获取训练数据，训练数据中包括：获取仿真物体的图像数据，抓取方式以及标注结果；标注结果用于描述使用抓取方式应用于仿真物体的抓取结果；根据训练数据，对构建的深度卷积神经网络进行训练，得到抓取评估模型；然后获取待抓取物体的图像数据；图像数据包括：待抓取物体表面上各个点的三维坐标信息；根据待抓取物体的图像数据生成至少一个抓取方式；抓取方式包括：至少一个抓取点的三维坐标信息，以及抓取角度；将待抓取物体的图像数据以及抓取方式输入抓取评估模型，获取抓取方式的评估分数；选取评估分数符合规则的抓取方式对待抓取物体进行抓取操作，从而避免采用鲁棒性不高的姿态估计算法，而采用训练好的抓取评估模型，获取评估分数符合规则的抓取方式进行抓取操作，从而提高了抓取方式的准确度，提高了物体抓取的成功率。
图4为本发明实施例提供的另一种物体抓取方法的流程示意图。如图4所示，在图1所示实施例的基础上，步骤104之前，所述的方法还可以包括：
S107、获取待抓取物体的抓取结果。
其中，待抓取物体的抓取结果，为采用评估分数符合规则的抓取方式对待抓取物体进行抓取操作之后，得到的抓取结果。该抓取结果例如可以为，抓取成功，或者，抓取失败。
S108、根据抓取结果，对训练数据中评估分数符合规则的抓取方式的评估分数进行调整，得到抓取方式的标注结果。
例如，若抓取结果为抓取成功，则物体抓取装置可以将该抓取方式的评估分数调高至大于第一预设分数，进而确定该抓取方式的标注结果为1；若抓取结果为抓取失败，则物体抓取装置可以将该抓取方式的评估分数调低至小于第二预设分数，进而确定该抓取方式的标注结果为0。
S109、将待抓取物体的图像数据，抓取方式以及标注结果作为训练数据，对抓取评估模型重新进行训练。
本发明实施例的物体抓取方法，通过获取待抓取物体的图像数据；图像数据包括：待抓取物体表面上各个点的三维坐标信息；根据待抓取物体的图像数据生成至少一个抓取方式；抓取方式包括：至少一个抓取点的三维坐标信息，以及抓取角度；将待抓取物体的图像数据以及抓取方式输入抓取评估模型，获取抓取方式的评估分数；选取评估分数符合规则的抓取方式对待抓取物体进行抓取操作；获取待抓取物体的抓取结果；根据抓取结果，对训练数据中评估分数符合规则的抓取方式的评估分数进行调整，得到抓取方式的标注结果；将待抓取物体的图像数据，抓取方式以及标注结果作为训练数据，对抓取评估模型重新进行训练，从而进一步提高抓取评估模型输出的评估分数的准确性，进一步提高了抓取方式的准确度，进一步提高了物体抓取的成功率。
图5为本发明实施例提供的一种物体抓取装置的结构示意图。如图5所示，包括：获取模块51、生成模块52、输入模块53和选取模块54。
其中，获取模块51，用于获取待抓取物体的图像数据；所述图像数据包括：所述待抓取物体表面上各个点的三维坐标信息；
生成模块52，用于根据所述待抓取物体的图像数据生成至少一个抓取方式；所述抓取方式包括：至少一个抓取点的三维坐标信息，以及抓取角度；
输入模块53，用于将所述待抓取物体的图像数据以及所述抓取方式输入抓取评估模型，获取所述抓取方式的评估分数；
选取模块54，用于选取评估分数符合规则的抓取方式对所述待抓取物体进行抓取操作。
本发明提供的物体抓取装置可以为用于抓取物体的设备，例如机器人等，或者为安装在机器人等上的软件或者硬件。
另外，图像数据中还可以包括：待抓取物体的颜色信息和强度信息。颜色信息可以通过相机获取待抓取物体的彩色影像，然后将对应位置的像素的颜色信息(RGB)赋予对应位置的点。强度信息的获取是激光扫描仪接收装置采集到的回波强度，此强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。
本实施例中，物体抓取装置根据待抓取物体的图像数据生成至少一个抓取方式的过程具体可以为，计算待抓取物体的图像数据中每个点的法线和曲率；根据法线和曲率生成抓取方式。
进一步的，本实施例中，由于待抓取物体可能和其他物体放置在同一场景中，难以区分，物体抓取装置难以直接从场景中获取待抓取物体的图像数据，因此，在上述实施例的基础上，所述的装置还可以包括：识别模块；
所述获取模块51，还用于获取所述待抓取物体所处的场景的图像数据；
所述识别模块，用于对所述场景的图像数据中的物体进行识别，获取所述待抓取物体的图像数据。
本发明实施例的物体抓取装置，通过获取待抓取物体的图像数据；图像数据包括：待抓取物体表面上各个点的三维坐标信息；根据待抓取物体的图像数据生成至少一个抓取方式；抓取方式包括：至少一个抓取点的三维坐标信息，以及抓取角度；将待抓取物体的图像数据以及抓取方式输入抓取评估模型，获取抓取方式的评估分数；选取评估分数符合规则的抓取方式对待抓取物体进行抓取操作，从而避免采用鲁棒性不高的姿态估计算法，而采用训练好的抓取评估模型，获取评估分数符合规则的抓取方式进行抓取操作，从而提高了抓取方式的准确度，提高了物体抓取的成功率。
进一步的，结合参考图6，在图5所示实施例的基础上，所述的装置还可以包括：第一训练模块55；
所述获取模块51，还用于获取训练数据，所述训练数据中包括：获取仿真物体的图像数据，抓取方式以及标注结果；所述标注结果用于描述使用所述抓取方式应用于所述仿真物体的抓取结果；
所述第一训练模块55，用于根据所述训练数据，对构建的深度卷积神经网络进行训练，得到所述抓取评估模型。
本实施例中，物体抓取装置可以从互联网上的谷歌3D模型库、模型网站ShapeNet等获取大量物体的仿真模型，进而获取到大量的仿真物体的图像数据；物体抓取装置可以计算仿真物体的图像数据中每个点的法线和曲率，进而生成每个仿真物体的至少一个抓取方式。
进一步的，所述获取模块具体可以用于，根据所述仿真物体的图像数据生成至少一个抓取方式，结合抓取要素对所述抓取方式进行评估打分；所述抓取要素包括以下要素中的任意一个或者多个：抓取机械臂是否与物体碰撞、物体宽度是否可抓以及抓取方式是否稳固；根据所述抓取方式的评估分数确定标注结果。
例如，标注结果可以为0、1。若抓取方式的评估分数大于第一预设分数，则确定抓取方式的标注结果为1；若抓取方式的评估分数小于第二预设分数，则确定抓取方式的标注结果为0。
另外，还需要进行说明的是，对抓取评估模型训练完成后，物体抓取装置还可以获取测试数据，测试数据中包括至少一个物体的图像数据，抓取方式以及标注结果；根据测试数据对训练好的抓取评估模型进行测试，判断抓取评估模型的输出是否满足要求；若抓取评估模型的输出不满足要求，则重新获取训练数据，对抓取评估模型重新进行训练。
本实施例中，采用上述经过大量的训练数据训练得到的抓取评估模型，进行抓取方式评估分数确定，能够提高确定的评估分数的准确度，进而能够选择合适的抓取方式，从而提高物体抓取的成功率，且在待抓取物体的某个侧面存在部分遮挡时，也能够结合其他侧面上各个点的三维坐标信息，获取合适的抓取方式。
本发明实施例的物体抓取装置，通过先获取训练数据，训练数据中包括：获取仿真物体的图像数据，抓取方式以及标注结果；标注结果用于描述使用抓取方式应用于仿真物体的抓取结果；根据训练数据，对构建的深度卷积神经网络进行训练，得到抓取评估模型；然后获取待抓取物体的图像数据；图像数据包括：待抓取物体表面上各个点的三维坐标信息；根据待抓取物体的图像数据生成至少一个抓取方式；抓取方式包括：至少一个抓取点的三维坐标信息，以及抓取角度；将待抓取物体的图像数据以及抓取方式输入抓取评估模型，获取抓取方式的评估分数；选取评估分数符合规则的抓取方式对待抓取物体进行抓取操作，从而避免采用鲁棒性不高的姿态估计算法，而采用训练好的抓取评估模型，获取评估分数符合规则的抓取方式进行抓取操作，从而提高了抓取方式的准确度，提高了物体抓取的成功率。
进一步的，结合参考图7，在图5所示实施例的基础上，所述的装置还可以包括：调整模块56和第二训练模块57；
所述获取模块51，还用于获取所述待抓取物体的抓取结果；
所述调整模块56，用于根据所述抓取结果，对所述训练数据中所述评估分数符合规则的抓取方式的评估分数进行调整，得到所述抓取方式的标注结果；
所述第二训练模块57，用于将所述待抓取物体的图像数据，所述抓取方式以及所述标注结果作为训练数据，对所述抓取评估模型重新进行训练。
其中，待抓取物体的抓取结果，为采用评估分数符合规则的抓取方式对待抓取物体进行抓取操作之后，得到的抓取结果。该抓取结果例如可以为，抓取成功，或者，抓取失败。
例如，若抓取结果为抓取成功，则物体抓取装置可以将该抓取方式的评估分数调高至大于第一预设分数，进而确定该抓取方式的标注结果为1；若抓取结果为抓取失败，则物体抓取装置可以将该抓取方式的评估分数调低至小于第二预设分数，进而确定该抓取方式的标注结果为0。
本发明实施例的物体抓取装置，通过获取待抓取物体的图像数据；图像数据包括：待抓取物体表面上各个点的三维坐标信息；根据待抓取物体的图像数据生成至少一个抓取方式；抓取方式包括：至少一个抓取点的三维坐标信息，以及抓取角度；将待抓取物体的图像数据以及抓取方式输入抓取评估模型，获取抓取方式的评估分数；选取评估分数符合规则的抓取方式对待抓取物体进行抓取操作；获取待抓取物体的抓取结果；根据抓取结果，对训练数据中评估分数符合规则的抓取方式的评估分数进行调整，得到抓取方式的标注结果；将待抓取物体的图像数据，抓取方式以及标注结果作为训练数据，对抓取评估模型重新进行训练，从而进一步提高抓取评估模型输出的评估分数的准确性，进一步提高了抓取方式的准确度，进一步提高了物体抓取的成功率。
图8为本发明实施例提供的另一种物体抓取装置的结构示意图。该物体抓取装置包括：
存储器1001、处理器1002及存储在存储器1001上并可在处理器1002上运行的计算机程序。
处理器1002执行所述程序时实现上述实施例中提供的物体抓取方法。
进一步地，物体抓取装置还包括：
通信接口1003，用于存储器1001和处理器1002之间的通信。
存储器1001，用于存放可在处理器1002上运行的计算机程序。
存储器1001可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器1002，用于执行所述程序时实现上述实施例所述的物体抓取方法。
如果存储器1001、处理器1002和通信接口1003独立实现，则通信接口1003、存储器1001和处理器1002可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(Peripheral Component，简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture，简称为EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器1001、处理器1002及通信接口1003，集成在一块芯片上实现，则存储器1001、处理器1002及通信接口1003可以通过内部接口完成相互间的通信。
处理器1002可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的物体抓取方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (14)
1.一种物体抓取方法，其特征在于，包括：
获取待抓取物体的图像数据；所述图像数据包括：所述待抓取物体表面上各个点的三维坐标信息；
根据所述待抓取物体的图像数据生成至少一个抓取方式；所述抓取方式包括：至少一个抓取点的三维坐标信息，以及抓取角度，每个所述抓取方式具有不同的抓取点或者不同的抓取角度；
将所述待抓取物体的图像数据以及所述抓取方式输入抓取评估模型，获取所述抓取方式的评估分数；
选取评估分数符合规则的抓取方式对所述待抓取物体进行抓取操作。
2.根据权利要求1所述的方法，其特征在于，所述获取待抓取物体的图像数据之前，还包括：
获取训练数据，所述训练数据中包括：获取仿真物体的图像数据，抓取方式以及标注结果；所述标注结果用于描述使用所述抓取方式应用于所述仿真物体的抓取结果；
根据所述训练数据，对构建的深度卷积神经网络进行训练，得到所述抓取评估模型。
3.根据权利要求2所述的方法，其特征在于，所述选取评估分数符合规则的抓取方式对所述待抓取物体进行抓取操作之后，还包括：
获取所述待抓取物体的抓取结果；
根据所述抓取结果，对所述训练数据中所述评估分数符合规则的抓取方式的评估分数进行调整，得到所述抓取方式的标注结果；
将所述待抓取物体的图像数据，所述抓取方式以及所述标注结果作为训练数据，对所述抓取评估模型重新进行训练。
4.根据权利要求1所述的方法，其特征在于，所述获取待抓取物体的图像数据之前，包括：
获取所述待抓取物体所处的场景的图像数据；
对所述场景的图像数据中的物体进行识别，获取所述待抓取物体的图像数据。
5.根据权利要求2所述的方法，其特征在于，所述获取仿真物体的图像数据，抓取方式以及标注结果，具体包括：
根据所述仿真物体的图像数据生成至少一个抓取方式，结合抓取要素对所述抓取方式进行评估打分；所述抓取要素包括以下要素中的任意一个或者多个：抓取机械臂是否与物体碰撞、物体宽度是否可抓以及抓取方式是否稳固；
根据所述抓取方式的评估分数确定标注结果。
6.根据权利要求1所述的方法，其特征在于，所述根据所述待抓取物体的图像数据生成抓取方式，包括：
计算所述待抓取物体的图像数据中每个点的法线和曲率；
根据所述法线和曲率生成抓取方式。
7.一种物体抓取装置，其特征在于，包括：
获取模块，用于获取待抓取物体的图像数据；所述图像数据包括：所述待抓取物体表面上各个点的三维坐标信息；
生成模块，用于根据所述待抓取物体的图像数据生成至少一个抓取方式；所述抓取方式包括：至少一个抓取点的三维坐标信息，以及抓取角度，每个所述抓取方式具有不同的抓取点或者不同的抓取角度；
输入模块，用于将所述待抓取物体的图像数据以及所述抓取方式输入抓取评估模型，获取所述抓取方式的评估分数；
选取模块，用于选取评估分数符合规则的抓取方式对所述待抓取物体进行抓取操作。
8.根据权利要求7所述的装置，其特征在于，还包括：第一训练模块；
所述获取模块，还用于获取训练数据，所述训练数据中包括：获取仿真物体的图像数据，抓取方式以及标注结果；所述标注结果用于描述使用所述抓取方式应用于所述仿真物体的抓取结果；
所述第一训练模块，用于根据所述训练数据，对构建的深度卷积神经网络进行训练，得到所述抓取评估模型。
9.根据权利要求8所述的装置，其特征在于，还包括：调整模块和第二训练模块；
所述获取模块，还用于获取所述待抓取物体的抓取结果；
所述调整模块，用于根据所述抓取结果，对所述训练数据中所述评估分数符合规则的抓取方式的评估分数进行调整，得到所述抓取方式的标注结果；
所述第二训练模块，用于将所述待抓取物体的图像数据，所述抓取方式以及所述标注结果作为训练数据，对所述抓取评估模型重新进行训练。
10.根据权利要求7所述的装置，其特征在于，还包括：识别模块；
所述获取模块，还用于获取所述待抓取物体所处的场景的图像数据；
所述识别模块，用于对所述场景的图像数据中的物体进行识别，获取所述待抓取物体的图像数据。
11.根据权利要求8所述的装置，其特征在于，所述获取模块具体用于，
根据所述仿真物体的图像数据生成至少一个抓取方式，结合抓取要素对所述抓取方式进行评估打分；所述抓取要素包括以下要素中的任意一个或者多个：抓取机械臂是否与物体碰撞、物体宽度是否可抓以及抓取方式是否稳固；
根据所述抓取方式的评估分数确定标注结果。
12.根据权利要求7所述的装置，其特征在于，所述生成模块具体用于，
计算所述待抓取物体的图像数据中每个点的法线和曲率；
根据所述法线和曲率生成抓取方式。
13.一种物体抓取装置，其特征在于，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一所述的物体抓取方法。
14.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的物体抓取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710944250.4A CN109598264B (zh) | 2017-09-30 | 2017-09-30 | 物体抓取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710944250.4A CN109598264B (zh) | 2017-09-30 | 2017-09-30 | 物体抓取方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109598264A CN109598264A (zh) | 2019-04-09 |
| CN109598264B true CN109598264B (zh) | 2020-10-16 |
Family
ID=65956863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710944250.4A Active CN109598264B (zh) | 2017-09-30 | 2017-09-30 | 物体抓取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109598264B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109927012B (zh) * | 2019-04-08 | 2021-07-30 | 清华大学 | 移动抓取机器人和自动取货方法 |
| CN110363811B (zh) * | 2019-06-21 | 2022-02-08 | 达闼机器人有限公司 | 用于抓取设备的控制方法、装置、存储介质及电子设备 |
| CN110363244A (zh) * | 2019-07-16 | 2019-10-22 | 中国工商银行股份有限公司 | 一种营销数据处理的方法和装置 |
| CN111325795B (zh) * | 2020-02-25 | 2023-07-25 | 深圳市商汤科技有限公司 | 一种图像处理方法、装置、存储介质及机器人 |
| CN113128411A (zh) * | 2021-04-22 | 2021-07-16 | 深圳市格灵精睿视觉有限公司 | 跨域抓取识别方法、装置、电子设备及存储介质 |
| CN113787521B (zh) * | 2021-09-24 | 2023-04-18 | 上海微电机研究所(中国电子科技集团公司第二十一研究所) | 基于深度学习的机器人抓取方法、系统、介质和电子设备 |
| CN115213890B (zh) * | 2021-09-29 | 2023-12-08 | 达闼科技（北京）有限公司 | 抓取的控制方法、装置、服务器、电子设备及存储介质 |
| CN114083535B (zh) * | 2021-11-18 | 2023-06-13 | 清华大学 | 一种机器手抓取姿势质量的物理度量方法及装置 |
| CN116416444B (zh) * | 2021-12-29 | 2024-04-16 | 广东美的白色家电技术创新中心有限公司 | 物体抓取点估计、模型训练及数据生成方法、装置及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100999077A (zh) * | 2006-12-28 | 2007-07-18 | 中国科学院合肥物质科学研究院 | 一种多用途形状自适应机器人手爪及工作方法 |
| CN104965517A (zh) * | 2015-07-07 | 2015-10-07 | 张耀伦 | 一种机器人笛卡尔空间轨迹的规划方法 |
| CN105196290A (zh) * | 2014-06-20 | 2015-12-30 | 通用汽车环球科技运作有限责任公司 | 实时的机器人抓取规划 |
| CN106737692A (zh) * | 2017-02-10 | 2017-05-31 | 杭州迦智科技有限公司 | 一种基于深度投影的机械手爪抓取规划方法及控制装置 |
| CN106874914A (zh) * | 2017-01-12 | 2017-06-20 | 华南理工大学 | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 |
-
2017
- 2017-09-30 CN CN201710944250.4A patent/CN109598264B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100999077A (zh) * | 2006-12-28 | 2007-07-18 | 中国科学院合肥物质科学研究院 | 一种多用途形状自适应机器人手爪及工作方法 |
| CN105196290A (zh) * | 2014-06-20 | 2015-12-30 | 通用汽车环球科技运作有限责任公司 | 实时的机器人抓取规划 |
| CN104965517A (zh) * | 2015-07-07 | 2015-10-07 | 张耀伦 | 一种机器人笛卡尔空间轨迹的规划方法 |
| CN106874914A (zh) * | 2017-01-12 | 2017-06-20 | 华南理工大学 | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 |
| CN106737692A (zh) * | 2017-02-10 | 2017-05-31 | 杭州迦智科技有限公司 | 一种基于深度投影的机械手爪抓取规划方法及控制装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109598264A (zh) | 2019-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109598264B (zh) | 物体抓取方法及装置 | |
| JP6415066B2 (ja) | 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム | |
| CN107481292B (zh) | 车载摄像头的姿态误差估计方法和装置 | |
| JP6192261B2 (ja) | 情報処理装置及び情報処理方法 | |
| JP5297403B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラムおよび記憶媒体 | |
| CN106945035B (zh) | 机器人控制设备及其控制方法和机器人系统 | |
| KR101791590B1 (ko) | 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법 | |
| JP4791595B2 (ja) | 画像撮影装置、画像撮影方法および画像撮影プログラム | |
| EP2538242A1 (en) | Depth measurement quality enhancement. | |
| JP6331517B2 (ja) | 画像処理装置、システム、画像処理方法、および画像処理プログラム | |
| JP6821326B2 (ja) | 情報処理装置、計測システム、情報処理方法およびプログラム | |
| CN107016348B (zh) | 结合深度信息的人脸检测方法、检测装置和电子装置 | |
| JP2018136896A (ja) | 情報処理装置、システム、情報処理方法、および物品の製造方法 | |
| JP2016091053A (ja) | 情報処理装置および容器形状の推定方法、ワークピッキングシステム、プログラム | |
| JP2017033429A (ja) | ３次元物体検査装置 | |
| JP2020001127A (ja) | ピッキングシステム，ピッキング処理装置及びプログラム | |
| CN110463376A (zh) | 一种插机方法及插机设备 | |
| JP2018169660A (ja) | オブジェクト姿勢検出装置、制御装置、ロボットおよびロボットシステム | |
| JP5704909B2 (ja) | 注目領域検出方法、注目領域検出装置、及びプログラム | |
| JP2018022247A5 (zh) | ||
| JP2018195070A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP2009288917A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP2021086432A (ja) | 情報処理装置、情報処理方法、コンピュータプログラム、計測装置、システムおよび物品の製造方法 | |
| JP4921847B2 (ja) | 対象物の三次元位置推定装置 | |
| CN115862124B (zh) | 视线估计方法、装置、可读存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |