CN116485896A - 基于机器人的物体抓取方法、装置、机器人及存储介质 - Google Patents

基于机器人的物体抓取方法、装置、机器人及存储介质 Download PDF

Info

Publication number
CN116485896A
CN116485896A CN202310449809.1A CN202310449809A CN116485896A CN 116485896 A CN116485896 A CN 116485896A CN 202310449809 A CN202310449809 A CN 202310449809A CN 116485896 A CN116485896 A CN 116485896A
Authority
CN
China
Prior art keywords
target object
point cloud
target
data set
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310449809.1A
Other languages
English (en)
Inventor
于淼
祝放
何辉
杨智康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202310449809.1A priority Critical patent/CN116485896A/zh
Publication of CN116485896A publication Critical patent/CN116485896A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种基于机器人的物体抓取方法、装置、机器人及存储介质，涉及人工智能技术领域。该方法应用于机器人，机器人上配备有抓手；包括：获取目标对象所在场景的点云图像，并在点云图像中对目标对象进行自动框选处理，得到目标对象的目标框；目标框中含有目标对象的点云数据；根据目标框中的点云数据，对目标框中的目标对象进行表面提取处理，得到目标对象的待处理数据集合；待处理数据集合包括目标对象的表面的点云数据；根据目标对象的待处理数据集合，确定目标对象的属性信息；属性信息表示目标对象的大小信息和位置信息；根据目标对象的属性信息，控制机器人的抓手抓取目标对象。本申请的方法，提高了物体抓取的精度和效率。

Description

基于机器人的物体抓取方法、装置、机器人及存储介质
技术领域
本申请涉及人工智能技术，尤其涉及一种基于机器人的物体抓取方法、装置、机器人及存储介质。
背景技术
机器人视觉是人工智能技术中，正在快速发展的一个分支。简单说来，机器人视觉就是用机器人代替人眼来做测量和判断。通过机器人视觉技术，可以控制机器人对环境中的物体进行自动抓取。
随着低成本深度传感器与激光雷达的飞速发展，三维点云数据的获取越来越方便。如何通过三维点云数据识别到环境中的物体，并对物体进行精确抓取，成为目前研究的重点。
发明内容
本申请提供一种基于机器人的物体抓取方法、装置、机器人及存储介质，用以提高物体抓取的精度。
第一方面，本申请提供一种基于机器人的物体抓取方法，该方法应用于机器人，机器人上配备有抓手；该方法包括：
获取目标对象所在场景的点云图像，其中，所述点云图像中包括目标对象所在场景的点云数据；并在所述点云图像中对所述目标对象进行自动框选处理，得到所述目标对象的目标框；其中，所述目标框中含有所述目标对象的点云数据；
根据所述目标框中的点云数据，对所述目标框中的目标对象进行表面提取处理，得到所述目标对象的待处理数据集合；其中，所述待处理数据集合包括目标对象的表面的点云数据；
根据所述目标对象的待处理数据集合，确定所述目标对象的属性信息；其中，所述属性信息用于表示目标对象的大小信息和位置信息；
根据所述目标对象的属性信息，控制所述机器人的抓手抓取所述目标对象。
第二方面，本申请提供一种基于机器人的物体抓取装置，该装置应用于机器人，机器人上配备有抓手；该装置包括：
物体框选模块，用于获取目标对象所在场景的点云图像，其中，所述点云图像中包括目标对象所在场景的点云数据；并在所述点云图像中对所述目标对象进行自动框选处理，得到所述目标对象的目标框；其中，所述目标框中含有所述目标对象的点云数据；
表面提取模块，用于根据所述目标框中的点云数据，对所述目标框中的目标对象进行表面提取处理，得到所述目标对象的待处理数据集合；其中，所述待处理数据集合包括目标对象的表面的点云数据；
信息确定模块，用于根据所述目标对象的待处理数据集合，确定所述目标对象的属性信息；其中，所述属性信息用于表示目标对象的大小信息和位置信息；
物体抓取模块，用于根据所述目标对象的属性信息，控制所述机器人的抓手抓取所述目标对象。
第三方面，本申请提供一种机器人，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如本申请第一方面所述的基于机器人的物体抓取方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如本申请第一方面所述的基于机器人的物体抓取方法。
第五方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本申请第一方面所述的基于机器人的物体抓取方法。
本申请提供的一种基于机器人的物体抓取方法、装置、机器人及存储介质，通过获取目标对象所在场景的点云图像，从点云图像中得到含有目标对象的目标框。即，对点云图像中的目标对象进行了初步识别。对目标框中的目标对象进行表面提取，得到目标对象各个表面的点云数据，作为待处理数据。根据目标对象的待处理数据，确定目标对象的大小和位置等属性信息，从而控制机器人的抓手抓取目标对象。解决了现有技术中，需要通过密集型计算来确定物体的6D位姿，所造成的计算量大和计算效率低等问题。通过对目标对象各个表面进行确定，可以精确地确定目标对象的边界，提高物体识别精度，进而提高物体抓取精度和效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的一种基于机器人的物体抓取方法的流程示意图；
图2为本申请实施例提供的抓手的抓取示意图；
图3为本申请实施例提供的一种基于机器人的物体抓取方法的流程示意图；
图4为本申请实施例提供的一种基于机器人的物体抓取装置的结构框图；
图5为本申请实施例提供的一种基于机器人的物体抓取装置的结构框图；
图6为本申请实施例提供的一种电子设备的结构框图；
图7为本申请实施例提供的一种电子设备的结构框图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
需要注意的是，由于篇幅所限，本申请说明书没有穷举所有可选的实施方式，本领域技术人员在阅读本申请说明书后，应该能够想到，只要技术特征不互相矛盾，那么技术特征的任意组合均可以构成可选的实施方式。下面对各实施例进行详细说明。
机器人视觉是人工智能正在快速发展的一个分支。简单说来，机器人视觉就是用机器人代替人眼来做测量和判断，实现用计算机来完成人的视觉功能。机器人视觉模块可以被用来理解被观察对象的形状、尺寸、离开观察点的距离、质地和运动特征等。视觉模块通过图像摄取装置将被观察对象转换成图像信号，经过专用的图像处理系统的处理，得到被观察对象的形态和位置信息等。
对于机器人来讲，它的视觉模块将通过视觉传感器感知环境并实现对物体的识别与定位。视觉模块的质量直接决定了后续机器人的抓取和放置的精度。受益于计算机算力的不断提高以及传感器成像水平的高速发展，目前针对结构化环境或者半结构化环境中，基于二维图像的机器人平面单目标物体的抓取技术已经趋于成熟，并取得了丰富的研究成果。然而，对于现实复杂环境中的三维物体，仅使用二维信息对三维目标对象进行识别，会不可避免的造成信息损失，从而影响机器人对于目标对象的抓取操作。
在涉及机器人的抓取与放置方面，对于现实狭窄杂乱环境中的三维物体，由于部分遮挡、照明不足、物体的形状和大小的变化等因素，会不可避免的造成信息损失，从而影响机器人对于目标物体的抓取操作。业内一般的机器人三维视觉算法，使用深度学习算法直接处理点云图像，通过密集型计算来确定物体的6D位姿，计算量大，计算的效率和精度较低，影响物体抓取的效率和精度。
本申请提供的一种基于机器人的物体抓取方法、装置、机器人及存储介质，旨在解决现有技术的如上技术问题。
需要说明的是，本公开的一种基于机器人的物体抓取方法、装置、机器人及存储介质可用于人工智能领域，也可用于除人工智能领域以外的任意领域。本公开的一种基于机器人的物体抓取方法、装置、机器人及存储介质的应用领域不作限定。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图1是根据本申请实施例提供的一种基于机器人的物体抓取方法的流程示意图，该方法应用于机器人，机器人上配备有抓手，可以由一种基于机器人的物体抓取装置执行。如图1所示，该方法包括以下步骤：
S101、获取目标对象所在场景的点云图像，其中，点云图像中包括目标对象所在场景的点云数据；并在点云图像中对目标对象进行自动框选处理，得到目标对象的目标框；其中，目标框中含有目标对象的点云数据。
示例性地，可以通过预设的数据采集设备获取预设范围内的点云图像，预设范围内含有待抓取的物体。将待抓取的物体确定为目标对象，即，获取目标对象所在场景的点云图像。例如，可以通过激光雷达对目标对象所在场景进行扫描，得到目标对象所在场景的点云图像，点云图像中包括目标对象所在场景的点云数据。
在对物体进行抓取时，需要预先确定待抓取的物体，例如，要抓取一个长方体的盒子。点云图像中含有目标对象的点云数据，由于已经知道了要抓取的目标对象的形状等信息，可以从点云图像中找到目标对象所对应的点云数据。例如，可以基于预设的检测算法，从点云图像中识别到聚集为长方体的点云数据，作为目标对象的点云数据。在确定点云图像中，目标对象的点云数据后，在点云图像中对目标对象进行自动框选处理。例如，可以采用矩形框对目标对象进行包围。将框住目标对象的包围框确定为目标对象的目标框，目标框中含有目标对象的边界，即，目标框中含有目标对象的点云数据。
本实施例中，对识别点云图像中的目标对象的检测算法不做具体限定。根据检测算法的精度，目标框可能包括目标对象附近的其他物体。即，目标框中至少包括完整的目标对象。
本实施例中，在点云图像中对目标对象进行自动框选处理，得到目标对象的目标框，包括：获取目标对象的外观信息；根据目标对象的外观信息和预设的神经网络模型，在点云图像中，对目标对象进行框选处理，得到目标对象的目标框；其中，神经网络模型用于根据外观信息对点云图像进行目标对象的识别。
具体的，预先训练并构建一个神经网络模型，神经网络模型可以采用深度学习的算法进行构建。通过神经网络模型，可以对点云图像中的目标对象进行检测和识别。神经网络模型中可以包括多层网络层，例如，可以包括卷积层、池化层和全连接层等，可以用于对点云图像进行特征提取。本实施例中，对神经网络模型的模型结构不做具体限定。
预先确定想要抓取的目标对象，因此，可以预先得到目标对象的外观信息。外观信息可以是目标对象的物品名称、大小和形状等。例如，可以预先确定目标对象的物品名称为足球，则可以确定目标对象的形状为球形。将点云图像和目标对象的外观信息作为输入信息输入到神经网络模型中，根据神经网络模型对点云图像进行特征提取。从点云图像中查找与目标对象的外观信息相对应的区域，例如，可以查找点云图像中聚集为球形的点云数据所在的区域。将与目标对象的外观信息相对应的区域进行框选，即，对目标对象进行框选，得到包围了目标对象的目标框。
本实施例中，使用基于深度学习算法的神经网络模型来检测空间中的目标对象。对于给定的目标对象，神经网络模型可以返回具有最大可能性的目标框，即最有可能包围全部目标对象的目标框。目标框可以是由(x，y，w，h)定义的点云图像上的矩形区域，(x，y)是目标框左下角的像素点坐标，(w，h)表示目标框的宽度和高度。根据神经网络模型返回的目标框，可以确定目标对象在点云图像中的位置。根据深度学习算法的精度，目标框可以更大，包括目标对象附近的其他物体。
这样设置的有益效果在于，通过神经网络模型确定目标框，实现对目标对象的自动识别，减少人为的识别操作，提高物体抓取的效率。
S102、根据目标框中的点云数据，对目标框中的目标对象进行表面提取处理，得到目标对象的待处理数据集合；其中，待处理数据集合包括目标对象的表面的点云数据。
示例性地，目标对象可以包括一个或多个表面，例如，对于球形物体，可以有一个球面；对于长方体的物体，可以有六个平面。目标对象在点云图像中可以展示出自身的一个或多个表面，例如，目标对象为长方体的盒子，在点云图像中可以展示出三个平面。
获取目标框中的点云数据，确定各个像素点的表面法向属性，即确定出法线，表面法向属性可以是法线的斜率等信息。根据每个像素点的表面法向属性对目标对象进行表面提取，即，确定目标框中，目标对象所展示出的各个表面。例如，可以将法线斜率一致的像素点确定为一个表面上的像素点，从而将目标对象分割出多个表面。本实施例中，可以采用预设的表面提取算法，确定出目标对象的各个表面。可以将目标对象的不同表面分割成独立的部分，并可以为每个独立的表面进行框选，得到每个表面的边界框。
确定每一表面的点云数据，作为目标对象的表面的待处理数据集合，待处理数据集合可以表示目标对象的表面的点云数据。例如，目标框中展示了一个长方体盒子的三个平面，则可以提取出该长方体盒子的三个平面，确定这三个平面的待处理数据集合。通过对目标对象进行表面分割，可以去除目标框中不属于目标对象的点云数据，提高物体抓取的精度。
S103、根据目标对象的待处理数据集合，确定目标对象的属性信息；其中，属性信息用于表示目标对象的大小信息和位置信息。
示例性地，属性信息可以表示物体的大小信息和位置信息等3D属性，例如，属性信息可以包括物体的形状、长、宽、高等，物体的形状可以是圆柱形、盒形和球形等。根据目标对象的待处理数据集合，可以确定目标对象的属性信息。例如，可以根据待处理数据集合确定表面的形状，将各个表面进行拟合，确定出目标对象的整体形状。例如，若表面的形状为一个曲面，则可以确定目标对象为球形；若表面的形状有曲面，也有平面，则可以确定出目标对象为圆柱形等。
根据待处理数据集合的范围，还可以确定目标对象的长宽高等具体的大小信息。例如，可以根据待处理数据集合的边界框的大小，得到表面的大小，进而确定目标对象的大小。本实施例中，还可以确定目标对象的质心等属性信息，例如，可以确定出质心的坐标位置。
本实施例中，根据目标对象的待处理数据集合，确定目标对象的属性信息，包括：根据目标对象的待处理数据集合，基于预设的经验几何规则算法，对目标对象进行表面拟合处理，得到拟合后的目标对象；根据预设的主成分分析算法对拟合后的目标对象进行分析处理，得到目标对象的属性信息。
具体的，在得到目标对象的待处理数据集合后，将目标对象的表面重新组合为完整的目标对象，实现对目标对象的精确抓取。可以预先设置有经验几何规则，经验几何规则可以用于确定目标对象的形状。对于目标对象的待处理数据集合，可以应用经验几何规则将分割出的目标对象的表面进行拟合，得到拟合后的目标对象，确定出与目标对象的最接近的形状。
在得到完整的目标对象后，获取目标对象的空间信息，即3D属性信息。可以采用预设的主成分分析算法，对拟合后目标对象的点云数据进行处理，计算出目标对象的主轴、次轴和法向轴，从而得到目标对象的属性信息。
这样设置的有益效果在于，在分割完成后，只剩下目标对象的点云数据，通过处理对象的独立点云获取3D属性信息。可以使用主成分分析算法和经验几何规则将分割出的目标对象表面的点云拟合成一个整体，利用主成分分析算法计算目标对象的主轴、次轴和法向轴等，获取到物体的长宽高、质心等。实现对目标对象的精确识别，避免周围的物体对目标对象的抓取造成干扰。本实施例不需要任何计算密集型的训练阶段来计算物体位姿，便于实时地执行本实施例的方法。利用曲面法线及其方向来创建多个表面，然后使用经验几何规则将它们组合在一起以识别形状，可以有效地检测盒型物体的抓取姿态。相对于其他形状如球体或圆柱体，盒型物体的识别被认为是一个比较困难的问题，本实施例有效提高了物体识别精度和抓取精度。
S104、根据目标对象的属性信息，控制机器人的抓手抓取目标对象。
示例性地，在确定目标对象的属性信息后，即确定了目标对象的位置和姿态后，机器人可以控制自身的抓手移动到目标对象的位置处，抓取目标对象。抓手在抓取时，可以垂直或沿着目标对象的主轴进行一维搜索，并施加抓手的几何约束，来确定有效抓取区域，从而将立体的6D位姿抓取转换成一维平面抓取，提高抓取效率。
本实施例中，对于不同形状的物体，抓取方式可以不同。例如，对于圆柱形和盒型的物体，抓取可以垂直或沿着主轴进行；对于球形对象，抓取可以通过围绕表面法线旋转两指的抓手，沿圆周继续进行抓取。
本实施例中，属性信息包括目标对象的长度、宽度、高度、质心坐标信息、以及目标对象在世界坐标系下的转移矩阵信息；根据目标对象的属性信息，控制机器人的抓手抓取目标对象，包括：根据目标对象的长度、宽度、高度、质心坐标信息、以及目标对象在世界坐标系下的转移矩阵信息，确定机器人的抓手的移动路径；根据移动路径，控制机器人的抓手移动至目标对象处，并抓取目标对象。
具体的，属性信息可以包括物体的长度、宽度、高度、质心坐标信息、以及在世界坐标系下的转移矩阵，其中，世界坐标系可以用于表示点云图像的坐标系。利用主成分分析算法，可以计算出物体的长宽高、质心坐标以及物体在世界坐标系下的转移矩阵。
在抓取目标对象时，可以先规划抓手的移动路径。根据目标对象的长宽高、质心坐标以及在世界坐标系下的转移矩阵，确定机器人的抓手以与目标对象质心的法线相反的方向，作为移动路径，逼近目标对象。沿着移动路径，控制抓手到达目标对象，抓手闭合，夹取目标对象。图2为抓手的抓取示意图，图2中抓手向右移动，抓取目标对象。
这样设置的有益效果在于，对于现实狭窄杂乱的环境，本实施例通过标量投影将涉及物体6D位姿的估计问题转化为一维搜索问题，并利用两指夹持器的几何特性，提高物体抓取的效率。
本申请实施例提供的一种基于机器人的物体抓取方法，通过获取目标对象所在场景的点云图像，从点云图像中得到含有目标对象的目标框。即，对点云图像中的目标对象进行了初步识别。对目标框中的目标对象进行表面提取，得到目标对象的待处理数据集合。根据目标对象的待处理数据集合，确定目标对象的大小和位置等属性信息，从而控制机器人的抓手抓取目标对象。解决了现有技术中，需要通过密集型计算来确定物体的6D位姿，所造成的计算量大和计算效率低等问题。通过对目标对象各个表面进行确定，可以精确地确定目标对象的边界，提高物体识别精度，进而提高物体抓取精度和效率。
图3为本申请实施例提供的一种基于机器人的物体抓取方法的流程示意图，该实施例是在上述实施例基础上的可选实施例。
本实施例中，根据目标框中的点云数据，对目标框中的目标对象进行表面提取处理，得到目标对象的待处理数据集合，可细化为：根据目标框中的点云数据，对目标框中的目标对象的表面进行分割处理，得到目标对象的初始数据集合；其中，初始数据集合中包括目标对象的表面的点云数据和目标对象的背景的点云数据；根据预设的高斯混合模型，对目标对象的初始数据集合进行点云数据筛选处理，得到目标对象的待处理数据集合。
如图3示，该方法包括以下步骤：
S301、获取目标对象所在场景的点云图像，其中，点云图像中包括目标对象所在场景的点云数据；并在点云图像中对目标对象进行自动框选处理，得到目标对象的目标框；其中，目标框中含有目标对象的点云数据。
示例性地，本步骤可以参见上述步骤S101，不再赘述。
S302、根据目标框中的点云数据，对目标框中的目标对象的表面进行分割处理，得到目标对象的初始数据集合；其中，初始数据集合中包括目标对象的表面的点云数据和目标对象的背景的点云数据。
示例性地，目标框中包括目标对象的至少一个表面，确定目标框中的点云数据，对目标对象进行各个表面的分割，得到独立的各个表面，将分割出来的表面上的点云数据，确定为各个表面的初始数据集合。在初始数据集合中，可能存在不属于表面的点云数据，目标对象的背景的点云数据，例如，在对目标对象进行表面分割时，将目标框中除目标对象之外的物体上的点云数据划分到目标对象的表面中。
可以根据目标对象的形状，对目标对象进行表面的划分。例如，目标对象为正方体，则可以从目标框中查找聚集为正方形的点云数据，作为目标对象的初始数据集合。可以预设图像分割算法来分割出表面，本实施例中，对图像分割算法不做具体限定。
本实施例中，根据目标框中的点云数据，对目标框中的目标对象的表面进行分割处理，得到目标对象的初始数据集合，包括：确定目标框的坐标位置、目标框的宽度以及目标框的高度；根据目标框的坐标位置、目标框的宽度以及目标框的高度，基于预设的区域生长算法，对目标框进行目标对象的表面分割处理，得到目标对象的初始数据集合。
具体的，预先设置区域生长算法，区域生长算法是一种用于图像分割的算法。将目标框(x，y，w，h)中的点云数据作为算法的输入，使用区域生长算法，确定目标框的坐标位置、宽度和高度，对目标框内的点云数据进行分割，将目标对象的不同表面分割成独立的部分。
例如，区域生长算法可以根据目标框的坐标位置、宽度和高度，获取目标框中的每一个像素点。确定各个像素点的法线向量，得到各个像素点的表面法向属性。根据每个像素点的表面法向属性进行表面提取，并确定每个表面的边界框。例如，对于第i个表面，边界框可以表示为(xi，yi，wi，hi)。
这样设置的有益效果在于，采用区域生长算法，可以对目标对象的表面快速进行分割，提高物体抓取的效率。
S303、根据预设的高斯混合模型，对目标对象的初始数据集合进行点云数据筛选处理，得到目标对象的待处理数据集合。
示例性地，由于分割过度或分割不足，通过区域生长算法不一定能得到理想的目标对象表面的边界框。例如，区域生长算法返回的表面的初始数据集合中可能包含一些背景图像的点云数据。可以通过预先创建的高斯混合模型，将目标对象从背景中准确分割出来。即，通过预设的高斯混合模型，对目标对象的初始数据集合进行点云数据的筛选，将初始数据集合中不属于目标对象表面的点云数据删除，属于表面的点云数据保留，保留后得到目标对象的待处理数据集合。例如，可以确定初始数据集合中各个像素点之间颜色的相似度，将相似度大的像素点确定为属于目标对象，相似度小的像素点确定为属于背景。
本实施例中，根据预设的高斯混合模型，对目标对象的初始数据集合进行点云数据筛选处理，得到目标对象的待处理数据集合，包括：确定初始数据集合中的点云数据的颜色信息和曲率信息；根据初始数据集合中的点云数据的颜色信息和曲率信息，基于预设的高斯混合模型，确定初始数据集合中的点云数据的目标概率；其中，目标概率为点云数据保留到初始数据集合中的概率；根据初始数据集合中的点云数据的目标概率，对初始数据集合中的点云数据进行筛选处理，得到目标对象的待处理数据集合。
具体的，根据目标对象的初始数据集合中，RGBD(Red Green Blue Depth，红、绿、蓝、深度)点云的颜色和深度曲率信息创建高斯混合模型，去除非目标对象部分的点云，将目标对象从背景中分割出来。
将RGBD的数据转换为HSV(Hue Saturation Value，色相、饱和度、明度)的数据，其中，HSV色彩空间的色相和饱和度成分被用来代替RGB颜色信息。明度V被丢弃，以消除照明效果。高斯混合模型可以用来计算概率，根据色相、饱和度和深度曲率，确定初始数据集合中，每个点云数据保留到初始数据集合中的概率，作为目标概率。例如，若初始数据集合中，一个点云数据的颜色信息与其他点云数据的颜色信息完全不同，则可以认为该点云数据的目标概率较小。目标概率为后验概率，通过高斯混合模型，可以确定出先验概率和条件概率，根据先验概率和条件概率，计算出后验概率。
根据目标概率，对目标对象的初始数据集合进行点云数据的筛选，可以将目标概率小的点云数据删除，将目标概率大的点云数据保留，从而得到目标对象的待处理数据集合。
这样设置的有益效果在于，结合颜色信息和深度曲率信息创建高斯混合模型，将目标对象从复杂背景中分割出来，不需要计算密集型训练定位物体的6D位姿。简化了6D位姿检测流程，可以近乎实时地完成对物体位姿检测，并且解决了因信息嘈杂造成的对目标对象边界区域识别错误的问题，提高了物体抓取的效率和精度。
本实施例中，根据初始数据集合中的点云数据的颜色信息和曲率信息，基于预设的高斯混合模型，确定初始数据集合中的点云数据的目标概率，包括：根据初始数据集合中的点云数据的颜色信息和曲率信息，基于预设的高斯混合模型，确定初始数据集合中的点云数据的第一概率和第二概率；其中，第一概率为点云数据属于目标对象的概率；第二概率为点云数据属于目标对象的背景的概率；根据初始数据集合中的点云数据的第一概率和第二概率，确定初始数据集合中的点云数据的目标概率。
具体的，可以将点云数据分为两个类别，分别为属于目标对象的类别和属于背景的类别。高斯混合模型可以根据各个点云数据的颜色信息和曲率信息，即根据色相、饱和度和深度曲率，计算出点云数据属于目标对象的概率，作为第一概率，以及确定点云数据属于背景的概率，作为第二概率。即，本实施例使用了两种混合模型，一种用于估计像素点属于目标对象像素的概率，另一种用于估计像素点属于背景像素的概率。
根据第一概率和第二概率，确定点云数据是否保留。例如，可以将第一概率与第二概率进行比较，若第一概率大于第二概率，则保留点云数据；若第一概率小于第二概率，则删除点云数据。也可以根据第一概率和第二概率，确定最终的目标概率，例如，可以将第一概率和第二概率中的较大值，确定为目标概率。再根据目标概率的大小，确定是否保留点云数据。初始数据集合中的所有像素点都要进行概率计算，避免数据遗漏，提高物体识别的精度。
这样设置的有益效果在于，通过计算第一概率和第二概率，可以更加准确地确定待处理数据集合，避免只计算第一概率或第二概率造成误差，提高物体识别精度，进而提高物体抓取精度。
本实施例中，初始数据集合中的点云数据的目标概率为
其中，P为目标概率，P1为第一概率，P2为第二概率。
具体的，目标概率的计算方式可以是，确定第一概率在第一概率与第二概率的加和中的比率，第一概率和第二概率的加和不一定为1。
本实施例中，根据初始数据集合中的点云数据的目标概率，对初始数据集合中的点云数据进行筛选处理，得到目标对象的待处理数据集合，包括：针对初始数据集合中的每一点云数据，若确定该点云数据的目标概率小于预设的概率阈值，则从初始数据集合中筛除该点云数据，以得到目标对象的待处理数据集合。
具体的，预先设置一个概率阈值，在得到目标概率后，将目标概率与概率阈值进行比较。例如，概率阈值可以设置为0.5。若初始数据集合中，某一点云数据的目标概率小于预设的概率阈值，则将该目标概率对应的点云数据从初始数据集合中筛除，即，确定该点云数据不属于对应的目标对象的表面；若初始数据集合中，点云数据的目标概率等于或大于预设的概率阈值，则保留该目标概率对应的点云数据，即，该点云数据属于目标对象。
确定目标对象的初始数据集合中，保留下来的点云数据。将保留下来的点云数据的集合，确定为目标对象的待处理数据集合。
这样设置的有益效果在于，如果点云数据的目标概率等于或大于预设的概率阈值，则该点云数据被认为是目标对象的一部分，否则认为它是背景的一部分，判断过程简单快速，提高点云数据的筛选效率。
S304、根据目标对象的待处理数据集合，确定目标对象的属性信息；其中，属性信息用于表示目标对象的大小信息和位置信息。
示例性地，本步骤可以参见上述步骤S103，不再赘述。
S305、根据目标对象的属性信息，控制机器人的抓手抓取目标对象。
示例性地，本步骤可以参见上述步骤S104，不再赘述。
本申请实施例提供的一种基于机器人的物体抓取方法，通过获取目标对象所在场景的点云图像，从点云图像中得到含有目标对象的目标框。即，对点云图像中的目标对象进行了初步识别。对目标框中的目标对象进行表面提取，得到目标对象的待处理数据集合。根据目标对象的待处理数据集合，确定目标对象的大小和位置等属性信息，从而控制机器人的抓手抓取目标对象。解决了现有技术中，需要通过密集型计算来确定物体的6D位姿，所造成的计算量大和计算效率低等问题。通过对目标对象各个表面进行确定，可以精确地确定目标对象的边界，提高物体识别精度，进而提高物体抓取精度和效率。
图4为本申请实施例提供的一种基于机器人的物体抓取装置的结构框图，该装置应用于机器人，机器人上配备有抓手。为了便于说明，仅示出了与本公开实施例相关的部分。参照图4，该装置包括：物体框选模块401、表面提取模块402、信息确定模块403和物体抓取模块404。
物体框选模块401，用于获取目标对象所在场景的点云图像，其中，所述点云图像中包括目标对象所在场景的点云数据；并在所述点云图像中对所述目标对象进行自动框选处理，得到所述目标对象的目标框；其中，所述目标框中含有所述目标对象的点云数据；
表面提取模块402，用于根据所述目标框中的点云数据，对所述目标框中的目标对象进行表面提取处理，得到所述目标对象的待处理数据集合；其中，所述待处理数据集合包括目标对象的表面的点云数据；
信息确定模块403，用于根据所述目标对象的待处理数据集合，确定所述目标对象的属性信息；其中，所述属性信息用于表示目标对象的大小信息和位置信息；
物体抓取模块404，用于根据所述目标对象的属性信息，控制所述机器人的抓手抓取所述目标对象。
图5为本申请实施例提供的一种基于机器人的物体抓取装置的结构框图，在图4所示实施例的基础上，如图5所示，表面提取模块402包括集合确定单元4021和筛选单元4022。
集合确定单元4021，用于根据所述目标框中的点云数据，对所述目标框中的目标对象的表面进行分割处理，得到所述目标对象的初始数据集合；其中，所述初始数据集合中包括目标对象的表面的点云数据和目标对象的背景的点云数据；
筛选单元4022，用于根据预设的高斯混合模型，对所述目标对象的初始数据集合进行点云数据筛选处理，得到所述目标对象的待处理数据集合。
一个示例中，集合确定单元4021，具体用于：
确定所述目标框的坐标位置、所述目标框的宽度以及所述目标框的高度；
根据所述目标框的坐标位置、所述目标框的宽度以及所述目标框的高度，基于预设的区域生长算法，对所述目标框进行目标对象的表面分割处理，得到所述目标对象的初始数据集合。
一个示例中，筛选单元4022，包括：
第一确定子单元，用于确定所述初始数据集合中的点云数据的颜色信息和曲率信息；
第二确定子单元，用于根据所述初始数据集合中的点云数据的颜色信息和曲率信息，基于预设的高斯混合模型，确定所述初始数据集合中的点云数据的目标概率；其中，所述目标概率为点云数据保留到初始数据集合中的概率；
第三确定子单元，用于根据所述初始数据集合中的点云数据的目标概率，对所述初始数据集合中的点云数据进行筛选处理，得到所述目标对象的待处理数据集合。
一个示例中，第二确定子单元，具体用于：
根据所述初始数据集合中的点云数据的颜色信息和曲率信息，基于预设的高斯混合模型，确定所述初始数据集合中的点云数据的第一概率和第二概率；其中，所述第一概率为点云数据属于目标对象的概率；所述第二概率为点云数据属于目标对象的背景的概率；
根据所述初始数据集合中的点云数据的第一概率和第二概率，确定所述初始数据集合中的点云数据的目标概率。
一个示例中，初始数据集合中的点云数据的目标概率为
其中，P为所述目标概率，P1为所述第一概率，P2为所述第二概率。
一个示例中，第三确定子单元，具体用于：
针对所述初始数据集合中的每一点云数据，若确定该点云数据的目标概率小于预设的概率阈值，则从所述初始数据集合中筛除该点云数据，以得到所述目标对象的待处理数据集合。
一个示例中，信息确定模块403，具体用于：
根据所述目标对象的待处理数据集合，基于预设的经验几何规则算法，对所述目标对象进行表面拟合处理，得到拟合后的目标对象；
根据预设的主成分分析算法对所述拟合后的目标对象进行分析处理，得到所述目标对象的属性信息。
一个示例中，属性信息包括目标对象的长度、宽度、高度、质心坐标信息、以及目标对象在世界坐标系下的转移矩阵信息；
物体抓取模块404，具体用于：
根据所述目标对象的属性信息，控制所述机器人的抓手抓取所述目标对象，包括：
根据所述目标对象的长度、宽度、高度、质心坐标信息、以及目标对象在世界坐标系下的转移矩阵信息，确定机器人的抓手的移动路径；
根据所述移动路径，控制所述机器人的抓手移动至所述目标对象处，并抓取所述目标对象。
一个示例中，物体框选模块401，具体用于：
获取所述目标对象的外观信息；
根据所述目标对象的外观信息和预设的神经网络模型，在所述点云图像中，对所述目标对象进行框选处理，得到所述目标对象的目标框；其中，所述神经网络模型用于根据外观信息对点云图像进行目标对象的识别。
图6为本申请实施例提供的一种电子设备的结构框图，电子设备可以是机器人。如图6所示，电子设备包括：存储器61，处理器62；存储器61；用于存储处理器62可执行指令的存储器。
其中，处理器62被配置为执行如上述实施例提供的方法。
电子设备还包括接收器63和发送器64。接收器63用于接收其他设备发送的指令和数据，发送器64用于向外部设备发送指令和数据。
图7是根据一示例性实施例示出的一种电子设备的结构框图，该设备可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理或机器人等。
设备700可以包括以下一个或多个组件：处理组件702，存储器704，电源组件706，多媒体组件708，音频组件710，输入/输出(I/O)接口712，传感器组件714，以及通信组件716。
处理组件702通常控制设备700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。
存储器704被配置为存储各种类型的数据以支持在设备700的操作。这些数据的示例包括用于在设备700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件706为设备700的各种组件提供电力。电源组件706可以包括电源管理系统，一个或多个电源，及其他与为设备700生成、管理和分配电力相关联的组件。
多媒体组件708包括在所述设备700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当设备700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。
I/O接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件714包括一个或多个传感器，用于为设备700提供各个方面的状态评估。例如，传感器组件714可以检测到设备700的打开/关闭状态，组件的相对定位，例如所述组件为设备700的显示器和小键盘，传感器组件714还可以检测设备700或设备700一个组件的位置改变，用户与设备700接触的存在或不存在，设备700方位或加速/减速和设备700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件716被配置为便于设备700和其他设备之间有线或无线方式的通信。设备700可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，设备700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由设备700的处理器720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当该存储介质中的指令由终端设备的处理器执行时，使得终端设备能够执行上述终端设备的基于机器人的物体抓取方法。
本申请还公开了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如本实施例中所述的方法。
本申请以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或电子设备上执行。
在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据电子设备)、或者包括中间件部件的计算系统(例如，应用电子设备)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和电子设备。客户端和电子设备一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-电子设备关系的计算机程序来产生客户端和电子设备的关系。电子设备可以是云电子设备，又称为云计算电子设备或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。电子设备也可以为分布式系统的电子设备，或者是结合了区块链的电子设备。应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (14)

1.一种基于机器人的物体抓取方法，其特征在于，所述方法应用于机器人，所述机器人上配备有抓手；所述方法包括：
获取目标对象所在场景的点云图像，其中，所述点云图像中包括目标对象所在场景的点云数据；并在所述点云图像中对所述目标对象进行自动框选处理，得到所述目标对象的目标框；其中，所述目标框中含有所述目标对象的点云数据；
根据所述目标框中的点云数据，对所述目标框中的目标对象进行表面提取处理，得到所述目标对象的待处理数据集合；其中，所述待处理数据集合包括目标对象的表面的点云数据；
根据所述目标对象的待处理数据集合，确定所述目标对象的属性信息；其中，所述属性信息用于表示目标对象的大小信息和位置信息；
根据所述目标对象的属性信息，控制所述机器人的抓手抓取所述目标对象。
2.根据权利要求1所述的方法，其特征在于，根据所述目标框中的点云数据，对所述目标框中的目标对象进行表面提取处理，得到所述目标对象的待处理数据集合，包括：
根据所述目标框中的点云数据，对所述目标框中的目标对象的表面进行分割处理，得到所述目标对象的初始数据集合；其中，所述初始数据集合中包括目标对象的表面的点云数据和目标对象的背景的点云数据；
根据预设的高斯混合模型，对所述目标对象的初始数据集合进行点云数据筛选处理，得到所述目标对象的待处理数据集合。
3.根据权利要求2所述的方法，其特征在于，根据所述目标框中的点云数据，对所述目标框中的目标对象的表面进行分割处理，得到所述目标对象的初始数据集合，包括：
确定所述目标框的坐标位置、所述目标框的宽度以及所述目标框的高度；
根据所述目标框的坐标位置、所述目标框的宽度以及所述目标框的高度，基于预设的区域生长算法，对所述目标框进行目标对象的表面分割处理，得到所述目标对象的初始数据集合。
4.根据权利要求2所述的方法，其特征在于，根据预设的高斯混合模型，对所述目标对象的初始数据集合进行点云数据筛选处理，得到所述目标对象的待处理数据集合，包括：
确定所述初始数据集合中的点云数据的颜色信息和曲率信息；
根据所述初始数据集合中的点云数据的颜色信息和曲率信息，基于预设的高斯混合模型，确定所述初始数据集合中的点云数据的目标概率；其中，所述目标概率为点云数据保留到初始数据集合中的概率；
根据所述初始数据集合中的点云数据的目标概率，对所述初始数据集合中的点云数据进行筛选处理，得到所述目标对象的待处理数据集合。
5.根据权利要求4所述的方法，其特征在于，根据所述初始数据集合中的点云数据的颜色信息和曲率信息，基于预设的高斯混合模型，确定所述初始数据集合中的点云数据的目标概率，包括：
根据所述初始数据集合中的点云数据的颜色信息和曲率信息，基于预设的高斯混合模型，确定所述初始数据集合中的点云数据的第一概率和第二概率；其中，所述第一概率为点云数据属于目标对象的概率；所述第二概率为点云数据属于目标对象的背景的概率；
根据所述初始数据集合中的点云数据的第一概率和第二概率，确定所述初始数据集合中的点云数据的目标概率。
6.根据权利要求5所述的方法，其特征在于，所述初始数据集合中的点云数据的目标概率为
其中，P为所述目标概率，P1为所述第一概率，P2为所述第二概率。
7.根据权利要求4所述的方法，其特征在于，根据所述初始数据集合中的点云数据的目标概率，对所述初始数据集合中的点云数据进行筛选处理，得到所述目标对象的待处理数据集合，包括：
针对所述初始数据集合中的每一点云数据，若确定该点云数据的目标概率小于预设的概率阈值，则从所述初始数据集合中筛除该点云数据，以得到所述目标对象的待处理数据集合。
8.根据权利要求1所述的方法，其特征在于，根据所述目标对象的待处理数据集合，确定所述目标对象的属性信息，包括：
根据所述目标对象的待处理数据集合，基于预设的经验几何规则算法，对所述目标对象进行表面拟合处理，得到拟合后的目标对象；
根据预设的主成分分析算法对所述拟合后的目标对象进行分析处理，得到所述目标对象的属性信息。
9.根据权利要求1所述的方法，其特征在于，所述属性信息包括目标对象的长度、宽度、高度、质心坐标信息、以及目标对象在世界坐标系下的转移矩阵信息；
根据所述目标对象的属性信息，控制所述机器人的抓手抓取所述目标对象，包括：
根据所述目标对象的长度、宽度、高度、质心坐标信息、以及目标对象在世界坐标系下的转移矩阵信息，确定机器人的抓手的移动路径；
根据所述移动路径，控制所述机器人的抓手移动至所述目标对象处，并抓取所述目标对象。
10.根据权利要求1-9中任一项所述的方法，其特征在于，在所述点云图像中对所述目标对象进行自动框选处理，得到所述目标对象的目标框，包括：
获取所述目标对象的外观信息；
根据所述目标对象的外观信息和预设的神经网络模型，在所述点云图像中，对所述目标对象进行框选处理，得到所述目标对象的目标框；其中，所述神经网络模型用于根据外观信息对点云图像进行目标对象的识别。
11.一种基于机器人的物体抓取装置，其特征在于，所述装置应用于机器人，所述机器人上配备有抓手；所述装置包括：
物体框选模块，用于获取目标对象所在场景的点云图像，其中，所述点云图像中包括目标对象所在场景的点云数据；并在所述点云图像中对所述目标对象进行自动框选处理，得到所述目标对象的目标框；其中，所述目标框中含有所述目标对象的点云数据；
表面提取模块，用于根据所述目标框中的点云数据，对所述目标框中的目标对象进行表面提取处理，得到所述目标对象的待处理数据集合；其中，所述待处理数据集合包括目标对象的表面的点云数据；
信息确定模块，用于根据所述目标对象的待处理数据集合，确定所述目标对象的属性信息；其中，所述属性信息用于表示目标对象的大小信息和位置信息；
物体抓取模块，用于根据所述目标对象的属性信息，控制所述机器人的抓手抓取所述目标对象。
12.一种机器人，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-10中任一项所述的基于机器人的物体抓取方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-10任一项所述的基于机器人的物体抓取方法。
14.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-10中任一项所述的基于机器人的物体抓取方法。
CN202310449809.1A 2023-04-24 2023-04-24 基于机器人的物体抓取方法、装置、机器人及存储介质 Pending CN116485896A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310449809.1A CN116485896A (zh) 2023-04-24 2023-04-24 基于机器人的物体抓取方法、装置、机器人及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310449809.1A CN116485896A (zh) 2023-04-24 2023-04-24 基于机器人的物体抓取方法、装置、机器人及存储介质

Publications (1)

Publication Number Publication Date
CN116485896A true CN116485896A (zh) 2023-07-25

Family

ID=87224707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310449809.1A Pending CN116485896A (zh) 2023-04-24 2023-04-24 基于机器人的物体抓取方法、装置、机器人及存储介质

Country Status (1)

Country Link
CN (1) CN116485896A (zh)

Similar Documents

Publication Publication Date Title
US11941766B2 (en) Image processing apparatus, image processing method, and program
US9842435B2 (en) Image processing to provide stable environment recognition
CN108604379A (zh) 用于确定图像中的区域的系统及方法
CN108200334B (zh) 图像拍摄方法、装置、存储介质及电子设备
US11176355B2 (en) Facial image processing method and apparatus, electronic device and computer readable storage medium
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
CN111062263B (zh) 手部姿态估计的方法、设备、计算机设备和存储介质
WO2022042304A1 (zh) 识别场景轮廓的方法、装置、计算机可读介质及电子设备
CN109271023B (zh) 一种基于三维对象外形轮廓徒手手势动作表达的选择方法
CN110069125B (zh) 虚拟对象的控制方法和装置
US20190266798A1 (en) Apparatus and method for performing real object detection and control using a virtual reality head mounted display system
CN111340886B (zh) 检测物体的拾取点的方法及装置、设备、介质和机器人
US20190066311A1 (en) Object tracking
CN111949112A (zh) 对象交互方法及装置、系统、计算机可读介质和电子设备
US20210056337A1 (en) Recognition processing device, recognition processing method, and program
US11520409B2 (en) Head mounted display device and operating method thereof
CN112990101B (zh) 基于机器视觉的面部器官定位方法及相关设备
US20180137623A1 (en) Image segmentation using user input speed
CN110047126B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN112655021A (zh) 图像处理方法、装置、电子设备和存储介质
CN116485896A (zh) 基于机器人的物体抓取方法、装置、机器人及存储介质
CN110941327A (zh) 虚拟对象的显示方法和装置
CN115393962A (zh) 动作识别方法、头戴显示设备和存储介质
US20200167005A1 (en) Recognition device and recognition method
CN110941974B (zh) 虚拟对象的控制方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination