CN111015655A - 机械臂抓取方法、装置、计算机可读存储介质及机器人 - Google Patents
机械臂抓取方法、装置、计算机可读存储介质及机器人 Download PDFInfo
- Publication number
- CN111015655A CN111015655A CN201911310686.3A CN201911310686A CN111015655A CN 111015655 A CN111015655 A CN 111015655A CN 201911310686 A CN201911310686 A CN 201911310686A CN 111015655 A CN111015655 A CN 111015655A
- Authority
- CN
- China
- Prior art keywords
- target object
- visual information
- grabbing
- mechanical arm
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
Abstract
本申请属于机器人技术领域，尤其涉及一种机械臂抓取方法、装置、计算机可读存储介质及机器人。所述方法采集目标物体的当前视觉信息，并根据所述目标物体的当前视觉信息和预设的物体模型确定所述目标物体的当前状态；根据所述目标物体的当前状态、预先标定的相机参数和机械臂参数，确定执行抓取操作的机械臂的末端对所述目标物体的抓取位姿；控制所述机械臂的末端运动至所述抓取位姿，并执行对所述目标物体的抓取操作。本申请实施例是基于目标物体的视觉信息进行物体抓取，因此并不强调目标物体空间位姿的已知，在目标物体的空间姿态随机的复杂场景中，可以通过视觉识别来确定位姿并执行抓取操作，有效提高了抓取的准确率。
Description
技术领域
本申请属于机器人技术领域，尤其涉及一种机械臂抓取方法、装置、计算机可读存储介质及机器人。
背景技术
目前机械臂的抓取规划主要通过人为给定目标点实现，尤其在工业机器人领域，通过固定目标物的空间位姿来实现机械臂的操作任务，而在复杂场景中，尤其是目标物体的空间姿态随机的情况下，机械臂的抓取目标点难以确定，导致其抓取的准确率较低。
发明内容
有鉴于此，本申请实施例提供了一种机械臂抓取方法、装置、计算机可读存储介质及机器人，以解决现有的机械臂抓取方法抓取的准确率较低的问题。
本申请实施例的第一方面提供了一种机械臂抓取方法，可以包括：
采集目标物体的当前视觉信息，并根据所述目标物体的当前视觉信息和预设的物体模型确定所述目标物体的当前状态；
根据所述目标物体的当前状态、预先标定的相机参数和机械臂参数，确定执行抓取操作的机械臂的末端对所述目标物体的抓取位姿；
控制所述机械臂的末端运动至所述抓取位姿，并执行对所述目标物体的抓取操作。
进一步地，在根据所述目标物体的当前视觉信息和预设的物体模型确定所述目标物体的当前状态之前，所述机械臂抓取方法还可以包括：
分别采集所述目标物体在各种位姿下的视觉信息；
根据所述目标物体在各种位姿下的视觉信息建立所述物体模型。
进一步地，所述分别采集所述目标物体在各种位姿下的视觉信息包括：
将所述目标物体放置于预设的托盘上，在所述托盘旋转的过程中不断移动所述目标物体在所述托盘上的位置，并分别采集所述目标物体在各种位姿下的视觉信息。
进一步地，所述根据所述目标物体在各种位姿下的视觉信息建立所述物体模型包括：
根据所述目标物体在各种位姿下的视觉信息进行三维建模，得到所述目标物体的三维视觉模型；
根据所述三维视觉模型分别确定所述目标物体的几何中心位置和外观尺寸；
根据所述目标物体的几何中心位置和外观尺寸建立所述目标物体的长方体包络模型。
进一步地，在分别采集所述目标物体在各种位姿下的视觉信息之前，所述机械臂抓取方法还可以包括：
对采集视觉信息的相机和所述机械臂进行参数标定，得到所述相机参数和所述机械臂参数。
本申请实施例的第二方面提供了一种机械臂抓取装置，可以包括：
物体状态确定模块，用于采集目标物体的当前视觉信息，并根据所述目标物体的当前视觉信息和预设的物体模型确定所述目标物体的当前状态；
抓取位姿确定模块，用于根据所述目标物体的当前状态、预先标定的相机参数和机械臂参数，确定执行抓取操作的机械臂的末端对所述目标物体的抓取位姿；
抓取执行模块，用于控制所述机械臂的末端运动至所述抓取位姿，并执行对所述目标物体的抓取操作。
进一步地，所述机械臂抓取装置还可以包括：
视觉信息采集模块，用于分别采集所述目标物体在各种位姿下的视觉信息；
物体模型建立模块，用于根据所述目标物体在各种位姿下的视觉信息建立所述物体模型。
进一步地，所述视觉信息采集模块具体用于将所述目标物体放置于预设的托盘上，在所述托盘旋转的过程中不断移动所述目标物体在所述托盘上的位置，并分别采集所述目标物体在各种位姿下的视觉信息。
进一步地，所述物体模型建立模块可以包括：
三维建模单元，用于根据所述目标物体在各种位姿下的视觉信息进行三维建模，得到所述目标物体的三维视觉模型；
几何参数确定单元，用于根据所述三维视觉模型分别确定所述目标物体的几何中心位置和外观尺寸；
包络模型建立单元，用于根据所述目标物体的几何中心位置和外观尺寸建立所述目标物体的长方体包络模型。
进一步地，所述机械臂抓取装置还可以包括：
参数标定模块，用于对采集视觉信息的相机和所述机械臂进行参数标定，得到所述相机参数和所述机械臂参数。
本申请实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种机械臂抓取方法的步骤。
本申请实施例的第四方面提供了一种机器人，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一种机械臂抓取方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在机器人上运行时，使得机器人执行上述任一种机械臂抓取方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：本申请实施例采集目标物体的当前视觉信息，并根据所述目标物体的当前视觉信息和预设的物体模型确定所述目标物体的当前状态；根据所述目标物体的当前状态、预先标定的相机参数和机械臂参数，确定执行抓取操作的机械臂的末端对所述目标物体的抓取位姿；控制所述机械臂的末端运动至所述抓取位姿，并执行对所述目标物体的抓取操作。本申请实施例是基于目标物体的视觉信息进行物体抓取，因此并不强调目标物体空间位姿的已知，在目标物体的空间姿态随机的复杂场景中，可以通过视觉识别来确定位姿并执行抓取操作，有效提高了抓取的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为建立目标物体的物体模型的示意流程图；
图2为机械臂抓取过程的示意图；
图3为目标物体的长方体包络模型的示意图；
图4为本申请实施例中一种机械臂抓取方法的一个实施例流程图；
图5为本申请实施例中一种机械臂抓取装置的一个实施例结构图；
图6为本申请实施例中一种机器人的示意框图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请实施例中，为了能够通过视觉识别来确定位姿并执行抓取操作，可以首先进行参数标定，以及建立目标物体的物体模型。
其中，参数标定的过程为：对采集视觉信息的相机和执行抓取操作的机械臂进行参数标定，从而得到对应的相机参数和机械臂参数。
所述相机参数包括相机内参和相机外参，所述相机内参包括单个像素的物理尺寸、焦距、图像物理坐标的扭曲因子、以及图像原点相对于光心成像点的纵横偏移量(以像素为单位)；所述相机外参包括相机坐标系转换到世界坐标系的旋转矩阵与平移矩阵。所述机械臂参数包括所述相机与所述机械臂之间相对位置关系。在标定所述相机参数的时候，可以使用所述相机采集标定信息，通过标定块确定联立方程求解参数矩阵；优选地，所述相机可以为深度相机，能够采集所述目标物体的深度信息，在标定所述机械臂参数的时候，可以根据深度信息实现机械臂基座坐标系与相机坐标系之间的相互转换。
如图1所示，建立目标物体的物体模型的过程可以包括如下步骤：
步骤S101、分别采集目标物体在各种位姿下的视觉信息。
在本申请实施例的一种具体实现中，可以将所述目标物体放置于预设的可旋转的托盘上，在所述托盘旋转的过程中不断移动所述目标物体在所述托盘上的位置，通过所述相机分别采集所述目标物体在各种位姿下的视觉信息，也即所述目标物体在不同位置、不同姿态、不同角度时的深度信息与颜色信息
如图2所示，在采集视觉信息的同时，根据视觉反馈可以采集到物体几何状态信息，即所述目标物体的形状，还可以采集到对应的物体坐标系与相机坐标，不断地更新写入状态函数，在不同状态下的物体信息均对应一个状态函数，以此描述所述目标物体在相机坐标系中的位姿与形状。在本申请实施例中，可以将所述状态函数记为：
X＝(O,TO,TC)
其中，X为所述状态函数，O为所述目标物体的形状，TO为所述目标物体的物体坐标系，TC为所述相机的相机坐标系。
步骤S102、根据所述目标物体在各种位姿下的视觉信息建立所述物体模型。
所述物体模型可以包括所述目标物体的三维视觉模型和长方体包络模型。
具体地，首先可以根据所述目标物体在各种位姿下的视觉信息进行三维建模，得到所述目标物体的三维视觉模型。即根据已经得到的物体信息以及其对应的状态函数进行处理，对深度信息进行滤波处理以减少噪声点，将颜色信息进行规整处理为预设尺寸(该预设尺寸可以根据实际情况进行设置，例如，可以将其设置为4096像素*4096像素)的图片，并根据其深度信息进行三维建模，从而得到所述三维视觉模型。
在得到所述三维视觉模型之后，可以根据所述三维视觉模型分别确定所述目标物体的几何中心位置和外观尺寸，所述几何中心位置也即所述目标物体的物体坐标系的原点。最后，可以根据所述目标物体的几何中心位置和外观尺寸建立所述目标物体的长方体包络模型。图3所示即为所述目标物体的长方体包络模型的示意图，其中的字母用于标示长方体包络的端点。
在完成参数标定以及建立物体模型的基础上，即可执行如图4所示的机械臂抓取过程：
步骤S401、采集目标物体的当前视觉信息，并根据所述目标物体的当前视觉信息和预设的物体模型确定所述目标物体的当前状态。
由于在所述物体模型中记录了所述目标物体在各种位姿下的视觉信息，因此，在本申请实施例中，可以将所述当前视觉信息和所述物体模型进行匹配，两者匹配度达到最大值时的位姿即为所述目标物体的当前状态。
步骤S402、根据所述目标物体的当前状态、预先标定的相机参数和机械臂参数，确定执行抓取操作的机械臂的末端对所述目标物体的抓取位姿。
如图2所示，在相机坐标系下的物体位姿已知的条件下，标定所述机械臂的末端对所述目标物体的抓取位姿，即建立所述机械臂的末端对于所述目标物体的抓取策略，目的是得到所述目标物体相对于所述机械臂的末端的空间位姿
进一步地，还可以基于所述目标物体的几何信息计算得到的所述机械臂的末端抓取角度，也即末端夹爪的适应角度ψ，在本申请实施例中，可以将一次抓取规划记为：
步骤S403、控制所述机械臂的末端运动至所述抓取位姿，并执行对所述目标物体的抓取操作。
若未能抓取到所述目标物体，则可以重新执行图4所示过程，进行新的一次抓取规划，直至成功抓取到所述目标物体为止。
综上所述，本申请实施例采集目标物体的当前视觉信息，并根据所述目标物体的当前视觉信息和预设的物体模型确定所述目标物体的当前状态；根据所述目标物体的当前状态、预先标定的相机参数和机械臂参数，确定执行抓取操作的机械臂的末端对所述目标物体的抓取位姿；控制所述机械臂的末端运动至所述抓取位姿，并执行对所述目标物体的抓取操作。本申请实施例是基于目标物体的视觉信息进行物体抓取，因此并不强调目标物体空间位姿的已知，在目标物体的空间姿态随机的复杂场景中，可以通过视觉识别来确定位姿并执行抓取操作，有效提高了抓取的准确率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的一种机械臂抓取方法，图5出了本申请实施例提供的一种机械臂抓取装置的一个实施例结构图。
本实施例中，一种机械臂抓取装置可以包括：
物体状态确定模块501，用于采集目标物体的当前视觉信息，并根据所述目标物体的当前视觉信息和预设的物体模型确定所述目标物体的当前状态；
抓取位姿确定模块502，用于根据所述目标物体的当前状态、预先标定的相机参数和机械臂参数，确定执行抓取操作的机械臂的末端对所述目标物体的抓取位姿；
抓取执行模块503，用于控制所述机械臂的末端运动至所述抓取位姿，并执行对所述目标物体的抓取操作。
进一步地，所述机械臂抓取装置还可以包括：
视觉信息采集模块，用于分别采集所述目标物体在各种位姿下的视觉信息；
物体模型建立模块，用于根据所述目标物体在各种位姿下的视觉信息建立所述物体模型。
进一步地，所述视觉信息采集模块具体用于将所述目标物体放置于预设的托盘上，在所述托盘旋转的过程中不断移动所述目标物体在所述托盘上的位置，并分别采集所述目标物体在各种位姿下的视觉信息。
进一步地，所述物体模型建立模块可以包括：
三维建模单元，用于根据所述目标物体在各种位姿下的视觉信息进行三维建模，得到所述目标物体的三维视觉模型；
几何参数确定单元，用于根据所述三维视觉模型分别确定所述目标物体的几何中心位置和外观尺寸；
包络模型建立单元，用于根据所述目标物体的几何中心位置和外观尺寸建立所述目标物体的长方体包络模型。
进一步地，所述机械臂抓取装置还可以包括：
参数标定模块，用于对采集视觉信息的相机和所述机械臂进行参数标定，得到所述相机参数和所述机械臂参数。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置，模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
图6示出了本申请实施例提供的一种机器人的示意框图，为了便于说明，仅示出了与本申请实施例相关的部分。
如图6所示，该实施例的机器人6包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62。所述处理器60执行所述计算机程序62时实现上述各个机械臂抓取方法实施例中的步骤，例如图1所示的步骤S101至步骤S103。或者，所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能，例如图5所示模块501至模块503的功能。
示例性的，所述计算机程序62可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器60执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述机器人6中的执行过程。
本领域技术人员可以理解，图6仅仅是机器人6的示例，并不构成对机器人6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述机器人6还可以包括输入输出设备、网络接入设备、总线等。
所述处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述机器人6的内部存储单元，例如机器人6的硬盘或内存。所述存储器61也可以是所述机器人6的外部存储设备，例如所述机器人6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器61还可以既包括所述机器人6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述机器人6所需的其它程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/机器人和方法，可以通过其它的方式实现。例如，以上所描述的装置/机器人实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种机械臂抓取方法，其特征在于，包括：
采集目标物体的当前视觉信息，并根据所述目标物体的当前视觉信息和预设的物体模型确定所述目标物体的当前状态；
根据所述目标物体的当前状态、预先标定的相机参数和机械臂参数，确定执行抓取操作的机械臂的末端对所述目标物体的抓取位姿；
控制所述机械臂的末端运动至所述抓取位姿，并执行对所述目标物体的抓取操作。
2.根据权利要求1所述的机械臂抓取方法，其特征在于，在根据所述目标物体的当前视觉信息和预设的物体模型确定所述目标物体的当前状态之前，还包括：
分别采集所述目标物体在各种位姿下的视觉信息；
根据所述目标物体在各种位姿下的视觉信息建立所述物体模型。
3.根据权利要求2所述的机械臂抓取方法，其特征在于，所述分别采集所述目标物体在各种位姿下的视觉信息包括：
将所述目标物体放置于预设的托盘上，在所述托盘旋转的过程中不断移动所述目标物体在所述托盘上的位置，并分别采集所述目标物体在各种位姿下的视觉信息。
4.根据权利要求2所述的机械臂抓取方法，其特征在于，所述根据所述目标物体在各种位姿下的视觉信息建立所述物体模型包括：
根据所述目标物体在各种位姿下的视觉信息进行三维建模，得到所述目标物体的三维视觉模型；
根据所述三维视觉模型分别确定所述目标物体的几何中心位置和外观尺寸；
根据所述目标物体的几何中心位置和外观尺寸建立所述目标物体的长方体包络模型。
5.根据权利要求2至4中任一项所述的机械臂抓取方法，其特征在于，在分别采集所述目标物体在各种位姿下的视觉信息之前，还包括：
对采集视觉信息的相机和所述机械臂进行参数标定，得到所述相机参数和所述机械臂参数。
6.一种机械臂抓取装置，其特征在于，包括：
物体状态确定模块，用于采集目标物体的当前视觉信息，并根据所述目标物体的当前视觉信息和预设的物体模型确定所述目标物体的当前状态；
抓取位姿确定模块，用于根据所述目标物体的当前状态、预先标定的相机参数和机械臂参数，确定执行抓取操作的机械臂的末端对所述目标物体的抓取位姿；
抓取执行模块，用于控制所述机械臂的末端运动至所述抓取位姿，并执行对所述目标物体的抓取操作。
7.根据权利要求6所述的机械臂抓取装置，其特征在于，还可以包括：
视觉信息采集模块，用于分别采集所述目标物体在各种位姿下的视觉信息；
物体模型建立模块，用于根据所述目标物体在各种位姿下的视觉信息建立所述物体模型。
8.根据权利要求7所述的机械臂抓取装置，其特征在于，所述物体模型建立模块包括：
三维建模单元，用于根据所述目标物体在各种位姿下的视觉信息进行三维建模，得到所述目标物体的三维视觉模型；
几何参数确定单元，用于根据所述三维视觉模型分别确定所述目标物体的几何中心位置和外观尺寸；
包络模型建立单元，用于根据所述目标物体的几何中心位置和外观尺寸建立所述目标物体的长方体包络模型。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的机械臂抓取方法的步骤。
10.一种机器人，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的机械臂抓取方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911310686.3A CN111015655B (zh) | 2019-12-18 | 2019-12-18 | 机械臂抓取方法、装置、计算机可读存储介质及机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911310686.3A CN111015655B (zh) | 2019-12-18 | 2019-12-18 | 机械臂抓取方法、装置、计算机可读存储介质及机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111015655A true CN111015655A (zh) | 2020-04-17 |
| CN111015655B CN111015655B (zh) | 2022-02-22 |
Family
ID=70210676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911310686.3A Active CN111015655B (zh) | 2019-12-18 | 2019-12-18 | 机械臂抓取方法、装置、计算机可读存储介质及机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111015655B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111504328A (zh) * | 2020-05-22 | 2020-08-07 | 梅卡曼德（北京）机器人科技有限公司 | 机器人运动规划方法、路径规划方法、抓取方法及其装置 |
| CN111540045A (zh) * | 2020-07-07 | 2020-08-14 | 深圳市优必选科技股份有限公司 | 机械臂及其三维重建方法和装置 |
| CN111975782A (zh) * | 2020-08-25 | 2020-11-24 | 北京华航唯实机器人科技股份有限公司 | 物体放置方法及装置、机器人 |
| CN112775967A (zh) * | 2020-12-30 | 2021-05-11 | 中南民族大学 | 基于机器视觉的机械臂抓取方法、装置及设备 |
| CN113034668A (zh) * | 2021-03-01 | 2021-06-25 | 中科数据(青岛)科技信息有限公司 | 一种ar辅助的机械模拟操作方法和系统 |
| CN113034526A (zh) * | 2021-03-29 | 2021-06-25 | 深圳市优必选科技股份有限公司 | 一种抓取方法、抓取装置及机器人 |
| CN113253607A (zh) * | 2020-04-24 | 2021-08-13 | 深圳市优必选科技股份有限公司 | 上楼梯的步态规划方法、装置、可读存储介质及机器人 |
| CN113487655A (zh) * | 2021-09-07 | 2021-10-08 | 成都博恩思医学机器人有限公司 | 一种室内模型生成方法、一种电子设备及一种存储介质 |
| CN113601510A (zh) * | 2021-08-17 | 2021-11-05 | 广东电网有限责任公司 | 基于双目视觉的机器人移动控制方法、装置、系统及设备 |
| CN113977581A (zh) * | 2021-11-10 | 2022-01-28 | 胜斗士(上海)科技技术发展有限公司 | 抓取系统及抓取方法 |
| CN114054166A (zh) * | 2021-10-11 | 2022-02-18 | 深圳市中金岭南有色金属股份有限公司凡口铅锌矿 | 一种研磨体的自动添加方法及系统、终端设备 |
| CN114083532A (zh) * | 2021-11-09 | 2022-02-25 | 广州富港生活智能科技有限公司 | 一种机械臂控制方法及装置 |
| CN114454176A (zh) * | 2022-03-11 | 2022-05-10 | 深圳鹏行智能研究有限公司 | 机器人的控制方法、控制装置、机器人和存储介质 |
| CN114734444A (zh) * | 2022-04-27 | 2022-07-12 | 博众精工科技股份有限公司 | 一种目标定位方法、装置、电子设备及存储介质 |
| CN115366098A (zh) * | 2022-07-29 | 2022-11-22 | 山东浪潮科学研究院有限公司 | 一种基于视觉引导的薄片状物体抓取系统 |
| WO2023143408A1 (zh) * | 2022-01-27 | 2023-08-03 | 达闼机器人股份有限公司 | 机器人物品抓取方法、装置、机器人、程序及存储介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103707300A (zh) * | 2013-12-20 | 2014-04-09 | 上海理工大学 | 机械手装置 |
| CN104217441A (zh) * | 2013-08-28 | 2014-12-17 | 北京嘉恒中自图像技术有限公司 | 一种基于机器视觉的机械臂定位抓取方法 |
| CN105225269A (zh) * | 2015-09-22 | 2016-01-06 | 浙江大学 | 基于运动机构的三维物体建模系统 |
| US20180085923A1 (en) * | 2016-09-29 | 2018-03-29 | Seiko Epson Corporation | Robot control device, robot, and robot system |
| US20180250813A1 (en) * | 2017-03-03 | 2018-09-06 | Keyence Corporation | Image Processing Device, Image Processing Method, And Computer Program |
| CN108789414A (zh) * | 2018-07-17 | 2018-11-13 | 五邑大学 | 基于三维机器视觉的智能机械臂系统及其控制方法 |
| CN108827154A (zh) * | 2018-07-09 | 2018-11-16 | 深圳辰视智能科技有限公司 | 一种机器人无示教抓取方法、装置及计算机可读存储介质 |
| CN108942923A (zh) * | 2018-06-21 | 2018-12-07 | 安徽工程大学 | 一种机械臂抓取控制方法 |
| CN109048915A (zh) * | 2018-09-10 | 2018-12-21 | 浙江威步机器人技术有限公司 | 机械臂抓取控制方法、装置、存储介质及电子设备 |
| CN109249392A (zh) * | 2018-08-31 | 2019-01-22 | 先临三维科技股份有限公司 | 工件抓取系统的校准方法、标定件、装置、设备和介质 |
| CN109421050A (zh) * | 2018-09-06 | 2019-03-05 | 北京猎户星空科技有限公司 | 一种机器人的控制方法及装置 |
| CN109955244A (zh) * | 2017-12-26 | 2019-07-02 | 深圳市优必选科技有限公司 | 一种基于视觉伺服的抓取控制方法、装置和机器人 |
| CN109986551A (zh) * | 2017-12-31 | 2019-07-09 | 广州智信科技有限公司 | 抓取系统及抓取方法 |
| CN110026987A (zh) * | 2019-05-28 | 2019-07-19 | 广东工业大学 | 一种机械臂抓取轨迹的生成方法、装置、设备及存储介质 |
| CN110076772A (zh) * | 2019-04-03 | 2019-08-02 | 浙江大华技术股份有限公司 | 一种机械臂的抓取方法及装置 |
-
2019
- 2019-12-18 CN CN201911310686.3A patent/CN111015655B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104217441A (zh) * | 2013-08-28 | 2014-12-17 | 北京嘉恒中自图像技术有限公司 | 一种基于机器视觉的机械臂定位抓取方法 |
| CN103707300A (zh) * | 2013-12-20 | 2014-04-09 | 上海理工大学 | 机械手装置 |
| CN105225269A (zh) * | 2015-09-22 | 2016-01-06 | 浙江大学 | 基于运动机构的三维物体建模系统 |
| US20180085923A1 (en) * | 2016-09-29 | 2018-03-29 | Seiko Epson Corporation | Robot control device, robot, and robot system |
| US20180250813A1 (en) * | 2017-03-03 | 2018-09-06 | Keyence Corporation | Image Processing Device, Image Processing Method, And Computer Program |
| CN109955244A (zh) * | 2017-12-26 | 2019-07-02 | 深圳市优必选科技有限公司 | 一种基于视觉伺服的抓取控制方法、装置和机器人 |
| CN109986551A (zh) * | 2017-12-31 | 2019-07-09 | 广州智信科技有限公司 | 抓取系统及抓取方法 |
| CN108942923A (zh) * | 2018-06-21 | 2018-12-07 | 安徽工程大学 | 一种机械臂抓取控制方法 |
| CN108827154A (zh) * | 2018-07-09 | 2018-11-16 | 深圳辰视智能科技有限公司 | 一种机器人无示教抓取方法、装置及计算机可读存储介质 |
| CN108789414A (zh) * | 2018-07-17 | 2018-11-13 | 五邑大学 | 基于三维机器视觉的智能机械臂系统及其控制方法 |
| CN109249392A (zh) * | 2018-08-31 | 2019-01-22 | 先临三维科技股份有限公司 | 工件抓取系统的校准方法、标定件、装置、设备和介质 |
| CN109421050A (zh) * | 2018-09-06 | 2019-03-05 | 北京猎户星空科技有限公司 | 一种机器人的控制方法及装置 |
| CN109048915A (zh) * | 2018-09-10 | 2018-12-21 | 浙江威步机器人技术有限公司 | 机械臂抓取控制方法、装置、存储介质及电子设备 |
| CN110076772A (zh) * | 2019-04-03 | 2019-08-02 | 浙江大华技术股份有限公司 | 一种机械臂的抓取方法及装置 |
| CN110026987A (zh) * | 2019-05-28 | 2019-07-19 | 广东工业大学 | 一种机械臂抓取轨迹的生成方法、装置、设备及存储介质 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113253607A (zh) * | 2020-04-24 | 2021-08-13 | 深圳市优必选科技股份有限公司 | 上楼梯的步态规划方法、装置、可读存储介质及机器人 |
| CN114061580A (zh) * | 2020-05-22 | 2022-02-18 | 梅卡曼德（北京）机器人科技有限公司 | 基于对称程度的机器人抓取方法、装置、电子设备及介质 |
| CN111504328A (zh) * | 2020-05-22 | 2020-08-07 | 梅卡曼德（北京）机器人科技有限公司 | 机器人运动规划方法、路径规划方法、抓取方法及其装置 |
| CN114061580B (zh) * | 2020-05-22 | 2023-12-29 | 梅卡曼德（北京）机器人科技有限公司 | 基于对称程度的机器人抓取方法、装置、电子设备及介质 |
| CN111540045A (zh) * | 2020-07-07 | 2020-08-14 | 深圳市优必选科技股份有限公司 | 机械臂及其三维重建方法和装置 |
| CN111975782A (zh) * | 2020-08-25 | 2020-11-24 | 北京华航唯实机器人科技股份有限公司 | 物体放置方法及装置、机器人 |
| CN112775967A (zh) * | 2020-12-30 | 2021-05-11 | 中南民族大学 | 基于机器视觉的机械臂抓取方法、装置及设备 |
| CN113034668A (zh) * | 2021-03-01 | 2021-06-25 | 中科数据(青岛)科技信息有限公司 | 一种ar辅助的机械模拟操作方法和系统 |
| CN113034526A (zh) * | 2021-03-29 | 2021-06-25 | 深圳市优必选科技股份有限公司 | 一种抓取方法、抓取装置及机器人 |
| CN113034526B (zh) * | 2021-03-29 | 2024-01-16 | 深圳市优必选科技股份有限公司 | 一种抓取方法、抓取装置及机器人 |
| CN113601510A (zh) * | 2021-08-17 | 2021-11-05 | 广东电网有限责任公司 | 基于双目视觉的机器人移动控制方法、装置、系统及设备 |
| CN113487655B (zh) * | 2021-09-07 | 2022-03-01 | 成都博恩思医学机器人有限公司 | 一种室内模型生成方法、一种电子设备及一种存储介质 |
| CN113487655A (zh) * | 2021-09-07 | 2021-10-08 | 成都博恩思医学机器人有限公司 | 一种室内模型生成方法、一种电子设备及一种存储介质 |
| CN114054166A (zh) * | 2021-10-11 | 2022-02-18 | 深圳市中金岭南有色金属股份有限公司凡口铅锌矿 | 一种研磨体的自动添加方法及系统、终端设备 |
| CN114083532A (zh) * | 2021-11-09 | 2022-02-25 | 广州富港生活智能科技有限公司 | 一种机械臂控制方法及装置 |
| CN113977581A (zh) * | 2021-11-10 | 2022-01-28 | 胜斗士(上海)科技技术发展有限公司 | 抓取系统及抓取方法 |
| WO2023143408A1 (zh) * | 2022-01-27 | 2023-08-03 | 达闼机器人股份有限公司 | 机器人物品抓取方法、装置、机器人、程序及存储介质 |
| CN114454176A (zh) * | 2022-03-11 | 2022-05-10 | 深圳鹏行智能研究有限公司 | 机器人的控制方法、控制装置、机器人和存储介质 |
| CN114454176B (zh) * | 2022-03-11 | 2024-03-12 | 深圳鹏行智能研究有限公司 | 机器人的控制方法、控制装置、机器人和存储介质 |
| CN114734444B (zh) * | 2022-04-27 | 2023-06-27 | 博众精工科技股份有限公司 | 一种目标定位方法、装置、电子设备及存储介质 |
| CN114734444A (zh) * | 2022-04-27 | 2022-07-12 | 博众精工科技股份有限公司 | 一种目标定位方法、装置、电子设备及存储介质 |
| CN115366098A (zh) * | 2022-07-29 | 2022-11-22 | 山东浪潮科学研究院有限公司 | 一种基于视觉引导的薄片状物体抓取系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111015655B (zh) | 2022-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111015655B (zh) | 机械臂抓取方法、装置、计算机可读存储介质及机器人 | |
| CN108044627B (zh) | 抓取位置的检测方法、装置及机械臂 | |
| CN108115688B (zh) | 一种机械臂的抓取控制方法、系统及机械臂 | |
| CN109807885B (zh) | 一种机械手的视觉标定方法、装置及智能终端 | |
| CN108381549B (zh) | 一种双目视觉引导机器人快速抓取方法、装置及存储介质 | |
| CN109955244B (zh) | 一种基于视觉伺服的抓取控制方法、装置和机器人 | |
| CN112686950B (zh) | 位姿估计方法、装置、终端设备及计算机可读存储介质 | |
| CN110926330B (zh) | 图像处理装置和图像处理方法 | |
| CN108202328B (zh) | 机器人自适应取放物体的方法、装置、机械臂及存储介质 | |
| CN115609591B (zh) | 一种基于2D Marker的视觉定位方法和系统、复合机器人 | |
| CN113524187B (zh) | 一种工件抓取顺序的确定方法、装置、计算机设备及介质 | |
| CN113997295B (zh) | 机械臂的手眼标定方法、装置、电子设备及存储介质 | |
| CN112348890B (zh) | 一种空间定位方法、装置及计算机可读存储介质 | |
| CN109685764B (zh) | 产品定位方法、装置及终端设备 | |
| CN113172636B (zh) | 一种自动手眼标定方法、装置及存储介质 | |
| CN110807807A (zh) | 一种单目视觉的目标定位的图案、方法、装置及设备 | |
| CN114029946A (zh) | 一种基于3d光栅引导机器人定位抓取的方法、装置及设备 | |
| CN114820781A (zh) | 基于机器视觉的智能搬运方法、装置、系统及存储介质 | |
| CN110032941B (zh) | 人脸图像检测方法、人脸图像检测装置及终端设备 | |
| JP6424432B2 (ja) | 制御装置、ロボットシステム、ロボット及びロボット制御方法 | |
| CN108555902B (zh) | 一种机器人分拣物品的方法、装置及机器人 | |
| CN110298877A (zh) | 一种物体三维位姿的确定方法、装置及电子设备 | |
| CN113034526A (zh) | 一种抓取方法、抓取装置及机器人 | |
| CN112936257A (zh) | 一种工件抓取方法、装置、计算机设备及存储介质 | |
| CN108284075B (zh) | 一种机器人分拣物品的方法、装置及机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |