CN108058172A - 一种基于自回归模型的机械手抓取方法 - Google Patents
一种基于自回归模型的机械手抓取方法 Download PDFInfo
- Publication number
- CN108058172A CN108058172A CN201711242704.XA CN201711242704A CN108058172A CN 108058172 A CN108058172 A CN 108058172A CN 201711242704 A CN201711242704 A CN 201711242704A CN 108058172 A CN108058172 A CN 108058172A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- crawl
- munderover
- mfrac
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Abstract
本发明中提出的一种基于自回归模型的机械手抓取方法，其主要内容包括：数据采集/自回归模型结构和训练方法，其过程为，先从对象原始数据集中抽取原始样本，生成对象形成采集数据，进行抓取采样和评估，再利用自回归模型中的抓取模块抓取可能成功抓取的抓取物，抓取评估模型利用来自机械手夹具上相机的特写图像的详细数据，形成对每个成功抓取的可能性的更准确估计，接着利用数据训练模型，使用标准的反向传播和随机小批量梯度技术优化函数，最后进行实际测试。本发明建立了精确的自回归模型，准确定位抓取对象，在较短的时间内实现高质量的抓取，大大提高了抓取的成功率。
Description
技术领域
本发明涉及机器人领域，尤其是涉及了一种基于自回归模型的机械手抓取方法。
背景技术
机械手是典型的机电一体装置，它综合运用了机械与精密机械、微电子与计算机、自动控制与驱动、传感器与信息处理以及人工智能等多学科的最新研究成果。性能优良的机械手可以实现可靠、快速和精确的抓取。机械手可以代替机械制造业中大批量、高质量要求的工作，如汽车制造、舰船制造、某些家电产品的制造以及化工等行业自动化生产线中的点焊、弧焊、喷漆、切割、电子装配及物流系统的搬运、包装等工作；在军事领域中，可以让其执行自动控制任务、拆装炸弹以及后勤工作等；在医疗领域，机械手还可协助医生完成一些难度较高的手术，例如，眼部手术、脑部手术等。除此之外，机械手还可广泛应用于危险环境作业、海洋资源探测以及空间探测中，将来也将逐渐普及到我们的日常生活中。然而，由于简化对象和接触模型的不一致性，通常需要精确的三维模型，否则将导致抓取对象和机械手传感器的不准确。
本发明提出了一种基于自回归模型的机械手抓取方法，先从对象原始数据集中抽取原始样本，生成对象形成采集数据，进行抓取采样和评估，再利用自回归模型中的抓取模块抓取可能成功抓取的抓取物，抓取评估模型利用来自机械手夹具上相机的特写图像的详细数据，形成对每个成功抓取的可能性的更准确估计，接着利用数据训练模型，使用标准的反向传播和随机小批量梯度技术优化函数，最后进行实际测试。本发明建立了精确的自回归模型，准确定位抓取对象，在较短的时间内实现高质量的抓取，大大提高了抓取的成功率。
发明内容
针对导致抓取对象和机械手传感器不准确的问题，本发明的目的在于提供一种基于自回归模型的机械手抓取方法，先从对象原始数据集中抽取原始样本，生成对象形成采集数据，进行抓取采样和评估，再利用自回归模型中的抓取模块抓取可能成功抓取的抓取物，抓取评估模型利用来自机械手夹具上相机的特写图像的详细数据，形成对每个成功抓取的可能性的更准确估计，接着利用数据训练模型，使用标准的反向传播和随机小批量梯度技术优化函数，最后进行实际测试。
为解决上述问题，本发明提供一种基于自回归模型的机械手抓取方法，其主要内容包括：
(一)数据采集；
(二)自回归模型结构；
(三)训练方法。
其中，所述的基于自回归模型的机械手抓取方法，目标是学习一个映射，它需要一个场景的一个或多个观测值I＝{lj}，并在场景中尝试输出一个抓取g。
进一步地，所述的自回归模型，使用自回归体系结构对一个物体在观测条件下的分布进行建模；对于任何一维变量xi的排序选择，可以将N维概率分布p(X)因式分解为对分布进行建模，其中包括对每个p(xn|x1,…,xn-1)进行建模；与生成对抗网络相反，自回归模型可以直接计算样本的可能性，这有利于抓取最有可能的样本。
其中，所述的数据采集，数据采集包括对象生成、抓取采样和评估。
进一步地，所述的对象生成，对多种程序生成的对象进行训练，可以产生与现实对象网格上的训练相同的性能；程序化生成的对象形成如下：
(1)采样一个随机数np∈{1,…,15}；
(2)从对象原始数据集中抽取np原始样本；
(3)随机缩放每个图元(描述各种图形元素的函数)，使其大小均在1到15厘米之间；
(4)依次放置网格，使每个网格与至少一个位于前面的网格相交；
(5)重新缩放最终的对象，使其近似于真实对象数据集中观察到的大小分布；
为了构建一个多样化的对象原始数据集，使用ShapeNet对象数据集中的超过40000个对象网格，并将它们分解成超过40万个凸起部分；每个图元是一个凸起的部分。
进一步地，所述的抓取采样和评估，从中心(x,y,z)坐标对应的4维或6维空间中随机抽样夹具的位置和夹具在该位置的方向；将每个维度分成20个数组，这些数组是对象的边界框内的抓取点的相对位置；对于每次抓取尝试，在用于训练抓取评估函数的方法期间利用机械手上的相机收集深度图像。
其中，所述的自回归模型结构，该模型由两个独立的神经网络组成，包括一个抓取模块γ(I)＝βοα(I)和一个抓取评估模型f；抓取模块用于抓取可能成功抓取的抓取物；抓取评估模型利用来自机械手夹具上相机的特写图像的详细数据，形成对每个成功抓取的可能性的更准确估计；
每个图像通过单独的卷积神经网络形成图像表示s＝α(I)；这些卷积层的输出堆叠并通过几个密集层产生s；
神经网络β(s)针对对象可能的抓取对概率分布pβ(g|s)进行建模，其中，这些可能的抓取对应于每个抓取的归一化成功概率；模型β由n个子模块βi组成，其中n是抓取的维数；对于任何抓取g，β和{βi}与下式有关：
其中，gi是g的大小。
进一步地，所述的神经网络，每个βi是一个小型的神经网络，将s和ri(g1,…,gi-1)连接起来作为输入，并对g的下一个维度gi的可能值进行分配；其中，ri是原来的抓取尺寸的嵌入；βi的输出是gi的离散值的softmax函数；使用一个小的完全连接神经网络ri，有助于提高收敛性能；
抓取评价模型f从机械手上的相机输入单一的观察结果，然后输出与该抓取成功可能性对应的单一标量值；模型f由具有S形输出的卷积神经网络进行参数化。
其中，所述的训练方法，由于该方法涉及从机器人手中捕获与来自γ(I)＝βοα(I)的样本所对应的深度图像，所以整个评估过程是不可微的，并且不能使用监督学习来训练端对端模型；因此，训练程序涉及独立训练γ和f；
给定对象D＝{D1,…,Dd}的数据集，观察值I＝{I1,…,Id}和成功抓取的 γ可以通过最小化关于γ的参数θ；G的负对数似然性以观测值I为条件，即：
可以分解为：
这个函数使用标准的反向传播和随机小批量梯度技术进行优化；
在实践中，α通常是一个比β大的模型，而且对于单组Ii，通常有数十或数百次的成功抓握尝试因此对于所有执行一次α(Ii)的正向传递和梯度计算，可以在标准神经网络和反向传播库中通过堆叠给定对象的所有抓取来实现，使得随机梯度下降法(SGD)批次由对组成，其中是由对象i的所有成功抓取组成的mi×n矩阵。
进一步地，所述的梯度计算，为了处理mi的不同值，选择m＝max({mi})，并通过用任意值填充mi×n矩阵形成m×n矩阵；然后写出目标函数的如下：
其中，1j是一个指标函数；抓取评估函数f通过监督学习进行训练；数据采集过程中采集到的机械手上的相机图像给出了输入，并通过相应的抓取是否成功给出标签。
附图说明
图1是本发明一种基于自回归模型的机械手抓取方法的系统框架图。
图2是本发明一种基于自回归模型的机械手抓取方法的概述图。
图3是本发明一种基于自回归模型的机械手抓取方法的使用随机生成的对象的例子。
图4是本发明一种基于自回归模型的机械手抓取方法的自回归模型结构。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于自回归模型的机械手抓取方法的系统框架图。主要包括数据采集，自回归模型结构和训练方法。
基于自回归模型的机械手抓取方法目标是学习一个映射，它需要一个场景的一个或多个观测值I＝{Ij}，并在场景中尝试输出一个抓取g。
自回归模型使用自回归体系结构对一个物体在观测条件下的分布进行建模；对于任何一维变量xi的排序选择，可以将N维概率分布p(X)因式分解为对分布进行建模，其中包括对每个p(xn|x1,…,xn-1)进行建模；与生成对抗网络相反，自回归模型可以直接计算样本的可能性，这有利于抓取最有可能的样本。
训练方法，由于该方法涉及从机器人手中捕获与来自γ(I)＝βοα(I)的样本所对应的深度图像，所以整个评估过程是不可微的，并且不能使用监督学习来训练端对端模型；因此，训练程序涉及独立训练γ和f；
给定对象D＝{D1,…,Dd}的数据集，观察值I＝{I1,…,Id}和成功抓取的 γ可以通过最小化关于γ的参数θ；G的负对数似然性以观测值I为条件，即：
可以分解为：
这个函数使用标准的反向传播和随机小批量梯度技术进行优化；
在实践中，α通常是一个比β大的模型，而且对于单组Ii，通常有数十或数百次的成功抓握尝试因此对于所有执行一次α(Ii)的正向传递和梯度计算，可以在标准神经网络和反向传播库中通过堆叠给定对象的所有抓取来实现，使得随机梯度下降法(SGD)批次由对组成，其中是由对象i的所有成功抓取组成的mi×n矩阵。
为了处理mi的不同值，选择m＝max({mi})，并通过用任意值填充mi×n矩阵形成m×n矩阵；然后写出目标函数的如下：
其中，1j是一个指标函数；抓取评估函数f通过监督学习进行训练；数据采集过程中采集到的机械手上的相机图像给出了输入，并通过相应的抓取是否成功给出标签。
图2是本发明一种基于自回归模型的机械手抓取方法的概述图。本方法先从对象原始数据集中抽取原始样本，生成对象形成采集数据，进行抓取采样和评估，再利用自回归模型中的抓取模块抓取可能成功抓取的抓取物，抓取评估模型利用来自机械手夹具上相机的特写图像的详细数据，形成对每个成功抓取的可能性的更准确估计，接着利用数据训练模型，使用标准的反向传播和随机小批量梯度技术优化函数，最后进行实际测试。
图3是本发明一种基于自回归模型的机械手抓取方法的使用随机生成的对象的例子。左图是程序生成的随机对象，中间的图是来自ShapeNet对象数据集的对象，右图是来自YCB对象数据集的对象。
数据采集包括对象生成、抓取采样和评估。
对多种程序生成的对象进行训练，可以产生与现实对象网格上的训练相同的性能；程序化生成的对象形成如下：
(1)采样一个随机数np∈{1,…,15}；
(2)从对象原始数据集中抽取np原始样本；
(3)随机缩放每个图元(描述各种图形元素的函数)，使其大小均在1到15厘米之间；
(4)依次放置网格，使每个网格与至少一个位于前面的网格相交；
(5)重新缩放最终的对象，使其近似于真实对象数据集中观察到的大小分布；
为了构建一个多样化的对象原始数据集，使用ShapeNet对象数据集中的超过40000个对象网格，并将它们分解成超过40万个凸起部分；每个图元是一个凸起的部分。
抓取采样和评估，从中心(x,y,z)坐标对应的4维或6维空间中随机抽样夹具的位置和夹具在该位置的方向；将每个维度分成20个数组，这些数组是对象的边界框内的抓取点的相对位置；对于每次抓取尝试，在用于训练抓取评估函数的方法期间利用机械手上的相机收集深度图像。
图4是本发明一种基于自回归模型的机械手抓取方法的自回归模型结构。该模型由两个独立的神经网络组成，包括一个抓取模块γ(I)＝βοα(I)和一个抓取评估模型f；抓取模块用于抓取可能成功抓取的抓取物；抓取评估模型利用来自机械手夹具上相机的特写图像的详细数据，形成对每个成功抓取的可能性的更准确估计；
每个图像通过单独的卷积神经网络形成图像表示s＝α(I)；这些卷积层的输出堆叠并通过几个密集层产生s；
神经网络β(s)针对对象可能的抓取对概率分布pβ(g|s)进行建模，其中，这些可能的抓取对应于每个抓取的归一化成功概率；模型β由n个子模块βi组成，其中n是抓取的维数；对于任何抓取g，β和{βi}与下式有关：
其中，gi是g的大小。
每个βi是一个小型的神经网络，将s和ri(g1,…,gi-1)连接起来作为输入，并对g的下一个维度gi的可能值进行分配；其中，ri是原来的抓取尺寸的嵌入；βi的输出是gi的离散值的softmax函数；使用一个小的完全连接神经网络ri，有助于提高收敛性能；
抓取评价模型f从机械手上的相机输入单一的观察结果，然后输出与该抓取成功可能性对应的单一标量值；模型f由具有S形输出的卷积神经网络进行参数化。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
Claims (10)
1.一种基于自回归模型的机械手抓取方法，其特征在于，主要包括数据采集(一)；自回归模型结构(二)；训练方法(三)。
2.基于权利要求书1所述的基于自回归模型的机械手抓取方法，其特征在于，目标是学习一个映射，它需要一个场景的一个或多个观测值I＝{Ij}，并在场景中尝试输出一个抓取g。
3.基于权利要求书2所述的自回归模型，其特征在于，使用自回归体系结构对一个物体在观测条件下的分布进行建模；对于任何一维变量xi的排序选择，可以将N维概率分布p(X)因式分解为对分布进行建模，其中包括对每个p(xn|x1,…,xn-1)进行建模；与生成对抗网络相反，自回归模型可以直接计算样本的可能性，这有利于抓取最有可能的样本。
4.基于权利要求书1所述的数据采集(一)，其特征在于，数据采集包括对象生成、抓取采样和评估。
5.基于权利要求书4所述的对象生成，其特征在于，对多种程序生成的对象进行训练，可以产生与现实对象网格上的训练相同的性能；程序化生成的对象形成如下：
(1)采样一个随机数np∈{1,…,15}；
(2)从对象原始数据集中抽取np原始样本；
(3)随机缩放每个图元(描述各种图形元素的函数)，使其大小均在1到15厘米之间；
(4)依次放置网格，使每个网格与至少一个位于前面的网格相交；
(5)重新缩放最终的对象，使其近似于真实对象数据集中观察到的大小分布；
为了构建一个多样化的对象原始数据集，使用ShapeNet对象数据集中的超过40000个对象网格，并将它们分解成超过40万个凸起部分；每个图元是一个凸起的部分。
6.基于权利要求书4所述的抓取采样和评估，其特征在于，从中心(x,y,z)坐标对应的4维或6维空间中随机抽样夹具的位置和夹具在该位置的方向；将每个维度分成20个数组，这些数组是对象的边界框内的抓取点的相对位置；对于每次抓取尝试，在用于训练抓取评估函数的方法期间利用机械手上的相机收集深度图像。
7.基于权利要求书1所述的自回归模型结构(二)，其特征在于，该模型由两个独立的神经网络组成，包括一个抓取模块和一个抓取评估模型f；抓取模块用于抓取可能成功抓取的抓取物；抓取评估模型利用来自机械手夹具上相机的特写图像的详细数据，形成对每个成功抓取的可能性的更准确估计；
每个图像通过单独的卷积神经网络形成图像表示s＝α(I)；这些卷积层的输出堆叠并通过几个密集层产生s；
神经网络β(s)针对对象可能的抓取对概率分布pβ(g|s)进行建模，其中，这些可能的抓取对应于每个抓取的归一化成功概率；模型β由n个子模块βi组成，其中n是抓取的维数；对于任何抓取g，β和{βi}与下式有关：
<mrow>
<mi>&beta;</mi>
<mrow>
<mo>(</mo>
<mi>s</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<mi>g</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mi>&Pi;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>&beta;</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>g</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>g</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>,</mo>
<mi>s</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，gi是g的大小。
8.基于权利要求书7所述的神经网络，其特征在于，每个βi是一个小型的神经网络，将s和ri(g1,…,gi-1)连接起来作为输入，并对g的下一个维度gi的可能值进行分配；其中，ri是原来的抓取尺寸的嵌入；βi的输出是gi的离散值的softmax函数；使用一个小的完全连接神经网络ri，有助于提高收敛性能；
抓取评价模型f从机械手上的相机输入单一的观察结果，然后输出与该抓取成功可能性对应的单一标量值；模型f由具有S形输出的卷积神经网络进行参数化。
9.基于权利要求书1所述的训练方法(三)，其特征在于，由于该方法涉及从机器人手中捕获与来自的样本所对应的深度图像，所以整个评估过程是不可微的，并且不能使用监督学习来训练端对端模型；因此，训练程序涉及独立训练γ和f；
给定对象D＝{D1,…,Dd}的数据集，观察值I＝{I1,…,Id}和成功抓取的 γ可以通过最小化关于γ的参数θ；G的负对数似然性以观测值I为条件，即：
<mrow>
<mi>J</mi>
<mrow>
<mo>(</mo>
<mi>&theta;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mi>d</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>d</mi>
</munderover>
<mfrac>
<mn>1</mn>
<msub>
<mi>m</mi>
<mi>i</mi>
</msub>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>m</mi>
<mi>i</mi>
</msub>
</munderover>
<mi>log</mi>
<mi> </mi>
<msub>
<mi>p</mi>
<mi>&theta;</mi>
</msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>g</mi>
<mi>j</mi>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<msup>
<mi>I</mi>
<mi>i</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
可以分解为：
<mrow>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mi>d</mi>
</mfrac>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>d</mi>
</munderover>
<mfrac>
<mn>1</mn>
<msub>
<mi>m</mi>
<mi>i</mi>
</msub>
</mfrac>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>m</mi>
<mi>i</mi>
</msub>
</munderover>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>log&beta;</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>&alpha;</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>I</mi>
<mi>i</mi>
</msup>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>g</mi>
<mi>l</mi>
<mi>i</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mrow>
<mi>l</mi>
<mo><</mo>
<mi>k</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
这个函数使用标准的反向传播和随机小批量梯度技术进行优化；
在实践中，α通常是一个比β大的模型，而且对于单组Ii，通常有数十或数百次的成功抓握尝试因此对于所有执行一次α(Ii)的正向传递和梯度计算，可以在标准神经网络和反向传播库中通过堆叠给定对象的所有抓取来实现，使得随机梯度下降法(SGD)批次由对组成，其中是由对象i的所有成功抓取组成的mi×n矩阵。
10.基于权利要求书9所述的梯度计算，其特征在于，为了处理mi的不同值，选择m＝max({mi})，并通过用任意值填充mi×n矩阵形成m×n矩阵；然后写出目标函数的如下：
<mrow>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mi>d</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>d</mi>
</munderover>
<mfrac>
<mn>1</mn>
<msub>
<mi>m</mi>
<mi>i</mi>
</msub>
</mfrac>
<msub>
<mo>&dtri;</mo>
<mi>&theta;</mi>
</msub>
<mi>&alpha;</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>I</mi>
<mi>i</mi>
</msup>
<mo>)</mo>
</mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</munderover>
<msub>
<mn>1</mn>
<mi>j</mi>
</msub>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mo>&dtri;</mo>
<mi>&theta;</mi>
</msub>
<msub>
<mi>log&beta;</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>&alpha;</mi>
<mo>(</mo>
<msup>
<mi>I</mi>
<mi>i</mi>
</msup>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>g</mi>
<mi>j</mi>
<mi>i</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mrow>
<mi>l</mi>
<mo><</mo>
<mi>k</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，1j是一个指标函数；抓取评估函数f通过监督学习进行训练；数据采集过程中采集到的机械手上的相机图像给出了输入，并通过相应的抓取是否成功给出标签。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711242704.XA CN108058172A (zh) | 2017-11-30 | 2017-11-30 | 一种基于自回归模型的机械手抓取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711242704.XA CN108058172A (zh) | 2017-11-30 | 2017-11-30 | 一种基于自回归模型的机械手抓取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108058172A true CN108058172A (zh) | 2018-05-22 |
Family
ID=62135296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711242704.XA Withdrawn CN108058172A (zh) | 2017-11-30 | 2017-11-30 | 一种基于自回归模型的机械手抓取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108058172A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109015640A (zh) * | 2018-08-15 | 2018-12-18 | 深圳清华大学研究院 | 抓取方法、系统、计算机装置及可读存储介质 |
| CN109333536A (zh) * | 2018-10-26 | 2019-02-15 | 北京因时机器人科技有限公司 | 一种机器人及其物体抓取方法和装置 |
| CN109658413A (zh) * | 2018-12-12 | 2019-04-19 | 深圳前海达闼云端智能科技有限公司 | 一种机器人目标物体抓取位置检测的方法 |
| CN110216671A (zh) * | 2019-05-14 | 2019-09-10 | 苏州软体机器人科技有限公司 | 一种基于计算机仿真的机械抓手训练方法及系统 |
| CN115509909A (zh) * | 2022-09-26 | 2022-12-23 | 北京百度网讯科技有限公司 | 测试方法、装置、电子设备和存储介质 |
| WO2023124734A1 (zh) * | 2021-12-29 | 2023-07-06 | 广东美的白色家电技术创新中心有限公司 | 物体抓取点估计、模型训练及数据生成方法、装置及系统 |
| CN117021122A (zh) * | 2023-10-09 | 2023-11-10 | 知行机器人科技（苏州）有限公司 | 一种抓取机器人控制方法及系统 |
-
2017
- 2017-11-30 CN CN201711242704.XA patent/CN108058172A/zh not_active Withdrawn
Non-Patent Citations (1)
| Title |
|---|
| JOSH TOBIN等: "Domain Randomization and Generative Models for Robotic Grasping", 《网页在线公开:HTTPS://ARXIV.ORG/ABS/1710.06425》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109015640A (zh) * | 2018-08-15 | 2018-12-18 | 深圳清华大学研究院 | 抓取方法、系统、计算机装置及可读存储介质 |
| CN109333536A (zh) * | 2018-10-26 | 2019-02-15 | 北京因时机器人科技有限公司 | 一种机器人及其物体抓取方法和装置 |
| CN109658413A (zh) * | 2018-12-12 | 2019-04-19 | 深圳前海达闼云端智能科技有限公司 | 一种机器人目标物体抓取位置检测的方法 |
| CN109658413B (zh) * | 2018-12-12 | 2022-08-09 | 达闼机器人股份有限公司 | 一种机器人目标物体抓取位置检测的方法 |
| US11878433B2 (en) | 2018-12-12 | 2024-01-23 | Cloudminds Robotics Co., Ltd. | Method for detecting grasping position of robot in grasping object |
| CN110216671A (zh) * | 2019-05-14 | 2019-09-10 | 苏州软体机器人科技有限公司 | 一种基于计算机仿真的机械抓手训练方法及系统 |
| WO2023124734A1 (zh) * | 2021-12-29 | 2023-07-06 | 广东美的白色家电技术创新中心有限公司 | 物体抓取点估计、模型训练及数据生成方法、装置及系统 |
| CN115509909A (zh) * | 2022-09-26 | 2022-12-23 | 北京百度网讯科技有限公司 | 测试方法、装置、电子设备和存储介质 |
| CN115509909B (zh) * | 2022-09-26 | 2023-11-07 | 北京百度网讯科技有限公司 | 测试方法、装置、电子设备和存储介质 |
| CN117021122A (zh) * | 2023-10-09 | 2023-11-10 | 知行机器人科技（苏州）有限公司 | 一种抓取机器人控制方法及系统 |
| CN117021122B (zh) * | 2023-10-09 | 2024-01-26 | 知行机器人科技（苏州）有限公司 | 一种抓取机器人控制方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108058172A (zh) | 一种基于自回归模型的机械手抓取方法 | |
| CN106446927B (zh) | 一种自步增强图像分类方法及系统 | |
| CN109483573A (zh) | 机器学习装置、机器人系统以及机器学习方法 | |
| JP6671694B1 (ja) | 機械学習装置、機械学習システム、データ処理システム及び機械学習方法 | |
| CN110315505A (zh) | 机器学习装置及方法、机器人控制装置、机器人视觉系统 | |
| CN107123106A (zh) | 显示从输入图像检测到的对象物的图像处理装置 | |
| CN108463876A (zh) | 为样品产生模拟输出 | |
| CN108053030A (zh) | 一种开放领域的迁移学习方法及系统 | |
| CN109685848A (zh) | 一种三维点云与三维传感器的神经网络坐标变换方法 | |
| CN106826812A (zh) | 机械学习器及机械学习方法、层叠芯制造装置及系统 | |
| CN110427006A (zh) | 一种用于流程工业的多智能体协同控制系统及方法 | |
| CN110619316A (zh) | 人体关键点检测方法、装置和电子设备 | |
| CN110065068A (zh) | 一种基于逆向工程的机器人装配作业演示编程方法及装置 | |
| CN109101712A (zh) | 基于图网络的产品模型设计系统及方法 | |
| CN109508707A (zh) | 基于单目视觉的机器人稳定抓取物体的抓取点获取方法 | |
| CN113762159A (zh) | 一种基于有向箭头模型的目标抓取检测方法及系统 | |
| CN113664828A (zh) | 一种基于深度强化学习的机器人抓取-抛掷方法 | |
| CN111496794B (zh) | 一种基于仿真工业机器人的运动学自抓取学习方法和系统 | |
| CN116276973A (zh) | 基于深度学习的视觉感知抓取训练方法 | |
| CN113436293B (zh) | 一种基于条件生成式对抗网络的智能抓取图像生成方法 | |
| CN114131603A (zh) | 基于感知增强和场景迁移的深度强化学习机器人抓取方法 | |
| CN107193965A (zh) | 一种基于BoVW算法的快速室内定位方法 | |
| CN111738410A (zh) | 肉牛个体生长曲线获取方法、装置和存储介质 | |
| CN116580084B (zh) | 一种基于深度学习和点云的工业零件快速位姿估计方法 | |
| Liu et al. | A Brief Review of Recent Hierarchical Reinforcement Learning for Robotic Manipulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180522 |
|
| WW01 | Invention patent application withdrawn after publication |