CN112809679A - 可形变物体抓取的方法、装置及计算机可读存储介质 - Google Patents

可形变物体抓取的方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN112809679A
CN112809679A CN202110098485.2A CN202110098485A CN112809679A CN 112809679 A CN112809679 A CN 112809679A CN 202110098485 A CN202110098485 A CN 202110098485A CN 112809679 A CN112809679 A CN 112809679A
Authority
CN
China
Prior art keywords
grabbing
deformable object
visual
grabbed
tactile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110098485.2A
Other languages
English (en)
Other versions
CN112809679B (zh
Inventor
梁斌
石琰
刘厚德
王学谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202110098485.2A priority Critical patent/CN112809679B/zh
Publication of CN112809679A publication Critical patent/CN112809679A/zh
Application granted granted Critical
Publication of CN112809679B publication Critical patent/CN112809679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Abstract

本发明提供一种可形变物体抓取的方法、装置及计算机可读存储介质，方法包括：采用事件相机获取待抓取的可形变物体的视觉信息，对待抓取的可形变物体进行定位和三维重建；在三维重建的待抓取的可形变物体的表面得到抓取点集合；利用事件相机和触觉传感器在抓取点集合中每个抓取点抓取瞬间采集视触觉信息；将采集的视触觉信息输入训练好的抓取质量评价网络，判断抓取的预结果类别，结果类别包括发生滑动的抓取、稳定的抓取和过度的抓取；若结果类别为稳定的抓取，则对待抓取的可形变物体进行抓取操作；若结果为发生滑动的抓取或过度的抓取，则继续对抓取点集合中的抓取点进行抓取预尝试，直至找到结果类别为稳定的抓取的抓取点。

Description

可形变物体抓取的方法、装置及计算机可读存储介质
技术领域
本发明涉及可形变物体抓取技术领域，尤其涉及一种可形变物体抓取的方法、装置及计算机可读存储介质。
背景技术
对物体的稳定抓取控制是机器人灵巧手交互性研究的基本问题和热点问题之一。传统的机器人按照固定程序固定点位运动以执行简单的抓取操作。随着人工智能技术的发展，尤其是机器视觉和深度学习的显著进步，利用视觉信息进行抓取规划是当前机器人抓取的主流方向。然而抓取规划是一个复杂的问题，使用视觉信息虽然能对物体的位姿、形状等进行较为准确的估计；但是物体的质量分布、表面粗糙程度这些极为重要信息却难以从视觉数据中获取。此外，视觉传感器的输入误差和环境噪声、物体与物体之间的遮挡现象、抓取过程物体的形状变化等因素都对仅使用视觉信息的抓取规划提出了挑战。
触觉传感器通过本体与环境的交互过程能够获得物体的机械特性，包括重量、质地、刚度、质心、摩擦系数等。触觉信息可以对视觉信息进行有效的补充。在抓取过程中，通过视觉来感知物体的形状、位置、及纹理信息；通过触觉传感器的触碰来感知物体的软硬程度、质量分布和更加细致的纹理信息。
一般地，使用视觉信息和触觉信息融合进行抓取规划的方法，都是通过双目相机或者深度相机获取目标场景的图像，使用卷积神经网络提取RGB图像特征或者点云处理模型pointNet架构提取三维点云特征，对目标物体进行分割并进行位姿估计等。通过设置稳定抓取的约束条件，例如力封闭和形封闭，在物体表面筛选出满足条件的可行抓取区域。接着使用装有触觉传感器的机械手对物体进行多次尝试抓取以充分采集触觉数据，使用卷积网络模型提取触觉数据特征，与相应区域的视觉特征进行结合得到视触觉融合特征。将该视触觉融合特征输入分类或回归网络模型，以对抓取是否成功进行判断。
该视触融合方法的缺点在于，触觉传感器捕获到的触觉信息是一种时序信号，信息随时间而变化；而传统相机如双目相机或者深度相机捕获到的图像信息是一种离散信号，信息随空间位置变化，这对视触觉信息融合造成了挑战。此外，传统相机以一定图像帧的方式捕获图像，而这些帧具有高冗余，高延迟和高数据量的缺点；高冗余的视觉信息与相对更为精简的触觉信息的直接融合会导致触觉信息对整体结果的影响非常有限。更具有挑战性的是，对于能够发生形变的物体，形变往往发生在一瞬间，传统相机捕获的形变图像往往存在图像模糊，信息丢失的问题，这对于抓取规划而言影响极为严重。
现有技术中，传统的视触融合方法采用传统相机与触觉触觉传感器配合效果不好，使用标准相机和触觉传感器无法有效对可形变物体进行抓取质量评估。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明为了解决现有的问题，提供一种可形变物体抓取的方法、装置及计算机可读存储介质。
为了解决上述问题，本发明采用的技术方案如下所述：
一种可形变物体视触觉融合抓取的方法，包括如下步骤：S1：采用事件相机获取待抓取的可形变物体的视觉信息，利用所述视觉信息对所述待抓取的可形变物体进行定位和三维重建；S2：在三维重建的所述待抓取的可形变物体的表面筛选所述待抓取的可形变物体的抓取点得到抓取点集合；S3：利用所述事件相机和触觉传感器在所述抓取点集合中每个所述抓取点抓取瞬间采集所述待抓取的可形变物体的视触觉信息；S4：将采集的所述视触觉信息输入训练好的抓取质量评价网络，判断抓取的预结果类别，所述结果类别包括发生滑动的抓取、稳定的抓取和过度的抓取；S5：若所述结果类别为稳定的抓取，则对所述待抓取的可形变物体进行抓取操作；若所述结果为发生滑动的抓取或过度的抓取，则继续对所述抓取点集合中的抓取点进行抓取预尝试，直至找到所述结果类别为稳定的抓取的抓取点。
优选地，还包括如下步骤：T1：利用所述事件相机和所述触觉传感器采集不同尺寸、形状、纹理、材料和重量的可形变物体的视触觉信息，构建视触觉融合抓取数据集；T2：利用所述视触觉融合抓取数据集训练所述抓取质量评价网络。
优选地，训练神经网络架构y＝f(x)来判断所述待抓取的可形变物体是否可以稳定的抓取，y的取值为：0，1，2，分别代表发生滑动的抓取、稳定的抓取和过度的抓取；x＝(x1，x2)，其中x1表示事件相机采集的视觉数据，x2表示触觉传感器采集的触觉数据。
优选地，所述抓取质量评价网络采用脉冲神经网络。
优选地，利用所述视触觉融合抓取数据集训练所述抓取质量评价网络包括：将采集的触觉数据作为一个脉冲神经网络的输入，视觉数据作为另一个脉冲神经网络的输出，分别对触觉数据和视觉数据提取特征；将两个脉冲神经网络的结果通过一个连接层并列连接，将连接的结果作为第三个脉冲神经网络的输入，将抓取的结果类别作为最终的输出。
优选地，通过在三位重建的所述待抓取的可形变物体的表面的所有的所述抓取点进行评分，按照评分高低顺序选择确定数量的抓取点构成所述抓取点集合。
优选地，对所述抓取点进行评分包括如下步骤：对于给定抓取g和物体状态s，使用两个不同的鲁棒性评价指标来评价抓取：力封闭Qfc，依赖摩擦系数γ，得出一个抓取是否满足力封闭的二进制结果Qfc＝1/γ；形封闭Qgws，基于抓取力旋量空间满足形封闭则Qgws取1，否则取0；
采用加权方式来结合上述指标，并产生最终的质量得分，如下式所示：
Q(s，g)＝αQfc(s，g)+βQgws(s，g)
其中，α、β分别为系数。
优选地，α＝1.0，β＝0.01。
本发明提供一种可形变物体视触觉融合抓取的装置，用于实现如上任一所述的方法，包括机械臂平台，所述机械臂平台上装载夹爪，所述夹爪的表面装在有两个触觉传感器和一个事件相机；所述触觉传感器分别设置于所述事件相机的两侧。
本发明再提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序适于由处理器加载并执行，以使得具有所述处理器的计算机设备执行如上任一项所述的方法。
本发明的有益效果为：提供一种可形变物体抓取的方法、装置及计算机可读存储介质，通过采用事件相机采集视觉信息，使用触觉传感器采集触觉信息，能过实时追踪物体形变过程，实现对可形变物体的稳定抓取。
进一步地，针对能够发生形变且表面特性、质量分布未知的物体，本发明的方法可以实时追踪到物体的形变过程，并且能对物体的表面形状、材料、软硬程度等探测，以实现对物体的稳定抓取。
再进一步地，本发明的方法中视觉和触觉信息能够进行更高效的融合，视觉信息流在时间、空间上具有连续性，能够与时序的触觉信息在同一网络架构中进行特征提取。
最后，本发明的方法能适应不同的环境条件，不仅能在理想环境中采集到准确的视觉信息，而且在环境过暗、曝光过度、光线变化的场景中依然稳定工作；而且本发明还具有低功耗的特点，更加适用于工业环境。
附图说明
图1是本发明实施例中一种可形变物体抓取的方法的示意图。
图2是本发明实施例中对抓取质量评价网络进行训练的示意图。
图3是本发明实施例中对抓取质量评价网络进行训练的流程图。
图4是本发明实施例中夹爪的示意图。
图5(a)-图5(c)分别为夹爪对纸杯发生稳定的抓取、滑动的抓取和过度的抓取三种不同抓取结果的展示。
图6是本发明实施例中实际抓取过程的流程示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
相关术语说明：
事件相机(Event-based camera)，也称为动态视觉传感器(Dynamic VisionSensor)，是一种能够响应局部像素亮度变化的成像传感器。与传统相机以一定帧率拍摄图像的原理不同，事件相机中每个像素独立异步运行，通过输出像素的亮度变化来产生图像。事件相机中的事件包含三个要素：时间戳，像素坐标，极性；用于描述在什么时间点，哪个像素点，发生了亮度上的什么变化(变亮或变暗)。
事件相机的基本原理是：当某个点的像素亮度变化达到一定阈值，输出一个事件。其中需要注意的是，事件相机的输出与像素点的亮度变化有关，而与亮度的大小无关。事件相机具有低延迟，高动态范围，低功耗的特点；擅长捕捉像素点的变化，能实时跟踪物体的变化情况，且在较暗与强光环境中也能有较高的准确性。
触觉传感器是一种测量本体与环境之间的物理交互信息的设备。触觉的传感器通常模拟的是生物学意义上的皮肤受体，其能够检测由机械刺激、温度和痛苦(虽然痛感在人工触觉传感器中是不常见的)所造成的激励信号。触觉传感器可用于设计机器人与物体进行灵巧交互的过程。当机器人开始抓住物体时，触觉传感器可以通过提供附加信息来补充视觉系统。在此过程中，视觉信息不再具有充分性，因为物体的机械性质无法仅通过视觉确定。重量、质地、刚度、质心、摩擦系数和热导率需要与物体相互作用和某种触觉传感才能实现测量。
可形变物体是指能够发生形变的物体。形变是指由于外力作用而造成的形状改变现象，外力可以是拉力、推力、剪力、弯力或扭力等。形变可能是暂时性的，就像放松的弹簧会回到原来的长度；形变也可能是永久性的，当物体不可逆地弯曲时便为永久形变。若过了一定的限度则不能恢复原状，这样的形变叫做塑性形变，此限度称作弹性限度。
SNN又称脉冲神经网络。是为解决传统人工神经网络(ANN，artificial neuralnetwork)所需计算量过大与人工神经元的仿生性不足等问题提出的新一代神经网络。其采用诸如IF、LIF等生物神经元模型代替传统ANN的人工神经元，利用特定编码方法将数据转换成脉冲传递信息。另外在SNN中每个神经元独立工作，即没有收到输入信息的神经元不会工作，因此其能耗相较传统ANN更低。SNN被认为是未来传统神经网络的替代方法之一，并且通过与事件驱动型传感器结合，可以进一步提高任务处理效率。
现有技术中使用使用标准相机采集视觉数据、触觉传感器采集触觉数据，将两种数据结合，对形变物体进行质量评估的过程，相比单一数据模型有一定提升，但是依然存在一些问题：
第一，标准相机以设定帧速率对场景进行采样量化获取视觉信息，在图像帧之间会出现欠采样，对于实时变化的形变物体视觉系统而言，会出现失效问题。物体的形变过程往往发生在一瞬间，标准相机的数据延迟性阻碍了对物体形变的追踪过程。
第二，标准相机每个图像帧记录所有像素的强度信息，而不管该信息相对于上一时刻是否发生改变，因此获取的图像数据是高度冗余的，而触觉传感器只记录抓取过程中触觉信息的时序变化过程。高冗余的视觉信息与相对更为精简的触觉信息的直接融合会导致触觉信息对整体结果的影响非常有限。并且获取和处理这样的数据量会造成高信道带宽需求和高传输功耗等问题。
第三，现有触觉传感器以时间序列采集触觉信息，即触觉信息信息是一种时序信号，随时间的变化而变化，反映机械手与物体接触过程中的压电变化。而标准相机采集的视觉信息是一种空间矩阵信息，没有统一的网络结构可以直接处理两种结构不同的信息。
如图1所示，本发明提供一种可形变物体抓取的方法，包括如下步骤：
S1：采用事件相机获取待抓取的可形变物体的视觉信息，利用所述视觉信息对所述待抓取的可形变物体进行定位和三维重建；
此处利用事件相机采集了整个场景的视觉信息，用来对待抓取的可形变物体进行定位和三维重建。
S2：在三维重建的所述待抓取的可形变物体的表面筛选所述待抓取的可形变物体的抓取点得到抓取点集合；
S3：利用所述事件相机和触觉传感器在所述抓取点集合中每个所述抓取点抓取瞬间采集所述待抓取的可形变物体的视触觉信息；
此处利用事件相机和触觉传感器采集抓取瞬间的视觉和触觉信息，用来判断抓取的稳定性。
S4：将采集的所述视触觉信息输入训练好的抓取质量评价网络，判断抓取的预结果类别，所述结果类别包括发生滑动的抓取、稳定的抓取和过度的抓取；
S5：若所述结果类别为稳定的抓取，则对所述待抓取的可形变物体进行抓取操作；若所述结果为发生滑动的抓取或过度的抓取，则继续对所述抓取点集合中的抓取点进行抓取预尝试，直至找到所述结果类别为稳定的抓取的抓取点。
一般情况下，在抓取点集合中都能找到稳定抓取的抓取点，如果所有抓取点都不合适，说明这个物体是难以抓取的物体，将对这个物体的抓取列入失败案例。
本发明的方法采用事件相机采集视觉信息，使用触觉传感器采集触觉信息，能过实时追踪物体形变过程，实现对可形变物体的稳定抓取。
进一步地，针对能够发生形变且表面特性、质量分布未知的物体，本发明的方法可以实时追踪到物体的形变过程，并且能对物体的表面形状、材料、软硬程度等探测，以实现对物体的稳定抓取。
再进一步地，本发明的方法中视觉和触觉信息能够进行更高效的融合，视觉信息流在时间、空间上具有连续性，能够与时序的触觉信息在同一网络架构中进行特征提取。
最后，本发明的方法能适应不同的环境条件，不仅能在理想环境中采集到准确的视觉信息，而且在环境过暗、曝光过度、光线变化的场景中依然稳定工作；而且本发明还具有低功耗的特点，更加适用于工业环境。
如图2所示，在实行本发明的方法之前，需要预先对抓取质量评价网络进行训练，具体包括如下步骤：
T1：利用所述事件相机和所述触觉传感器采集不同尺寸、形状、纹理、材料和重量的可形变物体的视触觉信息，构建视触觉融合抓取数据集；
T2：利用所述视触觉融合抓取数据集训练所述抓取质量评价网络。
在一种更具体的实施例中，训练神经网络架构y＝f(x)来判断所述待抓取的可形变物体是否可以稳定的抓取，y的取值为：0，1，2，分别代表发生滑动的抓取、稳定的抓取和过度的抓取；x＝(x1，x2)，其中x1表示事件相机采集的视觉数据，x2表示触觉传感器采集的触觉数据。
进一步地，所述抓取质量评价网络采用脉冲神经网络，与事件相机可以有很好的结合。
利用所述视触觉融合抓取数据集训练所述抓取质量评价网络包括：
将采集的触觉数据作为一个脉冲神经网络的输入，视觉数据作为另一个脉冲神经网络的输出，分别对触觉数据和视觉数据提取特征；
将两个脉冲神经网络的结果通过一个连接层并列连接，将连接的结果作为第三个脉冲神经网络的输入，将抓取的结果类别作为最终的输出。
如图3所示，更具体的，将采集的触觉数据作为触觉SNN网络即脉冲神经网络的输入，触觉SNN网络由3层脉冲层组成，输出一个10维的特征向量。视觉数据作为视觉SNN网络的输入，视觉SNN包括一个池化层，两个全连接层，输出一个30维的特征向量。然后将两个SNN网络的结果通过一个连接层并列连接，生成一个40维的融合特征向量。将该向量作为第三个SNN网络的输入，输出最终的抓取状态。使用SLAYER对网络进行优化，能够直接对网络参数进行反向传播，得到最终的参数。利用已采集的数据集通过上述方式可以得到SNN网络的参数，和最终整体的抓取质量评价网络。
本发明通过在三位重建的所述待抓取的可形变物体的表面的所有的所述抓取点进行评分，按照评分高低顺序选择确定数量的抓取点构成所述抓取点集合，对所述抓取点进行评分包括如下步骤：
对于给定抓取g和物体状态s，使用两个不同的鲁棒性评价指标来评价抓取：
力封闭Qfc，依赖摩擦系数γ，得出一个抓取是否满足力封闭的二进制结果Qfc＝1/γ；
形封闭Qgws，基于抓取力旋量空间满足形封闭则Qgws取1，否则取0；
采用加权方式来结合上述指标，并产生最终的质量得分，如下式所示：
Q(s，g)＝αQfc(s，g)+βQgws(s，g)
其中，α、β分别为系数。
在一种具体的实施例中，对于大多数待抓取的可形变物体来说Qgws远高于Qfc，α＝1.0，β＝0.01。
如图4所示，本发明还提供一种可形变物体抓取的装置，用于实现如上任一所述的方法，包括机械臂平台，所述机械臂平台上装载夹爪，图4所示为夹爪的示意图。夹爪的表面装在有两个触觉传感器2和一个事件相机1；所述触觉传感器2分别设置于所述事件相机1的两侧。具体的，本发明可以使用6自由度的UR3机械臂，机械臂装载一个OnRobot RG2夹爪。可以理解的是，本发明的方法也可应用于其他机械臂平台
基于上述实验装置建立抓取数据集，通过对20个不同尺寸，形状，纹理，材料和重量的可形变物体进行广泛抓取以建立数据集。数据集中的物体包括：不同大小的纸杯，玩具，手套，塑料瓶等。选择不同的抓取宽度和力来获取物体的形变程度和抓取的稳定性，将所有的抓取试验结果分为三种类别：发生滑动的抓取、稳定的抓取和过度的抓取。其中过度表示抓取过程中物体发生不可恢复形变，适度表示在适度形变内的稳定抓取，滑动表示抓取过程中物体发生滑动。
图5(a)-图5(c)分别为夹爪3对纸杯4发生稳定的抓取、滑动的抓取和过度的抓取三种不同抓取结果的展示。
如前所述，本发明训练了一个神经网络架构来y＝f(x)来判断是否可以稳定适度的抓取。
如图6所示，在实际抓取过程中，采用如下步骤进行抓取：
1.利用视觉信息定位目标物体
具体地，根据事件相机的运动轨迹和记录的对应时刻产生的事件，利用事件相机的内参，将对应的事件投影到空间中，形成一条经过相机光心和成像平面上该事件位置的射线。选取一个参考视角，基于参考视角建立视差空间图(DSI)，统计DSI中的每个体素被所有射线经过的次数。根据DSI的统计结果来确定某个体素中是否存在物体，从而完成三维重建。将一定个数的事件累积成事件图像帧，并用事件图像帧与当前已经建出的三维半稠密地图作匹配，从而计算出物体的当前位姿。
2.筛选一个最佳抓取点
在物体表面进行抓取点对的采样，使用刚体中的力封闭和形封闭方法对抓取点进行评分，得分最高的极为最佳抓取点。在这一步过程中，对所有的抓取点进行评分，优选地，可以选择评分最高的十个点作为最佳抓取点集合。
具体的评分过程为：对于给定抓取g和物体状态s，使用两个不同的鲁棒性评价指标来评价抓取。给定抓取g表示对抓取点(x,y,z)进行抓取的过程，其中(x,y,z)表示三维空间中点的坐标。
一个指标为力封闭Qfc，依赖摩擦系数γ，得出一个抓取是否满足力封闭的二进制结果。这里，为了得到更加细致的评分，进行修改，根据摩擦越小的对应抓取越鲁棒，从0.4开始，逐步增加γ直到满足对拓抓取，用值1/γ作为当前抓取的评分。
另一个评价指标形封闭Qgws基于抓取力旋量空间(GWS)，满足形封闭则Qgws取1，否则取0。
采用加权方式来结合这两种指标，并产生最终的质量得分，如下式所示：
Q(s，g)＝αQfc(s，g)+βQgws(s，g)
对于大多数抓取来说Qgws远高于Qfc，因此令α＝1.0，β＝0.01。
3.需要注意的是这只是一个简单的筛选，关于抓取点是否可行，需要通过后续的尝试抓取实验进行进一步的判断。使用步骤2的最佳抓取点集合，按评分大小依次进行抓取预尝试，并采集相应的视觉信息和触觉信息。
具体的抓取预尝试过程为：将抓取点坐标通过运动规划软件，例如moveit！软件，转换成机械臂运动的位姿指令和二指机械手开合的时序控制指令，初始状态下的机械手处于二指抓夹闭合且处于水平位置，距离上方物体一定距离，对于不同物体而言距离应该是一致的，这里设定为25cm，也可以根据环境自行调整高度，为了避免与物体发生碰撞，在机械臂运行到距离待抓取物体约一定距离时，这里设定为5cm，实际中应根据机械爪长度和物体高度进行调整，打开二指机械手，机械臂调整位置和姿态避免和待抓取物体产生碰撞，当机械手到达距离最佳抓取区域时，机械手以一定的力闭合，停留100个时间周期对数据进行采集，这里的时间周期是根据稳定抓取物体的平均时间周期设定。
4.将采集的视触觉信息输入训练好的抓取质量评价网络，判断抓取的预结果类别。
5.若为稳定抓取，则执行后续对物体的操作过程。否则，说明抓取点无法完成稳定的抓取操作，返回步骤3，选择下一个抓取点。
本发明采用事件相机采集视觉信息，采用触觉传感器器采集触觉信息，能够解决对能发生形变物体的抓取问题。本发明能够准确检测到物体形变过程的真实情况，结合触觉信息进一步反映物体表面的纹理和物理特性，能够对可形变物体进行稳定的抓取。在对能发生形变的纸杯抓取过程中，本发明所采用的方法，在对数据集中可形变物体进行抓取尝试的过程中，本发明所采用的方法能够实现90％以上的抓取成功率。相比现有的使用视触觉融合的方法能够提高约10％。
本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。
本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random AccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAMEnhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，Sync Link Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种可形变物体抓取的方法，其特征在于，包括如下步骤：
S1：采用事件相机获取待抓取的可形变物体的视觉信息，利用所述视觉信息对所述待抓取的可形变物体进行定位和三维重建；
S2：在三维重建的所述待抓取的可形变物体的表面筛选所述待抓取的可形变物体的抓取点得到抓取点集合；
S3：利用所述事件相机和触觉传感器在所述抓取点集合中每个所述抓取点抓取瞬间采集所述待抓取的可形变物体的视触觉信息；
S4：将采集的所述视触觉信息输入训练好的抓取质量评价网络，判断抓取的预结果类别，所述结果类别包括发生滑动的抓取、稳定的抓取和过度的抓取；
S5：若所述结果类别为稳定的抓取，则对所述待抓取的可形变物体进行抓取操作；若所述结果为发生滑动的抓取或过度的抓取，则继续对所述抓取点集合中的抓取点进行抓取预尝试，直至找到所述结果类别为稳定的抓取的抓取点。
2.如权利要求1所述的可形变物体抓取的方法，其特征在于，还包括如下步骤：
T1：利用所述事件相机和所述触觉传感器采集不同尺寸、形状、纹理、材料和重量的可形变物体的视触觉信息，构建视触觉融合抓取数据集；
T2：利用所述视触觉融合抓取数据集训练所述抓取质量评价网络。
3.如权利要求2所述的可形变物体抓取的方法，其特征在于，训练神经网络架构y＝f(x)来判断所述待抓取的可形变物体是否可以稳定的抓取，y的取值为：0，1，2，分别代表发生滑动的抓取、稳定的抓取和过度的抓取；x＝(x1，x2)，其中x1表示事件相机采集的视觉数据，x2表示触觉传感器采集的触觉数据。
4.如权利要求3所述的可形变物体抓取的方法，其特征在于，所述抓取质量评价网络采用脉冲神经网络。
5.如权利要求4所述的可形变物体抓取的方法，其特征在于，利用所述视触觉融合抓取数据集训练所述抓取质量评价网络包括：
将采集的触觉数据作为一个脉冲神经网络的输入，视觉数据作为另一个脉冲神经网络的输出，分别对触觉数据和视觉数据提取特征；
将两个脉冲神经网络的结果通过一个连接层并列连接，将连接的结果作为第三个脉冲神经网络的输入，将抓取的结果类别作为最终的输出。
6.如权利要求5所述的可形变物体抓取的方法，其特征在于，通过在三位重建的所述待抓取的可形变物体的表面的所有的所述抓取点进行评分，按照评分高低顺序选择确定数量的抓取点构成所述抓取点集合。
7.如权利要求6所述的可形变物体抓取的方法，其特征在于，对所述抓取点进行评分包括如下步骤：
对于给定抓取g和物体状态s，使用两个不同的鲁棒性评价指标来评价抓取：力封闭Qfc，依赖摩擦系数γ，得出一个抓取是否满足力封闭的二进制结果Qfc＝1/γ；
形封闭Qgws，基于抓取力旋量空间满足形封闭则Qgws取1，否则取0；
采用加权方式来结合上述指标，并产生最终的质量得分，如下式所示：
Q(s，g)＝αQfc(s，g)+βQgws(s，g)
其中，d、β分别为系数。
8.如权利要求7所述的可形变物体抓取的方法，其特征在于，α＝1.0，β＝0.01。
9.一种可形变物体抓取的装置，其特征在于，用于实现如权利要求1-8任一所述的方法，包括机械臂平台，所述机械臂平台上装载夹爪，所述夹爪的表面装在有两个触觉传感器和一个事件相机；所述触觉传感器分别设置于所述事件相机的两侧。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序适于由处理器加载并执行，以使得具有所述处理器的计算机设备执行权利要求1-8任一项所述的方法。
CN202110098485.2A 2021-01-25 2021-01-25 可形变物体抓取的方法、装置及计算机可读存储介质 Active CN112809679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110098485.2A CN112809679B (zh) 2021-01-25 2021-01-25 可形变物体抓取的方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110098485.2A CN112809679B (zh) 2021-01-25 2021-01-25 可形变物体抓取的方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112809679A true CN112809679A (zh) 2021-05-18
CN112809679B CN112809679B (zh) 2023-04-07

Family

ID=75859862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110098485.2A Active CN112809679B (zh) 2021-01-25 2021-01-25 可形变物体抓取的方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112809679B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743287A (zh) * 2021-08-31 2021-12-03 之江实验室 基于脉冲神经网络的机器人自适应抓取控制方法及系统
WO2021256999A1 (en) * 2020-06-15 2021-12-23 National University Of Singapore Event-driven visual-tactile sensing and learning for robots
CN114310872A (zh) * 2021-11-29 2022-04-12 杭州电子科技大学 一种基于dgg点云分割网络的机械臂自动打菜方法
CN114659553A (zh) * 2022-02-28 2022-06-24 联想(北京)有限公司 一种检测方法、装置、设备及存储介质
CN114820802A (zh) * 2022-07-01 2022-07-29 深圳大学 高自由度灵巧手抓取规划方法、装置和计算机设备
CN115358261A (zh) * 2022-08-01 2022-11-18 贵州大学 基于脉冲时间序列误差反向传播的触觉物体识别方法
CN115431279A (zh) * 2022-11-07 2022-12-06 佛山科学技术学院 弱刚度特性条件下基于视触融合的机械臂自主抓取方法
CN115625713A (zh) * 2022-12-05 2023-01-20 开拓导航控制技术股份有限公司 基于触觉-视觉融合感知的机械手抓取方法和机械手
WO2023025658A3 (de) * 2021-08-23 2023-05-19 Aeon Robotics GmbH Roboterhand eines roboters und verfahren zum trainieren eines roboters sowie ein tragbares sensor- und kraftrückführungselement hierzu

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718954A (zh) * 2016-01-22 2016-06-29 清华大学 一种基于视触觉融合的目标属性和类别的识别方法
CN108073857A (zh) * 2016-11-14 2018-05-25 北京三星通信技术研究有限公司 动态视觉传感器dvs事件处理的方法及装置
CN109015640A (zh) * 2018-08-15 2018-12-18 深圳清华大学研究院 抓取方法、系统、计算机装置及可读存储介质
CN110271000A (zh) * 2019-06-18 2019-09-24 清华大学深圳研究生院 一种基于椭圆形面接触的物体抓取方法
CN110428465A (zh) * 2019-07-12 2019-11-08 中国科学院自动化研究所 基于视觉和触觉的机械臂抓取方法、系统、装置
CN111055279A (zh) * 2019-12-17 2020-04-24 清华大学深圳国际研究生院 基于触觉与视觉结合的多模态物体抓取方法与系统
JP2020108038A (ja) * 2018-12-27 2020-07-09 キヤノン株式会社 制御装置、その制御方法、産業用自動化システム、プログラム、および記憶媒体
CN111417983A (zh) * 2017-11-14 2020-07-14 苹果公司 基于事件相机的可变形对象跟踪
CN111899276A (zh) * 2020-07-07 2020-11-06 武汉大学 一种基于双目事件相机的slam方法及系统
CN112045676A (zh) * 2020-07-31 2020-12-08 广州中国科学院先进技术研究所 一种基于深度学习的机器人抓取透明物体的方法
CN112236272A (zh) * 2018-07-13 2021-01-15 欧姆龙株式会社 把持姿态评价装置和把持姿态评价程序

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718954A (zh) * 2016-01-22 2016-06-29 清华大学 一种基于视触觉融合的目标属性和类别的识别方法
CN108073857A (zh) * 2016-11-14 2018-05-25 北京三星通信技术研究有限公司 动态视觉传感器dvs事件处理的方法及装置
CN111417983A (zh) * 2017-11-14 2020-07-14 苹果公司 基于事件相机的可变形对象跟踪
CN112236272A (zh) * 2018-07-13 2021-01-15 欧姆龙株式会社 把持姿态评价装置和把持姿态评价程序
CN109015640A (zh) * 2018-08-15 2018-12-18 深圳清华大学研究院 抓取方法、系统、计算机装置及可读存储介质
JP2020108038A (ja) * 2018-12-27 2020-07-09 キヤノン株式会社 制御装置、その制御方法、産業用自動化システム、プログラム、および記憶媒体
CN110271000A (zh) * 2019-06-18 2019-09-24 清华大学深圳研究生院 一种基于椭圆形面接触的物体抓取方法
CN110428465A (zh) * 2019-07-12 2019-11-08 中国科学院自动化研究所 基于视觉和触觉的机械臂抓取方法、系统、装置
CN111055279A (zh) * 2019-12-17 2020-04-24 清华大学深圳国际研究生院 基于触觉与视觉结合的多模态物体抓取方法与系统
CN111899276A (zh) * 2020-07-07 2020-11-06 武汉大学 一种基于双目事件相机的slam方法及系统
CN112045676A (zh) * 2020-07-31 2020-12-08 广州中国科学院先进技术研究所 一种基于深度学习的机器人抓取透明物体的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
崔少伟等: "基于视触融合的机器人抓取滑动检测方法", 《华中科技大学学报（自然科学版）》 *
张涛等: "《机器人概论》", 31 January 2020 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021256999A1 (en) * 2020-06-15 2021-12-23 National University Of Singapore Event-driven visual-tactile sensing and learning for robots
WO2023025658A3 (de) * 2021-08-23 2023-05-19 Aeon Robotics GmbH Roboterhand eines roboters und verfahren zum trainieren eines roboters sowie ein tragbares sensor- und kraftrückführungselement hierzu
CN113743287A (zh) * 2021-08-31 2021-12-03 之江实验室 基于脉冲神经网络的机器人自适应抓取控制方法及系统
CN113743287B (zh) * 2021-08-31 2024-03-26 之江实验室 基于脉冲神经网络的机器人自适应抓取控制方法及系统
CN114310872A (zh) * 2021-11-29 2022-04-12 杭州电子科技大学 一种基于dgg点云分割网络的机械臂自动打菜方法
CN114310872B (zh) * 2021-11-29 2023-08-22 杭州电子科技大学 一种基于dgg点云分割网络的机械臂自动打菜方法
CN114659553A (zh) * 2022-02-28 2022-06-24 联想(北京)有限公司 一种检测方法、装置、设备及存储介质
CN114820802A (zh) * 2022-07-01 2022-07-29 深圳大学 高自由度灵巧手抓取规划方法、装置和计算机设备
CN115358261A (zh) * 2022-08-01 2022-11-18 贵州大学 基于脉冲时间序列误差反向传播的触觉物体识别方法
CN115431279A (zh) * 2022-11-07 2022-12-06 佛山科学技术学院 弱刚度特性条件下基于视触融合的机械臂自主抓取方法
CN115625713A (zh) * 2022-12-05 2023-01-20 开拓导航控制技术股份有限公司 基于触觉-视觉融合感知的机械手抓取方法和机械手

Also Published As

Publication number Publication date
CN112809679B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112809679B (zh) 可形变物体抓取的方法、装置及计算机可读存储介质
Villegas et al. Neural kinematic networks for unsupervised motion retargetting
Yan et al. Learning 6-dof grasping interaction via deep geometry-aware 3d representations
CN111160294B (zh) 基于图卷积网络的步态识别方法
Petrík et al. Learning object manipulation skills via approximate state estimation from real videos
Tang et al. Learning collaborative pushing and grasping policies in dense clutter
Bandouch et al. A self-training approach for visual tracking and recognition of complex human activity patterns
CN114918918B (zh) 一种含领域自适应的机器人乱序目标推抓方法
Bauza et al. Omnipush: accurate, diverse, real-world dataset of pushing dynamics with rgb-d video
Cheng et al. A vision-based robot grasping system
Mohammed et al. Pick and place objects in a cluttered scene using deep reinforcement learning
CN114387513A (zh) 机器人抓取方法、装置、电子设备及存储介质
Si et al. Grasp stability prediction with sim-to-real transfer from tactile sensing
Yang et al. Predict robot grasp outcomes based on multi-modal information
Zhao et al. Fingerslam: Closed-loop unknown object localization and reconstruction from visuo-tactile feedback
Cao et al. Fuzzy-depth objects grasping based on fsg algorithm and a soft robotic hand
CN116945170A (zh) 基于视触融合感知与多模态时空卷积的抓取稳定性评估方法
Qin et al. Grasp stability prediction using tactile information
Ángel-López et al. Kinematic hand analysis using motion capture technology
CN116958872A (zh) 一种羽毛球运动的智能化辅助训练方法及系统
Zhou et al. Learning to predict friction and classify contact states by tactile sensor
Van der Merwe et al. Integrated object deformation and contact patch estimation from visuo-tactile feedback
Pavllo et al. Real-time marker-based finger tracking with neural networks
Nandi et al. Deep learning based intelligent robot grasping strategy
Patel et al. Deep tactile experience: Estimating tactile sensor output from depth sensor data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant