CN115511962B - 基于光电触觉传感器的目标主动探测方法及系统 - Google Patents

基于光电触觉传感器的目标主动探测方法及系统 Download PDF

Info

Publication number
CN115511962B
CN115511962B CN202211141890.9A CN202211141890A CN115511962B CN 115511962 B CN115511962 B CN 115511962B CN 202211141890 A CN202211141890 A CN 202211141890A CN 115511962 B CN115511962 B CN 115511962B
Authority
CN
China
Prior art keywords
information
sensor
electrotactile
generate
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211141890.9A
Other languages
English (en)
Other versions
CN115511962A (zh
Inventor
李学龙
王栋
谢恺怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai AI Innovation Center
Original Assignee
Shanghai AI Innovation Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai AI Innovation Center filed Critical Shanghai AI Innovation Center
Priority to CN202211141890.9A priority Critical patent/CN115511962B/zh
Publication of CN115511962A publication Critical patent/CN115511962A/zh
Application granted granted Critical
Publication of CN115511962B publication Critical patent/CN115511962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/084—Tactile sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00—Arms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及机器人主动探测技术领域，提出一种基于光电触觉传感器的目标主动探测方法及系统，该方法包括下列步骤：模拟光电触觉传感器与物体模型的接触信息图像以生成触觉信息数据集，其中所述触觉信息数据集包括触觉信息及其对应的物体位姿；由第一光电触觉传感器与物体接触以生成第一接触信息图像，其中所述第一接触信息图像包括第一触觉信息；由特征提取模块根据所述第一触觉信息和所述触觉信息数据集生成所述物体与所述第一光电触觉传感器接触处的表面形状点云；重复所述第一光电触觉传感器和所述特征提取模块执行的动作以生成所述物体的局部稠密点云；以及由物体姿态估计模块根据所述局部稠密点云进行点云重建以生成所述物体的6D姿态信息。

Description

基于光电触觉传感器的目标主动探测方法及系统
技术领域
本发明总的来说涉及机器人主动探测技术领域。具体而言，本发明涉及一种基于光电触觉传感器的目标主动探测方法及系统
背景技术
机器人目标主动探测的目的是检测出场景中可实施交互的物体信息，其中包括探测物体的位置和形状特征，以此指导机器人的控制来完成下游任务，例如完成对杂乱堆叠场景下的物体进行依次抓取的任务。
作为机器人重要的感知和交互手段，目标主动探测通常基于相机捕捉的视觉信息，并结合目标检测和定位算法的结果进行对于目标物体的交互。在有视觉遮挡的情况下，现有的主动探测方法包括基于视觉信息修复算法进行遮挡目标主动探测、基于声音信息来进行遮挡目标主动探测以及基于触觉传感器信息进行遮挡目标主动探测。
基于视觉信息修复算法进行遮挡目标主动探测的方法一般用于所需交互物体部分遮挡的情况，其中通过采用对象的3D模型来训练深度网络以进行对象分类和姿势估计。然而该方法依赖于先验对象模型，无法解决未建模物体的探索问题，虽然可以构造图像修复编码器来修复物体被遮挡部分，但这类方法皆不适用于目标物体完全被遮挡的情况。
基于声音信息来进行遮挡目标主动探测的方法通常在机器人的机械臂腕部安装麦克风，当机械臂夹爪与视觉被遮挡的物体发生碰撞时，麦克风会接收到声音信息，其中通过多层感知机和时间递归神经网络融合声音信息、视觉信息以及机械臂末端位姿信息历史，输出连续的机械臂末端执行器动作以便指导机器人与目标物体的交互。然而该方法不适用于探索碰撞发声小的物体、例如衣物，并且由于仍然无法获取物体的外形特点，与目标物体的交互成功率不高。
基于触觉传感器信息进行遮挡目标主动探测的方法是通过光电触觉传感器在与物体发生交互时反应出接触部分物体的形状特征，经过多次接触后由传感器的位姿和传感器信息重建出物体点云。然而该方法目前使用时通常需要选择输入一张物体的RBG信息或深度信息，再通过触觉传感器在视觉未观察到部分进行多次触碰进而重建物体，其将触觉传感器信息主要用于物体形状重建过程中的细节补全，目标为重建精细的物体点云。
因此现有技术中仍存在下列问题：不适用于物体完全遮挡的情况，基于视觉信息修复算法进行遮挡目标主动探测的方法面向目标部分遮挡的场景，并且在这种情况下依然需要视觉信息的辅助；不具备普适性，基于声音信息来进行遮挡目标主动探测的方法，要求目标物体在与机械臂末端执行器接触时能发出明显的声响，这就对探测物体的属性做出了限制；探测效率低，基于触觉传感器信息进行遮挡目标主动探测的方法如果要重建出精确的目标形状，在有单视角视觉的情况下通常依旧需要20-40次的触碰才能重建出准确的物体形状，这对于有时间限制的探索后下游任务实施极为不友好。
发明内容
为至少部分解决现有技术不适用于物体完全遮挡的情况、不具备普适性以及探测效率低的技术问题，本发明提出一种基于光电触觉传感器的目标主动探测方法，包括下列步骤：
模拟光电触觉传感器与物体模型的接触信息图像以生成触觉信息数据集，其中所述触觉信息数据集包括触觉信息及其对应的物体位姿；
由第一光电触觉传感器与物体接触以生成第一接触信息图像，其中所述第一接触信息图像包括第一触觉信息；
由特征提取模块根据所述第一触觉信息和所述触觉信息数据集生成所述物体与所述第一光电触觉传感器接触处的表面形状点云；
生成所述物体的多个所述表面形状点云以生成所述物体的局部稠密点云；以及
由物体姿态估计模块根据所述局部稠密点云进行点云重建以生成所述物体的6D姿态信息。
在本发明一个实施例中规定，所述第一触觉信息包括RGB信息，由特征提取模块根据所述第一触觉信息和所述触觉信息数据集生成所述物体与所述第一光电触觉传感器接触处的表面形状点云包括下列步骤：
根据所述RGB信息生成所述第一光电触觉传感器的表面形变信息；
根据所述第一触觉信息和所述触觉信息数据集确定所述物体的位姿；以及
根据所述表面形变信息以及所述位姿生成所述物体与所述第一光电触觉传感器接触处的表面形状点云。
在本发明一个实施例中规定，所述基于光电触觉传感器的目标主动探测方法还包括：
对所述触觉信息数据集进行数据预处理以生成训练数据集以及测试数据集；以及
通过所述训练数据集以及所述测试数据集对所述特征提取模块以及所述物体姿态估计模块进行训练和测试。
在本发明一个实施例中规定，所述基于光电触觉传感器的目标主动探测方法还包括：
根据所述6D姿态信息指导机械臂与所述物体进行下游交互任务。
在本发明一个实施例中规定，在仿真环境下模拟光电触觉传感器与物体模型的接触信息图像以生成触觉信息数据集，并且在所述触觉信息数据集上叠加，真实的光电触觉传感器的背景和噪声。
在本发明一个实施例中规定，所述第一光电触觉传感器包括RGB LED模块以及相机模块，其中所述相机模块拍摄所述物体在与第一光电触觉传感器接触时的LED所呈现的颜色变化以生成所述第一触觉信息。
在本发明一个实施例中规定，所述特征提取模块包括编码网络以及解码网络，其中所述编码网络基于卷积神经网络，所述解码网络包括多个上采样层。
本发明还提出一种基于光电触觉传感器的目标主动探测系统，其运行所述基于光电触觉传感器的目标主动探测方法，该系统包括：
数据生成模块，其被配置为模拟光电触觉传感器与物体模型的接触信息图像以生成触觉信息数据集，其中所述触觉信息数据集包括触觉信息及其对应的物体位姿；
第一光电触觉传感器，其被配置为与物体接触以生成第一接触信息图像，其中所述第一接触信息图像包括第一触觉信息；
特征提取模块，其被配置为根据所述第一触觉信息和所述触觉信息数据集生成所述物体与所述第一光电触觉传感器接触处的表面形状点云，其中所述第一光电触觉传感器和所述特征提取模块所执行的动作被配置为多次重复以生成所述物体的局部稠密点云；以及
物体姿态估计模块，其被配置为根据所述局部稠密点云进行点云重建以生成所述物体的6D姿态信息。
本发明还提出一种机器人，包括：
执行器，其被配置为执行目标主动探测动作；以及
控制器，其被配置为执行根据所述基于光电触觉传感器的目标主动探测方法的步骤。
本发明至少具有如下有益效果：本发明提出一种基于光电触觉传感器的目标主动探测方法及系统，其使用的光电触觉传感器具有体积小、成本低、分辨率高的特点，易于集成，能反应出精确的物体表面局部信息。因此可在无视觉或物体完全遮挡场景下，通过较少次数的光电触觉传感器与物体的主动接触，重建出目标物体外形的局部稠密点云信息，并估计出物体的6D姿态信息。此外，本发明对目标物体的属性没有限制，并且相比于其他使用光电触觉传感器的方法，提升了探索的效率，能够更快地进行机械臂控制参数预测，以完成所需的下游任务。
附图说明
为进一步阐明本发明的各实施例中具有的及其它的优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。
图1示出了本发明一个实施例中一个基于光电触觉传感器的目标主动探测方法的流程示意图。
图2示出了本发明一个实施例中一个基于光电触觉传感器的目标主动探测方法的框架示意图。
具体实施方式
应当指出，各附图中的各组件可能为了图解说明而被夸大地示出，而不一定是比例正确的。在各附图中，给相同或功能相同的组件配备了相同的附图标记。
在本发明中，除非特别指出，“布置在…上”、“布置在…上方”以及“布置在…之上”并未排除二者之间存在中间物的情况。此外，“布置在…上或上方”仅仅表示两个部件之间的相对位置关系，而在一定情况下、如在颠倒产品方向后，也可以转换为“布置在…下或下方”，反之亦然。
在本发明中，各实施例仅仅旨在说明本发明的方案，而不应被理解为限制性的。
在本发明中，除非特别指出，量词“一个”、“一”并未排除多个元素的场景。
在此还应当指出，在本发明的实施例中，为清楚、简单起见，可能示出了仅仅一部分部件或组件，但是本领域的普通技术人员能够理解，在本发明的教导下，可根据具体场景需要添加所需的部件或组件。另外，除非另行说明，本发明的不同实施例中的特征可以相互组合。例如，可以用第二实施例中的某特征替换第一实施例中相对应或功能相同或相似的特征，所得到的实施例同样落入本申请的公开范围或记载范围。
在此还应当指出，在本发明的范围内，“相同”、“相等”、“等于”等措辞并不意味着二者数值绝对相等，而是允许一定的合理误差，也就是说，所述措辞也涵盖了“基本上相同”、“基本上相等”、“基本上等于”。以此类推，在本发明中，表方向的术语“垂直于”、“平行于”等等同样涵盖了“基本上垂直于”、“基本上平行于”的含义。
另外，本发明的各方法的步骤的编号并未限定所述方法步骤的执行顺序。除非特别指出，各方法步骤可以以不同顺序执行。
下面结合具体实施方式参考附图进一步阐述本发明。
图1示出了本发明一个实施例中一个基于光电触觉传感器的目标主动探测方法的流程示意图。如图1所示，该方法可以包括下列步骤：
步骤101、模拟光电触觉传感器与物体模型的接触信息图像以生成触觉信息数据集，其中所述触觉信息数据集包括触觉信息及其对应的物体位姿。
步骤102、由第一光电触觉传感器与物体接触以生成第一接触信息图像，其中所述第一接触信息图像包括第一触觉信息。
步骤103、由特征提取模块根据所述第一触觉信息和所述触觉信息数据集生成所述物体与所述第一光电触觉传感器接触处的表面形状点云。
步骤104、生成所述物体的多个所述表面形状点云以生成所述物体的局部稠密点云。
步骤105、由物体姿态估计模块根据所述局部稠密点云进行点云重建以生成所述物体的6D姿态信息。
图2示出了本发明一个实施例中一个基于光电触觉传感器的目标主动探测方法的框架示意图。
下面结合附图具体说明本发明的实施例。
如图2所示本发明的技术方案可以分为数据生成和模型涉及两个部分。
在数据处理部分由于光电触觉信息数据集缺乏，并且大量数据生成会耗费传感器硬件，因此，本专利在仿真环境中模拟光电触觉传感器与物体模型的接触信息图像，生成触觉信息数据集，并记录各触觉信息在仿真环境世界坐标系下的位姿以便于后续物体表面形状点云的生成。在获得的触觉信息数据集基础上，叠加真实触觉传感器背景和噪声，使得图像信息更接近真实传感器信息。
在模型设计部分，设计了两个网络模块。因为光电触觉传感器是由RGB LED模组以及相机模块组成，通过微型相机拍摄物体在与触觉传感器接触时的LED所呈现的颜色变化，来判断触觉信息，并没有光电触觉传感器的形变信息，而传感器的形变信息是判断物体表面形状的关键。
因此，第一个模块是特征提取模块，其输入为触觉图像的RGB信息，输出为预测的触觉传感器表面形变信息。网络由编码和解码两部分组成，编码部分基于卷积神经网络，解码部分由多个上采样层组成。输出得到的传感器形变信息可以反应出被接触物体表面的外形，其与在第一部分中记录的触觉信息在世界坐标系下的位姿可以生成传感器接触部分的目标物体表面形状点云。借助光电触觉传感器的高分辨率特点，经过10次对于同一目标物体的探测触碰后，可以生成物体的局部稠密点云。将生成的物体局部稠密点云输入到第二个模块，即物体姿态估计模块中，根据已有的物体3D模型，通过分类网络估计出物体的6D姿态。
最后，可以选择抓取任务为下游任务，通过网络估计得到的物体6D姿态对遮挡物体进行抓取。
尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。

Claims (6)

1.一种基于光电触觉传感器的目标主动探测方法，其特征在于，包括下列步骤：
模拟光电触觉传感器与物体模型的接触信息图像以生成触觉信息数据集，其中所述触觉信息数据集包括触觉信息及其对应的物体位姿；
由第一光电触觉传感器与物体接触以生成第一接触信息图像，其中所述第一接触信息图像包括第一触觉信息；
由特征提取模块根据所述第一触觉信息和所述触觉信息数据集生成所述物体与所述第一光电触觉传感器接触处的表面形状点云；
生成所述物体的多个所述表面形状点云以生成所述物体的局部稠密点云；以及
由物体姿态估计模块根据所述局部稠密点云进行点云重建以生成所述物体的6D姿态信息；
其中所述第一触觉信息包括RGB信息，由特征提取模块根据所述第一触觉信息和所述触觉信息数据集生成所述物体与所述第一光电触觉传感器接触处的表面形状点云包括下列步骤：
根据所述RGB信息生成所述第一光电触觉传感器的表面形变信息；
根据所述第一触觉信息和所述触觉信息数据集确定所述物体的位姿；以及
根据所述表面形变信息以及所述位姿生成所述物体与所述第一光电触觉传感器接触处的表面形状点云；
所述第一光电触觉传感器包括RGB LED模块以及相机模块，其中所述相机模块拍摄所述物体在与第一光电触觉传感器接触时的LED所呈现的颜色变化以生成所述第一触觉信息；
所述特征提取模块包括编码网络以及解码网络，其中所述编码网络基于卷积神经网络，所述解码网络包括多个上采样层。
2.根据权利要求1所述的基于光电触觉传感器的目标主动探测方法，其特征在于，还包括：
对所述触觉信息数据集进行数据预处理以生成训练数据集以及测试数据集；以及
通过所述训练数据集以及所述测试数据集对所述特征提取模块以及所述物体姿态估计模块进行训练和测试。
3.根据权利要求1所述的基于光电触觉传感器的目标主动探测方法，其特征在于，还包括：
根据所述6D姿态信息指导机械臂与所述物体进行下游交互任务。
4.根据权利要求1所述的基于光电触觉传感器的目标主动探测方法，其特征在于，在仿真环境下模拟光电触觉传感器与物体模型的接触信息图像以生成触觉信息数据集，并且在所述触觉信息数据集上叠加，真实的光电触觉传感器的背景和噪声。
5.一种基于光电触觉传感器的目标主动探测系统，其特征在于，运行权利要求1-4之一所述的基于光电触觉传感器的目标主动探测方法，该系统包括：
数据生成模块，其被配置为模拟光电触觉传感器与物体模型的接触信息图像以生成触觉信息数据集，其中所述触觉信息数据集包括触觉信息及其对应的物体位姿；
第一光电触觉传感器，其被配置为与物体接触以生成第一接触信息图像，其中所述第一接触信息图像包括第一触觉信息；
特征提取模块，其被配置为根据所述第一触觉信息和所述触觉信息数据集生成所述物体与所述第一光电触觉传感器接触处的表面形状点云，其中所述第一光电触觉传感器和所述特征提取模块所执行的动作被配置为多次重复以生成所述物体的局部稠密点云；以及
物体姿态估计模块，其被配置为根据所述局部稠密点云进行点云重建以生成所述物体的6D姿态信息；
其中所述第一触觉信息包括RGB信息，由特征提取模块根据所述第一触觉信息和所述触觉信息数据集生成所述物体与所述第一光电触觉传感器接触处的表面形状点云包括下列步骤：
根据所述RGB信息生成所述第一光电触觉传感器的表面形变信息；
根据所述第一触觉信息和所述触觉信息数据集确定所述物体的位姿；以及
根据所述表面形变信息以及所述位姿生成所述物体与所述第一光电触觉传感器接触处的表面形状点云；
所述第一光电触觉传感器包括RGB LED模块以及相机模块，其中所述相机模块拍摄所述物体在与第一光电触觉传感器接触时的LED所呈现的颜色变化以生成所述第一触觉信息；
所述特征提取模块包括编码网络以及解码网络，其中所述编码网络基于卷积神经网络，所述解码网络包括多个上采样层。
6.一种机器人，其特征在于，包括：
执行器，其被配置为执行目标主动探测动作；以及
控制器，其被配置为执行根据权利要求1至4之一所述的方法的步骤。
CN202211141890.9A 2022-09-20 2022-09-20 基于光电触觉传感器的目标主动探测方法及系统 Active CN115511962B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211141890.9A CN115511962B (zh) 2022-09-20 2022-09-20 基于光电触觉传感器的目标主动探测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211141890.9A CN115511962B (zh) 2022-09-20 2022-09-20 基于光电触觉传感器的目标主动探测方法及系统

Publications (2)

Publication Number Publication Date
CN115511962A CN115511962A (zh) 2022-12-23
CN115511962B true CN115511962B (zh) 2024-05-28

Family

ID=84503085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211141890.9A Active CN115511962B (zh) 2022-09-20 2022-09-20 基于光电触觉传感器的目标主动探测方法及系统

Country Status (1)

Country Link
CN (1) CN115511962B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937043B (zh) * 2023-01-04 2023-07-04 南京邮电大学 一种触觉辅助点云补全的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109506642A (zh) * 2018-10-09 2019-03-22 浙江大学 一种机器人多相机视觉惯性实时定位方法及装置
CN110009728A (zh) * 2019-03-21 2019-07-12 浙江大学 机器人手曲面贴合装载的非均布式触觉传感阵列布置方法
CN111986316A (zh) * 2018-10-17 2020-11-24 美的集团股份有限公司 用于基于远程控制的触觉交互生成压力点图的系统和方法
CN113393524A (zh) * 2021-06-18 2021-09-14 常州大学 一种结合深度学习和轮廓点云重建的目标位姿估计方法
CN113436260A (zh) * 2021-06-24 2021-09-24 华中科技大学 基于多传感器紧耦合的移动机器人位姿估计方法和系统
WO2022188352A1 (zh) * 2021-03-08 2022-09-15 上海交通大学 基于增强现实的介入机器人无接触遥操系统及标定方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210347053A1 (en) * 2020-05-08 2021-11-11 Vangogh Imaging, Inc. Virtual presence for telerobotics in a dynamic scene

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109506642A (zh) * 2018-10-09 2019-03-22 浙江大学 一种机器人多相机视觉惯性实时定位方法及装置
CN111986316A (zh) * 2018-10-17 2020-11-24 美的集团股份有限公司 用于基于远程控制的触觉交互生成压力点图的系统和方法
CN110009728A (zh) * 2019-03-21 2019-07-12 浙江大学 机器人手曲面贴合装载的非均布式触觉传感阵列布置方法
WO2022188352A1 (zh) * 2021-03-08 2022-09-15 上海交通大学 基于增强现实的介入机器人无接触遥操系统及标定方法
CN113393524A (zh) * 2021-06-18 2021-09-14 常州大学 一种结合深度学习和轮廓点云重建的目标位姿估计方法
CN113436260A (zh) * 2021-06-24 2021-09-24 华中科技大学 基于多传感器紧耦合的移动机器人位姿估计方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Displacement Visualization at Flexible Interface: A Coordinate Correction Scheme Applicable to High-Accuracy Pressure Distribution Mapping;Haibo Cao et al.;《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》;20220113;第1-8页 *
基于双重配准的机器人双目视觉三维拼接方法研究;艾青林等;《机电工程》;20181031;第102-107页 *

Also Published As

Publication number Publication date
CN115511962A (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
US20220063089A1 (en) Machine learning methods and apparatus related to predicting motion(s) of object(s) in a robot's environment based on image(s) capturing the object(s) and based on parameter(s) for future robot movement in the environment
Gao et al. Dynamic hand gesture recognition based on 3D hand pose estimation for human–robot interaction
Ueda et al. A hand-pose estimation for vision-based human interfaces
JP2019217632A (ja) ロボットの把持のための深層機械学習方法および装置
Ryden et al. A proxy method for real-time 3-DOF haptic rendering of streaming point cloud data
US20210331311A1 (en) Image generation device, robot training system, image generation method, and non-transitory computer readable storage medium
CN111027407B (zh) 针对遮挡情况的彩色图像手部姿态估计方法
CN114599488B (zh) 机器学习数据生成装置、机器学习装置、作业系统、计算机程序、机器学习数据生成方法及作业机的制造方法
CN115511962B (zh) 基于光电触觉传感器的目标主动探测方法及系统
Cheng et al. A vision-based robot grasping system
EP3402633A1 (en) Machine learning methods and apparatus related to predicting motion(s) of object(s) in a robot's environment based on image(s) capturing the object(s) and based on parameter(s) for future robot movement in the environment
Chaudhary et al. Bent fingers’ angle calculation using supervised ANN to control electro-mechanical robotic hand
Ourak et al. Wavelets-based 6 DOF visual servoing
Hak et al. Reverse control for humanoid robot task recognition
Pal et al. Dynamic hand gesture recognition using kinect sensor
Cai et al. Multi-modal transformer-based tactile signal generation for haptic texture simulation of materials in virtual and augmented reality
Cao et al. Fuzzy-depth objects grasping based on fsg algorithm and a soft robotic hand
Dyrstad et al. Bin picking of reflective steel parts using a dual-resolution convolutional neural network trained in a simulated environment
Alizadeh Kolagar et al. NAO robot learns to interact with humans through imitation learning from video observation
Caselli et al. Haptic object recognition with a dextrous hand based on volumetric shape representations
Kim et al. Gvcci: Lifelong learning of visual grounding for language-guided robotic manipulation
CN115937043B (zh) 一种触觉辅助点云补全的方法
CN117234331A (zh) 一种基于时序的手部姿态交互系统及交互方法
JP2021026599A (ja) 画像処理システム
KR20200138491A (ko) 순차적인 이미지 기반의 상호작용력 측정 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant