CN113561172A - 一种基于双目视觉采集的灵巧手控制方法及装置 - Google Patents

一种基于双目视觉采集的灵巧手控制方法及装置 Download PDF

Info

Publication number
CN113561172A
CN113561172A CN202110762337.6A CN202110762337A CN113561172A CN 113561172 A CN113561172 A CN 113561172A CN 202110762337 A CN202110762337 A CN 202110762337A CN 113561172 A CN113561172 A CN 113561172A
Authority
CN
China
Prior art keywords
hand
dexterous hand
gripping
dexterous
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110762337.6A
Other languages
English (en)
Other versions
CN113561172B (zh
Inventor
王豫
闫亚东
成畅
官明俊
张佳楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110762337.6A priority Critical patent/CN113561172B/zh
Publication of CN113561172A publication Critical patent/CN113561172A/zh
Application granted granted Critical
Publication of CN113561172B publication Critical patent/CN113561172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种基于双目视觉采集的灵巧手控制方法及装置，基于双目视觉采集的灵巧手控制方法包括：控制多个双目相机以不同的拍摄角度采集人手的深度图像；依据多个双目相机采集的深度图像，获取人手的抓握姿态；依据人手的抓握姿态，确定灵巧手的抓握姿态，依据灵巧手的抓握姿态，确定灵巧手上多个驱动器的执行空间向量；依据执行空间向量控制多个驱动器动作，以使得灵巧手执行抓握动作；其中，多个双目相机当中的至少两者的光轴形成夹角。本发明可根据实际需求实现对灵巧手抓握姿态的便捷性控制，不再受限于灵巧手上驱动器数量的限制，不仅控制方案简单，而且提升了对灵巧手的控制准确度与灵敏度。

Description

一种基于双目视觉采集的灵巧手控制方法及装置
技术领域
本发明涉及机器人技术领域，尤其涉及一种基于双目视觉采集的灵巧手控制方法及装置。
背景技术
灵巧手是具有多种感知功能的仿生机械手。在灵巧手的手掌上设有多个类似人手结构的手指，例如：灵巧手的大拇指设有一个相对其手掌运动的自由度，灵巧手上其它的每个手指具有三个自由度和四个活动关节，以使得灵巧手能够以不同的抓握姿态对目标物进行精准地抓握。
传统灵巧手的控制方法需要对灵巧手的手势进行一一定义，灵巧手的每一个抓握动作都需要对灵巧手上各个不同执行器的位置进行相应地定义，比较繁琐且僵硬，难以普遍适用于驱动器数量相对较高的灵巧手，导致难以根据实际需求对灵巧手抓握姿态进行便捷地控制。
发明内容
本发明提供一种基于双目视觉采集的灵巧手控制方法及装置，用以解决当前难以根据实际需求实现对灵巧手抓握姿态的便捷控制的问题。
本发明提供一种基于双目视觉采集的灵巧手控制方法，包括：控制多个双目相机以不同的拍摄角度采集人手的深度图像；依据所述多个双目相机采集的深度图像，获取人手的抓握姿态；依据所述人手的抓握姿态，确定灵巧手的抓握姿态，依据所述灵巧手的抓握姿态，确定所述灵巧手上多个驱动器的执行空间向量；依据所述执行空间向量控制所述多个驱动器动作，以使得所述灵巧手执行抓握动作；其中，所述多个双目相机当中的至少两者的光轴形成夹角。
根据本发明提供的一种基于双目视觉采集的灵巧手控制方法，所述依据所述多个双目相机采集的深度图像，获取人手的抓握姿态，进一步包括：将所述深度图像输入至识别模型，获取所述识别模型输出的与人手对应的手掌的三维点云图像及各个手指关节的三维点云图像；依据手掌的三维点云图像及各个手指关节的三维点云图像，确定在三维空间中手掌和各个手指关节的位置，计算出各个深度图像中手掌的角度及各个手指关节的角度；其中，所述手掌的角度表征着所述深度图像中的手掌相对于与所述深度图像对应的双目相机的光轴的夹角，所述各个手指关节的角度表征着所述深度图像中的各个手指关节相对于与所述深度图像对应的双目相机的光轴的夹角。
根据本发明提供的一种基于双目视觉采集的灵巧手控制方法，所述依据所述多个双目相机采集的深度图像，获取人手的抓握姿态，进一步包括：根据所述手掌的角度及各个手指关节的三维点云密度，确定各个深度图像中的每个手指关节的角度的确信值；以多个所述确信值当中最大一者对应的手指关节的角度作为人手的手指关节的角度预测。
根据本发明提供的一种基于双目视觉采集的灵巧手控制方法，所述依据所述人手的抓握姿态，确定灵巧手的抓握姿态，依据所述灵巧手的抓握姿态，确定所述灵巧手上多个驱动器的执行空间向量，进一步包括：依据所述人手的抓握姿态，获取人手的手指关节的第一角度空间向量；依据第一角度空间向量，确定灵巧手的第二角度空间向量；依据灵巧手的第二角度空间向量至驱动器的执行空间向量的映射函数，确定所述驱动器的执行空间向量。
根据本发明提供的一种基于双目视觉采集的灵巧手控制方法，所述依据所述人手的抓握姿态，确定灵巧手的抓握姿态，依据所述灵巧手的抓握姿态，确定所述灵巧手上多个驱动器的执行空间向量，进一步包括：在第一角度空间向量的数量与执行空间向量的数量相同的情况下，依据下述公式确定所述驱动器的执行空间向量：
Si＝T(Vi)；
其中，Vi为第i个手指关节的第一角度空间向量；Si为第i个驱动器的执行空间向量；T为从Vi至Si的映射函数。
根据本发明提供的一种基于双目视觉采集的灵巧手控制方法，所述依据所述人手的抓握姿态，确定灵巧手的抓握姿态，依据所述灵巧手的抓握姿态，确定所述灵巧手上多个驱动器的执行空间向量，进一步包括：在第一角度空间向量的数量大于执行空间向量的数量的情况下，依据下述公式确定所述驱动器的执行空间向量：
Figure BDA0003150401180000031
其中，Vp为第p个手指关节的第一角度空间向量，p的取值从i至j；Sk为第k个驱动器控制的第i个手指关节至第j个手指关节的执行空间向量，i、j、k为大于1的自然数。
本发明还提供一种基于双目视觉采集的灵巧手控制装置，包括：图像采集模块，用于控制多个双目相机以不同的拍摄角度采集人手的深度图像；姿态获取模块，用于依据所述多个双目相机采集的深度图像，获取人手的抓握姿态；确定模块，用于依据所述人手的抓握姿态，确定灵巧手的抓握姿态，依据所述灵巧手的抓握姿态，确定所述灵巧手上多个驱动器的执行空间向量；控制模块，用于依据所述执行空间向量控制所述多个驱动器动作，以使得所述灵巧手执行抓握动作；其中，所述多个双目相机当中的至少两者的光轴形成夹角。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的基于双目视觉采集的灵巧手控制方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的基于双目视觉采集的灵巧手控制方法的步骤。
本发明提供的一种基于双目视觉采集的灵巧手控制方法及装置，通过多个双目相机以不同的角度采集人手的深度图像，基于对深度图像的识别与处理，可准确地获取人手的抓握姿态，然后，通过对人手的抓握姿态的数据转换，确定灵巧手的抓握姿态，再将灵巧手的抓握姿态信息映射到灵巧手的执行器空间，确定灵巧手上多个驱动器的执行空间向量，从而可依据执行空间向量控制多个驱动器动作，以便控制灵巧手执行相应的抓握动作。
由此可见，本发明基于对人手的双目视觉检测和数据处理，可根据实际需求实现对灵巧手抓握姿态的便捷性控制，不再受限于灵巧手上驱动器数量的限制，不仅控制方案简单，而且提升了对灵巧手的控制准确度与灵敏度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于双目视觉采集的灵巧手控制方法的流程示意图；
图2是本发明提供的基于双目视觉采集的灵巧手控制装置的结构示意图；
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图3描述本发明的一种基于双目视觉采集的灵巧手控制方法及装置。
如图1所示，本实施例提供一种基于双目视觉采集的灵巧手控制方法，包括如下步骤：
步骤110，控制多个双目相机以不同的拍摄角度采集人手的深度图像。步骤120，依据多个双目相机采集的深度图像，获取人手的抓握姿态。步骤130，依据人手的抓握姿态，确定灵巧手的抓握姿态，依据灵巧手的抓握姿态，确定灵巧手上多个驱动器的执行空间向量。步骤140，依据执行空间向量控制多个驱动器动作，以使得灵巧手执行抓握动作；其中，多个双目相机当中的至少两者的光轴形成夹角。
具体地，本实施例通过多个双目相机以不同的角度采集人手的深度图像，基于对深度图像的识别与处理，可准确地获取人手的抓握姿态，然后，通过对人手的抓握姿态的数据转换，确定灵巧手的抓握姿态，再将灵巧手的抓握姿态信息映射到灵巧手的执行器空间，确定灵巧手上多个驱动器的执行空间向量，从而可依据执行空间向量控制多个驱动器动作，以便控制灵巧手执行相应的抓握动作。
由此可见，本发明基于对人手的双目视觉检测和数据处理，可根据实际需求实现对灵巧手抓握姿态的便捷性控制，不再受限于灵巧手上驱动器数量的限制，不仅控制方案简单，而且提升了对灵巧手的控制准确度与灵敏度，并通用于对不同类型的灵巧手的抓握控制。
在此应指出的是，本实施例所示的双目相机可采用本领域所公知的双目视觉算法获取人手的深度图像。由于受人手姿态的影响，在采用单一的双目相机采集人手的深度图像时，只有在人手的手掌与双目相机的光轴处于垂直的情况下，双目相机才能完整地采集到人手的深度图像，而在人手的手掌与双目相机的光轴呈锐角或钝角分布时，人手的部分手指关节会因视角的问题而存在部分遮挡的现象，因此，为了准确且全面地获取人手的深度图像，本实施例采用多个双目相机以不同的拍摄角度对人手的深度图像进行采集。
其中，基于成本考虑，本实施例可具体选用两个双目相机，并设置两个双目相机的光轴呈预设夹角设置，预设夹角可以为60°-150°，例如：预设夹角具体为60°、90°、120°及150°，在此不做具体限定。如此，在第一个双目相机的位置确定的情况下，通过合理的设置第二个双目相机的位置，可最大程度上弥补第一个双目相机的盲区。
优选地，本实施例所示的依据所述多个双目相机采集的深度图像，获取人手的抓握姿态，包括但不限于：将深度图像输入至识别模型，获取识别模型输出的与人手对应的手掌的三维点云图像及各个手指关节的三维点云图像；依据手掌的三维点云图像及各个手指关节的三维点云图像，确定在三维空间中手掌和各个手指关节的位置，计算出各个深度图像中手掌的角度及各个手指关节的角度；其中，手掌的角度表征着深度图像中的手掌相对于与深度图像对应的双目相机的光轴的夹角，各个手指关节的角度表征着深度图像中的各个手指关节相对于与深度图像对应的双目相机的光轴的夹角。
在此应指出的是，本实施例所示的识别模型可以现场采集的多个深度图像为样本，以所述多个深度图像对应的手掌的三维点云图像及各个手指关节的三维点云图像为标签，采用卷积神经网络训练得到的。
与此同时，在确定三维空间中手掌和各个手指关节的位置的情况下，可采用几何函数求取三维空间中手掌的角度及各个手指关节的角度。由于本实施例通过多个双目相机以不同的角度获取了人手的多个深度图像，从而本实施例在获取人手的抓握姿态时，可获取与多个深度图像分别对应的手掌的角度及各个手指关节的角度。
优选地，为了准确地获取人手的手指关节的角度，本实施例在获取人手的抓握姿态时，可进一步根据手掌的角度及各个手指关节的三维点云密度，确定各个深度图像中的每个手指关节的角度的确信值；以多个确信值当中最大一者对应的手指关节的角度作为人手的手指关节的角度预测。
具体地，本实施例在获取人手的手指关节的角度时所引入的确信函数可具体参照如下公式：
Confidencei＝C(g，di)*λi；
其中，Confidencei表示第i个手指关节的角度的确信度；g表示人手的手掌与双目相机的光轴所呈的夹角；di表示人手的手指关节的点云密度；λi是一个可供调节的参数，通过λi可以实现为每个手指关节的个体差异调节确信函数的输出。
在此应指出的是，g值越大，标明人手的手掌与双目相机的光轴越接近于平行状态，此时，人手的手指关节的遮挡程度会增加，从而g值越大，确信度会随之降低。与此同时，由于di表示人手的手指关节的点云密度，点云密度越大，则标明三维点云模型越精确，从而确信度也会越高。
优选地，本实施例所示的依据所述人手的抓握姿态，确定灵巧手的抓握姿态，依据所述灵巧手的抓握姿态，确定所述灵巧手上多个驱动器的执行空间向量，进一步包括：依据人手的抓握姿态，获取人手的手指关节的第一角度空间向量；依据第一角度空间向量，确定灵巧手的第二角度空间向量；依据灵巧手的第二角度空间向量至驱动器的执行空间向量的映射函数，确定驱动器的执行空间向量。
具体地，在确定驱动器的执行空间向量时，需要建立灵巧手的执行空间到其工作空间的关系，由于灵巧手的机械结构是可以确定的，所以可以直接进行运动学建模或者标定一系列的驱动器位置以及关节的角度信息，然后，将人手的抓握姿态信息尽可能地在灵巧手上还原。
由于灵巧手涉及到自由度的问题，从而本实施例可参照如下两种情形进行具体方案实施：
(1)在第一角度空间向量的数量与执行空间向量的数量相同的情况下，依据下述公式确定驱动器的执行空间向量：
Si＝T(Vi)；
其中，Vi为第i个手指关节的第一角度空间向量；Si为第i个驱动器的执行空间向量；T为从Vi至Si的映射函数。
(2)在第一角度空间向量的数量大于执行空间向量的数量的情况下，即本实施例所示的灵巧手上的一个驱动器可能控制多个
依据下述公式确定驱动器的执行空间向量：
Figure BDA0003150401180000081
其中，Vp为第p个手指关节的第一角度空间向量，p的取值从i至j；Sk为第k个驱动器控制的第i个手指关节至第j个手指关节的执行空间向量，i、j、k为大于1的自然数。
下面对本发明提供的基于双目视觉采集的灵巧手控制装置进行描述，下文描述的基于双目视觉采集的灵巧手控制装置与上文描述的基于双目视觉采集的灵巧手控制方法可相互对应参照。
如图2所示，本实施例提供一种基于双目视觉采集的灵巧手控制装置，包括如下模块：
图像采集模块210，用于控制多个双目相机以不同的拍摄角度采集人手的深度图像。
姿态获取模块220，用于依据所述多个双目相机采集的深度图像，获取人手的抓握姿态。
确定模块230，用于依据所述人手的抓握姿态，确定灵巧手的抓握姿态，依据所述灵巧手的抓握姿态，确定所述灵巧手上多个驱动器的执行空间向量。
控制模块240，用于依据所述执行空间向量控制所述多个驱动器动作，以使得所述灵巧手执行抓握动作；其中，所述多个双目相机当中的至少两者的光轴形成夹角。
由于本实施例所示的基于双目视觉采集的灵巧手控制装置包括了上述实施例所示的基于双目视觉采集的灵巧手控制方法的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行基于双目视觉采集的灵巧手控制方法，该方法包括：控制多个双目相机以不同的拍摄角度采集人手的深度图像；依据所述多个双目相机采集的深度图像，获取人手的抓握姿态；依据所述人手的抓握姿态，确定灵巧手的抓握姿态，依据所述灵巧手的抓握姿态，确定所述灵巧手上多个驱动器的执行空间向量；依据所述执行空间向量控制所述多个驱动器动作，以使得所述灵巧手执行抓握动作；其中，所述多个双目相机当中的至少两者的光轴形成夹角。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于双目视觉采集的灵巧手控制方法，该方法包括：控制多个双目相机以不同的拍摄角度采集人手的深度图像；依据所述多个双目相机采集的深度图像，获取人手的抓握姿态；依据所述人手的抓握姿态，确定灵巧手的抓握姿态，依据所述灵巧手的抓握姿态，确定所述灵巧手上多个驱动器的执行空间向量；依据所述执行空间向量控制所述多个驱动器动作，以使得所述灵巧手执行抓握动作；其中，所述多个双目相机当中的至少两者的光轴形成夹角。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于双目视觉采集的灵巧手控制方法，该方法包括：控制多个双目相机以不同的拍摄角度采集人手的深度图像；依据所述多个双目相机采集的深度图像，获取人手的抓握姿态；依据所述人手的抓握姿态，确定灵巧手的抓握姿态，依据所述灵巧手的抓握姿态，确定所述灵巧手上多个驱动器的执行空间向量；依据所述执行空间向量控制所述多个驱动器动作，以使得所述灵巧手执行抓握动作；其中，所述多个双目相机当中的至少两者的光轴形成夹角。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于双目视觉采集的灵巧手控制方法，其特征在于，包括：控制多个双目相机以不同的拍摄角度采集人手的深度图像；
依据所述多个双目相机采集的深度图像，获取人手的抓握姿态；
依据所述人手的抓握姿态，确定灵巧手的抓握姿态，依据所述灵巧手的抓握姿态，确定所述灵巧手上多个驱动器的执行空间向量；
依据所述执行空间向量控制所述多个驱动器动作，以使得所述灵巧手执行抓握动作；
其中，所述多个双目相机当中的至少两者的光轴形成夹角。
2.根据权利要求1所述的基于双目视觉采集的灵巧手控制方法，其特征在于，所述依据所述多个双目相机采集的深度图像，获取人手的抓握姿态，进一步包括：
将所述深度图像输入至识别模型，获取所述识别模型输出的与人手对应的手掌的三维点云图像及各个手指关节的三维点云图像；
依据手掌的三维点云图像及各个手指关节的三维点云图像，确定在三维空间中手掌和各个手指关节的位置，计算出各个深度图像中手掌的角度及各个手指关节的角度；
其中，所述手掌的角度表征着所述深度图像中的手掌相对于与所述深度图像对应的双目相机的光轴的夹角，所述各个手指关节的角度表征着所述深度图像中的各个手指关节相对于与所述深度图像对应的双目相机的光轴的夹角。
3.根据权利要求2所述的基于双目视觉采集的灵巧手控制方法，其特征在于，所述依据所述多个双目相机采集的深度图像，获取人手的抓握姿态，进一步包括：
根据所述手掌的角度及各个手指关节的三维点云密度，确定各个深度图像中的每个手指关节的角度的确信值；
以多个所述确信值当中最大一者对应的手指关节的角度作为人手的手指关节的角度预测。
4.根据权利要求1至3任一所述的基于双目视觉采集的灵巧手控制方法，其特征在于，所述依据所述人手的抓握姿态，确定灵巧手的抓握姿态，依据所述灵巧手的抓握姿态，确定所述灵巧手上多个驱动器的执行空间向量，进一步包括：
依据所述人手的抓握姿态，获取人手的手指关节的第一角度空间向量；
依据第一角度空间向量，确定灵巧手的第二角度空间向量；
依据灵巧手的第二角度空间向量至驱动器的执行空间向量的映射函数，确定所述驱动器的执行空间向量。
5.根据权利要求4所述的基于双目视觉采集的灵巧手控制方法，其特征在于，所述依据所述人手的抓握姿态，确定灵巧手的抓握姿态，依据所述灵巧手的抓握姿态，确定所述灵巧手上多个驱动器的执行空间向量，进一步包括：
在第一角度空间向量的数量与执行空间向量的数量相同的情况下，依据下述公式确定所述驱动器的执行空间向量：
Si＝T(Vi)；
其中，Vi为第i个手指关节的第一角度空间向量；Si为第i个驱动器的执行空间向量；T为从Vi至Si的映射函数。
6.根据权利要求5所述的基于双目视觉采集的灵巧手控制方法，其特征在于，所述依据所述人手的抓握姿态，确定灵巧手的抓握姿态，依据所述灵巧手的抓握姿态，确定所述灵巧手上多个驱动器的执行空间向量，进一步包括：
在第一角度空间向量的数量大于执行空间向量的数量的情况下，依据下述公式确定所述驱动器的执行空间向量：
Figure FDA0003150401170000021
其中，Vp为第p个手指关节的第一角度空间向量，p的取值从i至j；Sk为第k个驱动器控制的第i个手指关节至第j个手指关节的执行空间向量，i、j、k为大于1的自然数。
7.一种基于双目视觉采集的灵巧手控制装置，其特征在于，包括：图像采集模块，用于控制多个双目相机以不同的拍摄角度采集人手的深度图像；
姿态获取模块，用于依据所述多个双目相机采集的深度图像，获取人手的抓握姿态；
确定模块，用于依据所述人手的抓握姿态，确定灵巧手的抓握姿态，依据所述灵巧手的抓握姿态，确定所述灵巧手上多个驱动器的执行空间向量；
控制模块，用于依据所述执行空间向量控制所述多个驱动器动作，以使得所述灵巧手执行抓握动作；
其中，所述多个双目相机当中的至少两者的光轴形成夹角。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的基于双目视觉采集的灵巧手控制方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于双目视觉采集的灵巧手控制方法的步骤。
CN202110762337.6A 2021-07-06 2021-07-06 一种基于双目视觉采集的灵巧手控制方法及装置 Active CN113561172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110762337.6A CN113561172B (zh) 2021-07-06 2021-07-06 一种基于双目视觉采集的灵巧手控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110762337.6A CN113561172B (zh) 2021-07-06 2021-07-06 一种基于双目视觉采集的灵巧手控制方法及装置

Publications (2)

Publication Number Publication Date
CN113561172A true CN113561172A (zh) 2021-10-29
CN113561172B CN113561172B (zh) 2023-04-18

Family

ID=78163788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110762337.6A Active CN113561172B (zh) 2021-07-06 2021-07-06 一种基于双目视觉采集的灵巧手控制方法及装置

Country Status (1)

Country Link
CN (1) CN113561172B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117084835A (zh) * 2023-10-20 2023-11-21 北京大学 智能假肢系统及控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1785608A (zh) * 2005-11-10 2006-06-14 上海大学 多指机械灵巧手闭环实时动作控制平台
CN102650514A (zh) * 2012-05-03 2012-08-29 秦毅 一种立体视觉系统及其实时监控三维安全警示区域的应用
CN106272409A (zh) * 2016-08-03 2017-01-04 北京航空航天大学 基于手势识别的机械臂控制方法及系统
CN107932541A (zh) * 2017-12-26 2018-04-20 上海哲谦应用科技有限公司 一种由微型电机驱动控制的欠驱动仿人灵巧手
CN110363077A (zh) * 2019-06-05 2019-10-22 平安科技（深圳）有限公司 手语识别方法、装置、计算机装置及存储介质
CN111185906A (zh) * 2020-01-10 2020-05-22 上海大学 一种基于Leap Motion的灵巧手主从控制方法
CN111709268A (zh) * 2020-04-24 2020-09-25 中国科学院软件研究所 一种深度图像中的基于人手结构指导的人手姿态估计方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1785608A (zh) * 2005-11-10 2006-06-14 上海大学 多指机械灵巧手闭环实时动作控制平台
CN102650514A (zh) * 2012-05-03 2012-08-29 秦毅 一种立体视觉系统及其实时监控三维安全警示区域的应用
CN106272409A (zh) * 2016-08-03 2017-01-04 北京航空航天大学 基于手势识别的机械臂控制方法及系统
CN107932541A (zh) * 2017-12-26 2018-04-20 上海哲谦应用科技有限公司 一种由微型电机驱动控制的欠驱动仿人灵巧手
CN110363077A (zh) * 2019-06-05 2019-10-22 平安科技（深圳）有限公司 手语识别方法、装置、计算机装置及存储介质
CN111185906A (zh) * 2020-01-10 2020-05-22 上海大学 一种基于Leap Motion的灵巧手主从控制方法
CN111709268A (zh) * 2020-04-24 2020-09-25 中国科学院软件研究所 一种深度图像中的基于人手结构指导的人手姿态估计方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘国华: "《HALCON编程及工程应用》", 30 September 2019, 西安电子科技大学出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117084835A (zh) * 2023-10-20 2023-11-21 北京大学 智能假肢系统及控制方法
CN117084835B (zh) * 2023-10-20 2024-03-12 北京大学 智能假肢系统及控制方法

Also Published As

Publication number Publication date
CN113561172B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN110076772B (zh) 一种机械臂的抓取方法及装置
CN109255813B (zh) 一种面向人机协作的手持物体位姿实时检测方法
JP6546618B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
CN109015640B (zh) 抓取方法、系统、计算机装置及可读存储介质
JP5743499B2 (ja) 画像生成装置、画像生成方法、およびプログラム
JP2019508273A (ja) ロボットの把持のための深層機械学習方法および装置
JP2019093461A (ja) 把持システム、学習装置、把持方法、及び、モデルの製造方法
WO2011065035A1 (ja) ロボットの教示データを作成する方法およびロボット教示システム
WO2020190166A1 (ru) Способ и система захвата объекта с помощью роботизированного устройства
Taryudi et al. Eye to hand calibration using ANFIS for stereo vision-based object manipulation system
JP7458741B2 (ja) ロボット制御装置及びその制御方法及びプログラム
CN109955244B (zh) 一种基于视觉伺服的抓取控制方法、装置和机器人
Ottenhaus et al. Visuo-haptic grasping of unknown objects based on gaussian process implicit surfaces and deep learning
CN110837792A (zh) 一种三维手势识别方法及装置
CN114387513A (zh) 机器人抓取方法、装置、电子设备及存储介质
CN110348359B (zh) 手部姿态追踪的方法、装置及系统
CN113561172B (zh) 一种基于双目视觉采集的灵巧手控制方法及装置
Wang et al. Joining force of human muscular task planning with robot robust and delicate manipulation for programming by demonstration
CN113505694A (zh) 一种基于视线追踪的人机交互方法、装置及计算机设备
CN115576426A (zh) 一种针对混合现实飞行模拟器的手部交互方法
JPH0780790A (ja) 三次元物体把持システム
Ángel-López et al. Kinematic hand analysis using motion capture technology
CN109214295B (zh) 基于Kinect v2和Leap Motion的数据融合的手势识别方法
Pavllo et al. Real-time marker-based finger tracking with neural networks
CN115810188A (zh) 基于单张二维图像的树上果实三维位姿识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant