CN112720504B - 从rgbd视频中学习手与物体交互运动控制方法和装置 - Google Patents

从rgbd视频中学习手与物体交互运动控制方法和装置 Download PDF

Info

Publication number
CN112720504B
CN112720504B CN202110076685.8A CN202110076685A CN112720504B CN 112720504 B CN112720504 B CN 112720504B CN 202110076685 A CN202110076685 A CN 202110076685A CN 112720504 B CN112720504 B CN 112720504B
Authority
CN
China
Prior art keywords
hand
motion
rgbd
movement
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110076685.8A
Other languages
English (en)
Other versions
CN112720504A (zh
Inventor
徐枫
张�浩
杨东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110076685.8A priority Critical patent/CN112720504B/zh
Publication of CN112720504A publication Critical patent/CN112720504A/zh
Application granted granted Critical
Publication of CN112720504B publication Critical patent/CN112720504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提出一种从RGBD视频中学习手与物体交互运动控制方法和装置，涉及三维重建及机器学习领域，其中，方法包括：通过目标相机采集手与物体交互场景的RGBD图像序列；将RGBD图像序列输入手与物体交互运动重建模块，重建人手运动及物体运动；将人手运动及物体运动作为参考运动，输入强化学习模块中对虚拟手进行训练，以使虚拟手获取与参考动作相似的交互技能，并作用到虚拟物体上。由此，使用易于采集的RGBD视频作为虚拟手与物体交互控制策略的训练输入，实现虚拟手对于真实人手与物体交互过程的学习。

Description

从RGBD视频中学习手与物体交互运动控制方法和装置
技术领域
本申请涉及三维重建及机器学习技术领域，尤其涉及一种从RGBD视频中学习手与物体交互运动控制方法和装置。
背景技术
机器人具有工作速度快、工作时间长、工作精度高、可控性强等优点，因此已经被广泛地应用到工业生产过程中，大大地提高了工业生产的效率。然而，机器人还难以应用到人类的日常生活中。这是因为，工业生产中的流程及工艺相对固定且容易量化，而人类生活中常常需要处理许多突发、且难以进行量化的情况。特别地，在生活中，人类为满足日常需要，常常需要与各种物体进行交互。让机器人具备与环境交互的能力是其能被广泛地应用到人类日常生活的先决条件。近年来，随着数据及算力的飞速发展，以深度学习和强化学习为代表的人工智能技术显示了其强大的感知能力。这些技术有望赋予机器足够的智能，使其能够感知周围快速变化的环境并与环境进行交互，以更广泛地应用到人类的日常生活中。
然而，为了让机器人具备交互的能力，需要使用复杂的专门设备采集人与环境交互过程的运动信息，并使用这些信息来对机器人进行训练。使用该方法获得训练数据的方法复杂、成本高，难以获得大量训练数据以提高机器人的适应性。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种从RGBD视频中学习手与物体交互运动控制方法，解决虚拟手与虚拟物体交互运动控制策略训练中，直接使用运动序列数据作为训练输入所需的设备复杂，数据量小等技术问题，提出使用易于采集的RGBD视频作为虚拟手与物体交互控制策略的训练输入，实现虚拟手对于真实人手与物体交互过程的学习。
本申请的第二个目的在于提出一种从RGBD视频中学习手与物体交互运动控制装置。
为达上述目的，本申请第一方面实施例提出了一种从RGBD视频中学习手与物体交互运动控制方法，包括：
通过目标相机采集手与物体交互场景的RGBD图像序列；
将所述RGBD图像序列输入手与物体交互运动重建模块，重建人手运动及物体运动；
将所述人手运动及物体运动作为参考运动，输入强化学习模块中对虚拟手进行训练，以使所述虚拟手获取与所述参考动作相似的交互技能，并作用到虚拟物体上。
本申请实施例的从RGBD视频中学习手与物体交互运动控制方法，通过目标相机采集手与物体交互场景的RGBD图像序列；将RGBD图像序列输入手与物体交互运动重建模块，重建人手运动及物体运动；将人手运动及物体运动作为参考运动，输入强化学习模块中对虚拟手进行训练，以使虚拟手获取与参考动作相似的交互技能，并作用到虚拟物体上。由此，使用易于采集的RGBD视频作为虚拟手与物体交互控制策略的训练输入，实现虚拟手对于真实人手与物体交互过程的学习。
在本申请的一个实施例中，通过目标相机采集手与物体交互场景的RGBD图像序列，包括：
设置多个不同交互场景；
根据所述多个不同交互场景控制所述手与物体进行交互；
在进行交互过程中，通过所述目标相机采集所述RGBD图像序列。
在本申请的一个实施例中，所述将所述RGBD图像序列输入手与物体交互运动重建模块，重建人手运动及物体运动，包括：
使用深度神经网络处理所述RGBD图像序列，获得人手关键点预测和手物分割结果；
使用统一优化函数对所述人手关键点预测和手物分割结果进行优化处理，获取所述手与物体运动。
在本申请的一个实施例中，所述将所述人手运动及物体运动作为参考运动，输入强化学习模块中对虚拟手进行训练，包括：
根据所述手与物体的几何信息构建人手和物体的物理模型，以及人手物理模型的运动控制器；
将所述手与物体运动作为参考运动输入强化学习网络，生成与所述参考运动相对应的运动参数，发送给所述运动控制器；
所述运动控制器驱动所述人手物理模型运动，并与所述物体模型交互，获取生成运动。
根据所述生成运动与所述参考运动之间的差异对所述强化学习网络进行更新，直到所述差异小于预设数值，完成训练。
在本申请的一个实施例中，所述的从RGBD视频中学习手与物体交互运动控制方法，还包括：
获取控制指令；
根据所述控制指令控制所述虚拟手与物体进行交互，根据交互结果调整所述强化学习模块的参数。
为达上述目的，本申请第二方面实施例提出了一种从RGBD视频中学习手与物体交互运动控制装置，包括：
采集模块，用于通过目标相机采集手与物体交互场景的RGBD图像序列；
重建模块，用于将所述RGBD图像序列输入手与物体交互运动重建模块，重建人手运动及物体运动；
训练模块，用于将所述人手运动及物体运动作为参考运动，输入强化学习模块中对虚拟手进行训练，以使所述虚拟手获取与所述参考动作相似的交互技能，并作用到虚拟物体上。
本申请实施例的从RGBD视频中学习手与物体交互运动控制装置，通过目标相机采集手与物体交互场景的RGBD图像序列；将RGBD图像序列输入手与物体交互运动重建模块，重建人手运动及物体运动；将人手运动及物体运动作为参考运动，输入强化学习模块中对虚拟手进行训练，以使虚拟手获取与参考动作相似的交互技能，并作用到虚拟物体上。由此，使用易于采集的RGBD视频作为虚拟手与物体交互控制策略的训练输入，实现虚拟手对于真实人手与物体交互过程的学习。
在本申请的一个实施例中，所述采集模块，具体用于：
设置多个不同交互场景；
根据所述多个不同交互场景控制所述手与物体进行交互；
在进行交互过程中，通过所述目标相机采集所述RGBD图像序列。
在本申请的一个实施例中，所述重建模块，具体用于：
使用深度神经网络处理所述RGBD图像序列，获得人手关键点预测和手物分割结果；
使用统一优化函数对所述人手关键点预测和手物分割结果进行优化处理，获取所述手与物体运动。
在本申请的一个实施例中，所述训练模块，具体用于：
根据所述手与物体的几何信息构建人手和物体的物理模型，以及人手物理模型的运动控制器；
将所述手与物体运动作为参考运动输入强化学习网络，生成与所述参考运动相对应的运动参数，发送给所述运动控制器；
所述运动控制器驱动所述人手物理模型运动，并与所述物体模型交互，获取生成运动。
根据所述生成运动与所述参考运动之间的差异对所述强化学习网络进行更新，直到所述差异小于预设数值，完成训练。
在本申请的一个实施例中，所述的从RGBD视频中学习手与物体交互运动控制装置，还包括：
获取模块，用于获取控制指令；
调整模块，用于根据所述控制指令控制所述虚拟手与物体进行交互，根据交互结果调整所述强化学习模块的参数。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例一所提供的一种从RGBD视频中学习手与物体交互运动控制方法的流程示意图；
图2为本申请实施例的一种从RGBD视频中学习手与物体交互运动控制的示例图；
图3为本申请实施例所提供的一种从RGBD视频中学习手与物体交互运动控制装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的从RGBD视频中学习手与物体交互运动控制方法和装置。
图1为本申请实施例一所提供的一种从RGBD视频中学习手与物体交互运动控制方法的流程示意图。
如图1所示，该从RGBD视频中学习手与物体交互运动控制方法包括以下步骤：
步骤101，通过目标相机采集手与物体交互场景的RGBD图像序列。
在本申请实施例中，通过目标相机采集手与物体交互场景的RGBD图像序列，包括：设置多个不同交互场景；根据多个不同交互场景控制所述手与物体进行交互；在进行交互过程中，通过目标相机采集所述RGBD图像序列，比如使用分辨率为640x480的RGBD图像序列。
其中，目标相机可以根据应用场景选择设置，比如Realsense SR300相机。
步骤102，将RGBD图像序列输入手与物体交互运动重建模块，重建人手运动及物体运动。
在本申请实施例中，将RGBD图像序列输入手与物体交互运动重建模块，重建人手运动及物体运动，包括：首先，通过扫描重建物体表面几何；其次，采集手与物体交互的RGBD视频即获取RGBD图像序列；然后，使用一个深度神经网络处理RGBD图像，获得人手关键点预测和手物分割结果；最后，使用统一优化函数对人手关键点预测和手物分割结果进行优化处理实现优化能量，获得手与物体的运动。
步骤103，将人手运动及物体运动作为参考运动，输入强化学习模块中对虚拟手进行训练，以使虚拟手获取与参考动作相似的交互技能，并作用到虚拟物体上。
在本申请实施例中，将人手运动及物体运动作为参考运动，输入强化学习模块中对虚拟手进行训练，包括
首先，根据手与物体的几何信息构建人手和物体的物理模型，以及人手物理模型的运动控制器；其次，将手与物体的运动作为参考运动输入强化学习网络；再次，强化学习网络生成与参考运动相对应的运动参数，传给运动控制器；然后，运动控制器驱动人手物理模型运动，并与物体模型交互。最后，根据生成运动与参考运动之间的差异，不断对强化学习网络进行更新，直到学习出相应的运动技能为止。
在本申请实施例中，还可以获取控制指令；根据控制指令控制虚拟手与物体进行交互，根据交互结果调整强化学习模块的参数。
举例而言，如图2所示，将采集的手抓取物体的RGBD数据输入到神经网络中进行人手关键点预测和手物数据分割，将人手模型和物体模型分别与各自的数据进行配准后得到人手和物体的运动。将该运动作为参考运动送入到仿真环境中进行强化学习，最终获得符合物理且与输入数据相似的手物运动。
由此，利用针对RGBD输入的手与物体交互运动重建方法获得交互过程中人手运动以及物体的运动。其中，物体在人手的作用下，可能发生非刚性的变形；利用强化学习的方法，以获得的人手运动以及物体的运动作为参考输入，训练一个交互控制策略，使得虚拟手可以对不同的虚拟物体实现类似于RGBD视频中的交互运动；使用RGBD视频作为学习的输入，采集方法简单，数据容易获得。
本申请实施例的从RGBD视频中学习手与物体交互运动控制方法，通过目标相机采集手与物体交互场景的RGBD图像序列；将RGBD图像序列输入手与物体交互运动重建模块，重建人手运动及物体运动；将人手运动及物体运动作为参考运动，输入强化学习模块中对虚拟手进行训练，以使虚拟手获取与参考动作相似的交互技能，并作用到虚拟物体上。由此，使用易于采集的RGBD视频作为虚拟手与物体交互控制策略的训练输入，实现虚拟手对于真实人手与物体交互过程的学习。
为了实现上述实施例，本申请还提出一种从RGBD视频中学习手与物体交互运动控制装置。
图3为本申请实施例提供的一种从RGBD视频中学习手与物体交互运动控制装置的结构示意图。
如图3所示，该从RGBD视频中学习手与物体交互运动控制装置包括：采集模块310、重建模块320和训练模块330。
采集模块310，用于通过目标相机采集手与物体交互场景的RGBD图像序列。
重建模块320，用于将所述RGBD图像序列输入手与物体交互运动重建模块，重建人手运动及物体运动。
训练模块330，用于将所述人手运动及物体运动作为参考运动，输入强化学习模块中对虚拟手进行训练，以使所述虚拟手获取与所述参考动作相似的交互技能，并作用到虚拟物体上。
在本申请的一个实施例中，所述采集模块，具体用于：设置多个不同交互场景；根据所述多个不同交互场景控制所述手与物体进行交互；在进行交互过程中，通过所述目标相机采集所述RGBD图像序列。
在本申请的一个实施例中，所述重建模块，具体用于使用深度神经网络处理所述RGBD图像序列，获得人手关键点预测和手物分割结果；使用统一优化函数对所述人手关键点预测和手物分割结果进行优化处理，获取所述手与物体运动。
在本申请的一个实施例中，所述训练模块，具体用于：根据所述手与物体的几何模型构建人手和物体的物理模型，以及人手物理模型的运动控制器；将所述手与物体运动作为参考运动输入强化学习网络，生成与所述参考运动相对应的运动参数，发送给所述运动控制器；所述运动控制器驱动所述人手物理模型运动，并与所述物体模型交互，获取生成运动。根据所述生成运动与所述参考运动之间的差异对所述强化学习网络进行更新，直到所述差异小于预设数值，完成训练。
在本申请的一个实施例中，所述的从RGBD视频中学习手与物体交互运动控制装置，还包括：获取模块，用于获取控制指令；调整模块，用于根据所述控制指令控制所述虚拟手与物体进行交互，根据交互结果调整所述强化学习模块的参数。
本申请实施例的从RGBD视频中学习手与物体交互运动控制装置，通过目标相机采集手与物体交互场景的RGBD图像序列；将RGBD图像序列输入手与物体交互运动重建模块，重建人手运动及物体运动；将人手运动及物体运动作为参考运动，输入强化学习模块中对虚拟手进行训练，以使虚拟手获取与参考动作相似的交互技能，并作用到虚拟物体上。由此，使用易于采集的RGBD视频作为虚拟手与物体交互控制策略的训练输入，实现虚拟手对于真实人手与物体交互过程的学习。
需要说明的是，前述对从RGBD视频中学习手与物体交互运动控制方法实施例的解释说明也适用于该实施例的从RGBD视频中学习手与物体交互运动控制装置，此处不再赘述。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种从RGBD视频中学习手与物体交互运动控制方法，其特征在于，包括以下步骤：
通过目标相机采集手与物体交互场景的RGBD图像序列；
将所述RGBD图像序列输入手与物体交互运动重建模块，重建人手运动及物体运动；
将所述人手运动及物体运动作为参考运动，输入强化学习模块中对虚拟手进行训练，以使所述虚拟手获取与参考动作相似的交互技能，并作用到虚拟物体上；
其中，所述从RGBD视频中学习手与物体交互运动控制方法，还包括：
获取控制指令；根据所述控制指令控制所述虚拟手与物体进行交互，根据交互结果调整所述强化学习模块的参数；具体包括：
将采集的手抓取物体的RGBD数据输入到神经网络中进行人手关键点预测和手物数据分割，将人手模型和物体模型分别与各自的数据进行配准后得到人手和物体的运动；将所述运动作为参考运动送入到仿真环境中进行强化学习，最终获得符合物理且与输入数据相似的手物运动；
其中，所述将所述人手运动及物体运动作为参考运动，输入强化学习模块中对虚拟手进行训练，包括：
根据所述手与物体的几何信息构建人手和物体的物理模型，以及人手物理模型的运动控制器；
将所述手与物体运动作为参考运动输入强化学习网络，生成与所述参考运动相对应的运动参数，发送给所述运动控制器；
所述运动控制器驱动所述人手物理模型运动，并与所述物体模型交互，获取生成运动；
根据所述生成运动与所述参考运动之间的差异对所述强化学习网络进行更新，直到所述差异小于预设数值，完成训练。
2.如权利要求1所述的从RGBD视频中学习手与物体交互运动控制方法，其特征在于，通过目标相机采集手与物体交互场景的RGBD图像序列，包括：
设置多个不同交互场景；
根据所述多个不同交互场景控制所述手与物体进行交互；
在进行交互过程中，通过所述目标相机采集所述RGBD图像序列。
3.如权利要求1所述的从RGBD视频中学习手与物体交互运动控制方法，其特征在于，所述将所述RGBD图像序列输入手与物体交互运动重建模块，重建人手运动及物体运动，包括：
使用深度神经网络处理所述RGBD图像序列，获得人手关键点预测和手物分割结果；
使用统一优化函数对所述人手关键点预测和手物分割结果进行优化处理，获取所述手与物体运动。
4.一种从RGBD视频中学习手与物体交互运动控制装置，其特征在于，包括：
采集模块，用于通过目标相机采集手与物体交互场景的RGBD图像序列；
重建模块，用于将所述RGBD图像序列输入手与物体交互运动重建模块，重建人手运动及物体运动；
训练模块，用于将所述人手运动及物体运动作为参考运动，输入强化学习模块中对虚拟手进行训练，以使所述虚拟手获取与参考动作相似的交互技能，并作用到虚拟物体上；
其中，所述从RGBD视频中学习手与物体交互运动控制装置，还包括：
获取模块，用于获取控制指令；
调整模块，用于根据所述控制指令控制所述虚拟手与物体进行交互，根据交互结果调整所述强化学习模块的参数；具体包括：
将采集的手抓取物体的RGBD数据输入到神经网络中进行人手关键点预测和手物数据分割，将人手模型和物体模型分别与各自的数据进行配准后得到人手和物体的运动；将所述运动作为参考运动送入到仿真环境中进行强化学习，最终获得符合物理且与输入数据相似的手物运动；
其中，所述训练模块，具体用于：
根据所述手与物体的几何信息构建人手和物体的物理模型，以及人手物理模型的运动控制器；
将所述手与物体运动作为参考运动输入强化学习网络，生成与所述参考运动相对应的运动参数，发送给所述运动控制器；
所述运动控制器驱动所述人手物理模型运动，并与所述物体模型交互，获取生成运动；
根据所述生成运动与所述参考运动之间的差异对所述强化学习网络进行更新，直到所述差异小于预设数值，完成训练。
5.如权利要求4所述的从RGBD视频中学习手与物体交互运动控制装置，其特征在于，所述采集模块，具体用于：
设置多个不同交互场景；
根据所述多个不同交互场景控制所述手与物体进行交互；
在进行交互过程中，通过所述目标相机采集所述RGBD图像序列。
6.如权利要求4所述的从RGBD视频中学习手与物体交互运动控制装置，其特征在于，所述重建模块，具体用于：
使用深度神经网络处理所述RGBD图像序列，获得人手关键点预测和手物分割结果；
使用统一优化函数对所述人手关键点预测和手物分割结果进行优化处理，获取所述手与物体运动。
CN202110076685.8A 2021-01-20 2021-01-20 从rgbd视频中学习手与物体交互运动控制方法和装置 Active CN112720504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110076685.8A CN112720504B (zh) 2021-01-20 2021-01-20 从rgbd视频中学习手与物体交互运动控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110076685.8A CN112720504B (zh) 2021-01-20 2021-01-20 从rgbd视频中学习手与物体交互运动控制方法和装置

Publications (2)

Publication Number Publication Date
CN112720504A CN112720504A (zh) 2021-04-30
CN112720504B true CN112720504B (zh) 2023-03-28

Family

ID=75593664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110076685.8A Active CN112720504B (zh) 2021-01-20 2021-01-20 从rgbd视频中学习手与物体交互运动控制方法和装置

Country Status (1)

Country Link
CN (1) CN112720504B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113771081B (zh) * 2021-07-06 2024-04-30 清华大学 一种基于物理的虚拟人手自动抓取方法及装置
CN115223028B (zh) * 2022-06-02 2024-03-29 支付宝(杭州)信息技术有限公司 场景重建及模型训练方法、装置、设备、介质及程序产品
CN116243803B (zh) * 2023-05-11 2023-12-05 南京鸿威互动科技有限公司 一种基于vr技术的动作评估方法、系统、设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002023323A2 (de) * 2000-09-13 2002-03-21 Bernd Von Prittwitz Frei spezifizierbare echtzeit-steuerung
CN106502402A (zh) * 2016-10-25 2017-03-15 四川农业大学 一种三维动态情景教学系统及方法
CN110575663A (zh) * 2019-09-25 2019-12-17 郑州大学 一种基于人工智能的体育辅助训练方法
CN110653801A (zh) * 2019-09-30 2020-01-07 哈尔滨工业大学 机器人操作臂的导引操纵系统及其柔顺操纵控制与示教学习方法
CN111275205A (zh) * 2020-01-13 2020-06-12 优地网络有限公司 虚拟样本的生成方法、终端设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9396669B2 (en) * 2008-06-16 2016-07-19 Microsoft Technology Licensing, Llc Surgical procedure capture, modelling, and editing interactive playback
US10943402B2 (en) * 2018-03-20 2021-03-09 Logitech Europe S.A. Method and system for mixed reality interaction with peripheral device
KR102057393B1 (ko) * 2018-06-18 2019-12-18 한국항공대학교산학협력단 인터랙티브 음향 제어 시스템 및 인터랙티브 음향 제어 방법
CN108983978B (zh) * 2018-07-20 2020-11-10 北京理工大学 虚拟手控制方法及装置
CN110405730B (zh) * 2019-06-06 2022-07-08 大连理工大学 一种基于rgb-d图像的人机物交互机械臂示教系统
CN110728739B (zh) * 2019-09-30 2023-04-14 杭州师范大学 一种基于视频流的虚拟人控制与交互方法
CN111124107A (zh) * 2019-11-14 2020-05-08 清华大学 手与物体复杂交互场景重建方法及装置
CN112199994B (zh) * 2020-09-03 2023-05-12 中国科学院信息工程研究所 一种实时检测rgb视频中的3d手与未知物体交互的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002023323A2 (de) * 2000-09-13 2002-03-21 Bernd Von Prittwitz Frei spezifizierbare echtzeit-steuerung
CN106502402A (zh) * 2016-10-25 2017-03-15 四川农业大学 一种三维动态情景教学系统及方法
CN110575663A (zh) * 2019-09-25 2019-12-17 郑州大学 一种基于人工智能的体育辅助训练方法
CN110653801A (zh) * 2019-09-30 2020-01-07 哈尔滨工业大学 机器人操作臂的导引操纵系统及其柔顺操纵控制与示教学习方法
CN111275205A (zh) * 2020-01-13 2020-06-12 优地网络有限公司 虚拟样本的生成方法、终端设备及存储介质

Also Published As

Publication number Publication date
CN112720504A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN112720504B (zh) 从rgbd视频中学习手与物体交互运动控制方法和装置
US20220063089A1 (en) Machine learning methods and apparatus related to predicting motion(s) of object(s) in a robot's environment based on image(s) capturing the object(s) and based on parameter(s) for future robot movement in the environment
EP3402633B1 (en) Machine learning methods and apparatus related to predicting motion(s) of object(s) in a robot's environment based on image(s) capturing the object(s) and based on parameter(s) for future robot movement in the environment
CN112757284B (zh) 机器人控制装置、方法和存储介质
WO2019222597A1 (en) System and methods for pixel based model predictive control
CN113011526B (zh) 基于强化学习和无监督学习的机器人技能学习方法及系统
Passalis et al. Deep reinforcement learning for controlling frontal person close-up shooting
DE102015111080A1 (de) Robotervorrichtung mit maschinellem Sehen
CN114310870A (zh) 智能体的控制方法、装置、电子设备及存储介质
CN114332156B (zh) 基于图卷积神经网络的实时三维运动补全方法
Liang et al. Learning sensorimotor primitives of sequential manipulation tasks from visual demonstrations
CN114041828A (zh) 超声扫查控制方法、机器人及存储介质
EP2898996A1 (en) Method of controlling a robotic system and a robotic system controller for implementing this method
JP7406654B2 (ja) 実際の場所の仮想環境復元を作成するための方法
JP2024501885A (ja) 現実ロボットのシミュレーション駆動型ロボット制御
CN114863282B (zh) 基于时空注意力机制的可形变物体形状控制系统及方法
CN114918912B (zh) 一种机械臂的控制方法、装置、电子设备以及存储介质
CN114782287B (zh) 动作数据修正方法、装置、设备及存储介质
CN115358094B (zh) 一种基于数字孪生模型的液压支架控制方法
EP4238714A1 (en) Device and method for controlling a robot
Petropoulakis et al. Representation Abstractions as Incentives for Reinforcement Learning Agents: A Robotic Grasping Case Study
CN118037934A (zh) 动态人体渲染方法、装置、电子设备及存储介质
CN116051596A (zh) 一种角色运动状态预测方法、终端设备及存储介质
CN116935492A (zh) 一种基于图关系交互学习的人体动作预测方法及装置
Barate et al. Generalization performance of vision based controllers for mobile robots evolved with genetic programming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant