CN112905006B

CN112905006B - 基于物理仿真的虚拟现实人手交互方法和装置

Info

Publication number: CN112905006B
Application number: CN202110087728.2A
Authority: CN
Inventors: 徐枫; 田一菲; 雍俊海
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2021-01-21
Filing date: 2021-01-21
Publication date: 2022-12-02
Anticipated expiration: 2041-01-21
Also published as: CN112905006A

Abstract

本发明提出一种基于物理仿真的虚拟现实人手交互方法和装置，其中，方法包括：获取人手的多个关键点信息；确定与多个关键点信息匹配的目标人手模型；根据多个关键点信息确定目标人手模型的力和力矩；根据力和力矩更新目标人手模型。由此，本发明提出了一种驱动虚拟的人手模型和虚拟物体产生物理真实的仿真交互的方法，它能捕获使用者的人手信息生成虚拟的人手模型。

Description

基于物理仿真的虚拟现实人手交互方法和装置

技术领域

本发明涉及计算机视觉和计算机图形学技术领域，尤其涉及一种基于物理仿真的虚拟现实人手交互方法和装置。

背景技术

随着虚拟现实技术的发展，虚拟现实的应用场景愈来愈多。在需求数量增多的同时，人们对虚拟现实质量的要求也越来越高。

人手是人体与外界环境进行交互的主要方式。在虚拟现实和增强现实当中，若想实现良好的交互效果，就必须解决好人手与物体的交互问题。而要在虚拟现实中实现人手和物体的交互，存在主要的问题是利用获得的人手运动信息，实时重建出人手的模型。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种基于物理仿真的虚拟现实人手交互方法，以实现利用获得的人手运动信息，实时重建出人手的模型。

本发明的第二个目的在于提出一种基于物理仿真的虚拟现实人手交互装置。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

本发明的第五个目的在于提出一种计算机程序产品。

为达上述目的，本发明第一方面实施例提出了一种基于物理仿真的虚拟现实人手交互方法，包括：获取人手的多个关键点信息；

确定与所述多个关键点信息匹配的目标人手模型；

根据所述多个关键点信息确定所述目标人手模型的力和力矩；

根据所述力和力矩更新所述目标人手模型。

为达上述目的，本发明第二方面实施例提出了一种基于物理仿真的虚拟现实人手交互装置，包括：第一获取模块，用于获取人手的多个关键点信息；

第一确定模块，用于确定与所述多个关键点信息匹配的目标人手模型；

第二确定模块，用于根据所述多个关键点信息确定所述目标人手模型的力和力矩；

更新模块，用于根据所述力和力矩更新所述目标人手模型。

为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述第一方面实施例所述的基于物理仿真的虚拟现实人手交互方法。

为了实现上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面实施例所述的基于物理仿真的虚拟现实人手交互方法。

本发明的实施例，至少具有如下的技术效果：

提前生成了一系列的人手模型，并根据真实人手的物理特性在物理引擎中定义了一个动态变化的人手模型。实时捕获人手的关键点信息，利用最优化的方法寻找到与当前关键点信息最接近的人手模型，并将该人手模型传递给物理引擎，在物理引擎中利用比例微分控制器对人手模型进行动态更新，从而实时驱动物理引擎中的人手模型和虚拟物体进行交互。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例所提供的一种基于物理仿真的虚拟现实人手交互方法的流程示意图；

图2为本发明实施例所提供的一种开源的人手模型预处理流程图；

图3为本发明实施例所提供的另一种基于物理仿真的虚拟现实人手交互方法的流程示意图；以及

图4为本发明实施例所提供的一种基于物理仿真的虚拟现实人手交互装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的基于物理仿真的虚拟现实人手交互方法和装置。

图1为本发明实施例所提供的一种基于物理仿真的虚拟现实人手交互方法的流程示意图。

如图1所示，该基于物理仿真的虚拟现实人手交互方法包括以下步骤：

步骤101，获取人手的多个关键点信息。

本实施例中，利用leapmotion之类的人手关键点检测设备，实时捕获人手关键点信息，其中，多个关键点信息可以包括确定人手形状或者动作的关键点，比如指节关键点、手背、指尖等。

步骤102，确定与多个关键点信息匹配的目标人手模型。

可以理解，参照图2，在本实施例中，根据开源的人手模型生成一组形态相同，但是姿态不同的标准人手模型，并且根据人手模型的形态参数在物理引擎中生成一个未定义姿态的虚拟人手模型。

在本实施例中，确定与多个关键点信息匹配的目标人手模型，比如，可以将该问题看做是一个最优化问题，所谓最优化问题就是在满足一系列有关的限制条件下，选择一组参数使设计目标达到最优值。求解最优化问题的方法就被称为最优化方法。当前问题中，需要达到最优值的设计目标就是人手关键点信息和人手模型匹配程度。利用最优化方法，求解出和采集到的关键点信息最匹配的标准人手模型。

又比如，连接多个关键点生成多个连接线，计算多个连接线之间的第一角度，其中，每两个相邻关键点组成一个连接线，共同拥有同一个顶点的连接点的角度为一个第一角度，获取预设的多个标准人手模型中，每个标准人手模型与多个关键点对应的多个标准关键点，连接每个标准人手模型的多个标准关键点生成多个标准连接线，计算多个标准连接线之间的第二角度；根据第一角度和第二角度，在多个标准人手模型中确定目标人手模型。

在本实施例中，在每个标准人手模型的标准连接线中，确定每组相连的两个连接线对应的每组标准连接线，比如，连接线对应的共同顶点为手背顶点，每个连接线对应的终点关键点分别为小手指的开始处以及大拇指的开始处，则对应的标准连接线对应的共同顶点为标准人手模型的手背顶点，每个连接线对应的终点关键点分别为小手指的开始处以及大拇指的开始处。

计算每组相连的两个连接线对应的第一角度，与对应的每组标准连接线对应的第二角度的角度差，确定角度差小于预设阈值的目标连接线组，计算目标连接线组对应的连接线数量与所有的连接线的数量的比值，若比值大于预设阈值，则确定对应的标准人手模型为目标人手模型。

步骤103，根据多个关键点信息确定目标人手模型的力和力矩。

在本实施例中，可利用比例微分控制器计算更新目标人手模型的力和力矩。其中力可以控制人手模型的整体平移，力越大人手平移的距离就越远；力矩可以控制人手各个关节的旋转，力矩越大关节的旋转角度就越大。比例微分控制器以人手模型当前的状态和目标状态作为输入，两者之间差异越大，控制当前人手模型到达目标状态所需要的力和力矩就越大。

步骤104，根据力和力矩更新目标人手模型。

在本实施例中，根据所述力和力矩确定所述目标人手模型的关键点坐标，根据所述关键点坐标更新所述目标人手模型，即由于目标人手模型的姿态和热手的姿态并不完全一致，因此，根据力和力矩更新目标人手模型。也即是说，开源的人手模型和我们直接采集到的人手数据往往是不完全匹配的，不能直接利用关键点的位置对开源的人手模型直接进行更新。通过最优化的方法，可以寻找到所有人手模型中和当前采集到的关键点数据最接近的一个，从而弥补了人手模型和人手数据之间的不匹配。

因为采集的数据存在噪声，利用关键点生成的人手模型往往存在一定的误差，连续生成的人手模型之间也会有比较大的差异。直接利用生成的人手模型来驱动物理引擎中虚拟人手的话，往往会出现很多不稳定的效果，如抖动或者速度爆炸等。利用比例微分控制器，可以计算出从虚拟人手当前姿态到下一姿态所需要的力和力矩，其中，下一姿态为当前采集的人手关键点对应的姿态，通过力和力矩驱动虚拟人手进行更新，可以避免意外关键点采集噪声导致的不稳定效果。

进一步的，为了重建出人手模型后，需要利用生成的人手模型和虚拟的物体进行交互。为了产生物理真实的交互效果，我们必须赋予虚拟的人手以及虚拟的物体物理意义，一种常用的方法就是利用物理引擎对虚拟人手和虚拟物体的运动进行约束。

因此，在本发明的一个实施例中，还确定与目标人手模型对应的虚拟物体模型，根据所述力和力矩更新所述虚拟物体模型，在一些可能的示例中，根据所述力和力矩确定所述目标人手模型的关键点坐标；根据所述关键点坐标更新所述目标人手模型；确定更新后的所述目标人手模型对应的打击位置和打击动作(打击位置可以根据更新后的目标人手模型的手指的指向方向确定，打击动作可以根据姿态参数确定)；根据所述打击位置和打击动作更新所述虚拟物体模型。比如，对打击位置释放烟花爆炸效果，根据打击动作控制虚拟物体旋转等，其中，打击动作与旋转角度可以预先构建对应关系获取。

由此，参照图3，提前生成了一系列的人手模型，并根据真实人手的物理特性在物理引擎中定义了一个动态变化的人手模型。实时捕获人手的关键点信息，利用最优化的方法寻找到与当前关键点信息最接近的人手模型，并将该人手模型传递给物理引擎，在物理引擎中利用比例微分控制器对人手模型进行动态更新，从而实时驱动物理引擎中的人手模型和虚拟物体进行交互。

综上，本发明实施例的基于物理仿真的虚拟现实人手交互方法，实时捕获人手的关键点信息，利用最优化的方法寻找到与当前关键点信息最接近的人手模型，并将该人手模型传递给物理引擎，在物理引擎中利用比例微分控制器对人手模型进行动态更新，从而实时驱动物理引擎中的人手模型和虚拟物体进行交互。

为了实现上述实施例，本发明还提出一种基于物理仿真的虚拟现实人手交互装置。

图4为本发明实施例提供的一种基于物理仿真的虚拟现实人手交互装置的结构示意图。

如图4所示，该基于物理仿真的虚拟现实人手交互装置包括：第一获取模块410、第一确定模块420、第二确定模块430、更新模块440。

其中，第一获取模块410，用于获取人手的多个关键点信息；

第一确定模块420，用于确定与所述多个关键点信息匹配的目标人手模型；

第二确定模块430，用于根据所述多个关键点信息确定所述目标人手模型的力和力矩；

更新模块440，用于根据所述力和力矩更新所述目标人手模型。

需要说明的是，前述对基于物理仿真的虚拟现实人手交互方法实施例的解释说明也适用于该实施例的基于物理仿真的虚拟现实人手交互装置，此处不再赘述。

为了实现上述实施例，本发明还提出一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述实施例所描述的基于物理仿真的虚拟现实人手交互方法。

为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例所描述的基于物理仿真的虚拟现实人手交互方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种基于物理仿真的虚拟现实人手交互方法,其特征在于，包括以下步骤：

获取人手的多个关键点信息；

确定与所述多个关键点信息匹配的目标人手模型；

根据所述力和力矩更新所述目标人手模型；

其中，所述确定与所述多个关键点信息匹配的目标人手模型，包括：

连接所述多个关键点生成多个连接线；

计算所述多个连接线之间的第一角度；

获取预设的多个标准人手模型中，每个所述标准人手模型与所述多个关键点对应的多个标准关键点；

连接每个所述标准人手模型的多个标准关键点生成多个标准连接线；

计算所述多个标准连接线之间的第二角度；

根据所述第一角度和所述第二角度，在所述多个标准人手模型中确定所述目标人手模型。

2.如权利要求1所述的方法，其特征在于，还包括：

确定与所述目标人手模型对应的虚拟物体模型；

根据所述力和力矩更新所述虚拟物体模型。

3.如权利要求1所述的方法，其特征在于，所述根据所述第一角度和所述第二角度，在所述多个标准人手模型中确定所述目标人手模型，包括：

在每个所述标准人手模型的标准连接线中，确定每组相连的两个连接线对应的每组标准连接线；

计算所述每组相连的两个连接线对应的第一角度，与所述对应的每组标准连接线对应的第二角度的角度差；

确定所述角度差小于预设阈值的目标连接线组；

计算所述目标连接线组对应的连接线数量与所有的所述连接线的数量的比值；

若所述比值大于预设阈值，则确定对应的标准人手模型为所述目标人手模型。

4.如权利要求1所述的方法，其特征在于，所述根据所述多个关键点信息确定所述目标人手模型的力和力矩，包括：

利用比例微分控制器计算更新所述目标人手模型的力和力矩。

5.如权利要求1所述的方法，其特征在于，所述根据所述力和力矩更新所述目标人手模型，包括：

根据所述力和力矩确定所述目标人手模型的关键点坐标；

根据所述关键点坐标更新所述目标人手模型。

6.如权利要求2所述的方法，其特征在于，所述根据所述力和力矩更新所述虚拟物体模型，包括：

根据所述力和力矩确定所述目标人手模型的关键点坐标；

根据所述关键点坐标更新所述目标人手模型；

确定更新后的所述目标人手模型对应的打击位置和打击动作；

根据所述打击位置和打击动作更新所述虚拟物体模型。

7.一种基于物理仿真的虚拟现实人手交互装置,其特征在于，包括：

第一获取模块，用于获取人手的多个关键点信息；

更新模块，用于根据所述力和力矩更新所述目标人手模型；

连接所述多个关键点生成多个连接线；

计算所述多个连接线之间的第一角度；

计算所述多个标准连接线之间的第二角度；

8.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-6中任一所述的方法。

9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的方法。