CN105975158A - 虚拟现实交互的方法及装置 - Google Patents

虚拟现实交互的方法及装置 Download PDF

Info

Publication number
CN105975158A
CN105975158A CN201610309443.8A CN201610309443A CN105975158A CN 105975158 A CN105975158 A CN 105975158A CN 201610309443 A CN201610309443 A CN 201610309443A CN 105975158 A CN105975158 A CN 105975158A
Authority
CN
China
Prior art keywords
image
hand
virtual
tool
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610309443.8A
Other languages
English (en)
Inventor
贾旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leshi Zhixin Electronic Technology Tianjin Co Ltd
LeTV Holding Beijing Co Ltd
Original Assignee
Leshi Zhixin Electronic Technology Tianjin Co Ltd
LeTV Holding Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leshi Zhixin Electronic Technology Tianjin Co Ltd, LeTV Holding Beijing Co Ltd filed Critical Leshi Zhixin Electronic Technology Tianjin Co Ltd
Priority to CN201610309443.8A priority Critical patent/CN105975158A/zh
Publication of CN105975158A publication Critical patent/CN105975158A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供一种虚拟现实交互的方法及装置,其中,本发明的方法主要包括:通过摄像头获取虚拟现实VR设备前方预设范围内的实体影像;识别所述实体影像中包含的手形;在当前虚拟现实图像中渲染出与所述手形对应的虚拟工具的图像,所述虚拟工具的图像中包含人手标识。与现有技术相比,本发明能够实现虚拟现实交互更加便利的效果。

Description

虚拟现实交互的方法及装置
技术领域
本发明实施例涉及计算机应用技术领域,尤其涉及一种虚拟现实交互的方法及装置。
背景技术
随着社会经济的发展,计算机已经成为人们生活不可或缺的重要组成部分,而友好的人机交互也早就成为人们非常关心的课题。从早期的命令界面到图形用户界面再到多媒体界面,直到现在的虚拟现实。人机交互已经发展到了一个新的领域。
虚拟现实(Virtual Reality,简称VR)是利用计算机图形系统及各种现实控制等接口设备,在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。具体表现为:通过佩戴相应的头戴式显示器(Head-mounted Display,简称HMD)等VR设备,使用户的听觉和视觉功能完全置于虚拟的环境中并且切断所有的外界信息,从而使用户可以在虚拟现实中漫游,感受非常逼真的足以“迷惑”人类视觉的虚幻的世界。
但正是由于在佩戴HDM后,切断了所有的外界信息,所以用户除了虚拟的图像外看不到真实环境中的任何事物,包括与VR设备对应的操作手柄等都只能盲操。为了解决盲操的问题,现有技术中提供了的解决方案为:在进行虚拟图像的渲染时,单独为用户的手臂及手建模,并渲染到虚拟的图像中,使用户可以在虚拟图像中看到自己的虚拟手臂及手。但是虚拟的手臂及手与实际的手臂及手的位置是高度统一的,通常只能实现一些抓取的动作等,对于一些更复杂的动作实现起来有很多的不便,显然现有技术中的VR交互方案不够合理。
发明内容
本发明实施例提供一种虚拟现实交互的方法及装置,用以解决现有的VR交互方案不合理的问题。
本发明实施例提供一种虚拟现实交互的方法,所述方法包括:
通过摄像头获取虚拟现实VR设备前方预设范围内的实体影像;
识别所述实体影像中包含的手形;
在当前虚拟现实图像中渲染出与所述手形对应的虚拟工具的图像,所述虚拟工具的图像中包含人手标识。
本发明实施例提供一种虚拟现实交互的装置,所述装置包括:
获取单元,用于通过摄像头获取虚拟现实VR设备前方预设范围内的实体影像;
第一识别单元,用于识别所述实体影像中包含的手形;
第一渲染单元,用于在当前虚拟现实图像中渲染出与所述手形对应的虚拟工具的图像,所述虚拟工具的图像中包含人手标识。
本发明实施例提供的虚拟现实交互的方法及装置,能够首先由摄像头获取VR设备前方预设范围内的实体影像,然后识别出实体影像中包含的手形,最后在用户通过该VR设备看到的当前的虚拟现实图像中渲染出与手形对应的虚拟工具的图像,并且虚拟工具的图像中包含人手标识。与现有技术相比,本发明实施例能够通过摄像头获取VR设备前方的实体影像,并根据实体影像中包含的手形在虚拟图像中渲染出对应的带有人手标识的虚拟工具的图像,实现了将识别出的不同的手形转换为在虚拟现实图像中渲染不同的带有人手标识的虚拟工具的图像,然后可以进一步实现对虚拟工具的操作,使虚拟现实交互的方式更加的便利。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种虚拟现实交互的方法的流程图;
图2为本发明实施例提供的一种虚拟现实交互的装置的组成框图;
图3为本发明实施例提供的另一种虚拟现实交互的装置的组成框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种虚拟现实交互的方法,如图1所示,该方法包括:
101、通过摄像头获取虚拟现实VR设备前方预设范围内的实体影像。
本实施例中的摄像头位于VR设备的前方,而安放在前方具体什么位置不作限定,但是摄像头捕获的范围必须包括用户手臂的活动范围。另外摄像头与VR设备的关系可以为:摄像头直接嵌在VR设备上作为VR设备的一个组成部分;或者摄像头作为一个独立装置,通过特定外部接口或者连接部件与VR设备组合。另外考虑到为了增加用户更好的沉浸感,有些情况可能需要在黑暗的环境中进行体验,因此摄像头还需具有夜视的功能,因此可以根据实际需要选择具有夜视功能的摄像头比如红外摄像头等。
获取的实体影像主要是指佩戴VR设备的用户自己手臂及手当前的活动状态,获取实体影像是为了实时分析用户的手臂及手的形态,然后根据手臂及手的形态进行对应虚拟工具的渲染。
102、识别实体影像中包含的手形。
调取内置图像处理系统,使图像处理系统对由步骤101获取到的实体影像进行图像分析。具体包括:首先从实体影像中分离出人手的图像;然后对人手的图像呈现出的手形进行识别。手形主要是指由手指和/或手掌笔划出的不同的手势,比如“剪刀”型手势、“拳头”型手势等。另外,不同的情况下只能识别出特定的手势,特定的手势是提前预定义,只要进行了预定义的手势就可以被识别出。对于用户在体验不同的虚拟现实图像时,可以识别的特定的手势通常是根据具体体验的虚拟现实图像的内容设定的。
103、在当前虚拟现实图像中渲染出与手形对应的虚拟工具的图像。
当由步骤102识别出实体影像中的手形后,会根据手形在虚拟现实图像中渲染对应的虚拟工具的图像,其中虚拟现实图像是用户当前通过VR设备看到的虚拟图像。不同形状的手形分别对应不同的虚拟工具,手形与虚拟工具之间的对应关系是预先定义的。比如“剪刀”型手势对应虚拟工具“剪刀”;“锤头”型手势对应虚拟工具“锤子”等。另外渲染出的虚拟工具的图像中带有人手标识,即呈现出人手持工具的模式,人手标识可以是任意形态的标识,比如机械臂图像、怪兽手图像、或任意图像等。人手标识与具体的手形没有对应的关系,不受手形的约束。
本发明实施例提供的虚拟现实交互的方法,能够首先由摄像头获取VR设备前方预设范围内的实体影像,然后识别出实体影像中包含的手形,最后在用户通过该VR设备看到的当前的虚拟现实图像中渲染出与手形对应的虚拟工具的图像,并且虚拟工具的图像中包含人手标识。与现有技术相比,本发明实施例能够通过摄像头获取VR设备前方的实体影像,并根据实体影像中包含的手形在虚拟图像中渲染出对应的带有人手标识的虚拟工具的图像,实现了将识别出的不同的手形转换为在虚拟现实图像中渲染不同的带有人手标识的虚拟工具的图像,然后可以进一步实现对虚拟工具的操作,使虚拟现实交互的方式更加的便利。
进一步的,为了对图1所示实施例的细化及扩展,本发明实施例对图1中的步骤进行细化和补充,如下:
为了进一步对渲染出的虚拟工具进行操作,在图1步骤103之后,继续识别实体影像中人手的位置信息,然后将识别出的位置信息转换为对应实体影像中包含的手形对应的虚拟工具的操作命令。具体的人手的位置信息包括:手腕的朝向(向上、向下等),不同的朝向代表虚拟工具的朝向,比如虚拟工具为枪时,不同的朝向就代表枪口瞄准的方向;具体某个或某几个手指位置的变化,比如当识别出的手形对应的虚拟工具为枪时,手指位置的变化(比如食指弯曲等)代表执行开枪的命令,再比如识别出的手形对应的虚拟工具为相机时,手指位置的变化(比如食指向下垂直移动)代表执行拍照的命令;或者人手前后伸缩式的位置变化,前后伸缩可以代表虚拟工具“剑”的刺穿命令等等类似更多的人手的位置信息。不同的人手位置信息可以代表不同的操作命令,因此当识别出对应的人手的位置信息时,会将该位置信息转换为对应的虚拟工具的操作命令。
另外对于图1步骤102中识别实体影像中包含的手形的过程具体包括:
首先,获取实体影像中包含的手形。
具体的可以是通过计算机视觉算法或者其他图像分析方法来分析实体影像,最终提取或分离出影像中包含的手形的图像信息。
其次,将获取到的手形与手形数据库中的预设手形图像进行比对。
将提取出的手形的图像信息与手形数据库中的预设手形图像进行比对时,预设手形图像中是标准的手形,由于实际情况中不同的用户本身的手的大小、形态等都存在差异性,因此在将提取出的手形与标准手形图像中的手形比对时要考虑设置一定的误差允许范围,具体的误差允许范围的大小可以对应不同的虚拟现实图像进行不同的设置,对于虚拟现实的图像中可以渲染出的虚拟工具较少并且虚拟工具可以由有明显区别的手形进行定义时,对于误差允许范围可以设置的较大些;而对于虚拟现实的图像中可以渲染出的虚拟工具较多并且虚拟工具不能通过有明显区别的手形进行定义时,对于误差允许范围需要设置的较小些。
进一步的,若一种手形对应多种虚拟工具,比如在游戏中可能会涉及到多种枪,包括长枪、短枪、火枪、水枪等。而通过不同的手形将所有枪型都进行区别存在一定的难度。本实施例涉及用一种手形来代表所有的枪,而每种类型的枪都会对应不同的工具标识,当通过手形识别出虚拟工具为枪后,进一步接收用户选择的工具标识,然后根据不同的工具标识渲染出对应类型的枪。具体的用户选择工具标识的实现方式包括:一种方式,当根据用户手形判断出虚拟工具为枪时,将所有类型的枪渲染到虚拟现实的图像中,而每一个渲染出的虚拟枪都带有工具标识,工具标识可以是数字字母编号、或者位置提示标识(比如上下左右箭头)等。给出具体的示例进行说明,假设在一个虚拟现实的图像中可以渲染出的枪的类型有4种,并且4种虚拟枪分别带有上、下、左、右箭头的工具标识,这时用户就可以通过用手做出向上、向下、向左、向右任意方向滑动的动作或者其他可以区分不同方向的手势来选择对应方向的箭头,进而确定用户想要选择的枪的类型。另一种方式,可以在识别出用户的手形对应的虚拟工具为枪时,先不渲染所有类型的枪,而是在虚拟现实的图像中渲染出对应的一个文字性的列表,列表中给出不同类型枪对应的工具标识,然后供用户进行选择。上述的工具标识选择的方式只是示例性的,任何与之类似或等同的方式都在本发明的保护范围之内。
进一步的,除了可以通过实体影像中的手形的识别在虚拟现实的图像中渲染出不同的虚拟工具外,还可以通过实体影像中手持实物的识别,进而在虚拟现实的图像中渲染出对应不同类型实物的虚拟工具。实物的识别主要指实物的形态特征的识别,比如三维立体轮廓识别等,当识别出实物的形态特征后,根据预设的形态特征确定实物的类型,然后根据实物的类型在虚拟现实图像中渲染出对应的虚拟工具。同样的需要预先定义不同类型的实物与不同的虚拟工具之间的对应关系。给出示例进行实物识别效果的说明,比如识别出手持一枝花或一束花,就可以在虚拟现实的图像中对应的渲染出赠送鲜花的工具等。
对于实物的识别是作为手形识别的一个补充,使用户在进行虚拟现实交互时体验交互方式的多样化,也在一定程度上增加了交互的趣味性。
相比于现有的技术来说,通过简单的手形和手的位置的不同的变化就可以实现多种虚拟工具的渲染和虚拟工具的操作,比现有的建立手臂模型的交互方式更加简便和多动能。
进一步的,作为对上述图1所示方法的实现,本发明实施例的另一个实施例还提供了一种虚拟现实交互的装置,如图2所示,该装置包括:获取单元21、第一识别单元22以及第一渲染单元23。
获取单元21,用于通过摄像头获取虚拟现实VR设备前方预设范围内的实体影像。
本实施例中的摄像头位于VR设备的前方,而安放在前方具体什么位置不作限定,但是摄像头捕获的范围必须包括用户手臂的活动范围。另外摄像头与VR设备的关系可以为:摄像头直接嵌在VR设备上作为VR设备的一个组成部分;或者摄像头作为一个独立装置,通过特定外部接口或者连接部件与VR设备组合。另外考虑到为了增加用户更好的沉浸感,有些情况可能需要在黑暗的环境中进行体验,因此摄像头还需具有夜视的功能,因此可以根据实际需要选择具有夜视功能的摄像头比如红外摄像头等。
获取的实体影像主要是指佩戴VR设备的用户自己手臂及手当前的活动状态,获取实体影像是为了实时分析用户的手臂及手的形态,然后根据手臂及手的形态进行对应虚拟工具的渲染。
第一识别单元22,用于识别实体影像中包含的手形。
调取内置图像处理系统,使图像处理系统对获取到的实体影像进行图像分析。具体包括:首先从实体影像中分离出人手的图像;然后对人手的图像呈现出的手形进行识别。手形主要是指由手指和/或手掌笔划出的不同的手势,比如“剪刀”型手势、“拳头”型手势等。另外,不同的情况下只能识别出特定的手势,特定的手势是提前预定义,只要进行了预定义的手势就可以被识别出。对于用户在体验不同的虚拟现实图像时,可以识别的特定的手势通常是根据具体体验的虚拟现实图像的内容设定的。
第一渲染单元23,用于在当前虚拟现实图像中渲染出与手形对应的虚拟工具的图像,虚拟工具的图像中包含人手标识。
当识别出实体影像中的手形后,会根据手形在虚拟现实图像中渲染对应的虚拟工具的图像,其中虚拟现实图像是用户当前通过VR设备看到的虚拟图像。不同形状的手形分别对应不同的虚拟工具,手形与虚拟工具之间的对应关系是预先定义的。比如“剪刀”型手势对应虚拟工具“剪刀”;“锤头”型手势对应虚拟工具“锤子”等。另外渲染出的虚拟工具的图像中带有人手标识,即呈现出人手持工具的模式,人手标识可以是任意形态的标识,比如机械臂图像、怪兽手图像、或任意图像等。人手标识与具体的手形没有对应的关系,不受手形的约束。
进一步的,如图3所示,装置进一步包括:
第二识别单元24,用于在渲染出虚拟工具的图像后,识别实体影像中人手的位置信息;
转换单元25,用于将位置信息转换为虚拟工具的操作命令。
为了进一步对渲染出的虚拟工具进行操作,渲染出虚拟工具后继续识别实体影像中人手的位置信息,然后将识别出的位置信息转换为对应实体影像中包含的手形对应的虚拟工具的操作命令。具体的人手的位置信息包括:手腕的朝向(向上、向下等),不同的朝向代表虚拟工具的朝向,比如虚拟工具为枪时,不同的朝向就代表枪口瞄准的方向;具体某个或某几个手指位置的变化,比如当识别出的手形对应的虚拟工具为枪时,手指位置的变化(比如食指弯曲等)代表执行开枪的命令,再比如识别出的手形对应的虚拟工具为相机时,手指位置的变化(比如食指向下垂直移动)代表执行拍照的命令;或者人手前后伸缩式的位置变化,前后伸缩可以代表虚拟工具“剑”的刺穿命令等等类似更多的人手的位置信息。不同的人手位置信息可以代表不同的操作命令,因此当识别出对应的人手的位置信息时,会将该位置信息转换为对应的虚拟工具的操作命令。
进一步的,如图3所示,装置进一步包括:
接收单元26,用于若手形对应多个虚拟工具,则接收用户选择的工具标识,工具标识用于区别多个虚拟工具;
第二渲染单元27,用于根据用户选择的工具标识在虚拟现实图像中渲染出对应的虚拟工具的图像。
若一种手形对应多种虚拟工具,比如在游戏中可能会涉及到多种枪,包括长枪、短枪、火枪、水枪等。而通过不同的手形将所有枪型都进行区别存在一定的难度。本实施例涉及用一种手形来代表所有的枪,而每种类型的枪都会对应不同的工具标识,当通过手形识别出虚拟工具为枪后,进一步接收用户选择的工具标识,然后根据不同的工具标识渲染出对应类型的枪。具体的用户选择工具标识的实现方式包括:一种方式,当根据用户手形判断出虚拟工具为枪时,将所有类型的枪渲染到虚拟现实的图像中,而每一个渲染出的虚拟枪都带有工具标识,工具标识可以是数字字母编号、或者位置提示标识(比如上下左右箭头)等。给出具体的示例进行说明,假设在一个虚拟现实的图像中可以渲染出的枪的类型有4种,并且4种虚拟枪分别带有上、下、左、右箭头的工具标识,这时用户就可以通过用手做出向上、向下、向左、向右任意的方向滑动的动作或者其他可以区分不同方向的手势来选择对应方向的箭头,进而确定用户想要选择的枪的类型。另一种方式,可以在识别出用户的手形对应的虚拟工具为枪时,先不渲染所有类型的枪,而是在虚拟现实的图像中渲染出对应的一个文字性的列表,列表中给出不同类型枪对应的工具标识,然后供用户进行选择。上述的工具标识选择的方式只是示例性的,任何与之类似或等同的方式都在本发明的保护范围之内。
进一步的,如图3所示,第一识别单元22,包括:
获取模块221,用于获取实体影像中包含的手形;
比对模块222,用于将获取到的手形与手形数据库中的预设手形图像进行比对。
识别实体影像中包含的手形的过程具体包括:
首先,获取实体影像中包含的手形。
具体的可以是通过计算机视觉算法或者其他图像分析方法来分析实体影像,最终提取或分离出影像中包含的手形的图像信息。
其次,将获取到的手形与手形数据库中的预设手形图像进行比对。
将提取出的手形的图像信息与手形数据库中的预设手形图像进行比对时,预设手形图像中是标准的手形,由于实际情况中不同的用户本身的手的大小、形态等都存在差异性,因此在将提取出的手形与标准手形图像中的手形比对时要考虑设置一定的误差允许范围,具体的误差允许范围的大小可以对应不同的虚拟现实图像进行不同的设置,对于虚拟现实的图像中可以渲染出的虚拟工具较少并且虚拟工具可以由有明显区别的手形进行定义时,对于误差允许范围可以设置的较大些;而对于虚拟现实的图像中可以渲染出的虚拟工具较多并且虚拟工具不能通过有明显区别的手形进行定义时,对于误差允许范围需要设置的较小些。
进一步的,如图3所示,装置进一步包括:
第三识别单元28,用于识别实体影像中手持实物;
第三渲染单元29,用于根据实物的形态特征在虚拟现实图像中渲染出对应的虚拟工具的图像。
除了可以通过实体影像中的手形的识别在虚拟现实的图像中渲染出不同的虚拟工具外,还可以通过实体影像中手持实物的识别,进而在虚拟现实的图像中渲染出对应不同类型实物的虚拟工具。实物的识别主要指实物的形态特征的识别,比如三维立体轮廓识别等,当识别出实物的形态特征后,根据预设的形态特征确定实物的类型,然后根据实物的类型在虚拟现实图像中渲染出对应的虚拟工具。同样的需要预先定义不同类型的实物与不同的虚拟工具之间的对应关系。
本发明实施例提供的虚拟现实交互的装置,能够首先由摄像头获取VR设备前方预设范围内的实体影像,然后识别出实体影像中包含的手形,最后在用户通过该VR设备看到的当前的虚拟现实图像中渲染出与手形对应的虚拟工具的图像,并且虚拟工具的图像中包含人手标识。与现有技术相比,本发明实施例能够通过摄像头获取VR设备前方的实体影像,并根据实体影像中包含的手形在虚拟图像中渲染出对应的带有人手标识的虚拟工具的图像,实现了将识别出的不同的手形转换为在虚拟现实图像中渲染不同的带有人手标识的虚拟工具的图像,然后可以进一步实现对虚拟工具的操作,使虚拟现实交互的方式更加的便利。
需要说明的是,针对上述虚拟现实交互的装置,凡是本发明实施例中使用到的各个单元模块的功能都可以通过硬件处理器(hardware processor)来实现。
此外,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种虚拟现实交互的方法,其特征在于,所述方法包括:
通过摄像头获取虚拟现实VR设备前方预设范围内的实体影像;
识别所述实体影像中包含的手形;
在当前虚拟现实图像中渲染出与所述手形对应的虚拟工具的图像,所述虚拟工具的图像中包含人手标识。
2.根据权利要求1所述的方法,其特征在于,所述方法进一步包括:
在渲染出所述虚拟工具的图像后,识别所述实体影像中人手的位置信息;
将所述位置信息转换为所述虚拟工具的操作命令。
3.根据权利要求1所述的方法,其特征在于,所述方法进一步包括:
若所述手形对应多个虚拟工具,则接收用户选择的工具标识,所述工具标识用于区别所述多个虚拟工具;
根据用户选择的工具标识在所述虚拟现实图像中渲染出对应的虚拟工具的图像。
4.根据权利要求1所述的方法,其特征在于,所述识别所述实体影像中包含的手形,包括:
获取所述实体影像中包含的手形;
将获取到的手形与手形数据库中的预设手形图像进行比对。
5.根据权利要求1所述的方法,其特征在于,所述方法进一步包括:
识别所述实体影像中手持实物;
根据所述实物的形态特征在所述虚拟现实图像中渲染出对应的虚拟工具的图像。
6.一种虚拟现实交互的装置,其特征在于,所述装置包括:
获取单元,用于通过摄像头获取虚拟现实VR设备前方预设范围内的实体影像;
第一识别单元,用于识别所述实体影像中包含的手形;
第一渲染单元,用于在当前虚拟现实图像中渲染出与所述手形对应的虚拟工具的图像,所述虚拟工具的图像中包含人手标识。
7.根据权利要求6所述的装置,其特征在于,所述装置进一步包括:
第二识别单元,用于在渲染出所述虚拟工具的图像后,识别所述实体影像中人手的位置信息;
转换单元,用于将所述位置信息转换为所述虚拟工具的操作命令。
8.根据权利要求6所述的装置,其特征在于,所述装置进一步包括:
接收单元,用于若所述手形对应多个虚拟工具,则接收用户选择的工具标识,所述工具标识用于区别所述多个虚拟工具;
第二渲染单元,用于根据用户选择的工具标识在所述虚拟现实图像中渲染出对应的虚拟工具的图像。
9.根据权利要求6所述的装置,其特征在于,所述第一识别单元,包括:
获取模块,用于获取所述实体影像中包含的手形;
比对模块,用于将获取到的手形与手形数据库中的预设手形图像进行比对。
10.根据权利要求6所述的装置,其特征在于,所述装置进一步包括:
第三识别单元,用于识别所述实体影像中手持实物;
第三渲染单元,用于根据所述实物的形态特征在所述虚拟现实图像中渲染出对应的虚拟工具的图像。
CN201610309443.8A 2016-05-11 2016-05-11 虚拟现实交互的方法及装置 Pending CN105975158A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610309443.8A CN105975158A (zh) 2016-05-11 2016-05-11 虚拟现实交互的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610309443.8A CN105975158A (zh) 2016-05-11 2016-05-11 虚拟现实交互的方法及装置

Publications (1)

Publication Number Publication Date
CN105975158A true CN105975158A (zh) 2016-09-28

Family

ID=56991609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610309443.8A Pending CN105975158A (zh) 2016-05-11 2016-05-11 虚拟现实交互的方法及装置

Country Status (1)

Country Link
CN (1) CN105975158A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106598237A (zh) * 2016-11-30 2017-04-26 宇龙计算机通信科技(深圳)有限公司 一种基于虚拟现实的游戏交互方法及装置
CN106775258A (zh) * 2017-01-04 2017-05-31 虹软(杭州)多媒体信息技术有限公司 利用手势控制实现虚拟现实交互的方法和装置
CN106909222A (zh) * 2017-02-27 2017-06-30 广州林邦信息科技有限公司 Vr显示方法及装置
CN107885316A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种基于手势的交互方法及装置
CN115830112A (zh) * 2022-11-25 2023-03-21 之江实验室 一种基于手持实物的混合现实交互方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045398A (zh) * 2015-09-07 2015-11-11 哈尔滨市一舍科技有限公司 一种基于手势识别的虚拟现实交互设备
CN105068649A (zh) * 2015-08-12 2015-11-18 深圳市埃微信息技术有限公司 基于虚拟现实头盔的双目手势识别装置及方法
CN105446481A (zh) * 2015-11-11 2016-03-30 周谆 基于手势的虚拟现实人机交互方法和系统
CN105487673A (zh) * 2016-01-04 2016-04-13 京东方科技集团股份有限公司 一种人机交互系统、方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105068649A (zh) * 2015-08-12 2015-11-18 深圳市埃微信息技术有限公司 基于虚拟现实头盔的双目手势识别装置及方法
CN105045398A (zh) * 2015-09-07 2015-11-11 哈尔滨市一舍科技有限公司 一种基于手势识别的虚拟现实交互设备
CN105446481A (zh) * 2015-11-11 2016-03-30 周谆 基于手势的虚拟现实人机交互方法和系统
CN105487673A (zh) * 2016-01-04 2016-04-13 京东方科技集团股份有限公司 一种人机交互系统、方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107885316A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种基于手势的交互方法及装置
JP2019537763A (ja) * 2016-09-29 2019-12-26 アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited ジェスチャベースインタラクションのための方法およびシステム
JP7137804B2 (ja) 2016-09-29 2022-09-15 アリババ・グループ・ホールディング・リミテッド ジェスチャベースインタラクションのための方法およびシステム
CN106598237A (zh) * 2016-11-30 2017-04-26 宇龙计算机通信科技(深圳)有限公司 一种基于虚拟现实的游戏交互方法及装置
CN106775258A (zh) * 2017-01-04 2017-05-31 虹软(杭州)多媒体信息技术有限公司 利用手势控制实现虚拟现实交互的方法和装置
CN106909222A (zh) * 2017-02-27 2017-06-30 广州林邦信息科技有限公司 Vr显示方法及装置
CN115830112A (zh) * 2022-11-25 2023-03-21 之江实验室 一种基于手持实物的混合现实交互方法和系统
CN115830112B (zh) * 2022-11-25 2023-09-22 之江实验室 一种基于手持实物的混合现实交互方法和系统

Similar Documents

Publication Publication Date Title
CN105975158A (zh) 虚拟现实交互的方法及装置
Wang et al. Real-time hand-tracking with a color glove
Yao et al. Contour model-based hand-gesture recognition using the Kinect sensor
JP7071054B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN103049761B (zh) 基于手语手套的手语识别方法及系统
CN103903213B (zh) 一种拍摄方法和电子设备
WO2019041900A1 (zh) 增强现实环境中识别装配操作、模拟装配的方法和装置
CN108027655A (zh) 信息处理系统、信息处理设备、控制方法和程序
CN111680594A (zh) 一种基于手势识别的增强现实交互方法
US10001901B2 (en) System and method for texturing in virtual reality and mixed reality environments
CN110083202A (zh) 与近眼显示器的多模交互
CN104793731A (zh) 可穿戴设备的信息输入方法及可穿戴设备
CN105867599A (zh) 一种手势操控方法及装置
CN112198959A (zh) 虚拟现实交互方法、装置及系统
CN108629272A (zh) 一种基于单目摄像头的嵌入式手势控制方法及系统
CN103793683A (zh) 手势辨识方法与电子装置
CN112330580A (zh) 生成人体衣物融合图像的方法、装置、计算设备、介质
Bai et al. Free-hand interaction for handheld augmented reality using an RGB-depth camera
JP7419003B2 (ja) 情報表示装置、情報表示方法及び情報表示システム
CN116954367A (zh) 一种虚拟现实的交互方法、系统及设备
KR101861096B1 (ko) 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법 및 장치
US20240135653A1 (en) Machine vision hand and tool tracking
Abdallah et al. An overview of gesture recognition
Rustagi et al. Virtual Control Using Hand-Tracking
Dadiz et al. Go-Mo (Go-Motion): An android mobile application detecting motion gestures for generating basic mobile phone commands utilizing KLT algorithm

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160928

WD01 Invention patent application deemed withdrawn after publication