CN106502400B - 虚拟现实系统及虚拟现实系统输入方法 - Google Patents

虚拟现实系统及虚拟现实系统输入方法 Download PDF

Info

Publication number
CN106502400B
CN106502400B CN201610932466.4A CN201610932466A CN106502400B CN 106502400 B CN106502400 B CN 106502400B CN 201610932466 A CN201610932466 A CN 201610932466A CN 106502400 B CN106502400 B CN 106502400B
Authority
CN
China
Prior art keywords
picture
marker
coordinate
virtual reality
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610932466.4A
Other languages
English (en)
Other versions
CN106502400A (zh
Inventor
颜晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201610932466.4A priority Critical patent/CN106502400B/zh
Publication of CN106502400A publication Critical patent/CN106502400A/zh
Application granted granted Critical
Publication of CN106502400B publication Critical patent/CN106502400B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种虚拟现实系统及虚拟现实系统输入方法。其中,该系统包括:虚拟现实设备和至少一个标识物,其中,虚拟现实设备包括:头戴式显示器,包括:佩戴部和显示部,其中,佩戴部用于将头戴式显示器佩戴在用户的头部,显示部用于显示画面;摄像头,设置在头戴显示器上,用于拍摄画面;处理装置,用于获取摄像头拍摄的画面,从画面中提取附着至少一个标识物的对象做出的动作,并将动作作为虚拟现实系统的输入。本发明解决了相关技术中使用遥控器或其他操控装置与虚拟设备进行交互所导致用户体验降低的技术问题。

Description

虚拟现实系统及虚拟现实系统输入方法
技术领域
本发明涉及虚拟现实技术领域,具体而言,涉及一种虚拟现实系统及虚拟现实系统输入方法。
背景技术
虚拟现实(Virtual Reality,简称VR)是一种提供沉浸式体验的计算机系统,一般由头戴式显示器、传感器集合、处理器组成。其中,头戴式显示器用于输出立体画面、立体音效等效果,以便用户能够进行虚拟现实的体验,传感器集合用于负责接收用户输入指令,处理器则用于负责分析传感器信号、识别模式并运算出相应的输出,以便能够实现用户与虚拟现实的交互。该系统通过计算机配合用户行为生成画面、声音来替代用户自然感知,以达到将用户与真实世界隔离,使用户沉浸于虚拟世界的效果。
数字图像处理和识别,是对图像进行分析、加工、和处理,使其满足特定要求的技术。因为数字图像的本质是数据,根据特定的算法处理这些数据,就能使图像的外观发生改变,进而能提取出一定的特征。
目前,提供沉浸式体验的虚拟现实与用户进行交互的方法,一般使用间接的操控装置(如手柄、遥控器、按键等),与虚拟现实技术配合。在这种情况下,用户使用固定姿势握持手柄,通过移动手柄或按下手柄上的按键进行与虚拟世界的交互,会由于手柄自身的体积和重量,使得操作的沉浸感降低,按键数量有限导致功能扩展不便。
另外,用户手持遥控器,通过遥控器发射一道虚拟的镭射光锥,投射在虚拟世界中,光锥截面为一个圆形,当圆形与虚拟世界中的物体产生碰撞时,按下遥控器上的按键发送指令,完成与虚拟世界的交互。但遥控器自身的体积和重量同样使操作的沉浸感降低,并且手持遥控器时有微微的抖动,使得远距离的操作不够准确。
针对上述问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种虚拟现实系统及虚拟现实系统输入方法,以至少解决相关技术中使用遥控器或其他操控装置与虚拟设备进行交互所导致用户体验降低的技术问题。
根据本发明实施例的一个方面,提供了一种虚拟现实系统,该系统包括:虚拟现实设备和至少一个标识物,其中,所述虚拟现实设备包括:头戴式显示器,包括:佩戴部和显示部,其中,所述佩戴部用于将所述头戴式显示器佩戴在用户的头部,所述显示部用于显示画面;摄像头,设置在所述头戴显示器上,用于拍摄画面;处理装置,用于获取所述摄像头拍摄的画面,从所述画面中提取附着有所述至少一个标识物的对象做出的动作,并将所述动作作为所述虚拟现实系统的输入。
进一步地,所述标识物包括用于附着在用户身体上的涂覆物或者可穿戴设备。
进一步地,所述可穿戴设备包括手指套、手套、用于贴服在用户身体上的贴纸、脚套、脚趾套中的一种、两种或多种;所述涂覆物包括用于涂覆于用户皮肤的皮肤涂料、用于涂覆于用户手指甲或脚趾甲的指甲涂料中的一种、两种或多种。
进一步地,所述至少一个标识物的数量为两个;所述处理装置,用于从所述画面中识别出附着有两个所述标识物的对象做出的动作。
进一步地,所述至少一个标识物的颜色为预定颜色;所述处理装置,用于根据所述预定颜色从所述画面中提取所述动作。
进一步地,所述至少一个标识物分为多组,其中,每一组的颜色不同。
进一步地,所述对象为人体部分,包括以下至少之一:手指、手臂、手。
进一步地,所述处理装置用于获取所述标识物在所述摄像头拍摄的画面中的第一坐标;将所述第一坐标映射为所述虚拟现实系统的显示画面的第二坐标;在所述第二坐标对应的显示位置渲染出视觉引导标识,用于引导用户通过所述视觉引导标识感知所述标识物对应的动作。
进一步地,所述视觉引导标识为基于所述摄像头拍摄的画面进行预定图像处理而获得的图像或者为在所述虚拟现实系统中预设的图像。
进一步地,所述处理装置用于从所述画面中提取附着有所述至少一个标识物的对象;获取所述对象的坐标;将所述对象的坐标映射为所述虚拟现实系统中视觉引导标识的坐标,在所述视觉引导标识的坐标存在控件的情况下,将所述对象做出的动作作为对所述控件的输入,以对所述控件进行控制,其中,所述视觉引导标识是在所述视觉引导标识的坐标对应的显示位置上渲染出的,用于引导用户通过所述视觉引导标识感知所述标识物对应的动作。
进一步地,所述处理装置用于根据所述至少一个标识物的颜色和预先设置的阈值从所述画面的背景中提取附着有所述至少一个标识物的对象。
进一步地,所述处理装置用于根据所述虚拟现实系统显示的交互界面与所述摄像头拍摄的画面的比例,将所述对象的坐标映射为所述视觉引导标识的坐标。
根据本发明实施例的另一方面,还提供了一种虚拟现实系统输入方法,该方法包括:获取摄像头拍摄的画面;从所述画面中提取附着有至少一个标识物的对象做出的动作;将所述动作作为所述虚拟现实系统的输入。
进一步地,所述标识物包括用于附着在用户身体上的涂覆物或者可穿戴设备。
进一步地,所述可穿戴设备包括手指套、手套、用于贴服在用户身体上的贴纸、脚套、脚趾套中的一种、两种或多种;所述涂覆物包括用于涂覆于用户皮肤的皮肤涂料、用于涂覆于用户手指甲或脚趾甲的指甲涂料中的一种、两种或多种。
进一步地,所述至少一个标识物的数量为两个,和/或,所述至少一个标识物的颜色为预定颜色。
进一步地,所述至少一个标识物包括多组,其中,每一组的颜色不同。
进一步地,所述对象为人体部分,包括以下至少之一:手指、手臂、手。
进一步地,将所述动作作为所述虚拟现实系统的输入包括:获取所述标识物在所述摄像头拍摄的画面中的第一坐标;将所述第一坐标映射为所述虚拟现实系统的显示画面的第二坐标;在所述第二坐标对应的显示位置渲染出视觉引导标识,用于引导用户通过所述视觉引导标识感知所述标识物对应的动作。
进一步地,所述视觉引导标识为基于所述摄像头拍摄的画面进行预定图像处理而获得的图像或者为在所述虚拟现实系统中预设的图像。
进一步地,从所述画面中提取附着有至少一个标识物的对象的动作,并将所述动作作为所述虚拟现实系统的输入包括:从所述画面中提取附着有所述至少一个标识物的对象;获取所述对象的坐标;将所述对象的坐标映射为所述虚拟现实系统中视觉引导标识的坐标,在所述视觉引导标识的坐标存在控件的情况下,将所述对象做出的动作作为对所述控件的输入,以对所述控件进行控制,其中,所述视觉引导标识是在所述视觉引导标识的坐标对应的显示位置上渲染出的,用于引导用户通过所述视觉引导标识感知所述标识物对应的动作。
进一步地,从所述画面中提取附着有所述至少一个标识物的对象包括:根据所述至少一个标识物的颜色和预先设置的阈值从所述画面的背景中提取附着有所述至少一个标识物的对象。
进一步地,将所述对象的坐标映射为所述虚拟现实系统中视觉引导标识的坐标包括:根据所述虚拟现实系统显示的交互界面与所述摄像头拍摄的画面的比例,将所述对象的坐标映射为所述视觉引导标识的坐标。
在本发明实施例中,采用一种虚拟现实系统,该系统包括虚拟现实设备和至少一个标识物,其中,虚拟现实设备包括:头戴式显示器,包括:佩戴部和显示部,其中,佩戴部用于将头戴式显示器佩戴在用户的头部,显示部用于显示画面;摄像头,设置在头戴显示器上,用于拍摄画面;处理装置,用于获取摄像头拍摄的画面,从画面中提取附着有至少一个标识物的对象做出的动作,并将动作作为虚拟现实系统的输入。通过本发明解决了相关技术中使用遥控器或其他操控装置与虚拟设备进行交互所导致用户体验降低的技术问题,提高了用户体验。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的虚拟现实系统的示意图;
图2是根据本发明实施例的一种可选的虚拟现实系统输入方法的流程图;
图3是根据本发明实施例的一种可选的虚拟现实系统中图片处理的示意图;
图4是根据本发明实施例的一种可选的虚拟现实系统中坐标映射的示意图;
图5是根据本发明实施例的一种可选的虚拟现实系统操作的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于附着不排他的包含。
在本发明实施例中提供了一种虚拟现实系统。图1是根据本发明实施例的一种虚拟现实系统,如图1所示,该系统包括:虚拟现实设备10和至少一个标识物20,优选地,至少一个标识物,用于分别附着在用户的人体部分上;虚拟现实设备包括:头戴式显示器101,包括:佩戴部1011和显示部1012,其中,佩戴部用于将头戴式显示器佩戴在用户的头部,显示部用于显示画面;摄像头103,设置在头戴显示器上,用于拍摄画面,优选地,摄像头的拍摄角度与用户视线方向一致;处理装置102,用于获取摄像头拍摄的画面,从画面中提取附着至少一个标识物的人体部分做出的动作,并将动作作为虚拟现实系统的输入。
在图1中,该虚拟现实系统包括虚拟现实设备和多个标识物。其中多个标识物可以附着在人体上,如附着在人的手指上,也可以是人体的其他部位;虚拟现实设备包括头戴式显示器和摄像头,其中摄像头设置在用户的虚拟现实设备的头戴显示器上,该摄像头可以跟随头戴显示器运动。摄像头拍摄的角度与用户视线方向一致,用于拍摄画面并实时传输到处理装置,处理装置根据获取到的摄像头拍摄的画面,从画面中提取附着有标识物的人体部分(如提取手指上的套)做出的动作,并且根据动作的结果,作为虚拟现实系统的输入。通过该虚拟现实系统,达到了用户无需使用间接的操控装置(如手柄、遥控器、按键等),与虚拟现实技术配合的目的,从而实现了用户更加身临其境与虚拟环境互动的技术效果,进而解决了相关技术中由于使用操控装置与虚拟现实设备交互造成用户体验虚拟现实时真实感降低的技术问题。
作为一种可选地实施例,上述标识物可以包括用于附着在用户身体上的涂覆物或者可穿戴设备。
作为一种可选地实施例,可穿戴设备包括手指套、手套、用于贴服在用户身体上的贴纸、脚套、脚趾套中的一种、两种或多种;涂覆物包括用于涂覆于用户皮肤的皮肤涂料、用于涂覆于用户手指甲或脚趾甲的指甲涂料中的一种、两种或多种。
作为一种可选地实施例,至少一个标识物的数量为两个;处理装置,用于从画面中识别出附着有两个标识物的对象做出的动作。
上述标识物可以为一个套状结构,其中,套状结构可以是贴在人体表面的织物或涂料。需要说明的是,套的形式和材料不做限定,可以是附着且贴在人体表面的织物、也可以是涂料、还可以是其他表面材料。
如果在人体部位仅配套有一个套状结构,识别的用户的动作较少,基于此,为了在虚拟现实中处理装置能够对用户的动作实现精准识别,在一个可选的实施方式中,至少一个套状结构的数量可以为两个;处理装置,用于从画面中识别出附着有两个套状结构的对象(如人体部分)做出的动作。
当套状结构的数量为两个时,处理装置将对画面中识别附着有两个套状结构的人体部分做出的动作。例如,用户的食指和拇指分别佩戴有两个套状结构,佩戴两个套状结构的手指可以做出一系列的动作,处理装置可以对动作进行识别。
为了识别画面中佩戴两个套状结构的人体部分做出的动作,佩戴的套状结构的颜色可能有多种,为了进行更好的识别,用户可以选择与套状结构不同颜色的背景,从而可以比较好的将套状结构从背景中区分出来。由于套状结构需要与画面的颜色不同,而画面的颜色一般不能选择,所以可以提供多种颜色的套状结构,让用户根据实际使用的场景进行选择。此时,处理装置,可以根据选择的套状结构的颜色从画面中提取动作。例如,黑色、红色、黄色等其他颜色。即,上述的至少一个套状结构可以包括多组套状结构,其中,每一组套中均还包括多个套状结构,每一组套状结构的颜色不同。例如,当包括两组套状结构时,可以是左手的食指和拇指为一组套状结构,右手的食指和拇指为另外一组套状结构,有多少组套状结构的数目不做限定,每组套状结构中的套状结构的个数也不做限定,并且,每组套状结构的颜色也不同,如左手的食指和拇指为一组套状结构的颜色为红色,右手的食指和拇指为另外一组套状结构的颜色为黄色。通过上述实施方式,可以达到对虚拟现实设备上的多个按键进行控制,从而达到更好的用户体验。
为了适合各式各样的人群,佩戴套状结构的人体部分包括以下至少之一:手指、手臂、手。例如,人体部分的手可以带上手套,左手和右手带有红色手套进行体验虚拟现实。又如,当用户只有1只手时,可以将五个手指带上指套,在这种情况下,能够使得不同的人群,如残疾人或正常人都能够实现对虚拟现实设备的控制。
为了将现实中的人体部位做出的动作与虚拟现实设备实现连接,用户通过将带有套的手指移动到可交互控件附近,处理装置从画面中提取佩戴至少一个套状结构的人体部分,获取人体部分的坐标,将人体部分的坐标映射为显示部的坐标,在显示部的坐标存在控件的情况下,根据人体部分做出的动作对控件进行控制。
由于摄像头拍摄到的画面与人眼视角范围一致,所以能够与虚拟现实设备中用户视觉观察到的画面坐标进行对应,将人体部分的坐标映射为显示部的坐标,因此虚拟现实中的模型坐标即是触点的坐标,且坐标能根据用户佩戴有套状结构的部位的动作而刷新取值。通过上述实施方式,可以使得当佩戴有套的人体部位的动作不断变化时,能够准确的实现对控件的控制。
由于处理装置需要通过对每一帧画面作去色、高对比度化处理,若至少一个套状结构的颜色与画面的背景颜色相同,处理装置将无法实现对获取的画面进行识别,在这种情况下,载体的颜色需要与套状结构的颜色对比度相差较大,才能实现对获取画面的识别。上述至少一个标识物的颜色为预定颜色;上述处理装置用于根据预定颜色从画面中提取动作。上述至少一个标识物分为多组,其中,每一组的颜色不同。具体地,处理装置用于根据至少一个套状结构的颜色和预先设置的阈值从画面的背景中提取佩戴至少一个套状结构的人体部分。需要说明的是,画面的背景颜色可以与肤色相同或相近,该背景可以环绕用户,例如,该背景可以是载体壁板(纯色的板子或墙壁均可),并且,由于载体的颜色需要与套的颜色对比度相差较大。通过处理装置通过对每一帧画面作去色、高对比度化处理,经处理后对比度值区间符合预先设置的阈值,可以将符合此阈值的图形识别为1个触点。具体的,例如,只有一组指套时,该组指套的个数为两个,根据用户手指在空间中位置的差异,能获取最多2个触点,当带有套的手指连在一起时,处理装置通过对每一帧画面作去色、高对比度化处理,经处理后对比度值区间符合预先设置的阈值,则识别为一个触点,当带有指套的手指松开时,画面上就有两个触点。
通常情况下,为了将现实中的人体部位做出的动作与虚拟现实设备进行连接,处理装置根据显示部显示的交互界面与摄像头拍摄的画面的比例,将人体部分的坐标映射为显示部的坐标。通过该实施方式,可以实现显示部显示的交互界面与人体部分的坐标进行映射,进而实现对人体部分动作的识别,实时的与虚拟现实设备交互,提高用户的体验。
作为一种可选地实施例,处理装置用于获取标识物在摄像头拍摄的画面中的第一坐标;将第一坐标映射为虚拟现实系统的显示画面的第二坐标;在第二坐标对应的显示位置渲染出视觉引导标识,用于引导用户通过视觉引导标识感知标识物对应的动作。
作为一种可选地实施例,视觉引导标识为基于摄像头拍摄的画面进行预定图像处理而获得的图像或者为在虚拟现实系统中预设的图像。
作为一种可选地实施例,处理装置用于从画面中提取附着有至少一个标识物的对象;获取对象的坐标;将对象的坐标映射为虚拟现实系统中视觉引导标识的坐标,在视觉引导标识的坐标存在控件的情况下,将对象做出的动作作为对控件的输入,以对控件进行控制,其中,视觉引导标识是在视觉引导标识的坐标对应的显示位置上渲染出的,用于引导用户通过视觉引导标识感知标识物对应的动作。
作为一种可选地实施例,处理装置用于根据至少一个标识物的颜色和预先设置的阈值从画面的背景中提取附着有至少一个标识物的对象。
作为一种可选地实施例,处理装置用于根据虚拟现实系统显示的交互界面与摄像头拍摄的画面的比例,将对象的坐标映射为视觉引导标识的坐标。
根据本发明实施例的另一方面,还提供了一种虚拟现实系统输入方法。该方法包括如下步骤:
S202,获取摄像头拍摄的画面。优选地,摄像头的拍摄角度与用户视线方向一致;
S204,从画面中提取附着有至少一个标识物的对象(如人体部分)做出的动作;
S206,将动作作为虚拟现实系统的输入。
通过上述方式,采用一种虚拟现实系统,达到了用户无需使用间接的操控装置(如手柄、遥控器、按键等),与虚拟现实技术配合的目的,从而实现了用户更加身临其境与虚拟环境互动的技术效果,进而解决了相关技术中由于使用操控装置与虚拟现实设备交互造成用户体验虚拟现实时真实感降低的技术问题。
标识物包括用于附着在用户身体上的涂覆物或者可穿戴设备。可穿戴设备包括手指套、手套、用于贴服在用户身体上的贴纸、脚套、脚趾套中的一种、两种或多种;涂覆物包括用于涂覆于用户皮肤的皮肤涂料、用于涂覆于用户手指甲或脚趾甲的指甲涂料中的一种、两种或多种。至少一个标识物的数量为两个,和/或,至少一个标识物的颜色为预定颜色。至少一个标识物包括多组,其中,每一组的颜色不同。对象包括以下至少之一:手指、手臂、手。
其中,标识物可以是套装结构。例如,如图3所示,当有两个套装结构时,且将套佩戴在手指上。首先获取摄像头拍摄的画面,之后,处理装置对摄像头拍摄到的图像进行处理。图像的背景为载体壁板,前景为穿戴了指套的用户的手。处理的方法可以是但不限于以下步骤:i.对图像作去色处理:饱和度降为0。ii.对图像作极值化处理:明度区间为[0,1],明度为0时呈现黑色,明度为1时呈现白色。设置一个明度阈值α,则对于图中每个明度>α的像素,其明度修改为1;对于明度<α的像素,其明度修改为0。处理后得到图3中的图像处理b。iii.处理装置将连续的黑色像素包围的面积识别为1个触点,如图中的c。iv.通过调整明度阈值α的取值,可以适应不同的人体肤色、指套的颜色和载体壁板颜色组合的识别。
可选地,将动作作为虚拟现实系统的输入包括:获取标识物在摄像头拍摄的画面中的第一坐标;将第一坐标映射为虚拟现实系统的显示画面的第二坐标;在第二坐标对应的显示位置渲染出视觉引导标识,用于引导用户通过视觉引导标识感知标识物对应的动作。
可选地,视觉引导标识为基于摄像头拍摄的画面进行预定图像处理而获得的图像或者为在虚拟现实系统中预设的图像。
可选地,从画面中提取附着有至少一个标识物的对象的动作,并将动作作为虚拟现实系统的输入包括:从画面中提取附着有至少一个标识物的对象;获取对象的坐标;将对象的坐标映射为虚拟现实系统中视觉引导标识的坐标,在视觉引导标识的坐标存在控件的情况下,将对象做出的动作作为对控件的输入,以对控件进行控制,其中,视觉引导标识是在视觉引导标识的坐标对应的显示位置上渲染出的,用于引导用户通过视觉引导标识感知标识物对应的动作。
具体的,例如,如图4所示,可以通过以下方式实现将人体部分的坐标映射为虚拟现实系统中进行显示的坐标:i.设虚拟现实设备软件中用于显示交互界面的平面宽为W1,高为H1。W1、H1的取值在开发该设备的软件时给定。ii.载体壁板上(即背景)粘贴用于定位的标记,在配置设备阶段,通过调整用户与载体壁板的距离,以及二维码粘贴的位置,保证摄像头画面内能拍摄到3个标记,从而生成基于这3个标记的矩形平面。iii.将平面左下角设置为坐标系的坐标原点,令其坐标为(0,0),设平面宽W2,高为H2。计算人体部分在该平面坐标系中的坐标(X2,Y2)。iv.设虚拟现实设备软件的显示界面中对应人体部分触点的坐标值为(X1,Y1),则X1=X2*W1/W2,Y1=Y2*H1/H2。
可选地,从画面中提取附着有至少一个标识物的对象(如人体部分)包括:根据至少一个标识物的颜色和预先设置的阈值从画面的背景中提取附着有至少一个标识物的对象(如人体部分)。
可选地,将对象的坐标映射为虚拟现实系统中视觉引导标识的坐标包括:根据虚拟现实系统显示的交互界面与摄像头拍摄的画面的比例,将对象的坐标映射为视觉引导标识的坐标。
具体的,例如,如图5所示,用户通过将带有套的手指移动到可交互控件附近,并捏合拇指和食指完成操作。具体过程如下:
i.虚拟现实设备界面中的一个可交互控件(按钮)具备一定的可视大小,该可视大小能够换算为视觉平面上的一个坐标范围。检测:
ii.a.当画面上同时存在2个触点,且触点坐标均属于前述坐标范围时,视为“激活”此控件。对应到桌面操作系统,则是将鼠标指针移动至按钮上的操作。
iii.b.在a的前提下,当2个触点变为1个触点,且该触点坐标属于前述坐标范围时,视为“按下”此控件。对应到桌面操作系统,则是在指针停留在按钮上时按下鼠标左键。
iv.c.在b的前提下,当1个触点变为2个触点,且触点坐标均属于前述坐标范围时,视为“释放”此控件。对应到桌面操作系统,则是指针停留在按钮上按下鼠标左键后又松开。
v.若用户捏合手指的过程通过上述3步骤检测,则视为用户“操作”了此按钮。程序响应操作并执行按钮设定的相关逻辑。
需要说明的是,方法部分的各实施方式与系统部分的各实施方式对应类似,申请人在此不再赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (19)

1.一种虚拟现实系统,其特征在于,包括:虚拟现实设备和至少一个标识物,其中,
所述虚拟现实设备包括:头戴式显示器,包括:佩戴部和显示部,其中,所述佩戴部用于将所述头戴式显示器佩戴在用户的头部,所述显示部用于显示画面;
摄像头,设置在所述头戴式显示器上,用于拍摄画面;
处理装置,用于获取所述摄像头拍摄的画面,从所述画面中提取附着有所述至少一个标识物的对象做出的动作,并将所述动作作为所述虚拟现实系统的输入;
其中,所述处理装置用于获取所述标识物在所述摄像头拍摄的画面中的第一坐标;将所述第一坐标映射为所述虚拟现实系统的显示画面的第二坐标;在所述第二坐标对应的显示位置渲染出视觉引导标识,用于引导用户通过所述视觉引导标识感知所述标识物对应的动作;
其中,所述视觉引导标识为基于所述摄像头拍摄的画面进行预定图像处理而获得的图像或者为在所述虚拟现实系统中预设的图像。
2.根据权利要求1所述的系统,其特征在于,所述标识物包括用于附着在用户身体上的涂覆物或者可穿戴设备。
3.根据权利要求2所述的系统,其特征在于,
所述可穿戴设备包括手指套、手套、用于贴服在用户身体上的贴纸、脚套、脚趾套中的一种、两种或多种;
所述涂覆物包括用于涂覆于用户皮肤的皮肤涂料、用于涂覆于用户手指甲或脚趾甲的指甲涂料中的一种、两种或多种。
4.根据权利要求1所述的系统,其特征在于,
所述至少一个标识物的数量为两个;
所述处理装置,用于从所述画面中识别出附着有两个所述标识物的对象做出的动作。
5.根据权利要求1所述的系统,其特征在于,
所述至少一个标识物的颜色为预定颜色;
所述处理装置,用于根据所述预定颜色从所述画面中提取所述动作。
6.根据权利要求5所述的系统,其特征在于,所述至少一个标识物分为多组,其中,每一组的颜色不同。
7.根据权利要求1所述的系统,其特征在于,所述对象为人体部分,包括以下至少之一:手指、手臂、手。
8.根据权利要求1至7中任一项所述的系统,其特征在于,
所述处理装置用于从所述画面中提取附着有所述至少一个标识物的对象;获取所述对象的坐标;将所述对象的坐标映射为所述虚拟现实系统中视觉引导标识的坐标,在所述视觉引导标识的坐标存在控件的情况下,将所述对象做出的动作作为对所述控件的输入,以对所述控件进行控制,其中,所述视觉引导标识是在所述视觉引导标识的坐标对应的显示位置上渲染出的,用于引导用户通过所述视觉引导标识感知所述标识物对应的动作。
9.根据权利要求8所述的系统,其特征在于,所述处理装置用于根据所述至少一个标识物的颜色和预先设置的阈值从所述画面的背景中提取附着有所述至少一个标识物的对象。
10.根据权利要求8所述的系统,其特征在于,所述处理装置用于根据所述虚拟现实系统显示的交互界面与所述摄像头拍摄的画面的比例,将所述对象的坐标映射为所述视觉引导标识的坐标。
11.一种虚拟现实系统输入方法,其特征在于,包括:
获取摄像头拍摄的画面;
从所述画面中提取附着有至少一个标识物的对象做出的动作;
将所述动作作为所述虚拟现实系统的输入;
其中,将所述动作作为所述虚拟现实系统的输入包括:获取所述标识物在所述摄像头拍摄的画面中的第一坐标;将所述第一坐标映射为所述虚拟现实系统的显示画面的第二坐标;在所述第二坐标对应的显示位置渲染出视觉引导标识,用于引导用户通过所述视觉引导标识感知所述标识物对应的动作;
其中,所述视觉引导标识为基于所述摄像头拍摄的画面进行预定图像处理而获得的图像或者为在所述虚拟现实系统中预设的图像。
12.根据权利要求11所述的方法,其特征在于,所述标识物包括用于附着在用户身体上的涂覆物或者可穿戴设备。
13.根据权利要求12所述的方法,其特征在于,
所述可穿戴设备包括手指套、手套、用于贴服在用户身体上的贴纸、脚套、脚趾套中的一种、两种或多种;
所述涂覆物包括用于涂覆于用户皮肤的皮肤涂料、用于涂覆于用户手指甲或脚趾甲的指甲涂料中的一种、两种或多种。
14.根据权利要求11所述的方法,其特征在于,
所述至少一个标识物的数量为两个,和/或,所述至少一个标识物的颜色为预定颜色。
15.根据权利要求14所述的方法,其特征在于,所述至少一个标识物包括多组,其中,每一组的颜色不同。
16.根据权利要求11所述的方法,其特征在于,所述对象为人体部分,包括以下至少之一:手指、手臂、手。
17.根据权利要求11至16中任一项所述的方法,其特征在于,从所述画面中提取附着有至少一个标识物的对象的动作,并将所述动作作为所述虚拟现实系统的输入包括:
从所述画面中提取附着有所述至少一个标识物的对象;
获取所述对象的坐标;
将所述对象的坐标映射为所述虚拟现实系统中视觉引导标识的坐标,在所述视觉引导标识的坐标存在控件的情况下,将所述对象做出的动作作为对所述控件的输入,以对所述控件进行控制,
其中,所述视觉引导标识是在所述视觉引导标识的坐标对应的显示位置上渲染出的,用于引导用户通过所述视觉引导标识感知所述标识物对应的动作。
18.根据权利要求17所述的方法,其特征在于,从所述画面中提取附着有所述至少一个标识物的对象包括:
根据所述至少一个标识物的颜色和预先设置的阈值从所述画面的背景中提取附着有所述至少一个标识物的对象。
19.根据权利要求17所述的方法,其特征在于,将所述对象的坐标映射为所述虚拟现实系统中视觉引导标识的坐标包括:
根据所述虚拟现实系统显示的交互界面与所述摄像头拍摄的画面的比例,将所述对象的坐标映射为所述视觉引导标识的坐标。
CN201610932466.4A 2016-10-24 2016-10-24 虚拟现实系统及虚拟现实系统输入方法 Active CN106502400B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610932466.4A CN106502400B (zh) 2016-10-24 2016-10-24 虚拟现实系统及虚拟现实系统输入方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610932466.4A CN106502400B (zh) 2016-10-24 2016-10-24 虚拟现实系统及虚拟现实系统输入方法

Publications (2)

Publication Number Publication Date
CN106502400A CN106502400A (zh) 2017-03-15
CN106502400B true CN106502400B (zh) 2018-10-23

Family

ID=58318892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610932466.4A Active CN106502400B (zh) 2016-10-24 2016-10-24 虚拟现实系统及虚拟现实系统输入方法

Country Status (1)

Country Link
CN (1) CN106502400B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107185229A (zh) * 2017-04-26 2017-09-22 歌尔科技有限公司 虚拟现实设备的游戏输入方法及装置、虚拟现实系统
TWI662439B (zh) * 2018-01-25 2019-06-11 財團法人資訊工業策進會 虛擬空間定位方法及裝置
US10444932B2 (en) 2018-01-25 2019-10-15 Institute For Information Industry Virtual space positioning method and apparatus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104460988A (zh) * 2014-11-11 2015-03-25 陈琦 一种智能手机虚拟现实设备的输入控制方法
CN105117017A (zh) * 2015-09-07 2015-12-02 众景视界(北京)科技有限公司 用于虚拟现实和增强现实交互控制中的手套
CN105653044A (zh) * 2016-03-14 2016-06-08 北京诺亦腾科技有限公司 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104460988A (zh) * 2014-11-11 2015-03-25 陈琦 一种智能手机虚拟现实设备的输入控制方法
CN105117017A (zh) * 2015-09-07 2015-12-02 众景视界(北京)科技有限公司 用于虚拟现实和增强现实交互控制中的手套
CN105653044A (zh) * 2016-03-14 2016-06-08 北京诺亦腾科技有限公司 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统

Also Published As

Publication number Publication date
CN106502400A (zh) 2017-03-15

Similar Documents

Publication Publication Date Title
CN106484119A (zh) 虚拟现实系统及虚拟现实系统输入方法
CN103793060B (zh) 一种用户交互系统和方法
US10092220B2 (en) System and method for motion capture
CN106201173B (zh) 一种基于投影的用户交互图标的交互控制方法及系统
CN110456907A (zh) 虚拟画面的控制方法、装置、终端设备及存储介质
CN106502400B (zh) 虚拟现实系统及虚拟现实系统输入方法
CN111091732B (zh) 一种基于ar技术的心肺复苏指导器及指导方法
CN108537126B (zh) 一种人脸图像处理方法
CN108876881A (zh) 基于Kinect的体型自适应三维虚拟人体模型构建方法及动画系统
CN107004279A (zh) 自然用户界面相机校准
US20170014683A1 (en) Display device and computer program
CN109710056A (zh) 虚拟现实交互装置的显示方法及装置
Bruder et al. Enhancing presence in head-mounted display environments by visual body feedback using head-mounted cameras
CN104331164A (zh) 一种基于手势识别的相似度阈值分析的手势运动平滑处理方法
CN112198962A (zh) 一种与虚拟现实设备交互的方法及虚拟现实设备
US20200372723A1 (en) Method for influencing virtual objects of augmented reality
CN107357434A (zh) 一种虚拟现实环境下的信息输入设备、系统及方法
CN106028136A (zh) 一种图像处理方法及装置
CN107030692A (zh) 一种基于感知增强的机械手遥操作方法及系统
Rautaray et al. A real time hand tracking system for interactive applications
CN107589628A (zh) 一种基于手势识别的全息投影装置及其工作方法
CN109739353A (zh) 一种基于手势、语音、视线追踪识别的虚拟现实交互系统
Moeslund et al. A natural interface to a virtual environment through computer vision-estimated pointing gestures
KR101638550B1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
CN111913564B (zh) 虚拟内容的操控方法、装置、系统、终端设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant