CN106527710A - 虚拟现实交互方法及装置 - Google Patents

虚拟现实交互方法及装置 Download PDF

Info

Publication number
CN106527710A
CN106527710A CN201610973410.3A CN201610973410A CN106527710A CN 106527710 A CN106527710 A CN 106527710A CN 201610973410 A CN201610973410 A CN 201610973410A CN 106527710 A CN106527710 A CN 106527710A
Authority
CN
China
Prior art keywords
operational orders
eyes
images
frequency
blink
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610973410.3A
Other languages
English (en)
Inventor
梁效富
魏冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN201610973410.3A priority Critical patent/CN106527710A/zh
Publication of CN106527710A publication Critical patent/CN106527710A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提出虚拟现实交互方法及装置。方法包括:实时检测VR用户的眼睛动作;判断VR用户的眼睛动作是否为主动眨眼,若是,根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令,对VR图像执行该VR操作指令。本申请无需多余控制器,有效增强了VR交互的可操作性,增强了VR交互的沉浸感和操作舒适性。

Description

虚拟现实交互方法及装置
技术领域
本申请涉及VR(Virtual Reality,虚拟现实)技术领域,尤其涉及VR交互方法及装置。
背景技术
VR技术是一种创建和体验虚拟世界的计算机仿真系统技术。它利用计算机生成一种模拟环境,利用多源信息融合的交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。VR技术未来将会发展成一种改变人类生活方式的新突破。
在二维屏幕交互中,几乎所有控制命令都可以抽象为按键动作。而对于VR输入设备来说,自然交互更重要,即现实世界里如何跟外界交互,在虚拟世界里人们也希望同样的方式交互,沉浸感更高,效率高,学习成本低。目前,VR交互仍在探索和研究中,与各种高科技的结合,将会使VR交互产生无限可能。VR不会存在一种通用的交互手段,它的交互要比平面图形交互拥有更加丰富的形式。
目前的VR交互方式主要有如下几种:
一、感官式沉浸
强调身体的沉浸感,主要靠采集肢体动作来进行VR交互。代表产品有Leapmotion、Nimble sense、诺亦腾、Priovr、Control VR、Dexmo、Kinect、Omni。
感官式沉浸带来较强的沉浸感,带上头显,用户可低头看到自己的双手动作甚至全身动作,但在互动场景中,用户需双手长期悬空操作,或需记忆较多手势命令,影响用户体验。现有的借助辅助设备增强沉浸感的方式只会在特定超重度的场景中使用,因为其固有的使用门槛,需要用户花费比较长的时间穿戴和校准才能够使用。这些辅助设备存在一定的客观问题,会使用户操作得很累,削弱舒适性,且使用场景极其受限。
二、交互式沉浸
强调功能性,主要靠动作跟踪和按键控制来进行交互。代表产品有Stem,Hydra,Wii,摇杆、方向盘、体感枪等。
交互式沉浸虽然能通过对设备空间位置的跟踪实现部分沉浸感,并通过按键命令实现较高效的控制,但是无法满足用户在虚拟世界中触摸、拿捏等自然交互的愿望。
随着VR的不断扩展和应用,其交互问题也逐渐凸显,交互问题跟VR的功能息息相关,VR中的交互会影响用户的体验以及沉浸感。VR要提供完美的沉浸式体验,配上游戏手柄或者辅助设备都并不是最佳选择,而是要更为恰当的解决方案。
发明内容
本申请实施例提供VR交互方法及装置,以增强VR交互的沉浸感,增强VR交互操作舒适性。
本申请的技术方案是这样实现的:
一种虚拟现实VR交互方法,该方法包括:
实时检测VR用户的眼睛动作;
判断VR用户的眼睛动作是否为主动眨眼,若是,根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令,对VR图像执行该VR操作指令。
所述判断VR用户的眼睛动作是否为主动眨眼包括:
根据预先定义的主动眨眼动作对应的眨动时长或/和眨动频率,判断用户的眼睛动作是否为主动眨眼。
所述根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为向左切换VR图像视野指令,当右眼眨动时,确定对应的VR操作指令为向右切换VR图像视野;或/和,
当双眼同时眨动时,确定对应的VR操作指令为确认当前VR图像视野;或/和,
根据预先定义的眨眼频率范围与切换视野大小的对应关系,确定当前眨眼频率对应的VR图像切换视野大小。
所述根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为向左旋转VR图像菜单,当右眼眨动时,确定对应的VR操作指令为向右切换VR图像菜单;或/和,
当双眼同时眨动时,确定对应的VR操作指令为确认当前视线交互确定的位置;或/和,
根据预先定义的眨眼频率范围与VR图像菜单旋转角度的对应关系,确定当前眨眼频率对应的VR图像菜单旋转角度。
所述所述根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为将当前在VR图像上的操作符号向左移动,当右眼眨动时,确定对应的VR操作指令为将当前在VR图像上的操作符号向右移动;或/和,
当双眼同时眨动时,确定对应的VR操作指令为确认点击当前在VR图像上的操作符号;或/和,
根据预先定义的眨眼频率范围与对当前在VR图像上的操作符号的移动步长的对应关系,确定当前眨眼频率对应的对当前在VR图像上的操作符号的移动步长。
所述所述根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为向左旋转当前浏览的VR图像,当右眼眨动时,确定对应的VR操作指令为向右切换当前浏览的VR图像;或/和,
当双眼同时眨动时,确定对应的VR操作指令为按照视线交互点所在位置,将当前位置的图像放大到全屏浏览。
所述所述根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定执行VR图像上左侧的操作符号对应的VR操作指令,当右眼眨动时,确定执行VR图像上右侧的操作符号对应的VR操作指令;或/和,
当双眼同时眨动时,确定执行VR图像上中间位置的操作符号对应的VR操作指令。
所述根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当双眼同时眨动时,确定对应的VR操作指令为抓取当前VR图像界面;或/和,
当双眼同时眨动时,确定对应的VR操作指令为对当前VR图像进行拍照。
一种虚拟现实VR交互装置,该装置包括:
眼睛动作检测模块:用于实时检测VR用户的眼睛动作,判断VR用户的眼睛动作是否为主动眨眼,确定眨动的眼睛或/和眨动的频率;
VR操作匹配模块:用于根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令,对VR图像执行该VR操作指令。
所述眼睛动作检测模块判断VR用户的眼睛动作是否为主动眨眼包括:
根据预先定义的主动眨眼动作对应的眨动时长或/和眨动频率,判断用户的眼睛动作是否为主动眨眼。
所述VR操作匹配模块根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为向左切换VR图像视野指令,当右眼眨动时,确定对应的VR操作指令为向右切换VR图像视野;或/和,
当双眼同时眨动时,确定对应的VR操作指令为确认当前VR图像视野;或/和,
根据预先定义的眨眼频率范围与切换视野大小的对应关系,确定当前眨眼频率对应的VR图像切换视野大小。
所述VR操作匹配模块根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为向左旋转VR图像菜单,当右眼眨动时,确定对应的VR操作指令为向右切换VR图像菜单;或/和,
当双眼同时眨动时,确定对应的VR操作指令为确认当前视线交互确定的位置;或/和,
根据预先定义的眨眼频率范围与VR图像菜单旋转角度的对应关系,确定当前眨眼频率对应的VR图像菜单旋转角度。
所述VR操作匹配模块根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为将当前在VR图像上的操作符号向左移动,当右眼眨动时,确定对应的VR操作指令为将当前在VR图像上的操作符号向右移动;或/和,
当双眼同时眨动时,确定对应的VR操作指令为确认点击当前在VR图像上的操作符号;或/和,
根据预先定义的眨眼频率范围与对当前在VR图像上的操作符号的移动步长的对应关系,确定当前眨眼频率对应的对当前在VR图像上的操作符号的移动步长。
所述VR操作匹配模块根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为向左旋转当前浏览的VR图像,当右眼眨动时,确定对应的VR操作指令为向右切换当前浏览的VR图像;或/和,
当双眼同时眨动时,确定对应的VR操作指令为按照视线交互点所在位置,将当前位置的图像放大到全屏浏览。
所述VR操作匹配模块根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定执行VR图像上左侧的操作符号对应的VR操作指令,当右眼眨动时,确定执行VR图像上右侧的操作符号对应的VR操作指令;或/和,
当双眼同时眨动时,确定执行VR图像上中间位置的操作符号对应的VR操作指令。
所述VR操作匹配模块根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当双眼同时眨动时,确定对应的VR操作指令为抓取当前VR图像界面;或/和,
当双眼同时眨动时,确定对应的VR操作指令为对当前VR图像进行拍照。
可见,本申请通过追踪眼睛动作,判断VR用户的眨眼情况,来匹配VR操作,无需多余控制器,有效增强了VR交互的可操作性,增强了VR交互的沉浸感和操作舒适性。
附图说明
图1为本申请一实施例提供的VR交互方法流程图;
图2为本申请另一实施例提供的VR交互方法流程图;
图3为VR launcher的主视图示例;
图4为VR砸砖块游戏的主视图示例;
图5为360°相册的主视图示例;
图6为将360°相册当前位置的图像放大到全屏浏览的示例图;
图7为第一类VR弹框的示例图;
图8为第二类VR弹框的示例图;
图9为第三类VR弹框的示例图;
图10为本申请实施例提供的VR交互装置的组成示意图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
图1为本申请一实施例提供的VR交互方法流程图,其具体步骤如下:
步骤101:实时检测VR用户的眼睛动作。
步骤102:判断VR用户的眼睛动作是否为主动眨眼,若是,根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令,对VR图像执行该VR操作指令。
其中,判断VR用户的眼睛动作是否为主动眨眼包括:
根据预先定义的主动眨眼动作对应的眨动时长或/和眨动频率,判断用户的眼睛动作是否为主动眨眼。
一实施例中,根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为向左切换VR图像视野指令,当右眼眨动时,确定对应的VR操作指令为向右切换VR图像视野;或/和,当双眼同时眨动时,确定对应的VR操作指令为确认当前VR图像视野;或/和,根据预先定义的眨眼频率范围与切换视野大小的对应关系,确定当前眨眼频率对应的VR图像切换视野大小。
一实施例中,根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为向左旋转VR图像菜单,当右眼眨动时,确定对应的VR操作指令为向右切换VR图像菜单;或/和,当双眼同时眨动时,确定对应的VR操作指令为确认当前视线交互确定的位置;或/和,根据预先定义的眨眼频率范围与VR图像菜单旋转角度的对应关系,确定当前眨眼频率对应的VR图像菜单旋转角度。
一实施例中,根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为将当前在VR图像上的操作符号(例如:左移箭头)向左移动,当右眼眨动时,确定对应的VR操作指令为将当前在VR图像上的操作符号(例如:右移箭头)向右移动;或/和,当双眼同时眨动时,确定对应的VR操作指令为确认点击当前在VR图像上的操作符号;或/和,根据预先定义的眨眼频率范围与对当前在VR图像上的操作符号的移动步长的对应关系,确定当前眨眼频率对应的对当前在VR图像上的操作符号的移动步长。
一实施例中,根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为向左旋转当前浏览的VR图像(例如:360°相册),当右眼眨动时,确定对应的VR操作指令为向右切换当前浏览的VR图像;或/和,当双眼同时眨动时,确定对应的VR操作指令为按照视线交互点所在位置,将当前位置的图像放大到全屏浏览。
一实施例中,根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定执行VR图像上左侧的操作符号对应的VR操作指令,当右眼眨动时,确定执行VR图像上右侧的操作符号对应的VR操作指令;或/和,当双眼同时眨动时,确定执行VR图像上中间位置的操作符号对应的VR操作指令。
一实施例中,根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当双眼同时眨动时,确定对应的VR操作指令为抓取当前VR图像界面。
一实施例中,根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当双眼同时眨动时,确定对应的VR操作指令为对当前VR图像进行拍照。
图2为本申请另一实施例提供的VR交互方法流程图,其具体步骤如下:
步骤201:实时获取VR用户的眼睛动作。
可通过眼睛、眼球、视线状态等追踪技术,获取VR用户的眼睛动作。
步骤202:判断获取的VR用户的眼睛动作是否为主动眨眼,若是,执行步骤203;否则,不作进一步处理,结束本流程。
眼睛动作包括:眼球转动、眨眼等。眨眼又包括:被动眨眼和主动眨眼。被动眨眼主要分为两种情况:
一、正常情况下,人每分钟大约要眨眼15次(1次/4秒,即4Hz),且双眼同时眨动,每次眨眼要用0.2~0.4秒。
二、当眼睛感到疲劳的时候,也会眨动眼睛(双眼同时眨动),这样的眨动使得光线被中断,从而让眼睛得到了短暂的休息,此时,双眼眨动比较快速。
本实施例中,要区分并过滤掉被动眨眼。
主动眨眼指的是有目的性的眨眼,本实施例中,指的是用于发出VR操作指令的眨眼,可以是单眼眨动,也可以是双眼眨动。可通过设置单眼或/和双眼眨动的频率和时长,来定义主动眨眼,其中,眨动的时长可以每次眨眼所花费的时长,即从闭眼到睁眼之间的时长来表示,这里,单眼或/和双眼眨动的频率和时长可根据对被动眨眼的频率和时长的统计结果来设置,本申请对此不作具体数值限定。在具体应用中,优选地,设置主动眨眼的单眼或/和双眼眨动的时长为超过1秒。
步骤203:根据获取的眼睛动作信息,计算主动眨眼的频率,包括:左眼眨动频率(LBF,Left eye Blink Frequency)、或/和右眼眨动频率(RBF,Right eye BlinkFrequency)、或/和双眼同时眨动频率(DBF,Double eyes Blinking Frequency)。
步骤204:根据计算得到的主动眨眼的频率,匹配对应的VR操作指令,根据该VR操作执行对应VR操作。
可以预先设定主动眨眼的眼睛或/和主动眨眼频率范围对应的VR操作指令。例如:该VR操作指令可以是:视野切换指令,具体地,左眼眨动对应向左切换视野指令,右眼眨动对应向右切换视野指令,同时,不同的眨眼频率范围对应不同的切换视野大小;双眼同时眨动,则对应对当前视野的操作如:确定。
以下给出本申请的应用示例:
应用场景示例一:
该场景为VR launcher场景,图3为VR launcher的主视图示例。
在该场景下,当检测到VR用户左眼眨动时,将launcher菜单向左旋转,并根据眨动频率所在的范围,确定旋转角度是30°、45°还是90°;当检测到VR用户右眼眨动时,将launcher菜单向右旋转,并根据眨动频率所在范围,确定旋转角度是30°、45°还是90°;当检测到双眼同时眨动时,结合视线交互确定的位置,进行点击确认等操作。
应用场景示例二:
该场景为VR砸砖块游戏场景,图4为VR砸砖块游戏的主视图示例。
在该场景中,当检测到VR用户左眼眨动时,将瞄准方向向左移动,并根据眨动频率范围,确定对应的移动步长,例如:移动0.5或者1个砖块的长度;当检测到VR用户右眼眨动时,将瞄准方向向右移动,并根据眨动频率范围,确定对应的移动步长,例如:移动0.5或者1个砖块的长度;当检测到VR用户双眼眨动时,按照既定确认方向发射小球,砸砖块。
应用场景示例三:
该场景为360°相册场景,图5为360°相册的主视图示例。
在该场景中,当检测到VR用户左眼眨动时,将相册预览界面向左旋转,并将旋转角度设置为当前视角的范围;当检测到VR用户右眼眨动时,将相册预览界面向右旋转,并将旋转角度设置为当前视角的范围;当检测到VR用户双眼眨动时,按照视线交互点所在位置,将当前位置的图像放大到全屏浏览,效果如图6所示。
应用场景示例四:
弹框场景
图7为第一类VR弹框的示例图,图8为第二类VR弹框的示例图,图9为第三类VR弹框的示例图。
对于上述三种弹框,若检测到VR用户左眼眨动,则执行左侧箭头对应的VR操作指令;若检测到VR用户右眼眨动,则执行右侧箭头对应的VR操作指令;若检测到VR用户双眼眨动,则执行中间的椭圆对应的VR操作指令。
应用场景示例五:
VR场景抓取
在体验虚拟现实的过程中,如果对某个画面很有感触,这时就可以通过主动眨眼来对VR图像进行截屏等抓取操作。
应用场景示例六:
VR拍照
VR场景中,若可以调用照相机功能,则可以通过主动眨眼控制进行拍照。
图10为本申请实施例提供的VR交互装置的组成示意图,该装置主要包括:眼睛动作检测模块101和VR操作匹配模块102,其中:
眼睛动作检测模块101:用于实时检测VR用户的眼睛动作,判断VR用户的眼睛动作是否为主动眨眼,确定眨动的眼睛或/和眨动的频率,将眨动的眼睛标识(左眼/右眼/双眼)和眨动的频率发送给VR操作匹配模块102。
VR操作匹配模块102:用于根据眼睛动作检测模块101发来的眨动的眼睛或/和眨动的频率,确定对应的VR操作指令,对VR图像执行该VR操作指令。
一实施例中,眼睛动作检测模块101判断VR用户的眼睛动作是否为主动眨眼包括:
根据预先定义的主动眨眼动作对应的眨动时长或/和眨动频率,判断用户的眼睛动作是否为主动眨眼。
一实施例中,VR操作匹配模块102根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为向左切换VR图像视野指令,当右眼眨动时,确定对应的VR操作指令为向右切换VR图像视野;或/和,当双眼同时眨动时,确定对应的VR操作指令为确认当前VR图像视野;或/和,根据预先定义的眨眼频率范围与切换视野大小的对应关系,确定当前眨眼频率对应的VR图像切换视野大小。
一实施例中,VR操作匹配模块102根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为向左旋转VR图像菜单,当右眼眨动时,确定对应的VR操作指令为向右切换VR图像菜单;或/和,当双眼同时眨动时,确定对应的VR操作指令为确认当前视线交互确定的位置;或/和,根据预先定义的眨眼频率范围与VR图像菜单旋转角度的对应关系,确定当前眨眼频率对应的VR图像菜单旋转角度。
一实施例中,VR操作匹配模块102根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为将当前在VR图像上的操作符号向左移动,当右眼眨动时,确定对应的VR操作指令为将当前在VR图像上的操作符号向右移动;或/和,当双眼同时眨动时,确定对应的VR操作指令为确认点击当前在VR图像上的操作符号;或/和,根据预先定义的眨眼频率范围与对当前在VR图像上的操作符号的移动步长的对应关系,确定当前眨眼频率对应的对当前在VR图像上的操作符号的移动步长。
一实施例中,VR操作匹配模块102根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为向左旋转当前浏览的VR图像,当右眼眨动时,确定对应的VR操作指令为向右切换当前浏览的VR图像;或/和,当双眼同时眨动时,确定对应的VR操作指令为按照视线交互点所在位置,将当前位置的图像放大到全屏浏览。
一实施例中,VR操作匹配模块102根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定执行VR图像上左侧的操作符号对应的VR操作指令,当右眼眨动时,确定执行VR图像上右侧的操作符号对应的VR操作指令;或/和,当双眼同时眨动时,确定执行VR图像上中间位置的操作符号对应的VR操作指令。
一实施例中,VR操作匹配模块102根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当双眼同时眨动时,确定对应的VR操作指令为抓取当前VR图像界面;或/和,当双眼同时眨动时,确定对应的VR操作指令为对当前VR图像进行拍照。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (16)

1.一种虚拟现实VR交互方法,其特征在于,该方法包括:
实时检测VR用户的眼睛动作;
判断VR用户的眼睛动作是否为主动眨眼,若是,根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令,对VR图像执行该VR操作指令。
2.根据权利要求1所述的方法,其特征在于,所述判断VR用户的眼睛动作是否为主动眨眼包括:
根据预先定义的主动眨眼动作对应的眨动时长或/和眨动频率,判断用户的眼睛动作是否为主动眨眼。
3.根据权利要求1所述的方法,其特征在于,所述根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为向左切换VR图像视野指令,当右眼眨动时,确定对应的VR操作指令为向右切换VR图像视野;或/和,
当双眼同时眨动时,确定对应的VR操作指令为确认当前VR图像视野;或/和,
根据预先定义的眨眼频率范围与切换视野大小的对应关系,确定当前眨眼频率对应的VR图像切换视野大小。
4.根据权利要求1所述的方法,其特征在于,所述根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为向左旋转VR图像菜单,当右眼眨动时,确定对应的VR操作指令为向右切换VR图像菜单;或/和,
当双眼同时眨动时,确定对应的VR操作指令为确认当前视线交互确定的位置;或/和,
根据预先定义的眨眼频率范围与VR图像菜单旋转角度的对应关系,确定当前眨眼频率对应的VR图像菜单旋转角度。
5.根据权利要求1所述的方法,其特征在于,所述所述根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为将当前在VR图像上的操作符号向左移动,当右眼眨动时,确定对应的VR操作指令为将当前在VR图像上的操作符号向右移动;或/和,
当双眼同时眨动时,确定对应的VR操作指令为确认点击当前在VR图像上的操作符号;或/和,
根据预先定义的眨眼频率范围与对当前在VR图像上的操作符号的移动步长的对应关系,确定当前眨眼频率对应的对当前在VR图像上的操作符号的移动步长。
6.根据权利要求1所述的方法,其特征在于,所述所述根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为向左旋转当前浏览的VR图像,当右眼眨动时,确定对应的VR操作指令为向右切换当前浏览的VR图像;或/和,
当双眼同时眨动时,确定对应的VR操作指令为按照视线交互点所在位置,将当前位置的图像放大到全屏浏览。
7.根据权利要求1所述的方法,其特征在于,所述所述根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定执行VR图像上左侧的操作符号对应的VR操作指令,当右眼眨动时,确定执行VR图像上右侧的操作符号对应的VR操作指令;或/和,
当双眼同时眨动时,确定执行VR图像上中间位置的操作符号对应的VR操作指令。
8.根据权利要求1所述的方法,其特征在于,所述根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当双眼同时眨动时,确定对应的VR操作指令为抓取当前VR图像界面;或/和,
当双眼同时眨动时,确定对应的VR操作指令为对当前VR图像进行拍照。
9.一种虚拟现实VR交互装置,其特征在于,该装置包括:
眼睛动作检测模块:用于实时检测VR用户的眼睛动作,判断VR用户的眼睛动作是否为主动眨眼,确定眨动的眼睛或/和眨动的频率;
VR操作匹配模块:用于根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令,对VR图像执行该VR操作指令。
10.根据权利要求9所述的装置,其特征在于,所述眼睛动作检测模块判断VR用户的眼睛动作是否为主动眨眼包括:
根据预先定义的主动眨眼动作对应的眨动时长或/和眨动频率,判断用户的眼睛动作是否为主动眨眼。
11.根据权利要求9所述的装置,其特征在于,所述VR操作匹配模块根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为向左切换VR图像视野指令,当右眼眨动时,确定对应的VR操作指令为向右切换VR图像视野;或/和,
当双眼同时眨动时,确定对应的VR操作指令为确认当前VR图像视野;或/和,
根据预先定义的眨眼频率范围与切换视野大小的对应关系,确定当前眨眼频率对应的VR图像切换视野大小。
12.根据权利要求9所述的装置,其特征在于,所述VR操作匹配模块根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为向左旋转VR图像菜单,当右眼眨动时,确定对应的VR操作指令为向右切换VR图像菜单;或/和,
当双眼同时眨动时,确定对应的VR操作指令为确认当前视线交互确定的位置;或/和,
根据预先定义的眨眼频率范围与VR图像菜单旋转角度的对应关系,确定当前眨眼频率对应的VR图像菜单旋转角度。
13.根据权利要求9所述的装置,其特征在于,所述VR操作匹配模块根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为将当前在VR图像上的操作符号向左移动,当右眼眨动时,确定对应的VR操作指令为将当前在VR图像上的操作符号向右移动;或/和,
当双眼同时眨动时,确定对应的VR操作指令为确认点击当前在VR图像上的操作符号;或/和,
根据预先定义的眨眼频率范围与对当前在VR图像上的操作符号的移动步长的对应关系,确定当前眨眼频率对应的对当前在VR图像上的操作符号的移动步长。
14.根据权利要求9所述的装置,其特征在于,所述VR操作匹配模块根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定对应的VR操作指令为向左旋转当前浏览的VR图像,当右眼眨动时,确定对应的VR操作指令为向右切换当前浏览的VR图像;或/和,
当双眼同时眨动时,确定对应的VR操作指令为按照视线交互点所在位置,将当前位置的图像放大到全屏浏览。
15.根据权利要求9所述的装置,其特征在于,所述VR操作匹配模块根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当左眼眨动时,确定执行VR图像上左侧的操作符号对应的VR操作指令,当右眼眨动时,确定执行VR图像上右侧的操作符号对应的VR操作指令;或/和,
当双眼同时眨动时,确定执行VR图像上中间位置的操作符号对应的VR操作指令。
16.根据权利要求9所述的装置,其特征在于,所述VR操作匹配模块根据眨动的眼睛或/和眨动的频率,确定对应的VR操作指令包括:
当双眼同时眨动时,确定对应的VR操作指令为抓取当前VR图像界面;或/和,
当双眼同时眨动时,确定对应的VR操作指令为对当前VR图像进行拍照。
CN201610973410.3A 2016-11-07 2016-11-07 虚拟现实交互方法及装置 Pending CN106527710A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610973410.3A CN106527710A (zh) 2016-11-07 2016-11-07 虚拟现实交互方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610973410.3A CN106527710A (zh) 2016-11-07 2016-11-07 虚拟现实交互方法及装置

Publications (1)

Publication Number Publication Date
CN106527710A true CN106527710A (zh) 2017-03-22

Family

ID=58349820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610973410.3A Pending CN106527710A (zh) 2016-11-07 2016-11-07 虚拟现实交互方法及装置

Country Status (1)

Country Link
CN (1) CN106527710A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107450727A (zh) * 2017-08-09 2017-12-08 上海闻泰电子科技有限公司 基于眼部识别的vr控制方法及装置
CN108189787A (zh) * 2017-12-12 2018-06-22 北京汽车集团有限公司 控制车辆座椅的方法和装置、存储介质和车辆
CN110275620A (zh) * 2019-06-26 2019-09-24 Oppo广东移动通信有限公司 交互方法、交互装置、头戴设备和存储介质
CN111736691A (zh) * 2020-06-01 2020-10-02 Oppo广东移动通信有限公司 头戴显示设备的交互方法、装置、终端设备及存储介质
CN112613389A (zh) * 2020-12-18 2021-04-06 上海影创信息科技有限公司 眼部手势控制方法和系统及其vr眼镜
WO2021143582A1 (zh) * 2020-01-16 2021-07-22 北京七鑫易维信息技术有限公司 一种工作模式的控制方法、装置、设备及存储介质
CN111736691B (zh) * 2020-06-01 2024-07-05 Oppo广东移动通信有限公司 头戴显示设备的交互方法、装置、终端设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6198462B1 (en) * 1994-10-14 2001-03-06 Hughes Electronics Corporation Virtual display screen system
CN102799277A (zh) * 2012-07-26 2012-11-28 深圳先进技术研究院 一种基于眨眼动作的人机交互方法及系统
CN105867607A (zh) * 2015-12-15 2016-08-17 乐视致新电子科技(天津)有限公司 虚拟现实头盔中的菜单选择方法、装置及虚拟现实头盔
CN105867605A (zh) * 2015-12-15 2016-08-17 乐视致新电子科技(天津)有限公司 虚拟现实头盔的功能菜单翻页方法、装置及头盔
CN106055102A (zh) * 2016-05-30 2016-10-26 北京奇艺世纪科技有限公司 一种虚拟现实设备控制方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6198462B1 (en) * 1994-10-14 2001-03-06 Hughes Electronics Corporation Virtual display screen system
CN102799277A (zh) * 2012-07-26 2012-11-28 深圳先进技术研究院 一种基于眨眼动作的人机交互方法及系统
CN105867607A (zh) * 2015-12-15 2016-08-17 乐视致新电子科技(天津)有限公司 虚拟现实头盔中的菜单选择方法、装置及虚拟现实头盔
CN105867605A (zh) * 2015-12-15 2016-08-17 乐视致新电子科技(天津)有限公司 虚拟现实头盔的功能菜单翻页方法、装置及头盔
CN106055102A (zh) * 2016-05-30 2016-10-26 北京奇艺世纪科技有限公司 一种虚拟现实设备控制方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
迟健男等编著: "《视线追踪》", 30 June 2011 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107450727A (zh) * 2017-08-09 2017-12-08 上海闻泰电子科技有限公司 基于眼部识别的vr控制方法及装置
CN108189787A (zh) * 2017-12-12 2018-06-22 北京汽车集团有限公司 控制车辆座椅的方法和装置、存储介质和车辆
CN108189787B (zh) * 2017-12-12 2020-04-28 北京汽车集团有限公司 控制车辆座椅的方法和装置、存储介质和车辆
CN110275620A (zh) * 2019-06-26 2019-09-24 Oppo广东移动通信有限公司 交互方法、交互装置、头戴设备和存储介质
WO2021143582A1 (zh) * 2020-01-16 2021-07-22 北京七鑫易维信息技术有限公司 一种工作模式的控制方法、装置、设备及存储介质
CN111736691A (zh) * 2020-06-01 2020-10-02 Oppo广东移动通信有限公司 头戴显示设备的交互方法、装置、终端设备及存储介质
CN111736691B (zh) * 2020-06-01 2024-07-05 Oppo广东移动通信有限公司 头戴显示设备的交互方法、装置、终端设备及存储介质
CN112613389A (zh) * 2020-12-18 2021-04-06 上海影创信息科技有限公司 眼部手势控制方法和系统及其vr眼镜

Similar Documents

Publication Publication Date Title
CN106527710A (zh) 虚拟现实交互方法及装置
JP6977134B2 (ja) 頭部装着ディスプレイにおける仮想現実(vr)コンテンツの視野(fov)絞り
CN105739525B (zh) 一种配合体感操作实现虚拟飞行的系统
CN107798733B (zh) 显示系统、便携信息设备、可佩戴型终端和信息显示方法
JP6193764B2 (ja) ヒューマンコンピュータインタラクションの制御方法及びその運用
CN108273265A (zh) 虚拟对象的显示方法及装置
WO2019057150A1 (zh) 信息交互方法、装置、存储介质和电子装置
KR20180133507A (ko) 시야 주위의 시각적 아우라
CN108259496A (zh) 特效程序文件包的生成及特效生成方法与装置、电子设备
CN105824409A (zh) 虚拟现实的交互控制方法及装置
CN105915766B (zh) 基于虚拟现实的控制方法和装置
WO2017076224A1 (zh) 基于虚拟现实的用户交互方法及系统
CN105653012A (zh) 多用户沉浸式全互动虚拟现实工程培训系统
CN109308115B (zh) 虚拟现实系统中显示用户移动的方法及相关装置
Lotte et al. Exploring large virtual environments by thoughts using a brain–computer interface based on motor imagery and high-level commands
CN108280883A (zh) 变形特效程序文件包的生成及变形特效生成方法与装置
CN107479691A (zh) 一种交互方法及其智能眼镜和存储装置
CN109821239A (zh) 体感游戏的实现方法、装置、设备及存储介质
CN105068648A (zh) 头戴式智能交互系统
CN110637335B (zh) 无人机的教学方法和无人机的遥控器
CN106445157A (zh) 一种画面显示方向调整的方法以及装置
CN106327583A (zh) 一种实现全景摄像的虚拟现实设备及其实现方法
KR20220018562A (ko) 인공 현실 시스템을 위한 모서리-식별 제스처-구동 사용자 인터페이스 요소 게이팅
JP2022184958A (ja) アニメーション制作システム
CN106125927B (zh) 图像处理系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170322