CN106371579B - 控制柔性的虚拟现实交互控制器形变的方法、装置和虚拟现实交互系统 - Google Patents

控制柔性的虚拟现实交互控制器形变的方法、装置和虚拟现实交互系统 Download PDF

Info

Publication number
CN106371579B
CN106371579B CN201510992145.9A CN201510992145A CN106371579B CN 106371579 B CN106371579 B CN 106371579B CN 201510992145 A CN201510992145 A CN 201510992145A CN 106371579 B CN106371579 B CN 106371579B
Authority
CN
China
Prior art keywords
interaction controller
user
posture
shape
simulated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510992145.9A
Other languages
English (en)
Other versions
CN106371579A (zh
Inventor
周梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201510992145.9A priority Critical patent/CN106371579B/zh
Priority to US15/378,354 priority patent/US11243606B2/en
Publication of CN106371579A publication Critical patent/CN106371579A/zh
Application granted granted Critical
Publication of CN106371579B publication Critical patent/CN106371579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供了一种控制柔性的虚拟现实交互控制器形变的方法,包括:确定一用户持握一虚拟现实VR交互控制器的姿势发生改变;根据改变后的持握姿势的特征,确定所述VR交互控制器将要模拟的对象;根据所述将要模拟的对象的形状和持握姿势改变前所述VR交互控制器的形状,确定所述VR交互控制器的形变参数;根据所述形变参数,控制所述VR交互控制器产生形变。本申请还公开了一种控制柔性的VR交互控制器形变的装置和一种VR交互系统。采用本申请提供的技术方案,为用户提供更加具象化的VR交互控制器,提升了用户的体验。

Description

控制柔性的虚拟现实交互控制器形变的方法、装置和虚拟现 实交互系统
技术领域
本申请涉及人机交互领域,尤其涉及一种控制柔性的虚拟现实交互控制器形变的方法、装置和虚拟现实交互系统。
背景技术
虚拟现实(英文全称:Virtual Reality,英文简称:VR)技术是仿真技术的一个重要方向,其通过多维度的感观激励,例如,视觉、听觉、触觉、嗅觉等等让用户进入一个与身处物理环境不同的虚拟世界。理想的VR应该具有一切人所具有的感知功能。
传统的VR系统中,人与虚拟显示呈现的内容的交互基本都通过VR交互控制器(例如,手套,或者操作棒,或者手柄,或者头盔,或者眼镜等)来完成,上述多维度的感官激励也基本由VR交互控制器来提供。例如,可以通过分别在用户的左、右眼显示屏幕上显示有一定视差(disparity)的两幅图像,从而给用户一种立体的视觉反馈。又例如,可以给用户的左、右耳提供在不同位置录制的不同声音,从而给用户一种逼真的听觉反馈。再例如,可以通过在VR交互控制器上安装一些可以振动的触点,从而给用户提供触觉上的反馈。
然而,现有的VR交互控制器在物理的形状上还是相对固定的,例如,棒状。这样用户的体验,特别是沉浸式的体验总是大打折扣。
发明内容
本申请的目的是:提供一种控制柔性的虚拟现实交互控制器形变的方法、装置和虚拟现实交互系统。
根据本申请至少一个实施例的第一个方面,提供了一种控制柔性的虚拟现实交互控制器形变的方法,所述方法包括:
确定一用户持握一虚拟现实VR交互控制器的姿势发生改变;
根据改变后的持握姿势的特征,确定所述VR交互控制器将要模拟的对象;
根据所述将要模拟的对象的形状和持握姿势改变前所述VR交互控制器的形状,确定所述VR交互控制器的形变参数;
根据所述形变参数,控制所述VR交互控制器产生形变。
基于上述第一个方面,在第一个方面的第一个实施方式中,所述确定所述用户持握所述VR交互控制器的姿势发生改变,包括:确定所述用户由使用第一姿势持握所述VR交互控制器改变为使用第二姿势持握所述VR交互控制器;其中,所述用户使用所述第一姿势持握所述VR交互控制器时,所述VR交互控制器模拟第一对象,所述VR交互控制器的形状为所述第一对象的形状。
基于上述第一个方面,在第一个方面的第二个实施方式中,所述确定所述用户持握所述VR交互控制器的姿势发生改变,包括:确定所述用户由未持握所述VR交互控制器改变为使用第三姿势持握所述VR交互控制器;其中,所述用户未持握所述VR交互控制器时,所述VR交互控制器的形状为初始形状。
基于上述第一个方面的第一个实施方式,或者基于上述第一个方面的第二个实施方式,在第一个方面的第三个实施方式中,所述确定所述用户由使用第一姿势持握所述VR交互控制器改变为使用第二姿势持握所述VR交互控制器,或者确定所述用户由未持握所述VR交互控制器改变为使用第三姿势持握所述VR交互控制器,包括:根据空间分布的至少一感应设备,确定所述用户的姿势发生变化;根据所述用户的姿势发生的变化,确定所述用户由使用第一姿势持握所述VR交互控制器改变为使用第二姿势持握所述VR交互控制器,或者确定所述用户由未持握所述VR交互控制器改变为使用第三姿势持握所述VR交互控制器。
基于上述第一个方面的第三个实施方式,在第一个方面的第三个实施方式的第一个具体实现中,所述至少一感应设备包括至少一摄像头。
基于上述第一个方面的第三个实施方式的第一个具体实现,在第一个方面的第三个实施方式的第一个具体实现的第一个可选示例中,所述根据空间分布的至少一感应设备,确定所述用户的姿势发生变化,包括:根据空间分布的所述至少一摄像头采集到的所述用户的静态画面或者动态画面,确定所述用户的姿势发生变化。
基于上述第一个方面的第三个实施方式,在第一个方面的第三个实施方式的第二个具体实现中,所述至少一感应设备包括至少一超声信号收发器。
基于上述第一个方面的第三个实施方式的第二个具体实现,在第一个方面的第三个实施方式的第二个具体实现的第一个可选示例中,所述根据空间分布的至少一感应设备,确定所述用户的姿势发生变化,包括:根据空间分布的所述至少一超声信号收发器接收到的反射超声信号,确定所述用户的姿势发生变化;其中,所述反射超声信号为所述至少一超声信号收发器发射的超声信号,经过所述用户反射后,返回所述超声信号收发器的超声信号。
基于上述第一个方面的第三个实施方式,在第一个方面的第三个实施方式的第三个具体实现中,所述至少一感应设备包括至少一无线局域网信号收发器。
基于上述第一个方面的第三个实施方式的第三个具体实现,在第一个方面的第三个实施方式的第三个具体实现的第一个可选示例中,所述根据空间分布的至少一感应设备,确定所述用户的姿势发生变化,包括:根据空间分布的所述至少一无线局域网信号收发器接收到的发射超声信号,确定所述用户的姿势发生变化;其中,所述反射无线局域网信号为所述至少一无线局域网信号收发器发射的无线局域网信号,经过所述用户反射后,返回所述无线局域网信号收发器的无线局域网信号。
基于上述第一个方面,或者基于上述第一个方面的任一实施方式,或者基于上述第一个方面的任一实施方式的任一具体实现,或者基于上述第一个方面的任一实施方式的任一具体实现的任一可选示例,在第一个方面的第四个实施方式中,所述根据改变后的持握姿势的特征,确定所述VR交互控制器将要模拟的对象,包括:提取改变后的持握姿势的特征;在一预设的对应关系集合中确定改变后的持握姿势的特征对应的模拟对象为所述VR交互控制器将要模拟的对象;其中,所述对应关系集合包括至少一特征与模拟对象的对应关系。
基于上述第一个方面,或者基于上述第一个方面的任一实施方式,或者基于上述第一个方面的任一实施方式的任一具体实现,或者基于上述第一个方面的任一实施方式的任一具体实现的任一可选示例,在第一个方面的第五个实施方式中,所述根据所述将要模拟的对象的形状和持握姿势改变前所述VR交互控制器的形状,确定所述VR交互控制器的形变参数,包括:根据所述将要模拟的对象的形状和持握姿势改变前所述VR交互控制器的形状,确定所述VR交互控制器需要进行形变的区域;根据所述需要进行形变的区域,确定所述形变参数。
根据本申请至少一个实施例的第二个方面,提供一种控制柔性的虚拟现实交互控制器形变的装置,所述装置包括:
姿势改变确定模块,用于确定一用户持握一虚拟现实VR交互控制器的姿势发生改变;
模拟对象确定模块,用于根据改变后的持握姿势的特征,确定所述VR交互控制器将要模拟的对象;
形变参数确定模块,用于根据所述将要模拟的对象的形状和持握姿势改变前所述VR交互控制器的形状,确定所述VR交互控制器的形变参数;
形变控制模块,用于根据所述形变参数,控制所述VR交互控制器产生形变。
基于上述第二个方面,在第二个方面的第一个实施方式中,所述姿势改变确定模块包括:第一姿势改变确定子模块,用于确定所述用户由使用第一姿势持握所述VR交互控制器改变为使用第二姿势持握所述VR交互控制器;其中,所述用户使用所述第一姿势持握所述VR交互控制器时,所述VR交互控制器模拟第一对象,所述VR交互控制器的形状为所述第一对象的形状;和/或,第二姿势改变确定子模块,用于确定所述用户由未持握所述VR交互控制器改变为使用第三姿势持握所述VR交互控制器;其中,所述用户未持握所述VR交互控制器时,所述VR交互控制器的形状为初始形状。
基于上述第二个方面的第一个实施方式,在第二个方面的第一个实施方式的第一个具体实现中,所述第一姿势改变确定子模块包括:第一确定单元,用于根据空间分布的至少一感应设备,确定所述用户的姿势发生变化;第二确定单元,用于根据所述用户的姿势发生的变化,确定所述用户由使用第一姿势持握所述VR交互控制器改变为使用第二姿势持握所述VR交互控制器。
基于上述第二个方面的第一个实施方式,在第二个方面的第一个实施方式的第二个具体实现中,所述第二姿势改变确定子模块包括:第三确定单元,用于根据空间分布的至少一感应设备,确定所述用户的姿势发生变化;第四确定单元,用于根据所述用户的姿势发生的变化,确定所述用户由未持握所述VR交互控制器改变为使用第三姿势持握所述VR交互控制器。
基于上述第二个方面,或者基于上述第二个方面的第一个实施方式,或者基于上述第二个方面的第一个实施方式的任一具体实现,在第二个方面的第二个实施方式中,所述模拟对象确定模块包括:特征提取子模块,用于提取改变后的持握姿势的特征;模拟对象确定子模块,用于在一预设的对应关系集合中确定改变后的持握姿势的特征对应的模拟对象为所述VR交互控制器将要模拟的对象;其中,所述对应关系集合包括至少一特征与模拟对象的对应关系。
基于上述第二个方面,或者基于上述第二个方面的任一实施方式,或者基于上述第二个方面的任一实施方式的任一具体实现,在第二个方面的第三个实施方式中,所述形变参数确定模块包括:形变区域确定子模块,用于根据所述将要模拟的对象的形状和持握姿势改变前所述VR交互控制器的形状,确定所述VR交互控制器需要进行形变的区域;形变参数确定子模块,用于根据所述需要进行形变的区域,确定所述形变参数。
根据本申请至少一个实施例的第三个方面,提供了一种VR交互系统,所述系统包括一存储器、一处理器以及一柔性的VR交互控制器,其中,所述存储器用于存储指令;所述处理器用于执行所述指令,以执行下列步骤:
确定一用户持握所述VR交互控制器的姿势发生改变;
根据改变后的持握姿势的特征,确定所述VR交互控制器将要模拟的对象;
根据所述将要模拟的对象的形状和持握姿势改变前所述VR交互控制器的形状,确定所述VR交互控制器的形变参数;
根据所述形变参数,控制所述VR交互控制器产生形变。
本申请实施例所述的控制柔性的虚拟现实交互控制器形变的方法、装置和虚拟现实交互系统,根据用户持握姿势的改变,控制VR交互控制器的形状发生改变。从而为用户提供更加具象化的VR交互控制器,提升了用户的体验。
附图说明
图1为本申请一个实施例所述控制柔性的VR交互控制器形变的方法的流程示意图;
图2为本申请另一个实施例所述控制柔性的VR交互控制器形变的方法的流程示意图;
图3为本申请另一个实施例所述控制柔性的VR交互控制器形变的方法的流程示意图;
图4为本申请的实施例中S101或者S102的具体实现示意图;
图5为本申请的一个具体应用场景示意图;
图6为本申请另一个实施例所述控制柔性的VR交互控制器形变的方法的流程示意图;
图7为本申请另一个实施例所述控制柔性的VR交互控制器形变的方法的流程示意图;
图8为本申请一个实施例所述控制柔性的虚拟现实交互控制器形变的装置的模块结构示意图;
图9为本申请另一个实施例所述控制柔性的虚拟现实交互控制器形变的装置的模块结构示意图;
图10a为本申请一个实施例中第一姿势改变确定子模块811的结构示意图;
图10b为为本申请一个实施例中第二姿势改变确定子模块812的结构示意图;
图11为本申请另一个实施例所述控制柔性的虚拟现实交互控制器形变的装置的模块结构示意图;
图12为本申请另一个实施例所述控制柔性的虚拟现实交互控制器形变的装置的模块结构示意图;
图13为本申请一个实施例所述VR交互系统示意图。
具体实施方式
下面结合附图和实施例,对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请,但不用来限制本申请的范围。
本领域技术人员理解,在本申请的实施例中,下述各步骤的序号的大小并不意味着执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
另外,本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
图1是本申请一个实施例所述控制柔性的VR交互控制器形变的方法的流程图,如图1所示,所述方法可以包括:
S100:确定一用户持握一VR交互控制器的姿势发生改变;
S120:根据改变后的持握姿势的特征,确定所述VR交互控制器将要模拟的对象;
S140:根据所述将要模拟的对象的形状和持握姿势改变前所述VR交互控制器的形状,确定所述VR交互控制器的形变参数;
S160:根据所述形变参数,控制所述VR交互控制器产生形变。
采用本申请实施例所述的方法,根据用户持握姿势的改变,控制VR交互控制器的形状发生改变。从而为用户提供更加具象化的VR交互控制器,提升了用户的体验。
在本申请的实施例中,上述VR交互控制器可以是采用柔性材料制成的供用户与虚拟内容进行互动的硬件设备,包括但不限于:手套,操作棒,手柄,头套,或者脚套等,以下本申请的实施例简称为“柔性的VR交互控制器”。
可选的,如图2所示,上述确定所述用户持握所述VR交互控制器的姿势发生改变(S100),可以包括:
S101:确定所述用户由使用第一姿势持握所述VR交互控制器改变为使用第二姿势持握所述VR交互控制器;其中,所述用户使用所述第一姿势持握所述VR交互控制器时,所述VR交互控制器模拟第一对象,所述VR交互控制器的形状为所述第一对象的形状。
在一个可选的实施方式中,用户一开始可以使用第一姿势(例如,单手)持握一VR交互控制器(例如,操作棒),然后,或许由于虚拟现实呈现的内容的需要,用户改变为使用第二姿势(例如,双手)持握该VR交互控制器。在上述示例中,当用户使用上述单手姿势持握上述操作棒时,上述操作棒模拟的是一把手枪,因此,由柔性材料制成的操作棒的形状是手枪的形状。
可选的,如图3所示,上述确定所述用户持握所述VR交互控制器的姿势发生改变(S100),还可以包括:
S102:确定所述用户由未持握所述VR交互控制器改变为使用第三姿势持握所述VR交互控制器;其中,所述用户未持握所述VR交互控制器时,所述VR交互控制器的形状为初始形状。
在又一个可选的实施方式中,用户一开始可以是未持握任何VR交互控制器(例如,用户刚刚进入VR环境中,还未与虚拟内容进行交互),然后,用户改变为使用第三姿势(例如,单手拾起)持握该VR交互控制器。在上述示例中,当用户未持握上述VR交互控制器时,上述VR交互控制器的形状是可以为其初始的形状,例如,棒状。
可选的,如图4所示,在本申请的另一个可选实施方式中,所述S101中确定所述用户由使用第一姿势持握所述VR交互控制器改变为使用第二姿势持握所述VR交互控制器,或者上述S102中确定所述用户由未持握所述VR交互控制器改变为使用第三姿势持握所述VR交互控制器,可以包括:
S103:根据空间分布的至少一感应设备,确定所述用户的姿势发生变化;
S104:根据所述用户的姿势发生的变化,确定所述用户由使用第一姿势持握所述VR交互控制器改变为使用第二姿势持握所述VR交互控制器,或者确定所述用户由未持握所述VR交互控制器改变为使用第三姿势持握所述VR交互控制器。
在一种具体的实现中,上述至少一个感应设备可以为至少一摄像头。如图5所示,可以通过空间中分布的至少一摄像头对所述用户进行拍摄,根据所述至少一摄像头采集到的所述用户的静态画面或者动态画面;确定所述用户的姿势发生的变化。
在另一种具体的实现中,上述至少一个感应设备可以为至少一超声信号收发器,通过传感器阵列(英文全称为:Transducer Array)(例如:麦克风阵列)监听由声学共鸣器(英文全称为:AcousticResonators)(例如:麦克风)发出的超声信号在空间传播过程中遇到用户后产生的反射超声信号;由于用户姿势的变化,会影响反射超声信号的特征,例如,信号的幅度,或者相位等。因此,通过超声信号收发器接收到的反射超声信号,就可以确定所述用户的姿势发生变化。
在又一种具体的实现中,上述至少一个感应设备可以为至少一无线局域网(英文全称为Wireless Local Area Networks,简称为WLAN)信号收发器。通过无线局域网信号收发器接收到的反射无线局域网信号,就可以确定所述用户的姿势发生变化。由于原理与上述超声信号收发器的实现相类似,此处不再赘述。
可选的,如图6所示,在本申请的另一个可选实施方式中,所述S120中根据改变后的持握姿势的特征,确定所述VR交互控制器将要模拟的对象,可以包括:
S121:提取改变后的持握姿势的特征;
S122:在一预设的对应关系集合中确定改变后的持握姿势的特征对应的模拟对象为所述VR交互控制器将要模拟的对象;其中,所述对应关系集合包括至少一特征与模拟对象的对应关系。
示例性的,根据空间分布的至少一感应设备,确定了改变后的持握姿势(例如,上述第二姿势,或者上述第三姿势),就可以基于图像处理技术,提取出上述改变后的持握姿势的特征,例如,轮廓特征,或者区域特征等。
根据提取出的特征,在一预设的对应关系集合中找到该提取出的特征对应的是哪一个模拟对象。上述预设的对应关系集合可以是如下表所示的形式:
表1
上述特征向量可以用于表示用户的身体上参与持握VR交互控制器的部分(例如,用户的单手或者双手、用户的单脚或双脚、用户头部、用户躯干等)的姿势,示例性的,可以包含以下信息:轮廓(contour)的几何特征、轮廓的朝向(orientation)、轮廓的中心位置(centroid)等。
通过同一身体部分在动态画面中的变化,或者同一静态画面中多个身体部分之间的关系,和预设的特征进行对比,就可以识别出用户改变后的持握姿势。
例如,上述向量A1和上述向量B1可以分别是左手的姿势的预设特征向量和右手的预设特征向量,它们之间的相对位置关系向量为P1。因此,如果在同一静态画面中获取到用户改变持握姿势后,左手的姿势的特征向量A1’与向量A1的距离、右手的姿势的特征向量B1’和上述向量B1的距离、以及向量A1’与向量B1’的相对位置关系向量P1’与向量P1的距离均小于预定的阈值,就可以认为:用户改变持握姿势后,左手的姿势为上述向量A1表示的姿势,右手的姿势为上述向量B1表示的姿势,且左手和右手的相对位置满足预设的条件。则可以依据上表确定,用户改变后的持握姿势对应VR交互控制器模拟的对象是长枪。
又例如,上述向量0和向量B4分别是t1时刻的姿势的特征向量和t2时刻的姿势的特征向量,P4为t1时刻的姿势与t2时刻的姿势的相对位置关系向量。因此,如果从一段动态画面中获取到的用户的持握姿势改变前右手的姿势的特征向量A4’和向量0的距离、持握姿势改变后右手的姿势的特征向量B4’和向量B4的距离、以及向量B4’与向量A4’的相对位置关系向量P4’与向量P4的距离均小于预定的阈值,就可以认为:用户改变持握姿势后,右手的姿势为上述向量B4表示的姿势,和/或右手在前后两个时刻的相对位置满足预设的条件。则可以依据上表确定,用户改变后的持握姿势对应VR交互控制器模拟的对象是乒乓球拍。
在上述对应关系集合中,包括了至少一姿势的特征与模拟对象的对应关系。示例性的,这种对应关系可以是一对一的对应关系,也可以是一对多的对应关系,即:一个特征可能对应一个模拟对象,也可能对应多个模拟对象。
可选的,如果一个特征对应多个模拟对象,在最终确定所述VR交互控制器将要模拟的对象时,可以向用户提供菜单选项(例如,在用户佩戴的眼镜或头盔上投影显示该菜单选项),由用户选择或者确认所述VR交互控制器将要模拟的对象。
可选的,如图7所示,在本申请的另一个可选实施例中,上述S140中根据所述将要模拟的对象的形状和持握姿势改变前所述VR交互控制器的形状,确定所述VR交互控制器的形变参数,可以包括:
S141:根据所述将要模拟的对象的形状和持握姿势改变前所述VR交互控制器的形状,确定所述VR交互控制器需要进行形变的区域;
S142:根据所述需要进行形变的区域,确定所述形变参数。
由于在S120中已经确定了所述VR交互控制器将要模拟的对象,因此,也就确定了所述VR交互控制器将要变成什么形状。根据VR交互控制器将要变成的形状以及当前的形状(即用户的持握姿势改变前VR交互控制器的形状),就可以确定VR交互控制器的哪些区域/部分需要进行形变。根据这些需要形变的区域/部分,就可以得到形变参数。
根据得到的形变参数,就可以控制所述VR交互控制器产生形变。例如,可以通过改变施加在所述VR交互控制器上的光场、热场、电场或者磁场等,使得所述VR交互控制器产生形变。
图8是本申请一个实施例所述控制柔性的虚拟现实交互控制器形变的装置的模块结构示意图,所述装置可以是一个独立的实体设备,也可以是一个或多个芯片,一部分电路,或者一个或多个功能模块。如图8所示,所述装置可以包括:
姿势改变确定模块810,用于确定一用户持握一虚拟现实VR交互控制器的姿势发生改变;
模拟对象确定模块830,用于根据改变后的持握姿势的特征,确定所述VR交互控制器将要模拟的对象;
形变参数确定模块850,用于根据所述将要模拟的对象的形状和持握姿势改变前所述VR交互控制器的形状,确定所述VR交互控制器的形变参数;
形变控制模块870,用于根据所述形变参数,控制所述VR交互控制器产生形变。
采用本申请实施例所述的装置,根据用户持握姿势的改变,控制VR交互控制器的形状发生改变。从而为用户提供更加具象化的VR交互控制器,提升了用户的体验。
可选的,如图9所示,在一种可选的实施方式中,所述姿势改变确定模块810可以包括:
第一姿势改变确定子模块811,用于确定所述用户由使用第一姿势持握所述VR交互控制器改变为使用第二姿势持握所述VR交互控制器;其中,所述用户使用所述第一姿势持握所述VR交互控制器时,所述VR交互控制器模拟第一对象,所述VR交互控制器的形状为所述第一对象的形状;和/或
第二姿势改变确定子模块812,用于确定所述用户由未持握所述VR交互控制器改变为使用第三姿势持握所述VR交互控制器;其中,所述用户未持握所述VR交互控制器时,所述VR交互控制器的形状为初始形状。
可选的,如图10a所示,在一种可选的实施方式中,所述第一姿势改变确定子模块811可以包括:
第一确定单元811-A,用于根据空间分布的至少一感应设备,确定所述用户的姿势发生变化;
第二确定单元811-B,用于根据所述用户的姿势发生的变化,确定所述用户由使用第一姿势持握所述VR交互控制器改变为使用第二姿势持握所述VR交互控制器。
可选的,如图10b所示,在一种可选的实施方式中,所述第二姿势改变确定子模块812可以包括:
第三确定单元812-A,用于根据空间分布的至少一感应设备,确定所述用户的姿势发生变化;
第四确定单元812-B,用于根据所述用户的姿势发生的变化,确定所述用户由未持握所述VR交互控制器改变为使用第三姿势持握所述VR交互控制器。
可选的,如图11所示,在一种可选的实施方式中,所述模拟对象确定模块830可以包括:
特征提取子模块831,用于提取改变后的持握姿势的特征;
模拟对象确定子模块832,用于在一预设的对应关系集合中确定改变后的持握姿势的特征对应的模拟对象为所述VR交互控制器将要模拟的对象;其中,所述对应关系集合包括至少一特征与模拟对象的对应关系。
可选的,如图12所示,在一种可选的实施方式中,所述形变参数确定模块850可以包括:
形变区域确定子模块851,用于根据所述将要模拟的对象的形状和持握姿势改变前所述VR交互控制器的形状,确定所述VR交互控制器需要进行形变的区域;
形变参数确定子模块852,用于根据所述需要进行形变的区域,确定所述形变参数。
图13是本申请的另一实施例提供的一种VR交互系统示意图。参见图13,所述VR交互系统可以包括:
一存储器1310、一处理器1330以及一柔性的VR交互控制器1350,其中,所述存储器1310用于存储指令;所述处理器1330用于执行所述指令,以执行下列步骤:
确定一用户持握所述VR交互控制器1350的姿势发生改变;
根据改变后的持握姿势的特征,确定所述VR交互控制器1350将要模拟的对象;
根据所述将要模拟的对象的形状和持握姿势改变前所述VR交互控制器1350的形状,确定所述VR交互控制器1350的形变参数;
根据所述形变参数,控制所述VR交互控制器1350产生形变。
优选的,所述存储器1310和/或所述处理器1330可以集成在所述VR交互控制器1350上。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的控制柔性的虚拟现实交互控制器形变的装置以及VR交互系统的具体工作过程,可以参考前述方法实施例中的控制柔性的虚拟现实交互控制器形变的方法的对应过程描述,在此不再赘述。
综上,采用本申请实施例所述的VR交互系统,根据用户持握姿势的改变,控制VR交互控制器的形状发生改变。从而为用户提供更加具象化的VR交互控制器,提升了用户的体验。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,控制器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施方式仅用于说明本申请,而并非对本申请的限制,有关技术领域的普通技术人员,在不脱离本申请的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本申请的范畴,本申请的专利保护范围应由权利要求限定。

Claims (8)

1.一种控制柔性的虚拟现实交互控制器形变的方法,其特征在于,包括:
确定一用户持握一虚拟现实VR交互控制器的姿势发生改变;
根据改变后的持握姿势的特征,确定所述VR交互控制器将要模拟的对象;
根据所述将要模拟的对象的形状和持握姿势改变前所述VR交互控制器的形状,确定所述VR交互控制器的形变参数;
根据所述形变参数,控制所述VR交互控制器产生形变;
所述根据改变后的持握姿势的特征,确定所述VR交互控制器将要模拟的对象,包括:
提取改变后的持握姿势的特征;
在一预设的对应关系集合中确定改变后的持握姿势的特征对应的模拟对象为所述VR交互控制器将要模拟的对象;
其中,所述对应关系集合包括至少一特征与模拟对象的对应关系。
2.如权利要求1所述的方法,其特征在于,所述确定所述用户持握所述VR交互控制器的姿势发生改变,包括:
确定所述用户由使用第一姿势持握所述VR交互控制器改变为使用第二姿势持握所述VR交互控制器;其中,所述用户使用所述第一姿势持握所述VR交互控制器时,所述VR交互控制器模拟第一对象,所述VR交互控制器的形状为所述第一对象的形状;
或者,所述确定所述用户持握所述VR交互控制器的姿势发生改变,包括:
确定所述用户由未持握所述VR交互控制器改变为使用第三姿势持握所述VR交互控制器;其中,所述用户未持握所述VR交互控制器时,所述VR交互控制器的形状为初始形状。
3.如权利要求2所述的方法,其特征在于,所述确定所述用户由使用第一姿势持握所述VR交互控制器改变为使用第二姿势持握所述VR交互控制器,或者确定所述用户由未持握所述VR交互控制器改变为使用第三姿势持握所述VR交互控制器,包括:
根据空间分布的至少一感应设备,确定所述用户的姿势发生变化;
根据所述用户的姿势发生的变化,确定所述用户由使用第一姿势持握所述VR交互控制器改变为使用第二姿势持握所述VR交互控制器,或者确定所述用户由未持握所述VR交互控制器改变为使用第三姿势持握所述VR交互控制器。
4.如权利要求1至3中任一所述的方法,其特征在于,所述根据所述将要模拟的对象的形状和持握姿势改变前所述VR交互控制器的形状,确定所述VR交互控制器的形变参数,包括:
根据所述将要模拟的对象的形状和持握姿势改变前所述VR交互控制器的形状,确定所述VR交互控制器需要进行形变的区域;
根据所述需要进行形变的区域,确定所述形变参数。
5.一种控制柔性的虚拟现实交互控制器形变的装置,其特征在于,包括:
姿势改变确定模块,用于确定一用户持握一虚拟现实VR交互控制器的姿势发生改变;
模拟对象确定模块,用于根据改变后的持握姿势的特征,确定所述VR交互控制器将要模拟的对象;
形变参数确定模块,用于根据所述将要模拟的对象的形状和持握姿势改变前所述VR交互控制器的形状,确定所述VR交互控制器的形变参数;
形变控制模块,用于根据所述形变参数,控制所述VR交互控制器产生形变;
所述模拟对象确定模块包括:
特征提取子模块,用于提取改变后的持握姿势的特征;
模拟对象确定子模块,用于在一预设的对应关系集合中确定改变后的持握姿势的特征对应的模拟对象为所述VR交互控制器将要模拟的对象;
其中,所述对应关系集合包括至少一特征与模拟对象的对应关系。
6.如权利要求5所述的装置,其特征在于,所述姿势改变确定模块包括:
第一姿势改变确定子模块,用于确定所述用户由使用第一姿势持握所述VR交互控制器改变为使用第二姿势持握所述VR交互控制器;其中,所述用户使用所述第一姿势持握所述VR交互控制器时,所述VR交互控制器模拟第一对象,所述VR交互控制器的形状为所述第一对象的形状;和/或
第二姿势改变确定子模块,用于确定所述用户由未持握所述VR交互控制器改变为使用第三姿势持握所述VR交互控制器;其中,所述用户未持握所述VR交互控制器时,所述VR交互控制器的形状为初始形状。
7.如权利要求5或6所述的装置,其特征在于,所述形变参数确定模块包括:
形变区域确定子模块,用于根据所述将要模拟的对象的形状和持握姿势改变前所述VR交互控制器的形状,确定所述VR交互控制器需要进行形变的区域;
形变参数确定子模块,用于根据所述需要进行形变的区域,确定所述形变参数。
8.一种虚拟现实交互系统,其特征在于,所述系统包括一存储器、一处理器以及一柔性的虚拟现实VR交互控制器,其中,所述存储器用于存储指令;所述处理器用于执行所述指令,以执行下列步骤:
确定一用户持握所述VR交互控制器的姿势发生改变;
根据改变后的持握姿势的特征,确定所述VR交互控制器将要模拟的对象;
根据所述将要模拟的对象的形状和持握姿势改变前所述VR交互控制器的形状,确定所述VR交互控制器的形变参数;
根据所述形变参数,控制所述VR交互控制器产生形变;
所述根据改变后的持握姿势的特征,确定所述VR交互控制器将要模拟的对象,包括:
提取改变后的持握姿势的特征;
在一预设的对应关系集合中确定改变后的持握姿势的特征对应的模拟对象为所述VR交互控制器将要模拟的对象;
其中,所述对应关系集合包括至少一特征与模拟对象的对应关系。
CN201510992145.9A 2015-12-24 2015-12-24 控制柔性的虚拟现实交互控制器形变的方法、装置和虚拟现实交互系统 Active CN106371579B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510992145.9A CN106371579B (zh) 2015-12-24 2015-12-24 控制柔性的虚拟现实交互控制器形变的方法、装置和虚拟现实交互系统
US15/378,354 US11243606B2 (en) 2015-12-24 2016-12-14 Method and apparatus for controlling deformation of flexible virtual reality interaction controller, and virtual reality interaction system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510992145.9A CN106371579B (zh) 2015-12-24 2015-12-24 控制柔性的虚拟现实交互控制器形变的方法、装置和虚拟现实交互系统

Publications (2)

Publication Number Publication Date
CN106371579A CN106371579A (zh) 2017-02-01
CN106371579B true CN106371579B (zh) 2019-05-21

Family

ID=57880863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510992145.9A Active CN106371579B (zh) 2015-12-24 2015-12-24 控制柔性的虚拟现实交互控制器形变的方法、装置和虚拟现实交互系统

Country Status (2)

Country Link
US (1) US11243606B2 (zh)
CN (1) CN106371579B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108874125A (zh) * 2018-05-28 2018-11-23 徐州昇科源信息技术有限公司 一种虚拟皮肤表面实时力反馈交互系统
US11395232B2 (en) * 2020-05-13 2022-07-19 Roku, Inc. Providing safety and environmental features using human presence detection
US11736767B2 (en) 2020-05-13 2023-08-22 Roku, Inc. Providing energy-efficient features using human presence detection
CN113986013A (zh) * 2021-10-28 2022-01-28 广州市影擎电子科技有限公司 多感官一体化的沉浸式模拟系统及其模拟方法
CN114253421A (zh) * 2021-12-16 2022-03-29 北京有竹居网络技术有限公司 虚拟模型的控制方法、装置、终端和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7084884B1 (en) * 1998-11-03 2006-08-01 Immersion Corporation Graphical object interactions
CN101983370A (zh) * 2008-04-01 2011-03-02 皇家飞利浦电子股份有限公司 用于交互式表面的指向装置
CN103873670A (zh) * 2012-12-17 2014-06-18 联想(北京)有限公司 一种控制柔性屏形状的方法及电子设备
CN104955285A (zh) * 2014-03-26 2015-09-30 联想(北京)有限公司 一种控制电子设备的方法及电子设备
CN105094646A (zh) * 2015-08-24 2015-11-25 联想(北京)有限公司 一种电子设备的控制方法和电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6639581B1 (en) * 1995-11-17 2003-10-28 Immersion Corporation Flexure mechanism for interface device
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6924787B2 (en) * 2000-04-17 2005-08-02 Immersion Corporation Interface for controlling a graphical image
EP2385518A3 (en) * 2000-05-24 2012-02-15 Immersion Medical, Inc. Haptic devices using electroactive polymers
KR100526741B1 (ko) * 2003-03-26 2005-11-08 김시학 와이어의 장력을 이용한 위치 추적 및 반력시스템과 이를이용한 최소 절개용 수술시스템
EP3211511A1 (en) * 2013-03-15 2017-08-30 Immersion Corporation Programmable haptic peripheral
US9588586B2 (en) * 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
US10296086B2 (en) * 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7084884B1 (en) * 1998-11-03 2006-08-01 Immersion Corporation Graphical object interactions
CN101983370A (zh) * 2008-04-01 2011-03-02 皇家飞利浦电子股份有限公司 用于交互式表面的指向装置
CN103873670A (zh) * 2012-12-17 2014-06-18 联想(北京)有限公司 一种控制柔性屏形状的方法及电子设备
CN104955285A (zh) * 2014-03-26 2015-09-30 联想(北京)有限公司 一种控制电子设备的方法及电子设备
CN105094646A (zh) * 2015-08-24 2015-11-25 联想(北京)有限公司 一种电子设备的控制方法和电子设备

Also Published As

Publication number Publication date
US20170185143A1 (en) 2017-06-29
US11243606B2 (en) 2022-02-08
CN106371579A (zh) 2017-02-01

Similar Documents

Publication Publication Date Title
CN106371579B (zh) 控制柔性的虚拟现实交互控制器形变的方法、装置和虚拟现实交互系统
JP7209041B2 (ja) 姿勢および複数のdofコントローラを用いた3d仮想オブジェクトとの相互作用
CN109804334B (zh) 用于三维空间中虚拟对象的自动放置的系统和方法
KR102445364B1 (ko) 시야 주위의 시각적 아우라
CN106582012B (zh) 一种vr场景下的攀爬操作处理方法和装置
CN103793060B (zh) 一种用户交互系统和方法
CN110045816A (zh) 近眼显示器和系统
US11423624B2 (en) Mapping and localization of a passable world
CN106873767B (zh) 一种虚拟现实应用的运行控制方法和装置
KR20190054119A (ko) 웨어러블 디바이스에 의한 얼굴 모델 캡처
CN109754471A (zh) 增强现实中的图像处理方法及装置、存储介质、电子设备
KR20140043945A (ko) 이미지 기반 멀티 뷰 3d 얼굴 생성
CN103810353A (zh) 一种虚拟现实中的现实场景映射系统和方法
WO2005098517A2 (en) Horizontal perspective hand-on simulator
CN109821239A (zh) 体感游戏的实现方法、装置、设备及存储介质
CN106569605B (zh) 基于虚拟现实的控制方法和装置
JP2019121388A (ja) 仮想現実の長距離相互作用のためのシステム及び方法
CN106502401B (zh) 一种图像控制方法及装置
CN108031110A (zh) 一种基于ar技术的游戏系统
WO2018074419A1 (ja) 情報処理装置
CN110349269A (zh) 一种目标穿戴物试戴方法及系统
US8421769B2 (en) Electronic cosmetic case with 3D function
CN207198800U (zh) 一种手势识别的vr三维体验系统
JP6739539B2 (ja) 情報処理装置
CN110264568A (zh) 一种三维虚拟模型交互方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant