CN103995584B - 立体交互方法及其显示装置、操作棒和系统 - Google Patents

立体交互方法及其显示装置、操作棒和系统 Download PDF

Info

Publication number
CN103995584B
CN103995584B CN201410179098.1A CN201410179098A CN103995584B CN 103995584 B CN103995584 B CN 103995584B CN 201410179098 A CN201410179098 A CN 201410179098A CN 103995584 B CN103995584 B CN 103995584B
Authority
CN
China
Prior art keywords
information
interaction
dummy object
operation rod
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410179098.1A
Other languages
English (en)
Other versions
CN103995584A (zh
Inventor
蒋凌锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Super Technology Co Ltd
Original Assignee
深圳超多维光电子有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳超多维光电子有限公司 filed Critical 深圳超多维光电子有限公司
Priority to CN201410179098.1A priority Critical patent/CN103995584B/zh
Publication of CN103995584A publication Critical patent/CN103995584A/zh
Priority to US14/566,793 priority patent/US9483119B2/en
Application granted granted Critical
Publication of CN103995584B publication Critical patent/CN103995584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Abstract

本发明提供了一种立体交互方法,应用于立体显示装置和立体交互操作棒的交互场景中,包括:获取立体交互操作棒的运动轨迹信息;根据运动轨迹信息和显示器显示的虚拟物体的预设属性信息计算出立体交互操作棒对虚拟物体的侵略度信息;根据运动轨迹信息、侵略度信息和预设属性信息计算交互反馈信息;根据交互反馈信息控制立体交互操作棒和虚拟物体做出与虚拟物体的预设属性相匹配的反应。本发明还提供了一种立体交互显示装置、立体交互操作棒和立体交互系统。通过本发明的技术方案,在使用立体交互操作棒与立体显示屏显示的虚拟物体进行交互时,能够使操作用户感受到真实的操作触感,例如能够感受到虚拟物体的软硬度、弹性。

Description

立体交互方法及其显示装置、操作棒和系统
技术领域
本发明涉及立体显示技术领域,具体而言,涉及到一种立体交互方法、一种立体交互显示装置、一种立体交互操作棒和一种立体交互系统。
背景技术
在立体显示技术中,人机交互已经不再限制于二维空间,为了力求真实感,在三维尺度上的交互必须与视觉效果紧密结合起来。目前与立体显示的虚拟物体的交互主要有xy平面的平移和z轴深度平移,但这种交互缺乏“立体感”和真实的触感。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此,本发明的一个目的在于提出了一种立体交互方法。
本发明的另一个目的在于提出了一种立体交互显示装置。
本发明的又一个目的在于提出了一种立体交互操作棒。
本发明的再一个目的在于提出了一种立体交互系统。
为实现上述目的,根据本发明的第一方面的实施例,提出了一种立体交互方法,应用于立体显示装置和立体交互操作棒的交互场景中,包括:获取立体交互操作棒的运动轨迹信息;根据所述运动轨迹信息和显示器显示的虚拟物体的预设属性信息计算出所述立体交互操作棒对所述虚拟物体的侵略度信息;根据所述运动轨迹信息、所述侵略度信息和所述预设属性信息计算交互反馈信息;根据所述交互反馈信息控制所述立体交互操作棒和所述虚拟物体做出与所述虚拟物体的预设属性相匹配的反应。
在本实施例中,由于虚拟物体不是真实的,因此可通过程序设置该虚拟物体的属性来表示该虚拟物体的特征,该虚拟物体的预设属性可以理解为该虚拟物体的种类、软硬度、材料、形状等等。根据立体交互操作棒的运动轨迹信息可确定立体交互操作棒与虚拟物体的交集度,从而可确定立体交互操作棒对虚拟物体的侵略度信息,侵略度信息可以理解成立体交互操作棒对虚拟物体进行作用的操作信息,例如挤压程度信息、侵入程度信息、碰撞程度信息等等。在立体交互操作棒与显示装置进行交互时,交互装置根据运动轨迹信息、侵略度信息、虚拟物体的预设属性控制立体交互操作棒和虚拟物体做出与虚拟物体的预设属性相匹配的反应,立体交互操作棒的反应可以例如立体交互操作棒产生阻尼力使用户感受到阻力和/或产生作用于用户手上的压力,从而能够使用户的感受和在操作真实物体时一样。
另外,根据本发明上述实施例的立体交互方法,还可以具有如下附加的技术特征:
在上述技术方案中,优选的,所述获取立体交互操作棒的运动轨迹信息具体包括:根据所述立体交互操作棒上被触发的按键信息和所述立体交互操作棒的姿态信息获取所述立体交互操作棒的运动轨迹信息;所述根据所述运动轨迹信息、所述侵略度信息和所述虚拟物体的预设属性信息计算交互反馈信息具体包括:根据该侵略度信息和运动轨迹信息以及虚拟物体的预设属性信息确定所述立体交互操作棒对所述虚拟物体进行操作的操作类型信息,根据所述操作类型信息和侵略度信息计算出所述交互反馈信息;根据所述交互反馈信息控制所述立体交互操作棒和所述虚拟物体做出与所述操作类型和虚拟物体的预设属性相匹配的反应。
在获取了立体交互操作棒运动轨迹之后再结合虚拟物体的预设属性信息就能够知道虚拟物体被侵入的侵入程度,根据该侵略度信息和运动轨迹信息以及虚拟物体的预设属性信息就知道操作的操作类型对应侵入程度得到侵入程度信息,例如被侵入的长度信息、被挤压的程度信息、被移动的距离信息等等。基于当前场景下设计的虚拟物体的预设属性信息以及当前获取的侵略度信息和运动轨迹信息可以确定当前的操作类型信息并计算出需要控制立体交互操作棒做出哪些匹配反应的信息,即确定交互反馈信息。由于虚拟物体可以是屏幕内视差的虚拟物体和屏幕外视差的虚拟物体,因此还需要针对不同的场景对计算出的交互反馈信息进行转换,以符合当前场景,并同时能够使用户感受到真实的触感。
在上述任一技术方案中,优选的,在所述虚拟物体的预设属性为具有软硬度的弹性物体时,所述侵略度信息具体为所述虚拟物体被挤压的挤压程度信息,所述操作类型信息具体为挤压类型信息;根据所述挤压程度信息、虚拟物体的预设属性信息和所述挤压类型信息计算出的所述交互反馈信息具体为阻尼力信息和/或力反馈烈度信息;在被挤压的虚拟物体为屏幕外视差的虚拟物体时,将所述力反馈烈度信息转换成输出给所述立体交互操作棒上的力反馈单元的力反馈烈度控制信号,以使所述立体交互操作棒做出与所述操作类型和虚拟物体的预设属性相匹配的反应;或者,在被挤压的虚拟物体为屏幕内视差的虚拟物体时,将所述阻尼力信息和力反馈烈度信息分别转换成输出给所述立体交互操作棒上的阻尼发生单元的阻尼力控制信号以及力反馈单元的力反馈烈度控制信号,以使所述立体交互操作棒做出与所述操作类型和虚拟物体属性相匹配的反应。
在一种典型的场景下,立体交互操作棒试探虚拟物体的软硬度,在该场景下,虚拟物体被设计成具有软硬度的弹性物体。当立体交互操作棒对该虚拟物体进行操作时,该虚拟物体可被立体交互操作棒挤压,通过挤压程度信息、虚拟物体的预设属性信息和挤压类型信息能够确定相应的交互反馈信息,例如阻尼力信息和/或力反馈烈度信息(假设立体交互操作棒包含阻尼发生单元和力反馈单元,阻尼发生单元用于根据阻尼力信息转化的阻尼力控制信号产生确定的阻尼力,力反馈单元用于根据力反馈烈度信息转化的力反馈烈度控制信号产生确定的力反馈烈度)。
当屏幕外视差的虚拟物体被挤压时,由于立体交互操作棒的伸缩部分不可能发生伸缩,因此不能通过阻尼发生单元来产生阻尼力,只能通过力反馈单元来产生力反馈烈度,而当屏幕内视差的虚拟物体被挤压时,需要产生阻尼力和力反馈烈度,因此需要根据不同的场景将交互反馈信息转换成对应的控制信号。因此,在本实施例中,通过交互反馈信息转换的阻尼力信息和/或力反馈烈度信息能够使立体交互操作棒上的阻尼发生单元或力反馈单元执行相应的动作,使操作者感受到相应的触感,例如在阻尼发生单元产生阻力时,可感受出在挤压该虚拟物体时所受的弹力,在力反馈单元产生压力时,同样可以使操作者感受出挤压该虚拟物体时所受的弹力。
在上述任一技术方案中,优选的,在所述虚拟物体的预设属性为可发生弹性碰撞的弹性物体时,所述侵略度信息具体为所述虚拟物体的碰撞动量信息,所述操作类型信息具体为碰撞类型信息;在碰撞发生在屏幕外视差时,根据所述碰撞动量信息和所述虚拟物体的预设属性信息,所述预设属性信息为质量和硬度,计算出交互反馈信息,所述交互反馈信息为力反馈烈度信息和力反馈持续时间信息,并向所述立体交互操作棒上的力反馈单元输出力反馈烈度控制信号,以使所述立体交互操作棒做出与所述操作类型和虚拟物体属性相匹配的反应,在碰撞发生在屏幕内视差时,根据所述碰撞动量信息和所述虚拟物体的预设质量和硬度,计算出的所述交互反馈信息具体为阻尼大小信息和阻尼持续时间信息以及反馈烈度信息,并向所述立体交互操作棒上的阻尼发生单元输出阻尼力控制信号以及向所述力反馈单元输出力反馈烈度控制信号,以使所述立体交互操作棒做出与所述操作类型和虚拟物体属性相匹配的反应。
另一种典型的场景为立体交互操作棒与虚拟物体发生碰撞,根据碰撞动量信息和虚拟物体的预设质量和硬度可确定立体交互操作棒所应表现出的力反馈烈度和持续时间或者阻尼大小和阻尼持续时间,使操作者能够感受到立体交互棒与虚拟物体发生真实碰撞。
在上述任一技术方案中,优选的,在所述虚拟物体的预设属性为多层硬度物体时,所述侵略度信息具体为所述虚拟物体被侵入破坏的长度,所述操作类型信息具体为侵入破坏类型信息;所述交互反馈信息为根据预设的每层硬度与阻尼力的对应关系,计算出的当前侵入长度所对应的总阻尼力信息;在被侵入的虚拟物体在屏幕外视差时,所述总阻尼力信息包括力反馈烈度信息和力反馈持续时间信息,将所述总阻尼力信息转换成向所述立体交互操作棒上的力反馈单元输出的力反馈烈度控制信号,以使所述立体交互操作棒做出与所述操作类型和虚拟物体属性相匹配的反应,在被侵入的虚拟物体在屏幕内视差时,将所述总阻尼力信息转化成向所述立体交互操作棒上的阻尼发生单元输出阻尼力控制信号以及向所述力反馈单元输出力反馈烈度控制信号,以使所述立体交互操作棒做出与所述操作类型和虚拟物体预设属性相匹配的反应。
在又一种典型的场景中,立体交互操作棒侵入虚拟物体,例如切割虚拟物体。所述交互反馈信息包括根据侵入虚拟物体的长度以及虚拟物体在不同的长度上所表现出的硬度计算出的阻尼力信息以及力反馈烈度信息,所述交互反馈信息再经转化成对立体交互操作棒的阻尼力控制信号以及力反馈烈度控制信号,从而让操作者感受到立体交互操作棒切割物体的真实感受。
优选的,所述操作棒具有预设属性,所述虚拟物体根据交互反馈信息和操作棒的预设属性做出与操作棒的预设属性和虚拟物体的预设属性相匹配的反应。
在上述任一技术方案中,优选的,所述虚拟物体做出与所述操作类型和所述虚拟物体的预设属性相匹配的反应。在立体交互操作棒与立体显示装置进行交互时,虚拟物体也可做出与当前操作类型和该虚拟物体的预设属性相匹配的反应,以使操作者在视觉上也能够感受到虚拟物体的变化。
根据本发明第二方面的实施例,还提供了一种立体交互显示装置,用于与产生按键信息和姿态信息的立体交互操作棒进行交互,包括:显示单元,显示具有预设属性的虚拟物体;交互单元,与所述立体交互操作棒进行交互,所述交互单元获取所述立体交互操作棒的运动轨迹信息,根据所述运动轨迹信息和所述虚拟物体的预设属性信息计算出所述立体交互操作棒对所述虚拟物体的侵略度信息,根据所述运动轨迹信息、所述侵略度信息和所述预设属性信息计算出交互反馈信息,以及根据所述交互反馈信息向所述立体交互操作棒发送第一控制信号、对所述显示单元发送第二控制信号,所述立体交互操作棒接收到所述第一控制信号后做出与所述虚拟物体的预设属性相匹配的反应,所述显示单元接收到所述第二控制信号后,显示的虚拟物体对应做出与所述虚拟物体的预设属性相匹配的反应。
在本实施例中,由于虚拟物体不是真实的,因此可通过程序设置该虚拟物体的属性来表征该虚拟物体的特征,该虚拟物体的预设属性可以理解为该虚拟物体的种类、软硬度、材料、形状等等。根据立体交互操作棒的运动轨迹信息和虚拟物体的预设属性信息可确定立体交互操作棒与虚拟物体的交集度,从而可确定立体交互操作棒对虚拟物体的侵略度信息,侵略度信息可以理解成立体交互操作棒对虚拟物体进行作用的操作信息,例如挤压程度信息、侵入程度信息、碰撞程度信息等等。在立体交互操作棒与显示装置进行交互时,根据运动轨迹信息、侵略度信息、虚拟物体的预设属性得出交互反馈信息,交互反馈信息再经转化成第一控制信号和第二控制信号后使得所述立体交互操作棒和虚拟物体做出与所述虚拟物体预设属性相匹配的反应,立体交互操作棒的反应状态可以例如立体交互操作棒产生阻尼力使用户感受到阻力和/或产生作用于用户手上的压力,从而能够使用户感受到如同在操作真实物体时所感受的真实反馈信息。
另外,根据本发明上述实施例的立体交互显示装置,还可以具有如下附加的技术特征:
在上述技术方案中,优选的,所述交互单元可以包括:相对姿态计算单元,接收来自所述立体交互操作棒的按键信息和姿态信息,根据所述按键信息和姿态信息计算出所述立体交互操作棒的运动轨迹信息并将所述运动轨迹信息发送给所述侵略度计算单元和所述交互逻辑单元;侵略度计算单元,根据运动轨迹信息以及所述虚拟物体的预设属性计算出所述侵略度信息,并将所述侵略度信息发送给所述交互反馈单元和所述交互逻辑单元;交互逻辑单元,根据所述侵略度信息和所述运动轨迹信息以及所述虚拟物体的预设属性信息确定所述立体交互操作棒对所述虚拟物体进行操作的操作类型信息,并将所述操作类型信息发送给所述交互反馈单元,以及接收来自所述交互反馈单元的交互反馈信息,根据所述交互反馈信息生成所述第一控制信号和所述第二控制信号;交互反馈单元,根据所述操作类型信息、虚拟物体的预设属性信息和侵略度信息计算出所述交互反馈信息,并将所述交互反馈信息发送给所述交互逻辑单元。
在获取了立体交互操作棒运动轨迹之后就可再结合侵略度信息以及虚拟物体的预设属性信息确定虚拟物体被操作的操作类型,结合运动轨迹信息和虚拟物体的预设属性信息确定侵入程度,对应侵入程度得到侵入程度信息,例如被侵入的长度、被挤压的程度、被移动的距离等等。基于当前场景下设计的虚拟物体以及当前获取的侵略度信息和运动轨迹信息可以确定当前的操作类型信息并计算出需要控制立体交互操作棒的哪些状态,即确定交互反馈信息。由于虚拟物体可以是屏幕内视差的虚拟物体和屏幕外视差的虚拟物体,因此还需要针对不同的场景对计算出的状态反馈数据进行转换,以符合当前场景,并同时能够使用户感受到真实的触感。
在上述任一技术方案中,优选的,在所述虚拟物体的预设属性为具有软硬度的弹性物体时,所述侵略度信息具体为所述虚拟物体被挤压的挤压程度信息,所述操作类型信息具体为挤压类型信息,所述立体交互操作棒包括力反馈单元和阻尼发生单元;在被挤压的虚拟物体为屏幕外视差的虚拟物体时,所述交互逻辑单元根据交互反馈信息生成第一控制信号,所述第一控制信号为力反馈烈度控制信号,在被挤压的虚拟物体为屏幕内视差的虚拟物体时,所述交互逻辑单元根据交互反馈信息生成具体为阻尼力控制信号和力反馈烈度控制信号的第一控制信号;换句话说,在被挤压的虚拟物体为屏幕外视差的虚拟物体时,所述第一控制信号为所述交互逻辑单元将所述力反馈烈度信息转换成输出给所述立体交互操作棒上的力反馈单元的力反馈烈度控制信号,以使所述立体交互操作棒做出与所述操作类型和虚拟物体属性相匹配的反应;在被挤压的虚拟物体为屏幕内视差的虚拟物体时,所述第一控制信号为所述交互逻辑单元将所述阻尼力信息转换成输出给所述立体交互操作棒上的阻尼发生单元的阻尼力控制信号以及将所述力反馈烈度信息转换输出给所述力反馈单元的力反馈烈度控制信号,以使所述立体交互操作棒做出与所述操作类型和虚拟物体属性相匹配的反应,其中,所述力反馈单元用于根据所述力反馈烈度控制信号产生相应振幅的振动,所述阻尼发生单元用于根据所述阻尼力控制信号产生阻尼力。
在屏幕内视差时,该第一控制信号为阻尼力控制信号和力反馈烈度控制信号,在屏幕外视差时,该第一控制信号为力反馈烈度控制信号。
在一种典型的场景下,立体交互操作棒试探虚拟物体的软硬度,在该场景下,虚拟物体被设计成具有软硬度的弹性物体。当立体交互操作棒对该虚拟物体进行操作时,该虚拟物体可被立体交互操作棒挤压,此时,所述侵略度信息为挤压程度信息,通过挤压程度信息、操作类型信息确定交互反馈信息,所述交互反馈信息包括阻尼力信息和/或力反馈烈度信息(假设立体交互操作棒仅包含阻尼发生单元和力反馈单元,阻尼发生单元用于产生确定的阻尼力,力反馈单元用于产生确定的力反馈烈度)。
当屏幕外视差的虚拟物体被挤压时,由于立体交互操作棒的伸缩部分不可能发生伸缩,因此不能通过阻尼发生单元来产生阻尼力,只能通过力反馈单元来产生力反馈烈度,而当屏幕内视差的虚拟物体被挤压时,需要产生阻尼力和力反馈烈度,因此需要根据不同的场景来进行交互反馈信息的转换。因此,在本实施例中,通过挤压程度信息和挤压类型信息确定交互反馈信息,进而将所述交互反馈信息转换成能够使立体交互操作棒上的阻尼发生单元和/或力反馈单元执行相应动作的第一控制信号,使操作者感受到相应的触感,例如在阻尼发生单元产生阻力时,可感受出在挤压该虚拟物体时所受的弹力,在力反馈单元产生压力时,同样可以使操作者感受出挤压该虚拟物体时所受的弹力。
在上述任一技术方案中,优选的,在所述虚拟物体的预设属性为可发生弹性碰撞的弹性物体时,所述侵略度信息具体为所述虚拟物体的碰撞动量信息,所述操作类型信息具体为碰撞类型信息,所述立体交互操作棒包括力反馈单元和阻尼发生单元;所述交互反馈单元计算出所述立体交互操作棒与所述虚拟物体在碰撞位置上的所述碰撞动量信息,并在碰撞发生在屏幕外视差时,根据所述碰撞动量信息和所述虚拟物体的预设质量和硬度计算出的交互反馈信息具体为力反馈烈度信息和力反馈持续时间信息,或者,在碰撞发生在屏幕内视差时,根据所述碰撞动量信息和所述虚拟物体的预设质量和硬度,计算出的交互反馈信息具体为阻尼大小信息和阻尼持续时间信息以及力反馈烈度信息;在碰撞发生在屏幕外视差时,所述第一控制信号为所述交互逻辑单元根据交互反馈单元的所述力反馈烈度信息和力反馈持续时间信息向所述立体交互操作棒上的力反馈单元输出的力反馈烈度控制信号,或者,在碰撞发生在屏幕内视差时,所述第一控制信号为所述交互逻辑单元根据交互反馈单元的所述阻尼大小信息和阻尼持续时间信息以及力反馈烈度信息向所述立体交互操作棒上的阻尼发生单元输出的阻尼力控制信号以及向所述力反馈单元输出的力反馈烈度控制信号,其中,所述力反馈单元用于根据所述力反馈烈度控制信号产生相应振幅的振动,所述阻尼发生单元用于根据所述阻尼力控制信号产生阻尼力。
在屏幕内视差时,该第一控制信号为阻尼力控制信号和力反馈烈度控制信号,在屏幕外视差时,该第二控制信号为力反馈烈度控制信号。
在上述任一技术方案中,优选的,在所述虚拟物体的预设属性为多层硬度物体时,所述侵略度信息具体为所述虚拟物体被侵入破坏的长度,所述操作类型信息具体为侵入破坏类型信息,所述立体交互操作棒包括力反馈单元和阻尼发生单元;所述交互反馈单元根据预设的每层硬度与阻尼力的对应关系,计算当前侵入长度所对应的总阻尼力信息,所述总阻尼力信息为所述交互反馈信息;在被侵入的虚拟物体在屏幕外视差时,所述第一控制信号为所述交互逻辑单元将所述总阻尼力信息转换成力反馈烈度信息和力反馈持续时间信息后向所述立体交互操作棒上的力反馈单元输出的力反馈烈度控制信号,在被侵入的虚拟物体在屏幕内视差时,所述第一控制信号为所述交互逻辑单元根据所述总阻尼力信息向所述立体交互操作棒上的阻尼发生单元输出的阻尼力控制信号以及向所述力反馈单元输出的力反馈烈度控制信号,其中,所述力反馈单元用于根据所述力反馈烈度控制信号产生相应振幅的振动,所述阻尼发生单元用于根据所述阻尼力控制信号产生阻尼力。
在屏幕内视差时,该第一控制信号为阻尼力控制信号和力反馈烈度控制信号,在屏幕外视差时,该第二控制信号为力反馈烈度控制信号。
在上述任一技术方案中,优选的,所述显示单元根据所述第二控制信号使所述虚拟物体做出与所述操作类型和所述虚拟物体的预设属性相匹配的反应。在立体交互操作棒与立体显示装置进行交互时,虚拟物体也可做出与当前操作类型和该虚拟物体的预设属性相匹配的反应,以使操作者在视觉上也能够感受到虚拟物体的变化。
根据本发明的第三方面的实施例的,提供了一种立体交互操作棒,包括:状态反馈单元,接收来自如上述任一技术方案中所述的立体交互显示装置的第一控制信号,所述立体交互操作棒根据接收到的所述第一控制信号做出与虚拟物体的预设属性相匹配的反应。
立体交互操作棒的状态根据具体操作过程以及虚拟物体的属性来变化,从而使手持该立体交互操作棒的用户能够感受到相应的操作状态,得到真实的触感,提升操作体验。
在上述技术方案中,优选的,所述状态反馈单元包括但不限于:阻尼发生单元,用于根据所述第一控制信号产生阻尼力;力反馈单元,用于根据所述第一控制信号产生相应振幅的振动。
根据本发明的第四方面的实施例,还提供了一种立体交互系统,包括:如上述任一技术方案中所述的立体交互操作棒;以及如上述任一技术方案中所述的立体交互显示装置。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1示出了根据本发明的一个实施例的立体交互方法的示意流程图;
图2示出了根据本发明的一个实施例的立体交互显示装置的示意图;
图3A示出了根据本发明的一个实施例的立体交互操作棒相对于立体显示屏的姿态和空间位置示意图;
图3B示出了根据本发明的一个实施例的立体交互操作棒相对于立体显示屏的姿态和空间位置示意图;
图4A和图4B示出了根据本发明的一个实施例的立体交互操作棒与具有不同软硬度的弹性虚拟物体在屏幕内视差进行交互时的示意图;
图4C和图4D示出了根据本发明的一个实施例的立体交互操作棒与具有不同软硬度的弹性虚拟物体在屏幕外视差进行交互时的示意图;
图4E示出了根据本发明的一个实施例的立体交互操作棒与弹性虚拟物体进行挤压产生的压力示意图;
图5A和图5B示出了根据本发明的一个实施例的立体交互操作棒采用不同运动速度与虚拟物体在屏幕外视差进行碰撞时的示意图;
图5C和图5D示出了根据本发明的一个实施例的立体交互操作棒采用不同运动速度与虚拟物体在屏幕内视差进行碰撞时的示意图;
图5E示出了根据本发明的一个实施例的立体交互操作棒与虚拟物体在屏幕外视差进行碰撞时的示意图;
图6A示出了根据本发明的一个实施例的屏幕外视差物体破坏型交互的示意图;
图6B和图6C示出了根据本发明的一个实施例的屏幕内视差物体破坏型交互的示意图;
图6D示出了根据本发明的又一实施例的立体交互操作棒对虚拟物体进行破坏型交互的示意图;
图7示出了根据本发明的另一实施例的立体交互操作棒的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不限于下面公开的具体实施例的限制。
实施方式一
图1示出了根据本发明的一个实施例的立体交互方法的示意流程图。
如图1所示,根据本发明的实施例的立体交互方法,包括以下步骤:步骤102,获取立体交互操作棒的运动轨迹信息;步骤104,根据运动轨迹信息和显示器显示的虚拟物体的预设属性信息计算出立体交互操作棒对虚拟物体的侵略度信息;步骤106,根据运动轨迹信息、侵略度信息和预设属性信息计算交互反馈信息;步骤108,根据交互反馈信息控制立体交互操作棒和虚拟物体做出与虚拟物体的预设属性相匹配的反应。
在本实施例中,由于虚拟物体不是真实的,因此可通过程序设置该虚拟物体的属性来表征该虚拟物体的特征,该虚拟物体的预设属性可以理解为该虚拟物体的种类、软硬度、材料、形状等等。根据立体交互操作棒的运动轨迹信息可确定立体交互操作棒与虚拟物体的交集度,从而可确定立体交互操作棒对虚拟物体的侵略度信息,侵略度信息可以理解是立体交互操作棒对虚拟物体进行作用的操作信息,例如挤压程度信息、侵入程度信息、碰撞程度信息等等。在立体交互操作棒与显示装置进行交互时,根据运动轨迹信息、侵略度信息、虚拟物体的预设属性确定交互反馈信息来生成对应的控制信号以控制立体交互操作棒的状态和虚拟物体的状态,即使得立体交互操作棒和虚拟物体做出相应的反应,立体操作棒的反应综合了立体操作棒本身的运动属性和虚拟物体的属性,从而使得最终反馈给操作者的感受是和操作棒以及虚拟物体的预设属性相一致的反应,极大的提高了用户操作的沉浸感、真实感。立体交互操作棒的反应状态可以例如立体交互操作棒产生的阻尼力和压力,使用户感受到阻力和/或产生作用于用户手上的压力,且这种阻尼力和/或压力的感受和操作真实物体变化到某一状态的感受大致相当,从而能够使用户感受到如同在操作真实物体时所感受到的真实反馈信息。
另外,根据本发明上述实施例的立体交互方法,还可以具有如下附加的技术特征:
在上述技术方案中,优选的,获取立体交互操作棒的运动轨迹信息具体包括:根据立体交互操作棒上被触发的按键信息和立体交互操作棒的姿态信息获取立体交互操作棒的运动轨迹信息;根据运动轨迹信息、侵略度信息和虚拟物体的预设属性信息计算交互反馈信息具体包括:根据该侵略度信息和运动轨迹信息以及虚拟物体的预设属性信息确定所述立体交互操作棒对所述虚拟物体进行操作的操作类型信息,根据所述操作类型信息和侵略度信息计算出所述交互反馈信息;根据所述交互反馈信息控制所述立体交互操作棒和所述虚拟物体做出与所述操作类型和虚拟物体的预设属性相匹配的反应。其中,所述操作类型信息是指根据运动轨迹信息、侵略度信息和虚拟物体的预设属性信息综合判断得出的操作棒针对虚拟物体进行的操作信息,例如:综合判断得出挤压操作信息、碰撞型操作信息、侵入性操作信息等。
在获取了立体交互操作棒运动轨迹之后,就可根据运动轨迹信息和虚拟物体的预设属性信息确定侵略度信息,根据侵略度信息和运动轨迹信息以及虚拟物体的预设属性信息确定所述立体交互操作棒对所述虚拟物体进行操作的操作类型信息,例如被侵入的长度、被挤压的程度、被移动的距离等等。换句话说,基于当前场景下设计的虚拟物体以及当前获取的侵略度信息可以确定当前的操作类型信息,根据操作类型信息和侵略度信息确定交互反馈信息,再将交互反馈信息转换成使立体交互操作棒做出与当前确定的操作类型以及虚拟物体的预设属性匹配的反应的控制信号,例如在虚拟物体的预设属性为弹性物体,并且当前确定的操作类型是挤压弹性物体时,操作者在操作力交互操作棒时,能够感受到挤压真实物体时所受到的反弹力。进一步的,所述操作棒上设置有力反馈单元和阻尼发生单元,该反弹力的效果可用操作棒上阻尼发生单元产生的阻尼力以及力反馈单元产生的力反馈来体现,因此根据本发明的立体交互方法并不是简单的交互操作,而是能够根据立体交互操作棒当前对虚拟物体的操作类型以及被操作的虚拟物体的预设属性使立体交互操作棒和虚拟物体做出相匹配的反应,让用户能够有直观的触觉感受,模拟真实操作环境,提高用户体验。并且由于虚拟物体可以是屏幕内视差的虚拟物体和屏幕外视差的虚拟物体,因此需将交互反馈信息针对不同的场景进行转换并生成对应的控制信号,以符合当前场景,并同时能够使用户感受到真实的触感。
优选的,所述操作棒具有预设属性,所述预设属性可以是例如操作棒的质量等信息,所述虚拟物体根据交互反馈信息和操作棒的预设属性做出与操作棒的预设属性和虚拟物体的预设属性相匹配的反应。
在上述任一技术方案中,优选的,在所述虚拟物体的预设属性为具有软硬度的弹性物体时,所述侵略度信息具体为所述虚拟物体被挤压的挤压程度信息,所述操作类型信息具体为挤压类型信息;根据所述挤压程度信息和所述挤压类型信息计算出的所述交互反馈信息具体为阻尼力信息和/或力反馈烈度信息;在被挤压的虚拟物体为屏幕外视差的虚拟物体时,将所述力反馈烈度信息转换成输出给所述立体交互操作棒上的力反馈单元的力反馈烈度控制信号,以使所述立体交互操作棒做出与所述操作类型和虚拟物体的预设属性相匹配的反应;或者,在被挤压的虚拟物体为屏幕内视差的虚拟物体时,将所述阻尼力信息和力反馈烈度信息分别转换成输出给所述立体交互操作棒上的阻尼发生单元的阻尼力控制信号以及力反馈单元的力反馈烈度控制信号,以使所述立体交互操作棒做出与所述操作类型和虚拟物体属性相匹配的反应。
在一种典型的场景下,立体交互操作棒试探虚拟物体的软硬度,在该场景下,虚拟物体被设计成具有软硬度的弹性物体。当立体交互操作棒对该虚拟物体进行操作时,该虚拟物体可被立体交互操作棒挤压,所述侵略度信息即为所述挤压程度信息,通过挤压程度信息、运动轨迹信息和虚拟物体的预设属性信息确定相应的交互反馈信息,例如阻尼力信息和/或力反馈烈度信息。例如,立体交互操作棒包含阻尼发生单元和力反馈单元,阻尼发生单元用于产生确定的阻尼力,力反馈单元用于产生相应振幅的振动,则所述阻尼力信息和/或力反馈烈度信息备被转换成相应的阻尼力控制信号和/或力反馈烈度控制信号,使得对应的阻尼发生单元对应产生阻尼力,力反馈单元对应产生力反馈烈度。
当屏幕外视差的虚拟物体被挤压时,由于立体交互操作棒的伸缩部分不可能发生伸缩,因此不能通过阻尼发生单元来产生阻尼力,只能通过力反馈单元来产生力反馈烈度,而当屏幕内视差的虚拟物体被挤压时,需要产生阻尼力和力反馈烈度,因此需要根据不同的场景来对交互反馈信息进行转换。在本实施例中,通过挤压程度信息和挤压类型信息确定交互反馈信息,所述交互反馈信息经转换成相应的控制信号后使得立体交互操作棒上的阻尼发生单元和/或力反馈单元执行相应的动作,使操作者感受到相应的触感,例如在阻尼发生单元产生阻力时,可感受出在挤压该虚拟物体时所受的弹力,在力反馈单元产生压力时,同样可以使操作者感受出挤压该虚拟物体时所受的弹力。
在上述任一技术方案中,优选的,在所述虚拟物体的预设属性为可发生弹性碰撞的弹性物体时,所述侵略度信息具体为所述虚拟物体的碰撞动量信息,所述操作类型信息具体为碰撞类型信息;在碰撞发生在屏幕外视差时,所述交互反馈信息包括根据所述碰撞动量信息和所述虚拟物体的预设质量和硬度计算出的力反馈烈度信息和力反馈持续时间信息,所述交互反馈信息经转换后生成向所述立体交互操作棒上的力反馈单元输出的力反馈烈度控制信号,以使所述立体交互操作棒做出与所述操作类型和虚拟物体属性相匹配的反应;在碰撞发生在屏幕内视差时,所述交互反馈信息包括根据所述碰撞动量信息和所述虚拟物体的预设质量和硬度计算出的阻尼大小信息和阻尼持续时间信息以及反馈烈度信息,所述交互反馈信息经转换后生成向所述立体交互操作棒上的阻尼发生单元输出的阻尼力控制信号以及向所述力反馈单元输出的力反馈烈度控制信号,以使所述立体交互操作棒做出与所述操作类型和虚拟物体属性相匹配的反应。
另一种典型的场景为立体交互操作棒与虚拟物体发生碰撞,所述侵略度信息为碰撞动量信息,所述操作类型为碰撞类型信息,根据碰撞动量信息和碰撞类型信息确定立体交互操作棒的交互反馈信息,所述交互反馈信息为力反馈烈度信息、力反馈持续时间信息和/或阻尼大小信息和阻尼持续时间信息,所述交互反馈信息被转换成相应的控制信号使得所述操作棒和虚拟物体产生与所述虚拟物体的预设属性相匹配的反应后,让操作者感受到立体交互棒与虚拟物体发生真实碰撞。
在上述任一技术方案中,优选的,在所述虚拟物体的预设属性为多层硬度物体时,所述侵略度信息具体为所述虚拟物体被侵入破坏的长度,所述操作类型信息具体为侵入破坏类型信息;所述交互反馈信息包括根据预设的每层硬度与阻尼力的对应关系计算出的当前侵入长度所对应的总阻尼力信息,所述总阻尼力信息包括力反馈烈度信息和力反馈持续时间信息;在被侵入的虚拟物体在屏幕外视差时,所述总阻尼力信息被转换,向所述立体交互操作棒上的力反馈单元输出的力反馈烈度控制信号,以使所述立体交互操作棒做出与所述操作类型和虚拟物体属性相匹配的反应,在被侵入的虚拟物体在屏幕内视差时,所述总阻尼力信息包括力反馈烈度信息、力反馈持续时间信息、阻尼力信息和阻尼力持续时间信息,所述总阻尼力信息被转换成向所述立体交互操作棒上的阻尼发生单元输出的阻尼力控制信号以及向所述力反馈单元输出的力反馈烈度控制信号,以使所述立体交互操作棒做出与所述操作类型和虚拟物体属性相匹配的反应。进一步的,所述虚拟物体也做出与所述操作类型和虚拟物体预设属性相匹配的反应。
在又一种典型的场景中,立体交互操作棒侵入虚拟物体,例如切割虚拟物体。所述操作类型信息为切割类型信息,所述侵略度信息为侵入虚拟物体的长度信息,所述交互反馈信息包括根据侵入虚拟物体的长度信息、运动轨迹信息以及虚拟物体在不同的长度上所表现出的硬度的预设属性信息,计算出的立体交互操作棒所应表现出的阻尼力信息以及力反馈烈度信息,所述交互反馈信息经转换成相应的控制信号后,从而使操作者感受到立体交互操作棒切割物体的真实感受。
实施方式二
图2示出了根据本发明的一个实施例的立体交互显示装置的示意图。
如图2所示,立体交互操作棒200A与立体交互显示装置200B之间可进行数据通信,且立体交互操作棒200A可产生按键信息和姿态信息。所述按键信息可具体为抓取、确定、取消等信息。
立体交互显示装置200B包括:用于显示虚拟图像的显示单元(该显示单元包括立体显示驱动单元212和3D立体显示器214);与立体交互操作操作棒和显示单元进行交互的交互单元。
所述交互单元获取所述立体交互操作棒的运动轨迹信息,根据所述运动轨迹信息和所述虚拟物体的预设属性信息计算出所述立体交互操作棒对所述虚拟物体的侵略度信息,根据所述运动轨迹信息、所述侵略度信息和所述预设属性信息计算出交互反馈信息,以及根据所述交互反馈信息向所述立体交互操作棒发送第一控制信号、对所述显示单元发送第二控制信号,所述立体交互操作棒接收到所述第一控制信号后做出与所述虚拟物体的预设属性相匹配的反应,所述显示单元接收到所述第二控制信号后,显示的虚拟物体对应做出与所述虚拟物体的预设属性相匹配的反应。
进一步的,交互单元包括相对姿态计算单元202、侵略度计算单元204、交互逻辑单元208、交互反馈单元206、视差计算器210。显而易见,所述交互单元还可通过别的表述来体现其所包含的内容,在此基础上做的各种变种表述,都在本发明揭露和保护的范围内。
相对姿态计算单元202接收来自立体交互操作棒的按键信息和姿态信息,根据按键信息和姿态信息计算出立体交互操作棒的运动轨迹信息并将运动轨迹信息发送给侵略度计算单元204和交互逻辑单元208。
侵略度计算单元204根据运动轨迹信息以及虚拟物体的预设属性计算出侵略度信息,并将侵略度信息发送给交互反馈单元206和交互逻辑单元208。
交互逻辑单元208根据侵略度信息和运动轨迹信息以及虚拟物体的预设属性信息确定立体交互操作棒对虚拟物体进行操作的操作类型信息,并将操作类型信息发送给交互反馈单元206,以及接收来自交互反馈单元206的交互反馈信息,根据交互反馈信息生成上述第一控制信号和第二控制信号。
交互反馈单元206根据操作类型信息和侵略度信息计算出交互反馈信息,并将交互反馈信息发送给交互逻辑单元208。
其中,所述操作类型信息是指根据运动轨迹信息、侵略度信息和虚拟物体的预设属性信息综合判断得出的立体交互操作棒针对虚拟物体进行的操作信息,例如:综合判断得出挤压操作信息、碰撞型操作信息、侵入性操作信息等。
第一控制信号包括力反馈烈度控制信号和/或阻尼力控制信号。第二控制信号为发送给显示单元的显示命令。
立体交互操作棒200A包括力反馈单元216、阻尼发生单元218和伸缩程度检测单元220。立体交互操作棒200A将产生的按键信息和姿态信息发送给立体交互显示装置200B。力反馈单元216负责响应立体交互显示装置200B发送的力反馈烈度控制信号。阻尼发生单元218负责响应立体交互显示装置200B发送的阻尼力控制信号。手持该立体交互操作棒的用户能够感受到力反馈单元216产生的压力和阻尼发生单元218产生的阻尼力。
在立体交互操作棒与虚拟物体进行交互时,立体交互显示装置根据虚拟物体的预设属性、侵略度信息以及立体交互操作棒当前对虚拟物体的操作类型信息确定交互反馈信息,交互反馈信息经交互逻辑单元转换成相应的第一控制信号和第二控制信号,第一控制信号使得立体交互操作棒的阻尼发生单元和力反馈单元执行相应的动作,从而使手持该立体交互操作棒的操作者感受到真实的操作触感,第二控制信号使得虚拟物体做出相应变化状态的显示。
相对姿态计算单元202根据来自立体交互操作棒的按键信息和姿态信息计算出立体交互操作棒的运动轨迹信息主要有以下两种方式。
一种方式如图3A所示,通过针对立体交互操作棒定位的超声波定位或者深度摄像头定位系统等手段获取立体交互操作棒某个预设点的空间坐标(x0,y0,z0),通过安装于立体交互操作棒上的三轴陀螺仪、加速度计和磁力计构成的捷联惯导系统获取立体交互操作棒相对于地平面的姿态;通过安装于立体交互显示装置上的三轴陀螺仪、加速度计和磁力计构成的捷联惯导系统获取3D显示器屏幕相对于地平面的姿态。该姿态可以以横滚角度roll、俯仰角度pitch以及航偏角yaw来表示,亦可用方向余弦矩阵和四元数来表示,具体的数据输出与所利用的捷联惯导系统的算法有关。但无论用哪种表达方式,都可以很方便的用于之后的姿态融合。这些数据在被转换并置于对地的坐标系内以后,可以直接用于相关的图形演算,即已经获取立体交互操作棒实时的正确的位置和姿态。
另一种方式如图3B所示,通过针对立体交互操作棒定位的超声波定位或者深度摄像头定位系统等手段获取立体交互操作棒相隔距离L的2个预设点的空间坐标(x1,y1,z1)和(x2,y2,z2)。由于这种获取坐标的接收或者发射部分是根据特殊的几何位置设计并安装于3D显示屏幕上的,所以得出的坐标已经是相对于3D显示屏幕平面的坐标,再根据立体交互操作棒上2个点的真实距离L代入对应的坐标系,实质上得到的是立体交互操作棒的空间矢量,可以直接用于相关的图形演算,即已经获取立体交互操作棒正确的位置和姿态。
在获取了立体交互操作棒的运动轨迹信息之后,下面结合三种典型的场景来详细说明根据本发明的立体交互显示装置的工作过程。
第一种典型的场景,立体交互操作棒与具有软硬度的弹性虚拟物体进行交互。
图4A和图4B示出了根据本发明的一个实施例的立体交互操作棒与具有不同软硬度的弹性虚拟物体在屏幕内视差进行交互时的示意图。
在本场景中,虚拟物体的预设属性是具有软硬度的弹性物体,侵略度信息具体为该虚拟物体被挤压的挤压程度信息,操作类型信息具体为挤压类型信息。操作者使用立体交互操作棒在屏幕内视差运动,立体交互操作棒的伸缩装置会发生缩进,屏幕内显示立体交互操作棒的延伸部分。当立体交互操作棒延伸至屏幕内的部分与虚拟物体接触时,侵略度计算单元204根据来自相对姿态计算单元202的运动轨迹信息计算立体交互操作棒当前对虚拟物体的挤压程度信息,并将该挤压程度信息发送至交互反馈单元206。
需说明的是,由于虚拟物体的空间位置和立体交互操作棒的空间位置以及姿态均已确认,可以容易地得出立体交互操作棒在空间位置上对虚拟物体的挤压程度信息,这个挤压程度信息可以根据交互的情形产生不同的作用:
若设定的虚拟物体为线性弹性物体,在没有发生形变时的挤压深度为Pmin,该虚拟物体最大挤压深度为Pmax,根据相对姿态计算单元202传送来的立体交互操作棒的空间坐标与姿态计算出当前的挤压深度为Px,则有当前虚拟物体的挤压程度信息P=(Px/Pmax)×100%,其数值为一个百分比参数,如图4E所示,然后这个数值将传送给交互反馈单元206。
若设定的虚拟物体为非线性弹性物体,则挤压程度信息P可以设定为一个和Px有关的函数,具体的函数可根据实际应用进行设置,在此不在赘述。
交互反馈单元206接收来自交互逻辑单元208的挤压类型信息(操作类型信息具体到本实施例为挤压类型信息)以及接收来自侵略度计算单元204的挤压程度信息P,根据该挤压类型信息将该挤压程度信息P乘以阻尼发生单元218的最大阻尼以及力反馈单元216的最大振幅可以得出交互反馈信息即当前所需的阻尼力信息和力反馈烈度信息,并将阻尼力信息和力反馈烈度信息发送给交互逻辑单元208。
交互逻辑单元208根据挤压程度信息和运动轨迹信息以及虚拟物体的预设属性信息确定立体交互操作棒对该虚拟物体进行操作的操作类型信息(在本实施例中为挤压类型信息),并将该操作类型信息发送给交互反馈单元206。交互逻辑单元208将交互反馈信息中的阻尼力信息和交互反馈信息中的力反馈烈度信息转换并生成第一控制信号,交互逻辑单元同时根据运动轨迹信息、侵略度信息和虚拟物体的预设属性信息生成第二控制信号,其中第一控制信号(阻尼力控制信号和力反馈烈度控制信号)发送给立体交互操作棒,使立体交互操作棒做出相应反应,将第二控制信号发送给显示单元,使显示的虚拟物体做出相应变化。进一步的,所述操作棒具有预设属性,交互逻辑单元同时根据运动轨迹信息、侵略度信息和虚拟物体的预设属性信息和操作棒的预设属性信息生成第二控制信号,使得虚拟物体做出的反应更加符合操作者的操作。换句话说,所述操作棒具有预设属性,交互逻辑单元同时根据交互反馈信息、虚拟物体的预设属性信息和操作棒的预设属性信息生成第二控制信号,使得虚拟物体做出的反应更加符合操作者的操作。
上述相应反应为:被挤压的虚拟物体会发生形变,随着形变的程度加深,立体交互操作棒的伸缩部分的阻尼发生单元218所产生的阻尼以及力反馈单元产生的力反馈烈度也会相应增加。若设定的虚拟物体被挤压至不能再被挤压,立体交互操作棒的伸缩装置会被阻尼发生单元218钳住不能再缩进。
因此,当立体交互操作棒延伸至屏幕内的部分与虚拟物体接触时,立体交互操作棒的阻尼发生单元218产生阻尼力,在用户继续推挤该虚拟物体时,阻尼力持续增加,从而产生对物体硬度的感知体验,用户能从触感上体验到推挤不同硬度的物体的感受。同时立体交互操作棒上的力反馈单元216也会同时工作,对皮肤产生对应的压力反馈,以提高操作真实度。图4A所示的虚拟物体的硬度高于和图4B所示的虚拟物体的硬度,因此在图4A中的立体交互操作棒的阻尼力高于在图4B中的立体交互操作棒的阻尼力。
图4C和图4D示出了根据本发明的另一个应用场景的立体交互操作棒与具有不同软硬度的弹性虚拟物体在屏幕外视差进行交互时的示意图。
在屏幕外视差进行交互时,根据本发明的立体交互显示装置的处理过程与上述发生在屏幕内视差的处理过程类似,区别在于:如果是屏幕外视差的虚拟物体被挤压,立体交互操作棒的伸缩部分没有发生伸缩,则无法通过阻尼发生单元218给与操作者阻尼感。因此,交互反馈单元206所计算出来交互反馈信息仅有力反馈烈度信息。交互逻辑单元208根据该力反馈烈度信息生成的第一控制信号力反馈烈度控制信号,并将该力反馈烈度控制信号发送至立体交互操作棒上的力反馈单元216,力反馈烈度反映在力反馈单元216上的意义在于对皮肤产生的压感,其阻尼力和压感成正比。由于现有的力反馈单元216的作用原理所限,不管是偏心马达还是人工肌肉这样的器件,也不可能一直给予皮肤一个持续增加的压感,所以力反馈单元216将以一个连续高频振动的方式给予人皮肤接触面压感的触觉,这个高频振动的振幅正比于其压感。
因此,交互逻辑单元208将把力反馈烈度信息转化为一段连续的用于力反馈单元216的第一控制信号,并将该控制信号发送给立体交互操作棒,使得立体交互操作棒做出与虚拟物体的预设属性相匹配的反应。
操作者使用立体交互操作棒在屏幕外视差运动,当立体交互操作棒与该虚拟物体接触时,用户在继续进行推挤该虚拟物体的时候,会因为力反馈单元216对皮肤产生的压感而获得对物体硬度的感知体验,用户能从触感上体验到不同硬度下推挤物体的感受。如图4C和图4D所示,图4C中的虚拟物体的硬度高于图4D中的虚拟物体的硬度,因此在图4C中立体交互操作棒的力反馈单元216产生的压力大于在图4D中立体交互操作棒的力反馈单元216产生的压力。并且被挤压的虚拟物体会发生形变,随着形变的程度加深,力反馈单元216对皮肤的压感也会相应的增加。
第二种典型的场景,立体交互操作棒与虚拟物体进行弹性碰撞。
在本场景中,虚拟物体的预设属性为可发生弹性碰撞的弹性物体。
本场景中,在碰撞发生在屏幕内视差时,侵略度信息为侵略度计算单元204根据该虚拟物体的预设属性和碰撞轨迹计算出的碰撞动量信息,并将该碰撞动量信息发送给交互反馈单元206和交互逻辑单元208。侵略度计算单元204根据实时检测的立体交互操作棒的轮廓和虚拟物体的轮廓的重合情况来确定侵略度信息。虚拟物体的轮廓被预先设定,立体交互操作棒的轮廓根据立体交互操作棒反馈的预设点坐标和预先知道的立体交互操作棒外形尺寸来运算得到。
本实施例中交互反馈单元206根据虚拟物体的质量、硬度和动量值来计算出的交互反馈信息具体包括阻尼大小信息和阻尼持续时间信息以及力反馈烈度信息,该阻尼大小信息和力反馈持续时间信息以及力反馈烈度信息与虚拟物体的质量、硬度之间的具体关系同样可通过实际场景的测试来获取,并将阻尼大小信息和阻尼持续时间信息以及力反馈烈度信息发送至交互逻辑单元208,交互逻辑单元208根据该阻尼大小信息和力反馈持续时间信息向立体交互操作棒发送第一控制信号,交互逻辑单元208还同时向显示单元发送第二控制信号。优选实施例中,所述操作棒预设有预设属性,交互逻辑单元208根据虚拟物体的预设属性、运动轨迹信息和操作棒的预设属性信息生成第二控制信号。
也就是说,侵略度计算单元204运算立体交互操作棒在发生碰撞的位置对虚拟物体的碰撞动量信息,以便交互逻辑单元208对碰撞物理过程进行模拟,以及将过去一段时间立体交互操作棒的运动轨迹信息保存下来,在确定了碰撞位置以后,该侵略度计算单元204对立体交互操作棒的运动轨迹和预设的立体交互操作棒三维模型以及预设的操作棒质量参数进行综合运算,将碰撞点的线速度矢量计算出来。如图5E所示,假设检测到碰撞的坐标采样时间为Tn,所设定的保存运动轨迹的坐标数量为m,那么在计算动量的矢量时,要根据立体交互操作棒的应用场景在Tn-1、Tn-2……Tn-m的点中来确定一个合适的采样点来计算动量。
如果采样点的间隔太短,则可能因为采样到的坐标上的随机误差导致最终的结果不精确;如果间隔的时间太长,则可能算出来的结果不符合碰撞结束时刻的真实情况。一般地,用以计算动量的时间间隔选200~500ms之间是比较合适的。
在确定了计算动量的采样位置后,通过2个碰撞点的空间坐标得出其向量矩阵,这个向量的方向即碰撞的方向,将其模值对采样间隔时间求导即得到碰撞点的线速度,将该线速度与立体交互操作棒预设的质量相乘即得到动量,将其结果传送给交互逻辑单元208。
交互逻辑单元208根据来自相对姿态计算单元202的运动轨迹信息、来自侵略度计算单元204的碰撞动量信息和可发生弹性碰撞的物体属性计算出当前的操作类型信息为碰撞类型信息,并将该碰撞类型信息发送给交互反馈单元206。该交互逻辑单元208还用于根据阻尼大小信息和阻尼持续时间信息以及力反馈烈度信息向立体交互操作棒上的力反馈单元216输出第一控制信号(即力反馈烈度控制信号);该交互逻辑单元208还同时向显示单元发送第二控制信号,显示虚拟物体被碰撞变化的效果。
在碰撞发生在屏幕外视差时,根据本发明的立体交互显示装置的处理过程与上述发生在屏幕内视差的处理过程类似,区别在于:发生屏幕外视差的弹性碰撞不需要考虑阻尼大小信息和阻尼持续时间,即立体交互操作棒上的阻尼发生单元218无需动作,在此不再赘述。
总之,若发生屏幕外视差的弹性碰撞:
立体交互操作棒的伸缩部分不会发生伸缩,此时仅有立体交互操作棒上的力反馈单元216进行动作。当发生碰撞时,交互逻辑单元208会根据碰撞的烈度给立体交互操作棒发送力反馈烈度控制信号。碰撞烈度越大,力反馈的力度就越大,反之亦然。
因此,当立体交互操作棒在屏幕外运动时,若与屏幕外视差虚拟物体发生碰撞,则会根据此前立体交互操作棒的运动速度以及所设定的虚拟物体的质量显示碰撞过程。若虚拟物体被碰撞后进入了屏幕内视差,则显示部分会进行相应的转换。在碰撞时,立体交互操作棒的力反馈单元216会给予操作者相应的力反馈,提高碰撞的真实感。
如图5A和图5B所示,在图5A中的立体交互操作棒的运动速度小于在图5B中的立体交互操作棒的运动速度,在同一虚拟物体的条件下,立体交互操作棒上的力反馈单元216给予操作者的力反馈是不相同的。
若发生屏幕内视差的弹性碰撞:
当用户将立体交互操作棒的伸缩部分接触到屏幕并继续深入时,立体交互操作棒的伸缩部分会进行缩进。此时,根据所获取的立体交互操作棒姿态和位置以及伸缩部分的伸缩程度,显示立体交互操作棒延伸部分。
当立体交互操作棒在屏幕内运动时,若与屏幕内视差虚拟物体发生碰撞,则会根据此前立体交互操作棒伸缩部分的运动速度以及虚拟物体所设定的质量进行碰撞,并显示其过程。若物体被碰撞后越界出了屏幕外视差,则显示部分会进行相应的转换。在碰撞时,立体交互操作棒的力反馈单元216会给予操作者相应的力反馈,阻尼发生单元218会产生一个刚性的阻尼,提高碰撞的真实感。
如图5C和图5D所示,在图5C中的立体交互操作棒的运动速度小于在图5D中的立体交互操作棒的运动速度,在同一虚拟物体的条件下,立体交互操作棒上的力反馈单元216给予操作者的力反馈是不相同的。
第三种典型的场景,立体交互操作棒与虚拟物体发生破坏型交互。
与屏幕外视差虚拟物体进行破坏型交互:
当立体交互操作棒在屏幕外视差与可以破坏的虚拟物体发生侵入式接触时,虚拟物体会随着立体交互操作棒在屏外空间的移动而遭到破坏,同时虚拟物体的图形显示会相应地发生变化。
当立体交互操作棒侵入该虚拟物体时,立体交互操作棒的伸缩部分会根据侵入的程度主动缩进,同时在虚拟物体内部会显示立体交互操作棒的延伸部分,以产生立体交互操作棒已经侵入物体的视觉效果,如图6A所示。
屏外视差的虚拟物体具有预设的不同硬度的多个层次。在侵入的过程中,力反馈单元结合虚拟物体的硬度层次对皮肤的压感力反馈来给予不同硬度的触感。
与屏幕内视差虚拟物体进行侵入破坏型交互:
当立体交互操作棒在屏幕内视差与可以破坏的虚拟物体发生侵入式接触时,立体交互操作棒的伸缩装置会发生缩进。虚拟物体也会随着立体交互操作棒在屏内空间的移动而遭到破坏,同时虚拟物体的图形显示会相应地发生变化。
当立体交互操作棒侵入该虚拟物体时,虚拟物体内部会显示立体交互操作棒的延伸部分,以产生立体交互操作棒已经侵入物体的视觉效果,如图6B所示。
屏内视差的虚拟物体具有预设的不同硬度的多个层次。在侵入的过程中,立体交互操作棒的伸缩部分的阻尼发生单元会结合预设的虚拟物体硬度层次给予缩进动作对应的阻尼,来产生不同硬度的触感。同时立体交互操作棒上的力反馈单元也会同时工作对皮肤产生对应的压力反馈,以提高操作真实度。
一个很好的例子就是利用该立体交互操作棒作为虚拟手术刀进行虚拟内科手术,切割皮肤、脂肪层、骨骼以及内脏时,用户感受到的阻尼或力反馈会根据实际的层次发生变化,画面也会有相应变化。
在上述第三种典型的场景下,虚拟物体的预设属性即多层硬度物体,交互逻辑单元208确定的操作类型信息是侵入破坏类型信息,侵略度计算单元204根据相对姿态计算单元202传送来的立体交互操作棒的运动轨迹信息,计算出侵入虚拟物体的长度,再用这个长度与预设的虚拟物体的硬度层次的相对位置进行对比,将当前侵入的层次进行标记并产生标记信息,本实施例中的侵略度信息即为该标记信息,所述侵略度计算单元204将该标记信息传送给交互反馈单元206和交互逻辑单元208。
需说明的是,在图2中的伸缩程度检测单元220将辅助获取屏幕内立体交互操作棒的侵入程度(即将伸缩程度检测单元220获取立体交互操作棒的伸缩度作为立体交互操作棒的姿态信息,以确定立体交互操作棒的运动轨迹),可以避免复杂的坐标运算,亦可不做姿态运算而直接用于无需姿态判断的挤压交互。
交互逻辑单元208根据标记信息、立体交互操作棒的运动轨迹信息以及虚拟物体的预设属性(本实施例中为多层硬度可被侵入的物体)确定立体交互操作棒的当前操作类型(本实施例中为侵入破坏类型信息),并将确定的操作类型信息通知交互反馈单元206。
第三种场景的交互反馈信息为交互反馈单元206根据预设的每层硬度与阻尼力的对应关系计算出的当前标记信息所代表的侵入长度所对应的总阻尼力信息,交互反馈单元206将总阻尼力信息反馈至交互逻辑单元208。交互逻辑单元208根据交互反馈单元206所计算出的总阻尼力信息向立体交互操作棒发送第一控制信号(阻尼力控制信号和力反馈烈度控制信号),交互逻辑单元208还同时向显示单元发送第二控制信号,使显示的虚拟物体发生相应变化,例如被切割的图像变化。
需说明的是,由侵略度计算单元204所标记侵入层次,分为两种情况:正在侵入的和已经贯通的。
由于现实中,被贯通的物体对正在侵入的物体仍然具有阻尼效应。根据这个情况,虚拟物体的每个层次都有一个预设的厚度TNx,分别具有正在侵入阻尼系数KINx和贯通阻尼系数KFINx,x为层次的编号,这些阻尼由开发者根据真实场景实测获得或者根据虚拟物体的特性预先设计好。
如图6C所示,假设当前正在侵入的层次为n,层次n被侵入的深度为L。则有:
已经贯通的层x的贯通阻尼力FFINx=KFINx×TNx;
正在入侵的层x的阻尼力FINx=KFINx×L+KINx×(TNx-L);
则有总阻尼力Fall为:
Fall=KFIN1×TN1+KFIN2×TN2+……+KFINn-1×TNn-1+KFINn×L+KINn×(TNn-L)。之后,将总阻尼Fall将传送给交互逻辑单元208。
上述所涉及的侵略度和阻尼力之间的关系实质上是一个预设的函数,并不仅限于上述例子中的情形。还可以应用在其他交互场景中,例如在利用本发明的立体交互方法来玩三维空间上的“水果忍者”游戏时,如图6D所示,利用立体交互操作棒虚拟切割西瓜的过程中,立体交互操作棒的伸缩阻尼与侵略度就是一个以瓜皮和瓜肉为分界线的分段函数;在立体交互操作棒虚拟的刀侵入瓜皮和瓜肉两个层次的过程中,伸缩阻尼与侵略度又是一个连续函数。
交互逻辑单元208负责处理虚拟物体被侵入的损坏物理运算和交互的逻辑,把运算结果转化成第一控制信息和第二控制信息,第一控制信息发送给立体交互操作棒,第二控制信息发送给显示单元。进一步的,所述显示单元包括视差计算单元210和立体显示驱动单元212。
在处理多层硬度物体的侵入破坏型交互情形时,如果是屏幕外视差的虚拟物体被侵入,则立体交互操作棒的伸缩部分没有发生伸缩,无法通过阻尼发生单元给予操作者阻尼感。此时总阻尼力所代表的阻尼反映在力反馈单元216上的意义在于对皮肤产生的压感,其阻尼力和压感成正比。由于现有的力反馈单元的作用原理所限,不管是偏心马达还是人工肌肉这样的器件,也不可能一直给予皮肤一个持续增加的压感,所以力反馈单元216将以一个连续高频振动的方式给予人皮肤接触面压感的触觉,这个高频振动的振幅正比于其压感。
交互逻辑单元208将把从交互反馈计算单元206传送来的总阻尼力Fall转化为一段连续的振动数据,并传送给立体交互操作棒进行力反馈。力反馈的操作只有在立体交互操作棒在侵入物体内移动时才会进行,与真实情况一致。
如果是屏幕内视差的虚拟物体被侵入,在交互逻辑单元208将把从交互反馈计算单元206传送来的总阻尼力Fall转化为输出至立体交互操作棒上的阻尼发生单元218的阻尼控制信号以及立体交互操作棒上的力反馈单元216的力反馈烈度控制信号。此时操作者会因为这个阻尼发生单元218的工作而自然地感觉到物体的硬度。
交互逻辑单元208还负责处理虚拟物体因为侵入破坏而导致在图形上的变化,并将执行结果转换成第二控制信号后传送给显示单元。显示单元根据第二控制信号显示虚拟物体的反应。
立体交互显示装置200B中的其他模块例如视差计算单元210负责计算虚拟物体在执行了交互逻辑后的屏幕外正视差,并将结果传送给立体显示驱动单元212。立体显示驱动单元212负责控制3D立体显示器214的具体显示214。3D立体显示器214负责显示图形界面和虚拟物体等一切需要显示的内容。
在上文中针对三种典型的场景详细说明了根据本发明的立体交互显示装置200B的工作原理以及立体交互显示装置200B与立体交互操作棒200A之间的交互工作过程。由于应用场景较多,在此不再一一举例说明。通过本发明的技术方案,在使用立体交互操作棒与立体显示屏显示的虚拟物体进行交互时,能够使操作用户感受到真实的操作触感,例如能够感受到虚拟物体的软硬度、弹性。
图7示出了根据本发明的一个实施例的立体交互操作棒的框图。
如图7所示,根据本发明的实施例的立体交互操作棒700,包括:状态反馈单元702,接收来自如上述任一技术方案中所述的立体交互显示装置的第一控制信号,所述立体交互操作棒根据接收到的第一控制信号做出与虚拟物体的预设属性相匹配的反应。
立体交互操作棒的状态根据具体操作过程以及虚拟物体的属性来变化,从而使手持该立体交互操作棒的用户能够感受到相应的操作状态,得到真实的触感,提升操作体验。
在上述技术方案中,优选的,所述状态反馈单元702包括但不限于:阻尼发生单元7022,用于根据所述第一控制信号产生阻尼力;力反馈单元7024,用于根据所述第一控制信号产生相应振幅的振动。
本发明还提供了一种立体交互系统,包括:如上述任一技术方案中所述的立体交互操作棒700;以及如上述任一技术方案中所述的立体交互显示装置200B。需说明的是,立体交互操作棒700可通过无线通信方式与立体交互显示装置200B进行数据交互。该无线通信方式包括但不限于WIFI、蓝牙、红外、NFC(近场通信)。
以上结合附图详细说明了根据本发明的技术方案,在使用立体交互操作棒与具有软硬度的弹性虚拟物体进行挤压的过程中,能够让手持该立体交互操作棒的操作者获得真实的软硬度体验。在使用立体交互操作棒与虚拟物体进行碰撞的过程中,能够让手持该立体交互操作棒的操作者获得刚性碰撞体验。在使用立体交互操作棒对虚拟物体进行侵入式破坏的过程中,可以实现不同硬度物体触感以及变化触感的复杂侵入式物体破坏交互。姿态识别和与具有预设属性的虚拟物体交互时产生的触感及虚拟物体针对该立体交互操作棒的操作同时做出相应反应被引入到立体交互中,是一种“真正立体”的交互。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种立体交互方法,应用于立体显示装置和立体交互操作棒的交互场景中,其特征在于,包括:
获取立体交互操作棒的运动轨迹信息;
根据所述运动轨迹信息和显示器显示的虚拟物体的预设属性信息计算出所述立体交互操作棒对所述虚拟物体的侵略度信息;
根据所述运动轨迹信息、所述侵略度信息和所述预设属性信息计算交互反馈信息;
根据所述交互反馈信息控制所述立体交互操作棒和所述虚拟物体做出与所述虚拟物体的预设属性相匹配的反应;
所述获取立体交互操作棒的运动轨迹信息具体包括:根据所述立体交互操作棒上被触发的按键信息和所述立体交互操作棒的姿态信息获取所述立体交互操作棒的运动轨迹信息;
所述根据所述运动轨迹信息、所述侵略度信息和所述虚拟物体的预设属性信息计算交互反馈信息具体包括:根据该侵略度信息和运动轨迹信息以及虚拟物体的预设属性信息确定所述立体交互操作棒对所述虚拟物体进行操作的操作类型信息,根据所述操作类型信息和侵略度信息计算出所述交互反馈信息;
根据所述交互反馈信息控制所述立体交互操作棒做出与所述操作类型和虚拟物体的预设属性相匹配的反应;
在所述虚拟物体的预设属性为具有软硬度的弹性物体时,所述侵略度信息具体为所述虚拟物体被挤压的挤压程度信息,所述操作类型信息具体为挤压类型信息;
根据所述挤压程度信息和所述挤压类型信息计算出的所述交互反馈信息具体包括阻尼力信息和/或力反馈烈度信息;
在被挤压的虚拟物体为屏幕外视差的虚拟物体时,将所述力反馈烈度信息转换成输出给所述立体交互操作棒上的力反馈单元的力反馈烈度控制信号,以使所述立体交互操作棒做出与所述操作类型和虚拟物体的预设属性相匹配的反应;或者,
在被挤压的虚拟物体为屏幕内视差的虚拟物体时,将所述阻尼力信息和力反馈烈度信息分别转换成输出给所述立体交互操作棒上的阻尼发生单元的阻尼力控制信号以及力反馈单元的力反馈烈度控制信号,以使所述立体交互操作棒做出与所述操作类型和虚拟物体属性相匹配的反应。
2.一种立体交互方法,应用于立体显示装置和立体交互操作棒的交互场景中,其特征在于,包括:
获取立体交互操作棒的运动轨迹信息;
根据所述运动轨迹信息和显示器显示的虚拟物体的预设属性信息计算出所述立体交互操作棒对所述虚拟物体的侵略度信息;
根据所述运动轨迹信息、所述侵略度信息和所述预设属性信息计算交互反馈信息;
根据所述交互反馈信息控制所述立体交互操作棒和所述虚拟物体做出与所述虚拟物体的预设属性相匹配的反应;
所述获取立体交互操作棒的运动轨迹信息具体包括:根据所述立体交互操作棒上被触发的按键信息和所述立体交互操作棒的姿态信息获取所述立体交互操作棒的运动轨迹信息;
所述根据所述运动轨迹信息、所述侵略度信息和所述虚拟物体的预设属性信息计算交互反馈信息具体包括:根据该侵略度信息和运动轨迹信息以及虚拟物体的预设属性信息确定所述立体交互操作棒对所述虚拟物体进行操作的操作类型信息,根据所述操作类型信息和侵略度信息计算出所述交互反馈信息;
根据所述交互反馈信息控制所述立体交互操作棒做出与所述操作类型和虚拟物体的预设属性相匹配的反应;
在所述虚拟物体的预设属性为可发生弹性碰撞的弹性物体时,所述侵略度信息具体为所述虚拟物体的碰撞动量信息,所述操作类型信息具体为碰撞类型信息;
在碰撞发生在屏幕外视差时,所述交互反馈信息包括根据所述碰撞动量信息和所述虚拟物体的预设质量和硬度计算出的力反馈烈度信息和力反馈持续时间信息,所述交互反馈信息转化成向所述立体交互操作棒上的力反馈单元输出的力反馈烈度控制信号,以使所述立体交互操作棒做出与所述操作类型和虚拟物体属性相匹配的反应,
在碰撞发生在屏幕内视差时,所述交互反馈信息包括根据所述碰撞动量信息和所述虚拟物体的预设质量和硬度计算出的阻尼大小信息和阻尼持续时间信息以及力反馈烈度信息,所述交互反馈信息转化成向所述立体交互操作棒上的阻尼发生单元输出的阻尼力控制信号以及向所述力反馈单元输出的力反馈烈度控制信号,以使所述立体交互操作棒做出与所述操作类型和虚拟物体属性相匹配的反应。
3.一种立体交互方法,应用于立体显示装置和立体交互操作棒的交互场景中,其特征在于,包括:
获取立体交互操作棒的运动轨迹信息;
根据所述运动轨迹信息和显示器显示的虚拟物体的预设属性信息计算出所述立体交互操作棒对所述虚拟物体的侵略度信息;
根据所述运动轨迹信息、所述侵略度信息和所述预设属性信息计算交互反馈信息;
根据所述交互反馈信息控制所述立体交互操作棒和所述虚拟物体做出与所述虚拟物体的预设属性相匹配的反应;
所述获取立体交互操作棒的运动轨迹信息具体包括:根据所述立体交互操作棒上被触发的按键信息和所述立体交互操作棒的姿态信息获取所述立体交互操作棒的运动轨迹信息;
所述根据所述运动轨迹信息、所述侵略度信息和所述虚拟物体的预设属性信息计算交互反馈信息具体包括:根据该侵略度信息和运动轨迹信息以及虚拟物体的预设属性信息确定所述立体交互操作棒对所述虚拟物体进行操作的操作类型信息,根据所述操作类型信息和侵略度信息计算出所述交互反馈信息;
根据所述交互反馈信息控制所述立体交互操作棒做出与所述操作类型和虚拟物体的预设属性相匹配的反应;
在所述虚拟物体的预设属性为多层硬度物体时,所述侵略度信息具体为所述虚拟物体被侵入破坏的长度,所述操作类型信息具体为侵入破坏类型信息;
所述交互反馈信息包括根据预设的每层硬度与阻尼力的对应关系计算出的当前侵入长度所对应的总阻尼力信息;
在被侵入的虚拟物体在屏幕外视差时,将所述总阻尼力信息转换成力反馈烈度信息和力反馈持续时间信息,并向所述立体交互操作棒上的力反馈单元输出力反馈烈度控制信号,以使所述立体交互操作棒做出与所述操作类型和虚拟物体属性相匹配的反应,在被侵入的虚拟物体在屏幕内视差时,根据所述总阻尼力信息向所述立体交互操作棒上的阻尼发生单元输出阻尼力控制信号以及向所述力反馈单元输出力反馈烈度控制信号,以使所述立体交互操作棒做出与所述操作类型和虚拟物体属性相匹配的反应。
4.根据权利要求1、2或3所述的立体交互方法,其特征在于,所述虚拟物体做出与所述操作类型和所述虚拟物体的预设属性相匹配的反应。
5.根据权利要求1、2或3所述的立体交互方法,其特征在于,所述操作棒具有预设属性,所述虚拟物体根据交互反馈信息和操作棒的预设属性做出与操作棒的预设属性和虚拟物体的预设属性相匹配的反应。
6.一种立体交互显示装置,用于与产生按键信息和姿态信息的立体交互操作棒进行交互,其特征在于,包括:
显示单元,显示具有预设属性的虚拟物体;
交互单元,与所述立体交互操作棒进行交互,所述交互单元获取所述立体交互操作棒的运动轨迹信息,根据所述运动轨迹信息和所述虚拟物体的预设属性信息计算出所述立体交互操作棒对所述虚拟物体的侵略度信息,根据所述运动轨迹信息、所述侵略度信息和所述预设属性信息计算出交互反馈信息,以及根据所述交互反馈信息向所述立体交互操作棒发送第一控制信号、对所述显示单元发送第二控制信号,所述立体交互操作棒接收到所述第一控制信号后做出与所述虚拟物体的预设属性相匹配的反应,所述显示单元接收到所述第二控制信号后,显示的虚拟物体对应做出与所述虚拟物体的预设属性相匹配的反应;
所述交互单元包括:
相对姿态计算单元,接收来自所述立体交互操作棒的按键信息和姿态信息,根据所述按键信息和姿态信息计算出所述立体交互操作棒的运动轨迹信息,并将所述运动轨迹信息发送给侵略度计算单元和交互逻辑单元;
所述侵略度计算单元,根据运动轨迹信息以及所述虚拟物体的预设属性计算出所述侵略度信息,并将所述侵略度信息发送给交互反馈单元和所述交互逻辑单元;
所述交互反馈单元,根据操作类型信息和侵略度信息计算出交互反馈信息,并将所述交互反馈信息发送给所述交互逻辑单元;
所述交互逻辑单元,根据所述侵略度信息和所述运动轨迹信息以及所述虚拟物体的预设属性信息确定所述立体交互操作棒对所述虚拟物体进行操作的操作类型信息,并将所述操作类型信息发送给所述交互反馈单元,以及接收来自所述交互反馈单元的交互反馈信息,并根据所述交互反馈信息生成所述第一控制信号和所述第二控制信号;
在所述虚拟物体的预设属性为具有软硬度的弹性物体时,所述侵略度信息具体为所述虚拟物体被挤压的挤压程度信息,所述操作类型信息具体为挤压类型信息,所述立体交互操作棒包括力反馈单元和阻尼发生单元;
在被挤压的虚拟物体为屏幕外视差的虚拟物体时,所述交互反馈单元根据所述挤压程度信息和所述挤压类型信息计算出的所述交互反馈信息具体为力反馈烈度信息,在被挤压的虚拟物体为屏幕内视差的虚拟物体时,所述交互反馈单元根据所述挤压程度信息和所述挤压类型信息计算出的所述交互反馈信息具体为阻尼力信息和力反馈烈度信息;
在被挤压的虚拟物体为屏幕外视差的虚拟物体时,所述第一控制信号为所述交互逻辑单元将所述力反馈烈度信息转换成输出给所述立体交互操作棒上的力反馈单元的力反馈烈度控制信号,以使所述立体交互操作棒做出与所述操作类型和虚拟物体属性相匹配的反应;
在被挤压的虚拟物体为屏幕内视差的虚拟物体时,所述第一控制信号为所述交互逻辑单元将所述阻尼力信息转换成输出给所述立体交互操作棒上的阻尼发生单元的阻尼力控制信号以及将所述力反馈烈度信息转换输出给所述力反馈单元的力反馈烈度控制信号,以使所述立体交互操作棒做出与所述操作类型和虚拟物体属性相匹配的反应;
其中,力反馈烈度控制信号所述力反馈单元用于根据所述力反馈烈度控制信号产生相应振幅的振动,所述阻尼发生单元用于根据所述阻尼力控制信号产生阻尼力。
7.一种立体交互显示装置,用于与产生按键信息和姿态信息的立体交互操作棒进行交互,其特征在于,包括:
显示单元,显示具有预设属性的虚拟物体;
交互单元,与所述立体交互操作棒进行交互,所述交互单元获取所述立体交互操作棒的运动轨迹信息,根据所述运动轨迹信息和所述虚拟物体的预设属性信息计算出所述立体交互操作棒对所述虚拟物体的侵略度信息,根据所述运动轨迹信息、所述侵略度信息和所述预设属性信息计算出交互反馈信息,以及根据所述交互反馈信息向所述立体交互操作棒发送第一控制信号、对所述显示单元发送第二控制信号,所述立体交互操作棒接收到所述第一控制信号后做出与所述虚拟物体的预设属性相匹配的反应,所述显示单元接收到所述第二控制信号后,显示的虚拟物体对应做出与所述虚拟物体的预设属性相匹配的反应;
所述交互单元包括:
相对姿态计算单元,接收来自所述立体交互操作棒的按键信息和姿态信息,根据所述按键信息和姿态信息计算出所述立体交互操作棒的运动轨迹信息,并将所述运动轨迹信息发送给侵略度计算单元和交互逻辑单元;
所述侵略度计算单元,根据运动轨迹信息以及所述虚拟物体的预设属性计算出所述侵略度信息,并将所述侵略度信息发送给交互反馈单元和所述交互逻辑单元;
所述交互反馈单元,根据操作类型信息和侵略度信息计算出交互反馈信息,并将所述交互反馈信息发送给所述交互逻辑单元;
所述交互逻辑单元,根据所述侵略度信息和所述运动轨迹信息以及所述虚拟物体的预设属性信息确定所述立体交互操作棒对所述虚拟物体进行操作的操作类型信息,并将所述操作类型信息发送给所述交互反馈单元,以及接收来自所述交互反馈单元的交互反馈信息,并根据所述交互反馈信息生成所述第一控制信号和所述第二控制信号;
在所述虚拟物体的预设属性为可发生弹性碰撞的弹性物体时,所述侵略度信息具体为所述虚拟物体的碰撞动量信息,所述操作类型信息具体为碰撞类型信息,所述立体交互操作棒包括力反馈单元和阻尼发生单元;
所述交互反馈单元计算出所述立体交互操作棒与所述虚拟物体在碰撞位置上的所述碰撞动量信息,并在碰撞发生在屏幕外视差时,根据所述碰撞动量信息和所述虚拟物体的预设质量和硬度计算出的交互反馈信息具体包括力反馈烈度信息和力反馈持续时间信息,或者,在碰撞发生在屏幕内视差时,根据所述碰撞动量信息和所述虚拟物体的预设质量和硬度,计算出的交互反馈信息具体包括阻尼大小信息和阻尼持续时间信息以及力反馈烈度信息;
在碰撞发生在屏幕外视差时,所述第一控制信号为所述交互逻辑单元根据所述力反馈烈度信息和力反馈持续时间信息向所述立体交互操作棒上的力反馈单元输出的力反馈烈度控制信号,或者,在碰撞发生在屏幕内视差时,所述第一控制信号为所述交互逻辑单元根据所述阻尼大小信息和阻尼持续时间信息以及反馈烈度向所述立体交互操作棒上的阻尼发生单元输出的阻尼力控制信号以及向所述力反馈单元输出的力反馈烈度控制信号;
其中,所述力反馈单元用于根据所述力反馈烈度控制信号产生相应振幅的振动,所述阻尼发生单元用于根据所述阻尼力控制信号产生阻尼力。
8.一种立体交互显示装置,用于与产生按键信息和姿态信息的立体交互操作棒进行交互,其特征在于,包括:
显示单元,显示具有预设属性的虚拟物体;
交互单元,与所述立体交互操作棒进行交互,所述交互单元获取所述立体交互操作棒的运动轨迹信息,根据所述运动轨迹信息和所述虚拟物体的预设属性信息计算出所述立体交互操作棒对所述虚拟物体的侵略度信息,根据所述运动轨迹信息、所述侵略度信息和所述预设属性信息计算出交互反馈信息,以及根据所述交互反馈信息向所述立体交互操作棒发送第一控制信号、对所述显示单元发送第二控制信号,所述立体交互操作棒接收到所述第一控制信号后做出与所述虚拟物体的预设属性相匹配的反应,所述显示单元接收到所述第二控制信号后,显示的虚拟物体对应做出与所述虚拟物体的预设属性相匹配的反应;
所述交互单元包括:
相对姿态计算单元,接收来自所述立体交互操作棒的按键信息和姿态信息,根据所述按键信息和姿态信息计算出所述立体交互操作棒的运动轨迹信息,并将所述运动轨迹信息发送给侵略度计算单元和交互逻辑单元;
所述侵略度计算单元,根据运动轨迹信息以及所述虚拟物体的预设属性计算出所述侵略度信息,并将所述侵略度信息发送给交互反馈单元和所述交互逻辑单元;
所述交互反馈单元,根据操作类型信息和侵略度信息计算出交互反馈信息,并将所述交互反馈信息发送给所述交互逻辑单元;
所述交互逻辑单元,根据所述侵略度信息和所述运动轨迹信息以及所述虚拟物体的预设属性信息确定所述立体交互操作棒对所述虚拟物体进行操作的操作类型信息,并将所述操作类型信息发送给所述交互反馈单元,以及接收来自所述交互反馈单元的交互反馈信息,并根据所述交互反馈信息生成所述第一控制信号和所述第二控制信号;
在所述虚拟物体的预设属性为多层硬度物体时,所述侵略度信息具体为所述虚拟物体被侵入破坏的长度,所述操作类型信息具体为侵入破坏类型信息,所述立体交互操作棒包括力反馈单元和阻尼发生单元;
所述交互反馈单元根据预设的每层硬度与阻尼力的对应关系,计算当前侵入长度所对应的总阻尼力信息,所述总阻尼力信息为所述交互反馈信息;
在被侵入的虚拟物体在屏幕外视差时,所述第一控制信号为所述交互逻辑单元将所述总阻尼力信息转换成力反馈烈度信息和力反馈持续时间信息后向所述立体交互操作棒上的力反馈单元输出的力反馈烈度控制信号;
在被侵入的虚拟物体在屏幕内视差时,所述第一控制信号为所述交互逻辑单元根据所述总阻尼力信息向所述立体交互操作棒上的阻尼发生单元输出的阻尼力控制信号以及向所述力反馈单元输出的力反馈烈度控制信号;
其中,所述力反馈单元用于根据所述力反馈烈度控制信号产生相应振幅的振动,所述阻尼发生单元用于根据所述阻尼力控制信号产生阻尼力。
9.根据权利要求6、7或8所述的立体交互显示装置,其特征在于,所述显示单元根据所述第二控制信号使所述虚拟物体做出与所述操作类型和所述虚拟物体的预设属性相匹配的反应。
10.一种立体交互操作棒,其特征在于,包括:
状态反馈单元,接收来自如权利要求6至8中任一项所述的立体交互显示装置的第一控制信号,所述立体交互操作棒根据接收到的第一控制信号做出与虚拟物体的预设属性相匹配的反应。
11.根据权利要求10所述的立体交互操作棒,其特征在于,所述状态反馈单元包括:
阻尼发生单元,用于根据所述第一控制信号产生阻尼力;
力反馈单元,用于根据所述第一控制信号产生相应振幅的振动。
12.一种立体交互系统,其特征在于,包括:
如权利要求10所述的立体交互操作棒;以及
如权利要求6至8中任一项所述的立体交互显示装置。
CN201410179098.1A 2014-04-29 2014-04-29 立体交互方法及其显示装置、操作棒和系统 Active CN103995584B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410179098.1A CN103995584B (zh) 2014-04-29 2014-04-29 立体交互方法及其显示装置、操作棒和系统
US14/566,793 US9483119B2 (en) 2014-04-29 2014-12-11 Stereo interactive method, display device, operating stick and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410179098.1A CN103995584B (zh) 2014-04-29 2014-04-29 立体交互方法及其显示装置、操作棒和系统

Publications (2)

Publication Number Publication Date
CN103995584A CN103995584A (zh) 2014-08-20
CN103995584B true CN103995584B (zh) 2017-11-17

Family

ID=51309772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410179098.1A Active CN103995584B (zh) 2014-04-29 2014-04-29 立体交互方法及其显示装置、操作棒和系统

Country Status (2)

Country Link
US (1) US9483119B2 (zh)
CN (1) CN103995584B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101652027B1 (ko) * 2015-08-12 2016-08-29 재단법인 실감교류인체감응솔루션연구단 가상 객체 또는 원격지 사용자와의 인터랙션에 대응한 역감을 전달하는 사용자 인터페이스 장치
EP3349096B1 (en) * 2015-09-08 2023-08-23 Sony Group Corporation Information processing apparatus, method, and computer program
CN105224084B (zh) 2015-09-30 2018-04-24 深圳多新哆技术有限责任公司 确定虚拟物件在虚拟空间中位置的方法及装置
CN105578174B (zh) * 2016-01-26 2018-08-24 神画科技(深圳)有限公司 互动3d显示系统及其3d图像生成方法
CN105833524A (zh) * 2016-04-08 2016-08-10 林云帆 力反馈系统及方法
US20180164885A1 (en) * 2016-12-09 2018-06-14 Immersion Corporation Systems and Methods For Compliance Illusions With Haptics
CN106896923A (zh) * 2017-03-30 2017-06-27 苏州悠优互娱网络科技有限公司 虚拟交互方法和装置
CN107291222B (zh) * 2017-05-16 2020-08-04 阿里巴巴集团控股有限公司 虚拟现实设备的交互处理方法、装置、系统及虚拟现实设备
CN108829329B (zh) * 2018-05-15 2021-12-31 腾讯科技(深圳)有限公司 一种操作对象展示方法、装置和可读介质
CN110290846B (zh) * 2018-06-29 2021-09-24 深圳市大疆创新科技有限公司 一种虚拟对战的处理方法、服务器以及可移动平台
CN110740309B (zh) * 2019-09-27 2022-05-03 北京字节跳动网络技术有限公司 一种图像显示方法、装置、电子设备及存储介质
CN111103973A (zh) * 2019-11-11 2020-05-05 深圳岱仕科技有限公司 模型处理方法、装置、计算机设备和存储介质
CN112328107B (zh) * 2021-01-04 2021-03-30 江西科骏实业有限公司 基于虚拟坐标的无线传输空间定位笔
CN113342169B (zh) * 2021-06-10 2023-03-17 中国水利水电第七工程局有限公司 一种基于力反馈的塔式起重机操作虚拟培训系统
CN116107437B (zh) * 2023-04-13 2023-07-14 湖南快乐阳光互动娱乐传媒有限公司 虚实结合的力回馈方法、系统、力回馈服装及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202142008U (zh) * 2011-03-30 2012-02-08 廖礼士 互动式装置
CN102508561A (zh) * 2011-11-03 2012-06-20 深圳超多维光电子有限公司 一种操作棒
CN102508562A (zh) * 2011-11-03 2012-06-20 深圳超多维光电子有限公司 一种立体交互系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW558689B (en) * 2002-08-30 2003-10-21 Univ Taipei Medical Three-dimensional surgery simulation system and method
TWI385594B (zh) * 2008-09-23 2013-02-11 Univ Nat Taiwan Science Tech 繪圖之輸入裝置
US8956230B2 (en) * 2011-05-20 2015-02-17 Sony Corporation Haptic device for 3-D gaming

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202142008U (zh) * 2011-03-30 2012-02-08 廖礼士 互动式装置
CN102508561A (zh) * 2011-11-03 2012-06-20 深圳超多维光电子有限公司 一种操作棒
CN102508562A (zh) * 2011-11-03 2012-06-20 深圳超多维光电子有限公司 一种立体交互系统

Also Published As

Publication number Publication date
US20150309575A1 (en) 2015-10-29
CN103995584A (zh) 2014-08-20
US9483119B2 (en) 2016-11-01

Similar Documents

Publication Publication Date Title
CN103995584B (zh) 立体交互方法及其显示装置、操作棒和系统
El Saddik The potential of haptics technologies
CN102270275B (zh) 在虚拟环境中选择对象的方法和多媒体终端
CN101286188B (zh) 一种虚拟仿真系统中力觉反馈的计算方法
CN104111726B (zh) 用于输出触觉效果的方法和系统
US10996757B2 (en) Methods and apparatus for generating haptic interaction for virtual reality
JP6467698B2 (ja) 野球の打撃練習支援システム
CN109799903A (zh) 基于虚拟现实的打击乐方法、终端设备及系统
US20100045595A1 (en) System and method for controlling a displayed presentation, such as a sexually explicit presentation
WO2014110667A1 (en) A device and method for reconstructing and analyzing motion of a rigid body
US11036296B2 (en) Electronic device and control method thereof
US9229530B1 (en) Wireless haptic feedback apparatus configured to be mounted on a human arm
KR101927899B1 (ko) 교육용 소화기 및 증강현실 구동단말기를 포함하는 증강현실 소방교육 시스템
JP7355006B2 (ja) 情報処理装置、情報処理方法、および記録媒体
Guinan et al. Discrimination thresholds for communicating rotational inertia and torque using differential skin stretch feedback in virtual environments
CN112041789A (zh) 位置指示设备及空间位置指示系统
US8396698B2 (en) Method for the simulation of the haptic of an interaction of a guided object with a virtual three-dimensional object
Bhargava et al. Did i hit the door? effects of self-avatars and calibration in a person-plus-virtual-object system on perceived frontal passability in vr
CN104267833A (zh) 一种人机接口系统
JP3948202B2 (ja) 避難仮想体験システム
Thalmann et al. Virtual reality software and technology
EP3598270A1 (en) Method and control unit for controlling a virtual reality display, virtual reality display and virtual reality system
CN106598233A (zh) 基于手势识别的输入方法及输入系统
Nesamalar et al. An introduction to virtual reality techniques and its applications
CN105250130A (zh) 一种基于电动按摩器械的虚拟现实实现方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180712

Address after: 518052 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong

Patentee after: Shenzhen super Technology Co., Ltd.

Address before: 518053 East Guangdong H-1 East 101, overseas Chinese town, Nanshan District, Shenzhen.

Patentee before: Shenzhen SuperD Photoelectronic Co., Ltd.

TR01 Transfer of patent right