CN107077199B - 用于在三维显示器上呈现虚拟对象的装置及用于控制装置的方法 - Google Patents

用于在三维显示器上呈现虚拟对象的装置及用于控制装置的方法 Download PDF

Info

Publication number
CN107077199B
CN107077199B CN201580037888.9A CN201580037888A CN107077199B CN 107077199 B CN107077199 B CN 107077199B CN 201580037888 A CN201580037888 A CN 201580037888A CN 107077199 B CN107077199 B CN 107077199B
Authority
CN
China
Prior art keywords
user
eye image
image data
display
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580037888.9A
Other languages
English (en)
Other versions
CN107077199A (zh
Inventor
亚历山大·加托
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107077199A publication Critical patent/CN107077199A/zh
Application granted granted Critical
Publication of CN107077199B publication Critical patent/CN107077199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开内容涉及一种装置，该装置具有处理器，该处理器被配置为获得表示用于向用户显示的对象的图像数据，其中，基于在图像数据基础上获得的左眼图像数据和右眼图像数据来显示对象；获得表示用户的左瞳孔位置和右瞳孔位置的用户眼睛位置数据；并且基于用户眼睛位置数据生成用于左眼图像数据的左眼图像位置和用于右眼图像数据的右眼图像位置。

Description

用于在三维显示器上呈现虚拟对象的装置及用于控制装置的 方法
技术领域
本公开内容大体涉及装置和用于控制装置的方法。
背景技术
通常，已知的是，用户可以通过使用点击设备(例如，“鼠标”)与诸如计算机或者移动设备的电子装置交互。用户用他的手在二维平面中引导鼠标，并且鼠标的移动导致虚拟光标在二维显示器上的移动。可以使用触摸板或操纵杆来实现类似类型的交互。
触摸显示器提供用户与电子装置的交互的另一种可能性。在触摸显示器的情况下，用户的手指在感兴趣对象所在的平面中移动。
这些类型的交互通常局限于二维世界。
尽管存在用于与(电子)装置交互的技术，但是人们通常期望改进与(电子)装置的交互。
发明内容
根据第一方面，本公开内容提供包括处理器的装置，处理器配置为获得表示向用户显示的对象的图像数据，其中，对象基于在图像数据基础上获得的左眼图像数据和右眼图像数据来显示，获得表示用户的左瞳孔位置和右瞳孔位置的用户眼睛位置数据，并且基于用户眼睛位置数据生成用于左眼图像数据的左眼图像位置和用于右眼图像数据的右眼图像位置。
根据第二方面，本公开内容提供一种方法，该方法包括：获得表示向用户显示的对象的图像数据，其中，对象基于在图像数据基础上获得的左眼图像数据和右眼图像数据来显示，获得表示用户的左瞳孔位置和右瞳孔位置的用户眼睛位置数据，并且基于用户眼睛位置数据生成用于左眼图像数据的左眼图像位置和用于右眼图像数据的右眼图像位置。
其他方面在从属权利要求、以下说明书以及附图中进行阐述。
附图说明
通过参照附图的实例方式说明了实施方式，其中：
图1示意性地示出由用户感知的显示对象的对象感知位置；
图2示意性地示出由用户感知的显示对象的对象感知位置平行于显示平面移动；
图3示意性地示出由用户感知的显示对象的对象感知位置远离显示平面移动；
图4示意性地示出当用户的眼睛的眼睛距离变化时由用户感知的显示对象的对象感知位置；
图5示意性地示出了在固定对象感知位置处显示由用户感知的对象的三维用户界面的实施方式；
图6a、图6b、图6c示意性地示出不同状态下的图5的三维用户界面；
图7示意性地示出当用户平行于显示平面移动时，根据实施方式的左眼图像位置和右眼图像位置以及显示对象的固定对象感知位置；
图8示意性地示出当用户远离显示平面移动时，根据实施方式的左眼图像位置和右眼图像位置以及显示对象的固定对象感知位置；
图9示意性地示出当用户的眼睛距离变化时根据实施方式的左眼图像位置和右眼图像位置以及显示对象的固定对象感知位置；
图10示意性地示出根据实施方式的用于确定左眼图像位置和右眼图像位置的基础；
图11示意性地示出了根据实施方式的用于检测用户与三维用户界面的交互的基础；
图12示出了用于控制图5的三维用户界面的方法的实施方式的流程图；以及
图13示意性地示出三维用户界面的另一实施方式。
具体实施方式
在参照图5至图13详细描述实施方式之前，进行概要说明。
如上所述，诸如鼠标或者触摸显示器的典型用户界面(user interface)局限于二维平面。然而，在一些实施方式中，期望与诸如PC或移动设备的电子设备或需要经由由三维显示器(诸如立体显示器)呈现的虚拟对象的人类交互的任何其它类型的设备在三维空间中如人类在日常生活中与实际物体一样的交互。为此目的，人们认识到，可以期望用户在用于交互的三维空间中感知到虚拟对象，该虚拟对象停留在立体显示器前面的固定的对象感知位置，与用户头部的移动无关。
在下面，参考图1至图4给出的是更详细描述通过三维显示器，例如，立体显示器901显示的(虚拟)对象的一般感知。如图1所示，将他的眼睛(即左眼902和右眼903)看向立体显示器901的用户具有以下印象：虚拟对象904布置在立体设备901前面的三维空间中，并且因此布置在用户的前面。为了产生这种印象，立体显示器901需要两个图像，用于用户的左眼902的左眼图像905和用于用户的右眼903的右眼图像906，两个图像都包括对象904的图片(图像)。用户在显示器901前面感知的对象904的位置取决于左眼图像905与右眼图像906之间的对象904的空间距离。在由左眼图像905表示的对象904的图片与由右眼图像906表示的对象904的图片之间的距离越大，由用户感知的对象904越近，反之亦然，在由左眼图像905表示的对象904的图片与由右眼图像906表示的对象904的图片之间的距离越小，则用户感知的对象904越远(即，更接近立体显示器901)。
如果左眼图像905和右眼图像906是静态的，那么虚拟对象904随着用户的移动而移动。例如，如果用户平行于立体显示器901的显示平面移动，而不改变其到立体显示器的距离，如图2中箭头907所示，观察到虚拟对象904的由箭头908所示的移动，即如果用户向右移动，则对象904也被感知为向右移动，反之亦然。这是由用户相对于立体显示器901上所示的静态左眼图像905和静态右眼图像906的视差引起的。
如果用户(即用户的眼睛902和903)改变其到立体显示器901的相对距离，则用户也观察到针对静态左眼图像905和静态右眼图像906的虚拟对象904的移动。如果用户移动远离立体显示器901移动，并且因此增加到立体显示器901的距离，如图3中箭头909所示，虚拟对象904也如箭头910所示远离立体显示器901移动，反之亦然，即如果用户移动更接近立体显示器901，并且从而减小到立体显示器901的距离，虚拟对象904移动更接近立体显示器901。
除了用户的眼睛902、903相对于立体显示器901的位置之外，通常还存在可影响立体显示器901前面的对象904的感知位置的进一步的量，如图4所示。该量是用户的左眼902与右眼903之间的眼睛距离911(911’)。用户的眼睛距离911越大，用户感知的虚拟对象904相对于用于静态左眼图像902和静态右眼图像903的立体显示器901越接近，如图4中箭头912所示，反之亦然，即用户的眼睛距离911'越小，则用户感知到虚拟对象904越远，即越接近立体显示器901。
如上所述，在一些实施方式中，期望用户在静态位置感知这种虚拟对象。因此，在实施方式中，(电子)装置包括处理器，该处理器适于提供用于左眼图像数据的左眼图像位置和用于右眼图像数据的右眼图像位置，其中，两者可以适于用户的左眼和用户的右眼位置。一些实施方式涉及用于控制这种(电子)装置的相应方法。
本公开内容既不限于特定类型的装置，也不限于特定类型的处理器或包括在装置中的处理器的特定数量。该装置可以是诸如移动电话、智能电话、膝上型计算机、个人计算机、游戏机、可由用户佩戴在他眼睛前的电子眼镜、电子隐形眼镜等的电子设备(便携式设备)。处理器可以包括一个或多个处理器核，并且其可以被实现为单个处理器或者实现为一组处理器。处理器可以是微处理器、图形处理单元、其组合等。
处理器被配置为获得表示向用户显示的对象的图像数据，其中，在基于图像数据而获得的左眼图像数据和右眼图像数据的基础上来显示对象。
处理器可以连接到提供图像数据的设备，诸如PC，视频游戏机等以获得图像数据，和/或其可以连接到网络，例如本地网络和/或互联网以接收图像数据，和/或其可以从诸如通用串行总线棒(universal serial bus stick)、硬盘、光盘等存储设备中获得图像数据。图像数据可以由原始图像数据或者由压缩图像数据(诸如JPEG、PNG)等表示。图像数据可以以数字和/或模拟形式来接收。图像数据可以包括左眼图像数据和右眼图像数据，并且处理器可以直接访问图像数据中的左眼图像数据和右眼图像数据以用于获得左眼图像数据和右眼图像数据。替换地，处理器可以从图像数据提取左眼图像数据和右眼图像数据以获得左眼图像数据和右眼图像数据。处理器还可以被配置为基于图像数据，例如，通过复制图像数据生成左眼图像数据和/或右眼图像数据，并从而获得用于左眼图像数据的一个副本和用于右眼图像数据的一个副本。该图像数据可以是或者包括适于在立体显示器上显示的三维图像数据或者立体图像数据。
处理器还被配置为获得表示用户的左瞳孔位置和右瞳孔位置的用户眼睛位置数据。处理器可以连接到提供用户眼睛位置数据的设备，诸如PC、视频游戏机等以获得用户眼睛位置数据，和/或其可以连接到网络，例如本地网络和/或互联网以接收用户眼睛位置数据，和/或其可以从诸如通用串行总线棒、硬盘、光盘等存储设备中获得用户眼睛位置数据。用户眼睛位置数据可以由原始图像数据或者由压缩图像数据表示。用户眼睛位置数据可以以数字和/或模拟形式接收。用户眼睛位置数据可以包括用户的左瞳孔和右瞳孔的精确位置和/或其可以(间接地)表示用户的左瞳孔和右瞳孔的位置。处理器可以从用户眼睛位置数据直接访问用户的左瞳孔和右瞳孔的精确位置。替换地，处理器可从位置信息，例如，从以图像数据的形式提供给处理器的用户的图像中提取用户眼睛位置数据，例如，用户的左和右瞳孔的精确位置。
装置可包括一个或多个接口用于与外部设备和/或网络和/或存储器通信以获得或者接收图像数据和/或用户眼睛位置数据。
处理器还被配置为基于用户眼睛位置数据生成用于左眼图像数据的左眼图像位置和用于右眼图像数据的右眼图像位置。左眼图像位置和右眼图像位置可以确定例如，呈现在立体显示器或设置有用于每只眼睛的显示器的显示系统，例如眼镜或(电子)触点(即，隐形眼镜)上的左眼图像和右眼图像的位置。左眼图像位置和右眼图像位置可以适于从用户眼睛位置数据获得的用户的左瞳孔和右瞳孔的位置。在一些实施方式中，装置可以包括(多个)显示器或者显示系统，而在其他实施方式中，(多个)显示器或者显示系统在装置外部。
实施方式的以下描述涉及装置本身以及例如，用于控制该装置的方法的实施方式。在一些实施方式中，方法可以通过处理器执行。
在一些实施方式中，处理器生成左眼图像位置和右眼图像位置，使得用户在与用户的左瞳孔位置和用户的右瞳孔位置无关的情况下在固定对象感知位置处感知(虚拟)对象。因此，如果基于左眼图像数据的左眼图像例如，在立体显示器上放置在左眼图像位置处，并且基于右眼图像数据的右眼图像放置在立体显示器上的右眼图像位置处，用户在立体显示器前面的固定对象感知位置处感知对象，而与用户的位置无关或与用户的瞳孔的位置无关。如果左眼图像放置在显示系统的左眼显示器上的左眼图像位置处，并且右眼图像放置在显示系统的右眼显示器上的右眼图像位置处，则可以实现相同的结果。对象被感知到所处的固定对象感知位置可以是预先确定的位置或当用户开启装置时用户感知对象所处的位置。固定对象感知位置可以存储在存储设备中并且可以是预定义的，使得在相对于显示对象的显示器的预定义的固定位置处感知要显示给用户的对象。固定对象感知位置也可以例如基于用户眼睛与其上将显示对象的显示器之间的距离的判定来确定。
可以重复(例如，周期性地或实时地)获得用户眼睛位置数据，并且处理器可以根据当前用户眼睛位置数据生成左眼图像位置和右眼图像位置。因此，处理器可以对用户瞳孔的位置的变化作出反应，使得用户在与用户瞳孔的位置无关的固定位置处感知对象。
在一些实施方式中，用户眼睛位置数据包括左瞳孔位置和右瞳孔位置的距离信息、视角信息和移位信息中的至少一个，而在其他实施方式中，距离信息、视角信息和移位信息中的至少一个可以基于用户眼睛位置数据来确定。距离信息可以提供用户(用户的眼睛)与感知对象所处的固定对象感知位置之间和/或用户与立体显示器或显示系统之间的距离。另外或替代地，距离信息可包括用户的眼睛之间的距离(也称为“眼睛距离”)，指示用户的瞳孔之间的距离。在用户的眼睛距离增加的情况下，处理器可以确定相对于先前左眼图像位置移位的左眼图像位置远离先前右眼图像位置以及相对于先前右眼图像位置移位的右眼图像位置远离先前左眼图像位置。
视角信息可以提供关于用户观看虚拟对象的角度的信息，例如，用户是否直接聚焦对象、用户是否从他的眼梢观看对象、和/或用户是否是斜视等。
移位信息可以包括用户已经移向与立体显示器或显示系统平行的二维平面内的方向的信息。在这种情况下，处理器可以确定相对于先前左眼图像位置向与用户已经移向的方向相反的方向移位的左眼图像位置，以及相对于先前右眼图像位置向与用户移向的方向相反的方向移位的右眼图像位置。移位信息可以另外地或可替换地包括用户移动远离或者接近对象感知位置的信息。在用户朝向对象感知位置移动的情况下，处理器可以确定相对于先前左眼图像位置移位的左眼图像位置朝远离先前右眼图像位置的方向和相对于先前右眼图像位置移位的右眼图像位置朝远离先前左眼图像位置的方向。
在一些实施方式中，处理器被配置为生成左眼图像位置和右眼图像位置，左眼图像位置可以在坐标xIL、yIL和zIL的三维中定义，右眼图像位置可以在坐标xIR、yIR和zIR的三维中定义，基于以下等式：
xIL＝xO–zO(xEL–xO)/(zEL–zO) (I)
yIL＝yO–zO(yEL–xO)/(zEL–zO) (II)
xIR＝xO–zO(xER–xO)/(zER–zO) (III)
yIR＝yO–zO(yER–xO)/(zER–zO)， (IV)
在这些等式(I)至(IV)中，在诸如笛卡尔坐标系的三维空间中，坐标xO、yO和zO限定对象的对象感知位置，坐标xEL、yEL和zEL限定左瞳孔位置及坐标xER、yER和zER限定右瞳孔位置，而本公开内容不限于三维空间的特定表示。
在一些实施方式中，该装置还包括瞳孔位置确定器，用于确定左瞳孔位置和右瞳孔位置，并且用于基于确定出的左瞳孔位置和确定出的右瞳孔位置生成用户眼睛位置数据。瞳孔位置确定器可以与处理器(装置)整体形成或者可以是单独组件。瞳孔位置确定器可以是或可以包括眼睛跟踪系统，该眼睛跟踪系统被配置为相对于对象的对象感知位置和立体显示器或显示系统的位置中的至少一个确定每只眼睛的瞳孔的位置以及用户的瞳孔之间的距离。瞳孔位置确定器可以包括一个或多个(数字)照相机，其中每个照相机拍摄至少用户的眼睛的图片，例如，用户的头部的图片和/或用户的图片，从而生成表示关于用户的眼睛的位置的信息的用户眼睛位置数据。其还可以包括瞳孔位置确定单元，用于根据各个照相机拍摄的(多个)图片确定用户瞳孔的位置，使得其还可以生成包括关于用户的眼睛的位置的直接信息的用户眼睛位置数据。(多个)照相机可以布置在立体显示器或显示系统的附近，例如，在呈现左眼图像和右眼图像中的至少一个的平面中。例如，照相机可以位于显示器的一个边缘处，例如，在立体显示器或者显示系统的上边缘或者下边缘处。瞳孔位置确定单元可以是装置外的单独的处理器单元或者装置可以包括之，或者该功能可以与装置的处理器一起植入。
在一些实施方式中，装置进一步包括用于检测用户的手势的手势确定器。手势确定器可以是手跟踪系统和/或手指跟踪系统等。手势确定器可以利用处理器和眼睛跟踪系统中至少一个实现或者可以是单独组件。手或手指跟踪系统可以包括一个或多个(数字)照相机和手或手指位置确定单元，每个照相机拍摄用户的手的至少一个的图片，例如，用户的图片，手或手指位置确定单元用于从每个照相机的图片中确定用户的手指的位置。因此，手势确定器可以生成表示用户做出的手势的手势数据。手或者手指位置确定单元可以进一步适于识别用户做出的手势，并且可以生成包含关于用户做出的手势的直接信息的手势数据。手或手指位置确定单元可包括单独处理器或者其可以利用装置的处理器实现。手势确定器的(多个)照相机可以是除了瞳孔位置确定器的(多个)照相机之外布置在例如，立体显示器或显示系统的呈现左眼图像和右眼图像中的至少一个的平面中的(多个)照相机。
在一些实施方式中，包括(一个)照相机或照相机系统的公共设备，例如，拍摄用户的身体(包括他的头部)的图片，以及用于从图片确定瞳孔位置和手或手指位置的确定单元可以同时用作瞳孔位置确定器和手势确定器。
在一些实施方式中，处理器进一步配置为如果用户的手势接近对象的固定对象感知位置或者与其重叠，则生成反馈信号。反馈信号可以是光信号、声信号及触觉信号中至少一种。例如，光反馈信号表现为所显示的对象的颜色的静态或动态变化、围绕对象的彩色光晕的添加(其可以是静态或动态的)、对象的位置的振动、对象尺寸的静态或动态变化、对象与指示选择的另一对象的重叠、对象的基础字形的静态地或动态地改变，这意味着对象的象形图正在改变、对象从2D到3D的扩展的改变或反之亦然或由立体显示器或显示系统呈现的对象或图像的外观的任何其它变化。
声反馈信号可以是单个蜂鸣、重复蜂鸣、旋律中的至少一种，其中所有对象可以具有相同的旋律、特定旋律，其中每个对象可以具有其自己的旋律或任何其他声音信号。
触觉信号可以是形成显示系统的眼镜的振动或远程控制等的振动。
在一些实施方式中，对象包括图标、虚拟键盘、虚拟数字小键盘、虚拟键面板和/或要由用户处理的和/或适用于用作图形界面的任何其他虚拟对象中的至少一个。
在一些实施方式中，装置进一步包括用于在左眼图像位置显示左眼图像数据和在右眼图像位置显示右眼图像数据的显示器。显示器可以是普通的立体显示器，例如，自动立体显示器、多视图显示器、光场显示器、全息显示器或用于显示三维对象的任何其它类型的显示器。替换地，显示器可以是显示系统，诸如采用眼镜或者触点的立体声显示器。显示器可以是或者可包括LCD、TFT、OLED、LED或者任何其他类型的显示器或者显示机构。
装置可以用作和/或可以实现为三维(图形)用户界面。
例如，三维用户界面用于游戏领域，用于控制装置，例如，用于播放视频、音乐等，用于控制机器的移动，用于控制该装置的任何其他功能，或者可以用于适于被控制的任何其他功能。
通过经由自然人眼手协作(coordination)来操纵在立体显示器前面感知的人造三维对象，例如，游戏者可以有效地参与虚拟世界。游戏者可以感觉到某种程度上被整合到游戏中，因为他不再像已知的那样通过游戏控制器或操纵杆交互，而是他在虚拟三维世界中使用他的手。游戏的一个实例是通过用手指踢气球使气球爆炸。在给定时间内具有最多爆破气球的游戏者获胜。
三维用户界面还可以实现为提供虚拟扩增键盘作为要显示的对象。例如，虚拟扩増键盘可以投影在三维显示器的下三分之一中并且可以用于输入数据。由于虚拟扩増键盘是一个虚拟键盘，所以可以适于任何语言，而不需要硬件更改。此外，用户可以根据他的个人爱好或者工作要求配置并且重新布置按键。在一些实施方式中，因为用户在固定位置感知虚拟键盘,所以用户可以与虚拟键盘进行交互而没有在移动他的眼睛时敲击单个按键的问题。
三维用户界面还可以在自动取款机的领域中，例如，作为虚拟数字小键盘实现。传统的自动取款机包含用于交互的两个设备：显示器和包含数字0至9的小键盘，小键盘被触摸以输入个人识别码。出于安全原因，建议在输入个人识别码时用手或其他方法盖住键盘。由于虚拟数字小键盘的各个按键仅是静态的，并且对于顾客在自动取款机前面的正确位置，站在旁边的其他人可以在不同位置感知到按键，因此从他们的视角看到顾客输入不同的识别码。根据本公开内容的三维界面的实现，而不是传统自动取款机的已知的两个设备可以一方面提高安全性，另一方面提高用户友好性。
在一些实施方式中，通过三维界面提供的虚拟扩增键盘的实现允许将显示器和键盘组合到单个设备中。键盘可以实现为正在显示的一种虚拟键盘对象，并且客户可以与该虚拟键盘对象交互。因为键盘是虚拟对象，所以按键的布置可以以任意方式从客户到客户改变，如上面论述的。这可能使得针对传统自动取款机已经报道的识别码的系统性暗中监视复杂化。
现代医疗器械可以采用显示器和某种键面板用于交互。这种已知的医疗器械的交互通常需要利用手指直接物理接触键面板。在类似医院的医疗环境中，这增加了感染扩散的可能性。通常，通过适当地清洁键面板，可以抑制细菌或其它病原体的扩散。然而，这是一个耗时的过程，并且根据设备而需要使用特殊的清洁方法和清洁物质。因此，在一些实施方式中，三维用户界面可以被配置为在固定感知位置处显示虚拟对象，如上所述，并且可以采用虚拟对象来代替要触摸的键面板，从而避免与键面板等的物理接触。此外，不必应用昂贵的清洁流程，因为待显示的对象仅是虚拟的并且，因此，没有提供病原体可以在其上找到落脚地方的任何真实表面。而且，例如，当在手术室中使用三维用户界面代替键面板时，可以降低向患者转移感染的可能性。
此外，一种交互式信息屏幕变得越来越常见，例如，在诸如博物馆等的公共建筑物中。交互式信息屏幕可以类似于触摸显示器来实现，其中用户可以例如通过在触摸显示器上利用手指交互来检索关于展品或导航方向的信息。同样在这里，在一些实施方式中，可以使用三维用户界面来代替这样的交互式信息屏幕，使得用户不必再与物理呈现屏幕进行直接物理接触，由此也可以减少感染的扩散。
在一些实施方式中，三维用户界面与眼部佩戴物，诸如增强现实的眼镜一起使用。在这种实施方式中，装置可包括这种眼镜。在这种实施方式中，针对用户的每只眼睛，生成图像，即，如上所述的左眼图像和右眼图像。眼镜(即，装置)可以包括两个投影仪，一个用于眼镜的左眼显示器，一个用于右眼显示器，用于当用户透过眼镜镜片观察时，将用户感知的虚拟现实与真实世界重叠。在这种情况下，眼部佩戴物可实现三维用户界面。
在一些实施方式中，触点(隐形眼镜)实现为三维用户界面，即，在一些实施方式中，装置包括触点。在该情况下，对于虚拟现实体验，可以省略关于上述眼镜讨论的投影仪。透明显示器可以直接集成到触点中，触点允许将真实世界与虚拟世界重叠，即与如上所述的对象重叠。
在一些实施方式中，装置进一步包括用于检测装置和/或(例如，佩戴/保持装置)用户的移动的加速度传感器，其中，装置被配置为响应于由加速度传感器检测到的预定移动，向用户显示表示对象的图像数据。在装置包括两个显示器的实施方式中，诸如在装置包括眼部佩戴物(诸如提供两个投影仪以显示左眼图像和右眼图像的眼镜)的实施方式中，可以另外提供加速度传感器。在一些实施方式中，可以增加以上论述的三维用户界面的功能性。例如，只要人在移动，佩戴这种眼部佩戴物(例如，眼镜)的用户就会看到正常(真实)世界。一旦由加速度传感器检测到用户静止，则三维用户界面出现，即可以显示在眼镜上。在由加速度传感器检测到用户的头部向左或者向右(或者向上或者向下、或者摇动等)移动，例如，旋转时，也可以显示三维用户界面。只要用户观察预定义方向(其可以如上所述被检测)，则三维用户界面被显示并且可以被用户看到。如果用户将头部转回预定义的“正常”位置，则用户界面可以消失。在检测到进一步预定义的移动(例如，撞头等)之后，也可以在经过预定的时间间隔之后终止三维用户界面的显示。
虽然上述描述基本上涉及被配置为执行所描述的特征的处理器，如所提及的，本公开内容在这方面不受限制，但是这些特征也可以在方法中实现。
在一些实施方式中，还提供了其中存储有计算机程序产品的非暂时性计算机可读记录介质，计算机程序产品在由处理器(诸如，以上所描述的处理器)执行时，引起本文中所描述的方法被执行。
参考图5和图6a至图6c，它们以三维用户界面1的形式示出电子装置的实施方式。
三维(图形)用户界面1包括立体LCD显示器2、眼睛跟踪系统3、手指跟踪系统4及处理器(处理单元)5。三维立体用户界面1适于向用户施加表示如上所述的(虚拟)对象的三个虚拟图标6在立体显示器2的前面悬浮的印象。通过移动用户的手指7，例如，至图标6的最左侧的一个的位置(图6b)，可以开始界面1的操作系统。通过改变由立体显示器2显示的内容的外观，交互自身被反馈至用户(图6c)。
如图7至图9示出的，立体显示器2需要均表示图标6的图片10的左眼图像8和右眼图像9，来实现用户的三维感知。也如上所述，图标6通过根据用户相对于图标6和立体显示器2的位置修改左眼图像8和右眼图像9而在立体显示器2前面的位置中显示为静态的，由此补偿用户的眼睛11和12的移动，使得图标6显示在其固定位置。
图7至图9示出当左眼11位于位置xEL0、yEL0及zEL0并且右眼12位于位置xER0、yER0及zER0时，立体显示器2呈现左眼图像8和右眼图像9。如果左眼11在与立体显示器2的显示平面平行的平面中向右移动到位置xEL1，yEL0及zEL0，并且右眼12在与立体显示器的显示平面平行的平面中移动向右移动到位置xER1，yER0及zER0，如图7所示，立体显示器2呈现适配的左眼图像13和适配的右眼图像14，以将图标6保持在固定位置。在适配的左眼图像13和适配的右眼图像14中，图标6的图片10的位置移位至左侧，因此补偿用户的眼睛11和12的移动使得图标6显示在其固定位置处。
如果左眼11和右眼12改为远离显示器移动到位置xEL0、yEL0和zEL1以及xER0、yER0和zER1，如图8所示，由此增加了眼睛11、12和立体显示器2之间的距离，立体显示器2呈现适配的左眼图像13和适配的右眼图像14，使得在这种情况下图标6也保持在其位置。在适配的左眼图像13中，图标6的图片10的位置在图8中向左移位并且在适配的右眼图像14中，图标6的图片10的位置向右移位，使得适配的左眼图像13与适配的右眼图像14中的图片10的位置之间的距离与左眼图像8和右眼图像9的图片10的位置间的距离相比减小，从而补偿用户的眼睛11和12的移动，使得图标6显示在其固定位置。
如果用户的眼睛距离减小，并且左眼11和右眼12处于位置xEL2、yEL0和zEL0，以及xER2、yER0和zER0，如图9所示，立体显示器2呈现适配的左眼图像13和适配的右眼图像14。在适配的左眼图像13中，图标6的图片10的位置向左移位，而在右眼图像14中，图标6的图片10的位置在图9中向右侧移位并且适配的左眼图像13中的图片10的位置和适配的右眼图像14中的图片10之间的距离与左眼图像8和右眼图像9中的图片10的位置间的距离相比减小，因此补偿用户的眼睛11和12的移动，使得图标6显示在其固定位置。
参考图10至图12，说明用于确定适配的左眼图像13和适配的右眼图像14的方法20，该方法可以由用户界面1执行。
在21，眼睛跟踪系统3确定左眼11的左瞳孔位置xEL、yEL和zEL以及右眼12的右瞳孔位置xER、yER和zER并向处理器5提供左瞳孔位置xEL、yEL和zEL以及右瞳孔位置xER、yER和zER作为用户眼睛位置数据。眼睛跟踪系统3通过利用眼睛跟踪系统3中包括的数字照相机拍摄用户的图片来定期确定左瞳孔位置和右瞳孔位置。从该图片中，眼睛跟踪系统3确定左瞳孔位置和右瞳孔位置并且生成反馈至处理器5的相应的用户眼睛位置数据。
在22，处理器5获得包含右眼图像信息和左眼图像信息的表示图标6的图像数据并且获得由眼睛跟踪系统3生成的用户眼睛位置数据。
在23，处理器5基于图像数据和用户眼睛位置数据生成左眼图像位置xIL、yIL和zIL(图标6的图片10应在此外在左眼图像中呈现)和右眼图像位置xIR、yIR和zIR(图标6的图片10应在此处在右眼图像中呈现)，使得用户具有图标6位于对象感知位置xO、yO、zO的印象。
在图7至图9的讨论中，示出了主要存在两个量，这两个量确定位于立体显示器2前面的由用户对图标6的对象感知位置。首先，这是眼睛(诸如眼睛11和12)相对于图标(诸如图标6，即要显示的虚拟对象)或立体显示器2的位置，以及第二眼睛距离(诸如眼睛距离911或911'，如图4所示和如上所述)。这些依赖性可以通过引入位于如图10所示的三维显示器的中心的全局坐标系统来数学地描述。
在一些实施方式中，与三维用户界面1交互的问题是眼手协作，这可能需要图标6在立体显示器2前面的静态位置xO，yO和zO，该静态位置在一些实施方式中可以预定义。这是通过“动态”左眼图像和“动态”右眼图像来实现的，在“动态”左眼图像中，图标6的图片10的位置由xIL、yIL和zIL给出，在“动态”右眼图像中，图标6的图片10的位置由xIR、yIR和zIR给出。由于从眼睛跟踪系统3获得左瞳位置xEL、yEL和zEL以及右瞳位置xER、yER和zER，并且对象感知位置xO，yO和zO是固定的并且因此不改变，处理器5基于以下等式计算左眼图像13的位置xIL、yIL和zIL以及右眼图像14的位置xIR、yIR和zIR：
xIL＝xO–zO(xEL–xO)/(zEL–zO) (I)
yIL＝yO–zO(yEL–xO)/(zEL–zO) (II)
xIR＝xO–zO(xER–xO)/(zER–zO) (III)
yIR＝yO–zO(yER–xO)/(zER–zO)， (IV)
因为左眼图像内的图标6的图片10和右眼图像内的图标6的图片10直接位于立体显示器2的平面中，所以它们的z坐标为零。
左眼图像13和右眼图像14在立体显示器2上分别相应地显示在位置xIL、yIL和zIL以及xIR、yIR和zIR。
在24，手指跟踪系统4确定用户的食指7的手指位置xF、yF和zF，并且以由手指跟踪系统4生成的手势数据的形式将手指位置xF、yF和zF提供至处理器5。手指跟踪系统4包括数字照相机并且其定期地拍摄图片，基于该图片确定用户做出的手势。在检测到手势时，手指跟踪系统4生成表示手指位置xF、yF和zF的相应的手势数据，并将手势数据馈送至处理器5。
在25，处理器5进一步从手指跟踪系统4获得手指位置xF、yF及zF。在图标6附近检测到手指7的情况下，如通过图11呈现的，这是当手指7的手指位置xF、yF和zF与对象感知位置xO、yO和zO重叠时的情况，在26生成反馈信号并将反馈信号提供至用户。反馈信号是图标6的外观的变化或由图6c所示的由立体显示器2显示的内容的变化，而不在这方面限制本公开内容。
图13示出了针对提供三维用户界面的增强现实的眼镜30的形式的装置的另一实施方式。
眼镜30包括向用户呈现左眼图像的左眼显示器31和向用户呈现右眼图像的右眼显示器32。此外，眼镜30包括眼睛跟踪系统3、手指跟踪系统4及处理器(未示出)，与已关于图5至图12描述的那些类似。
左瞳孔位置xEL、yEL和zEL以及右瞳孔位置xER、yER和zER由眼睛跟踪系统3检测，并作为用户眼睛位置数据提供至处理器。处理器基于用户眼睛位置数据和静态的对象感知位置xO、yO和zO确定左眼图像位置xIL、yIL和zIL以及右眼图像位置xIR、yIR和zIR，在该图像位置，图标6的图片10必须呈现在左眼显示器31和右眼显示器32上。为了确定左眼图像位置xIL、yIL和zIL以及右眼图像位置xIR、yIR和zIR，使用等式(I)至(IV)，如以上所讨论的。
眼镜30进一步包括加速度传感器33，该加速度传感器检测眼镜30的移动并且，因此，也检测佩戴眼镜的用户的移动。当加速度传感器33检测预定义移动和/或预定义位置时，仅显示表示图标6的左眼图像和右眼图像。例如，如果用户将头部转向右侧(或者左侧)，如通过箭头34表示的，那么加速度传感器33检测到用户的头部的运动，并且，因此检测到眼镜30的运动，并将相应的运动信号馈送至处理器。在检测到从加速度传感器33接收的运动信号中的预定义移动时，处理器相应地控制左眼显示器31和右眼显示器32以分别显示左眼图像和右眼图像，使得用户感知图标6并且例如，如上所述与图标6交互。一旦加速度传感器33检测到运动返回，例如在检测到运动之前的用户头部的先前位置，表示图标6的左眼图像和右眼图像就渐弱(fade out)，并且用户通过眼镜30看到真实世界，而不显示图标6。
应注意，本技术也可以被配置为以下描述。
(1)一种包括处理器的装置，处理器被配置为
获得表示向用户显示的对象的图像数据，其中，对象基于在图像数据的基础上获得的左眼图像数据和右眼图像数据来显示；
获得表示用户的左瞳孔位置和右瞳孔位置的用户眼睛位置数据；并且
基于用户眼睛位置数据生成用于左眼图像数据的左眼图像位置和用于右眼图像数据的右眼图像位置。
(2)根据(1)所述的装置，其中，生成左眼图像位置和右眼图像位置，使得用户在与用户的左瞳孔位置和用户的右瞳孔位置无关的固定对象感知位置处感知对象。
(3)根据(1)或者(2)所述的装置，其中，所述用户眼睛位置数据包括左瞳孔位置和右瞳孔位置的距离信息、视角信息及移位信息中至少一种。
(4)根据(1)至(3)中任一项所述的装置，其中，处理器被配置为基于以下等式生成左眼图像位置和右眼图像位置：
xIL＝xO–zO(xEL–xO)/(zEL–zO)
yIL＝yO–zO(yEL–xO)/(zEL–zO)
xIR＝xO–zO(xER–xO)/(zER–zO)
yIR＝yO–zO(yER–xO)/(zER–zO)，
其中，在三维中，对象的对象感知位置由坐标xO、yO和zO限定，左瞳孔位置由坐标xEL、yEL和zEL限定，右瞳孔位置由坐标xER、yER和zER限定，左眼图像位置由坐标xIL、yIL和zIL限定，以及右眼图像位置由坐标xIR、yIR和zIR限定。
(5)根据(1)至(4)中任一项所述的装置，进一步包括瞳孔位置确定器，该瞳孔位置确定器用于确定左瞳孔位置和右瞳孔位置，并且用于基于确定的左瞳孔位置和确定的右瞳孔位置生成用户眼睛位置数据。
(6)根据(1)至(5)中任一项所述的装置，进一步包括用于检测用户的手势的手势确定器。
(7)根据(6)所述的装置，其中，处理器进一步配置为如果用户的手势接近对象的固定对象感知位置或者与其重叠，则生成反馈信号。
(8)根据(1)至(7)中任一项所述的装置，其中，对象包括图标、虚拟键盘、虚拟数字小键盘、虚拟键面板及待由用户操作(handled，处理)的任何其他虚拟对象中至少一种。
(9)根据(1)至(8)中任一项所述的装置，进一步包括显示器，该显示器用于在左眼图像位置显示左眼图像数据并且在右眼图像位置显示右眼图像数据。
(10)根据(1)至(9)中任一项所述的装置，进一步包括用于检测装置的移动的加速度传感器，其中，装置进一步配置为响应于由加速度传感器检测到的预定移动向用户显示表示对象的图像数据。
(11)一种方法，包括：
获得表示向用户显示的对象的图像数据，其中，基于在图像数据基础上获得的左眼图像数据和右眼图像数据来显示对象；
获得表示用户的左瞳孔位置和右瞳孔位置的用户眼睛位置数据；并且
基于用户眼睛位置数据生成用于左眼图像数据的左眼图像位置和用于右眼图像数据的右眼图像位置。
(12)根据(11)所述的方法，其中，左眼图像位置和右眼图像位置这样生成，使得用户在与用户的左瞳孔位置和用户的右瞳孔位置无关的固定对象感知位置处感知对象。
(13)根据(11)或者(12)所述的方法，其中，用户眼睛位置数据包括距离信息、视角信息及移位信息中至少一种。
(14)根据(11)至(13)中任一项所述的方法，其中，左眼图像位置和右眼图像位置基于以下等式生成：
xIL＝xO–zO(xEL–xO)/(zEL–zO)
yIL＝yO–zO(yEL–xO)/(zEL–zO)
xIR＝xO–zO(xER–xO)/(zER–zO)
yIR＝yO–zO(yER–xO)/(zER–zO)，
其中，在三维中，对象的对象感知位置由坐标xO、yO和zO限定，左瞳孔位置由坐标xEL、yEL和zEL限定，右瞳孔位置由坐标xER、yER和zER限定，左眼图像位置由坐标xIL、yIL和zIL限定，以及右眼图像位置由坐标xIR、yIR和zIR限定。
(15)根据(11)至(14)中任一项所述的方法，其中，确定左瞳孔位置和右瞳孔位置并且基于所确定的左瞳孔位置和所确定的右瞳孔位置生成用户眼睛位置数据。
(16)根据(11)至(15)中任一项所述的方法，进一步包括检测用户的手势。
(17)根据(16)所述的方法，进一步包括如果用户的手势接近对象的固定对象感知位置或者与其重叠，则生成反馈信号。
(18)根据(11)至(17)中任一项所述的方法，其中，对象包括图标、虚拟键盘、虚拟数字小键盘、虚拟键面板及用户待操作的任何其他虚拟对象中至少一种。
(19)根据(11)至(18)中任一项所述的方法，进一步包括在左眼图像位置显示左眼图像数据并且在右眼图像位置显示右眼图像数据。
(20)根据(11)至(19)中任一项所述的方法，进一步包括检测用户的移动并且响应于检测的用户的预定移动向用户显示表示对象的图像数据。
(21)一种计算机程序，包括程序代码，当程序代码在计算机上实施时引起计算机执行根据(11)至(20)中的任一项所述的方法。
(22)一种非暂时性计算机可读记录介质，其中存储有计算机程序产品，所述计算机程序产品在由处理器执行时使得根据(11)至(20)中的任一项所述的方法被执行。

Claims (16)

1.一种包括处理器的装置，所述处理器被配置为：
获得表示用于向用户显示的对象的图像数据，其中，基于在所述图像数据的基础上获得的左眼图像数据和右眼图像数据来显示所述对象；
获得表示所述用户的左瞳孔位置和右瞳孔位置的用户眼睛位置数据；以及
基于所述用户眼睛位置数据生成用于所述左眼图像数据的左眼图像位置和用于所述右眼图像数据的右眼图像位置，
其中，所述装置进一步包括用于检测所述用户的手势的手势确定器，并且
其中，所述处理器进一步被配置为如果所述用户的手势接近所述对象的固定对象感知位置或者与所述对象的固定对象感知位置重叠，则生成反馈信号。
2.根据权利要求1所述的装置，其中，所述左眼图像位置和所述右眼图像位置被生成使得所述对象在固定对象感知位置处被所述用户感知到，而与所述用户的左瞳孔位置和所述用户的右瞳孔位置无关。
3.根据权利要求1所述的装置，其中，所述用户眼睛位置数据包括所述左瞳孔位置和所述右瞳孔位置的距离信息、视角信息及移位信息中的至少一种。
4.根据权利要求1所述的装置，其中，所述处理器被配置为基于以下等式生成所述左眼图像位置和所述右眼图像位置：
xIL＝xO–zO(xEL–xO)/(zEL–zO)
yIL＝yO–zO(yEL–xO)/(zEL–zO)
xIR＝xO–zO(xER–xO)/(zER–zO)
yIR＝yO–zO(yER–xO)/(zER–zO)，
其中，在三维中，所述对象的对象感知位置由坐标xO、yO和zO来限定，所述左瞳孔位置由坐标xEL、yEL和zEL来限定，所述右瞳孔位置由坐标xER、yER和zER来限定，所述左眼图像位置由坐标xIL、yIL和zIL来限定，以及所述右眼图像位置由坐标xIR、yIR和zIR来限定。
5.根据权利要求1所述的装置，进一步包括瞳孔位置确定器，所述瞳孔位置确定器用于确定所述左瞳孔位置和所述右瞳孔位置并且用于基于所确定出的左瞳孔位置和所确定出的右瞳孔位置生成所述用户眼睛位置数据。
6.根据权利要求1所述的装置，其中，所述对象包括以下各项中的至少一种：图标、虚拟键盘、虚拟数字小键盘、虚拟键面板及由所述用户处理的任何其他虚拟对象。
7.根据权利要求1所述的装置，进一步包括显示器，所述显示器用于在所述左眼图像位置处显示所述左眼图像数据并且在所述右眼图像位置处显示所述右眼图像数据。
8.根据权利要求1所述的装置，进一步包括用于检测所述装置的移动的加速度传感器，其中，所述装置进一步被配置为响应于由所述加速度传感器检测出的预定移动向所述用户显示表示所述对象的所述图像数据。
9.一种用于显示对象的方法，包括：
获得表示用于向用户显示的所述对象的图像数据，其中，基于在所述图像数据的基础上获得的左眼图像数据和右眼图像数据来显示所述对象；获得表示所述用户的左瞳孔位置和右瞳孔位置的用户眼睛位置数据；以及基于所述用户眼睛位置数据生成用于所述左眼图像数据的左眼图像位置和用于所述右眼图像数据的右眼图像位置，
其中，所述方法进一步包括：
检测所述用户的手势，以及
如果所述用户的手势接近所述对象的固定对象感知位置或者与所述对象的固定对象感知位置重叠，则生成反馈信号。
10.根据权利要求9所述的方法，其中，所述左眼图像位置和所述右眼图像位置被生成使得所述对象在固定对象感知位置处被所述用户感知到，而与所述用户的左瞳孔位置和所述用户的右瞳孔位置无关。
11.根据权利要求9所述的方法，其中，所述用户眼睛位置数据包括距离信息、视角信息及移位信息中的至少一种。
12.根据权利要求9所述的方法，其中，所述左眼图像位置和所述右眼图像位置基于以下等式来生成：
xIL＝xO–zO(xEL–xO)/(zEL–zO)
yIL＝yO–zO(yEL–xO)/(zEL–zO)
xIR＝xO–zO(xER–xO)/(zER–zO)
yIR＝yO–zO(yER–xO)/(zER–zO)，
其中，在三维中，所述对象的对象感知位置由坐标xO、yO和zO来限定，所述左瞳孔位置由坐标xEL、yEL和zEL来限定，所述右瞳孔位置由坐标xER、yER和zER来限定，所述左眼图像位置由坐标xIL、yIL和zIL来限定，以及所述右眼图像位置由坐标xIR、yIR和zIR来限定。
13.根据权利要求9所述的方法，其中，确定所述左瞳孔位置和所述右瞳孔位置并且基于所确定出的左瞳孔位置和所确定出的右瞳孔位置生成所述用户眼睛位置数据。
14.根据权利要求9所述的方法，其中，所述对象包括以下各项中的至少一种：图标、虚拟键盘、虚拟数字小键盘、虚拟键面板及由所述用户处理的任何其他虚拟对象。
15.根据权利要求9所述的方法，进一步包括：在所述左眼图像位置处显示所述左眼图像数据并且在所述右眼图像位置处显示所述右眼图像数据。
16.根据权利要求9所述的方法，进一步包括：检测所述用户的移动并且响应于所检测出的所述用户的预定移动向所述用户显示表示所述对象的所述图像数据。
CN201580037888.9A 2014-07-16 2015-07-16 用于在三维显示器上呈现虚拟对象的装置及用于控制装置的方法 Active CN107077199B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14177248 2014-07-16
EP14177248.3 2014-07-16
PCT/EP2015/066293 WO2016008988A1 (en) 2014-07-16 2015-07-16 Apparatus for presenting a virtual object on a three-dimensional display and method for controlling the apparatus

Publications (2)

Publication Number Publication Date
CN107077199A CN107077199A (zh) 2017-08-18
CN107077199B true CN107077199B (zh) 2019-12-31

Family

ID=51212691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580037888.9A Active CN107077199B (zh) 2014-07-16 2015-07-16 用于在三维显示器上呈现虚拟对象的装置及用于控制装置的方法

Country Status (4)

Country Link
US (1) US10216357B2 (zh)
EP (1) EP3170061A1 (zh)
CN (1) CN107077199B (zh)
WO (1) WO2016008988A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021081757A (ja) * 2018-03-12 2021-05-27 ソニーグループ株式会社 情報処理装置、情報処理方法、および、プログラム
KR102506873B1 (ko) * 2018-07-18 2023-03-08 현대자동차주식회사 차량 입체 클러스터, 그를 포함한 시스템 및 그 입체 화면 제공 방법
JP2020048017A (ja) * 2018-09-18 2020-03-26 ソニー株式会社 表示制御装置および表示制御方法、並びに記録媒体
US20200128233A1 (en) * 2018-10-17 2020-04-23 Red Technologies, LLC Mobile device
CN110764264B (zh) * 2019-11-07 2022-02-15 中勍科技有限公司 一种ar智能眼镜
US11797175B2 (en) 2021-11-04 2023-10-24 Microsoft Technology Licensing, Llc Intelligent keyboard attachment for mixed reality input

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101908033B1 (ko) 2008-07-10 2018-12-10 리얼 뷰 이미징 리미티드 광시야각 디스플레이들 및 사용자 인터페이스들
CN102640502B (zh) 2009-10-14 2015-09-23 诺基亚公司 自动立体渲染和显示装置
JP4679661B1 (ja) * 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
US20120206335A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event, sensor, and user action based direct control of external devices with feedback
US9285874B2 (en) 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
JP5625979B2 (ja) 2011-02-10 2014-11-19 ソニー株式会社 表示装置および表示方法ならびに表示制御装置
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US20140152558A1 (en) * 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
KR20140090552A (ko) * 2013-01-09 2014-07-17 엘지전자 주식회사 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 및 그 제어 방법
CN103440036B (zh) * 2013-08-23 2018-04-17 Tcl集团股份有限公司 三维图像的显示和交互操作方法及装置

Also Published As

Publication number Publication date
CN107077199A (zh) 2017-08-18
WO2016008988A1 (en) 2016-01-21
US10216357B2 (en) 2019-02-26
US20170293412A1 (en) 2017-10-12
EP3170061A1 (en) 2017-05-24

Similar Documents

Publication Publication Date Title
US20200409529A1 (en) Touch-free gesture recognition system and method
CN107077199B (zh) 用于在三维显示器上呈现虚拟对象的装置及用于控制装置的方法
US10222981B2 (en) Holographic keyboard display
CN109564472B (zh) 用于选取与虚拟对象的交互方法的方法、介质和系统
CN108780360B (zh) 虚拟现实导航
US9829989B2 (en) Three-dimensional user input
CN107810465B (zh) 用于产生绘制表面的系统和方法
US9864495B2 (en) Indirect 3D scene positioning control
US9905052B2 (en) System and method for controlling immersiveness of head-worn displays
US20180150997A1 (en) Interaction between a touch-sensitive device and a mixed-reality device
CN108073280A (zh) 在增强或虚拟现实环境中选择对象
WO2013028268A1 (en) Method and system for use in providing three dimensional user interface
CN103347437A (zh) 3d映射环境中的凝视检测
KR20070090730A (ko) 입체영상 기반 가상현실장치
US10469834B2 (en) Stereoscopic display
CN114647317A (zh) 由外围设备启用的远程触摸检测
Yu et al. Depthmove: Leveraging head motions in the depth dimension to interact with virtual reality head-worn displays
CN113853575B (zh) 具有滑动菜单的人工现实系统
WO2024064231A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
JP2019091510A (ja) 情報処理方法、情報処理プログラム及び情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant