CN105493059B - 支持头戴式显示器的视频电话的便携式装置及其控制方法 - Google Patents

支持头戴式显示器的视频电话的便携式装置及其控制方法 Download PDF

Info

Publication number
CN105493059B
CN105493059B CN201380079148.2A CN201380079148A CN105493059B CN 105493059 B CN105493059 B CN 105493059B CN 201380079148 A CN201380079148 A CN 201380079148A CN 105493059 B CN105493059 B CN 105493059B
Authority
CN
China
Prior art keywords
mancarried device
head
label
hmd
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380079148.2A
Other languages
English (en)
Other versions
CN105493059A (zh
Inventor
赵殷亨
千西内
金钟虎
金志桓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN105493059A publication Critical patent/CN105493059A/zh
Application granted granted Critical
Publication of CN105493059B publication Critical patent/CN105493059B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video

Abstract

根据本说明书的一种实施方式的控制便携式装置的方法包括以下步骤：与头戴式显示器(HMD)配对；当接收到来电时，检测所配对的HMD的第一位置；根据所检测到的所配对的HMD的第一位置来配置与所述来电对应的标记信息；以及将与所述标记信息对应的增强现实图像发送至所配对的HMD。

Description

支持头戴式显示器的视频电话的便携式装置及其控制方法
技术领域
本说明书涉及便携式装置，且更具体地，涉及提供用于头戴式显示器以执行视频电话所必需的标记信息的便携式装置。
背景技术
真实对象和虚拟对象被混合在一起的增强现实技术能使用户看到真实图像以及增强现实图像，且随后提供除了真实感以外的额外的图像。例如，在由智能电话接收到来电的情况下，头戴式显示器可以使用增强现实技术将来电的发送者的面部在智能电话的一位置上显示为增强现实图像。通过这样做，头戴式显示器的用户能够以看到发送者的面部的方式来进行视频电话。
增强现实图像可以在检测到与增强现实图像相对应的标记的情况下被显示。增强现实图像可以对应于三维图像，并且该三维图像的方向可以根据标记的方向而改变。
发明内容
技术问题
因此，便携式装置根据来电的发送者显示彼此不同的标记，并且应当根据头戴式显示器的位置或方向来控制标记的方向。因此，需要一种根据情况以适应性地生成标记信息的方式将该标记信息发送至头戴式显示器的方法。
问题的解决方案
因此，本说明书致力于基本上消除了由于现有技术的限制和缺陷而造成的一个或更多个问题的设备及其方法。
本说明书的目的是提供一种发送增强现实图像的标记信息的便携式装置及其控制方法。具体地，在本说明书中，对于便携式装置而言，必须提供一种根据用户或配对的头戴式显示器的位置来适应性地改变发送的标记信息的方法。
本发明的其它优势、目的和特征将部分地在下面的描述中进行阐述，且部分对于本领域普通技术人员而言在审阅了下文后将变得显而易见或者可以从实践本发明中习得。本发明的目的和其它优势可以通过在所撰写的说明书及其权利要求书以及附图中具体指出的结构来实现和获得。
为实现这些目的和其它优势并且根据本发明的目的，如在本文中所实施和广泛描述地，一种便携式装置包括：通信单元，所述通信单元被配置为以与头戴式显示器(HMD)配对的方式来接收来电并且被配置为发送信息；传感器单元，所述传感器单元被配置为检测所述HMD的位置；显示单元；以及控制器，所述控制器被配置为控制所述通信单元、所述传感器单元和所述显示单元，如果所述HMD与所述便携式装置配对，则所述控制器被配置为根据所述HMD的第一位置来配置对应于所述来电的标记信息，所述控制器被配置为将对应于所述标记信息的增强现实图像发送至所述HMD。
为实现这些和其它优势并且根据本说明书的目的，如所实施和广泛描述地，根据一种实施方式，一种控制便携式装置的方法包括以下步骤：与头戴式显示器(HMD)配对；如果接收到来电，则检测所配对的HMD的第一位置；根据所检测到的第一位置来配置对应于所述来电的标记信息；以及将对应于所述标记信息的增强现实图像发送至所述HMD。
发明的有益效果
根据本说明书，便携式装置可以生成对应于增强现实图像的标记信息并且发送该标记信息。
根据本说明书，便携式装置可以根据用户或配对的头戴式显示器的位置来适应性地改变标记信息。
根据本说明书，便携式装置在视频电话开始之前检测头戴式显示器的位置并且可以配置标记信息。
根据本说明书，便携式装置可以发送关于该便携式装置的形式的信息以作为标记信息。
根据本说明书，如果用户或配对的头戴式显示器的位置改变，则便携式装置可以以追踪改变的位置的方式来修改标记信息。
要理解的是，本说明书的以上一般性描述和以下详细描述两者均是示例性和说明性的，并且旨在提供对所要求保护的本发明的进一步解释。
附图说明
附图被包括以提供对本发明的进一步理解，并且被结合进本申请中并构成本申请的一部分，附图示出了本发明的实施方式，并且与本描述一起用于解释本发明的原理。在附图中：
图1是根据本说明书的一种实施方式的提供便携式装置的视频电话的方法的示图；
图2是根据本说明书的不同实施方式的提供便携式装置的视频电话的方法的示图；
图3是根据本说明书的不同实施方式的提供便携式装置的视频电话的方法的示图；
图4是根据本说明书的不同实施方式的提供便携式装置的视频电话的方法的示图；
图5是根据本说明书的一种实施方式的便携式装置的框图；
图6是用于根据本说明书的一种实施方式的控制便携式装置的方法的流程图；
图7是用于根据本说明书的不同实施方式的控制便携式装置的方法的流程图。
具体实施方式
虽然已参照附图以及在这些附图上所撰写的内容具体描述了实施方式，但是权利要求书的范围可以不限于或不局限于这些实施方式。
虽然在本说明书中使用的术语考虑到功能而选自当前且广泛使用的一般性术语，但是这些术语可以根据从事相应领域的技术人员的意图、习惯、新技术的出现等来改变。有时，一些术语可以由申请人任意选择。在这种情况下，任意选择的术语的含义将在本说明书的详细描述的相应部分中进行描述。因此，在本说明书中使用的术语需要基于相应术语和在本说明书中公开的整体事物的实质性含义来理解，而不是按简单的术语名称来理解。
在本说明书中，便携式装置可以对应于包括显示单元的装置。例如，便携式装置可以包括智能电话、智能平板电脑、笔记本电脑、平板计算机、音乐播放器、智能平板、监视器或电视。在本说明书中，头戴式显示器可以包括能够以被穿在用户身体上的方式显示可视信息的可穿戴装置。
图1是根据本说明书的一种实施方式的提供便携式装置的视频电话的方法的示图。便携式装置可以接收来电。该便携式装置可以显示关于来电的发送者的信息。并且，便携式装置能够以与头戴式显示器配对的方式将关于来电的发送者的信息提供至头戴式显示器。
如果头戴式显示器与便携式装置配对，则该便携式装置能够显示增强现实图像的标记，并且该头戴式显示器检测在便携式装置中显示的标记，且能够显示对应于该标记的增强现实图像。便携式装置检测用户或头戴式显示器的位置，并且能够根据检测到的位置适应性地改变标记的位置。虽然在以下的描述中作为示例来说明头戴式显示器的位置，但是本说明书也可以被类似地应用于用户的位置。为了将发送者的正脸显示在配对的头戴式显示器中，便携式装置能够确定标记的方向。
参照图1的左侧，便携式装置11可以接收来电。已接收到来电后，便携式装置11可以检测配对的头戴式显示器13的第一位置。在这种情况下，该第一位置可以是指与便携式装置配对的头戴式显示器基于该便携式装置的相对位置。例如，便携式装置11设置虚拟基线，并且能够检测位于从该基线旋转第一角度的位置处的配对的头戴式显示器13。
便携式装置11可以配置标记12的方向以使对应于标记12的增强现实图像14的前侧面向第一位置。在图1中，增强现实图像14是响应于标记12而在头戴式显示器13中显示的图像。便携式装置可以将标记12的方向配置为从基线旋转第一角度的方向。
如果确定应答来电并且启动呼叫，则便携式装置将标记12旋转为所配置的方向，并且随后显示标记12。例如，如果头戴式显示器13位于该头戴式显示器从便携式装置11的基线顺时针形成第一角度的位置处，则便携式装置11可以在将标记12顺时针旋转第一角度之后显示该标记12。
并且，便携式装置可以将标记信息和增强现实图像中的至少一个发送至配对的头戴式显示器13。标记信息可以包括关于标记的形式和标记的方向的信息。并且，增强现实图像可以包括关于来电的发送者的信息。例如，增强现实图像可以包括发送者的姓名、电话号码、备注、照片和视频电话图像。
头戴式显示器13检测在便携式装置11中显示的标记12并且能够使用从便携式装置发送的标记信息和增强现实图像中的至少一个来进行视频电话。头戴式显示器13能够响应于所检测到的标记12来显示增强现实图像14。头戴式显示器13能够以根据所显示的标记12的方向旋转增强现实图像的方式来显示该增强现实图像。因此，头戴式显示器13能够将来电的发送者的视频电话图像的前侧显示为增强现实图像14。
参照图1的右侧，其指示在图1的左侧中示出的便携式装置已顺时针旋转90度的状态。如果该便携式装置在执行视频电话的中途旋转，则便携式装置11可以在相反方向上与便携式装置已旋转的一样多地旋转标记12。具体地，如果便携式装置在执行视频电话的中途顺时针旋转90度，则便携式装置11可以以将标记逆时针旋转90度的方式来显示所显示的标记12。换句话说，便携式装置可以将关于包括在标记信息中的显示方向的信息改变为逆时针旋转90度的方向。便携式装置可以改变标记信息以使增强现实图像的前侧面向头戴式显示器13。通过这样做，便携式装置可以使在头戴式显示器13中显示的增强现实图像14保持在前侧。
便携式装置11可以检测头戴式显示器13的第一位置，直到视频电话结束为止。如果第一位置被改变为第二位置，则便携式装置可以根据改变的第二位置来旋转所显示的标记12。换句话说，便携式装置11可以改变包括在标记信息中的该标记的显示方向以使增强现实图像的前侧面向第二位置。便携式装置可以响应于第一位置与第二位置之间的角度来旋转所显示的标记12。
通过这样做，佩戴头戴式显示器13的用户可以在持续进行视频电话的同时，以看着另一方的面部的前侧的方式来进行视频电话。并且，在用户的第一位置改变的情况下，该用户可以始终看着另一方的面部的前侧。
图2是根据本说明书的不同实施方式的提供便携式装置的视频电话的方法的示图。便携式装置能够接收来电。该便携式装置能够显示关于来电的发送者的信息。并且，便携式装置可以以与头戴式显示器配对的方式将关于来电的发送者的信息提供给头戴式显示器。头戴式显示器能够利用增强现实图像的标记来检测便携式装置的形式。头戴式显示器检测便携式装置的形式，并且能够显示与便携式装置的形式相对应的增强现实图像。便携式装置检测头戴式显示器的位置并且能够根据所检测到的位置将包括关于便携式装置的基准形状的信息的标记信息发送至头戴式显示器。便携式装置能够确定该基准形状以使发送者的面部的前侧被显示在配对的头戴式显示器中。具体地，便携式显示器的基准形状可以被定义为从所显示的增强现实图像的前侧所面对的方向看到的该便携式装置的形式。
参照图2的左侧，便携式装置11可以接收来电。已接收到来电之后，便携式装置11可以检测配对的头戴式显示器13的第一位置。在这种情况下，第一位置可以是指与便携式装置配对的头戴式显示器基于该便携式装置的相对位置。例如，便携式装置11设置虚拟基线21，并且可以检测在从基线旋转第一角度的位置处的配对的头戴式显示器13。参照图2的左侧，由于头戴式显示器13位于基线的方向处，所以第一角度变成0度。
便携式装置11可以利用标记信息来配置关于便携式装置的基准形状的信息以使增强现实图像14的前侧面对第一位置。在图2中，增强现实图像14是响应于便携式装置的基准形状而在头戴式显示器13中显示的图像。便携式装置可以将该便携式装置的基准形状配置为从基线旋转作为第一角度的0度的形式。
并且，便携式装置可以将标记信息和增强现实图像中的至少一个发送至配对的头戴式显示器13。标记信息可以包括关于便携式装置的基准形状的信息。此外，标记信息根据便携式装置的多个角度可以进一步包括关于形式的信息。具体地，标记信息可以根据由头戴式显示器的相机单元识别的便携式装置与头戴式显示器之间的角度进一步包括关于便携式装置的形式的信息。并且，增强现实图像可以包括关于来电的发送者的信息。例如，增强现实图像可以包括发送者的姓名、电话号码、备注、照片和视频电话图像。
头戴式显示器13利用标记来检测便携式装置11的形式，并且可以使用从该便携式装置发送的标记信息和增强现实图像中的至少一个来进行视频电话。头戴式显示器13可以响应于标记信息和所检测到的便携式装置的形式中的至少一个来显示增强现实图像14。头戴式显示器13可以基于便携式装置的基准形状和所检测到的便携式装置的形式以旋转增强现实图像的方式来显示该增强现实图像。因此，头戴式显示器13可以将来电的发送者的视频电话图像的前侧显示为增强现实图像14。
图2的右侧指示便携式显示装置已顺时针旋转90度的状态。随着便携式装置旋转，便携式装置的基线21可以顺时针旋转90度。通过这样做，头戴式显示器13可以位于便携式装置11的左侧。由于头戴式显示器13的第一位置是针对便携式装置11的相对位置，所以该第一位置可以随着便携式装置11旋转而改变。换句话说，头戴式显示器13可以基于便携式装置11而位于改变的第一位置22处，并且基线21与第一位置22之间的第一角度23可以形成90度。
如果便携式装置在进行视频电话的中途旋转，则便携式装置11可以以改变关于基准形状的信息的方式将关于该基准形状的信息发送至头戴式显示器13。便携式装置11根据包括在标记信息中的多个角度将便携式装置的形状中的一个更新为基准形状，并且可以以在标记信息中包括关于更新后的基准形状的信息的方式将关于更新后的基准形状的信息发送至头戴式显示器13。具体地，在图2的右侧，便携式装置可以将从便携式装置的左侧看到的该便携式装置的形式更新为基准形状。因此，参照图2的右侧，头戴式显示器的相机单元可以检测与基准形状相同的便携式装置。因此，能够在头戴式显示器中显示增强现实图像的前侧。
作为不同的实施方式，便携式装置可以将关于第一角度23的信息发送至头戴式显示器13。头戴式显示器能够基于所发送的关于第一角度23的信息来更新基准形状。参照图2的右侧，由于第一角度对应于顺时针90度，所以头戴式显示器能够将从便携式装置的左侧看到的便携式装置的形式更新为在包括在标记信息中的从多个角度看到的便携式装置的形状中的基准形状。因此，在图2的右侧，头戴式显示器的相机单元能够检测与基准形状相同的便携式装置的形状。通过这样做，便携式装置11可以使在头戴式显示器13中显示的增强现实图像14保持在前侧。
便携式装置11能够检测头戴式显示器13的第一位置，直到视频电话结束为止。如果该第一位置改变，则便携式装置能够根据所改变的第一位置来更新关于基准形状的信息。换句话说，佩戴头戴式显示器13的用户能够在持续进行视频电话的同时，以看着另一方的面部的前侧的方式进行视频电话。并且，在用户的第一位置改变的情况下，该用户能够始终看着另一方的面部的前侧。
图3是根据本说明书的不同实施方式的提供便携式装置的视频电话的方法的示图。在用户在进行视频电话的中途旋转便携式装置以查看增强现实图像的侧面或反面的情况下，便携式装置能够以不旋转标记的方式来保持显示的标记。具体地，如果由便携式装置识别的头戴式显示器的第一位置由于该便携式装置的旋转或移动而变为第二位置，则该便携式装置能够保持所显示的标记，而不旋转或移动所显示的标记。作为不同的实施方式，如果由便携式装置识别的头戴式显示器的第一位置由于该便携式装置的旋转或移动而变为第二位置，则便携式装置可以保持包括关于该便携式装置的基准形状的信息的标记信息，而不更新该标记信息。
在头戴式显示器的第一位置被改变为第二位置的情况下，在以下的描述中说明判断位置变化是对应于便携式装置与头戴式显示器之间的相对位置变化还是头戴式显示器的绝对位置变化的方法。
便携式装置可以使用传感器单元来检测头戴式显示器的位置变化。便携式装置可以检测该便携式装置的第一位置被改变为第二位置不是因为头戴式显示器已移动，而是因为该便携式装置已旋转或移动。
例如，便携式装置可以使用图像传感器来确定头戴式显示器的位置变化是否是由便携式装置的移动引起。便携式装置可以基于头戴式显示器的从第一位置变为第二位置的背景图像来确定是该头戴式显示器已移动还是该便携式装置已移动。如果头戴式显示器的背景图像改变，则便携式装置可以确定头戴式显示器的位置已由于该头戴式显示器的移动而改变。如果头戴式显示器的背景图像未改变，则便携式装置可以确定头戴式显示器的位置已由于便携式装置的移动而改变。
作为不同的实施方式，便携式装置可以使用陀螺仪传感器来确定头戴式显示器的位置变化是否是由便携式装置的移动而引起。当头戴式显示器的位置从第一位置被改变为第二位置时，便携式装置可以使用该便携式装置的陀螺仪传感器来感测该便携式装置是否旋转或移动。如果感测到便携式装置的旋转或移动，则该便携式装置可以确定头戴式显示器的位置已由于该便携式装置的旋转或移动而改变。
作为不同的实施方式，便携式装置可以通过从头戴式显示器接收该头戴式显示器的位置信息来确定头戴式显示器的位置变化是否是由便携式装置的移动引起。便携式装置可以通过从头戴式显示器接收GPS(全球定位系统)位置信息来判断头戴式显示器的绝对坐标是被改变。如果头戴式显示器的绝对坐标未被改变，则便携式装置可以确定头戴式显示器的位置已由于便携式装置的旋转或移动而改变。
参照图3的左侧，便携式装置11可以检测到头戴式显示器13位于便携式装置的左侧。如果接收到来电，则便携式装置11可以以标记面向检测到头戴式显示器的方向的方式来显示标记12。并且，代替显示该标记，便携式装置确定该便携式装置的基准形状，并且能够以在标记信息中包括基准形状的方式将该基准形状发送至头戴式显示器。在这种情况下，便携式装置的基准形状可以对应于从便携式装置的左侧看到的便携式装置的形状。
便携式装置11可以以旋转标记的方式来显示标记12，或者可以将包括在标记信息中的基准形状配置为使增强现实图像14的前侧显示在头戴式显示器中。头戴式显示器13能够基于在便携式显示器中显示的标记12或所接收到的标记信息在与便携式装置11相邻的区域中显示增强现实图像14。
如图3的右侧所描绘，如果在进行视频电话的中途便携式装置移动或旋转，则便携式装置可以保持标记12的显示方向或关于包括在标记信息中的基准形状的信息。通过这样做，便携式装置11可以旋转在头戴式显示器13中显示的增强现实图像14。参照图3的右侧，与图3的左侧相比，便携式装置已逆时针旋转90度。具体地，由于便携式装置的旋转，头戴式显示器13的相对位置从便携式显示装置的左侧的第一位置被改变为便携式装置的下侧的第二位置。因此，如果便携式装置检测到头戴式显示器13的位置变化，则该便携式装置可以保持标记12的显示方向。并且，便携式装置可以保持关于包括在标记信息中的基准形状的信息，而不进行更新。
因此，头戴式显示器13能够根据所检测到的标记或标记信息将增强现实图像14逆时针旋转90度。这是因为，头戴式显示器13已检测到标记12由于便携式装置的旋转而逆时针旋转90度。或者，这是因为，头戴式显示器13已检测到与发送至头戴式显示器13的便携式装置的基准形状相比，便携式装置的形状逆时针旋转了90度。具体地，头戴式显示器13可以以将所接收到的便携式装置的基准形状与通过包括在头戴式显示器13中的相机单元检测到的便携式装置的形状相比较的方式来确定增强现实图像14的旋转角度。并且，头戴式显示器13能够根据所确定的旋转角度来旋转增强现实图像14。
如在以上描述中所提及，便携式装置和与该便携式装置配对的头戴式显示器能够以各种角度在该头戴式显示器中显示增强现实图像。
图4是根据本说明书的不同实施方式的提供便携式装置的视频电话的方法的示图。如果用户想要以在进行视频电话的中途移动该用户的位置的方式持续地进行视频电话，则便携式装置需要持续地显示在头戴式显示器中显示的增强现实图像的前侧。这是因为，用户想要在进行视频电话的同时看到另一方的面部的前侧。因此，在进行视频电话的中途用户的位置被改变的情况下，便携式装置可以将显示的标记旋转至用户所位于的方向。
在由便携式装置识别的头戴式显示器的第一位置由于头戴式显示器的移动而被改变为第二位置的情况下，便携式装置能够响应于第一位置与第二位置之间的角度来旋转标记。作为不同的实施方式，在由便携式装置识别的头戴式显示器的第一位置由于头戴式显示器的移动而被改变为第二位置的情况下，便携式装置可以响应于第一位置与第二位置之间的角度来更新关于便携式装置的基准形状的信息。
在头戴式显示器的第一位置被改变为第二位置的情况下，判断位置变化是否对应于便携式装置与头戴式显示器之间的相对位置变化或头戴式显示器的绝对位置变化的方法在以下描述中进行说明。
便携式装置可以使用传感器单元来检测头戴式显示器的位置变化。便携式装置能够检测便携式装置的第一位置被改变为第二位置不是因为便携式装置已旋转或移动，而是因为头戴式显示器已移动。
例如，便携式装置可以使用图像传感器来确定头戴式显示器的位置变化是否是由头戴式显示器的移动引起。便携式装置可以基于从第一位置改变为第二位置的头戴式显示器的背景图像来确定头戴式显示器是否已移动或便携式装置是否已移动。如果头戴式显示器的背景图像改变，则便携式装置可以确定头戴式显示器的位置已由于头戴式显示器的移动而改变。如果头戴式显示器的背景图像未改变，则便携式装置可以确定头戴式显示器的位置已由于便携式装置的移动而改变。
作为不同的实施方式，便携式装置可以使用陀螺仪传感器来确定头戴式显示器的位置变化是否是由头戴式显示器的移动引起。当头戴式显示器的位置从第一位置被改变为第二位置时，便携式装置可以使用该便携式装置的陀螺仪传感器来感测便携式装置是否旋转或移动。如果未感测到便携式装置的旋转或移动，则便携式装置可以确定头戴式显示器的位置已由于头戴式显示器的移动而改变。
作为不同的实施方式，便携式装置可以通过从头戴式显示器接收该头戴式显示器的位置信息来确定头戴式显示器的位置变化是否是由便携式装置的移动引起。便携式装置可以通过从头戴式显示器接收GPS(全球定位系统)位置信息来判断头戴式显示器的绝对坐标是否被改变。如果头戴式显示器的绝对坐标改变，则便携式装置可以确定头戴式显示器的位置已由于头戴式显示器的移动而改变。
参照图4的上部，便携式装置11能够检测到头戴式显示器13位于便携式装置的左侧。如果接收到来电，则便携式装置11可以以标记面向检测到头戴式显示器的方向的方式来显示标记12。并且，代替显示该标记，便携式装置确定该便携式装置的基准形状并且可以以在标记信息中包括基准形状的方式将基准形状发送至头戴式显示器。在这种情况下，便携式装置的基准形状可以对应于从该便携式装置的左侧看到的便携式装置的形状。
便携式装置11可以以旋转标记的方式来显示标记12，或者可以将包括在标记信息中的基准形状配置为使增强现实图像14的前侧显示在头戴式显示器中。头戴式显示器13可以基于在便携式显示器11中显示的标记12或所接收到的标记信息在与便携式装置11相邻的区域中显示增强现实图像14。
如图4的下部所描绘，如果头戴式显示器在进行视频电话的中途移动，则便携式装置11可以旋转标记12的显示方向或更新关于包括在标记信息中的基准形状的信息。通过这样做，便携式装置11能够旋转增强现实图像14以使在头戴式显示器13中显示的增强现实图像14的前侧面向头戴式显示器13。
参照图4的下部，与图4的上部相比，头戴式显示器已逆时针旋转45度。具体地，由于头戴式显示器的移动，头戴式显示器13的绝对位置从便携式显示装置的左侧的第一位置被改变为便携式装置的左上侧45度的第二位置。因此，如果便携式装置11检测到头戴式显示器13的位置变化，则便携式装置可以改变标记12的显示方向。具体地，便携式装置11可以以旋转标记12的方式来显示标记以使该标记面向头戴式显示器13的第二位置。或者，便携式装置利用从第二位置看到的便携式装置的形状来重新配置便携式装置的基准形状。并且随后，便携式装置可以利用重新配置的基准形状来更新关于包括在被发送至头戴式显示器的标记信息中的基准形状的信息。
因此，头戴式显示器13可以根据被旋转的标记或被更新的标记信息将增强现实图像14逆时针旋转45度。具体地，头戴式显示器可以使增强现实图像14的前侧面向头戴式显示器13。
这是因为，头戴式显示器13已检测到由于头戴式显示器的移动，标记12逆时针旋转了45度。或者，这是因为，由头戴式显示器13检测到的便携式装置的形状与重新配置且更新的基准形状相同。
头戴式显示器13可以以将所接收到的便携式装置的基准形状与由包括在头戴式显示器13中的相机单元检测到的便携式装置的形状相比较的方式来确定增强现实图像14的旋转角度。并且，头戴式显示器13可以根据所确定的旋转角度来旋转增强现实图像14。在图4的下部，由于所检测到的便携式装置的形状与基准形状相同，所以头戴式显示器13将旋转角度确定为0并且在不进行旋转的情况下显示增强现实图像14。具体地，头戴式显示器13可以显示增强现实图像14的前侧。
如在以上描述中所提及，便携式装置和与该便携式装置配对的头戴式显示器可以以检测头戴式显示器的位置变化的方式来旋转增强现实图像以使该增强现实图像的前侧面向头戴式显示器。
图5是根据本说明书的一种实施方式的便携式装置的框图。便携式装置可以包括显示单元101、传感器单元102、通信单元103和控制器104。
显示单元101被配置为显示对应于增强现实图像的标记。显示单元101被配置为根据控制器104的控制命令来改变标记的显示方向。具体地，显示单元101被配置为根据控制命令按照旋转标记以使该标记面向头戴式显示器所位于的方向的方式来显示标记。
显示单元101可以包括选自由有机发光二极管(OLED)、液晶显示器(LCD)、电子墨水和柔性显示器组成的组中的至少一种。
传感器单元102被配置为检测头戴式显示器的位置。传感器单元102可以检测头戴式显示器的位置变化。传感器单元102可以使用图像传感器或定向天线来检测头戴式显示器基于该便携式装置所位于的方向。传感器单元102可以将关于头戴式显示器的位置的信息传递至控制器。
并且，传感器单元102可以检测是便携式装置与头戴式显示器之间的相对位置被改变还是头戴式显示器的绝对位置被改变。传感器单元102可以包括图像传感器和陀螺仪传感器。
例如，传感器单元102可以使用图像传感器基于从第一位置改变为第二位置的头戴式显示器的背景图像来确定是头戴式显示器的相对位置被改变还是头戴式显示器的绝对位置被改变。在头戴式显示器的背景图像被改变的情况下，传感器单元可以确定头戴式显示器的绝对位置被改变。在头戴式显示器的背景图像未被改变的情况下，传感器单元可以确定头戴式显示器的相对位置被改变。
作为不同的实施方式，传感器单元102可以使用陀螺仪传感器来确定是头戴式显示器的相对位置被改变还是头戴式显示器的绝对位置被改变。当头戴式显示器从第一位置移动到第二位置时，传感器单元102可以使用陀螺仪传感器来感测便携式装置是否被旋转或移动。如果感测到便携式装置的旋转或移动，则传感器单元可以确定头戴式显示器的相对位置由于便携式装置的旋转或移动而被改变。或者，如果未感测到便携式装置的旋转或移动，则传感器单元可以确定头戴式显示器的绝对位置被改变。传感器单元102可以传递从由关于头戴式显示器的位置的信息、关于相对位置变化的信息和关于绝对位置变化的信息组成的组中选择的至少一种信息。
通信单元103被配置为向头戴式显示器传递标记信息和关于增强现实图像的信息。并且，通信单元103被配置为从头戴式显示器接收该头戴式显示器的GPS(全球定位系统)信息。通信单元103可以向控制器传递所接收到的GPS信息。
便携式装置的通信单元103被配置为使用局域网(LAN)通信、WiFi、蓝牙等与头戴式显示器收发数据。
控制器104被配置为使用从传感器单元102或通信单元103传递的信息来控制显示单元101、传感器单元102和通信单元103。当接收到来电时，控制器104可以使用传感器单元102检测头戴式显示器的第一位置。控制器104可以使用所感测到的第一位置来确定标记的旋转角度。控制器104可以将标记的旋转角度确定为使对应于标记的增强现实图像的前侧面向第一位置。控制器104可以使用显示单元来显示旋转了该旋转角度的标记。并且，控制器104可以使用通信单元103将标记信息和关于增强现实图像的信息中的至少一个发送至头戴式显示器。
控制器104可以使用通信单元103接收头戴式显示器的GPS信息。控制器104可以使用所接收的GPS信息来确定头戴式显示器的第一位置。
控制器104可以使用传感器单元来检测头戴式显示器的第一位置被改变为第二位置。控制器104可以基于关于第二位置的信息来改变显示的标记的显示方向，或者可以基于关于第二位置的信息来更新发送至头戴式显示器的标记信息。控制器104根据实施方式确定是头戴式显示器的绝对位置被改变还是相对位置被改变。并且，根据确定的结果，控制器可以保持所显示的标记的方向或者可以保持所发送的标记信息，而不进行更新。
图5是根据本说明书的一种实施方式的框图。表示为单独的框以逻辑上被区分的方式被描绘为便携式装置的元件。因此，便携式装置的上述元件可以根据便携式装置的设计而装配有单个芯片或多个芯片。
根据本说明书的一种实施方式的头戴式显示器可以包括相机单元、显示单元、通信单元和控制器。头戴式显示器的相机单元可以检测在便携式装置中显示的标记。并且，相机单元可以基于关于包括在从便携式装置发送的标记信息中的基准形状的信息来检测便携式装置的形状。
头戴式显示器的显示单元可以显示对应于标记或标记信息的增强现实图像。显示单元可以包括有机发光二极管(OLED)、液晶显示器(LCD)或投影仪。
头戴式显示器的通信单元可以接收从便携式装置发送的标记信息或关于增强现实图像的信息中的至少一个。通信单元可以将所接收到的标记信息和关于增强现实图像的信息传递至控制器。通信单元可以向便携式装置发送头戴式显示器的GPS信息。
头戴式显示器的控制器可以响应于所检测到的标记或便携式装置的形状在显示单元中显示增强现实图像。如果开始视频电话，则头戴式显示器可以将发送者的面部显示为增强现实图像，并且可以基于便携式装置的标记或标记信息来保持增强现实图像，直到视频电话结束为止。
图6是用于根据本说明书的一种实施方式的控制便携式装置的方法的流程图。便携式装置可以与头戴式显示器配对[S10]。便携式装置可以使用局域网(LAN)、WiFi或蓝牙与头戴式显示器配对。可以在所配对的便携式装置与头戴式显示器之间收发数据。例如，便携式装置可以与头戴式显示器收发视频数据、音频数据、GPS数据等。
当接收到来电时，便携式装置可以检测头戴式显示器的第一位置[S20]。如上文在图1至图4中所提及，便携式装置可以使用传感器单元或GPS信息来检测头戴式显示器的第一位置。该第一位置可以是指头戴式显示器基于便携式装置所位于的方向。便携式装置可以不显示标记，直到检测到该第一位置。
便携式装置可以根据第一位置来配置对应于来电的标记信息[S30]。可以在应答来电发生之前执行对标记信息的配置。如上文在图1至图4中所提及，便携式装置可以根据第一位置来配置标记信息。该标记信息可以包括关于在便携式装置的显示单元中显示的标记的信息。便携式装置可以根据所检测到的第一位置来配置标记的显示方向。如果发生对来电的应答，则便携式装置可以根据所配置的标记信息以旋转标记的方式来显示该标记。便携式装置可以以标记面向第一位置的方式来显示标记。通过这样做，响应于该标记而在头戴式显示器中显示的增强现实图像的前侧可以面向第一位置。
根据不同的实施方式，标记信息可以包括关于便携式装置的基准形状的信息。便携式装置可以根据所检测到的第一位置来配置关于基准形状的信息。便携式装置可以将从第一位置看到的便携式装置的形状配置为基准形状。通过这样做，在头戴式显示器在第一位置处检测到便携式装置的情况下，头戴式显示器能够检测到与基准形状相同的便携式装置的形状。因此，响应于便携式装置的基准形状而在头戴式显示器中显示的增强现实图像的前侧可以面向第一位置。在标记信息包括关于便携式装置的基准形状的信息的情况下，便携式装置可以不显示单独的标记并且头戴式显示器可以将便携式装置的形状检测为标记。
便携式装置可以向头戴式显示器发送对应于标记信息的增强现实图像[S40]。头戴式显示器可以从便携式装置接收对应于该标记信息的增强现实图像。便携式装置可以向头戴式显示器发送来电的发送者的面部图像以作为增强现实图像。头戴式显示器可以以接收所发送的增强现实图像的方式将发送者的面部图像显示为增强现实图像。如上文在步骤[S30]中所提及，便携式装置可以根据头戴式显示器的第一位置适应性地配置标记信息。因此，佩戴头戴式显示器的用户可以在第一位置处看到增强现实图像的前侧。
图7是用于根据本说明书的不同实施方式的控制便携式装置的方法的流程图。便携式装置可以与头戴式显示器配对[S110]。便携式装置可以使用局域网(LAN)、WiFi或蓝牙与头戴式显示器配对。可以在所配对的便携式装置与头戴式显示器之间收发数据。例如，便携式装置可以与头戴式显示器收发视频数据、音频数据、GPS数据等。
当接收到来电时，便携式装置可以检测头戴式显示器的第一位置[S120]。如上文在图1至图4中所提及，便携式装置可以使用传感器单元或GPS信息来检测头戴式显示器的第一位置。该第一位置可以是指头戴式显示器基于便携式装置所位于的方向。便携式装置可以不显示标记，直到检测到第一位置。
便携式装置可以根据第一位置来配置对应于来电的标记信息[S130]。如上文在图1至图4中所提及，便携式装置可以根据第一位置来配置标记信息。该标记信息可以包括关于在便携式装置的显示单元中显示的标记的信息。便携式装置可以根据所检测到的第一位置来配置该标记的显示方向。便携式装置可以根据所配置的标记信息以旋转标记的方式来显示该标记。便携式装置可以以标记面向第一位置的方式来显示标记。通过这样做，响应于该标记而在头戴式显示器中显示的增强现实图像的前侧可以面向第一位置。
根据不同的实施方式，标记信息可以包括关于便携式装置的基准形状的信息。便携式装置可以根据所检测到的第一位置来配置关于基准形状的信息。便携式装置可以将从第一位置看到的便携式装置的形状配置为基准形状。通过这样做，在头戴式显示器在第一位置处检测到便携式装置的情况下，头戴式显示器可以检测到与基准形状相同的便携式装置的形状。因此，响应于便携式装置的基准形状而在头戴式显示器中显示的增强现实图像的前侧可以面向第一位置。在标记信息包括关于便携式装置的基准形状的信息的情况下，便携式装置可以不显示单独的标记，并且头戴式显示器可以将便携式装置的形状检测为标记。
便携式装置可以向头戴式显示器发送对应于标记信息的增强现实图像[S140]。头戴式显示器可以从便携式装置接收对应于标记信息的增强现实图像。便携式装置可以将来电的发送者的面部图像发送至头戴式显示器以作为增强现实图像。头戴式显示器可以以接收所发送的增强现实图像的方式将发送者的面部图像显示为增强现实图像。如上文在步骤[S30]中所提及，便携式装置可以根据头戴式显示器的第一位置适应性地配置标记信息。因此，佩戴头戴式显示器的用户可以在第一位置处看到增强现实图像的前侧。
便携式装置可以检测用户的位置变化[S150]。如上文在图3至图4中所提及，便携式装置可以使用图像传感器或头戴式显示器的GPS信息来检测头戴式显示器的位置变化。
便携式装置可以检测头戴式显示器的第二位置[S160]。如上文在图3至图4中所提及，便携式装置可以使用图像传感器来检测第二位置。便携式装置可以以从头戴式显示器接收关于第二位置的GPS信息的方式来检测第二位置。并且，便携式装置可以使用图像传感器或陀螺仪传感器来检测是头戴式显示器的绝对位置被改变还是相对位置被改变。如果根据实施方式头戴式显示器的绝对位置被改变，则便携式装置可以执行在以下描述中所说明的操作。
便携式装置可以根据第二位置来改变标记信息[S170]。如上文在图4中所提及，便携式装置可以根据第二位置来改变包括在标记信息中的标记的显示方向。便携式装置可以重新配置标记的显示方向以使该标记面向第二位置。或者，便携式装置可以根据第二位置来重新配置包括在标记信息中的便携式装置的基准形状。便携式装置可以将从第二位置看到的便携式装置的形状重新配置为基准形状。因此，在位于第二位置处的头戴式显示器使用相机单元检测到便携式装置的情况下，头戴式显示器可以检测到基准形状的便携式装置。
便携式装置可以将改变的标记信息发送至头戴式显示器[S180]。如上文在图4中所提及，便携式装置可以以将改变的或重新配置的标记信息发送至头戴式显示器的方式来更新标记信息。该操作可以仅针对包括在标记信息中的关于便携式装置的基准形状的信息被改变的情况来执行。在包括在标记信息中的标记的显示方向被改变或重新配置的情况下，便携式装置根据新的显示方向来显示标记，并且头戴式显示器的相机单元可以检测到所述改变或重新配置。因此，便携式装置可以不向头戴式显示器发送单独的标记信息。
头戴式显示器可以基于包括在所更新的标记信息中的便携式装置的基准形状来显示增强现实图像。由于在第二位置处检测到的便携式装置的形状与所更新的基准形状相同，所以头戴式显示器可以显示增强现实图像，该增强现实图像的前侧面向头戴式显示器。
如在以上描述中所提及，本说明书的便携式装置在视频电话开始之前检测头戴式显示器的位置。当视频电话开始时，便携式装置可以配置标记信息以使增强现实图像的前侧面向头戴式显示器。并且，本说明书的头戴式显示器可以基于标记或标记信息来为用户显示增强现实图像的前侧。
对于本领域技术人员而言，显而易见的将是，在不脱离本发明的精神或范围的情况下，可以在本说明书中进行各种修改和变型。因此，本说明书旨在涵盖本发明的这些修改和变型，只要它们出自于所附权利要求书及其等同物的范围内即可。
本发明的模式
已经以用于实现本发明的最佳模式描述了各种实施方式。
对于本领域技术人员而言，显而易见的将是，在不脱离本发明的精神或范围的情况下，可以在本发明中进行各种修改和变型。因此，本发明旨在涵盖本发明的这些修改和变型，只要它们出自于所附权利要求书及其等同物的范围内即可。
工业实用性
如上所述，本发明全部或部分地可应用于电子装置。

Claims (20)

1.一种便携式装置，该便携式装置包括：
通信单元，所述通信单元被配置为接收来电以及将信息发送至与所述便携式装置配对的头戴式显示器HMD；
传感器单元，所述传感器单元被配置为检测所述HMD的位置；
显示单元；以及
控制器，所述控制器被配置为：
根据与所述便携式装置配对的所述HMD的第一位置来配置与所述来电对应的标记信息，并且
将与所述标记信息对应的增强现实图像发送至所述HMD。
2.根据权利要求1所述的便携式装置，其中，所述控制器进一步被配置为将所配置的标记信息发送至所述HMD。
3.根据权利要求1所述的便携式装置，其中，如果所述HMD的所述第一位置被改变为第二位置，则所述控制器被配置为检测所述第二位置，其中，所述控制器被配置为根据所述HMD的所述第二位置来改变所述标记信息，并且其中，所述控制器被配置为将所改变的标记信息发送至所述HMD。
4.根据权利要求3所述的便携式装置，其中，所述控制器被配置为改变所述标记信息以使所述增强现实图像的前侧面向所述第二位置。
5.根据权利要求1所述的便携式装置，其中，与所述标记信息对应的所述增强现实图像对应于所述来电的发送者的面部。
6.根据权利要求1所述的便携式装置，其中，所述HMD被配置为根据所述标记信息来显示所述增强现实图像。
7.根据权利要求1所述的便携式装置，其中，所述控制器被配置为根据所述标记信息在所述显示单元中显示标记。
8.根据权利要求7所述的便携式装置，其中，如果由所述便携式装置识别的所述HMD的所述第一位置由于所述便携式装置的旋转或移动而被改变为第二位置，则所述控制器被配置为保持所显示的标记，而不改变所显示的标记。
9.根据权利要求8所述的便携式装置，其中，所述HMD被配置为检测所述标记已由于所述便携式装置的旋转或移动而旋转，并且其中，所述HMD被配置为根据所述标记的旋转来旋转所述增强现实图像。
10.根据权利要求7所述的便携式装置，其中，如果由所述便携式装置识别的所述HMD的所述第一位置由于所述HMD的移动而被改变为第二位置，则所述控制器被配置为响应于所述第一位置与所述第二位置之间的角度以旋转所述标记的方式来显示所述标记。
11.根据权利要求1所述的便携式装置，其中，所述标记信息包括关于由所述HMD识别的所述便携式装置的根据所述便携式装置与所述HMD之间的角度的形状的信息。
12.根据权利要求11所述的便携式装置，其中，所述HMD被配置为将所述便携式装置的所述形状识别为与所述增强现实图像对应的标记。
13.根据权利要求11所述的便携式装置，其中，所述控制器被配置为将由所述HMD在所述第一位置处识别的所述便携式装置的所述形状配置为基准形状信息，并且其中，所述基准形状信息被包括在所述标记信息中。
14.根据权利要求13所述的便携式装置，其中，如果由所述便携式装置识别的所述HMD的所述第一位置由于所述便携式装置的旋转或移动而被改变为第二位置，则所述控制器被配置为保持包含在所述标记信息中的所述基准形状信息。
15.根据权利要求14所述的便携式装置，其中，所述HMD被配置为响应于所述基准形状信息来按照将所述增强现实图像旋转所述便携式装置与所述HMD之间的角度的方式显示所述增强现实图像。
16.根据权利要求13所述的便携式装置，其中，如果由所述便携式装置识别的所述HMD的所述第一位置由于所述HMD的移动而被改变为第二位置，则所述控制器被配置为响应于所述第一位置与所述第二位置之间的角度来改变所述基准形状信息。
17.根据权利要求16所述的便携式装置，其中，所述基准形状信息从由所述HMD的相机在所述第一位置处识别的所述便携式装置的形状被改变为由所述HMD的所述相机在所述第二位置处识别的所述便携式装置的形状。
18.根据权利要求1所述的便携式装置，其中，在对所述来电的应答发生之前执行对所述标记信息的配置，并且其中，如果对所述来电的所述应答发生，则在所述显示单元中显示根据所述标记信息的标记图像。
19.根据权利要求1所述的便携式装置，其中，所述便携式装置对应于智能电话、智能平板电脑、音乐播放器、笔记本电脑、智能平板、监视器、电视或平板计算机。
20.一种控制便携式装置的方法，该方法包括以下步骤：
与头戴式显示器HMD配对；
当接收到来电时，检测所配对的HMD的第一位置；
根据所检测到的所配对的HMD的第一位置来配置与所述来电对应的标记信息；以及
将与所述标记信息对应的增强现实图像发送至所配对的HMD。
CN201380079148.2A 2013-08-28 2013-11-19 支持头戴式显示器的视频电话的便携式装置及其控制方法 Expired - Fee Related CN105493059B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2013-0102325 2013-08-28
KR1020130102325A KR102138511B1 (ko) 2013-08-28 2013-08-28 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법
US14/080,316 US8866849B1 (en) 2013-08-28 2013-11-14 Portable device supporting videotelephony of a head mounted display and method of controlling therefor
US14/080,316 2013-11-14
PCT/KR2013/010494 WO2015030304A1 (en) 2013-08-28 2013-11-19 Portable device supporting videotelephony of a head mounted display and method of controlling therefor

Publications (2)

Publication Number Publication Date
CN105493059A CN105493059A (zh) 2016-04-13
CN105493059B true CN105493059B (zh) 2018-08-07

Family

ID=51702321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380079148.2A Expired - Fee Related CN105493059B (zh) 2013-08-28 2013-11-19 支持头戴式显示器的视频电话的便携式装置及其控制方法

Country Status (5)

Country Link
US (1) US8866849B1 (zh)
EP (1) EP3039555B1 (zh)
KR (1) KR102138511B1 (zh)
CN (1) CN105493059B (zh)
WO (1) WO2015030304A1 (zh)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
JP5983499B2 (ja) * 2013-03-29 2016-08-31 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP5929933B2 (ja) * 2014-01-16 2016-06-08 カシオ計算機株式会社 表示システム、表示端末、表示方法及びプログラム
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9532715B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9651788B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241964A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
JP6379572B2 (ja) * 2014-03-27 2018-08-29 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US20150348322A1 (en) * 2014-06-02 2015-12-03 Dell Products L.P. Dynamically Composited Information Handling System Augmented Reality at a Primary Display
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10503977B2 (en) * 2015-09-18 2019-12-10 Hewlett-Packard Development Company, L.P. Displaying augmented images via paired devices
KR102413074B1 (ko) 2015-09-21 2022-06-24 삼성전자주식회사 사용자 단말, 전자 장치 및 이들의 제어 방법
KR101912881B1 (ko) 2016-03-18 2018-10-30 국민대학교 산학협력단 신경모방 멤리스터 크로스바 회로
US9584653B1 (en) * 2016-04-10 2017-02-28 Philip Scott Lyren Smartphone with user interface to externally localize telephone calls
US11182930B2 (en) * 2016-05-02 2021-11-23 Waves Audio Ltd. Head tracking with adaptive reference
CN107462989A (zh) * 2016-06-06 2017-12-12 华硕电脑股份有限公司 影像稳定方法与电子装置
CN106850967A (zh) * 2016-12-29 2017-06-13 深圳市宇恒互动科技开发有限公司 一种自适应屏显方法、系统及头戴设备
KR20180083144A (ko) 2017-01-12 2018-07-20 삼성전자주식회사 마커를 검출하기 위한 방법 및 그 전자 장치
US10135822B2 (en) 2017-03-21 2018-11-20 YouaretheID, LLC Biometric authentication of individuals utilizing characteristics of bone and blood vessel structures
US11374929B2 (en) * 2017-03-21 2022-06-28 Global E-Dentity, Inc. Biometric authentication for an augmented reality or a virtual reality device
US10983663B2 (en) 2017-09-29 2021-04-20 Apple Inc. Displaying applications
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
US10699087B1 (en) * 2019-07-10 2020-06-30 Zebra Technologies Corporation Alternative method to interact with a user interface using standard barcode scanners paired up with an augmented reality heads up display
WO2021061351A1 (en) 2019-09-26 2021-04-01 Apple Inc. Wearable electronic device presenting a computer-generated reality environment
CN116360601A (zh) 2019-09-27 2023-06-30 苹果公司 用于提供扩展现实环境的电子设备、存储介质和方法
US11269183B2 (en) * 2019-11-14 2022-03-08 Microsoft Technology Licensing, Llc Display information on a head-mountable apparatus corresponding to data of a computing device

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5977935A (en) * 1993-08-12 1999-11-02 Seiko Epson Corporation Head-mounted image display device and data processing apparatus including the same
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
US7774075B2 (en) * 2002-11-06 2010-08-10 Lin Julius J Y Audio-visual three-dimensional input/output
US20060284791A1 (en) 2005-06-21 2006-12-21 National Applied Research Laboratories National Center For High-Performance Computing Augmented reality system and method with mobile and interactive function for multiple users
US9344612B2 (en) * 2006-02-15 2016-05-17 Kenneth Ira Ritchey Non-interference field-of-view support apparatus for a panoramic facial sensor
CN102906623A (zh) 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
US8957919B2 (en) * 2010-04-05 2015-02-17 Lg Electronics Inc. Mobile terminal and method for displaying image of mobile terminal
US20120032877A1 (en) * 2010-08-09 2012-02-09 XMG Studio Motion Driven Gestures For Customization In Augmented Reality Applications
US20120113141A1 (en) * 2010-11-09 2012-05-10 Cbs Interactive Inc. Techniques to visualize products using augmented reality
US8589822B2 (en) * 2010-12-10 2013-11-19 International Business Machines Corporation Controlling three-dimensional views of selected portions of content
KR101758163B1 (ko) 2010-12-31 2017-07-14 엘지전자 주식회사 이동 단말기 및 그의 홀로그램 제어방법
CN102859470B (zh) * 2011-03-15 2015-12-02 松下电器（美国）知识产权公司 对象控制装置、对象控制方法以及集成电路
JP6126076B2 (ja) * 2011-03-29 2017-05-10 クアルコム，インコーポレイテッド 各ユーザの視点に対する共有デジタルインターフェースのレンダリングのためのシステム
JP5741160B2 (ja) * 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US8749573B2 (en) * 2011-05-26 2014-06-10 Nokia Corporation Method and apparatus for providing input through an apparatus configured to provide for display of an image
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8190749B1 (en) 2011-07-12 2012-05-29 Google Inc. Systems and methods for accessing an interaction state between multiple devices
CN102891915A (zh) * 2011-07-18 2013-01-23 上海盛畅网络科技有限公司 移动终端的虚实互动娱乐系统和方法
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US8644467B2 (en) 2011-09-07 2014-02-04 Cisco Technology, Inc. Video conferencing system, method, and computer program storage device
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US8847988B2 (en) * 2011-09-30 2014-09-30 Microsoft Corporation Exercising applications for personal audio/visual system
US20130297460A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
US9645394B2 (en) * 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments

Also Published As

Publication number Publication date
CN105493059A (zh) 2016-04-13
EP3039555A1 (en) 2016-07-06
KR20150025116A (ko) 2015-03-10
KR102138511B1 (ko) 2020-07-28
EP3039555A4 (en) 2017-05-03
EP3039555B1 (en) 2020-10-07
US8866849B1 (en) 2014-10-21
WO2015030304A1 (en) 2015-03-05

Similar Documents

Publication Publication Date Title
CN105493059B (zh) 支持头戴式显示器的视频电话的便携式装置及其控制方法
US10621956B2 (en) Attachable device with flexible electronic display orientation detection
US10318129B2 (en) Attachable device with flexible display and detection of flex state and/or location
US11079620B2 (en) Optimization of electronic display areas
US10372164B2 (en) Flexible electronic display with user interface based on sensed movements
US10558353B2 (en) System and method for 360-degree video navigation
US9195219B2 (en) Smart watch and control method thereof
CN107646098A (zh) 用于在虚拟现实中跟踪手持式设备的系统
WO2015120726A1 (zh) 可控制显示位置的便携式终端及其显示方法
CN105579890B (zh) 头戴式显示器及其控制方法
CN111492405B (zh) 头戴式显示设备及其方法
US11226689B2 (en) Display system that selects a character string according to movement detected
CN103841332A (zh) 全景景象拍摄及浏览的移动装置、系统及方法
CN108604096A (zh) 显示图像的方法及其电子设备
US9007401B1 (en) Head mounted display and method for controlling the same
CN107807347A (zh) 飞行器的定位控制方法
CN113348428A (zh) 虚拟对象显示装置以及虚拟对象显示方法
US20160284051A1 (en) Display control method and information processing apparatus
US20160077552A1 (en) Wearable device and control method thereof
CN116723257A (zh) 一种图像显示方法及电子设备
EP3329347B1 (en) Electronic device and cradle thereof
EP3520071B1 (en) Consistent spherical photo and video orientation correction
US10282909B2 (en) Virtual reality system, operating method for mobile device, and non-transitory computer readable storage medium
CN111868665A (zh) 一种便携式电子设备及其使用方法
US20200073611A1 (en) Electronic apparatus, computer-readable non-transitory recording medium, and display control method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180807

Termination date: 20201119

CF01 Termination of patent right due to non-payment of annual fee