CN105917268A - 头戴式显示器及其控制方法 - Google Patents

头戴式显示器及其控制方法 Download PDF

Info

Publication number
CN105917268A
CN105917268A CN201480073675.7A CN201480073675A CN105917268A CN 105917268 A CN105917268 A CN 105917268A CN 201480073675 A CN201480073675 A CN 201480073675A CN 105917268 A CN105917268 A CN 105917268A
Authority
CN
China
Prior art keywords
augmented reality
reality image
hmd
pattern
external equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480073675.7A
Other languages
English (en)
Other versions
CN105917268B (zh
Inventor
赵殷亨
金钟虎
李度泳
金志桓
千西内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN105917268A publication Critical patent/CN105917268A/zh
Application granted granted Critical
Publication of CN105917268B publication Critical patent/CN105917268B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种用于控制头戴式显示器(HMD)的方法，包括：检测外部设备；将增强现实图像显示为第一模式；当在第一模式中检测用户对增强现实图像的凝视时将第一模式变成第二模式；以及当在第二模式中对准增强现实图像和外部设备时执行与增强现实图像相对应的功能。第一模式是其中增强现实图像的显示位置取决于外部设备的位置的模式，以及第二模式是其中即使当外部设备的位置被改变时增强现实图像的显示位置保持固定的模式。

Description

头戴式显示器及其控制方法
技术领域
本说明书涉及一种头戴式显示器(HMD)，并且更加具体地，涉及一种用于显示增强现实图像的HMD及其控制方法。
背景技术
增强现实服务使用户能够观看真实图像和增强现实图像以向用户提供真实信息和虚拟信息。最近，随着技术已经被发展，头戴式显示器(HMD)已经被用作用于提供增强现实服务的设备。
发明内容
技术问题
当使用HMD提供增强现实服务时，存在对于用于执行与增强现实图像相对应的功能的更加方便的输入方法。
技术解决方案
因此，本说明书是针对一种头戴式显示器(HMD)及其控制方法，其在实质上避免由于现有技术的限制和缺点造成的一个或者多个问题。
本说明书的目的是为了提供HMD及其控制方法，该HMD用于根据在外部设备与增强现实图像之间的对准或者在外部设备上显示的内容图像和增强现实图像之间的对准来执行与增强现实图像相对应的功能。
本说明书的附加的优点、目的和特征将在随后的描述中被部分地阐述，并且对于本领域普通技术人员在考察了下文之后将部分地变得明显，或者可以从本发明的实践中学到。本说明书的目的和其他优点可以通过在撰写的说明书及其权利要求以及附图中具体指出的结构来实现和获得。
为了实现这些和其他优点并且根据本发明的用途，如在此具体化和广泛地描述的，头戴式显示器(HMD)包括：相机单元，该相机单元被配置成检测外部设备；显示单元，该显示单元被配置成显示增强现实图像；凝视检测单元，该凝视检测单元被配置成检测用户的凝视；以及处理器，该处理器被配置成控制相机单元、显示单元以及凝视检测单元，其中该处理器进一步被配置成检测外部设备，将增强现实图像显示为第一模式，其中第一模式是其中增强现实图像的显示位置取决于外部设备的位置的模式；当在第一模式中检测用户对增强现实图像的凝视时将第一模式变成第二模式，其中第二模式是其中即使当外部设备的位置被改变时增强现实图像的显示位置保持固定的模式，以及当在第二模式中对准增强现实图像和外部设备时执行与增强现实图像相对应的功能。
在本说明书的另一方面中，一种用于控制头戴式显示器(HMD)的方法，包括：检测外部设备；将增强现实图像显示为第一模式，其中第一模式是其中增强现实图像的显示位置取决于外部设备的位置的模式；当在第一模式中检测用户对增强现实图像的凝视时将第一模式变成第二模式，其中第二模式是其中即使当外部设备的位置被改变时增强现实图像的显示位置保持固定的模式；以及当在第二模式中对准增强现实图像和外部设备时执行与增强现实图像相对应的功能。
要理解的是，本说明书的一般描述和下面的详细描述这两者都是示例性和解释性的，并且意在提供对所要求保护的本发明的进一步解释。
发明的有益效果
根据本说明书，取决于是否增强现实图像取决于外部设备的位置，HMD可以将增强现实图像显示为两种模式，即，第一模式或者第二模式。
根据本说明书，HMD可以根据用户对增强现实图像的凝视将第一模式变成第二模式或者将第二模式变成第一模式。
根据本说明书，当外部设备和增强现实图像被对准时或者当外部设备的内容图像和增强现实图像被对准时，与增强现实图像相对应的功能可以被执行。因此，HMD可以使用更加方便的输入方法来执行与增强现实图像相对应的功能，从而向用户提供用户友好的增强现实服务。
附图说明
附图被包括以提供说明书的进一步理解并且被并入且组成本说明书的一部分，图示说明书的实施例并且连同描述一起用作解释本说明书的原理。在附图中：
图1示出根据本说明书的一个实施例的用于在头戴式显示器(HMD)处检测外部设备和用户的凝视以及显示增强现实图像的方法的图；
图2是示出根据本说明书的一个实施例的在HMD处将增强现实图像显示为第一模式或者第二模式的方法的图；
图3是示出根据本说明书的一个实施例的用于在HMD处根据在增强现实图像和外部设备之间的对准来执行与增强现实图像相对应的功能的方法的图；
图4a和图4b是示出根据本说明书的另一实施例的在HMD处根据在增强现实图像和外部设备之间的对准来执行与增强现实图像相对应的功能的方法的图；
图5是示出根据本说明书的一个实施例的用于在HMD处提供与增强现实图像相对应的功能的执行屏幕的方法的图；
图6是示出根据本说明书的一个实施例的用于在HMD处当与增强现实图像相对应的功能被终止时显示增强现实图像的方法的图；
图7是示出根据本说明书的一个实施例的用于在HMD处显示凝视保持区域的方法的图；
图8是示出根据本说明书的一个实施例的HMD的配置的框图；以及
图9是图示根据本说明书的一个实施例的用于控制HMD的方法的流程图。
具体实施方式
在下文中，将会参考附图详细地描述实施例。然而，本说明书不限于在此描述的实施例。
虽然从通常已知和使用的术语中选择在本说明书中使用的术语，但是取决于技术中操作者的意图或者习俗、新技术的出现等等可以变化在此使用的术语。另外，在本说明书的描述中提及的一些术语已经由本申请人以他的或者她的判断选择，其详细的含义在此处在本说明书的相关部分中描述。此外，所要求的是，不只是通过实际使用的术语，而是通过落入其内的每个术语的含义来理解本发明。
在本说明书中，头戴式显示器(HMD)可以意指被佩戴在用户的身体上以显示可视信息的可佩戴设备。例如，HMD可以是被佩戴在用户的头上以显示增强现实图像的可佩戴设备。另外，在本说明书中，增强现实图像是虚拟图像并且可以包括图形图像、文本、符号以及表情符号。
图1是示出根据本说明书的一个实施例的在头戴式显示器(HMD)处检测外部设备和用户的凝视并且显示增强现实图像的方法的图。
更加具体地，图1的上侧示出用于使用相机单元110在HMD 100处检测外部设备200的方法，并且图1的下侧示出用于使用显示单元在HMD 100处显示增强现实图像10并且使用凝视检测单元来检测用户的凝视20的方法。
如在图1的上侧中所示，HMD 100可以使用相机单元110检测外部设备200。另外，HMD 100可以使用相机单元110来检测外部设备200的位置变化。更加具体地，HMD 100可以从通过相机单元110捕获的图像来检测外部设备200和外部设备200的位置变化。外部设备200是用于显示至少一个内容图像的显示设备。
如在图1的下侧中所示，HMD 100可以使用显示单元来显示增强现实图像10。如果显示单元是由光学透视式显示面板组成，则HMD 100可以经由透视式显示面板在由用户看到的真实世界的外部设备200的外围上显示增强现实图像10。
这时，HMD 100可以显示与外部设备200相对应的增强现实图像10。例如，HMD 100可以显示与外部设备200的显示功能相对应的增强现实图像10。即，HMD 100可以显示与外部设备200的运动图像回放按钮相对应的增强现实图像10。另外，HMD 100可以显示与HMD100相对应的增强现实图像10。例如，HMD 100可以显示与HMD 100的电话功能或者消息传输功能相对应的增强现实图像10。上述实施例仅是增强现实图像10的示例并且通过实施例没有限制本说明书的HMD 100。
如在图1的下侧中所示，HMD 100可以使用凝视检测单元来检测用户的凝视20。例如，HMD 100可以使用凝视检测单元检测用户到增强现实图像10的凝视20。另外，HMD 100可以使用凝视检测单元检测用户的凝视20的位置变化。
图2是示出根据本发明的一个实施例的用于在HMD处将增强现实图像显示为第一模式或者第二模式的方法的图。
如在图2的上侧中所示，HMD可以将增强现实图像10显示为第一模式。第一模式可以意指其中增强现实图像10的显示位置取决于外部设备200的位置的模式。即，在第一模式中，当外部设备200的位置被改变时，基于被改变的外部设备200的位置来改变增强现实图像10的显示位置。例如，如在图2的上侧中所示，当外部设备200的位置从左向右改变时，基于被改变的外部设备200的位置，HMD可以将被显示为第一模式的增强现实图像10的位置从左变成右。因此，HMD可以给用户提供与外部设备200捆绑并且与外部设备200一起移动的增强现实图像20。
如在图2的下侧中所示，HMD可以将增强现实图像10显示为第二模式。第二模式可以意指其中即使当外部设备200的位置被改变时增强现实图像10的显示位置保持固定的模式。例如，如在图2的下侧中所示，即使当外部设备200的位置从左向右改变时，HMD可以固定增强现实图像10的显示位置。HMD可以给用户提供与外部设备200独立的增强现实图像10。即，HMD可以给用户提供没有与外部设备100捆绑的增强现实图像10。
这时，HMD可以在HMD的显示区域中固定被显示为第二模式的增强现实图像。即，HMD可以在HMD的显示区域的特定位置(例如，显示单元的特定坐标)处固定被显示为第二模式的增强现实图像10。在这样的情况下，即使当HMD的位置被改变时，佩戴HMD的用户能够在HMD的显示区域的特定位置处连续地观看增强现实图像20。另外，HMD可以在HMD的外围空间中固定被显示为第二模式的增强现实图像10。即，HMD可以在HMD的外围空间的特定位置(例如，空间的特定坐标)处固定被显示为第二模式的增强现实图像10。在这样的情况下，当HMD的位置被改变同时观看增强现实图像20时佩戴HMD的用户不可以连续地观看增强现实图像10，但是当HMD被返回到最初位置时可以再次观看增强现实图像10。
图3是示出根据本说明书的一个实施例的用于在HMD处根据增强现实图像和外部设备之间的对准来执行与增强现实图像相对应的功能的方法的图。
如在图3的左上侧中所示，HMD可以将增强现实图像10显示为第一模式。例如，如所示的，HMD可以将在外部设备200的上端的外围上的增强现实图像10显示为第一模式。当外部设备200被检测时，HMD可以将增强现实图像10显示为第一模式。另外，当用户对外部设备200的凝视被检测时，HMD可以将增强现实图像10显示为第一模式。
如在图3的右上侧中所示，当在第一模式中检测到用户对增强现实图像10的凝视20时，HMD可以将第一模式变成第二模式。更加具体地，当在第一模式中检测到用户对增强现实图像10的第一凝视区域的第一凝视时，HMD可以将第一模式变成第二模式。在此，第一凝视区域可以等于增强现实图像10的显示区域。另外，第一凝视区域可以大于增强现实图像10的显示区域。例如，第一凝视区域可以包括增强现实图像10的显示区域。
另外，当在第一模式中检测到用户对增强现实图像10的第一凝视区域的第一凝视时，当第一凝视被保持时HMD可以获取第一凝视保持时段。如果第一凝视保持时段等于或者大于第一时间段，HMD可以将第一模式变成第二模式。如果第一凝视保持时段小于第一时间段，则HMD可以保持第一模式。因此，当用户瞥一眼增强现实图像10时，HMD不可以改变模式。在此，可以通过用户设置第一时间段，或者在HMD的制造时可以设置第一时间段。
另外，当在第二模式中检测到用户对第一凝视区域的外部区域的第二凝视时，当第二凝视被保持时HMD可以获取第二凝视保持时段。如果第二凝视保持时段等于或者大于第二时间段，HMD可以将第二模式再次变成第一模式。如果第二凝视保持时段小于第二时间段，则HMD可以保留第二模式。因此，当用户的凝视偏离增强现实图像10时，HMD可以提供取决于外部设备的增强现实图像10。在此，可以通过用户设置第二时间段，或者在HMD的制造时可以设置第二时间段。
在此，第一凝视保持时段和第二凝视保持时段可以是不同的。第一凝视保持时段可以大于第二凝视保持时段。
如在图3的右下侧中所示，HMD可以在第二模式中检测在增强现实图像10和外部设备200之间的对准。更加具体地，HMD可以在第二模式中检测外部设备100的位置变化并且根据外部设备200的位置变化来检测在增强现实图像10和外部设备200之间的对准。这时，HMD可以从通过相机单元捕获的图像来检测外部设备200的位置变化。
在增强现实图像10和外部设备200之间的对准可以是满足预先确定的条件的实质对准。例如，当增强现实图像10的显示区域的大约90％重叠外部设备200的区域时，HMD可以检测在增强现实图像10和外部设备200之间的对准。
另外，当在第二模式中对准增强现实图像10和外部设备时，HMD可以执行与增强现实图像10相对应的功能。与增强现实图像10相对应的功能可以意指与HMD或者外部设备相关联的各种功能。例如，如果增强现实图像10对应于HMD的消息传输功能，则当在第二模式中对准增强现实图像10和外部设备200时HMD可以执行消息传输功能。
另外，当在第二模式中对准增强现实图像10、外部设备200和用户对增强现实图像的凝视20时，HMD可以执行与增强现实图像10相对应的功能。即，如果用户的凝视20被进一步对准时，则HMD可以执行与增强现实图像10相对应的功能。
另外，当在第二模式中在预先确定的时间期间增强现实图像10和外部设备200被对准时，HMD可以执行与增强现实图像10相对应的功能。HMD能够防止与增强现实图像10相对应的功能被执行，不论用户意图如何。
如在图3的左下侧中所示，当与增强现实图像10相对应的功能被执行时，HMD可以显示用于提供功能的执行屏幕的增强现实图像30。例如，如果增强现实图像10对应于HMD的图像传输功能，则HMD可以显示用于提供消息传输屏幕的执行增强现实图像30。这时，执行增强现实图像30的显示位置可以取决于增强现实图像10的显示位置。即，当增强现实图像10的显示位置被改变时，HMD可以基于被改变的增强现实图像10的位置来改变执行增强现实图像30的显示位置。
图4a和图4b是示出根据本发明的另一实施例的用于在HMD处根据增强现实图像和外部设备之间的对准来执行与增强现实图像相对应的功能的方法的图。
更加具体地，图4a和图4b示出用于当对准外部设备200上显示的内容图像和增强现实图像10时在HMD处执行与增强现实图像10相对应的功能的方法。
如在图4a和图4b的左上侧中所示，HMD可以将增强现实图像10显示为第一模式。例如，如在图4a中所示，当外部设备200被检测时，HMD可以在外部设备200的上端的外围上显示增强现实图像10。在此，如在图4b中所示，增强现实图像20可以对应于选择功能。
这时，外部设备200可以显示至少一个内容图像。例如，如在图4a中所示，外部设备200可以显示第一内容图像210和第二内容图像220。在此，内容图像可以包括视频内容图像、照片内容图像以及音频内容图像。例如，如在图4b中所示，第一内容图像210可以是视频内容图像并且第二内容图像220可以是照片内容图像。内容图像不限于上述实施例。
如在图4a和图4b的右上侧中所示，当在第一模式中检测到用户对增强现实图像10的凝视20时，HMD可以将第一模式变成第二模式。这等于参考图3的右上侧描述的并且因此其描述将会被省略。
如在图4a和图4b的右下端中所示，HMD可以在第二模式中检测在增强现实图像10和外部设备200上显示的至少一个内容图像中的任意一个之间的对准。例如，如所示的，当第一内容图像210和第二内容图像220被显示在外部设备200上时，HMD可以检测在增强现实图像10与第一内容图像210和第二内容图像220中的任意一个之间的对准。
这时，在增强现实图像10和外部设备200(在下文中，被称为内容图像)上显示的内容图像之间的对准可以是满足预先确定的条件的实质对准。例如，当增强现实图像10的显示区域的大约90％重叠内容图像的显示区域时，HMD可以检测在增强现实图像10和内容图像之间的对准。
当在增强现实图像10和内容图像之间的对准被检测时，HMD可以执行与增强现实图像10相对应的功能。例如，如在图4a中所示，当增强现实图像10和第一内容图像210之间的对准被检测时，HMD可以执行与增强现实图像10相对应的功能。即，如在图4b中所示，当在增强现实图像10和第一内容图像210之间的对准被检测时，HMD可以执行与增强现实图像10相对应的选择功能。
如在图4a和图4b的左下侧中所示，当与增强现实图像10相对应的功能被执行时，HMD可以显示用于提供功能的执行屏幕的增强现实图像30。这时，HMD可以显示用于提供与对准的内容图像相关联的功能的执行屏幕的执行增强现实图像30。例如，如在图4b中所示，如果增强现实图像10对应于选择功能并且第一内容图像210是视频内容图像，则HMD可以显示用于提供用于选择和回放视频内容的执行屏幕的执行增强现实图像30。作为另一示例，如果增强现实图像10对应于HMD的消息传输功能并且第一内容图像210是照片内容图像，则HMD可以显示用于提供与照片内容图像附接的消息传输屏幕的执行增强现实图像30。这时，执行增强现实图像30的显示位置可以取决于增强现实图像10的显示位置。即，即使当外部设备200的位置被改变时，执行增强现实图像30的显示位置可以保持固定。
图5是示出根据本说明书的一个实施例的用于提供与增强现实图像相对应的功能的执行屏幕的方法的图。
更加具体地，图5示出用于根据设置来在HMD处提供与增强现实图像10相对应的功能的执行屏幕作为执行增强现实图像30或者作为外部设备200上显示的执行图像40的方法。
如在图5的左边所示，当在第二模式中检测到增强现实图像10和外部设备200之间的对准时，HMD可以执行与增强现实图像10相对应的功能。这等于在图3的右下侧中描述的内容并且因此其详细描述将会被省略。
如在图5的右上侧中所示，当与增强现实图像10相对应的功能被执行时，HMD可以显示用于提供功能的执行屏幕的执行增强现实图像30。这等于在图3的左下侧中描述的内容并且因此其详细描述将会被省略。
如在图5的右上侧中所示，当与增强现实图像10相对应的功能被执行时，HMD可以控制外部设备200以在显示单元上显示功能的执行图像。
更加具体地，当与增强现实图像10相对应的功能被执行时，HMD可以使用通信单元将用于控制外部设备200以显示功能的执行图像40的控制信息发送到外部设备200。另外，外部设备200可以使用控制信息在外部设备200的显示单元上显示与增强现实图像10相对应的功能的执行图像40。
另外，当执行图像40被显示在外部设备200上时，HMD可以终止增强现实图像的显示。
图6是示出根据本说明书的一个实施例的用于当与增强现实图像相对应的功能被终止时显示增强现实图像的方法的图。
更加具体地，图6的上侧示出用于当执行增强现实图像30被显示时根据功能执行结束在HMD处显示增强现实图像10的方法，并且图6的下侧示出用于当执行图像40被显示在外部设备200上时根据功能执行结束在HMD处显示增强现实图像10的方法。
如在图6的左上侧中所示，当执行增强现实图像30被显示时，当与增强现实图像10相对应的功能的执行被终止时HMD可以终止增强现实图像10的显示。
如在图6的右上侧中所示，当执行增强现实图像30的显示被终止时，HMD可以将第二模式再次变成第一模式。
如在图6的左下侧中所示，如果执行图像40被显示在外部设备200上时，当与增强现实图像10相对应的功能的执行被终止时HMD可以终止外部设备200上显示的执行图像40的显示。更加具体地，当功能的执行被终止时，HMD可以使用通信单元将用于终止外部设备200上显示的执行图像40的显示的控制信息发送到外部设备200。
如在图6的左下侧中所示，当在外部设备上的执行图像40的显示被终止时，HMD可以将增强现实图像10再次显示为第一模式。
图7是示出根据本说明书的一个实施例的用于在HMD处显示凝视保持区域的方法的图。
如在图7的左上侧中所示，当在第一模式中检测到用户对增强现实图像10的第一凝视区域的凝视20时，HMD可以将第一模式变成第二模式。第一凝视区域可以等于增强现实图像10的显示区域。这等于在图3的右上侧中描述的内容并且因此其详细描述将会被省略。
如在图7的右上侧中所示，当模式变成第二模式时HMD可以显示增强现实图像10的第二凝视区域50。在此，第二凝视区域50可以意指其中第二模式被保持的凝视保持区域。
即，如在图7的右下侧中所示，当在第二模式中检测到用户对第二凝视区域50的凝视20时，HMD可以保留第二模式。第二凝视区域50可以比第一凝视区域更宽。例如，第二凝视区域50可以包括第一凝视区域。
如在图7的左下侧中所示，当在第二模式中检测到用户对第二凝视区域50的外部区域的凝视20时，HMD可以将第二模式再次变成第一模式。当第二模式再次变成第一模式时，HMD可以终止增强现实图像10的第二凝视区域50的显示。
图8是示出根据本说明书的一个实施例的HMD的配置的框图。在图8中，将会省略与在图1至图7中示出的HMD 800的部件相似或者相等的部件的详细描述。
下面描述的处理器850的操作对应于参考附图在上面描述的HMD800的操作。即，在本说明书中，处理器850被描述为等同于HMD。
参考图8，HMD 800可以包括相机单元810、凝视检测单元830、通信单元840以及处理器850。在此，通信单元840是可选的。
相机单元810可以在视角内捕获图像。在本说明书中，相机单元810可以检测外部设备。更加具体地，相机单元810可以捕获位于HMD800的前方向中的图像并且将捕获到的图像递送给处理器850。这时，捕获到的图像可以包括外部设备的图像。处理器850可以从捕获到的图像检测外部设备。
显示单元820可以显示图像。在本说明书中，显示单元820可以显示增强现实图像。在本说明书中，增强现实图像可以是与外部设备或者HMD相关联的虚拟图像。
凝视检测单元830可以检测用户的凝视。更加具体地，凝视检测单元830可以检测用户的凝视并且将检测到的结果递送给处理器850。另外，凝视检测单元830可以检测用户的凝视变化。这时，凝视检测单元830可以是被提供在HMD 800的后表面上以捕获凝视图像的后相机单元810。这仅是凝视检测单元830的示例并且本说明书的HMD 800不限于实施例。
通信单元840可以与外部设备进行通信。在本说明书中，通信单元840可以将HMD 800与外部设备配对。配对意指在HMD 800和外部设备之间的有线/无线连接。用于通过有线或者无线连接HMD 800和外部设备的方法没有被限制。
在本说明书中，通信单元840可以将用于在外部设备上显示执行图像或者用于终止执行图像的显示的控制信息发送到外部设备。
处理器850可以控制HMD 800中包括的至少一个单元。更加具体地，处理器850可以控制上述单元以及控制单元之间的数据传输和/或接收。
在本说明书中，处理器850可以检测外部设备，如参考图1所描述的。处理器850可以使用相机单元810检测外部设备。另外，处理器850可以使用相机单元810检测外部设备的位置变化。更加具体地，处理器850可以从通过相机单元810捕获的图像来检测外部设备和外部设备的位置变化。
处理器850可以将增强现实图像显示为如参考图2描述的第一模式或者第二模式。在第一模式中，增强现实图像的显示位置可以取决于外部设备的位置。即，第一模式可以意指下述模式，其中当外部设备的位置被改变时，增强现实图像的显示位置基于被改变的外部设备的位置而改变。第二模式可以意指下述模式，其中，即使当外部设备的位置被改变时，增强现实图像的显示位置保持固定。这时，在第二模式中，处理器850可以在HMD 800的显示区域中固定增强现实图像。另外，在第二模式中，处理器850可以在HMD 800的外围空间中固定增强现实图像。
另外，如参考图3的右上侧所描述的，当在第一模式中检测用户到增强现实图像的凝视时，处理器850可以将第一模式变成第二模式。更加具体地，当在第一模式中检测到用户到增强现实图像的第一凝视区域的第一凝视时，处理器850可以将第一模式变成第二模式。在此，第一凝视区域可以等于增强现实图像的显示区域。另外，第一凝视区域可以大于增强现实图像的显示区域。
另外，如参考图3的右下侧所描述的，处理器850可以在第二模式中检测在增强现实图像和外部图像之间的对准。更加具体地，处理器850可以在第二模式中检测外部设备的位置变化并且根据外部设备的位置变化来检测在增强现实图像和外部设备之间的对准。
另外，如参考图4a和图4b的右下侧所描述的，处理器850可以在第二模式中检测在增强现实图像和外部设备上显示的至少一个内容图像中的任意一个之间的对准。
另外，如参考图5的左边所描述的，当在第二模式中检测到在增强现实图像和外部设备之间的对准或者检测到在增强现实图像和外部内容图像之间的对准时，处理器850可以执行与增强现实图像相对应的功能。另外，如参考图5的右上侧所描述的，当与增强现实图像相对应的功能被执行时，处理器850可以显示用于提供功能的执行屏幕的执行增强现实图像。另外，如参考图5的右下侧所描述的，当与增强现实图像相对应的功能被执行时，处理器850可以控制外部设备以在显示单元820上显示功能的执行图像。
如参考图6所描述的，当与增强现实图像相对应的功能的执行终止时，处理器850可以终止执行增强现实图像或者执行图像的显示。
图9是图示根据本说明书的一个实施例的用于控制HMD的方法的流程图。在此流程图中，将省略与在图1至图8中示出的那些相似或者相等的部件的详细描述。
参考图9，HMD可以将增强现实图像显示为第一模式。第一模式意指其中增强现实图像的显示位置取决于外部设备的位置的模式。即，在第一模式中，当外部设备的位置被改变时，基于被改变的外部设备的位置来改变增强现实图像的显示位置。因此，HMD能够给用户提供与外部设备一起移动的增强现实图像。
根据一个实施例，当外部设备被检测时HMD可以在第一模式中显示增强现实图像(S910)。根据另一实施例，当用户到外部设备的凝视被检测时HMD可以在第一模式中显示增强现实图像。
接下来，HMD可以确定是否在第一模式中检测到用户对增强现实图像的凝视(S920)。根据一个实施例，HMD可以检测是否在第一模式中检测到用户对增强现实图像的第一凝视区域的第一凝视。在此，第一凝视区域可以等于增强现实图像的显示区域。另外，第一凝视区域可以大于增强现实图像的显示区域。例如，第一凝视区域可以包括增强现实图像的显示区域。
接下来，当在第一模式中检测到用户对增强现实图像的凝视时，HMD可以将第一模式变成第二模式(S930)。更加具体地，当在第一模式中检测到用户对增强现实图像的第一凝视区域的第一凝视时，HMD可以将第一模式变成第二模式。第一凝视区域可以等于增强现实图像的显示区域。另外，第一凝视区域可以大于增强现实图像的显示区域。
第二模式可以意指下述模式，其中，即使当外部设备的位置被改变时，增强现实图像的显示区域保持固定。因此，HMD能够给用户提供独立于外部设备的增强现实图像。
当在第一模式中检测到用户对增强现实图像的第一凝视区域的第一凝视时，当第一凝视被保持时HMD可以获取第一凝视保持时段。如果第一凝视保持时段等于或者大于第一时间段，则HMD可以将第一模式变成第二模式。如果第一凝视保持时段小于第一时间段，则HMD可以保持第一模式。因此，当用户瞥一眼增强现实图像时HMD不可以改变模式。
当在第二模式中检测到用户对第一凝视区域的外部区域的第二凝视时，当第二凝视被保持时HMD可以获取第二凝视保持时段。如果第二凝视保持时段等于或者大于第二时段时，HMD可以再次将第二模式变成第一模式。如果第二凝视保持时段小于第二时间段，则HMD可以保持第二模式。因此，当用户的凝视偏离增强现实图像时，HMD可以提供取决于外部设备的增强现实图像。
第一凝视保持时段和第二凝视保持时段可以是不同的。第一凝视保持时段可以大于第二凝视保持时段。
接下来，HMD可以在第二模式中检测在增强现实图像和外部设备之间的对准(S940)。更加具体地，HMD可以在第二模式中检测外部设备的位置变化以及根据外部设备的位置变化来检测在增强现实图像和外部设备之间的对准。这时，HMD可以从通过相机单元捕获到的图像来检测外部设备的位置变化。在增强现实图像和外部设备之间的对准可以是满足预先确定的条件的实质对准。例如，当增强现实图像的显示区域的大约90％重叠外部设备的区域时，HMD可以检测在增强现实图像和外部设备之间的对准。这等于参考图3所描述的内容。
当外部设备显示至少一个内容图像时，HMD可以在第二模式中检测外部设备上显示的至少一个内容图像中的任意一个和增强现实图像之间的对准。这时，在增强现实图像和外部设备上显示的内容图像(在下文中，被称为内容图像)之间的对准可以是满足预先确定的条件的实质对准。例如，当增强现实图像的显示区域的大约90％重叠内容图像的显示区域时，HMD可以检测在增强现实图像和内容图像之间的对准。这等于参考图4a和图4b描述的内容。
接下来，当在第二模式中对准增强现实图像和外部图像时，与增强现实图像相对应的功能可以被执行(S950)。另外，当与增强现实图像相对应的功能被执行时，HMD可以显示用于提供功能的执行屏幕的执行增强现实图像。这时，执行增强现实图像的显示位置可以取决于增强现实图像的显示位置。这等于参考图3所描述的内容。
如果外部设备显示至少一个内容图像，当在第二模式中对准增强现实图像和内容图像时HMD可以执行与增强现实图像相对应的功能。这等于参考图4a和图4b描述的内容。
虽然为了说明书目的已经公开了本说明书的优选实施例，但是本领域的技术人员将会理解，在没有脱离如在随附的权利要求中所公开的说明书的范围和精神内，各种修改、添加以及替代是可能的。不应该从技术精神或者本说明书的前景来单独地理解这样的修改。
HMD和用于控制本说明书的HMD的方法可以被实现为能够被写入到计算机可读记录介质并且因此能够由处理器读取的代码。计算机可读记录介质可以是其中以处理器可读方式存储数据的任何类型的记录设备。处理器可读记录介质的示例包括ROM、RAM、磁带、软盘、光数据存储、以及载波(例如，通过互联网的数据传输)。能够将处理器可读记录介质分布在连接到网络的多个计算机系统上，使得处理器可读代码被写入其中并且以分散的方式从中执行。
在本说明书中，术语“角度”、“距离”以及“方向”可以指示精确的角度、距离和方向或者分别包括预先确定的范围的实质角度、距离和方向。即，本说明书的角度、距离和方向可以指示具有错误的实质角度、距离和方向。
在本说明书中提及装置和方法发明这两者并且装置和方法发明这两者的描述可以相互互补地应用。
对于本领域的技术人员来说显然的是，在没有脱离本发明的精神或者范围的情况下能够在本说明书中进行各种修改和变化。因此，旨在本说明书覆盖落入随附的权利要求和它们的等效物的范围内的本说明书的修改和变化。
发明的模式
以用于执行本发明的最佳方式已经描述了各种实施例。
对于本领域的技术人员来说显然的是，在没有脱离本发明的精神或者范围的情况下能够在本说明书中进行各种修改和变化。因此，旨在本说明书覆盖落入随附的权利要求和它们的等效物的范围内的本说明书的修改和变化。
工业实用性
如上所述，本发明可完全地或者部分地应用于电子设备。

Claims (20)

1.一种头戴式显示器(HMD)，包括：
相机单元，所述相机单元被配置成检测外部设备；
显示单元，所述显示单元被配置成显示增强现实图像；
凝视检测单元，所述凝视检测单元被配置成检测用户的凝视；以及
处理器，所述处理器被配置成控制所述相机单元、所述显示单元以及所述凝视检测单元，
其中，所述处理器进一步被配置成：
检测所述外部设备，
将所述增强现实图像显示为第一模式，其中所述第一模式是其中所述增强现实图像的显示位置取决于所述外部设备的位置的模式；
当在所述第一模式中检测到所述用户对所述增强现实图像的凝视时将所述第一模式变成所述第二模式，其中所述第二模式是其中即使当所述外部设备的位置被改变时所述增强现实图像的显示位置保持固定的模式；以及
当在所述第二模式中对准所述增强现实图像和所述外部设备时，执行与所述增强现实图像相对应的功能。
2.根据权利要求1所述的HMD，其中，所述处理器被配置成：当在所述第二模式中对准所述增强现实图像和所述外部设备上显示的至少一个内容图像中的任何一个时，执行与所述增强现实图像相对应的功能。
3.根据权利要求1所述的HMD，其中，当执行与所述增强现实图像相对应的功能时，所述处理器被配置成显示用于提供所述功能的执行屏幕的执行增强现实图像。
4.根据权利要求2所述的HMD，其中，当与所述增强现实图像相对应的功能被执行时，所述处理器被配置成显示与被对准的内容图像相关联的用于提供所述功能的执行屏幕的执行增强现实图像。
5.根据权利要求3所述的HMD，其中，所述执行增强现实图像的显示位置取决于所述增强现实图像的显示位置。
6.根据权利要求1所述的HMD，其中，所述处理器被配置成：当在所述第二模式中对准所述增强现实图像、所述外部设备和所述用户对增强现实图像的凝视时，执行与所述增强现实图像相对应的功能。
7.根据权利要求1所述的HMD，其中，所述处理器被配置成：当在预先确定的时段期间在所述第二模式中对准所述增强现实图像和所述外部设备时，执行与所述增强现实图像相对应的功能。
8.根据权利要求1所述的HMD，进一步包括：通信单元，所述通信单元被配置成与所述外部设备通信，
其中，当与所述增强现实图像相对应的功能被执行时，所述处理器进一步被配置成使用所述通信单元将用于控制所述外部设备以在所述外部设备的显示单元上显示所述功能的执行屏幕的控制信息发送到所述外部设备。
9.根据权利要求1所述的HMD，其中，所述处理器进一步被配置成：当与所述增强现实图像相对应的功能的执行被终止时，再次变成所述第一模式。
10.根据权利要求1所述的HMD，其中，所述处理器被配置成：当检测到所述用户对所述外部设备的凝视时，将所述增强现实图像显示为所述第一模式。
11.根据权利要求1所述的HMD，其中，所述处理器被配置成：
当在所述第一模式中检测到所述用户对所述增强现实图像的第一凝视区域的第一凝视时，当所述第一凝视被保持时获取第一凝视保持时段，
当所述第一凝视保持时段大于或者等于第一时间段时，将所述第一模式变成所述第二模式，以及
当所述第一凝视保持时段小于所述第一时间段时，保留所述第一模式。
12.根据权利要求11所述的HMD，其中，所述增强现实图像的所述第一凝视区域大于所述增强现实图像的显示区域。
13.根据权利要求11所述的HMD，其中，所述处理器进一步被配置成：
当在所述第二模式中检测到所述用户对所述第一凝视区域的外部区域的第二凝视时，当所述第二凝视被保持时获取第二凝视保持时段，
当所述第二凝视保持时段大于或者等于第二时间段时，将所述第二模式再次变成所述第一模式，以及
当所述第二凝视保持时段小于所述第二时间段时，保留所述第二模式。
14.根据权利要求13所述的HMD，其中，所述第一凝视保持时段和所述第二凝视保持时段是不同的。
15.根据权利要求13所述的HMD，其中，所述第一凝视保持时段大于所述第二凝视保持时段。
16.根据权利要求11所述的HMD，其中，所述处理器进一步被配置成：当所述第一模式变成所述第二模式时，显示所述增强现实图像的第二凝视区域。
17.根据权利要求16所述的HMD，其中，所述第二凝视区域比所述第一凝视区域宽。
18.根据权利要求16所述的HMD，其中，所述处理器进一步被配置成：
当在所述第二模式中检测到所述用户对所述第二凝视区域的凝视时，保留所述第二模式，以及
当在所述第二模式中检测到所述用户对所述第二凝视区域的外部区域的凝视时，将所述第二模式再次变成所述第一模式。
19.根据权利要求16所述的HMD，其中，所述处理器进一步被配置成：当所述第二模式再次变成所述第一模式时，终止所述第二凝视区域的显示。
20.一种用于控制头戴式显示器(HMD)的方法，所述方法包括：
检测外部设备；
将增强现实图像显示为第一模式，其中所述第一模式是其中所述增强现实图像的显示位置取决于所述外部设备的位置的模式；
当在所述第一模式中检测到用户对所述增强现实图像的凝视时将所述第一模式变成所述第二模式，其中所述第二模式是其中即使当所述外部设备的位置被改变时所述增强现实图像的显示位置保持固定的模式；以及
当在所述第二模式中对准所述增强现实图像和所述外部设备时，执行与所述增强现实图像相对应的功能。
CN201480073675.7A 2014-02-20 2014-05-09 头戴式显示器及其控制方法 Expired - Fee Related CN105917268B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2014-0019522 2014-02-20
KR1020140019522A KR102182161B1 (ko) 2014-02-20 2014-02-20 Hmd 및 그 제어 방법
US14/254,497 US9239618B2 (en) 2014-02-20 2014-04-16 Head mounted display for providing augmented reality and interacting with external device, and method for controlling the same
US14/254,497 2014-04-16
PCT/KR2014/004165 WO2015126007A1 (en) 2014-02-20 2014-05-09 Head mounted display and method for controlling the same

Publications (2)

Publication Number Publication Date
CN105917268A true CN105917268A (zh) 2016-08-31
CN105917268B CN105917268B (zh) 2019-03-12

Family

ID=53798115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480073675.7A Expired - Fee Related CN105917268B (zh) 2014-02-20 2014-05-09 头戴式显示器及其控制方法

Country Status (5)

Country Link
US (2) US9239618B2 (zh)
EP (1) EP3108289B1 (zh)
KR (1) KR102182161B1 (zh)
CN (1) CN105917268B (zh)
WO (1) WO2015126007A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106970467A (zh) * 2017-03-28 2017-07-21 联想(北京)有限公司 信息显示方法及头戴式显示设备
CN107291266A (zh) * 2017-06-21 2017-10-24 腾讯科技（深圳）有限公司 图像显示的方法和装置
CN108038916A (zh) * 2017-12-27 2018-05-15 上海徕尼智能科技有限公司 一种增强现实的显示方法
CN108415386A (zh) * 2018-03-12 2018-08-17 范业鹏 用于智能车间的增强现实系统及其工作方法
CN109845251A (zh) * 2016-12-07 2019-06-04 三星电子株式会社 用于显示图像的电子设备和方法
CN110869880A (zh) * 2017-08-24 2020-03-06 麦克赛尔株式会社 头戴式显示装置
CN111913562A (zh) * 2019-05-07 2020-11-10 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及存储介质

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US20170017323A1 (en) * 2015-07-17 2017-01-19 Osterhout Group, Inc. External user interface for head worn computing
US9865091B2 (en) * 2015-09-02 2018-01-09 Microsoft Technology Licensing, Llc Localizing devices in augmented reality environment
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
EP3242228A1 (en) * 2016-05-02 2017-11-08 Artag SARL Managing the display of assets in augmented reality mode
US10198874B2 (en) 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
WO2018026893A1 (en) * 2016-08-03 2018-02-08 Google Llc Methods and systems for determining positional data for three-dimensional interactions inside virtual reality environments
US11172005B2 (en) * 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
US20180095635A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US11094017B1 (en) 2016-12-01 2021-08-17 Wells Fargo Bank, N.A. Visualizing investment changes using augmented reality
US10437343B2 (en) 2017-01-06 2019-10-08 Samsung Electronics Co., Ltd. Augmented reality control of internet of things devices
KR101874111B1 (ko) * 2017-03-03 2018-07-03 클릭트 주식회사 가상현실영상 재생방법 및 이를 이용한 프로그램
US11494986B2 (en) * 2017-04-20 2022-11-08 Samsung Electronics Co., Ltd. System and method for two dimensional application usage in three dimensional virtual reality environment
KR101965785B1 (ko) 2017-05-15 2019-04-04 경희대학교 산학협력단 증강현실 헤드마운트 디스플레이 시스템
US10216333B2 (en) * 2017-06-30 2019-02-26 Microsoft Technology Licensing, Llc Phase error compensation in single correlator systems
KR101941880B1 (ko) 2017-07-18 2019-01-24 경희대학교 산학협력단 자유 초점 디스플레이 장치
US10338766B2 (en) * 2017-09-06 2019-07-02 Realwear, Incorporated Audible and visual operational modes for a head-mounted display device
JP7005753B2 (ja) 2017-09-29 2022-02-10 アップル インコーポレイテッド プライバシースクリーン
US10732826B2 (en) * 2017-11-22 2020-08-04 Microsoft Technology Licensing, Llc Dynamic device interaction adaptation based on user engagement
KR20200110771A (ko) 2018-01-18 2020-09-25 삼성전자주식회사 증강 현실 콘텐츠 조정 방법 및 장치
KR102638956B1 (ko) 2018-11-26 2024-02-22 삼성전자주식회사 전자 장치 및 증강 현실 서비스를 제공하는 증강 현실 장치와 그 동작 방법
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
JP7238456B2 (ja) * 2019-02-21 2023-03-14 セイコーエプソン株式会社 表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法
KR20210133674A (ko) * 2020-04-29 2021-11-08 삼성전자주식회사 증강 현실 장치 및 그 제어 방법
CN114527864B (zh) * 2020-11-19 2024-03-15 京东方科技集团股份有限公司 增强现实文字显示系统、方法、设备及介质
KR102513434B1 (ko) 2021-03-18 2023-03-22 충북대학교 산학협력단 홀로그램 광학 소자 마이크로 미러 어레이를 이용한 3차원 홀로그래픽 도파관 타입 증강현실 디스플레이 시스템
WO2023092375A1 (en) * 2021-11-25 2023-06-01 Citrix Systems, Inc. Computing device with live background and related method
KR102642625B1 (ko) 2021-12-30 2024-02-29 충북대학교 산학협력단 홀로그램 프린터에서의 홀로그래픽 광학 소자 렌즈 어레이 제작 방법
US11861801B2 (en) * 2021-12-30 2024-01-02 Snap Inc. Enhanced reading with AR glasses

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030020707A1 (en) * 2001-06-27 2003-01-30 Kangas Kari J. User interface
JP4203279B2 (ja) * 2002-07-26 2008-12-24 独立行政法人科学技術振興機構 注目判定装置
CN102213831A (zh) * 2010-04-08 2011-10-12 索尼公司 用于头部安装型显示单元的图像显示方法
CN103091844A (zh) * 2011-12-12 2013-05-08 微软公司 将头戴式显示连接到外部显示和其他通信网络
CN103186922A (zh) * 2011-09-30 2013-07-03 微软公司 使用扩增现实显示器表示以前时间段时的场所
JP5236423B2 (ja) * 2008-10-17 2013-07-17 Ｋｄｄｉ株式会社 表示システム、表示方法およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3407383B2 (ja) 1993-06-15 2003-05-19 オリンパス光学工業株式会社 頭部装着型ディスプレイシステム
JP5235122B2 (ja) 2008-10-17 2013-07-10 みずほ情報総研株式会社 解析支援システム、解析支援方法及び解析支援プログラム
US8860729B2 (en) 2009-07-22 2014-10-14 Imagemovers Digital Llc Gaze intent estimation for retargeting of characters
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101315303B1 (ko) * 2011-07-11 2013-10-14 한국과학기술연구원 착용형 디스플레이 장치 및 컨텐츠 디스플레이 방법
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US9024844B2 (en) * 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
US9165381B2 (en) * 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US20140282220A1 (en) * 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
US20150123966A1 (en) * 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030020707A1 (en) * 2001-06-27 2003-01-30 Kangas Kari J. User interface
JP4203279B2 (ja) * 2002-07-26 2008-12-24 独立行政法人科学技術振興機構 注目判定装置
JP5236423B2 (ja) * 2008-10-17 2013-07-17 Ｋｄｄｉ株式会社 表示システム、表示方法およびプログラム
CN102213831A (zh) * 2010-04-08 2011-10-12 索尼公司 用于头部安装型显示单元的图像显示方法
CN103186922A (zh) * 2011-09-30 2013-07-03 微软公司 使用扩增现实显示器表示以前时间段时的场所
CN103091844A (zh) * 2011-12-12 2013-05-08 微软公司 将头戴式显示连接到外部显示和其他通信网络

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109845251A (zh) * 2016-12-07 2019-06-04 三星电子株式会社 用于显示图像的电子设备和方法
CN109845251B (zh) * 2016-12-07 2021-08-31 三星电子株式会社 用于显示图像的电子设备和方法
US10681340B2 (en) 2016-12-07 2020-06-09 Samsung Electronics Co., Ltd. Electronic device and method for displaying image
CN106970467A (zh) * 2017-03-28 2017-07-21 联想(北京)有限公司 信息显示方法及头戴式显示设备
CN106970467B (zh) * 2017-03-28 2020-03-24 联想(北京)有限公司 信息显示方法及头戴式显示设备
US10846936B2 (en) 2017-06-21 2020-11-24 Tencent Technology (Shenzhen) Company Limited Image display method and device
CN109101120A (zh) * 2017-06-21 2018-12-28 腾讯科技（深圳）有限公司 图像显示的方法和装置
WO2018233623A1 (zh) * 2017-06-21 2018-12-27 腾讯科技（深圳）有限公司 图像显示的方法和装置
CN107291266B (zh) * 2017-06-21 2018-08-31 腾讯科技（深圳）有限公司 图像显示的方法和装置
CN107291266A (zh) * 2017-06-21 2017-10-24 腾讯科技（深圳）有限公司 图像显示的方法和装置
CN109101120B (zh) * 2017-06-21 2021-09-28 腾讯科技（深圳）有限公司 图像显示的方法和装置
CN110869880A (zh) * 2017-08-24 2020-03-06 麦克赛尔株式会社 头戴式显示装置
CN108038916A (zh) * 2017-12-27 2018-05-15 上海徕尼智能科技有限公司 一种增强现实的显示方法
CN108415386A (zh) * 2018-03-12 2018-08-17 范业鹏 用于智能车间的增强现实系统及其工作方法
CN111913562A (zh) * 2019-05-07 2020-11-10 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及存储介质
CN111913562B (zh) * 2019-05-07 2024-07-02 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
KR20150098361A (ko) 2015-08-28
US9990036B2 (en) 2018-06-05
EP3108289A4 (en) 2017-11-15
EP3108289A1 (en) 2016-12-28
US20150234456A1 (en) 2015-08-20
CN105917268B (zh) 2019-03-12
EP3108289B1 (en) 2018-12-12
US20160342204A1 (en) 2016-11-24
WO2015126007A1 (en) 2015-08-27
KR102182161B1 (ko) 2020-11-24
US9239618B2 (en) 2016-01-19

Similar Documents

Publication Publication Date Title
CN105917268A (zh) 头戴式显示器及其控制方法
JP6393367B2 (ja) 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法
US9948863B2 (en) Self-timer preview image presentation method and apparatus, and terminal
EP3063587B1 (en) Apparatus and method for head mounted display indicating process of 3d printing
CN104238665B (zh) 图像处理装置及图像处理方法
CN105580051B (zh) 图像捕捉反馈
CN104423806B (zh) 信息处理装置，信息处理方法和程序
JP6830432B2 (ja) 衣服デザイン表示システム、衣服製造システム、衣服デザイン出力システム及び衣服デザイン出力方法
CN104427282B (zh) 信息处理装置，信息处理方法和程序
CN103608761B (zh) 输入设备、输入方法以及记录介质
TW200540458A (en) Motion sensor using dual camera inputs
JP2010122879A (ja) 端末装置、表示制御方法および表示制御プログラム
JP6687157B2 (ja) 表示装置および表示システム
KR101556158B1 (ko) 실사 영상 기반의 스마트 피팅장치를 이용한 소셜 서비스시스템
CN106162303A (zh) 信息处理方法、信息处理装置及用户设备
CN105320931B (zh) 物品信息提供装置和物品信息提供系统
JP6319220B2 (ja) 透過型ウェアラブル端末、データ処理装置、及びデータ処理システム
CN110866963A (zh) 动态图像发布系统、动态图像发布方法以及记录介质
KR20050102282A (ko) 봉제장치의 3차원 입체영상정보를 제공하는 입체 광 안경세트
JP6793382B1 (ja) 撮影装置、情報処理装置、方法およびプログラム
JP2017123006A (ja) 携帯情報端末及びプログラム
JP2021012246A (ja) 表示システム、生成方法、表示方法、及び、コンピュータプログラム
US20240232971A1 (en) Fashion design assistant tool and associated methods
KR102627509B1 (ko) 감정 공유 콘텐츠 시스템
KR102461024B1 (ko) 헤드 마운티드 디스플레이 및 이를 이용하여 가상 공간에서 동작이 수행되도록 하는 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190312

CF01 Termination of patent right due to non-payment of annual fee