CN105229720B - 显示控制装置、显示控制方法以及记录介质 - Google Patents

显示控制装置、显示控制方法以及记录介质 Download PDF

Info

Publication number
CN105229720B
CN105229720B CN201480027905.6A CN201480027905A CN105229720B CN 105229720 B CN105229720 B CN 105229720B CN 201480027905 A CN201480027905 A CN 201480027905A CN 105229720 B CN105229720 B CN 105229720B
Authority
CN
China
Prior art keywords
display
picture
control unit
display control
mobile terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480027905.6A
Other languages
English (en)
Other versions
CN105229720A (zh
Inventor
笠原俊
笠原俊一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105229720A publication Critical patent/CN105229720A/zh
Application granted granted Critical
Publication of CN105229720B publication Critical patent/CN105229720B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647—Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1698—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a sending/receiving arrangement to establish a cordless communication link, e.g. radio or infrared link, integrated cellular phone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop

Abstract

本发明的目的是进一步改进可穿戴显示器(100)的可用性。该显示控制装置设置有显示控制单元，该显示控制单元控制在可穿戴显示器中的显示单元(110)上的图像的显示。所述显示控制单元执行下述：将遮挡用户的真实空间视场的图像(1102)显示在显示单元上的处理；以及当获取预定触发时选择性地将真实空间的图片(200’)插入到前述图像的处理。

Description

显示控制装置、显示控制方法以及记录介质
技术领域
本公开涉及一种显示控制装置、显示控制方法以及记录介质。
背景技术
可穿戴显示器是安装在用户的头部以将图片呈现至用户的视场的显示装置。这样的可穿戴显示器的示例例如在专利文献1中被公开。
引用列表
专利文献
专利文献1：JP 2002-171460A
发明内容
技术问题
当与通常的显示装置相比时，可穿戴显示器具有许多优点，以及另一方面，为了满足就其操作或显示而言与通常的显示装置不同的需求，可穿戴显示器可能是必须的。然而，尚未完全地开发满足这样的需求的技术。
因此，根据本公开的实施例，提供了一种新颖的并且改进的显示控制装置、显示控制方法以及记录介质，该显示控制装置、显示控制方法以及记录介质能够实现可穿戴显示器的可用性的进一步的改进。
问题的解决方案
根据本公开，提供了一种显示控制装置，包括：显示控制单元，被配置成控制在可穿戴显示器的显示单元上的图片的显示。显示控制单元执行：使得显示单元能够显示遮挡真实空间中的视场的图片的处理，以及在获取预定触发时使得真实空间中的图像能够选择性地插入到(interrupt)该图片的处理。
根据本公开，提供了一种显示控制方法，包括：通过处理器，使得显示单元能够显示遮挡真实空间中的视场的图片，该处理器被配置成控制在可穿戴显示器的显示单元上的图片的显示；以及通过该处理器，使得在获取预定触发时真实空间中的图像能够选择性地插入到该图片。
根据本公开，提供了一种其上记录有程序的记录介质，该程序使得被配置成控制在可穿戴显示器的显示单元上的图片的显示的计算机执行：使得显示单元能够显示遮挡真实空间中的视场的图片的功能；以及使得在获取预定触发时真实空间中的图像能够选择性地插入到该图片的功能。
发明的有利效果
根据如上所述地本公开的实施例，可以实现可穿戴显示器的可用性的进一步的改进。
附图说明
图1是示出根据本公开的第一装置配置示例的系统的示意图。
图2是示出根据本公开的第一装置配置示例的示意性功能配置的框图。
图3是被示出以描述在本公开的第一装置配置示例中的可穿戴显示器与移动终端之间的空间关系的估计的图。
图4是示出了本公开的第二装置配置示例的示意性功能配置的框图。
图5是被示出以描述在本公开的第二装置配置示例中的可穿戴显示器与移动终端之间的空间关系的估计的图。
图6是示出了本公开的第三装置配置示例的示意性功能配置的框图。
图7是示出了根据本公开的第四装置配置示例的系统的示意图。
图8是示出了本公开的第四装置配置示例的示意功能配置的框图。
图9是示出了根据本公开的实施例的滚动操作的第一示例的图。
图10是示出了根据本公开的实施例的滚动操作的第二示例的图。
图11是示出了根据本公开的实施例的滚动操作的第三示例的图。
图12是示出了根据本公开的实施例的拖拽操作的示例的图。
图13是示出了根据本公开的实施例的放大/缩小操作的第一示例的图。
图14是示出了根据本公开的实施例的放大/缩小操作的第二示例的图。
图15是被示出以描述根据本公开的实施例的基准空间的示例的图。
图16是被示出以描述根据本公开的实施例的基准空间的示例的图。
图17是示出了根据本公开的实施例采用用于移动终端的基准空间的情况下的显示示例的图。
图18是示出了根据本公开的实施例采用用于移动终端的基准空间的情况下的显示示例的图。
图19是示出了根据本公开的实施例采用用于可穿戴显示器的基准空间的情况下的显示示例的图。
图20是示出了根据本公开的实施例采用用于可穿戴显示器的基准空间的情况下的显示示例的图。
图21是示出了根据本公开的实施例采用用于可穿戴显示器的基准空间的情况下的显示示例的图。
图22是示出了根据本公开的实施例采用用于真实空间的基准空间的情况下的显示示例的图。
图23是示出了根据本公开的实施例在基准空间之间进行切换的显示示例的图。
图24是示出了根据本公开的实施例在基准空间之间进行切换的第一操作示例的图。
图25是示出了根据本公开的实施例在基准空间之间进行切换的第二操作示例的图。
图26是示出了根据本公开的实施例在基准空间之间进行切换的第二操作示例的图。
图27是示出了根据本公开的实施例每个基准空间中的光标的显示示例的图。
图28是示出了根据本公开的实施例对移动终端的插入的显示示例的图。
图29是示出了根据本公开的实施例对显示图片的插入的显示示例的图。
图30是示出了根据本公开的实施例对显示图片的插入的另一显示示例的图。
图31是示出了根据本公开的实施例对一般对象的插入的显示示例的图。
具体实施方式
在下文中，将参照附图详细描述本公开的优选实施例。注意，在本说明书和附图中，采用相同的附图标记来标示基本上具有相同的功能和结构的元件，并且省略重复的说明。
将按照下面的顺序进行说明。
1.装置配置示例
1-1.第一装置配置示例
1-2.第二装置配置示例
1-3.第三装置配置示例
1-4.第四装置配置示例
2.GUI操作的示例
2-1.滚动操作
2-2.拖拽操作
2-3.放大/缩小操作
3.基准空间的设置
3-1.基准空间的示例
3-2.基准空间之间的切换
4.来自真实空间的插入显示
4-1.移动终端的插入显示
4-2.显示图片的插入显示
4-3.一般对象的插入显示
5.补充
(1.装置配置示例)
将参照图1至图8描述根据本公开的实施例的装置配置的示例。在本公开的实施例中，装置配置具有大量的变型。这些变型中的一些被示出为第一装置配置示例至第四装置配置示例。这些示例性实施例关于诸如空间关系的检测或显示的控制的每个处理与被用于执行该处理的装置的关联而彼此不同，但是关于作为执行的结果所实现的显示或控制而基本上相同。因此，例如，诸如稍后将描述的显示的控制的处理可以在不同的实施例中相似地实现。
(1-1.第一装置配置示例)
图1是示出了根据本公开的第一装置配置示例的系统的示意图。参照图1，系统10包括可穿戴显示器100和移动终端200。
可穿戴显示器100是安装在用户的头部上以将图片呈现至用户的视场的显示装置。可穿戴显示器100可能遮挡用户使其无法观看外部，并且采用图片对外部进行替换，如采用所示的示例的情况一样；或可穿戴显示器100可以被形成为一对眼镜的形状，以显示要被叠加到用户的视场上的透过的图片。
穿戴有可穿戴显示器100的用户可以以占据用户视场的大部分的存在感来观看图片。用户观察由在可穿戴显示器100中所设置的摄像装置所捕获的周围真实空间的图片，或观察通过可穿戴显示器100以透过方式观察到的真实空间的图像上所叠加的图片。这使得用户能够体验所谓的增强现实(AR)。在本文中所使用的术语“图像”包括但是不限于视觉地可识别的对象的任何外观。在本文中所使用的术语“图片”包括但是不限于被投射到显示单元(例如电子地被投射到显示单元)以识别图像的呈现。
如上所述，当与通常的显示装置相比时，可穿戴显示器100是有利的，以及另一方面，为了满足例如就在可穿戴显示器100上所显示的内容或图形用户界面(GUI)的操作而言与通常的显示装置不同的需求，可穿戴显示器100可能是必须的。作为示例，在通常的显示装置诸如移动终端200中，触摸屏幕可以被配置成包括触摸传感器，该触摸传感器被放置在显示单元上以获取当触摸显示单元上的预定部分时由用户所输入的操作。然而，可穿戴显示器100的显示单元将被置于接近用户的眼睛，因此难以构成这样的触摸屏幕。
在一些情况下，硬件按钮可以被布置在可穿戴显示器100的壳体上，或指点装置可以另外地连接至壳体。然而，不同于通常的显示装置，可穿戴显示器100具有下述优点：使得用户能够如期望地改变他/她的观看定向和姿势，因此要连接的装置的数量的增加可能是不期望的。当可穿戴显示器100遮挡用户使其无法观看外部时，对于用户不一定容易地精确地操作按钮等。最近开发了诸如音频输入或手势控制的操作技术，但是这样的技术将在受限的情形中可用，这是因为这样的技术受到周围环境的影响。
在本公开的一些实施例中，移动终端200被用作可穿戴显示器100的操作装置。移动终端200位于可穿戴显示器100附近并且可以由同一用户操作。移动终端200可以是能够获取用户的操作输入的任何终端装置。移动终端200的示例可以包括智能电话、平板式终端以及便携式游戏控制器，但是不限于特定的类型。
用户通常使用其自身的终端装置作为移动终端200。在这样的情况下，用户可以不准备另外的操作装置。用户可以经常体验使用触摸屏幕等以操作移动终端200。在这样的情况下，用户在一定程度上熟悉以上所描述的操作的方法。因此，在本公开的一些实施例中，移动终端200的使用使得能够容易地提供用于操作可穿戴显示器100的简单装置。
图2是示出了本公开的第一装置配置示例的示意功能配置的框图。参照图2，可穿戴显示器100-1被配置成包括显示单元110、扬声器120、摄像装置130、处理器140、存储器150以及通信单元160。移动终端200-1被配置成包括显示单元210、触摸传感器220、摄像装置230、处理器240、存储器250以及通信单元260。图2所示的功能配置仅为出于描述目的的示意。可穿戴显示器100-1和移动终端200-1还可以包括未示出的其他功能配置。对每个组件的功能配置给出下面的描述。
(可穿戴显示器)
显示单元110可以是液晶显示器(LCD)或有机发光二极管(OLED)。显示单元110在处理器140的控制下显示各种图片。如上所述，显示单元110可能遮挡用户的视场并且可以显示图片，或可以显示要叠加在用户的视场上的透过的图片。当显示单元110遮挡用户的视场时，显示单元110可以显示由稍后描述的摄像装置130所捕获的周围真实空间的图片。因此，用户可以以透过方式通过显示单元110识别真实空间的图片。显示单元110可以显示真实空间的内容或图片，并且可以显示被用于控制这些图片的显示的GUI的图片。
扬声器120在处理器140的控制下输出声音。扬声器120使得用户能够观看下述内容：该内容包括例如与显示单元110联动的图片和音频。当可穿戴显示器100-1被用于仅为用户提供图片时，或当准备了与可穿戴显示器100-1分离的扬声器(包括固定类型、听筒类型以及耳机类型的扬声器)时，可穿戴显示器100-1可能不必设置有扬声器120。
摄像装置130使用诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器的图像传感器对真实空间进行拍摄，并且建立捕获图像。由摄像装置130所获取的一系列捕获图像可以形成要投射的图像。摄像装置130可能不必是可穿戴显示器100-1的一部分。作为一个示例，摄像装置130可以是以无线或有线方式连接至可穿戴显示器100-1的分离的成像装置。
处理器140可以是各种处理电路，诸如中央处理单元(CPU)和数字信号处理器(DSP)。处理器140通过根据在存储器150中所存储的程序执行包括算术/逻辑运算和控制的操作实现各种功能。在所示的示例中，处理器140可以例如基于经由通信单元160从移动终端200-1所接收到的信息控制可穿戴显示器100-1的整个操作，包括在显示单元110上的图片的显示。
存储器150可以是存储介质，诸如半导体存储器。存储器150存储被用于使得可穿戴显示器100能够执行处理的程序和数据。存储器150可以存储由摄像装置130所创建的捕获图像数据或在显示单元110上所显示的GUI图像数据。稍后描述的程序和数据的一部分可以从外部数据源(例如，数据服务器、网络连接存储装置以及外部存储器)获取，而不是被存储在存储器150中。
通信单元160是在可穿戴显示器100-1与其他装置之间调解通信的通信接口。通信单元160支持任何无线通信协议或有线通信协议，并且与包括移动终端200-1的其他装置建立通信连接。在所示的示例中，通信单元160基于在移动终端200-1中所获取的用户操作接收被用于控制显示单元110上的显示的信息。
(移动终端)
显示单元210可以是LCD或OLED。显示单元210在处理器240的控制下显示各种图片。作为以下描述的示例，当移动终端200-1被用作用于操作可穿戴显示器100-1的装置时，显示单元210可以显示被用于操作可穿戴显示器100-1的GUI。替选地，可穿戴显示器100-1使得GUI图像能够被显示，使得GUI图像叠加在移动终端200-1的显示单元210上。因此，当移动终端200-1被用作用于操作可穿戴显示器100-1的装置时，显示单元210可以不显示图片。
触摸传感器220是被设置在显示单元210的显示表面上以获取用户与显示表面的接触作为操作输入的传感器。触摸传感器220可以是各种类型的传感器，包括静电电容类型和电阻薄膜类型。显示单元210和触摸传感器220可以构成触摸屏幕显示器。在这种情况下，当如上所述，当移动终端200被用作用于操作可穿戴显示器100-1的装置时，显示单元210不显示图片，因此触摸传感器220可以独立地使用。
摄像装置230使用诸如CCD或CMOS传感器的图像传感器拍摄真实空间并且创建捕获图像。在所示的示例中，当移动终端200-1被用作用于操作可穿戴显示器100-1的装置时，可穿戴显示器100在由摄像装置230所创建的捕获图像的视角内。捕获图像可以由将稍后描述的处理器240进行分析，以估计移动终端200-1与可穿戴显示器100-1之间的空间关系。替选地，摄像装置230可以设置有用于针对每个像素测量到物体的距离的深度传感器，以及可以基于从深度传感器所输出的深度数据估计移动终端200-1与可穿戴显示器100-1之间的空间关系。
处理器240可以是各种处理电路，诸如CPU和DSP。处理器140通过根据在存储器250中所存储的程序执行包括算术/逻辑运算和控制的操作，实现各种功能。作为一个示例，在所示的示例中，处理器140实现空间关系获取单元242、操作获取单元244以及显示控制单元246中的每个功能。
空间关系获取单元242例如基于由摄像装置230所创建的捕获图像和/或由传感器所获得的检测结果，估计可穿戴显示器100-1与移动终端200-1之间的空间关系。可穿戴显示器100-1与移动终端200-1之间的空间关系可以被表示在通过将任何一个装置设置为参考所得到的坐标系中。替选地，可穿戴显示器100-1与移动终端200-1之间的空间关系可以被表示在存在有可穿戴显示器100-1和移动终端200-1两者的真实空间中所限定的坐标系中。
操作获取单元244获取指示在触摸传感器220上所输入的用户操作的信息。更具体地，由操作获取单元244所获取的信息可以是指示用户是否与显示单元210的显示表面接触和/或接触位置的信息。以时间序列获取这样的信息的操作获取单元244可以指定操作输入的类型，包括轻敲、拖拽以及轻拂操作。此外，操作获取单元244将操作输入与空间关系相关联，该空间关系为由空间关系获取单元242所获取的可穿戴显示器100-1与移动终端200-1之间的空间关系。这使得用户操作输入的信息除了指示用户与显示表面的接触位置的信息之外，还能够包括指示可穿戴显示器100-1与移动终端200-1之间的空间关系的信息，通过该信息获取操作输入。
显示控制单元246基于由操作获取单元244所获取的用户操作输入和由空间关系获取单元242所估计的可穿戴显示器100-1与移动终端200-1之间的空间关系，生成被用于控制可穿戴显示器100-1上的图片的显示的信息。作为一个示例，显示控制单元246生成被用于控制可穿戴显示器100-1上的内容图像的显示的信息。该控制可以包括内容的播放/停止以及放大/缩小。作为一个示例，显示控制单元246可以生成被用于控制可穿戴显示器100-1上的GUI的显示的信息。GUI的显示的控制可以包括所显示的内容图标的选择或移动或视点的改变。由显示控制单元246所生成的信息经由通信单元260被发送至可穿戴显示器100-1。
存储器250可以是诸如半导体存储器或硬盘的存储介质。存储器250存储被用于使得移动终端200-1能够执行处理的程序和数据。存储器250可以存储由摄像装置230所获取的捕获图像数据或在显示单元210上所显示的GUI图像数据。在所示的示例中，移动终端200-1的处理器240控制可穿戴显示器100-1上的图片的显示，因此要被显示在可穿戴显示器100-1上的内容或GUI图像数据可以被存储在存储器250中。
通信单元260是在移动终端200-1与其他装置之间调解通信的通信接口。通信单元260支持任何无线通信协议或有线通信协议，并且与包括可穿戴显示器100-1的其他装置建立通信连接。在所示的示例中，通信单元260可以将由处理器240所实现的显示控制单元246所生成的信息发送至可穿戴显示器100-1。
(空间关系的估计)
图3是被示出以描述本公开的第一装置配置示例中的可穿戴显示器与移动终端之间的空间关系的估计的图。在图3所示的示例中，由移动终端200-1的处理器240所实现的空间关系获取单元242基于通过对由摄像装置230所创建的捕获图像2300进行分析所获得的结果，估计可穿戴显示器100-1与移动终端200-1之间的空间关系。在这种情况下，移动终端200-1的摄像装置230面向穿戴有可穿戴显示器100-1的用户的头部。因此，例如，当用户操作移动终端200使得显示单元210面向其自己时，摄像装置230可以是所谓的前置摄像装置。
如所示地，被安装在用户的头部的可穿戴显示器100’被投射在由摄像装置230所创建的捕获图像2300上。空间关系获取单元242例如通过提取捕获图像中的特征点，将可穿戴显示器100’识别为对象。另外，空间关系获取单元242基于捕获图像中可穿戴显示器100’的尺寸和姿态，估计可穿戴显示器100-1关于摄像装置230的相对位置和姿态。替选地，可穿戴显示器100-1可以包括安装在可穿戴显示100-1的壳体的预定位置处的红外发光元件(未示出)。因此，可以根据由能够捕获红外区域的摄像装置230所创建的捕获图像中发射红外光的位置，估计可穿戴显示器100-1的位置和姿态。
各种已知技术可以被用作用于识别在捕获图像中所包含的对象和用于估计对象的位置和姿态的技术，因此将省略其详细的描述。在以上所述的示例中，除了捕获图像之外或替代于捕获图像，可以使用由在可穿戴显示器100-1或移动终端200-1中所设置的传感器所获得的检测结果。作为一个示例，当摄像装置230设置有深度传感器时，从深度传感器所输出的深度数据可以被用于估计空间关系。可以基于由设置在移动终端200-1中的加速度传感器或陀螺仪传感器所获得的检测结果，指定真实空间中移动终端200-1的姿态，因此可以通过使用所指定的结果作为参考估计真实空间中可穿戴显示器100-1的姿态。
(1-2.第二装置配置示例)
图4是示出了本公开的第二装置配置示例的示意功能配置的框图。参照图4，系统20被配置成包括可穿戴显示器100-2和移动终端200-2。可穿戴显示器100-2被配置成包括显示单元110、扬声器120、摄像装置130、处理器140、存储器150以及通信单元160。移动终端200-2被配置成包括显示单元210、触摸传感器220、摄像装置230、处理器240、存储器250以及通信单元260。图4所示的功能配置仅为出于描述的目的的示意。可穿戴显示器100-2和移动终端200-2还可以包括未示出的其他功能配置。
在所示的示例中，不同于第一装置配置示例，可穿戴显示器100-2的处理器140实现空间关系获取单元142、操作获取单元144以及显示控制单元146的功能。另一方面，移动终端200-2将诸如由移动终端200-2的处理器240所获取的操作输入的信息经由通信单元260发送至可穿戴显示器100-2。除了以上所述的这些之外的其他组件与第一装置配置示例相似，因此将省略其详细的描述。
由可穿戴显示器100-2的处理器140所实现的空间关系获取单元142基于由摄像装置130所创建的捕获图像和/或由传感器所获得的检测结果，估计可穿戴显示器100-2与移动终端200-2之间的空间关系。这与根据第一装置配置示例的空间关系获取单元242相似。
操作获取单元144获取指示经由通信单元160从移动终端200-2所获得的对于触摸传感器220的用户操作输入的信息。操作获取单元144将用户操作输入与由空间关系获取单元142所估计的空间关系相关联，操作获取单元144与第一装置配置示例中的操作获取单元244相似。
显示控制单元146基于由操作获取单元144所获取的用户操作输入和由空间关系获取单元142所估计的可穿戴显示器100-2与移动终端200-2之间的空间关系，控制显示单元110上的捕获图像的显示。显示控制单元146可以控制显示单元110上的内容图像或GUI的显示。
(空间关系的估计)
图5是被示出以描述本公开的第二装置配置示例中的可穿戴显示器与移动终端装置之间的空间关系的估计的图。在图5所示的示例中，由可穿戴显示器100-2的处理器140所实现的空间关系获取单元142基于通过对由摄像装置130所创建的捕获图像1300进行分析所获得的结果，估计可穿戴显示器100-2与移动终端200-2之间的空间关系。在这种情况下，可穿戴显示器100-2的摄像装置130面对由用户用手所握持的移动终端200-2。因此，在这种情况下，穿戴有可穿戴显示器100-2的用户面对移动终端200-2。
如所示地，移动终端200’被投射到由摄像装置130所创建的捕获图像1300上。空间关系获取单元142例如通过提取捕获图像中的特征点将移动终端200’识别为对象。另外，空间关系获取单元142基于捕获图像中移动终端200’的尺寸和姿态，估计移动终端200-2关于摄像装置130的相对位置和姿态。替选地，移动终端200-2可以包括安装在移动终端200-2的壳体的预定位置处的红外发光元件(未示出)。因此，可以根据由能够捕获红外区域的摄像装置130所创建的捕获图像中发射红外光的位置，估计移动终端200的位置和姿态。
各种已知技术可以被用于基于摄像装置130的捕获图像估计可穿戴显示器100-2与移动终端200-2之间的空间关系，以及除了捕获图像之外或替代于捕获图像，可以使用由在可穿戴显示器100-2或移动终端200-2中所包括的传感器所获得的检测结果。这些与第一装置配置示例相似。
(1-3.第三装置配置示例)
图6是示出了本公开的第三装置配置示例的示意功能配置的框图。参照图6，系统30被配置成包括可穿戴显示器100-3和移动终端200-3。可穿戴显示器100-3被配置成包括显示单元110、扬声器120、摄像装置130、处理器140、存储器150以及通信单元160。移动终端200-3被配置成包括显示单元210、触摸传感器220、摄像装置230、处理器240、存储器250以及通信单元260。图6所示的功能配置仅为出于描述的目的的示意。可穿戴显示器100-3和移动终端200-3还可以包括未示出的其他功能配置。
在所示的示例中，相似于第一装置配置示例的情况，移动终端200-3的处理器240实现空间关系获取单元242、操作获取单元244以及显示控制单元246的功能。另一方面，可穿戴显示器100-3的处理器140实现空间关系获取单元142的功能。由空间关系获取单元142所获取的信息经由通信单元160被发送至移动终端200-3，并且由操作获取单元244和/或显示控制单元246连同由空间关系获取单元242所获取的信息一起使用。除了以上所述的这些组件之外的其他组件与第一装置配置示例相似，因此将省略其详细描述。
用于由可穿戴显示器100-3的空间关系获取单元142估计可穿戴显示器100-3与移动终端200-3之间的空间关系的处理可以与在第二装置配置示例中以上参照图5所描述的处理相似。用于由移动终端200-3的空间关系获取单元242估计空间关系的处理可以与在第一装置配置示例中以上参照图3所描述的处理相似。操作获取单元244和/或显示控制单元246使用与由空间关系获取单元142和空间关系获取单元242中的每个所估计的空间关系有关的信息，因此可以使用具有较高精度的空间关系执行显示控制。
(1-4.第四装置配置示例)
图7是示出了根据本公开的第四装置配置示例的系统的示意图。参照图7，系统40被配置成包括可穿戴显示器100、移动终端200以及服务器300。
在所示的示例中，不同于第一装置配置示例至第三装置配置示例，系统40包括服务器300。即使在第一装置配置示例至第三装置配置示例中，可穿戴显示器100可以经由服务器与移动终端200通信。在所示的示例中，服务器300实现进一步功能，例如，空间关系获取单元和操作获取单元。
图8是示出了本公开的第四装置配置示例的示意功能配置的框图。参照图8，可穿戴显示器100-4被配置成包括显示单元110、扬声器120、摄像装置130、处理器140、存储器150以及通信单元160。移动终端200-4被配置成包括显示单元210、触摸传感器220、摄像装置230、处理器240、存储器250以及通信单元260。可穿戴显示器100-4和移动终端200-4的处理器主要实现装置的整个操作的控制，并且将由摄像装置、触摸传感器或其他传感器所获得的捕获图像或检测结果经由相应的通信单元发送到服务器300。
服务器300被配置成包括通信单元310、处理器320以及存储器330。服务器300可以是单个服务器装置或具有由经由无线网络或有线网络彼此协作地连接在一起的多个服务器装置所实现的功能的集合装置。图8所示的功能配置仅出于描述的目的的示意。可穿戴显示器100-4、移动终端200-4以及服务器300还可以包括未示出的其他功能配置。将描述服务器300的功能配置。可穿戴显示器100-4和移动终端200-4中每个的功能配置与在第一装置配置示例至第三装置配置示例中的这些功能配置中的任一功能配置相似，因此，采用通用的附图标记来表示他们并且省略重复的说明。
通信单元310是调解服务器300与其他装置之间的通信的通信接口。通信单元310支持任何无线通信协议或有线通信协议，并且与包括可穿戴显示器100-4和移动终端200-4的其他装置建立通信连接。在所示的示例中，通信单元310从可穿戴显示器100-4和/或移动终端200-4接收捕获图像或传感器的检测结果，从移动终端200-4接收在触摸传感器200-4上所执行的操作输入的信息，以及将由显示控制单元326所创建的信息发送至可穿戴显示器100-4，显示控制单元326由处理器320实现。
处理器320可以是各种处理器，诸如CPU和DSP。处理器320通过根据在存储器330中所存储的程序执行包括算术/逻辑运算和控制的操作。作为一个示例，处理器320实现空间关系获取单元322、操作获取单元324以及显示控制单元326的各个功能。
空间关系获取单元322估计可穿戴显示器100-4与移动终端200-4之间的空间关系。除了由传感器所获得的检测结果之外或作为对由传感器所获得的检测结果的替选，基于由可穿戴显示器100-4的摄像装置130所创建的捕获图像和/或由移动终端200-4的摄像装置230所创建的捕获图像执行此估计。这与根据第一装置配置示例的空间关系获取单元242或根据第二装置配置示例的空间关系获取单元142相似。
操作获取单元324获取指示对触摸传感器220的用户操作输入的信息，其为从移动终端200-4经由通信单元310所获得的。操作获取单元324将与用户的触摸操作有关的信息和由空间关系获取单元322所估计的空间关系相关联，空间关系获取单元322与第一装置配置示例中的操作获取单元244或根据第二装置配置示例的操作获取单元144相似。
显示控制单元326基于由操作获取单元324所获取的用户操作输入和由空间关系获取单元322所估计的空间关系，生成被用于控制可穿戴显示器100-4上的图片的显示的信息。作为一个示例，显示控制单元326生成被用于控制可穿戴显示单元100-4上的内容图像或GUI的显示的信息。由显示控制单元326所生成的信息经由通信单元310被发送至可穿戴显示器100-4。
存储器330可以是存储介质，诸如半导体存储器和硬盘。存储器330存储被用于使得服务器300能够执行处理的程序和数据。存储器330可以存储从可穿戴显示器100-4和/或移动终端200-4所提供的捕获图像数据。存储器330可以存储要被显示在可穿戴显示器100-4上的内容或GUI图像数据。
如以上参照第四装置配置示例所描述地，在本公开的实施例中，根据装置配置可以进行大量的变型。这样的变型不限于以上所述的示例，并且例如，空间关系获取单元、操作获取单元以及显示控制单元可以适当地被分布到可穿戴显示器100、移动终端200和/或服务器300。
(2.GUI操作的示例)
将参照图9至图14描述根据本公开的实施例的GUI操作的示例。出于简便的目的使用第一装置配置示例给出下面的描述，但是如根据对装置配置的描述的参考将变得明显地，这样的GUI操作可以在第二装置配置示例至第四装置配置示例以及其他装置配置中相似地执行。
(2-1.滚动操作)
(第一示例)
图9是示出了根据本公开的实施例的滚动操作的第一示例的图。在所示的示例中，图标被布置在可穿戴显示器100的显示单元110上所显示的图片1100中，并且图标(A至C)从左向右滚动。
在这种情况下，用户握持移动终端200并且对移动终端200的触摸传感器220执行触摸操作2201。更具体地，用户在图9A所示的滚动操作的开始处执开始触摸操作2201，并且继续执行触摸操作2201直到图9B所示的滚动操作结束为止。在此时间期间，用户将真实空间中的移动终端200在图中从左向右地移动。换言之，可以说，用户在真实空间中对移动装置200执行拖拽操作，而同时继续执行触摸操作2201。
在上述情况中，移动终端200的处理器240可以根据由摄像装置230所捕获的图像中的可穿戴显示器100’的形状的改变，检测可穿戴显示器100与移动终端200之间的位置关系的改变。通过空间关系获取单元242的功能执行位置关系中的改变的检测。在所示的示例中，处理器240检测与图片1100的左右方向中的位移相对应的位置关系的改变，并且使得在图片1100中所布置的图标能够依赖于检测结果而滚动。
当移动终端200以透过方式显示在图片1100上时，图标的滚动量可以对应于移动终端200的移动量。替选地，通过增加或减少移动终端200的移动量可以计算滚动量。移动终端200可以如所示的示例一样以透过方式显示在图片1100上，或可以不显示。作为一个示例，存在下述情况：在该情况中，摄像装置230的视角宽于可以显示在图片1100上的真实空间中的范围。在这种情况下，即使移动终端200在可以显示在图片1100上的范围之外，图片1100可以通过对移动终端200的触摸操作2201而滚动。
在如上所述的第一示例中，基于是否执行对移动终端200的触摸操作2201和在连续地执行触摸操作2201时由于移动终端200的移动所导致的移动终端200与可穿戴显示器100之间的位置关系的改变，控制可穿戴显示器100的图片1100的滚动。在此示例中，空间关系获取单元242可以至少检测可穿戴显示器100与移动终端200之间的位置关系，并且可以不必检测可穿戴显示器100与移动终端200之间的姿势关系。
(第二示例)
图10和图11是示出了根据本公开的实施例的滚动操作的第二示例的图。在所示的示例中，被放置在显示在可穿戴显示器100的显示单元110上的图片1100中的对象1106从左向右地滚动。
在这种情况下，用户用一只手握持移动终端200并且用另一只手对移动终端200的触摸传感器220执行拖拽操作2203(还可以用同一只手执行握持和拖拽操作)。移动终端200的处理器240通过操作获取单元244的功能获取对触摸传感器220的拖拽操作的方向或量，并且通过空间关系获取单元242的功能检测可穿戴显示器100与移动终端200之间的姿势关系。这使得当可穿戴显示器100被设置为参考时，可以指定拖拽操作2203关于移动终端200的触摸传感器220的方向。
更具体地，在图10所示的示例中，在从可穿戴显示器100来看移动终端200处于竖排模式中的状态下，在关于触摸传感器220的横向方向(即，基本上为移动终端200的宽度方向)上执行拖拽操作2203。另一方面，在图11所示的示例中，在从可穿戴显示器100来看移动终端200处于横排模式中的状态下，在关于触摸传感器220的水平方向(即，基本上为移动终端200的纵向方向)上执行拖拽操作2203。然而，在任一种情况下，由空间关系获取单元242检测可穿戴显示器100与移动终端200之间的姿势关系，并且显示控制单元246基于姿势关系改变操作方向，从而执行显示控制，该显示控制使得对象1106能够在图片1100的左右方向上滚动。
对象1106的滚动量可以对应于在移动终端200中所获取的拖拽操作2203的操作量。替选地，可以通过增大或减小拖拽操作2203的操作量计算滚动量。移动终端200可以如所示的示例以透过方式显示在图片1100上，或可以不显示。作为一个示例，存在下述情况：摄像装置230的视角宽于可以显示在图片1100上的真实空间的范围。在这种情况下，即使移动终端200在可以显示在图片1100上的范围之外，图片1100也可以通过对移动终端200的拖拽操作2203而滚动。
在以上所述的第二示例中，基于可穿戴显示器100与移动终端200之间的姿势关系，对移动终端200的拖拽操作2203被转换为对可穿戴显示100的图片1100的滚动操作。在此示例中，空间关系获取单元242可以至少检测可穿戴显示器100与移动终端200之间的姿势关系，并且可以不必检测可穿戴显示器100与移动终端200之间的位置关系。
(2-2.拖拽操作)
图12是示出了根据本公开的实施例的拖拽操作的示例的图。在所示的示例中，通过被向左拖拽跨越在可穿戴显示器100的显示单元110上所显示的图片1100，位于右侧的对象1106a被移动至对象1106b。
此时，如图12A所示，用户握持移动终端200，并且在移动终端200的触摸传感器220(或显示单元210)被叠加在对象1106a的状态下开始对触摸传感器220的触摸操作2201。当用户将真实空间中的移动终端200在图中从左向右地移动而同时继续执行触摸操作2201时，对象1106依赖于从可穿戴显示器100所观看的移动终端200的位置的改变而在图片1100中移动。
此外，当对象1106移动到期望的位置时用户结束触摸操作2201。然后，对象1106在图片1100中与移动终端200相对应的位置处被放下，然后变为对象1106b。此时，被放下的对象1106b的选择可以使用光标1108被显示。对象1106b在触摸操作2201结束之后仍然被放置在图片1100中，因此如图12B所示，通过使得移动终端200进一步移动，对于移动终端200可以在图片1100的范围之外。
在所示的示例中，在开始拖拽操作之后，图片1100中对象1106的倾斜与移动终端200的触摸传感器(或显示单元210)的倾斜匹配。因此，在此示例中，空间关系获取单元242检测可穿戴显示器10与移动终端200之间的位置关系和姿势关系。在其他示例中，当对象1106的倾斜被确定为独立于移动终端200(例如，对象1106的倾斜贯穿拖拽操作被固定)时，空间关系获取单元242可以不必检测可穿戴显示器100与移动终端200之间的姿势关系。
在以上所述的拖拽操作中，移动终端200可以如所示的示例以透过方式显示在图片1100上，或可以不显示。当移动终端200不显示在图片1100上时，通过与移动终端200的位置联动可以显示任何其他光标，以使得用户能够识别拖拽操作的开始时间点和结束时间点。
(2-3.放大/缩小操作)
(第一示例)
图13是示出了根据本公开的实施例的放大/缩小操作的第一示例的图。在所示的示例中，在可穿戴显示器100的显示单元110上所显示的图片1100中，较小的对象1106c被放大为较大的对象1106d。
在这种情况下，用户在从可穿戴显示100所观看的远侧处握持移动终端200，并且在移动终端200的触摸传感器220(或显示单元210)叠加在对象1106c的状态下开始对触摸传感器220的触摸操作2201。当用户将真实空间中的移动终端200从远侧移动至近侧而同时继续执行触摸操作2201时，对象1106依赖于从可穿戴显示器100所观看的移动终端200的尺寸的改变在图片1100内被放大。
此外，当对象1106被放大至期望的尺寸时，用户结束触摸操作2201。然后，对象1106以该尺寸被放下，并且变为对象1106d。此时，可以使用光标(未示出)显示被放下的对象1106d的选择。在所示的示例中，可以通过拖拽操作同时地执行对象1106的放大/缩小和对象1106的移动。替选地，从移动终端200的位置的改变中提取深度方向分量，并且可以仅执行对象1106的放大/缩小。
在所示的示例中，尽管图片1100上的对象1106的尺寸与从可穿戴显示器100所观看的移动终端200的触摸传感器(或显示单元210)一致，但是可以不必是这种情况。换言之，在放大/缩小中，对象1106的至少仅一部分可以被叠加在触摸传感器220(或显示单元210)上。可以基于开始触摸操作2201时从可穿戴显示器100所观看的触摸传感器220(或显示单元210)的尺寸与当前尺寸之间的比例，确定对象1106的放大/缩小的得到的倍率。
在以上所述的放大/缩小操作中，移动终端200可以如所示的示例以透过方式显示在图片1100上，或可以不显示。当移动终端200不显示在图片1100上时，可以与移动终端200的位置联动地显示任何其他光标，以使得用户能够识别要放大/缩小的对象或放大/缩小的倍率。此时，光标可以例如与光标自身的尺寸的改变、深度方向的网格或用于表示深度方向的位置的效果诸如阴影一起显示。
(第二示例)
图14是示出了根据本公开的实施例的放大/缩小操作的第二示例的图。在所示的示例中，在显示在可穿戴显示器100的显示单元110的图片1100中，在图标组1106g中显示的较小的图标1106e被放大变成为在自由空间1100f中显示的较大的对象1106f。
在这种情况下，用户握持移动终端200，并且在移动终端200的触摸传感器220(或显示单元210)叠加在对象1106e的状态下开始对触摸传感器220的触摸操作2201。当用户在真实空间中移动移动终端200而同时继续地执行触摸操作2201时，对象1106依赖于从可穿戴显示器100所观看的移动终端200的位置的改变而在图片1100中移动。
此外，在所示的示例中，对象1106的尺寸随着对象1106在图片1100内的移动而改变。更具体地，在图标组1106g的显示区域中所显示的较小的对象1106被移动至自由空间1100f，然后其尺寸被放大成显示为较大的图标。换言之，在此示例中，对象1106的放大/缩小采用通过移动终端200的操作进行的图片1100内的移动间接地实现。在此示例中，可以依赖于在图片1100内显示对象1106的区域预先设置对象1106的放大/缩小的倍率。
在以上所述的放大/缩小操作中，移动终端200可以如所示的示例以透过方式显示在图片1100上，或可以不显示。当移动终端200不显示在图片1100上时，可以与移动终端200的位置联动地显示任何其他光标，以使得用户能够识别要放大/缩小的对象。要显示的图片的尺寸或移动终端200的光标可以被允许随着在图片1100内所显示的对象1106的预定倍率而改变。
(3.基准空间的设置)
以下将参照图15至图27描述根据本公开的实施例的基准空间的设置示例。出于简便的目的还使用第一装置配置示例给出下面的说明，但是根据对装置配置的说明的参考将明显地，这样的设置可以在第二装置配置示例至第四装置配置示例以及其他装置配置中相似地执行。
(3-1.基准空间的示例)
图15和图16是被示出以描述根据本公开的实施例的基准空间的示例的图。在本公开的一些实施例中，显示控制单元使得作为被放置在基准空间中的对象的图片能够显示在可穿戴显示器100的显示单元110上。要显示的对象可以是要显示在GUI中的图标。
在所示的示例中，显示控制单元从多个候选中选择放置有对象的基准空间。作为候选的基准空间，示出了基准空间C1、C2以及C3。图15是从独立的视点表示这些基准空间的图，并且图16是表示从可穿戴显示器100的视点的这些基准空间的图。
基准空间C1是通过使用移动终端200的触摸传感器220的操作表面或显示单元210的显示表面作为参考所设置的基准空间。在所示的示例中，基准空间C1被限定为三维空间，在其中，操作表面(或显示表面)被设置为基平面(包括x轴和y轴的平面)并且与操作表面(或显示表面)垂直的方向被设置为深度方向(z轴方向)。在显示单元110的显示器中的基准空间C1中所放置的对象的位置或姿势随着移动终端200的位置或姿势的改变而改变。
基准空间C2是通过使用可穿戴显示器100的显示单元110的显示表面或由显示单元110所显示的虚拟显示画面作为参考所设置的基准空间。在所示的示例中，基准空间C2被限定为二维空间(平面)，其中，显示表面(或虚拟画面)被设置为基平面(包括x轴和y轴的平面)。在显示单元110的显示器中的基准空间C2中所放置的对象连续被显示在显示单元110的相同位置处，与可穿戴显示器100或移动终端200的位置或姿势无关，只要不执行任何额外的操作即可。
基准空间C3是其中存在有可穿戴显示器100和移动终端200的真实空间(环境空间)。在所示的示例中，基准空间C3被限定为三维空间，其中，与可穿戴显示器100和移动终端200独立地限定位置。在显示单元110上的显示器中的基准空间C3中所放置的对象连续地显示在与真实空间有关的相同位置处，即使当关于显示单元110的视点随着可穿戴显示器100的位置或姿势的改变而改变时也如此。
将进一步描述采用每个基准空间的情况下可穿戴显示器100上的显示示例。
(用于移动终端的基准空间)
图17和图18是示出了根据本公开的实施例采用用于移动终端的基准空间(如上所述的基准空间C1)的情况下的显示示例的图。在所示的示例中，在可穿戴显示器100的显示单元110上所显示的图片1100中，多个窗口1110被布置在基准空间C1的基平面上。如上所述，基准空间C1的基平面基本上与移动终端200的触摸传感器220的操作表面(或显示单元210的显示表面)一致，因此，窗口1110可以提供下述GUI：在该GUI中，操作表面(或显示表面)虚拟地延伸。
作为一个示例，在窗口1110a、1110b以及1110c如图17所示地显示的情况下，当用户关于移动终端200的触摸传感器220在图中沿左右方向执行拖拽操作时，如图18所示，窗口1110沿拖拽操作的方向移动，然后被显示。在图17中，窗口1110a以叠加的方式显示在触摸传感器220上。在图18中，邻近窗口1110b以叠加的方式显示在触摸传感器220上。
在以上所述的示例的显示中，当移动终端200的姿势在真实空间中改变时，在姿势改变之后，正被显示在可穿戴显示器100上的窗口1110依照移动终端200的触摸传感器220的操作表面(或显示单元210的显示表面)所限定的基准空间C1的基平面移动。基准空间C1中的这样的显示使得用户能够容易地识别移动终端200上的操作与在可穿戴显示器100上所显示的图片的改变之间的关系。
作为一个示例，在参照图12所描述的拖拽操作中或参照图13所描述的放大/缩小操作中，在通过触摸操作2201进行对象1106的选择期间，在基准空间C1中对象1106的布置使得可以容易地实现依照移动终端200的位置的改变进行对象1106的移动或变型。
(用于可穿戴显示器的基准空间)
图19至图21是示出了根据本公开的实施例采用用于可穿戴显示器的基准空间(如上所述的基准空间C2)的情况下的显示示例的图。在所示的示例中，在可穿戴显示器100的显示单元110上所显示的图片1100中，对象1106(在此示例中，为图片的缩略图像)被放置在基准空间C2的基平面上。如图19所示，在下述状态下开始对移动终端200的触摸传感器220的触摸操作2201：在该状态中，以透过方式显示在图片1100上的移动终端200被叠加在对象1106上，在图片1101内对象1106与以透过方式显示的移动终端200一起移动。
图20是图19的继续，示出了对象1106移动时的中间的状态。在图20所示的状态中，移动装置200在深度方向上移动离开，并且以透过方式显示在图片1100上的移动终端200变小，因此对象1106缩小。此外，图21是图20的继续，示出了下述状态：在该状态中，移动终端200返回到前端，并且以透过方式显示在图片1100上的移动终端200变大，因此对象1106放大。如图21所示，当对象1106被移动并且被放置为足够接近显示单元110时，与对象1106相对应的内容可以自动地显示为全屏视图。
如上在图19至图21所示的移动过程序列中，对象1106依赖于以透过方式显示在图片1100上的移动终端200的位置而移动，并且依赖于所显示的移动终端200的尺寸而放大或缩小。然而，在此示例中，对象1106被显示在为二维空间的基准空间C2中，在该二维空间中，可穿戴显示器100的显示单元110的显示表面或由显示单元110所显示的虚拟显示画面被设置为基平面。因此，在以上示例中，依照移动终端200的姿势，对象1106未被显示为三维地变型的形状。
基准空间C2中的这样的显示使得用户能够容易地识别出要操作的目标是在可穿戴显示器100上所显示的图片。例如，在参照图12所描述的拖拽操作或参照图13所描述的放大/缩小操作中，当对象1106被放置在基准空间C2中而在未使用触摸操作2201的情况下对象1106未被选择时，可能可以容易地识别该对象1106固定在显示单元110上。
(用于真实空间的基准空间)
图22是示出了根据本公开的实施例在采用用于真实空间的基准空间(基准空间C3)的情况下的显示示例的图。在所示的示例中，在可穿戴显示器100的显示单元110上所显示的图片1100中，对象1112被放置在基准空间C3中。如上所述，基准空间C3是存在有可穿戴显示器100和移动终端200的真实空间(环境空间)。因此，对象1112可以被放置在相同的位置，与可穿戴显示器100或移动终端200的位置或姿势无关。
作为一个示例，当对于如上所述显示在基准空间C3中的对象1112重复地执行以上参照图12所描述的拖拽操作时，还可以执行下述操作：诸如使对象绕用户旋转360度。在这种情况下，当通过对移动终端200的操作选择对象1112时，对象1112经历到基准空间C1的转变，并且在用于真实空间的基准空间中与移动终端200的移动一起移动。当释放选择时，对象1112再次经历到基准空间C3的转变，并且独立于可穿戴显示器100和移动终端200的位置。可穿戴显示器100在此状态(移动终端200可能不移动)中移动，然后执行相似的拖拽操作，因此可以连续地移动对象1112。
(3-2.基准空间之间的切换)
如上所述，在本公开的一些实施例中，可以在基准空间之间进行切换，在基准空间中，依赖于对对象的操作状态放置对象。在这种情况下，显示对象而同时对象经历不同基准空间之间的转变。在下面，将对被用于如上所述地在基准空间之间进行切换的操作和生成的显示示例给出说明。
图23是示出了根据本公开的实施例的基准空间之间的切换的显示示例的图。在此示例中，如图23A所示，在可穿戴显示器100的显示单元110中所显示的图片中，显示在基准空间中的对象1106j被表示为扩展图形1114，其指示对象1106j在不同的基准空间中显示的情况下的形状。当对象1106j显示在图片1110上的位置叠加在对象1106j显示在不同基准空间中的位置上时，例如，可以表示扩展图形1114。在这种情况下，当获得预定操作(例如，对移动终端200的触摸传感器220的触摸操作或按下并且保持操作)时，对象1106j被改变为显示在不同基准空间中的对象1106k，如图23B所示。
图24是示出了根据本公开的实施例的基准空间之间的切换的第一操作示例的图。在所示的示例中，当移动终端200的触摸传感器220上的触摸操作2201结束时，显示在基准空间C1(使用移动终端200作为参考所设置的空间)中的对象1106经历到基准空间C3(真实空间)的转变，并且被放置在远离移动终端200的空间中。
与以上所述类似的显示可以被应用到以上提及的拖拽操作。在图12B所示的示例中，在触摸操作2201结束时，与被放置在基准空间C1中的移动终端200一起移动的对象1106经历到基准空间C2的转变，并且被放置在图片1100中作为远离移动终端200的对象1106b。
图25和图26是示出了根据本公开的实施例的基准空间之间的切换的第二操作示例的图。在所示的示例中，被显示在以上的基准空间C1(通过使用移动终端200作为参考所设置的空间)中的对象1106通过对移动终端200的触摸传感器220的拖拽操作2203经历到基准空间C3(真实空间)的转变，并且对象1106被放置在远离移动终端200的空间中。此时，在对象1106经历从基准空间C1到基准空间C3的转变之后，通过诸如由拖拽操作在移动终端200上滑动的效果轻微地移动对象1106，然后对象1106可以被固定。
尽管在以上示例中描述了两个基准空间之间的切换，但是这可以被应用到三个基准空间之间的切换。在图25和图26所示的示例中，例如，当替代于对触摸传感器20的拖拽操作2203，可以执行诸如轻敲或两次轻敲操作的操作时，代替于从基准空间C1到基准空间C3的转变，对象1106可以经历到基准空间C3(使用可穿戴显示器100作为参考所设置的空间)的转变。以这种方式，当在转变目的地的基准空间中存在多个候选时，转变目的地的基准空间可以通过对触摸传感器220所执行的各种操作来确定。
图27是示出了根据本公开的实施例的用于每个基准空间的光标的显示示例的图。如上所述，在本公开的一些实施例中，可以从多个候选中选择可以显示对象的基准空间。因此，例如，在图片1100上的显示中，表示要放置对象的基准空间可能是有用的。
图27A示出了当对象1106被放置在包括基准空间C1或基准空间C3的三维空间中时的光标1108a。光标1108a可以被显示为包括盒子的形状，该盒子三维地包含板状图标1106。另一方面，图27B示出了当对象1106被放置在包括基准空间C2的二维空间中时的光标1108b。光标1108b可以被显示为围绕作为平面上的区域所显示的图标1106的角部的图像。
此外，可以使用诸如对象1106或光标1108的颜色或纹理的显示效果来表示放置有对象1106的基准空间。放置有对象1106的空间可以由在对象1106附近要显示的图标表示。
(4.来自真实空间的插入显示)
将参照图28至图31描述根据本公开的实施例的来自真实空间的插入显示。出于简便的目的，使用第一装置配置示例给出下面的描述，但是根据对装置配置的描述的参考将变得明显地，在第二装置配置示例至第四装置配置示例以及其他装置配置中可以执行相似的显示。
在本公开的一些实施例中，如上述示例，可穿戴显示器100使用移动终端200进行操作。在这种情况下，存在下述情况：在该情况中，即使在可穿戴显示器100中用户的视场通常被遮挡的状态下显示内容或GUI图像时，通过使得用户至少暂时地视觉地识别真实空间中移动终端200的位置和姿势或对移动终端200的触摸传感器220的操作状态，用户也容易地操作可穿戴显示器100。
在另一实施例中，移动终端200不必用于可穿戴显示器100的操作。当在可穿戴显示器100中用户的视场被遮挡的状态下显示内容或GUI图像时，如果在移动终端200中存在进入(incoming)消息，则可以期望对移动终端200或在移动终端200上所显示的图片进行检查，而不断开与可穿戴显示器100的连接或中断图片的显示。
在下述示例中，在如上所述的情况下，如果用户的视场被遮挡并且图片被显示在可穿戴显示器100中，由外部真实空间中的图像选择性地插入到图片。除了显示在移动终端200或移动终端200的显示单元210上的图片之外，真实空间中的图像还可以是如下对象的任何图像：通过由用户进行的视觉识别从该对象的任何图像可获得一些信息。
当由真实空间中的图像插入到图片时，从由摄像装置130所创建的捕获图像中所提取的真实空间中的图片可以替代诸如内容的图片的至少一部分而被显示，或可以以叠加的方式显示在诸如内容的图片的至少一部分上，或通过部分地增加诸如内容的图片的透射率可以使得透过真实空间中的外部图像。
(4-1.移动终端的插入显示)
图28是示出了根据本公开的实施例的移动终端的插入显示的示例的图。在所示的示例中，当遮挡用户的视场的内容图片1102显示在可穿戴显示器100的显示单元110上时，图片被显示为由移动终端200’插入。
移动终端200’是通过下述处理所显示的图片：通过基于由空间关系获取单元242所估计的空间关系在由可穿戴显示器100的摄像装置130所创建的捕获图像之中提取移动终端200的图片，并且通过代替内容图像1102或叠加在内容图像1102上将所提取的图片布置在真实空间中的视场中移动终端200的位置(当不存在显示单元110时移动终端200可见的位置)处。
替选地，当显示单元110可以在用户的视场上以叠加的方式显示透过的图片时，通过在真实空间的视场中移动终端200的位置处增加内容图像1102的透射率，使得真实空间中移动终端200的图像被透过，因此移动终端200’可以插入到内容图像1102。
(4-2.显示图片的插入显示)
图29是示出了根据本公开的实施例对显示图片的插入的显示示例的图。在所示的示例中，当遮挡用户的视场的内容图像1102显示在可穿戴显示器100的显示单元110上时，通过插入显示移动终端的显示图片2100’。
显示图片2100’是通过下述处理所显示的图片：通过基于由空间关系获取单元242所估计的空间关系在由可穿戴显示器100的摄像装置130所创建的捕获图像之中提取显示在移动终端200的显示单元210上的图片2100的图片，并且通过代替内容图像1102或叠加在内容图像1102上将所提取的图片布置在真实空间中的视场的图片2100的位置(当不存在显示单元110时显示图片2100可见的位置)处。
在上述情况中，不同于由摄像装置1300所创建的捕获图像，显示图片2100’可以基于所估计的空间关系在显示控制单元246中重画。换言之，显示控制单元246可以使用通过下述处理所获得的图片作为显示图片2100’：通过基于与被用于将图片2100显示在显示单元210上的数据相似的数据重画“从可穿戴显示器100所观看的图片2100”。在这种情况下，显示图片2100’与从捕获图像中提取的情况相比可以更清楚地显示，并且可能可以对诸如在显示图片2100’中包括的链接的操作元素进行操作。
替选地，当显示单元110可以在用户的视场上以叠加的方式显示透过的图片时，通过在真实空间的视场中的显示图片2100的位置处增加内容图像1102的透射率，可以使得透过真实空间中的显示图片2100的图像，因此显示图片2100’可以插入到内容图像1102。
图30是示出了根据本公开的实施例的显示图片的插入显示的另一示例的图。在所示的示例中，当遮挡用户的视场的内容图片1102显示在可穿戴显示器100的显示单元110上时，与移动终端的显示图片相关地生成的信息窗口1116通过插入被显示。
在图30A所示的示例中，内容图片1102由信息窗口1116b以一部分被显示在显示单元110上所显示的内容图片1102的范围中(或远离可穿戴显示器100)的方式插入，其中信息窗口1116b被显示以用于指示在移动终端200中存在进入的消息。在图30B所示的示例中，内容图片1102由信息窗口1106b以稍微更大的部分被显示在显示单元110上所显示的内容图片1102的范围中(或中等远离可穿戴显示器100)的方式插入，其中信息窗口1106b被显示以用于指示在移动终端200中存在进入的消息。在图30C所示的示例中，内容图片1102由信息窗口1106c以更大的部分被显示在显示单元110上所显示的内容图片1102的范围中(或接近可穿戴显示器100)的方式插入，其中信息窗口1106c被显示以用于指示在移动终端200中存在进入的消息。
在上述示例中，在信息窗口1116中所包括的信息量随着移动终端200接近可穿戴显示器100而增加。换言之，在此示例中，显示控制单元246使得在作为基于移动终端200的显示单元210上所显示的图片2100所编辑的图片的信息窗口1116中所包括的信息量依赖于可穿戴显示器100与移动终端200之间的空间关系而改变。
(4-3.一般对象的插入显示)
图31是示出了根据本公开的实施例的一般对象的插入显示的示例的图。在所示的示例中，当遮挡用户的视场的内容图片1102显示在可穿戴显示器100的显示单元110上时，通过用户的视场中的插入显示各种对象。
作为一个示例，在图31A中，在用户U的视场V2中所包括的电视TV1的显示图片2100’通过对内容图片1102的插入而被显示。在图31B中，在用户U的视场V1中所包括的电视TV2的显示图片2100’和在视场V1中相似地包括的时钟CLOCK的图片CLOCK’(时钟’)通过对内容图片1102的插入而被显示。尽管未示出，例如，当个人计算机PC在用户U的视场内时，通过对内容图片1102的插入显示PC的显示图片。
作为一个示例，当如图31B所示地执行插入显示时，通过用户的操作输入所选择的显示图片2100’如图31C所示地被放大并且变形，然后可以在显示单元110上显示为全屏视图。以上所提及的操作输入不限于如以上所描述的示例通过移动终端200执行的操作输入，并且操作输入可以包括使用声音或手势的操作输入。替选地，可以使用加速度传感器等确定穿戴有可穿戴显示器100的用户的旋转。当确定用户面对电视TV2时，如上所述可以在全屏视图中放大并且显示显示图片2100’。
在上述示例中，在诸如电视和钟表的对象之中通过插入而要显示的对象的选择可以由用户预先通过登记来确定。当登记了通过插入要显示的对象时，很可能为通过插入要显示在显示单元110上所显示的图片上的目标的对象可以虚拟显示，并且当用户选择虚拟显示时，对象可以被设置为通过插入要显示的目标。
对于很可能为通过插入要显示的目标的对象，可穿戴显示器100与移动终端200之间的对象的空间关系可以基于通过对由摄像装置130所创建的捕获图像进行分析所获得的结果和/或由深度传感器所获得的检测结果进行估计，这与以上示例中的移动终端200相似。
作为通过插入要显示的目标的对象不限于诸如移动终端200或电视的终端装置，并且对象可以包括诸如钟表的一般对象。此外，作为通过插入要显示的目标的对象可以包括穿戴有可穿戴显示器100的用户自身或其他用户的身体的一部分。
当获得预定触发时执行如上所述的各种对象的插入显示。作为一个示例，如图30的示例所示，通过获取通过插入要显示的终端装置(移动终端200)所接收的通知作为预定触发，可以执行插入显示。作为对图9至图14的示例的应用，通过获取由通过插入要显示的终端装置(移动终端200)所获取的操作输入作为预定触发，可以执行插入显示。这样的操作输入可以是用于对可穿戴显示器100进行操作的操作输入。
此外，各种触发被设置为执行对象的插入显示。作为一个示例，如图31所示的示例，当各个对象在用户的视场中时可以执行插入显示。替选地，当各个对象针对用户进行任何操作时可以执行插入显示。作为一个示例，当其他用户为通过插入要显示的图像的对象时，通过获取与穿戴有可穿戴显示器100的用户进行交谈的其他用户的行为作为触发，可以执行插入显示。
(5.补充)
本公开的实施例可以包括例如以上所述的显示控制装置(移动终端、可穿戴显示器或服务器)、以上所述的系统、在显示控制装置或系统中所执行的以上所述的显示控制方法、使得显示控制装置起作用的程序以及在其上存储有程序的非暂态有形介质。
以上参照附图描述了本公开的优选实施例，而本公开当然不限于上述示例。本领域内技术人员可以在所附的权利要求的范围内发现各种变型和修改，并且应当理解各种变型和修改自然地落入本公开的技术范围内。
另外，本技术还可以如下地配置。
(1)一种显示控制装置，包括：
显示控制单元，被配置成控制可穿戴显示器的显示单元上的图片的显示；
其中，所述显示控制单元执行：
使得所述显示单元能够显示遮挡真实空间中的视野的图片的处理，以及
使得在获取预定触发时，所述真实空间中的图像能够选择性地插入到所述图片的处理。
(2)根据(1)所述的显示控制装置，
其中，所述显示控制单元使得所述真实空间中的对象的图像能够插入到所述图片。
(3)根据(2)所述的显示控制装置，
其中，所述对象包括与所述可穿戴显示器不同的终端装置。
(4)根据(3)所述的显示控制装置，
其中，所述显示控制单元使得在所述终端装置接收到通知时，所述终端装置的图像能够插入到所述图片。
(5)根据(3)或(4)所述的显示控制装置，
其中，所述显示控制单元使得在所述终端装置获取了操作输入时，所述终端装置的图像能够插入到所述图片。
(6)根据(5)所述的显示控制装置，
其中，所述显示控制单元使得在所述终端装置获取了用于对所述可穿戴显示器进行操作的操作输入时，所述终端装置的图像能够插入到所述图片。
(7)根据(3)至(6)中任一项所述的显示控制装置，
其中，所述终端装置包括显示单元，以及
其中，所述显示控制单元使得所述终端装置的显示图片能够插入到所述图片。
(8)根据(7)所述的显示控制装置，
其中，所述显示控制单元重画所述显示图片，并且使得所重画的显示图片能够插入到所述图片。
(9)根据(3)至(6)中任一项所述的显示控制装置，
其中，所述显示控制单元使得基于显示图片所编辑的图片能够插入到所述图片。
(10)根据(9)所述的显示控制装置，还包括：
空间关系获取单元，被配置成获取指示所述可穿戴显示器与所述终端装置之间的空间关系的信息，
其中，所述显示控制单元使得在所编辑的图片中所包括的信息量依赖于所述空间关系而改变。
(11)根据(2)至(10)中任一项所述的显示控制装置，还包括：
空间关系获取单元，被配置成获取指示所述可穿戴显示器与所述对象之间的空间关系的信息，
其中，所述显示控制单元使得基于所述空间关系，所述对象的图像能够在与所述真实空间中的视野中的所述对象的位置相对应的位置处插入到所述图片。
(12)根据(11)所述的显示控制装置，
其中，所述显示单元能够使得透过所述真实空间中的视野，以及
其中，所述显示控制单元通过在与所述真实空间中的视野中的对象的位置相对应的位置处增加所述图片的透射率，使得所述对象的图像能够插入到所述图片。
(13)根据(11)所述的显示控制装置，还包括：
成像单元，被配置成获取所述真实空间的捕获图像，
其中，所述显示控制单元通过使得从所述捕获图像中所提取的对象的图片能够显示在与所述真实空间中的视野中的对象的位置相对应的位置处，使得所述对象的图像能够插入到所述图片。
(14)根据(1)所述的显示控制装置，还包括：
成像单元，被配置成获取所述真实空间的捕获图像，
其中，所述显示控制单元通过使得从所述捕获图像中所提取的真实空间的图片能够替代于所述图片的至少一部分被显示或在所述图片的至少一部分上以叠加的方式被显示，使得所述真实空间中的图像能够插入到所述图片。
(15)根据(14)所述的显示控制装置，
其中，所述显示控制单元使得从所述捕获图像所提取的所述真实空间的图片能够被放大、缩小或变形以被显示。
(16)一种显示控制方法，包括：
通过处理器，使得显示单元显示遮挡真实空间中的视野的图片，所述处理器被配置成控制在可穿戴显示器的所述显示单元上的图片的显示；以及
通过所述处理器，使得在获取预定的触发时，所述真实空间中的图像能够选择性地插入到所述图片。
(17)一种其上记录有程序的记录介质，所述程序使得被配置成控制在可穿戴显示器的显示单元上的图片的显示的计算机执行：
使得所述显示单元能够显示遮挡真实空间中的视野的图片的功能；以及
使得在获取预定的触发时，所述真实空间中的图像能够选择性地插入到所述图片的功能。
参考标记列表
10，20，30，40 系统
100 可穿戴显示器
110 显示单元
140 处理器
200 移动终端
210 显示单元
220 触摸传感器
240 处理器
300 服务器
320 处理器
142，242，322 空间关系获取单元
144，242，324 操作获取单元
146，246，326 显示控制单元

Claims (14)

1.一种显示控制装置，包括：
显示控制单元，被配置成控制可穿戴显示器的显示单元上的图片的显示，
其中，所述显示控制单元执行：
使得所述显示单元能够显示遮挡真实空间中的视野的图片的处理，以及
使得在获取预定触发时，所述真实空间中的图像能够选择性地插入到所述图片的处理，
其中，所述显示控制单元使得所述真实空间中的对象的图像能够插入到所述图片，以及
空间关系获取单元，被配置成获取指示所述可穿戴显示器与所述对象之间的空间关系的信息，
其中，所述显示控制单元使得基于所述空间关系，所述对象的图像能够在与所述真实空间中的视野中的所述对象的位置相对应的位置处插入到所述图片，
所述显示单元能够使得透过所述真实空间中的视野，以及
所述显示控制单元通过在与所述真实空间中的视野中的对象的位置相对应的位置处增加所述图片的透射率，使得所述对象的图像能够插入到所述图片。
2.根据权利要求1所述的显示控制装置，
其中，所述对象包括与所述可穿戴显示器不同的终端装置。
3.根据权利要求2所述的显示控制装置，
其中，所述显示控制单元使得在所述终端装置接收到通知时，所述终端装置的图像能够插入到所述图片。
4.根据权利要求2所述的显示控制装置，
其中，所述显示控制单元使得在所述终端装置获取了操作输入时，所述终端装置的图像能够插入到所述图片。
5.根据权利要求4所述的显示控制装置，
其中，所述显示控制单元使得在所述终端装置获取了用于对所述可穿戴显示器进行操作的操作输入时，所述终端装置的图像能够插入到所述图片。
6.根据权利要求2所述的显示控制装置，
其中，所述终端装置包括显示单元，以及
其中，所述显示控制单元使得所述终端装置的显示图片能够插入到所述图片。
7.根据权利要求6所述的显示控制装置，
其中，所述显示控制单元重画所述显示图片，并且使得所重画的显示图片能够插入到所述图片。
8.根据权利要求2所述的显示控制装置，
其中，所述显示控制单元使得基于显示图片所编辑的图片能够插入到所述图片。
9.根据权利要求8所述的显示控制装置，
其中，所述显示控制单元使得在所编辑的图片中所包括的信息量依赖于所述空间关系而改变。
10.根据权利要求1所述的显示控制装置，还包括：
成像单元，被配置成获取所述真实空间的捕获图像，
其中，所述显示控制单元通过使得从所述捕获图像中所提取的对象的图片能够显示在与所述真实空间中的视野中的对象的位置相对应的位置处，使得所述对象的图像能够插入到所述图片。
11.根据权利要求1所述的显示控制装置，还包括：
成像单元，被配置成获取所述真实空间的捕获图像，
其中，所述显示控制单元通过使得从所述捕获图像中所提取的真实空间的图片能够替代于所述图片的至少一部分被显示或在所述图片的至少一部分上以叠加的方式被显示，使得所述真实空间中的图像能够插入到所述图片。
12.根据权利要求11所述的显示控制装置，
其中，所述显示控制单元使得从所述捕获图像所提取的所述真实空间的图片能够被放大、缩小或变形以被显示。
13.一种显示控制方法，包括：
通过显示控制单元，使得显示单元显示遮挡真实空间中的视野的图片，所述显示控制单元被配置成控制在可穿戴显示器的所述显示单元上的图片的显示；
通过所述显示控制单元，使得在获取预定的触发时，所述真实空间中的图像能够选择性地插入到所述图片；
通过所述显示控制单元，使得所述真实空间中的对象的图像能够插入到所述图片；
通过空间关系获取单元，使得获取指示所述可穿戴显示器与所述对象之间的空间关系的信息；
通过所述显示控制单元，使得基于所述空间关系，所述对象的图像能够在与所述真实空间中的视野中的所述对象的位置相对应的位置处插入到所述图片；
通过所述显示单元使得透过所述真实空间中的视野，以及
通过所述显示控制单元，通过在与所述真实空间中的视野中的对象的位置相对应的位置处增加所述图片的透射率，使得所述对象的图像能够插入到所述图片。
14.一种其上记录有程序的记录介质，所述程序使计算机用作：
显示控制单元，被配置成控制可穿戴显示器的显示单元上的图片的显示，
其中，所述显示控制单元执行：
使得所述显示单元能够显示遮挡真实空间中的视野的图片的处理，以及
使得在获取预定触发时，所述真实空间中的图像能够选择性地插入到所述图片的处理，
其中，所述显示控制单元使得所述真实空间中的对象的图像能够插入到所述图片，以及
空间关系获取单元，被配置成获取指示所述可穿戴显示器与所述对象之间的空间关系的信息，
其中，所述显示控制单元使得基于所述空间关系，所述对象的图像能够在与所述真实空间中的视野中的所述对象的位置相对应的位置处插入到所述图片，
所述显示单元能够使得透过所述真实空间中的视野，以及
所述显示控制单元通过在与所述真实空间中的视野中的对象的位置相对应的位置处增加所述图片的透射率，使得所述对象的图像能够插入到所述图片。
CN201480027905.6A 2013-05-21 2014-04-03 显示控制装置、显示控制方法以及记录介质 Expired - Fee Related CN105229720B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013107108 2013-05-21
JP2013-107108 2013-05-21
PCT/JP2014/059860 WO2014188798A1 (ja) 2013-05-21 2014-04-03 表示制御装置、表示制御方法および記録媒体

Publications (2)

Publication Number Publication Date
CN105229720A CN105229720A (zh) 2016-01-06
CN105229720B true CN105229720B (zh) 2018-05-15

Family

ID=51933364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480027905.6A Expired - Fee Related CN105229720B (zh) 2013-05-21 2014-04-03 显示控制装置、显示控制方法以及记录介质

Country Status (5)

Country Link
US (1) US20160292922A1 (zh)
EP (1) EP3001406A4 (zh)
JP (2) JPWO2014188798A1 (zh)
CN (1) CN105229720B (zh)
WO (1) WO2014188798A1 (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105247466B (zh) * 2013-05-15 2019-07-26 索尼公司 显示控制装置，显示控制方法和记录介质
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
KR102226820B1 (ko) * 2014-08-20 2021-03-11 삼성전자주식회사 데이터 공유 방법 및 그 전자 장치
EP2996017B1 (en) * 2014-09-11 2022-05-11 Nokia Technologies Oy Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display
KR102265086B1 (ko) * 2014-11-07 2021-06-15 삼성전자 주식회사 정보를 공유하기 위한 가상 환경
US20160189341A1 (en) * 2014-12-29 2016-06-30 Sling Media Pvt Ltd Systems and methods for magnifying the appearance of an image on a mobile device screen using eyewear
JP6439448B2 (ja) * 2015-01-06 2018-12-19 セイコーエプソン株式会社 表示システム、プログラム、及び、表示装置の制御方法
JP6459516B2 (ja) * 2015-01-06 2019-01-30 セイコーエプソン株式会社 表示システム、プログラム、サーバー装置、及び、表示装置の制御方法
JP6346585B2 (ja) * 2015-04-06 2018-06-20 日本電信電話株式会社 操作支援装置、及びプログラム
US10698535B2 (en) 2015-05-21 2020-06-30 Nec Corporation Interface control system, interface control apparatus, interface control method, and program
WO2016194844A1 (ja) * 2015-05-29 2016-12-08 京セラ株式会社 ウェアラブル装置
US20160378204A1 (en) * 2015-06-24 2016-12-29 Google Inc. System for tracking a handheld device in an augmented and/or virtual reality environment
US10083544B2 (en) * 2015-07-07 2018-09-25 Google Llc System for tracking a handheld device in virtual reality
US10334076B2 (en) * 2016-02-22 2019-06-25 Google Llc Device pairing in augmented/virtual reality environment
US10665019B2 (en) * 2016-03-24 2020-05-26 Qualcomm Incorporated Spatial relationships for integration of visual images of physical environment into virtual reality
KR20170126295A (ko) 2016-05-09 2017-11-17 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
US10591988B2 (en) * 2016-06-28 2020-03-17 Hiscene Information Technology Co., Ltd Method for displaying user interface of head-mounted display device
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10936872B2 (en) * 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
GB2574780B (en) * 2017-04-04 2022-09-21 Canon Kk Electronic device and control method thereof
GB2555501B (en) * 2017-05-04 2019-08-28 Sony Interactive Entertainment Europe Ltd Head mounted display and method
US10754496B2 (en) * 2017-08-24 2020-08-25 Microsoft Technology Licensing, Llc Virtual reality input
US11861136B1 (en) * 2017-09-29 2024-01-02 Apple Inc. Systems, methods, and graphical user interfaces for interacting with virtual reality environments
EP3593198B1 (en) 2018-03-07 2023-03-08 Magic Leap, Inc. Visual tracking of peripheral devices
US10872470B2 (en) * 2018-04-05 2020-12-22 Lenovo (Singapore) Pte. Ltd. Presentation of content at headset display based on other display not being viewable
US10922862B2 (en) 2018-04-05 2021-02-16 Lenovo (Singapore) Pte. Ltd. Presentation of content on headset display based on one or more condition(s)
CN109246286B (zh) * 2018-07-13 2021-02-02 深圳超多维科技有限公司 智能终端应用操作的控制方法、系统、设备及存储介质
CN108958588A (zh) * 2018-07-13 2018-12-07 深圳超多维科技有限公司 界面图标操作的控制方法、系统、设备及可读存储介质
JP6739847B2 (ja) * 2018-09-12 2020-08-12 株式会社アルファコード 画像表示制御装置および画像表示制御用プログラム
US11036284B2 (en) * 2018-09-14 2021-06-15 Apple Inc. Tracking and drift correction
JP7238456B2 (ja) * 2019-02-21 2023-03-14 セイコーエプソン株式会社 表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法
US11379033B2 (en) * 2019-09-26 2022-07-05 Apple Inc. Augmented devices
JP6801138B1 (ja) 2020-07-16 2020-12-16 株式会社バーチャルキャスト 端末装置、仮想オブジェクト操作方法、及び仮想オブジェクト操作プログラム
US11927756B2 (en) * 2021-04-01 2024-03-12 Samsung Electronics Co., Ltd. Method for providing augmented reality image and head mounted display device supporting the same
CN117337462A (zh) * 2021-05-17 2024-01-02 麦克赛尔株式会社 头戴式显示器装置
JP2023132596A (ja) * 2022-03-11 2023-09-22 株式会社Ｊｖｃケンウッド 表示装置、表示方法およびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08328512A (ja) * 1995-05-26 1996-12-13 Canon Inc 頭部装着型表示装置
JP2002171460A (ja) 2000-11-30 2002-06-14 Sony Corp 再生装置
JP4344568B2 (ja) * 2003-09-05 2009-10-14 富士フイルム株式会社 ヘッドマウントディスプレイ及びそのコンテンツ再生方法
WO2007021169A1 (en) * 2005-08-17 2007-02-22 Tomtom International B.V. Navigation device and method of scrolling map data displayed on a navigation device
CN101320554A (zh) * 2007-06-08 2008-12-10 鹏智科技(深圳)有限公司 图片显示装置及方法
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
JP5681850B2 (ja) * 2010-03-09 2015-03-11 レノボ・イノベーションズ・リミテッド（香港） ヘッドマウントディスプレイを外部表示装置として使用する携帯端末
US9134799B2 (en) * 2010-07-16 2015-09-15 Qualcomm Incorporated Interacting with a projected user interface using orientation sensors
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
KR101500823B1 (ko) * 2010-11-25 2015-03-09 고어텍 인크 음성 향상 방법, 장치 및 노이즈 감소 통신 헤드셋
US20120249587A1 (en) * 2011-04-04 2012-10-04 Anderson Glen J Keyboard avatar for heads up display (hud)
US8223088B1 (en) * 2011-06-09 2012-07-17 Google Inc. Multimode input field for a head-mounted display
JP5762892B2 (ja) * 2011-09-06 2015-08-12 ビッグローブ株式会社 情報表示システム、情報表示方法、及び情報表示用プログラム
JP5978592B2 (ja) * 2011-10-26 2016-08-24 ソニー株式会社 ヘッド・マウント・ディスプレイ及び表示制御方法
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
JP5884576B2 (ja) * 2012-03-16 2016-03-15 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
TW201405268A (zh) * 2012-07-24 2014-02-01 Hon Hai Prec Ind Co Ltd 形狀記憶合金驅動系統及驅動裝置

Also Published As

Publication number Publication date
EP3001406A1 (en) 2016-03-30
US20160292922A1 (en) 2016-10-06
JPWO2014188798A1 (ja) 2017-02-23
JP2019079056A (ja) 2019-05-23
CN105229720A (zh) 2016-01-06
WO2014188798A1 (ja) 2014-11-27
EP3001406A4 (en) 2017-01-25

Similar Documents

Publication Publication Date Title
CN105229720B (zh) 显示控制装置、显示控制方法以及记录介质
CN105210144B (zh) 显示控制装置、显示控制方法和记录介质
US10769797B2 (en) Virtual reality experience sharing
CN104104862B (zh) 图像处理装置和图像处理方法
US20190051019A1 (en) Display control device, display control method, and program
US10460022B2 (en) Display control device, display control method, and program for displaying an annotation toward a user
CN108304063B (zh) 信息处理装置、信息处理方法和计算机可读介质
WO2018119632A1 (zh) 图像处理的方法、装置和设备
US8942510B2 (en) Apparatus and method for switching a display mode
WO2019174628A1 (zh) 拍照方法及移动终端
CN107977083B (zh) 基于vr系统的操作执行方法及装置
JP2018036955A (ja) 画像処理装置、画像処理方法及びプログラム
CN110546601B (zh) 信息处理装置、信息处理方法和程序
CN105103198A (zh) 显示控制装置、显示控制方法以及程序
US20160371888A1 (en) Interactive information display
CN109496293B (zh) 扩展内容显示方法、装置、系统及存储介质
US9137461B2 (en) Real-time camera view through drawn region for image capture
US20190379843A1 (en) Augmented video reality
EP4195664A1 (en) Image processing method, mobile terminal, and storage medium
CN111273766A (zh) 用于生成链接到物品模拟现实表示的示能表示的方法、设备和系统
KR20200096901A (ko) 가상 현실 (vr) 디바이스에 의해 디스플레이되는 가상 컨텐트를 네비게이트하는 방법 및 장치
US20150022559A1 (en) Method and apparatus for displaying images in portable terminal
KR102372711B1 (ko) 영상 촬영 장치 및 이의 제어 방법
CN114078280A (zh) 动作捕捉方法、装置、电子设备及存储介质
CN112906467A (zh) 合影图像生成方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180515