CN105210144A - 显示控制装置、显示控制方法和记录介质 - Google Patents

显示控制装置、显示控制方法和记录介质 Download PDF

Info

Publication number
CN105210144A
CN105210144A CN201480027665.XA CN201480027665A CN105210144A CN 105210144 A CN105210144 A CN 105210144A CN 201480027665 A CN201480027665 A CN 201480027665A CN 105210144 A CN105210144 A CN 105210144A
Authority
CN
China
Prior art keywords
display
mobile terminal
picture
control unit
reference space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480027665.XA
Other languages
English (en)
Other versions
CN105210144B (zh
Inventor
笠原俊一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105210144A publication Critical patent/CN105210144A/zh
Application granted granted Critical
Publication of CN105210144B publication Critical patent/CN105210144B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

为了进一步改进可佩带显示器的可用性。本发明提供了一种设置有以下单元的显示控制装置：空间关系获取单元，获取指示可佩带显示器与终端装置之间的空间关系的信息；用户输入获取单元，获取表示终端装置获取的用户输入的信息；以及显示控制单元，基于上述用户输入和上述空间关系来控制可佩带显示器中的显示单元上的图像的显示。

Description

显示控制装置、显示控制方法和记录介质
技术领域
本公开涉及一种显示控制装置、显示控制方法和记录介质。
背景技术
可佩带显示器是安装在用户的头部上以向用户的视场呈现图片的显示装置。在例如专利文献1和2中公开了这样的可佩带显示器的示例。
引用列表
专利文献
专利文献1：JP2002-171460A
发明内容
技术问题
当与通常的显示装置相比时，可佩带显示器具有多个优点，并且另一方面，可佩带显示器可能需要满足在其操作或显示方面与通常的显示装置不同的要求。然而，用于满足这样的要求的技术尚未完全开发。
因此，根据本公开的实施例，提供了一种新颖且改进的显示控制装置、显示控制方法和记录介质，能够实现可佩带显示器的可用性的进一步改进。
问题的解决方案
根据本公开，提供了一种显示控制装置，包括：空间关系获取单元，被配置成获取指示可佩带显示器与终端装置之间的空间关系的信息；操作获取单元，被配置成获取指示终端装置获取的操作输入的信息；以及显示控制单元，被配置成基于操作输入和空间关系来控制在可佩带显示器的显示单元上的图片的显示。
根据本公开，提供了一种显示控制方法，包括：获取指示可佩带显示器与终端装置之间的空间关系的信息；获取指示终端装置获取的操作输入的信息；以及基于操作输入和空间关系来控制在可佩带显示器的显示单元上的图片的显示。
根据本公开，提供了一种其上记录有程序的记录介质，该程序使得计算机执行以下功能：获取指示可佩带显示器与终端装置之间的空间关系的信息的功能；获取指示终端装置获取的操作输入的信息的功能；以及基于操作输入和空间关系来控制在可佩带显示器的显示单元上的图片的显示的功能。
本发明的有利效果
根据如上所述的本公开的实施例，可以实现可佩带显示器的可用性的进一步改进。
附图说明
图1是示出根据本公开的第一装置配置示例的系统的示意图。
图2是示出本公开的第一装置配置示例的示意功能配置的框图。
图3是被示出用于描述本公开的第一装置配置示例中的可佩带显示器与移动终端之间的空间关系的估计的图。
图4是示出本公开的第二装置配置示例的示意功能配置的框图。
图5是被示出用于描述本公开的第二装置配置示例中的可佩带显示器与移动终端之间的空间关系的估计的图。
图6是示出本公开的第三装置配置示例的示意功能配置的框图。
图7示出根据本公开的第四装置配置示例的系统的示意图。
图8是示出本公开的第四装置配置示例的示意功能配置的框图。
图9是示出根据本公开的实施例的滚动操作的第一示例的图。
图10是示出根据本公开的实施例的滚动操作的第二示例的图。
图11是示出根据本公开的实施例的滚动操作的第三示例的图。
图12是示出根据本公开的实施例的拖动操作的示例的图。
图13是示出根据本公开的实施例的放大/缩小操作的第一示例的图。
图14是示出根据本公开的实施例的放大/缩小操作的第二示例的图。
图15是被示出用于描述根据本公开的实施例的基准空间的示例的图。
图16是被示出用于描述根据本公开的实施例的基准空间的示例的图。
图17是示出根据本公开的实施例的采用针对移动终端的基准空间的情况下的显示示例的图。
图18是示出根据本公开的实施例的在采用针对移动终端的基准空间的情况下的显示示例的图。
图19是示出根据本公开的实施例的在采用针对可佩带显示器的基准空间的情况下的显示示例的图。
图20是示出根据本公开的实施例的在采用针对可佩带显示器的基准空间的情况下的显示示例的图。
图21是示出根据本公开的实施例的在采用针对可佩带显示器的基准空间的情况下的显示示例的图。
图22是示出根据本公开的实施例的在采用针对真实空间的基准空间的情况下的显示示例的图。
图23是示出根据本公开的实施例的基准空间之间的切换的显示示例的图。
图24是示出根据本公开的实施例的基准空间之间的切换的第一操作示例的图。
图25是示出根据本公开的实施例的基准空间之间的切换的第二操作示例的图。
图26是示出根据本公开的实施例的基准空间之间的切换的第二操作示例的图。
图27是示出根据本公开的实施例的用于每个基准空间的光标的显示示例的图。
图28是示出根据本公开的实施例的对移动终端的中断的显示示例的图。
图29是示出根据本公开的实施例的对显示图片的中断的显示示例的图。
图30是示出根据本公开的实施例的对显示图片的中断的另一显示示例的图。
图31是示出根据本公开的实施例的对一般对象的中断的显示示例的图。
具体实施方式
在下文中，将参照附图详细描述本公开的优选实施例。注意，在该说明书和附图中，具有基本上相同的功能和结构的元件以相同的附图标记来指示，并且省略重复说明。
将按以下顺序进行描述。
1.装置配置示例
1-1.第一装置配置示例
1-2.第二装置配置示例
1-3.第三装置配置示例
1-4.第四装置配置示例
2.GUI操作的示例
2-1.滚动操作
2-2.拖动操作
2-3.放大/缩小操作
3.基准空间的设置
3-1.基准空间的示例
3-2.基准空间之间的切换
4.来自真实空间的中断显示
4-1.移动终端的中断显示
4-2.显示图片的中断显示
4-3.一般对象的中断显示
5.补充
(1.装置配置示例)
将参照图1至图8描述根据本公开的实施例的装置配置的示例。在本公开的实施例中，装置配置具有大量变型。这些变型中的一些变型被示出为第一至第四装置配置示例。对于各个处理比如空间关系的检测或者显示控制与用于执行该处理的装置的关联，这些示例性实施例是彼此不同的，但是对于作为执行结果而实现的显示或控制，它们是基本上是相同的。因此，例如，可在不同实施例中类似地实现稍后将描述的诸如显示控制的处理。
(1-1.第一装置配置示例)
图1是示出根据本公开的第一装置配置示例的系统的示意图。参照图1，系统10包括可佩带显示器100和移动终端120。
可佩带显示器100是安装在用户的头部以向用户的视场呈现图片的显示装置。如在所示出的示例的情况下一样，可佩带显示器100可阻挡用户观看外部并且以图片来替换外部，或者可佩带显示器100可以以一对眼镜的形状来形成，以将透明图片显示为叠加在用户的视场上。
佩戴可佩带显示器100的用户可观看具有占据用户的视场的大部分的存在感的图片。用户观察由设置在可佩带显示器100中的摄像装置捕获的周围真实空间的图片或者叠加在通过可佩带显示器100透明地观察到的真实空间的图像上的图片。这允许用户经历所谓的增强现实(AR)。这里所使用的术语“图像”包括但不限于视觉上可识别的对象的任何外观。这里所使用的术语“图片”包括但不限于投射到显示单元上以例如电子地识别图像的呈现。
如上所述，当与通常的显示装置相比时，可佩带显示器100是有利的，并且另一方面，可佩带显示器100可能需要满足在例如显示在可佩带显示器100上的内容或图形用户界面(GUI)的操作方面与通常的显示装置不同的要求。作为示例，在诸如移动终端200的通常的显示装置中，触摸屏可被配置成包括位于显示单元上以获取当用户触摸显示单元上的预定部分时所输入的操作的触摸传感器。然而，可佩带显示器100的显示单元将放置在用户的眼睛附近，因此难以配置这样的触摸屏。
在一些情况下，硬件按钮可设置在可佩带显示器100的壳体上，或者指向装置可另外连接到壳体。然而，与通常的显示装置不同，可佩带显示器100具有允许用户根据期望而改变他的/她的观看方向和姿势的优点，因此，要连接的装置的数量的增加可能是不期望的。当可佩带显示器100阻挡用户观看外部时，用户不一定容易准确地操作按钮等。近来开发了诸如音频输入或手势控制的操作技术，但是由于受周围环境影响，因此这样的技术将可用在有限环境中。
在本公开的一些实施例中，移动终端200用作可佩带显示器100的操作装置。移动终端200位于可佩带显示器100附近并且可由同一用户来操作。移动终端200可以是能够获取用户的操作输入的任何终端装置。移动终端200的示例可包括智能电话、平板终端和便携式游戏控制台，但是不限于特定类型。
用户通常使用其自己的终端装置作为移动终端200。在这样的情况下，用户可以不准备另外的操作装置。用户可通常已进行了用于操作移动终端200的触摸屏等的使用。在这样的情况下，用户有些熟悉如以下描述的操作的方法。因此，在本公开的一些实施例中，移动终端200的使用使得容易地提供用于操作可佩带显示器100的简单装置。
图2是示出本公开的第一装置配置示例的示意功能配置的框图。参照图2，可佩带显示器100-1被配置成包括显示单元110、扬声器120、摄像装置130、处理器140、存储器150和通信单元160。移动终端200-1被配置成包括显示单元210、触摸传感器220、摄像装置230、处理器240、存储器250和通信单元260。图2所示的功能配置仅示出用于描述目的。可佩带显示器100-1和移动终端200-1还可包括未示出的其它功能配置。给出了各个部件的功能配置的以下描述。
(可佩带显示器)
显示单元110可以是液晶显示器(LCD)或有机发光二极管(OLED)。显示单元110在处理器140的控制下显示各种图片。如上所述，显示单元110可阻挡用户的视场并且可显示图片，或者可显示要叠加在用户的视场上的透明图片。当显示单元110阻挡用户的视场时，显示单元110可以显示由稍后将描述的摄像装置130捕获的周围真实空间的图片。因此，用户可以以透明方式通过显示单元110在视觉上识别真实空间的图片。显示单元110可显示真实空间的内容或图片，并且可显示用于控制这些图片的显示的GUI的图片。
扬声器120在处理器140的控制下输出声音。扬声器120允许用户观看包括例如利用显示单元110互锁的图片和音频的内容。当可佩带显示器100-1用于仅为用户提供图片时或者当准备了包括固定型、头戴式耳机型和耳机型的扬声器的与可佩带显示器100-1分离的扬声器时，可佩带显示器100-1不一定设置有扬声器120。
摄像装置130使用诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器的图像传感器而对真实空间进行拍摄，并且创建捕获图像。摄像装置130获取的一系列捕获图像可形成要投射的图像。摄像装置130可以不一定是可佩带显示器100-1的一部分。作为一个示例，摄像装置130可以是以无线或有线方式连接到可佩带显示器100-1的分离成像装置。
处理器140可以是诸如中央处理单元(CPU)和数字信号处理器(DSP)的各种处理电路。处理器140通过根据存储在存储器150中的程序执行包括算术/逻辑运算和控制的操作而实现各种功能。在所示出的示例中，处理器140可例如基于经由通信单元160从移动终端200-1接收的信息，控制包括在显示单元110上的图片的显示的可佩带显示器100-1的全部操作。
存储器150可以是诸如半导体存储器的存储介质。存储器150存储用于允许可佩带显示器100执行处理的程序和数据。存储器150可存储摄像装置130创建的捕获图像数据或者显示在显示单元110上的GUI图像数据。稍后描述的程序和数据的一部分可取代被存储在存储器150中而从外部数据源(例如，数据服务器、网络附接存储装置和外部存储器)来获取。
通信单元160是作为可佩带显示器100-1与其它装置之间的通信的媒介的通信接口。通信单元160支持任意无线通信协议或有线通信协议，并且建立与包括移动终端200-1的其它装置的通信连接。在所示出的示例中，通信单元160接收用于基于在移动终端200-1中获取的用户操作而控制显示单元110上的显示的信息。
(移动终端)
显示单元210可以是LCD或OLED。显示单元210在处理器240的控制下而显示各种图片。作为以下描述的示例，当移动终端200-1用作用于操作可佩带显示器100-1的装置时，显示单元210可显示用于操作可佩带显示器100-1的GUI。替选地，可佩带显示器100-1允许显示GUI图像以使得GUI图像叠加在移动终端200-1的显示单元210上。因此，当移动终端200-1用作用于操作可佩带显示器100-1的装置时，显示单元210可以不显示图片。
触摸传感器220是设置在显示单元210的显示表面上以获取用户与显示表面的接触作为操作输入的传感器。触摸传感器220可以是包括静电电容型和电阻膜型的各种类型的传感器。显示单元210和触摸传感器220可构成触摸屏显示器。在该情况下，当移动终端200用作用于操作如上所述的可佩带显示器100-1的装置时，显示单元210不显示图片，因此可独立地使用的触摸传感器220。
摄像装置230使用诸如CCD或CMOS传感器的图像传感器对真实空间进行拍摄，并且创建捕获图像。在所示出的示例中，当移动终端200-1用作用于操作可佩带显示器100-1的装置时，可佩带显示器100在摄像装置230创建的捕获图像的视角内。捕获图像可由稍后将描述的处理器240来分析，以估计移动终端200-1与可佩带显示器100-1之间的空间关系。替选地，摄像装置230可设置有用于测量距每个像素的主体的距离的深度传感器，并且可基于从深度传感器输出的深度数据来估计移动终端200-1与可佩带显示器100-1之间的空间关系。
处理器240可以是诸如CPU和DSP的各种处理电路。处理器140通过根据存储在存储器250中的程序执行包括算术/逻辑运算和控制的操作而实现各种功能。作为一个示例，在所示出的示例中，处理器140实现空间关系获取单元242、操作获取单元244和显示控制单元246的各种功能。
空间关系获取单元242例如基于摄像装置230创建的捕获图像和/或传感器获得的检测结果，估计可佩带显示器100-1与移动终端200-1之间的空间关系。可佩带显示器100-1与移动终端200-1之间的空间关系可以表示在通过将任一个装置设置为基准而得到的坐标系中。替选地，可佩带显示器100-1与移动终端200-1之间的空间关系可表示在两个装置均存在的真实空间中所定义的坐标系中。
操作获取单元244获取指示对触摸传感器220的用户操作输入的信息。更具体地，操作获取单元244获取的信息可以是指示用户与显示单元210的显示表面是否接触和/或接触位置的信息。以时间序列获取这样的信息的操作获取单元244可以识别操作输入的类型，包括轻击操作、拖动操作和轻拂操作。此外，操作获取单元244将操作输入与空间关系获取单元242获取的可佩带显示器100-1与移动终端200-1之间的空间关系相关联。这允许除了指示用户与显示表面相接触的位置的信息之外，用户操作输入的信息还包括指示可佩带显示器100-1与通过其获取操作输入的移动终端200-1之间的空间关系的信息。
显示控制单元246基于操作获取单元244获取的用户操作输入与空间关系获取单元242估计的可佩带显示器100-1与移动终端200-1之间的空间关系而生成用于控制可佩带显示器100-1上的图片的显示的信息。作为一个示例，显示控制单元246生成用于控制可佩带显示器100-1上的内容图像的显示的信息。该控制可包括内容的播放/停止和放大/缩小。作为一个示例，显示控制单元246可生成用于控制可佩带显示器100-1上的GUI的显示的信息。GUI的显示的控制可包括所显示的内容图标的选择或移动或者视点的改变。显示控制单元246生成的信息经由通信单元260被发送到可佩带显示器100-1。
存储器250可以是诸如半导体存储器或硬盘的存储介质。存储器250存储用于允许移动终端200-1执行处理的程序和数据。存储器250可存储摄像装置230获取的捕获图像数据或者显示在显示单元210上的GUI图像数据。在所示出的示例中，移动终端200-1的处理器240控制可佩带显示器100-1上的图片的显示，因此要显示在可佩带显示器100-1上的内容或GUI图像数据可存储在存储器250中。
通信单元260是作为移动终端200-1与其它装置之间的通信的媒介的通信接口。通信单元260支持任何无线通信协议或有线通信协议，并且建立与包括可佩带显示器100-1的其它装置的通信连接。在所示出的示例中，通信单元260可将由处理器240实现的显示控制单元246生成的信息发送到可佩带显示器100-1。
(空间关系的估计)
图3是被示出用于描述本公开的第一装置配置示例中的可佩带显示器与移动终端之间的空间关系的估计的图。在图3所示出的示例中，移动终端200-1的处理器240实现的空间关系获取单元242基于通过对摄像装置230创建的捕获图像2300进行分析而获得的结果，估计可佩带显示器100-1与移动终端200-1之间的空间关系。在该情况下，移动终端200-1的摄像装置230面向佩戴可佩带显示器100-1的用户的头部。因此，例如，当用户操作移动终端200以使得显示单元210面向其本身时，摄像装置230可以是所谓的前置摄像装置。
如所示出的，安装在用户的头部上的可佩带显示器100’被投射到摄像装置230创建的捕获图像2300上。空间关系获取单元242例如通过提取捕获图像中的特征点而将可佩带显示器100’识别为对象。另外，空间关系获取单元242基于捕获图像中的可佩带显示器100’的大小和姿势，估计可佩带显示器100-1相对于摄像装置230的相对位置和姿势。替选地，可佩带显示器100-1可包括安装在可佩带显示器100-1的壳体上的预定位置处的红外发光元件(未示出)。因此，可根据在能够捕获红外区域的摄像装置230创建的捕获图像中发出红外光的位置来估计可佩带显示器100-1的位置和姿势。
可采用各种已知技术作为用于识别包含在捕获图像中的对象以及用于估计对象的位置和姿势的技术，因此将省略其详细描述。在以上描述的示例中，除了捕获图像之外或者作为捕获图像的替选，可使用设置在可佩带显示器100-1或移动终端200-1中的传感器获得的检测结果。作为一个示例，当摄像装置230设置有深度传感器时，从深度传感器输出的深度数据可用于估计空间关系。可基于设置在移动终端200-1中的加速度传感器或陀螺仪传感器获得的检测结果而指定真实空间中的移动终端200-1的姿势，因此可通过使用所指定的结果作为基准来估计真实空间中的可佩带显示器100-1的姿势。
(1-2.第二装置配置示例)
图4是示出本公开的第二装置配置示例的示意功能配置的框图。参照图4，系统20被配置成包括可佩带显示器100-2和移动终端200-2。可佩带显示器100-2被配置成包括显示单元110、扬声器120、摄像装置130、处理器140、存储器150和通信单元160。移动终端200-2被配置成包括显示单元210、触摸传感器220、摄像装置230、处理器240、存储器250和通信单元260。图4所示的功能配置仅示出用于描述目的。可佩带显示器100-2和移动终端200-2还可包括未示出的其它功能配置。
在所示出的示例中，与第一装置配置示例不同，可佩带显示器100-2的处理器140实现空间关系获取单元142、操作获取单元144和显示控制单元146的功能。另一方面，移动终端200-2经由通信单元260将诸如移动终端200-2的处理器240获取的操作输入的信息发送到可佩带显示器100-2。除上述之外的其它部件与第一装置配置示例类似，因此将省略其详细描述。
可佩带显示器100-2的处理器140实现的空间关系获取单元142基于摄像装置130创建的捕获图像和/或传感器获得的检测结果而估计可佩带显示器100-2与移动终端200-2之间的空间关系。这与根据第一装置配置示例的空间关系获取单元242类似。
操作获取单元144获取经由通信单元160从移动终端200-2获得的、指示对触摸传感器220的用户操作输入的信息。操作获取单元144将用户操作输入与空间关系获取单元142估计的空间关系相关联，该操作获取单元144与第一装置配置示例中的操作获取单元244类似。
显示控制单元146基于操作获取单元144获取的用户操作输入以及空间关系获取单元142估计的可佩带显示器100-2与移动终端200-2之间的空间关系而控制显示单元110上的捕获图像的显示。显示控制单元146可控制显示单元110上的内容图像或GUI的显示。
(空间关系的估计)
图5是被示出用于描述本公开的第二装置配置示例中的可佩带显示器与移动终端之间的空间关系的估计的图。在图5所示出的示例中，由可佩带显示器100-2的处理器140实现的空间关系获取单元142基于通过对摄像装置130创建的捕获图像1300进行分析而获得的结果，估计可佩带显示器100-2与移动终端200-2之间的空间关系。在该情况下，可佩带显示器100-2的摄像装置130面向用户用手保持的移动终端200-2。因此，在该情况下，佩戴可佩带显示器100-2的用户面向移动终端200-2。
如所示出的，移动终端200’被投射到摄像装置130创建的捕获图像1300上。空间关系获取单元142例如通过提取捕获图像中的特征点而将移动终端200’识别为对象。另外，空间关系获取单元142基于捕获图像中的移动终端200’的大小和姿势，估计移动终端200-2相对于摄像装置130的相对位置和姿势。替选地，移动终端200-2可包括安装在移动终端200-2的壳体的预定位置处的红外发光元件(未示出)。因此，可根据能够捕获红外区域的摄像装置130创建的捕获图像中发出红外光的位置来估计移动终端200-2的位置和姿势。
可以采用各种已知技术来基于摄像装置130的捕获图像估计可佩带显示器100-2与移动终端200-2之间的空间关系，并且除了捕获图像之外或者作为捕获图像的替选，还使用包括在可佩带显示器100-2或移动终端200-2中的传感器获得的检测结果。这些与第一装置配置示例类似。
(1-3.第三装置配置示例)
图6是示出本公开的第三装置配置示例的示意功能配置的框图。参照图6，系统30被配置成包括可佩带显示器100-3和移动终端200-3。可佩带显示器100-3被配置成包括显示单元110、扬声器120、摄像装置130、处理器140、存储器150和通信单元160。移动终端200-3被配置成包括显示单元210、触摸传感器220、摄像装置230、处理器240、存储器250和通信单元260。图6所示的功能配置仅被示出用于描述目的。可佩带显示器100-3和移动终端200-3还可包括未示出的其它功能配置。
在所示出的示例中，与关于第一装置配置示例的情况类似，移动终端200-3的处理器240实现空间关系获取单元242、操作获取单元244和显示控制单元246的功能。另一方面，可佩带显示器100-3的处理器140实现空间关系获取单元142的功能。空间信息获取单元142获取的信息经由通信单元160被发送到移动终端200-3，并且操作获取单元244和/或显示控制单元246与空间信息获取单元242获取的信息一起使用该信息。除上述之外的其它部件与第一装置配置示例类似，因此将省略其详细描述。
可佩带显示器100-3的空间关系获取单元142用于估计可佩带显示器100-3与移动终端200-3之间的空间关系的处理可与以上在第二装置配置示例中参照图5描述的处理类似。移动终端200-3的空间关系获取单元242用于估计空间关系的处理可与以上在第一装置配置示例中参照图3描述的处理类似。操作获取单元244和/或显示控制单元246使用与空间关系获取单元142和空间关系获取单元242中的每个估计的空间关系有关的信息，因此可以以更高的精度使用空间关系而执行显示控制。
(1-4.第四装置配置示例)
图7是示出根据本公开的第四装置配置示例的系统的示意图。参照图7，系统40被配置成包括可佩带显示器100、移动终端200和服务器300。
在所示出的示例中，与第一至第三装置配置示例不同，系统40包括服务器300。甚至在第一至第三装置配置示例中，可佩带显示器100可经由服务器与移动终端200通信。在所示出的示例中，服务器300实现另外的功能，例如，空间关系获取单元和操作获取单元。
图8是示出本公开的第四装置配置示例的示意功能配置的框图。参照图8，可佩带显示器100-4被配置成包括显示单元110、扬声器120、摄像装置130、处理器140、存储器150和通信单元160。移动终端200-4被配置成包括显示单元210、触摸传感器220、摄像装置230、处理器240、存储器250和通信单元260。可佩带显示器100-4和移动终端200-4的处理器主要实现装置的整体操作的控制，并且经由各个通信单元将摄像装置、触摸传感器或其它传感器获得的捕获图像或检测结果发送到服务器300。
服务器300被配置成包括通信单元310、处理器320和存储器330。服务器300可以是单个服务器装置或者由经由无线或有线网络彼此配合而连接在一起的多个服务器装置实现的功能的集合装置。图8所示的功能配置仅示出用于描述的目的。可佩带显示器100-4、移动终端200-4和服务器300还可包括未示出的其它功能配置。将描述服务器300的功能配置。可佩带显示器100-4和移动终端200-4中的每个的功能配置与第一至第三装置配置示例中的任意功能配置类似，因此它们以相同的附图标记来表示，并且省略重复描述。
通信单元310是作为服务器300与其它装置之间的通信的媒介的通信接口。通信单元310支持任意无线通信协议或有线通信协议，并且建立与包括可佩带显示器100-4和移动终端200-4的其它装置的通信连接。在所示出的示例中，通信单元310从可佩带显示器100-4和/或移动终端200-4接收捕获图像或传感器的检测结果，从移动终端200-4接收对触摸传感器220执行的操作输入的信息，并且将处理器320实现的显示控制单元326创建的信息发送到可佩带显示器100-4。
处理器320可以是诸如CPU和DSP的各种处理器。处理器320通过根据存储在存储器330中的程序执行包括算术/逻辑运算和控制的操作而实现各种功能。作为一个示例，处理器320实现空间关系获取单元322、操作获取单元324和显示控制单元326的各个功能。
空间关系获取单元322估计可佩带显示器100-4与移动终端200-4之间的空间关系。除了传感器获得的检测结果之外或者作为传感器获得的检测结果的替选，基于可佩带显示器100-4的摄像装置130创建的捕获图像和/或移动终端200-4的摄像装置230创建的捕获图像来执行该估计。这与根据第一装置配置示例的空间关系获取单元242或者根据第二装置配置示例的空间关系获取单元142类似。
操作获取单元324获取经由通信单元310从移动终端200-4获得的、指示对触摸传感器220的用户操作输入的信息。操作获取单元324将与用户触摸操作的信息与空间关系获取单元322估计的空间关系相关联，该操作获取单元324与第一装置配置示例中的操作获取单元244或根据第二装置配置示例的操作获取单元144类似。
显示控制单元326基于操作获取单元324获取的用户操作输入和空间关系获取单元322估计的空间关系而生成用于控制可佩带显示器100-4上的图片的显示的信息。作为一个示例，显示控制单元326生成用于控制可佩带显示器100-4上的内容图像或GUI的显示的信息。显示控制单元326生成的信息经由通信单元310被发送到可佩带显示器100-4。
存储器330可以是诸如半导体存储器和硬盘的存储介质。存储器330存储用于允许服务器300执行处理的程序和数据。存储器330可存储从可佩带显示器100-4和/或移动终端200-4提供的捕获图像数据。存储器330可存储要显示在可佩带显示器100-4上的内容或GUI图像数据。
如以上参照第四装置配置示例所描述的，在本公开的实施例中，可以从装置配置得到大量的变型。这样的变型不限于上述示例，并且例如，空间关系获取单元、操作获取单元和显示控制单元可以被适当地分配到可佩带显示器100、移动终端200和/或服务器300。
(2.GUI操作的示例)
将参照图9至图14来描述根据本公开的实施例的GUI操作的示例。为了简化的目的而使用第一装置配置示例给出以下描述，但是如从对装置配置的描述的引用显而易见的是，在第二至第四装置配置示例和其它装置配置中，可类似地执行这样的GUI操作。
(2-1.滚动操作)
(第一示例)
图9是示出根据本公开的实施例的滚动操作的第一示例的图。在所示出的示例中，图标布置在可佩带显示器100的显示单元110上显示的图片1100中，并且图标(A至C)从左到右滚动。
在该情况下，用户持有移动终端200，并且对移动终端200的触摸传感器220执行触摸操作2201。更具体地，用户在图9A所示的滚动操作开始时开始触摸操作2201，并且继续执行触摸操作2201直到图9B所示的滚动操作结束。在该时间期间，用户将真实空间中的移动终端200在图中从左移动到右。换言之，可以说，用户对真实空间中的移动终端200执行拖动操作，同时继续执行触摸操作2201。
在以上情况下，移动终端200的处理器240可以根据摄像装置230捕获的图像中的可佩带显示器100’的形状改变而检测可佩带显示器100与移动终端200之间的位置关系的改变。位置关系的改变的检测由空间关系获取单元242的功能来执行。在所示出的示例中，处理器240检测与图片1100的左右方向上的位移对应的位置关系的改变，并且允许布置在图片110中的图标根据检测结果滚动。
当移动终端200透明地显示在图片1100上时，图标的滚动量可对应于移动终端200的移动量。替选地，可通过增加或减小移动终端200的移动量来计算滚动量。移动终端200可如所示出的示例一样透明地显示在图片1100上，或者可不显示。作为一个示例，存在如下情况：在该情况下，摄像装置230的视角比可以显示在图片1100上的真实空间中的范围宽。在该情况下，即使移动终端200位于可以显示在图片1100上的范围之外，图片1100也可通过移动终端200上的触摸操作2201来滚动。
在上述第一示例中，基于是否对移动终端200执行触摸操作2201和由于在连续执行触摸操作2201时移动终端200的移动而导致的移动终端200与可佩带显示器100之间的位置关系的改变，来控制可佩带显示器100的图片1100上的滚动。在该示例中，空间关系获取单元242可至少检测可佩带显示器100与移动终端200之间的位置关系，并且可不必检测可佩带显示器100与移动终端200之间的姿势关系。
(第二示例)
图10和图11是示出根据本公开的实施例的滚动操作的第二示例的图。在所示出的示例中，位于可佩带显示器100的显示单元110上所显示的图片1100中的对象1106从左到右滚动。
在该情况下，用户用一只手持有移动终端200，并且用另一只手对移动终端200的触摸传感器220执行拖动操作2203(也可利用同一只手来执行持有和拖动操作)。移动终端200的处理器240通过操作获取单元244的功能来获取触摸传感器220上的拖动操作的方向或量，并且通过空间关系获取单元242的功能来检测可佩带显示器100与移动终端200之间的姿势关系。这允许指定当可佩带显示器100被设置为基准时触摸传感器220相对于移动终端200的拖动操作2203的方向。
更具体地，在图10所示的示例中，在相对于触摸传感器220的横穿方向、即在移动终端200处于如从可佩带显示器100所看的纵向模式的状态下的移动终端200的基本上宽度方向上执行拖动操作2203。另一方面，在图11所示的示例中，在相对于触摸传感器220的水平方向、即在移动终端200处于如从可佩带显示器100所看的横向模式的状态下的移动终端200的基本上长度方向上执行拖动操作2203。然而，在任一情况下，由空间关系获取单元242检测可佩带显示器100与移动终端200之间的姿势关系，并且显示控制单元246基于该姿势关系来改变操作方向，从而执行允许在图片1100的左右方向上滚动对象1106的显示控制。
对象1106的滚动量可对应于在移动终端200中获取的拖动操作2203的操作量。替选地，可通过增大或减小拖动操作2203的操作量来计算滚动量。移动终端200可如所示出的示例一样透明地显示在图片1100上，或者可不显示。作为一个示例，存在摄像装置230的视角比可以显示在图片1100上的真实空间的范围宽的情况。在该情况下，即使移动终端200位于可以显示在图片1100上的范围之外，也可通过移动终端200上的拖动操作2203来滚动图片1100。
在上述第二示例中，移动终端200上的拖动操作2203基于可佩带显示器100与移动终端200之间的姿势关系而被转换为可佩带显示器100的图片1100上的滚动操作。在该示例中，空间关系获取单元242可至少检测可佩带显示器100与移动终端200之间的姿势关系，并且可不必检测可佩带显示器100与移动终端200之间的位置关系。
(2-2.拖动操作)
图12是示出根据本公开的实施例的拖动操作的示例的图。在所示出的示例中，通过被拖动到左侧以越过显示在可佩带显示器100的显示单元110上的图片1100而将位于右侧的对象1106a移动到对象1106b。
此时，如图12A所示，在移动终端200的触摸传感器220(或显示单元210)叠加在对象1106a上的状态下，用户持有移动终端200并且开始对触摸传感器220的触摸操作2201。当用户将真实空间中的移动终端200从图中的左侧移动到右侧同时连续执行触摸操作2201时，根据从可佩带显示器100所看的移动终端200的位置改变而在图片1100内移动对象1106。
此外，当对象1106移动到期望位置时，用户结束触摸操作2201。然后，对象1106被放在图片110内的与移动终端200对应的位置然后变为对象1106b。此时，可使用光标1108来显示放下对象1106b的选择。在触摸操作2201结束之后对象1106b仍处于图片1100中，因此还可以通过使得移动终端200进一步移动而使得移动终端200离开图片1100的范围，如图12B所示。
在所示出的示例中，在拖动操作开始之后，图片1100中的对象1106的倾斜与移动终端200的触摸传感器(或显示单元210)的倾斜匹配。因此，在该示例中，空间关系获取单元242检测可佩带显示器100与移动终端200之间的位置关系和姿势关系。在其它示例中，当确定对象1106的倾斜与移动终端200无关(例如，在拖动操作中对象1106的倾斜始终固定)时，空间关系获取单元242可不必检测可佩带显示器100与移动终端200之间的姿势关系。
在上述拖动操作中，移动终端200可如所示出的示例一样透明地显示在图片1100上，或者可不显示。当移动终端200没有显示在图片1100上时，任何其它光标可通过与移动终端200的位置互锁来显示，以允许用户识别拖动操作的开始时间点和结束时间点。
(2-3.放大/缩小操作)
(第一示例)
图13是示出根据本公开的实施例的放大/缩小操作的第一示例的图。在所示出的示例中，在显示在可佩带显示器100的显示单元110上的图片1100中，小对象1106c被放大变为大对象1106d。
在该情况下，用户将移动终端200保持在从可佩带显示器100观看的远侧，并且在移动终端200的触摸传感器220(或显示单元210)叠加在对象1106c的状态下开始对触摸传感器220的触摸操作2201。当用户将真实空间中的移动终端200从远侧移动到近侧同时连续执行触摸操作2201时，根据如从可佩带显示器100所看到的移动终端200的大小的改变而在图片1100内放大对象1106。
另外，当对象1106被放大为期望大小时，用户结束触摸操作2201。然后，对象1106以该大小被放下并且变为对象1106d。此时，可使用光标(未示出)来显示被放下的对象1106d的选择。在所示出的示例中，可同时执行对象1106的放大/缩小和通过拖动操作进行的对象1106的移动。替选地，从移动终端200的位置改变提取深度方向的分量，并且可仅执行对象1106的放大/缩小。
在所示出的示例中，虽然图片110上的对象1106的大小与如从可佩带显示器100所看到的移动终端200的触摸传感器220(或显示单元210)的大小一致，但是可以不一定是该情况。换言之，在放大/缩小中，对象1106的至少仅一部分可叠加在触摸传感器220(或显示单元210)上。可基于在开始触摸操作2201时如从可佩带显示器100所看到的触摸传感器220(或显示单元210)的大小与当前大小之间的比率来确定所得到的对象1106的放大/缩小的放大倍率。
在上述放大/缩小操作中，移动终端200可如所示出的示例一样透明地显示在图片1100上，或者可不显示。当移动终端200没有显示在图片1100上时，任何其它光标可与移动终端200的位置互锁地显示，以允许用户识别要被放大/缩小的对象或者放大/缩小的放大倍率。此时，光标可例如与光标本身的大小改变、深度方向的栅格或者用于表示这样的深度方向的位置的效果(诸如阴影)一起被显示。
(第二示例)
图14是示出根据本公开的实施例的放大/缩小操作的第二示例的图。在所示出的示例中，在显示在可佩带显示器100的显示单元110上的图片1100中，显示在图标组1106g中的小对象1106e被放大变为显示在自由空间1100f中的大对象1106f。
在该情况下，在移动终端200的触摸传感器220(或者显示单元210)叠加在对象1106e上的状态下，用户保持移动终端200并且开始对触摸传感器220的触摸操作2201。当用户移动真实空间中的移动终端200同时连续执行触摸操作2201时，根据如从可佩带显示器100所看到的移动终端200的位置改变而在图片1100内移动对象1106。
此外，在所示出的示例中，对象1106的大小随着图片1100内的对象1106的移动而改变。更具体地，显示在图标组1106g的显示区域中的小对象1106被移动到自由空间1100f，然后其大小被放大以被显示为大对象。换言之，在该示例中，通过移动终端200的操作而利用图片1100内的移动间接地实现对象1106的放大/缩小。在该示例中，可根据图片1100内显示对象1106的区域来预先设置对象1106的放大/缩小的放大倍率。
在上述放大/缩小操作中，移动终端200可如所示出的示例一样透明地显示在图片1100上，或者可不显示。当移动终端200没有显示在图片1100上时，任何其它光标可通过与移动终端200的位置互锁来显示，以允许用户识别要被放大/缩小的对象。可允许以显示在图片1100内的对象1106的预定放大倍率来改变要显示的移动终端200的图片或光标的大小。
(3.基准空间的设置)
将参照图15至图27来描述根据本公开的实施例的基准空间的设置示例。为了简化目的也使用第一装置配置示例给出以下描述，但是如从对装置配置的描述的引用显而易见的是，在第二至第四装置配置示例和其它装置配置中，可类似地执行这样的设置。
(3-1.基准空间的示例)
图15和图16是被示出用于描述根据本公开的实施例的基准空间的示例的图。在本公开的一些实施例中，显示控制单元使得对象放置在基准空间中的图片显示在可佩带显示器100的显示单元110上。要显示的对象可以是要显示在GUI中的图标。
在所示出的示例中，显示控制单元从多个候选当中选择放置对象的基准空间。示出了基准空间C1、C2和C3作为要成为候选的基准空间。图15是从独立的视点表示这些基准空间的图，并且图16是从可佩带显示器100的视点表示这些基准空间的图。
基准空间C1是通过使用移动终端200的触摸传感器220的操作表面或显示单元210的显示表面作为基准而设置的基准空间。在所示出的示例中，基准空间C1被定义为操作表面(或者显示表面)被设置为基本平面(包括x轴和y轴的平面)并且垂直于操作表面(或者显示表面)的方向被设置为深度方向(x轴方向)的三维空间。显示单元110上的显示中的放置在基准空间C1中的对象的位置或姿势随着移动终端200的位置或姿势的改变而改变。
基准空间C2是通过使用可佩带显示器100的显示单元110的显示表面或显示单元110显示的虚拟显示画面作为基准而设置的基准空间。在所示出的示例中，基准空间C2被定义为显示表面(或虚拟画面)被设置为基本平面(包括x轴和y轴的平面)的二维空间(平面)。显示单元110上的显示中的放置在基准空间C2中的对象连续地显示在显示单元110上的同一位置处，而与可佩带显示器100或移动终端200的位置或姿势无关，只要不执行任何另外的操作即可。
基准空间C3是存在可佩带显示器100和移动终端200的真实空间(环境空间)。在所示出的示例中，基准空间C3被定义为独立于可佩带显示器100和移动终端200来定义位置的三维空间。甚至当相对于显示单元110的视点随着可佩带显示器100的位置或姿势的改变而改变时，显示单元110上的显示中的放置在基准空间C3中的对象也连续地显示在与真实空间有关的同一位置。
将进一步描述在采用各个基准空间的情况下的可佩带显示器100上的显示示例。
(针对移动终端的基准空间)
图17和图18是示出根据本公开的实施例的采用针对移动终端的基准空间(如上所述的基准空间C1)的情况下的显示示例的图。在所示出的示例中，在显示在可佩带显示器100的显示单元110上的图片1100中，多个窗口1110布置在基准空间C1的基本平面上。如上所述，基准空间C1的基本平面基本上与移动终端200的触摸传感器220的操作平面(或者显示单元210的显示表面)一致，因此窗口1110可提供操作表面(或者显示表面)虚拟地延伸的GUI。
作为一个示例，在如图17所示显示窗口1110a、1110b和1110c的情况下，当用户相对于移动终端200的触摸传感器220在图中的左右方向上执行拖动操作时，窗口1110沿着拖动操作的方向移动然后被显示，如图18所示。在图17中，窗口1110a以叠加方式显示在触摸传感器220上。在图18中，相邻窗口1110b以叠加方式显示在触摸传感器220上。
在上述示例的显示中，当移动终端200的姿势在真实空间中改变时，根据姿势改变之后的移动终端200的触摸传感器220的操作表面(或者显示单元210的显示表面)定义的基准空间C1的基本平面来移动正显示在可佩带显示器100上的窗口1110。基准空间C1中的这样的显示允许用户容易地识别对移动终端200的操作与显示在可佩带显示器100上的图片的改变之间的关系。
作为一个示例，在参照图12描述的拖动操作或者参照图13描述的放大/缩小操作中，通过触摸操作2201在对象1106的选择期间将对象1106放置在基准空间C1中允许容易地识别根据移动终端200的位置改变的对象1106的移动或变形。
(针对可佩带显示器的基准空间)
图19至图21是示出根据本公开的实施例的在采用针对可佩带显示器的基准空间(如上所述的基准空间C2)的情况下的显示示例的图。在所示出的示例中，在显示在可佩带显示器100的显示单元110上的图片1100中，对象1106(该示例中为图片的缩略图)放置在基准空间C2的基本平面上。如图19所示，在正透明地显示在图片1100上的移动终端200叠加在对象1106上的状态下开始对移动终端200的触摸传感器220的触摸操作2201，伴随透明地显示移动终端200而在图片1101内移动对象1106。
图20是图19的继续，示出了当对象1106移动时的中间的状态。在图20所示的状态下，移动终端200在深度方向上移动远离，并且透明地显示在图片1100上的移动终端200变小，因此，对象1106缩小。此外，图21是图20的继续，示出了如下状态：移动终端200返回到前方，并且透明地显示在图片1100上的移动终端200变大，因此对象1106放大。如图21所示，当对象1106移动并且被放置成充分靠近显示单元110时，可以以全屏视图自动显示与对象1106对应的内容。
在如上所述的图19至图21所示的一系列移动过程中，对象1106根据正透明地显示在图片1100上的移动终端200的位置而移动，并且根据正显示的移动终端200的大小而被放大或缩小。然而，在该示例中，对象1106显示在基准空间C2中，该基准空间C2是可佩带显示器100的显示单元110的显示表面或显示单元110显示的虚拟显示画面被设置为基本平面的二维空间。因此，在以上示例中，对象1106没有以根据移动终端200的姿势的三维变形形状来显示。
基准空间C2中的这样的显示允许用户容易地识别要操作的目标是显示在可佩带显示器100上的图片。例如，在参照图12描述的拖动操作或者参照图13描述的放大/缩小操作中，当对象1106放置在基准空间C2中同时没有利用触摸操作2201没有选择对象1106时，可以容易地识别对象1106固定在显示单元110上。
(针对真实空间的基准空间)
图22是示出根据本公开的实施例的在采用针对真实空间的基准空间(基准空间C3)的情况下的显示示例的图。在所示出的示例中，在显示在可佩带显示器100的显示单元110上的图片1100中，对象1112放置在基准空间C3中。如上所述，基准空间C3是可佩带显示器100和移动终端200存在的真实空间(环境空间)。因此，对象1112可放置在同一位置而与可佩带显示器100或移动终端200的位置或姿势无关。
作为一个示例，当对显示在如上所述的基准空间C3中的对象1112重复执行以上参照图12描述的拖动操作时，还可以执行诸如围绕用户将对象转动通过360度的操作。在该情况下，当通过对移动终端200的操作进行选择时，对象1112进行向基准空间C1的转换，并且对象1112在针对真实空间的基准空间中伴随移动终端200的移动一起移动。当释放选择时，对象1112再次进行向基准空间C3的转换并且与可佩带显示器100和移动终端200的位置无关。可佩带显示器100在该状态下移动(移动终端200可不移动)，然后执行类似的拖动操作，从而可以连续地移动对象1112。
(3-2.基准空间之间的切换)
如上所述，在本公开的一些实施例中，可以根据对对象的操作状态而在放置对象的基准空间之间切换。在该情况下，显示对象，同时进行不同基准空间之间的转换。在以下，将给出用于在如上所述的基准空间之间切换的操作以及所得到的显示示例的描述。
图23是示出根据本公开的实施例的基准空间之间的切换的显示示例的图。在该示例中，如图23A所示，在显示在可佩带显示器100的显示单元110上的图片1100中，显示在基准空间中的对象1106j被表示为指示该对象显示在不同的基准空间的情况下的形状的扩展图形1114。例如，当对象1106j显示在图片1100上的位置叠加在其显示在不同的基准空间中的位置上时，可表示扩展图形1114。在该情况下，当获得预定操作(例如，对移动终端200的触摸传感器220的触摸操作或按压和保持操作)时，对象1106j改变为显示在不同的基准空间中的对象1106k，如图23B所示。
图24是示出根据本公开的实施例的基准空间之间的切换的第一操作示例的图。在所示出的示例中，当对移动终端200的触摸传感器220的触摸操作2201结束时显示在基准空间C1(通过使用移动终端200作为基准设置的空间)中的对象1106进行向基准空间C3(真实空间)的转换，并且放置在远离移动终端200的空间中。
与上述类似的显示可应用于上述拖动操作。在图12B所示的示例中，在触摸操作2201结束时，与放置在基准空间C1中的移动终端200一起移动的对象1106进行向基准空间C2的转换，并且放置在图片1100中作为远离移动终端200的对象1106b。
图25和图26是示出根据本公开的实施例的基准空间之间的切换的第二操作示例的图。在所示出的示例中，显示在以上基准空间C1(通过使用移动终端200作为基准而设置的空间)中的对象1106通过对移动终端200的触摸传感器220的拖动操作2203而进行向基准空间C3(真实空间)的转换，并且放置在远离移动终端200的空间中。此时，在对象1106进行从基准空间C1到基准空间C3的转换之后，对象1106通过拖动操作的效果(诸如在移动终端200上滑动)而稍微移动然后可被固定。
尽管在以上示例中描述了两个基准空间之间的切换，但是这可应用于三个基准空间之间的切换。在图25和图26所示的示例中，例如，当可取代对触摸传感器220的拖动操作2203而执行诸如轻击或双击操作的操作时，对象1106可取代从基准空间C1转换为基准空间C3而进行到基准空间C2(使用可佩带显示器100作为基准设置的空间)的转换。以此方式，当在转换目的地的基准空间中存在多个候选时，可根据对触摸传感器220执行的操作的种类来确定转换目的地的基准空间。
图27是示出根据本公开的实施例的每个基准空间的光标的显示示例的图。如上所述，在本公开的一些实施例中，可从多个候选当中选择可显示对象的基准空间。因此，例如，在图片1100上的显示中，表示要放置对象的基准空间可能是有用的。
图27A示出了当对象1106放置在包括基准空间C1或基准空间C3的三维空间中时的光标1108a。光标1108a可被显示为包括三维地包围板状图标1106的盒子的形状。另一方面，图27B示出了当对象1106放置在包括基准空间C2的二维空间中时的光标1108b。光标1108b可被显示为包围被显示为平面上的区域的图标1106的拐角部分的图形。
另外，可使用诸如对象1106或光标1108的颜色或纹理的显示效果来表示放置对象1106的基准空间。放置对象1106的空间可由要显示在对象1106附近的图标来表示。
(4.来自真实空间的中断显示)
将参照图28至图31描述根据本公开的实施例的来自真实空间的中断显示。为了简化目的使用第一装置配置示例来给出以下描述，但是如从对装置配置的描述的引用显而易见的是，在第二至第四装置配置示例和其它装置配置中，可执行类似显示。
在本公开的一些实施例中，作为上述示例，使用移动终端200来操作可佩带显示器100。在该情况下，存在如下情况：其中，通过甚至当在用户的视场通常在可佩带显示器100中被阻挡的状态下显示内容或GUI图像时，也允许用户至少临时地在视觉上识别真实空间中的移动终端200的位置和姿势或者对移动终端200的触摸传感器220的操作状态，用户容易操作可佩带显示器100。
在另一实施例中，移动终端200不一定用于可佩带显示器100的操作。当在用户的视场在可佩带显示器100中被阻挡的状态下显示内容或GUI图像时，如果移动终端200中存在到来消息，则可期望检查移动终端200或显示在移动终端200上的图片，而不会断开可佩带显示器100或中断图片的显示。
在以下示例中，在如上所述的情况下，如果用户的视场被阻挡并且图片显示在可佩带显示器100中，通过外部真实空间中的图像选择性地中断图片。除了显示在移动终端200或移动终端200的显示单元210上的图片之外，真实空间中的图像可以是用户通过视觉识别可获得一些信息的对象的任何图像。
当图片被真实空间中的图像中断时，从摄像装置130创建的捕获图像提取的真实空间中的图片可取代诸如内容的图片的至少一部分而被显示，或者可以以叠加方式显示在诸如内容的图片的至少一部分上，或者真实空间中的外部图像可通过部分增加诸如内容的图片的透明度而被透明地显示。
(4-1.移动终端的中断显示)
图28是示出根据本公开的实施例的移动终端的中断显示的示例的图。在所示出的示例中，当阻挡用户的视场的内容图片1102显示在可佩带显示器100的显示单元110上时，图片被显示为被移动终端200’中断。
移动终端200’是如下图片：通过在可佩带显示器100的摄像装置130创建的捕获图像当中基于空间关系获取单元242估计的空间关系提取移动终端200的图片以及通过将其取代内容图像1102布置在真实空间的视场中的移动终端200的位置处(当不存在显示单元110时可看到移动终端200的位置)或者显示为叠加在内容图像1102上而显示的图片。
替选地，当显示单元110可以以叠加方式将透明图片显示在用户的视场上时，通过增加真实空间的视场中的移动终端200的位置处的内容图像1102的透明度而透明地显示真实空间中的移动终端200的图像，因此内容图像1102可以被移动终端200’中断。
(4-2.显示图片的中断显示)
图29是示出根据本公开的实施例的对显示图片的中断的显示示例的图。在所示出的示例中，当阻挡用户的视场的内容图像1102显示在可佩带显示器100的显示单元110上时，通过中断来显示移动终端的显示图片2100’。
显示图片2100’是通过在可佩带显示器100的摄像装置130创建的捕获图像当中基于空间关系获取单元242估计的空间关系提取显示在移动终端200的显示单元210上的图片2100的图片以及通过取代内容图像1102将所提取的图片布置在真实空间中的视场中的图片2100的位置(当不存在显示单元110时可看到显示图片2100的位置)处或者将所提取的图片布置为叠加在内容图像1102上而显示的图片。
在以上情况下，与摄像装置130创建的捕获图像不同，可基于所估计的空间关系而在显示控制单元246中重绘显示图片2100’。换言之，显示控制单元246可使用通过基于与用于在显示单元210上显示图片2100的数据类似的数据重绘“如从可佩带显示器100看到的图片2100”而获得的图片作为显示图片2100’。在该情况下，与从捕获图像提取的情况相比，可更清楚地显示显示图片2100’，并且可以操作诸如包括在显示图片2100’中的链接的操作元素。
替选地，当显示单元110可以以叠加方式将透明图片显示在用户的视场上时，通过增加真实空间的视场中的显示图片2100的位置处的内容图像1102的透明度而透明地显示真实空间中的显示图片2100的图像，因此内容图像1102可以被显示图片2100’中断。
图30是示出根据本公开的实施例的显示图片的中断显示的另一示例的图。在所示出的示例中，当阻挡用户的视场的内容图片1102显示在可佩带显示器100的显示单元110上时，通过中断来显示与移动终端的显示图片相关地生成的信息窗口1116。
在图30A所示的示例中，内容图片1102被信息窗口1116b中断，该信息窗口1116b要被显示用于以显示在显示单元110上的内容图片1102的范围中(或者远离可佩带显示器100)的部分来指示移动终端200中存在到来消息。在图30B所示的示例中，内容图片1102被信息窗口1116b中断，该信息窗口1116b要被显示用于以显示在显示单元110上的内容图片1102的范围中的稍大(或者在中间远离可佩带显示器100)的部分指示移动终端200中存在到来消息。在图30C所示的示例中，内容图片1102被信息窗口1116c中断，该信息窗口1116c要被显示用于以显示在显示单元110上的内容图片1102的范围中的较大(或者靠近可佩带显示器100)的部分指示移动终端200中存在到来消息。
在以上示例中，包括在信息窗口1116中的信息量随着移动终端200接近可佩带显示器100而增加。换言之，在该示例中，显示控制单元246允许根据可佩带显示器100与移动终端200之间的空间关系而改变包括在信息窗口1116中的信息量，该信息窗口1116是基于显示在移动终端200的显示单元210上的图片2100而编辑的图片。
(4-3.一般对象的中断显示)
图31是示出根据本公开的实施例的一般对象的中断显示的示例的图。在所示出的示例中，当阻挡用户的视场的内容图片1102显示在可佩带显示器100的显示单元110上时，通过用户的视场的中断显示各种对象。
作为一个示例，在图31A中，通过内容图片1102上的中断来显示包括在用户U的视场V2中的电视机TV1的显示图片2100’。在图31B中，通过内容图片1102上的中断来显示包括在用户U的视场V1中的电视机TV2的显示图片2100’和类似地包括在视场V1中的时钟CLOCK的图片CLOCK’。尽管未示出，但是例如，当个人计算机PC在用户U的视场内时，通过内容图片1102上的中断来显示PC的显示图片。
作为一个示例，当如图31B所示执行中断显示时，通过用户的操作输入选择的显示图片2100’如图31C所示放大和变形，然后可作为全屏视图显示在显示单元110上。上述操作输入不限于作为上述示例的通过移动终端200执行的操作输入，并且操作输入可包括使用声音或姿势的操作输入。替选地，可使用加速度传感器等来确定佩戴可佩带显示器100的用户的转向。当确定用户面向电视机TV2时，显示图片2100’可显示在如上所述的全屏视图中。
在以上示例中，可通过用户的预先登记来确定诸如电视机和时钟的对象当中的要通过中断显示的对象的选择。当登记了要通过中断显示的对象时，可虚拟地显示可能成为要通过显示在显示单元110上的图片上的中断而显示的目标的对象，并且当用户选择虚拟显示时，对象可被设置为要通过中断显示的目标。
与以上示例中的移动终端200类似，对于可能成为要通过中断显示的目标的对象，基于通过分析摄像装置130创建的捕获图像获得的结果和/或由深度传感器获得的检测结果来估计可佩带显示器100与移动终端200之间的对象的空间关系。
作为要通过中断显示的目标的对象不限于诸如移动终端200或电视机的终端装置，并且对象可包括诸如时钟的一般对象。此外，作为要通过中断显示的目标的对象可包括佩戴可佩带显示100的用户本身或其他用户的身体的一部分。
当获得预定触发时，执行如上所述的各种对象的中断显示。作为一个示例，如图30的示例所示，可通过获取要通过中断显示的终端装置(移动终端200)接收的通知作为预定触发来执行中断显示。作为对于图9至图14的示例的应用，可通过获取要通过中断显示的终端装置(移动终端200)获得的操作输入作为预定触发来执行中断显示。这样的操作输入可以是用于操作可佩带显示器100的操作输入。
另外，各种触发被设置用于执行对象的中断显示。作为一个示例，作为图31所示的示例，当每个对象在用户的视场内时，可执行中断显示。替选地，当每个对象对用户进行任何操作时，可执行中断显示。作为一个示例，当另一用户是要通过中断显示的图像的对象时，可通过获取对佩戴可佩带显示器100的用户说话的其他用户的行为作为触发来执行中断显示。
(5.补充)
本公开的实施例可以包括例如上述显示控制装置(移动终端、可佩带显示器或服务器)、上述系统、在显示控制装置或系统中执行的上述显示控制方法、使得显示控制装置起作用的程序和其上记录有程序的非暂态有形介质。
以上参照附图描述了本公开的优选实施例，但是不公开当然不限于以上示例。本领域技术人员可在所附权利要求的范围内找到各种变更和修改，并且应理解，这些变更和修改将自然落入本公开的技术范围内。
另外，本技术还可如下进行配置。
(1)一种显示控制装置，包括：
空间关系获取单元，被配置成获取指示可佩带显示器与终端装置之间的空间关系的信息；
操作获取单元，被配置成获取指示由所述终端装置获取的操作输入的信息；以及
显示控制单元，被配置成基于所述操作输入和所述空间关系来控制在所述可佩带显示器的显示单元上的图片的显示。
(2)根据(1)所述的显示控制装置，
其中，所述显示控制单元允许具有放置在基准空间中的对象的图片显示在所述显示单元上。
(3)根据(2)所述的显示控制装置，
其中，所述显示控制单元从多个候选当中选择放置所述对象的基准空间。
(4)根据(3)所述的显示控制装置，
其中，所述显示控制单元使用所述对象的显示效果来表示所选择的基准空间。
(5)根据(4)所述的显示控制装置，
其中，所述显示控制单元利用当选择所述对象时所显示的光标的类型来表示所选择的基准空间。
(6)根据(3)至(5)中的任意一项所述的显示控制装置，
其中，所述多个候选包括彼此不同的第一基准空间、第二基准空间和第三基准空间，以及
其中，所述显示控制单元根据对放置在所述第一基准空间中的所述对象的所述操作输入的类型，确定所述对象是进行向所述第二基准空间的转换还是进行向所述第三基准空间的转换。
(7)根据(3)至(6)中的任意一项所述的显示控制装置，
其中，所述多个候选包括使用所述终端装置的操作表面作为基准的第一基准空间、使用所述图片的显示表面作为基准的第二基准空间和由真实空间定义的第三基准空间。
(8)根据(1)至(7)中的任意一项所述的显示控制装置，
其中，所述空间关系获取单元获取至少指示所述可佩带显示器与所述终端装置之间的位置关系的信息，以及
其中，所述显示控制单元基于所述操作输入和所述位置关系的改变而控制所述图片的显示。
(9)根据(8)所述的显示控制装置，
其中，所述操作获取单元获取指示与包括在所述终端装置中的触摸传感器的接触的信息，以及
其中，所述显示控制单元允许具有放置在基准空间中的对象的图片显示在所述显示单元上，并且使用所述接触作为用于选择所述对象的操作输入。
(10)根据(9)所述的显示控制装置，
其中，所述显示控制单元允许所选择的对象根据所述位置关系的改变而移动。
(11)根据(9)或(10)所述的显示控制装置，
其中，所述空间关系获取单元获取指示相对于所述终端装置的所述显示单元的在深度方向上的位置的信息，以及
其中，所述显示控制单元允许所选择的对象根据在所述深度方向上的位置的改变而放大或缩小。
(12)根据(9)至(11)中的任意一项所述的显示控制装置，
其中，所述显示控制单元在通过所述接触选择所述对象期间，使用所述终端装置的操作表面作为基准而将所述对象放置在基准空间中。
(13)根据(1)至(12)中的任意一项所述的显示控制装置，
其中，所述空间关系获取单元获取至少指示所述可佩带显示器与所述终端装置之间的姿势关系的信息，以及
其中，所述显示控制单元基于所述操作输入和所述姿势关系而控制所述图片的显示。
(14)根据(13)所述的显示控制装置，
其中，所述操作获取单元获取指示包括在所述终端装置中的触摸传感器上的接触位置的移动的信息，以及
其中，所述显示控制单元允许具有放置在基准空间中的对象的图片显示在所述显示单元上，并且允许所述对象根据所述接触位置的移动而移动。
(15)根据(14)所述的显示控制装置，
其中，所述显示控制单元基于所述姿势关系而将所述接触位置的移动方向改变为所述对象的移动方向。
(16)一种显示控制方法，包括：
获取指示可佩带显示器与终端装置之间的空间关系的信息；
获取指示由所述终端装置获取的操作输入的信息；以及
基于所述操作输入和所述空间关系来控制所述可佩带显示器的显示单元上的图片的显示。
(17)一种其上记录有程序的记录介质，所述程序使得计算机执行：
获取指示可佩带显示器与终端装置之间的空间关系的信息的功能；
获取指示由所述终端装置获取的操作输入的信息的功能；以及
基于所述操作输入和所述空间关系来控制所述可佩带显示器的显示单元上的图片的显示的功能。
附图标记列表
10、20、30、40系统
100可佩带显示器
110显示单元
140处理器
200移动终端
210显示单元
220触摸传感器
240处理器
300服务器
320处理器
142、242、322空间关系获取单元
144、244、324操作获取单元
146、246、326显示控制单元

Claims (17)

1.一种显示控制装置，包括：
空间关系获取单元，被配置成获取指示可佩带显示器与终端装置之间的空间关系的信息；
操作获取单元，被配置成获取指示由所述终端装置获取的操作输入的信息；以及
显示控制单元，被配置成基于所述操作输入和所述空间关系来控制在所述可佩带显示器的显示单元上的图片的显示。
2.根据权利要求1所述的显示控制装置，
其中，所述显示控制单元允许具有放置在基准空间中的对象的图片显示在所述显示单元上。
3.根据权利要求2所述的显示控制装置，
其中，所述显示控制单元从多个候选当中选择放置所述对象的基准空间。
4.根据权利要求3所述的显示控制装置，
其中，所述显示控制单元使用所述对象的显示效果来表示所选择的基准空间。
5.根据权利要求4所述的显示控制装置，
其中，所述显示控制单元利用当选择所述对象时所显示的光标的类型来表示所选择的基准空间。
6.根据权利要求3所述的显示控制装置，
其中，所述多个候选包括彼此不同的第一基准空间、第二基准空间和第三基准空间，以及
其中，所述显示控制单元根据对放置在所述第一基准空间中的所述对象的所述操作输入的类型，确定所述对象是进行向所述第二基准空间的转换还是进行向所述第三基准空间的转换。
7.根据权利要求3所述的显示控制装置，
其中，所述多个候选包括使用所述终端装置的操作表面作为基准的第一基准空间、使用所述图片的显示表面作为基准的第二基准空间和由真实空间定义的第三基准空间。
8.根据权利要求1所述的显示控制装置，
其中，所述空间关系获取单元获取至少指示所述可佩带显示器与所述终端装置之间的位置关系的信息，以及
其中，所述显示控制单元基于所述操作输入和所述位置关系的改变而控制所述图片的显示。
9.根据权利要求8所述的显示控制装置，
其中，所述操作获取单元获取指示与包括在所述终端装置中的触摸传感器的接触的信息，以及
其中，所述显示控制单元允许具有放置在基准空间中的对象的图片显示在所述显示单元上，并且使用所述接触作为用于选择所述对象的操作输入。
10.根据权利要求9所述的显示控制装置，
其中，所述显示控制单元允许所选择的对象根据所述位置关系的改变而移动。
11.根据权利要求9所述的显示控制装置，
其中，所述空间关系获取单元获取指示相对于所述终端装置的所述显示单元的在深度方向上的位置的信息，以及
其中，所述显示控制单元允许所选择的对象根据在所述深度方向上的位置的改变而放大或缩小。
12.根据权利要求9所述的显示控制装置，
其中，所述显示控制单元在通过所述接触选择所述对象期间，使用所述终端装置的操作表面作为基准而将所述对象放置在基准空间中。
13.根据权利要求1所述的显示控制装置，
其中，所述空间关系获取单元获取至少指示所述可佩带显示器与所述终端装置之间的姿势关系的信息，以及
其中，所述显示控制单元基于所述操作输入和所述姿势关系而控制所述图片的显示。
14.根据权利要求13所述的显示控制装置，
其中，所述操作获取单元获取指示包括在所述终端装置中的触摸传感器上的接触位置的移动的信息，以及
其中，所述显示控制单元允许具有放置在基准空间中的对象的图片显示在所述显示单元上，并且允许所述对象根据所述接触位置的移动而移动。
15.根据权利要求14所述的显示控制装置，
其中，所述显示控制单元基于所述姿势关系而将所述接触位置的移动方向改变为所述对象的移动方向。
16.一种显示控制方法，包括：
获取指示可佩带显示器与终端装置之间的空间关系的信息；
获取指示由所述终端装置获取的操作输入的信息；以及
基于所述操作输入和所述空间关系来控制所述可佩带显示器的显示单元上的图片的显示。
17.一种其上记录有程序的记录介质，所述程序使得计算机执行：
获取指示可佩带显示器与终端装置之间的空间关系的信息的功能；
获取指示由所述终端装置获取的操作输入的信息的功能；以及
基于所述操作输入和所述空间关系来控制所述可佩带显示器的显示单元上的图片的显示的功能。
CN201480027665.XA 2013-05-21 2014-04-03 显示控制装置、显示控制方法和记录介质 Expired - Fee Related CN105210144B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013107107 2013-05-21
JP2013-107107 2013-05-21
PCT/JP2014/059859 WO2014188797A1 (ja) 2013-05-21 2014-04-03 表示制御装置、表示制御方法および記録媒体

Publications (2)

Publication Number Publication Date
CN105210144A true CN105210144A (zh) 2015-12-30
CN105210144B CN105210144B (zh) 2017-12-08

Family

ID=51933363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480027665.XA Expired - Fee Related CN105210144B (zh) 2013-05-21 2014-04-03 显示控制装置、显示控制方法和记录介质

Country Status (5)

Country Link
US (1) US20160291687A1 (zh)
EP (1) EP3001407A4 (zh)
JP (1) JP6288084B2 (zh)
CN (1) CN105210144B (zh)
WO (1) WO2014188797A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951171A (zh) * 2017-03-14 2017-07-14 北京小米移动软件有限公司 虚拟现实头盔的控制方法和装置
CN107332977A (zh) * 2017-06-07 2017-11-07 安徽华米信息科技有限公司 增强现实的方法及增强现实设备
CN108292146A (zh) * 2016-02-08 2018-07-17 谷歌有限责任公司 虚拟现实中的激光指示器交互和缩放
CN109074204A (zh) * 2016-07-22 2018-12-21 惠普发展公司，有限责任合伙企业 补充信息的显示
CN110908517A (zh) * 2019-11-29 2020-03-24 维沃移动通信有限公司 图像编辑方法、装置、电子设备及介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6318596B2 (ja) * 2013-12-13 2018-05-09 セイコーエプソン株式会社 情報処理装置および情報処理装置の制御方法
WO2016017956A1 (en) * 2014-07-30 2016-02-04 Samsung Electronics Co., Ltd. Wearable device and method of operating the same
US10102674B2 (en) * 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
US10083539B2 (en) * 2016-02-08 2018-09-25 Google Llc Control system for navigation in virtual reality environment
US10852913B2 (en) 2016-06-21 2020-12-01 Samsung Electronics Co., Ltd. Remote hover touch system and method
JP6676213B2 (ja) * 2016-07-22 2020-04-08 グーグル エルエルシー 仮想現実ユーザインターフェイスのためのユーザの動きの範囲の検出
JP2018013741A (ja) * 2016-07-22 2018-01-25 富士通株式会社 表示制御プログラム、表示制御装置、及び表示制御方法
JP6996115B2 (ja) * 2017-05-29 2022-01-17 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
US10158751B2 (en) * 2017-03-13 2018-12-18 International Business Machines Corporation Performing a notification event at a headphone device
US11070724B2 (en) * 2017-03-22 2021-07-20 Sony Corporation Image processing apparatus and method
JP7042644B2 (ja) * 2018-02-15 2022-03-28 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、画像生成方法およびコンピュータプログラム
CN113330509A (zh) * 2019-01-07 2021-08-31 芋头科技（杭州）有限公司 移动设备集成视觉增强系统
CN110442295A (zh) * 2019-07-09 2019-11-12 努比亚技术有限公司 可穿戴设备控制方法、可穿戴设备及计算机可读存储介质
JP6892960B1 (ja) * 2020-09-29 2021-06-23 Kddi株式会社 制御装置、情報処理システム、制御方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2006827A2 (en) * 2006-03-31 2008-12-24 Brother Kogyo Kabushiki Kaisha Image display device
JP2009171505A (ja) * 2008-01-21 2009-07-30 Nikon Corp ヘッドマウントディスプレイ
JP2011186856A (ja) * 2010-03-09 2011-09-22 Nec Corp ヘッドマウントディスプレイを外部表示装置として使用する携帯端末
CN102985896A (zh) * 2010-07-16 2013-03-20 高通股份有限公司 用于与投影用户接口交互的方法和系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE511516C2 (sv) * 1997-12-23 1999-10-11 Ericsson Telefon Ab L M Handburen displayenhet och metod att visa skärmbilder
JP2002171460A (ja) 2000-11-30 2002-06-14 Sony Corp 再生装置
US6798429B2 (en) * 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
JP4533087B2 (ja) * 2004-10-28 2010-08-25 キヤノン株式会社 画像処理方法、画像処理装置
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
EP2392391B1 (en) * 2010-02-03 2017-06-28 Nintendo Co. Ltd. Display device, game system, and game processing method
US9229227B2 (en) * 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
JP5655515B2 (ja) * 2010-11-11 2015-01-21 ソニー株式会社 情報処理装置、テーブル、表示制御方法、プログラム、携帯端末、及び情報処理システム
JP2012173476A (ja) * 2011-02-21 2012-09-10 Nec Casio Mobile Communications Ltd 表示システム、端末装置、端末装置の制御方法、および、プログラム
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101303939B1 (ko) * 2011-10-17 2013-09-05 한국과학기술연구원 디스플레이 장치 및 컨텐츠 디스플레이 방법
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
JP6064316B2 (ja) * 2011-11-28 2017-01-25 セイコーエプソン株式会社 透過型表示装置、及び操作入力方法
JP5957875B2 (ja) * 2011-12-26 2016-07-27 ソニー株式会社 ヘッドマウントディスプレイ
JP6099348B2 (ja) * 2012-10-10 2017-03-22 オリンパス株式会社 頭部装着型表示装置、ロック解除処理システム、プログラム及びロック解除の制御方法
US9684372B2 (en) * 2012-11-07 2017-06-20 Samsung Electronics Co., Ltd. System and method for human computer interaction
CN105247466B (zh) * 2013-05-15 2019-07-26 索尼公司 显示控制装置，显示控制方法和记录介质
KR20150080995A (ko) * 2014-01-03 2015-07-13 삼성전자주식회사 외부 입력 장치를 갖는 전자장치에서 윈도우 제공 방법 및 장치
KR101662214B1 (ko) * 2014-07-16 2016-10-04 네이버 주식회사 지도 서비스 제공 방법, 표시 제어 방법 및 상기 방법을 컴퓨터로 실행시키기 위한 컴퓨터 프로그램

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2006827A2 (en) * 2006-03-31 2008-12-24 Brother Kogyo Kabushiki Kaisha Image display device
JP2009171505A (ja) * 2008-01-21 2009-07-30 Nikon Corp ヘッドマウントディスプレイ
JP2011186856A (ja) * 2010-03-09 2011-09-22 Nec Corp ヘッドマウントディスプレイを外部表示装置として使用する携帯端末
CN102985896A (zh) * 2010-07-16 2013-03-20 高通股份有限公司 用于与投影用户接口交互的方法和系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108292146A (zh) * 2016-02-08 2018-07-17 谷歌有限责任公司 虚拟现实中的激光指示器交互和缩放
CN109074204A (zh) * 2016-07-22 2018-12-21 惠普发展公司，有限责任合伙企业 补充信息的显示
CN109074204B (zh) * 2016-07-22 2022-08-12 惠普发展公司，有限责任合伙企业 补充信息的显示
CN106951171A (zh) * 2017-03-14 2017-07-14 北京小米移动软件有限公司 虚拟现实头盔的控制方法和装置
US10613622B2 (en) 2017-03-14 2020-04-07 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for controlling virtual reality helmets
CN107332977A (zh) * 2017-06-07 2017-11-07 安徽华米信息科技有限公司 增强现实的方法及增强现实设备
CN110908517A (zh) * 2019-11-29 2020-03-24 维沃移动通信有限公司 图像编辑方法、装置、电子设备及介质

Also Published As

Publication number Publication date
JP6288084B2 (ja) 2018-03-07
EP3001407A1 (en) 2016-03-30
JPWO2014188797A1 (ja) 2017-02-23
CN105210144B (zh) 2017-12-08
WO2014188797A1 (ja) 2014-11-27
EP3001407A4 (en) 2017-01-25
US20160291687A1 (en) 2016-10-06

Similar Documents

Publication Publication Date Title
CN105210144A (zh) 显示控制装置、显示控制方法和记录介质
WO2014188798A1 (ja) 表示制御装置、表示制御方法および記録媒体
US20240077724A1 (en) Sedentary virtual reality method and systems
US11036284B2 (en) Tracking and drift correction
EP3195595B1 (en) Technologies for adjusting a perspective of a captured image for display
US10769797B2 (en) Virtual reality experience sharing
US10095458B2 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
JP6304240B2 (ja) 表示制御装置、表示制御方法およびプログラム
US9123272B1 (en) Realistic image lighting and shading
CN105103198A (zh) 显示控制装置、显示控制方法以及程序
US10809910B2 (en) Remote touch detection enabled by peripheral device
CN108027707B (zh) 用户终端设备、电子设备以及控制用户终端设备和电子设备的方法
US11590415B2 (en) Head mounted display and method
US20170322700A1 (en) Haptic interface for population of a three-dimensional virtual environment
KR102561274B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
US9449427B1 (en) Intensity modeling for rendering realistic images
US20190005546A1 (en) Augmented reality advertisements on objects
JP6686319B2 (ja) 画像投影装置及び画像表示システム
JPWO2020031493A1 (ja) 端末装置および端末装置の制御方法
JP6514386B1 (ja) プログラム、記録媒体及び画像生成方法
JP2014203131A (ja) 入力装置、入力処理方法及びプログラム
JP2011158956A (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171208