CN106462251B - 显示控制设备、显示控制方法以及程序 - Google Patents

显示控制设备、显示控制方法以及程序 Download PDF

Info

Publication number
CN106462251B
CN106462251B CN201580032590.9A CN201580032590A CN106462251B CN 106462251 B CN106462251 B CN 106462251B CN 201580032590 A CN201580032590 A CN 201580032590A CN 106462251 B CN106462251 B CN 106462251B
Authority
CN
China
Prior art keywords
application
display
unit
output unit
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580032590.9A
Other languages
English (en)
Other versions
CN106462251A (zh
Inventor
兵头克也
鸟居邦在
深泽辽
佐藤直之
川崎浩一
泉昭彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106462251A publication Critical patent/CN106462251A/zh
Application granted granted Critical
Publication of CN106462251B publication Critical patent/CN106462251B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

[问题]为了提供使得用户能够容易地指定要使用的应用的技术。[解决方案]提供了一种显示控制设备，其配备有：输出控制单元，用于控制输出单元以显示与一个应用或多个应用中的每个应用相关联的显示对象；动作检测单元，用于检测用户正指向的方向；以及应用选择单元，用于基于指示方向以及与一个应用或多个应用中的每个应用相关联的显示对象来选择要使用的应用。

Description

显示控制设备、显示控制方法以及程序
技术领域
本公开内容涉及显示控制设备、显示控制方法以及程序。
背景技术
近年来，已知以下这样的技术：显示与一个应用或多个应用中的每个应用相关联的显示对象，并且将与通过使用鼠标的点击操作而指定的显示对象相关联的应用选择为作为操作目标的应用。此外，还已知以下这样的技术：将与通过对触摸面板进行轻击操作而指定的显示对象相关联的应用选择为作为操作目标的应用(例如，参照专利文献1)。
存在着诸如窗口和图标的各种对象，作为显示对象的示例。用户可以对上面选择的作为操作目标的应用进行操作。
引用列表
专利文献
专利文献1：JP2011-034140A
发明内容
技术问题
然而，当利用对触摸面板进行轻击操作来指定显示对象时，在用于显示该显示对象的屏幕被放大时，对于用户而言对触摸面板执行轻击操作是麻烦的。此外，当利用使用鼠标的点击操作来指定显示对象时，在用于显示该显示对象的屏幕被放大时，对于用户而言利用拖动操作来移动指示位置是麻烦的。
因此，期望提供使得用户能够容易地指定作为操作目标的应用的技术。
问题的解决方案
根据本公开内容，提供了一种显示控制设备，该显示控制设备包括：输出控制单元，其被配置成控制输出单元以显示与一个应用或多个应用中的每个应用相关联的显示对象；动作检测单元，其被配置成检测用户的手指指向方向；以及应用选择单元，其被配置成基于与一个应用或多个应用中的每个应用相关联的显示对象以及手指指向方向来选择作为操作目标的应用。
根据本公开内容，提供了一种显示控制方法，该显示控制方法包括：控制输出单元以显示与一个应用或多个应用中的每个应用相关联的显示对象；检测用户的手指指向方向；以及基于与一个应用或多个应用中的每个应用相关联的显示对象以及手指指向方向来选择作为操作目标的应用。
根据本公开内容，提供了一种用于使计算机用作显示控制设备的程序，该显示控制设备包括：输出控制单元，其被配置成控制输出单元以显示与一个应用或多个应用中的每个应用相关联的显示对象；动作检测单元，其被配置成检测用户的手指指向方向；以及应用选择单元，其被配置成基于与一个应用或多个应用中的每个应用相关联的显示对象以及手指指向方向来选择作为操作目标的应用。
发明的有益效果
如上所提及的，根据本公开内容，提供了一种使得用户能够容易地指定作为操作目标的应用的这种技术。注意，上述效果不必须是限制性的。与上述效果一起或者代替于上述效果，可以达到本说明书中描述的效果或根据本说明书可以领会的其他效果中的任意一种效果。
附图说明
图1是示出了根据本公开内容的实施方式的信息处理系统的配置示例的图。
图2是示出了根据本实施方式的信息处理系统的功能配置示例的框图。
图3是示出了选择作为操作目标的应用的第一示例的图。
图4是示出了选择作为操作目标的应用的第二示例的图。
图5是示出了选择作为操作目标的应用的第三示例的图。
图6是示出了选择作为操作目标的应用的第四示例的图。
图7是示出了选择作为操作目标的应用的第五示例的图。
图8是示出了选择作为操作目标的应用的第六示例的图。
图9是示出了选择作为操作目标的应用的第七示例的图。
图10是示出了与作为操作目标的应用对应的操作的第一示例的图。
图11是示出了与作为操作目标的应用对应的操作的第二示例的图。
图12是示出了与作为操作目标的应用对应的操作的第三示例的图。
图13是示出了与作为操作目标的应用对应的操作的第四示例的图。
图14是示出了根据本公开内容的实施方式的显示控制设备的操作的示例的流程图。
图15是示出了根据本实施方式的信息处理系统的硬件配置示例的框图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的优选实施方式。在本说明书和附图中，用相同的附图标记表示功能和结构基本相同的结构元素，并省略对这些结构元素的重复解释。
注意，在本说明书和附图中，有时在相同的附图标记之后使用不同的字母来彼此区分功能和结构基本相同的结构元素。然而，当不需要特别区分功能和结构基本相同的结构元素时，仅附上相同的附图标记。
注意，将按以下顺序进行描述。
1.本公开内容的实施方式
1.1.系统配置示例
1.2.功能配置示例
1.3.选择作为操作目标的应用的示例
1.4.与作为操作目标的应用对应的操作示例
1.5.显示控制设备的操作示例
1.6.硬件配置示例
2.总结
<1.本公开内容的实施方式>
[1.1.系统配置示例]
首先，参照附图给出对根据本公开内容的实施方式的信息处理系统100的配置示例的描述。图1是示出了根据本公开内容的实施方式的信息处理系统100的配置示例的说明图。如图1所示，根据本公开内容的实施方式的信息处理系统100包括输入单元110(110A、110B)和输出单元130(130A、130B)。信息处理系统100显示各种信息，并且使得使用信息处理系统100的用户U(在下文中简称为“用户”)能够对各种信息执行操作。
输入单元110A具有输入信息的功能。在图1所示的示例中，输入单元110A被悬吊在桌子140上方的天花板上。然而，不对设置输入单元110A的位置进行特别限制。输入单元110A可以包括单目相机或立体相机。此外，输入单元110A还可以包括吸收由用户发出的声音的麦克风。
输出单元130A具有将屏幕G1显示到桌子140上的功能。在图1所示的示例中，输出单元130A被悬吊在桌子140上方的天花板上。然而，不对设置输出单元130A的位置进行特别限制。例如，输出单元130A可以包括能够将屏幕G1投射到桌子140的顶表面上的投影仪。此外，输出单元130A还可以包括能够基于音频信号输出声音的扬声器。
在此处，扬声器的数目可以是一个或多个。例如，当输出单元130A中包括的扬声器的数目为多个时，可以从多个扬声器中选择输出声音的扬声器。此外，当输出单元130A中包括的扬声器的数目为一个或多个时，可以调整一个或多个扬声器中的部分或全部扬声器的声音的输出方向。
注意，尽管在本说明书中主要给出了桌子140的顶表面是屏幕G1的显示表面的情况的描述，但屏幕G1的显示表面可以不同于桌子140的顶表面。例如，屏幕G1的显示表面可以是墙壁、建筑物、地板表面或地面。此外，当输出单元130A具有显示表面时，屏幕G1的显示表面可以是输出单元130A的显示表面。
输入单元110B具有输入信息的功能。在图1所示的示例中，输入单元110B被设置在信息输入终端中。然而，不对输入单元110B的设定位置进行特别限制。输入单元110B可以包括能够检测用户的触摸操作或拖动操作的触摸面板。可替选地，输入单元110B可以包括能够检测用户的按压操作的按钮。
输出单元130B具有输出信息的功能。在图1所示的示例中，输出单元130B被设置在信息输入终端中。然而，不对输出单元130B的设定位置进行特别限制。例如，输出单元130B可以包括能够显示信息的显示设备。此外，输出单元130B还可以包括能够基于音频信号输出声音的扬声器。
上文给出了根据本公开内容的实施方式的信息处理系统100的配置示例的描述。
[1.2.功能配置示例]
接下来，将给出对根据本公开内容的实施方式的信息处理系统100的功能配置示例的描述。图2是示出了根据本公开内容的实施方式的信息处理系统100的功能配置示例的框图。如图2所示，根据本公开内容的实施方式的信息处理系统100包括输入单元110(110A、110B)、控制单元120(在下文中也称为“显示控制设备120”)和输出单元130(130A、130B)。
显示控制设备120对信息处理系统100中的各个单元执行控制。例如，显示控制设备120生成要从输出单元130输出的信息。此外，例如，显示控制设备120将由输入单元110输入的信息反映到从输出单元130输出的信息上。如图2所示，显示控制设备120包括动作检测单元121、设备状态检测单元122、应用状态检测单元123、应用选择单元124和输出控制单元125。随后将描述各个功能块的细节。
注意，显示控制设备120可以包括例如中央处理单元(CPU)。当显示控制设备120包括诸如CPU的装置时，该装置可以包括电子电路。
上文给出了根据本公开内容的实施方式的信息处理系统100的功能配置示例的描述。接下来，将描述根据本公开内容的实施方式的显示控制设备120的功能的细节。输出控制单元125在显示控制设备120的控制下使得输出单元130A能够输出屏幕G1。屏幕G1可以包括与一个应用或多个应用中的每个应用相关联的显示对象。
当用户通过参照屏幕G1已经发现与要操作的应用相关联的显示对象时，该用户指向该显示对象。在此处，不对用于指示的手指的类型进行特别限制。然后，动作检测单元121检测用户的手指指向方向。例如，动作检测单元121从由输入单元110A成像的图像中检测手指指向方向。
注意，在本说明书中主要给出了对以下情况的描述：当动作检测单元121检测对桌子140的手指触摸时，检测指示着从手指的根部至手指的端部的方向的二维信息作为手指指向方向。当输入单元110A包括相机时，二维信息可以是在相机成像的图像上所反映的从手指的根部至手指的端部的方向。在此处，对桌子140的手指触摸可以通过任意方法来检测。
例如，当输入单元110A包括立体相机时，动作检测单元121可以基于手指的深度信息来检测对桌子140的手指触摸，该手指的深度信息是通过分析由立体相机成像的图像和手指在该图像中的坐标而获得的。可替选地，当输入单元110A包括堆放在桌子140上的触摸面板时，动作检测单元121可以通过检测对触摸面板的手指触摸来检测对桌子140的手指触摸。
注意，由动作检测单元121检测手指指向方向的定时可以不在检测对桌子140的手指触摸的定时处。例如，当已经基于由相机成像的图像检测到手指进入预定区域时，动作检测单元121可以检测手指指向方向。此外，手指指向方向可以是指示从手指的根部至手指的端部的方向的三维信息。例如，当输入单元110A包括立体相机时，动作检测单元121可以通过分析由立体相机成像的图像来检测指示从手指的根部至手指的端部的方向的三维信息。
当动作检测单元121检测出手指指向方向时，应用选择单元124基于与一个应用或多个应用中的每个应用相关联的显示对象以及手指指向方向来选择作为操作目标的应用。在该配置下，用户可以容易地指定作为操作目标的应用。在下文中，将给出由应用选择单元124选择作为操作目标的应用的示例的详细描述。
[1.3.选择作为操作目标的应用的示例]
图3是示出了选择作为操作目标的应用的第一示例的图。参照图3，输出控制单元125使得输出单元130A能够显示屏幕G1，该屏幕G1包括分别与应用相关联的显示对象A1至A3。在图3中，给出了当执行应用时各个显示对象A1至A3是出现在屏幕G1上的窗口的情况的示例。各个显示对象A1至A3不限于窗口，并且可以是图标或其他对象。此外，不对屏幕G1中包括的显示对象的数目进行特别限制。
各个显示对象A1至A3在屏幕G1上的位置可以利用用户U的拖动操作来移动，并且被存储在显示控制设备120中。在此处，当用户U希望对与显示对象A1相关联的应用进行操作时，手指可以触摸到桌子140并且可以用手指指向显示对象A1。因此，应用选择单元124将与显示对象A1相关联的应用选择为作为操作目标的应用，其中该显示对象A1存在于以手指位置Pf为基准的手指指向方向Df上(在线Lf上)。
如上所述以手指位置Pf为基准，用户U可以直观地指定作为操作目标的应用。手指位置Pf可以是在屏幕G1上的位置。例如，应用选择单元124可以通过分析由输入单元110A输入的图像来获得手指位置Pf。图3还示出了用户的位置Pu。随后将对用户的位置Pu进行描述。
图4是示出了选择作为操作目标的应用的第二示例的图。参照图4，与图3所示的示例类似，输出控制单元125使得输出单元130A能够显示屏幕G1，该屏幕G1包括分别与应用相关联的显示对象A1至A3。在此处，以用户U的视点，显示对象A2在前侧，而显示对象A3在纵深侧(depth side)。
同样在这种情况下，手指可以触摸到桌子140并且可以用手指指向显示对象A2和A3。应用选择单元124可以将以下应用选择为作为操作目标的应用：与存在于线Lf上的显示对象A2和A3中的最接近于手指位置的显示对象A2相关联的应用。这是因为用户U想将与最接近于手指位置的显示对象A2相关联的应用指定为作为操作目标的应用的可能性高。
图5是示出了选择作为操作目标的应用的第三示例的图。参照图5，与图3所示的示例类似，输出控制单元125使得输出单元130A能够显示屏幕G1，该屏幕G1包括分别与应用相关联的显示对象A1至A3。在此处，以用户U的视点，显示对象A2在前侧，而显示对象A3在深侧。
在这种情况下，如图4所示，应用选择单元124可以将与存在于线Lf上的显示对象A2和A3中的最接近于手指位置的显示对象A2相关联的应用选择为作为操作目标的应用。然而，用户U可能想将作为操作目标的应用切换成与显示对象A3相关联的应用。
同样在这种情况下，用户U可以使手指从桌子140分离一次，再次用手指触摸桌子140，并且用手指指向显示对象A2和A3。因此，应用选择单元124将作为操作目标的应用切换成与存在于以手指位置为基准的手指指向方向Df上(线Lf上)的显示对象A3相关联的应用。注意，用于切换作为操作目标的应用的操作不限于该示例。
在上文示出的示例中，给出了对以下示例的描述：不考虑分别与显示对象A1至A3相关联的应用的状态，由应用选择单元124选择作为操作目标的应用。然而，当由应用选择单元124选择作为操作目标的应用时，可以考虑分别与显示对象A1至A3相关联的应用状态。
具体地，应用状态检测单元123可以检测各个显示对象A1至A3的状态作为应用状态，并且应用选择单元124可以基于应用状态来选择作为操作目标的应用。不对应用状态进行特别限制，应用状态可以是指示对应用的操作是否必要的信息。在下文中将对该示例进行描述。
图6是示出了选择作为操作目标的应用的第四示例的图。参照图6，与图3所示的示例类似，输出控制单元125使得输出单元130A能够显示屏幕G1，该屏幕G1包括分别与应用相关联的显示对象A1至A3。在此处，对与显示对象A2相关联的应用的操作是不必要的。对与显示对象A3相关联的应用的操作是必要的。
在这种情况下，如图6所示，显示对象A2和A3存在于线Lf上。由于对与显示对象A2相关联的应用的操作是不必要的，因此应用选择单元124可以不将与显示对象A2相关联的应用选择为作为操作目标的应用。这是因为不要求操作的应用不需要被选择为作为操作目标的应用。
另一方面，由于对与显示对象A3相关联的应用的操作是必要的，因此，应用选择单元124可以将与显示对象A3相关联的应用选择为作为操作目标的应用。这是因为要求操作的应用需要被选择为作为操作目标的应用。
注意，尽管在此处给出的示例是将指示对应用的操作是否必要的信息作为应用状态，但不对应用状态进行特别限制。例如，除了指示对应用的操作是否必要的信息以外，应用状态可以包括下述中的至少任一个：对应用的操作变为必要的时间、从开始执行应用起经过的时间、在对应用的最终操作之后经过的时间、以及用户和应用所相关联的显示对象之间的距离。例如，应用选择单元124可以按照对应用的操作变为必要的时间的先后顺序优先地选择应用。可替选地，应用选择单元124可以优先选择在开始执行对应用的操作之后经过的时间较长的应用。可替选地，应用选择单元124可以优先选择在对应用的最终操作之后经过的时间较短的应用。可替选地，应用选择单元124可以优先选择用户和应用所相关联的显示对象之间的距离较短的应用。
在上面的示例中，给出了对以下示例的描述：不考虑显示控制设备120的状态，由应用选择单元124选择作为操作目标的应用。然而，对于由应用选择单元124选择作为操作目标的应用，可以考虑显示控制设备120的状态。
具体地，设备状态检测单元122可以检测显示控制设备120的状态作为设备状态。应用选择单元124可以基于设备状态来选择作为操作目标的应用。不对设备状态进行特别限制，并且设备状态可以是指示设备是否连接至网络的信息。指示设备是否连接至网络的信息可以从与应用相关联的各种信息获得。可替选地，可以根据经由网络的通信历史是否保留来确定设备是否连接至网络。在下文中将对该示例进行描述。
图7是示出了选择作为操作目标的应用的第五示例的图。参照图7，与图3所示的示例类似，输出控制单元125使得输出单元130A能够显示屏幕G1，该屏幕G1包括分别与应用相关联的显示对象A1至A3。显示控制设备120未连接至网络，与显示对象A2相关联的应用要求连接至网络，而与显示对象A3相关联的应用不要求连接至网络。
在这种情况下，如图7所示，显示对象A2和A3存在于线Lf上。由于与显示对象A2相关联的应用要求连接至网络，因此应用选择单元124可以将与显示对象A2相关联的应用从作为操作目标的应用中排除。这是因为在与网络的非连接状态下，要求连接至网络的应用不需要被选择为作为操作目标的应用。
另一方面，由于与显示对象A3相关联的应用可以不连接至网络，因此，应用选择单元124可以将与显示对象A3相关联的应用选择为作为操作目标的应用。这是因为同样在与网络的非连接状态下，不要求连接至网络的应用需要被选择为作为操作目标的应用。
注意，在此处给出的示例是将指示显示控制设备120是否连接至网络的信息作为设备状态。然而，不对设备状态进行特别限制。
在上文示出的示例中，描述了由应用选择单元124将与存在于以手指位置为基准的手指指向方向上的显示对象相关联的应用选择为作为操作目标的应用。然而，作为操作目标的应用可以通过另一操作来指定。例如，用户可以通过将视线引向要被指定为作为操作目标的应用的应用来指定作为操作目标的应用。
具体地，动作检测单元121可以检测用户U的视线，并且应用选择单元124可以将与存在于视线上的显示对象相关联的应用选择为作为操作目标的应用。用户U的视线可以通过任意方法来检测，或者可以通过分析由输入单元110A输入的图像或通过分析由另一相机(例如，对用户U的眼睛进行成像的相机)成像的图像来检测。在下文中将对该示例进行描述。
图8是示出了选择作为操作目标的应用的第六示例的图。参照图8，与图3所示的示例类似，输出控制单元125使得输出单元130A能够显示屏幕G1，该屏幕G1包括分别与应用相关联的显示对象A1至A3。显示控制设备120预先存储屏幕G1的三维位置、各个显示对象A1至A3在屏幕G1上的位置以及眼睛的三维位置Pe。
在此处，当用户U希望对与显示对象A2相关联的应用进行操作时，可以将视线引向显示对象A2。因此，应用选择单元124可以将与存在于以眼睛的三维位置Pe为基准的三维视线方向De上(线Le上)的显示对象A2相关联的应用选择为作为操作目标的应用。以这种方式使用视线使得可以直观地指定作为操作目标的应用。
此外，除了引导视线的用户操作以外的操作也可以指定作为操作目标的应用。用户可以通过发出语音来指定作为操作目标的应用，该语音指示用于识别要被指定为作为操作目标的应用的应用的信息(在下文中简称为“应用识别信息”)。从用户发出的语音可以通过输入单元110A输入。下面将给出该示例。
图9是示出了选择作为操作目标的应用的第七示例的图。参照图9，与图3所示的示例类似，输出控制单元125使得输出单元130A能够显示屏幕G1，该屏幕G1包括分别与应用相关联的显示对象A1至A3。此外，显示控制设备120预先存储用于识别分别与显示对象A1至A3相关联的应用的信息。
在此处，当用户U希望对与显示对象A2相关联的应用进行操作时，可以发出语音，该语音指示用于识别应用的信息。因此，动作检测单元121可以从用户U发出的语音中检测字符串，并且应用选择单元124可以通过将字符串与存储的应用识别信息进行比较，将与字符串匹配或类似的应用识别信息所识别的应用选择为作为操作目标的应用。
如上所提及的，利用从用户U发出的语音使得可以直观地指定作为操作目标的应用。注意，从用户U发出的语音可以是应用识别信息本身。然而，如图9所示，可以使用通过向应用识别信息的末尾添加预定短语而获得的语音。可替选地，从用户U发出的语音可以是通过向应用识别信息的头部添加预定短语而获得的语音。
[1.4.与作为操作目标的应用对应的操作示例]
如上所提及的，应用选择单元124可以选择作为操作目标的应用。当选择出作为操作目标的应用时，输出控制单元125控制输出单元130执行与作为操作目标的应用对应的预定操作。与作为操作目标的应用对应的操作不被特别限制。在下文中给出与作为操作目标的应用对应的操作的示例。
图10是示出了与作为操作目标的应用对应的操作的第一示例的图。参照图10，与图3所示的示例类似，输出控制单元125使得输出单元130A能够显示屏幕G1，该屏幕G1包括分别与应用相关联的显示对象A1至A3。此外，用于对应用进行操作的操作对象与以下应用相关联：所述应用与各个显示对象A1至A3相关联。
在此处，如图10所示，假设应用选择单元124将与显示对象A1相关联的应用选择为作为操作目标的应用。在这种情况下，输出控制单元125可以控制输出单元130A显示与作为操作目标的应用相关联的操作对象E1。因此，可以利用对所显示的操作对象E1的操作来对作为操作目标的应用进行操作。例如，当作为操作目标的应用是用于再现内容的应用时，对作为操作目标的应用的操作可以是开始再现内容、用于再现下一内容的操作、或用于再现先前内容的操作。
不对操作对象E1的位置进行特别限制。然而，可以优选地在可以由用户容易操作的区域中显示操作对象E1。因此，输出控制单元125可以控制输出单元130A使得在与用户的位置Pu对应的位置处显示操作对象E1。更具体地，输出控制单元125可以控制输出单元130A使得在屏幕G1中最接近于用户位置Pu的位置处显示操作对象E1。
注意，用户的位置Pu可以通过任意方法获得。例如，输出控制单元125可以通过分析由输入单元110A输入的图像来获得用户的位置Pu。用户的位置Pu可以是用户U的身体的全部或部分(例如，脸或眼睛)。此外，用户的位置Pu和屏幕G1的位置中的每一个可以是二维位置或三维位置。
此外，如上所提及的，操作对象E1可以优选地被显示到用户容易操作的区域。然而，操作对象E1的位置不限于屏幕G1。例如，输出单元130可以分别存在于多个设备中，诸如在输出单元130A和输出单元130B中。在这种情况下，输出控制单元125可以控制设备在与用户的位置Pu对应的设备上显示操作对象E1。在下文中将对该示例进行描述。
图11示出了与作为操作目标的应用对应的操作的第二示例。参照图11，与图3所示的示例类似，输出控制单元125使得输出单元130A能够显示屏幕G1，该屏幕G1包括分别与应用相关联的显示对象A1至A3。此外，用于对应用进行操作的操作对象与以下应用相关联：所述应用分别与显示对象A1至A3相关联。
此外，显示控制设备120存储输出单元130A和输出单元130B中的每一个的二维位置或三维位置。例如，可以移动的输出单元130B的位置可以被显示控制设备120适当地获得并且更新。输出单元130B的位置可以例如由安装在信息输入设备上的全球定位系统(GPS)传感器来检测，并且也可以通过任意方法来检测。
在此处，如图11所示，假设以下这样的情况：应用选择单元124将与显示对象A1相关联的应用选择为作为操作目标的应用。在这种情况下，输出控制单元125可以计算从用户的位置Pu至输出单元130A和输出单元130B的距离。此外，输出控制单元125可以控制输出单元130使得在距用户位置Pu的距离较短的输出单元130上显示操作对象E1。用户的位置Pu可以是二维位置或三维位置。
在图11所示的示例中，输出控制单元125确定从用户的位置Pu至输出单元130B的距离比从用户的位置Pu至输出单元130A的距离短。因此，输出控制单元125控制输出单元130，使得在距用户位置Pu的距离被确定为较短的输出单元130B上显示操作对象E1。
上文示出的示例被描述为以下情况：不考虑输入单元110的状态，输出控制单元125使得能够执行与作为操作目标的应用对应的操作。然而，在由输出控制单元125执行操作中，可以考虑输入单元110的状态。
具体地，设备状态检测单元122可以检测输入单元110的状态作为设备状态，并且输出控制单元125可以基于该设备状态来控制操作对象E1的位置。尽管不对设备状态进行特别限制，但设备状态可以是指示设备是否能够接收操作的信息。例如，禁用操作接收的状态意味着发生某一事件的状态，在该某一事件下操作不被接收，例如，与其对应的忙碌状态。启用操作接收的状态意味着禁用操作接收的任何事件不发生的状态。在下文中将对该示例进行描述。
图12是示出了与作为操作目标的应用对应的操作的第三示例的图。参照图12，与图3所示的示例类似，输出控制单元125使得输出单元130A能够显示屏幕G1，该屏幕G1包括分别与应用相关联的显示对象A1至A3。此外，用于对应用进行操作的操作对象与以下应用相关联：所述应用分别与显示对象A1至A3相关联。
在此处，如图12所示，假设以下这样的情况：应用选择单元124将与显示对象A1相关联的应用选择为作为操作目标的应用。在这种情况下，设备状态检测单元122检测各个输入单元110A和输入单元110B是否能够接收操作。在图12所示的示例中，输出控制单元125确定：输入单元110A不能接收操作，而输入单元110B能够接收操作。
在这种情况下，输出控制单元125可以控制与能够接收操作的输入单元110B对应的输出单元130B，以允许输出单元130B显示操作对象E1。另一方面，输出控制单元125可以控制与不能接收操作的输入单元110A对应的输出单元130A，以允许输出单元130A不显示操作对象E1。
在上文示出的示例中，描述了用于显示与作为操作目标的应用相关联的操作对象E1的操作，作为与作为操作目标的应用对应的操作的示例。然而，与作为操作目标的应用对应的操作不限于该操作。例如，输出控制单元125可以控制输出单元130A，以将与作为操作目标的应用相关联的显示对象移动至与用户的位置Pu对应的位置。因此，可以容易地在显示对象上对作为操作目标的应用执行操作。在下文中将对该示例进行描述。
图13是示出了与作为操作目标的应用对应的操作的第四示例的图。参照图13，与图3所示的示例类似，输出控制单元125使得输出单元130A能够显示屏幕G1，该屏幕G1包括分别与应用相关联的显示对象A1至A3。此外，用于对应用进行操作的操作对象与以下应用相关联：所述应用分别与显示对象A1至A3相关联。
在此处，如图13所示，假设以下这样的情况：应用选择单元124将与显示对象A1相关联的应用选择为作为操作目标的应用。在这种情况下，输出控制单元125可以控制输出单元130A以将显示对象A1移动至屏幕G1上最接近于用户位置Pu的位置。因此，可以容易地在显示对象A1上对作为操作目标的应用执行操作。
[1.5.显示控制设备的操作示例]
上文给出了与作为操作目标的应用对应的操作的示例的描述。接下来，给出了根据本公开内容的实施方式的显示控制设备120的操作示例的描述。图14是示出了根据本公开内容的实施方式的显示控制设备120的操作的示例的流程图。图14所示的操作示例仅是根据本公开内容的实施方式的显示控制设备120的操作的示例。因此，根据本公开内容的实施方式的显示控制设备120的操作不限于图14所示的操作示例。
动作检测单元121检测用户的动作(S11)。此外，设备状态检测单元122检测设备状态(S12)。另外，应用状态检测单元123检测应用状态(S13)。接下来，应用选择单元124试图基于用户的动作、设备状态以及应用状态来选择作为操作目标的应用(S20)。
注意，图14示出了以下示例：应用选择单元124基于动作检测单元121、设备状态检测单元122以及应用状态检测单元123中的全部的检测结果来选择作为操作目标的应用。然而，应用选择单元124可以基于动作检测单元121、设备状态检测单元122以及应用状态检测单元123的检测结果的一部分来选择作为操作目标的应用。
接下来，如果选择了作为操作目标的应用(S30中“是”)，则输出控制单元125使得显示与作为操作目标的应用相关联的操作对象(S40)。注意，尽管图14示出了用于显示操作对象的操作，作为与作为操作目标的应用对应的操作的示例，但是与作为操作目标的应用对应的操作不限于用于显示操作对象的操作。另一方面，如果没有选择作为操作目标的应用(S30中“否”)，则输出控制单元125将操作转移至S50。
接下来，如果再次选择出作为操作目标的应用(S50中“是”)，则输出控制单元125等待预定时间(S60)，并且此后将操作转移至S11至S13。另一方面，如果没有再次选择作为操作目标的应用(S50中“否”)，则输出控制单元125结束操作。
上文给出了根据本公开内容的实施方式的显示控制设备120的操作示例的描述。
[1.6.硬件配置示例]
接下来，将参照图15描述根据本公开内容的实施方式的信息处理系统100的硬件配置。图15是示出了根据本公开内容的实施方式的信息处理系统100的硬件配置示例的框图。
如图15所示，信息处理系统100包括中央处理单元(CPU)901、只读存储器(ROM)903和随机存取存储器(RAM)905。另外，信息处理系统100可以包括主机总线907、桥(bridge)909、外部总线911、接口913、输入设备915、输出设备917、存储设备919、驱动921、连接端口923和通信设备925。此外，信息处理系统100必要时可以包括成像设备933和传感器935。可替选地或者除了CPU 901以外，信息处理系统100可以包括诸如数字信号处理器(DSP)或专用集成电路(ASIC)的处理电路。
CPU 901用作操作处理器和控制设备，并且根据记录在ROM 903、RAM 905、存储设备919或可移除记录介质927中的各种程序来控制信息处理系统100中的全部操作或部分操作。ROM 903存储由CPU 901使用的程序和操作参数。RAM 905临时存储在CPU 901的执行中使用的程序以及在执行中适当修改的参数。CPU 901、ROM 903和RAM 905通过主机总线907彼此连接，主机总线907被配置成包括诸如CPU总线的内部总线。另外，主机总线907经由桥909连接至诸外围组件互连/接口(PCI)总线的外部总线911。
输入设备915是由用户操作的设备，诸如鼠标、键盘、触摸面板、按钮、开关和控制杆。输入设备915可以是例如使用红外光或其他无线电波的远程控制单元，或者可以是响应于信息处理系统100的操作的外部连接设备929，诸如便携式电话。此外，输入设备915包括以下输入控制电路：所述输入控制电路基于由用户输入的信息而生成输入信号，并且将输入信号输出至CPU 901。通过操作输入设备915，用户可以向信息处理系统100输入各种类型的数据或者发出使信息处理系统100执行处理操作的指令。此外，随后将描述的成像设备933对用户的手、用户的手指等的运动进行成像，因此用作输入设备。与此同时，指示位置可以根据手的运动或手指的方向来确定。
输出设备917包括能够在视觉上或听觉上向用户通知所获取的信息的设备。输出设备917可以包括显示设备(如液晶显示器(LCD)、等离子体显示面板(PDP)、有机电致发光(EL)显示器和投影仪)、全息显示设备、音频输出设备(如扬声器或头戴式耳机)、以及外围设备(如打印机)。输出设备917可以以视频(如文本或图像)和音频(如语音或声音)的形式输出从信息处理系统100的处理获得的结果。输出设备917可以包括灯等等以照亮周围。
存储设备919是被配置为信息处理系统100的存储单元的示例的、用于数据存储的设备。存储设备919包括例如磁存储设备(如硬盘驱动器(HDD))、半导体存储设备、光存储设备或磁光存储设备。存储设备919存储要由CPU 901执行的程序、各种数据以及从外部获得的数据。
驱动921是用于可移除记录介质927(如磁盘、光盘、磁光盘或半导体存储器)的读写器，并且被嵌入信息处理系统100中或外部地附接至信息处理系统100。驱动921读取附接至其的可移除记录介质927中所记录的信息，并且将读取的信息输出至RAM 905。此外，驱动921将记录写入附接至其的可移除记录介质927中。
连接端口923是用于将设备和信息处理系统100直接连接的端口。连接端口923可以包括通用串行总线(USB)端口、IEEE1394端口和小型计算机系统接口(SCSI)端口。连接端口923还可以包括RS-232C端口、光纤音频端子、高清多媒体接口(HDMI)端口等。外部连接设备929至连接端口923的连接使得可以在信息处理系统100与外部连接设备929之间交换各种数据。
通信设备925是例如通信接口，该通信接口包括用于与通信网络931连接的通信设备等。通信设备925可以是例如用于有线或无线局域网(LAN)、蓝牙(注册商标)、无线USB(WUSB)等的通信卡。此外，通信设备925可以是用于光通信的路由器、用于非对称数字用户线(ADSL)的路由器、用于各种类型的通信的调制解调器等。通信设备925可以基于诸如TCP/IP的预定协议将信号发送至例如因特网或其他通信设备，并且从例如因特网或其他通信设备接收信号。另外，连接至通信设备925的通信网络931可以是以有线或无线方式连接的网络等，并且可以是例如因特网、家庭LAN、红外通信、无线电波通信、卫星通信等。
成像设备933是以下设备：例如，所述设备通过使用图像传感器(如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器)以及用于控制图像传感器上的对象图像的形成的各种部件(如一个或多个透镜)来对真实空间进行成像而生成图像。成像设备933可以是拍摄静止图像的设备，并且还可以是拍摄运动图像的设备。
传感器935是例如各种传感器中的任何传感器，诸如加速度传感器、陀螺仪传感器、地磁传感器、光学传感器或声音传感器。例如，传感器935获取关于信息处理系统100的状态的信息(如信息处理系统100的方向情况)，以及关于信息处理系统100周围的环境的信息(如信息处理系统100周围的亮度或噪音)。传感器935还可以包括接收GPS信号并测量设备的纬度、经度和海拔高度的全球定位系统(GPS)传感器。
前面示出了信息处理系统100的示例性硬件配置。虽然上述每个组件可以使用通用部件来实现，但是还可以以专用于每个组件的功能的硬件来实现。还可以根据实现时的技术水平适当地改变这种配置。
<2.总结>
如上所提及的，根据本公开内容的实施方式，提供了显示控制设备120，显示控制设备120包括：输出控制单元125，其被配置成控制输出单元130以显示与一个应用或多个应用中的每个应用相关联的显示对象；动作检测单元121，其被配置成检测用户的手指指向方向；以及应用选择单元124，其被配置成基于手指指向方向以及与一个应用或多个应用中的每个应用相关联的显示对象来选择作为操作目标的应用。根据这种配置，用户可以容易地指定作为操作目标的应用。
上文已经参照附图描述了本公开内容的优选实施方式，同时本公开内容不限于以上示例。本领域的技术人员可以发现落入所附权利要求的范围内的各种改变和修改，并且应当理解，落入所附权利要求的范围内的各种改变和修改将自然地落入本公开内容的技术范围内。
例如，尽管给出了与作为操作目标的应用对应的操作的示例的描述，但与作为操作目标的应用对应的操作不限于上述示例。例如，如果作为操作目标的应用是用于再现内容的应用，则与作为操作目标的应用对应的操作可以是用于在停止再现内容期间使内容开始的操作，或用于在再现内容期间使内容停止的操作。可替选地，与作为操作目标的应用对应的操作可以是用于放大或缩小显示对象的操作。
此外，尽管上文描述了设备状态的示例，但设备状态不限于上述示例。例如，设备状态可以指示显示对象存在的位置。在这种情况下，输出控制单元125可以控制输出单元130A以至少在不存在显示对象的位置处显示操作对象。因此，可以防止显示对象与操作对象之间交叠。
此外，可以创建以下程序：所述程序用于使得计算机中包括的硬件(如CPU、ROM或RAM)能够展现与信息处理系统100的功能相同的功能。此外，可以提供记录该程序的计算机可读记录介质。
此外，输出控制单元125生成使得输出单元130能够显示内容的显示控制信息，并且将生成的显示控制信息输出至输出单元130，从而控制输出单元130以在输出单元130上显示显示内容。显示控制信息的内容可以根据系统配置适当地变化。
作为具体示例，用于实现信息处理系统100的程序可以是Web应用。在这种情况下，显示控制信息可以由标记语言，如超文本标记语言(HTML)、标准通用标记语言(SGML)或可扩展标记语言(XML)，来实现。
注意，当实现信息处理系统100的上述操作时，不对每个组件的位置进行特别限制。作为具体示例，输入单元110、输出单元130和显示控制设备120可以被布置在经由网络连接的不同设备上。在这种情况下，显示控制设备120可以与服务器(如Web服务器或云服务器)对应，输入单元110和输出单元130可以与经由网络连接至该服务器的客户端对应。
另外，本说明书中描述的效果仅仅是说明性或示例性的效果，而非限制性的。也就是说，与上述效果一起或者代替于上述效果，根据本公开内容的技术可以实现其他效果，基于本说明书的描述该其它效果对于本领域技术人员而言是清楚的。
另外，还可以如下配置本技术。
(1)一种显示控制设备，包括：
输出控制单元，其被配置成控制输出单元以显示与一个应用或多个应用中的每个应用相关联的显示对象；
动作检测单元，其被配置成检测用户的手指指向方向；以及
应用选择单元，其被配置成基于与所述一个应用或所述多个应用中的每个应用相关联的显示对象以及所述手指指向方向来选择作为操作目标的应用。
(2)根据(1)所述的显示控制设备，其中，
所述输出控制单元控制所述输出单元使得执行与所述作为操作目标的应用对应的预定操作。
(3)根据(2)所述的显示控制设备，其中，
所述输出控制单元控制所述输出单元使得显示与所述作为操作目标的应用相关联的操作对象。
(4)根据(3)所述的显示控制设备，其中，
所述输出控制单元控制所述输出单元使得在与所述用户的位置对应的位置处显示所述操作对象。
(5)根据(1)至(4)中任一项所述的显示控制设备，其中，
所述应用选择单元将与存在于以手指位置为基准的所述手指指向方向上的显示对象相关联的应用选择为所述作为操作目标的应用。
(6)根据(5)所述的显示控制设备，其中，
所述应用选择单元将与存在于以所述手指位置为基准的所述手指指向方向上的多个显示对象中最接近于所述手指位置的显示对象相关联的应用选择为所述作为操作目标的应用。
(7)根据(5)或(6)所述的显示控制设备，其中，
所述应用选择单元根据所述用户的预定操作，在存在于以所述手指位置为基准的所述手指指向方向上的所述多个显示对象之间切换所述作为操作目标的应用。
(8)根据(1)至(7)中任一项所述的显示控制设备，包括：
设备状态检测单元，其被配置成检测所述显示控制设备的状态作为设备状态，其中，
所述应用选择单元基于所述设备状态来选择所述作为操作目标的应用。
(9)根据(8)所述的显示控制设备，其中，
当所述设备状态指示未连接至网络时，所述应用选择单元将要求连接至网络的应用从所述作为操作目标的应用中排除。
(10)根据(3)或(4)所述的显示控制设备，包括：
设备状态检测单元，其被配置成检测与所述输出单元对应的输入单元的状态作为设备状态，其中，
所述输出控制单元基于所述设备状态来控制所述操作对象的位置。
(11)根据(10)所述的显示控制设备，其中，
所述输入单元分别存在于多个设备中，并且
当所述设备状态指示所述操作对于每个设备而言是否可接收时，所述输出控制单元控制所述设备，使得由与能够接收所述操作的设备对应的输出单元来显示所述操作对象。
(12)根据(10)所述的显示控制设备，其中，
当所述设备状态指示显示对象存在的位置时，所述输出控制单元控制所述输出单元，使得至少在不存在所述显示对象的位置处显示所述操作对象。
(13)根据(1)至(12)中任一项所述的显示控制设备，包括：
应用状态检测单元，其被配置成检测所述一个应用或所述多个应用中的每个应用的状态作为应用状态，其中，
所述应用选择单元基于所述应用状态来选择所述作为操作目标的应用。
(14)根据(13)所述的显示控制设备，其中，
所述应用状态包括以下中的至少任一个：指示对应用的操作是否必要的信息、对所述应用的操作变为必要的时间、从开始执行所述应用起经过的时间、在对所述应用的最终操作之后经过的时间、以及所述用户和与所述应用相关联的显示对象之间的距离。
(15)根据(1)所述的显示控制设备，其中，
所述动作检测单元根据从所述用户发出的声音检测字符串，并且
所述应用选择单元将与所述字符串匹配或类似的应用识别信息所标识的应用选择为所述作为操作目标的应用。
(16)根据(1)至(15)中任一项所述的显示控制设备，其中，
所述动作检测单元检测所述用户的视线，并且
所述应用选择单元将与存在于所述视线上的显示对象相关联的应用选择为所述作为操作目标的应用。
(17)根据(3)所述的显示控制设备，其中，
所述输出单元分别存在于多个设备中，并且
所述输出控制单元控制所述设备，使得所述操作对象由与所述用户的位置对应的设备来显示。
(18)根据(2)所述的显示控制设备，其中，
所述输出控制单元控制所述输出单元，使得与所述作为操作目标的应用相关联的显示对象被移动至与所述用户的位置对应的位置。
(19)一种显示控制方法，包括：
控制输出单元以显示与一个应用或多个应用中的每个应用相关联的显示对象；
检测用户的手指指向方向；以及
基于与所述一个应用或所述多个应用中的每个应用相关联的显示对象以及所述手指指向方向来选择作为操作目标的应用。
(20)一种用于使计算机用作显示控制设备的程序，所述显示控制设备包括：
输出控制单元，其被配置成控制输出单元以显示与一个应用或多个应用中的每个应用相关联的显示对象，
动作检测单元，其被配置成检测用户的手指指向方向，以及
应用选择单元，其被配置成基于与所述一个应用或所述多个应用中的每个应用相关联的显示对象以及所述手指指向方向来选择作为操作目标的应用。
附图标记列表
100 信息处理系统
110(110A、110B) 输入单元
120 显示控制设备(控制单元)
121 动作检测单元
122 设备状态检测单元
123 应用状态检测单元
124 应用选择单元
125 输出控制单元
130(130A、130B) 输出单元
140 桌子
G1 屏幕
A1至A3 显示对象
E1 操作对象

Claims (20)

1.一种显示控制设备，包括：
输出控制单元，其被配置成控制输出单元以显示分别与多个应用相关联的多个显示对象；
动作检测单元，其被配置成检测用户的手指指向方向；以及
应用选择单元，其被配置成基于分别与所述多个应用相关联的所述多个显示对象以及所述手指指向方向来选择作为操作目标的应用；
其中，所述输出控制单元响应于对作为所述操作目标的应用的选择而控制所述输出单元使得在显示分别与所述多个应用相关联的所述多个显示对象的同时显示与所述作为操作目标的应用相关联的操作对象；
所述输出单元包括第一输出单元和第二输出单元；并且
当所述输出控制单元确定从所述用户的位置至所述第二输出单元的距离比从所述用户的位置至所述第一输出单元的距离短时，所述输出控制单元控制所述输出单元，使得在所述第二输出单元上显示所述操作对象，而不在第一输出单元上显示所述操作对象。
2.根据权利要求1所述的显示控制设备，其中，
所述输出控制单元控制所述输出单元使得执行与所述作为操作目标的应用对应的预定操作。
3.根据权利要求1所述的显示控制设备，其中，当所述作为操作目标的应用是用于再现内容的应用时，所述操作对象被配置成用于开始再现所述内容、再现下一内容或再现先前内容。
4.根据权利要求1所述的显示控制设备，其中，
所述输出控制单元控制所述输出单元使得在与所述用户的位置对应的位置处显示所述操作对象。
5.根据权利要求1所述的显示控制设备，其中，
所述应用选择单元将与存在于以手指位置为基准的所述手指指向方向上的显示对象相关联的应用选择为所述作为操作目标的应用。
6.根据权利要求5所述的显示控制设备，其中，
所述应用选择单元将与存在于以所述手指位置为基准的所述手指指向方向上的多个显示对象中最接近于所述手指位置的显示对象相关联的应用选择为所述作为操作目标的应用。
7.根据权利要求5所述的显示控制设备，其中，
所述应用选择单元根据所述用户的预定操作，在存在于以所述手指位置为基准的所述手指指向方向上的多个显示对象之间切换所述作为操作目标的应用。
8.根据权利要求1所述的显示控制设备，包括：
设备状态检测单元，其被配置成检测所述显示控制设备的状态作为设备状态，其中，
所述应用选择单元基于所述设备状态来选择所述作为操作目标的应用。
9.根据权利要求8所述的显示控制设备，其中，
当所述设备状态指示未连接至网络时，所述应用选择单元将要求连接至网络的应用从所述作为操作目标的应用中排除。
10.根据权利要求1所述的显示控制设备，包括：
设备状态检测单元，其被配置成检测与所述输出单元对应的输入单元的状态作为设备状态，其中，
所述输出控制单元基于所述设备状态来控制所述操作对象的位置。
11.根据权利要求10所述的显示控制设备，其中，
所述输入单元分别存在于多个设备中，并且
当所述设备状态指示所述操作对于每个设备而言是否可接收时，所述输出控制单元控制所述设备，使得由与能够接收所述操作的设备对应的输出单元来显示所述操作对象。
12.根据权利要求10所述的显示控制设备，其中，
当所述设备状态指示显示对象存在的位置时，所述输出控制单元控制所述输出单元，使得至少在不存在所述显示对象的位置处显示所述操作对象。
13.根据权利要求1所述的显示控制设备，包括：
应用状态检测单元，其被配置成检测所述多个应用中的每个应用的状态作为应用状态，其中，
所述应用选择单元基于所述应用状态来选择所述作为操作目标的应用。
14.根据权利要求13所述的显示控制设备，其中，
所述应用状态包括以下中的至少任一个：指示对应用的操作是否必要的信息，对所述应用的操作变为必要的时间，从开始执行所述应用起经过的时间，在对所述应用的最终操作之后经过的时间，以及所述用户和与所述应用相关联的显示对象之间的距离。
15.根据权利要求1所述的显示控制设备，其中，
所述动作检测单元根据从所述用户发出的声音检测字符串，并且
所述应用选择单元将与所述字符串匹配的应用识别信息所标识的应用选择为所述作为操作目标的应用。
16.根据权利要求1所述的显示控制设备，其中，
所述动作检测单元检测所述用户的视线，并且
所述应用选择单元将与存在于所述视线上的显示对象相关联的应用选择为所述作为操作目标的应用。
17.根据权利要求1所述的显示控制设备，其中，
所述输出单元分别存在于多个设备中，并且
所述输出控制单元控制所述设备，使得所述操作对象由与所述用户的位置对应的设备来显示。
18.根据权利要求2所述的显示控制设备，其中，
所述输出控制单元控制所述输出单元，使得与所述作为操作目标的应用相关联的显示对象被移动至与所述用户的位置对应的位置。
19.一种显示控制方法，包括：
控制输出单元以显示分别与多个应用相关联的多个显示对象；
检测用户的手指指向方向；
基于分别与所述多个应用相关联的所述多个显示对象以及所述手指指向方向来选择作为操作目标的应用；以及
响应于对作为所述操作目标的应用的选择而控制所述输出单元以在显示分别与所述多个应用相关联的所述多个显示对象的同时显示与所述作为操作目标的应用相关联的操作对象；
其中，所述输出单元包括第一输出单元和第二输出单元；并且
当确定从所述用户的位置至所述第二输出单元的距离比从所述用户的位置至所述第一输出单元的距离短时，在所述第二输出单元上显示所述操作对象，而不在第一输出单元上显示所述操作对象。
20.一种存储程序的存储设备，所述程序用于使计算机用作显示控制设备，所述显示控制设备包括：
输出控制单元，其被配置成控制输出单元以显示分别与多个应用相关联的多个显示对象，
动作检测单元，其被配置成检测用户的手指指向方向，以及
应用选择单元，其被配置成基于分别与所述多个应用相关联的所述多个显示对象以及所述手指指向方向来选择作为操作目标的应用；
其中，所述输出控制单元还被配置成响应于对作为所述操作目标的应用的选择而控制所述输出单元使得显示分别与所述多个应用相关联的所述多个显示对象的同时显示与所述作为操作目标的应用相关联的操作对象；
所述输出单元包括第一输出单元和第二输出单元；并且
当所述输出控制单元确定从所述用户的位置至所述第二输出单元的距离比从所述用户的位置至所述第一输出单元的距离短时，所述输出控制单元控制所述输出单元，使得在所述第二输出单元上显示所述操作对象，而不在第一输出单元上显示所述操作对象。
CN201580032590.9A 2014-06-25 2015-05-12 显示控制设备、显示控制方法以及程序 Expired - Fee Related CN106462251B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014129899 2014-06-25
JP2014-129899 2014-06-25
PCT/JP2015/063652 WO2015198729A1 (ja) 2014-06-25 2015-05-12 表示制御装置、表示制御方法およびプログラム

Publications (2)

Publication Number Publication Date
CN106462251A CN106462251A (zh) 2017-02-22
CN106462251B true CN106462251B (zh) 2020-09-08

Family

ID=54937827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580032590.9A Expired - Fee Related CN106462251B (zh) 2014-06-25 2015-05-12 显示控制设备、显示控制方法以及程序

Country Status (5)

Country Link
US (1) US10684707B2 (zh)
EP (1) EP3163403A4 (zh)
JP (1) JP6575518B2 (zh)
CN (1) CN106462251B (zh)
WO (1) WO2015198729A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112017005980T5 (de) * 2016-11-25 2019-08-08 Sony Corporation Anzeigesteuervorrichtung, anzeigesteuerverfahren und computerprogramm
JP2021141346A (ja) * 2018-05-31 2021-09-16 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
KR102621236B1 (ko) 2018-11-07 2024-01-08 삼성전자주식회사 디스플레이장치 및 그 제어방법
WO2021059479A1 (ja) * 2019-09-27 2021-04-01 三菱電機株式会社 操作対象物を操作可能範囲内に表示する表示制御装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101796474A (zh) * 2007-09-04 2010-08-04 佳能株式会社 图像投影设备及其控制方法
JP2011081480A (ja) * 2009-10-05 2011-04-21 Seiko Epson Corp 画像入力システム
CN102890606A (zh) * 2011-07-19 2013-01-23 索尼公司 信息处理装置、信息处理方法及程序
JP2014014037A (ja) * 2012-07-05 2014-01-23 Nissan Motor Co Ltd アプリケーション実行端末判定装置及びアプリケーション実行端末判定方法
WO2014050625A1 (ja) * 2012-09-26 2014-04-03 京セラ株式会社 情報端末および音声操作方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091326A (ja) 1996-09-13 1998-04-10 Yoshiro Nakamatsu アクセス容易コンピュータ
US7633483B2 (en) * 2006-06-27 2009-12-15 Microsoft Corporation Display extension using terminal clients
JP5238635B2 (ja) 2009-07-29 2013-07-17 京セラ株式会社 情報処理装置及びアプリケーションプログラムの起動方法
JP5102412B1 (ja) * 2011-12-27 2012-12-19 パナソニック株式会社 情報端末、情報端末の制御方法、及び、プログラム
JP5945417B2 (ja) * 2012-01-06 2016-07-05 京セラ株式会社 電子機器
US9213436B2 (en) * 2012-06-20 2015-12-15 Amazon Technologies, Inc. Fingertip location for gesture input
US20140123077A1 (en) * 2012-10-29 2014-05-01 Intel Corporation System and method for user interaction and control of electronic devices
KR102057629B1 (ko) * 2013-02-19 2020-01-22 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR102089447B1 (ko) * 2013-06-04 2020-03-16 삼성전자 주식회사 전자 기기 및 그의 애플리케이션 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101796474A (zh) * 2007-09-04 2010-08-04 佳能株式会社 图像投影设备及其控制方法
JP2011081480A (ja) * 2009-10-05 2011-04-21 Seiko Epson Corp 画像入力システム
CN102890606A (zh) * 2011-07-19 2013-01-23 索尼公司 信息处理装置、信息处理方法及程序
JP2014014037A (ja) * 2012-07-05 2014-01-23 Nissan Motor Co Ltd アプリケーション実行端末判定装置及びアプリケーション実行端末判定方法
WO2014050625A1 (ja) * 2012-09-26 2014-04-03 京セラ株式会社 情報端末および音声操作方法

Also Published As

Publication number Publication date
WO2015198729A1 (ja) 2015-12-30
JPWO2015198729A1 (ja) 2017-04-20
US20170205899A1 (en) 2017-07-20
CN106462251A (zh) 2017-02-22
EP3163403A4 (en) 2018-02-28
US10684707B2 (en) 2020-06-16
JP6575518B2 (ja) 2019-09-18
EP3163403A1 (en) 2017-05-03

Similar Documents

Publication Publication Date Title
JP6635049B2 (ja) 情報処理装置、情報処理方法およびプログラム
US10572073B2 (en) Information processing device, information processing method, and program
EP2832107B1 (en) Information processing apparatus, information processing method, and program
KR20170088675A (ko) 사용자 단말 장치 및 그 제어 방법
US11373650B2 (en) Information processing device and information processing method
CN106462251B (zh) 显示控制设备、显示控制方法以及程序
CN107430856B (zh) 信息处理系统和信息处理方法
WO2017030193A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2016152200A1 (ja) 情報処理システムおよび情報処理方法
EP3528024A1 (en) Information processing device, information processing method, and program
CN107148614B (zh) 信息处理设备、信息处理方法和程序
CN113269877B (zh) 获取房间布局平面图的方法和电子设备
JP2016109726A (ja) 情報処理装置、情報処理方法およびプログラム
US10719147B2 (en) Display apparatus and control method thereof
CN110213205B (zh) 验证方法、装置及设备
US10545716B2 (en) Information processing device, information processing method, and program
JP2016156877A (ja) 情報処理装置、情報処理方法およびプログラム
JP5279930B1 (ja) サーバ、電子機器、サーバの制御方法、サーバの制御プログラム
US20200342229A1 (en) Information processing device, information processing method, and program
JP2016170584A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200908