CN117795460A - 信息处理系统及控制方法 - Google Patents

信息处理系统及控制方法 Download PDF

Info

Publication number
CN117795460A
CN117795460A CN202280054372.5A CN202280054372A CN117795460A CN 117795460 A CN117795460 A CN 117795460A CN 202280054372 A CN202280054372 A CN 202280054372A CN 117795460 A CN117795460 A CN 117795460A
Authority
CN
China
Prior art keywords
gesture
gui
display
icon
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280054372.5A
Other languages
English (en)
Inventor
前田将希
松泽刚
酒井士文
大野惠里佳
中岛洋平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN117795460A publication Critical patent/CN117795460A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技术涉及能够更容易地执行基于手势的操作的信息处理系统和控制方法。根据本技术的一个方面的信息处理系统：检测用户的动作；基于对由用户执行的第一手势的检测，显示与采用手势的操作有关的GUI；基于跟随第一手势之后执行的第二手势，识别在GUI上呈现的操作；并且执行与所识别的操作相对应的控制命令。本技术可应用于相机设备连接到的TV的操作。

Description

信息处理系统及控制方法
技术领域
本技术涉及信息处理系统和控制方法，并且更具体地，涉及能够更容易地执行基于手势的操作的信息处理系统和控制方法。
背景技术
在诸如TV和音频设备的各种设备中存在能够使用手势执行操作的设备。例如，通过基于由相机捕获并获得的图像识别用户手的移动轨迹并将所识别的手移动的轨迹与预先记录的轨迹进行比较来执行手势的识别。
专利文献1公开了基于用户的手指尖的位置和姿势的改变来操作屏幕上的光标的技术。
引用列表
专利文献
专利文献1：日本专利申请公开号2013-205983
发明内容
本发明要解决的问题
在准备许多手势作为用于操作特定设备的手势的情况下，需要用户记忆操作所需的所有手势。
鉴于这种情况已经构思了本技术，并且本技术能够更容易地执行基于手势的操作。
问题的解决方案
根据本技术的一个方面的信息处理系统包括：检测单元，检测用户的动作；显示处理单元，基于对由用户做出的第一手势的检测，使得显示与使用手势的操作相关的GUI；以及控制单元，基于在第一手势之后做出的第二手势来识别在GUI上呈现的操作，并且执行与所识别的操作对应的控制命令。
根据本技术的一个方面，检测用户的动作，基于对由用户做出的第一手势的检测，显示与使用手势的操作相关的GUI，基于在第一手势之后做出的第二手势来识别在GUI上呈现的操作，并且执行与所识别的操作对应的控制命令。
附图说明
[图1]是示出应用本技术的信息处理系统中的示例性操作的示图。
[图2]是手势GUI的放大视图。
[图3]是示出示例性基于手势的操作的示图。
[图4]是示出在广播波观看期间的示例性两步手势的示图。
[图5]是示出在记录内容观看期间的示例性两步手势的示图。
[图6]是示出信息处理系统的配置示例的框图。
[图7]是用于说明信息处理系统的处理的流程图。
[图8]是示出手势GUI的示例性显示的示图。
[图9]是示出手势GUI的另一示例性显示的示图。
[图10]是示出手移动的轨迹的示例性呈现的示图。
[图11]是示出手移动方向的示例性呈现的示图。
[图12]是示出识别区域的边界的示例性显示的示图。
[图13]是示出识别区域的边界的另一示例性显示的示图。
[图14]是示出了跨多个识别区域的示例性手势的示图。
[图15]是示出手势GUI的示例性显示位置的示图。
[图16]是示出手势GUI的另一示例性显示位置的示图。
[图17]是示出手势GUI的显示大小的示例性改变的示图。
[图18]是示出手势GUI的显示大小的示例性改变的示图。
[图19]是示出外部设备的示例性控制的示图。
[图20]是示出节目指南的示例性显示的示图。
[图21]是示出手势菜单的显示位置的示例性控制的示图。
[图22]是示出示例性视频预览显示的示图。
[图23]是示出正在被识别的手势的示例性呈现的示图。
[图24]是示出正在被识别的手势的示例性呈现的示图。
[图25]是示出TV的硬件配置实例的框图。
具体实施方式
在下文中，将描述用于执行本技术的模式。将按照以下顺序给出描述。
1.使用两步手势的操作
2.信息处理系统的配置
3.信息处理系统的操作
4.手势GUI的第一显示示例(手图标的显示)
5.手势GUI的第二显示示例(手移动的轨迹的呈现)
6.手势GUI的第三显示示例(识别区域的边界的显示)
7.手势GUI的第四显示示例(连续动作)
8.手势GUI的第五显示示例(显示位置控制)
9.手势GUI的第六显示示例(显示尺寸控制)
10.手势GUI的第七显示示例(外部设备控制)
11.手势GUI的第八显示示例(手势菜单显示位置的控制)
12.手势GUI的第九显示示例(视频预览显示)
13.手势GUI的第十显示示例(正在被识别的手势的显示)
14.TV的硬件配置示例
15.变形例
16.其他
<使用两步手势的操作>
图1是示出根据本技术的实施方式的信息处理系统中的示例性操作的示图。
根据本技术的实施方式的信息处理系统具有其中相机设备11与电视接收器(TV)1耦接的配置。相机设备11可被结合到TV 1的壳体中。
例如，TV 1前面的状态由相机设备11不断地成像。在观看内容的用户位于TV 1前面的情况下，基于所捕获的图像，通过相机设备11检测用户的动作。
此外，在用户使用诸如手或手臂的部位做出手势的情况下，指示手势的识别结果的信息从相机设备11被提供给TV 1。相机设备11具有识别用户的手势的功能。
TV 1除了具有接收广播波并显示广播内容的视频的功能，还具有显示各种内容视频的功能，诸如，通过诸如硬盘记录器的记录设备(未示出)再现的记录内容视频、以及在互联网上的分发服务中分发的内容视频。
在图1的左侧的示例中，在TV 1的显示器上显示视频P1(视频P1是某个频道的广播内容的视频)。
在这种状态下，用户朝向TV 1(相机设备11)张开的手H并且做出保持张开的手的手势的情况下，手势图形用户界面(Graphic User Interface，GUI)#1以叠加在视频P1上的状态显示在TV 1的显示器上，如图1的右侧所示。手势GUI#1是向用户呈现接下来可以通过哪种手势执行哪种操作的GUI。通过手势GUI#1呈现与TV 1的操作相关的手势。
用户能够通过做出张开的手的手势(其是特定手势)来显示手势GUI#1。张开的手的手势用作用于显示手势GUI#1的起始点的手势并且通过下一个手势执行设备操作。
在下文中，用于显示手势GUI#1并且通过下一个手势执行设备操作的起始点的手势将视情况被称为起始点手势。
图2是手势GUI#1的放大视图。
如图2所示，手势GUI#1包括手势菜单#1-1和手势菜单#1-2。基本上在屏幕的中心处大量显示的手势菜单#1-1表示包括圆形图像等的信息。在手势菜单#1-1下方显示的手势菜单#1-2表示包括小椭圆形图像等的信息。
例如，在设置了预定透明度的状态下显示手势菜单#1-1。根据每个位置的透明度，视频P1通过手势菜单#1-1出现。
在手势菜单#1-1的中心处显示手图标#11，手图标#11是指示起始点手势的圆形图标。作为包括在手图标#11中的手图像，可以使用手图示的图像，或者可以使用由相机设备11捕获的手H的图像。
手势菜单#1-1具有音量增大图标#21、音量减小图标#22、频道向下图标#23和频道向上图标#24被分别布置在作为中心的手图标#11的顶部、底部、左边和右边的配置。音量增大图标#21和音量减小图标#22线性地布置在以手图标#11作为中心的相反方向上的位置处。频道向下图标#23和频道向上图标#24被线性地布置在以手图标#11作为中心的相反方向上的位置处。
音量增大图标#21至频道向上图标#24是指示设备操作(命令)的内容的命令图标。音量增大图标#21是指示音量增大操作的命令图标。音量减小图标#22是指示音量减小的操作的命令图标。频道向下降图标#23是指示频道向下的操作的命令图标。频道向上图标#24是指示频道向上的操作的命令图标。在每个命令图标下显示指示操作内容的字符。
手势菜单#1-1通过命令图标的布置位置指示手应沿哪个方向移动以执行由各个命令图标指示的操作。
手势菜单#1-2包括指示拳头的手势的手图标和电源关闭的字符。手势菜单#1-2指示TV 1的电源能够通过执行的拳头手势被关闭。
图3是示出了示例性基于手势的操作的示图。
在显示具有如上所述配置的手势GUI#1的状态下，用户做出跟随起始点手势向右移动手H的手势的情况下，TV 1接受如图3的右侧所示的频道向上操作。在TV 1的显示器上，代替视频P1显示视频P2，该视频P2是在频道向上之后在频道上广播的内容的视频。
在手势菜单#1-1中，布置在手图标#11的右侧的命令图标是频道向上图标#24。TV1根据在起点手势之后做出向右移动手H的手势的事实识别布置在手图标#11的右侧的命令图标是频道向上图标#24。此外，执行与频道向上操作相对应的控制命令，以执行频道向上。用于执行与由单独命令图标指示的操作相应的处理的控制命令与单独命令图标相关联。
尽管在图3的示例中手势GUI#1的显示在频道向上之后消失，但是手势GUI#1的显示在频道向上之后可以显示某个时间段。
如上所述，在信息处理系统中，诸如TV 1的设备通过使用(诸如张开的手用作起始点手势的)第一阶段手势(第一手势)和跟随起始点手势的第二阶段手势(第二手势)的两步手势来操作。如稍后将描述的，也可以通过两步手势操作除TV 1以外的设备。
根据要控制的TV 1的状态来切换使用两步手势的操作的类型。例如，可根据在TV1中运行的应用切换可使用两步手势选择的操作类型。
图4是示出在广播波观看期间的两步手势的示例的示图。
在广播波观看期间(在广播内容观看期间)的操作与上述操作相同。即，如在图4的A中所示，通过用作起始点手势的张开的手手势显示手势GUI#1。
此外，如图4的B所示，跟随起始点手势，手握紧以做出拳头手势，从而接受电源关闭操作。根据拳头手势(其中移动手指的方式与用作起始点手势的张开的手手势的方式不同)接受电源关闭操作。
如图4的C中所示，跟随起始点手势，手向上、向下、向左和向右移动，从而分别接受音量增大操作、音量减小操作、频道向下操作和频道向上操作。
图5是示出在记录内容观看过程中的两步手势的示例的示图。
如图5的A所示，手势GUI#1通过用作起始点手势的张开的手手势以与图4的A相似的方式显示。
此外，如图5的B所示，跟随起始点手势，手做出拳头手势，由此以类似于图4的B的方式接受电源关闭操作。
如图5的C中所示，跟随起始点手势，手向上、向下、向左和向右移动，从而分别接受音量增大操作、音量减小操作、暂停操作和播放操作。
例如，在做出不包括在由手势GUI#1呈现的手势中的手势(不同于由手势GUI#1呈现的手势的手势)的情况下，手势GUI#1的显示结束。
以这种方式，使用从起始点手势开始的两步手势(即，一个特定手势)执行根据TV1的状态的各种操作。
因为手势GUI#1呈现将做出哪个手势以执行哪个操作，所以用户能够仅通过执行起始点手势检查下一个手势。即，用户不需要记忆要做出哪个手势以执行哪个操作，并且能够容易地操作诸如TV 1的设备。
稍后将描述TV 1响应于基于两步手势的用户操作的一系列处理。
<信息处理系统的配置>
图6是示出信息处理系统的配置示例的框图。
相机设备11包括图像获取单元31和手势识别单元32。
图像获取单元31包括图像传感器等。图像获取单元31对TV 1前面的状态进行成像。在用户在TV 1前面的情况下，获得反映用户的图像。包括图像获取单元31的相机设备11用作检测用户的动作的检测单元。
由图像获取单元31捕获的图像被输出至手势识别单元32。诸如飞行时间(ToF)传感器的其他传感器可以代替图像传感器或与图像传感器一起设置在相机设备11中。
手势识别单元32基于从图像获取单元31提供的图像识别用户的手势。手势识别可以基于图像分析来执行，或者可以使用由机器学习生成的推断模型来执行。在后一种情况下，在手势识别单元32中准备具有反映人的图像作为输入并且手势识别结果作为输出的推断模型。
指示手势识别单元32的识别结果的信息被传输至TV 1。将被发送到TV 1的信息包括指示由用户做出的手势的类型的信息。注意，手势识别单元32可以设置在TV 1中，并且在这种情况下，相机设备11将由图像获取单元31获取的图像传输至TV 1。
TV 1包括感测数据获取应用程序51和手势应用程序52。通过TV 1的CPU执行感测数据获取应用程序51和手势应用程序52，从而实现各个功能单元。
感测数据获取应用程序51获得指示从照相机设备11发送的手势识别结果的信息作为传感器数据。由感测数据获取应用程序51获得的信息被输出至手势应用程序52。
执行手势应用程序52，从而实现显示处理单元52A和操作控制单元52B。
显示处理单元52A基于从感测数据获取应用程序51提供的信息控制手势GUI的显示。如上所述，显示处理单元52A响应于执行起始点手势而显示手势GUI。与显示的手势GUI的配置有关的信息等从显示处理单元52A提供至操作控制单元52B。
操作控制单元52B基于从感测数据获取应用程序51提供的信息识别通过第二阶段手势选择的操作。操作控制单元52B通过执行与由第二阶段手势选择的操作相对应的控制命令来控制TV 1的每个单元的操作。在操作控制单元52B的控制下执行上述音量调整和频道切换等操作。操作控制单元52B用作控制TV 1的每个单元的操作的控制单元。
<信息处理系统的操作>
在此，参照图7的流程图，描述TV 1的控制处理。
在步骤S1中，相机设备11的手势识别单元32响应于用户做出的特定手势来识别起始点手势。例如，在观看内容时，将反映用户的图像从图像获取单元31连续提供至手势识别单元32。
在步骤S2中，手势识别单元32将识别结果传输至TV 1。
在步骤S3中，TV 1的显示处理单元52A响应于执行起始点手势而使显示器显示手势GUI。
在步骤S4中，相机设备11的手势识别单元32识别在开始点手势之后执行的第二阶段手势。
在步骤S5中，手势识别单元32将识别结果传输至TV 1。
在步骤S6中，TV 1的显示处理单元52A在手势GUI#1的显示器上反映第二阶段手势的识别结果。手势GUI#1的显示根据第二阶段手势适当地切换，如稍后将描述的。
在步骤S7中，操作控制单元52B基于第二阶段手势识别对由用户选择的手势GUI#1的操作。操作控制单元52B执行与识别的操作相应的控制命令，以控制TV 1。
根据上述过程，使得用户能够使用两步手势容易地操作TV 1。
虽然在上面的描述中用作起始点手势的手势已被假定为张开的手手势，但是使用手的其他手势(诸如拳头手势或竖起一个手指的手势)可以被设置为起始点手势。除了使用一只手，使用两只手的手势也可被设置为起始点手势。
代替手，使用其他部位的手势(诸如，使用手臂的手势或者使用头部的手势)可被设置为起始点手势。
除了使用一个部位，使用多个部位的手势也可被设置为起始点手势。例如，通过组合使用手的张开的手手势和朝向TV 1转动面部的手势而获得的手势可被设置为起始点手势。利用该配置，在不面对TV 1的人意外地执行张开的手操作的情况下，能够抑制起点手势的错误识别。
<手势GUI#1的第一显示示例(手图标的显示)>
图8是示出手势GUI#1的示例性显示的示图。
在图8的左侧示出的状态指示其中用户做出起始点手势并且手势GUI#1被显示在TV 1的显示器上的状态。在图8中，省略了手势菜单#1-2的图示。以类似的方式示出了示出手势GUI#1的显示的后续示图。
在这种状态下，用户做出向右移动手H的手势作为第二阶段手势的情况下，手图标#11如图8的中心所示向右移动。手图标#11在与第二阶段手势相同的方向上移动并且在开始点手势之后执行的第二阶段手势的移动之后被显示。
当手图标#11移动到频道向上图标#24的位置时，如图8的右侧所示，放大并显示所选择的频道向上图标#24。此后，执行与频道向上操作对应的处理。
所选择的命令图标的放大显示允许用户检查他/她的手势如何被识别。
图9是示出手势GUI#1的另一示例性显示的示图。
在图9中示出的手势GUI#1中，在手图标#11不移动的情况下，所选择的命令图标被放大和显示。
在图9的左侧示出的状态与在图8的左侧示出的状态相同。通过由用户执行的起始点手势，在TV 1的显示器上显示手势GUI#1。
在这样的状态下，用户做出向右移动手H的手势作为第二阶段手势的情况下，所选择的频道向上图标#24逐渐放大并显示，如在图9的中心处所示。
当确认选择时，如图9的右侧所示，频道向上图标#24放大显示，然后执行与频道向上操作对应的处理。
作为用于强调显示所选择的命令图标的方法，可以使用除了放大显示之外的方法。例如，可以使用诸如移动到显示中心、命令图标的外周边的边界或命令图标的颜色变化的方法作为用于强调显示的方法。
<手势GUI#1的第二显示示例(手移动的轨迹的呈现)>
图10是示出了手移动的轨迹的示例性呈现的示图。
在显示手势GUI#1的状态下，在如图10中的空心箭头所指示的用户做出在右上方向上移动手H的手势的情况下，手图标#11跟随手H的移动而移动，并且显示指示手H的移动的轨迹的箭头图像A1。手图标#11不可从手势GUI#1的中心移动，并且仅可显示指示手H的移动轨迹的箭头图像A1。
可以呈现用户的手H朝向哪个命令图标移动，而不是呈现用户的手H的实际移动的轨迹。
图11是示出手移动方向的示例性呈现的示图。
在显示手势GUI#1的状态下用户做出如图11中的开放箭头所指示的在右上方向上移动手H的手势的情况下，箭头图像A2指示手H朝向哪个命令图标移动的识别结果。在图11的示例中，指示向上方向上朝向音量增大图标#21的方向的箭头图像被显示为箭头图像A2。可以显示指示手H的移动轨迹的箭头图像A1和指示手H的移动方向的箭头图像A2两者。
此外，用户的手势可被识别为第二阶段手势，并且可显示指示需要多少更多的移动来移动到确定对命令图标的选择的位置或时间的信息。在图11中，直到确定命令图标的选择的移动量或移动时间由箭头图像A2的边缘的颜色表示。通过手H移动直到箭头图像A2的所有边缘颜色改变，确定命令图标的选择以执行控制命令。
<手势GUI#1的第三显示示例(识别区域的边界的显示)>
图12是示出识别区域的边界的示例性显示的示图。
如图12所示，分配给各个操作的区域的边界可显示在GUI#1上。
在这种情况下，除了将手H朝向命令图标移动的手势，将手H沿分配给操作的区域的方向移动的手势也被识别为第二阶段手势。分配给各个操作的区域用作用于选择各个操作的第二阶段手势的识别区域。可以在GUI#1上不显示的情况下内部地设置识别区域的边界。
图13是示出识别区域的边界的另一示例性显示的示图。
如图13所示，可以不同颜色显示各个操作的识别区域(用于选择各个操作的第二阶段手势的识别区域)。在图13中，各个操作的识别区域添加不同的阴影线以表示它们以不同的颜色显示。可使用半透明颜色显示每个识别区域，或者可使用不透明颜色显示每个识别区域。
可以准备非识别区域。非识别区域是即使做出第二阶段手势也不接受操作选择的区域。各个区域的功能可以以灰度表示，使得例如非识别区域以深黑色显示并且识别区域以浅黑色显示。
在手图标#11如上所述移动的情况下，即使手图标#11在非识别区域中移动，也不接受操作选择。当手图标#11移动到以浅黑色显示的识别区域中时，接受操作选择。
<手势GUI#1(连续动作)的第四显示示例>
图14是示出了跨多个识别区域的示例性手势的示图。
在图14的示例中，跟随用户的手的移动，移动和显示手图标#11。手图标#11可以不移动。如图14中的开放箭头所示，在用户向上移动手H并在音量增大操作的识别区域中向右移动手H以朝向频道向上操作的识别区域做出手势的情况下，接受最终选择的频道向上操作。在做出在多个识别区域上移动手图标#11的手势的情况下，接受最终选择的识别区域的操作。识别区域可以延伸到手势GUI#1外部的区域。
可以设置直到操作选择被接受的时间。例如，测量从手H的移动开始的时间、手H停留在识别区域中的时间等，并且当所测量的时间已经经过预定时间时接受操作选择。
此外，在手图标#11放置在特定操作的识别区域中的状态继续的情况下，可以重复执行与该操作相对应的控制命令。例如，在手图标#11移动到显示频道向上图标#24的识别区域的状态继续的情况下，与频道向上操作相对应的控制命令被执行多次以重复频道向上。
在与起始点手势相同的张开的手状态被保持的同时做出第二阶段手势的情况下，当张开的手状态被释放时，手势GUI#1的显示可以消失。例如，根据TV 1的状态的控制可被执行以使得当做出拳头手势时TV 1的音量被静音，而不是使手势GUI#1的显示的消失。
<手势GUI#1的第五显示示例(显示位置控制)>
手势GUI#1可被显示在除了TV 1的显示器的中心之外的位置处。例如，手势GUI#1可以显示在显示器上的与手H被握持的位置对应的位置处或者与视频中反映的对象的位置对应的位置处。
图15是示出了手势GUI#1的示例性显示位置的示图。
在图15的示例中，响应于用户将手H握持在显示器的右侧之上做出的起始点手势，手势GUI#1被显示在反映为对象01的人之外的位置处。
利用该配置，用户能够根据在TV 1上显示的视频的内容改变手势GUI#1的显示位置。
具有不同尺寸的手势GUI#1可根据与用户的距离或者与用户做出起始点手势所使用的手H的距离而显示。在这种情况下，例如，相机设备11配备有基于通过成像获得的图像来测量到物体的距离的功能。
图16是示出了手势GUI#1的另一示例性显示位置的示图。
在图16的示例中，显示视频，在该视频中，作为对象01的人出现在左侧，作为对象02的建筑物出现在右侧。字幕被显示在视频的右下方。
在这种情况下，如图16所示，手势GUI#1被显示为不与(作为重要对象的)对象01的至少一部分和字幕的显示重叠。例如，为每个对象设置重要性级别。基于为每个对象设置的重要性级别，确定手势GUI#1的显示位置不与具有较高重要性级别的对象重叠。
手势GUI#1的颜色可改变为对应于重叠并显示手势GUI#1的背景的颜色。此时，可以使用考虑到无障碍性的颜色。
可使得用户能够设置手势GUI#1的显示位置和大小以符合对象的大小。
<手势GUI#1的第六显示示例(显示尺寸控制)>
手势GUI#1的大小可以根据距用户的距离或者距由用户用来做出起始点手势的手H的距离而改变。
图17和图18是示出手势GUI#1的显示大小的示例性改变的示图。
如图17所示，当手H接近TV 1时，手势GUI#1被缩小并且显示。另一方面，如图18所示，随着手H远离TV 1移动，手势GUI#1被放大和显示。
随着手H接近TV 1，手势GUI#1可以更大，并且随着手H远离TV1移动，手势GUI#1可以更小。
可通过执行利用手H推动命令图标的手势或者通过执行利用手H抓住命令图标的手势来选择命令图标。此外，命令图标的数量和类型可响应于手H在深度方向上的移动(诸如用于接近或远离TV 1的手H的移动)而改变。
<手势GUI#1的第七显示示例(外部设备控制)>
图19是示出外部设备的示例性控制的示图。
在图19的示例中，显示手势GUI#1，其中，命令图标#31布置在左侧并且命令图标#32布置在右侧。命令图标#31是被操作以显示电子节目指南(EPG)的命令图标。命令图标#32是被操作以显示与外部设备的操作有关的菜单的命令图标。使用手势GUI#1执行诸如硬盘记录器的外部设备作为视频源的操作。
在显示具有这种配置的手势GUI#1的状态下，通过执行向右移动手H的手势来选择命令图标#32的情况下，手势菜单#1-3被显示在手势GUI#1的外部，如图19的右侧所示。
手势菜单#1-3是用于操作耦接到TV 1的外部设备的信息。在图19的示例中，在手势菜单#1-3中显示表示连接到高清晰度多媒体接口(HDMI)(注册商标)1、HDMI 2、和HDMI 3的三个输入的外部设备的图标。用户能够通过使用手势选择任何命令图标来切换TV 1的输入。
手势菜单#1-3可以被显示为叠加在手势GUI#1的上方而不是手势GUI#1的外部。
同时，在显示图19中的手势GUI#1的状态下通过执行向左移动手H的手势选择命令图标#31的情况下，显示器的显示切换至图20的右侧示出的显示。在图20的示例中，主要显示节目指南(EPG)，而不是手势GUI#1。
当选择特定命令图标时显示的诸如手势菜单或EPG的信息可以在与手势GUI#1上的命令图标的布置方向相同的方向上显示。可以显示其中布置指示诸如返回的另一操作的命令图标的手势菜单。
<手势GUI#1的第八显示示例(手势菜单显示位置的控制)>
图21是示出了手势菜单的显示位置的示例性控制的示图。
如在图21的左侧所示，将描述在用户选择布置在手势GUI#1的右侧的命令图标#32的情况下的手势菜单#1-3的显示。
在手势GUI#1显示在显示器的右端并且在手势GUI#1的右侧上没有用于显示手势菜单#1-3的空间的情况下，手势菜单#1-3沿着朝向存在显示空间的左侧的方向显示，如在图21的右上方示出的。
如在图21的右下部示出的，手势菜单#3-1可以显示为叠加在手势GUI#1上。手势GUI#1的显示可以消失，并且仅可以显示手势菜单#1-3。
<手势GUI#1的第九显示示例(视频预览显示)>
当选择指示外部设备的命令图标时，可以在手势GUI#1上预览从外部设备的视频输出。
图22是示出示例性视频预览显示的示图。
在显示手势菜单#1-3的状态下选择指示连接到HDMI 1的外部设备的命令图标的情况下，如图22的右侧所示，显示从外部设备输出的视频的预览图像。气球中示出的图像指示从连接到HDMI 1的外部设备输出的视频的预览图像。
此外，代替视频预览显示，可以显示可以由与命令图标相对应的外部设备执行的一个或多个操作或者可以由TV 1指令到与命令图标相对应的外部设备的操作。TV 1可通过HDMI的消费者电子控制(consumerelectronics control，CEC)功能将选择的命令发送到外部设备。
在EPG上，可以显示正在广播的节目的视频的预览或将要在正在广播的节目上执行的操作。
<手势GUI#1的第十显示示例(正在被识别的手势的显示)>
正在被识别的手势可被呈现给用户。
图23是示出正在被识别的手势的示例性呈现的示图。
如图23的左侧所示，在做出将手H向右移动的手势的情况下，手图标#11跟随手H的移动向右移动，并且手H的移动的轨迹显示在屏幕的上侧。
此外，在屏幕的下侧显示指示哪个操作正在被识别的信息。在图23的示例中，响应于手H向右移动，显示用于选择频道向上操作的手势正在被识别。在手H的移动在这种状态下停止的情况下，接受频道向上操作。
响应于与开始点手势相同的张开的手手势，可以显示指示哪个操作正在被识别的信息。可以响应于执行与起始点手势不同的拳头手势等，或者可以根据遥控器的操作被显示，显示指示正在被识别的操作的信息。
在如图23的右侧所示的手H向右移动之后做出将手H向左下移动的手势的情况下，呈现正在被识别的手势的信息的显示被切换至指示正在被识别用于选择先前频道操作的手势的显示。要注意的是，在不存在与正在被识别的手势对应的操作的情况下，呈现与正在被识别的手势相似的有效手势正在被识别。
在用户跟随图23的右侧的状态移动手H以做出绘制星形的手势的情况下，如图24所示，确定最终输入的操作。在图24的示例中，显示EPG的操作被输入。最终输入的操作例如通过持续识别特定时间段或进行持续识别直到手移动量下降到特定阈值以下来确定。
可基于语音识别的结果确定最终输入的操作。例如，用户做出的诸如“键入(enter)”或者“OK”的预定字词的讲话确定正在被识别的操作为最终输入的操作。此时，可以接受预定词，而不接受用于激活语音识别的热词。
<TV的硬件配置示例>
图25是示出TV 1的硬件配置示例的框图。
在图25中示出的部件之中，上述部件由相同的参考标号表示。适当省略重复的描述。
调谐器71接收从天线(未示出)提供的广播电波信号或从卫星广播或有线TV机顶盒提供的广播电波信号，并且提取由用户选择的频道的信号。调谐器71对所提取的信号执行诸如模拟/数字(A/D)转换和解调的各种处理，并且将通过执行各种处理获得的程序(内容)数据输出至解码器72。
解码器72解码包括在节目数据中的视频流，并且将通过解码获得的每个图片的数据输出到信号处理单元73。此外，解码器72解码包括在节目数据中的音频流，并且将节目的音频数据输出至信号处理单元73。
在再现预定分配服务的内容的情况下，解码器72解码由通信单元81接收并且经由总线76提供的内容的视频流和音频流。解码器72将通过解码内容的视频流获得的每个图片的数据和通过解码音频流获得的音频数据输出至信号处理单元73。
信号处理单元73在CPU 77的控制下执行从解码器72中供应的每个图片的图像质量调整。信号处理单元73将图像质量调整之后的图片输出至显示器75，并且执行控制以显示节目或者内容的视频。
此外，信号处理单元73对从解码器72中供应的音频数据执行数字/模拟(D/A)转换等，并且执行控制以与视频同步地从扬声器74输出节目或者内容的声音。
显示器75包括液晶显示器(LCD)、有机EL显示器等。
中央处理单元(CPU)77、只读存储器(ROM)78和随机存取存储器(RAM)79通过总线76相互连接。CPU 77使用RAM 79执行记录在ROM 78或记录单元80中的程序，并且控制TV 1的整体操作。
记录单元80包括诸如硬盘驱动器(HDD)或固态驱动器(SSD)的记录介质。记录单元80记录各种类型的数据，诸如节目数据、内容、EPG数据和节目。
通信单元81是用于互联网的接口。
操作接口(I/F)单元82接收从外部发送的信息。此外，操作I/F单元82通过使用无线电波的无线通信与外部设备通信。
麦克风83检测用户的语音。
<变形例>
虽然信息处理系统已经被描述为包括TV 1和相机设备11，但是其可以包括配备有相机设备11的功能的TV 1。在这种情况下，信息处理系统仅由TV 1来实现。
配备有相机设备11的功能的TV 1配备有参考图6描述的图像获取单元31和手势识别单元32。信息处理系统可以包括多个容纳设备，或者可以包括一个容纳设备。
此外，手势识别、基于手势的操作识别或设备控制中的至少一个可由经由互联网连接到TV 1的服务器执行。信息处理系统可由互联网上的服务器实现，并且手势识别服务可由服务器提供。
-通过手语的操作输入
可以接受使用手语的操作输入。在这种情况下，例如，相机设备11具有识别手语的功能。在手语输入期间，正在输入的手语的内容作为字符串显示在屏幕上。使得用户能够在检查正在输入什么的同时继续输入。
利用该配置，即使不能大声讲话的用户或者讲话困难的用户也能够操作TV 1。
-通过手势绘制的轨迹(形状)的操作输入
响应于用户绘制诸如圆形、三角形、方形或星形的图形或者通过将这些图形与手势组合而获得的图形，可以接受基于轨迹识别结果的操作输入。
例如，通过绘制圆形图形来设置一个小时的定时器，并且通过绘制正方形图形来开始记录内容的再现。此外，通过绘制星形图将视频内容登记在喜爱列表中。
利用这种布置，甚至使孩子能够执行具有播放感的基于手势的操作。例如，通过绘制三角形图形来显示在分发服务中分发的内容的动画视频。
手势的种类有限，很多人很难通过手语等多种动作进行信息的传递。频繁使用的操作可以被登记为特殊手势。
-使用由手势绘制的图示的娱乐功能
具有与通过手势绘制的图形相同形状的对象可在TV 1的屏幕上移动并播放。通过使TV 1将对象与由相机设备11捕获的用户的状态一起显示，能够执行所谓的增强现实(AR)操作，其中，通过手来触摸由用户使用手势输入的对象。
通过实现伪AR体验，变得可以使用例如具有大显示器的TV作为娱乐设备。
-使用面部朝向检测的热词的音频输入
热词的使用被用于实现使用语音的操作输入。通过当面部朝向预定方向时使得能够输入热词，即使在热词短的情况下也能够抑制错误检测。
例如，在满足在面部朝向TV 1的状态下发出热词的条件的情况下，使得用户能够使用语音来操作TV 1。当用户的面部朝向TV 1时，持续接受使用语音的操作输入。利用这种设置，如果在连续操作TV 1等的情况下面部保持朝向TV 1，则可连续输入单独的操作，而无需每次都说出热词。
此外，当面部朝向TV 1定向时，可响应于预定单词的发言(诸如，“手势”)显示手势GUI。
为了抑制错误检测，长字通常被用作用于使用语音的操作的热字。通过使用更短的热词使能操作输入，可以更容易地操作TV 1。
-使用面部识别优化的手势输入
可通过面部识别来识别个体，且可将由用户预先指定的操作指派给手势。例如，基于手势的操作的类型与使用在云上的服务器中的面部识别的结果、账户等的用户相关联。与用户关联的手势还可以用于除TV 1以外的终端中。
即使老人或弱视用户能够使用与用户他/她自己相关联的手势使用缩放功能或大声阅读功能而不使用遥控器。缩放功能可以通过指示正在制造的放大镜的手势变得可用。
手势的期望值和操作类型根据用户而变化。此外，老人或弱视用户经常经历不便，诸如难以阅读TV上的字符或者难以找到遥控器的位置。
通过使用面部识别等，即使对于老人或弱视用户，也可以使TV 1更加用户友好。通过使得能够使用根据个人偏好的手势，即使在多个人使用TV 1的情况下，也能够使用单独不同的手势来操作同一TV 1。
<其他>
非旨在做出输入的手势(诸如在与相邻人谈话时做出的手势)可通过机器学习来学习。由此，能够抑制起点姿势的误检测。
当特定手势持续预定时间时，手势识别为起始点手势。利用该配置，也可以抑制起始点手势的错误检测。
响应于用户执行的特定手势，可以在屏幕上显示指示剩余时间的信息，该剩余时间关于保持手势多少秒以被识别为起始点手势。
为了抑制起始点手势的错误检测，可仅输入由面部朝向TV 1的人做出的手势。此外，可仅输入当前臂向上定向时所做出的手势和使用手在更靠近脸部的位置处做出的手势。
-程序
上述一系列处理可以由硬件执行或者可以由软件执行。在通过软件执行一系列处理的情况下，包括在软件中的程序从程序记录介质安装到包含在专用硬件中的计算机、通用个人计算机等中。
由计算机执行的程序可以是其中处理按照本说明书中描述的顺序以时间序列执行的程序，或者可以是其中处理并行或在必要定时(诸如当进行呼叫时)执行的程序。
在本说明书中，系统旨在意指一组多个部件(设备、模块(零件)等)，并且所有部件是否在同一壳体中无关紧要。因此，容纳在不同壳体中并且经由网络连接的多个设备，以及其中多个模块容纳在一个壳体中的一个设备都是系统。
应注意，在本说明书中描述的效果仅是示例并且不受限制，并且可以施加其他效果。
本技术的实施方式不限于上述实施方式，并且在不背离本技术的主旨的情况下，可以做出各种修改。
例如，本技术可以采用云计算的配置，其中，经由网络通过多个设备协作地共享和处理一个功能。
此外，在上述流程图中解释的每个步骤可以由一个设备执行，或者可以由多个设备以共享的方式执行。
此外，在一个步骤包括多个处理的情况下，包括在一个步骤中的多个处理可以由一个设备执行，或者可以由多个设备以共享的方式执行。
-示例性配置组合
本技术还可具有以下配置。
(1)一种信息处理系统，包括：
检测单元，检测用户的动作；
显示处理单元，基于对由用户做出的第一手势的检测，使得显示与使用手势的操作相关的GUI；以及
控制单元，基于在第一手势之后做出的第二手势来识别在GUI上呈现的操作，并且执行与所识别的操作对应的控制命令。
(2)根据上述(1)的信息处理系统，其中，
显示处理单元使得显示布置了与设备的操作内容相对应的多个命令图标的GUI。
(3)根据上述(2)的信息处理系统，其中，
显示处理单元使得显示包括第一命令图标和第二命令图标的GUI，第一命令图标是被布置在以参考位置为中心的第一方向上的位置处的命令图标，第二命令图标是被布置在与第一方向相反的第二方向上的位置处的命令图标，并且
控制单元接受朝向第一方向的动作或朝向第二方向的动作作为第二手势。
(4)根据上述(3)的信息处理系统，其中，
第一命令图标和第二命令图标以直线状布置。
(5)根据上述(2)至(4)中任一项所述的信息处理系统，其中，
显示处理单元使得在GUI上显示分配给由每个命令图标指示的操作的区域的边界。
(6)根据上述(2)至(5)中任一项所述的信息处理系统，其中，
控制单元响应于继用手进行的第一手势之后执行作为第二手势的沿预定方向移动手的动作来识别呈现在GUI上的操作。
(7)根据上述(6)的信息处理系统，其中，
控制单元识别与布置在与预定方向相同的方向上的命令图标对应的操作。
(8)根据上述(6)或(7)的信息处理系统，其中，
控制单元响应于作为第二手势执行的与在第一手势移动手指的方式不同的移动手指的方式的动作来识别呈现在GUI上的操作。
(9)根据上述(6)至(8)中任一项所述的信息处理系统，其中，
响应于做出第二手势，显示处理单元使得表示第一手势的图标在与预定方向相同的方向上移动。
(10)根据上述(6)至(9)中任一项所述的信息处理系统，其中，
显示处理单元通过指示表示第一手势的图标的移动轨迹的图像或者通过指示预定方向的图像来呈现第二手势做出的方向。
(11)根据上述(6)至(10)中任一项所述的信息处理系统，其中，
在保持手沿着预定方向移动的状态的情况下，控制单元重复地执行控制命令。
(12)根据上述(2)至(11)中任一项所述的信息处理系统，其中，
显示处理单元根据要控制的设备的状态切换包括在GUI中的命令图标的类型。
(13)根据上述(1)至(12)中任一项所述的信息处理系统，其中，
在GUI的显示期间执行与第二手势的不同的动作的情况下，显示处理单元终止GUI的显示。
(14)根据上述(1)至(13)中任一项所述的信息处理系统，其中，
显示处理单元根据叠加并显示GUI的视频的内容来切换GUI的显示位置。
(15)根据上述(2)至(14)中任一项所述的信息处理系统，其中，
显示处理单元根据距用于第一手势的用户的部位的距离来改变GUI的尺寸。
(16)根据上述(15)的信息处理系统，其中，
显示处理单元根据距部位的距离来切换包括在GUI中的命令图标的类型或命令图标的数量。
(17)根据上述(1)至(16)中任一项所述的信息处理系统，其中，
显示处理单元呈现正在被识别的第二手势。
(18)根据上述(2)至(17)中任一项所述的信息处理系统，其中，
在通过第二手势选择与用作视频源的外部设备的控制相关的命令图标的情况下，显示处理单元使得表示外部设备的图标与GUI一起显示。
(19)根据上述(18)的信息处理系统，其中，
显示处理单元使得外部设备输出的视频的预览图像或用于外部设备的指令命令与GUI一起显示。
(20)一种控制方法，用于使信息处理系统执行：
检测用户的动作；
基于对由用户做出的第一手势的检测，显示与使用手势的操作相关的GUI；以及
基于在第一手势之后做出的第二手势来识别在GUI上呈现的操作，并且执行与所识别的操作对应的控制命令。
附图标记列表
1TV
11相机设备
31图像获取单元
32手势识别单元
51感测数据采集应用
52手势应用程序
52A显示处理单元
52B操作控制单元。

Claims (20)

1.一种信息处理系统，包括：
检测单元，检测用户的动作；
显示处理单元，基于对由所述用户做出的第一手势的检测，使得显示与使用手势的操作相关的图形用户界面(GUI)；以及
控制单元，基于在所述第一手势之后做出的第二手势来识别在GUI上呈现的操作，并且执行与所识别的操作对应的控制命令。
2.根据权利要求1所述的信息处理系统，其中，
所述显示处理单元使得显示布置了与设备的操作内容相对应的多个命令图标的所述GUI。
3.根据权利要求2所述的信息处理系统，其中，
所述显示处理单元使得显示包括第一命令图标和第二命令图标的所述GUI，所述第一命令图标是被布置在以参考位置为中心的第一方向上的位置处的命令图标，所述第二命令图标是被布置在与所述第一方向相反的第二方向上的位置处的命令图标，并且
所述控制单元接受朝向所述第一方向的动作或朝向所述第二方向的动作作为所述第二手势。
4.根据权利要求3所述的信息处理系统，其中，
所述第一命令图标和所述第二命令图标以直线状布置。
5.根据权利要求2所述的信息处理系统，其中，
所述显示处理单元使得在所述GUI上显示分配给由每个命令图标指示的操作的区域的边界。
6.根据权利要求2所述的信息处理系统，其中，
所述控制单元响应于继用手进行的所述第一手势之后执行作为第二手势的沿预定方向移动手的动作来识别呈现在所述GUI上的操作。
7.根据权利要求6所述的信息处理系统，其中，
所述控制单元识别与布置在与所述预定方向相同的方向上的命令图标对应的操作。
8.根据权利要求6所述的信息处理系统，其中，
所述控制单元响应于作为所述第二手势执行的与在所述第一手势移动手指的方式不同的移动手指的方式的动作来识别呈现在所述GUI上的操作。
9.根据权利要求6所述的信息处理系统，其中，
响应于做出所述第二手势，所述显示处理单元使得表示所述第一手势的图标在与所述预定方向相同的方向上移动。
10.根据权利要求6所述的信息处理系统，其中，
所述显示处理单元通过指示表示所述第一手势的图标的移动轨迹的图像或者通过指示所述预定方向的图像来呈现所述第二手势做出的方向。
11.根据权利要求6所述的信息处理系统，其中，
在保持所述手沿着所述预定方向移动的状态的情况下，所述控制单元重复地执行所述控制命令。
12.根据权利要求2所述的信息处理系统，其中，
所述显示处理单元根据要控制的所述设备的状态切换包括在所述GUI中的所述命令图标的类型。
13.根据权利要求1所述的信息处理系统，其中，
在所述GUI的显示期间执行与所述第二手势的不同的动作的情况下，所述显示处理单元终止所述GUI的显示。
14.根据权利要求1所述的信息处理系统，其中，
所述显示处理单元根据叠加并显示所述GUI的视频的内容来切换所述GUI的显示位置。
15.根据权利要求2所述的信息处理系统，其中，
所述显示处理单元根据距用于所述第一手势的所述用户的部位的距离来改变所述GUI的尺寸。
16.根据权利要求15所述的信息处理系统，其中，
所述显示处理单元根据距所述部位的距离来切换包括在所述GUI中的所述命令图标的类型或所述命令图标的数量。
17.根据权利要求1所述的信息处理系统，其中，
所述显示处理单元呈现正在被识别的所述第二手势。
18.根据权利要求2所述的信息处理系统，其中，
在通过第二手势选择与用作视频源的外部设备的控制相关的所述命令图标的情况下，所述显示处理单元使得表示所述外部设备的图标与所述GUI一起显示。
19.根据权利要求18所述的信息处理系统，其中，
所述显示处理单元使得所述外部设备输出的视频的预览图像或用于所述外部设备的指令命令与所述GUI一起显示。
20.一种控制方法，用于使得信息处理系统执行：
检测用户的动作；
基于对由所述用户做出的第一手势的检测，显示与使用手势的操作相关的GUI；以及
基于在所述第一手势之后做出的第二手势来识别在所述GUI上呈现的操作，并且执行与所识别的操作对应的控制命令。
CN202280054372.5A 2021-08-10 2022-03-03 信息处理系统及控制方法 Pending CN117795460A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021130549 2021-08-10
JP2021-130549 2021-08-10
PCT/JP2022/009033 WO2023017628A1 (ja) 2021-08-10 2022-03-03 情報処理システム、制御方法

Publications (1)

Publication Number Publication Date
CN117795460A true CN117795460A (zh) 2024-03-29

Family

ID=85200072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280054372.5A Pending CN117795460A (zh) 2021-08-10 2022-03-03 信息处理系统及控制方法

Country Status (4)

Country Link
EP (1) EP4387244A1 (zh)
JP (1) JPWO2023017628A1 (zh)
CN (1) CN117795460A (zh)
WO (1) WO2023017628A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
JP2013205983A (ja) 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム

Also Published As

Publication number Publication date
EP4387244A1 (en) 2024-06-19
JPWO2023017628A1 (zh) 2023-02-16
WO2023017628A1 (ja) 2023-02-16

Similar Documents

Publication Publication Date Title
US10438058B2 (en) Information processing apparatus, information processing method, and program
US8704948B2 (en) Apparatus, systems and methods for presenting text identified in a video image
US20130278837A1 (en) Multi-Media Systems, Controllers and Methods for Controlling Display Devices
US20140368434A1 (en) Generation of text by way of a touchless interface
US20110216075A1 (en) Information processing apparatus and method, and program
KR20040015001A (ko) 스피치 및 제스처 제어에 기초한 픽처-인-픽처 재위치화및/또는 재사이즈화
CN106105247B (zh) 显示装置及其控制方法
JP2005509973A (ja) ジェスチャに基づくユーザインタフェース用の方法及び装置
CN114302190A (zh) 一种显示设备及画质调整方法
CN110855893A (zh) 一种视频拍摄的方法及电子设备
CN112333495B (zh) 焦点切换方法、显示设备及系统
CN112188249B (zh) 一种基于电子说明书的播放方法及显示设备
CN108962220A (zh) 多媒体文件播放场景下的文本显示方法及装置
WO2012050029A1 (ja) 電子機器及びその表示言語判定方法
US11877091B2 (en) Method for adjusting position of video chat window and display device
KR20140089858A (ko) 전자 장치 및 그의 제어 방법
EP3509311A1 (en) Electronic apparatus, user interface providing method and computer readable medium
US11429339B2 (en) Electronic apparatus and control method thereof
KR20160032883A (ko) 디스플레이 장치 및 이의 인디케이터를 디스플레이하는 방법
CN117795460A (zh) 信息处理系统及控制方法
KR101324232B1 (ko) 전자 장치 및 그의 제어 방법
EP3226568A1 (en) Display device and display method
KR20130080380A (ko) 전자 장치 및 그의 제어 방법
US20190235710A1 (en) Page Turning Method and System for Digital Devices
KR20140060682A (ko) 적어도 하나 이상의 네트워크 인터페이스로 연결된 멀티미디어 디바이스 및 그 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination