CN104281259A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN104281259A
CN104281259A CN201410315263.1A CN201410315263A CN104281259A CN 104281259 A CN104281259 A CN 104281259A CN 201410315263 A CN201410315263 A CN 201410315263A CN 104281259 A CN104281259 A CN 104281259A
Authority
CN
China
Prior art keywords
region
politeness
modesty
maxim
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410315263.1A
Other languages
English (en)
Other versions
CN104281259B (zh
Inventor
土居正一
竹冈义树
高田昌幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104281259A publication Critical patent/CN104281259A/zh
Application granted granted Critical
Publication of CN104281259B publication Critical patent/CN104281259B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

提供了一种信息处理装置和信息处理方法，该信息处理装置包括处理器，该处理器被配置为实现：称谓语定义功能，定义要在显示器上显示的图像的至少部分区域的称谓语；显示控制功能，在显示器上显示图像并且与区域相关联地在显示器上暂时显示称谓语；语音输入获取功能，获取针对图像的语音输入；以及命令发布功能，当称谓语包括在语音输入中时发布与区域相关的命令。

Description

信息处理装置、信息处理方法和程序
对相关申请的交叉引用
本申请要求2013年7月10日提交的日本优先权专利申请JP2013-144449的权益，其全部内容通过引用合并于此。
技术领域
本公开涉及信息处理装置、信息处理方法和程序。
背景技术
在计算机的用户接口之中，为用户实现更自然且更直观操作的操纵的自然用户接口(NUI)近来得到广泛普及。众所周知的自然用户接口是将用户说出的语音、用户做出的姿势等用作输入操纵的NUI。这样的输入操纵在许多情况下被单独使用。然而，例如，JP 2012-103840A公开了一种用于组合并使用利用语音的输入操纵和利用姿势的输入操纵。
发明内容
然而，例如，当打算通过NUI选择性地操纵多个UI组件时，用户难以理解设置哪个符号(例如，语音的称谓语(address term))以便在一些情况下指定操纵目标UI组件。虽然在上述JP 2012-103840A中所公开的技术有助于改进对NUI的用户体验，但是可能不一定认为该技术充分地解决上述要点。
因此，期望提供能够向用户通知用于在NUI上指定操纵目标的符号以使得用户可以容易地理解该符号的一种新颖且改进的信息处理装置、新颖且改进的信息处理方法和新颖且改进的程序。
根据本公开的一个实施例，提供了一种信息处理装置，包括处理器，被配置为实现：称谓语定义功能，定义要在显示器上显示的图像的至少部分区域的称谓语；显示控制功能，在显示器上显示图像并且与区域相关联地在显示器上暂时显示称谓语；语音输入获取功能，获取针对图像的语音输入；以及命令发布功能，当称谓语包括在语音输入中时发布与区域相关的命令。
根据本公开的另一实施例，提供了一种信息处理方法，包括通过处理器进行：定义要在显示器上显示的图像的至少部分区域的称谓语；在显示器上显示图像并且与区域相关联地在显示器上暂时显示称谓语；获取针对图像的语音输入；以及当称谓语包括在语音输入中时发布与区域相关的命令。
根据本公开的又一实施例，提供了一种程序，其使得计算机实现：称谓语定义功能，定义要在显示器上显示的图像的至少部分区域的称谓语；显示控制功能，在显示器上显示图像并且与区域相关联地在显示器上暂时显示称谓语；语音输入获取功能，获取针对图像的语音输入；以及命令发布功能，当称谓语包括在语音输入中时发布与区域相关的命令。
如上所述，根据本公开的实施例，可以向用户通知用于在NUI上指定操作目标的符号以使得用户可以容易地理解符号。
附图说明
图1是示出根据本公开的实施例的显示装置的整体配置的框图；
图2是示出根据本公开的实施例的显示装置中实现的整体功能配置的图；
图3是用于描述本公开的第一实施例中所定义的图像中的区域的分层结构的图；
图4是用于描述本公开的第一实施例中所定义的图像中的区域的分层结构的图；
图5是示出在本公开的第一实施例中的称谓语的显示示例的图；
图6是示出本公开的第一实施例中的称谓语的显示示例的图；
图7是用于描述本公开的第二实施例中所定义的图像中的区域的分层结构的图；
图8A至图8C是示出本公开的第二实施例中的称谓语的显示示例的图；
图9A至图9C是示出本公开的第二实施例中的称谓语的显示示例的图；
图10A至图10C是示出本公开的第二实施例的第一变型示例的图；
图11是示出本公开的第二实施例的第二变型示例的图；
图12是示出本公开的第二实施例的第二变型示例的图；以及
图13是示出本公开的第三实施例中的称谓语的显示示例的图。
具体实施方式
下文中，将参照附图详细描述本公开的优选实施例。应注意，在本说明书和附图中，具有基本上相同的功能和结构的结构元件以相同的附图标记表示，并且省略对这些结构元件的重复说明。
将按以下顺序进行描述。
1.系统配置
1-1.硬件配置
1-2.功能配置
1-3.区域的分层结构
1-4.称谓语的显示示例
2.第二实施例
2-1.区域的分层结构
2-2.称谓语的显示示例
2-3.变型示例
3.第三实施例
4.补充
(1.系统配置)
(1-1.硬件配置)
图1是示出根据本公开的实施例的显示装置的整体配置的框图。参照图1，显示装置100包括处理器102、存储器104、存储装置106、通信模块108、显示器110、扬声器112、麦克风114、输入装置116、摄像装置模块118和连接端口120。
显示装置100可以是根据用户的期望在显示器110上显示图像的各种装置中的任一个。例如，显示装置100可以是包括显示器110的电视机、个人计算机(PC)、平板式终端、智能电话、便携式媒体播放器或便携式游戏装置。例如，显示装置100可以是连接至分开配置的显示器110并且控制显示器110的PC、机顶盒、录像机或游戏装置。下文中，将进一步描述显示装置100的构成元件。
处理器102由例如中央处理单元(CPU)、数字信号处理器(DSP)或专用集成电路(ASIC)实现并且根据存储在存储器104中的程序工作以实现各种功能。处理器102通过控制显示装置100的各个单元来获取各种输入，并且提供各种输出。以下将描述处理器102实现的详细功能。
存储器104由例如用作随机存取存储器(RAM)或只读存储器(ROM)的半导体存储器实现。存储器104存储例如使得处理器102工作的程序。例如，这些程序可从存储装置106读取并且可暂时加载到存储器104上，或者程序可永久地存储在存储器104中。替选地，程序可由通信模块108接收并可暂时加载到存储器104上。此外，存储器104暂时或永久存储通过处理器102的处理所生成的各种数据。
存储装置106例如由诸如磁盘(比如硬盘驱动器(HDD))、光盘或磁光盘的存储设备或者闪存实现。存储装置106永久地存储例如使得处理器102工作的程序或者通过处理器102的处理所生成的各种数据。存储装置106可被配置为包括可移除介质或者可包括在显示装置100中。
通信模块108由在处理器102的控制下进行有线或无线网络通信的各种通信电路中的任一种来实现。当进行无线通信时，通信模块108可以包括天线。例如，通信模块108遵照因特网、局域网(LAN)、蓝牙(注册商标)等的通信标准来进行网络通信。
显示装置100包括作为输出单元的显示器110和扬声器112。显示器110例如由液晶显示器(LCD)或有机电致发光(EL)显示器来实现。如上所述，显示器110可与显示装置100集成或者可以是单独的显示器。显示器110在处理器102的控制下显示各种信息作为图像。以下将描述在显示器110上所显示的图像的示例。扬声器112在处理器102的控制下输出各种信息作为语音。
例如，麦克风114获取在显示装置100附近产生的各种语音(诸如，用户说出的语音)并且将语音作为语音数据提供至处理器102。这里，在该实施例中，麦克风114用作NUI上的语音输入单元。即，处理器102分析麦克风114提供的语音数据，并且基于用户说出的且从语音数据中提取的语音等来执行各种命令。
输入装置116是在显示装置100中所使用的另一输入单元。输入装置116可包括例如键盘、按钮或鼠标。输入装置116可包括布置在与显示器110对应的位置处的触摸传感器，以使得触摸面板由显示器110和触摸传感器构成。当根据利用麦克风114的语音输入来充分地操纵显示装置100时，可不安装单独的输入装置116。
摄像装置模块118例如由图像传感器(诸如，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS))、光学系统(诸如，控制图像传感器中的对象图像的形成的透镜)以及驱动图像传感器和光学系统的驱动电路来实现。摄像装置模块118将通过图像传感器捕获对象图像而生成的静止图像或运动图像作为图像数据提供至处理器102。可在显示器110上显示摄像装置模块118生成的静止图像或运动图像作为例如通过图像(throughimage)或记录图像。
连接端口120是将外部装置直接连接至显示装置100的端口，并且由例如通用串行总线(USB)端口、IEEE1394端口或高清多媒体接口(HDMI)(注册商标)端口来实现。在所示的示例中，存储装置106、显示器110、扬声器112、麦克风114和输入装置116在内部(例如，通过总线等)连接至处理器102，但这样的构成元件可与显示装置100分离。在这种情况下，例如，显示装置(外部显示器等)、输入装置(键盘、鼠标等)或存储装置(外部HDD等)可以连接至连接端口120。连接至连接端口120的装置不限于这些示例，而是可连接除了上述装置外的各种装置。
(1-2.功能配置)
图2是示出根据本公开的实施例的显示装置中所实现的整体功能配置的图。参照图2，在显示装置100中，可以实现图像生成功能151、称谓语定义功能153、显示控制功能155、语音输入获取功能157和命令发布功能159。
例如，当显示装置100的处理器102根据存储在存储器140中的程序工作时，实现了这样的功能。上述功能中的任一种参考命令DB 161。命令DB 161可存储在显示装置100的存储装置106中，并且根据需要，命令DB 161的一部分或全部可被读取至存储器104。
(图像生成功能)
图像生成功能151生成要在显示装置100的显示器110上显示的图像。例如，图像可包括诸如照片或视频的内容图像、或者以各种格式描述的文档(例如包括以超文本标记语言(http)描述的网页)的图像。图像可包括用于操纵显示装置100的图形用户接口(GUI)图像。例如，用于显示这样的图像的数据可从存储装置106读取或者可经由通信模块108从网络上的服务器等获取。通过显示控制功能155在显示器110上显示通过图像生成功能151生成的图像。
例如，图像生成功能151可以生成包括多个子图像的图像。子图像可以是例如内容图像、文档图像或GUI图像，并且可包括通过将这样的图像布置在预定区域内而在显示器110上显示的图像。在这种情况下，图像生成功能151可以例如响应于通过命令发布功能159所发布的命令而在显示器110的整个区域(全屏幕)上扩大并显示任意子图像。
例如，图像生成功能151可以生成定义了对象图像的图像。该图像可以是例如诸如照片或视频的内容图像，并且通过图像识别处理或者用户的设置操纵来识别图像内的对象区域。在这种情况下，图像生成功能151可以例如响应于命令发布功能159发布的命令而使用任意对象区域作为基准来扩大并显示图像。例如，这样的图像可显示在显示器110的整个区域(全屏幕)内或者可以是上述子图像之一。
(称谓语定义功能)
称谓语定义功能153定义与通过图像生成功能151生成的且通过显示控制功能155在显示器110上显示的图像的至少部分区域有关的称谓语。如上所述，在本实施例中，显示器110上所显示的图像可以包括被定义为例如图像中的子图像或对象区域的区域。称谓语定义功能153针对每个区域来定义称谓语，以使得可以根据语音输入容易地操纵图像在显示器110上的显示，如以下将描述的那样。称谓语定义功能153将所定义的称谓语提供至显示控制功能155以在显示器110上显示称谓语，并且将与称谓语有关的信息存储在命令DB 161中。
例如，称谓语定义功能153针对包括在显示器110上所显示的图像中的多个子图像的显示区域中的每一个来定义称谓语。在这种情况下，例如，称谓语定义功能153可以基于提供每个子图像的应用功能的设置信息来定义称谓语(例如，可以定义诸如“网络浏览器”或“媒体播放器”的称谓语)。例如，称谓语定义功能153可以基于包括在每个子图像中的标题、文本等来定义称谓语(例如，可以定义诸如“新闻”、“备忘录”和“电影”的称谓语)。这里，例如，当在这样的示例中定义重复的称谓语时，称谓语定义功能153可通过使用例如序号来唯一地定义称谓语(例如，可以定义诸如“网络浏览器1”和“网络浏览器2”的称谓语)。另外，例如，称谓语定义功能153可基于图像中的每个子图像的位置来定义称谓语(例如，可以定义诸如“左上”或“右下”的称谓语)。
这里，例如，当响应于例如通过命令发布功能159发布的命令而在显示器110的整个区域上扩大并显示作为上述子图像的内容图像、文档图像等(下文中，称为应用图像)时，称谓语定义功能153可针对包括在应用图像中的GUI组件(例如，其可以是按钮、标签、图标等)的区域来定义称谓语。在这种情况下，例如，称谓语定义功能153可基于与在提供应用图像的程序中所定义的GUI组件有关的信息来定义称谓语(例如，可以定义诸如“标题”、“标签”或“地址栏”的称谓语)。
例如，称谓语定义功能153针对包括在显示器110上所显示的图像中的多个对象区域中的每一个来定义称谓语。在这种情况下，例如，称谓语定义功能153可基于新执行的图像分析的结果或者作为元数据添加到图像中的信息来定义称谓语。这里，例如，当可以根据图像分析的结果识别对象或者记录对象的名称作为元数据时，称谓语定义功能153可基于对象的名称来定义对象区域的称谓语(例如，可以定义诸如“父母”、“孩子”、“手”、或“面部”的称谓语)。另外，例如，称谓语定义功能153可基于图像中的每个对象区域的位置来定义称谓语(例如，可以定义诸如“左上”或“右下”的称谓语)。
例如，称谓语定义功能153定义用于对显示器110上所显示的图像的操纵的称谓语。这里所提及的“对图像的操纵”与其他示例的操纵不同之处可以在于，该操纵是在没有指定图像内的特定区域的情况下所执行的操纵。这里所定义的称谓语可以是显示器110上所显示的图像的整个区域的称谓语。在这种情况下，例如，称谓语定义功能153可基于预先存储在命令DB 161中的操纵命令的名称来定义称谓语(例如可以定义诸如“缩小”或“向下滚动”的称谓语)。
(显示控制功能)
显示控制功能155在显示器110上显示通过图像生成功能151生成的图像，并且在显示器110上与图像中的与称谓语对应的区域相关联地暂时显示通过称谓语定义功能153定义的称谓语。例如，显示控制功能155将称谓语作为文本显示在对应区域中的某些位置处。显示控制功能155可显示表示对应于称谓语的区域的框边等，并且可与其相关联地显示称谓语和框边等。
如上所述，通过显示控制功能155暂时显示称谓语(和框边等)。例如，显示控制功能155可在显示器110上开始显示通过图像生成功能151新生成的图像，并接着在显示器110上显示称谓语(和框边等)仅预定时间。在预定时间过去之后，可以在显示器110上仅显示通过图像生成功能151生成的图像。
因此，当通过称谓语定义功能153定义的称谓语与对应于这些称谓语的区域相关联地暂时显示在显示器110上时，用户可以在使用语音输入操纵显示装置100时容易地识别用户通过哪个称谓语来指定操纵目标，如以下将描述的。此外，暂时显示称谓语(和框边等)。例如，通过在预定时间过去之后隐藏称谓语，可以确保显示器110上所显示的图像的可见性。
例如，显示控制功能155可以根据通过命令发布功能159发布的命令来重新开始称谓语(和框边等)的显示。在这种情况下，显示控制功能155可继续显示例如称谓语(和框边等)，直到从命令发布功能159发布另外的命令为止。
(命令DB)
命令DB 161存储与通过称谓语定义功能153定义的称谓语有关的信息，如上所述。与称谓语有关的信息可以包括例如称谓语本身和用于在图像中指定由称谓语指定的区域的信息。例如，当称谓语被设置为对应于子图像的显示区域时，可以连同称谓语一起存储提供子图像的应用功能的标识信息(例如，其可以是处理ID、窗口ID等)。例如，当称谓语被设置为对应于包括在应用图像中的GUI组件的区域时，可以连同称谓语一起存储GUI组件的标识信息(例如，其可以是给予按钮、标签等的ID)。例如，当称谓语被设置为对应于对象区域时，可以连同称谓语一起存储对象区域的标识信息(例如，其可以是图像内的坐标信息)。
命令DB 161存储预先定义的操纵命令的名称。例如，如上所述，当称谓语定义功能153设置用于显示器110上所显示的图像的操纵的称谓语时，参考操纵命令的名称，以及当以下要描述的命令发布功能159分析来自用户的语音输入时，也参考操纵命令的名称。操纵命令包括如上所述的在不指定图像内的特定区域的情况下所执行的操纵命令，并且还包括通过指定图像内的特定区域而执行的操纵命令(例如，其可以是诸如“扩大”和“选择”的操纵命令)。命令发布功能159通过参考存储在命令DB 161中的操纵命令的名称来指定通过语音输入所指示的命令种类，并且还通过参考与存储在命令DB 161中的名称有关的信息来指定目标的区域。
(语音输入获取功能)
语音输入获取功能157针对显示器110上所显示的图像来获取语音输入。更具体地，当通过显示控制功能155在显示器110上显示图像时，语音输入获取功能157获取经由麦克风114所获取的用户的语音输入。如上所述，由于麦克风114获取在显示装置100附近所产生的各种语音，因此语音输入获取功能157可执行从所获取的语音数据中提取诸如用户的话音的预定语音的处理。替选地，除了语音输入获取功能157外，还可设置执行上述处理的预处理单元(未示出)。
(命令发布功能)
当通过语音输入获取功能157获取的语音输入包括通过称谓语定义功能153定义的称谓语时，命令发布功能159发布与对应于称谓语的区域相关的命令。更具体地，基于通过语音识别从所获取的语音输入中提取的文本，命令发布功能159参考命令DB 161来检索包括在文本中的称谓语和操纵命令的名称。当发现对应的称谓语和操纵命令的名称时，命令发布功能159针对与包括在文本中的称谓语相对应的区域来发布与包括在文本中的名称相对应的操纵命令。可以向例如图像生成功能151或显示控制功能155发布命令。
例如，当显示器110上所显示的图像包括多个子图像时，命令发布功能159向图像生成功能151发布用于在显示器110的整个区域(全屏幕)上扩大并显示任意子图像的命令。此时，可以参考命令DB 161、基于包括在语音输入中的称谓语来确定扩大并显示哪个子图像。
例如，当显示器110上所显示的图像包括多个对象区域时，命令发布功能159向图像生成功能151发布用于使用任意对象区域作为基准来扩大并显示图像的命令。此时，可以参考命令DB 161、基于包括在语音输入中的称谓语确定将哪个对象区域用作基准来扩大并显示图像。
1-3.区域的分层结构
图3和图4是用于描述本公开的第一实施例中所定义的图像内的区域的分层结构的图。在本实施例中，可以根据以下要描述的分层结构来设置称谓语通过称谓语定义功能153来定义的图像内的区域。
在图3所示的示例中，层1至层4这四个层具有上位和下位关系。即，层1的区域是层2的区域的上位层区域，层2的区域是层3的区域的上位层区域，以及层3的区域是层4的区域的上位层区域。在本实施例中，下位层区域包括在上位层区域中。在所示的示例中，所有下位层区域包括在上位层区域中。然而，在另一示例中，下位层区域中的至少一部分可包括在上位层区域中。
在本实施例中，这样的分层结构用于选择显示称谓语的图像内的区域。在图3所示的示例的情况下，例如，当在显示器110上连同图像一起针对从层1至层4的所有区域来显示称谓语时，存在甚至在临时显示中图像的可见性也会被破坏的可能性。相应地，当在显示器110上显示上位层区域时，显示控制功能155可以在显示器110上显示包括在所显示的上位层区域中的下位层区域的称谓语。
即，例如，当在显示器110上显示层1的区域(上位层区域)时，显示控制功能155在显示器110上显示包括在层1的区域中的层2的区域(下位层区域)的称谓语。例如，当在所示的示例中在显示器110上显示层2的两个区域中的任一区域(上位层区域)时，显示控制功能155在显示器110上显示包括在层2的显示区域中的层3的区域(下位层区域)的称谓语。
例如，如在图4所示的示例中，可将上述分层结构定义为亲子关系或链接关系。所示的示例示出如下情况：其中，层2的两个区域(层2-1和层2-2)包括在层1的区域(仅一个区域被设置且对应于例如整个图像)中，层3的三个区域(层3-1、层3-2和层3-3)包括在层2-1中，等等。当称谓语定义功能153针对每个区域来定义称谓语时，规定了这样的关系。其后，显示控制功能155或命令发布功能159可以使用称谓语。以下将描述区域的分层结构的具体使用示例。
(1-4.称谓语的显示示例)
图5和图6是示出根据本公开的第一实施例的称谓语的显示示例的图。在该实施例中，例如，如图5的示例中所示，针对包括在显示器110上所显示的图像中的多个子图像的显示区域中的每一个来定义称谓语。在所示的示例中，将层1的区域设置为对应于显示器110上所显示的整个图像，以及针对包括在图像中的子图像的显示区域来定义层2的区域。称谓语定义功能153可以将称谓语定义为对应于网络浏览器(层2-1)、开发工具(层2-2)、文本编辑器(层2-3)和任务栏(层2-4)的显示区域中的每一个。在该示例中，显示装置100可以例如是PC。
此时，显示控制功能155在显示器110上显示图像(层1的区域)，并且在显示器110上暂时显示针对与每个子图像对应的区域而定义的称谓语和表示与称谓语对应的区域的框边。在该图中，通过显示控制功能155在显示器110上暂时显示与层2-1的区域相对应的称谓语AT2-1(网络浏览器)、与层2-2的区域相对应的称谓语AT2-2(开发工具)、与层2-3的区域相对应的称谓语AT2-3(文本编辑器)以及与层2-4的区域相对应的称谓语AT2-4(任务栏)。
此后，当开始显示图像(层1的区域)并且预定时间过去时，显示控制功能155结束称谓语AT2-1至AT2-4的框边的显示，并且该显示返回到仅图像(层1的区域)的显示。用户可以通过向显示装置100给出包括称谓语AT2-1至AT2-4的语音输入来在显示称谓语AT2-1至AT2-4期间或之后，对与称谓语AT2-1至AT2-4相对应的区域执行操纵。例如，当用户说“扩大‘网络浏览器’”时，可以通过语音输入获取功能157向其提供了该语音输入的命令发布功能159对与层2-1的区域相对应的网络浏览器的显示区域执行扩大操纵，如以下将描述的一样。例如，当用户说“隐藏任务栏”时，可以隐藏与层2-4的区域相对应的任务栏的显示。
在图6所示的示例中，示出了当在图5所示的第一示例中用户说“扩大‘网络浏览器’”时显示的改变。在这种情况下，命令发布功能159参考命令DB 161、基于通过语音识别从上述话音的语音输入中所提取的文本来发现操纵命令“扩大”的称谓语和称谓语“网络浏览器”(对应于在图5的示例中所显示的称谓语AT2-1)。因此，命令发布功能159向图像生成功能151发布给出用于在显示器110上所显示的图像的整个区域内扩大并显示网络浏览器的子图像(对应于层2-1的区域)的请求的命令。响应于该命令，图像生成功能151将在显示器110上所显示的图像从用于显示层1的区域的图像改变为用于扩大并显示层2-1的整个区域的图像。
此时，显示控制功能155在显示器110上显示新图像(层2-1的区域)，并且在显示器110上暂时显示针对包括在图像中的GUI组件的区域所定义的称谓语和表示与该称谓语对应的区域的框边。在附图中，通过显示控制功能155在显示器110上暂时显示与层3-1(标签)的区域对应的称谓语AT3-1、与层3-2(地址栏)的区域对应的称谓语AT3-2、与层3-3(标题)的区域对应的称谓语AT3-3、与层3-4(主体)的区域相对应的称谓语AT3-4以及与层3-5(选项)的区域对应的称谓语AT3-5。
在所示的示例中，例如，可通过称谓语定义功能153新定义当在显示器110上显示新图像(层2-1的区域)时暂时显示的称谓语AT3-1至AT3-5。替选地，例如，当层2-1的区域被显示为层1的区域的图像内的子图像时，称谓语AT3-1至AT3-5可通过称谓语定义功能153定义并且可连同图4所示的分层结构的数据一起存储在命令DB 161等中。
显示控制功能155将对显示器110上所显示的图像的操纵的称谓语C1(对应于缩小的操纵)和C2(对应于向下滚动的操纵)连同上述称谓语AT3-1至AT3-5一起暂时显示在显示器110上。由于例如在显示器110上所显示的新图像的整个部分(层2-1的区域)内显示网络浏览器的图像，因此可以在不指定图像内的特定区域的情况下执行诸如缩小或向下滚动的操纵。因此，称谓语定义功能153在预先存储在命令DB 161中的操纵命令的称谓语当中提取可针对网络浏览器的图像执行的操纵命令的名称，称谓语定义功能153定义与所提取的操纵命令的名称相对应的称谓语。结果，显示控制功能155在显示器110上暂时显示称谓语C1和C2。例如，显示称谓语C1和C2的位置可以在显示器110的端部附近或角部附近，使得不妨碍观看所显示的图像。
此后，当图像(层2-1的区域)的显示开始并且预定时间过去时，显示控制功能155结束称谓语AT3-1至AT3-5和框边的显示以及称谓语C1和C2的显示，并且显示返回到仅图像(层2-1的区域)的显示。即使在称谓语AT3-1至AT3-5以及称谓语C1和C2的显示之后，用户也能通过向显示装置100给出包括称谓语AT3-1至AT3-5或称谓语C1和C2的语音输入，来对与称谓语AT3-1至AT3-5或称谓语C1和C2对应的区域执行操纵。
当用户向显示装置100给出预定语音输入(例如，“显示命令”)时，命令发布功能159向显示控制功能155发布给出用于在显示器110上再次显示称谓语AT3-1至AT3-5和框边并显示称谓语C1和C2的请求的命令。响应于该命令，显示控制功能155在显示器110上再次显示上述称谓语和框边。如在称谓语和框边的初始显示时一样，此时显示的称谓语和框边可在开始显示称谓语和框边之后的预定时间消失，或者考虑到用户的有意呼叫而可被设置为不自动消失。在这种情况下，当用户向显示装置100给出另一预定语音输入(例如，“隐藏命令”)时，显示控制功能155可以结束称谓语和框边的显示。
(2.第二实施例)
接下来，将描述本公开的第二实施例。由于第二实施例中的配置除了以下描述的区域的配置示例和称谓语的显示示例外几乎与上述第一实施例中的配置相同，因此将省略除了配置示例和显示示例的描述外的详细描述。
(2-1.区域的分层结构)
图7是用于描述本公开的第二实施例中所定义的图像内的区域的分层结构的图。在该实施例中，显示器110上所显示的照片的整个图像是层1的区域。定义了包括在层1的区域中的层2的两个区域(层2-1和层2-2)。层2的两个区域(层2-1和层2-2)分别包括层3的两个区域(层3-1和层3-2)以及两个区域(层3-3和层3-4)。在层3的四个区域(层3-1至层3-4)之中，两个区域(层3-3和层3-4)还分别包括层4的两个区域(层4-1和层4-2)以及两个区域(层4-3和层4-4)。
层2或其下位的每层的区域可以包括例如基于图像分析的结果所指定的对象区域。在这种情况下，所有区域可不一定基于图像分析的结果来定义。例如，上位层的区域(例如，层2的区域)可以是稍后被设置为用于对与基于图像分析的结果所指定的对象区域对应的下位层的区域(例如，层3和层4的区域)进行分组的区域的区域。替选地，除了图像分析外或者代替图像分析，可基于用户的设置操纵来指定对象区域。例如，对象区域可包括当用户承认或修正基于图像分析的结果而建议的候选区域时所确定的区域。例如，这样的区域可根据照片的图像数据上所附带的元数据来预先定义，或者可基于通过在显示图像时执行图像分析而获得的结果来新定义。
(2-2.称谓语的显示示例)
图8A至图9C是示出根据本公开的第二实施例的称谓语的显示示例的图。在本实施例中，例如，如图7的示例中所示，针对包括在显示器110上所显示的图像中的多个对象区域中的每一个来定义称谓语。在所示的示例中，层1的区域被设置为对应于显示器110上所显示的照片的整个图像(或者照片的图像可能不一定显示在整个显示器110上，即照片的图像在上述第一实施例中可被显示为一个子图像)，并且层2或其下位的层的区域是针对包括在图像中的对象区域而定义的。
首先，如图8A所示，当在显示器110上显示图像(层1的区域)时，显示控制功能155在显示器110上暂时显示针对与层2的每个区域对应的区域所定义的称谓语以及表示与称谓语对应的区域的框边。在附图中，通过显示控制功能155在显示器110上暂时显示与层2-1的区域相对应的称谓语AT2-1和与层2-2的区域对应的称谓语AT2-2。
这里，称谓语定义功能153例如基于根据图像分析所指定的对象的名称或者来自用户的输入，定义被显示为称谓语AT2-1和AT2-2的称谓语。例如，当照片的图像数据所附带的元数据记录了包括在层2-1的区域中的对象是父母以及包括在层2-2的区域中的对象是孩子的事实时，称谓语生成功能可以将层2-1的区域和层2-2的区域的称谓语分别定义为“父母”和“孩子”。
此后，当开始显示图像(层1的区域)并且预定时间过去时，显示控制功能155结束称谓语AT2-1至AT2-2和框边的显示，并且显示返回到简单图像(层1的区域)的显示。用户可以通过向显示装置100给出包括称谓语AT2-1和AT2-2的语音输入，来在显示称谓语AT2-1和AT2-2期间或之后对与称谓语AT2-1和AT2-2对应的区域执行操纵。在所示的示例中，在称谓语和框边的显示结束之前，用户向显示装置100给出语音输入“选择‘孩子’”。
此时，命令发布功能159参考命令DB 161、基于通过语音识别从语音输入中所提取的文本，找出操纵命令的名称“选择”和区域的称谓语(与在图8A的示例中所显示的称谓语AT2-2相对应)“孩子”。因此，命令发布功能159向图像生成功能151发布给出用于允许层2-2的区域进入选择状态的请求的命令。响应于该命令，图像生成功能151生成用于在显示器110上所显示的图像内以选择状态显示层2-2的区域的图像，并且显示控制功能155在显示器110上显示该图像，如图8B所示。例如，通过暗淡地显示除了层2-2的区域外的区域或者连同框边一起显示层2-2的区域，层2-2的区域可以以选择状态来表现(表现不一定如图8B所示)。
这里，如图8B所示，显示控制功能155在显示器110上显示新图像(层2-2的区域处于选择状态的图像)，并且将针对包括在处于选择状态的层2-2的区域中的多个下位层区域(即，层3-3和层3-4的区域)而定义的称谓语和表示与称谓语对应的区域的框边连同针对层2的每个区域所定义的称谓语和框边一起暂时显示在显示器110上。在图中，除了称谓语AT2-1和AT2-2外，通过显示控制功能155在显示器110上还暂时显示称谓语AT3-3和AT3-4。
此后，当图像(层2-2的区域处于选择状态的图像)的显示开始并且预定时间经过时，显示控制功能155结束上述称谓语和框边的显示，并且显示返回到简单图像(层2-2的区域处于选择状态的图像)的显示。用户可以通过向显示装置100给出包括称谓语的语音输入，来在显示称谓语和框边期间以及之后对与称谓语对应的区域执行操纵。在所示的示例中，在称谓语和框边的显示结束之前，用户向显示装置100给出语音输入“扩大‘男孩’”。
此时，命令发布功能159参考命令DB 161、基于通过语音识别从语音输入中提取的文本来找出操纵命令的名称“扩大”以及区域的称谓语“男孩”。因此，命令发布功能159向图像生成功能151发布给出用于使用层3-3的区域作为基准来扩大并显示图像的请求的命令。响应于该命令，图像生成功能151生成使用层3-3的区域作为基准所扩大的图像，并且显示控制功能155在显示器110上显示该图像，如图8C所示。在图8B的上述状态下，通过在显示器110上除了层2的区域的称谓语(AT2-1和AT2-2)外还暂时显示层3的部分区域的称谓语(AT3-3和AT3-4)，可以从显示层1的区域的图像的状态立刻实现使用层3-3的区域作为基准对图像的扩大和显示(跳过层2的区域)。
这里，如图8C所示，显示控制功能155在显示器110上显示新图像(使用层3-3的区域作为基准来扩大的图像)，并且将针对包括在被用作扩大的基准的层3-3的区域中的多个下位层区域(即，层4-1和层4-2的区域)所定义的称谓语和表示与称谓语对应的区域的框边连同针对层3-3的区域所定义的称谓语和框边一起暂时显示在显示器110上。
在所示的示例中，由于使用层3-3的区域作为基准来扩大并显示图像并且层3-3的区域不一定显示在整个显示器110上(在许多情况下，对象区域的纵横比与显示器110的纵横比不匹配)，因此即使在扩大并显示图像之后也显示针对层3-3的区域所定义的称谓语和区域会是有用的。
如图8C所示，当除了层3(用作扩大的基准的图像所属的层)的区域外的区域(层3-4的区域)包括在新图像(使用层3-3的区域作为基准所扩大的图像)的显示范围内时，也可通过显示控制功能155在显示器110上暂时显示针对层3-4的区域所定义的称谓语和区域。
在图8C所示的步骤中，显示控制功能155将针对对显示器110上所显示的图像的操纵的称谓语C1(对应于缩小的操纵)连同上述称谓语一起暂时显示在显示器110上。由于例如在显示器110上所显示的新图像(使用层3-3的区域作为基准所扩大的图像)内扩大并显示原始图像，因此可以在不指定图像内的特定区域的情况下执行缩小的操纵。因而，称谓语定义功能153在预先存储在命令DB 161中的操纵命令的名称当中提取可对图像执行的操纵命令的名称，并且定义与所提取的操纵命令的名称相对应的称谓语。结果，显示控制功能155在显示器110上暂时显示称谓语C1。
此后，当图像(使用层3-3的区域作为基准所扩大的图像)的显示开始并且预定时间过去时，显示控制功能155结束上述称谓语和框边的显示，并且显示返回到简单图像(使用层3-3的区域作为基准所扩大的图像)的显示。用户可以通过向显示装置100给出包括称谓语的语音输入，在显示称谓语期间或之后对与称谓语对应的区域执行操纵。在所示的示例中，如图9A所示，用户在称谓语和框边的显示结束之前向显示装置100给出语音输入“手”。
此时，命令发布功能159参考命令DB 161、基于通过语音识别从语音输入中所提取的文本来找到区域“手”的名称。命令发布功能159参考命令DB 161来估计针对被指定为操纵目标的区域(层4-1的区域)的操纵命令。例如，当在命令DB 161中将“扩大”和“选择”定义为可针对一般区域执行的操纵命令时，命令发布功能159可以识别出层4-1的区域的选择由于层4是最低层并且不存在下位层区域的事实而毫无意义，并且可以基于该识别估计操纵命令是“扩大”。因此，命令发布功能159向图像生成功能151发布给出用于使用层4-1的区域作为基准来扩大并显示图像的请求的命令。响应于该命令，图像生成功能151在显示器110上显示使用层4-1的区域作为基准所扩大的图像，如图9B所示。
这里，在如图9B所示的步骤中，如上所述，由于层4是最低层，因此显示控制功能155在显示器110上没有显示新区域的称谓语。另一方面，如直到图9A为止所显示的图像中一样，即使在图9B中所显示的图像中也可以执行缩小操纵。因此，显示控制功能155在显示器110上暂时显示与缩小操纵相对应的称谓语C2。例如，根据与正显示的图像的对象区域的关系，可将称谓语C2的显示位置(图像的右上角)设置为与直到图9A为止的称谓语C1的显示位置(图像的左下角)不同的位置。
此后，当图像(使用层4-3的区域作为基准所扩大的图像)的显示开始并且预定时间过去时，显示控制功能155结束称谓语AT4-1和对应框边的显示，并且显示返回到样本图像(使用层4-1的区域作为基准所扩大的图像)的显示。用户可以通过向显示装置100给出包括称谓语的语音输入，在显示称谓语期间或之后对与称谓语对应的区域执行操作。在所示的示例中，如图9B所示，在称谓语和框边的显示结束之前，用户向显示装置100给出语音输入“显示女孩的面部”。
此时，命令发布功能159参考命令DB 161、基于通过语音识别从语音输入中提取的文本，提取操纵命令的名称“显示”以及区域的称谓语“女孩的面部”。然而，在图9B时的图像显示中，不存在称谓语“女孩的面部”的区域。因此，命令发布功能159与区域的分层结构相关联地检索与存储在命令DB 161中的称谓语有关的信息。例如，命令发布功能159分析文本“女孩的面部”，并且首先检索“女孩”、随后检索“面部”。这是因为存在在包括在相互不同的上位层区域中的其他下位层区域中重复地定义了针对更下位层区域的称谓语(例如，“面部”)的可能性。
在所示的示例中，如上所述，命令发布功能159首先发现针对层3-4的区域所定义的称谓语“女孩”作为通过从命令DB 161检索称谓语“女孩”而获得的结果。然后，命令发布功能159发现针对层4-4的区域所定义的称谓语“面部”作为通过从命令DB 161检索包括在层3-4的区域中的下位层区域中的称谓语“面部“而获得的结果。基于上述检索结果，命令发布功能159向图像生成功能151发布给出用于使用层4-4的区域作为基准来扩大并显示图像的请求的命令。响应于该命令，图像生成功能151扩大并显示使用层4-4的区域作为基准所扩大的图像，如图9C所示。在图8A至图9B的上述步骤之中，由于先前定义且显示的区域的称谓语存储在命令DB 161中，因此甚至针对包括此时在显示器110上没有显示但用户记得先前显示的称谓语的语音输入也能实现用户预期的操纵。
(2-3.变型示例)
(第一变型示例)
图10A至图10C是示出本公开的第二实施例的第一变型示例的图。在图10A至图10C中，当获取以上参照图8B和8C所述的用户的话音“扩大‘男孩’”作为语音输入时，示出在使用层3-3的区域作为基准来扩大图像的显示时显示器110的显示的改变以及在转变期间的显示(图10B)。
在图10B中，通过图像生成功能151显示包括如下称谓语的文本T，该称谓语包括在语音输入中并且在将显示器110上所显示的图像从层1的区域的图像转变为使用层3-3的区域作为基准所扩大并显示的图像的步骤期间由显示装置100(命令发布功能159)识别。替选地，文本T可以是表示显示装置100的命令发布功能159发布的命令的文本。当在显示器110上进行这样的显示时，用户可以识别出显示装置100根据用户的意图工作。例如，当显示装置100没有正确地识别用户的语音输入并且执行了用户不期望的命令时，用户可以基于这样的显示理解发生了什么。
(第二变型示例)
图11和图12是示出本公开的第二实施例的第二变型示例的图。在本实施例中，如参照图7所述，已针对显示器110上所显示的照片来设置包括对象区域的区域的分层结构。在图7所示的示例中，所有下位层区域包括在上位层区域中，但该变型示例中，不都包括在上位层区域中。
例如，如图11所示，在一些情况下，下位层区域中的仅一部分可包括在上位层区域中。在图11所示的示例中，层4-1的区域的仅一部分包括在作为上位层区域的层3-3的区域中，并且层4-1的区域的其他部分在层3-3的区域之外。同样地，层4-3的区域的仅一部分包括在作为上位层区域的层3-4的区域中，并且层4-3的区域的其他部分在层3-4的区域之外。类似于层3或层4的其他区域，可以存在全部包括在上位层区域中的下位层区域。
图12示出当如在图11的示例中一样设置区域时图像的扩大和显示的示例。在该变型示例中，由于整个下位层区域不一定包括在上位层区域中，因此，在上位层区域与下位层区域之间所识别的关系会相对脆弱。相应地，例如，即使在使用层3-3的区域作为基准来扩大并显示图像时，不仅可以显示包括在层3-3中的下位层区域(层4-1和层4-2)的称谓语(AT4-1和AT4-2)，而且可以显示包括在层3-4中的下位层区域(层4-3)的称谓语(AT4-3)。
这里，由于称谓语AT4-1和AT4-3两者均原本重复为“手”，因此称谓语定义功能153添加序号以将这些称谓语彼此区分，以使得称谓语AT4-1变为“手1”以及称谓语AT4-3变为“手2”。当在显示器110上显示称谓语AT4-1和AT4-3中的仅一个时，称谓语定义功能153可省略序号的负荷。
上述显示是可能的而与下位层区域的仅一部分是包括在上位层区域中还是整个下位层区域包括在上位层区域中无关。即，图像内的区域可以如图7所示的示例中那样配置，并且也可以如图11所示的示例中那样配置。例如，当使用作为层2-2的区域的下位层区域的层3-3的区域作为基准来扩大并显示图像时，暂时显示作为层3-3的区域的下位层区域的层4-1和层4-2的称谓语。另外，也可以暂时显示包括在图像的显示范围内的层3-4的区域以及作为层3-4的区域的下位层区域的层4-3和层4-4的称谓语。然而，当层4-1或层4-2的区域的称谓语和层4-3或层4-4的区域的称谓语重复时，如上所述，通过添加序号来将这些称谓语彼此区分开，或者可以通过不显示层4-3或层4-4的区域的重复称谓语来解决重复的问题。
(3.第三实施例)
接下来，将描述本公开的第三实施例。由于第三实施例中的配置除了以下要描述的称谓语的显示示例外几乎与上述第一实施例中的配置相同，因此将省略除了称谓语的显示示例的描述外的详细描述。
图13是示出本公开的第三实施例中的称谓语的显示示例的图。在本实施例中，例如，如图13的示例中所示，针对显示器110上所显示的图像中所包括的多个子图像的显示区域中的每一个来定义称谓语。在所示的示例中，在显示器110上所显示的整个图像中定义层1的区域，并且针对包括在图像中的子图像的显示区域来定义层2的区域。显示器110上所显示的图像是发表者以表示的方式所显示的图像，并且包括当前显示的幻灯片(页面)和表示先前显示的图表、页等的子图像。称谓语定义功能153可以将称谓语定义为对应于标题“当前幻灯片”中的主要文本(层2-1)和右侧图表(层2-2)、以及与“当前幻灯片”分开显示的上一图表(层2-3)、上一页(层2-4)和下一页(层2-5)的显示区域。
此时，显示控制功能155在显示器110上显示图像(层1的区域)，并且在显示器110上暂时显示针对与每个子图像对应的区域所定义的称谓语和表示与称谓语对应的区域的框边。在图中，通过显示控制功能155在显示器110上暂时显示与层2-1(主要文本)的区域对应的称谓语AT2-1、与层2-2(右侧图表)的区域对应的称谓语AT2-2、与层2-3(上一图表)的区域对应的称谓语AT2-3、与层2-4(上一页)的区域对应的称谓语AT2-4以及与层2-5(下一页)的区域对应的称谓语AT2-5。
在本实施例中，向显示装置10给出的用户的语音输入可以是例如“显示‘上一图表’”或“转向‘下一页’”。响应于语音输入，命令发布功能159向图像生成功能151发布给出用于再次放大并显示先前参考的图表的请求的命令、给出用于进入下一幻灯片(页)的请求的命令等。例如，当图像生成功能151基于给出用于进入下一幻灯片(页)的请求的命令来在“当前幻灯片”的区域内新显示被显示为图中的“下一页”的幻灯片(页)时，此时将直到此时为止被显示为“当前幻灯片”的幻灯片(页)显示为“上一页”。
在本实施例中，称谓语定义功能153可基于区域的显示形式的时序改变来定义称谓语。例如，当此时显示为“当前幻灯片”的幻灯片(页)在与“当前幻灯片”分离的位置处被显示为更小时，称谓语定义功能153可针对与该幻灯片(页)对应的区域来定义含义与“上一页”的含义相同的称谓语。
(4.补充)
本公开的实施例可以包括例如上述的信息处理装置(被描述为显示装置)、系统、在信息处理装置或系统中所执行的信息处理方法、使得信息处理装置运行的程序以及存储有程序的非暂态计算机可读存储介质。
以上参照附图详细描述了本公开的优选实施例，但本公开的实施例不限于本公开的技术范围。对于本领域技术人员而言应该明显的是，在权利要求书中所描述的技术范围内可想到各种变型或修改，当然，应理解，这些变型或修改属于本公开的技术范围。
另外，本技术还可以如下进行配置。
(1)一种信息处理装置，包括：
处理器，被配置为实现：
称谓语定义功能，定义要在显示器上显示的图像的至少部分区域的称谓语；
显示控制功能，在所述显示器上显示所述图像并且与所述区域相关联地在所述显示器上暂时显示所述称谓语；
语音输入获取功能，获取针对所述图像的语音输入；以及
命令发布功能，当所述称谓语包括在所述语音输入中时发布与所述区域相关的命令。
(2)根据(1)所述的信息处理装置，
其中，所述区域包括上位层区域和下位层区域，并且
其中，当所述上位层区域显示在所述显示器上时，所述显示控制功能显示其至少一部分包括在所显示的所述上位层区域中的下位层区域的称谓语。
(3)根据(2)所述的信息处理装置，其中，所述命令发布功能发布扩大并显示所述下位层区域的命令。
(4)根据(3)所述的信息处理装置，其中，所述区域包括所述下位层区域的更下位层区域，并且
其中，当扩大并显示所述下位层区域时，所述显示控制功能显示其至少一部分包括在所述下位层区域中的、所述下位层区域的更下位层区域的称谓语。
(5)根据(2)至(4)中的任意一项所述的信息处理装置，其中，所述命令发布功能发布允许所述下位层区域进入选择状态的命令。
(6)根据(5)所述的信息处理装置，
其中，所述区域包括所述下位层区域的更下位层区域，并且
其中，当所述下位层区域进入选择状态时，所述显示控制功能显示其至少一部分包括在所述下位层区域中的、所述下位层区域的更下位层区域的称谓语。
(7)根据(6)所述的信息处理装置，其中，所述命令发布功能发布扩大并显示所述下位层区域的更下位层区域的命令。
(8)根据(2)至(7)中的任意一项所述的信息处理装置，
其中，所述上位层区域对应于所述图像的整个区域，并且
其中，所述下位层区域对应于包括在所述图像中的多个子图像中的每一个的显示区域。
(9)根据(8)所述的信息处理装置，其中，所述命令发布功能发布如下命令：在所述图像的整个区域内扩大并显示所述多个子图像中的与包括在所述语音输入中的称谓语对应的子图像。
(10)根据(2)至(7)中的任意一项所述的信息处理装置，
其中，所述上位层区域对应于在所述图像的整个区域内所显示的应用图像，并且
其中，所述下位层区域对应于包括在所述应用图像中的GUI组件的区域。
(11)根据(2)所述的信息处理装置，
其中，所述上位层区域对应于所述图像的整个区域，并且
其中，所述下位层区域对应于在所述图像内所识别的多个对象区域中的每一个。
(12)根据(11)所述的信息处理装置，其中，所述命令发布功能发布如下命令：使用所述多个对象区域中的与包括在所述语音输入中的称谓语对应的对象区域作为基准来扩大并显示所述图像。
(13)根据(2)至(12)中的任意一项所述的信息处理装置，其中，所述下位层区域整体包括在所述上位层区域中。
(14)根据(1)至(13)中的任意一项所述的信息处理装置，其中，所述称谓语定义功能基于与所述区域有关的设置信息来定义所述称谓语。
(15)根据(1)至(14)中的任意一项所述的信息处理装置，其中，所述称谓语定义功能基于所述区域在所述图像内的位置来定义所述称谓语。
(16)根据(1)至(15)中的任意一项所述的信息处理装置，其中，所述称谓语定义功能基于所述区域的显示形式的时序改变来定义所述称谓语。
(17)根据(1)至(16)中的任意一项所述的信息处理装置，其中，所述显示控制功能在所述显示器上显示包括在所述语音输入中的称谓语。
(18)根据(1)至(17)中的任意一项所述的信息处理装置，其中，所述显示控制功能在所述显示器上显示所发布的命令。
(19)一种信息处理方法，包括通过处理器进行：
定义要在显示器上显示的图像的至少部分区域的称谓语；
在所述显示器上显示所述图像并且与所述区域相关联地在所述显示器上暂时显示所述称谓语；
获取针对所述图像的语音输入；以及
当所述称谓语包括在所述语音输入中时发布与所述区域相关的命令。
(20)一种程序，使得计算机实现：
称谓语定义功能，定义要在显示器上显示的图像的至少部分区域的称谓语；
显示控制功能，在所述显示器上显示所述图像并且与所述区域相关联地在所述显示器上暂时显示所述称谓语；
语音输入获取功能，获取针对所述图像的语音输入；以及
命令发布功能，当所述称谓语包括在所述语音输入中时发布与所述区域相关的命令。

Claims (20)

1.一种信息处理装置，包括：
处理器，被配置为实现：
称谓语定义功能，定义要在显示器上显示的图像的至少部分区域的称谓语；
显示控制功能，在所述显示器上显示所述图像并且与所述区域相关联地在所述显示器上暂时显示所述称谓语；
语音输入获取功能，获取针对所述图像的语音输入；以及
命令发布功能，当所述称谓语包括在所述语音输入中时发布与所述区域相关的命令。
2.根据权利要求1所述的信息处理装置，
其中，所述区域包括上位层区域和下位层区域，并且
其中，当所述上位层区域显示在所述显示器上时，所述显示控制功能显示其至少一部分包括在所显示的所述上位层区域中的下位层区域的称谓语。
3.根据权利要求2所述的信息处理装置，其中，所述命令发布功能发布扩大并显示所述下位层区域的命令。
4.根据权利要求3所述的信息处理装置，其中，所述区域包括所述下位层区域的更下位层区域，并且
其中，当扩大并显示所述下位层区域时，所述显示控制功能显示其至少一部分包括在所述下位层区域中的、所述下位层区域的更下位层区域的称谓语。
5.根据权利要求2所述的信息处理装置，其中，所述命令发布功能发布允许所述下位层区域进入选择状态的命令。
6.根据权利要求5所述的信息处理装置，
其中，所述区域包括所述下位层区域的更下位层区域，并且
其中，当所述下位层区域进入选择状态时，所述显示控制功能显示其至少一部分包括在所述下位层区域中的、所述下位层区域的更下位层区域的称谓语。
7.根据权利要求6所述的信息处理装置，其中，所述命令发布功能发布扩大并显示所述下位层区域的更下位层区域的命令。
8.根据权利要求2所述的信息处理装置，
其中，所述上位层区域对应于所述图像的整个区域，并且
其中，所述下位层区域对应于包括在所述图像中的多个子图像中的每一个的显示区域。
9.根据权利要求8所述的信息处理装置，其中，所述命令发布功能发布如下命令：在所述图像的整个区域内扩大并显示所述多个子图像中的与包括在所述语音输入中的称谓语对应的子图像。
10.根据权利要求2所述的信息处理装置，
其中，所述上位层区域对应于在所述图像的整个区域内所显示的应用图像，并且
其中，所述下位层区域对应于包括在所述应用图像中的GUI组件的区域。
11.根据权利要求2所述的信息处理装置，
其中，所述上位层区域对应于所述图像的整个区域，并且
其中，所述下位层区域对应于在所述图像内所识别的多个对象区域中的每一个。
12.根据权利要求11所述的信息处理装置，其中，所述命令发布功能发布如下命令：使用所述多个对象区域中的与包括在所述语音输入中的称谓语对应的对象区域作为基准来扩大并显示所述图像。
13.根据权利要求2所述的信息处理装置，其中，所述下位层区域整体包括在所述上位层区域中。
14.根据权利要求1所述的信息处理装置，其中，所述称谓语定义功能基于与所述区域有关的设置信息来定义所述称谓语。
15.根据权利要求1所述的信息处理装置，其中，所述称谓语定义功能基于所述区域在所述图像内的位置来定义所述称谓语。
16.根据权利要求1所述的信息处理装置，其中，所述称谓语定义功能基于所述区域的显示形式的时序改变来定义所述称谓语。
17.根据权利要求1所述的信息处理装置，其中，所述显示控制功能在所述显示器上显示包括在所述语音输入中的称谓语。
18.根据权利要求1所述的信息处理装置，其中，所述显示控制功能在所述显示器上显示所发布的命令。
19.一种信息处理方法，包括通过处理器进行：
定义要在显示器上显示的图像的至少部分区域的称谓语；
在所述显示器上显示所述图像并且与所述区域相关联地在所述显示器上暂时显示所述称谓语；
获取针对所述图像的语音输入；以及
当所述称谓语包括在所述语音输入中时发布与所述区域相关的命令。
20.一种程序，使得计算机实现：
称谓语定义功能，定义要在显示器上显示的图像的至少部分区域的称谓语；
显示控制功能，在所述显示器上显示所述图像并且与所述区域相关联地在所述显示器上暂时显示所述称谓语；
语音输入获取功能，获取针对所述图像的语音输入；以及
命令发布功能，当所述称谓语包括在所述语音输入中时发布与所述区域相关的命令。
CN201410315263.1A 2013-07-10 2014-07-03 信息处理装置、信息处理方法和程序 Expired - Fee Related CN104281259B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-144449 2013-07-10
JP2013144449A JP6102588B2 (ja) 2013-07-10 2013-07-10 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN104281259A true CN104281259A (zh) 2015-01-14
CN104281259B CN104281259B (zh) 2018-12-25

Family

ID=51033001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410315263.1A Expired - Fee Related CN104281259B (zh) 2013-07-10 2014-07-03 信息处理装置、信息处理方法和程序

Country Status (4)

Country Link
US (2) US20150019974A1 (zh)
EP (1) EP2824564B1 (zh)
JP (1) JP6102588B2 (zh)
CN (1) CN104281259B (zh)

Cited By (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110100276A (zh) * 2016-12-22 2019-08-06 大众汽车有限公司 语音操作系统的语音输出声音
US10528659B2 (en) 2015-02-18 2020-01-07 Sony Corporation Information processing device and information processing method
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
CN110989893A (zh) * 2019-12-06 2020-04-10 北京金山安全软件有限公司 一种点击操作的响应方法、装置及电子设备
US10681212B2 (en) 2015-06-05 2020-06-09 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US10720160B2 (en) 2018-06-01 2020-07-21 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10741181B2 (en) 2017-05-09 2020-08-11 Apple Inc. User interface for correcting recognition errors
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US10909171B2 (en) 2017-05-16 2021-02-02 Apple Inc. Intelligent automated assistant for media exploration
US10930282B2 (en) 2015-03-08 2021-02-23 Apple Inc. Competing devices responding to voice triggers
US10942703B2 (en) 2015-12-23 2021-03-09 Apple Inc. Proactive assistance based on dialog communication between devices
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant
US12010262B2 (en) 2013-08-06 2024-06-11 Apple Inc. Auto-activating smart responses based on activities from remote devices
US12014118B2 (en) 2017-05-15 2024-06-18 Apple Inc. Multi-modal interfaces having selection disambiguation and text modification capability
US12051413B2 (en) 2015-09-30 2024-07-30 Apple Inc. Intelligent device identification
US12067985B2 (en) 2018-06-01 2024-08-20 Apple Inc. Virtual assistant operations in multi-device environments
US12073147B2 (en) 2013-06-09 2024-08-27 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US12136419B2 (en) 2023-08-31 2024-11-05 Apple Inc. Multimodality in digital assistant systems

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102417682B1 (ko) 2015-09-09 2022-07-07 삼성전자주식회사 음성 인식을 이용한 닉네임 관리 장치 및 방법
JP2017102939A (ja) * 2016-12-26 2017-06-08 株式会社プロフィールド オーサリング装置、オーサリング方法、およびプログラム
JP6942995B2 (ja) 2017-03-31 2021-09-29 ブラザー工業株式会社 情報処理プログラム、情報処理装置、および情報処理装置の制御方法
US11029834B2 (en) * 2017-12-20 2021-06-08 International Business Machines Corporation Utilizing biometric feedback to allow users to scroll content into a viewable display area
CN108538291A (zh) * 2018-04-11 2018-09-14 百度在线网络技术（北京）有限公司 语音控制方法、终端设备、云端服务器及系统
USD987666S1 (en) 2019-09-11 2023-05-30 Ford Global Technologies, Llc Display screen or portion thereof with transitional graphical user interface
US20230135606A1 (en) * 2020-04-27 2023-05-04 Sony Group Corporation Information processing apparatus and information processing method

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4989253A (en) * 1988-04-15 1991-01-29 The Montefiore Hospital Association Of Western Pennsylvania Voice activated microscope
US5970457A (en) * 1995-10-25 1999-10-19 Johns Hopkins University Voice command and control medical care system
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6154723A (en) * 1996-12-06 2000-11-28 The Board Of Trustees Of The University Of Illinois Virtual reality 3D interface system for data creation, viewing and editing
IL119948A (en) * 1996-12-31 2004-09-27 News Datacom Ltd Voice activated communication system and program guide
US6224542B1 (en) * 1999-01-04 2001-05-01 Stryker Corporation Endoscopic camera system with non-mechanical zoom
US6514201B1 (en) * 1999-01-29 2003-02-04 Acuson Corporation Voice-enhanced diagnostic medical ultrasound system and review station
US6545669B1 (en) * 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
JP3980791B2 (ja) * 1999-05-03 2007-09-26 パイオニア株式会社 音声認識装置を備えたマンマシンシステム
US6718308B1 (en) * 2000-02-22 2004-04-06 Daniel L. Nolting Media presentation system controlled by voice to text commands
US6428449B1 (en) * 2000-05-17 2002-08-06 Stanford Apseloff Interactive video system responsive to motion and voice command
JP2002041023A (ja) * 2000-07-06 2002-02-08 Internatl Business Mach Corp <Ibm> コンピュータシステム、表示制御装置、ディスプレイ装置、表示制御方法、記憶媒体及びプログラム伝送装置
JP2002041276A (ja) * 2000-07-24 2002-02-08 Sony Corp 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体
US7136814B1 (en) * 2000-11-03 2006-11-14 The Procter & Gamble Company Syntax-driven, operator assisted voice recognition system and methods
US6508706B2 (en) * 2001-06-21 2003-01-21 David Howard Sitrick Electronic interactive gaming apparatus, system and methodology
US20030005461A1 (en) * 2001-07-02 2003-01-02 Sony Corporation System and method for linking closed captioning to web site
US6882974B2 (en) * 2002-02-15 2005-04-19 Sap Aktiengesellschaft Voice-control for a user interface
JP2004029933A (ja) * 2002-06-21 2004-01-29 Mitsubishi Heavy Ind Ltd 表示制御装置および表示制御方法
JP3702867B2 (ja) * 2002-06-25 2005-10-05 株式会社デンソー 音声制御装置
US7213206B2 (en) * 2003-09-09 2007-05-01 Fogg Brian J Relationship user interface
KR100588042B1 (ko) * 2004-01-14 2006-06-09 한국과학기술연구원 인터액티브 프레젠테이션 시스템
FI20040296A (fi) * 2004-02-25 2005-08-26 Saimaan Ipr Oy Menetelmä ja laite palvelun pyytämiseksi verkossa
US20050195221A1 (en) * 2004-03-04 2005-09-08 Adam Berger System and method for facilitating the presentation of content via device displays
US20050210416A1 (en) * 2004-03-16 2005-09-22 Maclaurin Matthew B Interactive preview of group contents via axial controller
US7624019B2 (en) * 2005-10-17 2009-11-24 Microsoft Corporation Raising the visibility of a voice-activated user interface
JP2007142840A (ja) * 2005-11-18 2007-06-07 Canon Inc 情報処理装置及び情報処理方法
US7792678B2 (en) * 2006-02-13 2010-09-07 Hon Hai Precision Industry Co., Ltd. Method and device for enhancing accuracy of voice control with image characteristic
US8207936B2 (en) * 2006-06-30 2012-06-26 Sony Ericsson Mobile Communications Ab Voice remote control
JP2008277903A (ja) * 2007-04-25 2008-11-13 Sony Corp 撮像装置及びフォーカス対象決定方法
US8340796B2 (en) * 2007-09-10 2012-12-25 Palo Alto Research Center Incorporated Digital media player and method for facilitating social music discovery and commerce
JP2009109587A (ja) * 2007-10-26 2009-05-21 Panasonic Electric Works Co Ltd 音声認識制御装置
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
JP5151644B2 (ja) * 2008-04-16 2013-02-27 ソニー株式会社 リモートコントロールシステム及びリモートコントロール信号処理方法
US20100275122A1 (en) * 2009-04-27 2010-10-28 Microsoft Corporation Click-through controller for mobile interaction
JP2011035771A (ja) * 2009-08-04 2011-02-17 Olympus Corp 撮像装置、編集装置および撮像システム
JP5340895B2 (ja) * 2009-11-24 2013-11-13 株式会社ソニー・コンピュータエンタテインメント 画像データ作成支援装置および画像データ作成支援方法
JP5357068B2 (ja) * 2010-01-20 2013-12-04 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報処理装置、情報処理システム、データ・アーカイブ方法およびデータ削除方法
US8928579B2 (en) * 2010-02-22 2015-01-06 Andrew David Wilson Interacting with an omni-directionally projected display
CN101886833B (zh) * 2010-07-22 2012-06-27 慈溪拓赢电器有限公司 一种采用斜拉杆的小型一体式冷热空调机
US9111255B2 (en) * 2010-08-31 2015-08-18 Nokia Technologies Oy Methods, apparatuses and computer program products for determining shared friends of individuals
CN101950244A (zh) * 2010-09-20 2011-01-19 宇龙计算机通信科技(深圳)有限公司 一种用户界面上的内容信息的提示方法及装置
US9316827B2 (en) * 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
US9122307B2 (en) * 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
KR20120068078A (ko) * 2010-10-26 2012-06-27 삼성전자주식회사 영상 처리 장치 및 그의 영상 데이터와 오디오 데이터의 연결 방법
US20120110456A1 (en) * 2010-11-01 2012-05-03 Microsoft Corporation Integrated voice command modal user interface
JP5636888B2 (ja) * 2010-11-09 2014-12-10 ソニー株式会社 情報処理装置、プログラムおよびコマンド生成方法
US20120260284A1 (en) * 2011-04-07 2012-10-11 Sony Corporation User interface for audio video display device such as tv personalized for multiple viewers
EP3754997B1 (en) * 2011-08-05 2023-08-30 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
JP5326066B1 (ja) * 2011-10-25 2013-10-30 オリンパスメディカルシステムズ株式会社 内視鏡手術システム
CA2781298C (en) * 2011-11-08 2017-01-03 Research In Motion Limited Improved block zoom on a mobile electronic device
GB2501471A (en) * 2012-04-18 2013-10-30 Barco Nv Electronic conference arrangement
US9152295B2 (en) * 2012-06-05 2015-10-06 Apple Inc. Triage tool for problem reporting in maps
US9367959B2 (en) * 2012-06-05 2016-06-14 Apple Inc. Mapping application with 3D presentation
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
US9020825B1 (en) * 2012-09-25 2015-04-28 Rawles Llc Voice gestures
KR20140089847A (ko) * 2013-01-07 2014-07-16 삼성전자주식회사 전자 장치 및 그 제어 방법
US9495266B2 (en) * 2013-05-16 2016-11-15 Advantest Corporation Voice recognition virtual test engineering assistant

Cited By (127)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11979836B2 (en) 2007-04-03 2024-05-07 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US12087308B2 (en) 2010-01-18 2024-09-10 Apple Inc. Intelligent automated assistant
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US12009007B2 (en) 2013-02-07 2024-06-11 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US12073147B2 (en) 2013-06-09 2024-08-27 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US12010262B2 (en) 2013-08-06 2024-06-11 Apple Inc. Auto-activating smart responses based on activities from remote devices
US12118999B2 (en) 2014-05-30 2024-10-15 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US12067990B2 (en) 2014-05-30 2024-08-20 Apple Inc. Intelligent assistant for home automation
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US10528659B2 (en) 2015-02-18 2020-01-07 Sony Corporation Information processing device and information processing method
US10930282B2 (en) 2015-03-08 2021-02-23 Apple Inc. Competing devices responding to voice triggers
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US12001933B2 (en) 2015-05-15 2024-06-04 Apple Inc. Virtual assistant in a communication session
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US10681212B2 (en) 2015-06-05 2020-06-09 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US12051413B2 (en) 2015-09-30 2024-07-30 Apple Inc. Intelligent device identification
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US10942703B2 (en) 2015-12-23 2021-03-09 Apple Inc. Proactive assistance based on dialog communication between devices
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
CN110100276A (zh) * 2016-12-22 2019-08-06 大众汽车有限公司 语音操作系统的语音输出声音
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US10741181B2 (en) 2017-05-09 2020-08-11 Apple Inc. User interface for correcting recognition errors
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US12014118B2 (en) 2017-05-15 2024-06-18 Apple Inc. Multi-modal interfaces having selection disambiguation and text modification capability
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US12026197B2 (en) 2017-05-16 2024-07-02 Apple Inc. Intelligent automated assistant for media exploration
US10909171B2 (en) 2017-05-16 2021-02-02 Apple Inc. Intelligent automated assistant for media exploration
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US12061752B2 (en) 2018-06-01 2024-08-13 Apple Inc. Attention aware virtual assistant dismissal
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US10720160B2 (en) 2018-06-01 2020-07-21 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US12080287B2 (en) 2018-06-01 2024-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US12067985B2 (en) 2018-06-01 2024-08-20 Apple Inc. Virtual assistant operations in multi-device environments
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11360739B2 (en) 2019-05-31 2022-06-14 Apple Inc. User activity shortcut suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
CN110989893A (zh) * 2019-12-06 2020-04-10 北京金山安全软件有限公司 一种点击操作的响应方法、装置及电子设备
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones
US12136419B2 (en) 2023-08-31 2024-11-05 Apple Inc. Multimodality in digital assistant systems

Also Published As

Publication number Publication date
EP2824564B1 (en) 2020-02-05
CN104281259B (zh) 2018-12-25
US10725734B2 (en) 2020-07-28
JP6102588B2 (ja) 2017-03-29
JP2015018365A (ja) 2015-01-29
US20150019974A1 (en) 2015-01-15
EP2824564A1 (en) 2015-01-14
US20190012140A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
CN104281259A (zh) 信息处理装置、信息处理方法和程序
KR101557296B1 (ko) 사용자-정의가능 속성을 갖는 프레젠테이션의 섹션
US8271868B2 (en) Inserting web content into a destination website
US20130239049A1 (en) Application for creating journals
US9323737B2 (en) Generating an interactive page template based on setting a material type and a plurality of input and output signals for a mobile device
US20200073903A1 (en) Method and device of tagging links included in a screenshot of webpage
US11245951B2 (en) Display device and content providing method thereof
US20140245205A1 (en) Keyboard navigation of user interface
US10353988B2 (en) Electronic device and method for displaying webpage using the same
KR102213548B1 (ko) 전자 콘텐츠 저장소로부터 스크린샷을 자동으로 분리 및 선택하기 위한 기법
US9747267B2 (en) Document editing synchronization
CN103810221A (zh) 一种文件的预览方法及装置
KR20150066129A (ko) 디스플레이 장치 및 그의 제어 방법
US10939171B2 (en) Method, apparatus, and computer readable recording medium for automatic grouping and management of content in real-time
KR20140058945A (ko) 디스플레이 장치 및 이의 문자 수정 방법
US9330099B2 (en) Multimedia apparatus and method for providing content
CN106201301B (zh) 移动终端及其控制方法
KR20180017424A (ko) 디스플레이 장치 및 제어 방법
US20140365855A1 (en) Content list management
KR20140141026A (ko) 디스플레이 장치 및 검색 결과를 표시하는 방법.
US10795537B2 (en) Display device and method therefor
KR102519159B1 (ko) 전자 장치 및 그 제어 방법
US20140232751A1 (en) Information display device, method of displaying information, and computer program product
CN115081423A (zh) 文档编辑方法、装置、电子设备及存储介质
US9524078B2 (en) System and method for managing objects in a multimedia container

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181225