CN103021410A

CN103021410A - 信息处理装置、信息处理方法和计算机可读介质

Info

Publication number: CN103021410A
Application number: CN2012102438346A
Authority: CN
Inventors: 樱田瑛子; 繁田修; 佐藤齐昭; 古贺康之; 山本一幸
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-07-22
Filing date: 2012-07-13
Publication date: 2013-04-03
Also published as: JP5790238B2; US9268524B2; JP2013025605A; US20130021362A1

Abstract

本发明涉及一种信息处理装置和一种信息处理方法。根据本发明的信息处理装置包括输入单元、麦克风、控制单元和语音识别单元。输入单元被配置成接收第一类型输入和第二类型输入。麦克风被配置成接收输入声音信号。控制单元被配置成控制显示器以根据输入类型显示反馈。语音识别单元被配置成对输入声音信号执行识别处理。

Description

信息处理装置、信息处理方法和计算机可读介质

相关申请的交叉引用

本申请基于在2011年7月22日提交日本专利局的日本在先专利申请JP 2011-160592并且要求其优先权，其整体内容通过引用合并于此。

技术领域

本技术涉及一种能够执行与语音输入对应的处理的信息处理装置、一种该信息处理装置中的信息处理方法、以及一种在非暂态计算机可读介质上编码的程序。

背景技术

存在能够检测并且识别语音（用户的语音）并且执行与其对应的处理的信息处理装置。例如，日本专利申请公开第2010-217754号描述了一种语音输入装置，其包括测量语音输入装置的角度的角度传感器以及测量到用户的距离的距离传感器，以便基于测量的角度和距离执行语音输入部的开关控制。该语音输入装置在检测到该装置在用户嘴边时进入语音输入模式。

发明内容

上述公布第2010-217754号中描述的技术没有向用户提供作为反馈的、关于语音输入模式是否处于就绪状态的任何信息。由于在没有通过实际输入语音并且执行与其对应的处理来检查处理的执行的情况下，用户不能察觉语音输入模式是否就绪，因此公认该装置不易于操纵。

考虑到上述环境，期望提供一种能够确实地向用户通知语音输入模式就绪的信息处理装置、一种信息处理方法以及一种在计算机可读介质上编码的程序。

在一个实施例中，本发明包括一种装置，其包括输入单元、麦克风、控制单元和语音识别单元。输入单元被配置成接收第一类型输入和第二类型输入。麦克风被配置成接收输入声音信号。控制单元被配置成控制显示器以根据输入类型显示反馈。语音识别单元被配置成对输入声音信号执行识别处理。

根据本技术的另一实施例，提供了一种信息处理方法，其包括：接收第一类型输入和第二类型输入；接收输入声音信号；控制显示器以根据输入类型显示反馈；以及对输入声音信号执行识别处理。

根据本技术的另一实施例，提供了一种信息处理装置，其包括状态检测部、触摸传感器、麦克风和控制部。状态检测部被配置成能够检测信息处理装置的第一状态改变。触摸传感器被配置成能够检测用户的触摸。麦克风被配置成能够将输入到其的用户语音转换成语音信号。控制部被配置成能够执行其中将语音信号识别成文本数据的语音输入模式。此外，控制部被配置成能够在检测到第一状态改变时，生成用于输出指示语音输入模式处于正被准备的状态的第一图像的第一命令。此外，控制部被配置成能够在检测到第一状态改变之后检测到触摸时，生成用于输出指示语音输入模式处于就绪状态的第二图像的第二命令。

因此，由于使用第一图像和第二图像的两步视觉反馈，信息处理装置确实地向用户通知语音输入模式就绪。这里，第一状态改变可以包含信息处理装置的外壳的角度的检测、信息处理装置上的按钮按压的检测、预定触摸式样的检测、以及与信息处理装置周围的第一状态相关的任何其他事件的检测。依据第一命令和第二命令，第一图像和第二图像可由信息处理装置或外部装置呈现。

信息处理装置可以进一步包括通信部，其被配置成能够向外部显示装置传送第一命令和第二命令。

因此，信息处理装置通过使外部显示装置呈现第一图像和第二图像，向用户提供了语音输入模式就绪的事件的改进的视觉反馈的视觉识别。

信息处理装置可以进一步包括外壳。在该情况下，状态检测部可以包括角度传感器，其被配置成能够检测外壳的角度，并且控制部可以被配置成能够在检测到外壳的角度落在预定角度范围内时生成第一命令。

因此，当用户使外壳倾斜到预定角度范围时开始准备语音输入模式，并且信息处理装置允许针对用户的该准备的视觉反馈。预定角度范围被设定成使得当外壳的正面近似竖直时，该范围的中心角度是在外壳的正面和地面之间形成的角度。

第二图像可以是通过修改第一图像的一部分而得到的图像。

因此，信息处理装置允许第二图像与第一图像相关。这使得用户易于掌握从处于正被准备的状态的语音输入模式到处于就绪状态的语音输入模式的改变。这里的“修改一部分”旨在涵盖例如，在第一图像和第二图像之间修改预定区域的颜色或亮度以及在第一图像和第二图像之间修改预定物体的位置或形式，但是不限于这些示例。

控制部可以被配置成能够当在输出第二图像的同时，用户语音被输入到麦克风时，输出用于输出第三图像以替代第二图像的第三命令。

因此，信息处理装置通过进一步的视觉反馈向用户通知语音的输入。

控制部可以被配置成当不再检测到用户触摸时终止语音输入模式。

这允许用户通过仅释放触摸的极为简单和容易的操作来终止语音输入模式。

状态检测部可以被配置成能够检测信息处理装置的第二状态改变。在该情况下，控制部可以被配置成当语音信号正被识别时，当检测到第二状态改变时中断语音信号的识别。

因此，即使当语音信号正被识别时，当检测到第二状态改变时，信息处理装置仍可以取消语音信号的处理。这里的“第二状态改变”旨在涵盖例如，信息处理装置的触摸面板上的用户的轻拂输入操作的检测、用户摇动信息处理装置的外壳的摇动操作的检测、以及用户的预定语音输入的检测，但是不限于这些示例。

信息处理装置可以进一步包括通信部，其被配置成能够与网络上的搜索引擎通信。在该情况下，控制部可以被配置成生成用于输出包含所识别的文本数据的所识别的结果图像的命令。此外，控制部可以被配置成向搜索引擎传送使用所识别的文本数据作为关键词来请求搜索处理的搜索查询。

因此，信息处理装置使用户领会所识别的文本数据并且使搜索引擎根据使用该文本数据作为关键词的搜索查询来执行搜索。

状态检测部可以被配置成能够检测信息处理装置的第二状态改变，并且所识别的结果图像可以包括用于呈现所识别的文本数据的第一区域以及与第一区域不同的第二区域。在该情况下，控制部可以被配置成在识别到第一文本数据时，在第一区域中呈现第一文本数据，并且当在识别到第一文本数据之后的预定时间段内检测到第二状态改变时使第一文本数据从第一区域移动到第二区域。此外，控制部可以被配置成在检测到第二状态改变之后识别到第二文本数据时，在第一区域中呈现第二文本数据，并且在识别到第二文本数据之后的预定时间段内未能检测到第二状态改变时，传送使用第一文本数据和第二文本数据作为关键词来请求搜索处理的搜索查询。

因此，信息处理装置使用户容易地领会，当存在第二状态改变时，通过在第二区域上呈现第一文本数据，将第一文本数据存储在堆栈上，并且使搜索引擎基于第一文本数据和随后识别到的第二文本数据执行所谓的AND（与）搜索处理。这里的“第二状态改变”旨在涵盖例如，信息处理装置的外壳的摇动（往复运动）以及由触摸传感器检测用户的轻拂操作，但是不限于这些示例。

触摸传感器可以包括多个触摸区域，这些触摸区域在与语音输入模式不同的模式中被分配不同的功能。在该情况下，控制部可以被配置成当语音输入模式处于正被准备的状态以及处于就绪状态时禁用被分配给多个触摸区域的功能。

因此，信息处理装置通过使用户的触摸操作仅用作用于执行语音输入模式的命令来防止语音输入模式中的用户操作错误。

触摸传感器可以被配置成能够同时检测对多个点的触摸。在该情况下，控制部可以被配置成在正在检测对多个点的触摸时，即使当检测到第一状态改变时，仍不能生成第一命令。

因此，当用户出于例如，游戏、文本输入或者使用多点触摸的任何其他目的的特定目的而通过多点触摸来操作信息处理装置时，信息处理装置限制语音输入模式的执行。

显示装置可以被配置成能够输出声音。在该情况下，控制部可以被配置成生成用于减小显示装置输出的声音的音量的音量命令，并且使通信部传送音量命令。

因此，信息处理装置通过完全去除从显示装置输出的声音的影响，提供了语音输入模式中的语音识别的改进的准确性。

控制部可以被配置成生成用于输出指示针对麦克风的语音输入的输入水平小于或等于第一值的图像的命令，并且生成用于输出指示针对麦克风的语音输入的输入水平大于第二值的图像的命令。

因此，信息处理装置通过根据用户语音的输入水平调整信息处理装置和用户的嘴之间的距离，提供了语音识别的改进的准确性。

根据本技术的另一实施例，提供了一种信息处理装置，其包括显示部、通信部和控制部。通信部被配置成能够从用户手持的移动设备接收指示检测到移动设备的预定状态改变的状态信息以及指示移动设备的触摸传感器检测到用户的触摸的触摸信息。控制部被配置成能够控制显示部，使得当接收到状态信息时，显示器呈现指示可由移动设备执行的语音输入模式处于正被准备的状态的第一图像。此外，控制部被配置成能够控制显示部，使得当在接收到状态信息之后接收到触摸信息时，显示器呈现指示语音输入模式处于就绪状态的第二图像。

根据本技术的另一实施例，提供了一种用于信息处理装置的信息处理方法，该方法包括检测信息处理装置的预定状态改变。当检测到预定状态改变时，生成用于输出指示语音输入模式处于正被准备的状态的第一图像的第一命令，其中通过转换用户语音给出的语音信号被识别成文本数据。在检测到预定状态改变之后检测用户的触摸。当检测到用户的触摸时，生成用于输出指示语音输入模式处于就绪状态的第二图像的第二命令。

根据本技术的另一实施例，提供了一种在非暂态计算机可读介质上编码的程序，该程序使信息处理装置执行如下步骤：检测信息处理装置的预定状态改变；当检测到预定状态改变时，生成用于输出指示语音输入模式处于正被准备的状态的第一图像的第一命令，其中通过转换用户语音给出的语音信号被识别成文本数据；在检测到预定状态改变之后检测用户的触摸；以及当检测到用户的触摸时，生成用于输出指示语音输入模式处于就绪状态的第二图像的第二命令。

如上文所述，本技术确实地向用户通知语音输入模式处于就绪状态。

附图说明

图1是图示根据本技术的实施例的系统配置的示意图；

图2是上述系统中使用的遥控器的硬件配置的框图；

图3是上述系统中使用的TV的硬件的框图；

图4是图示直到遥控器完成针对语音输入模式的转移的操作流程的流程图；

图5A至5C是图示包括指示语音输入模式处于正被准备的状态的图像以及指示语音输入模式处于就绪状态的图像的图像的一个示例的示意图；

图6A至6C是图示包括指示语音输入模式处于正被准备的状态的图像以及指示语音输入模式处于就绪状态的图像的图像的另一示例的示意图；

图7A至7C是图示包括指示语音输入模式处于正被准备的状态的图像以及指示语音输入模式处于就绪状态的图像的图像的又一示例的示意图；

图8A至8C是图示包括指示语音输入模式处于正被准备的状态的图像以及指示语音输入模式处于就绪状态的图像的图像的再一示例的示意图；

图9是图示在从语音输入模式退出时的遥控器中的操作流程的流程图；

图10是图示在语音输入模式执行的语音搜索处理下的AND搜索处理的流程的流程图；

图11是图示在AND搜索处理下显示的用户接口的一个示例的框图；

图12A至12C以及12C'图示了用于在语音输入模式中借助于曲线表示向用户通知语音输入的响度的处理；

图13A和13B图示了用于在语音输入模式中借助于图标向用户通知语音输入的响度的显示的一个示例；

图14A至14C图示了用于在语音输入模式中借助于图标向用户通知语音输入的响度的显示的另一示例；

图15是图示如何在语音输入模式中去除TV声音的示意图；以及

图16是被配置成在语音输入模式中执行用于去除TV声音的处理的TV的框图。

具体实施方式

在下文中，将参照附图描述本技术的实施例。

根据本申请的一个实施例，提供了一种信息处理装置，其包括：输入单元，被配置成接收第一类型输入和第二类型输入；麦克风，被配置成接收输入声音信号；控制单元，被配置成控制显示器以根据输入类型显示反馈；以及语音识别单元，被配置成对输入声音信号执行识别处理。

根据本申请的另一实施例，提供了一种信息处理方法，其包括：接收第一类型输入和第二类型输入；接收输入声音信号；控制显示器以根据输入类型显示反馈；以及对输入声音信号执行识别处理。

[系统概况]

图1是图示根据本技术的实施例的语音输入系统配置的示意图。

如图1中所示，本系统包括远程命令器100（以下称为遥控器100）和电视机（TV）200。以下描述的遥控器100将用户语音转换成语音信号以便允许执行其中将语音信号识别成字符信息的语音输入模式。在语音输入模式中，在TV200的显示器26上产生了多个图像，包括指示语音输入模式处于正被准备的状态的图像（图标）以及指示语音输入模式处于就绪状态的图像（图标）。

[便携式终端的硬件配置]

图2是上述远程控制器100的硬件配置的框图。如图2中所示，遥控器100具有中央处理单元（CPU）11、触摸传感器（触摸板）12、倾斜传感器13、负责提供通信的通信部14、麦克风15、随机存取存储器（RAM）16、以及闪速存储器17。

CPU11完整地控制遥控器100的每个组成部分并且基于各种程序执行各种操作。作为这些操作的示例，CPU11执行上述的其中将从麦克风15输入的用户语音转换成语音信号的语音输入模式。

触摸传感器12覆盖例如遥控器100的整个表面或者遥控器100的整个正面和背面，并且其检测用户触摸的存在和位置。

倾斜传感器13使用例如加速度计、角速度传感器（陀螺仪）和机械倾角计之一来检测遥控器100的倾斜。当倾斜传感器13使用加速度计时，加速度计可以具有2个轴或3个轴，尽管具有一个轴的加速度计也可以检测倾斜角度。

通信部14通过红外线或无线电波将CPU11生成的命令传送到TV200。通信部14可以被配置成在网络上提供与TV200以外的设备的通信。

麦克风15具有模数转换器等，用于将用户从其话筒输入的语音转换成数字语音信号并且将数字语音信号输出到CPU11。

RAM16是用作CPU11的工作区域的易失性存储器并且临时存储用于CPU11的处理的各种类型的数据和各种程序。

闪速存储器17是用于存储CPU11的处理所需的各种类型的数据和各种程序的非易失性存储器。

[系统的软件配置]

图3是图示由系统（包括遥控器100和TV200）提供的机能（软件）的配置的框图。

如图3中所示，根据本实施例的系统包括输入设备31、传感器输出检测器32、语音输入确定单元33、语音识别单元34和输出设备35。

由触摸传感器12承担其任务的输入设备31接收作为用户的触摸操作的输入。

由倾斜传感器13承担其任务的传感器输出检测器32检测遥控器100的倾斜（角度）。

语音输入确定单元33确定当用户经由麦克风15输入语音时语音输入模式被开启还是关闭（是否能够执行）。

由例如CPU11承担其任务的语音识别单元34在语音输入模式中执行用于将输入内容识别成字符串的处理（语音识别处理）。CPU11自身可以执行语音识别处理或者在将输入语音信号传送到TV200之后使TV200执行处理。此外，连接到遥控器100或TV200的网络上的任何特定服务器可以执行语音识别处理。

由TV200的显示屏幕承担其任务的输出设备35在语音输入模式之前和期间显示各种图形用户接口（GUI）。

可以在语音输入模式期间实际运行的应用软件包括例如，使用网络上的搜索引擎的语音搜索应用软件、语音命令、以及对等（P2P）网络的互联网电话服务。但是不限于这些示例。

[系统的操作]

接下来，说明了遥控器100和TV200如何在如上文配置的语音输入系统中工作。在随后的说明中，遥控器100的CPU11主要用作代理，但是其与遥控器100的其他硬件和软件协作以执行代理的动作。

（变为语音输入模式）

图4是图示直到根据该实施例的遥控器100完成针对语音输入模式的转移的操作流程的流程图。

首先，如图4中所示，CPU11获取由倾斜传感器13检测的遥控器100的角度（步骤41）

随后，CPU11确定检测到的倾斜角度是否落在预定的阈值范围中（步骤42）。换言之，CPU11检测遥控器100是否处于垂直位置状态（处于遥控器100的主平面在竖直方向上延伸的状态）。假设当水平面具有0度时，阈值范围是例如遥控器100的主平面相对水平面的倾斜角度的、从约60度到约90度的范围，但是不限于该示例。

随后，在经过预定时间段（例如，约1秒）之后CPU11使语音输入模式变为正被准备的状态（步骤43）。这里CPU11等待经过预定时间段以便防止倾斜传感器13的颤动。

随后，CPU11生成用于在TV200的显示屏幕26上呈现指示语音输入模式处于正被准备的状态的图标（第一图标）的命令，并且将其传送到TV200（步骤44）。当TV200接收到该命令时，TV200在显示屏幕26上显示第一图标。

随后，CPU11确定触摸传感器12是否检测到用户的触摸（步骤45）。此时，触摸传感器12具有所分配的仅用作开/关按钮的功能，而非用作正常指向设备。因此，即使触摸传感器12具有例如被分配不同功能的多个触摸区域，当语音输入模式处于正被准备的状态或者处于就绪状态时触摸传感器12禁用所有这些功能。

当确定检测到触摸时（是），CPU11使语音输入模式变为就绪状态（步骤46）。通过这一改变，CPU11生成用于在TV200的显示屏幕26上呈现指示语音输入模式处于就绪状态的图标（第二图标）的命令，并且将其传送到TV 200（步骤47）。当TV 200接收到该命令时，TV 200在显示屏幕26上呈现第二图标。

随后，在检测触摸的同时，CPU 11响应于来自用户的输入语音，执行语音输入和识别处理（语音输入模式）（步骤48）。此时，由在TV 200的显示屏幕26上呈现的图标（第三图标）指示语音输入和语音识别状态。

图5A至5C、图6A至6C、图7A至7C以及图8A至8C是图示第一图标、第二图标和第三图标的示例的示意图。在每个图集合中，图5A、6A、7A或8A示出了第一图标，图5B、6B、7B或8B示出了第二图标，并且图5C、6C、7C或8C示出了第三图标，其中根据语音输入模式的状态变化，从第一图标变为第二图标并且随后从第二图标变为第三图标。

在图5A至5C中所示的示例中，图标的颜色改变示出了语音输入模式的状态的不同。换言之，当遥控器100处于垂直位置状态时，具有模仿麦克风的形状的图标呈现在显示屏幕26上作为第一图标。此时，以诸如灰色的预定颜色显示图标。当随后检测到用户触摸时，颜色已改变（例如，变为绿色）的麦克风类型的图标被显示作为第二图标。当随后从麦克风15输入用户的语音时，显示颜色再次改变（例如，变为黄色）的麦克风类型的图标作为第三图标。

在图6A至6C中所示的示例中，图标的大小改变示出了语音输入模式的状态的不同。换言之，具有相对小的尺寸的麦克风类型的图标被呈现为第一图标，并且当检测到用户触摸时，尺寸是第一图标的尺寸的两倍的麦克风类型的图标被呈现为第二图标。随后，尺寸与用户语音的实际响度对应的麦克风类型的图标被呈现为第三图标。例如，当用户的语音相对安静时，第三图标的尺寸小于第二图标，并且当用户的语音相对响亮时，第三图标的尺寸大于第二图标。

在图7A至7C中所示的示例中，图标的颜色浓度改变示出了语音输入模式的状态的不同。换言之，处于半透明状态的麦克风类型的图标被呈现作为第一图标，并且当检测到用户触摸时，处于不透明状态的麦克风类型的图标被呈现作为第二图标。随后，当输入用户语音时，处于较浓状态的麦克风类型的图标被显示作为第三图标。

在图8A至8C中所示的示例中，图标的形状改变示出了语音输入模式的状态的不同。换言之，具有模仿遥控器100的形状的图标被显示作为第一图标，并且当检测到用户触摸时，在从模仿遥控器100的图标改变之后给出的麦克风类型的图标被显示作为第二图标。例如，当存在来自用户的输入语音时，其上具有波状动画的麦克风类型的图标被呈现作为第三图标。波状动画被呈现为具有从其中心向外散布的波纹。波状动画可用作指示符，数目变化的波纹反映用户语音的响度。

（从语音输入模式退出）

图9是图示在从语音输入模式退出时的遥控器100中的操作流程的流程图。

首先，如图9中所示，CPU 11确定是否未检测到用户触摸（步骤91），并且当确定未检测到用户触摸时（时），CPU 11退出或者终止语音输入模式（步骤92）。此外，当在不再检测到用户触摸之后确定遥控器100的角度落在预定角度范围外部时，CPU 11可以退出语音输入模式。

这里，CPU 11确定是否存在任何正被分析（正被识别）的用户输入的语音（步骤93）。当确定不存在正被分析的语音时（否），CPU 11终止处理。

当确定存在正被分析的语音时（时），CPU 11确定是否存在任何中断分析处理的输入命令（步骤94）。可被视为这样的命令的是：例如，用户在触摸传感器12上的在预定方向上（例如，到左手侧）的轻拂输入操作、用户水平地或竖直地摇动遥控器100的摇动操作、或者用户输入预定类型的语音（例如，用于中断语音输入模式的“中断”、“停止”和任何其他命令）。就是说，该命令使得发生遥控器100的某种状态改变。在该情况下，遥控器100变为用于接收分析处理中断的特殊模式。

当确定存在用于中断分析处理的命令输入时（是），CPU 11中断分析处理（步骤95）并且终止处理。

另一方面，当确定不存在用于中断分析处理的命令输入时（否），CPU11保持执行语音的分析处理（步骤96）并且根据分析结果进行工作（步骤97）。

（AND搜索处理）

如前文所述，存在作为可以在语音输入模式中执行的一个应用的语音搜索。图10是图示在语音输入模式执行的语音搜索处理下的AND搜索处理的流程的流程图。

如图10中所示，CPU 11首先通过上述语音识别处理来识别用户输入的语音指示的字符串（步骤101）。

随后，CPU 11向TV 200传送用于在识别结果显示区域中呈现所识别的字符串的命令（步骤102）。

图11是图示在AND搜索处理下显示的用户接口的一个示例的框图。如图11中所示，当TV 200接收到命令时，在TV 200的显示屏幕26上的AND搜索处理下的用户接口的识别结果显示区域111中呈现所识别的字符串。

随后，CPU 11确定在预定时间段内是否检测到用户的预定动作（步骤103）。这里被视为预定动作的是：用户摇动遥控器100的操作、用户在触摸传感器12上的向右的轻拂输入操作、或者具有与上述的用户摇动遥控器100相同的意图的用户对遥控器100的任何其他动作。但是预定动作不限于这些示例。

当确定在预定时间段内未检测到预定动作时（否），CPU 11在网络上向搜索引擎传送使用识别结果显示区域111内的字符串作为搜索关键词的查询（步骤105）。可以从遥控器100经由TV 200向相关联的搜索引擎传送查询，或者可以在不通过TV 200的情况下直接传送查询。

另一方面，当确定在预定时间段内检测到预定动作时（是），CPU 11向TV 200传送用于将呈现在识别结果显示区域111中的所识别的字符串移动到预留区域的命令（步骤104）。

图11中所示，呈现在显示屏幕26的识别结果显示区域111中的字符串移动到设置在识别结果显示区域111的右手侧的预留区域112，并且由于TV 200接收到上述命令，因此该字符串呈现在预留区域112中。当确定检测到与预定动作不同（相反）的用户动作（例如，向左轻拂）时，CPU 11可以取消（删除）呈现在识别结果显示区域111中的字符串的输入。

随后，CPU 11等待预定的时间段以确定是否发生预定动作，并且当确定不存在这样的动作时，CPU 11通过使用识别结果显示区域111中显示的字符串和预留区域112中显示的字符串作为关键词，向搜索引擎传送关于AND搜索的查询（步骤105）。从搜索引擎接收到的搜索结果呈现在显示屏幕26上。

这样，遥控器100使识别结果显示区域111和预留区域112呈现基于用户动作的字符串，使得用户易于在语音输入模式中执行AND搜索处理。

[结论]

根据本实施例，如上文说明的，遥控器100使得可以基于遥控器100的预定状态改变，显示指示语音输入模式处于正被准备的状态的图标（第一图标）以及指示语音输入模式处于就绪状态的图标（第二图标）。因此，遥控器100使得用户易于掌握语音输入模式的状态以及语音输入模式的状态改变。

[修改]

本技术不仅限于以上描述的实施例，并且应当理解，在不偏离本公开的要旨的情况下可以进行各种改变。

（响度的视觉反馈）

在上述实施例中，可以以视觉方式向用户通知要输入的用户语音较之适合语音识别的响度过于响亮还是过于安静。在下文中，详细说明了该处理。

图12A至12C以及12C'图示了用于借助于曲线表示向用户通知响度的处理。

对于响度的曲线表示，例如如下方式的语音处理较之实时地表示语音改变的动画是更为理想的（具有良好的跟踪），语音时时刻刻都在改变。

首先，使用绝对值处理（使用函数ABS的处理），CPU 11将通过转换用户的语音给出的原始语音信号的图12A中所示的波形转换成图12B中所示的正的标量。这里，使用二乘处理替代绝对值处理，可以将语音信号转换成正的标量。

此外，CPU 11在绝对值处理之后执行用于使语音信号平滑的处理。如图12中所示，可以看到使用低通滤波器用于使信号平滑。可以设想通过如下方式执行信号平滑，使得存在如图12C'中所示的从峰值开始的值的逐渐下降：如果语音水平的当前值大于语音水平的先前值，则将该值设定成当前值，并且如果当前值小于某个时间点的先前值，则将通过从语音水平的当前值中减去预定值而获得的值设定成语音水平的当前值。

通过在TV200的显示屏幕26上显示的图12C或12C＇中示出的曲线表示，CPU 11允许用户在了解他/她自身的语音过于响亮或过于安静之后调整语音的响度。

CPU 11可以通过图标显示语音的响度。图13A和13B以及图14A至14C图示了用于借助于图标向用户通知语音的响度的显示的示例。

如图13A中所示，当用户的语音过于响亮（针对麦克风15的语音输入水平大于预定的第一阈值）时，CPU 11向TV200传送用于呈现通过提取如图5A至8C中所示的麦克风类型的图标的放大形式的一部分而获得的图标的命令。由于所显示的麦克风图标如此之大以致不能看见全部，这使得用户理解他/她自身的语音过于响亮。

另一方面，如图13B中所示，当用户的语音过于安静（针对麦克风15的语音输入水平小于或等于预定的第二阈值，第二阈值小于第一阈值）时，CPU 11向TV200传送用于呈现通过在尺寸上缩小麦克风类型的图标而获得的图标的命令。替代前述方案，CPU 11可以使得显示从半透明的麦克风类型的图标或者具有浅颜色的麦克风类型的图标得到的图标。由于麦克风类型的图标的尺寸缩小，这使得用户理解他/她自身的语音过于安静。

此外，如图14A至14C中所示，CPU 11可以通过突出显示在麦克风类型的图标的上方显示的波纹的一个部分来向用户通知响度。

具体地，当针对麦克风15的语音输入水平大于第一阈值时，CPU 11向TV 200传送用于呈现最外侧波纹被突出显示的麦克风类型的图标的命令。检验该显示使得用户理解他/她自身的语音过于响亮。

此外，当针对麦克风15的语音输入水平小于或等于第二阈值时，CPU11向TV 200传送用于呈现最内侧波纹被突出显示的麦克风类型的图标的命令。检验该显示使得用户理解他/她自身的语音过于安静。

另一方面，当针对麦克风15的语音输入水平大于第二阈值但是小于或等于第一阈值时，CPU 11向TV 200传送用于呈现中间的侧波纹被突出显示的麦克风类型的图标的命令。检验该显示使得用户理解他/她自身的语音具有适当的响度。

（去除TV声音）

在上述实施例中，在语音输入模式正被执行的同时，语音的输入状态被显示在TV 200的显示屏幕26上。现在，如果从TV 200输出某种声音，则除了用户的语音之外，麦克风15还拾取TV声音，使得应考虑识别精度可能下降的可能性。这样，TV 200可以具有在语音输入模式中去除TV声音的功能。

图15是图示如何在语音输入模式中去除TV声音的示意图，并且图16是被配置成在语音输入模式中执行用于去除TV声音的处理的TV 200的框图。

如图16中所示，除了显示屏幕26之外，TV 200包括处理器21、噪声消除器22、接收器23、麦克风24和扬声器25。

处理器21整体上控制TV 200的每个模块。当满足预定条件时，噪声消除器22去除输入到麦克风24的声音。接收器23从遥控器100接收各种命令并且从各个传感器接收值。扬声器25输出处理器21生成的语音。

当遥控器100的CPU 11使用倾斜传感器13的输出等检测到用户已将遥控器100保持在垂直位置（在预定的角度移动之后）时，CPU 11向TV 200传送用于接通TV 200的麦克风24的命令。

另一方面，当TV 200接收到上述命令时，TV 200的处理器21接通麦克风24并且启动噪声消除器22。

随后，处理器21使噪声消除器22去除作为噪声的、从扬声器25输出到麦克风24的声音。因此，可以认为，从遥控器100传送到TV 200的命令是用于接通麦克风24的命令，同时是减小TV 200输出的声音的音量的命令。

由于在语音输入模式中去除了来自TV 200的扬声器25的所有声音，因此这去除了对遥控器100中的语音识别处理的不利影响。

（其他修改）

在上述实施例中，遥控器100使用倾斜传感器13的输出使语音输入模式的状态变为正被准备的状态。然而，作为倾斜传感器13的替代，遥控器100可以包括用于检测从遥控器100到用户的嘴的距离的距离传感器（红外传感器），用于在检测到的距离变得小于或等于预定值（例如，约3cm至约10cm）时，使语音输入模式的状态变为正被准备的状态。

相似地，遥控器100可以包括用于拍摄用户的嘴的相机，以替代倾斜传感器13，用于在所拍摄的用户的嘴大于预定尺寸时，使语音输入模式的状态变为正被准备的状态。

换言之，通过用于检测遥控器100的某种状态改变的状态检测部，遥控器100可以使语音输入模式变为正被准备的状态。

此外，通过具有用于拍摄用户和遥控器100的状态的相机的TV 200，遥控器100可以使用倾斜传感器13的检测值和相机拍摄的照片来执行保持在其垂直位置的遥控器100的鲁棒性检测。

在前面描述的实施例中，使用倾斜传感器13的检测值以及触摸传感器12的检测是否存在来改变语音输入模式。然而，使用硬件按钮和GUI图标替代这些传感器，用户可以主动改变语音输入模式。

在前面描述的实施例中，当倾斜传感器13检测到遥控器100保持在垂直位置时，遥控器100使语音输入模式变为正被准备的状态。然而，可以考虑，当例如用户使用遥控器100作为游戏控制器时，使用用户双手的手指将遥控器100保持在其垂直位置。因此，遥控器100可以执行控制，使得在其中检测到触摸传感器12的多个点上的触摸（检测到多点触摸）的情况下，即使在倾斜传感器13的检测值落在阈值范围中时，仍不会使语音输入模式变为正被准备的状态。

在前面描述的实施例中，TV 200的处理器21可以承担由遥控器100的CPU 11执行的各种处理的至少一部分。例如，对于确定倾斜传感器13的检测值是否落在预定阈值范围中的处理（图4中的步骤42），在经过预定时间段之后使语音输入模式变为正被准备的状态的处理（图4中的步骤43）、基于触摸传感器12的检测使语音输入模式变为就绪状态的处理（图4中的步骤46），以及与语音输入模式紧密关联的任何其他处理，遥控器100仅向TV 200传送每个传感器的输出并且处理器21可以执行实际处理。

在前面描述的实施例中，如图2中所示配置的遥控器100被示出为用于执行语音输入模式的信息处理装置。然而，可以使用任一个或所有可用的其他便携式信息处理装置，包括移动电话、智能电话、便携式音频播放器和手持游戏终端，来替代遥控器100。在先前描述的实施例中，TV 200被示出为当语音输入模式正被执行时向用户提供视觉反馈的装置，但是可以使用任一个或所有可用的信息处理装置，包括个人计算机（PC）、个人视频记录器（PVR）和游戏机，来替代TV 200。

在前面描述的实施例中，描述了其中执行语音输入模式的信息处理装置（遥控器100）和当语音输入模式正被执行时提供语音输入模式的改变状态的视觉反馈的信息处理装置（TV 200）是分离的示例。然而，允许一个信息处理装置替代这两个信息处理装置，用于执行语音输入模式以及提供语音输入模式的改变状态的视觉反馈。换言之，如果遥控器100具有显示器，则当语音输入模式正被执行时，第二或第三阶段的视觉反馈可以呈现在该显示器上。在该情况下，遥控器100的CPU 11生成用于呈现第一至第三图标并且使其自身的显示器呈现这些图标的各种命令。

[更多描述]

本技术被认为涵盖如下信息处理装置。

（1）一种装置，包括：

输入单元，被配置成接收第一类型输入和第二类型输入；

麦克风，被配置成接收输入声音信号；

控制单元，被配置成控制显示器以根据输入类型显示反馈；以及

语音识别单元，被配置成对输入声音信号执行识别处理。

（2）根据（1）所述的装置，其中所述控制单元基于作为来自用户的触摸输入的所述第一类型输入来控制所述显示器显示反馈。

（3）根据（2）所述的装置，其中所述控制单元基于来自用户的所述第一类型输入来控制所述显示器显示输入模式的指示。

（4）根据（3）所述的装置，其中所述控制单元通过改变图标的颜色来控制所述显示器显示输入模式的指示。

（5）根据（3）所述的装置，其中所述控制单元通过改变图标的大小来控制所述显示器显示输入模式的指示。

（6）根据（3）所述的装置，其中所述控制单元通过改变图标的不透明度来控制所述显示器显示输入模式的指示。

（7）根据（3）所述的装置，其中所述控制单元通过改变图标的形状来控制所述显示器显示输入模式的指示。

（8）根据（3）所述的装置，进一步包括：

倾斜传感器，被配置成确定所述装置的倾斜角度。

（9）根据（8）所述的装置，其中所述控制单元基于作为所述倾斜传感器检测到的倾斜角度的所述第二类型输入，使输入模式从第一模式变为第二模式。

（10）根据（9所述的装置，其中所述控制单元基于所述第一类型输入，使输入模式从所述第二模式变为第三模式。

（11）根据（10）所述的装置，其中在输入模式从所述第二模式变为所述第三模式之后，所述语音识别单元对输入声音信号执行识别处理。

（12）根据（11）所述的装置，其中所述控制单元控制所述显示器在所述显示器上的第一区域中显示由所述语音识别单元识别的文本。

（13）根据（12）所述的装置，其中当在预定时间段内检测到用户动作时，所述控制单元控制所述显示器将所述第一区域中的文本移动到第二区域中。

（14）根据（13）所述的装置，其中如果在所述预定时间段内未检测到用户动作，则所述控制单元对所述第一区域和所述第二区域中的文本执行搜索查询。

（15）根据（1）至（14）所述的装置，其中所述控制单元基于来自用户的输入声音信号来控制所述显示器显示反馈。

（16）根据（15）所述的装置，其中所述控制单元控制所述显示器显示输入声音信号过大、过小和适当之一的指示。

（17）根据（16）所述的装置，其中所述控制单元通过改变图标的形状来控制所述显示器显示输入声音信号过大、过小和适当之一的指示。

（18）根据（16）所述的装置，其中所述控制单元通过改变图标的突出显示部分来控制所述显示器显示输入声音信号过大、过小和适当之一的指示。

（19）一种方法，包括：

接收第一类型输入和第二类型输入；

接收输入声音信号；

控制显示器以根据输入类型显示反馈；以及对输入声音信号执行识别处理。

（20）一种被编码为具有程序的非暂态计算机可读介质，所述程序当被加载在处理器上时使所述处理器执行包括如下步骤的方法：

接收第一类型输入和第二类型输入；

接收输入声音信号；

控制显示器以根据输入类型显示反馈；以及

对输入声音信号执行识别处理。

本领域技术人员应当理解，在所附权利要求或其等同物的范围内，可以根据设计需要和其他因素进行各种修改、组合、子组合和变更。

Claims

1.一种信息处理装置，包括：

输入单元，被配置成接收第一类型输入和第二类型输入；

麦克风，被配置成接收输入声音信号；

语音识别单元，被配置成对输入声音信号执行识别处理。

2.根据权利要求1所述的信息处理装置，其中所述控制单元基于作为触摸输入的所述第一类型输入以及作为来自用户的倾斜输入的所述第二类型输入来控制所述显示器显示反馈。

3.根据权利要求2所述的信息处理装置，其中所述控制单元基于来自用户的所述第一类型输入来控制所述显示器显示输入模式的指示。

4.根据权利要求3所述的信息处理装置，其中所述控制单元通过改变图标的颜色来控制所述显示器显示输入模式的指示。

5.根据权利要求3所述的信息处理装置，其中所述控制单元通过改变图标的大小来控制所述显示器显示输入模式的指示。

6.根据权利要求3所述的信息处理装置，其中所述控制单元通过改变图标的不透明度来控制所述显示器显示输入模式的指示。

7.根据权利要求3所述的信息处理装置，其中所述控制单元通过改变图标的形状来控制所述显示器显示输入模式的指示。

8.根据权利要求3所述的信息处理装置，进一步包括：

倾斜传感器，被配置成确定所述装置的倾斜角度。

9.根据权利要求8所述的信息处理装置，其中所述控制单元基于作为所述倾斜传感器检测到的倾斜角度的所述第二类型输入，使输入模式从第一模式变为第二模式。

10.根据权利要求9所述的信息处理装置，其中所述控制单元基于所述第一类型输入，使输入模式从所述第二模式变为第三模式。

11.根据权利要求10所述的信息处理装置，其中在输入模式从所述第二模式变为所述第三模式之后，所述语音识别单元对输入声音信号执行识别处理。

12.根据权利要求11所述的信息处理装置，其中所述控制单元控制所述显示器在所述显示器上的第一区域中显示由所述语音识别单元识别的文本。

13.根据权利要求12所述的信息处理装置，其中当在预定时间段内检测到用户动作时，所述控制单元控制所述显示器将所述第一区域中的文本移动到第二区域中。

14.根据权利要求13所述的信息处理装置，其中如果在所述预定时间段内未检测到用户动作，则所述控制单元对所述第一区域和所述第二区域中的文本执行搜索查询。

15.根据权利要求1所述的信息处理装置，其中所述控制单元基于来自用户的输入声音信号来控制所述显示器显示反馈。

16.根据权利要求15所述的信息处理装置，其中所述控制单元控制所述显示器显示输入声音信号过大、过小和适当之一的指示。

17.根据权利要求16所述的信息处理装置，其中所述控制单元通过改变图标的形状来控制所述显示器显示输入声音信号过大、过小和适当之一的指示。

18.根据权利要求16所述的信息处理装置，其中所述控制单元通过改变图标的突出显示部分来控制所述显示器显示输入声音信号过大、过小和适当之一的指示。

19.一种信息处理方法，包括：

接收第一类型输入和第二类型输入；

接收输入声音信号；

控制显示器以根据输入类型显示反馈；以及

对输入声音信号执行识别处理。

20.一种被编码为具有程序的非暂态计算机可读介质，所述程序当被加载在处理器上时使所述处理器执行包括如下步骤的方法：

接收第一类型输入和第二类型输入；

接收输入声音信号；

控制显示器以根据输入类型显示反馈；以及

对输入声音信号执行识别处理。