CN101968696A

CN101968696A - 感应用于操作触摸板的动作的类型

Info

Publication number: CN101968696A
Application number: CN2010102338974A
Authority: CN
Inventors: 近藤真生; 泽井邦仁; 大场晴夫; 森荣二郎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-07-27
Filing date: 2010-07-20
Publication date: 2011-02-09
Also published as: US20110018825A1; TW201118683A; EP2280337A3; JP2011028555A; EP2280337A2

Abstract

本发明关于感应用于操作触摸板的动作的类型。设备和方法涉及触摸板和感应用于操作触摸板的动作的类型的传感器。传感器可以是感应由接触触摸板的物体引起的振动的振动传感器。传感器可以与触摸板相分离。

Description

感应用于操作触摸板的动作的类型

技术领域

本发明涉及感应用于操作触摸板的动作的类型。

背景技术

近年来，出现了许多其上安装有触摸板的小型电子装置和自动交易装置，其中触摸板供用户直接接触显示屏来对显示在屏幕内的对象进行操作。触摸板的使用可以提供以下优点：例如实现了直观操作并且使得即使不熟悉键盘或小键盘的用户也能够容易地执行操作。最近出现了一些电子装置，其中通过用户操作其触摸板，使得显示在屏幕内的显示对象移动或者通过这种移动操作来执行预定处理。

用在通常可买到的信息处理设备中的指向装置(诸如鼠标)具有两个按钮，其中每个按钮被指派不同的功能。触摸板通常由诸如触笔和手指的操作体操作，并且近年来，尝试将不同的功能(例如那些指派给鼠标的两个按钮的功能)指派给由操作体执行的操作。例如，日本专利申请公报No.2004-213312公开了能够在根据与触摸板接触的操作体的接触面积而彼此不同的功能之间转换的技术。

发明内容

然而，在日本专利申请公报No.2004-213312中公开的技术中，根据触摸板与操作体之间的接触面积来进行功能转换，因此，存在由于触摸板的尺寸变得更小而变得更难以执行操作的问题。此外，在将手指用来执行操作时，存在因为每个人的手指厚度不同而产生个人之间的操作性的差别的问题。

考虑到上述内容，期望提供使得有可能容易地在功能之间转换而不考虑触摸板的尺寸的信息处理设备以及信息处理方法。

一些实施例涉及包括触摸板以及与触摸板分离的传感器的设备，其中传感器感应用于操作触摸板的动作的类型。

在一些方面，传感器包括振动传感器。

在一些方面，振动传感器感应由接触触摸板的物体引起的振动。

在一些方面，振动传感器定位在设备内、触摸板下方。

在一些方面，设备还包括处理器，该处理器从传感器接收信号并且根据该信号来判断执行的操作的类型。

在一些方面，信号是第一信号，并且传感器是第一振动传感器，并且设备还包括产生第二信号的第二振动传感器。处理器可以基于第二信号来从第一信号移除噪音成分。

在一些方面，传感器是振动传感器，并且处理器根据由振动传感器感应到的振动的类型来判断执行的操作的类型。

在一些方面，处理器基于信号的频率成分来判断执行的操作的类型。

在一些方面，处理器通过在信号上执行傅里叶变换并且分析傅里叶变换的结果来判断执行的操作的类型。

在一些方面，处理器根据用于操作触摸板的动作的类型来执行不同的操作。

在一些方面，处理器在物体的第一部分接触触摸板时执行第一类型的操作，并且在物体的第二部分接触触摸板时执行第二类型的操作。

在一些方面，处理器在手指的第一部分接触触摸板时执行第一类型的操作，并且在手指的第二部分接触触摸板时执行第二类型的操作。

在一些方面，设备还包括在触摸板的区域内的显示部分。

一些实施例涉及一种方法，包括使用与触摸板分离的传感器，来感应用于操作触摸板的动作的类型。

在一些方面，使用振动传感器来感应用于操作触摸板的动作的类型。

在一些方面，方法还包括根据所感应到的操作的类型来判断执行的操作的类型。

在一些方面，使用振动传感器来感应用于操作触摸板的动作的类型，并且根据由振动传感器感应到的振动的类型来判断操作的类型。

在一些方面，基于由振动传感器产生的信号的频率成分来判断操作的类型。

在一些方面，通过在信号上执行傅里叶变换并且分析傅里叶变换的结果来判断操作的类型。

在一些方面，方法还包括根据用于操作触摸板的动作的类型来执行不同的操作。

在一些方面，在物体的第一部分接触触摸板时执行第一类型的操作，并且在物体的第二部分接触触摸板时执行第二类型的操作。

在一些方面，在手指的第一部分接触触摸板时执行第一类型的操作，并且在手指的第二部分接触触摸板时执行第二类型的操作。

在一些方面，方法还包括将图像显示在触摸板的区域内。

一些实施例涉及一种设备，包括触摸板以及振动传感器，所述振动传感器感应用于操作所述触摸板的动作的类型。

在一些方面，振动传感器感应由接触所述触摸板的物体引起的振动。

在一些方面，振动传感器定位在设备内、触摸板下方。

在一些方面，设备还包括处理器，该处理器从振动传感器接收信号并且根据该信号来判断执行的操作的类型。

在一些方面，信号是第一信号，并且振动传感器是第一振动传感器，并且设备还包括产生第二信号的第二振动传感器。处理器可以基于第二信号来从第一信号移除噪音成分。

在一些方面，处理器根据由振动传感器感应到的振动的类型来判断执行的操作的类型。

在一些方面，设备还包括在触摸板的区域内的显示部分。

一些实施例涉及一种方法，包括使用振动传感器来感应用于操作触摸板的动作的类型。

在一些方面，方法还包括根据所感应到的动作的类型来判断执行的操作的类型。

在一些方面，根据由振动传感器感应到的振动的类型来判断操作的类型。

在一些方面，方法还包括将图像显示在触摸板的区域内。

如上所述，根据本发明的实施例，根据由对定位在触摸板上的操作体进行操作而引起的振动来识别操作体的类型，因此不管触摸板的尺寸如何，都可以容易地转换功能。

附图说明

图1是用于示出根据本发明的第一实施例的信息处理设备的俯视图；

图2是用于示出根据实施例的信息处理设备的、沿着剖线A-A取的截面图；

图3是用于示出根据实施例的信息处理设备的说明图；

图4是用于示出根据实施例的信息处理设备的硬件构造的说明图；

图5A是用于示出在根据实施例的信息处理设备中使用的操作体的说明图；

图5B是用于示出在根据实施例的信息处理设备中使用的操作体的说明图；

图6是用于示出根据实施例的信息处理设备的构造的框图；

图7是用于示出根据实施例的移动方向检测单元的说明图；

图8是用于示出根据实施例的移动方向检测单元的说明图；

图9是用于示出根据实施例的操作体类型识别单元的说明图；

图10是用于示出根据实施例的应用控制单元的说明图；

图11是用于示出根据实施例的应用控制单元的说明图；

图12是用于示出根据实施例的应用控制单元的说明图；

图13是用于示出根据实施例的应用控制单元的说明图；

图14是用于示出根据实施例的应用控制单元的说明图；

图15是用于示出根据实施例的应用控制单元的说明图；以及

图16是用于示出根据实施例的信息处理方法的说明图。

具体实施方式

下文中，将要参照附图详细描述本发明的优选实施例。注意，在说明书和附图中，具有基本相同的功能和结构的结构元件由相同的附图标记表示并且省略这些结构元件的重复解释。

将要按照以下顺序进行说明。

(1)第一实施例

(1-1)关于信息处理设备的整体构造

(1-2)关于信息处理设备的硬件构造

(1-3)关于信息处理设备的构造

(1-4)关于信息处理方法

(2)总结

(第一实施例)

<关于信息处理设备的整体构造>

首先，将要参照图1到图3详细说明根据本发明的第一实施例的信息处理设备的整体构造。图1是用于示出根据本发明的第一实施例的信息处理设备的俯视图。图2是根据本实施例的信息处理设备沿着剖线A-A取的截面图。图3是用于示出根据本实施例的信息处理设备的说明图。

首先，将要参照图1和图2说明根据本实施例的信息处理设备的整体构造。

例如，如图1所示，根据本实施例的信息处理设备10具有触摸板101。该触摸板101显示各种类型的信息，诸如文字信息和图像信息。显示在触摸板101上的多种多样的信息响应于触摸板101的触摸或移动而受到预定处理(诸如滚动)。触摸板101的示例可以包括电阻膜型触摸板、电容触摸板和光学触摸板。除了上述触摸板之外，能够感应操作体12的接触的触摸板(诸如用于声学脉冲识别法的触摸板)也可以被用作触摸板101。

信息处理设备10不仅执行特定的处理，诸如对应于操作体12的接触或移动来选择对象或移动所显示的内容。例如，当操作体12与触摸板101接触的状态下在画出预定轨迹的同时而移动时，信息处理设备10执行与由操作体12所描绘出的轨迹相对应的预定处理。即，信息处理设备10具有手势输入功能。例如，在输入预定手势时，激活与手势相关联的应用或者执行与手势相关联的预定操作。

例如将用户的手指用作操作体12。此外，例如有时将触笔或触摸笔用作操作体12。此外，在触摸板101是光学型时，任何物体可以是操作体12。

显示面板103设置在触摸板101下方(在图2中的z轴的负方向那一侧)，使得用户可以通过触摸板101观看显示在显示面板103上的内容。此外，在图2中，触摸板101和显示面板103分离地构造，但是它们可以以集成的方式构造为具有触摸板的功能。

此外，振动传感器105设置在显示面板103的下部。振动传感器105可以检测在触摸板101上通过操作体12进行的操作而引起的振动。这里，在触摸板101上通过操作体12进行的操作而引起的振动可以是在触摸板101上通过操作体12进行的操作而引起的声音。在这种情况下，振动传感器105可以是检测由空气振动引起的声音的话筒。可选择地，上述振动可以是通过操作体12在触摸板101上进行操作而引起的触摸板101自身的振动。

这里，设置振动传感器105的位置不限于图2中示出的位置。振动传感器105可以设置在声学吸收材料109附近，使得振动传感器105与触摸板101相接触。在触摸板101是用于声学脉冲识别法的触摸板的情况下，可以使用预先设置在该触摸板上的振动传感器。

此外，如图1和图2所示，声学吸收材料109设置在触摸板101与壳体107之间，使得在触摸板101之外的位置(诸如壳体107)处产生的振动(例如，声音)不由振动传感器105感应到。

此外，如图1和图2所示，声音收集单元111形成在壳体107的一部分中。话筒113可以设置在声音收集单元111的下方。通过使用该话筒113收集的振动作为表示外部噪音的振动成分，变得有可能从由振动传感器105感应的振动中移除噪音成分。

注意，装备有触摸板101的信息处理设备10的构造可以例如如图3所示地改变。在图3的示例中，分开地构造构成信息处理设备10的触摸板和运算处理装置121，其中运算处理装置121用于处理由触摸板101检测的操作体12的位置信息等。在该构造示例的情况下，通过运算处理装置121对按照对象的选择或显示内容的移动而产生的数据进行处理。因此，可以根据实施的情况来自由地修改信息处理设备10的构造。

此外，例如通过便携式信息终端、手机、便携式游戏机、便携式音乐播放器、广播设备、个人计算机、车辆导航系统或者智能家庭应用等来实现信息处理设备10的功能。

<关于信息处理设备的硬件构造>

之后，将要参照图4描述根据本发明的实施例的信息处理设备的硬件构造。图4是用于示出根据本发明的实施例的信息处理设备10的硬件构造的说明图。

如图4所示，根据本实施例的信息处理设备10例如可以主要包括处理器901、输入装置903、记录装置911和输出装置913。

处理器901例如由CPU(中央处理器)、ROM(只读存储器)、RAM(随机存取存储器)等构成。包括在处理器901中的CPU具有运算处理装置和控制装置的功能，并且根据记录在ROM、RAM或下文中描述的可移动记录介质911上的各种类型的程序来控制信息处理设备10内的全部或部分操作。ROM在其中对由CPU使用的程序、计算参数等进行存储。RAM主要在其中对由CPU执行的程序、在执行过程中适当改变的参数等进行存储。它们经由由诸如CPU总线的内部总线构成的主线来相互连接。

输入装置903是由用户操作的输入装置(诸如触摸板905、鼠标、键盘、按钮、开关和控制杆等)。此外，输入装置903可以是使用红外线或其它无线电波的远程控制装置(所谓的遥控器)或者例如可以是适合于操作信息处理设备10的外部连接的装置(诸如手机或PDA)。此外，输入装置903还包括具有振动传感器功能的话筒907以及噪音消除话筒909。例如，输入装置903基于使用上述输入装置输入的信息产生输入信号。通过操作输出到CPU的输入装置903，可以将各种数据输入到信息处理设备10或者将操作指令提供给信息处理设备10。

记录装置911是构造为信息处理设备10的存储单元的示例的数据存储装置。记录装置911例如由磁性存储装置(诸如HDD(硬盘驱动器))、半导体存储装置、光学存储装置或磁光学存储装置构成。该记录装置911在其中存储由CPU执行的程序以及各种数据以及从外部获得的各种数据。

输出装置913例如由能够视觉地或听觉地通知用户所获取的信息的装置构成。这种装置的示例是显示单元(诸如CRT显示装置、液晶显示装置、等离子显示装置、EL显示装置和灯)以及音频输出装置(诸如扬声器和耳机)、印刷装置和手机。输出装置913例如输出由通过信息处理设备10执行的各种处理而获得的结果。特别地，显示装置以文字或图像的形式显示由通过信息处理设备10执行的各种处理而获得的结果。另一方面，音频输出装置将音频信号(由再现的声音数据以及声学数据等组成)转换为模拟信号并将它们输出。

此外，除了上述装置之外，信息处理设备10可以包括驱动器、连接端口或通信装置等。

驱动器是用于记录介质的读取器/写入器，并且内置或外部连接到信息处理设备10。驱动器读出记录在所连接的可移动记录介质(诸如磁盘、光盘、磁光盘和半导体存储器)中的信息，并且将信息输出到RAM。此外，驱动器可以将记录写入所连接的可移动记录介质(诸如磁盘、光盘、磁光盘和半导体存储器)中。可移动记录介质例如是DVD介质、HD-DVD介质或者蓝光介质。此外，可移动记录介质可以是紧凑式闪存卡(注册商标)(Compact Flash：CF)、记忆棒或SD存储卡(安全数字存储卡)等。此外，可移动记录介质可以是安装有无接触IC芯片的IC卡(集成电路卡)或电子装置等。

连接端口是用于将装置直接连接到信息处理设备10的端口。连接端口的示例是USB(通用串行总线)端口、IEEE1394端口(诸如i.Link)、SCSI(小型计算系统接口)端口。连接端口的其他示例是RS-232C端口、光学音频端子和HDMI(高清多媒体接口)端口等。通过将外部连接的装置连接到这个连接端口，信息处理设备10从外部连接的装置直接获得各种数据并且将各种数据提供给外部连接的装置。

通信装置例如是由用于访问通信网络的通信装置构成的通信接口。通信装置例如是用于有线或无线LAN(局域网)、用于蓝牙(注册商标)或用于WUSB(无线USB)的通信卡。此外，通信装置可以是用于光学通信的路由器、用于ADSL(非对称数字用户线路)的路由器或者用于每种类型的通信的调制解调器。例如，这种通信装置可以按照诸如TCP/IP的预定协议例如与互联网和其他通信装置发送和接收信号等。此外，由通信装置访问的通信网络包括无线或有线网络等，并且例如可以是互联网、家庭LAN、红外线通信、无线电通信或卫星通信。

在上文中已经描述了可以实现根据本发明的实施例的信息处理设备10的功能的硬件构造的示例。上述的每个结构性元件可以通过使用通用构件来构造或者可以通过专用于每个结构性元件的功能的硬件来构造。因此，可以根据执行实施例的时的技术水平来适当地改变所利用的硬件构造。

<关于信息处理设备的构造>

之后，将要参照图5A到图14来详细描述根据本实施例的信息处理设备的构造。

[操作体的类型]

首先，将要参照图5A和图5B来描述用于操作根据本实施例的信息处理设备10的操作体的类型。图5A和图5B是用于示出用在根据本实施例的信息处理设备中的操作体的说明图。

如下文中更详细地所示，信息处理设备10基于与由在触摸板上操作操作体而引起的振动相关的振动信息来将操作体分为两类，并且识别用于操作触摸板的操作体属于两种类型中的哪一种。这里，由信息处理设备10识别的操作体的类型是与操作体的硬度或软度有关的类型，例如诸如具有相对硬的部分的操作体和具有相对软的部分的操作体。

例如，如图5A所示，在操作体12是用户的手指时，用户的手指包括对应于相对硬的部分的指甲部分以及对应于相对软的部分的皮肤表面部分。如图5A所示，在根据本实施例的信息处理设备10上的操作被例如分类为指甲部分被用作操作体12的情况以及手指的皮肤表面被用作操作体12的情况。这里，如图5A所示，使用指甲部分的操作不仅包括仅使用指甲的操作，也包括使用指甲和手指的皮肤表面的操作。根据本实施例的信息处理设备10将使用指甲的操作识别为使用相对硬的部分的操作，并且将使用手指的皮肤表面的操作识别为使用相对软的部分的操作。

此外，图5B中示出的触笔可以被用作操作体12。图5B中示出的触笔包括由硬塑料制成的部分以及由软橡胶制成的部分。根据本实施例的信息处理设备10将使用硬塑料的部分的操作识别为使用相对硬的部分的操作，并且将使用软橡胶部分的操作识别为使用相对软的部分的操作。

此外，可以被用在根据本实施例的信息处理设备10中的操作体12不限于图5A和图5B中示出的示例，并且任何东西可以被用作操作体12，只要它是由在触摸板上执行操作时引起不同振动的材料制成即可。可选择地，操作体12可以不具有相对硬的部分和相对软的部分二者，并且可以按照情况需要使用两种类型的操作体12，即，包括硬的部分的操作体12和包括软的部分的操作体12。

用户可以通过在操作触摸板时执行不同类型的动作来选择由信息处理设备10执行的不同操作。例如，用户可以执行包括利用软的物体接触触摸板的第一类型的动作或者利用硬的物体接触触摸板的第二类型的动作。传感器可以感应用于操作触摸板的动作的类型，并且可以根据所感应到的动作的类型来通过处理器执行不同的操作。因此，除了在特定位置处操作触摸板而提供的信息之外，用于操作触摸板的动作的类型可以将额外的信息提供给使得用户能够选择要执行的操作的类型的信息处理设备10。

在下文中，将要在例如将用户的手指用作操作体12的情况下进行说明。

[关于信息处理设备的构造]

之后，将要参照图6到图9来详细说明根据本实施例的信息处理设备的构造。图6是用于示出根据本实施例的信息处理设备的构造的框图。图7和图8是用于示出根据本实施例的移动方向检测单元的说明图。图9是用于示出根据本实施例的操作体类型识别单元的说明图。

在以下解释中，作为振动信息的示例，振动信息被假设为与通过由于操作体12的操作而产生的空气振动引起的声音相关的信息(下文中称作“声学信息”)。

例如，如图6所示，信息处理设备10主要包括输入位置检测单元151、移动方向检测单元153、声学信息获取单元155、傅里叶变换单元157、操作体类型识别单元159、应用控制单元161、显示控制单元163以及存储单元165。

输入位置检测单元151检测触摸板101上与操作体12相接触的位置。输入位置检测单元151可以构造为检测当操作体12与触摸板101相接触时施加到触摸板101上的压力。可选择地，即使在操作体不与触摸板101直接接触时，输入位置检测装置151仍然可以适合于检测存在于触摸板101附近的触摸板101上方的空间中的操作体12，以将所检测的位置识别为接触位置。换言之，这里所说的接触位置可以包括与由操作体12以在触摸板101的屏幕上方切割空气的方式执行的操作相关的位置信息。

输入位置检测单元151将关于所检测的接触位置(更具体地，接触位置的坐标)的信息作为输入位置信息发送给移动方向检测单元153、应用控制单元161以及显示控制单元163。例如，在仅检测到一个接触位置时，输入位置检测单元151将一个坐标(X1，Y1)作为输入位置信息而输出。在触摸板101能够同时地检测到多个接触时，根据所检测的接触位置的数目，输入位置检测单元151可以输出多个坐标。

此外，在输入位置检测单元151检测操作体12的接触时，输入位置检测单元151将表明操作体12与触摸板101相接触的信息发送给下文中描述的声学信息获取单元155。发送到声学信息获取单元155的上述信息使得声学信息获取单元155开始获得用于识别操作体12的类型的声学信息。

移动方向检测单元153例如由CPU、ROM、RAM等构成。移动方向检测单元153使用坐标值(即，从输入位置检测单元151发送的输入位置信息)来检测操作体12移动的方向。

更具体地，移动方向检测单元153基于每隔预定时间间隔(即，每隔数毫秒到数百毫秒)发送的输入位置信息的变化来检测操作体12的移动方向。例如，如图7所示，在移动方向检测单元153中设置了用于判定操作体12是否移动的移动判定区域。根据性能(诸如能够在触摸板101上识别相邻的两个接触位置的分辨率)，可以将该移动判定区域设置为任何尺寸。例如，移动判定区域可以具有约为10个像素的半径。在所发送的输入位置信息变化超过该移动判定区域的范围时，移动方向检测单元153判断操作体12已经移动。此外，在所发送的输入位置信息在该移动判定区域的范围内改变时，移动方向检测单元153可以判定已经由操作体12执行所谓的敲击操作。在相同时机发送的所有的输入位置信息上执行操作体12是否已经移动的判断。即，当在相同的时机将两个坐标值作为输入位置信息发送时，移动方向检测单元153关于两个坐标值的每个的时间变化来执行上述判断。

此外，在所发送的输入位置信息变化超过移动判定区域的范围时，移动方向检测单元153将通过由所发送的输入位置信息与时间变化一同画出的轨迹而产生的向量的方向作为移动方向。此外，上述向量的大小表示操作体12的移动距离。

例如，如图8所示，将要考虑输入位置检测单元151在时刻t1发送关于坐标A(X1(t1)，Y1(t1))的输入位置信息并在与此输入位置信息相关的时刻t2处的位置具有坐标A’(X2(t2)，Y2(t2))的情况。在这种情况下，移动方向检测单元153检测由起点坐标A与终点坐标A’之间的向量V1表示的方向作为与坐标A相接触的操作体12的移动方向。此外，移动方向检测单元153获得作为操作体12的移动距离的向量V1的大小。

此外，移动方向检测单元153可以根据所检测的操作体12的移动距离和所检测的移动时间来计算操作体12的移动速度、加速度等。移动方向检测单元153可以基于移动距离、移动速度和加速度等来判定利用操作体12执行的操作是否是所谓的拖曳操作或所谓的轻拂操作。拖曳操作意味着对触摸板101上的操作体12进行拖曳，其中操作体12被认为是以基本恒定的移动速度移动。轻拂操作意味着对于触摸板101进行轻拂，其中操作体12被认为是在短时间内以快的移动速度(或大的加速度)移动。

移动方向检测单元153将包括如上所述检测的操作体12的移动距离和移动方向的方向信息发送到下文描述的应用控制单元161。此外，移动方向检测单元153将表明利用操作体12执行的操作是否是拖曳操作或轻拂操作的判断结果发送到应用控制单元161。此外，移动方向检测单元153可以将诸如操作体的移动距离、移动速度和加速度的信息发送到下文描述的物体类型识别单元159。

例如利用CPU、ROM和RAM来实现振动信息获取单元(即声学信息获取单元155)的示例。在声学信息获取单元155从输入位置检测单元151接收到表明操作体12与触摸板101相接触的信息时，声学信息获取单元155激活振动传感器(话筒)来开始获取振动信息(声学信息)。声学信息获取单元155获得从振动传感器(话筒)105发送的声学信息，将所获取的声学信息转换为数字数据并且将数字数据发送到在下文描述的傅里叶变换单元157。可选择地，声学信息获取单元155可以临时地将所获取的声学信息存储在下文描述的存储单元165中。

由于假设操作体12的接触作为开始声学信息获取的触发事件，所以声学信息获取单元155没有必要一直处于待机状态。并且因此，信息处理设备10的待机电力消耗可以减小。此外，因为声学信息获取单元155不一直获取声学信息，所以可以减小用于存储所获取的声学信息的缓存的容量。

在信息处理设备10装备有噪音消除话筒113时，信息处理设备10可以获得与来自噪音消除话筒113的噪音相关联的声学信息、将声学信息转换为数字数据并且将数字数据用于声学信息的噪音去除。可以通过使用从噪音消除话筒113获得的作为与噪音相关的声学信息的声学信息，来改善从振动传感器105获得的声学信息的S/N比(信号与噪音的比)。因此，下文描述的操作体类型识别单元159可以更精确地识别操作体的类型。

例如利用CPU、ROM和RAM来实现傅里叶变换单元157。傅里叶变换单元157在与从声学信息获取单元155发送的声学信息相对应的数据上执行傅里叶变换，并且产生频域中的声学信息。傅里叶变换单元157将所产生的频域中的声学信息发送到下文描述的操作体类型识别单元159。

例如利用CPU、ROM和RAM来实现操作体类型识别单元159。操作体类型识别单元159基于所获得的振动信息，将操作体12分类为两种类型，并且识别用于操作触摸板101的操作体12属于哪个操作体类型。更具体地，操作体类型识别单元159将利用操作体12在触摸板101上执行的操作分类为使用操作体12的相对硬的部分进行的操作或者使用操作体12的相对软部分进行的操作。因此，操作体类型识别单元159识别用于操作触摸板101的操作体12对应于相对硬的部分还是相对软的部分。

例如，根据本实施例的操作体类型识别单元159基于由声学信息获取单元155获取的声学信息(更具体地，通过傅里叶变换单元157在其上进一步执行傅里叶变换的声学信息)来识别操作体12的类型。

这里，图9示出了由使用指甲的操作引起的声音以及由使用皮肤表面的操作引起的声音的特性波形(频域的波形)。在图9的图中，横轴表示频率[Hz]，并且纵轴表示音量[dB](其为与振动的大小相关的量)。由各个操作所引起的声音的波形可以根据触摸板101的材料、安装振动传感器105的位置等而变化。然而，如从图9明显可见，使用指甲的操作和使用皮肤表面的操作引起不同的声音波形。已经发现，由使用指甲(即，相对硬的部分)的操作所引起的声音的波形具有在1000Hz和1500Hz附近的特性峰，并且在10000Hz附近比在1000到1500Hz附近具有更小的频率成分。相反，由使用皮肤表面(即，相对软的部分)的操作所引起的声音的波形具有整体宽的形状，并且在1000到1500Hz附近平坦并在10000Hz附近具有特性峰。因此，通过利用这些波形之间的区别，可以基于所获取的声学信息来识别操作体的类型。

因此，根据本实施例的操作体类型识别单元159如下所述地通过使用表示振动的大小的音量以及表示声音的波形峰频率，来识别两种类型的操作体(相对硬的和相对软的)。

即，操作体类型识别单元159判断从傅里叶变换单元157发送的频域中的声学信息的整体音量是否等于或大于预定阈值[dB](将在下文中称作阈值A)。这里，声波的整体音量表示为由声音的波形、纵轴和横轴所围绕的区域的面积。随后，操作体类型识别单元159判断是否满足关于预定的两种类型的阈值(将要在下文中称作阈值B和阈值C)的以下两种关系。

(1500Hz处的音量/10000Hz处的音量)＞阈值B...(公式101)

(1000Hz处的音量/10000Hz处的音量)＞阈值C...(公式102)

在判断整体音量等于或大于阈值A并且满足以上公式101以及以上公式102的情况下，操作体类型识别单元159将在触摸板上的操作识别为使用操作体12的相对硬的部分的操作(在图9的示例中为使用指甲的操作)。在整体音量小于阈值A或者以上公式101以及以上公式102中的任何一者不满足的情况下，操作体类型识别单元159将在触摸板上的操作识别为使用操作体12的相对软的部分的操作(在图9的示例中为使用皮肤表面的操作)。

这里，每个峰频率中的整体音量和音量可以是在某一时刻的瞬时值，或者可以是在预定时间段内的平均值(例如，300毫秒内的平均值)。然而，通过使用在预定时间段内的平均值，变得可以使用一定程度地去除由于噪声所引起的振动的值，这使得操作体类型识别单元159做出更正确的判断。

此外，阈值A到阈值C可以是通过预先在实际获得的多个测量值上进行统计操作而获得的值。可选择地，可以根据在信息处理设备10的用户第一次使用信息处理设备10时注册的声学信息等来确定阈值A到阈值C。

在上述解释中，基于三个峰频率(即，1000Hz、1500Hz和10000Hz)来识别操作体12的类型。然而，所使用的峰频率的数目不限于上述数目。只要有能够识别两种声音波形的有效峰，就可以通过使用任何数目的峰频率来识别操作体。

峰频率可以例如根据操作体12的操作速度来改变。由于这个原因，可以预先准备描述操作体的操作速度与特性峰频率之间的关系的数据库，并且用于识别操作体12的类型的峰频率可以根据从移动方向检测单元153发送的操作体的操作速度来确定。因此，通过基于振动的大小、峰频率以及操作体的操作速度来识别操作体的类型，可以执行适合于每个用户的操作体的特定处理。

在上述说明中，通过使用整体音量以及峰频率处的音量来识别操作体12的类型。可选择地，可以基于由操作所引起的声音的整体音量来识别操作体的类型。在这种情况下，可以减小在识别类型的过程中考虑的条件的数目。因此，可以以更快的速度来识别操作体的类型。

如上所述，可以使用整体音量以及峰频率处的音量来识别操作体的类型。可选择地，可以根据以下方法来识别操作体12的类型。

例如，在存在假设为一种类型而不是另一种类型的峰频率的情况下，所获得的声学信息可以穿过低通滤波器或带通滤波器，并且可以根据是否存在上述峰频率来识别操作体的类型。

可选择地，如图9所示，声音的波形根据操作体的类型而不同。因此，可以计算所获得的声学信息与声音波形(其为每种类型的操作体的特性)之间的相似度(例如，相互相关值以及差分和)，并且可以根据所获得的声学信息的波形类似于哪个波形来识别操作体的类型。

操作体类型识别单元159将由此确定的关于操作体12的类型的识别结果发送到下文中描述的应用控制单元161。此外，操作体类型识别单元159可以将所获得的识别结果作为历史信息而记录在下文中描述的存储单元165中。

例如利用CPU、ROM和RAM来实现应用控制单元161。根据由操作体类型识别单元159来识别的操作体12的类型，应用控制单元161控制提供预定服务的应用的操作。更具体地，应用控制单元161基于以下内容来对应用进行控制：从输入位置检测单元151发送的位置信息、从移动方向检测单元153发送的关于移动方向等的信息以及从操作体类型识别单元159发送的操作体类型信息。

这里，应用控制单元161可以根据从操作体类型识别单元159发送的操作体类型信息来实时地确定操作体的类型，并且可以使用操作体的类型来对应用进行控制。在这种情况下，当在利用操作体12操作控制板101的同时改变操作体12的类型时，应用控制单元161根据操作体12的类型的变化来对应用进行控制。此时，将要考虑以下的情况：在操作开始时利用指甲操作触摸板并且在操作体(即，用户的手指)移动时，操作转换为使用手指的皮肤表面的操作。在这种情况下，在使用操作体12的一系列操作中，应用控制单元161对应用进行控制，使得基于使用指甲的操作的功能转换为基于使用皮肤表面的功能。

可选择地，在检测操作体12的接触之后，应用控制单元161可以基于所发送的操作体类型信息来以任意时间间隔判断操作体的类型，并且可以将操作体的类型用于对应用进行控制。在这种情况下，一旦在触摸板101上开始了使用操作体12的操作并且识别了操作体12的类型，在所识别的操作体12的类型在使用操作体12进行的操作结束之前固定的状态下，应用控制单元161对应用进行控制。此时，将要考虑以下的情况：在操作开始时利用指甲操作触摸板并且在操作体(即，用户的手指)移动时，操作转换为使用手指的皮肤表面的操作。在这种情况下，在使用操作体12的一系列操作完成之前，应用控制单元161在假设使用指甲执行操作的同时对应用进行控制。

在下文中将要使用具体示例来描述应用控制单元161。

例如利用CPU、ROM和RAM等来实现显示控制单元163。显示控制单元163是控制要显示在触摸板101上的内容的控制装置。例如，显示控制单元163读取对象数据(诸如记录在下文中描述的存储单元165中的任意图像数据的缩略图像)并且将对象数据显示在触摸板101上。此时，显示控制单元163指定对象对触摸板101的显示位置，并且使得触摸板101在指定的显示位置处显示对象数据。为了此目的，显示控制单元163保持表明要显示在触摸板101上的对象的显示位置的信息。表明对象的显示位置的信息被从显示控制单元163发送到应用控制单元161等。

显示控制单元163接收来自输入位置检测单元151的输入位置信息。例如，在与触摸板101相接触的操作体12移动时，显示控制单元163实时地接收来自输入位置检测单元151的输入位置信息。显示控制单元163从下文描述的存储单元165等获得对象(诸如，包括在信息处理设备10中的内容的缩略)，并且将对象显示在显示屏上。此外，在判断要选择所显示的对象时，显示控制单元163可以改变显示，使其强调所选择的对象。例如，显示控制单元163可以执行控制，以使其增加所选择的对象的亮度并且减小未选择的对象的亮度。

此外，存储单元165将显示在触摸板101上的对象数据存储在其中。这里所说的对象数据例如包括构成图形用户界面(下文中称作GUI)的任何部分，诸如图标、按钮、缩略图等。此外，每个对象数据的属性信息被存储在存储单元165中。属性信息例如包括对象数据的创建日期和时间或者涉及对象数据的数据实体、更新的日期和时间、创建者的名称、更新者的名称、数据实体的类型、数据实体的大小、重要性水平以及优先级等。

存储单元165也以实体数据与对象数据彼此相关的方式存储对应于对象数据的实体数据。这里所指的实体数据意思是与在显示在触摸板101上的对象被操作时执行的预定处理相关联的数据。例如，对应于电影内容的对象数据与作为实体数据的电影内容的内容数据相关联。存储单元165也存储用于重放与对象数据、内容数据或属性信息相关联的内容的重放应用。

存储在存储单元165中的对象数据由显示控制单元163读取出，并且显示在触摸板101上。

此外，除了这些数据之外，存储单元165也按照需要存储在信息处理设备10执行特定处理时有必要存储的各种参数或处理的过程或者各种类型的数据库等。可以自由地通过信息处理设备10的每个处理单元对这种存储单元165进行读取以及写入。

[关于应用控制的示例]

之后，将要参照图10到图15详细描述根据本实施例的应用控制单元执行的应用控制的示例。图10到图15是用于示出根据本实施例的应用控制单元的说明图。

图10示出了根据操作体12的类型来在滚动显示屏与改变显示放大率之间转换的示例。换言之，在操作体类型识别单元159发送表明操作是由手指的皮肤表面执行的通知时，应用控制单元161基于手指的移动方向滚动显示在触摸板上的显示内容。此外，在操作体类型识别单元159发送表明操作是由指甲执行的通知时，应用控制单元161按照显示屏的中心与操作体之间的偏移量来改变显示放大率(即，放大/缩小显示内容)。

在由应用控制单元161控制的应用是文字处理器、网页浏览器、邮箱和信息显示应用(诸如地图显示应用)时，这种功能的转换是非常有用的。

在图11中示出的示例中，多个图标显示在触摸板101上，并且根据操作体的类型来在滚动所显示的内容与仅仅移动所选择的图标之间进行转换。即，在使用手指的皮肤表面进行操作时，应用控制单元161在保持图标的相对位置关系的同时滚动显示内容。在使用指甲执行操作时，应用控制单元161沿着由手指画出的轨迹来移动所选择的图标。

在图12中示出的示例中，根据操作体的类型来转换所谓的铅笔功能和所谓的橡皮功能。即，在使用指甲执行操作时，应用控制单元161沿着由手指画出的轨迹来画出具有预定宽度的线。在使用手指的皮肤表面执行操作时，应用控制单元161沿着手指的轨迹擦除所画出的内容。

在过去，用户使用操作体来选择例如表示铅笔功能的图标并且执行预定的绘画操作。在要擦除所画出的内容时，用户通过选择例如表示橡皮功能的图标来转换功能，并且执行期望的操作。然而，在本实施例中，用户可以通过改变用于操作的操作体的部分来容易地转换功能。

在图13中示出的示例中，根据操作体的类型来转换显示内容的滚动功能以及显示内容的搜索功能。即，在使用手指的皮肤表面进行操作时，应用控制单元161根据手指的移动方向来滚动显示内容。在使用指甲执行操作时，应用控制单元161搜索对应于由手指画出的轨迹的字符串。同样在这种情况下，用户可以执行期望的处理而不用选择任何预定的图标来转换功能，并且因此可以改善用户的便利性。

在写电子邮件的过程中输入邮件地址或者在音乐重放应用中选择音乐列表等中，这种功能的转换是非常有用的。

在图14中示出的示例中，图像处理应用根据所选择的参数值来执行图像处理，并且根据操作体的类型来改变参数的变化度。例如，当在图像处理应用中设置色温时，用户需要根据图像处理的类型来确定参数值。在这种情况下，如图14所示，可以将处理结果显示区域设置在触摸板101中，使得用户可以在检查从所设置的参数值获得哪种处理效果的同时设置参数。在由手指的皮肤表面操作用于改变参数的滑块时，应用控制单元161可以根据手指的移动来移动滑块。此外，在由指甲操作滑块时，应用控制单元161可以以比手指的移动距离更小的单位来移动滑块，使得用户可以容易地微调参数。

在图15中示出的示例中，触摸板101显示移动图像内容的多个缩略图，并且根据操作体的类型来转换显示内容的滚动功能和用于在电影文件中进行搜索的场景搜索功能。即，在由手指的皮肤表面来执行操作时，应用控制单元161沿着手指的移动方向来滚动显示内容。在使用指甲执行操作时，应用控制单元161执行用于所选择的电影内容的场景搜索。同样在这种情况下，用户可以执行期望的处理而不用选择任何预定的图标来转换功能，并且因此可以改善用户的便利性。

在上文中已经使用具体示例来描述了应用控制的示例。然而，根据操作体的类型进行应用的功能的转换不限于上述示例。根据本实施例的转换操作可以应用到对各种其他功能进行转换。

如上所述，根据本实施例的信息处理设备10可以基于由在触摸板上的操作所引起的声音来识别操作体12的类型，并且根据操作体12的类型的识别结果来对应用进行控制。因此，信息处理设备10的用户只需要关心操作体的哪一部分被用于执行操作，并且无论触摸板的尺寸如何，都可以容易地对功能进行转换，而不需要关心细节问题(诸如与触摸板的接触面积)。

在上述说明中，由声学信息获取单元155获得并且通过傅里叶变换单元157受到傅里叶变换的声学信息被用于识别操作体12的类型。然而，识别类型的方法不限于上述示例。例如，由声学信息获取单元155获得的声学信息可以用于识别操作体12的类型，而不使得该声学信息受到傅里叶变换。

已经在上文中描述了根据本实施例的信息处理设备10的功能的示例。上文中描述的每个结构元件可以由通用构件和电路构造，或者可以由每个结构元件专用的硬件构成。可选择地，结构元件的所有的功能都可以由CPU等执行。因此，可以根据实施本实施例时的技术水平来适当地改变所采用的构造。

此外，可以生产用于实现根据本实施例的上述信息处理设备的功能的计算机程序，并且计算机程序可以实施在个人计算机等中。此外，可以提供存储了这种计算机程序的计算机可读记录介质。记录介质的示例包括磁盘、光盘、磁光盘和闪存存储器。此外，上述计算机程序可以例如经由网路来分发，而不使用记录介质。

<关于信息处理方法>

之后，将要参照图16详细描述由根据本实施例的信息处理设备执行的信息处理方法。图16是用于示出根据实施例的信息处理方法的流程图。

首先，信息处理设备10的用户使用诸如手指或触笔的操作体12来操作触摸板101并且选择与用户希望执行的应用相关联的对象(例如图标)。因此，信息处理设备10的应用控制单元161激活与所选择的对象相关联的应用(步骤S101)。

随后，信息处理设备10等待用户的输入，并且判断用于终止应用的终止操作是否被输入(步骤S103)。在用于终止应用的终止操作被输入时，信息处理设备10的应用控制单元161终止正在运行的应用(步骤S105)。在用于终止应用的终止操作没有被输入时，信息处理设备10进一步等待用户的输入。

在用户通过操作操作体12来接触触摸板101时，触摸板的输入位置检测单元151检测操作体12与触摸板101相接触的位置(步骤S107)。输入位置检测单元151将与接触位置相关的坐标值作为输入位置信息发送到移动方向检测单元153、应用控制单元161和显示控制单元163。此外，输入位置检测单元151将使用操作体12执行操作通知给声学信息获取单元155。在声学信息获取单元155从输入位置检测单元151接收到表明使用操作体12进行操作的信息时，声学信息获取单元155激活振动传感器(话筒)，来开始获取声学信息(步骤S109)。声学信息获取单元155将所获得的声学信息发送给傅里叶变换单元157。

这里，移动方向检测单元153根据从输入位置检测单元151发送的输入位置的坐标值的时间变化来检测操作体12的移动方向(步骤S111)，并且将移动方向发送给应用控制单元161。

另一方面，傅里叶变换单元157在从声学信息获取单元155发送的声学信息上执行傅里叶变换(步骤S113)，并且产生频域的声学信息。其后，傅里叶变换单元157将频域的声学信息发送给操作体类型识别单元159。

操作体类型识别单元159参考从傅里叶变换单元157发送的频域的声学信息，并且根据上述方法基于音量和峰频率来识别操作体的类型(步骤S115)。在识别操作体的类型时，操作体类型识别单元159将表示操作体类型的类型信息发送给应用控制单元161。

在从移动方向检测单元153接收到关于操作体的移动方向的信息并且也从操作体类型识别单元159接收到操作体类型信息时，应用控制单元161基于上述信息来对应用进行控制(步骤S117)。

在上述处理结束后，信息处理设备10返回步骤S103以等待用户的操作。

如上所述，根据本发明的实施例的信息处理方法基于由触摸板上的操作所引起的声音来识别操作体12的类型并且根据关于操作体12的类型的识别结果来对应用进行控制。因此，信息处理设备10的用户只需要关心操作体的哪一部分被用于执行操作，并且可以容易地对应用功能进行转换。

(总结)

如上所述，在根据本发明的实施例的信息处理设备和信息处理方法中，根据由在触摸板上的操作所引起的振动(包括触摸板自身的振动以及由操作所引起的声音)来识别操作体的类型，并且使用所识别的操作体的类型来对应用进行控制。因此，信息处理设备的用户只需要关心操作体的哪一部分被用于执行操作，并且极大地改善了用户的便利性。

此外，因为基于由操作引起的振动来识别操作体的类型并且因此对应用功能进行转换，所以根据本发明的实施例的信息处理方法可以应用到具有小触摸板的设备。并且设备可以不安装有任何显示部分。

此外，在根据本发明的实施例的信息处理设备中，基于由操作引起的振动来识别操作体的类型并且因此转换应用的功能。因此，即使用户仅使用一个手指执行操作，信息处理设备的用户也可以控制设备。

本领域的技术人员应该理解，可以根据设计需要和其他因素来进行各种修改、结合、子结合和替换，只要它们在权利要求或其等同物的范围内。

本申请含有与2009年7月27日递交给日本专利局的日本优先专利申请JP 2009-174396中公开的主题相关的主题，并且通过引用将其全部结合在这里。

Claims

1.一种设备，包括：

触摸板；以及

与所述触摸板分离的传感器，所述传感器感应用于操作所述触摸板的动作的类型。

2.根据权利要求1所述的设备，其中，所述传感器包括振动传感器。

3.根据权利要求2所述的设备，其中，所述振动传感器感应由接触所述触摸板的物体引起的振动。

4.根据权利要求2所述的设备，其中，所述振动传感器定位在所述设备内、所述触摸板下方。

5.根据权利要求1所述的设备，还包括：

处理器，所述处理器从所述传感器接收信号并且根据所述信号来判断执行的操作的类型。

6.根据权利要求5所述的设备，其中，所述信号是第一信号，并且所述传感器是第一振动传感器，所述设备还包括：

产生第二信号的第二振动传感器，

其中，所述处理器基于所述第二信号来从所述第一信号移除噪音成分。

7.根据权利要求5所述的设备，其中，所述传感器是振动传感器，并且其中，所述处理器根据由所述振动传感器感应到的振动的类型来判断执行的操作的类型。

8.根据权利要求7所述的设备，其中，所述处理器基于所述信号的频率成分来判断执行的操作的类型。

9.根据权利要求8所述的设备，其中，所述处理器通过在所述信号上执行傅里叶变换并且分析所述傅里叶变换的结果来判断执行的操作的类型。

10.根据权利要求5所述的设备，其中，所述处理器根据用于操作所述触摸板的动作的类型来执行不同的操作。

11.根据权利要求10所述的设备，其中，所述处理器在物体的第一部分接触所述触摸板时执行第一类型的操作，并且在物体的第二部分接触所述触摸板时执行第二类型的操作。

12.根据权利要求11所述的设备，其中，所述处理器在手指的第一部分接触所述触摸板时执行第一类型的操作，并且在手指的第二部分接触所述触摸板时执行第二类型的操作。

13.根据权利要求1所述的设备，还包括在所述触摸板的区域内的显示部分。

14.一种方法，包括：

使用与触摸板分离的传感器，来感应用于操作所述触摸板的动作的类型。

15.根据权利要求14所述的方法，其中，使用振动传感器来感应用于操作所述触摸板的动作的类型。

16.一种设备，包括：

触摸板；以及

振动传感器，所述振动传感器感应用于操作所述触摸板的动作的类型。

17.根据权利要求16所述的设备，其中，所述振动传感器感应由接触所述触摸板的物体引起的振动。

18.根据权利要求16所述的设备，其中，所述振动传感器定位在所述设备内、所述触摸板下方。

19.一种方法，包括：

使用振动传感器来感应用于操作触摸板的动作的类型。

20.根据权利要求19所述的方法，其中，所述振动传感器感应由接触所述触摸板的物体引起的振动。