CN101943989A - 信息处理装置和信息处理方法 - Google Patents

Abstract

本发明提供了信息处理装置和信息处理方法。信息处理装置包括：操作工具检测器，该操作工具检测器用于检测操作工具与显示板的接触状态；显示控制器，该显示控制器用于当在显示板上的被选择的对象上由操作工具检测器检测到操作工具的指示方向的改变时，控制显示板以在该对象附近显示包含了对于该对象可选择的一个或多个操作项目的操作选单；以及操作项目选择部分，该操作项目选择部分用于当操作选单被显示时，根据由操作工具检测器检测的操作工具的指示方向的改变，而从操作选单选择操作项目中的一个。

Description

信息处理装置和信息处理方法

技术领域

本发明涉及信息处理装置和信息处理方法。

背景技术

人们已知检测显示板上诸如用户的手指之类的操作工具的移动并且执行与用户的交互的信息处理装置。例如，当用户选择显示板上所希望的GUI(图形用户界面)对象时，信息处理装置显示包含了对于该对象可选择的一个或多个操作项目的操作选单，并且要求用户选择希望的操作项目。然后，当操作工具与对象的显示区域接触预定的时间段时，信息处理装置辨认选单起动操作的输入并且显示操作选单。

[专利文档1]日本专利申请早期公开No.2005-352619

[专利文档2]日本专利申请早期公开No.2007-80291

[专利文档3]日本专利申请早期公开No.2007-226571

发明内容

然而，用户不得不保持操作工具的接触状态预定的时间段，直到操作选单被显示。这里，当预定时段缩短时，一般对象选择操作(轻叩(tapping))与选单起动操作区分起来是模棱两可的。此外，在操作选单被显示之后，用户需要执行复杂的操作来选择希望的操作项目，并且未必可以说用户能享受良好的操作环境。

具体地，在诸如具有受限I/O接口规范的便携信息处理终端等之类的信息处理装置中，用户需要执行很多操作，包括在选择对象之后选择选项选单。此外，在选择多个对象之后显示操作选单以及选择希望的操作项目时，用户还需执行复杂的操作。

鉴于以上所述的，希望提供能够使用于对象的操作选单的显示以及操作项目的选择更容易的信息处理装置和信息处理方法。

根据本发明的第一实施例，提供了一种信息处理装置，该信息处理装置包括：操作工具检测器，该操作工具检测器用于检测操作工具与显示板的接触状态；显示控制器，该显示控制器用于当在显示板上的被选择的对象上由操作工具检测器检测到操作工具的指示方向的改变时，控制显示板以在所述对象附近显示包含了对于所述对象可选择的一个或多个操作项目的操作选单；以及操作项目选择部分，该操作项目选择部分用于当操作选单被显示时，根据由操作工具检测器检测的操作工具的指示方向的改变，而从操作选单选择操作项目中的一个。

操作项目选择部分可从操作选单选择操作工具的指示方向的延长线上的操作项目。

操作项目选择部分可从操作选单选择位于通过如下的改变量限定的方向上的操作项目：该改变量是通过将操作工具的指示方向的改变量乘以系数a而获得的，系数a大于1。显示控制器可控制显示板以将操作选单旋转通过将操作工具的指示方向的改变量乘以系数(1-a)而获得的改变量，然后显示操作选单。

当操作选单被显示并且同时操作工具的非接触状态被操作工具检测器检测到时，由操作项目选择部分选择的操作项目可被执行。

当操作选单被显示并且同时与显示板接触的操作工具的预定距离或更长距离的移动被操作工具检测器检测到时，显示控制器可控制显示板以停止对操作选单的显示。

根据本发明的第二实施例，提供了一种信息处理方法，该信息处理方法包括以下步骤：当在显示板上的被选择的对象上检测到操作工具的指示方向的改变时，控制显示板以在该对象附近显示包含了对于该对象可选择的一个或多个操作项目的操作选单；以及当操作选单被显示时，根据操作工具的指示方向的改变，而从操作选单选择操作项目中的一个。

根据上述的本发明的实施例，可以提供能够使用于对象的操作选单的显示以及操作项目的选择更容易的信息处理装置和信息处理方法。

附图说明

图1是示出根据本发明的实施例的信息处理装置的概述的视图；

图2是示出根据本发明的实施例的信息处理装置的原理功能结构的框图；

图3A是示出显示板上操作工具的位置以及操作工具的检测结果的视图；

图3B是示出显示板上操作工具的位置以及操作工具的检测结果的视图；

图3C是示出显示板上操作工具的位置以及操作工具的检测结果的视图；

图4是示出根据本发明的实施例的信息处理方法的流程图；

图5是示出信息处理方法的处理示例(操作选单的显示)的视图；

图6是示出信息处理方法的处理示例(操作项目的执行)的视图；

图7是示出信息处理方法的处理示例(操作选单的显示的停止)的视图；

图8是示出信息处理方法的处理示例(操作项目的选择)的视图；

图9是示出用于选择操作项目的第一修改的视图；

图10是示出用于选择操作项目的第二修改的视图；并且

图11是示出操作选单的另一显示示例的视图。

具体实施方式

在下文中，将参考附图详细地描述本发明的优选实施例。注意，在本说明书和附图中，具有实质相同功能和结构的结构元素被标以相同的标号，并且对这些结构元素的重复说明被省略。

[1.信息处理装置100的概述]

图1是示出根据本发明的实施例的信息处理装置100的概述的视图。

根据本发明的实施例的信息处理装置100利用显示板101来检测诸如用户手指之类的操作工具M的接触状态。信息处理装置100是个人计算机、PDA、便携音乐播放器等。在下面的描述中，信息处理装置100具有内置型显示板101，然而，信息处理装置100可经由通信装置连接至显示板101。

当在显示板101上的被选择的对象O上检测到操作工具M的指示方向(pointing direction)的改变时，信息处理装置100以这样的方式控制显示板101：包含了对于对象O可选择的一个或多个操作项目I的操作选单OM被显示在对象O附近。然后，当操作选单OM被显示时，信息处理装置100根据操作工具M的指示方向的改变而从操作选单OM选择操作项目I。

例如，在图1中，当选择对象O时，在对象O上改变了操作工具M的指示方向，并且显示了操作选单OM。根据操作选单OM上操作工具M的指示方向的改变，操作项目I(例如，操作项目I6)被选择。这里，例如，当操作工具是手指时，操作工具的指示方向是通过手指指出的方向。在图1和其他图中，被选择的操作项目I和对象O被示出有阴影线。

因此，用户可通过改变操作工具M的指示方向来输入选单起动操作，并且用户不需要保持操作工具M的接触状态预定的时间段。此外，用户可通过改变操作工具M的指示方向来选择希望的操作项目I，并且用户不需要在选择操作项目I时执行复杂的操作。此外，用户可高效地执行作为一系列操作的选择对象O、显示操作选单OM和选择操作项目I的操作。

[2.信息处理装置100的功能结构]

图2是示出根据本发明的实施例的信息处理装置100的原理功能结构的框图。信息处理装置100具有显示板101、操作工具检测器107、存储装置109、显示控制器111和控制器113。

显示板101用作接触传感器103和显示单元105。接触传感器103检测操作工具M的接触状态。接触传感器103是光学传感器、电容传感器、压力传感器或任何其他的传感器。在下面的描述中，假设接触传感器103基于显示板101的光接收状态来检测操作工具M的接触状态。

显示单元105在显示控制器111的控制下显示应用的处理结果、内容以及对象O，并且特别显示包含了对于显示板101上所选中的对象O可选择的一个或多个操作项目I的操作选单OM。这里，对象是包括诸如图标、按钮或缩略图之类的GUI的对象O。

操作工具检测器107通过接触传感器103检测操作工具M与显示板101的接触状态。操作工具检测器107使用显示板101的光接收状态作为基础来检测操作工具M与显示板101的接触存在或不存在、接触位置、接触面积以及指示方向。这里，将稍后描述通过接触传感器103检测操作工具M的方法。

存储装置109存储信息处理程序、应用程序、对象O数据等，并且特别存储操作选单OM的数据。控制器113通过借助信息处理程序的执行控制每个部分，来控制信息处理装置100的总体操作。

具体地，控制器113具有作为如下的操作项目选择部分的功能，该操作项目选择部分在操作选单OM被显示的时候，根据操作工具检测器107所检测的操作工具M的指示方向的改变，而从操作选单OM选择操作项目I。

这里，操作工具M的指示方向的改变可从传统的按钮向下、按钮向上、点击、双击、接触、拖动、放下、轻打(flick)等来区分。它是在不干涉这些操作的情况下被检测的。

[3.检测操作工具M的方法]

在显示板101上，RGB像素和光接收传感器(都未示出)以矩阵形式来布置。光接收传感器充当接触传感器103，用于接收从显示板101发出的光和由操作工具M反射的光，并且基于光接收状态来检测操作工具M的接触状态。操作工具检测器107执行对接触传感器103的输出结果的数字处理，从而生成传感器图像S。

操作工具检测器107基于传感器图像S来计算表达了与每个像素相对应的光接收状态的亮度值，并且利用预定阈值将亮度值处理成二进制值。在二进制处理中，每个像素的亮度值被分类成第一或第二类别，并且传感器图像S的每个区域被分类成与各个类别相对应的第一或第二区域A1或A2。第一和第二区域A1和A2与大亮度和小亮度区域相对应，大亮度和小亮度区域被分别指定为操作工具M的接触区域和非接触区域。

操作工具检测器107使用第一区域A1的存在作为基础来检测操作工具M与显示板101的接触存在或不存在。此外，操作工具检测器107计算第一区域A1的重心位置和面积，从而检测操作工具M的接触位置和接触面积中的每一个。

具体地，操作工具检测器107指定第一区域A1的长轴方向D，从而检测操作工具M的指示方向。操作工具M的指示方向被定义为沿第一区域A1的长轴方向D而指出显示板101的上部的方向。控制器113计算在旋转前后操作工具M的指示方向之间的角度差，从而计算操作工具M的旋转角。

在下文中，将参考图3A到图3C来描述用于检测操作工具M的指示方向的方法。图3A到图3C是示出显示板101上操作工具M的位置以及操作工具M的检测结果的视图。

在图3A中，作为操作工具M的指端的接触区域A1被抓取(grasp)为传感器图像S上的椭圆形区域A1。在此情况下，操作工具检测器107指定椭圆形区域A1的长轴方向D，并且检测作为操作工具M的指示方向的、沿所指定的长轴方向D指示显示板101的上部的方向。通常，指端与显示板101的接触区域A1被抓取为椭圆形区域A1，在椭圆形区域A1中手指的指示方向是长轴方向D。

在图3B中，指端从图3A的状态旋转，并且经旋转的指端的接触区域A1’被抓取为传感器图像S上的椭圆形区域A1’。在此情况下，操作工具检测器107指定椭圆形区域A1’的长轴方向D，并且检测作为旋转之后的操作工具M的指示方向的、沿所指定的长轴方向D指示显示板101的上部的方向。然后，控制器113使用旋转前后操作工具M的指示方向之间的角度差作为基础来计算操作工具M的旋转角。

另一方面，在图3C中，指端的接触区域A1”被抓取为传感器图像S上的近似圆形区域A1”。在此情况下，操作工具检测器107可不指定接触区域A1”的长轴方向D，并且控制器113将它看作检测错误。

[4.信息处理方法]

图4是示出根据本发明的实施例的信息处理方法的流程图。图5到图8是示出信息处理方法的处理示例的视图。

如图4所示，操作工具检测器107对于每个检测帧检测操作工具M的接触状态(S101)。控制器113确定操作工具M的接触状态是否从上个检测到的帧中的接触状态改变(S103)。当确定结果为肯定的时候，控制器113执行步骤S105及以后的处理，而当确定结果为否定的时候，它回到步骤S101的处理。

在步骤S105中，控制器113确定操作选单OM是否被显示。当确定结果为肯定的时候，控制器113执行步骤S107及以后的处理。当确定结果为否定的时候，它执行步骤S115的处理。

在步骤S107中，控制器113确定用于操作选单的显示的对象O是否在显示板101上被选择。对象O是通过操作工具M的轻叩等而在显示板101上被选择的。当确定结果为肯定的时候，控制器113确定操作工具M是否在所选择的对象O上没有移动预定的距离或更长距离，以及操作工具M是否旋转了预定的角度或更大角度(步骤S109、S111)。

这里，操作工具M的移动距离是已经与显示板101接触地移动的操作工具M的接触位置的改变量。操作工具M的旋转量意味着操作工具M的指示方向的改变量。此外，移动预定的距离或更长距离例如意味着所选择的对象O到显示区域之外的移动。旋转预定的角度或更大角度例如意味着旋转这样的旋转角，所述旋转角使得选单起动操作的输入不被误识别。

然后，当确定结果为肯定的时候，控制器113显示操作选单OM(S113)并且回到步骤S101的处理。另一方面，当步骤S107、S109或S111中的确定结果为否定的时候，控制器113回到步骤S101的处理。

这里，操作选单OM包含对于所选择的对象O可选择的一个或多个操作项目I，上述操作项目I显示在对象O的附近。在操作选单OM中，使所选择的操作项目I成为焦点，并且例如操作项目I被放大显示。此外，在考虑了从操作工具M的指示方向估计的操作工具M的位置的情况下显示操作选单OM，以便防止所显示的操作项目I被操作工具M覆盖而降低了可见性。

在图5中，音乐专辑(album)1到7的标签被显示在显示板101上作为对象O，并且专辑3的标签被操作工具M选择。如图5所示，当对象O被选择并且操作工具M旋转预定的角度或更大角度时，选单起动操作的输入被辨认并且操作选单OM被显示。在图5中，显示了包含用于从专辑3中存储的歌曲1到7中进行选择的操作项目I的操作选单OM。此外，操作工具M的指示方向的延长线上的操作项目I4是在操作选单OM上可选的。这里，当操作工具M移动预定的距离或更长距离时，选单起动操作的输入不被辨认，以防止操作错误。利用此结构，用户可通过改变操作工具M的指示方向来容易地输入选单起动操作。

当步骤S105中的确定结果为否定的时候，也就是说，操作选单OM不被显示的时候，控制器113在步骤S115中确定操作工具M是否改变成非接触状态。然后，当确定结果为肯定的时候，控制器113执行操作选单OM上所选择的操作项目I(S117)，并且它回到步骤S101。当确定结果为否定的时候，执行步骤S119的处理。

如图6所示，当操作选单OM被显示时，通过将操作工具M改变成非接触状态来执行操作选单OM上所选择的操作项目I。在图6中，一旦操作工具M被变成非接触状态，操作选单OM上所选择的操作项目14的重放就开始。然后，用户可通过使操作工具M成为非接触状态来容易地指示对操作项目I的执行。

当步骤S115中的确定结果为否定的时候，也就是说，操作工具M未被变成非接触状态的时候，则在步骤S119中，控制器113确定操作工具M是否移动了预定的距离或更长距离。这里，预定距离或更长距离的移动例如意味着到操作选单OM的显示区域之外的移动。然后，当确定结果为肯定的时候，操作选单OM的显示被停止(S121)，并且回到步骤S101。当确定结果为否定的时候，执行步骤S123的处理。

如图7所示，当操作选单OM被显示时，通过已移动预定的距离或更长距离的操作工具M来停止操作选单OM的显示。在图7中，一旦操作工具M移动到所选择的专辑3的对象O的显示区域之外，操作选单OM的显示就停止。利用此结构，用户可通过将操作工具M移动预定的距离或更长距离来容易地停止操作选单OM的显示。

当步骤S119中的确定结果为否定的时候，也就是说，操作工具M没有移动预定的距离或更长距离的时候，控制器113确定操作工具M是否旋转预定的角度或更大角度(S123)。这里，旋转预定的角度或更大角度例如意味着具有检测准确度或更大准确度的、操作工具M的指示方向的旋转。然后，当确定结果为肯定的时候，执行操作项目I的选择(S125)并且更新操作选单OM的显示等。此外，控制器113返回至步骤S101的处理。

如图8所示，当操作选单OM被显示时，根据操作工具M的指示方向的改变来选择操作项目I。然后，在操作选单OM上，焦点移至所选择的操作项目I。在图8中，当操作工具M的指示方向顺时针旋转90°时，焦点从操作项目I4移动到位于顺时针90°方向上的操作项目I6。这里，在操作选单OM中包含的操作项目I中，显示板101上位于操作工具M的指示方向的延长线上的操作项目I被选择。然后，用户可根据操作工具M的指示方向的改变来容易地选择所希望的操作项目I。这里，当操作选单OM的显示被起动时，预定的操作项目I可被设置为可选择的或者它们全部可被设置为不可选择的。

[5.修改]

图9和图10是示出用于选择操作项目I的第一和第二修改的视图。图11是示出操作选单OM的另一显示示例的视图。

在上述实施例中，描述了在操作工具M的指示方向的延长线上选择操作项目I的情况。在此情况下，操作工具M的指示方向的改变范围被限制，并且有时候选择的可操作性降低。例如，在将手指的指示方向旋转180°时就存在一些困难。

因此，如图9所示，在第一修改中，选择的不是操作工具M的指示方向的延长线上的操作项目I，而是通过如下的改变量限定的方向上的操作项目I：该改变量是通过将操作工具M的指示方向的改变量乘以系数a(1＜a)而获得的。

例如，假设当操作工具M的指示方向的延长线上的操作项目I4被选择时，操作工具M的指示方向顺时针旋转45°。在此情况下，例如，当给定系数a＝2时，焦点从操作选单OM的被选择的操作项目I4移动至位于顺时针90°方向(＝45度×2)上的操作项目I6。利用此结构，相比于选择操作工具M的指示方向的延长线上的操作项目I，用户可容易地选择希望的操作项目I。

在第一修改中，描述了选择位于通过如下的改变量限定的方向上的操作项目I的情况：该改变量是通过将操作工具M的指示方向的改变量乘以系数a而获得的。在此情况下，因为通过重视操作工具M的指示方向的改变来选择操作项目，所以相比于选择指示方向的延长线上的操作项目I，改进了选择的可操作性。然而，当所选择的操作项目I的位置与操作工具M的指示方向不匹配时(例如，在图9中，不是操作项目I6而是操作项目I5位于操作工具M的指示方向的延长线上)，通过直观的操作来选择操作项目I是困难的。

因此，如图10所示，在第二修改中，位于通过如下的改变量限定的方向上的操作项目I被选择：该改变量是通过将操作工具M的指示方向的改变量乘以系数a(1＜a)而获得的，并且操作选单OM被旋转通过将操作工具M的指示方向的改变量乘以系数(1-a)而获得的改变量。

例如，假设当在操作工具M的指示方向的延长线上选择操作项目I4时，操作工具M的指示方向顺时针旋转45°。在此情况下，例如，当给定系数a＝2时，焦点从操作选单OM上的操作项目I4移动至位于顺时针90°方向(＝45°×2)上的操作项目I6，并且如箭头MD所示出的，操作选单OM顺时针旋转-45°(＝45°×(-1))，也就是说逆时针旋转45°。然后，操作工具M的指示方向的延长线上的操作项目I6被选择。利用此结构，相比于选择位于由通过将操作工具M的指示方向的改变量乘以系数a而获得的改变量限定的方向上的操作项目I，用户可通过直观的操作来容易地选择希望的操作项目I。

图11示出包含了对于多个对象O可选择的一个或多个操作项目I的操作选单OM的显示示例。在图11中，例如，对形成数据表(spreadsheet)的多个单元(对象O)中所包含的数据执行最大、最小、平均、求和等统计处理。

在此情况下，用户在显示板101上执行操作工具M的拖动以选择包含了用于统计处理的数据的多个单元，然后在拖动终点处的单元上将操作工具M旋转预定的角度或更大角度。然后，控制器113辨认选单起动操作的输入，并且围绕终点处的单元显示近似扇形的操作选单OM。然后，在选单起动操作之后，用户可根据操作工具M的指示方向的改变来选择操作项目I(例如，在图11中，操作项目I3被选择)。

这里，如果操作工具M的指示方向在操作工具M的拖动期间被轻微地改变，则只要指示方向的改变小于预定的角度，控制器113就不辨认选单起动操作的输入。

[6.结论]

如上所述，根据本发明的实施例，当在显示板101上的被选择的对象O上检测到操作工具M的指示方向的改变时，信息处理装置100控制显示板101(显示单元105)以在对象O附近显示包含了对于对象O可选择的一个或多个操作项目I的操作选单OM。然后，当操作选单OM被显示时，信息处理装置100根据操作工具M的指示方向的改变来选择操作选单OM上的操作项目I。

利用此结构，用户可通过改变操作工具M的指示方向来输入选单起动操作，并且不需要将操作工具M的接触状态保持预定的时间段。此外，用户可通过改变操作工具M的指示方向来选择希望的操作项目I，并且不需要在选择操作项目I时执行复杂的操作。此外，用户可高效地执行作为一系列操作的选择对象O、显示操作选单OM和选择操作项目I的操作。

本领域的技术人员应当理解，各种修改、组合、子组合以及变更可根据设计需求和其他因素而发生，只要它们在所附权利要求或其等同物的范围内。

例如，在上述实施例中，描述了利用光学接触传感器来检测操作工具M的接触状态的情况。然而，传感器可以是电容传感器、压力传感器或任何其他的接触传感器。

此外，在上述实施例中，描述了基于操作工具M的接触状态来检测操作工具M的指示方向的情况。然而，可从操作工具M的接触状态和邻近(proximity)状态来检测操作工具M的指示方向。在此情况下，例如，作为接触/邻近传感器的输出结果的传感器图像被处理成三位的(three-digit)值，以便指定操作工具M的接触区域、邻近区域和非接触邻近区域。然后，邻近区域和接触区域的重心位置被作用基础，来将从邻近区域的重心朝向接触区域的重心的方向检测为操作工具M的指示方向。

本申请包含与2009年7月2日递交日本专利局的日本优先专利申请JP 2009-158153中所公开的主题相关的主题，该日本优先专利申请的全部内容由此通过引用而被结合于此。

Claims (7)

1.一种信息处理装置，包括：

操作工具检测器，所述操作工具检测器用于检测操作工具与显示板的接触状态；

显示控制器，所述显示控制器用于当在所述显示板上的被选择的对象上由所述操作工具检测器检测到所述操作工具的指示方向的改变时，控制所述显示板以在所述对象附近显示包含了对于所述对象可选择的一个或多个操作项目的操作选单；以及

操作项目选择部分，所述操作项目选择部分用于当所述操作选单被显示时，根据由所述操作工具检测器检测的所述操作工具的指示方向的改变，而从所述操作选单选择操作项目中的一个。

2.根据权利要求1所述的信息处理装置，其中

所述操作项目选择部分从所述操作选单选择所述操作工具的指示方向的延长线上的操作项目。

3.根据权利要求1所述的信息处理装置，其中

所述操作项目选择部分从所述操作选单选择位于通过如下的改变量限定的方向上的操作项目：该改变量是通过将所述操作工具的指示方向的改变量乘以系数a而获得的，所述系数a大于1。

4.根据权利要求3所述的信息处理装置，其中

所述显示控制器控制所述显示板以将所述操作选单旋转通过将所述操作工具的指示方向的改变量乘以系数(1-a)而获得的改变量，然后显示所述操作选单。

5.根据权利要求1所述的信息处理装置，其中

当所述操作选单被显示并且同时所述操作工具的非接触状态被所述操作工具检测器检测到时，由所述操作项目选择部分选择的操作项目被执行。

6.根据权利要求1所述的信息处理装置，其中

当所述操作选单被显示并且同时与所述显示板接触的所述操作工具的预定距离或更长距离的移动被所述操作工具检测器检测到时，所述显示控制器控制所述显示板以停止对所述操作选单的显示。

7.一种信息处理方法，包括以下步骤：

当在显示板上的被选择的对象上检测到操作工具的指示方向的改变时，控制所述显示板以在所述对象附近显示包含了对于所述对象可选择的一个或多个操作项目的操作选单；以及

当所述操作选单被显示时，根据所述操作工具的指示方向的改变，而从所述操作选单选择操作项目中的一个。

Images