CN105320437A - 选择字符或图像的方法及计算设备 - Google Patents

Abstract

一种选择字符或图像的方法及计算设备，该计算设备执行如下处理：轨迹信息记录处理：响应于用户对所述显示器的指示操作，取得并记录与用户在所述显示器上指示的轨迹相关的信息；选择指示判定处理：根据与所述轨迹相关的信息，判定用户是否进行了选择操作的指示；以及选择对象判定处理：在判定为进行了选择操作的指示的情况下，针对所述显示器中显示的字符和图像，根据所述轨迹与所述字符、所述图像的相对位置关系，来选择所述字符、所述图像或所述图像的一部分。

Description

选择字符或图像的方法及计算设备

技术领域

本发明涉及人机界面及计算设备，具体而言，涉及通过手势来选择选择字符或图像的方法及使用了该选择方法的计算设备。

背景技术

用户在与智能手机等计算设备进行交互过程中，经常需要选择显示区域显示的字符或图像等。在现有技术中，用户可以使用计算设备的输入设备例如触摸屏、触摸笔(stylus)、激光触摸笔、红外触摸笔等输入设备来直观地指示选择区域，以选择显示区域上所显示的字符或图像。

在专利文献1中，提出了如下选择文本的方法：计算设备识别用户启动选择操作的手势，根据用户启动了选择操作之后的手势所指定的范围来选择文本，且用户可通过改变选择范围的边界等方法对选择范围进行修改。

专利文献1：美国专利US12/042,313

发明内容

发明要解决的问题

在目前广泛使用的以智能手机、平板电脑等计算设备中，用户在使用这些计算设备时，使用手势直观地指向计算设备的显示区域中显示的字符或图像等来进行选择操作。此处，手势是指用户用手指、触摸笔或激光指示器以接触或者非接触的方式指示的轨迹的形状、速度(停顿)以及以接触方式指示手势时的压力等。在用户主要基于手势来进行操作的计算设备中，现有技术中的选择方法存在如下问题：

第一，在选择字符或图像等时，需要至少进行启动选择的操作和指定选择范围的操作步骤，即做出多个手势(例如，多点触摸、按压停顿一定时间、指示轨迹等)，存在操作繁琐的问题。此外，由于存在多个操作步骤，因此，用户需要学习和记忆针对不同的步骤的不同操作手势。此外，由于存在多个操作步骤，用户需要注视显示区域，以判定是否完成了一个操作而进行下一个操作，例如，用户需要判定是否进入选择模式，然后选择对象。即、用户需要花费一定时间来启动选择操作，用户还需要至少判定何时开始指示选择范围的操作等，因此，用户无法顺畅地、不停顿地完成选择操作。

第二，在判定选择字符或图像等时，必须精确地指示选择范围，否则存在选择出的字符或图像不符合用户的意愿的问题。例如，在选择文本时，现有的选择方法从用户指定的位置起选择文本，直到用户指定的结束选择操作的位置为止。而由于手机等手持设备的显示屏幕较少，字符之间的显示间隔较少，用户往往不容易精确地指示选择操作的范围，例如很容易将选择范围指定到要选择的字符和前一个字符或后一个字符。在这种情况下，用户需要对选择范围进行修改。

第三，存在选择字符与选择图像等的操作方式不一致的问题。在计算设备中，应用程序、游戏对象、文件等操作对象往往不以文本的方式显示，而通常以图像的方式显示。在现有技术中，针对字符和图像，往往采用不同的选择方法。例如，如图1A所示，在选择文本时，指定选择起始和终止位置。例如，图1A中的P1和P2指示了文本的选择范围，如图1B所示，用户通过选择框选择了3个图像。

用于解决问题的手段

针对以上问题，本发明提出如下技术方案。

技术方案1：提供一种选择字符或图像的方法，其由具有显示器的计算设备执行，所述方法的特征在于，其所述计算设备执行如下处理：

轨迹信息记录处理：响应于用户对所述显示器的指示操作，取得并记录与用户在所述显示器上指示的轨迹相关的信息；

选择指示判定处理：根据与所述轨迹相关的信息，判定用户是否进行了选择操作的指示；以及

选择对象判定处理：在判定为进行了选择操作的指示的情况下，针对所述显示器中显示的字符和图像，根据所述轨迹与所述字符、所述图像的相对位置关系，来选择所述字符、所述图像或所述图像的一部分。

技术方案2：根据技术方案1所述的选择字符或图像的方法，还可以对所述轨迹进行如下的至少一种校正处理：

将存在间断的所述轨迹校正为连续；对所述轨迹进行平滑化处理；将所述轨迹校正为近似的规范几何形状；扩大或缩小所述轨迹或者修正V字形轨迹的边的长短；以及在闭合的部分的直径小于规定阈值的情况下，将该闭合的部分视作非闭合部分而去除，并将所述去除的部分校正为连续。

技术方案3：根据技术方案1或2所述的选择字符或图像的方法，还可以是，

在所述选择指示判定处理中，在用户指示了闭合轨迹的情况下、或在用户指示了V字形轨迹的情况下、或在所述轨迹包含闭合的部分的情况下、或在所述轨迹包含V字形轨迹的部分的情况下、或在用户指示了大于规定长度的轨迹的情况下，或在用户指示了波浪线的情况下，或在用户指示了大于规定时间的轨迹的情况下，或在用户以大致恒定的速度指示轨迹的情况下，或在用户以大致恒定的压力指示轨迹的情况下，判定为用户进行了选择操作的指示。

技术方案4：根据技术方案1～3中任意一项所述的选择字符或图像的方法，还可以是，在用户指示了V字形轨迹的情况下，根据该V字形轨迹的端点和顶点，生成闭合区域，并根据该闭合区域与所述字符或所述图像的相对位置关系来判定是否选择所述字符、所述图像或所述图像的一部分。

技术方案5：根据技术方案1～3中任意一项所述的选择字符或图像的方法，还可以是，

在判定为进行了选择操作的指示的情况下，根据所述轨迹与所述字符或所述图像的相对位置关系来判定是否选择所述字符、所述图像或所述图像的一部分，或者，根据所述轨迹的闭合部分围成的闭合区域与所述字符或所述图像的相对位置关系来判定是否选择所述字符、所述图像或所述图像的一部分。

技术方案6：提供一种选择字符或图像的方法，其由具有显示器的计算设备执行，所述方法的特征在于，其所述计算设备执行如下处理：

轨迹信息记录处理：响应于用户对所述显示器的指示操作，取得并记录与用户在所述显示器上指示的轨迹相关的信息，所述信息包括位置信息；

形状判定处理：判定所述轨迹是否存在交点，如果不存在交点，则判定整个轨迹的形状是否闭合或者是否为V字形，如果存在交点，则利用所述交点将所述轨迹分成多段，针对分割后的各段所述轨迹判定是否闭合或者是否为V字形；

闭合区域生成处理：针对判定为V字形的所述轨迹，基于该V字形的所述轨迹的顶点和两个端点，生成三角形的闭合区域；以及

选择对象判定处理：如果在所述形状判定处理中判定为存在闭合的部分或者存在V字形的部分，则根据所述闭合的部分围成的闭合区域和在所述闭合区域生成处理中生成的所述闭合区域与所述字符或所述图像的相对位置关系来判定是否选择所述字符、所述图像或所述图像的一部分。

技术方案7：根据技术方案6所述的选择字符或图像的方法，还可以是，

还对所述轨迹进行如下的至少一种校正处理：

将存在间断的所述轨迹校正为连续；

对所述轨迹进行平滑化处理；

将所述轨迹校正为近似的规范几何形状；

扩大或缩小所述轨迹或者修正V字形轨迹的边的长短；以及

在闭合的部分的直径小于规定阈值的情况下，将该闭合的部分视作非闭合部分而去除，并将所述去除的部分校正为连续。

技术方案8：根据技术方案1～7中任意一项所述的选择字符或图像的方法，还可以是，所述轨迹是由用户以接触或者非接触的方式在所述显示器上指示的，

在根据所述闭合区域来选择字符或图像时，将所述闭合的部分完全覆盖的字符或图像作为选择对象，并根据所述闭合的部分与非完全覆盖的字符或图像的相对位置关系来选择字符、图像或图像的一部分。

技术方案9：根据技术方案1～8中任意一项所述的选择字符或图像的方法，还可以是，所述相对位置关系可根据覆盖程度和偏离程度来评价，其中，所述覆盖程度包括面积覆盖程度、长度覆盖程度，其中，

所述面积覆盖程度包括绝对面积覆盖程度和相对面积覆盖程度，

所述长度覆盖程度包括绝对长度覆盖程度和相对长度覆盖程度，

所述偏离程度包括绝对偏离程度和相对偏离程度，

根据所述绝对面积覆盖程度、所述相对面积覆盖程度、所述绝对长度覆盖程度、所述相对长度覆盖程度、所述绝对偏离程度和所述相对偏离程度中的至少一个来选择字符、图像或图像的一部分。

技术方案10：根据技术方案1～9中任意一项所述的选择字符或图像的方法，还可以是，

在选择了字符或图像后，使所述显示器以将选择出的字符或图像与未被选择的字符或图像区分开的方式进行显示，

在判定为在预定的时间内用户没有进行任何操作的情况下，取消对已被选择的字符或图像的选择，使所述显示器以被取消选择的字符或图像未被选择的方式进行显示，

在判定为在预定的时间内用户再次指示了包含闭合的部分或者V字形的所述轨迹情况下，进一步根据再次指示的所述轨迹来选择字符或图像。

技术方案11：根据技术方案1～10中任意一项所述的选择字符或图像的方法，还可以是，

在选择出的所述字符或图像属于连续的多行文本的情况下，选择该字符或图像所在的整行文本，

其中，所述文本是由多个所述字符和所述图像组成的。

技术方案12：根据技术方案1～11中任意一项所述的选择字符或图像的方法，还可以是，

在选择了图像的情况下，提取该图像中的子图像，显示该图像的缩小图和/或该图像被所述闭合区域包围的局部区域和/或所述子图像的全部或一部分。

技术方案13：根据技术方案1～12中任意一项所述的选择字符或图像的方法，还可以是，根据选择出的所述字符或所述图像的属性的属性值，增加或减少选择出的所述字符或图像。

技术方案14：提供一种计算设备，其通过显示器进行显示，该计算设备的特征在于包含如下模块：

轨迹信息记录模块，其响应于用户对所述显示器的指示操作，取得并记录与用户在所述显示器上指示的轨迹相关的信息；

选择指示判定模块，其根据与所述轨迹相关的信息，判定用户是否进行了选择操作的指示；以及

选择对象判定模块，其在判定为进行了选择操作的指示的情况下，针对所述显示器中显示的字符和图像，根据所述轨迹与所述字符、所述图像的相对位置关系，来选择所述字符、所述图像或所述图像的一部分，

以上模块可以由硬件、软件或硬件和软件的组合来实现。

技术方案15：提供一种计算设备，其通过显示器进行显示，该计算设备的特征在于包含如下模块：

轨迹信息记录处理模块：其响应于用户对所述显示器的指示操作，取得并记录与用户在所述显示器上指示的轨迹相关的信息，所述信息包括位置信息；

形状判定处理模块：其判定所述轨迹是否存在交点，如果不存在交点，则判定整个轨迹的形状是否闭合或者是否为V字形，如果存在交点，则利用所述交点将所述轨迹分成多段，针对分割后的各段所述轨迹判定是否闭合或者是否为V字形；

闭合区域生成处理模块：其针对判定为V字形的所述轨迹，基于该V字形的所述轨迹的顶点和两个端点，生成三角形的闭合区域；以及

选择对象判定处理模块：如果在所述形状判定处理中判定为存在闭合的部分或者存在V字形的部分，则该选择对象判定处理模块根据所述闭合的部分围成的闭合区域和在所述闭合区域生成处理中生成的所述闭合区域与所述字符或所述图像的相对位置关系来判定是否选择所述字符、所述图像或所述图像的一部分。

以上模块可以由硬件、软件或硬件和软件的组合来实现。

技术方案16：提供一种计算设备，其通过显示器进行显示，该计算设备的特征执行如下处理：

轨迹信息记录处理：响应于用户对所述显示器的指示操作，取得并记录与用户在所述显示器上指示的轨迹相关的信息；

选择指示判定处理：根据与所述轨迹相关的信息，判定用户是否进行了选择操作的指示；以及

选择对象判定处理：在判定为进行了选择操作的指示的情况下，针对所述显示器中显示的字符和图像，根据所述轨迹与所述字符、所述图像的相对位置关系，来选择所述字符、所述图像或所述图像的一部分。

技术方案17：提供一种程序，其使计算设备技术方案1～13中任意一项所述的处理。

发明效果

通过本发明，将用户直观地在显示器上用手指、指示笔或激光指示器等朝向字符或图像指示的闭合轨迹或V字状轨迹视为选择操作，使得启动选择的操作和制定操作范围的操作合二为一，用户通过一个操作，即可指示选择操作和指示选择范围，简化了用户操作，提高了用户方便性。用户学习无需记忆多个操作方式，无需在选择字符或图像时刻意分开多个步骤来进行操作，无需刻意留意模式的转变。此外，在本发明中，根据被选择的字符或图像的属性来增减选择内容，使得被选择的操作对象更符合用户的意愿。此外，可以对字符和图像使用相同的选择方式，使得用户不需要学习和记忆多种选择操作方式，减少了学习和记忆的劳动，提高了用户方便性。

附图说明

图1A是示出在现有技术中选择文本的操作的示意图。

图1B是示出在现有技术中选择图像的操作的示意图。

图2A、图2B、图2C、图2D是示出轨迹与字符或图像的显示区域的相对位置关系的图。

图3是示出V字形轨迹的例子的图。

图4是示出V字形轨迹的两个端点和顶点的例子的图。

图5是示出具有间断的闭合轨迹的例子的图。

图6是示出计算设备100的构成的框图。

图7是示出计算设备100的示意性外观图。

图8是示出选择字符或图像的整体处理的流程图。

图9A、图9B、图9C是示出根据闭合轨迹选择字符或图像的例子的图。

图10A是示出V字形轨迹的例子的图、图10B是示出根据V字形轨迹生成闭合区域的例子的图。

图11A、图11B是示出选择多行文本的例子的图。

图12A、图12B是示出关于子图像等的例子的图。

图13A、图13B是示出根据选择出的内容的属性来增加/减少对象的例子的图。

图14是示出连续选择2个对象的例子的图。

图15是示出连续选择3个对象的例子的图。

图16是示出选择出的内容的属性来修正选择范围的处理步骤的图。

图17是示出显示选择局部区域的例子的图。

图18是示出关于局部区域的例子的图。

图19是示出以非接触方式指示轨迹的计算设备的例子的图。

图20A、图20B是示出选择处理程序PA和PB的模块组成的图。

具体实施方式

实施方式1

以下，参照附图，对本发明的实施方式进行详细说明。

此外，在本说明书和附图中，对于具有实质相同的功能结构的构成要素标注相同标号，由此重复省略说明。

此外，在本说明书和附图中，有时在相同标号后附加不同的字母来区分具有实质相同的功能结构的多个构成要素。不过，在不需要特别区分具有实质相同的功能结构的多个构成要素的情况下，仅标注相同标号。此外，附图所示内容仅用于示意性说明，所示的比例与实际并不一致。

首先，对在判定位置关系时用到的现有知识进行简单说明。

在选择字符或图像时，用户在显示器上指示要选择的字符或图像，对用户指示的轨迹与字符或图像的显示范围进行比较，由此判定是否是将其作为要选择的对象。在以下的说明中，有时将用户在计算设备的显示区域中指示的轨迹简称作轨迹或选择轨迹。选择轨迹具有起点和终点，以下，在不对两者进行区分的情况下，有时简单称作端点或选择轨迹的端点。该选择轨迹可以是闭合的，也可以如V字形等开放的。

图2A、图2B、图2C、图2D示出轨迹与字符或图像的显示区域的相对位置关系，其中，虚线A1表示用户指示的选择轨迹，实线B1表示对象的显示范围。图3示出了V字型轨迹的例子，其中，虚线A1表示用户指示的选择轨迹，实线B1表示对象的显示范围。

用户在指示选择轨迹的过程中，因为手指短暂离开屏幕、激光指示器故障、触摸传感器灵敏度等原因，所得的轨迹有可能变得存在间断。例如，如图5所示，轨迹的端点为T3、T4，选择轨迹交叉而闭合，但在该轨迹上，由于触摸传感器灵敏度的原因，有一处断开，设轨迹断开处相邻的两点为T5、T6。在该情况下，只要在轨迹断开处相邻的两点T5、T6之间的距离小于规定阈值或者该两点之间的距离与闭合虚线上的任意两个点之间的最大距离之比小于固定阈值，则可将轨迹视为连续的。针对可视为连续的间断的轨迹，可采用直线线段将选择轨迹的断开处的两点连接，或者，采用曲线拟合法、内插法等将两点连接，由此将轨迹校正为连续的轨迹。

关于选择轨迹是否闭合，可通过如下方法判定：取得选择轨迹的端点之间的距离，如果该距离小于规定阈值，则判定为选择轨迹是闭合的。该阈值可根据显示器的分辨率而适当设定。

关于选择轨迹是否闭合，还可通过如下方法判定：取得选择轨迹的端点之间的距离，取得轨迹的最大直径、即轨迹上任意两个点之间的最大距离，如果端点之间的距离与上述最大直径之比小于规定阈值，则判定为选择轨迹是闭合的。该阈值可根据显示器的分辨率而适当设定。

关于选择轨迹是否为V字形，可通过如下方法判定：如图4所示，设选择轨迹的两个端点为T1、T2，以两个端点T1、T2作为线段的两个端点来作成线段，选择轨迹上距离该线段最远的点作为顶点，设该顶点为T0。如果顶点T0与端点T1之间的轨迹为近似直线、顶点T0与端点T2之间的轨迹为近似直线且以T0和T1为端点的线段与以T0和T2为端点的线段所成的角度小于规定阈值，则判定为轨迹为V字形。该角度阈值可根据实际适当设定。此外，也可以采用其它方法来判定是否为V字形。

关于选择轨迹是否为近似直线，可通过如下方法判定：基于轨迹的两个端点作成线段，如果选择轨迹上的各点与该线段的最近距离与线段的长度之比小于预定阈值，则判定为选择轨迹为近似直线。该阈值可根据实际适当设定。此外，也可以采用其它方法来判定是否为近似直线。

关于两端点间轨迹的长度，可通过如下方式计算：在轨迹上，取两端点间的多个点，计算相邻两点形成的线段的长度之和作为端点之间的轨迹长度。用于计算的点越多，则精度越高，但计算量也越大。可权衡精度和计算量而适当地确定用于计算长度的点的数量。也可以将两端点间的直线距离近似地作为两端点间轨迹长度来使用。

在选择轨迹闭合的情况下，选择轨迹和对象的显示范围的位置关系包括如下情况下：如图2A所示，选择轨迹完全覆盖对象的显示范围；如图2B所示，选择轨迹局部覆盖对象的显示范围；如图2C所示，选择轨迹局部与对象的显示范围完全没有重合；以及如图2D所示，对象的显示范围完全覆盖选择轨迹，或者说选择轨迹完全包含于对象的显示范围中。在以下的说明中，如果没有特殊说明，则覆盖包括完全覆盖和局部覆盖的情况。

可通过如下方法判定闭合轨迹与对象的显示范围之间的位置关系：如果判定对象的显示范围的每个点处于闭合轨迹所划出的范围内，则视为选择轨迹完全覆盖对象的显示范围。如果在判定对象的显示范围中既存在属于闭合轨迹所划出的范围内的点，又存在不属于闭合轨迹所划出的范围内的点，则视为选择轨迹局部覆盖对象的显示范围。如果判定对象的显示范围的每个点都不属于闭合轨迹所划出的范围，则视为两者完全没有重合。

此外，在判定一个范围与另一个范围的位置关系时，也可以通过一个范围的边界上的点与另一个范围的位置关系的关系，来得到两个范围之间的位置关系。例如，对象的显示范围通常为矩形、圆形椭圆形，在对象的显示范围通常为圆形的情况下，如果对象的显示范围的边界上的点都位于闭合轨迹所划出的范围内，则可判定为闭合轨迹所划出的范围内完全覆盖对象的显示范围。类似地，在对象的显示范围通常为规则的形状例如矩形的情况下，可通过判定对象的显示范围的顶点与闭合轨迹所划出的范围的位置关系，来判定对象的显示范围与闭合轨迹划出的范围之间的位置关系。

关于一个点与闭合范围之间的位置关系，可通过如下方式来进行判定：取得通过要判定的点且相互垂直的两条直线与闭合范围的边界的交点，根据所得到的交点与要判定的点的坐标之间的大小关系，来判定一个点与闭合范围之间的位置关系。也可以通过如下方式来判定一个点与闭合范围之间的位置关系：取得通过要判定的点的直线与闭合范围的交点个数，如果交点个数为偶数，则该点在闭合范围内，反之，在闭合范围外。此外，也可以采用其它方法来进行判定。

以上，对形状的判定、点与范围、范围与范围等相对位置关系等的判定方法进行了说明。不过，关于形状的判定、相对位置关系等判定，是平面几何学的公知常识，在实际应用中，也可以采用其它方法来进行判定两个范围的相对位置关系。

在以下的说明中，在选择轨迹不是闭合曲线情况下，如果没有特别说明，只要轨迹上的至少一个点与对象的显示范围重合，则判定为选择轨迹覆盖对象的显示范围。

以下，使用图6所示的计算设备100来实现本发明的实施方式1。此处，作为计算设备的例子计算设备100是手持式多媒体播放器，但也可以是其他计算设备，例如智能手机、平板电脑等。图6示出了计算设备100的构成部分。图7示出了计算设备100的示意性外观。

如图6所示，在计算设备100中，通过总线105连接有处理器101、第1存储器103、第2存储器104、触摸显示面板121、外围设备接口112，并通过外围设备接口112连接有按键122、传声器123、扬声器124、通信电路125和存储卡读写器126。这些部件由电源131供电。

总线105连接计算设备100的各个构成部分，传输命令和数据。处理器101例如由至少1个CPU(中央处理器)或DSP(数字信号处理器)构成，第1存储器103例如由随机存取存储器构成，暂时存储程序和程序运行中产生的临时数据。第2存储器104例如由一个或多个磁盘存储装置、闪存装置或其它非易失性固态存储装置等构成，用于持久地保持数据。

外围设备接口112可以将计算设备100的输入和输出外围设备耦接至处理器101和第1存储器103。处理器101加载并执行第2存储器104中存储的操作系统和各种应用软件，来控制计算设备的各个构成部分，完成各种功能。操作系统可以采用OSX、WINDOWS或VxWorks等。应用软件例如包括浏览器、视频播放器、音乐播放器等。

传声器123用于向计算设备100输入声音，扬声器124用于向外部发出声音。触摸显示面板121例如可以由具有触摸功能的液晶显示面板构成，具有在处理器101的控制下进行显示的功能以及检测用户对触摸显示面板121的触摸而进行输入的功能等。用户可以使用手指、触摸笔等物体或器具来与触摸显示面板121接触。在一些实施例中，有时根据手指的接触和手势来工作，由于手指与触摸显示面板121接触的面积通常较大，所以为了提高准确度，可以使用触摸笔来进行触摸输入。用户在触摸显示面板121上进行触摸时，计算设备可以取得触摸任意一点时的位置信息和时间信息。

触摸显示面板121向用户显示例如文本、网页、图形(包括虚拟软键盘的用户界面对象等)、数字图像、视频、动画等。从用户的角度来看，触摸显示面板121上显示的内容可以分为“字符”和“图像”。字符包括但不限于：各国的字母、数字、符号(例如、*、#)、汉字、日文假名等。图像包括使用软件工具等生成的矢量图形以及利用照相机或通过扫描仪得到的图片等。视频或动画可以视作一连串的图像。

电源131由可充电电池或变压器构成。在图6中，为了简化，省略了电源131与各部分的连接关系。

按键122例如由一个或多个按压式开关或感应式开关构成，来完成接通/关闭电源、调用主菜单等功能。

通信电路125例如由通信元件和天线构成，通信电路125使计算设备连接于局域网或互联网等网络等，来上传和下载各种数据。

应该理解到计算设备100仅是计算设备的一个示例，在实际应用中，可以添加或减少部件，可以组合两个或更多的部件，或者采用其它布置方式。图6中示出的各种部件可以由硬件、软件或硬件和软件的组合实现。

触摸显示面板121相当于计算设备的显示器的示例。计算设备100是计算设备的示例。以下基于计算设备100来进行说明。

计算设备100执行图20A所示的选择处理程序PA来实现选择功能。处理程序PA由轨迹记录模块PA1、选择操作判定模块PA2和选择范围判定模块PA3构成。例如，计算设备100在生产制造时，在第2存储器104中置入选择处理程序PA，或者通过存储卡读卡器读入并安装选择处理程序PA，或者通过通信电路125下载并选择处理程序PA等。

即，例如当用户通过手势方式直观地在触摸显示面板121上用手指或指示笔等朝向字符或图像触摸而进行指示时，计算设备100检测到用户的指示(与显示器的接触)，开始执行图8所示的步骤，来取得与轨迹相关的信息，判定要选择的字符或图像并进行选择。例如，用户在通过触摸来指示轨迹时，需要接触显示器(触摸显示面板121)，在用户接触显示器时，触摸显示面板121会产生中断，计算设备100例如通过操作系统对中断进行处理，将以与触摸相关的位置信息、时间信息等为参数的消息(事件)传递给选择处理程序PA。由此，选择处理程序PA可以对与触摸相关的信息(位置、时间、压力等)进行处理。此为公知常识，不再进行更具体的说明。

即，响应于用户对触摸显示面板121的指示操作，在轨迹记录模块PA1中，取得并记录与轨迹相关信息，其中，所述信息包括坐标等位置信息。在选择操作判定模块PA2中，基于所取得的指示轨迹的位置信息，判定用户是否进行选择操作的指示。例如，在用户指示了圆形或椭圆等闭合轨迹的情况下，视为用户进行了选择指示。或者，在用户指示了V字形的情况下，视为进行了选择指示。或者，在用户指示了大于规定长度的直线或者波浪线的情况下，视为进行了选择指示。

在判定为用户进行了选择指示的情况下，在选择范围判定模块PA3中，基于指示轨迹的位置信息(形状信息)，根据指示轨迹或者根据指示轨迹围成的区域与待选择的字符或图像之间的相对位置关系，来判定选择范围并选择对象或对象的一部分。

以下，基于如下计算设备100、结合图8进行具体说明。其中，轨迹记录模块PA1执行步骤S05，选择操作判定模块PA2执行步骤S10、S15、S20，选择范围判定模块PA3执行步骤S25、S30、S35。

即，响应于用户对触摸显示面板121的指示操作，进入步骤S05。在步骤S05中，计算设备100取得与轨迹相关信息并通过例如保存在第1存储器103中等方式进行记录，在该例子中，所述信息包括坐标等位置信息。此外，用户在例如用手指触摸来指示轨迹时，与显示器接触形成具有宽度的轨迹，因此，例如可以采用该具有宽度的轨迹的中点等方法，形成由中点组成的作为线条的轨迹，即，根据作为由连续的点组成的作为线条的轨迹来进行判定选择处理。即，以后，如果没有特别说明，轨迹是指作为线条的轨迹。在用户停止指示轨迹时，即，在检测不到用户对显示器的指示(接触)时，从步骤S05进入步骤S10，针对所取得的轨迹，进行后续处理。

此外，如上所述，由于手指短暂离开屏幕、激光指示器故障、触摸传感器灵敏度等原因，会导致检测不到用户对显示器的指示而无识别为用户停止指示轨迹。为了避免这些，可以适当设定时间阈值，如果用户在时间阈值内接着指示轨迹，则视为用户没有停止指示。反之，则视为停止指示。

在此，还可以对该轨迹进行校正处理，所述校正处理包括如下处理等：通过直线连接的方法、曲线拟合法或内插法等，将存在间断且该间断小于规定阈值的轨迹校正为连续，即，如果存在大于规定阈值的间断，则分别针对每段轨迹进行步骤S10～S35的处理，换句话说，步骤S10～S35中处理的轨迹是连续地指示的轨迹；对轨迹进行平滑化处理，以去除抖动；将轨迹校正为近似的规范几何形状，例如在用户指示了不规范的圆形或矩形的情况下，将轨迹校正为规范的圆形或矩形；扩大或缩小轨迹，例如，在用户指示了圆形轨迹时，将该轨迹校正为比该圆稍大一圈或稍小一圈的圆，或者修正V字形轨迹的边的长度，例如均设为两条边的平均值等；以及去除较小的闭合部分的校正处理。具体而言，如果轨迹上闭合的部分的最大直径小于规定阈值，则将该闭合的部分视作非闭合部分而去除，并将去除的部分校正为连续。该阈值可根据情况适当设定。此外，也可以将小于规定面积的闭合区域视为非别和区域而进行去除和校正处理。

可以执行一个或多个校正处理，校正处理不是必须的，但优选进行校正处理，也可以轨迹进行其它校正处理。在进行了校正处理后，使用与校正后的轨迹相关的信息来进行后续处理。关于曲线的被校正的部分的信息例如位置信息、时间信息、压力信息等，可以通过内插法等方法获得。

在步骤S10中，根据在步骤S05中记录的轨迹信息或校正后轨迹的信息，判定是否轨迹存在交点，如果不存在交点，则直接进入步骤S20，判定整个轨迹的形状，如果存在交点，则进入步骤S15，利用所述交点将该轨迹分成多段，然后进入步骤S20，针对分割得到的各段轨迹，分别判定该段轨迹的是否闭合或者是否为V字形等。

在步骤S20中，根据轨迹的位置信息，判定所述轨迹的形状。具体而言，判定该段轨迹是否存在闭合的部分，或者是否为V字形。如上所述，如果存在交点，则可判定为轨迹闭合，或者，如果轨迹的两个端点之间的长度小于用于判定是否闭合的阈值，则判定为轨迹闭合。当在步骤20中判定为存在闭合的部分的情况下，视为进行了选择操作的指示，进入步骤S30。当在步骤S20中判定为该段轨迹为V字形的情况下，进入步骤S25，生成以V字形轨迹的顶点和两个端点为顶点的三角形闭合区域。例如，图10B中的虚线部分示出了根据V字形轨迹生成的三角形闭合区域。在生成闭合区域后，进入步骤S30。

在步骤S30中，针对当前显示的各个字符和图像，根据所述闭合的部分围成的闭合区域和在所述闭合区域生成处理中生成的闭合区域来判定是否选择所述字符、所述图像或所述图像的一部分，即，根据闭合的部分与所述字符或所述图像的相对位置关系来选择字符或图像。具体而言，针对当前显示的各个字符和图像，取得其位置信息(坐标)，根据其位置信息，判定闭合区域是否完全覆盖该字符或图像，选择完全覆盖的字符或图像，进而，针对其它字符或图像，根据闭合区域与字符或图像的相对位置关系来判定是否选择。

例如，可以通过覆盖程度或偏离程度等来评价相对位置关系。例如，覆盖程度包括面积覆盖程度、长度覆盖程度。其中，面积覆盖程度包括绝对面积覆盖程度和相对面积覆盖程度。例如可以将闭合的部分对该字符或图像的覆盖面积(即重合面积)作为绝对面积覆盖程度。可以将绝对面积覆盖程度归一化而得到相对面积覆盖程度。或者，可以将该字符或图像的覆盖面积除以该闭合区域和该字符或图像的显示区域中的较小一方的面积，将该计算结果作为该字符或图像的相对面积覆盖程度。

长度覆盖程度包括绝对长度覆盖程度和相对长度覆盖程度。其中，可以将轨迹对字符或图像的覆盖长度、即轨迹在该字符或图像中的长度作为绝对长度覆盖程度。可以将该绝对长度覆盖程度归一化而得到相对长度覆盖程度，或者，还可以通过如下方式得到相对长度覆盖程度：针对各个字符或图像，将最大的覆盖长度作为最大覆盖长度，将覆盖长度与最大覆盖长度之比作为相对长度覆盖程度。

偏离程度是指字符或图像偏离开闭合区域或偏离开轨迹的程度，可以采用绝对偏离程度或相对偏离程度来评价偏离程度。例如，可以将字符或图像的显示区域的中心(几何形状的中心)与闭合区域的边界的直线距离作为绝对偏离程度，可以将绝对偏离程度归一化而得到相对偏离程度。其中，设朝向闭合区域内侧为负，设另一侧为正。即，如果字符或图像的显示区域的中心的位于内侧，则上述直线距离为负，反之为正。这样，绝对偏离程度的值越小，则靠近该闭合区域。由此，可设定阈值，选择绝对偏离程度为阈值以下的字符和图像。也可以采用其他方法来评价字符或图像偏离闭合区域的程度。例如，在闭合区域是圆形的情况下，可以采用图像与闭合区域几何中心的距离等。例如，可以采用如下归一化方法：设要评价的变量为x，变量的最大值为max，最小值为min，归一化后的变量为x*，则x*＝(x-min)/(max-min)。也可以采用其它归一化方法。

类似地，可以计算出指字符或图像偏离开轨迹的程度(可以仅使用绝对值计算)。由此可以根据相对面积覆盖程度、绝对面积覆盖程度、绝对长度覆盖程度、相对长度覆盖程度、绝对偏离程度和相对偏离程度中的任何一个或组合它们来进行选择。

例如，图9A示出了如下情况：显示有A、B、C、D、I、J、K、L、R、S、T、U这12个图像，用户指示了虚线所示的轨迹A1，轨迹A1的端点为T1、T2，轨迹A1未完全闭合。此处，设T1、T2之间的距离小于闭合判定阈值而判定为轨迹闭合。在本例中，采用内插法将轨迹A1校正为连续。图9B示出了校正后的连续的轨迹。其中，图像J、K、I、L、B、C、A的显示区域的面积分别为1000、1000、800、300、150、100、40个像素。

在图9A所示的例子中，在通过执行步骤S30的处理来进行判断和选择时，首先判定为J、K完全覆盖而将其作为选择对象。进而，针对其它对象，根据相对面积覆盖程度来判定是否选择。在此，将闭合区域对该字符或图像的覆盖面积作为绝对面积覆盖程度。例如，图像I、L、B、C、A的绝对面积覆盖程度分别为800、300、150、100、40个像素。

在例子中，将该字符或图像的覆盖面积除以该闭合区域和该字符或图像的显示区域中的较小一方的面积来计算相对面积覆盖程度。由于，各个图像的显示区域的面积均小于闭合区域，因此，使用显示区域的面积的来计算相对面积覆盖程度。由此得到，图像I、L、B、C、A的相对面积覆盖程度分别为0.8、0.3、0.15、0.1和0.04。根据相对面积覆盖程度来选择字符或图像，选择相对面积覆盖阈值以上的字符或图像。因此，在该例子中，设相对面积覆盖阈值为0.3，因此执行的结果是：首先，选择完全覆盖的图像J、K，进而，选择相对面积覆盖阈值以上的图像I、L。

此外，也可以根据绝对面积覆盖程度来选择字符或图像，即绝对面积覆盖程度为选择绝对面积覆盖阈值以上的字符或图像。例如，设绝对面积覆盖阈值为300，则执行结果是：首先，选择完全覆盖的图像J、K，进而，选择绝对面积覆盖阈值以上的图像I、L。此外，也可以采用归一化得到的相对面积覆盖程度来选择字符或图像。在此，不再进行说明。

类似地，可以根据绝对长度覆盖程度和相对长度覆盖程度来进行判断和选择。例如，图10A示出了：显示有N、P、O、Q四个图像，用户指示了虚线所示的V字形轨迹。在图10A中，例如假设图像O、P、N的覆盖长度分别为200、100和20像素。则图像O、P、N的绝对长度覆盖程度分别为200、100和20像素，归一化后的相对长度覆盖程度为1、0.44和0。在根据绝对长度覆盖程度来选择字符或图像时，选择绝对长度覆盖程度为规定阈值以上的字符或图像。例如，如果设该阈值为120像素，则选择图像O。也可以根据相对长度覆盖程度，选择相对长度覆盖程度为规定阈值以上的字符或图像。例如，如果设该阈值为0.6，则在本例中选择图像O。

在实际应用中，可根据实际情况，组合使用相对面积覆盖程度、绝对面积覆盖程度、绝对长度覆盖程度、相对长度覆盖程度、绝对偏离程度和相对偏离程度来进行判断和选择。例如，选择出相对面积覆盖程度大于一定值且绝对面积覆盖程度大于一定值的字符或图像等。或者，相对面积覆盖程度大于一定值或绝对面积覆盖程度大于一定值的字符或图像等。或者，相对面积覆盖程度大于一定值、绝对面积覆盖程度大于一定值、且绝对长度覆盖程度大于一定值的字符或图像等。

在通过上述方法确定了要选择的字符或图像后，对所述字符或图像实施选择操作。例如可通过如下手段实现选择操作：将图像J、K、I、L的句柄传递给对选择字符或图像进行处理的模块或应用程序，或者，将指向图像J、K、I、L在内存中的地址的指针传递给模块或应用程序。此外，图像可以是指向文件等的链接，接收到图像的模块或应用程序对图像所指向的实际对象进行后续处理。例如，可以针对选择出的对象，显示复制、黏贴、检索、扩大/缩小图像、取消等这样的菜单，或者显示出表示复制、黏贴、检索、扩大图像、缩小图像等这样的文字、图标、音乐或语音提示等，以方便用户进行后续操作。对显示菜单的执行顺序没有要求，例如，在图8所示的处理中，可以在步骤S20、S30之间插入菜单显示操作，也可以在S30与S35之间显示菜单。这不涉及本发明的实质内容，对此不再进行说明。

此外，对用户而言，字符或图像是否被选择，通常是以可视的方式展现出的。因此，在选择了对象后，改变显示器的显示方式，以使得用户可以在视觉上将选择出的的字符或图像与未被选择的字符或图像区分开。

例如，如图9C所示，可以用点划线所示的具有边框和高亮的区域来表示被选择的字符或图像。用户可以调整边框来改变选择区域。图9C仅为示例。可以采用各种方式向用户表示选择出的内容。例如边框可以采用各种虚线、实线、波浪线等各种形状。可以采用各种粗细的边框，高亮可以采用各种颜色，可以只采用边框或者只采用高亮方式。边框和高亮可以是静态的，也可以动态地改变边框的粗细或高亮的颜色等。此外，在用户指示轨迹时，以线条等方式显示客户指示的轨迹，使轨迹的显示保持一定时间，然后使轨迹的显示消失。也可以扩大或缩小地显示选择出的字符或图像等。此外，也可以在用户指示轨迹时，使计算设备发出特定的音乐或语音提示。

以上，以图像为例进行了说明，也可以通过同样的方法对字符、或由字符和图像组成的格式化文本等进行选择。

通过以上说明可知，根据本实施方式，可得到如下效果：在用户指示了闭合轨迹或V字形轨迹的情况下，视为用户进行选择操作，并根据轨迹来选择字符或图像。由此，用户在进行选择时，无需先进行切换到选择模式的操作后进行选择，只需指示选择轨迹，即可完成选择操作。由此，减少了操作步骤，节省了操作时间，且可以一次选择多个对象。此外，由于减少了操作步骤，减少了用户需要学习和记忆的操作手势，提高了用户体验性。此外，用户无需在选择字符或图像时刻意分开多个步骤来进行操作，无需刻意留意模式的转变。

此外，由于在具有触摸显示面板的计算设备中，通常通过点击或触碰来跳转到超链接指向的目的地。在现有的选择的方法中，如果只是希望选择文本或图像而不希望跳转，必须非常小心地操作以避免因选择操作而发生跳转。与此相对，在本实施方式中，在选择以文本(即，多个字符)形式表现的超链接等对象时，可以按以上说明的那样，通过闭合轨迹来进行判断和选择。这样，选择轨迹与选择字符或图像不直接接触，避免了因触碰选择字符或图像而引发误操作。此外，通过指示V字形方式来选择的文本的方式来选择文本，由于不存在点击操作，也能够容易地避免上述误操作。

此外，与现有技术相比，节省了通过触摸屏幕一定时间、或者结合其它按钮等操作来开启选择模式，从用户角度而言，通过顺畅的画圈或划钩操作手势，即可完成选择，提高了用户体验。换句话说，所谓顺畅，是指用户指示轨迹的过程是基本一致，或者可以说以大致一致速度的或者以大致相同的加速度来完成指示，不存在现有技术中因指示选择操作而导致的停顿。顺畅的感觉，还体现在用户无需如现有技术那样注意是否进入选择模式。例如，在现有技术中，有的指示选择的操作本身就需要用户持续一定时间(例如，持续按压)，或者，用户在选择时需要花费时间来思考和观察是否进入选择模式(例如，根据是否出现文本选择范围等判定是否进入选择模式)等，导致用户的操作是存在停顿的。而在本实施方式中，用户仅关注于需要选择的字符或图像即可，可以忽视用于指示选择(即进入选择模式)的操作与指示选择范围的操作的差别。因此，通过本发明的各个实施方式及其变形例，可以使客户顺畅地进行选择操作，大幅改善用户体验。

实施方式2

在实施方式1中，基于用户指示轨迹的形状来判定选择处理，在实施方式2中，还取得基于用户指示轨迹的时间信息，并结合时间信息来判定用户是否进行了选择处理，除此以外的操作，与实施方式1基本相同，因此，对于重复的说明予以简化或省略。实施方式2可以采用实施方式1中的计算设备100来实现功能，因此，对计算设备100省略说明。

计算设备100执行图20B所示的选择处理程序PB来实现选择功能。处理程序PB由轨迹记录模块PB1、选择操作判定模块PB2和选择范围判定模块PB3构成。

在轨迹记录模块PB1中，响应于用户对触摸显示面板121的指示操作，取得与轨迹相关信息并通过例如保存在第1存储器103中等方式进行记录，其中，所述信息包括坐标等位置信息以及进行指示的时间信息。

在选择操作判定模块PB2中，基于所取得的用户进行指示的时间信息，如果用户连续地指示轨迹达规定时间以上，则视为用户进行了选择指示。

在判定为用户进行了选择指示的情况下，在选择范围判定模块PB3中，基于指示轨迹的位置信息(形状信息)与待选择的字符或图像之间的相对位置关系，来判定选择范围并选择对象或对象的一部分。即，如果选择轨迹闭合，则根据闭合的轨迹来确定选择范围。如果选择轨迹为不闭合的V字形，则生成闭合区域，并根据该闭合区域来确定选择范围。该处理与实施方式1类似，因此不再进行详细说明。

变形例1

在用户选择了字符或图像的情况下，如果被选择的字符或图像为连续的多行文本中的字符，则将选择字符或图像扩展为选择出的字符所在的整行文本。

例如，如图11A所示，虚线表示选择轨迹。根据该轨迹，按照上述判定方法，选择了字符B、C、D、E、F。由于被选择的字符B、C、D、E、F为上下连续地排列的多行文本中的字符，因此，将选择范围扩展为选择出的字符所在的整行文本。其结果是，在用户指示了图11A所示的轨迹的情况下，如图11B所示那样选择了多行文本，在图11B中，由点划线示出最终选择的内容。图11A、图11B示出了闭合轨迹的例子，对于V字形轨迹，也可以采用同样的方法来扩展选择内容。由此，用户可以通过简单的操作来选择多行文本。

需指出的是，如果所操作的文本是word文件、HTML网页等格式化文本的情况下，文本包括字符和图片(即，图像)。在这种情况下，也可以按照上述扩展方法来选择多行文本。而且，如果该行文本中包括字符和图片，则该行中的图片也被选择。

变形例2

在以上实施方式中，仅根据位置关系来选择字符或图像，在该实施例中，还根据被选择的字符或图像的属性来校正选择范围，具体而言，增加或减少选择出的字符或图像。

根据图16所示的方法，从根据轨迹选择出的字符串开头的字符开始来校正选择范围，具体而言，来判定该字符是否属最终被选择。在步骤S101中，针对各个属性的各个属性值，取得具有相同属性值最多的字符所具有的属性值，将其作为“选择属性值”。在步骤105中，将用于计数选择判定次数的变量n初始化为1。在步骤S110中，取得要判定的字符，在该例子，取得根据轨迹选择出的字符串的从开头起的第n个字符。在步骤S120中，判定该字符是否具有“选择属性值”。如果该字符具有“选择属性值”，则结束校正选择范围，如果该字符不具有“选择属性值”，则进入步骤S130，将该字符设为非选择字符。在步骤S135中，使n加1。在步骤S140中，判定n是否小于判定次数，如果小于判定次数，则转入步骤S110。如果为规定的判定次数以上，即已进行了判定次数以上的判定，则结束校正选择范围。关于判定次数，可根据实际适当设定。

在图16所示的方法中，从字符串开头的字符开始，判定字符是否属最终被选择。还可以从字符串末端开始判定，在该情况下，在步骤S110中，取得所选择的字符串倒数第n个字符，其余步骤与图16所示的处理相同。

所述属性和属性值包括如下等情况(其中，左侧为属性，右侧为属性值)：

是否为超链接：超链接，非超链接；

是否为数字：数字，非链接；

字符类型：字母、符号(如#、*等)、多字节字符(汉字)等；

字体名称：“高斯体”、“Minliu体”、“宋体”等；

是否为粗体字：粗体字、非粗体字；

是否有下划线：下划线、无下划线；

是否为斜体字：斜体字、非斜体字。

此外，可以根据实际情况增加其它属性，或者权衡计算量和校正效果而适当减少所使用的属性。此外，可以对属性赋予不同的权重，在“选择属性值”存在多个的情况下，选择权重较大的“选择属性值”来进行比较。

例如，如图13A所示，用户针对所显示的文本指示了虚线所示的指示区域。首先，按照上述基于位置关系的选择方法，确定选择出的字符串为“to:abcdef.com”。对该字符串，取得具有相同属性值最多的字符所具有的属性。在该例中，由于“abcdef.com”均具有“是超链接”的属性值，因此，将“是超链接”作为“选择属性值”。按照图16所示的方法，由于“to:abcdef.com”中的“to:”不具有“是超链接”的属性，因而将“to:”作为非选择字符，最终选择的字符串是“abcdef.com”。

图16示出了根据属性而减少所选择的字符或图像的例子，类似地，也可通过判定对象的属性来扩展所选择的字符或图像。在情况下，如果从字符串的开头开始处理，则在步骤S110中，取得字符串之前的第n个字符来判定其属性。如果从字符串的尾部开始处理，则在步骤S110中，取得字符串之后的第n个字符来判定其属性。其余步骤与图16所示的处理相同。

例如，如图13B所示，用户针对所显示的文本指示了虚线所示的指示区域，首先，按照上述基于位置关系的选择方法，选择字符串“23456789”，“选择属性值”为“是数字”。按照基于图16说明的方法，判定字符串之前和之后的字符。由于之前和之后所得到的字符分别为1和0，该1和0与当前选择的字符串的属性同为数字，因此，将1和0作为选择字符或图像并继续延伸。接下来得到的字符和空格和“，”，属性与当前选择的字符串的属性不同，停止延伸。最终，选择了字符串“1234567890”。

由此，在因显示区域较小等而不能精确指示轨迹的情况下，也能够选择出符合用户意愿的内容。

变形例3

在以上说明中，在选择了对象之后，用边框或高亮等方式指示选择出的内容。在本变形例中，在用户选择了对象后，如果在预定的时间阈值内未作任何操作，则取消选择。

例如，在用户通过闭合轨迹选择了多个图像后，通过边框等指示选择出的图像。检测在预定的时间阈值内用户是否再次进行了操作。如果在时间阈值内用户没有进行操作，则取消对图像的选择，使用于指示选择的边框等消失，由此，恢复为选择操作之前的状态(未被选择的状态)。

此外，可以针对不同的轨迹类型设定不同的用于取消的时间阈值，例如，可以使V字形轨迹的消失快于闭合轨迹。例如，可以将用于自由轨迹的上述时间阈值设为小于用于闭合轨迹的上述时间阈值。其原因在于，闭合轨迹多为用户有意识的操作，而V字形轨迹有可能是误操作。不过，以上仅为示例，用于取消选择的时间阈值可以根据时间情况而适当设定。

通过设定用于取消选择的时间阈值，使得用户在误操作地划出选择轨迹的情况下，通过等待较短的时间，无需进行取消操作，即可取消选择。由此，可以减少客户进行取消操作的次数，提高了用户的方便性。

此外，在用户连续指示多个轨迹的情况下，只要相隔的两次指示操作之间的间隔小于等于预定的时间阈值，则保持从最开始指示的轨迹、即进行连续多次选择。此外，如果在最后一次指示操作后的预定的时间阈值内未作任何操作，则取消此前的所有操作。例如，设预定的时间阈值为2秒，则用户在指示了第1轨迹后，如果在2秒之内再次指示第2轨迹，并在第2个轨迹之后的2秒以内指示了第3轨迹，则最终根据3个轨迹来选择字符或图像。

例如，如图14所示，用户首先指示了虚线所示的闭合轨迹，在规定时间内，再次指示了虚线所示的V字形轨迹。在这样的情况下，由于指示前后两个轨迹的时间间隔小于预定的时间阈值，因此，根据两个轨迹来选择字符或图像。由此，优化能够自由地通过不同轨迹形状选择位于相分离的位置的多个对象。

此外，可以使根据多次指示选择出的内容的显示方式不同，例如，根据第1轨迹选择的字符或图像用虚线表示，根据第2轨迹选择的字符或图像用点划线表示等。类似度，图15示出了连续选择3个对象的例子，由此，便于用户区分多个选择操作。

此外，可以根据用户指示的特定的轨迹，例如，在用户划出“X”状交叉轨迹或者与类似于一撇的斜线(与触摸显示面板121的四个边均不平行的线)的情况下，执行取消操作。

变形例4

在该变形例中，进行如下处理：如果所选择了图像，则对图像进行解析，识别提取出图像中的子图像，并显示图像的缩小图和/或多个子图像中的全部或一部分子图像。

如图12A所示，用户对所显示的图像指示了虚线所示的V字形的所述轨迹，计算设备根据V字形的所述轨迹而选择该图像。计算设备对选择的图像进行解析，提取多个子图像，如图12B那样，显示所选择的图像的缩小图和/或多个子图像中的全部或一部分子图像。在图12B中，针对用户选择的图像img1，显示有图像的缩小图img11、子图像img12和子图像img13。由此，用户可以通过选择图像的缩小图或任意一个子图像来更精确地选择字符或图像，此外，还可以对子图像进行识别，并显示识别结果。关于提取子图像的方法，可通过“基于整数小波的目标子图像提取方法”、“基于小波变换的目标图像提取分割方法”等现有技术来提取子图像。

变形例5

在本变形例中，对选择图像的局部区域的方法进行说明。

在用户对计算设备的显示器上显示的图像指示了闭合的轨迹时，根据所取得的位置信息，选择该图像中轨迹所包围的局部区域。其中，在该轨迹覆盖多个图像的情况，选择覆盖面积最大的图像中的局部区域。例如，如图17所示，计算设备显示有两个图像，用户指示了虚线所示的闭合轨迹。在该情况下，由于轨迹对右侧的图像的覆盖区域较大，因此，选择右侧的图像中被轨迹覆盖的局部区域。

此外，还可以是，在用户选择了图像的局部区域后，对整个图像进行解析，识别出图像中的子图像，显示整个图像的缩小图、局部区域、子图像的全部或一部分。

如图18所示，用户对所显示的图像指示了虚线所示的闭合轨迹，计算设备根据闭合轨迹而选择该图像的局部区域。计算设备对选择的图像进行解析，提取多个子图像，并显示整个图像的缩小图和/或所述局部区域和/或多个子图像中的全部或一部分子图像。此外，也可以不进行解析，而仅显示图像的缩小图和/或所述局部区域。或者，不显示显示图像的缩小图和/或所述局部区域，而仅以将该局部区域加亮或放大的方式来突出该局部区域。

由此，用户可以通过选择图像的缩小图、局部区域或任意一个子图像来更精确地选择字符或图像。

其它变形例

图19示出了计算设备的另一例。与图6所示的计算设备100相比，图19所示的计算设备100B仅在于用感应式显示面板121B替代了触摸显示面板121。感应式显示面板121B可以显示内容，此外，当用户使用激光笔等在感应式显示面板121B上指示内容时，感应式显示面板121B可以将激光笔指示出的激光光斑的轨迹信息传递给计算设备100B。由此，用户可以以非接触的方式在感应式显示面板121B上指示轨迹，选择字符或图像。计算设备不限于以上所述的计算设备100和计算设备100B，只要用户是以手势指示选择范围的方式，直观地指向计算设备的显示器上显示的内容且该计算设备能够取得与所指示的轨迹相关的信息(包括位置信息、时间信息、压力信息等)，则可以采用任何计算设备来实施上述选择方法。

此外，实施方式1示出了在用户停止指示轨迹后，判定轨迹的形状并选择字符或图像的例子，但也可以随着用户指示轨迹同步地判定轨迹的形状，并根据判定为闭合或V字状的轨迹来选择字符和图像。

此外，在用户指示轨迹期间显示器显示的画面发生了滑动或翻页的情况下，或者在用户对视频或动画进行指示的情况下，可将它们视作一连串的图像、即多帧图像的集合，因此，可以取得用户开始指示轨迹的时间点与结束指示轨迹的时间点之间的任意一帧图像(包含起始时间点的帧在内)，根据以上说明的方法来选择字符或图像。

此外，在实施方式1中，示出了如下例子：首先判定是否完全覆盖，选择完全覆盖的字符和图像，进而，根据覆盖程度来选择未完全覆盖的字符和图像。不过由于覆盖程度可以反映出是否完全覆盖，因此，也可以省略判定是否完全覆盖的步骤，而针对当前显示的字符和图像，直接根据覆盖程度来判定是否选择。

此外，在使具有宽度的轨迹成为作为线条的轨迹时，也可以取中点以外的其它点来形成作为线条的轨迹。

此外，在轨迹不闭合的情况下，可以仅使用用户指示的轨迹来计算长度覆盖程度或评价偏离程度。例如，在轨迹为V字形的情况下，在所生成的三角形闭合区域的三个边中，仅使用用户指示的2条边或者校正后的2条边来计算长度覆盖程度或评价偏离程度。例如，在选择了闭合区域完全覆盖的字符或图像后，进而，仅选择用户指示的2条边局部覆盖的的字符或图像或距离这2条边较近的字符或图像。

此外，如果用户指示的轨迹为V字形且根据长度覆盖程度来选择字符或图片，也可以省略闭合区域生成处理。

此外，还可以取得用户指示轨迹时的压力信息，如果，用户在指示轨迹过程中，以大致恒定(例如，根据指示轨迹时的各点压力相对于整个轨迹的平均值的偏离程度来判定)的压力指示了轨迹，则判定为用户进行选择操作，并根据轨迹的位置信息，来确定选择范围和选择对象。

此外，还可以基于用户指示轨迹时的时间信息或者位置信息来计算用户指示轨迹时的速度，如果，用户在指示轨迹过程中，以大致恒定的速度指示了轨迹，则判定为用户进行选择操作，并根据轨迹的位置信息，来确定选择范围和选择对象。

此外，也可以组合使用用户指示轨迹时的时间信息、压力信息、位置信息等来判定用户是否进行了选择操作的指示。例如，在用户以大致恒定且大于某阈值的速度并以大致恒定的压力指示轨迹的情况下，判定为进行了选择操作的指示。

此外，选择处理程序PA和选择处理程序PB的模块的组成方式不限于以上方式，可以根据需要进行组合、拆分或省略等。例如，可以仅根据闭合的轨迹来进行选择操作，在该情况下，在图8所示的处理中，可以省略步骤S10、S15、S25、S35的处理，而且，在步骤S20中仅判定指示轨迹是否为闭合区域，在为闭合区域的情况下，通过步骤S30执行选择对象的判定。

此外，在用户指示了V字形轨迹的情况下，可以不根据V字形轨迹生成封闭区域，而根据V字形轨迹的端点和顶点，得到3个端点组成的三角形的中心，根据选择该中心所在的位置的字符或图像，或者可以选择V字形轨迹的顶点所在的位置的字符或图像。或者，可以根据待判定对象与V字形轨迹的偏离程度来判断是否选择。

此外，可以根据需要增加其他处理。例如，在图8所示的处理中，在S20中判定为用户进行了选择指示的情况下，可以显示“选择”、“搜索”、“取消”这样的菜单，根据用户对菜单的选择，执行后续的处理。例如，在用户选择了“搜索”的情况下，执行步骤S30的处理，在选择了“取消”的情况下，退出图8所示的处理。

此外，在以上说明中，在由选择范围判定模块(PA3、PB3)执行的选择对象判定处理中，根据面积的相对关系来判定选择对象，不过，也可以根据字符或图标等图像与指示轨迹的相对远近关系来判定对象。例如，在用户指示了一段波浪线的情况下，可以判定为进行了指示，并将波浪线划过的文字或图标等图像作为选择对象，即，可以根据文字或图像与线条的相对远近关系(偏离程度)来进行选择。或者，将波浪线覆盖的文字或图标等图像作为选择对象。此外，也可以将用户指示的大于规定长度的线条视为进行了选择指示，并将线条划过的文字或图标等图像作为选择对象。

此外，在以上说明中，对由计算设备执行选择范围判定模块PA3或选择范围判定模块PB3的情况进行了说明，但选择范围判定模块PA3或选择范围判定模块PB3的功能，也可以由FPGA和ASIC等硬件或者软件和硬件的组合来实现。

此外，在以上说明中，以像素为单位来进行判定，但也可以转换为厘米等，或者采用其他量纲等。此外，针对作为选择指示的判定标准的轨迹形状，可以增加其他限定条件，以避免错误判定。例如，仅在闭合轨迹的最大直径大于规定长度的情况下，视为选择指示。

此外，在以上说明中，只要没有特别限定，则“阈值”、“规定长度”、“规定时间”等判断要素，可以根据实际需要自由设定。

以上，通过各个实施方式和变形例对本发明进行了说明。各个实施方式和变形例可以自由组合而得到更多的实施方式。

产业应用

本发明可以应用于计算机领域、通信领域、消费电子设备领域等。

Claims (10)

1.一种选择字符或图像的方法，其由具有显示器的计算设备执行，所述方法的特征在于，其所述计算设备执行如下处理：

轨迹信息记录处理：响应于用户对所述显示器的指示操作，取得并记录与用户在所述显示器上指示的轨迹相关的信息；

选择指示判定处理：根据与所述轨迹相关的信息，判定用户是否进行了选择操作的指示；以及

选择对象判定处理：在判定为进行了选择操作的指示的情况下，针对所述显示器中显示的字符和图像，根据所述轨迹与所述字符、所述图像的相对位置关系，来选择所述字符、所述图像或所述图像的一部分。

2.根据权利要求1所述的选择字符或图像的方法，所述方法的特征在于，

还对所述轨迹进行如下的至少一种校正处理：

将存在间断的所述轨迹校正为连续；

对所述轨迹进行平滑化处理；

将所述轨迹校正为近似的规范几何形状；

扩大或缩小所述轨迹或者修正V字形轨迹的边的长短；以及

在闭合的部分的直径小于规定阈值的情况下，将该闭合的部分视作非闭合部分而去除，并将所述去除的部分校正为连续。

3.根据权利要求1或2所述的选择字符或图像的方法，其中，

在所述选择指示判定处理中，在用户指示了闭合轨迹的情况下、或在用户指示了V字形轨迹的情况下、或在所述轨迹包含闭合的部分的情况下、或在所述轨迹包含V字形轨迹的部分的情况下，或在用户指示了大于规定长度的轨迹的情况下，或在用户指示了波浪线的情况下，或在用户指示了大于规定时间的轨迹的情况下，或在用户以大致恒定的速度指示轨迹的情况下，或在用户以大致恒定的压力指示轨迹的情况下，判定为用户进行了选择操作的指示。

4.根据权利要求1～3中任意一项所述的选择字符或图像的方法，其中，

在用户指示了V字形轨迹的情况下，根据该V字形轨迹的端点和顶点，生成闭合区域，并根据该闭合区域与所述字符或所述图像的相对位置关系来判定是否选择所述字符、所述图像或所述图像的一部分。

5.根据权利要求1～3中任意一项所述的选择字符或图像的方法，其中，

在判定为进行了选择操作的指示的情况下，根据所述轨迹与所述字符或所述图像的相对位置关系来判定是否选择所述字符、所述图像或所述图像的一部分，或者，根据所述轨迹的闭合部分围成的闭合区域与所述字符或所述图像的相对位置关系来判定是否选择所述字符、所述图像或所述图像的一部分。

6.根据权利要求1～5中任意一项所述的选择字符或图像的方法，其中，

所述轨迹是由用户以接触或者非接触的方式在所述显示器上指示的，

在根据所述闭合区域来选择字符或图像时，将所述闭合的部分完全覆盖的字符或图像作为选择对象，并根据所述闭合的部分与非完全覆盖的字符或图像的相对位置关系来选择字符、图像或图像的一部分。

7.根据权利要求1～6中任意一项所述的选择字符或图像的方法，其中，

所述相对位置关系可根据覆盖程度和偏离程度来评价，其中，所述覆盖程度包括面积覆盖程度、长度覆盖程度，其中，

所述面积覆盖程度包括绝对面积覆盖程度和相对面积覆盖程度，

所述长度覆盖程度包括绝对长度覆盖程度和相对长度覆盖程度，

所述偏离程度包括绝对偏离程度和相对偏离程度，

根据所述绝对面积覆盖程度、所述相对面积覆盖程度、所述绝对长度覆盖程度、所述相对长度覆盖程度、所述绝对偏离程度和所述相对偏离程度中的至少一个来选择字符、图像或图像的一部分。

8.根据权利要求1～7中任意一项所述的选择字符或图像的方法，其中，

在选择了字符或图像后，使所述显示器以将选择出的字符或图像与未被选择的字符或图像区分开的方式进行显示，

在判定为在预定的时间内用户没有进行任何操作的情况下，取消对已被选择的字符或图像的选择，使所述显示器以被取消选择的字符或图像未被选择的方式进行显示，

在判定为在预定的时间内用户再次指示了包含闭合的部分或者V字形的所述轨迹情况下，进一步根据再次指示的所述轨迹来选择字符或图像。

9.根据权利要求1～8中任意一项所述的选择字符或图像的方法，其中，

在选择出的所述字符或图像属于连续的多行文本的情况下，选择该字符或图像所在的整行文本，

其中，所述文本是由多个所述字符和所述图像组成的。

10.一种计算设备，其通过显示器进行显示，该计算设备的特征在于包含如下模块：

轨迹信息记录模块，其响应于用户对所述显示器的指示操作，取得并记录与用户在所述显示器上指示的轨迹相关的信息；

选择指示判定模块，其根据与所述轨迹相关的信息，判定用户是否进行了选择操作的指示；以及

选择对象判定模块，其在判定为进行了选择操作的指示的情况下，针对所述显示器中显示的字符和图像，根据所述轨迹与所述字符、所述图像的相对位置关系，来选择所述字符、所述图像或所述图像的一部分，

所述轨迹信息记录模块、所述选择指示判定模块和所述选择对象判定模块由硬件、软件或硬件和软件的组合来实现。