CN103914221A - 信息处理装置、信息处理方法和计算机程序 - Google Patents

Abstract

一种信息处理装置，包括：屏幕，其显示信息；坐标输入单元，其将由用户指示的坐标输入到所述屏幕；以及控制单元，其基于经由所述坐标输入单元的用户输入的轨迹，确定用户指示，并且根据确定结果控制所述屏幕的操作。

Description

信息处理装置、信息处理方法和计算机程序

相关申请的交叉引用

本申请要求于2013年1月7日提交的日本优选权专利申请JP2013-000738的权益，在此通过引用并入其整个内容。

技术领域

本公开涉及提供有触摸板型屏幕的信息处理装置、信息处理方法和计算机程序，并且特别地涉及响应于由用户在屏幕上执行的触摸操作，进行诸如屏幕分割的处理的信息处理装置、信息处理方法和计算机程序。

背景技术

近年来，具有也用作输入单元的触摸板型显示屏幕等的平板终端已经迅速分布。因为窗口小部件或桌面用作每个平板终端中的界面，并且可能容易地并且可视地知晓其操作方法，所以与通过键盘或鼠标执行其输入操作的个人计算机相比，用户能够容易地使用平板终端。

例如，已经提出了一种触敏设备，其从诸如多点触摸屏的多点感测设备读取属于与多点感测设备相关的触摸输入的数据，并且指定基于来自多点感测设备的数据的多点手势（例如，参见日本未审专利申请公开号2010-170573）。

作为触摸板型屏幕的操作方法，已知利用指尖牵引或轻敲屏幕的用户操作，其称为“轻拂”或“拖拽”。如果用户轻拂屏幕，则进行“滚动”处理，其中屏幕显示在轻拂方向上移动。

另一方面，屏幕的尺寸已经增大。作为使用这种大屏幕的方法，可以考虑用于增强用户的工作能力的方法，或者将大屏幕分割为多个屏幕、激活各个屏幕中的应用、并且并行执行多个操作的方法，以及用于通过将各个分割的屏幕分配到多个用户来与多用户共享空间的方法。

即使在现有技术中的计算机的窗口系统中，也可能通过打开多个窗口并且适当地调整各个窗口的显示位置和尺寸来同时执行多个功能。然而，需要用鼠标执行多个操作，诸如菜单操作、点击、拖和放，以便在打开各个窗口之后调整窗口的显示位置和尺寸，并且该操作方法复杂且不直观。

根据“分屏浏览器”功能，例如，可能实施诸如Firefox的浏览器的窗口的自由分割并且显示具有相同文本的浏览器的操作、读取原始浏览器中的希望链接并且在分割之后的浏览器中显示该链接的操作、将原始浏览器中的链接、书签等拖到分割之后的浏览器的操作、以及记录这样的操作内容的操作。然而，因为“分屏浏览器”功能基于现有技术中的鼠标操作，所以很难说该操作是直观的。

此外，已经提出了一种显示装置，其中通过用与显示屏幕接触的手指牵引显示屏幕并且将手指移动预定量的操作员的操作，将显示屏幕分割为两个部分（例如，参见日本未审专利申请公开号2007-257220）。尽管该显示装置配置如果操作员的指尖的轨迹偏离直线在预定位置偏离量内，则确定操作员的操作是屏幕分割操作，但是将用指尖牵引曲线的操作员的操作处理为不同于屏幕分割操作的操作。然而，当操作员希望通过用指尖在触摸板型用户界面上牵引直线来指示不同于屏幕分割操作的操作（诸如两个分割屏幕的尺寸改变或屏幕滚动）时，根据该显示装置通过这样的触摸输入不指示不同于屏幕分割操作的屏幕操作。

已经提出一种内容显示装置，其中根据用户信息和用户情况自动分割屏幕，根据用户情况中的改变自动实时改变分割方法，并且在对应于各个用户的每个分割区域中显示用于每个用户的不同内容（例如，参见日本未审专利申请公开号2010-20616）。然而，根据该内容显示装置，不接受由用户经由触摸板进行的屏幕分割位置的直接指示。此外，该内容显示装置没有提供有用于滚动曾经分割的屏幕或者改变分割屏幕的尺寸的部分。

发明内容

希望提供一种优良的信息处理装置、信息处理方法和计算机程序，该信息处理装置提供有触摸板型屏幕，并且可以响应于由用户在屏幕上执行的触摸操作，正确地执行诸如屏幕分割操作的多个类型的屏幕操作而没有任何错误操作。

根据本公开的实施例，提供一种信息处理装置，包括：屏幕，其显示信息；坐标输入单元，其将由用户指示的坐标输入到所述屏幕；以及控制单元，其基于经由所述坐标输入单元的用户输入的轨迹，确定用户指示，并且根据确定结果控制所述屏幕的操作。

在该实施例中，所述控制单元可以基于经由所述坐标输入单元的用户输入的轨迹，确定用户已经指示所述屏幕的分割、分割屏幕的尺寸改变或者另一屏幕操作中的哪一个。

在该实施例中，可以在围绕所述屏幕的边界的预定宽度W_line内，定义屏幕尺寸改变指示区域，并且可以在距所述屏幕尺寸改变指示区域的两侧的预定距离W_split内，定义屏幕分割指示区域。此外，当所述轨迹的开始点在所述屏幕尺寸改变指示区域内时，所述控制单元可以执行根据所述轨迹的屏幕尺寸改变处理，当所述轨迹的开始点在所述屏幕分割指示区域内时，执行根据所述轨迹的屏幕分割处理，并且当所述轨迹的开始点位于比所述屏幕分割指示区域在所述屏幕更内部时，滚动所述屏幕或执行另一行为。

在该实施例中，当所述轨迹在所述屏幕的边界附近开始，并且在停止在所述开始点的位置等于或大于预定时间的时段之后所述用户输入移动时，所述控制单元可以执行根据所述轨迹的屏幕分割处理，当所述轨迹在所述屏幕的边界附近开始，并且用户输入移动而不停止时，执行根据所述轨迹的屏幕尺寸改变处理，并且当所述轨迹在所述屏幕内部开始时，滚动所述屏幕或执行另一行为。

在该实施例中，在所述屏幕的边界的两端，在该实施例中，提供用于执行移动所述边界的操作的柄。此外，当所述轨迹从所述柄开始时，所述控制单元可以执行根据所述轨迹的屏幕尺寸改变处理，当所述轨迹在不同于所述屏幕的边界上的柄的部分开始时，执行根据所述轨迹的屏幕分割处理，并且当所述轨迹在所述屏幕内部开始时，滚动所述屏幕或执行另一行为。

在该实施例中，所述信息处理装置还可以包括锁定功能，其禁止屏幕尺寸改变处理。此外，当在锁定状态下所述轨迹在所述屏幕的边界附近开始时，所述控制单元可以执行根据所述轨迹的屏幕分割处理，当在未锁定状态下所述轨迹在所述屏幕的边界附近开始时，执行根据所述轨迹的屏幕尺寸改变处理，并且当所述轨迹从所述屏幕的内部开始时，滚动所述屏幕或执行另一行为。

在该实施例中，所述信息处理装置还可以包括指示器，其显示当前状态是否是所述锁定状态。

在该实施例中，当所述轨迹从用于分割所述屏幕的多个边界的交集开始时，所述控制单元可以通过根据所述轨迹转移所述交集的位置，对各个分割的屏幕执行尺寸改变处理。

在该实施例中，当在多个屏幕的尺寸改变处理期间，多个分割的屏幕中屏幕的尺寸接近预定尺寸时，所述控制单元可以使得所述屏幕的尺寸吸收到所述预定尺寸。

在该实施例中，当通过第一边界将所述屏幕分割为两个部分以获得第一屏幕和第二屏幕，并且所述第一屏幕和所述第二屏幕分别进一步通过第二边界和第三边界分割，并且所述第二边界和所述第三边界在直线上相互重叠时，所述控制单元可以允许对于通过由直线分割所述第一边界获得的两个线段的每个的屏幕尺寸改变处理。

在该实施例中，可以在所述屏幕的分割线上显示指示单元，所述指示单元根据所述轨迹相对于所述分割线的方向，指示新屏幕的状态。此外，当所述轨迹偏离所述分割线时，所述控制单元可以在偏离方向上的新屏幕中显示原始屏幕的主屏幕，并且在其他新屏幕中生成所述原始屏幕的克隆，并且当所述轨迹沿着所述分割线时，在所述分割线的两侧的新屏幕中生成所述原始屏幕的克隆。

在该实施例中，所述控制单元可以使得屏幕关闭，已经指示所述屏幕的尺寸改变处理，使得所述屏幕的尺寸变得等于或小于预定最小宽度W_close。

在该实施例中，所述控制单元可以以强调方式显示分割处理期间的所述屏幕的分割线、尺寸改变处理期间的所述屏幕的边界、以及滚动处理期间的所述屏幕的至少一个。

在该实施例中，响应于在出现方向上用第一数目的手指扫过分割的屏幕之一的用户操作，所述控制单元可以使得与分割的屏幕有关的菜单在所述出现方向上出现。

在该实施例中，当对于等于或大于预定时间的时段在所述菜单上没有执行操作时，或者响应于在与所述出现方向相反的方向上扫过屏幕的用户操作，所述控制单元可以在所述相反的方向上隐藏所述菜单。

在该实施例中，响应于抓取屏幕的用户操作，所述控制单元可以保存多个分割的屏幕的状态，在屏幕上显示保存的屏幕状态的列表，并且在屏幕上恢复由用户选择的屏幕状态。

在该实施例中，响应于用第二数目的手指扫过屏幕的用户操作，所述控制单元可以在扫过方向上改变分割的屏幕之一的取向。

在该实施例中，响应于用第三数目的手指扫过屏幕的用户操作，所述控制单元可以使得主屏幕从与屏幕扫过方向相反侧向扫过方向出现。

根据本公开的另一实施例，提供一种信息处理方法，包括：将由用户指示的坐标输入到屏幕；以及基于在坐标的输入中用户输入的轨迹，确定用户指示，并且根据确定结果控制所述屏幕的操作。

根据本公开的又一实施例，提供一种以计算机可读格式描述的计算机程序，以便使得计算机用作：坐标输入单元，其将由用户指示的坐标输入到屏幕；以及控制单元，其基于经由所述坐标输入单元的用户输入的轨迹，确定用户指示，并且根据确定结果控制所述屏幕的操作。

根据实施例的计算机程序定义为以计算机可读格式描述以便在计算机上实施预定处理的计算机程序。换句话说，通过安装该实施例的计算机程序到计算机，可以在计算机上实现协作动作，并且可以实现与第一实施例的信息处理装置的那些效果相同的效果。

根据在本说明书中公开的技术，可能提供一种优良的信息处理装置、信息处理方法和计算机程序，该信息处理装置提供有触摸板型屏幕，并且可以响应于由用户在屏幕上执行的触摸操作，正确地执行诸如屏幕分割操作的多个类型的屏幕操作而没有任何错误操作。

附图说明

图1是示出提供有大屏幕的信息处理装置的使用状态的示例（墙壁（wall）：风景图像布局）的图；

图2是示出提供有大屏幕的信息处理装置的使用状态的示例（墙壁：肖像图像布局）的图；

图3是示出提供有大屏幕的信息处理装置的使用状态的另一示例（桌面）的图；

图4A是示出桌面状态下显示屏幕的使用状态（由单个用户的使用状态）的图；

图4B是示出桌面状态下显示屏幕的使用状态（由多个用户的使用状态）的图；

图5是示意性地示出信息处理装置的功能配置的图；

图6是示出输入界面单元的内部配置的图；

图7A是图示由用户对信息处理装置执行的输入操作方法（使用单个指尖触摸）的图；

图7B是图示由用户对信息处理装置执行的输入操作方法（多个触摸）的图；

图7C是图示由用户对信息处理装置执行的输入操作方法（软件键盘）的图；

图7D是图示由用户对信息处理装置执行的输入操作方法（另一终端）的图；

图8是示出输出界面单元的内部配置的图；

图9是示出多个分割屏幕的配置示例的图；

图10是示出多个分割屏幕的配置示例的图；

图11是示出多个分割屏幕的配置示例的图；

图12是示出多个分割屏幕的配置示例的图；

图13是示出其中保存的窗口的状态和各个窗格的状态显示为屏幕上的列表的状态的图；

图14是图示菜单引出方法的图；

图15是图示以放大方式示出菜单的图；

图16A到16C是图示用于保存窗口的状态和各个窗格的状态并且恢复保存的原始屏幕的操作方法的图；

图17是图示用于分割屏幕的UI操作的示例的图；

图18是图示用于分割屏幕的UI操作的示例的图；

图19是图示屏幕分割线显示方法的图；

图20是图示屏幕分割线显示方法的图；

图21是图示用于分割屏幕的UI操作的另一示例的图；

图22是图示用于分割屏幕的UI操作的另一示例的图；

图23是图示用于重复屏幕分割的UI操作的图；

图24是图示用于重复屏幕分割的UI操作的图；

图25是图示用于旋转分割的屏幕的UI操作的图；

图26是图示用于通过用两个手指扫过（swiping）屏幕使得新窗格出现的UI操作的图；

图27是图示用于通过用两个手指扫过屏幕使得新窗格出现的UI操作的图；

图28是图示对主屏幕（home screen）执行的UI操作的图；

图29是图示用于标记窗格的内容的UI操作的图；

图30是图示用于在窗格之间传送数据的UI操作的图；

图31是图示用于增加或减少分割的屏幕的显示的UI操作的图；

图32是图示用于追踪窗格的历史的UI操作的图；

图33是图示用于改变分割的屏幕的尺寸的UI操作的图；

图34是图示用于滚动分割的屏幕的UI操作的图；

图35是示出在屏幕的边界附近布置尺寸改变指示区域和屏幕分割指示区域的状态的图；

图36是图示用于通过开始在屏幕分割指示区域中的触摸来再次分割屏幕的UI操作的图；

图37是图示用于通过开始在尺寸改变指示区域中的触摸来改变屏幕的尺寸的UI操作的图；

图38是图示用于通过在比屏幕分割指示区域更内部的部分开始触摸来滚动屏幕的UI操作的图；

图39是示出用于响应于由用户执行的UI操作实施屏幕操作的处理过程（第一方法）的流程图；

图40是示出用于响应于由用户执行的UI操作实施屏幕操作的处理过程（第一方法）的流程图；

图41A到41D是示出关闭窗格的状态的图，已经指示该窗格的屏幕尺寸改变，使得该窗格变得等于或小于预定最小宽度；

图42是示出用于响应于由用户执行的UI操作实施屏幕操作的处理过程（第二方法）的流程图；

图43A到43C是图示用于通过使用长按操作来再次分割屏幕的UI操作的图；

图44是示出用于响应于由用户的UI操作实施屏幕操作的处理过程（第二方法）的流程图；

图45A到45D是图示用于通过使用在边界的末端提供的柄（handle）来改变屏幕的尺寸的UI操作的图；

图46是示出用于响应于由用户的UI操作实施屏幕操作的处理过程（第三方法）的流程图；

图47A到47D是图示用于通过使用屏幕尺寸改变锁定功能来改变屏幕的尺寸的UI操作的图；

图48是示出用于响应于由用户的UI操作实施屏幕操作的处理过程（第四方法）的流程图；

图49A和48B是图示用于通过同时操作多个边界来同时改变三个或更多窗格的尺寸的UI操作的图；

图50A到50C是图示在窗格的部分中显示具有固定宽度的内容的情况下，用于改变屏幕尺寸的UI操作的图；

图51A到51C是图示用于改变多个边界的父子（parent-child）关系的UI操作的图；

图52是图示在用于分割屏幕的UI操作的过程中指定新窗格的状态的方法的图；

图53是图示在用于分割屏幕的UI操作的过程中指定新窗格的状态的方法的图；

图54是图示在用于分割屏幕的UI操作的过程中指定新窗格的状态的方法的图；

图55是图示在用于分割屏幕的UI操作的过程中指定新窗格的状态的方法的图；

图56是示出当执行屏幕分割指示操作时以强调方式显示分割线的状态的图；

图57是示出当执行屏幕尺寸改变指示操作时以强调方式显示作为尺寸改变操作的目标的边界的状态的图；以及

图58是示出当执行滚动指示操作时以强调方式显示滚动的窗格的状态的图。

具体实施方式

下文中，将参照附图给出在本说明书中公开的技术的实施例的详细描述。

A.系统配置

根据该实施例的信息处理装置100提供有大屏幕，并且假设如图1和2所示悬挂在墙壁上的“墙壁”和如图3所示安装在桌上的“桌面”作为主要使用状态。

在如图1所示的“墙壁”状态中，信息处理装置100例如经由旋转和附接机制单元200以可旋转和可拆卸状态附接到墙壁表面上。在附图中示出的示例中，旋转位置设置在大屏幕的布局是风景图像布局的姿态。

旋转和附接机制单元200还用作信息处理装置100和外部之间的电接点，电力线缆和网络线缆（两者在图中未示出）经由旋转和附接机制单元200连接到信息处理装置100，并且信息处理装置100可以从用于商用的AC电源接收驱动电力，并且访问因特网上的各种服务器。

信息处理装置100提供有相机。距离传感器、接近传感器和触摸传感器，并且能够掌握面对屏幕的用户的位置（距离和方向）。此外，信息处理装置100设计为根据用户位置自动选择最佳交互。例如，信息处理装置100根据用户位置，自动选择或调整图形用户界面（GUI）显示，诸如要在大屏幕上显示的信息的密度。此外，信息处理装置100可以根据用户位置或到用户的距离，在多个输入方法中选择最佳输入方法，多个输入方法包括诸如触摸或接近屏幕、使用手等的姿势以及使用遥控器等的操作的直接操作，以及基于用户状态等的间接操作。

此外，信息处理装置100还提供有一个或多个相机。在附图中示出的示例中，在风景图像布局的状态下，相机基本安装在其上部边缘的中央。在此状态下，相机的光轴指向水平方向，并且相机可以成像面对大屏幕的用户的形式。通过处理由相机捕获的图像，可能测量用户位置，并且识别各种对象，诸如人、物体、设备等。此外，可能基于从由相机捕获的图像识别用户的面部、手等的结果，输入手势。此外，信息处理装置100还提供有超短程通信单元，并且可以发送数据到设备和从设备接收数据，该设备诸如为由在超短程内接近信息处理装置100的用户拥有的平板终端或移动终端。

大屏幕的纵横比例如假定为作为电视产品市场上的标准的16:9。为此，在设置悬挂在墙壁上的信息处理装置100的旋转位置，使得大屏幕的布局是如图1所示的风景图像布局的状态下，可能通过使用整个屏幕显示水平方向长的具有16:9的比率的视频图像而不改变由电影描绘的世界观（world view）。

如果信息处理装置100附接到旋转和附接机制单元200，并且在信息处理装置100悬挂在墙壁上的状态下旋转，则可能将大屏幕的姿态改变为如图2所示的肖像图像布局的姿态。相机位置随着信息处理装置100整体移动到基本在右边缘的中央。

与之相比，图3所示的“桌面”状态下的信息处理装置100平放在桌上。尽管旋转和附接机制单元200也用作图1和2所示使用状态下的电接点（如上所述），但是在如图3所示的安装在桌上的状态下，不存在到信息处理装置100的电接点。因此，信息处理装置100可以配置为能够用内建电池（未示出）操作，并且在图中所示的桌面状态下无电力。此外，如果信息处理装置100提供有例如对应于无线局域网（LAN）的移动站的功能的无线通信单元，并且旋转和附接机制单元200提供有对应于无线LAN的接入点功能的无线通信单元，则即使在桌面状态下，信息处理装置100也可以用作为接入点的旋转和附接机制单元200，经由无线通信访问因特网上的各种服务器。

如果图1或2中所示的墙壁状态转变为图3所示的桌面状态，则信息处理装置100保持之前状态（即，图1中所示的风景图像布局或图2中所示的肖像图像状态）。

信息处理装置100在大屏幕的四个侧边缘提供有接近传感器，以便检测用户的存在或状态。已经接近大屏幕的用户可以以与上述相同的方式由成像用户的相机识别。此外，超短程通信单元（稍后将描述）检测已经检测到其存在的用户是否拥有诸如移动终端的设备，并且检测来自由该用户拥有的移动终端的发送或接收请求。

如果通过接近传感器等检测到用户的存在，信息处理装置100可以使用检测结果用于UI控制。如果不但检测到用户的存在，而且检测到用户的身体、手、脚和头的位置，那么信息处理装置100可以使用检测结果用于更详细的UI控制。此外，信息处理装置100还提供有超短程通信单元，并且发送数据到由已经接近信息处理装置100到超短程内的用户拥有的设备和从该设备接收数据。

通过增加信息处理装置100的屏幕的尺寸，可能分割屏幕、显示多个窗格（见图4A）、允许用户并行地执行多个操作，并且增强用户的工作能力。

此外，因为在桌面状态下生成足够空间，用于允许多个用户同时执行触摸输入，所以可以考虑其中多个用户共享空间（见图4B）的使用状态。此外，可能允许多个用户在大屏幕上相互面对，并且在观看屏幕上的显示的同时交谈或讨论。此外，可能分割屏幕，并且分配各个分割的屏幕到各个用户。

图5示意性示出信息处理装置100的功能配置。信息处理装置100提供有用于从外部输入信息信号的输入接口单元110、用于执行计算处理以便例如基于输入信息信号控制显示屏幕的计算单元120、用于基于计算结果输出信息到外部的输出接口单元130、由硬盘驱动器（HDD）等配置的大容量存储单元140、用于连接信息处理装置100到外部网络的通信单元150、用于处理驱动电力的电力单元160、电视调谐单元170和电影输入接口（IF）单元180，并且各组件经由总线190相互连接。存储单元140存储由计算单元120执行的各种处理算法以及用于由计算单元120的计算处理的各种数据库。

计算单元120的主要功能是基于输入接口单元110的用户检测结果、屏幕触摸检测结果和从诸如由用户拥有的移动终端的设备接收的数据的计算处理（诸如UI屏幕生成处理），以及计算结果到输出接口单元130的输出。计算单元120可以例如通过加载并且运行安装到存储单元140的应用程序，实现用于对于各个应用的计算处理。

计算单元150将信息处理装置100连接到诸如LAN或因特网的外部网络。与外部网络的连接状态可以是有线连接和无线连接的任一。例如，从外部网络上的分发服务器（未示出）分发的电影流可以经由通信单元150接收，由计算单元120解码，并且经由输出接口单元130再现。

此外，信息处理装置100可以经由通信单元150与其他设备（即由用户拥有的诸如智能电话的移动终端和平板终端）通信。三种类型的设备的屏幕（即信息处理装置100的大屏幕、移动终端的屏幕和平板终端的屏幕）组合以配置所谓“三屏幕”。信息处理装置100可以在比其他两个屏幕更大的屏幕上提供UI，用于使得三个屏幕协作。

例如，当用户在屏幕上执行触摸操作或者执行使得由用户拥有的终端接近信息处理装置100的动作时，诸如运动图像、静态图像和文本内容的数据在信息处理装置100和由背景中的用户拥有的相应终端之间发送和接收。此外，云服务器等可以安装在外部网络上，并且三个屏幕可以经由信息处理装置100使用云计算的服务，诸如云服务器的计算性能。

电视调谐器单元170调谐频道，并且从每个广播站接收作为地面波或卫星波发送的数字广播信号。计算单元120解码接收的广播波，并且经由输出接口单元130再现广播波。

外部蓝光盘（BD）再现装置等例如经由好分辨率多媒体接口（HDMI）连接到电影输入接口单元180，并且电影输入接口单元180输入从蓝光盘再现的电影信号。计算单元120解码输入电影信号，并且经由输出接口单元130再现电影信号。

输入接口单元110的主要功能是用户存在的检测、由检测到的用户在屏幕上（即在触摸面板上）执行的触摸操作的检测、由用户拥有的诸如移动终端的设备的检测、以及接收从设备传输的数据的处理。图6示出输入接口单元110的内部配置。

遥控接收单元501从遥控器或移动终端接收遥控信号。信号分析单元502执行接收的遥控信号的解调和解码，并且获得遥控命令。

相机单元503提供有诸如互补金属氧化物半导体（CMOS）或电荷耦合器件（CCD）的成像元件，并且采用单眼方案或双透镜方案和有源型的任一或两者。此外，相机单元503提供有相机控制单元（未示出），用于控制摇摄、倾斜、变焦等。相机单元503可以将诸如摇摄、倾斜以及变焦的相机信息通知计算单元120，并且基于来自计算单元120的相机控制信息，控制相机单元503的摇摄、倾斜和变焦。

图像识别单元504对由相机单元503捕获的图像执行识别处理。具体地，图像识别单元504通过基于背景中的差别检测用户的面部和手部的运动，识别手势，识别包括在捕获的图像中的诸如用户的面部、手部等的对象，并且识别到用户的距离。

图像识别单元504通过扫描由相机单元503的相机捕获的图像上的模板图像并且当执行图像识别处理时执行模式匹配，检测作为诸如面部的识别目标的对象。

麦克风单元505执行来自由用户生成的声音和对话的音频输入。声音识别单元506识别从麦克风单元505输入的音频信号。

距离传感器507由位置灵敏检测器（PSD）等配置，并且检测从用户或另一对象返回的信号。信号分析单元508分析检测信号，并且测量到用户或对象的距离。还可能使用热电传感器或简化相机替代PDS传感器作为距离传感器507。距离传感器507一直监视在距信息处理装置100例如5米到10米的半径内是否存在用户。为此，优选的是使用消耗较少功率的传感器元件作为距离传感器507。

触摸检测单元509由重叠在屏幕上的触摸传感器配置，并且从屏幕上用户将其指尖与其接触的位置输出检测信号。信号分析单元510分析触摸检测单元509的检测信号，并且获得位置信息。

接近传感器511安装在大屏幕的四个侧边缘，并且例如基于静电电容方案检测已经接近屏幕的用户的身体。信号分析单元512分析接近传感器511的检测信号。

超短程通信单元513例如经由近场通信（NFC），从诸如由用户拥有的移动终端的设备接收非接触通信信号。信号分析单元514执行超短程通信单元513的接收信号的解调和解码处理，并且获得接收数据。

三轴传感器单元515由加速度传感器或陀螺仪传感器配置，并且检测在x、y和z轴周围信息处理装置100的姿态。全球定位系统（GPS）接收单元516接收来自GPS卫星的信号。信号分析单元517分析来自三轴传感器单元515和GPS接收单元516的信号，并且获得信息处理装置100的位置信息和姿态信息。

输入接口合并单元520合并上述信息信号的输入，并且传递和输入到计算单元120。此外，输入接口合并单元520合并各个信号分析单元508、510、512和514的分析结果，并且传递位置信息到计算单元120。

用户主要从在屏幕和另一终端上显示的软件板触摸屏幕，并且对信息处理装置100执行输入操作。到屏幕的触摸结果包括如图7A所示的用单个指尖触摸，以及如图7B所示的用两个或多个指尖的多点触摸。作为软件键盘，如图7C所示，可以以与通用计算机的键盘相同的方式使用QWERTY对准键盘。此外，另一终端的示例包括由用户拥有的终端，其由三个屏幕（如上所述）的组成成分，诸如如图7D所示的移动终端或平板终端。触摸或多点触摸可以跨越在信息处理装置100上执行的整个操作使用。此外，软件键盘可以用于到浏览器的地址栏等的文本输入。此外，另一终端可以用于与信息处理装置100的同步和数据共享。

输入接口单元130的主要功能是基于计算单元120的计算结果在屏幕上的内容显示和UI显示，以及到由用户拥有的设备的数据传输。图8示出输出接口单元130的内部配置。

输出接口合并单元610基于通过计算单元120的计算结果，合并并处理信息输出。

输出接口合并单元610指令内容显示单元601分别输出由通信单元150接收的分发内容的图像和声音、由电视调谐器单元170接收的TV广播内容、或者从诸如蓝光盘的记录介质再现到运动图像或静态图像内容显示单元603的内容。

此外，输出接口合并单元610指令GUI显示单元602在显示单元603上显示GUI。

显示单元603包括例如由液晶显示器配置的屏幕。该屏幕是例如具有大约50英寸的尺寸的大屏幕，并且采取作为电视产品的市场中的标准的16：9的纵横比。

此外，输出接口合并单元610指令超短程通信单元513经由非接触通信执行到诸如由用户拥有的移动终端的设备的数据传输。

B.屏幕操作

根据该实施例的信息处理装置100，用户可以经由用他们的指尖追踪屏幕的触摸操作（或者经由鼠标、笔或手势的坐标输入操作），分割屏幕、滚动分割的屏幕、以及改变屏幕尺寸。用户可以将大屏幕分割为多个部分、激活分割之后小屏幕中的应用、并行执行多个操作、以及增强工作性能。此外，还可能将各个分割的屏幕分配给多个用户，并且允许多用户共享空间。

图9到12示出多个分割的屏幕的配置示例。图9示出其中分割屏幕并且在大屏幕上安排多个窗格A和B的状态。图10示出其中与主屏幕一起安排用于显示浏览器的窗格的状态。在主屏幕中，显示用于输入搜索项的地址栏、书签或历史（最近访问的站点）。

图11示出这样的状态，其中作为原始窗格A的克隆的窗格A1和A2在左边和右边屏幕中显示，并且菜单出现在窗格A1中。稍后将描述用于使得菜单出现的操作方法。图12示出改变窗格A1和A2的尺寸的结果。在附图中示出的示例中，窗格A2的尺寸在水平方向上扩展，并且窗格A1的尺寸在水平方向上减小，以便补偿扩展的量。根据窗格A1的水平宽度，适应性地改变窗格A1中菜单的布局（在菜单中显示的按钮的尺寸和数目）。例如，如果减小菜单的水平宽度，则隐藏具有较小重要性的按钮和具有较低频率的按钮。

信息处理装置100可以保存窗口的状态和各个窗格的状态。稍后将描述用于保存窗格的状态的操作方法。图13示出这样的状态，其中关于图9到11中示出的窗口的状态和各个窗格的状态的保存内容显示为屏幕上的列表。用户可以通过触摸列表中希望的屏幕恢复原始屏幕。此外，用户可以通过触摸屏幕的右上部分的“X”，删除屏幕。

图14示出菜单引出方法。如在该图的上部所示，用户触摸在希望的窗格A的左下部分处显示的栏引出1401，或者如用参考标号1402所示在向上方向（或者在出现方向）用四个手指扫过窗格A的内部。这样做时，菜单1403从窗格A的下边缘出现，如在图中的下部所示。尽管图中未示出，但是如果用户没有对显示的菜单执行任何操作的状态持续预定时段，则菜单1403在向下方向上隐藏。此外，用户可以通过在向下方向（或者与出现方向相反的方向）用四个手指扫过窗格A的内部，在向下方向上隐藏菜单1403。

图15以放大方式示出菜单1500。该图示出在窗格A是浏览器的情况下菜单配置的示例。下文中，将参照附图给出菜单1500的操作方法的描述。

如果用户触摸地址栏1501，则软件键盘（如上所述）出现，并且用户可以输入诸如统一资源定位符（URL）或搜索项的文本。可能使用软件键盘（见图7C）输入诸如搜索关键词的文本。如果键入输入文本，则浏览器开始搜索，并且窗格A转换为搜索结果的屏幕（未示出）。

如果用户触摸“返回”按钮1502，则窗格A返回到之前页面。如果用户触摸“下一个”按钮1503，则窗格A移动到下一个页面。如果用户触摸“主页”按钮1504，则窗格A显示主页并且关闭菜单。如果用户触摸“重新加载”按钮1505，则更新当前在窗格A中显示的页面。如果用户触摸“移动链接”按钮1506，则激活与已经在信息处理装置100的附近检测到的由用户拥有的终端的同步和数据链接处理。如果用户触摸“关闭”按钮1507，则关闭窗格A本身。如果关闭窗格A并且从屏幕消失，则剩余的窗格B扩展到原始窗格A的显示区域，并且在整个屏幕上显示，尽管该图中未示出。

尽管该图中未示出，但是在菜单1500中可以布置用于指令窗格A的全屏显示的“全屏显示”按钮、用于指令窗格A在顺时针方向（或者在逆时针方向）旋转90°的“旋转”按钮、以及用于指令显示关于操作的说明的“帮助”按钮。

如上所述，信息处理装置100可以保存窗口的状态和各个窗格的状态。图16A到16C示出用于保存窗口的状态和各个窗格的状态以及恢复保存的原始屏幕的操作方法。响应于如图16A所示由用户在屏幕上执行抓取操作1601，信息处理装置100保存此时窗口的状态和各个窗格的状态。信息处理装置100可以将保存的窗口的状态和各个窗格的状态显示为全局菜单1602，如图16B所示其显示为列表。用户可以在全局菜单上执行诸如要恢复的状态的选择、删除、以及新状态的添加的操作。如果用户触摸希望的状态，如参照图16B中参考标号1603所示，则在屏幕上恢复选择的状态，如图16C所示。

根据该实施例的信息处理装置100，例如可能通过利用他们的指尖的用户追踪屏幕的触摸操作，分割（分离）屏幕、在分割之后滚动屏幕、以及调整屏幕大小。在这样的操作中，可以通过用户移动他们的指尖穿过屏幕的手势，即切割屏幕的直观手势，执行屏幕的分割。

图17和18示出用于分割屏幕的UI操作的示例。假设在屏幕上显示窗格A。如在附图的上部分的每个中所示，用户用指尖触摸屏幕外部的灰色部分，并且在希望的分割方向移动手指（以便跟踪希望的分割线）。在此描述“屏幕外部”部分是其中没有显示窗格的触摸面板的有效检测区域，其是处于窗格的周围边缘的区域。为了容易理解，描绘屏幕外部的灰色区域，以便在图17和18中稍大。

在图17中，用户从屏幕的上端到下侧移动他们的指尖，并且指令垂直方向上的分割线。然后，如果用户在垂直方向上追踪屏幕预定量（在附图中示出的示例中等于或大于屏幕的1/3），则固定屏幕的分割，并且分割线自动延伸到屏幕的下端。然后，通过垂直方向上的分割线将屏幕分割为两个部分，并且作为原始窗格A的克隆的窗格A1和A2出现在分割之后屏幕的左部和右部中。

在图18中，用户从屏幕的左侧到右侧移动他们的指尖，并且指令水平方向上的分割线。然后，如果用户在水平方向上追踪屏幕预定量（在附图中示出的示例中等于或大于屏幕的1/3），则固定屏幕的分割，并且分割线自动延伸到屏幕的右侧。然后，通过水平方向上的分割线将屏幕垂直分割为两个部分，并且作为原始窗格A的克隆的窗格A1和A2出现在分割之后屏幕的上部和下部中。

图17和18中示出的UI操作使得用户用他们的指尖召回分割屏幕的图像。通过分割屏幕，诸如原始窗格的克隆的新窗格出现。

此外，示出屏幕的分割线，使得可以通过分割线看到背景，如图19所示。这样的UI表现具有使得用户召回窗格重叠在背景屏幕上并且窗格切割为背景屏幕上的两个部分的图像的效果，如图20所示。

此外，图21和22示出了用于分割屏幕的UI操作的另一示例。假设在屏幕上显示窗格A。如在附图的上部分的每个中所示，用户用指尖在分割线的开始位置执行“长按”，也就是说，持续触摸开始位置预定时段（一秒钟，例如），并且然后在希望的分割方向上移动手指（或者以便追踪希望的分割线）。

在图21中，用户用他们的指尖在处于屏幕上端的希望位置执行长按，然后移动他们的指尖到下侧，并且指令在垂直方向上的分割线。然后，如果用户在垂直方向上追踪屏幕预定量（在附图中示出的示例中等于或大于屏幕的1/3），则固定屏幕的分割，并且分割线自动延伸到屏幕的下端。然后，通过垂直方向上的分割线将屏幕分割为两个部分，并且作为原始窗格A的克隆的窗格A1和A2出现在分割之后屏幕的左部和右部中。

在图22中，用户用他们的指尖在处于屏幕左端的希望位置执行长按，然后移动他们的指尖到右侧，并且指令在水平方向上的分割线。然后，如果用户在水平方向上追踪屏幕预定量（在附图中示出的示例中等于或大于屏幕的1/3），则固定屏幕的分割，并且分割线自动延伸到屏幕的右端。然后，通过水平方向上的分割线将屏幕分割为两个部分，并且作为原始窗格A的克隆的窗格A1和A2出现在分割之后屏幕的上部和下部中。

在通过图17和18所示的方法以及图21和22所示的方法分割屏幕的任何情况下，屏幕可以重复分割。然而，不接受在对应于等于或小于最小分割宽度的宽度的位置的屏幕分割。例如，最小分割宽度是100像素。

图23示出这样的状态，其中屏幕如图17所示水平分割为两个部分，并且在屏幕的右部中显示的窗格A2通过相同的UI操作进一步垂直分割为两个部分。如果用户用他们的指尖触摸处于窗格A2的左端的分割开始位置2300，并且在水平方向上追踪屏幕预定长度，如在图23的上部所示，则固定屏幕的分割，并且示出为点线的辅助线2301自动延伸到屏幕的右端。然后，屏幕通过在水平方向上的新的分割线2302垂直分割为两个部分，并且作为原始窗格A2的克隆的窗格A21和A22出现在分割之后屏幕的上部和下部中，如图23的下部所示。

此外，图24示出这样的状态，其中屏幕如图18所示垂直分割为两个部分，并且在屏幕的右部中显示的窗格A2通过相同的UI操作进一步水平分割为两个部分。如果用户用他们的指尖触摸处于窗格A2的上端的分割开始位置2400，并且在垂直方向上追踪屏幕预定长度，如在图24的上部所示，则固定屏幕的分割，并且示出为点线的辅助线2401自动延伸到屏幕的下端。然后，屏幕通过在垂直方向上的新的分割线2402水平分割为两个部分，并且作为原始窗格A2的克隆的窗格A21和A22出现在分割之后屏幕的左部和右部中，如图24的下部所示。

图25示出用于旋转如图17或21所示的两个垂直分割的屏幕中的一个屏幕的UI操作。例如，假设当屏幕通过由第一用户执行UI操作分割为两个部分，并且窗格A和窗格B例如在其中信息处理装置100安装在桌上的桌面状态下显示时，面对第一用户的第二用户出现。即使第二用户希望使用窗格B，第二用户也难以观看窗格B，因为该屏幕取向在相反方向，如图25的上部所示。因此，第二用户用三个手指扫过第二用户希望使用的窗格B，如图25的下部所示。这样做时，窗格B的方向改变为扫过方向。此外，可以通过五个触摸手指的旋转替代用三个手指的扫过，指令窗格的旋转。

图26和27示出用于通过用两个手指的扫过使得新的窗格出现的UI操作。在图26的上部执行浏览器的全屏显示，并且通过用户用两个手指触摸屏幕的上边缘并且向下侧扫过屏幕，新的窗格（主屏幕）从屏幕的上端向下侧（即扫过方向）出现，如图26的下部所示。此外，在图27的上部执行浏览器的全屏显示，并且通过用户用两个手指触摸屏幕的左边缘并且向右侧扫过屏幕，新的窗格（主屏幕）从屏幕的左端向右侧（即扫过方向）出现，如图27的下部所示。

可以说，图26和27中示出的UI操作是用于通过不同于切割（分离）屏幕的UI操作的方法，使得新的窗格出现的方法。

图28示出在主屏幕上执行的UI操作。如图28的上部所示，用户执行将屏幕的左部中显示的主屏幕2801中具有链接的希望位置2802拖放到屏幕的右侧的浏览器上的操作。这样做时，屏幕的右部从浏览器转换为链接页面2803，如图28的下部所示。

此外，图29示出这样的状态，其中通过拖放如用参考标号2904和2905所示的链接和URL，在屏幕的右部显示的页面2901的链接以及在菜单的地址栏2902中的URL添加为屏幕的左部中主屏幕2903的书签部分中的书签2906。

图30示出用于在窗格之间转移数据的UI操作。在该附图中，在屏幕的左部和右部中显示两个窗格A和B。假设窗格A和B例如是由单个用户使用以同时工作的屏幕或者由两个用户分别使用的屏幕。如果用户将窗格A中的对象3001拖放到如窗格B的内部，如在附图的上部所示的参照参考3002所示，那么对象3001转移到窗格B的内部，如在附图的下部所示。在附图中示出的示例中，对象3001的转移意味着“复制”，并且对象3001还保留在原始窗格A中。如果转移意味着“位移”，则对象3001在转移之后没有保留在原始窗格A中。在此，对象3001是例如URL、图像、音乐或文本。可能对在作为转移目的地的窗格B中的接收对象3001执行各种处理。例如，例如可能执行附加图像、再现音乐或张贴对象到社会网络的处理。

图31示出用于增加或减小两个水平分割屏幕中的一个屏幕的显示的UI操作。当屏幕分割为两个部分，并且显示窗格A和B时，如果用户对窗格A执行捏开（pinch-out）操作，如用参考标号3101所示，则以放大方式显示窗格A，如用参考标号3102所示。如果用户对窗格A执行捏紧（pinch-in）草组，则减小窗格A中显示的尺寸，尽管附图中未示出。如果用户对窗格A执行双击，如用参考标号3103所示，则窗格A中显示的尺寸扩展，以便适应包括双击的位置的块。

可以通过水平轻击操作追踪各个窗格的历史。例如，假设在屏幕水平分割为两个部分，并且如图32所示显示窗格A和B的状态下，窗格A以A0→A1→A2→A3→A4→…的顺序转换。用户可以通过向左轻击操作前移历史，如用参考标号3201所示。此外，用户可以通过向右轻击操作后移历史，如用参考标号3202所示。

如上参照图23和24所述，可以对各个分割的屏幕执行重复执行屏幕分割操作。可以对分割之后的屏幕执行滚动、屏幕尺寸的改变等以及分割操作的重复。

图33示出用于改变通过水平分割屏幕为两个部分获得的窗格A和B的尺寸的UI操作。用户用指尖触摸窗格A和窗格B之间边界3301附近的位置，并且在用户希望改变屏幕的方向追踪屏幕用户希望改变屏幕的尺寸，如在该附图的上部所示。在附图中示出的示例中，用于在向右方向上用指尖追踪屏幕用户希望改变屏幕的尺寸，如用参考标号3302所示。作为该操作的结果，新的边界在向右方向上移动，直到用参考标号3303示出的位置，窗格A的尺寸在水平方向上扩展，并且窗格B的尺寸在水平方向上减小，如附图的下部所示。

此外，图34示出用于在通过将屏幕水平分割为两个部分获得的窗格A和B中的窗格B中滚动屏幕的UI操作。用户用他们的指尖触摸窗格B中的区域3401，并且在用户希望滚动屏幕的方向追踪屏幕用户希望滚动屏幕的量，如在该附图的上部所示。在附图中示出的示例中，用户用他们的指尖在向左方向上追踪屏幕用户希望滚动屏幕的长度，如用参考标号3402所示。作为该操作的结果，在窗格B中显示的屏幕在向左方向上位移滚动量3403，如在该附图的下部所示。用户可以通过抓取并且移动窗格A和窗格B之间边界的直观UI操作，改变相邻窗格A和B的尺寸。

B-1.错误操作避免方法1

如果图23与图33和34相比，那么在用户在基本垂直于屏幕边界的方向上用他们的指尖追踪屏幕的点的方面，对于再次分割屏幕、改变屏幕尺寸和滚动屏幕，执行类似的UI操作。此外，如果图23与图33相比，在用户从作为触摸开始点的接近屏幕边界的位置，在基本垂直于边界的方向上用他们的指尖追踪屏幕的点的方面，对于再次分割屏幕和改变屏幕尺寸，执行显著类似的UI操作。为此，特别是根据仅基于用户在触摸板上指尖的轨迹执行UI操作的方法，如在日本未审专利申请公开No.2007-257220中公开的技术，难以正确地区分再次分割屏幕和改变屏幕尺寸的两种操作，并且存在可能导致错误操作的担心。

因此，根据用于避免错误操作的第一方法，在屏幕的边界附近分别定义尺寸改变指令区域和屏幕分割指令区域。如果用用户的指尖从尺寸改变指令区域开始触摸操作，则确定触摸操作是用于改变屏幕尺寸的指令，并且根据此后指尖移动的方向，执行屏幕尺寸改变处理。与此相比，如果用用户的指尖从屏幕分割指令区域开始触摸操作，则确定触摸操作是用于分割屏幕的指令，并且根据此后指尖移动的方向，执行触摸屏幕的分割处理。此外，如果用用户的指尖从不同于尺寸改变指令区域和屏幕分割指令区域的部分开始触摸操作，那么确定触摸操作是用于滚动屏幕的指令（或者诸如移动到链接页面的普通行为），并且根据此后指尖的位移执行滚动屏幕或移动到链接页面的处理。因此，可能正确地确定在基本垂直于边界的方向上用指尖追踪屏幕的类似UI操作的每个是屏幕尺寸改变和屏幕分割中的哪个。

图35示出在屏幕的边界3500附近布置尺寸改变指令区域和屏幕分割指令区域的状态。在附图中示出的示例中，窗格A和窗格B之间边界周围具有预定宽度W_line的部分定义为尺寸改变指令区域3501。此外，距尺寸指令区域3501的右边缘和左边缘预定距离W_split的区域定义为屏幕分割指令区域3502和3503。然而，为了容易理解，描绘各个区域3501到3503，以便相对于附图中整个屏幕的尺寸相对大。

为了可靠地让用户识别尺寸改变指令区域3501和屏幕分割指令区域3502和3503的存在，改变指令区域3501和屏幕分割指令区域3502和3503可以用不同颜色显示，如附图中所示。可替代地，这样的区域可以是透明的，以便不中断屏幕显示。

通过从尺寸改变指令区域3501的内部开始触摸操作执行的UI操作3504确定为用于改变屏幕尺寸的指令，并且根据此后指尖移动的方向执行屏幕尺寸改变处理。此外，通过从屏幕分割指令区域3502的内部开始触摸操作执行的UI操作3505确定为用于分割屏幕的指令，并且根据此后指尖移动的方向执行触摸屏幕的分割处理。与此相比，从比屏幕分割指令区域3502更内部的部分开始触摸操作执行的UI操作3506确定为用于滚动屏幕（或者诸如移动到链接页面的普通行为）的指令，并且根据此后指尖移动的方向执行滚动屏幕或移动到链接页面的处理。

图36示出用于通过从屏幕分割指令区域内部开始触摸操作再次分割屏幕的UI操作。

如在图36的上部所示，假设用户从窗格B的左端和窗格A之间边界3601附近的位置（x₀,y₀）开始触摸操作，然后在预定时间dt过去之前，在窗格B中向右侧基本线性地追踪屏幕直到位置（x₀+dx,y₀+dy）。如果边界3601的坐标是（x_split,y），那么从边界3601到触摸开始点（x₀,y₀）的最短距离（x₀-x_split）大于w_line/2并且等于或小于w_split，并且可能知道已经从屏幕分割指令区域3602的内部开始触摸操作。因此，确定当前执行的UI操作3603是用于分割屏幕的指令，并且形成分割线3604。然后，窗格B由用于在水平方向分割窗格B的新分割线3605垂直分为两个部分，并且在分割之后的屏幕的上部和下部中作为原始窗格B的克隆的窗格B1和B2出现，如在图36的下部中所示。用户可以通过利用指尖切割窗格B的直观UI操作分割窗格B。

此外，当用参考标号3603代表的UI操作从水平方向的偏移量dx大于预定值，或者当从水平方向的倾斜θ大于预定值时，UI操作可以确定为不是用于（在水平方向）分割窗格中屏幕的指令（可替代地，可以取消屏幕分割处理）。

图37示出用于通过从尺寸改变指令区域内部开始触摸操作改变屏幕尺寸的UI操作。

如在图37的上部中所示，假设用户从窗格B的左端和窗格A之间边界3701附近的位置（x₀,y₀）开始触摸操作，然后在预定时间dt过去之前，向右侧基本线性地用指尖追踪窗格B内部的屏幕直到位置（x₀+dx,y₀+dy）。如果边界3701的坐标是（x_split,y），那么从边界3701到触摸开始点（x₀,y₀）的最短距离（x₀-x_split）等于或小于w_line/2，并且可能知道已经从尺寸改变指令区域3702内部开始触摸操作。因此，确定当前执行的UI操作3703为用于分割屏幕的指令。然后，新的边界在向右方向位移到用参考标号3704示出的位置（也就是说，用指尖追踪结束的位置），并且窗格A的尺寸在水平方向上扩展，并且窗格B的尺寸在水平方向上减小，如在图37的下部所示。用户可以通过抓取和移动窗格A和窗格B之间边界的直观UI操作，改变相邻窗格A和B的尺寸。

此外，当用参考标号3703代表的UI操作从水平方向的偏移量dx大于预定值，或者当从水平方向的倾斜θ大于预定值时，UI操作可以确定为不是用于（在水平方向）改变窗格中屏幕的尺寸的指令（可替代地，可以取消屏幕尺寸改变处理）。

图38示出用于通过从屏幕分割指令区域内部开始触摸操作来滚动屏幕的UI操作。

如在图38的上部中所示，假设用户从窗格B内部的位置（x₀,y₀）开始触摸操作，然后在预定时间dt过去之前，向左侧基本线性地用指尖追踪窗格B内部的屏幕直到位置（x₀+dx,y₀+dy）。因为触摸开始位置（x₀,y₀）位于距窗格B的所有边界3801到3804更向内w_line/2+w_split，即比用参考标号3805示出的区域更向内，所以确定当前执行的UI操作3806是用于滚动屏幕的指令。然后，窗格B中的显示位置在用户的指尖移动的方向移动用户指尖移动的距离。因此，滚动之前窗格B的右边缘在向右方向移动，直到用参考标号3807示出的位置，如在图38的下部中所示。

此外，当用参考标号3806代表的UI操作从水平方向的偏移量dx大于预定值，或者当从水平方向的倾斜θ大于预定值时，UI操作可以确定为不是用于（在水平方向）滚动窗格中屏幕的指令（可替代地，可以取消屏幕滚动处理）。

图39以流程图的形式示出信息处理装置100用于响应于由用户的UI操作，执行如图36到38所示的屏幕操作的处理过程。例如，以计算单元120执行预定程序代码的形式实现处理过程。

响应于由用户在屏幕上执行的触摸操作，激活处理过程，并且首先检查触摸开始位置（x₀,y₀）是否在具有宽度w_line的屏幕尺寸改变指令区域内（步骤S3901）。例如，当用户用他们的指尖在水平方向执行追踪屏幕的操作时，如在图36和37中所示，检查从触摸开始点到边界的最短距离的绝对值|x₀-x_split|是否等于或小于w_line/2。

在此，如果触摸开始位置（x₀,y₀）在屏幕尺寸改变指令区域内（步骤S3901中的是），则确定当前执行的UI操作是用于屏幕尺寸改变的指令。然后，每次触摸指尖位置位移，重复执行根据指尖位置的位移量增加或减小位于到触摸开始位置最近位置的边界的两侧窗格的尺寸的屏幕尺寸改变处理（移动窗格之间边界到指尖位置）（步骤S3912），直到完成触摸屏幕的用户操作（步骤S3913）。

如果触摸指尖例如在水平方向从触摸开始位置（x₀,y₀）位移到位置（x₀+dx,y₀+dy），那么水平方向上边界的两侧窗格的尺寸分别改变+dx和-dy。作为尺寸改变操作的目标的边界在屏幕尺寸改变指令操作的过程中可以以强调方式显示（稍后将描述）。然后，如果完成触摸屏幕的用户操作，则完成该处理的整个程序。

另一方面，如果触摸开始位置（x₀,y₀）不在屏幕尺寸改变指令区域内（步骤S3901中的否），则检查触摸开始位置（x₀,y₀）是否在屏幕分割指令区域内（步骤S3902）。例如，当用户用他们的指尖在水平方向执行追踪屏幕的操作时，如在图36和37中所示，检查从触摸开始点到边界的最短距离的绝对值|x₀-x_split|是否大于w_line/2并且等于或小于w_split。

如果触摸开始位置（x₀,y₀）在屏幕分割指令区域内（步骤S3902中的是），则确定当前执行的UI操作是用于分割屏幕的指令。然后，每次触摸指尖位置位移（S3921），重复执行显示分割线直到位移的指尖位置的处理（S3922），直到完成触摸屏幕的用户操作（步骤S3923）。如果触摸指尖例如在水平方向从触摸开始位置（x₀,y₀）位移到位置（x₀+dx,y₀+dy），那么在水平方向从触摸开始位置到dx显示分割线。在屏幕分割指令操作的过程中可以以强调方式显示分割线（稍后将描述）。此外，通过扩展分割线到窗格的另一边缘获得的辅助线也连同分割线一起显示。

然后，如果当触摸操作完成时指尖位置到达预定长度（例如，如果指尖的位移量dx（或dy）到达窗格的窗口宽度W_window的1/3）（步骤S3924中的是），则通过固定窗格的分割并且生成直到辅助线的位置的分割线，执行分割处理（步骤S3925），并且完成该处理的整个程序。在通过分割新生成的窗格中，例如生成原始窗格的克隆。

此外，如果当触摸操作完成时指尖位置未到达预定长度（步骤S3924中的否），则取消过程中的屏幕分割处理（步骤S3926），并且完成该处理的整个程序。当指尖的轨迹变得远离辅助线预定距离时，也可以取消屏幕分割处理。

如果触摸开始位置（x₀,y₀）不在屏幕分割指令区域内（步骤S3902中的否），则根据用户的指尖位置的位移执行诸如屏幕滚动（见图38）或链接选择的另一普通屏幕行为（步骤S3903）。在滚动指令操作的过程中，可以以强调方式显示滚动的窗格（稍后将描述）。

图40以流程图的形式示出信息处理装置100用于响应于由用户的UI操作，执行如图36到38所示的屏幕操作的处理过程的另一示例。该处理过程不同于图39所示的处理过程在于包括关于窗格的处理，已经指令该窗格的屏幕尺寸的改变，使得该窗格变得等于或小于预定最小宽度。

响应于由用户在屏幕上执行的触摸操作，激活处理过程，并且首先检查触摸开始位置（x₀,y₀）是否在具有宽度w_line的屏幕尺寸改变指令区域内（步骤S4001）。

在此，如果触摸开始位置（x₀,y₀）在屏幕尺寸改变指令区域内（步骤S4001中的是），则确定当前执行的UI操作是用于屏幕尺寸改变的指令。然后，每次触摸指尖位置位移（步骤S4011），重复执行根据指尖位置的位移量增加或减小位于到触摸开始位置最近位置的边界的两侧窗格的尺寸的屏幕尺寸改变处理（步骤S4012），直到完成用户由用户在屏幕上执行的触摸操作（步骤S4013）。作为尺寸改变操作的目标的边界在屏幕尺寸改变指令操作的过程中可以以强调方式显示（稍后将描述）。

然后，如果完成触摸屏幕的用户操作，则检查是否已经指令屏幕尺寸的改变，使得屏幕变得等于或小于预定最小宽度w_close（步骤S4014）。如果已经指令屏幕尺寸的改变，使得屏幕大于预定宽度w_close（步骤S4014中的否），则保持屏幕尺寸的改变，并且完成该处理的整个程序。已经指令屏幕尺寸的改变，使得屏幕变得等于或小于预定最小宽度w_close（步骤S4014中的是），则关闭具有等于或小于预定最小宽度w_close的宽度的窗格（步骤S4015），并且完成该处理的整个程序。

另一方面，如果触摸开始位置（x₀,y₀）不在屏幕尺寸改变指令区域内（步骤S4001中的否），则检查触摸开始位置（x₀,y₀）是否在屏幕分割指令区域内（步骤S4002）。

如果触摸开始位置（x₀,y₀）在屏幕分割指令区域内（步骤S4002中的是），则确定当前执行的UI操作是用于分割屏幕的指令。然后，每次触摸指尖位置位移（S4021），重复执行显示分割线直到位移的指尖位置的处理（S4022），直到完成用户由用户在屏幕上执行的触摸操作（步骤S4023）。在屏幕分割指令操作的过程中可以以强调方式显示分割线（稍后将描述）。此外，通过扩展分割线到窗格的另一边缘获得的辅助线也连同分割线一起显示。

然后，如果当触摸操作完成时指尖位置到达预定长度（例如，如果指尖的位移量dx（或dy）到达窗格的窗口宽度W_window的1/3）（步骤S4024中的是），则通过固定窗格的分割并且生成直到辅助线的位置的分割线，执行分割处理（步骤S4025），并且完成该处理的整个程序。在通过分割新生成的窗格中，例如生成原始窗格的克隆。

此外，如果当触摸操作完成时指尖位置未到达预定长度（步骤S4024中的否），则取消过程中的屏幕分割处理（步骤S4026），并且完成该处理的整个程序。当指尖的轨迹变得远离辅助线预定距离时，也可以取消屏幕分割处理。

如果触摸开始位置（x₀,y₀）不在屏幕分割指令区域内（步骤S4002中的否），则根据用户的指尖位置的位移执行诸如屏幕滚动（见图38）或链接选择的另一普通屏幕行为（步骤S4003）。在滚动指令操作的过程中，可以以强调方式显示滚动的窗格（稍后将描述）。

图41A到41D示出这样的状态，其中已经指令其屏幕尺寸改变使得窗格变得等于或小于预定最小宽度的窗格被关闭。预定最小宽度w_close例如是100像素。

用户可以通过抓取和移动窗格A和窗格B之间边界的直观UI操作，改变相邻窗格A和B的尺寸。例如，用户从屏幕尺寸改变指令区域4101内部用他们的指尖开始触摸操作，如图41A所示，用指尖向左侧追踪屏幕，并且移动边界直到由点线代表的位置，如图41B所示。因为由点线4102代表的位置没有超过左侧窗格A的最小宽度w_close，所以固定屏幕尺寸改变指令，并且边界移动到新边界4102，如图41C所示，此后，用户这次用指尖向右侧追踪屏幕，并且移动边界直到由点线4104代表的位置，如图41D所示。因为由点线4104代表的位置超过右侧窗格B的最小宽度w_close，所以关闭窗格B。

图42仍以流程图的形式示出信息处理装置100用于响应于由用户的UI操作，执行如图36到38所示的屏幕操作的处理过程。该处理过程不同于图40所示的处理过程在于包括屏幕尺寸改变锁定功能。

例如通过由用户在屏幕上执行的触摸操作，激活处理过程，并且首先检查触摸开始位置（x₀,y₀）是否在具有宽度w_line的屏幕尺寸改变指令区域内（步骤S4201）。

在此，如果触摸开始位置（x₀,y₀）在屏幕尺寸改变指令区域内（步骤S4201中的是），则确定当前执行的UI操作是用于屏幕尺寸改变的指令，并且随后检查屏幕尺寸改变是否处于锁定状态（步骤S4211）。然后，如果屏幕尺寸改变处于锁定状态（步骤S4211中的是），则略过以下处理，并且完成该处理的整个程序。

如果屏幕尺寸改变没有处于锁定状态（步骤S4211中的否），则每次触摸指尖位置位移（步骤S4212），重复执行根据指尖位置的位移量增加或减小位于到触摸开始位置最近位置的边界的两侧窗格的尺寸的屏幕尺寸改变处理（步骤S4213），直到完成用户由用户在屏幕上执行的触摸操作（步骤S4214）。作为尺寸改变操作的目标的边界在屏幕尺寸改变指令操作的过程中可以以强调方式显示（稍后将描述）。

然后，如果完成触摸屏幕的用户操作，则检查是否已经指令屏幕尺寸的改变，使得屏幕变得等于或小于预定最小宽度w_close（步骤S4215）。如果已经指令屏幕尺寸的改变，使得屏幕大于预定宽度w_close（步骤S4215中的否），则保持屏幕尺寸的改变，并且完成该处理的整个程序。如果已经指令屏幕尺寸的改变，使得屏幕变得等于或小于预定最小宽度w_close（步骤S4215中的是），则关闭具有等于或小于预定最小宽度w_close的宽度的窗格（步骤S4216），并且完成该处理的整个程序。

另一方面，如果触摸开始位置（x₀,y₀）不在屏幕尺寸改变指令区域内（步骤S4201中的否），则检查触摸开始位置（x₀,y₀）是否在屏幕分割指令区域内（步骤S4202）。

如果触摸开始位置（x₀,y₀）在屏幕分割指令区域内（步骤S4202中的是），则确定当前执行的UI操作是用于分割屏幕的指令。然后，每次触摸指尖位置位移（S4221），重复执行显示分割线直到位移的指尖位置的处理（S4222），直到完成用户由用户在屏幕上执行的触摸操作（步骤S4223）。在屏幕分割指令操作的过程中可以以强调方式显示分割线（稍后将描述）。此外，通过扩展分割线到窗格的另一边缘获得的辅助线也连同分割线一起显示。

然后，如果当触摸操作完成时指尖位置到达预定长度（例如，如果指尖的位移量dx（或dy）到达窗格的窗口宽度W_window的1/3）（步骤S4224中的是），则通过固定窗格的分割并且生成直到辅助线的位置的分割线，执行分割处理（步骤S4225），并且完成该处理的整个程序。在通过分割新生成的窗格中，例如生成原始窗格的克隆。

此外，如果当触摸操作完成时指尖位置未到达预定长度（步骤S4224中的否），则取消过程中的屏幕分割处理（步骤S4226），并且完成该处理的整个程序。当指尖的轨迹变得远离辅助线预定距离时，也可以取消屏幕分割处理。

此外，如果触摸开始位置（x₀,y₀）不在屏幕分割指令区域内（步骤S4202中的否），则根据用户的指尖位置的位移执行诸如屏幕滚动（见图38）或链接选择的另一普通屏幕行为（步骤S4203）。在滚动指令操作的过程中，可以以强调方式显示滚动的窗格（稍后将描述）。

B-2.错误操作避免方法2

作为用于避免屏幕尺寸改变指令和屏幕分割指令之间错误操作的第二方法，可以示例使用在触摸开始位置的长按操作的方法。也就是说，如果执行用指尖触摸窗格的边界附近的位置，对于预定时间长按该位置，然后移动指尖的用户操作，则用户操作确定为用于分割屏幕的指令，并且根据此后指尖移动的方向，执行屏幕尺寸改变处理。另一方面，如果用户用指尖触摸窗格的边缘附近的位置，并且立即移动指尖，则操作确定为用于改变尺寸的指令，并且在此后指尖移动的方向，执行屏幕尺寸改变处理。仅需要用户在边界附近用指尖粗略地开始触摸操作，而不关心触摸操作应该开始屏幕尺寸改变指令区域和屏幕分割指令区域中的哪一个。如果在窗格内部而不是在接近边界的位置开始使用用户的指尖的触摸操作，则确定UI操作为用于滚动屏幕的指令（或者诸如移动到链接页面的普通行为）（不管是否已经执行长按），并且根据此后指尖的位移执行滚动屏幕或移动到链接页面的处理。

图43A到43C示出用于通过使用长按操作再次分割屏幕的UI操作。如图43A所示，用户在窗格A和窗格B之间边界4301附近的位置执行“长按”，即连续触摸该位置预定时间（例如，1秒），并且然后在向右方向移动指尖。确定在边界附近的位置的长按操作是用于分割屏幕的指令，并且由点线代表的辅助线4302自动延伸到屏幕的右端。然后，显示分割线4303，直到用户移动他们的指尖直到的位置，如图43B所示。此后，如果用户在水平方向追踪屏幕预定长度（在附图示出的示例中等于或大于屏幕的1/3），则固定屏幕的分割，分割线4304自动延伸直到屏幕的右端，并且完成窗格B的分割，如图43C所示。作为原始窗格B的克隆的窗格B1和B2在分割之后的屏幕的上部和下部中出现。

图44以流程图的形式示出信息处理装置100根据由用户的UI操作，执行屏幕操作的处理过程。该处理过程不同于图39中示出的处理过程在于依赖于是否已经执行由用他们的指尖触摸屏幕的用户执行“长按”。

例如，响应于由用户在屏幕上执行的触摸操作，激活处理过程，并且首先检查触摸开始位置（x₀,y₀）是否位于窗格的边界附近的位置（步骤S4401）。

在此，如果触摸开始位置（x₀,y₀）不是位于窗格之间的边界附近的位置，而是窗格内部（步骤S4401中的否），则根据用户的指尖位置的位移执行诸如屏幕滚动（见图38）或链接选择的另一普通屏幕行为（步骤S4403）。在滚动指令操作的过程中，可以以强调方式显示滚动的窗格（稍后将描述）。

另一方面，如果触摸开始位置（x₀,y₀）位于窗格之间的边界附近的位置（步骤S4401中的是），则检查用户的指尖是否已经停止在触摸开始位置（x₀,y₀）等于或大于预定时间（例如，1秒）的时段，即是否已经执行长按（步骤S4402）。

如果没有执行长按，并且触摸指尖位置理解开始移动（步骤S4402中的否），则确定当前执行的UI操作是用于改变屏幕尺寸的指令。在此情况下，每次触摸指尖位置位移（步骤S4411），重复执行根据指尖位置的位移量增加或减小位于到触摸开始位置最近位置的边界的两侧窗格的尺寸的屏幕尺寸改变处理（步骤S4412），直到完成由用户在屏幕上执行的触摸操作（步骤S4413）。作为尺寸改变操作的目标的边界在屏幕尺寸改变指令操作的过程中可以以强调方式显示（稍后将描述）。

然后，如果完成由用户在屏幕上执行的触摸操作，则检查是否已经指令屏幕尺寸的改变，使得屏幕变得等于或小于预定最小宽度w_close（步骤S4414）。如果已经指令屏幕尺寸的改变，使得屏幕大于预定宽度w_close（步骤S4414中的否），则保持屏幕尺寸的改变，并且完成该处理的整个程序。如果已经指令屏幕尺寸的改变，使得屏幕变得等于或小于预定最小宽度w_close（步骤S4414中的是），则关闭具有等于或小于预定最小宽度w_close的宽度的窗格（步骤S4415），并且完成该处理的整个程序。

此外，如果用户的指尖在触摸开始位置（x₀,y₀）停止等于或大于预定时间（例如，1秒）的时段，即，当在长按之后触摸指尖位置的位移开始（步骤S4402中的是），则确定当前执行的UI操作是用于分割屏幕的指令。在此情况下，每次触摸指尖位置位移（S4421），重复执行显示分割线直到位移的指尖位置的处理（S4422），直到完成用户由用户在屏幕上执行的触摸操作（步骤S4423）。在屏幕分割指令操作的过程中可以以强调方式显示分割线（稍后将描述）。此外，通过扩展分割线到窗格的另一边缘获得的辅助线也连同分割线一起显示。

然后，如果当触摸操作完成时指尖位置到达预定长度（例如，如果指尖的位移量dx（或dy）到达窗格的窗口宽度W_window的1/3）（步骤S4424中的是），则通过固定窗格分割并且生成直到辅助线的分割线，执行分割处理（步骤S4425），并且完成该处理的整个程序。在通过分割新生成的窗格中，例如生成原始窗格的克隆。

此外，如果当触摸操作完成时指尖位置未到达预定长度（步骤S4424中的否），则取消过程中的屏幕分割处理（步骤S4426），并且完成该处理的整个程序。当指尖的轨迹变得远离辅助线预定距离时，也可以取消屏幕分割处理。

B-3.错误操作避免方法3

作为用于避免屏幕尺寸改变指令和屏幕分割指令之间错误操作的第三方法，可以示例在窗格之间边界的两端（或者其他任意部分）提供用于指令边界的位移的柄（handle）。也就是说，如果用户用他们的指尖触摸处于窗格之间边界的端部的柄（也就是说，执行抓取柄的操作），则操作确定为用于改变尺寸的指令，并且在此后指尖移动的方向上执行屏幕尺寸改变处理。另一方面，如果用户用指尖触摸不同于窗格指尖边界上的柄的部分，并且位移指尖，则操作确定为用于分割屏幕的指令，并且在此后指尖移动的方向上执行触摸屏幕的分割处理。用户可以通过用指尖触摸边界上的屏幕而不关心指尖在屏幕尺寸改变指令区域和屏幕分割指令区域之一上的精细定位，立即开始用于改变尺寸的操作或者用于分割屏幕的操作而不执行长按。此外，如果从窗格的内部而不是边界附近的位置开始利用用户的指尖的触摸操作，则确定操作为用于滚动屏幕的指令（或者诸如移动到链接页面的普通行为）（不管是否已经执行长按），并且根据此后指尖的位移执行滚动屏幕或移动到链接页面的处理。

图45A到45D示出用于通过使用在边界的端部提供的柄改变屏幕尺寸的UI操作。如图45A所示，在窗格A和窗格B之间边缘4501的上端和下端分别显示柄4502和4503。如果用户触摸处于边界4501的下端的柄4503（或者处于上端的柄4502），并且开始在向右方向上指尖的位移而不从屏幕释放指尖，则操作确定为用于改变屏幕尺寸的指令。结果，边界位移直到指尖位移到的位置4504，窗格A的尺寸在水平方向上扩展，并且窗格B的尺寸在水平方向上减小，如图45B所示。

如果用户触摸不同于边界4701的端部的位置4505，并且开始在向右方向上指尖的位移而不从屏幕释放指尖，如图45C所示，则操作确定为用于分割屏幕的指令。结果，生成新的分割线4506直到指尖位移到位置，并且由点线代表的辅助线4507自动延伸到窗格B的右端，如图45D所示。

图46以流程图的形式示出信息处理装置100响应于由用户的UI操作，执行屏幕操作的处理过程。该处理过程不同于图44中示出的处理过程在于依赖于用户的指尖在边界的哪个部分开始触摸操作。

例如，响应于由用户在屏幕上执行的触摸操作，激活处理过程，并且首先检查触摸开始位置（x₀,y₀）是否位于窗格的边界附近的位置（步骤S4601）。

在此，如果触摸开始位置（x₀,y₀）不是位于窗格之间的边界附近的位置，而是窗格内部（步骤S4601中的否），则根据用户的指尖位置的位移执行诸如屏幕滚动（见图38）或链接选择的另一普通屏幕行为（步骤S4603）。在滚动指令操作的过程中，可以以强调方式显示滚动的窗格（稍后将描述）。

另一方面，如果触摸开始位置（x₀,y₀）位于窗格之间的边界附近的位置（步骤S4601中的是），则进一步检查触摸开始位置（x₀,y₀）是否与处于边界的端部的柄的位置重合（步骤S4602）。

如果开始位置（x₀,y₀）与处于边界的端部的柄的位置重合（步骤S4602中的是），则确定当前执行的UI操作是用于改变屏幕尺寸的指令。在此情况下，每次触摸指尖位置位移（步骤S4611），重复执行根据指尖位置的位移量增加或减小位于到触摸开始位置最近位置的边界的两侧窗格的尺寸的屏幕尺寸改变处理（步骤S4612），直到完成由用户在屏幕上执行的触摸操作（步骤S4613）。作为尺寸改变操作的目标的边界在屏幕尺寸改变指令操作的过程中可以以强调方式显示（稍后将描述）。

然后，如果完成由用户在屏幕上执行的触摸操作，则检查是否已经指令屏幕尺寸的改变，使得屏幕变得等于或小于预定最小宽度w_close（步骤S4614）。如果已经指令屏幕尺寸的改变，使得屏幕大于预定宽度w_close（步骤S4614中的否），则保持屏幕尺寸的改变，并且完成该处理的整个程序。此外，如果已经指令屏幕尺寸的改变，使得屏幕变得等于或小于预定最小宽度w_close（步骤S4614中的是），则关闭具有等于或小于预定最小宽度w_close的宽度的窗格（步骤S4615），并且完成该处理的整个程序。

如果开始位置（x₀,y₀）与处于边界的端部的柄的位置不重合（步骤S4602中的否），则确定当前执行的UI操作是用于分割屏幕的指令。在此情况下，每次触摸指尖位置位移（S4621），重复执行显示分割线直到位移的指尖位置的处理（S4622），直到完成用户由用户在屏幕上执行的触摸操作（步骤S4623）。在屏幕分割指令操作的过程中可以以强调方式显示分割线（稍后将描述）。此外，通过扩展分割线到窗格的另一边缘获得的辅助线也连同分割线一起显示。

然后，如果当触摸操作完成时指尖位置到达预定长度（例如，如果指尖的位移量dx（或dy）到达窗格的窗口宽度W_window的1/3）（步骤S4624中的是），则通过固定窗格分割并且生成直到辅助线的分割线，执行分割处理（步骤S4625），并且完成该处理的整个程序。在通过分割新生成的窗格中，例如生成原始窗格的克隆。

如果当触摸操作完成时指尖位置未到达预定长度（步骤S4624中的否），则取消过程中的屏幕分割处理（步骤S4626），并且完成该处理的整个程序。当指尖的轨迹变得远离辅助线预定距离时，也可以取消屏幕分割处理。

B-4.错误操作避免方法4

作为用于避免屏幕尺寸改变指令和屏幕分割指令之间错误操作的第三方法，可以示例使用用于禁止屏幕尺寸改变处理的执行的锁定功能的方法。也就是说，如果用户在锁定状态下用指尖触摸窗格之间的边界，并且位移指尖，则操作确定为用于分割屏幕的指令，并且在此后指尖移动的方向上执行触摸屏幕的分割处理。另一方面，如果用户在非锁定状态下用指尖触摸边界，并且位移指尖，则操作确定为用于改变尺寸的指令，并且在此后指尖移动的方向上执行屏幕尺寸改变处理。用户可以通过用指尖触摸边界上的屏幕，开始改变尺寸或分割屏幕的操作，而不关心指尖在屏幕尺寸改变指令区域和屏幕分割指令区域之一上的精细定位。如果在窗格内部而不是边界附近的位置开始利用用户的指尖的触摸操作，则确定操作为用于滚动屏幕的指令（或者诸如移动到链接页面的普通行为）（不管是否已经执行长按），并且根据此后指尖的位移执行滚动屏幕或移动到链接页面的处理。

图47A到47D示出用于通过使用屏幕尺寸改变锁定功能改变屏幕尺寸的UI操作。

如图47A所示，在窗格A和窗格B之间的边界4701的上端下端放置用于显示屏幕尺寸改变锁定状态的指示器4702和4703。指示器的安放位置不限于边界4701的端部。屏幕尺寸改变非锁定状态下的指示器4702和4703显示为白圈“○”，如图47A所示，并且屏幕尺寸改变锁定状态下的指示器4702和4703显示为黑圈“●”，如图47C所示。例如，可以通过轻击指示器4702或4703切换锁定状态和非锁定状态（当然可以通过其它操作切换锁定状态）。

如果用户轻击边界4701，并且在向右方向上开始指尖的位移而不从屏幕释放之间，如图47A所示，则操作确定为用于改变屏幕尺寸的指令。结果，位移边界直到指尖位移到的位置4704，窗格A的尺寸在水平方向扩展，并且窗格B的尺寸在水平方向减小，如图47B所示。

此外，如果用户触摸边界4701，并且在向右方向上开始指尖的位移而不从屏幕释放之间，如图47C所示，则操作确定为用于分割屏幕的指令。结果，生成新的分割线4706直到指尖位移到的位置，并且由点线代表的辅助线4707自动延伸到窗格B的右端，如图47D所示。

图48以流程图的形式示出信息处理装置100响应于由用户的UI操作，执行屏幕操作的处理过程。该处理过程不同于图46中示出的处理过程在于依赖于屏幕尺寸改变操作锁定状态确定UI操作。

例如，响应于由用户在屏幕上执行的触摸操作，激活处理过程，并且首先检查触摸开始位置（x₀,y₀）是否位于窗格的边界附近的位置（步骤S4801）。

在此，如果触摸开始位置（x₀,y₀）不是位于窗格之间的边界附近的位置，而是窗格内部（步骤S4801中的否），则根据用户的指尖位置的位移执行诸如屏幕滚动（见图38）或链接选择的另一普通屏幕行为（步骤S4803）。在滚动指令操作的过程中，可以以强调方式显示滚动的窗格（稍后将描述）。

另一方面，如果触摸开始位置（x₀,y₀）位于窗格之间的边界附近的位置（步骤S4801中的是），则进一步检查屏幕尺寸改变操作是否处于锁定状态（步骤S4802）。

如果屏幕尺寸改变操作处于非锁定状态（步骤S4802中的否），则确定当前执行的UI操作是用于改变屏幕尺寸的指令。在此情况下，每次触摸指尖位置位移（步骤S4811），重复执行根据指尖位置的位移量增加或减小位于到触摸开始位置最近位置的边界的两侧窗格的尺寸的屏幕尺寸改变处理（步骤S4812），直到完成由用户在屏幕上执行的触摸操作（步骤S4813）。作为尺寸改变操作的目标的边界在屏幕尺寸改变指令操作的过程中可以以强调方式显示（稍后将描述）。

然后，如果完成由用户在屏幕上执行的触摸操作，则检查是否已经指令屏幕尺寸的改变，使得屏幕变得等于或小于预定最小宽度w_close（步骤S4814）。如果已经指令屏幕尺寸的改变，使得屏幕大于预定宽度w_close（步骤S4814中的否），则保持屏幕尺寸的改变，并且完成该处理的整个程序。此外，如果已经指令屏幕尺寸的改变，使得屏幕变得等于或小于预定最小宽度w_close（步骤S4814中的是），则关闭具有等于或小于预定最小宽度w_close的宽度的窗格（步骤S4815），并且完成该处理的整个程序。

此外，如果屏幕尺寸改变操作处于锁定状态（步骤S4802中的是），则确定当前执行的UI操作是用于分割屏幕的指令。在此情况下，每次触摸指尖位置位移（S4821），重复执行显示分割线直到位移的指尖位置的处理（S4822），直到完成用户由用户在屏幕上执行的触摸操作（步骤S4823）。在屏幕分割指令操作的过程中可以以强调方式显示分割线（稍后将描述）。此外，通过扩展分割线到窗格的另一边缘获得的辅助线也连同分割线一起显示。

然后，如果当触摸操作完成时指尖位置到达预定长度（例如，如果指尖的位移量dx（或dy）到达窗格的窗口宽度W_window的1/3）（步骤S4824中的是），则通过固定窗格分割并且生成直到辅助线的分割线，执行分割处理（步骤S4825），并且完成该处理的整个程序。在通过分割新生成的窗格中，例如生成原始窗格的克隆。

此外，如果当触摸操作完成时指尖位置未到达预定长度（步骤S4824中的否），则取消过程中的屏幕分割处理（步骤S4826），并且完成该处理的整个程序。当指尖的轨迹变得远离辅助线预定距离时，也可以取消屏幕分割处理。

B-5.其它屏幕操作示例

图49A和49B示出用于通过同时操作多个边界，同时改变三个或更多窗格的尺寸的UI操作。

如图49A所示，屏幕由边界4901分割为在屏幕的左侧的窗格A和在屏幕的右侧的窗格B和C。此外，在右侧的屏幕由边界4902垂直分割为两个部分，即窗格B和窗格C。

边界4901和边界4902在交叉点4903处相交。因此，用户可以通过利用指尖触摸和位移交叉点4903的操作（即，抓取和移动交叉点4903的操作）通过移动两个边界4901和4902，同时改变三个窗格A到C的尺寸。

如图49A所示，例如，用户用指尖触摸交叉点4903，并且在屏幕中的左下方向上位移指尖，如由箭头4904所示。结果，边界4901和边界4902的交叉点位移直到用户指尖的最终位置4905，窗格A的尺寸在向右方向上扩展，窗格B的尺寸在向下方向上扩展，而窗格C的尺寸减小对应于窗格A和窗格B中尺寸增加的量，如图49D所示。

图50A和50C示出用于在窗格的部分显示具有固定宽度的内容的情况下改变屏幕尺寸的UI操作。

如图50A所示，屏幕由边界5001分割为在屏幕的左侧的窗格A和在屏幕的右侧的窗格B和C。此外，在右侧的屏幕由边界5002垂直分割为两个部分，即窗格B和窗格C。

此外，在窗格B中显示作为具有固定宽度（例如，具有16：9的纵横比）。的运动图像内容的再现电影5003。在此，如果窗格B的当前尺寸与运动图像内容不一致，并且水平方向上长，额外区域（即其中不显示电影的无效区域）在窗格B的水平方向上出来先。在图中所示的示例中，在运动图像内容的左侧和右侧的无效区域显示为灰色。

如果用户通过在向右方向抓取边界5001和位移边界5001执行屏幕尺寸改变操作，则窗格B和窗格C的尺寸在水平方向上减小。然后，如果窗格B的纵横比接近如在图50B中显示的运动图像内容的纵横比，执行边界5001吸收到运动图像内容的左端的行为。然后，边界5001保持吸收而不移动，即使试图稍稍移动边界5001。如果用户将指尖移动等于或大于特定距离的距离，则边界5001开始在向右方向上进一步移动，如图50C所示。因为，窗格B变得垂直长于此时运动图像内容的纵横比，在窗格B中在垂直方向上出现额外区域，即不显示电影的无效区域。在附图中图示的示例中，在运动图像内容的左侧和右侧的无效区域显示为灰色。

图51A到51C示出用于改变多个边界的父子关系的UI操作。

首先分割屏幕的边界是父，并且通过此后执行的分割操作生成以便与父边界交叉的边界是子。在图51A中，屏幕由边界5101分割为窗格A和窗格B，窗格A进一步由边界5102分割为窗格A1和窗格A2，并且右侧的窗格B也由边界5103分割为窗格B1和窗格B2。在此情况下，首先生成的边界5101是父，从边界5101得到的边界5102和5103是子，并且形成父子关系。

如果边界5101在向右方向上位移，则窗格A1和窗格A2在水平方向上扩展，并且右侧的窗格B1和窗格B2在水平方向上收缩，尽管附图中未示出。相反地，如果边界5101在向左方向上位移，则窗格A1和窗格A2在水平方向上收缩，并且右侧的窗格B1和窗格B2在水平方向上扩展。也就是说，在作为父的边界5101上执行的UI操作的影响影响作为子的各个边界5102和5103。

另一方面，如果边界5102垂直位移，则窗格A1在垂直方向扩展或收缩，并且窗格A2在垂直方向收缩或扩展对应于窗格A1的扩展或收缩量的量。然而，在边界5101的右侧的窗格B1和B2的尺寸不变化。也就是说，在作为子的边界5102上执行的UI操作不具有超越其作为父的边界5101的影响。

此外，如果边界5103垂直位移，则窗格B1在垂直方向扩展或收缩，并且窗格B2在垂直方向收缩或扩展对应于窗格B1的扩展或收缩量的量。然而，在边界5101的左侧的窗格A1和A2的尺寸不变化。也就是说，在作为子的边界5103上执行的UI操作不具有超越其作为父的边界5101的影响。

假设在不同垂直位置生成作为子的各个边界5102和5103，如图51A所示。如果用户垂直位移边界5102，并且使得边界5102在垂直位置方面接近边界5103，则边界5102和5103执行相互吸收以便在直线上重叠的行为。然后，边界5102和5103保持而不移动，即使用户试图稍稍位移边界5102或边界5103。边界5102或边界5103不像过去移动那样移动，并且窗格A1和窗格A2的尺寸或者窗格B1和窗格B2的尺寸在垂直方向上不分别改变，只要不执行位移边界5102或边界5103等于或大于特定距离的操作，尽管图中未示出。

此外，在如图51B所示的边界5102和边界5103相互吸收的状态下，可能替换父-子关系。在此，如果用户触摸边界5101的下半5104，并且在水平方向上位移下半5104，如图51C所示，则边界5102和边界5103下面的窗格A2水平扩展或收缩，并且窗格B2水平收缩或扩展对应于窗格A2的扩展或收缩的量。另一方面，边界5101的上半5105的位置不改变，并且在边界5102和边界5103上面的窗格A1的尺寸和窗格B1的尺寸完全不改变。

给出了通过切割（分割）屏幕的UI操作在新窗格中生成原始窗格的克隆（例如，见图17和18），并且通过扫过操作使得主屏幕在新窗格中出现（例如，将图27和28），给出了UI操作的上面描述。与此相比，还可以考虑在分割屏幕的UI操作的过程中指定新窗格的状态的方法。

图52到55示出了在分割屏幕的UI操作的过程中指定新窗格的状态的方法。如果在用于水平分割屏幕的分割线5201的过程中，用户停止指尖预定时间（例如，1秒），则显示如图所示的引导5202。引导5202包括三个方向上的分支5203到5205。附图示出如果使得指尖到在水平方向之上标记“H”5203的方向上前进，则可以在分割线5201之上的窗格中显示主屏幕5301，并且可以在分割线5201之下的窗格中生成原始窗格的克隆5302（见图53）。此外，附图示出如果使得指尖在水平方向上标记“C”5204的方向上前进，则可以在新生成的上下窗格中生成原始窗格的克隆5401和5402（见图54）。此外，附图示出如果使得指尖到在水平方向之下标记“H”5205的方向上前进，则可以在分割线5201之下的窗格中显示主屏幕5502，并且可以在分割线5201之上的窗格中生成原始窗格的克隆5501（见图53）。

此外，当用户执行分割屏幕、改变屏幕尺寸和滚动屏幕时，可以获得相应的屏幕效果。屏幕效果不但导致视觉效果的简单增强（诸如令人满意的视图），而且导致给用户关于意图操作已经开始的事实的反馈。

图56示出在屏幕分割指令操作的过程中以强调方式显示分割线5601的状态。此外，图57示出在屏幕尺寸改变指令操作的过程中以强调方式显示作为尺寸改变操作的目标的边界5701的状态。此外，图58示出在滚动指令操作的过程中以强调方式显示滚动的窗格5801的状态。

应该理解，根据实施例的信息处理装置100可以响应于由用户在如上所述的屏幕上执行的触摸操作，正确地执行多种屏幕操作（诸如屏幕分割操作）而没有错误操作。

基本以说明性示例的形式给出在本说明书中公开的技术的以上描述，并且在此描述的内容不旨在以限制方式理解。在确定在此公开的技术的主旨时，应该考虑权利要求的范围。

此外，在此公开的技术还可以配置如下：

（1）一种信息处理装置，包括：屏幕，其显示信息；坐标输入单元，其将由用户指示的坐标输入到所述屏幕；以及控制单元，其基于经由所述坐标输入单元的用户输入的轨迹，确定用户指示，并且根据确定结果控制所述屏幕的操作。

（2）如（1）所述的装置，其中所述控制单元基于经由所述坐标输入单元的用户输入的轨迹，确定用户已经指示所述屏幕的分割、分割屏幕的尺寸改变或者另一屏幕操作中的哪一个。

（3）如（2）所述的装置，其中所述控制单元基于轨迹的开始位置确定用户的指令，并且根据确定结果控制屏幕的操作。

（4）如（2）所述的装置，其中在围绕所述屏幕的边界的预定宽度W_line内，定义屏幕尺寸改变指示区域，并且在距所述屏幕尺寸改变指示区域的两侧的预定距离W_split内，定义屏幕分割指示区域，并且其中当所述轨迹的开始点在所述屏幕尺寸改变指示区域内时，所述控制单元执行根据所述轨迹的屏幕尺寸改变处理，当所述轨迹的开始点在所述屏幕分割指示区域内时，执行根据所述轨迹的屏幕分割处理，并且当所述轨迹的开始点位于比所述屏幕分割指示区域在所述屏幕更内部时，滚动所述屏幕或执行另一行为。

（5）如（2）所述的装置，其中所述控制单元基于轨迹的开始位置确定用户的指令，并且根据确定结果控制屏幕的操作。

（6）如（2）所述的装置，其中当所述轨迹在所述屏幕的边界附近开始，并且在停止在所述开始点的位置等于或大于预定时间的时段之后所述用户输入移动时，所述控制单元执行根据所述轨迹的屏幕分割处理，当所述轨迹在所述屏幕的边界附近开始，并且用户输入移动而不停止时，执行根据所述轨迹的屏幕尺寸改变处理，并且当所述轨迹在所述屏幕内部开始时，滚动所述屏幕或执行另一行为。

（7）如（2）所述的装置，其中在所述屏幕的边界的两端，提供用于执行移动所述边界的操作的柄，并且其中当所述轨迹从所述柄开始时，所述控制单元执行根据所述轨迹的屏幕尺寸改变处理，当所述轨迹在不同于所述屏幕的边界上的柄的部分开始时，执行根据所述轨迹的屏幕分割处理，并且当所述轨迹在所述屏幕内部开始时，滚动所述屏幕或执行另一行为。

（8）如（2）所述的装置，还包括：锁定功能，其禁止屏幕尺寸改变处理，其中当在锁定状态下所述轨迹在所述屏幕的边界附近开始时，所述控制单元执行根据所述轨迹的屏幕分割处理，当在未锁定状态下所述轨迹在所述屏幕的边界附近开始时，执行根据所述轨迹的屏幕尺寸改变处理，并且当所述轨迹从所述屏幕的内部开始时，滚动所述屏幕或执行另一行为。

（9）如（8）所述的装置，还包括：指示器，其显示当前状态是否是所述锁定状态。

（10）如（2）所述的装置，其中当所述轨迹从用于分割所述屏幕的多个边界的交集开始时，所述控制单元通过根据所述轨迹转移所述交集的位置，对各个分割的屏幕执行尺寸改变处理。

（11）如（2）所述的装置，其中当在多个屏幕的尺寸改变处理期间，多个分割的屏幕中屏幕的尺寸接近预定尺寸时，所述控制单元使得所述屏幕的尺寸聚集到所述预定尺寸。

（12）如（2）所述的装置，其中当通过第一边界将所述屏幕分割为两个部分以获得第一屏幕和第二屏幕，并且所述第一屏幕和所述第二屏幕分别进一步通过第二边界和第三边界分割，并且所述第二边界和所述第三边界在直线上相互重叠时，所述控制单元允许对于通过由直线分割所述第一边界获得的两个线段的每个的屏幕尺寸改变处理。

（13）如（2）所述的装置，其中在屏幕分割处理期间，在屏幕上显示指示通过分割获得的新屏幕的状态的指示单元。

（14）如（2）所述的装置，其中所述控制单元在分割线上显示指示单元，所述指示单元根据所述轨迹相对于所述分割线的方向，指示新屏幕的状态。

（15）如（14）所述的装置，其中当所述轨迹偏离所述分割线时，所述指示单元指示在偏离方向上的新屏幕中显示原始屏幕的主屏幕，并且在其他新屏幕中生成所述原始屏幕的克隆，并且当所述轨迹沿着所述分割线时，指示在所述分割线的两侧的新屏幕中生成所述原始屏幕的克隆。

（16）如（2）所述的装置，其中所述控制单元在分割处理期间，显示通过扩展屏幕的分割线获得的辅助线。

（17）如（2）所述的装置，其中所述控制单元使得屏幕关闭，已经指示所述屏幕的尺寸改变处理，使得所述屏幕的尺寸变得等于或小于预定最小宽度W_close。

（18）如（1）所述的装置，其中如果锁定所述屏幕尺寸改变处理，则即使用户指示改变屏幕尺寸，所述控制单元也不执行屏幕尺寸改变处理。

（19）如（2）所述的装置，其中所述控制单元以强调方式显示分割处理期间的所述屏幕的边界。

（20）如（2）所述的装置，其中所述控制单元以强调方式显示尺寸改变处理期间的所述屏幕的边界。

（21）如（2）所述的装置，其中所述控制单元以强调方式显示滚动处理期间的所述屏幕。

（22）如（2）所述的装置，其中响应于在出现方向上用第一数目的手指扫过分割的屏幕之一的用户操作，所述控制单元使得与分割的屏幕有关的菜单在所述出现方向上出现。

（23）如（22）所述的装置，其中当对于等于或大于预定时间的时段在所述菜单上没有执行操作时，或者响应于在与所述出现方向相反的方向上扫过屏幕的用户操作，所述控制单元在所述相反的方向上隐藏所述菜单。

（24）如（2）所述的装置，其中响应于抓取屏幕的用户操作，所述控制单元保存多个分割的屏幕的状态。

（25）如（2）所述的装置，所述控制单元在屏幕上显示保存的屏幕状态的列表，并且在屏幕上恢复由用户选择的屏幕状态。

（26）如（2）所述的装置，其中响应于用第二数目的手指扫过屏幕的用户操作，所述控制单元在扫过方向上改变分割的屏幕之一的取向。

（27）如（2）所述的装置，其中响应于用第三数目的手指扫过屏幕的用户操作，所述控制单元使得另一屏幕从与屏幕扫过方向相反侧向扫过方向出现。

（28）如（27）所述的装置，其中另一屏幕是主屏幕。

（29）一种信息处理方法，包括：将由用户指示的坐标输入到屏幕；以及基于在坐标的输入中用户输入的轨迹，确定用户指示，并且根据确定结果控制所述屏幕的操作。

（30）一种以计算机可读格式描述的计算机程序，以便使得计算机用作：坐标输入单元，其将由用户指示的坐标输入到屏幕；以及控制单元，其基于经由所述坐标输入单元的用户输入的轨迹，确定用户指示，并且根据确定结果控制所述屏幕的操作。

Claims (20)

1.一种信息处理装置，包括：

屏幕，其显示信息；

坐标输入单元，其将由用户指示的坐标输入到所述屏幕；以及

控制单元，其基于经由所述坐标输入单元的用户输入的轨迹，确定用户指示，并且根据确定结果控制所述屏幕的操作。

2.如权利要求1所述的装置，

其中所述控制单元基于经由所述坐标输入单元的用户输入的轨迹，确定用户已经指示所述屏幕的分割、分割屏幕的尺寸改变或者另一屏幕操作中的哪一个。

3.如权利要求2所述的装置，

其中在围绕所述屏幕的边界的预定宽度W_line内，定义屏幕尺寸改变指示区域，并且在距所述屏幕尺寸改变指示区域的两侧的预定距离W_split内，定义屏幕分割指示区域，并且

其中当所述轨迹的开始点在所述屏幕尺寸改变指示区域内时，所述控制单元执行根据所述轨迹的屏幕尺寸改变处理，当所述轨迹的开始点在所述屏幕分割指示区域内时，执行根据所述轨迹的屏幕分割处理，并且当所述轨迹的开始点位于比所述屏幕分割指示区域在所述屏幕更内部时，滚动所述屏幕或执行另一行为。

4.如权利要求2所述的装置，

其中当所述轨迹在所述屏幕的边界附近开始，并且在停止在所述开始点的位置等于或大于预定时间的时段之后所述用户输入移动时，所述控制单元执行根据所述轨迹的屏幕分割处理，当所述轨迹在所述屏幕的边界附近开始，并且用户输入移动而不停止时，执行根据所述轨迹的屏幕尺寸改变处理，并且当所述轨迹在所述屏幕内部开始时，滚动所述屏幕或执行另一行为。

5.如权利要求2所述的装置，

其中在所述屏幕的边界的两端，提供用于执行移动所述边界的操作的柄，并且

其中当所述轨迹从所述柄开始时，所述控制单元执行根据所述轨迹的屏幕尺寸改变处理，当所述轨迹在不同于所述屏幕的边界上的柄的部分开始时，执行根据所述轨迹的屏幕分割处理，并且当所述轨迹在所述屏幕内部开始时，滚动所述屏幕或执行另一行为。

6.如权利要求2所述的装置，还包括：

锁定功能，其禁止屏幕尺寸改变处理，

其中当在锁定状态下所述轨迹在所述屏幕的边界附近开始时，所述控制单元执行根据所述轨迹的屏幕分割处理，当在未锁定状态下所述轨迹在所述屏幕的边界附近开始时，执行根据所述轨迹的屏幕尺寸改变处理，并且当所述轨迹从所述屏幕的内部开始时，滚动所述屏幕或执行另一行为。

7.如权利要求6所述的装置，还包括：

指示器，其显示当前状态是否是所述锁定状态。

8.如权利要求2所述的装置，

其中当所述轨迹从用于分割所述屏幕的多个边界的交集开始时，所述控制单元通过根据所述轨迹转移所述交集的位置，对各个分割的屏幕执行尺寸改变处理。

9.如权利要求2所述的装置，

其中当在多个屏幕的尺寸改变处理期间，多个分割的屏幕中屏幕的尺寸接近预定尺寸时，所述控制单元使得所述屏幕的尺寸吸收到所述预定尺寸。

10.如权利要求2所述的装置，

其中当通过第一边界将所述屏幕分割为两个部分以获得第一屏幕和第二屏幕，并且所述第一屏幕和所述第二屏幕分别进一步通过第二边界和第三边界分割，并且所述第二边界和所述第三边界在直线上相互重叠时，所述控制单元允许对于通过由直线分割所述第一边界获得的两个线段的每个的屏幕尺寸改变处理。

11.如权利要求2所述的装置，

其中在所述屏幕的分割线上显示指示单元，所述指示单元根据所述轨迹相对于所述分割线的方向，指示新屏幕的状态，并且

其中当所述轨迹偏离所述分割线时，所述控制单元在偏离方向上的新屏幕中显示原始屏幕的主屏幕，并且在其他新屏幕中生成所述原始屏幕的克隆，并且当所述轨迹沿着所述分割线时，在所述分割线的两侧的新屏幕中生成所述原始屏幕的克隆。

12.如权利要求2所述的装置，

其中所述控制单元使得屏幕关闭，已经指示所述屏幕的尺寸改变处理，使得所述屏幕的尺寸变得等于或小于预定最小宽度W_close。

13.如权利要求2所述的装置，

其中所述控制单元以强调方式显示分割处理期间的所述屏幕的分割线、尺寸改变处理期间的所述屏幕的边界、以及滚动处理期间的所述屏幕的至少一个。

14.如权利要求2所述的装置，

其中响应于在出现方向上用第一数目的手指扫过分割的屏幕之一的用户操作，所述控制单元使得与分割的屏幕有关的菜单在所述出现方向上出现。

15.如权利要求14所述的装置，

其中当对于等于或大于预定时间的时段在所述菜单上没有执行操作时，或者响应于在与所述出现方向相反的方向上扫过屏幕的用户操作，所述控制单元在所述相反的方向上隐藏所述菜单。

16.如权利要求2所述的装置，

其中响应于抓取屏幕的用户操作，所述控制单元保存多个分割的屏幕的状态，在屏幕上显示保存的屏幕状态的列表，并且在屏幕上恢复由用户选择的屏幕状态。

17.如权利要求2所述的装置，

其中响应于用第二数目的手指扫过屏幕的用户操作，所述控制单元在扫过方向上改变分割的屏幕之一的取向。

18.如权利要求1所述的装置，

其中响应于用第三数目的手指扫过屏幕的用户操作，所述控制单元使得主屏幕从与屏幕扫过方向相反侧向扫过方向出现。

19.一种信息处理方法，包括：

将由用户指示的坐标输入到屏幕；以及

基于在坐标的输入中用户输入的轨迹，确定用户指示，并且根据确定结果控制所述屏幕的操作。

20.一种以计算机可读格式描述的计算机程序，以便使得计算机用作：

坐标输入单元，其将由用户指示的坐标输入到屏幕；以及

控制单元，其基于经由所述坐标输入单元的用户输入的轨迹，确定用户指示，并且根据确定结果控制所述屏幕的操作。