具体实施方式
下面将参考附图详细描述本发明。
[第一示例性实施例]
第一示例性实施例的移动信息终端具有两个显示屏幕和两个触摸面板,每个触摸面板布置在相应的显示屏幕上。当对两个显示屏幕上的触摸面板同时执行触摸操作时,受到对每个触摸面板的触摸操作的那两个点的中点处的UI组件(例如图标、按钮、或者通往网页的链接)被识别为已被指定。
图1的示意图描述了在具有两个显示屏幕并在每个显示屏幕上具有触摸面板的移动信息终端中指定UI组件的方法的示例。在图1所示的示例中,图标呈现在显示屏幕与显示屏幕之间的边界(下文种称为屏幕边界)部分处,从而干扰了用于指定该图标的触摸操作。在这样的时候,当用户同时触摸图1所示的两个黑点时,移动信息终端把受到该触摸操作的两个点的中点识别成已被指定。
图2的框图示出了第一示例性实施例的移动信息终端的配置。
如图2所示,第一示例性实施例中的移动信息终端具有处理单元100、显示单元200和输入单元300。处理单元100具有触摸事件检测单元110、同时触摸事件控制单元120、触摸事件处理单元130和显示控制单元140。同时触摸事件控制单元120具有触摸事件判定单元121、坐标转换单元122和伪触摸事件生成单元123。
显示单元200是具有两个显示屏幕的显示设备。这种示例性实施例的显示单元200具有彼此相邻地布置的显示器210和显示器220。
输入单元300是具有触摸面板的输入设备,这些触摸面板各自布置在相应的显示屏幕上。这种示例性实施例的输入单元300具有触摸面板310和触摸面板320。触摸面板310布置在显示器210的屏幕上,触摸面板320布置在显示器220的屏幕上。每个触摸面板被赋予了触摸面板ID,该ID是用于对各个触摸面板进行标识的数字。
每个触摸面板检测来自用户的触摸操作,并向触摸事件检测单元110报告触摸信息,触摸信息表明该触摸操作的状态。触摸操作是由触摸笔、或者由用户的手或手指对触摸面板来实现的预定操作。触摸信息包括各个触摸面板的触摸面板ID、表明是否已发生了触摸的信息、以及受到触摸的坐标的信息。
处理单元100对移动信息终端的全部操作进行控制。
触摸事件检测单元110从输入单元300的各个触摸面板接收触摸信息,并基于接收到的触摸信息而生成触摸事件信息。触摸事件信息包括作为触摸来源的那个触摸面板的触摸面板ID、该触摸面板上的坐标、事件发生时间、事件类型。事件类型是表明事件的类型的信息,例如触摸事件、拖动事件和释放事件,触摸事件表明用户的手、手指或触笔已经触摸了触摸面板,拖动事件表明在保持接触的同时发生了滑动,释放事件表明从触摸面板分离。
在两个触摸面板上同时执行的触摸操作被称为同时触摸操作。另外,在各个触摸面板上通过同时触摸操作而受到触摸的两个点维持触摸的同时滑动的操作被称为同时拖动操作。此外,在各个触摸面板上通过同时触摸操作而受到触摸的两个点同时解除触摸的操作被称为同时释放操作。同时触摸操作、同时拖动操作和同时释放操作统称为同时操作。
触摸事件检测单元110向触摸事件判定单元121报告所生成的触摸事件信息。
当从触摸事件检测单元10接收的触摸事件信息不是同时操作的结果时,同时触摸事件控制单元120生成由这些同时事件所指定的新的触摸事件信息,并通知触摸事件处理单元130。
触摸事件判定单元121从触摸事件检测单元110接收触摸事件信息,并对所接收的触摸事件信息进行分析。
在接收到两条触摸事件信息且事件来源是不同的触摸面板、事件发生时间的差异在预定时间间隔以内、并且事件类型都是触摸事件的时候,触摸事件判定单元121判定为已经执行了同时触摸操作。
另外,一旦触摸事件判定单元121判定了已经执行了同时触摸操作,触摸事件判定单元121就判定这些同时触摸操作一直在继续,直到接收到下述触摸事件信息为止:在该信息中,事件来源是这些触摸面板中的任一者,并且事件类型是释放事件。当同时触摸操作在继续、并且接收到的事件信息中事件来源是这些触摸面板中的任一者而事件类型是释放事件时,触摸事件判定单元121判定为同时触摸操作已被取消。
或者,当同时触摸操作在继续、并且接收到的事件信息中事件来源是这些触摸面板中的任一者而事件类型是拖动事件时,触摸事件判定单元121判定为已经执行了同时拖动操作。
当同时触摸操作在继续、且接收到两条触摸事件信息,这两条信息中事件来源是不同的触摸面板、事件发生时间的差异在预定事件间隔以内并且事件类型都是释放事件的时候,触摸事件判定单元121判定为已经执行了同时释放操作。此时,触摸事件判定单元121判定为同时触摸操作已被取消。
当触摸事件判定单元121判定了从触摸事件检测单元110接收的触摸事件信息不是同时操作的结果时,触摸事件判定单元121不加改变地向触摸事件处理单元130传送所接收的触摸事件信息。
另一方面,当触摸事件判定单元121判定为从触摸事件检测单元110接收的触摸事件信息是同时操作的结果时,触摸事件判定单元121向坐标转换单元122发送所接收的触摸事件信息。
在从触摸事件判定单元121接收到触摸事件信息时,坐标转换单元122基于所接收的触摸事件信息中包括的触摸面板上的坐标,来计算由各个操作指定的被指定坐标。
当触摸事件信息是同时触摸操作的结果时,这种示例性实施例的坐标转换单元122把在两个触摸面板处生成、并从触摸事件判定单元121接收的两条触摸事件信息中包括的各个触摸面板上的坐标的中点的坐标当作被指定坐标。
当触摸事件信息是同时拖动操作的结果时,坐标转换单元122把针对两个触摸面板从触摸事件判定单元121接收的各个最新触摸事件信息中包括的触摸面板上的坐标的中点的坐标当作被指定坐标。
当触摸事件信息是同时释放操作的结果时,坐标转换单元122把两个触摸面板中生成、并从触摸事件判定单元121接收的两条触摸事件信息中包括的各个触摸面板上的坐标的中点的坐标当作被指定坐标。
图3的示意图描述了计算被指定坐标的方法的示例。在图3所示的示例中,触摸面板310和触摸面板320彼此相邻地布置,在触摸面板310中,沿与屏幕边界相同的方向的像素数目是H而沿与屏幕边界垂直的方向的像素数目是W1;在触摸面板320中,沿与屏幕边界相同的方向的像素数目是H而沿与屏幕边界垂直的方向的像素数目是W2。
下面的说明使用了下述坐标系:在该坐标系中,与屏幕边界垂直的方向是X轴,与屏幕边界相同的方向是Y轴。该坐标系中的每个点代表触摸面板上的像素,触摸面板上的最左下方的像素的坐标被假定为(0,0)。触摸面板310的像素的坐标范围被假定为0≤X<W1和0≤Y<H。触摸面板320的像素的坐标范围被假定为0≤X<W2和0≤Y<H。
在这种移动信息终端中,假定触摸面板310的坐标(X1,Y1)处的点A和触摸面板320的坐标(X2,Y2)处的点B同时受到触摸。
在这种示例性实施例中,当一个原始图像被显示成在两个显示器210和220之间划分时,与两个显示器210和220相对应的触摸面板310和320的坐标被看作集成在一个坐标系中。这里假定触摸面板320的坐标系与触摸面板310的坐标系集成。因而,触摸面板310中的坐标由触摸面板310的坐标系不加修改地代表,而触摸面板320中的坐标被表示成转换到触摸面板310的坐标系。
在图4的示意图中,触摸面板310和320上的点由触摸面板310的坐标系来代表。尽管实际上,触摸面板310和触摸面板320之间通常存在实体间隙,但是在包括两个触摸面板310和320的坐标系中,触摸面板310和触摸面板320被看作沿着边界而毗连。在图4中,假定触摸面板320的左侧的边界线与触摸面板310的右侧的边界线毗连,触摸面板320上的点B被看作转换到触摸面板310的坐标系。
点B的坐标(X2,Y2)被转换到触摸面板310的坐标系中的点B’(W1+X2,Y2)。
如果点A和点B’的中点是C’(X3’,Y3’),则X3’由式(1)表示,而Y3’由式(2)表示。
X3’=(X1+W1+X2)/2 (1)
Y3’=(Y1+Y2)/2 (2)
这里,当式(3)成立时,中点C’存在于触摸面板320上。另一方面,当式(3)不成立时,中点C’存在于触摸面板310上。
X3’≥W1 (3)
当式(3)成立时,中点C’存在于触摸面板320上;如果触摸面板320上的指定坐标是C(X3,Y3),则X3由式(4)表示,而Y3由式(5)表示。
X3=(X1+W1+X2)/2-W1 (4)
Y3=(Y1+Y2)/2 (5)
另一方面,当式(3)不成立时,中点C’存在于触摸面板310上;如果触摸面板310上的指定坐标是C(X3,Y3),则X3由式(6)表示,而Y3由式(7)表示。
X3=(X1+W1+X2)/2 (6)
Y3=(Y1+Y2)/2 (7)
坐标转换单元122使用式(3)来区分中点C’存在于触摸面板310和触摸面板320中的哪一者上,并使用式(4)-(7)来计算指定坐标C。
坐标转换单元122向伪触摸事件生成单元123报告包含被指定的坐标的那个触摸面板的触摸面板ID、这些指定坐标、同时操作的发生时间、同时操作的事件类型(下文中,包含被指定的坐标的那个触摸面板的触摸面板ID、被指定的坐标、发生同时操作的时间、以及同时操作的事件类型统称为“转换坐标信息”)。当触摸事件信息是同时触摸操作的结果时,同时操作的事件类型是触摸事件;当触摸事件信息是同时拖动操作的结果时,该事件类型是拖动事件;当触摸事件信息是同时释放操作的结果时,该事件类型是释放事件。
伪触摸事件生成单元123从坐标转换单元122接收转换坐标信息。然后,伪触摸事件生成单元123基于所接收的转换坐标信息,针对这些同时操作而生成伪触摸事件信息。
像触摸事件信息一样,伪触摸事件信息包括事件来源的触摸面板的触摸面板ID、该触摸面板上的坐标、事件发生时间、事件类型。这里,包含了指定坐标的那个触摸面板的触摸面板ID被指定为事件来源触摸面板的触摸面板ID,被指定的坐标被指定为该触摸面板上的坐标,同时操作发生的时间被指定为事件发生时间,同时操作的事件类型被指定为事件类型。
伪触摸事件生成单元123向触摸事件处理单元130传送所生成的伪触摸事件信息。
触摸事件处理单元130向下述坐标的UI组件通知所接收到的触摸事件信息:这些坐标是从触摸事件判定单元121接收到的触摸事件信息中指定的,或者是从伪触摸事件生成单元123接收的伪触摸事件信息中指定的。
显示控制单元140把移动信息终端的输出图像显示在显示单元200的各个显示器上。
下面将描述图2所示处理单元100对同时操作进行的处理。
图5的流程图示出了由图2所示处理单元100对同时操作的处理。
触摸事件检测单元110待机,直到从输入单元300的各个触摸面板接收到触摸信息。在接收触摸信息后,触摸事件检测单元110基于所接收的触摸信息来生成触摸事件信息,并向触摸事件判定单元121报告所生成的触摸事件信息(步骤S1)。
在从触摸事件检测单元110接收触摸事件信息后,触摸事件判定单元121判定所接收的触摸事件信息是否是同时操作的结果(步骤S2)。
如果触摸事件判定单元121确定从触摸事件检测单元110接收的触摸事件信息不是同时操作的结果,则触摸事件判定单元121向触摸事件处理单元130传送所接收到的触摸事件信息,该处理前进到步骤S5。
另一方面,如果触摸事件判定单元121确定从触摸事件检测单元110接收的触摸事件信息是同时操作的结果,则触摸事件判定单元121向坐标转换单元122传送所接收的触摸事件信息。
在从触摸事件判定单元121接收到作为同时操作的结果的触摸事件信息后,坐标转换单元122基于所接收的触摸事件信息中包括的触摸面板上的坐标,来计算由各个操作所指定的被指定坐标(步骤S3)。
在计算由同时操作所指定的被指定坐标时,坐标转换单元122向伪触摸事件生成单元123通知转换坐标信息。
在从坐标转换单元122接收转换坐标信息后,伪触摸事件生成单元123基于所接收的转换坐标信息,来针对这些同时操作生成伪触摸事件信息(步骤S4)。
在针对同时触摸操作生成了伪触摸事件信息后,伪触摸事件生成单元123向触摸事件处理单元130传送所生成的伪触摸事件信息。
在从触摸事件判定单元121接收触摸事件信息后,触摸事件处理单元130向该触摸事件信息所指定的坐标的UI组件通知所接收的触摸事件信息(步骤S5)。
另一方面,在从伪触摸事件生成单元123接收到伪触摸事件信息时,触摸事件处理单元130向该伪触摸事件信息中指定的坐标的UI组件通知所接收的伪触摸事件信息(步骤S5)。
在完成了与触摸事件信息或伪触摸事件信息相对应的处理后,触摸事件处理单元130再次前进到步骤S1。
尽管在这种示例性实施例所示的示例中,当对两个显示屏幕上的触摸面板同时执行触摸操作时,移动信息终端识别出对两个点(在这两个点处执行了触摸操作)的中点的指定,但是本发明不限于这种形式。同时触摸操作所指定的点可以是把两个点(在这两个点处执行了触摸操作)相连的线上的点,或者例如可以是把这两个点相连的线上的点,还可以是离这两个点的距离处于预定比率的点。
尽管在这种示例性实施例所示的示例中,触摸事件判定单元121在检测到同时(事件发生时间的差异在预定事件间隔以内)发生的两个触摸事件时判定为已经执行了同时触摸操作,但是本发明不限于这种形式。例如,当在感测到同时发生的两个触摸事件之后预定的时间间隔中触摸事件判定单元121没有感测到释放事件时,触摸事件判定单元121可以判定为已经执行了同时触摸操作。
另外,在这种示例性实施例的移动信息终端中,示出了这样的示例:当对两个显示屏幕上的触摸面板执行同时触摸操作时,两个点(在这两个点处对各个触摸面板执行了这些触摸操作)的中点处的UI组件被识别成已被指定。不过本发明不限于这种形式。当对两个显示屏幕上的触摸面板执行同时触摸操作时,移动信息终端也可以把两个点(在这两个点处对各个触摸面板执行了这些触摸操作)之间的预定区域中的UI组件识别为已被指定。
或者,当对两个显示屏幕上的触摸面板执行同时触摸操作时,移动信息终端也可以把将两个点(在这两个点处对各个触摸面板执行了这些触摸操作)相连的线附近的UI组件识别为已被指定。在此情形下,移动信息终端把离开线(该线把这两个点相连)预定距离内存在的UI组件识别为已被指定。
或者,当对两个显示屏幕上的触摸面板执行同时触摸操作时,移动信息终端可以把与两个点(在这两个点处对各个触摸面板执行了这些触摸操作)相连的线相交的UI组件识别为已被指定。
另外,尽管在这种示例性实施例所示的示例中,显示单元200具有两个显示屏幕,输入单元300具有两个输入面板,但是本发明不限于这种形式,显示单元200可以具有三个或更多个显示屏幕,输入单元300可以具有三个或更多个输入面板。
尽管在这种示例性实施例所示的示例中,移动信息终端的输入单元被配置成把各个触摸面板布置在显示屏幕上,但是本发明不限于这种形式。移动信息终端的输入单元可以是对与显示屏幕的接触进行感测的任何形式,并可以是包含在显示面板中并能够区分出接触的传感器。
根据本申请中所述的这种示例性实施例,当对两个显示屏幕上的触摸面板执行同时触摸操作时,移动信息终端把两个点(在这两个点处对各个触摸面板执行了这些触摸操作)之间的预定区域中的UI组件识别为已被指定。因而,用户能够在UI组件跨在屏幕边界时也容易地指定该UI组件(例如图标、按钮、或者通往网页的链接)。从而改善了对屏幕边界上的UI组件进行指定的操作的容易度。
另外,当对两个显示屏幕的触摸面板执行同时触摸操作时,这种示例性实施例的移动信息终端把与把两个点(在这两个点处对各个触摸面板执行了这些触摸操作)相连的线相交的UI组件识别为已被指定。用户从而能够更合适地指定UI组件。
当对两个显示屏幕上的触摸面板执行同时触摸操作时,这种示例性实施例的移动信息终端把两个点(在这两个点处对各个触摸面板执行了这些触摸操作)的中点处的UI组件识别为已被指定。用户从而能够合适并且可视地指定UI组件。
另外,这种示例性实施例的移动信息终端实现了在相连的坐标系上指定UI组件的操作,该坐标系使得两个显示屏幕沿着边界毗连。这样,用户能够像两个显示屏幕之间不存在实体间隙一样指定UI组件。
尽管这种示例性实施例中示出了同时触摸操作、同时拖动操作和同时释放操作作为对两个触摸面板的同时操作的示例,但是本发明不限于这些形式。对两个触摸面板的同时操作例如可以是与双击等效的操作。当在这些情形下对两个触摸面板同时执行与双击等效的操作时,移动信息终端把两个点(在这两个点处执行了这些操作)之间的预定区域中的UI组件识别为已受到双击。例如,当对两个触摸面板执行与双击等效的操作时,移动信息终端把两个点(在这两个点处执行了这些操作)的中点处的UI组件识别为已受到双击。用户从而能够即使在UI组件跨在屏幕边界上的时候也容易地对该UI组件执行双击。
另外,对两个触摸面板同时执行的操作例如也可以是拖放(drag anddrop)。在这些情形下,用户首先同时触摸两个点,于是移动信息终端选择受到触摸的两个点之间的预定区域中的UI组件。然后用户在维持接触的同时滑动这两个点,于是移动信息终端使所选择的UI组件随着这两个点的滑动而一起移动。最后,在该UI组件处于所需位置处时,用户把这两个点的接触同时释放,于是移动信息终端在该位置处解除对该UI组件的选择。例如,移动信息终端选择由用户触摸的两个点的中点处的UI组件,并使该UI组件移动到与正被用户滑动的两个点的中点相匹配。这样,即使UI组件跨在屏幕边界上,用户也能够容易地对UI组件执行拖放操作。这种拖放操作可以用来进行拷贝和粘贴,或者用来改变平面边界处的UI组件的显示位置。
[第二示例性实施例]
在第一示例性实施例的移动信息终端中,示出了这样的示例:对两个显示屏幕上的触摸面板执行同时触摸操作,受到对各个触摸面板的触摸操作的两个点的中点处的UI组件被识别为已被指定。
但是,本发明不限于这种形式。例如,可以把屏幕边界与线(该线把受到触摸操作的两个点相连)的交点处的UI组件当作控制对象,来更加合适地指定跨在平面边界上的UI组件。这样,在第二示例性实施例中,描述了这样的示例:当对两个显示屏幕上的触摸面板实施同时触摸操作时,屏幕边界与线(该线把受到对各个触摸面板的触摸操作的两个点相接)的交点处的UI组件被识别为已被指定。
第二示例性实施例的移动信息终端的基本配置与第一示例性实施例的移动信息终端的配置相同。
但是,当触摸事件信息是同时触摸操作的结果时,第二示例性实施例的坐标转换单元122把屏幕边界与下述线的交点的坐标当作被指定坐标:该线把两条触摸事件信息(这些信息是在两个触摸面板上产生并从触摸事件判定单元121接收的)中包括的各个触摸面板上的坐标相接。
下面将描述图3所示触摸面板310和320中的屏幕边界与线(该线把受到同时触摸操作的两个点相接)之间的交点的计算。
在图3所示的触摸面板310和320中,触摸面板310的坐标(X1,Y1)处的点A和触摸面板320的坐标(X2,Y2)处的点B同时受到触摸。
图6A示出了由触摸面板310的坐标系代表的触摸面板310和320上的点。尽管触摸面板310与触摸面板320之间实际上通常存在实体间隙,但是在包括两个触摸面板310和320的坐标系中,触摸面板310和320被看作在边界处毗连。在图6A中,触摸面板320的左边缘处的边界线被看作与触摸面板310的右边缘的边界线毗连,触摸面板320上的点B被转换到触摸面板310的坐标系。
点B的坐标(X2,Y2)被转换到触摸面板310的坐标系中的点B’(W1+X2,Y2)。
假定线AB’与线X=W1的交点是C(W1,Y3),则从下述两个直角三角形之间的相似比可以得出式(8):由点B’、点A和由坐标(X1,Y2)代表的点D这三个点所代表的直角三角形;由点B’、点C和由坐标(W1,Y2)代表的点E这三个点所代表的直角三角形。
Y1-Y2∶Y3-Y2=W1+X2-X1∶X2 (8)
通过对式(8)求解,交点C的Y坐标Y3由式(9)表示。
Y3=(W1×Y2-2-X1×Y2+X2×Y1)/(W1-X1+X2) (9)
另外,图6B示出的示意图中,当点B’的Y坐标Y2的值大于点A的Y坐标Y1时,触摸面板310和320上的点由触摸面板310的坐标系代表。
假定线AB’与线X=W1的交点是C(W1,Y3),则从下述两个直角三角形之间的相似比可以得出式(10):由点A、点B’和由坐标(W1+X2,Y1)代表的点F这三个点所代表的直角三角形;由点A、点C和由坐标(W1,Y1)代表的点G这三个点所代表的直角三角形。
Y2-Y1∶Y3-Y1=W1+X2-X1∶W1-X1 (10)
通过对式(10)求解,当点B’的Y坐标Y2的值大于点A的Y坐标Y1时,交点C的Y坐标Y3由式(9)表示。
坐标转换单元122使用式(9)来计算Y3,并向伪触摸事件生成单元123报告转换坐标信息,在所述转换坐标信息中,触摸面板320上坐标为(0,Y3)的点是被指定坐标。
这样,当对两个显示屏幕上的触摸面板同时执行触摸操作时,第二示例性实施例的触摸事件处理单元130向屏幕边界与下述线的交点处的UI组件通知触摸事件信息:该线把受到对各个触摸面板的触摸操作的两个点相连。
如上所述,根据这种示例性实施例,当对两个显示屏幕上的触摸面板执行同时触摸操作时,移动信息终端识别出屏幕边界与线(该线把对两个触摸面板执行触摸操作处的两个点相连)的交点处的UI组件已被指定。这样,即使用户进行的触摸操作中发生分歧,移动信息终端也能够更加精确地指定跨在屏幕边界上的UI组件。
[第三示例性实施例]
在第一和第二示例性实施例中,描述了这样的示例:当在移动信息终端中对两个显示屏幕上的触摸面板执行同时触摸操作时,把两个点(这两个点受到了对各个触摸面板的触摸操作)相连的线上的UI组件被识别成已被指定。
不过,本发明不限于这种形式。例如,可以通过把与预定区域相交的UI组件当作控制对象,来更加合适地指定跨在屏幕边界上的UI组件,所述预定区域由受到触摸操作的这两个点来确定。在第三示例性实施例中,描述了这样的示例:当对两个显示屏幕上的触摸面板同时执行触摸操作时,与预定区域相交的UI组件被识别成已被指定,该预定区域由对各个触摸面板执行的触摸操作所确定。
第三示例性实施例的移动信息终端的基本配置与第一示例性实施例的移动信息终端的配置相同。
但是,当坐标转换单元122从触摸事件判定单元121接收到两条触摸事件信息、这些信息是同时触摸操作的结果时,第三示例性实施例的坐标转换单元122把与下述矩形区域相交的UI组件的中心坐标作为被指定坐标:该矩形区域以这两条触摸事件信息中包括的各个触摸面板上的坐标为两个对角的顶点。
下面将描述与图3所示触摸面板310和320中对屏幕边界与线(该线把受到同时触摸操作的两个点相连)的交点进行计算有关的示例。
在图3所示的触摸面板310和320中,触摸面板310的坐标(X1,Y1)处的点A和触摸面板320的坐标(X2,Y2)处的点B同时受到触摸。
图7示出了触摸面板310的坐标系中触摸面板310和320上的点。尽管触摸面板310与触摸面板320之间实际上通常存在实体间隙,但是在包括两个触摸面板310和320的坐标系中,触摸面板310和320被看作在边界处毗连。在图7中,触摸面板320的左边缘的边界线被假定与触摸面板310的右边缘的边界线毗连,触摸面板320上的点B被转换到触摸面板310的坐标系。
点B的坐标(X2,Y2)被转换到触摸面板310的坐标系中的点B’(W1+X2,Y2)。
此时,坐标转换单元122搜索与下述矩形区域相交的UI组件:该区域由触摸面板310的坐标系中坐标为(X1,Y1)、(X1,Y2)、(W1+X2,Y1)和(W1+X2,Y2)的四个点所包围。在检测到与该矩形区域相交的UI组件时,坐标转换单元122向伪触摸事件生成单元123报告转换坐标信息,所述转换坐标信息把该UI组件的中心坐标当作被指定坐标。
这样,当执行同时触摸操作时,触摸事件处理单元130能够向与下述矩形区域相交的UI组件通知触摸事件信息:该区域以受到对各个触摸面板的触摸操作的两个点为对角顶点。
当与该矩形区域相交的UI组件不存在时,坐标转换单元122丢弃从触摸事件判定单元121接收的触摸事件信息,而不向伪触摸事件生成单元123通知转换坐标信息。
或者,当存在多个UI组件与该矩形区域相交时,坐标转换单元122丢弃从触摸事件判定单元121接收的触摸事件信息,而不向伪触摸事件生成单元123通知转换坐标信息。当移动信息终端以此方式工作时,可以防止下述错误操作:即用户无意中执行了指定多个UI组件的触摸操作。
或者,当存在多个UI组件与该矩形区域相交时,坐标转换单元122可以向伪触摸事件生成单元123通知转换坐标信息,该转换坐标信息把对于该矩形区域中存在的每个UI组件的每个UI组件的中心坐标当作被指定坐标。当移动信息终端以此方式工作时,用户能够同时指定多个UI组件作为一组。
根据上述这种示例性实施例,当执行同时触摸操作时,移动信息终端把与预定区域相交的UI组件识别成已被指定,该区域由受到触摸操作的两个点来确定。这样,即使用户为指定UI组件而进行的触摸中发生某个量的分歧,移动信息终端也能够指定所需的UI组件,从而能够改善操作的容易度。
另外,当用户执行拖放操作时,这种示例性实施例的移动信息终端可以不仅使UI组件移动,而且使由同时触摸操作所指定的整个区域移动。
[第四示例性实施例]
在第一至第三示例性实施例中,示出了这样的示例:当执行同时触摸操作时,移动信息终端指定UI组件;但是本发明不限于这种形式。例如,如果移动信息终端显示光标(例如箭头)以示出执行同时触摸操作时的操作对象,则可以改善操作的容易度。下面将描述一种示例,在该示例中,在执行同时触摸操作时,第四示例性实施例的移动信息终端显示光标。
图8的框图示出了第四示例性实施例的移动信息终端的配置。
如图8所示,第四示例性实施例的移动信息终端的基本配置与第一示例性实施例的移动信息终端的配置相同。但是,第四示例性实施例的移动信息终端的处理单元100包括图像处理单元150。
在由坐标转换单元122请求把光标显示或移动到被指定坐标时,图像处理单元150在当前正显示的图像的被指定坐标处绘制光标并向显示控制单元140提供此结果。
另外,在从触摸事件判定单元121接收了因同时触摸操作而造成的两条触摸事件信息时,第四示例性实施例的坐标转换单元122从这两条触摸事件信息计算对光标进行显示的被指定坐标。然后,坐标转换单元122请求图像处理单元150在所计算出的被指定坐标处显示该光标。此时,坐标转换单元122丢弃从触摸事件判定单元121接收的触摸事件信息,而不向伪触摸事件生成单元123通知转换坐标信息。
另外,当光标正被显示时,在从触摸事件判定单元121接收到因同时拖动操作而造成的两条触摸事件信息时,坐标转换单元122从这两条触摸事件信息计算用于移动光标的被指定坐标。然后,坐标转换单元122请求图像处理单元150把光标移动到所计算出的被指定坐标。此时,坐标转换单元122丢弃从触摸事件判定单元121接收的触摸事件信息,而不向伪触摸事件生成单元123通知转换坐标信息。
当光标正被显示时,在从触摸事件判定单元121接收到因同时释放操作而造成的两条触摸事件信息时,坐标转换单元122从这两条触摸事件信息计算被指定坐标。然后,坐标转换单元122生成转换坐标信息并向伪触摸事件生成单元123通知转换坐标信息,所述转换坐标信息表明在所计算出的被指定坐标处发生了触摸事件。
下面将描述当把受到同时触摸操作的两个点的中点作为被指定坐标时,移动信息终端的显示与用户的操作之间的关系。首先,用户同时触摸两个点,于是移动信息终端在受到触摸的这两个点的中点处显示光标。接着,用户在维持接触的同时滑动这两个点,于是移动信息终端使光标移动,以与这两个点的中点匹配。最后,当光标处在表明所需UI组件的位置时,用户同时解除与这两个点的接触,于是移动信息终端指定该UI组件。
如上所述,根据这种示例性实施例,当执行同时触摸操作时,移动信息终端显示光标。这样,用户能够在通过光标对由同时触摸操作所指定的点进行目视检查的同时执行操作。
另外,当在显示着光标的被指定坐标处存在UI组件时,这种示例性实施例的坐标转换单元122可以把该UI组件显示成使该UI组件能够与其他组件区分开来。这样,即使光标跨在屏幕边界上并因而难以看到,用户也能够容易地检查正被指定的UI组件。
[第五示例性实施例]
在第五示例性实施例中,为了减少屏幕边界处的观看难度,移动信息终端在初始触摸操作中把被显示成跨在屏幕边界上的图像的一部分拷贝并显示在两个显示屏幕中的任一者上,然后在下一触摸操作中指定所拷贝和显示的UI组件。
图9A是具有水平布置的两个显示屏幕的移动信息终端中图像的显示示例。在图9A所示的示例中,在两个显示屏幕的间隙处显示的图标被分割开并难以看到。如果图9A所示的两个黑点受到用户同时触摸,然后使这两个受到同时触摸的点向左滑动,则移动信息终端把跨在屏幕边界上的预定区域(图9A中由对角阴影线所示的部分)拷贝并显示在左侧的显示屏幕上。图9B是当图9A所示移动信息终端上拷贝和显示了该预定区域时图像的显示示例。如图9B所示,只有图9A中由对角阴影线所示的部分被拷贝并显示在左侧的显示屏幕上。
通过基于在这种拷贝并显示的状态下向左滑动了的两个受到触摸的点的进一步运动,使表明操作对象的光标移动,能够改善操作的容易度。
第五示例性实施例的移动信息终端的基本配置与第一示例性实施例的移动信息终端的配置相同。
但是,在从触摸事件判定单元121接收到因同时触摸操作而造成的两条触摸事件信息、然后接收到因同时拖动操作而造成的两条触摸事件信息时,第五示例性实施例的坐标转换单元122向图像处理单元150发出请求以进行拷贝和显示。坐标转换单元122还基于从触摸事件判定单元121接收的触摸事件信息来计算用于显示光标的被指定坐标。然后,坐标转换单元122请求图像处理单元150把光标显示在所计算出的被指定坐标处。此时,坐标转换单元122丢弃从触摸事件判定单元121接收的触摸事件信息,而不向伪触摸事件生成单元123报告转换坐标信息。
在由坐标转换单元122请求进行拷贝和显示时,图像处理单元150确定作为拷贝和显示的源的区域(下文中称为拷贝源区域)以及用于拷贝和显示的目标区域(下文中称为拷贝目标区域)。首先,图像处理单元150从显示控制单元140获得显示器210和显示器220上当前正在显示的图像。然后,图像处理单元150把所获得的图像中拷贝源区域的图像拷贝到拷贝目标区域,并向显示控制单元140提供该结果。
另外,在拷贝和显示的时候,当从坐标转换单元122请求图像处理单元150把光标显示在被指定坐标处时,图像处理单元150把光标绘制在正被拷贝和显示的图像的被指定坐标处,并向图像控制单元140提供该结果。当被指定坐标表明拷贝源区域时,图像处理单元150把光标绘制在与被指定坐标相对应的拷贝目标区域的坐标处。当被指定坐标表明拷贝源区域时,图像处理单元150也可以简单地在被指定坐标处绘制光标。是简单地把光标绘制在被指定坐标处,还是把光标绘制在与被指定坐标相对应的拷贝目标区域的坐标处,这种选项可以是移动信息终端中预先设定的。
或者,在拷贝和显示的时候,在从触摸事件判定单元121接收到因同时拖动操作而造成的两条触摸事件信息时,坐标转换单元122基于这两条触摸事件信息来计算使光标移动的被指定区域。然后,坐标转换单元122请求图像处理单元150把光标移动到所计算出的被指定坐标。此时,坐标转换单元122丢弃从触摸事件判定单元121接收的触摸事件信息,而不向伪触摸事件生成单元123通知转换坐标信息。
在拷贝和显示的时候,在由坐标转换单元122请求把光标移动到被指定坐标时,图像处理单元150把光标绘制在正被拷贝和显示的图像的被指定坐标处,并向显示控制单元140提供该结果。
或者,在在拷贝和显示的时候,在从触摸事件判定单元121接收到因同时释放操作而造成的两条触摸事件信息时,坐标转换单元122基于这两条触摸事件信息来计算被指定坐标。然后,坐标转换单元122生成转换坐标信息并向伪触摸事件生成单元123通知该信息,该信息表明在所计算出的被指定坐标处发生了触摸事件。
在从触摸事件判定单元121接收到触摸事件信息或者从伪触摸事件生成单元123接收到伪触摸事件信息时,第五示例性实施例的触摸事件处理单元130判定拷贝和显示当前是否生效。如果处在拷贝和显示的状态中,则触摸事件处理单元130把所接收到的触摸事件信息或伪触摸事件信息中包括的触摸面板上的坐标转换成拷贝源区域中的坐标。然后,触摸事件处理单元130向对触摸事件信息中指定的UI组件进行管理的应用通知已受到坐标转换的触摸事件信息。
在拷贝和显示的时候,当用户实施用于结束拷贝和显示的预定触摸操作时,坐标转换单元122请求图像处理单元150终止拷贝和显示。
在由坐标转换单元122请求终止拷贝和显示时,图像处理单元150向显示控制单元140提供在拷贝和显示之前正被显示的图像。
根据上述这种示例性实施例,移动信息终端把跨在屏幕边界上的预定部分的显示拷贝和显示到两个显示屏幕中的任一者上,使得用户能够在进行了拷贝和显示的显示屏幕上指定UI组件。这样,用户能够在通过光标对正被拷贝和显示的UI组件进行目视确认的同时操作移动信息终端。
[第六示例性实施例]
在第五示例性实施例中,描述了这样的示例:当在拷贝和显示的时候执行同时拖动操作时,通过使光标移动来便于对正被拷贝和显示的UI组件进行指定。但是,本发明不限于这种形式。例如,移动信息终端可以在拷贝和显示的同时,一个接一个地相继显示正被拷贝和显示的UI组件,并在执行同时释放操作时指定UI组件。在第六示例性实施例中,描述了这样的示例:当在拷贝和显示的时候同时触摸操作正在继续时,正被拷贝和显示的UI组件被一次一个地依次显示。
第六示例性实施例的移动信息终端的基本配置与第五示例性实施例的移动信息终端的配置相同。
但是,在拷贝和显示的时候同时触摸操作正在继续的时候,第六示例性实施例的坐标转换单元122请求图像处理单元150一次一个地相继显示正被拷贝和显示的UI组件。
在由坐标转换单元122请求一个接一个地相继显示正被拷贝和显示的UI组件时,图像处理单元150向显示控制单元140相继提供下述图像:这些图像一次一个地绘制拷贝目标区域中的UI组件。
在拷贝和显示的时候从触摸事件判定单元121接收到因同时释放操作而造成的两条触摸事件信息时,坐标转换单元122计算当时正被显示的UI组件的中心坐标。然后,坐标转换单元122生成转换坐标信息并向伪触摸事件生成单元123提供通知,所述转换坐标信息表明在所计算出的坐标处发生了触摸事件。接着,坐标转换单元122终止对正在被拷贝和显示的UI组件进行的一个接一个的相继显示,并请求图像处理单元150像正常情况一样作为一组进行显示。
根据上述这种示例性实施例,在把跨在屏幕边界上的预定部分的显示拷贝和显示在两个显示屏幕中的任一者上时,同时触摸操作在继续的时候,移动信息终端一个接一个地相继显示正被拷贝和显示的UI组件。此时,用户能够在执行同时释放操作的时候指定UI组件。这样,能够改善移动信息终端的操作容易度。
[第七示例性实施例]
在第一至第三示例性实施例中,描述了这样的示例:在相连的坐标系(使得触摸面板310和320在边界处毗连)中执行用于指定UI组件的操作;但是实际上,触摸面板310与触摸面板320之间通常存在实体间隙。结果,把两个点(触摸面板310上的点和触摸面板320上的点)相接的线有时候在下述两个情形之间彼此不匹配:该线在两个触摸面板毗连的坐标系中把两个点相接的情形、用户实际看到的两个点由实体线相接的情形。
在这种示例性实施例中,描述了这样的示例:考虑到触摸面板310与触摸面板320之间存在的实体间隙,被指定的UI组件处在把受到用户触摸的两个点实体相连的线上。在这种示例性实施例中,用于指定UI组件的操作是在下述坐标系中执行的:在该坐标系中,触摸面板310上的坐标和触摸面板320上的坐标被布置成实体地位于触摸面板310和触摸面板320上。
假定在触摸面板310和320中,触摸面板310的坐标(X1,Y1)处的点A和触摸面板320的坐标(X2,Y2)处的点B同时受到触摸。
首先描述这样的示例:这两个点A和B的中点的坐标被当作这种示例性实施例的坐标系上的被指定坐标。
图10示出的示意图用于描述这样的示例:这种示例性实施例的坐标系上的两个点A和B的中点的坐标被当作被指定坐标。在图10所示的示例中,假定触摸面板310的右边缘的边界线与触摸面板320的左边缘的边界线之间存在相当于这些触摸面板的L个像素的间距。假定触摸面板310的右边缘的边界线与这两个触摸面板之间的间隙的左边缘的边界线接触,并假定触摸面板320的左边缘的边界线与这两个触摸面板之间的间隙的右边缘的边界线接触。
点B的坐标(X2,Y2)被转换到下述坐标系中的点B’(W1+L+X2,Y2):在该坐标系中,触摸面板310上的坐标和触摸面板320上的坐标按照触摸面板310和触摸面板320的实体位置关系来布置。
此时,点A和点B’的中点C’(X3’,Y3’)的X3’由式(11)表示,中点C’(X3’,Y3’)的Y3’由式(12)表示。
X3’=(X1+L+W1+X2)/2 (11)
Y3’=(Y1+Y2)/2 (12)
这里,当式(13)成立时,中点C’处在触摸面板310上。
X3’<W1 (13)
另一方面,当式(14)成立时,中点C1’处在触摸面板320上。
W1+L≤X3’ (14)
另外,当式(15)成立时,中点C’处在触摸面板310与触摸面板320之间的间隙中。
W1≤X3’≤W1+L (15)
当式(13)成立时,中点C’处在触摸面板310上,假定触摸面板310上的被指定坐标是C(X3,Y3),则X3由式(16)表示,Y3由式(17)表示。
X3=(X1+L+W1+X2)/2 (16)
Y3=(Y1+Y2)/2 (17)
另一方面,当式(14)成立时,中点C’处在触摸面板320上,当触摸面板320上的被指定坐标是C(X3,Y3)时,X3由式(18)表示,Y3由式(19)表示。
X3=(X1+L+W1+X2)/2-(W1+L) (18)
Y3=(Y1+Y2)/2 (19)
当式(15)成立时,中点C’处在触摸面板310与触摸面板320之间的间隙中。在此情形中,与中点C’最接近的那个触摸面板上的点被当作被指定坐标。换言之,当式(20)成立时,触摸面板310上的点成为被指定坐标。如果假定触摸面板310上的被指定坐标是C(X3,Y3),则X3由式(21)表示,Y3由式(22)表示。
X3<W1+L/2 (20)
X3=W1-1 (21)
Y3=(Y1+Y2)/2 (22)
另一方面,当式(20)不成立时,触摸面板320上的点成为被指定坐标。如果假定触摸面板320上的被指定坐标是C(X3,Y3),则X3由式(23)表示,Y3由式(24)表示。
X3=0 (23)
Y3=(Y1+Y2)/2 (24)
下面将描述这样的示例:屏幕边界与这种示例性实施例的坐标系上的线AB的交点处的坐标被假定为被指定坐标。
图11示出的示意图用于说明这样的示例:屏幕边界与这种示例性实施例的坐标系中的线AB的交点处的坐标被当作被指定坐标。在图11所示的示例中,与图10所示的示例一样,假定触摸面板310的右边缘的边界线与触摸面板320的左边缘的边界线之间存在相当于L个像素间距。假定触摸面板310的右边缘的边界线与这两个触摸面板之间的间隙的左边缘的边界线接触,并假定触摸面板320的左边缘的边界线与这两个触摸面板之间的间隙的右边缘的边界线接触。
在触摸面板310上的坐标和触摸面板320上的坐标按照触摸面板310和触摸面板320的实体位置关系来布置的坐标系中,线AB与触摸面板320的左边缘的边界线的交点位置有时候大大不同于线AB与触摸面板310的右边缘的边界线的交点位置。在这种示例性实施例的坐标系中计算被指定坐标时,假定线AB与触摸面板320的左边缘的边界线的交点以及线AB与触摸面板310的右边缘的边界线的交点被同时指定。
点B的坐标(X2,Y2)被转换到下述坐标系中的点B’(W1+L+X2,Y2):在该坐标系中,触摸面板310上的坐标和触摸面板320上的坐标按照触摸面板310和触摸面板320的实体位置关系来布置。
首先计算线AB’与触摸面板320的左边缘的边界线的交点。
如果假定线AB’与线X=W1+L(该线表明触摸面板320的左边缘的边界线)的交点为C’(W1+L,Y3’),则基于下述两个直角三角形之间的相似比可以得出式(25):由点B’、点A和由坐标(X1,Y2)代表的点D这三个点所代表的直角三角形;由点B’、点C’和由坐标(W1+L,Y2)代表的点E’这三个点所代表的直角三角形。
Y1-Y2∶Y3’-Y2=W1+L+X2-X1∶X2 (25)
通过对式(25)求解,可以计算Y3’,并可以计算线AB’与触摸面板320的左边缘的边界线的交点。
下面计算线AB’与触摸面板310的右边缘的边界线的交点。
如果假定线AB’与线X=W1-1(该线表明触摸面板310的右边缘的边界线)的交点为C(W1-1,Y3),则基于下述两个直角三角形之间的相似比可以得出式(26):由点B’、点A和由坐标(X1,Y2)代表的点D这三个点所代表的直角三角形;由点B’、点C和由坐标(W1-1,Y2)代表的点E这三个点所代表的直角三角形。
Y1-Y2∶Y3-Y2=W1+L+X2-X1∶L+X2+1 (26)
通过对式(26)求解,可以计算Y3,并可以计算线AB’与触摸面板310的右边缘的边界线的交点。
如上所述,这种示例性实施例的移动信息终端在下述坐标系中执行用于指定UI组件的操作:在该坐标系中,触摸面板310上的坐标和触摸面板320上的坐标按照触摸面板310和触摸面板320的实体位置关系来布置。这样,通过指定跨在这两个触摸面板之间存在的实体间隙上的实体直线,用户能够指定该线上的UI组件,并因而能够更容易地实施UI组件的可视指定。
本发明的移动信息终端上执行的方法也可以应用于由计算机执行的程序。该程序也可以储存在储存介质上并可以通过网络而提供给外部。
尽管上文已经参考示例性实施例描述了本申请的发明,但是本发明不限于上述示例性实施例。本申请的发明的范围对于本领域普通技术人员是清楚的,在该范围内,本申请的发明的配置和细节对于各种变更形式是开放的。
本申请基于2009年10月28日提交的日本专利申请No.2009-248066而要求优先权,该申请的全部公开内容通过引用方式结合于此。