CN103577140B - 能够连接外部显示装置的显示终端装置及方法 - Google Patents

能够连接外部显示装置的显示终端装置及方法 Download PDF

Info

Publication number
CN103577140B
CN103577140B CN201310367280.5A CN201310367280A CN103577140B CN 103577140 B CN103577140 B CN 103577140B CN 201310367280 A CN201310367280 A CN 201310367280A CN 103577140 B CN103577140 B CN 103577140B
Authority
CN
China
Prior art keywords
display
mentioned
picture
content
touch operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310367280.5A
Other languages
English (en)
Other versions
CN103577140A (zh
Inventor
广谷孝幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN103577140A publication Critical patent/CN103577140A/zh
Application granted granted Critical
Publication of CN103577140B publication Critical patent/CN103577140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04801—Cursor retrieval aid, i.e. visual aspect modification, blinking, colour changes, enlargement or other visual cues, for helping user do find the cursor in graphical user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay

Abstract

本发明涉及能够连接外部显示装置的显示终端装置及方法，其目的是要解决即使将在显示终端装置侧进行的触摸操作的内容发送到外部显示装置来进行显示时，也能在不损害该终端侧的操作性的同时维持显示的易见性。在本发明中，显示终端装置(11)在设定成外部发送模式的状态下，当检测出触摸操作时，生成将表示该触摸操作的内容的操作信息(操作图标或动画图像)(14)与显示画面(终端画面)上显示的显示内容进行合成而得的合成画面内容，将该合成画面内容发送到外部显示装置(12)，改变该外部显示装置(12)侧的显示内容(屏幕13上的显示内容)。

Description

能够连接外部显示装置的显示终端装置及方法
技术领域
本发明涉及能够连接外部显示装置的显示终端装置及方法。
背景技术
一般地，在会议等进行演示的时候，会使用显示终端装置，该显示终端装置可在显示画面上配设触摸面板的便携终端装置等，例如当将连接到投影仪(外部显示装置)上的该终端画面的显示内容投影到屏幕上时，由于只能将终端画面的显示内容进行投影，因此触摸操作与显示内容之间的关系，也就是在该终端画面上如何进行触摸操作其显示内容就如何变化的关系，通过屏幕将该关系呈现给演示的参加者是很困难的。
因此，为了示范在终端画面上的触摸操作，也考虑通过照相机拍摄该触摸操作的情况，然后将该拍摄的图像投影到屏幕上，但是触摸操作时显示画面的一部分经常被手指或手掌遮住，难以完整地看到投影内容。
目前，为了与这种触摸操作的示范相适应，在将外部显示装置连接在显示终端装置的情况下，当在显示终端侧进行触摸操作时，表示其触摸位置的标记就会同时显示在该显示终端画面和外部显示装置的对应位置上，为此提出了上述技术(日本特开2007-310903号公报)。
然而，在上述专利文献的技术下，在外部显示装置上显示表示触摸位置的标记，所以对于其观众来说能够知晓触摸操作的状态，但是对于终端侧的操作者来说总是在不同的显示内容上进行操作变得困难，此外也可能难以看见触摸位置附近的显示内容。
本发明的问题是：即使将在显示终端装置侧进行的触摸操作的内容发送到外部显示装置来进行显示时，也能在不损害该终端侧的操作性的同时维持显示的易见性。
发明内容
为了解决上述问题，本发明的显示终端装置具有下述结构。
本发明的第一特征是一种能够连接外部显示装置的显示终端装置，其特征在于，
该显示终端装置具备：
检测单元，其检测显示画面上的触摸操作；
判断单元，其判断是否设定外部发送模式，该外部发送模式是将上述显示画面上正在显示的显示内容发送给上述外部显示装置的模式；
合成单元，在上述判断单元判断为设定成外部发送模式的状态下，当上述检测单元检测到触摸操作时，该合成单元生成将表示该触摸操作的内容的操作信息与上述显示画面正显示的显示内容进行合成而得的合成画面内容；以及
显示控制单元，其将上述合成单元生成的合成画面内容发送到上述外部显示装置，来改变该外部显示装置侧的显示内容。
本发明的第二特征是一种能够连接外部显示装置的显示终端装置，其特征在于，
该显示终端装置具备：
检测单元，其检测显示画面上的触摸操作；
判断单元，其判断是否连接了上述外部显示装置；
合成单元，在上述判断单元判断为连接了上述外部显示装置的状态下，当上述检测单元检测到触摸操作时，该合成单元生成将该触摸操作内容与上述显示画面正显示的显示内容进行合成而得的合成画面内容；以及
显示控制单元，其将上述合成单元生成的合成画面内容发送到上述外部显示装置，由此来改变该外部显示装置侧的显示内容。
通过本发明，即使将在显示终端装置侧进行的触摸操作的内容发送到外部显示装置来进行显示时，也能在不损害该终端侧的操作性的同时维持显示的易见性，可以满足操作性和易见性两方面，具有实用性。
附图说明
图1是表示便携终端装置(智能电话)的基本结构部件的方框图。
图2是表示将在便携终端装置11上显示的显示内容发送到外部显示装置(投影仪)12并在屏幕13上投影的状态的图。
图3是示意性表示执行用以指示改变便携终端装置11上显示的显示内容的触摸操作(手势操作)时的图。
图4是用于描述触摸操作表T1的图。
图5是表示在便携终端装置11的整体动作中，本实施方式的特征部分的动作概要(便携终端装置11与外部显示装置12之间的联动显示)的流程图。
图6是接在图5的动作后面的流程图。
图7是表示在第2实施方式中代替图5的动作的流程图。
具体实施方式
下面参照附图详细描述本发明的实施方式。
(实施方式1)
首先，参照图1-图6描述本发明的第1实施方式。
本实施方式适用于以便携终端装置(例如多功能便携手机：智能电话)作为显示终端装置的情况，因此图1是表示便携终端装置的基本结构部件的方框图。
便携终端装置(显示终端装置)具备：作为其基本功能的通话功能，以及触摸输入功能、电子邮件功能、连接互联网功能(Web访问功能)等，CPU1通过来自装备了充电电池的电源部2的电力供给来进行动作，按照存储部3内的各种程序控制该便携终端装置的整体动作。
存储部3包括3个区域，存储后述图5和图6的流程图中所示的程序等各种程序的程序区域，存储该便携终端装置中必要的各种数据的数据区域，以及临时存储用的工作区域，在该数据区域中存储着后述的触摸操作表T1。并且，存储部3可以由包含SD卡等的存储媒体来构成，也可以是包含预定服务器装置(省略图示)侧的存储区域。
无线通信部4在执行通话功能、电子邮件功能、连接互联网功能等的动作时，将声音或数据进行调制从天线部AT向外发送无线电波，同时将通过天线AT接收到的无线电波解调为声音或数据，由此进行通话或数据的通信。
操作部5具有按键式的电源键等的各种键。外部连接部6是连接外部机器用的连接部，例如具有HDMI(高清晰度多媒体接口)，可以与外部机器之间进行双方向通信。CPU1通过访问该外部连接部6来检验是否连接了外部机器，并基于外部机器的应答信号来判断连接的机器的类型。
触摸显示部7具有层叠配置在显示面板7a上的触摸面板7b，显示面板7a例如是具有不同纵横比(横4：纵3)的画面的高清晰液晶显示器或者有机EL(电致发光)显示器，显示作为软件按键(软按键)的功能名，以及显示各种图标等。
触摸显示部7的触摸面板7b具有触摸屏，其能够检测拍摄者的手指等(除了手指之外还包括笔等操作元件)的触摸操作的位置，并输入该位置的坐标数据，因此虽然采用了例如静电电容方式或者薄膜电阻方式，但可以采用其它的方式。
而且，触摸操作并不限于手指或笔等在触摸面板7b上接触或接触移动的接触操作，还指的是与该接触操作相似的操作，例如，由于手指或笔的接近或接近移动导致了静电电容的变化或明暗度的变化等，据此检测出手指或笔的位置的非接触操作。也就是，不限制于检测接触操作的接触型触摸面板，还可以是检测非接触操作的非接触型触摸面板或操作检测设备，但是在本实施方式中，以接触操作的情况为示例。
CPU1在检测出对触摸显示部7的触摸操作时，判断是否执行指示了触摸显示部7的显示画面(终端画面)内的位置的触摸操作，是否执行指示了改变显示画面(终端画面)上显示的显示内容的触摸操作，是否执行指示了输入命令或者数据的触摸操作，以作为该触摸操作的内容(类型)。
在这里，指示了触摸显示部7的显示画面(终端画面)内的位置的触摸操作指的是，例如，在软按键显示的位置上的单点触摸操作(包含光标移动操作)、多根手指在多个显示位置上同时触摸的多点触摸操作等。
此外，指示了改变显示画面上显示的显示内容的触摸操作指的是，例如，指示显示滚动的手势操作(轻拂操作(flick operation))、指示显示内容的放大的手势操作(扩大操作(pinch-out operation))、指示显示内容的缩小的手势操作(收缩操作(pinch-inoperation))等。
另外，指示了命令或者数据的输入的触摸操作指的是，指示了与手势相应的输入命令(应用程序的切换等)或者数据(数字、文字等的数据)的手势操作。
图2表示将在便携终端装置11上显示的显示内容发送到外部显示装置(投影仪)12并在屏幕(例如白板)13上投影的状态的图。
便携终端装置11可以通过安装在该外部连接部6上的线缆14与外部显示装置(外部机器，例如是投影仪)12相连，因此该便携终端装置11与外部显示装置12之间就可以实现显示的联动。并且，便携终端装置11与外部显示装置12之间不限于通过线缆14进行有线连接的情形，也可以通过无线LAN(局域网)、红外通信等进行无线连接。
这里，进行演示的人员一边将便携终端装置11的显示画面(终端画面)上正在显示的显示内容投影到外部显示装置(投影仪)12上，一边描述便携终端装置11的操作顺序或操作方法等，而且，此时，与触摸操作有关信息也发送到外部显示装置(投影仪)12上并在屏幕13上投影显示。
即，便携终端装置11在将可以这样实行的各种处理内容在会议等演示现场进行发布时，演示人员执行何种触摸操作，就会在进行演示的同时将得到的何种处理结果的状态投影显示在屏幕上。
这里，便携终端装置11判断是否设定了外部发送模式(动作模式：示范模式)，该外部发送模式将该显示画面(终端画面)上正在显示的显示内容发送到外部显示装置12。
该外部发送模式可以根据用户的操作进行任意的切换和设定，因此当便携终端装置11被设定成该外部发送模式的状态下时，如果检测到对触摸显示部7的触摸操作，就生成将表示触摸操作的内容的操作信息(操作图标或者动画图像)14与显示画面(终端画面)上显示的显示内容进行合成而得的合成画面内容，将该合成画面内容发送到外部显示装置12上，以此改变外部显示装置12侧的显示内容(屏幕13上的显示内容)。
图中示例表示在触摸显示部7上显示了将多个处理图标一览显示出来的菜单画面的状态下，用食指在该菜单画面上在需要进行处理的处理图标的显示位置上进行单点触摸操作的情况。
这样，当执行了指示菜单画面内的位置的触摸操作(例如单点操作)时，便携终端装置11就生成将操作图标作为表示该触摸操作内容以及触摸位置的操作信息14与菜单画面的显示内容进行合成而得的合成画面内容，并将该合成画面内容发送到外部显示装置12。
由此，屏幕13上的显示内容就如图所示的那样，指示菜单画面内的触摸位置的操作信息14，就显示成以食指触摸的状态进行图案化之后的图标。
在这种情况下，在便携终端装置11的显示画面(终端画面)侧，所触摸的处理图标由于操作手指的遮挡而难以看见，但是在屏幕13上，为了布置显示操作信息(操作标记)14，在所触摸的处理图标附近，在位置上将操作图标偏离处理图标。
并且，指示显示画面内的位置的触摸操作不限制于上述的单点触摸操作，还可以是操作软按键(soft key)的按键操作、光标移动操作、多个手指的多点触摸操作等等。在这里，在触摸位置附近布置显示表示该触摸操作的内容的操作图标，该操作图标是对触摸操作的按键的类型进行图案化的图标，或是对光标的移动方向进行图案化的图标，或是对多个手指触摸的状态进行图案化的图标。
图3是示意性表示在便携终端装置11侧上，执行用以指示改变终端画面上显示的显示内容的触摸操作(手势显示操作)的图。
图中示例表示为了将显示内容放大拇指和食指互相向外侧缓慢扩大的扩大操作(手势显示操作)的情况。这样，当执行了指示改变终端画面上显示的显示内容的手势显示操作(例如扩大操作)时，就生成将表示该触摸操作的内容的操作信息(动画图像)14与终端内容进行合成而得的合成画面内容，并将该合成画面内容发送到外部显示装置12。
由此，屏幕13上的显示内容就如图所示的那样，显示拇指和食指互相向外侧缓慢扩大的动画图像。而且，指示改变终端画面上显示的显示内容的触摸操作(手势显示操作)不限于扩大操作，也可以是拇指和食指互相向内侧缓慢缩小的收缩操作、指示显示内容的滚动的滚动操作等。在这里，虽然布置显示了指示触摸操作的内容的动画图像，但是动画图像也可以用来表现触摸操作(手势显示操作)。
图4是用于描述触摸操作表T1的图。
触摸操作表T1是存储了与“触摸操作内容”相应的、表示该触摸操作的内容的“操作信息”的表，可以根据预定的用户操作进行任意的设定。
在该“触摸操作内容”的项目中，具有“指示画面内的位置的触摸操作(位置指示操作)”、“指示改变画面上显示的显示内容的触摸操作(手势显示操作)”、“指示输入命令或者数据的触摸操作(手势输入操作)”，特别地，在“位置指示操作”中，存储着“键触摸操作”、“光标移动操作”、“多点触摸操作”等。接着，与该“键触摸操作”、“光标移动操作”、“多点触摸操作”相对应的“操作信息”中，存储着“A图标”“B图标”、“C图标”等。
另外，在“手势显示操作”的项目中，存储着“轻拂操作”、“收缩操作”、“扩大操作”等，与它们相对应的“操作信息”中存储着“A动画图像”、“B动画图像”、“C动画图像”等。此外，在“手势输入操作”的项目中，存储着“命令W的输入操作”、“命令E的输入操作”、“数值1的输入操作”等，与它们相对应的“操作信息”中存储着“X动画图像”、“Y动画图像”、“Z动画图像”等。而且，“命令W的输入操作”是输入启动文章制作应用程序的命令W的触摸操作。“命令E的输入操作”是输入启动表计算应用程序的命令E的触摸操作。
接下来，参照图5和图6所示的流程图来描述第1实施方式中的便携终端装置11的动作概念。这些流程图中记述的各种功能是以可读的程序代码的形式进行记录，并根据该程序代码顺序执行动作。
另外，也可以根据通过网络等传送媒介传送来的上述程序代码来顺序执行动作。这些同样适用于后述的其它实施方式，除了存储媒介之外，还可以使用通过传送媒介由外部所提供的程序/数据，来执行本实施方式所特有的动作。
图5和图6是表示在便携终端装置11的全部动作中的本实施方式的特征部分的动作概要(便携终端装置11与外部显示装置12之间的显示联动)的流程图，从接通电源开始执行。首先，CPU1在触摸显示部(终端画面)7上显示初始画面(例如初始菜单画面)，同时执行清空预定的存储器等的初始化处理(图5的步骤S1)，随后判断是否设定成将触摸显示部(终端画面)7正在显示的显示内容发送到外部显示装置12的外部发送模式(动作模式：示范模式)中(步骤S2)。
这里，如果未设定成外部发送模式(步骤S2为否)，那么移至执行其它处理，例如执行切换到外部发送模式的设定处理、执行发派电话处理、执行发送电子邮件的处理、制作编辑演示资料等，执行外部发送模式之外的处理(步骤S3)。
现在，在使用外部显示装置(投影仪)12来描述便携终端装置11的操作顺序或操作方法等的情况下，操作模式切换键(省略图示)切换设定到外部发送模式。在如此设定了外部发送模式时(步骤S2为是)，访问外部连接部6以调查是否连接了外部显示装置(投影仪)12(步骤S4)。
这里，即使设定成外部发送模式但并未连接外部显示装置12时(步骤S4为否)，在显示了用以催促连接外部显示装置12的消息(步骤S5)之后，返回到上述步骤S2。
现在，当设定成外部发送模式(步骤S2为是)且连接了外部显示装置12的时候(步骤S4为是)，读取触摸显示部7上正在显示的显示内容(步骤S6)，并将该画面内容从外部连接部6发送到外部显示装置12(步骤S7)。
在这种情况下，如果在触摸显示部7上显示的是初始菜单画面，由于将该初始菜单画面发送到外部显示装置12上，因此就在屏幕13上投影显示出该菜单画面。在该状态下，调查是否对触摸显示部7进行了触摸操作(步骤S8)，调查后述的5秒计时器(省略图示)是否超时(步骤S9)，调查是否解除了外部发送模式(步骤S10)，并且调查是否连接了外部显示装置12(步骤S11)。
上述5秒计时器用来计量从向外部显示装置12发送将表示该触摸操作内容的操作信息(操作图标或者动画图像)与终端画面上显示的显示内容进行合成而得的画面内容起的经过时间，从进行该发送起经过5秒钟时变为超时状态。
现在，在超时前(步骤S9为否)，当解除外部发送模式时(步骤S10为是)或者解除外部显示装置12的连接时(步骤S11为否)，返回上述的步骤S2。此外，在超时前(步骤S9为否)，未解除外部发送模式时(步骤S10为否)并且连接了外部显示装置12时(步骤S11为是)，返回上述步骤S2，等待触摸操作并等待超时。
现在，当检测出触摸操作时(步骤S8为是)，移至图6的流程，检测该触摸位置的坐标(步骤S12)，同时判断触摸操作的内容(步骤S13)。也就是，触摸操作的内容就是判断是执行了指示触摸显示部7的显示画面内的位置的触摸操作，执行了指示改变显示画面上显示的显示内容的触摸操作，还是执行了指示输入命令或数据的触摸操作。基于如此判断出的触摸操作的内容，参照触摸操作表T1，对应地读取“操作信息”(步骤S14)。
接下来，将获得的操作信息(操作图标／动画图像)与显示画面上正显示的显示内容进行合成(步骤S15)。这时，在显示画面的触摸位置或者其附近合成操作信息(操作图标／动画图像)，但是如果触摸位置是在处理图标上的话，就在该处理图标的附近合成操作信息。
接着，将这样产生的合成画面内容发送到外部显示装置12上，由此改变外部显示装置12侧的显示内容(屏幕13上的显示内容)(步骤S16)。然后，在符合该合成画面内容的发送定时时，开始上述5秒计时器的计量动作(步骤S17)，执行与触摸操作相应的处理(步骤S18)。
例如，当对处理图标进行触摸操作时，启动该应用程序，将该应用程序的画面显示在触摸显示部7上，在该应用程序画面上，例如执行缩小操作、扩大操作等的手势操作时，缩小或扩大该操作所指定的显示部分(例如表或图)，此外，在执行轻拂操作等的手势操作时，使显示内容向着该操作方向滚动显示等，执行与触摸操作相应的处理。随后，将触摸显示部7的显示画面切换显示为与该处理结果相应的画面(步骤S19)。
下面返回图5的步骤S8，每次执行触摸操作(步骤S8为是)，就重复上述动作(图6的步骤S12～步骤S19)。这里，当检测出超时时(步骤S9为是)，返回上述步骤S6，现在，将终端画面上显示的显示内容发送到外部显示装置12，由此改变外部显示装置12侧的显示内容(屏幕13上的显示内容)(步骤S7)。
据此外部显示装置12侧的显示内容(屏幕13上的显示内容)替换掉上述的合成画面内容，切换到当前终端画面的内容，也就是，与上次触摸操作相应的处理结果的画面内容(图6的步骤S18、S19)。另外，当在超时前执行了触摸操作时(步骤S8为是)，切换到合成显示了表示该触摸操作内容的操作信息的画面(图6的步骤S12～S16)。
如上所述，当第1实施方式的便携终端装置11设定成外部发送模式的状态时，在检测出触摸操作的情况下，生成将表示该触摸操作的内容的操作信息(操作图标或动画图像)14与显示画面(终端画面)上显示的显示内容进行合成而得的合成画面内容，将该合成画面内容发送到外部显示装置12，改变该外部显示装置12侧的显示内容(屏幕13上的显示内容)，从而，不必对表示在便携终端装置11的显示画面上触摸操作的内容的操作信息进行显示，不会使触摸位置附近的显示内容难以看见，能够在不损害该终端侧的操作性的同时保持显示内容的易见性，可以满足操作性和易见性两方面的要求，具有实用性。
便携终端装置11以设定成外部发送模式以及连接外部显示装置12为前提条件，将终端画面上正显示的显示内容发送到外部显示装置12，从而除了能够防止向外部显示装置12侧发出未作准备的显示之外，也不需要在便携终端装置11侧执行指示开始发送的操作。
当用于对将合成了操作信息的合成画面内容发送到外部显示装置12起的经过时间进行计量的5秒计时器为超时时，便携终端装置11将终端画面正在显示的显示内容发送到外部显示装置12上，从而如果没有执行下一个触摸操作的话，就可以持续投影显示屏幕13上的操作信息5秒钟的时间，对于演示的参加者来说，可以容易地对操作内容进行目视确认，容易地理解执行了何种操作。
便携终端装置11在指示终端画面内的位置的触摸操作、指示改变终端画面上正显示的显示内容的触摸操作、以及指示输入命令或数据的触摸操作中，检测至少一个触摸操作，这样就可以与多个触摸操作相对应，或者可以与缩小到特定类型的触摸操作相对应。
在执行指示终端画面内的位置的触摸操作作为触摸操作内容时，便携终端装置11将表示该位置的图标与终端画面正显示的显示内容进行合成，在执行指示改变终端画面显示的显示内容的触摸操作作为触摸操作内容时，便携终端装置11将表示该改变的类型的动画图像与终端画面正显示的显示内容进行合成，在执行指示输入命令或数据的触摸操作作为触摸操作内容时，便携终端装置11将表示这种输入的类型的动画图像与终端画面正显示的显示内容进行合成，因此对于演示的参加者来说，能够容易地对操作内容进行直观地理解，能够容易地理解执行了何种操作。
进一步地，在上述第1实施方式中，可以根据用户操作任意地切换设定外部发送模式(示范模式(demonstration mode))，但并不局限于根据用户操作，例如也可以根据连接到外部显示装置12而自动设定该外部发送模式。
(第2实施方式)
下面参照图7描述本发明的第2实施方式。
进一步地，在上述第1实施方式中，以发送合成了操作信息14的合成画面内容、并且在设定于外部发送模式的状态下执行触摸操作为条件，但是在该第2实施方式中，是以在外部显示装置12连接到便携终端装置11上的状态下执行触摸操作为条件。
这里，在两个实施方式中，基本的或名称相同的部分用相同的符号来表示，并省略对它们的描述，下面将以第2实施方式的特征部分为中心进行描述。
图7是表示在第2实施方式中代替图5的动作的流程图，之后的动作与图6的流程相同。
首先，CPU1在触摸显示部(终端画面)7上显示初始画面(例如初始菜单画面)，同时执行清空预定的存储器等的初始化处理(步骤S20)，随后访问外部连接部6以便调查是否连接了外部显示装置(投影仪)12(步骤S21)，如果没有连接外部显示装置12(步骤S21为否)，就移至其它处理的执行，例如执行发派电话处理、执行发送电子邮件的处理等(步骤S22)。
如果连接了外部显示装置12(步骤S21为是)，就根据与该外部显示装置12之间的交互判断连接装置是否为投影仪(步骤S23)，如果连接装置不是投影仪(步骤S23为否)，就执行针对该连接装置所对应的外部显示装置12的显示处理(步骤S24)，如果连接装置是投影仪(步骤S23为是)就读取触摸显示部7上正在显示的显示内容(步骤S25)，将该画面内容从外部连接部6发送到外部显示装置12(步骤S26)。
在这种状态下，调查是否对触摸显示部7进行了触摸操作(步骤S27)，调查上述的5秒计时器(省略图示)是否超时(步骤S28)，并且调查是否连接了外部显示装置(投影仪)12(步骤S29)。
现在，在超时前(步骤S28为否)，当解除了与外部显示装置(投影仪)12的连接时(步骤S29为否)，返回上述的步骤S21，而在超时前(步骤S28为否)，如果连接了外部显示装置(投影仪)12(步骤S29为是)，返回上述步骤S27，等待触摸操作并等待超时。
现在，当检测出触摸操作时(步骤S27为是)，移至图6的流程，移至下面与第1实施方式相同的处理(步骤S11～19)。也就是，检测触摸位置坐标(步骤S12)，判断触摸操作内容(步骤S13)，基于触摸操作的内容，从触摸操作表T1中对应地获取“操作信息”(步骤S14)。
接下来，将该操作信息与显示画面上正显示的显示内容进行合成(步骤S15)，将该合成后的合成画面内容发送到外部显示装置12(步骤S16)上。然后，在开始上述5秒计时器的计量动作(步骤S17)之后，执行与触摸操作相应的处理(步骤S18)，切换到显示与该处理结果相应的画面(步骤S19)。下面返回图7的步骤S27，每次执行触摸操作(步骤S27为是)，就重复上述动作(图6的步骤S12～步骤S19)。
如上，第2实施方式的便携终端装置11在连接了外部显示装置12的状态下，当检测出触摸操作时，生成将表示该触摸操作的内容的操作信息(操作图标或动画图像)与显示画面(终端画面)上正显示的显示内容进行合成而得的合成画面内容，将该合成画面内容发送到外部显示装置12上，由此改变外部显示装置12侧的显示内容(屏幕13上的显示内容)，具有与第1实施方式相同的效果。
即，不必对表示在便携终端装置11的显示画面(终端画面)上触摸操作的内容的操作信息进行显示，不会使触摸位置附近的显示内容难以看见，能够在不损害该终端侧的操作性的同时保持显示内容的易见性，可以满足操作性和易见性两方面的要求。
便携终端装置11以连接了外部显示装置12并且该连接装置为预定的装置(投影仪)为前提条件，将终端画面上正显示的显示内容发送到外部显示装置12，从而除了能够防止向外部显示装置12侧发出未作准备的显示之外，也不需要在便携终端装置11侧执行指示开始发送的操作。
另外，在第2实施方式中，还具有与上述第1实施方式相同的效果。也就是，当5秒计时器超时的时候，将终端画面上正在显示的显示内容发送到外部显示装置12，从而如果没有执行下一个触摸操作的话，就可以持续投影显示屏幕13上的操作信息5秒钟的时间。
另外，在指示终端画面内的位置的触摸操作、指示改变终端画面上正显示的显示内容的触摸操作、以及指示输入命令或数据的触摸操作中，检测至少一个触摸操作，这样就可以与多个触摸操作相对应，或者可以与缩小到特定类型的触摸操作相对应。进一步地，图标或动画图像作为操作信息，与终端画面上正显示的显示内容进行合成，从而容易地对操作内容进行直观地理解，可以容易地理解执行了何种操作。
而且，在上述的各实施方式中，虽然示出图标、动画图像用以作为表示触摸操作内容的操作信息，但是操作信息也可以是例如文字信息、静止图像、动态图像等，或者也可以是它们的组合，进一步地，也可以根据用户操作显示任意选择指定的操作信息。
此外，在上述的各实施方式中，虽然示例了采用便携电话来作为显示终端装置11的情况，但并不限制于此，显示终端装置11也可以是个人计算机、手写板终端等的PDA(个人数字助理)、数码相机等。
另外，虽然以投影仪来作为外部显示装置12的示例，但是并不限制于此，外部显示装置12也可以是个人计算机、手写板终端、电视接收机、便携终端装置等显示装置。例如，在以电子手表作为显示终端装置11、以手写板终端作为外部显示装置12的情况下，相比于电子手表的画面，手写板终端画面更大，因此用户就可以在较大的画面(手写板终端画面)上一边确认手表上的操作状态，一边观察处理结果，就可以满足操作性和易见性两方面的要求。
此外，在上述各实施方式中示出的“装置”或“部”可以是根据功能而分离的多个框体，不限制于单一框体。另外，上述流程图中描述的各步骤不限于按时间顺序进行处理，也可以并行处理多个步骤，或分别独立地进行处理。
上面对本发明的实施方式进行了描述，但本发明并不限制于此，还包含在权利要求书中所记载的技术方案和与其等同的范围。

Claims (5)

1.一种能够对显示画面上的任意位置进行触摸操作的显示终端装置，其特征在于，
该显示终端装置具备：
控制单元，其控制成将所述显示画面用的第一画面信息显示在该显示画面上，并且生成与该第一画面信息相同的第二画面信息，并将该生成的第二画面信息发送给外部显示装置；
判断单元，其在检测出显示了显示信息的显示画面上的任意的触摸操作的基于手指的手势操作的情况下，检测上述显示画面上的上述触摸操作的位置，并且判断该手势操作的操作内容的操作类别是否是预先准备的至少包括扩大操作种类和轻拂操作种类的多个手势操作类别中的某一种操作类别；以及
合成单元，在上述判断出的该手势操作类别是扩大操作种类的情况下，选择利用手势图像来表示手指的扩大操作的扩大操作图像，在上述判断出的该手势操作类别是轻拂操作种类的情况下，选择利用手势图像来表示手指的轻拂操作的轻拂操作图像，并在上述第二画面信息的上述触摸操作的检测位置附近对该选择出的操作图像进行合成，
其中，在检测出上述手势操作时，上述控制单元不变更该显示画面上显示的所述第一画面信息的显示内容，将通过所述合成单元对所述操作图像进行合成而得的所述第二画面信息发送给所述外部显示装置。
2.根据权利要求1所述的显示终端装置，其特征在于，
该显示终端装置进一步具备：发送单元，当上述判断单元判断为设定成外部发送模式时，以连接了外部显示装置为前提条件，该发送单元将上述显示画面中正显示的显示内容发送到上述外部显示装置。
3.根据权利要求1所述的显示终端装置，其特征在于，
该显示终端装置进一步具备：时间计量单元，其计量从将上述合成单元所生成的合成画面内容发送到上述外部显示装置起的经过时间，
在上述时间计量单元检测到经过了预定时间时，上述控制单元将上述显示画面上正在显示的显示内容发送到上述外部显示装置。
4.根据权利要求1所述的显示终端装置，其特征在于，
在执行指示上述显示画面内的位置的触摸操作作为触摸操作内容时，上述合成单元将表示该位置的图标与上述显示画面正显示的显示内容进行合成，在执行指示改变上述显示画面正显示的显示内容的触摸操作作为触摸操作内容时，上述合成单元将表示该改变的类型的动画图像与上述显示画面上正显示的显示内容进行合成，在执行指示输入命令或数据的触摸操作作为触摸操作内容时，上述合成单元将表示该输入的类型的动画图像与上述显示画面正显示的显示内容进行合成。
5.一种能够对显示画面上的任意位置进行触摸操作的显示终端装置中的方法，其特征在于，
该方法具备以下步骤：
控制步骤，将所述显示画面用的第一画面信息显示在该显示画面上，并且生成与该第一画面信息相同的第二画面信息，并将该生成的第二画面信息发送给外部显示装置；
判断步骤，在检测出显示了显示信息的显示画面上的任意的触摸操作的基于手指的手势操作的情况下，检测上述显示画面上的上述触摸操作的位置，并且判断该手势操作的操作内容的操作类别是否是预先准备的至少包括扩大操作种类和轻拂操作种类的多个手势操作类别中的某一种操作类别；以及
合成步骤，在上述判断出的该手势操作类别是扩大操作种类的情况下，选择利用手势图像来表示手指的扩大操作的扩大操作图像，在上述判断出的该手势操作类别是轻拂操作种类的情况下，选择利用手势图像来表示手指的轻拂操作的轻拂操作图像，并在上述第二画面信息的上述触摸操作的检测位置附近对该选择出的操作图像进行合成，
其中，在检测出上述手势操作时，在上述控制步骤中不变更该显示画面上显示的所述第一画面信息的显示内容，将通过所述合成步骤对所述操作图像进行合成而得的所述第二画面信息发送给所述外部显示装置。
CN201310367280.5A 2012-07-30 2013-07-29 能够连接外部显示装置的显示终端装置及方法 Active CN103577140B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012168700A JP5906984B2 (ja) 2012-07-30 2012-07-30 表示端末装置及びプログラム
JP2012-168700 2012-07-30

Publications (2)

Publication Number Publication Date
CN103577140A CN103577140A (zh) 2014-02-12
CN103577140B true CN103577140B (zh) 2017-10-13

Family

ID=49994452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310367280.5A Active CN103577140B (zh) 2012-07-30 2013-07-29 能够连接外部显示装置的显示终端装置及方法

Country Status (4)

Country Link
US (1) US9582903B2 (zh)
JP (1) JP5906984B2 (zh)
KR (1) KR101493603B1 (zh)
CN (1) CN103577140B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140107829A (ko) * 2013-02-28 2014-09-05 삼성전자주식회사 디스플레이장치, 입력장치 및 그 제어방법
EP3048516A4 (en) * 2013-09-20 2017-05-03 NEC Solution Innovators, Ltd. Electronic device, method for controlling electronic device, and storage medium
CN103927495B (zh) * 2014-04-16 2016-05-25 努比亚技术有限公司 隐藏对象的方法和装置
JP6193180B2 (ja) * 2014-06-05 2017-09-06 株式会社 日立産業制御ソリューションズ プレゼンテーション用端末及びプレゼンテーション方法
US10782787B2 (en) * 2014-06-06 2020-09-22 Adobe Inc. Mirroring touch gestures
CN105278843B (zh) * 2014-06-24 2020-11-06 鸿合科技股份有限公司 一种基于远程控制的手势快捷操作方法及系统
JP6040970B2 (ja) * 2014-08-22 2016-12-07 コニカミノルタ株式会社 文字入力システム、文字入力方法、情報処理装置、携帯端末装置及び文字入力プログラム
KR102306439B1 (ko) * 2014-09-23 2021-09-28 엘지전자 주식회사 영상표시장치
JP6516437B2 (ja) * 2014-10-27 2019-05-22 横河電機株式会社 波形表示装置
CN105630364B (zh) * 2014-10-29 2019-11-26 联想(北京)有限公司 一种信息处理方法及电子设备
CN104765534A (zh) * 2015-04-27 2015-07-08 小米科技有限责任公司 媒体文件的投射方法和装置
JP2016218175A (ja) * 2015-05-18 2016-12-22 株式会社サカワ 電子黒板システム
CN105094602A (zh) * 2015-06-30 2015-11-25 努比亚技术有限公司 移动终端实现按键模式的方法和装置
CN106681632A (zh) * 2016-12-09 2017-05-17 北京小米移动软件有限公司 投射控制方法、装置、系统、终端设备及显示设备
CN109076125B (zh) 2017-06-16 2020-09-18 华为技术有限公司 一种显示方法及设备
JP6621513B2 (ja) * 2018-10-26 2019-12-18 横河電機株式会社 波形表示装置
CN113992951A (zh) * 2021-10-25 2022-01-28 河南中光学集团有限公司 投屏方法、投影仪及终端设备

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09297656A (ja) * 1996-05-08 1997-11-18 Casio Comput Co Ltd 電子機器
JPH10191142A (ja) * 1996-12-20 1998-07-21 Nikon Corp 画像処理装置
JPH11191027A (ja) * 1997-09-30 1999-07-13 Hewlett Packard Co <Hp> コンピュータ・プレゼンテーション・システム
JP4044255B2 (ja) * 1999-10-14 2008-02-06 富士通株式会社 情報処理装置、及び画面表示方法
JP2007158919A (ja) * 2005-12-07 2007-06-21 Fujifilm Corp 画像表示装置及び画像表示方法
CN100555196C (zh) 2006-12-30 2009-10-28 集嘉通讯股份有限公司 应用于手掌式装置的双功能操作触摸屏组件及其方法
JP4869172B2 (ja) 2007-07-17 2012-02-08 富士通株式会社 情報処理装置、及びコンピュータ読み取り可能な記録媒体
TWI413920B (zh) * 2008-01-28 2013-11-01 Primax Electronics Ltd 電腦游標控制系統
KR101542380B1 (ko) * 2008-10-24 2015-08-07 엘지전자 주식회사 이동단말기 및 그 제어 방법
US8957865B2 (en) * 2009-01-05 2015-02-17 Apple Inc. Device, method, and graphical user interface for manipulating a user interface object
JP2011039216A (ja) 2009-08-10 2011-02-24 Seiko Epson Corp 画像表示装置、プロジェクター、および画像表示装置の制御方法
KR20110044424A (ko) 2009-10-23 2011-04-29 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP5531612B2 (ja) * 2009-12-25 2014-06-25 ソニー株式会社 情報処理装置、情報処理方法、プログラム、制御対象機器および情報処理システム
US8913009B2 (en) * 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
WO2011115260A1 (ja) * 2010-03-18 2011-09-22 日本電信電話株式会社 情報入力装置、情報入力方法、及び情報入力プログラム
JP5573368B2 (ja) * 2010-05-31 2014-08-20 カシオ計算機株式会社 投影システム、投影装置及びプログラム
JP6021296B2 (ja) * 2010-12-16 2016-11-09 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法
JP5576781B2 (ja) * 2010-12-16 2014-08-20 株式会社メガチップス 画像処理システム、画像処理システムの動作方法、ホスト装置、プログラム、およびプログラムの作成方法
US20120327126A1 (en) * 2011-06-27 2012-12-27 Nokia Corporation Method and apparatus for causing predefined amounts of zooming in response to a gesture
US9462210B2 (en) * 2011-11-04 2016-10-04 Remote TelePointer, LLC Method and system for user interface for interactive devices using a mobile device
JP5226142B1 (ja) * 2012-02-29 2013-07-03 株式会社東芝 表示制御装置、表示制御方法、電子機器、および電子機器の制御方法

Also Published As

Publication number Publication date
JP5906984B2 (ja) 2016-04-20
JP2014026602A (ja) 2014-02-06
CN103577140A (zh) 2014-02-12
US9582903B2 (en) 2017-02-28
KR20140016194A (ko) 2014-02-07
US20140028719A1 (en) 2014-01-30
KR101493603B1 (ko) 2015-02-13

Similar Documents

Publication Publication Date Title
CN103577140B (zh) 能够连接外部显示装置的显示终端装置及方法
JP5977627B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN105306709B (zh) 移动终端的控制方法、装置及移动终端
JP5721662B2 (ja) 入力受付方法、入力受付プログラム、及び入力装置
CN102221957B (zh) 电子设备的操作控制的方法及电子设备
JP6049990B2 (ja) 携帯電子機器、画面制御方法および画面制御プログラム
JP5920869B2 (ja) 入力制御装置、入力制御方法、及び入力制御プログラム
JP5333397B2 (ja) 情報処理端末およびその制御方法
US20150234566A1 (en) Electronic device, storage medium and method for operating electronic device
CN109683763A (zh) 一种图标移动方法及移动终端
WO2014050147A1 (ja) 表示制御装置、表示制御方法及びプログラム
CN104520798A (zh) 便携电子设备及其控制方法和程序
JP5397707B2 (ja) タッチ表示装置及びプログラム
JP2009260907A (ja) 携帯端末装置、端末操作方法、プログラム、及び記録媒体
CN103257812A (zh) 一种调整显示输出的方法及电子设备
KR20140089224A (ko) 터치 입력에 기초하여 동작을 실행하는 디바이스 및 동작 실행 방법
CN109669747A (zh) 一种移动图标的方法及移动终端
CN107643912A (zh) 一种信息分享方法及移动终端
JP2012155675A (ja) タッチパネル装置
JP2013171505A (ja) 携帯端末装置、プログラムおよび画面制御方法
CN109683802A (zh) 一种图标移动方法及终端
US11354031B2 (en) Electronic apparatus, computer-readable non-transitory recording medium, and display control method for controlling a scroll speed of a display screen
JP2014016743A (ja) 情報処理装置、情報処理装置の制御方法、および情報処理装置の制御プログラム
JP2012174247A (ja) 携帯電子機器、接触操作制御方法および接触操作制御プログラム
JP2014182429A (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant