JP2014048982A - 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム - Google Patents

入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム Download PDF

Info

Publication number
JP2014048982A
JP2014048982A JP2012192639A JP2012192639A JP2014048982A JP 2014048982 A JP2014048982 A JP 2014048982A JP 2012192639 A JP2012192639 A JP 2012192639A JP 2012192639 A JP2012192639 A JP 2012192639A JP 2014048982 A JP2014048982 A JP 2014048982A
Authority
JP
Japan
Prior art keywords
screen
icon
event
touch panel
operation button
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012192639A
Other languages
English (en)
Other versions
JP5783610B2 (ja
Inventor
Yasuki Kadomatsu
康樹 門松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC System Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012192639A priority Critical patent/JP5783610B2/ja
Application filed by NEC System Technologies Ltd filed Critical NEC System Technologies Ltd
Priority to CA2882955A priority patent/CA2882955A1/en
Priority to US14/422,863 priority patent/US20150248196A1/en
Priority to EP13833187.1A priority patent/EP2891967A4/en
Priority to CN201380053292.9A priority patent/CN104704464A/zh
Priority to KR1020157005236A priority patent/KR101686495B1/ko
Priority to PCT/JP2013/070889 priority patent/WO2014034369A1/ja
Publication of JP2014048982A publication Critical patent/JP2014048982A/ja
Application granted granted Critical
Publication of JP5783610B2 publication Critical patent/JP5783610B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/04166Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0383Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04804Transparency, e.g. transparent or translucent windows
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/045Zooming at least part of an image, i.e. enlarging it or shrinking it
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally

Abstract

【課題】タッチパネルディスプレイの画面に表示されたウィンドウ操作ボタンを操作しやすくする。
【解決手段】入力表示制御装置1の表示制御部15は、ウィンドウ操作ボタンを含む画像を表示部11に表示させ、操作認識部13は、ユーザが接触した位置を示す接点座標および連続接触時間を認識する。表示制御部15は、スマートウィンドウマネージャのアイコンのデータを記憶部14から読み出し、表示部11の画面の所定の位置に、表示されている画像に重畳して表示させる。表示制御部15は、接点座標および連続接触時間に基づいて、ユーザがアイコンをタップしたと判定した場合、記憶部14が記憶するアイコンとウィンドウ操作ボタンとの対応を示す対応情報を参照し、タップされたアイコンに対応するウィンドウ操作ボタンを特定する。表示制御部15は、特定したウィンドウ操作ボタンが操作されたことを示すイベント情報を生成し、イベントを発行する。
【選択図】図2

Description

本発明は、タッチパネルを備える入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラムに関する。
Windows(登録商標)のように、パソコンの操作画面内にウィンドウが表示されるOS(Operating System)では、ウィンドウの最小化ボタン、最大化ボタン、閉じるボタンなどのウィンドウ操作ボタンは、右上隅や左上隅など、ウィンドウの隅にあることが多い。また、これらのウィンドウ操作ボタンは、比較的ユーザが使用する頻度の高いボタンである。
特許文献1には、マルチウィンドウ形式のメッセージウィンドウを適切に表示させて操作性の向上を図るタッチパネル装置が開示されている。特許文献1の技術は、メッセージウィンドウと、操作ボタンの表示領域が重複している部分について、操作ボタンを透過表示する技術である。
特許文献2には、通常サイズのアイコンの見難い小型ディスプレイでも、ユーザ設定に係わるアイコンの視認性を悪化させず、判定が可能なOSD(On Screen Display)機能を実現する撮影機能付き電子装置が開示されている。特許文献2の技術は、撮影直前に、ユーザ設定に係わるアイコンを拡大表示する技術である。
特許文献3には、 外部映像モニタ利用時には、背景部分を単一色(例えばブルーバック表示)でマスクし、拡大サイズの操作アイコンを表示することで、タッチパネルの操作を向上させる画像再生装置が開示されている。
特許文献4には、複数のウィンドウを表示できるPC上のウィンドウシステムにおいて、従来のウィンドウ操作方法のようにポインタをウィンドウの特定の場所に合わせる必要がない効率的なウィンドウ操作方法及び装置が開示されている。特許文献4の技術では、ウィンドウ操作はディスプレイ上のアクティブなウィンドウに対して直接実行される。
特開2002−259001号公報 特開2008−166927号公報 特開2008−234687号公報 特開2012−083831号公報
関連する技術のウィンドウ操作ボタンをタッチパネルディスプレイの画面に表示する場合、ユーザは指で直接タッチして操作するか、カーソルでポインティングして操作する。しかしながら、ウィンドウ操作ボタンは一般的にウィンドウの隅にあるため、ウィンドウを最大化した場合などは、タッチパネルディスプレイの隅に表示されることとなり、比較的使用頻度の高いボタンであるにもかかわらず、ユーザが操作しにくいという問題があった。また、タッチパネルディスプレイが小さい場合、ウィンドウ操作ボタンの表示も小さくなり、ユーザが操作しにくいという問題があった。
特許文献1〜4の技術は、タッチパネルディスプレイの画面に表示されたウィンドウ操作ボタンを操作しやすくするものではない。
本発明は、上記事情に鑑みてなされたものであり、タッチパネルディスプレイの画面に表示されたウィンドウ操作ボタンを操作しやすくする入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラムを提供することを目的とする。
本発明の第1の観点に係る入力表示制御装置は、
タッチパネルディスプレイを備える入力表示制御装置であって、
ウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段と、
ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間とを認識する操作認識手段と、
前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示手段と、
前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を記憶する対応情報記憶手段と、
前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、前記対応情報を参照して、対応する前記ウィンドウ操作ボタンが操作されたイベントを示すイベント情報を生成するイベント発行手段と、
を備えることを特徴とする。
本発明の第2の観点に係るシンクライアントシステムは、
ネットワークを介して接続される、サーバと、タッチパネルディスプレイを備える入力表示制御装置とで構成されるシンクライアントシステムであって、
前記サーバは、
ウィンドウ操作ボタンを含む画像を示す画面情報を前記入力表示制御装置に送信する画面送信手段を備え、
前記入力表示制御装置は、
前記サーバから前記画面情報を受信する画像受信手段と、
前記画面情報に基づいて、前記ウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段と、
ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間とを認識する操作認識手段と、
前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示手段と、
前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を記憶する対応情報記憶手段と、
前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、前記対応情報を参照して、対応する前記ウィンドウ操作ボタンが操作されたイベントを示すイベント情報を生成するイベント発行手段と、
前記イベント発行手段が生成した前記イベント情報を前記サーバに送信するイベント送信手段と、
を備え、
前記サーバは、
前記イベントと処理との対応を示す処理情報を記憶する処理情報記憶手段と、
前記入力表示制御装置から前記イベント情報を受信するイベント受信手段と、
前記処理情報を参照して、前記イベント情報が示す前記イベントに対応付けられた処理を実行する実行手段と、
を備えることを特徴とする。
本発明の第3の観点に係る入力表示制御方法は、
タッチパネルディスプレイを備える入力表示制御装置が実行する入力表示制御方法であって、
ウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示ステップと、
ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間とを認識する操作認識ステップと、
前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示ステップと、
前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、記憶手段が記憶する前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を参照して、対応する前記ウィンドウ操作ボタンが操作されたイベントを示すイベント情報を生成するイベント発行ステップと、
を備えることを特徴とする。
本発明の第4の観点に係る入力表示制御方法は、
ネットワークを介して接続される、サーバと、タッチパネルディスプレイを備える入力表示制御装置とで構成されるシンクライアントシステムが実行する入力表示制御方法であって、
前記サーバが実行する
ウィンドウ操作ボタンを含む画像を示す画面情報を前記入力表示制御装置に送信する画面送信ステップと、
前記入力表示制御装置が実行する、
前記サーバから前記画面情報を受信する画像受信ステップと、
前記画面情報に基づいて、前記ウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示ステップと、
ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間とを認識する操作認識ステップと、
前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示ステップと、
前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、対応情報記憶手段が記憶する前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を参照して、対応する前記ウィンドウ操作ボタンが操作されたイベントを示すイベント情報を生成するイベント発行ステップと、
前記イベント発行ステップで生成した前記イベント情報を前記サーバに送信するイベント送信ステップと、
前記サーバが実行する、
前記入力表示制御装置から前記イベント情報を受信するイベント受信ステップと、
処理情報記憶手段が記憶する前記イベントと処理との対応を示す処理情報を参照して、前記イベント情報が示す前記イベントに対応付けられた処理を実行する実行ステップと、
を備えることを特徴とする。
本発明の第5の観点に係るプログラムは、
タッチパネルディスプレイを備えるコンピュータを、
ウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段、
ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間とを認識する操作認識手段、
前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示手段、
前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を記憶する対応情報記憶手段、および、
前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、前記対応情報を参照して、対応する前記ウィンドウ操作ボタンが操作されたイベントを示すイベント情報を生成するイベント発行手段、
として機能させることを特徴とする。
本発明によれば、タッチパネルディスプレイの画面に表示されたウィンドウ操作ボタンを操作しやすくなる。
本発明の実施の形態1に係るスマートウィンドウマネージャのアイコンの表示を説明する図である。 実施の形態1に係る入力表示制御装置の構成例を示すブロック図である。 実施の形態1に係る入力表示制御装置における操作入力を説明する図である。 実施の形態1に係る入力表示制御装置の動作の一例を示すフローチャートである。 本発明の実施の形態2に係る入力表示制御装置の動作の一例を示すフローチャートである。 本発明の実施の形態3に係るシンクライアントシステムの構成例を示すブロック図である。 実施の形態に係る入力表示制御装置のハードウェア構成の一例を示すブロック図である。
以下、この発明の実施の形態について説明する。以下の説明では、本発明に係る入力表示制御アプリケーションをスマートウィンドウマネージャと呼ぶ。
(実施の形態1)
図1は、本発明の実施の形態1に係るスマートウィンドウマネージャのアイコンの表示を説明する図である。実施の形態1に係る入力表示制御装置1は、タッチパネルディスプレイDを備え、ウィンドウ操作ボタンBを含むウィンドウを表示する。図1の例では、ウィンドウ操作ボタンBは、ウィンドウの最小化ボタンB1、最大化ボタンB2、閉じるボタンB3で構成される。
入力表示制御装置1は、ウィンドウ操作ボタンBを含むウィンドウが表示されている状態で、スマートウィンドウマネージャを起動すると、タッチパネルディスプレイD上の所定の位置に、画面に表示されている画像に重畳して、スマートウィンドウマネージャのアイコンIを表示する。マルチウィンドウの場合、スマートウィンドウマネージャは、原則としてアクティブな(最前面に表示されている)ウィンドウに対応づけられる。
スマートウィンドウマネージャのアイコンIは、半透明で表示される。半透明で表示するとは、重畳した画像が透過して見えるように画素を演算して表示することをいう。アイコンIは、ウィンドウ操作ボタンBを拡大したアイコンで、ウィンドウ操作ボタンBを模擬する。アイコンIは、最小化ボタンB1に対応するアイコンI1、最大化ボタンB2に対応するアイコンI2、閉じるボタンB3に対応するアイコンI3で構成される。また、アイコンIは、ウィンドウ操作ボタンBと同様に外枠の近くに位置づけられるが、サイズが大きいので押しやすい。
入力表示制御装置1は、アイコンIがタップされると、対応するウィンドウ操作ボタンBがタップされた場合と同じ操作を入力する。したがって、ユーザは、操作したいウィンドウ操作ボタンBに対応するアイコンIをタップすることにより、同様の操作を入力することができる。タップとは、ユーザが対象の表示領域に所定の条件を満たすように接触することであり、詳細は後述する。
なお、スマートウィンドウマネージャは、ウィンドウの最小化ボタン、最大化ボタンおよび閉じるボタンに限らず、ブラウザの拡大レベル変更ボタンや、戻るボタン、進むボタンなど、その他のウィンドウ操作ボタンと対応付けたアイコンを表示させてもよい。また、アクティブウィンドウを切り替える(例えば、前面から順に選択、または逆順に選択する)アイコンを表示させてもよい。
図2は、実施の形態1に係る入力表示制御装置の構成例を示すブロック図である。入力表示制御装置1は、表示部11、入力部12、操作認識部13、記憶部14および表示制御部15、を備える。
表示部11は、液晶パネルなどで構成されており、表示制御部15に指示された画面を表示する。入力部12は、表示部11を構成する液晶パネルの表面に設置した、接触を検知するタッチパッドなどの位置入力装置で構成されており、ユーザの接触による入力を受け付ける。表示部11および入力部12は、タッチパネルディスプレイDで実現される。
操作認識部13は、入力部12が接触を検知したタッチパネルディスプレイD上の位置を取得し、記憶部14が記憶する画面の座標を示す画面座標情報と照合して、接点座標を認識する。また、操作認識部13は、入力部12が検知した接触について、接触を開始してから終了するまでの連続接触時間を認識する。操作認識部13は、接点座標および連続接触時間を表示制御部15に送る。
表示制御部15は、記憶部14からウィンドウ操作ボタンBを含むウィンドウを示す画面情報を読み出し、表示部11に表示させる。
スマートウィンドウマネージャが起動すると、表示制御部15は、スマートウィンドウマネージャのアイコンIのデータを記憶部14から読み出し、表示部11の画面の所定の位置に表示させる。アイコンIは、半透明で表示され、アイコンIを透過して背面の画像が見えることにより、操作の邪魔になりにくい。
ユーザは、タッチパネルディスプレイD上でスマートウィンドウマネージャのアイコンIをタップすることでウィンドウ操作ボタンBを操作する。
表示制御部15は、操作認識部13から受け取った接点座標および連続接触時間に基づいて、ユーザがスマートウィンドウマネージャのアイコンIをタップしたか否かを判定する。
本実施の形態では、アイコンIをタップしたか否かの判定は、接触開始時の接点座標がアイコンIの表示領域の範囲内であり、連続接触時間が閾値α以上閾値β以下である場合に、タップしたと判定する。閾値αを設けることにより、ユーザが無意識に触れた場合などの連続接触時間の短いタッチをタップと判定してしまうことを防ぐことができる。また、閾値βを設けることで、ユーザが間違ったアイコンIをタッチしてしまったときに、長く接触し続けることで操作を解除することができる。
また、接触開始時の接点座標からの変位に閾値を設けることにより、タッチした位置を移動させることで操作を解除することができるようにしてもよい。さらに、接触開始時の接点座標がアイコンIの表示領域の範囲内であり、連続接触時間が0以上である場合はすべてタップしたと判定してもよい。
ユーザがアイコンIをタップしたと判定した場合、表示制御部15は、記憶部14が記憶するアイコンIとウィンドウ操作ボタンBとの対応を示す対応情報を参照して、タップされたアイコンIに対応するウィンドウ操作ボタンBを特定する。表示制御部15は、特定したウィンドウ操作ボタンBが操作されたことを示すイベント情報を生成し、イベントを発行する。
また、表示制御部15は、記憶部14が記憶するイベントと処理との対応を示す処理情報を参照し、発行されたイベントに対応付けられている処理を実行する。なお、処理情報を参照し、発行されたイベントに対応する処理を実行するのは、表示制御部15でなく、入力表示制御装置1が備える他の機能部が実行してもよい。
図3は、実施の形態1に係る入力表示制御装置における操作入力を説明する図である。図3の例では、ウィンドウ操作ボタンBは、ウィンドウの最小化ボタンB1、最大化ボタンB2、閉じるボタンB3で構成される。ウィンドウ操作ボタンBを模擬するアイコンIは、最小化ボタンB1に対応するアイコンI1、最大化ボタンB2に対応するアイコンI2、閉じるボタンB3に対応するアイコンI3で構成される。
図3に示すように、ウィンドウを最大化した場合、閉じるボタンB3は、画面の右上隅に表示される。これを操作したい場合、ユーザは、スマートウィンドウマネージャを起動し、アイコンIを表示させる。そして、ユーザは、アイコンI3をタップすることで、閉じるボタンB3をタップしたときと同様の操作を入力する。アイコンI3は、閉じるボタンB3を拡大したアイコンで、閉じるボタンB3よりも大きいので、外枠に近い位置でもユーザはタップしやすい。
図4は、実施の形態1に係る入力表示制御装置の動作の一例を示すフローチャートである。図4のフローチャートに示す処理は、ユーザがスマートウィンドウマネージャを起動させると開始する。表示制御部15は、スマートウィンドウマネージャのアイコンIのデータを記憶部14から読み出し、表示部11の画面に表示されている画像に重畳して、所定の位置にアイコンIを表示させる(ステップS11)。
入力部12が接触を検知すると(ステップS12;YES)、操作認識部13は、入力部12が接触を検知したタッチパネルディスプレイD上の位置を取得し、記憶部14が記憶する画面座標情報と照合して、接点座標および連続接触時間を認識する(ステップS13)。操作認識部13は、接点座標および連続接触時間を表示制御部15に送る。入力部12が接触を検知しない場合は(ステップS12;NO)、ステップS12を繰り返す。
表示制御部15は、操作認識部13から受け取った接点座標および連続接触時間に基づいて、スマートウィンドウマネージャのアイコンIがタップされたか否かを判定し(ステップS14)、アイコンIがタップされた場合には(ステップS14;YES)、記憶部14が記憶する対応情報と照合して、タップされたアイコンIに対応するウィンドウ操作ボタンBを特定する(ステップS15)。
表示制御部15は、特定したウィンドウ操作ボタンBが操作されたことを示すイベント情報を生成し、イベントを発行し(ステップS16)、ステップS17に移行する。表示制御部15は、処理情報を参照し、発行されたイベントに対応付けられている処理を実行する。
一方、アイコンIがタップされていない場合(ステップS14;NO)、入力部12が接触を検知している間は(ステップS17;NO)、ステップS13〜ステップS17を繰り返す。入力部12が接触を検知しなくなると(ステップS17;YES)、スマートウィンドウマネージャがOFFになったか否かを判定し(ステップS18)、スマートウィンドウマネージャがOFFになっていなければ(ステップS18;NO)、ステップS12〜ステップS18を繰り返す。スマートウィンドウマネージャがOFFになると(ステップS18;YES)、処理を終了する。
実施の形態1の入力表示制御装置1によれば、タッチパネルディスプレイの画面に表示されるウィンドウ操作ボタンBを模擬するアイコンIはウィンドウ操作ボタンBを拡大したアイコンであるので、ユーザはサイズが大きいアイコンIを操作することで、ウィンドウ操作ボタンBを容易に操作することができる。
(実施の形態2)
実施の形態2に係る入力表示制御装置1は、実施の形態1に係る入力表示制御装置1と同様の構成である。実施の形態2では、スマートウィンドウマネージャのアイコンIをドラッグすることで自由に移動できるようにする。
図5は、本発明の実施の形態2に係る入力表示制御装置の動作の一例を示すフローチャートである。図5のフローチャートに示す処理は、ユーザがスマートウィンドウマネージャを起動させると開始する。表示制御部15は、スマートウィンドウマネージャのアイコンIのデータを記憶部14から読み出し、表示部11の画面に表示されている画像に重畳して、所定の位置にアイコンIを表示させる(ステップS21)。
入力部12が接触を検知すると(ステップS22;YES)、操作認識部13は、入力部12が接触を検知したタッチパネルディスプレイD上の位置を取得し、記憶部14が記憶する画面座標情報と照合して、接点座標および連続接触時間を認識する(ステップS23)。操作認識部13は、接点座標および連続接触時間を表示制御部15に送る。入力部12が接触を検知しない場合は(ステップS22;NO)、ステップS22を繰り返す。
表示制御部15は、操作認識部13から受け取った接点座標がスマートウィンドウマネージャのアイコンIの表示領域に含まれるか否かを判定し(ステップS24)、アイコンIの表示領域に含まれない場合には(ステップS24;NO)、ステップS30に移行する。
アイコンIの表示領域に含まれる場合には(ステップS24;YES)、表示制御部15は、操作認識部13から受け取った連続接触時間から、タップされたか否かを判定し(ステップS25)、タップされた場合には(ステップS25;YES)、記憶部14が記憶する対応情報と照合して、タップされたアイコンIに対応するウィンドウ操作ボタンBを特定する(ステップS26)。表示制御部15は、接触開始時の接点座標がアイコンIの表示領域の範囲内であり、接触開始時の接点座標からの変位が閾値γ以下である場合に、タップしたと判定する。
表示制御部15は、特定したウィンドウ操作ボタンBが操作されたことを示すイベント情報を生成し、イベントを発行し(ステップS27)、ステップS30に移行する。表示制御部15は、処理情報を参照し、発行されたイベントに対応付けられている処理を実行する。
一方、タップされていない場合(ステップS25;NO)、表示制御部15は、操作認識部13から受け取った連続接触時間から、ドラッグされたか否かを判定し(ステップS28)、ドラッグされた場合には(ステップS28;YES)、変化した接触座標の位置にアイコンIを移動させ(ステップS29)、ステップS30に移行する。表示制御部15は、接触開始時の接点座標がアイコンIの表示領域の範囲内であり、接触開始時の接点座標からの変位が閾値γより大きい場合に、ドラッグしたと判定する。
ドラッグされていない場合(ステップS28;NO)、入力部12が接触を検知している間は(ステップS30;NO)、ステップS23〜ステップS30を繰り返す。入力部12が接触を検知しなくなると(ステップS30;YES)、スマートウィンドウマネージャがOFFになったか否かを判定し(ステップS31)、スマートウィンドウマネージャがOFFになっていなければ(ステップS31;NO)、ステップS22〜ステップS31を繰り返す。スマートウィンドウマネージャがOFFになると(ステップS31;YES)、処理を終了する。
実施の形態2の入力表示制御装置1によれば、タッチパネルディスプレイの画面に表示されるウィンドウ操作ボタンBを模擬するアイコンIがウィンドウ操作ボタンBを拡大したアイコンで、かつ、任意の位置に配置することができるので、ユーザは任意の位置にあるサイズが大きいアイコンIを操作することで、ウィンドウ操作ボタンBを容易に操作することができる。
本実施の形態では、接触開始時の接点座標がアイコンIの表示領域の範囲内で接触開始時の接点座標からの変位が閾値γ以下である場合にタップしたと判定し、閾値γより大きい場合にドラッグしたと判定する。しかし、これに限らず、タップしたと判定するための閾値とドラッグしたと判定するための閾値とは異なってもよいし、接触開始時の接点座標がアイコンIの表示領域の範囲内である場合にはすべてタップしたと判定してもよい。また、接触開始時の接点座標がアイコンIの表示領域の範囲内で、連続して接触を保った状態で接触座標が変化した場合にはすべてドラッグしたと判定してもよい。
(実施の形態3)
図6は、本発明の実施の形態3に係るシンクライアントシステムの構成例を示すブロック図である。シンクライアントシステム100は、入力表示制御装置1とサーバ2とで構成される。入力表示制御装置1は、表示部11、入力部12、操作認識部13、記憶部14、表示制御部15、画面受信部16およびイベント送信部17を備える。サーバ2は、実行部21、記憶部22、画面送信部23およびイベント受信部24を備える。
なお、入力表示制御装置1の画面受信部16およイベント送信部17と、サーバ2の画面送信部23およびイベント受信部24との通信について、それぞれ通信を示す記号を図示しているが、実際には同一の通信装置が通信を行う。
入力表示制御装置1の表示部11、入力部12、操作認識部13および記憶部14は、実施の形態1と同様の構成である。画面受信部16は、サーバ2の画面送信部23から、ウィンドウ操作ボタンBを含むウィンドウを示す画面情報を受信する。本実施の形態では、表示制御部15は、画面受信部16が受信した画面情報に基づいて、ウィンドウ操作ボタンBを含むウィンドウを表示部11に表示させる。
表示制御部15は、操作認識部13から受け取った接点座標および連続接触時間に基づいて、ユーザがスマートウィンドウマネージャのアイコンIをタップしたか否かを判定する。ユーザがアイコンIをタップしたと判定した場合、表示制御部15は、記憶部14が記憶するアイコンIとウィンドウ操作ボタンBとの対応を示す対応情報を参照して、タップされたアイコンIに対応するウィンドウ操作ボタンBを特定する。表示制御部15は、特定したウィンドウ操作ボタンBが操作されたことを示すイベント情報を生成し、イベントを発行する。
表示制御部15は、生成したイベント情報をイベント送信部17に送る。表示制御部15のその他の構成は、実施の形態1と同様である。イベント送信部17は、表示制御部15から受け取ったイベント情報をサーバ2のイベント受信部24に送信する。
サーバ2の実行部21は、記憶部22からウィンドウ操作ボタンBを含むウィンドウを示す画面情報を読み出して画像送信部23に送り、入力表示制御装置1の画面受信部16へ送信させる。
イベント受信部24は、入力表示制御装置1のイベント送信部17からイベント情報を受信すると、実行部21に送る。実行部21は、記憶部22が記憶するイベントと処理との対応を示す処理情報を参照し、受信したイベント情報に対応する処理を実行する。実行部21は、実行した処理画面を示す画面情報を記憶部22から読み出して画像送信部23に送り、入力表示制御装置1の画面受信部16へ送信させる。
入力表示制御装置1の画面受信部16がサーバ2の画面送信部23から処理画面を示す画面情報を受信すると、表示制御部15は、画面受信部16が受信した画面情報に基づいて、処理画面を表示部11に表示させる。
実施の形態1の入力表示制御装置1だけでなく、実施の形態2の入力表示制御装置1もシンクライアントシステムを構成することが可能である。
実施の形態3では、入力表示制御装置1が接点座標および連続接触時間に基づいて、タップされたアイコンIに対応するウィンドウ操作ボタンBを特定し、特定したウィンドウ操作ボタンBが操作されたことを示すイベント情報を生成してイベントを発行するが、これに限らない。
入力表示制御装置1が接点座標および連続接触時間をサーバ2に送信し、サーバ2側で、接点座標および連続接触時間に基づいて、タップされたアイコンIに対応するウィンドウ操作ボタンBを特定し、特定したウィンドウ操作ボタンBが操作されたことを示すイベント情報を生成してイベントを発行してもよい。
実施の形態3のシンクライアントシステム100によれば、処理の実行をサーバ2で行うので、入力表示制御装置1の負荷が小さくなる。これにより、入力表示制御装置1のコストの低減や小型化が可能になる。
シンクライアントシステム100では、サーバ2がディスプレイを備える場合、サーバ2のディスプレイ用の画面を入力表示制御装置1のタッチパネルディスプレイDに表示させる。入力表示制御装置1のタッチパネルディスプレイDがサーバ2のディスプレイよりも小さい場合、画面が縮小表示されるので、ウィンドウの隅にあるウィンドウ操作ボタンBも小さくなり、さらに操作するのが困難な場合がある。したがって、本発明をシンクライアントシステムに適用すると、より、タッチパネルディスプレイの画面に表示されたウィンドウ操作ボタンを操作しやすいという効果を奏する。
なお、上記の実施の形態では、ユーザがスマートウィンドウマネージャのアイコンを指で直接タッチして操作するが、ポインタで指示する構成にしてもよい。また、上記の実施の形態では、アイコンIは半透明で表示されるが、背面の画像を透過しないアイコンでもよい。
図7は、実施の形態に係る入力表示制御装置のハードウェア構成の一例を示すブロック図である。
制御部31はCPU(Central Processing Unit)等から構成され、外部記憶部33に記憶されている制御プログラム39に従って、操作認識部13および表示制御部15の各処理を実行する。
主記憶部32はRAM(Random-Access Memory)等から構成され、外部記憶部33に記憶されている制御プログラム39をロードし、制御部31の作業領域として用いられる。
外部記憶部33は、フラッシュメモリ、ハードディスク、DVD−RAM(Digital Versatile Disc Random-Access Memory)、DVD−RW(Digital Versatile Disc ReWritable)等の不揮発性メモリから構成され、入力表示制御装置1の処理を制御部31に行わせるためのプログラムをあらかじめ記憶し、また、制御部31の指示に従って、このプログラムが記憶するデータを制御部31に供給し、制御部31から供給されたデータを記憶する。記憶部14は、外部記憶部33に構成される。
操作部34はタッチパッド等の位置入力装置を内部バス30に接続するインタフェース装置から構成されている。ユーザが操作入力すると、操作部34を介して、指示が制御部31に供給される。操作部34は、入力部12として機能する。
表示部35は、CRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)などから構成され、アプリケーション画面などを表示する。表示部35は、表示部11として機能する。
タイマ36は、内部バス30を介して現在時刻を定期的に制御部31に供給する。制御部31は、タイマ36から供給された現在時刻に基づいて、連続接触時間を認識する。
なお、実施の形態3で説明したシンクライアントシステム100における入力表示制御装置1は、さらに、ネットワークに接続する網終端装置または無線通信装置、およびそれらと接続するシリアルインタフェースまたはLAN(Local Area Network)インタフェースなどで構成される通信部を備える。通信部は、ネットワークを介して、サーバ2に接続する。通信部は、画面受信部16およびイベント送信部17として機能する。
図1に示す表示部11、入力部12、操作認識部13、記憶部14および表示制御部15の処理は、制御プログラム39が、制御部31、主記憶部32、外部記憶部33、操作部34、表示部35およびタイマ36を資源として用いて処理することによって実行する。
その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。
制御部31、主記憶部32、外部記憶部33、内部バス30などから構成される制御処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体(フレキシブルディスク、CD−ROM、DVD−ROM等)に格納して配布し、該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する入力表示制御装置1を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで入力表示制御装置1を構成してもよい。
また、入力表示制御装置1の機能を、OSとアプリケーションプログラムの分担、またはOSとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワーク上の掲示板(BBS:Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
タッチパネルディスプレイを備える入力表示制御装置であって、
ウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段と、
ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間とを認識する操作認識手段と、
前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示手段と、
前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を記憶する対応情報記憶手段と、
前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、前記対応情報を参照して、対応する前記ウィンドウ操作ボタンが操作されたイベントを示すイベント情報を生成するイベント発行手段と、
を備えることを特徴とする入力表示制御装置。
(付記2)
前記アイコン表示手段は、前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、連続して接触を保った状態で前記接触座標が変化した場合に、前記変化した接触座標の位置に前記アイコンの表示位置を移動させることを特徴とする付記1に記載の入力表示制御装置。
(付記3)
前記アイコン表示手段は、前記アイコンを半透明で表示することを特徴とする付記1または2に記載の入力表示制御装置。
(付記4)
ネットワークを介して接続される、サーバと、タッチパネルディスプレイを備える入力表示制御装置とで構成されるシンクライアントシステムであって、
前記サーバは、
ウィンドウ操作ボタンを含む画像を示す画面情報を前記入力表示制御装置に送信する画面送信手段を備え、
前記入力表示制御装置は、
前記サーバから前記画面情報を受信する画像受信手段と、
前記画面情報に基づいて、前記ウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段と、
ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間とを認識する操作認識手段と、
前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示手段と、
前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を記憶する対応情報記憶手段と、
前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、前記対応情報を参照して、対応する前記ウィンドウ操作ボタンが操作されたイベントを示すイベント情報を生成するイベント発行手段と、
前記イベント発行手段が生成した前記イベント情報を前記サーバに送信するイベント送信手段と、
を備え、
前記サーバは、
前記イベントと処理との対応を示す処理情報を記憶する処理情報記憶手段と、
前記入力表示制御装置から前記イベント情報を受信するイベント受信手段と、
前記処理情報を参照して、前記イベント情報が示す前記イベントに対応付けられた処理を実行する実行手段と、
を備えることを特徴とするシンクライアントシステム。
(付記5)
タッチパネルディスプレイを備える入力表示制御装置が実行する入力表示制御方法であって、
ウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示ステップと、
ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間とを認識する操作認識ステップと、
前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示ステップと、
前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、記憶手段が記憶する前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を参照して、対応する前記ウィンドウ操作ボタンが操作されたイベントを示すイベント情報を生成するイベント発行ステップと、
を備えることを特徴とする入力表示制御方法。
(付記6)
ネットワークを介して接続される、サーバと、タッチパネルディスプレイを備える入力表示制御装置とで構成されるシンクライアントシステムが実行する入力表示制御方法であって、
前記サーバが実行する
ウィンドウ操作ボタンを含む画像を示す画面情報を前記入力表示制御装置に送信する画面送信ステップと、
前記入力表示制御装置が実行する、
前記サーバから前記画面情報を受信する画像受信ステップと、
前記画面情報に基づいて、前記ウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示ステップと、
ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間とを認識する操作認識ステップと、
前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示ステップと、
前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、対応情報記憶手段が記憶する前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を参照して、対応する前記ウィンドウ操作ボタンが操作されたイベントを示すイベント情報を生成するイベント発行ステップと、
前記イベント発行ステップで生成した前記イベント情報を前記サーバに送信するイベント送信ステップと、
前記サーバが実行する、
前記入力表示制御装置から前記イベント情報を受信するイベント受信ステップと、
処理情報記憶手段が記憶する前記イベントと処理との対応を示す処理情報を参照して、前記イベント情報が示す前記イベントに対応付けられた処理を実行する実行ステップと、
を備えることを特徴とする入力表示制御方法。
(付記7)
タッチパネルディスプレイを備えるコンピュータを、
ウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段、
ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間とを認識する操作認識手段、
前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示手段、
前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を記憶する対応情報記憶手段、および、
前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、前記対応情報を参照して、対応する前記ウィンドウ操作ボタンが操作されたイベントを示すイベント情報を生成するイベント発行手段、
として機能させることを特徴とするプログラム。
1 入力表示制御装置
2 サーバ
11 表示部
12 入力部
13 操作認識部
14 記憶部
15 表示制御部
16 画面受信部
17 イベント送信部
21 実行部
22 記憶部
23 画面送信部
24 イベント受信部
30 内部バス
31 制御部
32 主記憶部
33 外部記憶部
34 操作部
35 表示部
36 タイマ
39 制御プログラム
100 シンクライアントシステム
B ウィンドウ操作ボタン
B1 最小化ボタン
B2 最大化ボタン
B3 閉じるボタン
D タッチパネルディスプレイ
I、I1、I2、I3 アイコン

Claims (7)

  1. タッチパネルディスプレイを備える入力表示制御装置であって、
    ウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段と、
    ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間とを認識する操作認識手段と、
    前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示手段と、
    前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を記憶する対応情報記憶手段と、
    前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、前記対応情報を参照して、対応する前記ウィンドウ操作ボタンが操作されたイベントを示すイベント情報を生成するイベント発行手段と、
    を備えることを特徴とする入力表示制御装置。
  2. 前記アイコン表示手段は、前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、連続して接触を保った状態で前記接触座標が変化した場合に、前記変化した接触座標の位置に前記アイコンの表示位置を移動させることを特徴とする請求項1に記載の入力表示制御装置。
  3. 前記アイコン表示手段は、前記アイコンを半透明で表示することを特徴とする請求項1または2に記載の入力表示制御装置。
  4. ネットワークを介して接続される、サーバと、タッチパネルディスプレイを備える入力表示制御装置とで構成されるシンクライアントシステムであって、
    前記サーバは、
    ウィンドウ操作ボタンを含む画像を示す画面情報を前記入力表示制御装置に送信する画面送信手段を備え、
    前記入力表示制御装置は、
    前記サーバから前記画面情報を受信する画像受信手段と、
    前記画面情報に基づいて、前記ウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段と、
    ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間とを認識する操作認識手段と、
    前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示手段と、
    前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を記憶する対応情報記憶手段と、
    前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、前記対応情報を参照して、対応する前記ウィンドウ操作ボタンが操作されたイベントを示すイベント情報を生成するイベント発行手段と、
    前記イベント発行手段が生成した前記イベント情報を前記サーバに送信するイベント送信手段と、
    を備え、
    前記サーバは、
    前記イベントと処理との対応を示す処理情報を記憶する処理情報記憶手段と、
    前記入力表示制御装置から前記イベント情報を受信するイベント受信手段と、
    前記処理情報を参照して、前記イベント情報が示す前記イベントに対応付けられた処理を実行する実行手段と、
    を備えることを特徴とするシンクライアントシステム。
  5. タッチパネルディスプレイを備える入力表示制御装置が実行する入力表示制御方法であって、
    ウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示ステップと、
    ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間とを認識する操作認識ステップと、
    前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示ステップと、
    前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、記憶手段が記憶する前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を参照して、対応する前記ウィンドウ操作ボタンが操作されたイベントを示すイベント情報を生成するイベント発行ステップと、
    を備えることを特徴とする入力表示制御方法。
  6. ネットワークを介して接続される、サーバと、タッチパネルディスプレイを備える入力表示制御装置とで構成されるシンクライアントシステムが実行する入力表示制御方法であって、
    前記サーバが実行する
    ウィンドウ操作ボタンを含む画像を示す画面情報を前記入力表示制御装置に送信する画面送信ステップと、
    前記入力表示制御装置が実行する、
    前記サーバから前記画面情報を受信する画像受信ステップと、
    前記画面情報に基づいて、前記ウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示ステップと、
    ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間とを認識する操作認識ステップと、
    前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示ステップと、
    前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、対応情報記憶手段が記憶する前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を参照して、対応する前記ウィンドウ操作ボタンが操作されたイベントを示すイベント情報を生成するイベント発行ステップと、
    前記イベント発行ステップで生成した前記イベント情報を前記サーバに送信するイベント送信ステップと、
    前記サーバが実行する、
    前記入力表示制御装置から前記イベント情報を受信するイベント受信ステップと、
    処理情報記憶手段が記憶する前記イベントと処理との対応を示す処理情報を参照して、前記イベント情報が示す前記イベントに対応付けられた処理を実行する実行ステップと、
    を備えることを特徴とする入力表示制御方法。
  7. タッチパネルディスプレイを備えるコンピュータを、
    ウィンドウ操作ボタンを含む画像を前記タッチパネルディスプレイの画面に表示する画面表示手段、
    ユーザが前記タッチパネルディスプレイの画面に接触した位置を示す接点座標と、ユーザが前記タッチパネルディスプレイの画面に接触した連続接触時間とを認識する操作認識手段、
    前記ウィンドウ操作ボタンを拡大して模擬するアイコンを、前記画像に重畳して前記タッチパネルディスプレイの画面に表示するアイコン表示手段、
    前記アイコンと前記ウィンドウ操作ボタンとの対応を示す対応情報を記憶する対応情報記憶手段、および、
    前記接点座標および前記連続接触時間に基づいて、接触開始時の前記接点座標が前記アイコンの表示領域の範囲内であり、前記連続接触時間が所定の条件を満たす場合、前記対応情報を参照して、対応する前記ウィンドウ操作ボタンが操作されたイベントを示すイベント情報を生成するイベント発行手段、
    として機能させることを特徴とするプログラム。
JP2012192639A 2012-08-31 2012-08-31 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム Active JP5783610B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2012192639A JP5783610B2 (ja) 2012-08-31 2012-08-31 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム
US14/422,863 US20150248196A1 (en) 2012-08-31 2013-08-01 Display control device, thin client system, display control method and recording medium
EP13833187.1A EP2891967A4 (en) 2012-08-31 2013-08-01 DISPLAY CONTROL DEVICE, THIN CLIENT SYSTEM, DISPLAY CONTROL METHOD AND RECORDING MEDIUM
CN201380053292.9A CN104704464A (zh) 2012-08-31 2013-08-01 显示控制设备、瘦客户端系统、显示控制方法和记录介质
CA2882955A CA2882955A1 (en) 2012-08-31 2013-08-01 Display control device, thin client system, display control method and recording medium
KR1020157005236A KR101686495B1 (ko) 2012-08-31 2013-08-01 표시 제어 장치, 씬 클라이언트 시스템, 표시 제어 방법 및 기록매체
PCT/JP2013/070889 WO2014034369A1 (ja) 2012-08-31 2013-08-01 表示制御装置、シンクライアントシステム、表示制御方法および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012192639A JP5783610B2 (ja) 2012-08-31 2012-08-31 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2014048982A true JP2014048982A (ja) 2014-03-17
JP5783610B2 JP5783610B2 (ja) 2015-09-24

Family

ID=50183187

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012192639A Active JP5783610B2 (ja) 2012-08-31 2012-08-31 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム

Country Status (7)

Country Link
US (1) US20150248196A1 (ja)
EP (1) EP2891967A4 (ja)
JP (1) JP5783610B2 (ja)
KR (1) KR101686495B1 (ja)
CN (1) CN104704464A (ja)
CA (1) CA2882955A1 (ja)
WO (1) WO2014034369A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160117098A (ko) * 2015-03-31 2016-10-10 삼성전자주식회사 전자 장치 및 그 디스플레이 방법
CN109643204A (zh) * 2016-09-09 2019-04-16 株式会社牧野铣床制作所 机床的电子手册
USD876479S1 (en) * 2017-04-17 2020-02-25 Samsung Display Co., Ltd. Combined display device and screen with an icon
US11341496B2 (en) * 2020-06-03 2022-05-24 Fiserv, Inc. Hardware device for entering a PIN via tapping on a touch screen display
CN112230814A (zh) * 2020-10-21 2021-01-15 深圳市艾酷通信软件有限公司 信息控制方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1145141A (ja) * 1997-07-25 1999-02-16 Matsushita Electric Works Ltd データ入力装置
JP2001109557A (ja) * 1999-10-06 2001-04-20 Yokogawa Electric Corp タッチパネル表示方法及びタッチパネルを備えている電子機器
JP2005266850A (ja) * 2004-03-16 2005-09-29 Kyocera Mita Corp 表示入力操作装置
JP2009116823A (ja) * 2007-11-09 2009-05-28 Canon Inc 表示装置及び方法及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259001A (ja) 2001-03-05 2002-09-13 Shingo Tsuda ウィンドウ操作方法及び装置
CN1717648A (zh) * 2002-11-29 2006-01-04 皇家飞利浦电子股份有限公司 具有触摸区域的移动表示的用户界面
KR20040053692A (ko) * 2002-12-17 2004-06-24 삼성전자주식회사 보조입력도구를 표시하는 모바일 기기 및 그 제어방법
CN101262562B (zh) 2004-03-19 2010-12-29 株式会社理光 电子装置和电子装置的控制方法
JP4645179B2 (ja) * 2004-12-02 2011-03-09 株式会社デンソー 車両用ナビゲーション装置
US7966573B2 (en) * 2006-02-17 2011-06-21 Microsoft Corporation Method and system for improving interaction with a user interface
JP4773943B2 (ja) 2006-12-27 2011-09-14 キヤノン株式会社 画像再生装置及びその制御方法
KR101412148B1 (ko) * 2007-10-17 2014-06-25 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR20100062077A (ko) * 2008-12-01 2010-06-10 삼성전자주식회사 사용자 인터페이스를 향상시키기 위한 사용자 인터페이스 제공방법 및 이를 이용한 멀티미디어 기기
JP5691310B2 (ja) * 2010-09-06 2015-04-01 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2012083831A (ja) 2010-10-07 2012-04-26 Pioneer Electronic Corp タッチパネル装置、タッチパネルの表示方法、タッチパネルの表示処理プログラム、及び記録媒体
KR101761409B1 (ko) * 2010-10-27 2017-07-25 주식회사 엘지유플러스 가상화 플랫폼 제공 방법 및 장치
US9785289B2 (en) * 2010-11-23 2017-10-10 Red Hat, Inc. GUI control improvement using a capacitive touch screen
JP5198548B2 (ja) * 2010-12-14 2013-05-15 株式会社東芝 電子機器、表示制御方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1145141A (ja) * 1997-07-25 1999-02-16 Matsushita Electric Works Ltd データ入力装置
JP2001109557A (ja) * 1999-10-06 2001-04-20 Yokogawa Electric Corp タッチパネル表示方法及びタッチパネルを備えている電子機器
JP2005266850A (ja) * 2004-03-16 2005-09-29 Kyocera Mita Corp 表示入力操作装置
JP2009116823A (ja) * 2007-11-09 2009-05-28 Canon Inc 表示装置及び方法及びプログラム

Also Published As

Publication number Publication date
US20150248196A1 (en) 2015-09-03
CN104704464A (zh) 2015-06-10
KR20150040983A (ko) 2015-04-15
KR101686495B1 (ko) 2016-12-14
EP2891967A1 (en) 2015-07-08
CA2882955A1 (en) 2014-03-06
JP5783610B2 (ja) 2015-09-24
EP2891967A4 (en) 2016-02-10
WO2014034369A1 (ja) 2014-03-06

Similar Documents

Publication Publication Date Title
US9639186B2 (en) Multi-touch interface gestures for keyboard and/or mouse inputs
JP6264293B2 (ja) 表示制御装置、表示制御方法及びプログラム
TWI528266B (zh) 電子裝置及螢幕內容分享方法
US9575649B2 (en) Virtual touchpad with two-mode buttons for remote desktop client
JP5388246B1 (ja) 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム
US20140351761A1 (en) Method and apparatus for displaying picture on portable device
EP2669786A2 (en) Method for displaying item in terminal and terminal using the same
US20090222761A1 (en) Computer-readable recording medium having display screen setting program recorded thereon, information processing apparatus, and display screen setting method
JP5522755B2 (ja) 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム
JP2016533556A (ja) パン及び選択ジェスチャの検出
JP5783610B2 (ja) 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム
KR20120023405A (ko) 사용자 인터페이스 제공 방법 및 장치
WO2023005828A1 (zh) 消息显示方法、装置和电子设备
CN112286612A (zh) 信息显示方法、装置及电子设备
US20150163444A1 (en) Display apparatus, display system including display apparatus, and methods of controlling display apparatus and display system
US20200019366A1 (en) Data Processing Method and Mobile Device
US20140049493A1 (en) Information device, and computer-readable storage medium for computer program
CN107728898B (zh) 一种信息处理方法及移动终端
JP5882973B2 (ja) 情報処理装置、方法及びプログラム
WO2022068863A1 (zh) 后台任务显示方法和电子设备
US20140380188A1 (en) Information processing apparatus
CN104572602A (zh) 显示消息的方法和装置
JP2011008633A (ja) 情報処理装置および電子ファイル操作プログラム
CN106126107B (zh) 电子设备和控制方法
JP2015049836A (ja) 携帯端末

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131224

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140428

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140602

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20140616

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20140822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150716

R150 Certificate of patent or registration of utility model

Ref document number: 5783610

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150