JP2004078367A - Display device with touch panel and its control method - Google Patents

Display device with touch panel and its control method Download PDF

Info

Publication number
JP2004078367A
JP2004078367A JP2002235159A JP2002235159A JP2004078367A JP 2004078367 A JP2004078367 A JP 2004078367A JP 2002235159 A JP2002235159 A JP 2002235159A JP 2002235159 A JP2002235159 A JP 2002235159A JP 2004078367 A JP2004078367 A JP 2004078367A
Authority
JP
Japan
Prior art keywords
touch
application
apl
button
toolbar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002235159A
Other languages
Japanese (ja)
Other versions
JP2004078367A5 (en
JP4157337B2 (en
Inventor
Mitsuru Sato
佐藤　満
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2002235159A priority Critical patent/JP4157337B2/en
Publication of JP2004078367A publication Critical patent/JP2004078367A/en
Publication of JP2004078367A5 publication Critical patent/JP2004078367A5/ja
Application granted granted Critical
Publication of JP4157337B2 publication Critical patent/JP4157337B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To improve operability and conduct a smooth presentation by transferring a screen to be overwritten to an operable mode without an operator's awareness in an overwriting mode. <P>SOLUTION: A tool bar area storage part 203 stores a display area on the display screen of a tool bar which controls an APL having execution right immediately before start up when the APL 114 is started for overwriting. When the APL 114 for overwriting has the execution right and a touch on the display area is detected, a control transferring part 205 transfers a control execution right to the APl controlled by the tool bar. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、タッチパネル付きディスプレイ装置、タッチパネル付きディスプレイ装置の制御方法に関し、特に表示されている画像に文字や図形を書き込む上書きの機能を有するタッチパネル付きディスプレイ装置、タッチパネル付きディスプレイ装置の制御方法に関する。
【０００２】
【従来の技術】
ディスプレイ画面（ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、液晶リアプロジェクタ）の大型化に伴なって、タッチパネル付きディスプレイ装置がプレゼンテーションや会議、学校の授業などに用いられる場面が増えている。プレゼンテーションなどに使用されるタッチパネル付きディスプレイ装置の多くは、タッチパネルの座標入力面がディスプレイ画面に重ねて設けられる表示一体型のタッチパネル付きディスプレイ装置である。
【０００３】
表示一体型のタッチパネル付きディスプレイ装置は、ディスプレイ画面に指やペンでタッチしてオペレータがイメージ通りの文字や図形を描画することができる。このため、例えばＷｉｎｄｏｗｓ（Ｒ）、ＵＮＩＸ（Ｒ）といったＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）によって動作するアプリケーションを使ってディスプレイ画面に表示された画像に対して文字や図形を書き込んでポイントを示す、あるいは補足説明することができる。このような機能は、プレゼンテーションを理解しやすくすることに有効である。また、画像に対する書き込みの制御を上書制御といい、上書制御を行う動作モードを上書モードという。
【０００４】
【発明が解決しようとする課題】
ところで、上記した上書モードは、すでに表示されている画面上に透明色のウィンドウを開き、タイトルバーやコマンドバーについても一切色をなくすことによって実現される。上書モードで開かれたウィンドウ上にタッチがなされた場合、このタッチの座標は上書モードを実行するアプリケーションに通知される。
【０００５】
しかしながら、上書モードで開かれるウィンドウが透明色であるため、上書モードに入る直前に表示されていたウィンドウ（上書の対象となるアプリケーションのウィンドウ）やデスクトップの画像が見かけ上、上書モードに入っていない状態と同様に表示される。このような場合、オペレータは、上書の対象となるアプリケーションが制御可能な状態にある（アプリケーションが実行権を持つ）ものと誤解することがある。このため、上書モードで画像に書き込みをしている間に書き込みの対象となっている画像を加工、編集する必要が生じた場合、または画像をスクロールさせたい場合、上書の対象であるウィンドウの操作ボタンを操作することがある。
【０００６】
上書モードに実行権がある場合、当然のことながら、ウィンドウの操作ボタンを操作しても上書モードのウィンドウ下にあるウィンドウは操作できない。このとき、オペレータは、ディスプレイ画面上の操作部を操作して操作ボタンによって制御されるアプリケーションに実行権を移行し、上書モードのウィンドウを開放する。そして、操作ボタンを再度操作することが必要になる。
【０００７】
上書モードの実行中、上書の対象となるウィンドウに表示された画像を操作する必要が生じるたびにアプリケーションを逐次切り替える操作は、オペレータにとって煩雑であるばかりでなく、プレゼンテーションの流れを妨げるおそれがある。また、上書モードのウィンドウ下にあるウィンドウの操作ボタンを操作した時点で上書モードであることに気づいた場合、オペレータはアプリケーションを切り替えるばかりでなく、操作ボタンを再度操作しなおす必要がある。このような場合、プレゼンテーションの流れがさらに妨げられるおそれがある。
【０００８】
本発明は、上記の点に鑑みてなされたものであり、上書モード時にオペレータが意識することなく上書の対象となる画面を操作できるモードに移行することによって操作性を高め、プレゼンテーションを円滑に行うことができるタッチパネル付きディスプレイ装置、タッチパネル付きディスプレイ装置の制御方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記した課題を解決し、目的を達成するため、請求項１に記載の発明にかかるタッチパネル付きディスプレイ装置は、座標入力面に対してなされたタッチを検出するタッチ検出手段と、前記タッチ検出手段によって検出されたタッチの座標に基づいてディスプレイ画面に画像を表示する少なくとも一つのアプリケーションと、前記アプリケーションによって表示された画像に書き込みを行う上書用アプリケーションと、前記上書用アプリケーションの起動時、起動の直前に実行権を有するアプリケーションを制御するツールバーのディスプレイ画面上における表示領域を検出すると共に保存するツールバー領域保存手段と、前記上書用アプリケーションに実行権があって、かつ、前記タッチ検出手段が前記ツールバー領域保存手段によって保存されている前記表示領域上のタッチを検出した場合、前記ツールバーによって制御されるアプリケーションに制御の実行権を移行する制御移行手段と、を備えることを特徴とする。
【００１０】
この請求項１に記載の発明によれば、座標入力面に対してなされたタッチを検出し、検出されたタッチの座標に基づいてディスプレイ画面に画像を表示する少なくとも一つのアプリケーションによって表示された画像に上書用アプリケーションで書き込みを行うことができる構成において、上書用アプリケーションの起動時、起動の直前に実行権を有するアプリケーションを制御するツールバーのディスプレイ画面上における表示領域を検出すると共に保存する。そして、上書用アプリケーションに実行権があって、かつ、保存されている表示領域上のタッチをタッチ検出手段が検出した場合、ツールバーによって制御されるアプリケーションに制御の実行権を移行する。このため、上書用アプリケーションの動作時にオペレータが他のアプリケーションのツールバーにタッチして他のアプリケーションを操作しようとした場合にオペレータが意識することなく円滑に他のアプリケーションへ操作を移行することができる。
【００１１】
請求項２に記載の発明にかかるタッチパネル付きディスプレイ装置は、前記制御移行手段が、制御の実行権を移行する前に、前記タッチ検出手段が前記表示領域上で検出したタッチからデタッチまでのデータをマウスデータとして前記アプリケーションに通知することを特徴とする。
【００１２】
この請求項２に記載の発明によれば、上書モードから他のアプリケーションによって制御されるモードに自動的に移行するばかりでなく、移行と同時にアプリケーションを操作することができる。
【００１３】
請求項３に記載の発明にかかるタッチパネル付きディスプレイ装置は、前記制御移行手段が制御の実行権を移行する場合、前記タッチ検出手段が前記表示領域上で検出したタッチからデタッチまでに描画された線を消去する描画消去手段をさらに備えることを特徴とする。
【００１４】
この請求項３に記載の発明によれば、上書モードの実行中にツールバーを操作しようとして上書きされた、つまり描画する意図がないにも関わらず描画された線を自動的に消去することができる。
【００１５】
請求項４に記載の発明にかかるタッチパネル付きディスプレイ装置は、前記ツールバーがコマンドボタンを有するコマンドバーを含み、前記タッチ検出手段が検出したタッチが該コマンドバー上でのドラッグ操作を示す場合、前記制御移行手段は前記上書用アプリケーションの実行権を保持することを特徴とする。
【００１６】
この請求項４に記載の発明によれば、コマンドバー上でのドラッグ操作によってアプリケーションを移行することをなくし、オペレータがコマンドバーを操作する意図がない場合にアプリケーションが移行してしまうことを防ぐことができる。
【００１７】
請求項５に記載の発明にかかるタッチパネル付きディスプレイ装置は、前記制御移行手段に実行権の移行を行うわせるか否かを選択する移行選択手段をさらに備えることを特徴とする。
【００１８】
この請求項５に記載の発明によれば、オペレータが制御移行手段に実行権の移行を行うわせるか否かを選択することができるので、各オペレータごとの好みに応じた操作をすることができる。
【００１９】
請求項６に記載の発明にかかるタッチパネル付きディスプレイ装置の制御方法は、座標入力面に対してなされたタッチを検出するタッチ検出工程と、前記タッチ検出工程において検出されたタッチの座標に基づいてディスプレイ画面に画像を表示する少なくとも一つのアプリケーションと、前記アプリケーションによって表示された画像に書き込みを行う上書用アプリケーションと、前記上書用アプリケーションの起動時、起動の直前に実行権を有するアプリケーションを制御するツールバーのディスプレイ画面上における表示領域を検出すると共に保存するツールバー領域保存工程と、前記上書用アプリケーションに実行権があって、かつ、前記ツールバー領域保存手段において保存された前記表示領域上のタッチが前記タッチ検出工程において検出された場合、前記ツールバーによって制御されるアプリケーションに制御の実行権を移行する制御移行工程と、を含むことを特徴とする。
【００２０】
この請求項６に記載の発明によれば、座標入力面に対してなされたタッチを検出し、検出されたタッチの座標に基づいてディスプレイ画面に画像を表示する少なくとも一つのアプリケーションによって表示された画像に上書用アプリケーションで書き込みを行うことができる構成において、上書用アプリケーションの起動時、起動の直前に実行権を有するアプリケーションを制御するツールバーのディスプレイ画面上における表示領域を検出すると共に保存する。そして、上書用アプリケーションに実行権があって、かつ、保存されている表示領域上のタッチが検出された場合、ツールバーによって制御されるアプリケーションに制御の実行権を移行する。このため、上書用アプリケーションの動作時にオペレータが他のアプリケーションのツールバーにタッチして他のアプリケーションを操作しようとした場合にオペレータが意識することなく円滑にアプリケーションへ操作を移行することができる。
【００２１】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかるタッチパネル付きディスプレイ装置の好適な実施の形態を詳細に説明する。図１は、本発明の一実施の形態のタッチパネル付きディスプレイ装置の全体的な構成を説明するための図である。図示したタッチパネル付きディスプレイ装置は、座標入力装置１と、座標入力装置１に入力された座標を検出する座標検出装置３と、座標検出装置３が検出した座標に基づいて画像データを制御するホスト装置４（本実施の形態ではＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）を利用している）、ホスト装置４によって制御された画像データ（Ｒ，Ｇ，Ｂ）を液晶画面やＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）といったディスプレイ画面１１３に表示する表示装置２とを備えている。
【００２２】
なお、本明細書中では、座標入力装置１と座標検出装置３とを合わせた構成をタッチパネルとも記す。また、本実施の形態のタッチパネル付きディスプレイ装置には、ディスプレイ画面１１３が座標入力装置１の座標入力面１１２と重なって設けられていて、表示装置２は、ディスプレイ画面１１３に画像データを表示する。座標入力面１１２とは、座標検出装置３が座標を検出できる領域である。本実施の形態のタッチパネル付きディスプレイ装置は、ディスプレイ画面１１３に直接タッチする構成であって、座標入力面１１２は仮想的な面である。座標検出装置３は、本実施の形態のタッチ検出手段として機能する。
【００２３】
なお、本実施の形態では、座標入力面１１２に対して指やペンが非接触状態から接触したことをタッチといい、タッチがなされた位置を示す点をタッチ点という。また、タッチ点から指やペンが離れたことをデタッチといい、デタッチすることなくタッチ点が移動することを移動・停止タッチという。なお、移動・停止タッチは、マウスでいうドラッグの操作に相当する。
【００２４】
座標入力装置１は、後述する光学検出器を備えていて、ディスプレイ画面１１３上にタッチを光学的に検出する。光学検出器が検出したデータは座標検出装置３に入力し、座標検出装置３が、座標入力面１１２上のタッチ、デタッチ、移動・停止タッチのいずれかがなされた点ｔの座標（ｘ，ｙ）を算出する。算出された座標は、ディスプレイ画面１１３の画素数（例えばｘ：１０２４，ｙ：７６８）によって表され、１０ｍｓ、あるいは２０ｍｓといった時間で周期的にホスト装置４にタッチ信号として出力する。なお、座標検出装置３のタッチ点の座標の算出については、後に詳述する。
【００２５】
また、座標検出装置３は、後述する光学検出器が検出したデータを入力するための左光学検出器Ｉ／Ｆ１０１、右光学検出器Ｉ／Ｆ１０２、座標検出装置３全般を制御する中央演算装置１０４、中央演算装置１０４で使用されるプログラムが格納されているＲＯＭ１０５、中央演算装置１０４の作業データが一時保存されるＲＡＭ１０６、周期的に時間を計測して中央演算装置１０４に入力するタイマ（ＴＩＭＥＲ）１０７、ホストＩ／Ｆ１０３とを備えている。
【００２６】
ホスト装置４は、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）であって、Ｗｉｎｄｏｗｓ（Ｒ）、ＭＡＣＯＳ（Ｒ）、Ｌｉｎｕｘ（Ｒ）といった汎用的なＯＳを搭載している。そして、プログラムのドライバソフトであるドライバ１０８と、汎用的なＯＳの制御下で動作する複数のアプリケーションであるＡＰＬ群１１１（アプリケーション群１１１のうち、いずれかのアプリケーションをＡＰＬ１１１とも記す）と、画像データが一時的に保存される画像ＲＡＭ１１５とを有している。
【００２７】
なお、本実施の形態では、ＡＰＬ群１１１のうちの１つのアプリケーションとして上書用アプリケーション（上書用ＡＰＬ）を備えている。図１においては、本実施の形態のタッチパネル付きディスプレイ装置が上書用アプリケーションを有する点を明瞭に示すため、ＡＰＬ群１１１のうち特に上書用アプリケーションを上書用ＡＰＬ１１４として示す。
【００２８】
本実施の形態のタッチパネル付きディスプレイ装置には、後述するように、上書用ＡＰＬ１１４と上書用ＡＰＬ１１４以外のＡＰＬ群１１１のいずれかとを切り替える操作ボタンにあたる領域（操作ボタン）がディスプレイ画面１１３上に設けてある。オペレータが操作ボタン上の点をタッチすることにより、上書モードがＡＰＬ１１１に切り替えられる。
【００２９】
図２は、上書用ＡＰＬ１１４の構成を説明するための機能ブロック図である。上書用ＡＰＬ１１４は、ＡＰＬ１１１によって表示された画像に書き込みを行う上書の動作を制御する上書制御部２０１と、上書用アプリケーションの起動時、起動の直前に実行権を有するアプリケーションを制御するツールバーのディスプレイ画面上における表示領域を検出すると共に保存するツールバー領域保存部２０３と、上書用ＡＰＬ１１４に実行権があって、かつ、座標検出装置３がツールバー領域保存部２０３によって保存されている表示領域上のタッチを検出した場合、ツールバーによって制御されるＡＰＬに制御の実行権を移行する制御移行部２０５と、備えている。
【００３０】
ここで、座標検出装置３が出力するタッチ信号とタッチ信号を変換して得られるマウス信号とについて説明する。座標検出装置３は、座標入力装置１に対してなされたタッチのタッチ点のアナログデータを入力し、タッチ点の座標を算出する。そして、座標のデータとタッチの有無や状態（タッチ、デタッチ、移動・停止タッチ）とを示すタッチデータをタッチ信号としてホスト装置４のドライバ１０８に与える。タッチ信号は、ドライバ１０８によってマウス信号に変換される。
【００３１】
ドライバ１０８は、上書用ＡＰＬ１１４に実行権がある場合、ツールバー領域保存部２０３によって保存されている表示領域上のタッチを示すタッチ信号を受け取ると、マウス信号に変換されたタッチ信号の引渡先をＡＰＬ１１４からＡＰＬ１１１に切り替える。また、タッチ信号の引渡先のＡＰＬ１１４からＡＰＬ１１１への切り替え、ＡＰＬ１１１からＡＰＬ１１４への切り替えは、ディスプレイ画面１１３上に設けられた専用のボタン（ＡＰＬボタン）の操作によっても可能である。
【００３２】
図３（ａ）は、タッチ信号のデータ形式を説明するための図、図３（ｂ）はマウス信号のデータ形式を説明するための図である。図３（ａ）に示したように、タッチ信号は、タッチ点のｘ座標、ｙ座標、さらにタッチ点の座標ステータスの情報を含んでいる。座標ステータスは、タッチ信号が、タッチ、デタッチ、移動・停止タッチのいずれであるかを１または０によって示すものである。なお、座標検出装置３がタッチ、デタッチ、移動・停止タッチを検出した場合、各タッチを示すフィールドに１が設定される。
【００３３】
また、図３（ｂ）に示したように、マウス信号は、タッチ点のｘ座標、ｙ座標、さらにマウスステータスの情報を含んでいる。マウスステータスは、マウスの右ボタンのオン、オフ、左ボタンのオン、オフを１または０によって示すものである。タッチ、デタッチ、移動・停止タッチは、マウスの右ボタンのオン、オフ、左ボタンのオン、オフのうちいずれかと対応付けて設定されている。
【００３４】
次に、本実施の形態のタッチパネル付きディスプレイ装置におけるタッチ点の検出および座標の算出について説明する。図４は、本実施の形態の座標入力装置を示す図である。座標入力装置１は、図中の縦方向の長さがＨ、横の長さがＷの矩形の座標入力面１１２と、座標入力面の三辺に設けられた再帰性反射部材４０１と、再帰性反射部材４０１が設けられていない１辺の両端に設けられた左光学検出器４０２Ｌ、右光学検出器４０２Ｒとを備えている。
【００３５】
左光学検出器４０２Ｌ、右光学検出器４０２Ｒは、いずれも半導体レーザである光源（図示せず）と、例えばＣＣＤ（Ｃｈａｒｇｅｄ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）を利用した受光部（図示せず）とを一体化したユニットである。光源は、座標入力面１１２の全域に光源を要とする扇状に光を照射する。左光学検出器４０２Ｌ、右光学検出器４０２Ｒが扇状の光を照射することによって、レーザ光は座標入力面１１２の全域に照射される。
【００３６】
座標入力面１１２に照射された光は、再帰性反射部材４０１に反射される。再帰性反射部材４０１は、光を１８０度の角度で反射する部材であって、例えば図中に示す照射光ｐ１を反射して照射光ｐ１の光軸に平行な光軸を通る反射光ｐ２とする。座標入力面上１１２に光を遮るものが存在しない場合、左光学検出器４０２Ｌ、右光学検出器４０２Ｒ、は照射された光のすべての反射光を受光する。しかし、例えば指やペンが座標入力面１１２にタッチしたとき、タッチ点を通る光が左光学検出器４０２Ｌ、右光学検出器４０２Ｒに受光されない。
【００３７】
左光学検出器４０２Ｌ、右光学検出器４０２Ｒによって検出される光の情報は、アナログデータとして座標検出装置３に入力する。このとき、座標検出装置３は、扇状に照射された光のうち、受光部の光を受光しなかった位置で本来受光されるはずの光の光軸から左光学検出器４０２Ｌ、右光学検出器４０２Ｒの受光部を通る直線と各受光部とタッチ点ｔとを通る直線との角度（光遮蔽角度）θＬ、θＲとを求める。タッチ点ｔの座標（ｘ，ｙ）は、角度θＬ、θＲを使って以下のように算出される。
【００３８】
ｘ＝Ｗ×ｔａｎθＲ／（ｔａｎθＬ＋ｔａｎθＲ）
ｙ＝Ｈ−Ｗ×ｔａｎθＬ×ｔａｎθＲ／（ｔａｎθＬ＋ｔａｎθＲ）
【００３９】
以上述べた構成は、以下のように動作する。すなわち、座標検出装置３は、タッチ点の座標を算出し、タッチ、デタッチなどの座標ステータスと共にタッチ信号としてホスト装置４に引き渡す。ホスト装置４のドライバ１０８は、座標検出装置図３からタッチ信号をＲＳ２３２ＣあるいはＵＳＢを介して受け取り、マウス信号に変換してＡＰＬ１１４またはＡＰＬ群１１１のいずれかに通知する。
【００４０】
操作ボタンの操作によって変換後のタッチ信号の引渡先がＡＰＬ１１１に指定されている場合、マウス信号は、ＡＰＬ１１１に渡される。ＡＰＬ１１１は、受け取ったマウスデータに含まれる座標に関する情報やボタンのオン、オフの情報にしたがって予め座標に設定されている機能を実行する。ここでいう機能とは、例えば、ドラッグの軌跡を特定の色や太さの線で描画する文字描画、図形描画、罫線描画、さらに画像の変倍やスクロールをいう。
【００４１】
ＡＰＬ１１１の機能の実行によって作成された画像データは、Ｒ，Ｇ，Ｂで表される形式で画像ＲＡＭ１１５に展開され、表示装置２に送出する。表示装置２は、画像データをディスプレイ画面１１３に表示する。
【００４２】
図５（ａ）〜（ｃ）は、文字描画を説明するための図である。図５（ａ）〜（ｃ）に示した点（ｘ０，ｙ０）、（ｘ１，ｙ１）…（ｘ３，ｙ３）は、点（ｘ０，ｙ０）から少なくとも点（ｘ３，ｙ３）まで移動・停止タッチがなされたことを示している。前記したように、座標検出装置３は移動・停止タッチの途中に周期的に移動・停止タッチ点の座標を検出し、連続して検出された２点間の最短距離を示す線が描画される。描画された線は、移動・停止タッチの軌跡を示す。
【００４３】
図６は、以上のようにして描画された線を消去する消しゴムの機能を説明するための図である。図５のようにして描画された移動・停止タッチの軌跡を示す線によって、例えば「佐藤」の文字が描画される。文字を描画するモードにあっては、図示しない消しゴム機能を選択し、矢線で示すポイントにタッチする（図６（ａ））。このような処理により、タッチ点を中心とする所定の範囲内にある画像が消去される（ｂ）。
【００４４】
図７（ａ）〜（ｃ）は、図６に示した手順で描画された画像、または他のＡＰＬで作成された文書の上に上書する際の操作を説明するための図である。図７（ａ）〜（ｃ）に示した画面には、上書ツールバー７０３が表示されている。上書ツールバー７０３は、ペンボタン、消しゴムボタンといった複数のボタンを有している。上書ツールバー７０３上のボタンにタッチがなされると、上書モードの起動直前に実行権を持っていたアプリケーション名、開いていたファイル名を上書用ＡＰＬ１１４が取得、保存する。図７（ａ）の画面は、上書モードを起動し、ＡＰＬ１１１のウィンドウに線Ｌ１を描画した状態を示している。
【００４５】
なお、このとき、ＡＰＬ１１１のウィンドウにはＡＰＬ１１１を制御するためのファイル、編集といったコマンドボタンが複数表示されている。複数のコマンドボタンは、ツールバー７０５上に配置されていて、上書モードへの移行後も同様に表示されている。このため、オペレータは、上書モードの操作中に例えばＡＰＬ１によって表示されている画面を保存しようとしてファイルボタン上にタッチしてしまうことも少なくない。このような場合、タッチ点の信号は上書用ＡＰＬ１１４に入力するので、当然ながら、コマンドボタンは機能せず、オペレータがＡＰＬボタンにタッチして再度操作しなおすことが必要になる。本発明は、このような不具合を解消し、円滑にタッチパネル付きディスプレイ装置を操作するためになされたものである。
【００４６】
上書ツールバー７０３には、線の太さや色を選択するペンボタン、描画した線を消去する消しゴム、表示されているページを変更するＰａｇｅＵｐボタン、ＰａｇｅＤｏｗｎボタン、画面を矢線の方向にスクロールさせるボタン、上書がなされた上書ページの一覧を表示する一覧ボタン、必要に応じて上書モードを他のアプリケーションのモードに移行するＡＰＬボタンがある。
【００４７】
さらに、上書ツールバー７０３は、制御移行選択ボタン７０６を有している。制御移行選択ボタン７０６は、上書モードから自動的に汎用ＯＳモードで動作する他のＡＰＬのモード（ＡＰＬモード）に制御を移行するか否かを選択するためのボタンである。制御移行選択ボタン７０６については、後述する。
【００４８】
上書用ＡＰＬ１１４は、上書された線をページ画像に追加して保存する。また、上書モードから他のＡＰＬによって制御されるモードへ移行し、再び上書モードに戻って線Ｌ２を描画したとき、図７（ｂ）のように、実行権を持つＡＰＬがウィンドウ７０２を表示するＡＰＬに変わっていることがある。このような場合、上書用ＡＰＬ１１４は、ウィンドウ７０２を表示するＡＰＬを新たな上書対象とする。
【００４９】
さらに、上書用ＡＰＬ１１４は、上書対象となっていたＡＰＬが終了したとき、上書データが存在すれば、図７（ｃ）のように、自動的に保存ダイアログボックス７０４を表示させる。そして、オペレータが指定した保存の形式（保存しない、上書文字＋ページ画像保存、上書文字保存）で上書データを保存する。
【００５０】
図８は、図７で述べた上書保存されているページ一覧の表示を説明するための図である。図示するように、ページ一覧では、上書、保存されているページを１画面に１ページずつ表示するか、複数（２〜６）ページごとに表示するかを選択できる（図８（ａ））。（ｂ）は、プルダウンメニューから選択された画像を１ページに表示した例を示している。
【００５１】
図９（ａ）、（ｂ）は、以上述べた上書モードから他のＡＰＬ（ＡＰＬ１１１とする）によって制御されるモードに自動的に移行するための処理を説明するための図であって、図９（ａ）はＡＰＬ１１１によって制御されるウィンドウに表示される画像（ＡＰＬ画像）のツールバーを示す図である。また、図９（ｂ）は、ツールバーの領域の認識の方法を例示するための図である。なお、本実施の形態では、コマンドバー９０１とスクロールバー９０２とを総称してツールバーというものとする。
【００５２】
コマンドバー９０１は、ファイルボタン９０１ａ、編集ボタン９０１ｂ、表示ボタン９０１ｃ、挿入ボタン９０１ｄ、書式ボタン９０１ｅ、ツールボタン９０１ｆ、罫線ボタン９０１ｇ、ウィンドウボタン９０１ｈ、ヘルプボタン９０１ｉといった複数のコマンドボタンを含んでいる。また、スクロールバー９０２は、縦スクロール部９０２ａ、横スクロール部９０２ｂを含んでいる。コマンドバー９０１の各コマンドボタンはタッチによって操作され、スクロールバー９０２の縦スクロール部９０２ａ、横スクロール部９０２ｂは、ドラッグによって操作される。
【００５３】
ファイルボタン９０１ａは、表示されている画面が保存されているファイル全体を制御するためのボタンであり、ファイルボタン９０１ａをクリックするとプルダウンメニューが表示され、表示されたプルダウンメニューにおいて保存、印刷のコマンドが表示される。表示されたコマンドを選択することにより、ファイルの保存、印刷ができる。また、編集ボタン９０１ｂは、クリックされた場合に画面中の文字の検索や修正といったコマンドを表示する。また、表示ボタン９０１ｃは画面の表示の仕方を制御するコマンドを表示し、挿入ボタン９０１ｄはページ番号や改行記号などの特殊な制御記号を挿入するコマンドを表示する。さらに、書式ボタン９０１ｅは画面に表示されている文字のフォントや段落に関するコマンドを表示し、ツールボタン９０１ｆは文書の校正や表記ゆれなどのツールを起動する。罫線ボタン９０１ｇは、ＡＰＬの画面に罫線を描画する、あるいは描画された罫線を削除するコマンドを表示する。
【００５４】
また、ウィンドウボタン９０１ｈはウィンドウに表示されるファイルの画面配置や分割を制御するコマンドを表示する。さらに、ヘルプボタン９０１ｉは、ＡＰＬのヘルプを起動するコマンドを表示するボタンである。
【００５５】
オペレータが以上のボタンのいずれかにタッチすると、タッチ信号がマウス信号の左クリック信号に変換され、ＡＰＬ１１１に通知される。ＡＰＬ１１１は、マウス信号を受け取ってコマンドボタンに割り当てられた機能を実行する。
【００５６】
上書モードが起動されると、上書用ＡＰＬ１１４のツールバー領域保存部２０３は、上書モードへの指定の直前に表示されていた直前画像であるＡＰＬ画像のコマンドバー９０１、スクロールバー９０２の領域を検出する。領域の検出は、例えば、図９（ｂ）のように、コマンドバー９０１の原点座標ｏ（ｘ，ｙ）、ツールバーの幅Ｈ、図中の横方向の長さＷの情報を取得することによって可能である。また、同様に、縦スクロール部９０２ａの原点座標ｐ、幅Ｈｐと長さＷｐ、横スクロール部９０２ｂの原点座標ｑ、幅Ｈｑと長さＷｑの情報を取得することによってスクロールバー９０２の領域を検出することも可能である。
【００５７】
ツールバー領域保存部２０３は、検出した領域に関する情報をＰＣの図示しないメモリに保存する。そして、座標検出装置３が検出したタッチ点をコマンドバー９０１、スクロールバー９０２の領域に対照する。タッチ点がコマンドバー９０１あるいはスクロールバー９０２上で検出された場合、制御移行部２０５は、コマンドバー９０１、スクロールバー９０２によって制御される画像を表示するＡＰＬ１１１に制御の実行権を移行する。この結果、検出されたタッチ点を示す信号がマウス信号に変換されてＡＰＬ１１１に引き渡される。
【００５８】
このとき、制御移行部２０５は、制御の実行権を移行する前に、座標検出装置３がコマンドバー９０１上で検出したタッチからデタッチまでのデータを保存しておき、マウスデータとしてＡＰＬ１１１に通知する。このため、コマンドバー９０１上のコマンドボタンの操作がＡＰＬ１１１に通知され、コマンドボタンに割り当てられている制御が速やかに実行される。
【００５９】
ところで、前述したように、コマンドバー９０１の操作はタッチ、デタッチによって完了する。このため、座標検出装置３がコマンドバー９０１上で検出したタッチがドラッグ操作を示す場合、このドラッグはコマンドボタンの説明などのためになされた可能性があると思われる。このため、制御移行部２０５はコマンドバー９０１上でドラッグがなされた場合には実行権をＡＰＬ１１１に移行することなく、上書用アプリケーションの実行権を保持する。
【００６０】
なお、スクロールバー９０２は、縦スクロール部９０２ａ、横スクロール部９０２ｂのドラッグによって操作される。このことから、スクロールバー９０２上のタッチ、ドラッグは共にオペレータがスクロールバー９０２を操作する目的で行ったものであるとして制御移行部２０５は実行権をＡＰＬ１１１に移行する。
【００６１】
また、上書モードの動作時にＡＰＬ１１１のコマンドバー９０１やスクロールバー９０２にタッチすることによっても上書モードのウィンドウ上でのタッチが検出され、上書きの描画がなされる。本実施の形態のタッチパネル付きディスプレイ装置では、制御移行部２０５が制御の実行権を移行する場合、上書モードのウィンドウのうち、上書制御部２０１が座標検出装置３によってコマンドバー９０１やスクロールバー９０２上で検出されたタッチからデタッチまでに描画された線を消去する。このようにすることにより、オペレータが誤ってコマンドバー９０１、スクロールバー９０２などのツールバーにタッチしたために意図しない線が描画されることを防ぐことができる。
【００６２】
なお、以上述べたディスプレイ画面１１３の制御の上書モードにおいて、自動的に実行権を移行するか否かは、制御移行選択ボタン７０６によって任意に選択することができる。すなわち、制御移行選択ボタン７０６にタッチして例えばオンにしていた場合、上書制御部２０１の動作中にツールバー領域保存部２０３によって保存された領域上のタッチが検出されると、ＡＰＬ１１１にタッチの信号を受け渡し、ＡＰＬ１１１によって制御されるモードに切り替える。
【００６３】
また、制御移行選択ボタン７０６を例えばオフにしておけば、上書制御部２０１の動作中にツールバー領域保存部２０３によって保存された領域上のタッチが検出された場合にもタッチの信号の受け渡し先を切り替えることがない。このような場合、オペレータは、従来と同様にＡＰＬボタンを操作してディスプレイ画面１１３の制御を他のＡＰＬによって制御されるモードに切り替えればよい。
【００６４】
このように処理することによって、各オペレータにとって操作しやすいモードを選択することができる。このため、本実施の形態は、画面を自動的に移行する機能を持ったタッチパネル付きディスプレイ装置の操作性をいっそう高めることができる。
【００６５】
次に、以上述べたタッチパネル付きディスプレイ装置で行われるマウスエミュレーション、上書制御、上書きツールバーの制御、上書モードから他のＡＰＬによって制御されるモードへの移行の処理を、フローチャートにして説明する。
【００６６】
▲１▼マウスエミュレーション
図１０は、マウスエミュレーションの処理について説明するフローチャートである。なお、図示したフローチャートは、ホスト装置４によってなされる制御について説明している。
【００６７】
座標検出装置３は、周期的に座標入力装置１がタッチ（タッチ、デタッチ、移動・停止タッチなどのいずれか）を検出したか否か判断する。そして、検出されたタッチの座標を算出し、ホスト装置４に出力する。ホスト装置は、座標のデータが入力されたか否か判断する（ステップＳ１００１）。そして、座標のデータが入力していない場合（ステップＳ１００１：Ｎｏ）、入力するまで待機する。
【００６８】
また、座標データが入力された場合（ステップＳ１００１：Ｙｅｓ）、この座標がタッチ座標を示すか否か判断する（ステップＳ１００２）。そして、タッチ座標を示す場合には（ステップＳ１００２：Ｙｅｓ）、タッチの操作が右クリックに割り当てられているか否か判断する（ステップＳ１００３）。右クリックに割り当てられている場合には（ステップＳ１００３：Ｙｅｓ）、マウス信号の右ボタンオン座標を表示装置２に出力（通知）する（ステップＳ１００４）。
【００６９】
また、タッチ操作が右クリックに割り当てられていない場合（ステップＳ１００３：Ｎｏ）、マウス信号の左ボタンオン座標を表示装置２に通知する（ステップＳ１００５）。そして、ステップＳ１００２においてタッチ座標でないと判断した場合（ステップＳ１００２：Ｎｏ）、移動・停止タッチの座標であるか否か判断する（ステップＳ１００６）。移動・停止の座標であると判断すると（ステップＳ１００６：Ｙｅｓ）、移動・停止タッチの操作が右クリックに割り当てられているか否か判断する（ステップＳ１００７）。
【００７０】
ステップＳ１００７の判断の結果、移動・停止タッチの操作が右クリックに割り当てれていれば（ステップＳ１００７：Ｙｅｓ）、マウス信号の右ボタンオン座標を表示装置２に通知する（ステップＳ１００８）。また、移動・停止タッチの操作が右クリックに割り当てられていない場合（ステップＳ１００７：Ｎｏ）、マウス信号の左ボタンオン座標を表示装置２に通知する（ステップＳ１００９）。
【００７１】
さらに、ステップＳ１００６においてタッチが移動・停止タッチでないと判断した場合（ステップＳ１００６：Ｎｏ）、タッチがデタッチ座標を示すものであるか否か判断する（ステップＳ１０１０）。デタッチ座標である場合（ステップＳ１０１０：Ｙｅｓ）、タッチの操作が右クリックに割り当てられているか否か判断する（ステップＳ１０１１）。右クリックに割り当てられている場合には（ステップＳ１０１１：Ｙｅｓ）、マウス信号の右ボタンオン座標を表示装置２に通知する（ステップＳ１０１２）。
【００７２】
さらに、デタッチの操作が右クリックに割り当てられていない場合（ステップＳ１０１１：Ｎｏ）、マウス信号の左ボタンオン座標を表示装置２に通知する（ステップＳ１０１３）。
【００７３】
▲２▼上書制御
図１１は、上書モード時に行われる制御を説明するためのフローチャートである。図１１に示したフローチャートは、上書用ＡＰＬ１１４の主に制御移行部２０５によってなされる処理を示している。図１１に示すように、上書用ＡＰＬは、上書モードが起動すると上書ツールバーを表示する（ステップＳ１１０１）。
【００７４】
そして、上書用ＡＰＬ１１４は、他のＡＰＬから実行権を移し（ステップＳ１１０２）、上書対象となる画面を表示するＡＰＬを「無し」に設定する（ステップＳ１１０３）。さらに、上書の操作モードを文字描画に設定する（ステップＳ１１０４）。以上の処理は、上書ツールバーを初期化する処理である。
【００７５】
次に、上書用ＡＰＬ１１４は、タッチ信号が変換されたマウス信号（マウスデータ）を引き渡されたか否か判断する（ステップＳ１１０５）。マウスデータが渡されていない場合（ステップＳ１１０５：Ｎｏ）、ステータスがＡＰＬのモードであるか否か判断し（ステップＳ１１０６）、ＡＰＬのモードであった場合には（ステップＳ１１０６：Ｙｅｓ）、上書モードを終了するか否か判断する（ステップＳ１１０７）。上書モードを終了する場合（ステップＳ１１０７：Ｙｅｓ）、上書データがあるか否か判断する（ステップＳ１１０８）。
【００７６】
ステップＳ１１０８の判断の結果、上書データがあった場合には（ステップＳ１１０８：Ｙｅｓ）、上書データの保存制御を実行する（ステップＳ１１０９）。上書データの保存制御とは、上書用ＡＰＬ１１４が終了した場合、保存ダイアログボックスを表示して上書データを保存するものである。上書データが保存されると、終了したＡＰＬ１１４の情報をクリアする（ステップＳ１１１０）。
【００７７】
以上の処理の終了後、あるいはステップＳ１１０６〜１１０８においてノーと判断した場合、上書用ＡＰＬ１１４は、いずれも次のマウスデータの入力に備える。
【００７８】
また、ステップＳ１１０５において、マウスデータの入力がなされたと判断した場合（ステップＳ１１０５：Ｙｅｓ）、このマウスデータが上書ツールバー上のタッチを示すものであるか否か判断する（ステップＳ１１１１）。ツールバー上のタッチを示す場合（ステップＳ１１１１：Ｙｅｓ）、このときアクティブになっているウィンドウを制御するＡＰＬを判断する（ステップＳ１１１２）。そして、このＡＰＬの情報を上書モードに移行する直前画像を制御するＡＰＬ（直前ＡＰＬ）であるとし、直前ＡＰＬの情報を取得する（ステップＳ１１１３）。なお、直前ＡＰＬの情報には、直前ＡＰＬのツールバーやスクロールバーの原点座標や幅、長さの情報も、さらにはＡＰＬの種別やファイルの名称が含まれる。
【００７９】
そして、上書すべき上書ＡＰＬが直前ＡＰＬであるか否か判断し（ステップＳ１１１４）、上書ＡＰＬが直前ＡＰＬと一致した場合には（ステップＳ１１１４：Ｙｅｓ）、直前ＡＰＬを上書ＡＰＬとする（ステップＳ１１１５）。そして、上書モードに移行して上書ツールバーによる画面の制御を行う（ステップＳ１１１６）。
【００８０】
なお、ステップＳ１１１２で実行権がＡＰＬにないと判断した場合（ステップＳ１１１２：Ｎｏ）、あるいは上書の対象になる画面を制御するＡＰＬが変更されていた場合（ステップＳ１１１４：Ｎｏ）、直ちに上書ツールバーによる画面の制御を行う（ステップＳ１１１６）。
【００８１】
また、ステップＳ１１１１で入力されたマウスデータが上書ツールバー上の座標を示していない場合（ステップＳ１１１１：Ｎｏ）、ホスト装置４に搭載された汎用的なＯＳ（本実施の形態ではＷｉｎｄｏｗｓ（Ｒ））で制御される他のＡＰＬのモード（Ｗｉｎｄｏｗｓ（Ｒ）モード）に自動的に移行する制御を実行する（ステップＳ１１１７）。自動的な移行の制御は、後に図１４で説明する。
【００８２】
上書用ＡＰＬ１１４は、Ｗｉｎｄｏｗｓ（Ｒ）のモードに移行するか否か判断する（ステップＳ１１１８）。この結果、移行すると判断した場合（ステップＳ１１１８：Ｙｅｓ）、次のマウスデータの入力に備えて待機する。
【００８３】
一方、上書用ＡＰＬ１１４は、ステップＳ１１１８でモードを移行しないと判断した場合（ステップＳ１１１８：Ｎｏ）、上書モードの操作が文字描画であるか否か判断する（ステップＳ１１１９）。判断の結果、文字描画であった場合（ステップＳ１１１９：Ｙｅｓ）、ＡＰＬで表示された画面に上書きをする（ステップＳ１１２０）。この上書により、タッチ、停止・移動タッチ、デタッチの軌跡が、設定されている色および太さの線で表される。
【００８４】
また、ステップＳ１１１９の判断の結果、操作モードが文字描画でないと判断した場合（ステップＳ１１１９：Ｎｏ）、操作モードが消しゴムであるか否か判断する（ステップＳ１１２１）。判断の結果、操作モードが消しゴムであると判断した場合（ステップＳ１１２１：Ｙｅｓ）、上書きされた文字を消去する（ステップＳ１１２２）。また、消しゴムでもないと判断した場合には（ステップＳ１１２１：Ｎｏ）、次のマウス信号の入力に備えて待機する。
【００８５】
▲３▼上書きツールバーの制御
図１２、１３は、上書モードツールバーの制御を説明するためのフローチャートである。なお、このフローチャートは、上書き用ＡＰＬ１１４の主に上書制御部２０１によってなされる処理を示している。上書き用ＡＰＬ１１４は、先ず、図１２に示すように、ツールバー上のコマンドボタンのうち、タッチされたボタンを選択された状態を示す選択表示にする（ステップＳ１２０１）。そして、選択されたコマンドボタンのボタン名を保存する（ステップＳ１２０２）。
【００８６】
次に、上書用ＡＰＬ１１４は、上書き用ツールバー上のマウスデータが入力されたか否か判断する（ステップＳ１２０３）。なお、このマウスデータは、上書用ツールバーに対するタッチからデタッチまでのマウスデータで、マウスデータの入力がない場合（ステップＳ１２０３：Ｎｏ）、入力があるまで待機する。
【００８７】
また、マウスデータが入力された場合（ステップＳ１２０３：Ｙｅｓ）、このマウスデータがデタッチを示すオフ座標データであるか否か判断する（ステップＳ１２０４）。オフ座標データでない場合（ステップＳ１２０４：Ｎｏ）、タッチされたコマンドボタンが無効であるか否か判断する（ステップＳ１２０５）。この結果、無効でない場合（ステップＳ１２０５：Ｎｏ）、マウスデータがコマンドボタン上にタッチしたのち、タッチ点を移動してドラッグと同様の操作が行われたことを示すものであるか否かを判断する（ステップＳ１２０６）。
【００８８】
この結果、ドラッグと同様の操作が行われたと判断した場合（ステップＳ１２０６：Ｎｏ）、選択表示されていたコマンドボタンを無効にする（ステップＳ１２０７）。そして、無効にされたコマンドボタンの表示状態を通常に戻す（ステップＳ１２０８）。
【００８９】
以上の処理において、ステップＳ１２０５でボタンが無効であると判断した場合（ステップＳ１２０５：Ｙｅｓ）、ステップＳ１２０６でドラッグと同様の操作がなされたと判断した場合（ステップＳ１２０６：Ｙｅｓ）、上書用ＡＰＬ１１４は、次のマウスデータの入力に備えて待機する。
【００９０】
また、ステップＳ１２０４でマウスデータがオフ座標を示すものであると判断した場合（ステップＳ１２０４：Ｙｅｓ）、タッチされたコマンドボタンが無効であるか否か判断する（ステップＳ１２０９）。この結果、コマンドボタンが無効であれば（ステップＳ１２０９：Ｙｅｓ）、処理の最初に戻る。また、コマンドボタンが無効でない場合（ステップＳ１２０９：Ｎｏ）、選択表示されていたコマンドボタンを通常表示に戻す（ステップＳ１２１０）。このとき、コマンドボタンに割り当てられている機能が実行される。
【００９１】
次に、上書用ツールバーに対するタッチが、ＡＰＬモードからなされたものか否か判断する（ステップＳ１２１１）。この結果、ＡＰＬモードからなされたものでなかった場合（ステップＳ１２１１：Ｎｏ）、タッチされたボタンがＡＰＬボタンであったか否か判断する処理に進む（ステップＳ１２１４）。また、ＡＰＬモードにステータスがあった状態から上書用ツールバーがタッチされたのであると判断した場合（ステップＳ１２１１：Ｙｅｓ）、ステータスをＡＰＬモードから上書モードに移行する（ステップＳ１２１２）。そして、ＡＰＬモードへの移行時にＡＰＬによって表示される画面上に上書されていた文字を再度表示する（ステップＳ１２１３）。
【００９２】
次に、上書用ＡＰＬ１１４は、タッチされたコマンドボタンがＡＰＬボタンであるか否か判断する（ステップＳ１２１４）。ＡＰＬボタンであれば（ステップＳ１２１４：Ｙｅｓ）、ステータスをＡＰＬモードに移行し（ステップＳ１２１５）、上書した文字を消去する（ステップＳ１２１６）。そして、制御をＡＰＬに移行する（ステップＳ１２１７）。
【００９３】
また、ステップＳ１２１４においてタッチされた上書ツールバーのボタンがＡＰＬボタンでないと判断した場合（ステップＳ１２１４：Ｎｏ）、線や文字を手書き入力する、いわゆるペンの機能を実行するためのボタンがタッチされたか否か判断する（ステップＳ１２１８）。ペンのボタンがタッチされた場合（ステップＳ１２１８：Ｙｅｓ）、上書用ＡＰＬ１１４は、上書モードの操作を文字描画に設定する（ステップＳ１２１９）。
【００９４】
また、ステップＳ１２１８においてタッチされた上書ツールバーのボタンがペンのボタンでないと判断した場合（ステップＳ１２１８：Ｎｏ）、ペンで描画された線を消すための消しゴムボタンがタッチされたか否か判断する（ステップＳ１２２０）。消しゴムボタンがタッチされた場合（ステップＳ１２２０：Ｙｅｓ）、上書用ＡＰＬ１１４は、上書モードの操作を消しゴムに設定する（ステップＳ１２２１）。
【００９５】
次に、上書ＡＰＬ１１４は、ステップＳ１２２０においてタッチされた上書ツールバーのボタンが消しゴムのボタンでないと判断した場合（ステップＳ１２２０：Ｎｏ）、画面の一覧を表示する一覧ボタンがタッチされたか否か判断する（ステップＳ１３０１）。一覧ボタンがタッチされた場合（ステップＳ１３０１：Ｙｅｓ）、上書用ＡＰＬ１１４は、ページ一覧表示制御を実行する（ステップＳ１３０２）。
【００９６】
さらに、ステップＳ１３０１においてタッチされた上書ツールバーのボタンが一覧ボタンでないと判断した場合（ステップＳ１３０１：Ｎｏ）、表示されている画面に上書文字があるか否か判断する（ステップＳ１３０３）。この結果、上書文字がない場合（ステップＳ１３０３：Ｎｏ）、画面のうちの表示されている部分よりも上の部分を見るＰａｇｅＵｐボタンがタッチされたか否か判断する（ステップＳ１３０６）。
【００９７】
また、ステップＳ１３０３において上書文字があると判断した場合（ステップＳ１３０３：Ｙｅｓ）、この上書文字を保存する（ステップＳ１３０４）と共に、画面から消去する（ステップＳ１３０５）。そして、ＰａｇｅＵｐボタンがタッチされたか否か判断（ステップＳ１３０６）し、ＰａｇｅＵｐボタンがタッチされた場合には、画像のより上の部分が表示されるように画面を変更するＰａｇｅＵｐキーコードを出力する（ステップＳ１３０７）。
【００９８】
また、上書用ＡＰＬ１１４は、ステップＳ１３０６においてタッチされた上書ツールバーのボタンがＰａｇｅＵｐボタンでないと判断した場合（ステップＳ１３０６：Ｎｏ）、画面のうちの表示されている部分よりも下の部分を見るＰａｇｅＤｏｗｎボタンがタッチされたか否か判断する（ステップＳ１３０８）。そして、ＰａｇｅＤｏｗｎボタンがタッチされたと判断した場合（ステップＳ１３０８：Ｙｅｓ）、ＰａｇｅＤｏｗｎを実現するためのＰａｇｅＤｏｗｎキーコードを出力する（ステップＳ１３０９）。
【００９９】
ステップＳ１３０８において、ＰａｇｅＤｏｗｎボタンがタッチされていないと判断した場合（ステップＳ１３０８：Ｎｏ）、上書用ＡＰＬ１１４は、タッチされたボタンが画面を上方にスクロールする「↑」ボタンであるか否か判断する（ステップＳ１３１０）。「↑」ボタンであれば（ステップＳ１３１０：Ｙｅｓ）、スクロール部９０２ａを上へ移動したのと同様に、画面をスクロールするよう画面を制御する（ステップＳ１３１１）。
【０１００】
また、ステップＳ１３１０において、「↑」ボタンがタッチされていないと判断した場合（ステップＳ１３１０：Ｎｏ）、上書用ＡＰＬ１１４は、タッチされたボタンが画面を下方にスクロールする「↓」ボタンであるか否か判断する（ステップＳ１３１２）。「↓」ボタンであれば（ステップＳ１３１２：Ｙｅｓ）、スクロール部９０２ａを下へ移動したのと同様に、画面をスクロールするよう制御する（ステップＳ１３１３）。
【０１０１】
また、ステップＳ１３１２において、「↓」ボタンがタッチされていないと判断した場合（ステップＳ１３１２：Ｎｏ）、上書用ＡＰＬ１１４は、タッチされたボタンが画面を左方にスクロールする「←」ボタンであるか否か判断する（ステップＳ１３１４）。「←」ボタンであれば（ステップＳ１３１４：Ｙｅｓ）、スクロール部９０２ｂを左へ移動したのと同様に、画面をスクロールするよう画面を制御する（ステップＳ１３１５）。
【０１０２】
さらに、ステップＳ１３１４において、「←」ボタンがタッチされていないと判断した場合（ステップＳ１３１４：Ｎｏ）、上書用ＡＰＬ１１４は、タッチされたボタンが画面を右方にスクロールする「→」ボタンであるか否か判断する（ステップＳ１３１６）。「→」ボタンであれば（ステップＳ１３１６：Ｙｅｓ）、スクロール部９０２ｂを右へ移動したのと同様に、画面をスクロールするよう画面を制御する（ステップＳ１３１７）。以上の処理の後、上書用ＡＰＬ１１４は、図１２に示す処理の最初に戻る。
【０１０３】
▲４▼上書モードからＷｉｎｄｏｗｓ（Ｒ）モードへの移行の処理
次に、本発明のモード移行の処理について説明する。図１４は、Ｗｉｎｄｏｗｓ（Ｒ）モードへの移行の処理を説明するためのフローチャートである。なお、図１４のフローチャートに示した処理は、上書用ＡＰＬ１１４のうち、主に制御移行部２０５によってなされるものである。
【０１０４】
上書用ＡＰＬ１１４は、先ず、制御移行選択ボタン７０６のオン、オフによって自動的にＷｉｎｄｏｗｓ（Ｒ）モードへ移行する自動移行モードに設定するか否か判断する（ステップＳ１４０１）。この結果、自動移行モードを設定しない場合（ステップＳ１４０１：Ｎｏ）、すべての処理を終了する。
【０１０５】
一方、自動移行モードを設定する場合（ステップＳ１４０１：Ｙｅｓ）、そして、自動移行モードの設定と共に、制御移行選択ボタン７０６に対するタッチがデタッチされていないことを判断し（ステップＳ１４０２）、このタッチからデタッチまでのすべてのマウスデータを保存する（ステップＳ１４０３）。また、ステップＳ１４０２において、ボタンＯＦＦデータ、つまりデタッチを検出した場合（ステップＳ１４０２：Ｙｅｓ）、タッチからデタッチの間に移動・停止タッチ、つまりドラッグ操作が行われたか否か判断する（ステップＳ１４０４）。
【０１０６】
ドラッグ操作が行われたと判断した場合（ステップＳ１４０４：Ｙｅｓ）、このドラッグが、スクロールバー９０２上の座標上でなされたものか否か判断する（ステップＳ１４０５）。なお、スクロールバー９０２上の座標の判断は、図１１に示したステップＳ１１１３における直前ＡＰＬの情報として取得したスクロールバー９０２の原点座標、幅、長さに基づいて行われる。ドラッグ操作がスクロールバー９０２上でなされたものでない場合（ステップＳ１４０５：Ｎｏ）、ステップＳ１４０３で保存したマウスデータをクリアする（ステップＳ１４０６）。
【０１０７】
また、ドラッグ操作がスクロールバー９０２上でなされたものである場合（ステップＳ１４０５：Ｙｅｓ）、保存したマウスデータを図示しないマウスＩ／Ｆに通知する（ステップＳ１４０７）。そして、ＡＰＬモードの操作モードが文字描画であるか否か判断する（ステップＳ１４０８）。この結果、文字描画でない場合（ステップＳ１４０８：Ｎｏ）、保存したマウスデータをクリアする（ステップＳ１４１０）。
【０１０８】
また、操作モードが文字描画である場合（ステップＳ１４０８：Ｙｅｓ）、上書文字を消去する（ステップＳ１４０９）。そして、ステップＳ１４０３で保存したマウスデータをクリアし（ステップＳ１４１０）、画像の制御をＷｉｎｄｏｗｓ（Ｒ）モードに移行する（ステップＳ１４１１）。
【０１０９】
なお、上述の処理において、ドラッグがスクロールバー９０２上でなされたか否かの判断は、タッチからデタッチまでに入力するマウスデータのうち、所定の数のマウスデータがスクロールバー９０２上にあればスクロールバー９０２の範囲内とする。この理由は、座標入力装置１の検出精度によってはタッチ、デタッチがドラッグと正確に区別できない場合があること、オペレータがスクロールバー９０２の範囲内でドラッグすることを意図していたにも関わらずドラッグが範囲外に及ぶ場合があることを考慮したものである。この際、データの所定の数は、充分なマージンを見込んで定められていることはいうまでもない。
【０１１０】
また、ステップＳ１４０４においてドラッグ操作がなされていないと判断された場合（ステップＳ１４０４：Ｎｏ）、上書ＡＰＬ１１４は、タッチがコマンドバー９０１上でなされたものか否か判断する（ステップＳ１４１２）。判断の結果、コマンドバー９０１の上でなかった場合（ステップＳ１４１２：Ｎｏ）、保存したマウスデータをクリアする（ステップＳ１４１３）。
【０１１１】
さらに、ステップＳ１４１２においてタッチがコマンドバー９０１上でなされたと判断した場合（ステップＳ１４１２：Ｙｅｓ）、保存されていたマウスデータを図示しないマウスＩ／Ｆに通知する（ステップＳ１４１４）。そして、ＡＰＬの操作モードが文字描画に設定されているか否か判断し（ステップＳ１４１５）、文字描画である場合には（ステップＳ１４１５：Ｙｅｓ）、上書文字を消去する（ステップＳ１４１６）。そして、保存したマウスデータをクリアして（ステップＳ１４１７）、制御をＷｉｎｄｏｗｓ（Ｒ）モードに移行する（ステップＳ１４１８）。
【０１１２】
【発明の効果】
以上説明したように、請求項１に記載の発明は、上書用アプリケーションの動作時にオペレータが他のアプリケーションのツールバーにタッチして他のアプリケーションを操作しようとした場合にオペレータが意識することなく円滑にアプリケーションへ操作を移行することができるので、タッチパネル付きディスプレイ装置の操作性を高め、プレゼンテーションを円滑に行うことができるタッチパネル付きディスプレイ装置を提供することができるという効果を奏する。
【０１１３】
請求項２に記載の発明は、上書モードから他のアプリケーションによって制御されるモードに自動的に移行するばかりでなく、移行と同時にアプリケーションを操作することができるので、いっそうプレゼンテーションを円滑に行うことができるタッチパネル付きディスプレイ装置を提供することができるという効果を奏する。
【０１１４】
請求項３に記載の発明は、描画する意図がないにも関わらず描画された線を自動的に消去することができるので、いっそうプレゼンテーションを円滑に行うことができるタッチパネル付きディスプレイ装置を提供することができるという効果を奏する。
【０１１５】
請求項４に記載の発明は、オペレータがコマンドバーを操作する意図がない場合にアプリケーションが移行してしまうことを防ぎ、いっそうプレゼンテーションを円滑に行うことができるタッチパネル付きディスプレイ装置を提供することができるという効果を奏する。
【０１１６】
請求項５に記載の発明は、各オペレータごとの好みに応じた操作をすることができるので、いっそう操作性の高いタッチパネル付きディスプレイ装置を提供することができるという効果を奏する。
【０１１７】
請求項６に記載の発明は、上書用アプリケーションの動作時にオペレータが他のアプリケーションのツールバーにタッチして他のアプリケーションを操作しようとした場合にオペレータが意識することなく円滑にアプリケーションへ操作を移行することができるので、タッチパネル付きディスプレイ装置の操作性を高め、プレゼンテーションを円滑に行うことができるタッチパネル付きディスプレイ装置の制御方法を提供することができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施の形態のタッチパネル付きディスプレイ装置の全体的な構成を説明するための図である。
【図２】図１に示した上書用ＡＰＬの構成を説明するための機能ブロック図である。
【図３】データ形式の変換を説明するための図である。
【図４】本実施の形態の座標入力装置を説明するための図である。
【図５】タッチによる文字描画を説明するための図である。
【図６】描画された文字を消す消しゴム機能を説明するための図である。
【図７】本実施の形態の上書の操作を説明するための図である。
【図８】図７で述べたページ一覧の表示を説明するための図である。
【図９】上書モードから他のＡＰＬによって制御されるモードに自動的に移行するための処理を説明するための図である。
【図１０】本実施の形態のマウスエミュレーションの処理について説明するフローチャートである。
【図１１】本実施の形態の上書モード時に行われる制御を説明するためのフローチャートである。
【図１２】本実施の形態の上書モードツールバーの制御を説明するためのフローチャートである。
【図１３】本実施の形態の上書モードツールバーの制御を説明するための他のフローチャートである。
【図１４】本実施の形態のモード移行の処理を説明するためのフローチャートである。
【符号の説明】
１　座標入力装置
２　表示装置
３　座標検出装置
４　ホスト装置
１０４　中央演算装置
１０８　ドライバ
１１１　ＡＰＬ群
１１２　座標入力面
１１３　ディスプレイ画面
１１４　上書用ＡＰＬ
２０１　上書制御部
２０３　ツールバー領域保存部
２０５　制御移行部
４０１　再帰性反射部材
４０２Ｒ　右光学検出器
４０２Ｌ　左光学検出器
７０２　ウィンドウ
７０３　上書ツールバー
７０４　上書ページ保存ファイル
７０４　保存ダイアログボックス
７０５　ツールバー
７０６　制御移行選択ボタン
９０１ｈ　ウィンドウボタン
９０１　ツールバー
９０１ｆ　ツールボタン
９０１ａ　ファイルボタン
９０１ｉ　ヘルプボタン
９０１ａ　コマンドボタン
９０１ｇ　罫線ボタン
９０１ｄ　挿入ボタン
９０１ｃ　表示ボタン
９０１ｂ　編集ボタン
９０２　スクロールバー
９０２ａ　縦スクロール部
９０２ｂ　横スクロール部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a display device with a touch panel and a method of controlling the display device with a touch panel, and more particularly to a display device with a touch panel and a control method of the display device with a touch panel having an overwriting function of writing characters and graphics on a displayed image.
[0002]
[Prior art]
With an increase in the size of a display screen (PDP (Plasma Display Panel), liquid crystal rear projector), the use of a display device with a touch panel for presentations, conferences, school lessons, and the like has been increasing. Many display devices with a touch panel used for presentations and the like are display-integrated display devices with a touch panel in which a coordinate input surface of the touch panel is provided so as to overlap a display screen.
[0003]
The display device with a touch panel of an integrated display type allows an operator to draw characters and figures as imagined by touching the display screen with a finger or a pen. For this reason, characters or graphics are written on an image displayed on a display screen using an application operated by an OS (Operating System) such as Windows (R) or UNIX (R) to indicate points, or a supplementary explanation will be given. be able to. Such a function is effective in making the presentation easier to understand. Further, control of writing to an image is called overwrite control, and an operation mode for performing overwrite control is called overwrite mode.
[0004]
[Problems to be solved by the invention]
By the way, the above-mentioned overwrite mode is realized by opening a transparent window on the already displayed screen and eliminating any color in the title bar and the command bar. When a touch is made on a window opened in the overwrite mode, the coordinates of the touch are notified to an application executing the overwrite mode.
[0005]
However, since the window opened in the overwrite mode is transparent, the window (window of the application to be overwritten) or the image of the desktop displayed immediately before entering the overwrite mode is apparently overwritten. It is displayed in the same way as when it is not entered. In such a case, the operator may misunderstand that the application to be overwritten is in a controllable state (the application has the execution right). For this reason, if it is necessary to edit or edit the image to be written while writing the image in overwrite mode, or if you want to scroll the image, the window to be overwritten May be operated.
[0006]
If the overwrite mode has the execution right, the window below the window in the overwrite mode cannot be operated by operating the operation button of the window. At this time, the operator operates the operation unit on the display screen to transfer the execution right to the application controlled by the operation button, and opens the overwrite mode window. Then, it is necessary to operate the operation button again.
[0007]
During execution of the overwrite mode, the operation of sequentially switching the application each time it is necessary to operate the image displayed in the window to be overwritten is not only complicated for the operator but also may obstruct the flow of the presentation. is there. If the operator is in the overwrite mode when operating the operation button in the window below the overwrite mode window, the operator must not only switch the application but also operate the operation button again. In such a case, the flow of the presentation may be further hindered.
[0008]
The present invention has been made in view of the above points, and enhances operability by shifting to a mode in which an operator can operate a screen to be overwritten without being conscious in an overwrite mode, thereby improving presentation. It is an object of the present invention to provide a display device with a touch panel and a control method of the display device with a touch panel, which can be carried out in a single operation.
[0009]
[Means for Solving the Problems]
In order to solve the above-described problems and achieve the object, a display device with a touch panel according to the invention according to claim 1 includes a touch detection unit that detects a touch made on a coordinate input surface, and a touch detection unit that detects the touch. At least one application that displays an image on a display screen based on the detected touch coordinates, an overwriting application that writes on the image displayed by the application, and an overwriting application that is activated when the overwriting application is activated. A toolbar area storing unit that detects and saves a display area on the display screen of a toolbar that controls an application that has an execution right immediately before, and the overwriting application has an execution right, and the touch detection unit is Toolbar area storage means When detecting the touch on the display area being characterized by and a control migration unit for migrating an execution rights control to the application that is controlled by the toolbar.
[0010]
According to the first aspect of the present invention, an image displayed by at least one application that detects a touch made on the coordinate input surface and displays an image on a display screen based on the coordinates of the detected touch In a configuration in which writing can be performed by an overwrite application, when the overwrite application is started, a display area on a display screen of a toolbar for controlling an application having an execution right is detected and stored immediately before the start. Then, when the overwriting application has an execution right and the touch detection unit detects a touch on the saved display area, the control execution right is transferred to the application controlled by the toolbar. For this reason, when the operator touches the toolbar of another application to operate another application during the operation of the overwrite application, the operation can be smoothly shifted to the other application without the operator being conscious of the operation. .
[0011]
The display device with a touch panel according to the invention according to claim 2, wherein the control transfer unit transfers data from a touch to a detach detected on the display area by the touch detection unit before transferring the control execution right. The application is notified as mouse data.
[0012]
According to the second aspect of the present invention, it is possible not only to automatically shift from the overwrite mode to the mode controlled by another application, but also to operate the application simultaneously with the shift.
[0013]
The display device with a touch panel according to the invention according to claim 3, wherein, when the control shift unit shifts the execution right of the control, the line drawn from the touch to the detachment detected on the display area by the touch detection unit. Is further provided with a drawing erasing means for erasing.
[0014]
According to the third aspect of the present invention, it is possible to automatically erase a line that has been overwritten while trying to operate the toolbar during execution of the overwrite mode, that is, even though there is no intention to draw. it can.
[0015]
5. The display device with a touch panel according to claim 4, wherein the control is performed when the toolbar includes a command bar having a command button, and the touch detected by the touch detection unit indicates a drag operation on the command bar. The transfer means holds an execution right of the overwriting application.
[0016]
According to the present invention, it is possible to prevent the application from being shifted by the drag operation on the command bar, and to prevent the application from being shifted when the operator does not intend to operate the command bar. Can be.
[0017]
The display device with a touch panel according to a fifth aspect of the present invention is characterized in that the display device further includes a transition selecting unit that selects whether or not to cause the control transition unit to shift the execution right.
[0018]
According to the fifth aspect of the present invention, since the operator can select whether or not to cause the control shifting means to shift the execution right, it is possible to perform an operation according to each operator's preference. it can.
[0019]
A control method for a display device with a touch panel according to the invention according to claim 6, wherein a touch detection step of detecting a touch made on a coordinate input surface, and a display based on coordinates of the touch detected in the touch detection step. At least one application for displaying an image on a screen, an overwriting application for writing on the image displayed by the application, and an application having an execution right immediately before the startup when the overwriting application is activated. A toolbar area saving step of detecting and saving a display area of the toolbar on the display screen, and a touch on the display area saved by the toolbar area saving means, wherein the overwriting application has an execution right, and In the touch detection step If it is detected it has, characterized in that it comprises a control migration process to migrate the execution right of control to the application that is controlled by the toolbar.
[0020]
According to the invention described in claim 6, an image displayed by at least one application that detects a touch made on the coordinate input surface and displays an image on a display screen based on the coordinates of the detected touch In a configuration in which writing can be performed by an overwrite application, when the overwrite application is started, a display area on a display screen of a toolbar for controlling an application having an execution right is detected and stored immediately before the start. Then, when the overwriting application has the execution right and a touch on the stored display area is detected, the control execution right is transferred to the application controlled by the toolbar. For this reason, when the operator touches the toolbar of another application and tries to operate the other application during the operation of the overwrite application, the operation can be smoothly shifted to the application without the operator's awareness.
[0021]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of a display device with a touch panel according to the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 is a diagram for explaining an overall configuration of a display device with a touch panel according to an embodiment of the present invention. The illustrated display device with a touch panel includes a coordinate input device 1, a coordinate detection device 3 that detects coordinates input to the coordinate input device 1, and a host device that controls image data based on the coordinates detected by the coordinate detection device 3. 4 (in the present embodiment, a PC (Personal Computer) is used) and image data (R, G, B) controlled by the host device 4 are displayed on a display screen 113 such as a liquid crystal screen or a PDP (Plasma Display Panel). And a display device 2 for displaying.
[0022]
In this specification, a configuration in which the coordinate input device 1 and the coordinate detection device 3 are combined is also referred to as a touch panel. In the display device with a touch panel according to the present embodiment, a display screen 113 is provided so as to overlap the coordinate input surface 112 of the coordinate input device 1, and the display device 2 displays image data on the display screen 113. The coordinate input surface 112 is an area where the coordinate detection device 3 can detect coordinates. The display device with a touch panel according to the present embodiment is configured to directly touch the display screen 113, and the coordinate input surface 112 is a virtual surface. The coordinate detection device 3 functions as a touch detection unit according to the present embodiment.
[0023]
In the present embodiment, a state in which a finger or a pen touches the coordinate input surface 112 from a non-contact state is referred to as a touch, and a point indicating a touched position is referred to as a touch point. In addition, detachment of the finger or pen from the touch point is called detachment, and movement of the touch point without detachment is called move / stop touch. The move / stop touch corresponds to a drag operation with a mouse.
[0024]
The coordinate input device 1 includes an optical detector described below, and optically detects a touch on the display screen 113. The data detected by the optical detector is input to the coordinate detecting device 3, and the coordinate detecting device 3 performs the coordinates (x, y) of the point t on the coordinate input surface 112 where any one of the touch, the detachment, and the movement / stop touch is performed. ) Is calculated. The calculated coordinates are represented by the number of pixels (for example, x: 1024, y: 768) of the display screen 113, and are periodically output to the host device 4 as a touch signal at a time such as 10 ms or 20 ms. The calculation of the coordinates of the touch point by the coordinate detection device 3 will be described later in detail.
[0025]
The coordinate detecting device 3 includes a left optical detector I / F 101 and a right optical detector I / F 102 for inputting data detected by an optical detector described later, and a central processing unit 104 for controlling the coordinate detecting device 3 in general. A ROM 105 in which a program used by the central processing unit 104 is stored; a RAM 106 in which work data of the central processing unit 104 is temporarily stored; a timer (TIMER) for periodically measuring time and inputting the time to the central processing unit 104 107 and a host I / F 103.
[0026]
The host device 4 is a PC (Personal Computer) and has a general-purpose OS such as Windows (R), MACOS (R), and Linux (R). Then, a driver 108 which is a driver software of the program, an APL group 111 which is a plurality of applications which operate under the control of a general-purpose OS (any one of the applications 111 is also referred to as an APL 111), and image data. Has an image RAM 115 temporarily stored.
[0027]
In this embodiment, an overwrite application (overwrite APL) is provided as one application of the APL group 111. In FIG. 1, in order to clearly show that the display device with a touch panel according to the present embodiment has an overwrite application, an overwrite application of the APL group 111 is particularly indicated as an overwrite APL 114.
[0028]
In the display device with a touch panel according to the present embodiment, an area (operation button) corresponding to an operation button for switching between the overwriting APL 114 and one of the APL groups 111 other than the overwriting APL 114 is displayed on the display screen 113 as described later. It is provided. When the operator touches a point on the operation button, the overwrite mode is switched to APL111.
[0029]
FIG. 2 is a functional block diagram for explaining the configuration of the overwrite APL 114. The overwriting APL 114 controls an overwriting operation for writing over an image displayed by the APL 111, and controls an application having an execution right immediately before the overwriting application is activated when the overwriting application is activated. A toolbar area storage unit 203 for detecting and storing a display area of the toolbar on the display screen, and a display in which the overwriting APL 114 has an execution right and the coordinate detection device 3 is stored by the toolbar area storage unit 203. When a touch on the area is detected, a control transfer unit 205 that transfers the control execution right to the APL controlled by the toolbar is provided.
[0030]
Here, a touch signal output by the coordinate detection device 3 and a mouse signal obtained by converting the touch signal will be described. The coordinate detection device 3 inputs analog data of a touch point of a touch performed on the coordinate input device 1 and calculates coordinates of the touch point. Then, the coordinate data and touch data indicating the presence or absence of touch and the state (touch, detach, move / stop touch) are given to the driver 108 of the host device 4 as a touch signal. The touch signal is converted into a mouse signal by the driver 108.
[0031]
When the overwriting APL 114 has the execution right, the driver 108 receives a touch signal indicating a touch on the display area saved by the toolbar area saving unit 203, and determines a delivery destination of the touch signal converted into the mouse signal. Switch from APL114 to APL111. The switching of the touch signal transfer destination from the APL 114 to the APL 111 and the switching from the APL 111 to the APL 114 can also be performed by operating a dedicated button (APL button) provided on the display screen 113.
[0032]
FIG. 3A is a diagram for explaining a data format of a touch signal, and FIG. 3B is a diagram for explaining a data format of a mouse signal. As shown in FIG. 3A, the touch signal includes information on the x coordinate and the y coordinate of the touch point and information on the coordinate status of the touch point. The coordinate status indicates, by 1 or 0, whether the touch signal is a touch, a detachment, or a movement / stop touch. When the coordinate detection device 3 detects a touch, a detachment, and a movement / stop touch, 1 is set in a field indicating each touch.
[0033]
In addition, as shown in FIG. 3B, the mouse signal includes the x coordinate and the y coordinate of the touch point and information on the mouse status. The mouse status indicates on / off of a right button of a mouse and on / off of a left button by 1 or 0. The touch, detach, and move / stop touch are set in association with any one of ON / OFF of the right button of the mouse and ON / OFF of the left button.
[0034]
Next, detection of a touch point and calculation of coordinates in the display device with a touch panel according to the present embodiment will be described. FIG. 4 is a diagram illustrating a coordinate input device according to the present embodiment. The coordinate input device 1 includes a rectangular coordinate input surface 112 having a vertical length H and a horizontal length W in the drawing, a retroreflective member 401 provided on three sides of the coordinate input surface, A left optical detector 402L and a right optical detector 402R are provided at both ends of one side where the reflective member 401 is not provided.
[0035]
Each of the left optical detector 402L and the right optical detector 402R is a unit in which a light source (not shown) which is a semiconductor laser and a light receiving unit (not shown) using, for example, a CCD (Charged Coupled Device) are integrated. It is. The light source irradiates the entire area of the coordinate input surface 112 with light in a fan shape requiring a light source. When the left optical detector 402L and the right optical detector 402R radiate fan-shaped light, the laser light is radiated to the entire area of the coordinate input surface 112.
[0036]
The light applied to the coordinate input surface 112 is reflected by the retroreflective member 401. The retroreflective member 401 is a member that reflects light at an angle of 180 degrees, and reflects, for example, reflected light p1 shown in the drawing and reflected light p2 passing through an optical axis parallel to the optical axis of the irradiated light p1. I do. When there is no light blocking object on the coordinate input surface 112, the left optical detector 402L and the right optical detector 402R receive all reflected light of the irradiated light. However, for example, when a finger or a pen touches the coordinate input surface 112, light passing through the touch point is not received by the left optical detector 402L and the right optical detector 402R.
[0037]
Light information detected by the left optical detector 402L and the right optical detector 402R is input to the coordinate detection device 3 as analog data. At this time, the coordinate detecting device 3 detects the left optical detector 402L and the right optical detector from the optical axis of the light that should be received at the position where the light from the light receiving unit is not received among the fan-shaped light. The angles (light shielding angles) θL and θR between the straight line passing through the light receiving portion of 402R and the straight line passing through each light receiving portion and the touch point t are obtained. The coordinates (x, y) of the touch point t are calculated as follows using the angles θL and θR.
[0038]
x = W × tan θR / (tan θL + tan θR)
y = H−W × tan θL × tan θR / (tan θL + tan θR)
[0039]
The configuration described above operates as follows. That is, the coordinate detecting device 3 calculates the coordinates of the touch point, and transfers the coordinates to the host device 4 as a touch signal together with the coordinate status such as touch and detachment. The driver 108 of the host device 4 receives the touch signal from the coordinate detection device shown in FIG. 3 via RS232C or USB, converts the touch signal into a mouse signal, and notifies the mouse signal to either the APL 114 or the APL group 111.
[0040]
When the transfer destination of the converted touch signal is specified to the APL 111 by operating the operation button, the mouse signal is transferred to the APL 111. The APL 111 executes a function which is set in advance in accordance with information on coordinates included in the received mouse data and on / off information of a button. The functions referred to here include, for example, character drawing, drawing of figures, drawing of ruled lines, and scaling or scrolling of an image, in which a drag locus is drawn with a line of a specific color or thickness.
[0041]
The image data created by executing the function of the APL 111 is developed in the image RAM 115 in a format represented by R, G, and B, and is sent to the display device 2. The display device 2 displays the image data on the display screen 113.
[0042]
FIGS. 5A to 5C are diagrams for explaining character drawing. The points (x0, y0), (x1, y1)... (X3, y3) shown in FIGS. 5A to 5C move and stop from the point (x0, y0) to at least the point (x3, y3). Indicates that a touch has been made. As described above, the coordinate detection device 3 periodically detects the coordinates of the movement / stop touch point during the movement / stop touch, and draws a line indicating the shortest distance between two consecutively detected points. . The drawn line indicates the locus of the move / stop touch.
[0043]
FIG. 6 is a diagram for explaining the function of the eraser for erasing the line drawn as described above. For example, the character “Sato” is drawn by the line indicating the locus of the movement / stop touch drawn as shown in FIG. In the character drawing mode, an eraser function (not shown) is selected, and a point indicated by an arrow is touched (FIG. 6A). By such processing, an image within a predetermined range centered on the touch point is deleted (b).
[0044]
FIGS. 7A to 7C are diagrams for explaining an operation when overwriting an image drawn by the procedure shown in FIG. 6 or a document created by another APL. 7A to 7C, an overwrite toolbar 703 is displayed. The overwrite toolbar 703 has a plurality of buttons such as a pen button and an eraser button. When a button on the overwrite toolbar 703 is touched, the overwrite APL 114 acquires and saves the name of the application having the execution right and the name of the open file immediately before the activation of the overwrite mode. The screen in FIG. 7A shows a state in which the overwrite mode is activated and the line L1 is drawn in the window of the APL 111.
[0045]
At this time, in the window of the APL 111, a plurality of command buttons such as file and edit for controlling the APL 111 are displayed. The plurality of command buttons are arranged on the toolbar 705, and are displayed in the same manner even after shifting to the overwrite mode. For this reason, the operator often touches the file button to save the screen displayed by, for example, the APL 1 during the operation in the overwrite mode. In such a case, since the signal of the touch point is input to the overwrite APL 114, the command button does not function, and the operator must touch the APL button and operate again. The present invention has been made to solve such a problem and to smoothly operate a display device with a touch panel.
[0046]
The overwrite toolbar 703 includes a pen button for selecting the line thickness and color, an eraser for erasing the drawn line, a PageUp button for changing the displayed page, a PageDown button, and a button for scrolling the screen in the direction of the arrow. A list button for displaying a list of overwritten pages on which overwriting has been performed, and an APL button for shifting the overwriting mode to a mode of another application as necessary.
[0047]
Further, the overwrite toolbar 703 has a control transfer selection button 706. The control shift selection button 706 is a button for selecting whether to shift control from the overwrite mode to another APL mode (APL mode) automatically operating in the general-purpose OS mode. The control transfer selection button 706 will be described later.
[0048]
The overwriting APL 114 adds the overwritten line to the page image and stores it. When the mode is shifted from the overwrite mode to a mode controlled by another APL, and the mode is returned to the overwrite mode again to draw the line L2, as shown in FIG. The APL to be displayed may be changed. In such a case, the overwriting APL 114 sets the APL displaying the window 702 as a new overwriting target.
[0049]
Furthermore, when the overwriting APL 114 ends the overwriting-targeted APL and the overwriting data exists, the overwriting APL 114 automatically displays the save dialog box 704 as shown in FIG. 7C. Then, the overwrite data is saved in a save format designated by the operator (not save, overwrite character + page image save, overwrite character save).
[0050]
FIG. 8 is a diagram for explaining the display of the list of overwritten pages described in FIG. As shown in the figure, in the page list, it is possible to select whether the overwritten and saved pages are to be displayed one by one on one screen, or to be displayed for each of a plurality of (2 to 6) pages (FIG. 8A). . (B) shows an example in which the image selected from the pull-down menu is displayed on one page.
[0051]
FIGS. 9A and 9B are diagrams for explaining a process for automatically shifting from the above-described overwrite mode to a mode controlled by another APL (referred to as APL 111). FIG. 9A is a diagram illustrating a toolbar of an image (APL image) displayed in a window controlled by the APL 111. FIG. 9B is a diagram for illustrating a method of recognizing a toolbar area. In the present embodiment, the command bar 901 and the scroll bar 902 are collectively called a toolbar.
[0052]
The command bar 901 includes a plurality of command buttons such as a file button 901a, an edit button 901b, a display button 901c, an insert button 901d, a format button 901e, a tool button 901f, a ruled line button 901g, a window button 901h, and a help button 901i. Further, the scroll bar 902 includes a vertical scroll section 902a and a horizontal scroll section 902b. Each command button of the command bar 901 is operated by touch, and the vertical scroll portion 902a and the horizontal scroll portion 902b of the scroll bar 902 are operated by dragging.
[0053]
The file button 901a is a button for controlling the entire file in which the displayed screen is saved. When the file button 901a is clicked, a pull-down menu is displayed. In the displayed pull-down menu, save and print commands are displayed. Is displayed. By selecting the displayed command, the file can be saved and printed. The edit button 901b displays commands such as searching and correcting characters on the screen when clicked. A display button 901c displays a command for controlling the manner of displaying the screen, and an insert button 901d displays a command for inserting a special control symbol such as a page number or a line feed symbol. Further, a format button 901e displays a command related to a font or a paragraph of a character displayed on the screen, and a tool button 901f activates a tool such as proofreading or spelling of a document. The ruled line button 901g displays a command for drawing a ruled line on the screen of the APL or deleting the drawn ruled line.
[0054]
A window button 901h displays a command for controlling the screen layout and division of a file displayed in the window. Further, the help button 901i is a button for displaying a command for starting the help of the APL.
[0055]
When the operator touches any of the above buttons, the touch signal is converted into a left click signal of a mouse signal, and is notified to the APL 111. The APL 111 receives a mouse signal and executes a function assigned to a command button.
[0056]
When the overwrite mode is activated, the toolbar area storage unit 203 of the overwrite APL 114 stores an area of the command bar 901 and the scroll bar 902 of the APL image that is the immediately preceding image displayed immediately before the designation of the overwrite mode. Is detected. For example, as shown in FIG. 9B, the area is detected by acquiring information on the origin coordinate o (x, y) of the command bar 901, the width H of the toolbar, and the length W in the horizontal direction in the figure. It is possible. Similarly, the area of the scroll bar 902 is detected by acquiring information of the origin coordinate p, the width Hp and the length Wp of the vertical scroll section 902a, and the origin coordinate q, the width Hq and the length Wq of the horizontal scroll section 902b. It is also possible.
[0057]
The toolbar area storage unit 203 stores information on the detected area in a memory (not shown) of the PC. Then, the touch point detected by the coordinate detection device 3 is compared with the area of the command bar 901 and the scroll bar 902. When a touch point is detected on the command bar 901 or the scroll bar 902, the control transfer unit 205 transfers the control execution right to the APL 111 that displays an image controlled by the command bar 901 or the scroll bar 902. As a result, a signal indicating the detected touch point is converted into a mouse signal and delivered to the APL 111.
[0058]
At this time, before transferring the control execution right, the control transfer unit 205 stores data from the touch to the detach detected by the coordinate detection device 3 on the command bar 901 and notifies the APL 111 as mouse data. . Therefore, the operation of the command button on the command bar 901 is notified to the APL 111, and the control assigned to the command button is promptly executed.
[0059]
By the way, as described above, the operation of the command bar 901 is completed by touching and detaching. Therefore, when the touch detected on the command bar 901 by the coordinate detection device 3 indicates a drag operation, it is considered that the drag may have been performed for the explanation of the command button or the like. Therefore, when a drag is performed on the command bar 901, the control transfer unit 205 retains the execution right of the overwrite application without transferring the execution right to the APL 111.
[0060]
The scroll bar 902 is operated by dragging the vertical scroll unit 902a and the horizontal scroll unit 902b. Accordingly, the control transfer unit 205 transfers the execution right to the APL 111 assuming that the touch and the drag on the scroll bar 902 are both performed by the operator for the purpose of operating the scroll bar 902.
[0061]
Also, by touching the command bar 901 or the scroll bar 902 of the APL 111 during the operation of the overwrite mode, the touch on the window of the overwrite mode is detected, and the overwriting is performed. In the display device with a touch panel according to the present embodiment, when the control transfer unit 205 transfers the execution right of the control, the overwrite control unit 201 of the window in the overwrite mode is controlled by the coordinate detection device 3 using the command bar 901 or the scroll bar. The line drawn from touch to detach detected on 902 is deleted. By doing so, it is possible to prevent an unintended line from being drawn due to the operator touching a toolbar such as the command bar 901 or the scroll bar 902 by mistake.
[0062]
In the overwrite mode of the control of the display screen 113 described above, whether or not the execution right is automatically transferred can be arbitrarily selected by the control transfer selection button 706. In other words, if the control transition selection button 706 is touched and turned on, for example, if a touch on the area saved by the toolbar area saving unit 203 is detected during the operation of the overwrite control unit 201, the touch on the APL 111 is detected. The signal is transferred, and the mode is switched to the mode controlled by the APL 111.
[0063]
Further, if the control transfer selection button 706 is turned off, for example, the transfer of the touch signal is performed even when a touch on the area saved by the toolbar area saving unit 203 is detected during the operation of the overwrite control unit 201. Never switch. In such a case, the operator may operate the APL button to switch the control of the display screen 113 to a mode controlled by another APL as in the related art.
[0064]
By performing such processing, a mode that is easy for each operator to operate can be selected. For this reason, in the present embodiment, the operability of the display device with a touch panel having the function of automatically shifting the screen can be further improved.
[0065]
Next, the processing of mouse emulation, overwrite control, control of the overwrite toolbar, and the transition from the overwrite mode to the mode controlled by another APL performed by the above-described display device with a touch panel will be described with a flowchart.
[0066]
(1) Mouse emulation
FIG. 10 is a flowchart illustrating the process of mouse emulation. The illustrated flowchart describes the control performed by the host device 4.
[0067]
The coordinate detecting device 3 periodically determines whether or not the coordinate input device 1 has detected a touch (one of touch, detach, move / stop touch, and the like). Then, the coordinates of the detected touch are calculated and output to the host device 4. The host device determines whether coordinate data has been input (step S1001). If the coordinate data has not been input (step S1001: No), the process stands by until input.
[0068]
If the coordinate data has been input (step S1001: Yes), it is determined whether or not the coordinates indicate touch coordinates (step S1002). If the touch coordinates are indicated (step S1002: YES), it is determined whether or not the touch operation is assigned to the right click (step S1003). If it is assigned to right click (step S1003: Yes), the right button on coordinates of the mouse signal are output (notified) to the display device 2 (step S1004).
[0069]
When the touch operation is not assigned to the right click (step S1003: No), the left button on coordinate of the mouse signal is notified to the display device 2 (step S1005). If it is determined in step S1002 that the coordinates are not the touch coordinates (step S1002: No), it is determined whether the coordinates are the coordinates of the moving / stopping touch (step S1006). If it is determined that the coordinates correspond to the movement / stop coordinates (step S1006: Yes), it is determined whether the movement / stop touch operation is assigned to the right click (step S1007).
[0070]
As a result of the determination in step S1007, if the operation of the move / stop touch is assigned to the right click (step S1007: Yes), the right button on coordinates of the mouse signal are notified to the display device 2 (step S1008). If the movement / stop touch operation has not been assigned to the right click (step S1007: No), the left button on coordinate of the mouse signal is notified to the display device 2 (step S1009).
[0071]
Furthermore, if it is determined in step S1006 that the touch is not a move / stop touch (step S1006: No), it is determined whether the touch indicates a detached coordinate (step S1010). If the coordinates are the detached coordinates (step S1010: Yes), it is determined whether or not the touch operation is assigned to the right click (step S1011). If it is assigned to right click (step S1011: Yes), the right button on coordinates of the mouse signal are notified to the display device 2 (step S1012).
[0072]
Further, when the detaching operation is not assigned to the right click (Step S1011: No), the left button on coordinate of the mouse signal is notified to the display device 2 (Step S1013).
[0073]
(2) Overwrite control
FIG. 11 is a flowchart for explaining control performed in the overwrite mode. The flowchart illustrated in FIG. 11 illustrates processing mainly performed by the control transfer unit 205 of the overwrite APL 114. As shown in FIG. 11, when the overwrite mode is activated, the overwrite APL displays an overwrite toolbar (step S1101).
[0074]
Then, the overwriting APL 114 transfers the execution right from another APL (step S1102), and sets the APL for displaying the screen to be overwritten to “none” (step S1103). Further, the overwriting operation mode is set to character drawing (step S1104). The above processing is processing for initializing the overwrite toolbar.
[0075]
Next, the overwriting APL 114 determines whether or not a mouse signal (mouse data) obtained by converting the touch signal has been delivered (step S1105). If the mouse data has not been passed (step S1105: No), it is determined whether the status is the APL mode (step S1106). If the status is the APL mode (step S1106: Yes), the status is overwritten. It is determined whether to end the mode (step S1107). When ending the overwrite mode (step S1107: YES), it is determined whether or not there is overwrite data (step S1108).
[0076]
If the result of the determination in step S1108 is that there is overwrite data (step S1108: Yes), control is performed to save the overwrite data (step S1109). The overwriting data saving control is to display a save dialog box and save the overwriting data when the overwriting APL 114 is completed. When the overwrite data is saved, the information of the completed APL 114 is cleared (step S1110).
[0077]
After the above processing is completed, or when it is determined as No in steps S1106 to 1108, the overwriting APL 114 prepares for input of the next mouse data.
[0078]
If it is determined in step S1105 that mouse data has been input (step S1105: YES), it is determined whether or not the mouse data indicates a touch on the overwrite toolbar (step S1111). When the touch on the toolbar is indicated (step S1111: Yes), the APL that controls the window that is active at this time is determined (step S1112). Then, it is assumed that the APL information is the APL (immediate APL) for controlling the image immediately before shifting to the overwrite mode, and the information of the immediately preceding APL is obtained (step S1113). The information of the immediately preceding APL includes information on the origin coordinates, width, and length of the toolbar and the scroll bar of the immediately preceding APL, as well as the type of the APL and the name of the file.
[0079]
Then, it is determined whether or not the overwritten APL to be overwritten is the immediately preceding APL (step S1114). If the overwritten APL matches the immediately preceding APL (step S1114: Yes), the immediately preceding APL is replaced with the overwriting APL. (Step S1115). Then, the mode is shifted to the overwrite mode, and the screen is controlled by the overwrite toolbar (step S1116).
[0080]
If it is determined in step S1112 that the execution right is not in the APL (step S1112: No), or if the APL controlling the screen to be overwritten has been changed (step S1114: No), the overwrite is immediately performed. The screen is controlled by the toolbar (step S1116).
[0081]
If the mouse data input in step S1111 does not indicate the coordinates on the overwrite toolbar (step S1111: No), the general-purpose OS mounted on the host device 4 (Windows (R) in the present embodiment) ) Is executed (step S1117). The control automatically shifts to another APL mode (Windows (R) mode) controlled by (). The automatic transition control will be described later with reference to FIG.
[0082]
The overwriting APL 114 determines whether to shift to the Windows (R) mode (step S1118). As a result, if it is determined that the process is to be shifted (step S1118: YES), the process waits for input of the next mouse data.
[0083]
On the other hand, when the overwriting APL 114 determines that the mode is not to be shifted in step S1118 (step S1118: No), the overwriting APL 114 determines whether the operation in the overwriting mode is character drawing (step S1119). If the result of the determination is that it is a character drawing (step S1119: Yes), the screen overwritten on the APL is overwritten (step S1120). By this overwriting, the trajectory of the touch, the stop / move touch, and the detachment is represented by a line of the set color and thickness.
[0084]
If it is determined in step S1119 that the operation mode is not character drawing (step S1119: No), it is determined whether the operation mode is eraser (step S1121). When it is determined that the operation mode is the eraser (step S1121: Yes), the overwritten character is deleted (step S1122). If it is determined that the mouse signal is not the eraser (step S1121: No), the process waits for the input of the next mouse signal.
[0085]
③ Control of overwrite toolbar
12 and 13 are flowcharts for explaining control of the overwrite mode toolbar. This flowchart shows a process mainly performed by the overwriting control unit 201 of the overwriting APL 114. First, as shown in FIG. 12, the overwriting APL 114 changes the touched button from the command buttons on the toolbar to a selected display indicating a selected state (step S1201). Then, the button name of the selected command button is stored (step S1202).
[0086]
Next, the overwriting APL 114 determines whether or not mouse data on the overwriting toolbar has been input (step S1203). This mouse data is mouse data from the touch to the detachment of the overwrite toolbar. When there is no mouse data input (step S1203: No), the process waits until there is an input.
[0087]
If mouse data has been input (step S1203: YES), it is determined whether or not the mouse data is off-coordinate data indicating detachment (step S1204). If the data is not off-coordinate data (step S1204: NO), it is determined whether the touched command button is invalid (step S1205). As a result, if not invalid (step S1205: No), it is determined whether or not the mouse data touches the command button, then moves the touch point and indicates that the same operation as the drag operation has been performed. (Step S1206).
[0088]
As a result, when it is determined that the same operation as the drag operation has been performed (step S1206: No), the command button that has been selected and displayed is invalidated (step S1207). Then, the display state of the disabled command button is returned to normal (step S1208).
[0089]
In the above processing, if it is determined in step S1205 that the button is invalid (step S1205: Yes), if it is determined in step S1206 that an operation similar to dragging has been performed (step S1206: Yes), the overwriting APL 114 Waits for the next mouse data input.
[0090]
If it is determined in step S1204 that the mouse data indicates off coordinates (step S1204: YES), it is determined whether the touched command button is invalid (step S1209). As a result, if the command button is invalid (Step S1209: Yes), the process returns to the beginning. If the command button is not invalid (Step S1209: No), the command button that has been selectively displayed is returned to the normal display (Step S1210). At this time, the function assigned to the command button is executed.
[0091]
Next, it is determined whether or not the touch on the overwrite toolbar has been performed from the APL mode (step S1211). If the result of the determination is that the button has not been changed from the APL mode (step S1211: No), the process proceeds to a process of determining whether or not the touched button is an APL button (step S1214). When it is determined that the overwrite toolbar has been touched while the status was in the APL mode (step S1211: Yes), the status is shifted from the APL mode to the overwrite mode (step S1212). Then, the overwritten characters are displayed again on the screen displayed by the APL at the time of transition to the APL mode (step S1213).
[0092]
Next, the overwriting APL 114 determines whether or not the touched command button is the APL button (step S1214). If the button is the APL button (step S1214: YES), the status is shifted to the APL mode (step S1215), and the overwritten character is deleted (step S1216). Then, the control shifts to APL (step S1217).
[0093]
If it is determined in step S1214 that the touched overwrite toolbar button is not an APL button (step S1214: No), whether a button for executing a so-called pen function for inputting a line or a character by handwriting has been touched. It is determined whether or not it is (step S1218). When the pen button is touched (step S1218: Yes), the overwriting APL 114 sets the operation in the overwriting mode to character drawing (step S1219).
[0094]
If it is determined in step S1218 that the touched overwrite toolbar button is not a pen button (step S1218: No), it is determined whether an eraser button for erasing a line drawn with the pen has been touched (step S1218: No). Step S1220). When the eraser button is touched (step S1220: Yes), the overwrite APL 114 sets the operation in the overwrite mode to the eraser (step S1221).
[0095]
Next, if the overwrite APL 114 determines that the button of the overwrite toolbar touched in step S1220 is not the eraser button (step S1220: No), the overwrite APL 114 determines whether the list button for displaying the screen list is touched. (Step S1301). If the list button is touched (step S1301: Yes), the overwriting APL 114 executes page list display control (step S1302).
[0096]
Furthermore, if it is determined in step S1301 that the touched overwrite toolbar button is not a list button (step S1301: No), it is determined whether there is an overwrite character on the displayed screen (step S1303). As a result, if there is no overwritten character (step S1303: No), it is determined whether or not the PageUp button for viewing a portion above the displayed portion of the screen has been touched (step S1306).
[0097]
If it is determined in step S1303 that there is an overwritten character (step S1303: Yes), the overwritten character is saved (step S1304) and erased from the screen (step S1305). Then, it is determined whether or not the PageUp button has been touched (step S1306), and if the PageUp button has been touched, a PageUp key code for changing the screen so that the upper part of the image is displayed is output (Step S1306). Step S1307).
[0098]
If the overwriting APL 114 determines that the button of the overwriting toolbar touched in step S1306 is not the PageUp button (step S1306: No), the overwriting APL 114 looks at a portion of the screen below the displayed portion. It is determined whether the Page Down button has been touched (step S1308). If it is determined that the Page Down button has been touched (step S1308: Yes), a Page Down key code for implementing the Page Down is output (step S1309).
[0099]
If it is determined in step S1308 that the Page Down button has not been touched (step S1308: No), the overwriting APL 114 determines whether the touched button is the “↑” button that scrolls the screen upward. (Step S1310). If the button is a “↑” button (step S1310: Yes), the screen is controlled to scroll the screen as in the case where the scroll unit 902a is moved upward (step S1311).
[0100]
If it is determined in step S1310 that the “↑” button has not been touched (step S1310: No), the overwriting APL 114 determines whether the touched button is the “↓” button that scrolls the screen downward. It is determined whether or not it is (step S1312). If the button is the “↓” button (step S1312: Yes), control is performed to scroll the screen in the same manner as when the scroll unit 902a is moved downward (step S1313).
[0101]
If it is determined in step S1312 that the “↓” button has not been touched (step S1312: No), the overwriting APL 114 is a “←” button in which the touched button scrolls the screen to the left. It is determined whether or not this is the case (step S1314). If the button is the “←” button (step S1314: Yes), the screen is controlled to scroll the screen as in the case where the scroll unit 902b is moved to the left (step S1315).
[0102]
Furthermore, if it is determined in step S1314 that the “←” button has not been touched (step S1314: No), the overwritten APL 114 is a “→” button in which the touched button scrolls the screen to the right. It is determined whether it is (Step S1316). If the button is a “→” button (step S1316: Yes), the screen is controlled to scroll the screen in the same manner as when the scroll unit 902b is moved to the right (step S1317). After the above processing, the overwriting APL 114 returns to the beginning of the processing shown in FIG.
[0103]
(4) Processing for transition from overwrite mode to Windows (R) mode
Next, the mode transition processing of the present invention will be described. FIG. 14 is a flowchart for explaining the process of shifting to the Windows (R) mode. The processing shown in the flowchart of FIG. 14 is mainly performed by the control transfer unit 205 in the overwrite APL 114.
[0104]
The overwrite APL 114 first determines whether or not to set the automatic transition mode for automatically transitioning to the Windows (R) mode by turning on and off the control transition selection button 706 (step S1401). As a result, when the automatic transition mode is not set (step S1401: No), all the processing ends.
[0105]
On the other hand, when the automatic transition mode is set (step S1401: Yes), it is determined that the touch on the control transition selection button 706 has not been detached together with the automatic transition mode setting (step S1402), and the detachment is performed from this touch. All the mouse data up to is saved (step S1403). Also, in step S1402, if button OFF data, that is, detachment is detected (step S1402: Yes), it is determined whether a move / stop touch, that is, a drag operation has been performed between touch and detachment (step S1404).
[0106]
If it is determined that a drag operation has been performed (step S1404: YES), it is determined whether or not this drag has been performed on coordinates on the scroll bar 902 (step S1405). The determination of the coordinates on the scroll bar 902 is performed based on the origin coordinates, width, and length of the scroll bar 902 obtained as the information of the immediately preceding APL in step S1113 shown in FIG. If the drag operation is not performed on the scroll bar 902 (step S1405: No), the mouse data saved in step S1403 is cleared (step S1406).
[0107]
If the drag operation has been performed on the scroll bar 902 (step S1405: YES), the stored mouse data is notified to a mouse I / F (not shown) (step S1407). Then, it is determined whether the operation mode of the APL mode is character drawing (step S1408). If the result is not character drawing (step S1408: NO), the stored mouse data is cleared (step S1410).
[0108]
If the operation mode is character drawing (step S1408: YES), the overwritten character is deleted (step S1409). Then, the mouse data saved in step S1403 is cleared (step S1410), and the control of the image is shifted to the Windows (R) mode (step S1411).
[0109]
In the above-described processing, whether or not the drag has been performed on the scroll bar 902 is determined if a predetermined number of mouse data among the mouse data input from touch to detachment are on the scroll bar 902. 902. The reason is that touch and detach may not be accurately distinguished from drag depending on the detection accuracy of the coordinate input device 1 and that the operator intends to drag within the range of the scroll bar 902 while dragging. Is out of the range in some cases. At this time, it is needless to say that the predetermined number of data is determined in consideration of a sufficient margin.
[0110]
If it is determined in step S1404 that the drag operation has not been performed (step S1404: No), the overwrite APL 114 determines whether the touch has been performed on the command bar 901 (step S1412). If the result of the determination is that the mouse is not on the command bar 901 (step S1412: No), the stored mouse data is cleared (step S1413).
[0111]
Further, if it is determined in step S1412 that the touch has been made on the command bar 901 (step S1412: Yes), the stored mouse data is notified to a mouse I / F (not shown) (step S1414). Then, it is determined whether or not the operation mode of the APL is set to character drawing (step S1415). If the operation mode is character drawing (step S1415: Yes), the overwritten character is deleted (step S1416). Then, the stored mouse data is cleared (step S1417), and the control shifts to the Windows (R) mode (step S1418).
[0112]
【The invention's effect】
As described above, the invention according to claim 1 can be performed smoothly without the operator's awareness when the operator attempts to operate another application by touching the toolbar of another application during the operation of the overwrite application. Since the operation can be shifted to the application, the operability of the display device with a touch panel can be improved, and the display device with a touch panel that can smoothly perform a presentation can be provided.
[0113]
According to the second aspect of the present invention, not only the mode is automatically shifted from the overwrite mode to the mode controlled by another application, but also the application can be operated at the same time as the mode is shifted, so that the presentation can be performed more smoothly. There is an effect that a display device with a touch panel that can perform the operation can be provided.
[0114]
The invention according to claim 3 provides a display device with a touch panel that can perform a presentation more smoothly because a drawn line can be automatically erased even though there is no intention to draw. This has the effect that it can be performed.
[0115]
The invention described in claim 4 can provide a display device with a touch panel that can prevent an application from shifting when the operator does not intend to operate the command bar, and can perform a presentation more smoothly. This has the effect.
[0116]
According to the fifth aspect of the present invention, an operation according to the preference of each operator can be performed, so that a display device with a touch panel with higher operability can be provided.
[0117]
According to a sixth aspect of the present invention, when the operator touches a toolbar of another application to operate another application during operation of the overwrite application, the operation is smoothly shifted to the application without the operator being conscious of the operation. Therefore, it is possible to improve the operability of the display device with a touch panel and to provide a method of controlling the display device with a touch panel that can smoothly perform a presentation.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an overall configuration of a display device with a touch panel according to an embodiment of the present invention.
FIG. 2 is a functional block diagram for explaining a configuration of an overwrite APL shown in FIG. 1;
FIG. 3 is a diagram for explaining data format conversion;
FIG. 4 is a diagram for describing a coordinate input device according to the present embodiment.
FIG. 5 is a diagram for explaining character drawing by touch.
FIG. 6 is a diagram for explaining an eraser function for erasing drawn characters.
FIG. 7 is a diagram for explaining an overwriting operation according to the embodiment;
FIG. 8 is a diagram for explaining display of a page list described in FIG. 7;
FIG. 9 is a diagram for explaining processing for automatically shifting from the overwrite mode to a mode controlled by another APL.
FIG. 10 is a flowchart illustrating a process of mouse emulation according to the present embodiment.
FIG. 11 is a flowchart illustrating control performed in the overwrite mode according to the embodiment.
FIG. 12 is a flowchart illustrating control of an overwrite mode toolbar according to the present embodiment.
FIG. 13 is another flowchart for illustrating control of the overwrite mode toolbar according to the embodiment.
FIG. 14 is a flowchart illustrating a mode transition process according to the present embodiment.
[Explanation of symbols]
1 Coordinate input device
2 Display device
3 Coordinate detection device
4 Host device
104 Central Processing Unit
108 Driver
111 APL group
112 coordinate input surface
113 Display screen
114 APL for overwriting
201 Overwrite control unit
203 Toolbar area storage
205 Control transfer unit
401 retroreflective member
402R right optical detector
402L left optical detector
702 window
703 Overwrite toolbar
704 Overwrite page save file
704 Save dialog box
705 Toolbar
706 Control transfer selection button
901h Window button
901 Toolbar
901f Tool button
901a File button
901i Help button
901a Command button
901g Ruled line button
901d Insert button
901c display button
901b Edit button
902 scroll bar
902a Vertical scroll part
902b Horizontal scroll part

Claims (6)

座標入力面に対してなされたタッチを検出するタッチ検出手段と、
前記タッチ検出手段によって検出されたタッチの座標に基づいてディスプレイ画面に画像を表示する少なくとも一つのアプリケーションと、
前記アプリケーションによって表示された画像に書き込みを行う上書用アプリケーションと、
前記上書用アプリケーションの起動時、起動の直前に実行権を有するアプリケーションを制御するツールバーのディスプレイ画面上における表示領域を検出すると共に保存するツールバー領域保存手段と、
前記上書用アプリケーションに実行権があって、かつ、前記タッチ検出手段が前記ツールバー領域保存手段によって保存されている前記表示領域上のタッチを検出した場合、前記ツールバーによって制御されるアプリケーションに制御の実行権を移行する制御移行手段と、
を備えることを特徴とするタッチパネル付きディスプレイ装置。Touch detection means for detecting a touch made on the coordinate input surface;
At least one application that displays an image on a display screen based on the coordinates of the touch detected by the touch detection unit,
An overwriting application that writes to an image displayed by the application,
Tool bar area saving means for detecting and saving a display area on a display screen of a toolbar for controlling an application having an execution right immediately before the start of the overwriting application,
If the overwriting application has an execution right, and the touch detection unit detects a touch on the display area saved by the toolbar area saving unit, the application controlled by the toolbar controls the application. Control transfer means for transferring execution rights;
A display device with a touch panel, comprising: 前記制御移行手段は、制御の実行権を移行する前に、前記タッチ検出手段が前記表示領域上で検出したタッチからデタッチまでのデータをマウスデータとして前記アプリケーションに通知することを特徴とする請求項１に記載のタッチパネル付きディスプレイ装置。The control transfer means notifies the application of data from touch to detach detected on the display area by the touch detection means as mouse data before transferring control execution right. 2. The display device with a touch panel according to 1. 前記制御移行手段が制御の実行権を移行する場合、前記タッチ検出手段が前記表示領域上で検出したタッチからデタッチまでに描画された線を消去する描画消去手段をさらに備えることを特徴とする請求項１または２に記載のタッチパネル付きディスプレイ装置。When the control transfer unit transfers control execution right, the touch detection unit further includes a drawing erasing unit that deletes a line drawn from touch to detach detected on the display area. Item 3. The display device with a touch panel according to item 1 or 2. 前記ツールバーがコマンドボタンを有するコマンドバーを含み、前記タッチ検出手段が検出したタッチが該コマンドバー上でのドラッグ操作を示す場合、前記制御移行手段は前記上書用アプリケーションの実行権を保持することを特徴とする請求項１〜３のいずれか一つに記載のタッチパネル付きディスプレイ装置。When the toolbar includes a command bar having a command button, and the touch detected by the touch detection unit indicates a drag operation on the command bar, the control transition unit holds the execution right of the overwriting application. The display device with a touch panel according to claim 1, wherein: 前記制御移行手段に実行権の移行を行うわせるか否かを選択する移行選択手段をさらに備えることを特徴とする請求項１〜４のいずれか一つに記載のタッチパネル付きディスプレイ装置。The display device with a touch panel according to any one of claims 1 to 4, further comprising a transfer selection unit that selects whether or not the control transfer unit transfers the execution right. 座標入力面に対してなされたタッチを検出するタッチ検出工程と、
前記タッチ検出工程において検出されたタッチの座標に基づいてディスプレイ画面に画像を表示する少なくとも一つのアプリケーションと、
前記アプリケーションによって表示された画像に書き込みを行う上書用アプリケーションと、
前記上書用アプリケーションの起動時、起動の直前に実行権を有するアプリケーションを制御するツールバーのディスプレイ画面上における表示領域を検出すると共に保存するツールバー領域保存工程と、
前記上書用アプリケーションに実行権があって、かつ、前記ツールバー領域保存手段において保存された前記表示領域上のタッチが前記タッチ検出工程において検出された場合、前記ツールバーによって制御されるアプリケーションに制御の実行権を移行する制御移行工程と、
を含むことを特徴とするタッチパネル付きディスプレイ装置の制御方法。A touch detection step of detecting a touch made on the coordinate input surface;
At least one application that displays an image on a display screen based on the coordinates of the touch detected in the touch detection step,
An overwriting application that writes to an image displayed by the application,
Upon activation of the overwrite application, a toolbar area saving step of detecting and saving a display area on a display screen of a toolbar for controlling an application having an execution right immediately before the activation,
If the overwriting application has an execution right and a touch on the display area stored in the toolbar area storage unit is detected in the touch detection step, the application controlled by the toolbar controls the application. A control transfer step for transferring execution rights;
A control method for a display device with a touch panel, comprising:
JP2002235159A 2002-08-12 2002-08-12 Display device with touch panel and control method of display device with touch panel Expired - Fee Related JP4157337B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002235159A JP4157337B2 (en) 2002-08-12 2002-08-12 Display device with touch panel and control method of display device with touch panel

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002235159A JP4157337B2 (en) 2002-08-12 2002-08-12 Display device with touch panel and control method of display device with touch panel

Publications (3)

Publication Number Publication Date
JP2004078367A true JP2004078367A (en) 2004-03-11
JP2004078367A5 JP2004078367A5 (en) 2005-10-27
JP4157337B2 JP4157337B2 (en) 2008-10-01

Family

ID=32019750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002235159A Expired - Fee Related JP4157337B2 (en) 2002-08-12 2002-08-12 Display device with touch panel and control method of display device with touch panel

Country Status (1)

Country Link
JP (1) JP4157337B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009187052A (en) * 2008-02-01 2009-08-20 Ricoh Co Ltd Information processing method and information processor
JP2012194850A (en) * 2011-03-17 2012-10-11 Seiko Epson Corp Image supplying device, image displaying system, control method of image supplying device, image displaying device and program
JP2014134913A (en) * 2013-01-09 2014-07-24 Sharp Corp Information display apparatus
US10191648B2 (en) 2011-02-10 2019-01-29 Sharp Kabushiki Kaisha Touch drawing display apparatus and operation method thereof, image display apparatus allowing touch-input, and controller for the display apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009187052A (en) * 2008-02-01 2009-08-20 Ricoh Co Ltd Information processing method and information processor
US10191648B2 (en) 2011-02-10 2019-01-29 Sharp Kabushiki Kaisha Touch drawing display apparatus and operation method thereof, image display apparatus allowing touch-input, and controller for the display apparatus
JP2012194850A (en) * 2011-03-17 2012-10-11 Seiko Epson Corp Image supplying device, image displaying system, control method of image supplying device, image displaying device and program
JP2014134913A (en) * 2013-01-09 2014-07-24 Sharp Corp Information display apparatus

Also Published As

Publication number Publication date
JP4157337B2 (en) 2008-10-01

Similar Documents

Publication Publication Date Title
US5917493A (en) Method and apparatus for randomly generating information for subsequent correlating
JP5325943B2 (en) Information processing apparatus, information processing method, and program
US8487879B2 (en) Systems and methods for interacting with a computer through handwriting to a screen
US20060071910A1 (en) Systems and methods for handwriting to a screen
US20130080979A1 (en) Explicit touch selection and cursor placement
JP2005044036A (en) Scroll control method and program making computer execute the method
US20140189593A1 (en) Electronic device and input method
JP2003303047A (en) Image input and display system, usage of user interface as well as product including computer usable medium
KR930001926B1 (en) Display control method and apparatus
WO2014061098A1 (en) Information display device and display information operation method
JP2009025920A (en) Information processing unit and control method therefor, and computer program
KR20070039868A (en) 3d pointing method, 3d display control method, 3d pointing device, 3d display control device, 3d pointing program, and 3d display control program
JP2006018845A (en) Software notes
JP2003296012A (en) System for inputting and displaying graphic and method of using interface
JPH09319556A (en) Information processor
US20220350418A1 (en) Composite computer keyboard
JPH06282368A (en) Position information input system for information processor
JP5809202B2 (en) Image display device capable of screen operation and operation method thereof
JP5673144B2 (en) Display device, overwrite control method, and program
WO2014061095A1 (en) Information display device and operation control method in information display device
JP4157337B2 (en) Display device with touch panel and control method of display device with touch panel
JP3388451B2 (en) Handwriting input device
JP2004046797A (en) Display device with touch panel, control method for it, and program for operating it by computer
JP2022179604A (en) Information processing apparatus, information processing method, and program
EP2940562A1 (en) Electronic apparatus and input method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050727

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050727

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080708

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080711

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130718

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees