JP2005044036A - Scroll control method and program making computer execute the method - Google Patents

Scroll control method and program making computer execute the method Download PDF

Info

Publication number
JP2005044036A
JP2005044036A JP2003201165A JP2003201165A JP2005044036A JP 2005044036 A JP2005044036 A JP 2005044036A JP 2003201165 A JP2003201165 A JP 2003201165A JP 2003201165 A JP2003201165 A JP 2003201165A JP 2005044036 A JP2005044036 A JP 2005044036A
Authority
JP
Japan
Prior art keywords
scroll
drag
target
control method
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003201165A
Other languages
Japanese (ja)
Other versions
JP2005044036A5 (en
Inventor
Mitsuru Sato
満 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2003201165A priority Critical patent/JP2005044036A/en
Publication of JP2005044036A publication Critical patent/JP2005044036A/en
Publication of JP2005044036A5 publication Critical patent/JP2005044036A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a scroll control method allowing a scroll by touch operation in all of applications operating in a PC or a touch panel-equipped display device. <P>SOLUTION: This scroll control method includes: a scroll area selection step for selecting a target area of the scroll allowing the independent scroll; a dragging detection step for detecting dragging on the selected target area; a dragging information acquisition step for acquiring a direction of the dragging and a dragged length; and a scroll execution step for scrolling a target image displayed in the target area on the basis of the direction and length of the dragging. A scroll APL 100 executing the scroll control method is installed. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
この発明は、スクロール表示方法、その方法をコンピュータに実行させるためのプログラムに関する。
【０００２】
【従来の技術】
現在、タッチパネル付きディスプレイ装置は、ディスプレイ画面を大型化し、複数の人間に対して同時に画像を表示する、例えばプレゼンテーションや教育の現場に使用される場合がある。タッチパネル付きディスプレイ装置では、オペレータが設定された領域に指やペンでタッチし、タッチされた点の座標に基づいてディスプレイ画面に表示される画像を制御する。このため、オペレータは、ディスプレイ画面のどの箇所が話題になっているかを容易に聴衆に示し、理解しやすいプレゼンテーション等を行なうことができる。
【０００３】
このようなタッチパネル付きディスプレイ装置やＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）など、ディスプレイ画面を有し、このディスプレイ画面に画像を表示する機能を持った装置の多くが、スクロール機能を持っている。スクロール機能とは、表示すべき画像の一部分だけをディスプレイ画面に表示しながら、表示される部分を順次変更する機能をいい、スクロール機能を使って表示画面を変更することをスクロールという。また、表示すべき画像が複数ページにわたるよう設定されていて、表示される部分をあるページから他のページに切り換える動作をページ捲りともいう。
【０００４】
ところで、スクロールは、一般的に、アプリケーションが画像を表示するウィンドウの側部や下部に設けられたスクロールバーのスクロールボックスを選択し、スクロールしたい方向に移動することによって実行される。プレゼンテーション等に使用する場合、タッチパネル付きディスプレイ装置には誤操作がし難く、円滑に操作できることが要求される。このような要求に応えるため、ディスプレイ画面上の任意の位置にタッチ、ドラッグすることによって画面をスクロール可能な構成が提案されている（例えば特許文献１、特許文献２参照）。
【０００５】
【特許文献１】
特開平６−１４９５３１号公報（段落［００１３］）
【特許文献２】
特開平１１−１０２２７４号公報（段落［００１１］）
【０００６】
このような従来技術によれば、オペレータはディスプレイ画面のスクロールバーにタッチするため移動する、あるいはタッチパネル付きディスプレイ装置に接続されるマウスを手にとってタッチパネル付きディスプレイ装置を操作する必要がない。このため、スクロールの操作がプレゼンテーションの進行を妨げず、円滑にプレゼンテーション等を行なうタッチパネル付きディスプレイ装置が提供できる。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記した従来技術は、いずれもＰＣにおいて動作する複数のアプリケーションのうちの特定のアプリケーションをタッチ操作によってスクロールするよう構成したものである。したがって、タッチパネル付きディスプレイ装置を使ったプレゼンテーション中、任意の位置のドラッグ操作によってスクロール可能なアプリケーションが制限されるという欠点があった。
【０００８】
本発明は、上記した点に鑑みてなされたものであり、ＰＣやタッチパネル付きディスプレイ装置で動作するアプリケーションのすべてでタッチ操作によるスクロールを可能にし、より操作性が高く、プレゼンテーション等を円滑に進行させられるスクロール制御方法およびその方法をコンピュータに実行させるためのプログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、ディスプレイ画面上に表示される画像を制御するスクロール制御方法であって、前記ディスプレイ画面上において独立にスクロール可能なスクロールの対象領域を選択するスクロール領域選択ステップと、前記スクロール領域選択ステップにおいて選択された対象領域上におけるドラッグを検出するドラッグ検出ステップと、前記ドラッグ検出ステップで検出されたドラッグの方向およびドラッグされた長さを取得するドラッグ情報取得ステップと、前記ドラッグ情報取得ステップで取得されたドラッグの方向および長さに基づいて前記対象領域に表示されている対象画像をスクロールするスクロール実行ステップと、を含むことを特徴とする。
【００１０】
この請求項１に記載の発明によれば、ディスプレイ画面上において独立にスクロール可能なスクロールの対象領域を選択し、選択された対象領域上におけるドラッグを検出する。さらに、検出されたドラッグの方向およびドラッグされた長さに基づいて対象領域に表示されている対象画像をスクロールする。このため、スクロールの操作にあたってスクロールバーのスクロールボックス上の座標にタッチ、あるいは座標上でクリックする必要がなく、簡易に画面をスクロールすることができる。また、ディスプレイ画面上の複数の対象領域からいずれかを選択してスクロールを制御できる。
【００１１】
請求項２に記載の発明にかかるスクロール制御方法は、前記ドラッグ検出ステップでは前記対象領域の任意の位置においてなされた停止・移動タッチにかかる情報を変換して得られるマウスデータに基づいてドラッグを検出し、ドラッグ情報取得ステップでは前記マウスデータに基づいてドラッグの方向およびドラッグされた長さを取得し、前記スクロール実行ステップでは取得されたドラッグの方向およびドラッグされた長さに基づいて、前記スクロール領域選択ステップで選択された対象領域のスクロールバーに割り当てられた制御を実行することによって対象画像をスクロールすることを特徴とする。
【００１２】
この請求項２に記載の発明によれば、任意の位置においてなされた移動・停止タッチをマウスデータに変換し、このマウスデータに基づいてドラッグの方向や長さを検出する。さらに、検出されたドラッグの方向や長さに基づいて対象領域のスクロールバーに割り当てられた制御を実行する。このため、任意の位置においてなされた移動・停止タッチによって画面をスクロールする制御を、マウスによってスクロール可能なウィンドウを提供するすべてのアプリケーションに適用することができる。
【００１３】
請求項３に記載の発明にかかるスクロール制御方法は、前記ドラッグ情報取得ステップが検出されたドラッグが特定の長さである特定長以上であったときにドラッグを確定してドラッグの方向および長さを取得し、前記スクロール実行ステップが、前記ドラッグがなされた方向に前記対象画像をスクロールすることを特徴とする。
【００１４】
この請求項３に記載の発明によれば、オペレータがドラッグを意図しないで行なった移動・停止タッチがドラッグとして認識されることを少なくすることができる。また、ドラッグ時の方向の変化をすべてドラッグの方向として検出することをなくし、適切なスクロール方向を設定することができる。
【００１５】
請求項４に記載の発明にかかるスクロール制御方法は、前記スクロール実行ステップが、前記ディスプレイ画面の一辺に対して平行な水平方向とドラッグの方向とがなす角度の範囲を設定する傾き設定ステップを含み、ドラッグ方向の水平方向に対する傾きが設定された角度の範囲である場合にはドラッグが水平方向になされたと判断し、前記対象画面を水平方向にスクロールすることを特徴とする。
【００１６】
この請求項４に記載の発明によれば、横方向のドラッグを意図したオペレータのドラッグの方向の傾きを許容し、意図に沿った方向に画面をスクロールすることができる。
【００１７】
請求項５に記載の発明にかかるスクロール制御方法は、前記スクロール実行ステップは、前記ディスプレイ画面の一辺と直交する垂直方向とドラッグの方向とがなす角度の範囲を設定する傾き設定ステップを含み、ドラッグ方向の垂直方向に対する傾きが設定された角度の範囲である場合にはドラッグが垂直方向になされたと判断し、前記対象画面を垂直方向にスクロールすることを特徴とする。
【００１８】
この請求項５に記載の発明によれば、縦方向のドラッグを意図したオペレータのドラッグの方向の傾きを許容し、意図に沿った方向に画面をスクロールすることができる。
【００１９】
請求項６に記載の発明にかかるスクロール制御方法は、前記スクロール実行ステップが、前記対象画面を垂直上方にスクロールしているときに前記ディスプレイ画面上で所定の時間以上の停止タッチがなされた場合、前記対象画面に表示される画像を所定の範囲ずつ下方に移動するページアップ制御を前記停止タッチの間周期的に実行することを特徴とする。
【００２０】
この請求項６に記載の発明によれば、スクロールの途中で停止タッチすることによって画面を比較的大幅に上方にスクロールすることができる。このため、比較的大幅な上方へのスクロールの操作を効率化することができる。
【００２１】
請求項７に記載の発明にかかるスクロール制御方法は、前記スクロール実行ステップが前記対象画面を垂直下方にスクロールしているときに前記ディスプレイ画面上で所定の時間以上の停止タッチがなされた場合、前記対象画面に表示される画像を所定の範囲ずつ下方に移動するページダウン制御を前記停止タッチの間周期的に実行することを特徴とする。
【００２２】
この請求項７に記載の発明によれば、スクロールの途中で停止タッチすることによって画面を比較的大幅に下方にスクロールすることができる。このため、比較的大幅な下方へのスクロールの操作を効率化することができる。
【００２３】
請求項８に記載の発明にかかるスクロール制御方法は、前記ドラッグ情報取得ステップがドラッグの方向の変化を検出した場合、前記スクロール実行ステップは、検出された変化の方向にスクロール方向を変更することを特徴とする。
【００２４】
この請求項８に記載の発明によれば、オペレータはスクロールしたい方向に領域上でドラッグして画面をスクロールすることができる。
【００２５】
請求項９に記載の発明にかかるスクロール制御方法は、さらに、前記スクロール領域選択ステップにおいてスクロール領域が選択されない場合、前記ディスプレイ画面に表示されているスクロールの対象領域を検索し、検索の結果得られた対象領域の表示状態を変更する表示変更ステップを含むことを特徴とする。
【００２６】
この請求項９に記載の発明によれば、オペレータに対象領域の選択を促すと共に、スクロールの対象となる領域を示すことができる。
【００２７】
請求項１０に記載の発明にかかるスクロール制御方法は、前記スクロール領域選択ステップが、前記対象領域のうち、ダブルクリックの操作がなされた位置を含む対象領域を選択することを特徴とする。
【００２８】
この請求項１０に記載の発明によれば、対象領域の選択にあたって所定のボタンを指定する操作を省き、選択の操作を簡易化することができる。
【００２９】
請求項１１に記載の発明にかかるプログラムは、ディスプレイ画面に表示される画像を制御するスクロール制御方法を、コンピュータに実行させるプログラムであって、前記ディスプレイ画面上において独立にスクロール可能なスクロールの対象領域を選択するスクロール領域選択ステップと、前記スクロール領域選択ステップにおいて選択された対象領域上におけるドラッグを検出するドラッグ検出ステップと、前記ドラッグ検出ステップで検出されたドラッグの方向およびドラッグされた長さを取得するドラッグ情報取得ステップと、前記ドラッグ情報取得ステップで取得されたドラッグの方向および長さに基づいて前記対象領域に表示されている対象画像をスクロールするスクロール実行ステップと、を含むことを特徴とする。
【００３０】
この請求項１１に記載の発明によれば、ディスプレイ画面上において独立にスクロール可能なスクロールの対象領域を選択し、選択された対象領域上におけるドラッグを検出する。さらに、検出されたドラッグの方向およびドラッグされた長さに基づいて対象領域に表示されている対象画像をスクロールする。このため、スクロールの操作にあたってスクロールバーのスクロールボックス上の座標にタッチ、あるいは座標上でクリックする必要がなく、簡易に画面をスクロールすることができる。また、ディスプレイ画面上の複数の対象領域からいずれかを選択してスクロールを制御できる。
【００３１】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかるスクロール制御方法およびその方法をコンピュータに実行させるためのプログラムの好適な実施の形態を詳細に説明する。
【００３２】
本発明の説明に先だって、本発明のスクロール制御方法が適用可能な構成について説明する。図１は、本発明の一実施の形態のスクロール制御方法が適用可能な光学式のタッチパネル付きディスプレイ装置を示す図である。図示したタッチパネル付きディスプレイ装置は、タッチパネル式の座標入力装置１と、座標入力装置１に入力された座標を検出する座標検出装置３と、座標検出装置３が検出した座標に基づいて画像データを制御するホスト装置４（本実施の形態ではＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）を利用している）、ホスト装置４によって制御された画像データ（Ｒ，Ｇ，Ｂ）を液晶画面やＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）といったディスプレイ画面１１３に表示する表示装置２とを備えている。座標入力装置１と座標検出装置３とを合わせた構成は、タッチパネルとも呼ばれる構成である。
【００３３】
また、図１に示したタッチパネル付きディスプレイ装置には、ディスプレイ画面１１３が座標入力装置１の座標入力面１１２と重なって設けられている。座標入力面とは、座標検出装置３が座標を検出できる領域であって、図１のタッチパネル付きディスプレイ装置はディスプレイ画面１１３に直接タッチする構成であるから、座標入力面１１２は仮想的な面である。なお、このようなタッチパネル付きディスプレイ装置は、ディスプレイ画面１１３に対するタッチ操作によってもホスト装置４に対するマウス操作によっても同様に制御することができる。
【００３４】
座標入力装置１は、後述する光学検出器を備えていて、ディスプレイ画面１１３上のタッチを光学的に検出する。光学検出器が検出したデータは座標検出装置３に入力し、座標検出装置３が、タッチされた座標入力面１１２上の点（タッチ点）ｔの座標（ｘ，ｙ）を算出する。算出される座標は、ディスプレイ画面１１３の画素数（例えばｘ：１０２４，ｙ：７６８）によって表され、１０ｍｓ、あるいは２０ｍｓといった時間で周期的にホスト装置４に出力する。なお、座標検出装置３のタッチ点の座標の算出については、後に詳述する。
【００３５】
また、座標検出装置３は、後述する光学検出器が検出したデータを入力するための左光学検出器Ｉ／Ｆ１０１、右光学検出器Ｉ／Ｆ１０２、座標検出装置３全般を制御する中央演算装置１０４、中央演算装置１０４で使用されるプログラムが格納されているＲＯＭ１０５、中央演算装置１０４の作業データが一時保存されるＲＡＭ１０６、周期的に時間を計測して中央演算装置１０４に入力するタイマ（ＴＩＭＥＲ）１０７とを備えている。
【００３６】
ホスト装置４は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であって、Ｗｉｎｄｏｗｓ（Ｒ）、Ｍａｃｉｎｔｏｓｈ（Ｒ）、Ｌｉｎｕｘ（Ｒ）といった汎用的なＯＳを搭載しており、画像データの制御は、ＯＳの制御下で実行されている。そして、汎用的なＯＳの制御下で実行されるプログラム（ドライバソフト）であるドライバ１０８と、共通の汎用的なＯＳの制御下で動作するアプリケーションであるＡＰＬ１１１と、画像データが一時的に保存される画像ＲＡＭ１１５とを有している。
【００３７】
本発明のスクロール制御を図１のタッチパネル付きディスプレイ装置に適用する場合、ＡＰＬ１１１の１つとして本実施の形態のスクロールＡＰＬが入る。スクロールＡＰＬについては後に詳述する。
【００３８】
ここで、図１に示したタッチパネル付きディスプレイ装置におけるタッチ点の検出および座標の算出について説明する。図２は、本実施の形態の座標入力装置を示す図である。座標入力装置１は、図中の縦方向の長さがＨ、横の長さがＷの矩形の座標入力面１１２と、座標入力面の三辺に設けられた再帰性反射部材２０１と、再帰性反射部材２０１が設けられていない一辺の両端に設けられた左光学検出器２０２Ｌ、右光学検出器２０２Ｒとを備えている。
【００３９】
左光学検出器２０２Ｌ、右光学検出器２０２Ｒは、いずれも半導体レーザである光源（図示せず）と、例えばＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を利用した受光部（図示せず）とを一体化したユニットである。光源は、座標入力面１１２の全域に光源を要とする扇状に光を照射する。左光学検出器２０２Ｌ、右光学検出器２０２Ｒが扇状の光を照射することによって、レーザ光は座標入力面１１２の全域に照射される。
【００４０】
座標入力面１１２に照射された光は、再帰性反射部材２０１に反射される。再帰性反射部材２０１は、光を１８０度の角度で反射する部材であって、例えば図中に示す照射光ｐ１を反射して照射光ｐ１の光軸に平行な光軸を通る反射光ｐ２とする。座標入力面上１１２に光を遮るものが存在しない場合、左光学検出器２０２Ｌ、右光学検出器２０２Ｒ、は照射された光のすべての反射光を受光する。しかし、例えば指やペンが座標入力面１１２にタッチしたとき、タッチ点を通る光が左光学検出器２０２Ｌ、右光学検出器２０２Ｒに受光されない。
【００４１】
左光学検出器２０２Ｌ、右光学検出器２０２Ｒによって検出される光の情報は、アナログデータとして座標検出装置３に入力する。このとき、座標検出装置３は、扇状に照射された光のうち、受光部の光を受光しなかった位置で本来受光されるはずの光の光軸から左光学検出器２０２Ｌ、右光学検出器２０２Ｒの受光部を通る直線と各受光部とタッチ点ｔとを通る直線との角度（光遮蔽角度）θＬ、θＲとを求める。タッチ点ｔの座標（ｘ，ｙ）は、角度θＬ、θＲを使って以下のように算出される。
ｘ＝Ｗ×ｔａｎθＲ／（ｔａｎθＬ＋ｔａｎθＲ）
ｙ＝Ｈ−Ｗ×ｔａｎθＬ×ｔａｎθＲ／（ｔａｎθＬ＋ｔａｎθＲ）
【００４２】
次に、本発明のスクロール制御方法が適用可能な構成として、電磁誘導方式のタブレットパーソナルコンピュータ（以下、タブレットＰＣ）について説明する。図３、図４は、タブレットＰＣを説明するための図であって、図３はタブレットＰＣの構成を説明する図、図４はタブレットＰＣの機能および座標検知の原理について説明する図である。タブレットＰＣは、ディスプレイ３０１とキーボード３０５を備えた本体３０３と図示しないマウスを有する。さらにマウスに代えて電子ペン３０７を使ったタッチパネル操作が可能である。また、Ｍｉｃｒｏｓｏｆｔ社からタブレットＰＣ用ＯＳである「Ｗｉｎｄｏｗｓ（Ｒ） ＰＣ Ｔａｂｌｅｔ ＰＣ Ｅｄｉｔｉｏｎ」がリリースされ手書き文字認識エンジン、音声認識エンジンなどが提供されている。
【００４３】
図３（ｂ）は、ディスプレイ画面３０１を１８０度回転させ、折り畳んだ状態を示す。このような状態のディスプレイ画面３０１に電子ペン３０７でタッチすると、電子ペン３０７とタブレットＰＣに内蔵されたセンサによりディスプレイ３０１上の電子ペン３０７の位置（座標）が検知され、マウスのクリック、ドラッグ操作をエミュレートする。水平のディスプレイ画面３０１と電子ペン３０７によりマウス操作では困難な手書き文字が紙に文字を書く感覚で描画可能となる。
【００４４】
図３（ｃ）に示すように、電子ペン３０７が直接接触するディスプレイ画面３０１の表面には強化ガラス３０９が設置され、液晶ディスプレイユニット３１１が傷つくのを防止する。液晶ディスプレイユニット３１１の下に電子ペンの位置を検知する電磁誘導センサユニット３１３が設置されている。なお、図３ではディスプレイ画面３０１を回転して折り畳む形式のタブレットＰＣを示したが、ディスプレイの部分が取りはずせるタイプもある。
【００４５】
図４（ａ）に示すように、電子ペン３０７には共振回路４０１、コンデンサ４０３、センサコイル４０５が内蔵されている。また、（ｂ）に示すように、電磁誘導センサユニット３１３には複数のセンサコイル４０５が設けられている。センサコイル４０５は座標検知精度に比例した密度に設置される。図はＸ軸方向を検知するためのセンサコイル４０５の一部を示しており、図示はないが図示したセンサコイル４０５と直交する方向にＹ軸方向を検知するためのセンサコイルが設置される。
【００４６】
電子ペン３０７の先端がディスプレイ画面３０１にタッチすると、センサコイル４０５に流れる電流磁界によってセンサコイル４０５に誘導起電圧が生じ、コンデンサ４０３とで構成される共振回路が励振され共振電流が流れる。電子ペン３０７の座標検知は、電磁誘導座標検知ユニット４１３の中央演算装置４２１によってなされる。
【００４７】
電磁誘導座標検知ユニット４１３は、まず、送受切替スイッチＩ／Ｆ４１９によって送受切替スイッチ４１１を制御し、送受切替スイッチ４１１を接点Ａ、接点Ｃに接続する。この接続により、交流電源４０９からセンサコイル４０５に電流が流れる。また、Ｘ軸コイル切替スイッチＩ／Ｆ４１５によってＸ軸コイル切替スイッチ４１０を制御し、高速にスイッチを切替えて順次センサコイル４０５に電流を流す。センサコイル４０５に順次磁界が発生し、発生した磁界によって電子ペン３０７が共振する。次に、中央演算装置４２１は、送受切替スイッチ４１１を接点Ｂ、接点Ｃに接続し、Ｘ軸コイル切替スイッチ４１０を順次高速に切り替える。このとき、電子ペン３０７に共振電流により磁界が発生し、センサコイル４０５に誘導起電圧が発生する。センサコイル４０５に発生する誘導起電圧は、Ｘ軸検知Ｉ／Ｆ４１７によって増幅、測定される。
【００４８】
図４（ｃ）は、測定される誘導起電圧の分布を例示する図である。電子ペン３０７がセンサコイル４０５の「２」を付したものの上にある場合、このセンサコイル「２」が受信する誘導起電圧が最も高くなる。以上のように、電磁誘導座標検知ユニット４１３は、測定された誘導起電圧分布の最も高い点を検出することによりタッチ点のＸ座標を確定する。また、同様にしてＹ座標のタッチ点を確定する。確定されたタッチ点の座標は、ＰＣＩ／Ｆ４２７（ＲＳ２３２Ｃ、ＵＳＢなど汎用Ｉ／Ｆ、または専用Ｉ／Ｆ）によりタブレットＰＣの本体３０３に通知される。タブレットＰＣのドライバが座標のデータを受け取ると、マウスデータに変換する。そして、汎用のマウスＩ／Ｆへ通し、本実施の形態のスクロールＡＰＬ１００に渡される。
【００４９】
なお、本実施の形態では、以上述べたタッチパネル付きディスプレイ装置において、座標入力面（本実施の形態ではディスプレイ画面）に対して指やペンが非接触状態から接触したことをタッチといい、タッチがなされた位置を示す点をタッチ点という。また、タッチ点から指やペンが離れたことをデタッチといい、デタッチすることなくタッチ点が移動することを移動・停止タッチという。また、タッチ、デタッチはマウスでいうクリックの操作に対応し、移動・停止タッチは、マウスでいうドラッグの操作に対応する。さらに、所定の時間内、かつ所定の範囲内に連続して２回のタッチがなされたことをダブルタッチといい、ダブルタッチは、マウスのダブルクリックに対応する。
【００５０】
上記したように、タッチパネル付きディスプレイ装置で検出されたタッチは、いずれもマウスによって入力される座標を含むマウスデータの形式に変換され、装置側で処理される。このようにタッチ操作はマウスの操作といずれも１対１に対応でき、マウス操作と同様に取り扱うことが可能である。このため、本実施の形態では、ダブルタッチとダブルクリックとは単なる入力ツールが異なるものであり、同一の操作とみなす。また、同様に、移動・停止タッチをマウスでいうドラッグと同一の操作とみなすものとする。
【００５１】
次に、タッチ点の座標をマウスデータへの変換する方法について具体的に説明する。図５（ａ）は、検出されたタッチ点データ（検出データ）の形式を説明するための図、図５（ｂ）はマウスデータの形式を説明するための図である。図５（ａ）に示したように、検出データは、タッチ点のｘ座標、ｙ座標、さらにタッチ点の座標ステータスの情報を含んでいる。座標ステータスは、検出データが、タッチ、デタッチ、移動・停止タッチのいずれであるかを１または０によって示すものである。なお、タッチパネル付きディスプレイ装置においてタッチ、デタッチ、移動・停止タッチが検出された場合、各タッチを示すフィールドに１が設定される。
【００５２】
また、図５（ｂ）に示したように、マウスデータは、タッチ点のｘ座標、ｙ座標、さらにマウスステータスの情報を含んでいる。マウスステータスは、マウスの右ボタンのＯＮ、ＯＦＦ、左ボタンのＯＮ、ＯＦＦを１または０によって示すものである。タッチ、デタッチ、移動・停止タッチは、マウスの右ボタンのＯＮ、ＯＦＦ、左ボタンのＯＮ、ＯＦＦのうちいずれかと対応付けて設定されている。
【００５３】
以下、本実施の形態のスクロール表示方法について説明する。図６は、本実施の形態のスクロール表示方法を実行するアプリケーションプログラムであるスクロールＡＰＬ１００を説明するための機能ブロック図である。スクロールＡＰＬ１００は、所定の範囲の面上でなされたタッチにしたがってディスプレイ画面に表示される画像を制御するスクロール制御方法をコンピュータに実行させるためのアプリケーションプログラムであり、Ｗｉｎｄｏｗｓ（Ｒ）によって提供される。
【００５４】
スクロールＡＰＬ１００は、タッチ点の情報を変換して得られるマウスデータを図１に示したドライバ１０８から受け取り、受け取ったマウスデータにしたがってスクロールを制御する。そして、スクロールＡＰＬ１００の起動を検出する起動検出部５０１、起動検出後、スクロールの対象領域を選択するスクロール領域選択ステップを実行する対象領域選択部５０３、選択された対象領域上におけるドラッグを検出するドラッグ検出ステップ、検出されたドラッグの方向およびドラッグされた長さを取得するドラッグ情報取得ステップ、取得されたドラッグの方向および長さに基づいて対象領域に表示されている対象画像をスクロールするスクロール実行ステップを実行するスクロール実行部５０５を備えている。
【００５５】
図６は、図１に示したスクロールＡＰＬ１００でなされる処理を説明するための図である。スクロールＡＰＬ１００は、例えば、デスクトップ画面のスクロール制御を示すアイコンをオペレータがダブルクリック（あるいはダブルタッチ）することによって起動する。スクロールＡＰＬ１００の起動により、タッチパネル付きディスプレイ装置は、スクロール制御モードに入る。
【００５６】
図７（ａ）〜（ｃ）および図８（ａ）〜（ｃ）は、スクロール制御の手順を説明するための図である。図７（ａ）は、スクロール制御モードに入った画面を示し、画面にはページ捲りツールバー６０１が表示される。ページ捲りツールバー６０１にはページ捲りボタン６０１ａ、設定ボタン６０１ｂ、閉じるボタン６０１ｃが表示される。スクロールの操作は、ページ捲りツールバー６０１へのタッチによって開始される。
【００５７】
また、本実施の形態では、スクロールモード時にウィンドウ画面６０３が表示されているものとする。ウィンドウ画面６０３にはそれぞれ独立のスクロールバー６０９、スクロールバー６１１および６１３でスクロールされる２つの領域があり、本実施の形態では、スクロール制御モード時にスクロール可能な領域をスクロール制御の対象領域という。本実施の形態ではウィンドウ画面６０３の２つの領域が対象領域６０５、６１３となる。
【００５８】
対象領域選択部５０３は、対象領域６０５、６１３のうち、ダブルタッチがなされた位置を含む対象領域を選択する。また、スクロールの対象領域が選択されない場合、対象領域選択部５０３は、対象領域を検索する。そして、検索の結果、最初に得られた対象領域の表示状態を変更し、オペレータに対象領域を選択するよう喚起する。図７（ａ）では、対象領域６０５の枠を太線で表示した例を示す。対象領域の表示状態の変更方法としては、他に領域の色を変える、あるいは枠線を点滅させるなどが考えられる。なお、表示が変更された対象領域以外の対象領域をスクロールしたい場合、例えば図７（ｂ）に示すように、スクロールしたい対象領域にオペレータがダブルタッチすることによって対象領域を対象領域６０７に変更することができる。所定の時間対象領域の変更がなされない場合、表示変更のあった対象領域がそのままスクロール制御の対象となる。
【００５９】
なお、対象領域選択部５０３は、対象領域になされたダブルタッチを変換して得られたダブルクリックのマウスデータを受け取ると、マウスデータが示す座標に基づいてダブルタッチがなされた対象領域を特定する。そして、スクロール実行部５０５が、マウスデータに基づいてドラッグの方向およびドラッグされた長さを取得し、さらに対象領域のスクロールバーに割り当てられた制御を実行することによって対象画像をスクロールする。本実施の形態でいうスクロールバーに割り当てられた制御とは、特定した対象領域のスクロールバーにあるスクロールボックスの座標を検出し、検出した座標上でドラッグがなされたのと同様の制御を実行することを指す。このような動作により、対象領域上の任意位置のダブルタッチによってスクロールの対象となる領域の選択が可能になる。
【００６０】
対象領域のスクロールは、オペレータの移動・停止タッチ、すなわちドラッグ操作によってなされる。本実施の形態では、スクロール実行部５０５が、対象領域上でのドラッグの方向をスクロール方向とみなし、ドラッグの方向に対象画像をスクロールするものとする。すなわち、図７（ｃ）に示すように、指や電子ペンをスクロールバー６１１に対する垂直方向（以下垂直方向）にドラッグすると、スクロール実行部５０５は、対象領域６０７を下方または上方（図では下方）にスクロールする。
【００６１】
図８（ａ）のように、指や電子ペンを水平方向にドラッグすると、スクロール実行部５０５は、対象領域６０７を右方または左方（図中Ａで示す）にスクロールする。また、（ｂ）のように、指や電子ペンを水平方向にドラッグすると、対象領域６０７を上方または下方（図中Ｂで示す）にスクロールする。なお、本実施の形態でいう水平方向とは、矩形のディスプレイ画面の周辺のうち、横方向の一辺に平行な方向を指す。また、垂直方向とは、矩形のディスプレイ画面の周辺のうち、横方向の一辺と直交する方向を指す。スクロール実行部５０５は、ドラッグの間にドラッグの方向の変化を検出した場合、検出された変化の方向にスクロール方向を変更する。なお、スクロール方向およびスクロール量の判断は、後で説明する。
【００６２】
また、スクロール実行部５０５は、ドラッグ操作の後、オペレータがドラッグの停止位置にそのまま指や電子ペンを所定の時間以上停止させた（特定停止）場合、ドラッグが下方であればキーボードの「ｐａｇｅ ｕｐ」キー、ドラッグが上方であれば「ｐａｇｅ ｄｏｗｎ」キーが押されたのと同様の操作を実行するようディスプレイ画面の表示を制御するＰＣに指示する。指示により、ＰＣは、所定の分量だけディスプレイ画面に表示される画像を表示すべき画像の下方または上方に移動する、いわゆるページ捲りを実行する（図８（ｂ））。ページ捲りは、特定停止の時間のうち所定の時間ごとになされ、指や電子ペンを移動させることなく大幅に表示される画像の範囲を変更することを可能にする。
【００６３】
スクロール制御モードは、オペレータが再度ページ捲りボタン６０１ａにタッチすることによって終了し、他のＡＰＬによるタッチパネル付きディスプレイ装置の操作が可能になる。（図８（ｃ））
【００６４】
ところで、指や電子ペンを操作して完全な直線上を移動させることは困難である。このため、本実施の形態では、以下の方法によって検出される座標の軌跡を特定し、ドラッグの方向がずれて表示される画像範囲が変動することを防いでいる。図９は、本実施の形態のスクロール方向を特定する方法を説明するための図である。図９（ａ）に示したように、ドラッグの間に（Ｘ０，Ｙ０）、（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）の４つの点が検出された場合、スクロール実行部５０５は、図示した各点間の距離Ｌ１，Ｌ２，Ｌ３，Ｌ４を以下の式を用いて算出する。なお、本実施の形態では、ドラッグの間に検出された座標間の長さをドラッグ長と記す。
Ｌ１＝（（Ｘ１−Ｘ０）２＋（Ｙ１−Ｙ０）２）１／２
Ｌ２＝（（Ｘ２−Ｘ０）２＋（Ｙ２−Ｙ０）２）１／２
Ｌ３＝（（Ｘ３−Ｘ０）２＋（Ｙ３−Ｙ０）２）１／２
Ｌ４＝（（Ｘ４−Ｘ０）２＋（Ｙ４−Ｙ０）２）１／２
【００６５】
スクロール実行部５０５は、順次算出されたドラッグ長が予め定められた特定の長さ（スクロール有効長）に達した時点でスクロールの方向（ＳＤ）、Ｘ方向についてのスクロール量（ＬＸ）、Ｙ方向についてのスクロール量（ＬＹ）を算出する。本実施の形態では、ドラッグ長Ｌ４が算出された時点でドラッグ長が有効スクロール長に達したものと判断されたものとする。
【００６６】
図９（ａ）は、スクロール方向を特定する処理を説明するための図である。すなわち、スクロール実行部５０５は、ドラッグを開始したタッチ点Ｐ（Ｘ０，Ｙ０）を基準にし、点Ｘ４の方向を角度θを用いて特定する。角度θは、以下の式によって算出される。
【００６７】
点（Ｘ４，Ｙ４）が（Ｘ４≧Ｘ０、Ｙ４＜Ｙ０）である場合（例えば点Ｐ１）
ＳＤ＝θ
θ＝ａｒｃｔａｎ（（Ｘ４−Ｘ０）／（Ｙ０−Ｙ４））
＋ＬＸ＝Ｌ４×ｓｉｎθ
−ＬＹ＝Ｌ４×ｃｏｓθ
【００６８】
点（Ｘ４，Ｙ４）が（Ｘ４≧Ｘ０、Ｙ４≧Ｙ０）である場合（例えば点Ｐ２）
ＳＤ＝θ＋９０
θ＝ａｒｃｔａｎ（（Ｙ４−Ｙ０）／（Ｘ４−Ｘ０））
＋ＬＸ＝Ｌ４×ｃｏｓθ
＋ＬＹ＝Ｌ４×ｓｉｎθ
【００６９】
タッチ点（Ｘ４，Ｙ４）が（Ｘ４＜Ｘ０、Ｙ４≧Ｙ０）である場合（例えば点Ｐ３）
ＳＤ＝θ＋１８０
θ＝ａｒｃｔａｎ（（Ｘ０−Ｘ４）／（Ｙ４−Ｙ０））
−ＬＸ＝Ｌ４×ｓｉｎθ
＋ＬＹ＝Ｌ４×ｃｏｓθ
【００７０】
タッチ点（Ｘ４，Ｙ４）が（Ｘ４＜Ｘ０、Ｙ４＜Ｙ０）である場合（例えば点Ｐ４）
ＳＤ＝θ＋２７０
θ＝ａｒｃｔａｎ（（Ｙ０−Ｙ４）／（Ｘ０−Ｘ４））
−ＬＸ＝Ｌ４×ｃｏｓθ
−ＬＹ＝Ｌ４×ｓｉｎθ
【００７１】
上記した式のいずれかを用いてスクロール方向θを確定した後、スクロール実行部５０５は、図９（ｃ）に示すように、点（Ｘ４，Ｙ４）に続いてドラッグ操作中に検出された点（Ｘ５，Ｙ５）…について、Ｘ方向クロール量（ＬＸ）、Ｙ方向スクロール量（ＬＹ）を以下の式を用いて順次確定する。
Ｌ＝（（Ｘ５−Ｘ４）２＋（Ｙ５−Ｙ４）２）１／２
＋ＬＸ＝Ｌ×ｃｏｓθ
＋ＬＹ＝Ｌ×ｓｉｎθ
ＳＤ＝θ＋９０
【００７２】
また、スクロール実行部５０５には予めＸ方向スクロール量、Ｙ方向スクロール量に対応する対象領域をスクロールする分量およびが方向のデータが記憶されている。そして、確定したＸ方向スクロール量、Ｙ方向スクロール量をデータと照合し、ディスプレイ画面に表示されている画像のスクロールを、ドラッグされたスクロール量および方向に応じて実行する。
【００７３】
図１０は、オペレータがスクロールモードの設定を行う画面（設定ダイアログボックス）を説明するための図である。設定ダイアログボックスは、図９に示したページ捲りツールバー６０１の設定ボタン６０１ｂにタッチすることによって開かれる。図１０に示した制限時間設定部１００１は、２回のタッチがダブルタッチ（ダブルクリック）とみなす場合の時間間隔を設定するものである。オペレータはダブルクリック間隔設定用のバーのボックスを移動し、時間間隔を遅く（長く）または早く（短く）設定する。設定された時間間隔以内で２回のタッチがなされ、かつ、タッチがなされた２箇所の距離がスクロール有効長以下であれば、スクロールＡＰＬ１００が２回のタッチを変換して作成されるマウスデータがダブルクリックと判断する。
【００７４】
また、ページ捲り移行停止設定用のバーは、スクロール実行部５０５が特定停止中と判断する条件となる停止時間を設定するものである。対象領域のいずれかの一点にバーのボックスを移動して設定した時間以上指や電子ペンがあった場合、スクロール実行部は、「ｐａｇｅ ｕｐ」キー、または「ｐａｇｅ ｄｏｗｎ」を実行する。「ｐａｇｅ ｕｐ」キー、「ｐａｇｅ ｄｏｗｎ」を実行する周期は、ページ捲り周期設定用バーによって設定できる。
【００７５】
さらに、本実施の形態のスクロール制御方法は、前記したようにスクロールボックスのドラッグ操作と同様の操作を対象領域の任意の位置で行なうものである。このため、主にディスプレイ画面の一辺と平行またはこの一辺と直交する方向に画像をスクロールする処理を対象とする。したがって、本実施の形態では、以下のようにしてドラッグの方向をディスプレイ画面の一辺と平行またはこの一辺と直交する方向に近似するものとした。
【００７６】
水平スクロール傾き設定部１００３は、スクロール実行部５０５が、図９で説明した方法で特定されたスクロール方向を水平方向とみなす場合に許容される傾きを設定するものである。
【００７７】
水平スクロール傾き設定部１００３には、直線１０１５が表示される。矢線１０１５が表示されている領域にオペレータがタッチすると、本実施の形態では、ハンドルが表示されるものとする（図示せず）。ハンドルを矢線Ｃの方向にドラッグすると矢線１０１５の先端だけが移動し、矢線１０１５の傾きが設定される。スクロール実行部５０５は、設定された傾き（水平スクロール傾き）を水平と判断する際の許容範囲とし、図中の横方向になされたドラッグの軌跡が水平方向に対してここで設定された以下の傾きを持つ場合にはドラッグが水平になされたものと判断する。
【００７８】
すなわち、図７（ｂ）に示すように、スクロール実行部５０５は、水平スクロール傾きがθＨ（θＨ＝ａｒｃｔａｎ（Ｙ／Ｘ））に設定された場合、スクロールモード時のドラッグが、図９（ｂ）で示した９０−θＨ〜９０＋θＨである、または２７０−θＨ〜２７０＋θＨである場合にドラッグが水平方向になされたと判断し、選択されている対象領域を水平にスクロールする。
【００７９】
垂直スクロール傾き設定部１００５は、スクロール実行部５０５が、図９で説明した方法で特定されたスクロール方向を垂直方向とみなす場合に許容される傾き（垂直スクロール傾き）を設定するものである。なお、本実施の形態でいう垂直方向とは、矩形のディスプレイ画面の周辺のうち、横方向の一辺に直交する方向をいうものとする。
【００８０】
垂直スクロール傾き設定部１００５には、直線１０１７が表示される。矢線１０１７が表示されている領域にオペレータがタッチすると、本実施の形態では、ハンドルが表示されるものとする（図示せず）。ハンドルを矢線Ｄの方向にドラッグすると矢線１０１７の先端だけが移動し、矢線１０１７の傾きが設定される。スクロール実行部５０５は、設定された傾きを垂直と判断する際の許容範囲とし、図中の縦方向になされたドラッグの軌跡が垂直方向に対してここで設定された以下の傾きを持つ場合にはドラッグが垂直になされたものと判断する。
【００８１】
すなわち、図７（ｃ）に示すように、スクロール実行部５０５は、垂直スクロール傾きがθＶ（θＶ＝ａｒｃｔａｎ（Ｙ／Ｘ））に設定された場合、スクロールモード時のドラッグが、図９（ｂ）で示した３６０−θＶ〜０＋θＶである、または１８０−θＶ〜１８０＋θＶである場合にドラッグが垂直方向になされたと判断し、選択されている対象領域を垂直にスクロールする。
【００８２】
停止タッチ範囲設定部１００７は、スクロール制御モード時に停止タッチであると判断する際のタッチ位置の変動の許容範囲を設定するものである。タッチによって表示されるハンドルを矢線Ｅの方向にドラッグすることによって円１０１８の大きさが決まる。スクロール実行部５０５は、タッチ点が所定の時間以上設定された円の範囲内にあることを示すマウスデータを停止タッチと判断する。すなわち、スクロール実行部５０５は、円１０１８の範囲内でタッチ点が移動しても、この移動を許容して停止タッチと認めることになる。
【００８３】
スクロール有効長設定部１０１９は、図９で説明したスクロール長を設定するものである。タッチによって表示される矢線１０１９をドラッグすると、矢線１０１９の先端だけが移動して矢線１０１９の長さが変わる。スクロール実行部５０５は、矢線１０１９の長さを反映し、有効スクロール長を設定する。
【００８４】
以上述べた本実施の形態によれば、ディスプレイ画面上でなされたタッチをマウスデータに変換し、このマウスデータに基づいてドラッグの方向や長さを検出する。さらに、選択された対象領域のスクロールバーのスクロールボックスを検出し、検出されたドラッグの方向や長さに基づいて、このスクロールボックスをマウスでドラッグするのと同様の制御（スクロール）を実行する。このため、任意の位置においてなされた移動・停止タッチによって画面をスクロールする制御を、マウスによってスクロール可能なウィンドウを提供するすべてのアプリケーションに適用することができる。
【００８５】
次に、以上述べたスクロール制御方法をフローチャートを用いて説明する。図１１は、図５で説明したタッチ点の座標をマウスデータへの変換する方法のフローチャートである。なお、図１１に示したフローチャートは、制御の説明上必要な項目を示したものであり、実際の制御データを示すものではない。
【００８６】
ドライバ１０８は、座標検出装置３からタッチにかかる座標データを入力する（ステップＳ１１０１）。座標データがタッチ座標を示す場合（ステップＳ１１０２：Ｙｅｓ）、ドライバのコントロールパネルの設定に応じてタッチがマウスの右クリックに当たるか否か判断する（ステップＳ１１０３）。そして、右クリックにあたる場合（ステップＳ１１０３：Ｙｅｓ）、右ボタンのＯＮを示すマウスデータとしてＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が提供するマウスＩ／Ｆへ通知する（ステップＳ１１０４）。また、ドライバ１０８は、ステップ１１０３においてタッチ操作が右クリックにあたらないと判断した場合（ステップＳ１１０３：Ｎｏ）、左ボタンのＯＮを示すマウスデータをマウスＩ／Ｆへ通知する（ステップＳ１１０５）。
【００８７】
一方、ステップ１１０２において、入力した座標データがタッチ座標を示すものでないと判断された場合（ステップＳ１１０２：Ｎｏ）、ドライバ１０８は、座標データがデタッチを示すものか否か判断する（ステップＳ１１０６）。デタッチであれば（ステップＳ１１０６：Ｙｅｓ）、タッチ操作が右クリックにあたるものか否か判断し（ステップＳ１１０７）、この判断に応じてマウスの右ボタンまたは左ボタンのＯＦＦをマウスＩ／Ｆに通知する（ステップＳ１１０９）。
【００８８】
図１２は、スクロール制御モードのフローチャートである。スクロールＡＰＬ１００は、デスクトップアイコンのダブルクリック等によりスクロール制御用のプログラムを起動し、ページ捲りツールバー６０１を表示する（ステップＳ１２０１）。そして、制御データを初期化し（ステップＳ１２０２〜１２０８）、座標検出装置３からタッチ座標を変換して得たマウスデータを受け取る（ステップＳ１２０９）。そして、受け取ったマウスデータがページ捲りツールバー６０１上にあるか否か判断し（ステップＳ１２１０）、タッチ点がページ捲りツールバー６０１上にある場合にはデタッチとなるまでページ捲りツールバー制御を実行する（ステップＳ１２１１）。また、タッチ点がページ捲りツールバー６０１外であると判断した場合（ステップＳ１２１０：Ｎｏ）、タッチ点がデタッチとなるまでスクロール表示制御を実行する（ステップＳ１２１６）。
【００８９】
図１３、図１４は、図１２に示したページ捲りツールバー制御を説明するためのフローチャートである。ページ捲りツールバー制御では、タッチされたボタンを選択表示するよう設定を変更する（ステップＳ１３０３）。また、タッチしたボタン種別を保存する（ステップＳ１３０４）。また、ドラッグ操作によりタッチ点がタッチボタン外へ移動した場合（（ステップＳ１３０２：Ｎｏ）、（ステップＳ１３０５：Ｎｏ））、タッチボタンを通常表示へ戻す（ステップＳ１３０７）。また、デタッチ（ボタンＯＦＦ）を検出した場合（ステップＳ１３０１：Ｎｏ）、タッチボタンを通常表示へ戻す。
【００９０】
制御ボタンの種別がページ捲りである場合（ステップＳ１３０９：Ｙｅｓ）、操作モードをページ捲りに設定するか否か判断する（ステップＳ１３１０）。ページ捲りを設定する場合、ページ捲りボタン６０１ａへのタッチによりページ捲りモード示す実行中表示（例えばページ捲りボタン６０１ａが画面より下がった状態であるように陰影をつける）へ切り替える（ステップＳ１３１１）。さらに、スクロールＡＰＬ１００が、すべてのマウスデータを受け取るモードへ移行し（ステップＳ１３１２）、画面上の任意の領域でドラッグ操作、ダブルクリック操作によりマウスデータをすべて受け取る。
【００９１】
また、対象領域選択部５０３は、スクロールの対象領域を選択するため、対象領域（フローチャートではスクロール領域と表記）を検索、領域枠を表示する（ステップＳ１３１３）。また、ステップＳ１３１０において操作モードをページ捲りに設定しないと判断した場合（ステップＳ１３１０：Ｎｏ）、ページ捲りボタンタッチ６０１ａへのタッチでページ捲りモードから抜け、ページ捲りツールバー６０１上の座標のみ受け取り、他のアプリケーション上の座標はこのアプリケーションが受け取る通常の操作状態へ戻す（ステップＳ１３１６）。
【００９２】
また、制御ボタンの種別がページ捲りでないと判断された場合（ステップＳ１３０９：Ｎｏ）、図１４に示すように、操作モードがページ捲りに設定されているか否か判断する（ステップＳ１４０１）。ページ捲りに設定されていれば（ステップＳ１４０１：Ｙｅｓ）、ページ捲りボタン６０１ａをページ捲り実行中の表示にする（ステップＳ１４０２）。そして、設定ボタン６０１ｂによりページ捲りモード設定ダイアログボックスを表示し（ステップＳ１）、ページ捲りモードを設定する（ステップＳ１４０４）。閉じるボタン６０１ｂへのタッチによりページ捲りツールバーが閉じ（ステップＳ１４０６）、以上の処理が終了する。
【００９３】
図１５は、図１３のステップＳ１３１３に示した対象領域検索制御の処理を説明するためのフローチャートである。スクロール領域検索制御では、ダブルタッチによって選択された対象領域、あるいは自動検知された対象領域が存在するか否かを対象領域選択部５０３がウィンドウに関するスクロール領域情報に基づいて判断する（ステップＳ１５０２）。なお、スクロール領域情報は、ウィンドウが開かれるたびに検出、更新されるものでもよい。ウィンドウの情報は、ＯＳが提供するＩ／Ｆを介して対象領域選択部５０３が取得できる。
以下に、スクロール領域情報に含まれる情報の項目を例示する。
ウィンドウタイトル（０×００：無効）
ウィンドウ番号
ウィンドウ原点の座標
ウィンドウ幅
ウィンドウ高さ
ウィンドウ領域表示枠（０：無，１：有り）
対象領域が存在するか否かの判断は、主に「ウィンドウタイトル」、「ウィンドウ番号」に応じてなされる。
【００９４】
対象領域として選択されていたウィンドウが閉じた、あるいは他のウィンドウの背面に移った場合、対象領域選択部５０３は、最前面にあるウィンドウを提供するアプリケーションの情報を取得する（ステップＳ１５０４）。そして、取得したアプリケーションのウィンドウの中から対象領域を検索する（ステップＳ１５０５）。さらに、取得したアプリケーションからアプリケーションのウィンドウタイトル（Ｍｉｃｒｏｓｏｆｔ（Ｒ）、Ｗｏｒｄ（Ｒ）などがアプリケーション名となる）を取得する。また、スクロール領域のウィンドウ番号、ウィンドウ原点座標、ウィンドウ幅、ウィンドウ高さをスクロール領域情報として保存する（ステップＳ１５０８）。
【００９５】
また、対象領域選択部５０３は、検索した対象領域を示すため、全画面透明ウィンドウを作成し、対象領域の枠線を太線で示す（ステップＳ１５０９）。枠線は、スクロール操作の開始時にクリアされる。
【００９６】
図１６、図１７、図１８は、図１２のステップＳ１２２３に示したスクロール表示制御の処理を説明するためのフローチャートである。スクロール表示制御では、タッチからデタッチまでがスクロール制御の単位となる。マウスボタンのＯＦＦ、すなわちデタッチが検出されると（ステップＳ１６０１：Ｙｅｓ）、スクロール実行部５０５は、スクロールＡＰＬ１００のスクロール制御、ダブルクリック制御を開始し、タッチ座標をクリアしてタッチ点に描画がなされることを防ぐ（ステップＳ１６０５）。
【００９７】
検出されたデタッチまでのドラッグ長がスクロール有効長以下の場合、スクロール実行部５０５は、デタッチがクリック操作として行なわれたものとする（ステップＳ１６０７）。そして、デタッチのタッチ座標をクリック座標として保存する（ステップＳ１６０８）。そして、次のクリックが制限時間設定部１００１で予め設定された時間内になされるか否か判断するために計時を開始する（ステップＳ１６０９）。そして、次のタッチが所定の範囲内（直前のタッチ点との距離がスクロール有効長以下）で設定された時間内に行なわれたと判断した場合（ステップＳ１６１０：Ｎｏ）、このタッチをダブルクリックとみなし、ダブルクリックがなされた位置の座標が含まれる対象領域の情報を取得する（ステップＳ１６１２）。取得した情報は、スクロール領域情報として保存される（ステップＳ１６１５）。
【００９８】
また、タッチから次のタッチがなされた時間までが設定された時間以上であると判断した場合（ステップＳ１６２０：Ｙｅｓ）、ダブルクリックモードを解除する（ステップＳ１６２１）。そして、スクロール領域情報に保存されているスクロール領域が存在するか判断する（ステップＳ１６２３）。スクロール領域情報には、対象領域を持たないアプリケーション、あるいはアプリケーションが表示されていない場合、対象領域に関する情報が存在しない。
【００９９】
スクロール領域情報に対象領域に関する情報がある場合（ステップＳ１６２３：Ｙｅｓ）、図１７に示すように、この対象領域の枠が表示されているか否か判断する（ステップＳ１７０２）。枠が表示されている場合（ステップＳ１７０２：Ｙｅｓ）、この枠を消去する（ステップＳ１７０３）。そして、前回入力した座標と今回入力した座標との間隔を算出し（ステップＳ１７０４）、タッチ開始からのドラッグ長がスクロール有効長に達したか否か判断し（ステップＳ１７０５）、達した時からスクロール表示を開始する（ステップＳ１７０５：Ｙｅｓ）。さらに、スクロール実行部５０５は、図１０に示した方法でスクロール方向ＳＤと傾きθＨあるいはθＶを算出し、スクロール方向を決定する。以下にＳＤ、θＨ、θＶとスクロール方向との関係について記す。
【０１００】
（９０−θＨ）＜ＳＤ＜（９０＋θＨ）である場合
（θ（水平方向に対する傾き）＝０、ＳＤ＝９０）の水平スクロールとする。
（２７０−θＨ）＜ＳＤ＜（２７０＋θＨ）である場合
（θ（水平方向に対する傾き）＝０、ＳＤ＝２７０）の水平スクロールとする。
（３６０−θＶ）＜ＳＤ＜（０＋θＶ）である場合
（θ（垂直方向に対する傾き）＝０、ＳＤ＝０）の垂直スクロールとする。
（１８０−θＶ）＜ＳＤ＜（１８０＋θＶ）である場合
（θ（垂直方向に対する傾き）＝０、ＳＤ＝１８０）の垂直スクロールとする。
【０１０１】
スクロール実行部５０５は、ＯＳが提供するＩ／Ｆを介して対象領域をスクロールする。このスクロールは、図９（ｃ）に示した方法で確定したＸ方向スクロール量、Ｙ方向スクロール量を用いて行なわれる。また、今回受け取った座標が前回受け取った座標を中心とする停止タッチ範囲内にあるか否か判断し（ステップＳ１７１０）、停止範囲内にないと判断された場合には（ステップＳ１７１０：Ｎｏ）、今回受け取った座標と前回受け取った座標との間のドラッグ長、スクロール方向を算出する（ステップＳ１７１５）。また、スクロール方向が逆転した場合（（ＳＤ−９０）〜（ＳＤ＋９０）外）、スクロール表示方向を１８０°反転させ（ステップＳ１７１６）、この方向のデータを保存する（ステップＳ１７１７）。そして、今回の座標と前回の座標との間のドラッグ長、スクロール方向からスクロール量を算出する（ステップＳ１７１８）。
【０１０２】
ステップＳ１７１０において、今回の受け取った座標が停止タッチを示すと判断した場合（ステップＳ１７１０：Ｙｅｓ）、スクロール中にであるか否か判断する（ステップＳ１７２０）。スクロール中であれば（ステップＳ１７２０：Ｙｅｓ）、スクロール制御を停止し（ステップＳ１７２１）、ページ捲りに移行するための特定停止時間の計時を開始する（ステップＳ１７２２）。
【０１０３】
ステップＳ１７２０においてスクロール中でないと判断された場合（ステップＳ１７２０：Ｎｏ）、図１８のように、スクロールモードにおける制御が停止タッチであるか否か判断する（ステップＳ１８０１）。停止タッチであると判断した場合（ステップＳ１８０１：Ｙｅｓ）、この停止タッチが特定停止中であるか否かによってページ捲りの制御に移行するか否か判断する（ステップＳ１８０１）。ページ捲りに移行する場合（ステップＳ１８０２：Ｙｅｓ）、スクロール表示から「ＰａｇｅＤｗｏｎ」、「ＰａｇｅＵｐ」キー出力によるページ制御へ移行する（ステップＳ１８０７）〜（ステップＳ１８１０）。
【０１０４】
なお、この際、「ＰａｇｅＤｏｗｎ」キーコードは、スクロール方向（９０＜ＳＤ＜２７０）である場合にキーボードＩ／Ｆに通知される。この通知によってキーボードの同キーが押されたのと同様の動作が実行される。また、「ＰａｇｅＵｐ」キーコードは、スクロール方向（２７０≦ＳＤ≦９０）である場合にキーボードＩ／Ｆに通知される。この通知によってキーボードの同キーが押されたのと同様の動作が実行される。「ＰａｇｅＤｏｗｎ」、「ＰａｇｅＵｐ」のキーの通知は、停止タッチが連続する場合、ページ捲り周期単位ごと実行される（ステップＳ１８１２）。
【０１０５】
尚、本実施形態のスクロール制御方法は、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（Ｒ）ディスク（ＦＤ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、本実施形態のスクロール制御方法をコンピュータに実行させるためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。
【０１０６】
【発明の効果】
以上述べたように、請求項１に記載の発明は、簡易に画面をスクロールすることができ、より操作性が高く、プレゼンテーション等を円滑に進行させることができる。また、複数の対象領域からいずれかを選択してスクロールを制御できるので、ＰＣやタッチパネル付きディスプレイ装置で動作するアプリケーションのすべてでタッチ操作によるスクロールを可能にするスクロール制御方法を提供できるという効果を奏する。
【０１０７】
請求項２に記載の発明は、任意の位置においてなされた移動・停止タッチによって画面をスクロールする制御を、マウスによってスクロール可能なウィンドウを提供するすべてのアプリケーションに適用することができるスクロール制御方法を提供できるという効果を奏する。
【０１０８】
請求項３に記載の発明は、スクロール方向を適切に設定することにより、より使い易いスクロール制御方法を提供できるという効果を奏する。
【０１０９】
請求項４に記載の発明は、オペレータの意図に沿った方向に画面をスクロール可能にすることにより、より使い易いスクロール制御方法を提供できるという効果を奏する。
【０１１０】
請求項５に記載の発明は、オペレータの意図に沿った方向に画面をスクロール可能にすることにより、より使い易いスクロール制御方法を提供できるという効果を奏する。
【０１１１】
請求項６に記載の発明は、比較的大幅な上方へのスクロールの操作を効率化することにより、より使い易いスクロール制御方法を提供できるという効果を奏する。
【０１１２】
請求項７に記載の発明は、比較的大幅な下方へのスクロールの操作を効率化することにより、より使い易いスクロール制御方法を提供できるという効果を奏する。
【０１１３】
請求項８に記載の発明は、スクロールしたい方向に領域上でドラッグすることによって画面をスクロールすることにより、より使い易いスクロール制御方法を提供できるという効果を奏する。
【０１１４】
請求項９に記載の発明は、オペレータに対象領域の選択を促すと共に、スクロールの対象となる領域を示すことにより、より使い易いスクロール制御方法を提供できるという効果を奏する。
【０１１５】
請求項１０に記載の発明は、選択の操作を簡易化することにより、より使い易いスクロール制御方法を提供できるという効果を奏する。
【０１１６】
請求項１１に記載の発明は、簡易に画面をスクロールすることができ、より操作性が高く、プレゼンテーション等を円滑に進行させることができる。また、複数の対象領域からいずれかを選択してスクロールを制御できるので、ＰＣやタッチパネル付きディスプレイ装置で動作するアプリケーションのすべてでタッチ操作によるスクロールを可能にするスクロール制御方法をコンピュータに実行させるプログラムを提供できるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施の形態のスクロール制御方法が適用可能な光学式のタッチパネル付きディスプレイ装置を示す図である。
【図２】本発明に適用可能な座標入力装置を示す図である。
【図３】本発明に適用可能なタブレットＰＣを説明するための図である。
【図４】本発明に適用可能なタブレットＰＣを説明するための他の図である。
【図５】本発明の実施の形態のタッチデータとマウスデータとの関係を説明するための図である。
【図６】本発明の実施の形態のスクロール表示方法を実行するアプリケーションプログラムを説明するための図である。
【図７】本発明の実施の形態のスクロール制御の手順を説明するための図である。
【図８】本発明の実施の形態のスクロール制御の手順を説明するための他の図である。
【図９】本実施の形態のスクロール方向を特定する方法を説明するための図である。
【図１０】本発明の実施の形態の設定ダイアログボックスを説明するための図である。
【図１１】図５で説明したタッチ点の座標をマウスデータへの変換する方法のフローチャートである。
【図１２】本発明の実施の形態のスクロール制御モードのフローチャートである。
【図１３】図１２に示したページ捲りツールバー制御を説明するためのフローチャートである。
【図１４】図１２に示したページ捲りツールバー制御を説明するための他のフローチャートである。
【図１５】図１３に示した対象領域検索制御の処理を説明するためのフローチャートである。
【図１６】図１２に示したスクロール表示制御の処理を説明するためのフローチャートである。
【図１７】図１２に示したスクロール表示制御の処理を説明するための他のフローチャートである。
【図１８】図１２に示したスクロール表示制御の処理を説明するための他のフローチャートである。
【符号の説明】
１ 座標入力装置
２ 表示装置
３ 座標検出装置
４ ホスト装置
１０４ 中央演算装置
１０８ ドライバ
１１２ 座標入力面
１１３ ディスプレイ画面
２０１ 再帰性反射部材
２０２Ｒ 右光学検出器
２０２Ｌ 左光学検出器
３０１ ディスプレイ
３０７ 電子ペン
５０１ 起動検出部
５０３ 対象領域選択部
５０５ スクロール実行部
６０１ ページ捲りツールバー
６０１ａ ページ捲りボタン
６０１ｂ 設定ボタン
６０９、６１１ スクロールバー
１００１ 制限時間設定部
１００３ 水平スクロール傾き設定部
１００５ 垂直スクロール傾き設定部
１００７ 停止タッチ範囲設定部
１０１９ スクロール有効長設定部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a scroll display method and a program for causing a computer to execute the method.
[0002]
[Prior art]
Currently, a display device with a touch panel may be used in, for example, a presentation or education site where a display screen is enlarged and an image is simultaneously displayed to a plurality of people. In a display device with a touch panel, an operator touches a set area with a finger or a pen, and controls an image displayed on the display screen based on the coordinates of the touched point. For this reason, the operator can easily indicate to the audience which part of the display screen is the subject, and can make an easy-to-understand presentation or the like.
[0003]
Many devices having a display screen, such as a display device with a touch panel and a PC (Personal Computer), and having a function of displaying an image on the display screen have a scroll function. The scroll function refers to a function for sequentially changing the displayed part while displaying only a part of the image to be displayed on the display screen, and changing the display screen using the scroll function is called scrolling. An operation in which an image to be displayed is set to cover a plurality of pages and a displayed portion is switched from one page to another is also referred to as page turning.
[0004]
By the way, scrolling is generally performed by selecting a scroll box of a scroll bar provided on the side or lower part of a window in which an application displays an image and moving the scroll bar in a direction in which the user wants to scroll. When used for a presentation or the like, a display device with a touch panel is required to be difficult to operate and to be operated smoothly. In order to meet such a demand, a configuration has been proposed in which the screen can be scrolled by touching and dragging to an arbitrary position on the display screen (see, for example, Patent Document 1 and Patent Document 2).
[0005]
[Patent Document 1]
Japanese Unexamined Patent Publication No. Hei 6-149531 (paragraph [0013])
[Patent Document 2]
JP-A-11-102274 (paragraph [0011])
[0006]
According to such a conventional technique, the operator does not need to move to touch the scroll bar of the display screen or to operate the display device with a touch panel by using a mouse connected to the display device with a touch panel. For this reason, it is possible to provide a display device with a touch panel in which the scroll operation does not disturb the progress of the presentation and the presentation or the like can be performed smoothly.
[0007]
[Problems to be solved by the invention]
However, each of the above-described conventional techniques is configured to scroll a specific application among a plurality of applications operating on the PC by a touch operation. Accordingly, there is a drawback in that a scrollable application is limited by a drag operation at an arbitrary position during a presentation using a display device with a touch panel.
[0008]
The present invention has been made in view of the above points, and enables scrolling by a touch operation in all applications that operate on a PC or a display device with a touch panel, has higher operability, and allows a presentation or the like to proceed smoothly. It is an object of the present invention to provide a scroll control method and a program for causing a computer to execute the method.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to claim 1 is a scroll control method for controlling an image displayed on a display screen, and selects a scroll target area that can be scrolled independently on the display screen. Scroll region selection step, drag detection step for detecting a drag on the target region selected in the scroll region selection step, and drag information for acquiring the drag direction and dragged length detected in the drag detection step An acquisition step; and a scroll execution step of scrolling the target image displayed in the target area based on the drag direction and length acquired in the drag information acquisition step.
[0010]
According to the first aspect of the present invention, a scroll target area that can be scrolled independently on the display screen is selected, and a drag on the selected target area is detected. Furthermore, the target image displayed in the target area is scrolled based on the detected drag direction and dragged length. Therefore, it is not necessary to touch the coordinates on the scroll box of the scroll bar or click on the coordinates in the scroll operation, and the screen can be scrolled easily. In addition, scrolling can be controlled by selecting any one of a plurality of target areas on the display screen.
[0011]
In the scroll control method according to claim 2, in the drag detection step, a drag is detected based on mouse data obtained by converting information on a stop / moving touch performed at an arbitrary position of the target area. In the drag information acquisition step, the drag direction and the dragged length are acquired based on the mouse data, and in the scroll execution step, the scroll area is determined based on the acquired drag direction and the dragged length. The target image is scrolled by executing the control assigned to the scroll bar of the target area selected in the selection step.
[0012]
According to the second aspect of the present invention, the movement / stop touch made at an arbitrary position is converted into mouse data, and the direction and length of the drag are detected based on the mouse data. Further, control assigned to the scroll bar of the target area is executed based on the detected direction and length of the drag. For this reason, the control of scrolling the screen by a movement / stop touch performed at an arbitrary position can be applied to all applications that provide a window scrollable by a mouse.
[0013]
According to a third aspect of the present invention, in the scroll control method according to the third aspect of the present invention, when the drag detected in the drag information acquisition step is equal to or longer than a specific length that is a specific length, the drag is determined and the direction and length of the drag are determined. And the step of executing scrolling scrolls the target image in the dragged direction.
[0014]
According to the third aspect of the present invention, it is possible to reduce the recognition of the movement / stop touch performed by the operator without intention of the drag as the drag. In addition, it is possible to set an appropriate scrolling direction without detecting all changes in the direction during dragging as the dragging direction.
[0015]
The scroll control method according to a fourth aspect of the invention includes a tilt setting step in which the scroll execution step sets a range of angles formed by a horizontal direction parallel to one side of the display screen and a drag direction. When the inclination of the drag direction with respect to the horizontal direction is within a set angle range, it is determined that the drag has been made in the horizontal direction, and the target screen is scrolled in the horizontal direction.
[0016]
According to the fourth aspect of the present invention, the inclination of the drag direction of the operator who intends to drag in the horizontal direction is allowed, and the screen can be scrolled in the direction along the intention.
[0017]
6. The scroll control method according to claim 5, wherein the scroll execution step includes an inclination setting step for setting an angle range formed by a vertical direction orthogonal to one side of the display screen and a drag direction. When the inclination of the direction with respect to the vertical direction is within a set angle range, it is determined that the drag has been made in the vertical direction, and the target screen is scrolled in the vertical direction.
[0018]
According to the fifth aspect of the present invention, the inclination of the drag direction of the operator who intends to drag in the vertical direction is allowed, and the screen can be scrolled in the direction along the intention.
[0019]
In the scroll control method according to the invention of claim 6, when the scroll execution step is scrolling the target screen vertically upward, a stop touch for a predetermined time or longer is performed on the display screen. The page-up control for moving the image displayed on the target screen downward by a predetermined range is periodically executed during the stop touch.
[0020]
According to the sixth aspect of the present invention, the screen can be scrolled relatively large upward by touching the stop during the scrolling. For this reason, a relatively large upward scrolling operation can be made efficient.
[0021]
In the scroll control method according to the seventh aspect of the invention, when the stop execution is performed on the display screen for a predetermined time or more when the scroll execution step is scrolling the target screen vertically downward, The page-down control for moving the image displayed on the target screen downward by a predetermined range is periodically executed during the stop touch.
[0022]
According to the seventh aspect of the present invention, it is possible to scroll the screen relatively greatly downward by touching stop in the middle of scrolling. For this reason, it is possible to improve the efficiency of a relatively large downward scroll operation.
[0023]
In the scroll control method according to an eighth aspect of the present invention, when the drag information acquisition step detects a change in the drag direction, the scroll execution step changes the scroll direction to the detected change direction. Features.
[0024]
According to the eighth aspect of the present invention, the operator can scroll the screen by dragging on the area in the direction in which the operator wants to scroll.
[0025]
In the scroll control method according to the ninth aspect of the present invention, when a scroll area is not selected in the scroll area selecting step, the scroll target area displayed on the display screen is searched, and the search result is obtained. And a display change step for changing the display state of the target area.
[0026]
According to the ninth aspect of the invention, it is possible to prompt the operator to select a target area and to indicate an area to be scrolled.
[0027]
The scroll control method according to a tenth aspect of the invention is characterized in that the scroll region selection step selects a target region including a position where a double-click operation has been performed among the target regions.
[0028]
According to the tenth aspect of the present invention, it is possible to simplify the selection operation by omitting the operation of designating a predetermined button in selecting the target area.
[0029]
A program according to an eleventh aspect of the present invention is a program for causing a computer to execute a scroll control method for controlling an image displayed on a display screen, wherein the scroll target area is independently scrollable on the display screen. A scroll region selection step for selecting a drag, a drag detection step for detecting a drag on the target region selected in the scroll region selection step, and a drag direction and a dragged length detected in the drag detection step. A drag information acquisition step, and a scroll execution step of scrolling the target image displayed in the target region based on the direction and length of the drag acquired in the drag information acquisition step. .
[0030]
According to the eleventh aspect of the present invention, a scroll target area that can be scrolled independently on the display screen is selected, and a drag on the selected target area is detected. Furthermore, the target image displayed in the target area is scrolled based on the detected drag direction and dragged length. Therefore, it is not necessary to touch the coordinates on the scroll box of the scroll bar or click on the coordinates in the scroll operation, and the screen can be scrolled easily. In addition, scrolling can be controlled by selecting any one of a plurality of target areas on the display screen.
[0031]
DETAILED DESCRIPTION OF THE INVENTION
Exemplary embodiments of a scroll control method and a program for causing a computer to execute the method according to the present invention will be explained below in detail with reference to the accompanying drawings.
[0032]
Prior to the description of the present invention, a configuration to which the scroll control method of the present invention can be applied will be described. FIG. 1 is a diagram showing an optical touch panel display device to which a scroll control method according to an embodiment of the present invention can be applied. The illustrated display device with a touch panel controls the image data based on the touch panel type coordinate input device 1, the coordinate detection device 3 that detects the coordinates input to the coordinate input device 1, and the coordinates detected by the coordinate detection device 3. Host device 4 (which uses a PC (Personal Computer) in the present embodiment), and displays image data (R, G, B) controlled by the host device 4 such as a liquid crystal screen or a PDP (Plasma Display Panel). And a display device 2 for displaying on a screen 113. A configuration in which the coordinate input device 1 and the coordinate detection device 3 are combined is a configuration called a touch panel.
[0033]
In the display device with a touch panel shown in FIG. 1, a display screen 113 is provided so as to overlap the coordinate input surface 112 of the coordinate input device 1. The coordinate input surface is an area where the coordinate detection device 3 can detect coordinates, and the display device with a touch panel in FIG. 1 is configured to directly touch the display screen 113, so the coordinate input surface 112 is a virtual surface. is there. Such a display device with a touch panel can be controlled similarly by a touch operation on the display screen 113 or a mouse operation on the host device 4.
[0034]
The coordinate input device 1 includes an optical detector described later, and optically detects a touch on the display screen 113. The data detected by the optical detector is input to the coordinate detection device 3, and the coordinate detection device 3 calculates the coordinates (x, y) of the point (touch point) t on the coordinate input surface 112 that has been touched. The calculated coordinates are represented by the number of pixels on the display screen 113 (for example, x: 1024, y: 768), and are periodically output to the host device 4 at a time such as 10 ms or 20 ms. The calculation of the coordinates of the touch point of the coordinate detection device 3 will be described in detail later.
[0035]
The coordinate detection device 3 also includes a left optical detector I / F 101, a right optical detector I / F 102 for inputting data detected by an optical detector, which will be described later, and a central processing unit 104 that controls the coordinate detection device 3 in general. A ROM 105 storing a program used by the central processing unit 104, a RAM 106 temporarily storing work data of the central processing unit 104, and a timer (TIMER) for periodically measuring time and inputting to the central processing unit 104 107.
[0036]
The host device 4 is a PC (Personal Computer) and is equipped with a general-purpose OS such as Windows (R), Macintosh (R), and Linux (R), and image data is controlled under the control of the OS. It is running. The driver 108 which is a program (driver software) executed under the control of a general-purpose OS, the APL 111 which is an application operating under the control of a common general-purpose OS, and image data are temporarily stored. Image RAM 115.
[0037]
When the scroll control according to the present invention is applied to the display device with a touch panel in FIG. 1, the scroll APL of this embodiment is included as one of the APLs 111. The scroll APL will be described in detail later.
[0038]
Here, detection of touch points and calculation of coordinates in the display device with a touch panel shown in FIG. 1 will be described. FIG. 2 is a diagram illustrating the coordinate input device according to the present embodiment. The coordinate input device 1 includes a rectangular coordinate input surface 112 having a vertical length H and a horizontal length W in the figure, a retroreflective member 201 provided on three sides of the coordinate input surface, The left optical detector 202 </ b> L and the right optical detector 202 </ b> R are provided at both ends of one side where the reflective reflector 201 is not provided.
[0039]
Each of the left optical detector 202L and the right optical detector 202R is a unit in which a light source (not shown) that is a semiconductor laser and a light receiving unit (not shown) using, for example, a CCD (Charged Coupled Device) are integrated. It is. The light source irradiates light in a fan shape that requires the light source over the entire area of the coordinate input surface 112. The left optical detector 202 </ b> L and the right optical detector 202 </ b> R irradiate fan-shaped light, so that the laser light is irradiated on the entire coordinate input surface 112.
[0040]
The light irradiated on the coordinate input surface 112 is reflected by the retroreflection member 201. The retroreflective member 201 is a member that reflects light at an angle of 180 degrees. For example, the retroreflective member 201 reflects reflected light p1 shown in the drawing and reflects reflected light p2 passing through an optical axis parallel to the optical axis of the irradiated light p1. To do. When there is nothing blocking the light on the coordinate input surface 112, the left optical detector 202L and the right optical detector 202R receive all the reflected light of the irradiated light. However, for example, when a finger or pen touches the coordinate input surface 112, light passing through the touch point is not received by the left optical detector 202L and the right optical detector 202R.
[0041]
Information on the light detected by the left optical detector 202L and the right optical detector 202R is input to the coordinate detection device 3 as analog data. At this time, the coordinate detection device 3 includes the left optical detector 202L and the right optical detector from the optical axis of the light that should be originally received at the position where the light of the light receiving unit is not received among the light irradiated in a fan shape. Angles (light shielding angles) θL and θR between straight lines passing through the light receiving part 202R and straight lines passing through each light receiving part and the touch point t are obtained. The coordinates (x, y) of the touch point t are calculated as follows using the angles θL and θR.
x = W × tan θR / (tan θL + tan θR)
y = H−W × tan θL × tan θR / (tan θL + tan θR)
[0042]
Next, an electromagnetic induction type tablet personal computer (hereinafter, tablet PC) will be described as a configuration to which the scroll control method of the present invention is applicable. 3 and 4 are diagrams for explaining the tablet PC. FIG. 3 is a diagram for explaining the configuration of the tablet PC. FIG. 4 is a diagram for explaining the function of the tablet PC and the principle of coordinate detection. The tablet PC has a main body 303 having a display 301 and a keyboard 305, and a mouse (not shown). Furthermore, a touch panel operation using an electronic pen 307 instead of a mouse is possible. Also, “Windows (R) PC Tablet PC Edition”, which is an OS for tablet PCs, has been released from Microsoft, and a handwritten character recognition engine, a speech recognition engine, and the like are provided.
[0043]
FIG. 3B shows a state where the display screen 301 is rotated 180 degrees and folded. When the display screen 301 in such a state is touched with the electronic pen 307, the position (coordinates) of the electronic pen 307 on the display 301 is detected by the sensor built in the electronic pen 307 and the tablet PC, and a mouse click or drag operation is performed. Is emulated. With the horizontal display screen 301 and the electronic pen 307, handwritten characters that are difficult to operate with a mouse can be drawn as if writing on paper.
[0044]
As shown in FIG. 3C, a tempered glass 309 is installed on the surface of the display screen 301 with which the electronic pen 307 is in direct contact to prevent the liquid crystal display unit 311 from being damaged. An electromagnetic induction sensor unit 313 that detects the position of the electronic pen is installed under the liquid crystal display unit 311. Note that FIG. 3 shows a tablet PC in which the display screen 301 is rotated and folded, but there is a type in which the display portion can be removed.
[0045]
As shown in FIG. 4A, the electronic pen 307 includes a resonance circuit 401, a capacitor 403, and a sensor coil 405. Further, as shown in (b), the electromagnetic induction sensor unit 313 is provided with a plurality of sensor coils 405. The sensor coil 405 is installed at a density proportional to the coordinate detection accuracy. The figure shows a part of the sensor coil 405 for detecting the X-axis direction. Although not shown, a sensor coil for detecting the Y-axis direction is installed in a direction orthogonal to the illustrated sensor coil 405.
[0046]
When the tip of the electronic pen 307 touches the display screen 301, an induced electromotive voltage is generated in the sensor coil 405 due to a current magnetic field flowing in the sensor coil 405, and a resonance circuit including the capacitor 403 is excited and a resonance current flows. The coordinate detection of the electronic pen 307 is performed by the central processing unit 421 of the electromagnetic induction coordinate detection unit 413.
[0047]
The electromagnetic induction coordinate detection unit 413 first controls the transmission / reception changeover switch 411 by the transmission / reception changeover switch I / F 419, and connects the transmission / reception changeover switch 411 to the contact A and the contact C. With this connection, a current flows from the AC power source 409 to the sensor coil 405. Further, the X-axis coil changeover switch 410 is controlled by the X-axis coil changeover switch I / F 415, and the switch is switched at a high speed so that a current is passed through the sensor coil 405 sequentially. A magnetic field is sequentially generated in the sensor coil 405, and the electronic pen 307 resonates due to the generated magnetic field. Next, the central processing unit 421 connects the transmission / reception changeover switch 411 to the contact B and the contact C, and sequentially switches the X-axis coil changeover switch 410 at high speed. At this time, a magnetic field is generated by the resonance current in the electronic pen 307, and an induced electromotive voltage is generated in the sensor coil 405. The induced electromotive voltage generated in the sensor coil 405 is amplified and measured by the X axis detection I / F 417.
[0048]
FIG. 4C is a diagram illustrating a distribution of measured induced electromotive voltages. When the electronic pen 307 is on the sensor coil 405 with “2” attached, the induced electromotive voltage received by the sensor coil “2” is the highest. As described above, the electromagnetic induction coordinate detection unit 413 determines the X coordinate of the touch point by detecting the highest point of the measured induced electromotive voltage distribution. Similarly, the touch point of the Y coordinate is determined. The coordinates of the confirmed touch point are notified to the main body 303 of the tablet PC by PCI / F 427 (RS232C, general-purpose I / F such as USB, or dedicated I / F). When the tablet PC driver receives the coordinate data, it converts it into mouse data. Then, it passes through the general-purpose mouse I / F and is passed to the scroll APL 100 of the present embodiment.
[0049]
In this embodiment, in the display device with a touch panel described above, a touch of a finger or a pen from a non-contact state on the coordinate input surface (display screen in this embodiment) is called a touch. A point indicating the made position is called a touch point. In addition, the separation of the finger or pen from the touch point is referred to as detachment, and the movement of the touch point without detachment is referred to as movement / stop touch. Touch and detach correspond to a click operation with a mouse, and move / stop touch corresponds to a drag operation with a mouse. Furthermore, a double touch is a double touch when two touches are made continuously within a predetermined time and within a predetermined range, and the double touch corresponds to a double click of the mouse.
[0050]
As described above, any touch detected by the display device with a touch panel is converted into a mouse data format including coordinates input by the mouse and processed on the device side. As described above, the touch operation can correspond to the mouse operation on a one-to-one basis, and can be handled in the same manner as the mouse operation. For this reason, in the present embodiment, double touch and double click are simply different input tools and are regarded as the same operation. Similarly, the movement / stop touch is regarded as the same operation as dragging with a mouse.
[0051]
Next, a method for converting the coordinates of the touch point into mouse data will be specifically described. FIG. 5A is a diagram for explaining the format of detected touch point data (detection data), and FIG. 5B is a diagram for explaining the format of mouse data. As shown in FIG. 5A, the detection data includes the x-coordinate and y-coordinate of the touch point, and information on the coordinate status of the touch point. The coordinate status indicates by 1 or 0 whether the detection data is touch, detach, or move / stop touch. When a touch, detach, or move / stop touch is detected in the display device with a touch panel, 1 is set in the field indicating each touch.
[0052]
Further, as shown in FIG. 5B, the mouse data includes the x-coordinate and y-coordinate of the touch point and information on the mouse status. The mouse status indicates ON or OFF of the right button of the mouse and ON or OFF of the left button by 1 or 0. Touch, detach, and move / stop touch are set in association with any one of ON / OFF of the right button of the mouse and ON / OFF of the left button.
[0053]
Hereinafter, the scroll display method of the present embodiment will be described. FIG. 6 is a functional block diagram for explaining a scroll APL 100 which is an application program for executing the scroll display method of the present embodiment. The scroll APL 100 is an application program for causing a computer to execute a scroll control method for controlling an image displayed on a display screen in accordance with a touch made on a plane within a predetermined range, and is provided by Windows (R).
[0054]
The scroll APL 100 receives mouse data obtained by converting touch point information from the driver 108 shown in FIG. 1, and controls scrolling according to the received mouse data. Then, an activation detection unit 501 that detects activation of the scroll APL 100, a target region selection unit 503 that executes a scroll region selection step for selecting a target region for scrolling after detection of activation, and a drag that detects dragging on the selected target region Detection step, drag information acquisition step for acquiring the detected drag direction and dragged length, and scroll execution step for scrolling the target image displayed in the target area based on the acquired drag direction and length The scroll execution part 505 which performs is provided.
[0055]
FIG. 6 is a diagram for explaining processing performed by the scroll APL 100 shown in FIG. The scroll APL 100 is activated, for example, when the operator double-clicks (or double-touches) an icon indicating scroll control of the desktop screen. When the scroll APL 100 is activated, the display device with a touch panel enters a scroll control mode.
[0056]
FIGS. 7A to 7C and FIGS. 8A to 8C are diagrams for explaining a scroll control procedure. FIG. 7A shows a screen that has entered the scroll control mode, and a page turning toolbar 601 is displayed on the screen. The page turning toolbar 601 displays a page turning button 601a, a setting button 601b, and a close button 601c. The scroll operation is started by touching the page turning toolbar 601.
[0057]
In the present embodiment, it is assumed that the window screen 603 is displayed in the scroll mode. The window screen 603 includes two areas that are scrolled by independent scroll bars 609 and 611 and 613. In this embodiment, an area that can be scrolled in the scroll control mode is referred to as a scroll control target area. In this embodiment, the two areas of the window screen 603 are the target areas 605 and 613.
[0058]
The target area selection unit 503 selects a target area including the position where the double touch is performed, from the target areas 605 and 613. When the scroll target area is not selected, the target area selection unit 503 searches for the target area. Then, as a result of the search, the display state of the target area obtained first is changed, and the operator is prompted to select the target area. FIG. 7A shows an example in which the frame of the target area 605 is displayed with a bold line. Other methods for changing the display state of the target area include changing the color of the area or blinking the frame line. When it is desired to scroll a target area other than the target area whose display has been changed, for example, as shown in FIG. 7B, the operator double-touches the target area to be scrolled to change the target area to the target area 607. be able to. When the target area is not changed for a predetermined time, the target area whose display has been changed is directly subjected to scroll control.
[0059]
When the target area selection unit 503 receives the double-click mouse data obtained by converting the double touch made on the target area, the target area selection unit 503 specifies the target area on which the double touch is made based on the coordinates indicated by the mouse data. . Then, the scroll execution unit 505 acquires the drag direction and the dragged length based on the mouse data, and further scrolls the target image by executing control assigned to the scroll bar of the target area. The control assigned to the scroll bar in the present embodiment is to detect the coordinates of the scroll box in the scroll bar of the specified target area, and execute the same control as when dragging is performed on the detected coordinates. Refers to that. By such an operation, it becomes possible to select a region to be scrolled by double touching an arbitrary position on the target region.
[0060]
The target area is scrolled by an operator's movement / stop touch, that is, a drag operation. In the present embodiment, it is assumed that the scroll execution unit 505 regards the drag direction on the target area as the scroll direction and scrolls the target image in the drag direction. That is, as shown in FIG. 7C, when the finger or the electronic pen is dragged in the vertical direction (hereinafter referred to as the vertical direction) with respect to the scroll bar 611, the scroll execution unit 505 moves the target area 607 downward or upward (downward in the figure). Scroll to.
[0061]
As shown in FIG. 8A, when the finger or the electronic pen is dragged in the horizontal direction, the scroll execution unit 505 scrolls the target area 607 rightward or leftward (indicated by A in the figure). Also, as shown in (b), when the finger or the electronic pen is dragged in the horizontal direction, the target area 607 is scrolled upward or downward (indicated by B in the figure). In addition, the horizontal direction as used in this Embodiment refers to the direction parallel to one side of a horizontal direction among the periphery of a rectangular display screen. The vertical direction refers to a direction orthogonal to one side in the horizontal direction in the periphery of the rectangular display screen. When the scroll execution unit 505 detects a change in the drag direction during the drag, the scroll execution unit 505 changes the scroll direction to the detected change direction. The determination of the scroll direction and the scroll amount will be described later.
[0062]
Further, after the drag operation, the scroll execution unit 505, when the operator stops the finger or the electronic pen at the drag stop position for a predetermined time or longer (specific stop), if the drag is below, the “page up” of the keyboard If the “key” drag is upward, the PC that controls the display on the display screen is instructed to execute the same operation as when the “page down” key is pressed. In response to the instruction, the PC performs a so-called page turning in which an image displayed on the display screen is moved below or above the image to be displayed by a predetermined amount (FIG. 8B). The page turning is performed every predetermined time of the specific stop time, and it is possible to change the range of the displayed image without moving the finger or the electronic pen.
[0063]
The scroll control mode ends when the operator touches the page turning button 601a again, and the operation of the display device with a touch panel by another APL becomes possible. (Fig. 8 (c))
[0064]
By the way, it is difficult to move a complete straight line by operating a finger or an electronic pen. For this reason, in this embodiment, the locus of coordinates detected by the following method is specified, and the image range displayed by shifting the drag direction is prevented from changing. FIG. 9 is a diagram for explaining a method of specifying the scroll direction according to the present embodiment. As shown in FIG. 9A, four points (X0, Y0), (X1, Y1), (X2, Y2), (X3, Y3), and (X4, Y4) are detected during dragging. When it is done, the scroll execution unit 505 calculates the distances L1, L2, L3, and L4 between the illustrated points using the following equations. In the present embodiment, the length between coordinates detected during dragging is referred to as drag length.
L1 = ((X1-X0)2+ (Y1-Y0)2)1/2
L2 = ((X2-X0)2+ (Y2-Y0)2)1/2
L3 = ((X3-X0)2+ (Y3-Y0)2)1/2
L4 = ((X4-X0)2+ (Y4-Y0)2)1/2
[0065]
The scroll execution unit 505, when the sequentially calculated drag length reaches a predetermined length (scroll effective length), the scroll direction (SD), the scroll amount (LX) in the X direction, and the Y direction The scroll amount (LY) for is calculated. In the present embodiment, it is assumed that the drag length has reached the effective scroll length when the drag length L4 is calculated.
[0066]
FIG. 9A is a diagram for explaining the process of specifying the scroll direction. That is, the scroll execution unit 505 specifies the direction of the point X4 using the angle θ with reference to the touch point P (X0, Y0) where the drag is started. The angle θ is calculated by the following formula.
[0067]
When the point (X4, Y4) is (X4 ≧ X0, Y4 <Y0) (for example, the point P1)
SD = θ
θ = arctan ((X4−X0) / (Y0−Y4))
+ LX = L4 × sin θ
−LY = L4 × cos θ
[0068]
When the point (X4, Y4) is (X4 ≧ X0, Y4 ≧ Y0) (for example, the point P2)
SD = θ + 90
θ = arctan ((Y4-Y0) / (X4-X0))
+ LX = L4 × cos θ
+ LY = L4 × sin θ
[0069]
When the touch point (X4, Y4) is (X4 <X0, Y4 ≧ Y0) (for example, point P3)
SD = θ + 180
θ = arctan ((X0−X4) / (Y4−Y0))
−LX = L4 × sin θ
+ LY = L4 × cos θ
[0070]
When the touch point (X4, Y4) is (X4 <X0, Y4 <Y0) (for example, point P4)
SD = θ + 270
θ = arctan ((Y0−Y4) / (X0−X4))
−LX = L4 × cos θ
-LY = L4 × sin θ
[0071]
After determining the scroll direction θ using any of the above formulas, the scroll execution unit 505 detects the point detected during the drag operation following the point (X4, Y4) as shown in FIG. 9C. For (X5, Y5)..., The X-direction crawl amount (LX) and the Y-direction scroll amount (LY) are sequentially determined using the following equations.
L = ((X5-X4)2+ (Y5-Y4)2)1/2
+ LX = L × cos θ
+ LY = L × sin θ
SD = θ + 90
[0072]
Further, the scroll execution unit 505 stores in advance X direction scroll amount, amount of scrolling the target area corresponding to the Y direction scroll amount, and data of the direction. Then, the determined X-direction scroll amount and Y-direction scroll amount are collated with the data, and scrolling of the image displayed on the display screen is executed according to the dragged scroll amount and direction.
[0073]
FIG. 10 is a diagram for explaining a screen (setting dialog box) on which the operator sets the scroll mode. The setting dialog box is opened by touching the setting button 601b of the page turning toolbar 601 shown in FIG. The time limit setting unit 1001 illustrated in FIG. 10 sets a time interval when two touches are regarded as a double touch (double click). The operator moves the box in the bar for setting the double click interval, and sets the time interval to be slow (long) or fast (short). If two touches are made within the set time interval and the distance between the two touched locations is less than or equal to the scroll effective length, the mouse data generated by the scroll APL 100 converting the two touches is Judged as a double click.
[0074]
Further, the page turning transition stop setting bar sets a stop time that is a condition for the scroll execution unit 505 to determine that the specific stop is being performed. When there is a finger or an electronic pen for a set time after moving the bar box to any one point in the target area, the scroll execution unit executes the “page up” key or “page down”. The cycle for executing the “page up” key and “page down” can be set by a page turning cycle setting bar.
[0075]
Furthermore, as described above, the scroll control method of the present embodiment performs an operation similar to the drag operation of the scroll box at an arbitrary position in the target area. For this reason, the object is mainly processing for scrolling an image in a direction parallel to or orthogonal to one side of the display screen. Therefore, in the present embodiment, the drag direction is approximated to a direction parallel to or perpendicular to one side of the display screen as follows.
[0076]
The horizontal scroll inclination setting unit 1003 sets an allowable inclination when the scroll execution unit 505 regards the scroll direction specified by the method described with reference to FIG. 9 as the horizontal direction.
[0077]
A straight line 1015 is displayed in the horizontal scroll inclination setting unit 1003. When the operator touches the area where the arrow line 1015 is displayed, in the present embodiment, a handle is displayed (not shown). When the handle is dragged in the direction of the arrow C, only the tip of the arrow 1015 moves, and the inclination of the arrow 1015 is set. The scroll execution unit 505 sets the set tilt (horizontal scroll tilt) as an allowable range when determining that the level is horizontal, and the trajectory of the drag performed in the horizontal direction in the figure is set as follows with respect to the horizontal direction. If it has an inclination, it is determined that the drag has been made horizontally.
[0078]
That is, as shown in FIG. 7B, when the horizontal scroll inclination is set to θH (θH = arctan (Y / X)), the scroll execution unit 505 performs dragging in the scroll mode as shown in FIG. 90-θH to 90 + θH or 270-θH to 270 + θH indicated by (), it is determined that the drag has been made in the horizontal direction, and the selected target area is scrolled horizontally.
[0079]
The vertical scroll inclination setting unit 1005 sets an allowable inclination (vertical scroll inclination) when the scroll execution unit 505 regards the scroll direction specified by the method described with reference to FIG. 9 as the vertical direction. In the present embodiment, the vertical direction refers to a direction orthogonal to one side in the horizontal direction around the rectangular display screen.
[0080]
A straight line 1017 is displayed in the vertical scroll inclination setting unit 1005. When the operator touches the area where the arrow line 1017 is displayed, in the present embodiment, a handle is displayed (not shown). When the handle is dragged in the direction of the arrow D, only the tip of the arrow 1017 moves, and the inclination of the arrow 1017 is set. The scroll execution unit 505 sets the set inclination as an allowable range when determining that the inclination is vertical, and the drag locus made in the vertical direction in the drawing has the following inclination set here with respect to the vertical direction. Determines that the drag was made vertically.
[0081]
That is, as shown in FIG. 7C, when the vertical scroll inclination is set to θV (θV = arctan (Y / X)), the scroll execution unit 505 performs dragging in the scroll mode as shown in FIG. 360−θV˜0 + θV or 180−θV˜180 + θV indicated by (), it is determined that the drag has been made in the vertical direction, and the selected target area is scrolled vertically.
[0082]
The stop touch range setting unit 1007 sets an allowable range of fluctuations in the touch position when determining that the touch is a stop touch in the scroll control mode. The size of the circle 1018 is determined by dragging the handle displayed by touching in the direction of the arrow E. The scroll execution unit 505 determines that the mouse data indicating that the touch point is within a circle set for a predetermined time or more is a stop touch. That is, even if the touch point moves within the range of the circle 1018, the scroll execution unit 505 allows this movement and recognizes it as a stop touch.
[0083]
The scroll effective length setting unit 1019 sets the scroll length described with reference to FIG. When the arrow line 1019 displayed by touching is dragged, only the tip of the arrow line 1019 moves and the length of the arrow line 1019 changes. The scroll execution unit 505 reflects the length of the arrow line 1019 and sets an effective scroll length.
[0084]
According to the present embodiment described above, a touch made on the display screen is converted into mouse data, and the direction and length of the drag are detected based on the mouse data. Further, a scroll box of the scroll bar of the selected target area is detected, and control (scrolling) similar to dragging the scroll box with the mouse is executed based on the detected drag direction and length. For this reason, the control of scrolling the screen by a movement / stop touch performed at an arbitrary position can be applied to all applications that provide a window scrollable by a mouse.
[0085]
Next, the scroll control method described above will be described using a flowchart. FIG. 11 is a flowchart of a method for converting the coordinates of the touch point described in FIG. 5 into mouse data. Note that the flowchart shown in FIG. 11 shows items necessary for the explanation of control, and does not show actual control data.
[0086]
The driver 108 inputs coordinate data related to the touch from the coordinate detection device 3 (step S1101). When the coordinate data indicates touch coordinates (step S1102: Yes), it is determined whether or not the touch is a right click of the mouse according to the setting of the control panel of the driver (step S1103). If it is a right click (step S1103: Yes), it notifies the mouse I / F provided by the OS (Operating System) as mouse data indicating that the right button is ON (step S1104). If the driver 108 determines in step 1103 that the touch operation is not a right click (step S1103: No), the driver 108 notifies the mouse I / F of mouse data indicating that the left button is ON (step S1105).
[0087]
On the other hand, if it is determined in step 1102 that the input coordinate data does not indicate touch coordinates (step S1102: No), the driver 108 determines whether the coordinate data indicates detachment (step S1106). If it is detach (step S1106: Yes), it is determined whether or not the touch operation is a right click (step S1107), and the mouse I / F is notified that the right button or the left button of the mouse is OFF according to this determination. (Step S1109).
[0088]
FIG. 12 is a flowchart of the scroll control mode. The scroll APL 100 starts a scroll control program by double-clicking the desktop icon or the like, and displays the page turning toolbar 601 (step S1201). Then, control data is initialized (steps S1202 to 1208), and mouse data obtained by converting touch coordinates from the coordinate detection device 3 is received (step S1209). Then, it is determined whether or not the received mouse data is on the page turning toolbar 601 (step S1210). If the touch point is on the page turning toolbar 601, the page turning toolbar control is executed until detachment is performed (step S1210). S1211). If it is determined that the touch point is outside the page turning toolbar 601 (step S1210: No), scroll display control is executed until the touch point is detached (step S1216).
[0089]
13 and 14 are flowcharts for explaining the page turning toolbar control shown in FIG. In the page turning toolbar control, the setting is changed so as to select and display the touched button (step S1303). In addition, the touched button type is stored (step S1304). When the touch point is moved out of the touch button by the drag operation ((Step S1302: No), (Step S1305: No)), the touch button is returned to the normal display (Step S1307). If detach (button OFF) is detected (step S1301: No), the touch button is returned to the normal display.
[0090]
When the type of the control button is page turning (step S1309: Yes), it is determined whether or not the operation mode is set to page turning (step S1310). When setting the page turning, the page turning mode 601a is switched to a running display indicating the page turning mode (for example, the page turning button 601a is shaded so as to be lowered from the screen) by touching the page turning button 601a (step S1311). Further, the scroll APL 100 shifts to a mode for receiving all mouse data (step S1312), and receives all mouse data by dragging and double-clicking in an arbitrary area on the screen.
[0091]
Further, the target area selection unit 503 searches for a target area (denoted as a scroll area in the flowchart) and displays an area frame in order to select a target area for scrolling (step S1313). If it is determined in step S1310 that the operation mode is not set to page turning (step S1310: No), touching the page turning button touch 601a exits the page turning mode, receives only the coordinates on the page turning toolbar 601, and others. The coordinates on the application are returned to the normal operation state received by the application (step S1316).
[0092]
If it is determined that the type of the control button is not page turning (step S1309: No), as shown in FIG. 14, it is determined whether or not the operation mode is set to page turning (step S1401). If it is set to page turning (step S1401: Yes), the page turning button 601a is displayed during page turning (step S1402). Then, the page turning mode setting dialog box is displayed by the setting button 601b (step S1), and the page turning mode is set (step S1404). When the close button 601b is touched, the page turning toolbar is closed (step S1406), and the above processing ends.
[0093]
FIG. 15 is a flowchart for explaining processing of target area search control shown in step S1313 of FIG. In the scroll area search control, the target area selection unit 503 determines whether or not there is a target area selected by double touch or an automatically detected target area based on scroll area information regarding the window (step S1502). The scroll area information may be detected and updated every time a window is opened. The window information can be acquired by the target area selection unit 503 via an I / F provided by the OS.
Examples of information included in the scroll area information will be described below.
Window title (0x00: invalid)
Window number
Window origin coordinates
Window width
Window height
Window area display frame (0: No, 1: Yes)
The determination as to whether or not the target area exists is mainly made according to “window title” and “window number”.
[0094]
When the window selected as the target area is closed or moved to the back of another window, the target area selection unit 503 acquires information on the application that provides the window in the foreground (step S1504). Then, the target area is searched from the acquired application window (step S1505). Further, the window title of the application (Microsoft (R), Word (R), etc. is the application name) is acquired from the acquired application. Further, the window number, window origin coordinates, window width, and window height of the scroll area are stored as scroll area information (step S1508).
[0095]
In addition, the target area selection unit 503 creates a full-screen transparent window in order to indicate the searched target area, and indicates a frame line of the target area with a bold line (step S1509). The border is cleared at the start of the scroll operation.
[0096]
FIGS. 16, 17, and 18 are flowcharts for explaining the scroll display control process shown in step S1223 of FIG. In scroll display control, from touch to detach is the unit of scroll control. When the mouse button is turned off, that is, when detachment is detected (step S1601: Yes), the scroll execution unit 505 starts scroll control and double-click control of the scroll APL 100, clears the touch coordinates, and draws at the touch point. (Step S1605).
[0097]
If the detected drag length until detachment is less than or equal to the scroll effective length, the scroll execution unit 505 assumes that the detachment has been performed as a click operation (step S1607). Then, the touch coordinates of the detach are stored as click coordinates (step S1608). Time measurement is started in order to determine whether or not the next click is made within the time preset by the time limit setting unit 1001 (step S1609). If it is determined that the next touch is performed within a predetermined range (the distance from the previous touch point is equal to or less than the scroll effective length) (step S1610: No), this touch is a double click. The information of the target area including the coordinates of the position where the double-clicking has been made is included (step S1612). The acquired information is saved as scroll area information (step S1615).
[0098]
If it is determined that the time from the touch to the time when the next touch is made is longer than the set time (step S1620: Yes), the double-click mode is canceled (step S1621). Then, it is determined whether there is a scroll area stored in the scroll area information (step S1623). In the scroll area information, there is no information about the target area when there is no application having the target area or when no application is displayed.
[0099]
If the scroll area information includes information related to the target area (step S1623: Yes), it is determined whether or not the frame of the target area is displayed as shown in FIG. 17 (step S1702). When the frame is displayed (step S1702: Yes), this frame is deleted (step S1703). Then, the interval between the previously input coordinates and the current input coordinates is calculated (step S1704), and it is determined whether or not the drag length from the touch start has reached the effective scroll length (step S1705). Display is started (step S1705: Yes). Further, the scroll execution unit 505 calculates the scroll direction SD and the inclination θH or θV by the method shown in FIG. 10, and determines the scroll direction. The relationship between SD, θH, θV and the scroll direction will be described below.
[0100]
When (90−θH) <SD <(90 + θH)
It is assumed that the horizontal scroll is (θ (tilt with respect to the horizontal direction) = 0, SD = 90).
When (270−θH) <SD <(270 + θH)
It is assumed that the horizontal scroll is (θ (tilt with respect to the horizontal direction) = 0, SD = 270).
When (360−θV) <SD <(0 + θV)
It is assumed that the vertical scroll is (θ (inclination with respect to the vertical direction) = 0, SD = 0).
When (180−θV) <SD <(180 + θV)
It is assumed that the vertical scroll is (θ (tilt with respect to the vertical direction) = 0, SD = 180).
[0101]
The scroll execution unit 505 scrolls the target area via the I / F provided by the OS. This scrolling is performed using the X-direction scroll amount and the Y-direction scroll amount determined by the method shown in FIG. Further, it is determined whether or not the coordinates received this time are within the stop touch range centered on the coordinates received last time (step S1710), and if it is determined that they are not within the stop range (step S1710: No), The drag length and scroll direction between the coordinates received this time and the coordinates received last time are calculated (step S1715). If the scroll direction is reversed (outside (SD−90) to (SD + 90)), the scroll display direction is reversed by 180 ° (step S1716), and data in this direction is stored (step S1717). Then, the scroll amount is calculated from the drag length and scroll direction between the current coordinate and the previous coordinate (step S1718).
[0102]
If it is determined in step S1710 that the currently received coordinates indicate a stop touch (step S1710: Yes), it is determined whether or not scrolling is in progress (step S1720). If scrolling is in progress (step S1720: Yes), scroll control is stopped (step S1721), and timing of a specific stop time for shifting to page turning is started (step S1722).
[0103]
If it is determined in step S1720 that scrolling is not being performed (step S1720: No), it is determined whether the control in the scroll mode is a stop touch as shown in FIG. 18 (step S1801). If it is determined that the touch is a stop touch (step S1801: Yes), it is determined whether or not to shift to page turning control depending on whether or not the stop touch is in a specific stop (step S1801). In the case of shifting to page turning (step S1802: Yes), the control shifts from scroll display to page control by outputting “PageDwon” and “PageUp” keys (step S1807) to (step S1810).
[0104]
At this time, the “PageDown” key code is notified to the keyboard I / F when the scroll direction is 90 <SD <270. This notification performs the same operation as when the same key on the keyboard is pressed. Further, the “PageUp” key code is notified to the keyboard I / F when the scroll direction is (270 ≦ SD ≦ 90). This notification performs the same operation as when the same key on the keyboard is pressed. The notification of the keys “PageDown” and “PageUp” is executed for each page turning cycle when the stop touch continues (step S1812).
[0105]
The scroll control method according to the present embodiment is a file in an installable or executable format and is recorded on a computer-readable recording medium such as a CD-ROM, floppy (R) disk (FD), or DVD. Provided. Further, a program for causing a computer to execute the scroll control method of the present embodiment may be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network.
[0106]
【The invention's effect】
As described above, the invention according to claim 1 can easily scroll the screen, has higher operability, and can smoothly advance the presentation and the like. In addition, since scrolling can be controlled by selecting one of a plurality of target areas, there is an effect that it is possible to provide a scroll control method that enables scrolling by touch operation in all applications that operate on a PC or a display device with a touch panel. .
[0107]
The invention according to claim 2 provides a scroll control method capable of applying the control of scrolling the screen by a moving / stop touch performed at an arbitrary position to all applications that provide a window scrollable by a mouse. There is an effect that can be done.
[0108]
The invention according to claim 3 has an effect that it is possible to provide a scroll control method that is easier to use by appropriately setting the scroll direction.
[0109]
According to the fourth aspect of the present invention, it is possible to provide a scroll control method that is easier to use by enabling the screen to be scrolled in a direction in line with the operator's intention.
[0110]
According to the fifth aspect of the present invention, it is possible to provide an easier-to-use scroll control method by enabling the screen to be scrolled in a direction according to the operator's intention.
[0111]
According to the sixth aspect of the present invention, there is an effect that it is possible to provide a scroll control method that is easier to use by increasing the efficiency of relatively large upward scroll operations.
[0112]
According to the seventh aspect of the present invention, there is an effect that it is possible to provide a scroll control method that is easier to use by improving the efficiency of relatively large downward scroll operations.
[0113]
According to the eighth aspect of the invention, there is an effect that it is possible to provide a scroll control method that is easier to use by scrolling the screen by dragging on the area in the direction in which the user wants to scroll.
[0114]
According to the ninth aspect of the invention, it is possible to provide an easier-to-use scroll control method by prompting the operator to select a target area and showing the area to be scrolled.
[0115]
The invention according to claim 10 has an effect that it is possible to provide a scroll control method that is easier to use by simplifying the selection operation.
[0116]
According to the eleventh aspect of the present invention, the screen can be scrolled easily, the operability is higher, and the presentation can be smoothly advanced. In addition, since scrolling can be controlled by selecting one of a plurality of target areas, a program for causing a computer to execute a scroll control method that enables scrolling by touch operation in all applications that operate on a PC or a display device with a touch panel. There is an effect that it can be provided.
[Brief description of the drawings]
FIG. 1 is a diagram showing a display device with an optical touch panel to which a scroll control method according to an embodiment of the present invention can be applied.
FIG. 2 is a diagram showing a coordinate input device applicable to the present invention.
FIG. 3 is a diagram for explaining a tablet PC applicable to the present invention.
FIG. 4 is another view for explaining a tablet PC applicable to the present invention.
FIG. 5 is a diagram for explaining a relationship between touch data and mouse data according to the embodiment of the present invention.
FIG. 6 is a diagram for explaining an application program that executes the scroll display method according to the embodiment of the present invention;
FIG. 7 is a diagram for explaining a scroll control procedure according to the embodiment of the present invention;
FIG. 8 is another diagram for explaining a scroll control procedure according to the embodiment of the present invention;
FIG. 9 is a diagram for explaining a method for specifying a scroll direction according to the present embodiment;
FIG. 10 is a diagram for explaining a setting dialog box according to the embodiment of this invention;
FIG. 11 is a flowchart of a method for converting the coordinates of the touch point described in FIG. 5 into mouse data.
FIG. 12 is a flowchart of a scroll control mode according to the embodiment of the present invention.
FIG. 13 is a flowchart for explaining page turning toolbar control shown in FIG. 12;
14 is another flowchart for explaining the page turning toolbar control shown in FIG. 12. FIG.
15 is a flowchart for explaining processing of target area search control shown in FIG. 13;
16 is a flowchart for explaining the scroll display control process shown in FIG. 12; FIG.
FIG. 17 is another flowchart for explaining the scroll display control process shown in FIG. 12;
FIG. 18 is another flowchart for explaining the scroll display control process shown in FIG. 12;
[Explanation of symbols]
1 Coordinate input device
2 display devices
3 Coordinate detection device
4 Host device
104 Central processing unit
108 drivers
112 Coordinate input surface
113 Display screen
201 Retroreflective member
202R right optical detector
202L Left optical detector
301 display
307 Electronic pen
501 Activation detection unit
503 Target area selector
505 Scroll execution part
601 Page turning toolbar
601a Page turning button
601b Setting button
609, 611 scroll bar
1001 Time limit setting part
1003 Horizontal scroll tilt setting section
1005 Vertical scroll tilt setting part
1007 Stop touch range setting part
1019 Scroll effective length setting part

Claims (11)

ディスプレイ画面上に表示される画像を制御するスクロール制御方法であって、
前記ディスプレイ画面上において独立にスクロール可能なスクロールの対象領域を選択するスクロール領域選択ステップと、
前記スクロール領域選択ステップにおいて選択された対象領域上におけるドラッグを検出するドラッグ検出ステップと、
前記ドラッグ検出ステップで検出されたドラッグの方向およびドラッグされた長さを取得するドラッグ情報取得ステップと、
前記ドラッグ情報取得ステップで取得されたドラッグの方向および長さに基づいて前記対象領域に表示されている対象画像をスクロールするスクロール実行ステップと、
を含むことを特徴とするスクロール制御方法。A scroll control method for controlling an image displayed on a display screen,
A scroll region selection step of selecting a scroll target region that can be scrolled independently on the display screen;
A drag detection step for detecting a drag on the target area selected in the scroll area selection step;
A drag information obtaining step for obtaining a drag direction and a dragged length detected in the drag detection step;
A scroll execution step of scrolling the target image displayed in the target region based on the direction and length of the drag acquired in the drag information acquisition step;
A scroll control method comprising: 前記ドラッグ検出ステップでは前記対象領域の任意の位置においてなされた停止・移動タッチにかかる情報を変換して得られるマウスデータに基づいてドラッグを検出し、ドラッグ情報取得ステップでは前記マウスデータに基づいてドラッグの方向およびドラッグされた長さを取得し、前記スクロール実行ステップでは取得されたドラッグの方向およびドラッグされた長さに基づいて、前記スクロール領域選択ステップで選択された対象領域のスクロールバーに割り当てられた制御を実行することによって対象画像をスクロールすることを特徴とする請求項１に記載のスクロール制御方法。In the drag detection step, a drag is detected based on mouse data obtained by converting information relating to a stop / moving touch performed at an arbitrary position of the target area, and in the drag information acquisition step, a drag is detected based on the mouse data. Direction and dragged length, and in the scroll execution step, based on the acquired drag direction and dragged length, it is assigned to the scroll bar of the target area selected in the scroll area selection step. The scroll control method according to claim 1, wherein the target image is scrolled by executing the control. 前記ドラッグ情報取得ステップは検出されたドラッグが特定の長さである特定長以上であったときにドラッグを確定してドラッグの方向および長さを取得し、前記スクロール実行ステップは、前記ドラッグがなされた方向に前記対象画像をスクロールすることを特徴とする請求項１または２に記載のスクロール制御方法。The drag information acquisition step determines the drag when the detected drag is equal to or longer than a specific length, which is a specific length, and acquires the drag direction and length, and the scroll execution step performs the drag. The scroll control method according to claim 1, wherein the target image is scrolled in a predetermined direction. 前記スクロール実行ステップは、前記ディスプレイ画面の一辺に対して平行な水平方向とドラッグの方向とがなす角度の範囲を設定する傾き設定ステップを含み、ドラッグ方向の水平方向に対する傾きが設定された角度の範囲である場合にはドラッグが水平方向になされたと判断し、前記対象画面を水平方向にスクロールすることを特徴とする請求項３に記載のスクロール制御方法。The scroll execution step includes an inclination setting step for setting a range of an angle formed by a horizontal direction parallel to one side of the display screen and a drag direction. 4. The scroll control method according to claim 3, wherein if it is within the range, it is determined that the drag has been made in the horizontal direction, and the target screen is scrolled in the horizontal direction. 前記スクロール実行ステップは、前記ディスプレイ画面の一辺と直交する垂直方向とドラッグの方向とがなす角度の範囲を設定する傾き設定ステップを含み、ドラッグ方向の垂直方向に対する傾きが設定された角度の範囲である場合にはドラッグが垂直方向になされたと判断し、前記対象画面を垂直方向にスクロールすることを特徴とする請求項３に記載のスクロール制御方法。The scroll execution step includes an inclination setting step for setting an angle range formed by a vertical direction perpendicular to one side of the display screen and a drag direction, and an angle range in which an inclination of the drag direction with respect to the vertical direction is set. 4. The scroll control method according to claim 3, wherein in some cases, it is determined that the drag has been made in the vertical direction, and the target screen is scrolled in the vertical direction. 前記スクロール実行ステップは、前記対象画面を垂直上方にスクロールしているときに前記ディスプレイ画面上で所定の時間以上の停止タッチがなされた場合、前記対象画面に表示される画像を所定の範囲ずつ下方に移動するページアップ制御を前記停止タッチの間周期的に実行することを特徴とする請求項１〜５のいずれか一つに記載のスクロール制御方法。In the scroll execution step, when a stop touch for a predetermined time or longer is made on the display screen while the target screen is scrolled vertically upward, the image displayed on the target screen is moved downward by a predetermined range. The scroll control method according to any one of claims 1 to 5, wherein the page-up control for moving to the page is periodically executed during the stop touch. 前記スクロール実行ステップは、前記対象画面を垂直下方にスクロールしているときに前記ディスプレイ画面上で所定の時間以上の停止タッチがなされた場合、前記対象画面に表示される画像を所定の範囲ずつ下方に移動するページダウン制御を前記停止タッチの間周期的に実行することを特徴とする請求項１〜６のいずれか一つに記載のスクロール制御方法。In the scroll execution step, when a stop touch for a predetermined time or longer is made on the display screen while the target screen is scrolled vertically downward, the image displayed on the target screen is moved downward by a predetermined range. The scroll control method according to any one of claims 1 to 6, wherein the page-down control to move to is periodically executed during the stop touch. 前記ドラッグ情報取得ステップがドラッグの方向の変化を検出した場合、前記スクロール実行ステップは、検出された変化の方向にスクロール方向を変更することを特徴とする請求項１〜７のいずれか一つに記載のスクロール制御方法。The scroll execution step changes the scroll direction to the detected change direction when the drag information acquisition step detects a change in the drag direction. The scroll control method as described. さらに、前記スクロール領域選択ステップにおいてスクロール領域が選択されない場合、前記ディスプレイ画面に表示されているスクロールの対象領域を検索し、検索の結果得られた対象領域の表示状態を変更する表示変更ステップを含むことを特徴とする請求項１〜８のいずれか一つに記載のスクロール制御方法。Furthermore, when a scroll area is not selected in the scroll area selection step, a display change step of searching for a scroll target area displayed on the display screen and changing a display state of the target area obtained as a result of the search is included. The scroll control method according to any one of claims 1 to 8, wherein: 前記スクロール領域選択ステップは、前記対象領域のうち、ダブルクリックの操作がなされた位置を含む対象領域を選択することを特徴とする請求項１〜９のいずれか一つに記載のスクロール制御方法。The scroll control method according to any one of claims 1 to 9, wherein the scroll region selection step selects a target region including a position where a double-click operation has been performed among the target regions. ディスプレイ画面に表示される画像を制御するスクロール制御方法を、コンピュータに実行させるプログラムであって、
前記ディスプレイ画面上において独立にスクロール可能なスクロールの対象領域を選択するスクロール領域選択ステップと、
前記スクロール領域選択ステップにおいて選択された対象領域上におけるドラッグを検出するドラッグ検出ステップと、
前記ドラッグ検出ステップで検出されたドラッグの方向およびドラッグされた長さを取得するドラッグ情報取得ステップと、
前記ドラッグ情報取得ステップで取得されたドラッグの方向および長さに基づいて前記対象領域に表示されている対象画像をスクロールするスクロール実行ステップと、
を含むことを特徴とするスクロール制御方法をコンピュータに実行させるプログラム。A program for causing a computer to execute a scroll control method for controlling an image displayed on a display screen,
A scroll region selection step of selecting a scroll target region that can be scrolled independently on the display screen;
A drag detection step for detecting a drag on the target area selected in the scroll area selection step;
A drag information obtaining step for obtaining a drag direction and a dragged length detected in the drag detection step;
A scroll execution step of scrolling the target image displayed in the target region based on the direction and length of the drag acquired in the drag information acquisition step;
A program for causing a computer to execute a scroll control method comprising:
JP2003201165A 2003-07-24 2003-07-24 Scroll control method and program making computer execute the method Pending JP2005044036A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003201165A JP2005044036A (en) 2003-07-24 2003-07-24 Scroll control method and program making computer execute the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003201165A JP2005044036A (en) 2003-07-24 2003-07-24 Scroll control method and program making computer execute the method

Publications (2)

Publication Number Publication Date
JP2005044036A true JP2005044036A (en) 2005-02-17
JP2005044036A5 JP2005044036A5 (en) 2006-06-22

Family

ID=34261337

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003201165A Pending JP2005044036A (en) 2003-07-24 2003-07-24 Scroll control method and program making computer execute the method

Country Status (1)

Country Link
JP (1) JP2005044036A (en)

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257220A (en) * 2006-03-22 2007-10-04 Matsushita Electric Ind Co Ltd Display device
JP2009053769A (en) * 2007-08-23 2009-03-12 Ricoh Co Ltd Computer, overwrite information processor, overwrite information processing method, program, and storage medium
JP2010003307A (en) * 2008-04-23 2010-01-07 Sharp Corp Portable information terminal, computer readable program and recording medium
JP2010503127A (en) * 2006-09-06 2010-01-28 アップル インコーポレイテッド Touch screen device, method and graphic user interface for determining commands by applying heuristics
JP2010182029A (en) * 2009-02-04 2010-08-19 Zenrin Datacom Co Ltd Device and method for displaying image, and computer program
KR20110010096A (en) * 2008-05-23 2011-01-31 마이크로소프트 코포레이션 Panning content utilizing a drag operation
EP2339439A2 (en) 2009-12-25 2011-06-29 Canon Kabushiki Kaisha Information processing apparatus and control method therefor
JP2012058979A (en) * 2010-09-08 2012-03-22 Nintendo Co Ltd Information processing program, information processor, information processing system, and information processing method
KR101202128B1 (en) 2006-10-24 2012-11-15 애플 인크. Automated response to and sensing of user activity in portable devices
JP2013003687A (en) * 2011-06-13 2013-01-07 Nintendo Co Ltd Display control program, display control method, display control system and display controller
KR101233531B1 (en) * 2006-09-06 2013-02-14 애플 인크. Voicemail manager for portable multifunction device
JP2013511759A (en) * 2009-11-18 2013-04-04 オペラ・ソフトウェア・アーエスアー Method and apparatus for following vertical stages of a string during scrolling
JP2013210717A (en) * 2012-03-30 2013-10-10 Brother Ind Ltd Program of image display device, image display device, and control method of image display device
JP2013214193A (en) * 2012-04-02 2013-10-17 Sharp Corp Information processor, method for controlling information processor, output device, electronic device, control program, and recording medium
KR20130125408A (en) * 2009-03-16 2013-11-18 애플 인크. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
JP2013544415A (en) * 2010-11-29 2013-12-12 マイクロソフト コーポレーション Instant panning with groove metaphor
US8949735B2 (en) 2012-11-02 2015-02-03 Google Inc. Determining scroll direction intent
JP5790963B1 (en) * 2014-09-02 2015-10-07 求 藤川 Information processing apparatus, information processing method, and information processing program
US9164675B2 (en) 2011-01-13 2015-10-20 Casio Computer Co., Ltd. Electronic device and storage medium
JP2016502722A (en) * 2012-11-29 2016-01-28 フェイスブック，インク． Using clamping to correct scrolling
US9436374B2 (en) 2009-09-25 2016-09-06 Apple Inc. Device, method, and graphical user interface for scrolling a multi-section document
EP2455850A3 (en) * 2010-11-22 2017-04-19 Samsung Electronics Co., Ltd. Method for scrolling screen in touch screen terminal and device thereof
USRE46548E1 (en) 1997-10-28 2017-09-12 Apple Inc. Portable computers
JP2017228189A (en) * 2016-06-24 2017-12-28 セイコーエプソン株式会社 Electronic apparatus and control program
US9965162B2 (en) 2012-11-29 2018-05-08 Facebook, Inc. Scrolling across boundaries in a structured document
KR102057797B1 (en) * 2019-02-11 2019-12-19 최현준 Controlling electronic document scrolling apparatus, method and computer readable medium
US10732814B2 (en) 2005-12-23 2020-08-04 Apple Inc. Scrolling list with floating adjacent index symbols
US10928980B2 (en) 2017-05-12 2021-02-23 Apple Inc. User interfaces for playing and managing audio items
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US10996917B2 (en) 2019-05-31 2021-05-04 Apple Inc. User interfaces for audio media control
US11157143B2 (en) 2014-09-02 2021-10-26 Apple Inc. Music user interface
US11169690B2 (en) 2006-09-06 2021-11-09 Apple Inc. Portable electronic device for instant messaging
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
CN114063867A (en) * 2020-07-30 2022-02-18 佳能株式会社 Image processing apparatus, control method of image processing apparatus, and recording medium
US11283916B2 (en) 2017-05-16 2022-03-22 Apple Inc. Methods and interfaces for configuring a device in accordance with an audio tone signal
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US11467722B2 (en) 2007-01-07 2022-10-11 Apple Inc. Portable electronic device, method, and graphical user interface for displaying electronic documents and lists
US11620103B2 (en) 2019-05-31 2023-04-04 Apple Inc. User interfaces for audio media control
US11683408B2 (en) 2017-05-16 2023-06-20 Apple Inc. Methods and interfaces for home media control
CN117437889A (en) * 2023-10-20 2024-01-23 广州文石信息科技有限公司 Page scrolling display method and device of ink screen, electronic equipment and storage medium

Cited By (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE46548E1 (en) 1997-10-28 2017-09-12 Apple Inc. Portable computers
US10732814B2 (en) 2005-12-23 2020-08-04 Apple Inc. Scrolling list with floating adjacent index symbols
JP4700539B2 (en) * 2006-03-22 2011-06-15 パナソニック株式会社 Display device
JP2007257220A (en) * 2006-03-22 2007-10-04 Matsushita Electric Ind Co Ltd Display device
KR101515773B1 (en) 2006-09-06 2015-04-28 애플 인크. Touch screen device, method, and graphical user interface for determining commands by applying heuristics
US11029838B2 (en) 2006-09-06 2021-06-08 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US9335924B2 (en) 2006-09-06 2016-05-10 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
KR100950831B1 (en) * 2006-09-06 2010-04-02 애플 인크. Touch screen device, method, and graphical user interface for determining commands by applying heuristics
US11169690B2 (en) 2006-09-06 2021-11-09 Apple Inc. Portable electronic device for instant messaging
US11762547B2 (en) 2006-09-06 2023-09-19 Apple Inc. Portable electronic device for instant messaging
JP2010503127A (en) * 2006-09-06 2010-01-28 アップル インコーポレイテッド Touch screen device, method and graphic user interface for determining commands by applying heuristics
US9952759B2 (en) 2006-09-06 2018-04-24 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
KR101459800B1 (en) 2006-09-06 2014-11-17 애플 인크. Touch screen device, method, and graphical user interface for determining commands by applying heuristics
JP2013008377A (en) * 2006-09-06 2013-01-10 Apple Inc Touch screen device, method, and graphic user interface for determining command by applying heuristic
KR101233531B1 (en) * 2006-09-06 2013-02-14 애플 인크. Voicemail manager for portable multifunction device
KR101202128B1 (en) 2006-10-24 2012-11-15 애플 인크. Automated response to and sensing of user activity in portable devices
US11467722B2 (en) 2007-01-07 2022-10-11 Apple Inc. Portable electronic device, method, and graphical user interface for displaying electronic documents and lists
US11972103B2 (en) 2007-01-07 2024-04-30 Apple Inc. Portable electronic device, method, and graphical user interface for displaying electronic documents and lists
JP2009053769A (en) * 2007-08-23 2009-03-12 Ricoh Co Ltd Computer, overwrite information processor, overwrite information processing method, program, and storage medium
JP2010003307A (en) * 2008-04-23 2010-01-07 Sharp Corp Portable information terminal, computer readable program and recording medium
KR20110010096A (en) * 2008-05-23 2011-01-31 마이크로소프트 코포레이션 Panning content utilizing a drag operation
JP2012503223A (en) * 2008-05-23 2012-02-02 マイクロソフト コーポレーション Panning content using dragging
US9329768B2 (en) 2008-05-23 2016-05-03 Microsoft Technology Licensing Llc Panning content utilizing a drag operation
KR101600643B1 (en) 2008-05-23 2016-03-07 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 Panning content utilizing a drag operation
JP2010182029A (en) * 2009-02-04 2010-08-19 Zenrin Datacom Co Ltd Device and method for displaying image, and computer program
US10705701B2 (en) 2009-03-16 2020-07-07 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
KR20130125408A (en) * 2009-03-16 2013-11-18 애플 인크. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
US11567648B2 (en) 2009-03-16 2023-01-31 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
US11907519B2 (en) 2009-03-16 2024-02-20 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
KR101616783B1 (en) 2009-03-16 2016-04-29 애플 인크. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
US9436374B2 (en) 2009-09-25 2016-09-06 Apple Inc. Device, method, and graphical user interface for scrolling a multi-section document
JP2013511759A (en) * 2009-11-18 2013-04-04 オペラ・ソフトウェア・アーエスアー Method and apparatus for following vertical stages of a string during scrolling
US8810527B2 (en) 2009-12-25 2014-08-19 Canon Kabushiki Kaisha Information processing apparatus and control method therefor
EP2339439A2 (en) 2009-12-25 2011-06-29 Canon Kabushiki Kaisha Information processing apparatus and control method therefor
JP2012058979A (en) * 2010-09-08 2012-03-22 Nintendo Co Ltd Information processing program, information processor, information processing system, and information processing method
EP2455850A3 (en) * 2010-11-22 2017-04-19 Samsung Electronics Co., Ltd. Method for scrolling screen in touch screen terminal and device thereof
JP2013544415A (en) * 2010-11-29 2013-12-12 マイクロソフト コーポレーション Instant panning with groove metaphor
US9164675B2 (en) 2011-01-13 2015-10-20 Casio Computer Co., Ltd. Electronic device and storage medium
US8963964B2 (en) 2011-06-13 2015-02-24 Nintendo Co., Ltd. Computer-readable storage medium having display control program stored therein, display control method, display control system, and display control apparatus
JP2013003687A (en) * 2011-06-13 2013-01-07 Nintendo Co Ltd Display control program, display control method, display control system and display controller
JP2013210717A (en) * 2012-03-30 2013-10-10 Brother Ind Ltd Program of image display device, image display device, and control method of image display device
JP2013214193A (en) * 2012-04-02 2013-10-17 Sharp Corp Information processor, method for controlling information processor, output device, electronic device, control program, and recording medium
US8949735B2 (en) 2012-11-02 2015-02-03 Google Inc. Determining scroll direction intent
US9965162B2 (en) 2012-11-29 2018-05-08 Facebook, Inc. Scrolling across boundaries in a structured document
JP2016502722A (en) * 2012-11-29 2016-01-28 フェイスブック，インク． Using clamping to correct scrolling
US10191643B2 (en) 2012-11-29 2019-01-29 Facebook, Inc. Using clamping to modify scrolling
US12001650B2 (en) 2014-09-02 2024-06-04 Apple Inc. Music user interface
JP5790963B1 (en) * 2014-09-02 2015-10-07 求 藤川 Information processing apparatus, information processing method, and information processing program
US11157143B2 (en) 2014-09-02 2021-10-26 Apple Inc. Music user interface
JP2017228189A (en) * 2016-06-24 2017-12-28 セイコーエプソン株式会社 Electronic apparatus and control program
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US10928980B2 (en) 2017-05-12 2021-02-23 Apple Inc. User interfaces for playing and managing audio items
US11201961B2 (en) 2017-05-16 2021-12-14 Apple Inc. Methods and interfaces for adjusting the volume of media
US11683408B2 (en) 2017-05-16 2023-06-20 Apple Inc. Methods and interfaces for home media control
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US11412081B2 (en) 2017-05-16 2022-08-09 Apple Inc. Methods and interfaces for configuring an electronic device to initiate playback of media
US11095766B2 (en) 2017-05-16 2021-08-17 Apple Inc. Methods and interfaces for adjusting an audible signal based on a spatial position of a voice command source
US11283916B2 (en) 2017-05-16 2022-03-22 Apple Inc. Methods and interfaces for configuring a device in accordance with an audio tone signal
US11750734B2 (en) 2017-05-16 2023-09-05 Apple Inc. Methods for initiating output of at least a component of a signal representative of media currently being played back by another device
KR102057797B1 (en) * 2019-02-11 2019-12-19 최현준 Controlling electronic document scrolling apparatus, method and computer readable medium
US11755273B2 (en) 2019-05-31 2023-09-12 Apple Inc. User interfaces for audio media control
US11620103B2 (en) 2019-05-31 2023-04-04 Apple Inc. User interfaces for audio media control
US10996917B2 (en) 2019-05-31 2021-05-04 Apple Inc. User interfaces for audio media control
US11853646B2 (en) 2019-05-31 2023-12-26 Apple Inc. User interfaces for audio media control
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
US11620046B2 (en) 2019-06-01 2023-04-04 Apple Inc. Keyboard management user interfaces
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
US11842044B2 (en) 2019-06-01 2023-12-12 Apple Inc. Keyboard management user interfaces
CN114063867A (en) * 2020-07-30 2022-02-18 佳能株式会社 Image processing apparatus, control method of image processing apparatus, and recording medium
US11782598B2 (en) 2020-09-25 2023-10-10 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
CN117437889A (en) * 2023-10-20 2024-01-23 广州文石信息科技有限公司 Page scrolling display method and device of ink screen, electronic equipment and storage medium
CN117437889B (en) * 2023-10-20 2024-04-09 广州文石信息科技有限公司 Page scrolling display method and device of ink screen, electronic equipment and storage medium

Similar Documents

Publication Publication Date Title
JP2005044036A (en) Scroll control method and program making computer execute the method
JP4734435B2 (en) Portable game device with touch panel display
EP2666075B1 (en) Light-based finger gesture user interface
KR102030754B1 (en) Image edting apparatus and method for selecting region of interest
JP5580694B2 (en) Information processing apparatus, control method therefor, program, and storage medium
US20090184939A1 (en) Graphical object manipulation with a touch sensitive screen
JP2006343856A (en) Handwritten information input device
JP2001084073A (en) Graphical user interface display device and recording medium storing program for allowing computer to process in the device
JP2007280019A (en) Input device and computer system using the input device
JP2011186550A (en) Coordinate input device, coordinate input method, and computer-executable program
JP2004192573A (en) Information processor and information display method
EP2678764A1 (en) Control area for facilitating user input
JP2010257328A (en) Input processing apparatus
WO2011055451A1 (en) Information processing device, method therefor, and display device
JP5275429B2 (en) Information processing apparatus, program, and pointing method
JP2009098990A (en) Display device
JP2003248551A (en) Display apparatus with touch panel and display control method for the apparatus
JP2004094679A (en) Display controller, display device with touch panel, and controlling method and control program for display device with touch panel
JP4153350B2 (en) Display device with touch panel, control method for display device with touch panel, and program for causing computer to execute the method
JP2995719B2 (en) Pen input / menu display device
JP2005085242A (en) Display control method of display device with touch panel and program for allowing computer to execute the method, as well as display device with touch panel
JP2005228353A (en) Display apparatus with touch panel, control method for display apparatus with touch panel, and program for executing the method on computer
KR101063939B1 (en) User interface control device and implementation method
JP4202875B2 (en) Display control method for display device with touch panel, program for causing computer to execute the method, and display device with touch panel
JP2006085218A (en) Touch panel operating device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060502

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060502

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090427

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090526