JP2011013861A - 情報処理装置およびタッチ操作支援プログラム - Google Patents

情報処理装置およびタッチ操作支援プログラム Download PDF

Info

Publication number
JP2011013861A
JP2011013861A JP2009156337A JP2009156337A JP2011013861A JP 2011013861 A JP2011013861 A JP 2011013861A JP 2009156337 A JP2009156337 A JP 2009156337A JP 2009156337 A JP2009156337 A JP 2009156337A JP 2011013861 A JP2011013861 A JP 2011013861A
Authority
JP
Japan
Prior art keywords
touch operation
display
enlarged
information processing
partial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009156337A
Other languages
English (en)
Other versions
JP4843696B2 (ja
Inventor
Shunichi Numazaki
俊一 沼崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2009156337A priority Critical patent/JP4843696B2/ja
Priority to US12/823,662 priority patent/US20100333018A1/en
Publication of JP2011013861A publication Critical patent/JP2011013861A/ja
Application granted granted Critical
Publication of JP4843696B2 publication Critical patent/JP4843696B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04805Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】タッチパネル上でのタッチ操作の利便性をより向上させることを実現する情報処理装置を提供する。
【解決手段】タッチ操作支援ユーティリティ150は、OS100から各種アプリケーションプログラム200に送信される、(LCD3上に重ね合わされる)タッチパネル4上でタッチ操作が行われたことを示すイベント通知をフックする。そして、特定のタッチ操作が行われたことを示すイベント通知を取得した場合、その操作位置周辺の表示画像をディスプレイドライバ112を介してGPU15から取得し、その拡大画像を生成してLCD3に表示する。そして、この拡大画像上でタッチ操作が行われたら、その操作位置を本来の表示画像上の位置に補正して、この補正後のイベント通知を該当のアプリケーションプログラム200に中継し、拡大画像の表示を解除する。
【選択図】図4

Description

この発明は、例えばタブレットPC(Personal Computer)などと称される表示画面上でのタッチ操作が可能な情報処理装置に好適なユーザインタフェース技術に関する。
近年、デスクトップタイプやノートブックタイプなど、様々なタイプのPCが広く利用されている。この種のPCでは、キーボードやマウス等の操作を介してユーザからの指示を受け付けることが一般的であるが、最近では、タッチパネルを搭載して、(指やペンなどによる)表示画面上でのタッチ操作を介してユーザからの指示を受け付けることのできるPCが普及し始めている。この表示画面上でのタッチ操作が可能なPCは、例えばタブレットPCなどと称されている。
そして、このタブレットPCの普及に伴って、表示画面上でのタッチ操作を快適に行えるようにするための仕組みが種々提案されている(例えば特許文献1等参照)。
特開2008−146135号公報
この特許文献1に記載の表示制御装置は、表示画像中の指定された部分を拡大表示する機能を備える。マルチウィンドウ表示が一般的に行われ、また、ディスプレイ装置の高解像度化が進む今日では、例えば操作ボタンが小さく表示されてしまい、複数の操作ボタンが密集する領域でのタッチ操作時に、意図しない操作ボタンを押下してしまうということも多かった。そのため、この拡大表示機能を利用すれば、このような領域を拡大表示させてタッチ操作を行うことができるので、使い勝手を向上させることができる。
しかしながら、この特許文献1に記載の表示制御装置では、タッチ操作に応じて拡大表示する領域が固定的に定められるので、拡大表示させる意思のないユーザがタッチ操作を行った場合も、拡大表示が一律に行われてしまい、ユーザによっては、却って使い勝手を損なってしまうおそれもある。
また、拡大表示された画像上でタッチ操作を行った後、この拡大表示を解除するための何らかの操作が別途必要となるものと推測され、この点においても、使い勝手を向上させる余地を残している。
この発明は、このような事情を考慮してなされたものであり、タッチパネル上でのタッチ操作の利便性をより向上させることを実現した情報処理装置およびタッチ操作支援プログラムを提供することを目的とする。
前述した目的を達成するために、この発明の情報処理装置は、表示装置と、前記表示装置の画面上に重畳させて配置されるタッチパネルと、前記タッチパネル上で特定のタッチ操作が行われたことを検知する検知手段と、前記検知手段によって前記特定のタッチ操作が検知された場合、その操作位置に基づいて決定される表示画像中の部分画像を拡大表示する拡大表示手段と、前記拡大表示手段によって拡大表示された部分画像の表示領域に対応する前記タッチパネル上の領域内でタッチ操作が行われた場合、この拡大表示された部分画像上での操作位置を前記表示画像上の位置に補正して当該タッチ操作を受け付ると共に、前記拡大表示手段による部分画像の拡大表示を解除するタッチ操作制御手段と、を具備することを特徴とする。
この発明によれば、タッチパネル上でのタッチ操作の利便性をより向上させることを実現できる。
本発明の実施形態に係る情報処理装置の外観図 同実施形態の情報処理装置のシステム構成を示す図 同実施形態の情報処理装置上で動作するタッチ操作支援ユーティリティによるユーザ支援の概要を説明するための第1の概念図 同実施形態の情報処理装置上で動作するタッチ操作支援ユーティリティによるユーザ支援の概要を説明するための第2の概念図 同実施形態の情報処理装置上で動作するタッチ操作支援ユーティリティによるユーザ支援の動作原理を説明するための機能ブロック図 同実施形態の情報処理装置上で動作するタッチ操作支援ユーティリティによるユーザ支援の動作の流れを示すフローチャート
以下、図面を参照して、この発明の一実施形態を説明する。
図1は、本実施形態に係る情報処理装置の外観図である。この情報処理装置は、ノートブックタイプのタブレットPC(コンピュータ10)として実現されている。
図1に示すように、本コンピュータ10は、コンピュータ本体1と、ディスプレイユニット2とから構成される。ディスプレイユニット2には、LCD(Liquid Crystal Display)3とタッチパネル4とが重ね合わせた状態で組み込まれている。そして、このディスプレイユニット2は、コンピュータ本体1に対し、コンピュータ本体1の上面が露出される開放位置とコンピュータ本体1の上面を覆う閉塞位置との間を回動自在に取り付けられている。
一方、ディスプレイユニット2が回動自在に取り付けられるコンピュータ本体1は、薄い箱形の筐体を有しており、その上面には、キーボード5、タッチパッド6、マウスボタン7、スピーカ8A,8B等が配置されている。
図2は、本コンピュータ10のシステム構成を示す図である。図2に示すように、本コンピュータ10は、CPU(Central Processing Unit)11、MCH(Memory Controller Hub)12、主メモリ13、ICH(I/o Controller Hub)14、GPU(Graphics Processing Unit:表示コントローラ)15、ビデオメモリ(VRAM)15A、サウンドコントローラ16、BIOS(Basic Input/Output System)−ROM(Read Only Memory)17、LAN(Local Area Network)コントローラ18、HDD(Hard Disk Drive)19、ODD(Optical Disc Drive)20、無線LANコントローラ21、IEEE 1394コントローラ22、EEPROM(Electrically Erasable Programmable ROM)23、EC/KBC(Embedded Controller/KeyBoard Controller)24等を備えている。
CPU11は、本コンピュータ10の動作を制御するプロセッサであり、HDD19やODD20から主メモリ13にロードされる各種プログラムを実行する。このCPU11によって実行される各種プログラムの中には、リソース管理を司るOS100や、OS100の配下で動作する各種アプリケーションプログラム200などが存在する。また、本コンピュータ10では、後述するタッチ操作支援ユーティリティ150が、常駐プログラムとして、(各種アプリケーションプログラム200と同様に)OS100の配下で動作する。なお、CPU11は、BIOS−ROM17に格納されたBIOSも実行する。BIOSは、ハードウェア制御のためのプログラムである。
MCH12は、CPU11とICH14との間を接続するブリッジとして動作すると共に、主メモリ13をアクセス制御するメモリコントローラとして動作する。また、MCH12は、GPU15との通信を実行する機能を有している。
GPU15は、ディスプレイユニット2に組み込まれたLCD3を制御する表示コントローラである。GPU15は、ビデオメモリであるVRAM15Aを有し、また、各種プログラムが表示しようとする画像をCPU11に代わって描画するアクセラレータを搭載する。
ICH14は、PCI(Peripheral Component Interconnect)バス上の各デバイスおよびLPC(Low Pin Count)バス上の各デバイスを制御する。ICH14は、HDD19およびODD20を制御するためのIDE(Integrated Device Electronics)コントローラを内蔵する。また、ICH14は、サウンドコントローラ16やLANコントローラ18との通信を実行する機能も有している。
サウンドコントローラ16は音源デバイスであり、各種プログラムが再生対象とするオーディオデータをスピーカ等に出力する。
LANコントローラ18は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスである。一方、無線LANコントローラ21は、例えばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。また、IEEE 1394コントローラ22は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。
EEPROM23は、例えば本コンピュータ10の識別情報などを格納するためのメモリデバイスである。
そして、EC/KBC24は、電力管理を行うためのエンベデッドコントローラと、タッチパネル4、キーボード5、タッチパッド6またはマウスボタン7の操作によるデータ入力を制御するためのキーボードコントローラとが集積された1チップMPU(Micro Processing Unit)である。
次に、図3および図4を参照して、以上のような構成をもつ本コンピュータ10上で動作するタッチ操作支援ユーティリティ150によるユーザ支援の概要を説明する。
図1および図2に示したように、本コンピュータ10は、ユーザの操作によるデータ入力を、タッチパネル4、キーボード5、タッチパッド6、マウスボタン7を介して受け付けることができる。タッチ操作支援ユーティリティ150は、このうち、タッチパネル4による操作を、ユーザがより快適に行えるようにするためのプログラムである。
いま、図3に示すように、(タッチパネル4が重ね合わせられる)LCD3上に、ウィンドウa1〜a3の3つのウィンドウが表示されているものと想定する(マルチウィンドウ表示)。そのため、ウィンドウa3の右上端部(領域b)に配置された操作ボタン群が小さく表示されてしまっている。
そして、このような状況下において、あるユーザ(ユーザA)は、ウィンドウa3の領域b内のいずれかの操作ボタンをペンを利用してタッチ操作を行おうとし、また、別のユーザ(ユーザB)は、指先でタッチ操作を行おうとしているものと想定する。
この場合、ピンポイントで位置を指定できるユーザAのタッチ操作と比較して、ユーザBのタッチ操作において誤操作が発生するおそれが大きい。より具体的には、意図した操作ボタンではなく、その隣の操作ボタンが押下されたものとして受け付けられてしまうといったことが起きる可能性が高い。また、ペンの場合は、その構造上、画面に近づけると(触る前に)カーソルが表示されるものが存在し、このようなペンを利用する場合は正確なタッチが容易となる。これに対して、指の場合は、触る前にカーソルが表示されることがないため、正確なタッチが難しい。従って、一時的に、このウィンドウa3の領域b周辺を拡大表示してタッチ操作することができれば、このような誤操作を未然に防ぐことができるので便利である。一方、ユーザAは、ウィンドウa3の領域b内をダイレクトに操作する方が効率的である。そこで、タッチ操作支援ユーティリティ150は、第1に、例えばマルチタッチの一形態であるツーフィンガータップ(2-finger tap)などの特定のタッチ操作が行われた場合に、その特定のタッチ操作が行われた位置を基点とした周辺領域を拡大表示する機能を提供する。図4は、図3に示すウィンドウa3の領域b内で特定のタッチ操作が行われたことにより、タッチ操作支援ユーティリティ150が拡大表示ウィンドウa4を表示した様子を示している。
なお、特定のタッチ操作としては、例えば2本の指を同時にタッチパネル4上に触れさせる形態のほか、例えば表示画面上の左下端部などの予め定められた位置に1本の指をタッチさせた状態で、さらに別の指を表示画面上にタッチさせるといった形態も適用することが可能である。この場合、別の指によるタッチ操作の位置を拡大表示を指示する位置として採用する。また、特定の(キーボード5上の)キーとタッチの組み合わせや、その他のハードボタンとタッチの組み合わせも適用可能である。
もし、ウィンドウa3の領域内での操作が特定のタッチ操作でなかった場合、この拡大表示を指示するための操作ではなく、ウィンドウa3上での通常のタッチ操作として受け付けられる。よって、ユーザAのダイレクト操作も可能となる。即ち、タッチ操作支援ユーティリティ150は、拡大表示を指示するための特定のタッチ操作が意図的に行われたことに応答して、その位置の周辺領域の拡大表示を実行する。
また、この図4に示す拡大表示ウィンドウa4上でのタッチ操作は、ウィンドウa3上でのタッチ操作を一時的に代替するものである。そこで、タッチ操作支援ユーティリティ150は、第2に、この代替的なタッチ操作が行われたならば、拡大表示ウィンドウa4の表示を自動的に解除する機能を提供する。
図5は、タッチ操作支援ユーティリティ150によるユーザ支援の動作原理を説明するための機能ブロック図である。
前述したように、タッチパネル4の操作によるデータ入力は、EC/KBC24によって制御され、LCD3による画像表示は、GPU15によって制御される。この(ハードウェアである)EC/KBC24およびGPU15をソフトウェアで制御するためのプログラムとして、本コンピュータ10上では、タッチパネルドライバ111およびディスプレイドライバ112が動作する。
各種アプリケーションプログラム200は、操作ボタン等を含む画面を、ディスプレイドライバ112を介して(GPU15経由で)LCD3に表示する。各種アプリケーションプログラム200によってLCD3に表示された画面上、つまりタッチパネル4上でユーザがタッチ操作を行うと、その旨が(EC/KBC24経由で)タッチパネルドライバ111を介してOS100に通知される。
OS100は、タッチジェスチャ記憶部101を有しており、タッチパネルドライバ111から通知されたタッチパネル4のタッチ操作について、1本の指またはペンで目的の位置を指し示すシングルタッチだけではなく、例えば2本の指またはペンで同時にタッチパネル4に触れるツーフィンガータップなどの種々の形態のマルチタッチが行われたことを判定することができる(ジェスチャ判定)。そして、OS100は、そのタッチ操作が行われた位置でウィンドウ表示を行っているプログラムに対して、例えばシングルタッチが行われたならば、シングルタッチが行われたこと、および、その位置を示すイベント通知を送信する。
タッチ操作支援ユーティリティ150は、このOS100が各種アプリケーションプログラム200に対して送信する(タッチ操作に関する)イベント通知を横取り(フック)する。常駐プログラムであるタッチ操作支援ユーティリティ150は、本コンピュータ10の起動時に同期的に起動する際、初期処理として、OS100に対して、(タッチ操作に関する)イベント通知を自分宛てに送信するように要求する。そして、以降、タッチ操作支援ユーティリティ150は、このフックしたイベント通知が特定のタッチ操作が行われたことを示すものであった場合に、当該イベント通知で示される位置を基点とした周辺領域の拡大表示を実行する。
そのために、タッチ操作支援ユーティリティ150は、制御部151、拡大ウィンドウ提示部152およびタッチ操作処理部153を有している。
制御部151は、前述したイベント通知をフックするための手続きを行うほか、ユーザが各種設定を行うためのユーザインタフェースを提供する。より具体的には、拡大表示を指示するための特定のタッチ操作の種類をユーザが選択できるようにする。制御部151は、タッチジェスチャ記憶部101に基づいてOS100が判定可能なジェスチャを選択肢として提示して、その中からいずれかのジェスチャを拡大表示を指示するための特定のタッチ操作として選択させる。また、制御部151は、この拡大表示が行われる際の拡大率をユーザが任意に調整できるようにする。
拡大ウィンドウ提示部152は、特定のタッチ操作が行われた位置を基点とした周辺領域の拡大画像を生成し、ディスプレイドライバ112を介して(GPU15経由で)LCD3に表示するモジュールである。制御部151は、フックしたイベント通知が特定のタッチ操作が行われたことを示すものであった場合、当該イベント通知で示される位置を拡大ウィンドウ提示部152に通知する。なお、フックしたイベント通知が特定のタッチ操作以外のタッチ操作が行われたことを示すものであった場合、制御部151は、そのイベント通知を本来の通知先である各種アプリケーションプログラム200に中継する。
制御部151から位置情報を通知された拡大ウィンドウ提示部152は、OS100に対して、(通知された位置への)拡大表示ウィンドウa4の確保を要求すると共に、GPU15がVRAM15Aに格納している、その位置を基点とした周辺領域の画像データをディスプレイドライバ112を介して取得し、その拡大画像を生成して、確保された拡大表示ウィンドウa4に表示すべくディスプレイドライバ112に転送する。
拡大ウィンドウ提示部152によって拡大表示ウィンドウa4が提示された後、イベント通知をフックした制御部151は、その位置情報に基づき、タッチ操作が拡大表示ウィンドウa4内で行われたものか否かを判断する。もし、拡大表示ウィンドウa4内であれば、制御部151は、そのイベント通知をタッチ操作処理部153に転送し、一方、拡大表示ウィンドウa4内でなければ、制御部151は、そのイベント通知を本来の通知先である各種アプリケーションプログラム200に中継する。
タッチ操作処理部153は、制御部151から転送されたイベント通知で示される(拡大表示ウィンドウa4内の)位置に対応する、(拡大表示対象となった)特定のタッチ操作が行われた位置を基点とした周辺領域内の位置を算出し、イベント通知を算出した位置に補正して、この修正後のイベント通知を、特定のタッチ操作が行われた位置でウィンドウ表示を行っているアプリケーションプログラム200に中継する。そして、この中継が完了すると、タッチ操作処理部153は、OS100に対して、拡大ウィンドウ提示部152が確保した拡大ウィンドウa4の解放を要求する。
このように、タッチ操作支援ユーティリティ150は、拡大表示を希望するユーザに対して、目的の部分画像を拡大表示し、かつ、この拡大表示した部分画像上でのタッチ操作を契機として、当該拡大表示を自動的に解除する機能を提供する。
図6は、タッチ操作支援ユーティリティ150によるユーザ支援の動作の流れを示すフローチャートである。
タッチ操作支援ユーティリティ150は、まず、OS100に対して、タッチパネル4上でのタッチ操作に関するイベント通知を自分宛てに送信するように要求する(ステップA1)。
その後、タッチ操作支援ユーティリティ150は、タッチパネル4上でのタッチ操作に関するイベント通知を待機し(ステップA2)、イベント通知がOS100から送信されてきたら(ステップA2のYES)、まず、拡大表示を指示する特定のタッチ操作か否かを判定する(ステップA3)。特定のタッチ操作ではない場合(ステップA3のNO)、タッチ操作支援ユーティリティ150は、そのイベント通知を、タッチ操作位置でウィンドウ表示を行っている本来の通知先であるプログラムに中継する(ステップA4)。
一方、特定のタッチ操作であった場合(ステップA3のYES)、タッチ操作支援ユーティリティ150は、タッチ操作位置を基点とした周辺領域の拡大表示を行い(ステップA5)、さらに、タッチパネル4上でのタッチ操作に関するイベント通知を待機する(ステップA6)。
イベント通知がOS100から送信されてきたら(ステップA6のYES)、タッチ操作支援ユーティリティ150は、今度は、そのタッチ操作位置が拡大表示領域上か否かを判定する(ステップA7)。拡大表示領域上ではない場合(ステップA7のNO)、タッチ操作支援ユーティリティ150は、そのイベント通知を、タッチ操作位置でウィンドウ表示を行っている本来の通知先であるプログラムに中継し(ステップA8)、引き続き、タッチパネル4上でのタッチ操作に関するイベント通知を待機する。
一方、タッチ操作位置が拡大表示領域上であった場合(ステップA7のYES)、タッチ操作支援ユーティリティ150は、拡大表示領域上でのタッチ操作位置に対応する拡大表示対象領域内の位置、つまり、本来の表示領域上での位置を算出し(ステップA9)、OS100から送信されたイベント通知を、この算出した位置に補正した上で、本来の通知先であるプログラムに中継する(ステップA10)。そして、この補正後のイベント通知の中継が完了すると、タッチ操作支援ユーティリティ150は、拡大表示の解除をOS100に要求する(ステップA11)。
以上のように、本コンピュータ10は、タッチパネル4上でのタッチ操作の利便性をより向上させることを実現する。
なお、タッチ操作支援ユーティリティ150の制御部151は、ユーザが各種設定を行うためのユーザインタフェースを提供するが、このユーザインタフェースによって、さらに、特定のタッチ操作に伴う拡大表示の機能を無効にするアプリケーションプログラムをユーザが設定できるようにすることも有効である。
これは、例えばゲームソフトウェア等において、(拡大表示を指示する)特定のタッチ操作に特別の意味を持たせている場合に対処するためである。この設定を行うことで、そのアプリケーションプログラムの表示画面上で特定のタッチ操作が行われた場合に、ユーザが意図しない拡大表示が行われてしまうことを防止できる。
また、前述の説明では、タッチ操作支援ユーティリティ150の制御部151が提供するユーザインタフェースによって、ユーザが、拡大表示が行われる際の拡大率を任意に調整する例を示したが、タッチ操作支援ユーティリティ150の拡大ウィンドウ提示部152が、この拡大率をその時々で自動的に調整するようにしても良い。
より具体的には、拡大表示対象領域内に対象アプリケーションプログラムが配置している操作ボタンのサイズをOS100から取得し、そのサイズに基づき、操作ボタンが所定の大きさとなるように拡大率を決定して拡大表示を実行する。これにより、拡大表示された操作ボタンを常時適切なサイズに揃えることができる。
また、タッチ操作支援ユーティリティ150のタッチ操作処理部153も、拡大表示対象領域内に対象アプリケーションプログラムが操作ボタンを配置している位置をOS100から取得し、拡大表示領域上でのタッチ操作位置に対応する拡大表示対象領域内の位置を算出した時に、その位置が操作ボタンの配置位置に該当する場合に限り、補正後のイベント通知の中継および拡大表示の解除を行うようにしてもよい。つまり、拡大表示領域上でのタッチ操作が行われても、これが操作ボタンに対する有効な操作でなければ、拡大表示をそのまま維持するようにする。
さらに、タッチ操作支援ユーティリティ150の拡大ウィンドウ提示部152とタッチ操作処理部153とが協働して、拡大表示が行われた後に、ユーザが、拡大表示対象の領域を任意に移動・拡大できるようにすることも有効である。
より具体的には、例えば拡大表示領域上で2本の指で線を引くようなタッチ操作(摺動操作)が行われた場合に、タッチ操作処理部153が、その始点と終点との間のベクトルを求め、かつ、このベクトルを拡大表示対象領域内におけるベクトルへと補正して拡大ウィンドウ提示部152に通知する。そして、この通知を受けた拡大ウィンドウ提示部152が、先に制御部151から通知された位置から今回タッチ操作処理部153から通知されたベクトル分移動した位置を基点とした周辺領域の拡大画像を生成し、この生成した拡大画像に表示中の拡大画像を更新する。また、例えば拡大表示領域上で2本の指を広げるようなタッチ操作が行われた場合には、この拡大表示領域自体を広げたり、または、拡大表示領域内の拡大画像の拡大率を大きくしたりする。
また、前述の説明では、タッチ操作支援ユーティリティ150が、OS100からのイベント通知をフックする例を示したが、これに限定されず、例えばタッチ操作支援ユーティリティ150が、タッチパネルドライバ111経由でEC/KBC24から直接的にタッチパネル4の操作内容(位置情報を含む)を取得するようにしても良い。
このように、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。
1…コンピュータ本体、2…ディスプレイユニット、3…LCD、4…タッチパネル、5…キーボード、6…タッチパッド、7…マウスボタン、10…PC、11…CPU、12…MCH、13…主メモリ、14…ICH、15…GPU、15A…VRAM、16…サウンドコントローラ、17…BIOS−ROM、18…LANコントローラ、19…HDD、20…ODD、21…無線LANコントローラ、22…IEEE1394コントローラ、23…EEPROM、24…EC/KBC、100…OS、101…タッチジェスチャ記憶部、111…タッチパネルドライバ、112…ディスプレイドライバ、150…タッチ操作支援ユーティリティ、151…制御部、152…拡大ウィンドウ提示部、153…タッチ操作処理部、200…各種アプリケーションプログラム。

Claims (13)

  1. 表示装置と、
    前記表示装置の画面上に重畳させて配置されるタッチパネルと、
    前記タッチパネル上で特定のタッチ操作が行われたことを検知する検知手段と、
    前記検知手段によって前記特定のタッチ操作が検知された場合、その操作位置に基づいて決定される表示画像中の部分画像を拡大表示する拡大表示手段と、
    前記拡大表示手段によって拡大表示された部分画像の表示領域に対応する前記タッチパネル上の領域内でタッチ操作が行われた場合、この拡大表示された部分画像上での操作位置を前記表示画像上の位置に補正して当該タッチ操作を受け付ると共に、前記拡大表示手段による部分画像の拡大表示を解除するタッチ操作制御手段と、
    を具備することを特徴とする情報処理装置。
  2. 前記検知手段によって前記特定のタッチ操作が検知された場合における前記拡大表示手段による部分画像の拡大表示を無効化して、前記特定のタッチ操作を受け付けるプログラムを登録するためのユーザインタフェース手段をさらに具備することを特徴とする請求項1記載の情報処理装置。
  3. 前記ユーザインタフェース手段は、前記特定のタッチ操作が行われたとして前記検知手段に検知させるタッチ操作の種類を設定する手段を有することを特徴とする請求項2記載の情報処理装置。
  4. 前記ユーザインタフェース手段は、前記拡大表示手段が部分画像を拡大表示する際の拡大率を設定する手段を有することを特徴とする請求項2記載の情報処理装置。
  5. 前記検知手段は、複数本の指によるタッチ操作が行われた場合に前記特定のタッチ操作が行われたとして検知することを特徴とする請求項1記載の情報処理装置。
  6. 前記検知手段は、前記タッチパネル上の予め定められた位置でタッチ操作が行われている状態でさらにタッチ操作が行われた場合に前記特定のタッチ操作が行われたことを検知することを特徴とする請求項1記載の情報処理装置。
  7. キーボードを具備し、
    前記前記検知手段は、前記キーボード上の所定のキーが押下されている状態でさらにタッチ操作が行われた場合に前記特定のタッチ操作が行われたことを検知することを特徴とする請求項1記載の情報処理装置。
  8. ハードボタンを具備し、
    前記前記検知手段は、前記ハードボタンが押下されている状態でさらにタッチ操作が行われた場合に前記特定のタッチ操作が行われたことを検知することを特徴とする請求項1記載の情報処理装置。
  9. 前記タッチ操作制御手段は、前記拡大表示手段によって拡大表示された部分画像の表示領域に対応する前記タッチパネル上の領域内で2本の指で直線を引くような摺動操作が行われた場合、前記拡大表示手段が部分画像を拡大表示する対象とする前記表示画像中の領域を前記摺動操作の摺動方向に移動させる手段を有することを特徴とする請求項1記載の情報処理装置。
  10. 前記タッチ操作制御手段は、前記拡大表示手段によって拡大表示された部分画像の表示領域に対応する前記タッチパネル上の領域内で2本の指を広げるような摺動操作が行われた場合、前記表示領域を拡大し、または、前記表示領域に表示する部分画像の拡大率を大きくする手段を有することを特徴とする請求項1記載の情報処理装置。
  11. 前記拡大表示手段は、拡大表示する部分画像上に配置される操作用のオブジェクトのサイズに基づき、前記部分画像の拡大率を決定する手段を有することを特徴とする請求項1記載の情報処理装置。
  12. 前記タッチ操作制御手段は、拡大表示する部分画像上に配置される操作用のオブジェクトを対象としたタッチ操作が行われた場合に、前記タッチ操作の受け付けおよび拡大表示の解除を行うことを特徴とする請求項1記載の情報処理装置。
  13. 表示装置と、前記表示装置の画面上に重畳させて配置されるタッチパネルと、を具備する情報処理装置を、
    前記タッチパネル上で特定のタッチ操作が行われたことを検知する検知手段、
    前記検知手段によって前記特定のタッチ操作が検知された場合、その操作位置に基づいて決定される表示画像中の部分画像を拡大表示する拡大表示手段、
    前記拡大表示手段によって拡大表示された部分画像の表示領域に対応する前記タッチパネル上の領域内でタッチ操作が行われた場合、この拡大表示された部分画像上での操作位置を前記表示画像上の位置に補正して当該タッチ操作を受け付ると共に、前記拡大表示手段による部分画像の拡大表示を解除するタッチ操作制御手段、
    として機能させるためのタッチ操作支援プログラム。
JP2009156337A 2009-06-30 2009-06-30 情報処理装置およびタッチ操作支援プログラム Active JP4843696B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009156337A JP4843696B2 (ja) 2009-06-30 2009-06-30 情報処理装置およびタッチ操作支援プログラム
US12/823,662 US20100333018A1 (en) 2009-06-30 2010-06-25 Information processing apparatus and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009156337A JP4843696B2 (ja) 2009-06-30 2009-06-30 情報処理装置およびタッチ操作支援プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011220875A Division JP2012043452A (ja) 2011-10-05 2011-10-05 情報処理装置およびタッチ操作支援プログラム

Publications (2)

Publication Number Publication Date
JP2011013861A true JP2011013861A (ja) 2011-01-20
JP4843696B2 JP4843696B2 (ja) 2011-12-21

Family

ID=43382174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009156337A Active JP4843696B2 (ja) 2009-06-30 2009-06-30 情報処理装置およびタッチ操作支援プログラム

Country Status (2)

Country Link
US (1) US20100333018A1 (ja)
JP (1) JP4843696B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012203791A (ja) * 2011-03-28 2012-10-22 Nec Personal Computers Ltd 入力装置及び入力方法
JP2014069365A (ja) * 2012-09-28 2014-04-21 Brother Ind Ltd 印刷装置
JP2014521179A (ja) * 2011-07-21 2014-08-25 ノキア コーポレイション リモートのデータ入力インタフェースをトリガする方法および装置
US20140258904A1 (en) * 2013-03-08 2014-09-11 Samsung Display Co., Ltd. Terminal and method of controlling the same
WO2015033937A1 (ja) * 2013-09-04 2015-03-12 シャープ株式会社 情報処理装置、情報処理装置の制御方法、プログラム、および記録媒体
JP2015118635A (ja) * 2013-12-19 2015-06-25 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、そのタッチイベント処理方法、及びコンピュータが実行可能なプログラム
US9389722B2 (en) 2011-09-09 2016-07-12 Kddi Corporation User interface device that zooms image in response to operation that presses screen, image zoom method, and program
JP2016224804A (ja) * 2015-06-02 2016-12-28 コニカミノルタ株式会社 情報処理装置、情報処理プログラム、及び情報処理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120019543A (ko) * 2010-08-26 2012-03-07 삼성전자주식회사 온-셀 tsp 표시장치
FR2973899B1 (fr) * 2011-04-07 2013-04-26 Archos Procede de selection d'un element d'une interface utilisateur et dispositif mettant en oeuvre un tel procede.
CN102279704B (zh) * 2011-07-22 2018-10-12 南京中兴软件有限责任公司 一种界面控制方法、装置和移动终端
CN104216621B (zh) * 2013-05-31 2019-02-26 中兴通讯股份有限公司 自定义操作区域的方法及移动终端
JP5993072B1 (ja) * 2015-08-27 2016-09-14 レノボ・シンガポール・プライベート・リミテッド 電子機器のユーザ・インターフェース、入力の処理方法および電子機器

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS647123A (en) * 1987-06-30 1989-01-11 Canon Kk Information input device
JPH05119919A (ja) * 1991-10-29 1993-05-18 Nec Corp カーソル移動方式
JPH07129312A (ja) * 1993-11-05 1995-05-19 Oki Electric Ind Co Ltd 画像処理装置
JPH08185265A (ja) * 1994-12-28 1996-07-16 Fujitsu Ltd タッチパネル制御装置
JP2000322169A (ja) * 1999-04-30 2000-11-24 Internatl Business Mach Corp <Ibm> グラフィカル・ユーザ・インターフェイスにおけるホットスポット選択方法
JP2001109557A (ja) * 1999-10-06 2001-04-20 Yokogawa Electric Corp タッチパネル表示方法及びタッチパネルを備えている電子機器
JP2001290585A (ja) * 2000-01-31 2001-10-19 Canon Inc 位置情報処理装置及びその方法及びそのプログラム、操作装置及びその方法及びそのプログラム
JP2008146135A (ja) * 2006-12-06 2008-06-26 Fuji Xerox Co Ltd 表示制御装置および表示制御プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994029788A1 (en) * 1993-06-15 1994-12-22 Honeywell Inc. A method for utilizing a low resolution touch screen system in a high resolution graphics environment
JP4044255B2 (ja) * 1999-10-14 2008-02-06 富士通株式会社 情報処理装置、及び画面表示方法
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
JP2003173226A (ja) * 2001-11-27 2003-06-20 Internatl Business Mach Corp <Ibm> 情報処理装置、プログラム及び座標入力方法
US7653883B2 (en) * 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
KR100782336B1 (ko) * 2006-06-13 2007-12-06 삼성전자주식회사 휴대용 단말기의 출력 제어 장치 및 방법
US8970503B2 (en) * 2007-01-05 2015-03-03 Apple Inc. Gestures for devices having one or more touch sensitive surfaces
US20100201641A1 (en) * 2007-08-13 2010-08-12 Hideaki Tetsuhashi Contact type input device, contact type input method, and program
US20090109243A1 (en) * 2007-10-25 2009-04-30 Nokia Corporation Apparatus and method for zooming objects on a display
WO2009064379A2 (en) * 2007-11-09 2009-05-22 Cirque Corporation A method of detecting and tracking multiple objects on a touchpad
JP2009140368A (ja) * 2007-12-07 2009-06-25 Sony Corp 入力装置、表示装置、入力方法、表示方法及びプログラム
EP2104024B1 (en) * 2008-03-20 2018-05-02 LG Electronics Inc. Portable terminal capable of sensing proximity touch and method for controlling screen using the same
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US20100100854A1 (en) * 2008-10-16 2010-04-22 Dell Products L.P. Gesture operation input system
JP4683110B2 (ja) * 2008-10-17 2011-05-11 ソニー株式会社 表示装置、表示方法及びプログラム
US8289162B2 (en) * 2008-12-22 2012-10-16 Wimm Labs, Inc. Gesture-based user interface for a wearable portable device
US20110025513A1 (en) * 2009-07-30 2011-02-03 Sunrex Technology Corp. Method for carrying out single touch operation by means of computer input devices
US20110314427A1 (en) * 2010-06-18 2011-12-22 Samsung Electronics Co., Ltd. Personalization using custom gestures

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS647123A (en) * 1987-06-30 1989-01-11 Canon Kk Information input device
JPH05119919A (ja) * 1991-10-29 1993-05-18 Nec Corp カーソル移動方式
JPH07129312A (ja) * 1993-11-05 1995-05-19 Oki Electric Ind Co Ltd 画像処理装置
JPH08185265A (ja) * 1994-12-28 1996-07-16 Fujitsu Ltd タッチパネル制御装置
JP2000322169A (ja) * 1999-04-30 2000-11-24 Internatl Business Mach Corp <Ibm> グラフィカル・ユーザ・インターフェイスにおけるホットスポット選択方法
JP2001109557A (ja) * 1999-10-06 2001-04-20 Yokogawa Electric Corp タッチパネル表示方法及びタッチパネルを備えている電子機器
JP2001290585A (ja) * 2000-01-31 2001-10-19 Canon Inc 位置情報処理装置及びその方法及びそのプログラム、操作装置及びその方法及びそのプログラム
JP2008146135A (ja) * 2006-12-06 2008-06-26 Fuji Xerox Co Ltd 表示制御装置および表示制御プログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012203791A (ja) * 2011-03-28 2012-10-22 Nec Personal Computers Ltd 入力装置及び入力方法
JP2014521179A (ja) * 2011-07-21 2014-08-25 ノキア コーポレイション リモートのデータ入力インタフェースをトリガする方法および装置
US10564791B2 (en) 2011-07-21 2020-02-18 Nokia Technologies Oy Method and apparatus for triggering a remote data entry interface
US9389722B2 (en) 2011-09-09 2016-07-12 Kddi Corporation User interface device that zooms image in response to operation that presses screen, image zoom method, and program
JP2014069365A (ja) * 2012-09-28 2014-04-21 Brother Ind Ltd 印刷装置
US20140258904A1 (en) * 2013-03-08 2014-09-11 Samsung Display Co., Ltd. Terminal and method of controlling the same
WO2015033937A1 (ja) * 2013-09-04 2015-03-12 シャープ株式会社 情報処理装置、情報処理装置の制御方法、プログラム、および記録媒体
JP2015049858A (ja) * 2013-09-04 2015-03-16 シャープ株式会社 情報処理装置
CN105518600A (zh) * 2013-09-04 2016-04-20 夏普株式会社 信息处理装置、信息处理装置的控制方法、程序和记录介质
JP2015118635A (ja) * 2013-12-19 2015-06-25 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、そのタッチイベント処理方法、及びコンピュータが実行可能なプログラム
JP2016224804A (ja) * 2015-06-02 2016-12-28 コニカミノルタ株式会社 情報処理装置、情報処理プログラム、及び情報処理方法

Also Published As

Publication number Publication date
JP4843696B2 (ja) 2011-12-21
US20100333018A1 (en) 2010-12-30

Similar Documents

Publication Publication Date Title
JP4843696B2 (ja) 情報処理装置およびタッチ操作支援プログラム
JP4818427B2 (ja) 情報処理装置及び画面選択方法
JP3788942B2 (ja) 情報処理装置およびコンピュータの操作支援方法
EP3262499B1 (en) Device, method, and computer readable storage medium for providing and interacting with a virtual drawing aid
KR102545602B1 (ko) 전자 장치 및 그의 동작 방법
JP2011134278A (ja) 情報処理装置およびポインティング制御方法
EP2715491B1 (en) Edge gesture
JP6157885B2 (ja) 携帯端末装置の表示制御方法
US20220263937A1 (en) Electronic device and method of operating electronic device in virtual reality
JP2010218422A (ja) 情報処理装置および情報処理装置の制御方法
JP2011248784A (ja) 電子機器、及び表示制御方法
JP2013015890A (ja) 情報処理装置および情報処理装置の制御方法
WO2013119813A1 (en) Device, method, and graphical user interface for adjusting partially off-screen windows
JP4996721B2 (ja) 輝度制御装置、輝度制御方法、及び輝度制御プログラム
JP2006330912A (ja) 情報処理装置およびプログラム
TW201445418A (zh) 電子裝置及螢幕內容分享方法
JP2013109421A (ja) 電子機器、電子機器の制御方法、電子機器の制御プログラム
JP2013114640A (ja) 情報処理装置、情報処理方法およびプログラム
KR20140100791A (ko) 사용자 단말 및 이의 인터페이싱 방법
JP5882279B2 (ja) 情報処理装置、方法及びプログラム
JP2012043452A (ja) 情報処理装置およびタッチ操作支援プログラム
JP4892068B2 (ja) 情報処理装置及び画像表示方法
EP2706451A2 (en) Method of processing touch input for mobile device
JP5882973B2 (ja) 情報処理装置、方法及びプログラム
US10645144B2 (en) Computer-implemented method for controlling a remote device with a local device

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110913

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111007

R151 Written notification of patent or utility model registration

Ref document number: 4843696

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141014

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313121

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350