JP2015510211A - タッチスクリーンホバリング入力処理 - Google Patents

Abstract

通常モードで、タッチスクリーンに複数の離散アイテムを表示することと；通常モードのとき、複数の離散アイテムが表示されている間、ユーザの指がタッチスクリーンにおける特定の位置でホバリングするがタッチしていないことの検出に応答して、ズームパンモードに入ることと；ズームパンモードに入ったことに応答して、表示される複数の離散アイテムをズームすることと；ズームパンモードのとき、タッチスクリーンに表示された複数の離散アイテムをパンすることにより、ユーザの指がタッチスクリーンにおける別のホバリング位置に移動することの検出に応答することと；ズームパンモードのとき、ポインティングモードに入ることにより、タッチ入力の検出に応答することと；ポインティングモードのとき、所定の条件下でタッチ入力の位置が移動しつつ表示される複数の離散アイテムのパンを抑制することと；ポインティングモードのとき、タッチ入力の位置の変化に合わせてカーソル、ポインタまたはマーカを移動することとを含む。【選択図】図８

Description

本発明は、ホバリング検出型タッチスクリーンへの入力処理に関する。

発明に至る背景

携帯電話やスマートフォン、タブレットコンピュータ等のデバイスがタッチセンサ式ディスプレイまたはタッチスクリーンを備え、ユーザがそれを通じて、デバイスのプロセッサにより実行されるソフトウェアとやり取りできることは一般的になっている。タッチスクリーンは益々一般的になって、ラップトップコンピュータやデスクトップコンピュータにも用いられている。

タッチスクリーンの新世代では、タッチ入力だけでなくホバリング入力も検出でき、タッチスクリーン面におけるホバリング入力の位置（ｘおよびｙ座標）を検出することができる。ホバリング入力とは、ユーザの指（通常は手の指）がタッチスクリーンに近接しているがスクリーンに接触していないように位置する入力である。こうしたタッチスクリーンにより、ユーザインタフェース設計に新たな機会が与えられる。設計の向上で、ユーザが望む通りに動作とタスクをユーザのデバイスに実行させるよう制御し易くすることができる。

本発明の第１の態様では、次の方法が提供される：
通常モードで、タッチスクリーンに複数の離散アイテムを表示することと；
前記通常モードのとき、複数の離散アイテムが表示されている間、ユーザの指が前記タッチスクリーンにおける特定の位置でホバリングするがタッチしていないことの検出に応答して、ズームパンモードに入ることと；
前記ズームパンモードに入ったことに応答して、前記表示される複数の離散アイテムをズームすることと；
前記ズームパンモードのとき、前記タッチスクリーンに表示された複数の離散アイテムをパンすることにより、前記ユーザの指が前記タッチスクリーンにおける別のホバリング位置に移動することの検出に応答することと；
前記ズームパンモードのとき、ポインティングモードに入ることにより、タッチ入力の検出に応答することと；
前記ポインティングモードのとき、所定の条件下で前記タッチ入力の位置が移動しつつ前記表示される複数の離散アイテムのパンを抑制することと；
前記ポインティングモードのとき、前記タッチ入力の位置の変化に合わせてカーソル、ポインタまたはマーカを移動すること
を含む、方法。

前記離散アイテムはテキスト文字でもよい。ここで前記方法は、前記ポインティングモードのとき、前記タッチ入力が無くなったことの検出に応答して、前記タッチ入力の位置にカーソルを配置することを含んでもよい。

前記離散アイテムはアイコンでもよい。ここで前記方法は、前記ポインティングモードのとき、前記タッチ入力が無くなったことの検出に応答して、前記タッチ入力の位置でアイコンを選択することを含んでもよい。

前記方法は、前記ポインティングモードのとき、前記通常モードに戻り、前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答することを含んでもよい。

前記方法は、前記ポインティングモードのとき、前記通常モードに戻り、前記ズームパンモードに入った時点でのズームレベルに前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答することを含んでもよい。

前記方法は、前記ズームパンモードのとき、前記通常モードに戻り、前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答することを含んでもよい。

前記方法は、前記ズームパンモードのとき、前記通常モードに戻り、前記ズームパンモードに入った時点でのズームレベルに前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答することを含んでもよい。

本発明はまた、コンピュータ装置により実行されると、前述の方法を遂行する命令を含む、コンピュータプログラムを提供する。

本発明の第２の態様では、次の装置が提供される：
装置が通常モードであるとき、タッチスクリーンに複数の離散アイテムを表示する手段と；
前記装置が通常モードであるとき、ズームパンモードに入るために、複数の離散アイテムが表示されている間、ユーザの指が前記タッチスクリーンにおける特定の位置でホバリングするがタッチしていないことの検出に応答する手段と；
前記ズームパンモードに入ったことに応答して、前記表示される複数の離散アイテムをズームする手段と；
前記装置がズームパンモードであるのとき、前記タッチスクリーンに表示された複数の離散アイテムをパンすることにより、前記ユーザの指が前記タッチスクリーンにおける別のホバリング位置に移動することの検出に応答する手段と；
前記装置がズームパンモードであるとき、ポインティングモードに入ることにより、タッチ入力の検出に応答する手段と；
前記装置がポインティングモードであるとき、所定の条件下で前記タッチ入力の位置が移動しつつ前記表示される複数の離散アイテムのパンを抑制する手段と；
前記装置がポインティングモードであるとき、前記タッチ入力の位置の変化に合わせてカーソル、ポインタまたはマーカを移動する手段
を備える、装置。

前記離散アイテムはテキスト文字でもよい。ここで前記装置は、前記ポインティングモードのとき、前記タッチ入力が無くなったことの検出に応答して、前記タッチ入力の位置にカーソルを配置する手段を備えてもよい。

前記離散アイテムはアイコンでもよい。ここで前記装置は、前記ポインティングモードのとき、前記タッチ入力が無くなったことの検出に応答して、前記タッチ入力の位置でアイコンを選択する手段を備えてもよい。

前記装置は、前記ポインティングモードのとき、前記通常モードに戻り、前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答する手段を備えてもよい。

前記装置は、前記ポインティングモードのとき、前記通常モードに戻り、前記ズームパンモードに入った時点でのズームレベルに前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答する手段を備えてもよい。

前記装置は、前記ズームパンモードモードのとき、前記通常モードに戻り、前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答する手段を備えてもよい。

前記装置は、前記ズームパンモードモードのとき、前記通常モードに戻り、前記ズームパンモードに入った時点でのズームレベルに前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答する手段を備えてもよい。

前記装置は携帯電話等のコンピュータデバイス、ポータブルコンピュータ、または非携帯型コンピュータでもよい。

本発明の第３の態様では、次の装置が提供される：少なくとも１つのプロセッサと、コンピュータ可読コードを格納して持つ少なくとも１つのメモリを備える装置であって、前記コンピュータ可読コードは実行されると前記少なくとも１つのプロセッサに：
通常モードで、タッチスクリーンに複数の離散アイテムを表示することと；
前記通常モードのとき、複数の離散アイテムが表示されている間、ユーザの指が前記タッチスクリーンにおける特定の位置でホバリングするがタッチしていないことの検出に応答して、ズームパンモードに入ることと；
前記ズームパンモードに入ったことに応答して、前記表示される複数の離散アイテムをズームすることと；
前記ズームパンモードのとき、前記タッチスクリーンに表示された複数の離散アイテムをパンすることにより、前記ユーザの指が前記タッチスクリーンにおける別のホバリング位置に移動することの検出に応答することと；
前記ズームパンモードのとき、ポインティングモードに入ることにより、タッチ入力の検出に応答することと；
前記ポインティングモードのとき、所定の条件下で前記タッチ入力の位置が移動しつつ前記表示される複数の離散アイテムのパンを抑制することと；
前記ポインティングモードのとき、前記タッチ入力の位置の変化に合わせてカーソル、ポインタまたはマーカを移動すること
を遂行するように制御する、装置。

前記離散アイテムはテキスト文字でもよい。ここで、前記コンピュータ可読コードは実行されると前記少なくとも１つのプロセッサに、前記ポインティングモードのとき、前記タッチ入力が無くなったことの検出に応答して、前記タッチ入力の位置にカーソルを配置するように制御してもよい。

前記離散アイテムはアイコンでもよい。ここで、前記コンピュータ可読コードは実行されると前記少なくとも１つのプロセッサに、前記ポインティングモードのとき、前記タッチ入力が無くなったことの検出に応答して、前記タッチ入力の位置でアイコンを選択するように制御してもよい。

前記コンピュータ可読コードは実行されると前記少なくとも１つのプロセッサに、前記ポインティングモードのとき、前記通常モードに戻り、前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答するように制御してもよい。

前記コンピュータ可読コードは実行されると前記少なくとも１つのプロセッサに、前記ポインティングモードのとき、前記通常モードに戻り、前記ズームパンモードに入った時点でのズームレベルに前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答するように制御してもよい。

前記コンピュータ可読コードは実行されると前記少なくとも１つのプロセッサに、前記ポインティングモードのとき、前記通常モードに戻り、前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答するように制御してもよい。

前記コンピュータ可読コードは実行されると前記少なくとも１つのプロセッサに、前記ズームパンモードモードのとき、前記通常モードに戻り、前記ズームパンモードに入った時点でのズームレベルに前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答するように制御してもよい。

本発明の第４の態様では、次の非一時的コンピュータ可読記憶媒体が提供される：コンピュータ可読コードを格納して持つ非一時的コンピュータ可読記憶媒体であって、前記コンピュータ可読コードはコンピュータ装置により実行されると、前記コンピュータ装置に方法を遂行させ、前記方法は：
通常モードで、タッチスクリーンに複数の離散アイテムを表示することと；
前記通常モードのとき、複数の離散アイテムが表示されている間、ユーザの指が前記タッチスクリーンにおける特定の位置でホバリングするがタッチしていないことの検出に応答して、ズームパンモードに入ることと；
前記ズームパンモードに入ったことに応答して、前記表示される複数の離散アイテムをズームすることと；
前記ズームパンモードのとき、前記タッチスクリーンに表示された複数の離散アイテムをパンすることにより、前記ユーザの指が前記タッチスクリーンにおける別のホバリング位置に移動することの検出に応答することと；
前記ズームパンモードのとき、ポインティングモードに入ることにより、タッチ入力の検出に応答することと；
前記ポインティングモードのとき、所定の条件下で前記タッチ入力の位置が移動しつつ前記表示される複数の離散アイテムのパンを抑制することと；
前記ポインティングモードのとき、前記タッチ入力の位置の変化に合わせてカーソル、ポインタまたはマーカを移動すること
を含む、非一時的コンピュータ可読記憶媒体。

本発明の第５の態様では、次のコンピュータに実装される方法が提供される：
通常モードで、タッチスクリーンに複数の離散アイテムを表示することと；
前記通常モードのとき、複数の離散アイテムが表示されている間、ユーザの指が前記タッチスクリーンにおける特定の位置でホバリングするがタッチしていないことの検出に応答して、ズームパンモードに入ることと；
前記ズームパンモードに入ったことに応答して、前記表示される複数の離散アイテムをズームすることと；
前記ズームパンモードのとき、前記タッチスクリーンに表示された複数の離散アイテムをパンすることにより、前記ユーザの指が前記タッチスクリーンにおける別のホバリング位置に移動することの検出に応答することと；
前記ズームパンモードのとき、ポインティングモードに入ることにより、タッチ入力の検出に応答することと；
前記ポインティングモードのとき、所定の条件下で前記タッチ入力の位置が移動しつつ前記表示される複数の離散アイテムのパンを抑制することと；
前記ポインティングモードのとき、前記タッチ入力の位置の変化に合わせてカーソル、ポインタまたはマーカを移動すること
を含む、コンピュータに実装される方法。

以下の添付図面を例として参照しつつ、本発明の実施形態を説明する。
本発明の態様を具現化する携帯端末の投影図である。 図１の携帯端末の構成要素およびそれらの接続を示す概略図である。 本発明の第１実施形態群における図１および２の携帯端末の動作を示すフローチャートである。なお、フローチャートの後半部分は図３−２に描かれている。 図３のフローチャートの一部であり、その後半部分である。 図１および２の携帯端末が取り得る状態およびその状態間での遷移を示す状態図である。 第１実施形態群において種々の動作状態にある図１の携帯端末のディスプレイを示すスクリーンショットである。 第１実施形態群において種々の動作状態にある図１の携帯端末のディスプレイを示すスクリーンショットである。 第１実施形態群において種々の動作状態にある図１の携帯端末のディスプレイを示すスクリーンショットである。 第１実施形態群において種々の動作状態にある図１の携帯端末のディスプレイを示すスクリーンショットである。 第１実施形態群において種々の動作状態にある図１の携帯端末のディスプレイを示すスクリーンショットである。 本発明の第２実施形態群における図１および２の携帯端末の動作を示すフローチャートである。 第２実施形態群において種々の動作状態にある図１の携帯端末のディスプレイを示すスクリーンショットである。 第２実施形態群において種々の動作状態にある図１の携帯端末のディスプレイを示すスクリーンショットである。 第２実施形態群において種々の動作状態にある図１の携帯端末のディスプレイを示すスクリーンショットである。 第２実施形態群において種々の動作状態にある図１の携帯端末のディスプレイを示すスクリーンショットである。 第２実施形態群において種々の動作状態にある図１の携帯端末のディスプレイを示すスクリーンショットである。

発明の実施形態の説明

本願において記述される実施形態は、２段階カーソル配置または選択を提供するように構成される装置に関連する。第１段階では、ホバリング入力に応答してパン可能なズーム機能を提供し、第２段階では、ズームされた表示がロックされる間に微細カーソル配置または選択を提供する。

はじめに図１を参照する。この図には端末１００が示されている。端末１００の外側にはホバリング検出型のタッチセンサ式ディスプレイまたはタッチスクリーン１０２が備わっている。端末１００にはハードウェアキー１０４も備わっている。端末１００にはスピーカー１１８も備わっている。端末１００はヘッドフォン端子１２０も備える。他の機能も存在するが、明確かつ簡素な記述のためにここでは省略されている。

図２は端末１００の構成要素の概略図を示す。端末１００はコントローラ１０６、表示部１０８と触覚／ホバリングインタフェース部１１０から成るタッチセンサ式ディスプレイ１０２、ハードウェアキー１０４、メモリ１１２、ＲＡＭ１１４、スピーカー１１８、ヘッドフォン端子１２０、無線通信モジュール１２２、アンテナ１２４、バッテリー１１６を備える。コントローラ１０６は（バッテリー１１６以外の）他の構成要素の動作を制御するために、各構成要素に接続される。

メモリ１１２は読み出し専用メモリ（ＲＯＭ）やハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等の不揮発性メモリでもよい。メモリ１１２はオペレーティングシステム１２６を他のものと一緒に格納し、ソフトウェアアプリケーション１２８を格納してもよい。ＲＡＭ１１４はコントローラ１０６がデータを一時的に記憶するのに使用される。オペレーティングシステム１２６はコードを含んでもよい。コードは、コントローラ１０６がＲＡＭ１１４と共に実行すると、端末の各ハードウェア要素の動作を制御する。

コントローラ１０６は任意適当な形態でもよい。例えば、１つまたは複数のマイクロコントローラや１つまたは複数のプロセッサでもよい。

端末１００は携帯電話やスマートフォン、携帯情報端末（ＰＤＡ）、ポータブルメディアプレーヤー（ＰＭＰ）、ポータブルコンピュータ、またはソフトウェアアプリケーションを実行できるその他任意のデバイスでもよい。実施形態によっては、端末１００は無線通信モジュール１２２とアンテナ１２４を用いてセルラー通信も行える。無線通信モジュール１２２はＧＳＭ（登録商標）やＣＤＭＡ、ＵＭＴＳ、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＩＥＥＥ ８０２．１１（Ｗｉ−Ｆｉ）等、複数のプロトコルを介して通信するように構成されてもよい。

タッチセンサ式ディスプレイ１０２の表示部１０８は、端末のユーザに画像とテキストを表示する。触覚／ホバリングインタフェース部１１０は、ユーザからのタッチ入力とホバリング入力を受取る。

ホバリング検出型タッチスクリーン１０２は任意適当な形態でもよい。多くの例で、触覚／ホバリングインタフェース部１１０の触覚・ホバリング検出面は同一の構成要素を利用するが、構成要素を全く共有しない、または一部だけ共有して検出面が分離されていてもよい。ホバリング検出型タッチスクリーン１１０の出力は任意適当な形態でもよい。こうした出力がｘ，ｙ，ｚ座標の形態でもよい。ここで、ｘおよびｙはタッチスクリーン１０２の面上での方向である。ｚはタッチスクリーン１０２に垂直な方向で、ホバリング距離を表わす。あるいは、触覚／ホバリングインタフェース部１１０のｚ方向出力が入力の強さや大きさ、その他のスケールパラメータを表わしてもよい。こうした出力は、ｘ，ｙでのタッチ入力に関連する大きさや強さのパラメータを含んでもよい。 触覚／ホバリングインタフェース部１１０はマルチタッチデバイスで、複数のタッチ入力のそれぞれに対してｘ，ｙ出力を提供できるものが好ましい。

メモリ１１２はオペレーティングシステム１２６とソフトウェアアプリケーション１２８の格納だけでなく、音楽ファイルやビデオファイル等のマルチメディアファイルも格納してもよい。多種多様なソフトウェアアプリケーション１２８が端末にインストールされてもよい。こうしたアプリケーションはウェブブラウザや電子メールアプリケーション、ＳＭＳやＩＭ、ＭＭＳアプリケーションといったその他のメッセージアプリケーション、ソーシャルネットワーキングアプリケーション、ラジオ・音楽プレーヤー、ゲーム、ユーティリティアプリケーションを含む。端末に格納されたソフトウェアアプリケーションの一部または全部がオーディオ出力を提供してもよい。アプリケーションが提供するオーディオは、端末の（１つまたは複数の）スピーカー１１８により音声に変換されてもよい。ヘッドフォンやスピーカーがヘッドフォン端子１２０に接続されている場合は、そのヘッドフォン端子１２０に接続されているヘッドフォンやスピーカーにより変換される。

実施形態によっては、端末１００がそれに格納されていない外部ソフトウェアアプリケーションに関連付けられる。これはリモートサーバ装置に格納されたアプリケーションで、そのリモートサーバ装置で部分的にまたは排他的に実行されてもよい。こうしたアプリケーションはクラウドホスト型アプリケーションとも呼ばれる。端末１００はリモートサーバ装置に格納されたアプリケーションを利用するために、その装置と通信してもよい。これは、外部ソフトウェアアプリケーションが提供するオーディオ出力を受取ることを含んでもよい。

実施形態によっては、ハードウェアキー１０４が専用の音量制御キーまたはスイッチである。ハードウェアキーは例えば、２つの隣接するキーや単独のロッカースイッチ、回転ダイヤルを含んでもよい。実施形態によっては、ハードウェアキー１０４が端末１００の側面に配置される。

以下のように、実行される動作は、ソフトウェアに含まれる命令に基づいて、コントローラ１０６の制御の下で、またはコントローラ１０６によって提供されるものと理解されよう。こうしたソフトウェアは、ソフトウェアアプリケーション１２８の１つやオペレーティングシステム１２６、またはオペレーティングシステム１２６と１つ以上のソフトウェアアプリケーション１２８の組合せを含む。

次に、第１実施形態群での端末１００の動作について、図３のフローチャートを参照して説明する。

動作はステップＳ１で開始し、端末１００は通常モードである。 ステップＳ２で、テキストがデフォルトズームレベルで表示され、この状況は図５に示される。

ステップＳ３で、ズームレベルが変更されたかが決定される。ズームレベルはユーザ入力により変更されてもよい。例えば、ピンチジェスチャーやハードウェアキーを用いてでもよく、その他の方法でもよい。ステップＳ３でズームレベルが変更されたと決定されると、ステップＳ４でズームレベルが変更される。ステップＳ３でズームレベルが変更されなかったと決定されるか、ステップＳ４の後、ステップＳ５でテキストが設定されたズームレベルで表示される。ズームレベルが変更されなかった場合、設定されるズームレベルはデフォルトズームレベルである。したがって、図５はズームレベルが変更されなかった場合であり、ステップＳ５の後の結果である表示を再掲している。 図５は、端末１００により表示されているテキストウィンドウを示す。テキストウィンドウは、各行のテキストが直前の行のテキストから続くようにラップアラウンド（ｗｒａｐａｒｏｕｎｄ）のテキストを含む。図５に示すテキストウィンドウでは、テキストウィンドウの幅全体が表示されている。

ステップＳ６で、ホバリング入力が検出されたかが決定される。ホバリング入力、または単にホバリングは、任意適当な方法で検出されてもよい。ユーザの指（通常は手の指）が触覚／ホバリングインタフェース部１１０の感度領域内にあるという決定に応じて、ホバリングが検出されてもよい。あるいは、ユーザの指が所定の時間を超えて触覚／ホバリングインタフェース部１１０の感度領域内の特定の位置にあるという決定に応じて、ホバリングが検出されてもよい。この所定の時間は数百ミリ秒のオーダーでもよい。あるいはまた、ユーザの指が例えば、タッチスクリーン１０２から３０ｍｍという特定の領域内にあるという決定に応じて、ホバリングが検出されてもよい。

ホバリング入力が検出されない場合、この動作は再びステップＳ３に続く。ホバリング入力が検出されたと決定される場合、ステップＳ７で端末１００は通常モードを出てズームパンモードに入る。ステップＳ６からステップＳ７への遷移は、図４の遷移Ｔ１で示される。

図４では、端末１００の３つの状態またはモードが示されている。

第１モード４１は通常／ズームモードである。このモードは前述では通常モードと呼ばれていたが、ステップＳ４でズームレベルが変更される場合はズームモードとも呼ばれる。通常／ズームモードという用語は、ステップＳ５でテキストが設定されたズームレベルで表示されるモードを指す。ズームレベルはデフォルトズームレベルでもよい。通常／ズームモードにおいて、ホバリング入力とタッチ入力が与える反応は本願の範囲外である。

第２モード４２はズームパンモードである。ズームパンモードでは、表示がズームされ、ホバリング入力を動かしてパンすることができる。

第３モード４３はポインティングモードである。ポインティングモードでは、ズームが維持され、特定の状況を除いて、タッチ入力の動きによりパンをせずにカーソルやポインタ、マーカを動かせる。

図示の通り、端末１００は遷移Ｔ１で通常／ズームモードとズームパンモード４２間を遷移してもよい。端末１００は遷移Ｔ２でこの２つのモード間を逆向きに遷移してもよい。端末１００は遷移Ｔ３でズームパンモード４２からポインティングモード４３に遷移してもよい。最後に、端末１００は遷移Ｔ４でポインティングモード４３から通常／ズームモード４１に遷移してもよい。

この後、ステップＳ８でズームレベルが上げられる。ここで、ズームはホバリング入力位置を中心とする。したがって、ホバリング入力の位置周辺で拡大されようとする領域は、ステップＳ５で表示されていた領域であり、図６に示される。ここで、図５の表示の左側にあるテキストが拡大されたものが図６に示されている。ホバリング入力位置の近くでない表示部分は、これ以上表示されない。これは、図５の表示の右側を含む。

ステップＳ９で、ホバリング入力位置が変化したかが決定される。ステップＳ９でホバリング入力位置が変化したと決定されると、ステップＳ１０でホバリング入力位置の移動に合わせて表示がパンされる。ここで表示は、拡大表示されるテキストがホバリング入力位置の後を追うようにパンされる。図６に示すように、拡大すべきテキストの左側から始めて右側へホバリング入力を動かすことにより、図５のディスプレイに表示されるテキストは左側へスクロールし、ディスプレイの右側にあるテキストが表示されるようになる。この状況は図７に示される。

同様に、ホバリング入力位置が上に移動すると、表示されるテキストは下にスクロールされ、ステップＳ５で表示されたような図５で示されるディスプレイの上側にあるテキストが現われて表示されるようになる。ステップＳ１０でホバリング入力の移動によるパンは、テキストウィンドウの端を考慮している。パンは、表示されるテキストがテキストウィンドウの境界を越えて移動しないように制限される。こうした制限は水平両方向（左右両方）と垂直両方向（上下両方）に適用される。

ステップＳ１０に続いて、この動作は再びステップＳ９に戻り、ホバリング入力位置が変化したかが決定される。

ステップＳ９でホバリング入力位置の変化が検出されない場合、ステップＳ１１でホバリング入力が無くなったかが決定される。ステップＳ１１でホバリング入力が無くなったと決定され、端末１００がズームパンモードである場合、端末１００はズームパンモードを出て通常／ズームモードに戻る。具体的には、この動作は再びステップＳ５に進み、図４の遷移Ｔ２により示される。

ステップＳ１１でホバリング入力が無くなっていないと決定される場合、端末１００はズームパンモードのままステップＳ１２に進む。ここで、タッチ入力が検出されたかが決定される。ステップＳ１２でタッチ入力が検出されなかった場合、この動作はステップＳ９に戻る。ステップＳ１２でタッチ入力が検出されたと決定される場合、この動作はステップＳ１３に進む。

ステップＳ９、Ｓ１１およびＳ１２の効果により、ホバリング入力が無くなるかタッチ入力が検出されるかの何れかが起きるまで、端末１００はズームパンモードを維持し、ホバリング入力位置に合わせて表示がパンされる。ホバリング入力が無くなると、端末１００はＴ２であるズームパンモード４２から通常／ズームモード４１に遷移する。タッチ入力が検出されると、端末１００はＴ３であるズームパンモード４２からポインティングモード４３に遷移する。ステップＳ１３でポインティングモードに入る。

ステップＳ１４で表示がロックされる。このステップでは、特定の状況を除いて表示の更なるパンを抑制する。これは以降で説明される。

ステップＳ１４で表示がロックされた後、ステップＳ１５でタイマーがリセットされ開始される。次にステップＳ１６で、カーソルがタッチ入力位置に挿入される。これは図８に示される表示のようになる。

ステップＳ１７で、タッチ入力が無くなったかが決定される。ステップＳ１７でタッチ入力が無くなったと決定されると、ステップＳ１８でカーソルはタッチ入力位置に配置された状態にされる。ステップＳ１８の後、この動作はステップＳ５に戻る。これは、ポインティングモード４３から通常／ズームモード４１への遷移Ｔ４を構成する。ステップＳ１８に続いて、ステップＳ５で継続して表示されていたズームレベルでテキストウィンドウが表示される。ただし、このテキストには、ステップＳ１２で検出されたタッチ入力の位置に、ステップＳ１６で挿入されたカーソルが含まれるという相違がある。

ステップＳ１７でタッチ入力が無くなったと決定されない場合、ステップＳ１９でタッチ入力が移動したかが決定される。その位置が移動したと決定されると、ステップＳ１５で開始されたタイマーが満了したかが、ステップＳ２０で決定される。まだ満了していない場合、この動作はステップＳ１７に戻る。したがって、この動作は条件が決定されるまでステップＳ１７、Ｓ１９およびＳ２０を繰り返す。こうした条件とは、タッチ入力が無くなって、端末がＴ４である通常／ズームモード４１へ遷移することや、タッチ入力位置が移動すること、タイマーが満了になることである。

ステップＳ１９でタッチ入力位置が移動したと決定される場合、この動作はステップＳ２１に進む。ここで、新たなタッチ入力の位置が表示の端またはその近傍であるかが決定される。この表示はステップＳ１４からロックされている表示であり、ズームまたは拡大表示に関連する。ステップＳ２１でタッチ入力が表示の端またはその近傍であると決定されると、ステップＳ２２で表示がパンされる。ここで表示のパンは、タッチ入力が位置する表示の端とは反対向きに拡大テキストをスクロールすることを含む。例えば、タッチ入力が拡大表示の右端またはその近傍にある場合、テキストは左側にスクロールされる。スクロールは、テキストウィンドウの端が拡大表示の端に位置するまで続けられる。スクロール速度は、パン動作中は同じ速度であるという意味で固定でもよい。あるいは、スクロール速度がパン動作の開始からの経過時間に依存してもよい。例えば、スクロール速度がパン動作の開始からの経過時間が伸びるに連れて速くなってもよい。あるいは、または加えて、パン動作中のスクロール速度がタッチ入力の位置に依存してもよい。例えば、表示の丁度端でのタッチ入力は、表示の端近傍であるが実際の端とは異なる位置でのタッチ入力よりも速くパンできてもよい。

水平方向左側でのパンも同様である。また、垂直上下方向でのパンも同様である。

図３の動作により、表示の端またはその近傍にタッチ入力がある間その表示をパンし、次の２つの状況のうちの１つで表示のパンは停止されることを理解されたい。第１の状況は、パン方向側での表示されるテキストの端がテキストウィンドウの端になるように表示がパンされるときである。第２の状況は、タッチ入力位置が表示の端から離れて表示の特定領域に移動するときである。ユーザの指が表示の端からより中央の位置に移動することで、表示のパンは停止され、カーソル位置はタッチ入力位置を追尾し続ける。

ステップＳ２２での表示のパンに続いて、またはステップＳ２１でタッチ入力が表示の端でないと決定した後で、この動作はステップＳ１５に戻る。ここで、タイマーはリセットされ、カーソルがタッチ入力位置に挿入される。この結果の表示は図９に示される。

タッチ入力位置の移動後、ステップＳ１５でタイマーをリセットして再開することにより、このタイマーは位置が変化しないタッチ入力の検出にも利用でき、タイマー時間よりも長い持続時間を持つことができる。換言すれば、タイマーの使用により、端末１００は一定時間動かないタッチ入力が何時受取られたかを検出できる。

ステップＳ１５でタイマーをリセットする代わりに、ステップＳ２１でタッチ入力の移動が検出される場合、タイマーがリセット・再開されてからの移動量が閾値を超えたときに限ってタイマーがリセットされてもよい。こうした移動量は、ｘ，ｙ平面で、またはｘ方向もしくはｙ方向で計算されてもよい。ｘ，ｙ平面やｘ方向、ｙ方向の閾値は任意適当な値でもよい。例えば、閾値は２ｍｍまたは数ｍｍ相当でもよい。これにより、ユーザのタッチ入力が意図せずに僅かに動いたとしても、タイマーがリセットされない。

ステップＳ２０でタイマーが満了になったと決定されると、ステップＳ２３でハイライト表示が開始される。ステップＳ２３に続いて、ステップＳ２４で開始カーソルが配置される。開始カーソルはタッチ入力位置に配置される。タッチ入力が開始されてからタイマーが満了となるまでに移動していた場合、この最後の位置がタッチ入力位置となる。開始カーソルは、テキスト選択動作により選択されたテキスト部分の先頭を示す。

開始カーソルの配置後、ステップＳ２５で終了カーソルが配置される。終了カーソルは、テキスト選択動作により選択されたテキスト部分の最後を示す。終了カーソルはタッチ入力位置に配置される。最初は、開始カーソルと同一位置である。ステップＳ２６で、タッチ入力が無くなったかが決定される。タッチ入力が無くなっていないという決定に応じて、ステップＳ２７でタッチ入力が移動したかが決定される。タッチ入力が移動していないと決定された場合、この動作はステップＳ２６に戻る。タッチ入力位置が移動されるか、タッチ入力が無くなるかの何れかがあるまで、この動作はステップＳ２６とＳ２７を維持する。

ステップＳ２７でタッチ入力が移動したと決定された場合、ステップＳ２８でタッチ入力が表示の端にあるかが決定される。この条件が真であると決定されると、ステップＳ２９で表示がパンされる。これは、前述したステップＳ２２での表示のパンと同じである。ただしステップＳ２９では、開始カーソルがステップＳ２４で配置された位置のままである。

ステップＳ２９での表示のパンに続いて、またはステップＳ２８でタッチ入力が表示の端でないと決定した後、ステップＳ３０で終了カーソルが移動される。開始カーソルは移動されず、終了カーソルのみがタッチ入力の動きに合わせて移動される。

ステップＳ２８でタッチ入力が表示の端またはその近傍にあると決定されたことに起因するステップＳ２９での表示のパンにより終了カーソルは移動されるが、この移動は、タッチ入力が実質的に同一位置にある間、拡大表示でテキストがスクロールされるのに合わせて行われることが理解されよう。

ステップＳ３０に続いて、この動作はステップＳ２６に戻る。したがって、ステップＳ２７で一旦タッチ入力が移動したと決定されると、ステップＳ２６でタッチ入力が無くなったと決定されるまで、この動作はステップＳ２６とＳ３０の間に留まることになる。

ステップＳ２６でタッチ入力が無くなったと決定されると、ステップＳ３１で開始カーソルと終了カーソルの間のテキストがハイライトされる。視覚的には、ステップＳ３０で終了カーソルが移動されるのに合わせてテキストがハイライトされても（またはペイントされても）よい。しかし、開始カーソルと終了カーソルの両方が固定されるのはステップＳ３１のみである。

ステップＳ３１の後、この動作はステップＳ５に戻る。ここで、端末１００はＴ４であるポインティングモード４３から通常／ズームモード４１へ遷移する。しかしここでは、ステップＳ２４で開始カーソルが配置されてからステップＳ２６での決定までの間にタッチ入力の移動な無い限り、開始カーソルと終了カーソルの間でテキストがハイライトされる。終了カーソルの移動が無ければ、ステップＳ３１に続いて、カーソルが開始カーソル位置にある状態で端末１００は通常／ズームモードのままである。この開始カーソル位置は、仮に終了カーソルが存在した場合にその終了カーソルの位置と同一である。

前述した特徴により、２段階カーソル配置処理が実装される。第１段階では、ホバリング入力により、表示されるテキストウィンドウが拡大される。この第１段階では、ユーザはカーソルを配置せずにテキストウィンドウ内をパンできる。第２段階では、タッチ入力により、拡大テキストウィンドウでの更なるパンを抑制し、カーソルを移動できるようになる。この第２段階ではテキストウィンドウがズームまたは拡大されているため、ユーザが希望する位置にカーソルを配置する際、ズーム前のときよりも容易に配置できる。

さらに、第２段階でのカーソル配置は、ズームにつながる同じ動作の一部として達成することもできる。これは、ピンチ動作や別のズーム制御用動作のみでズームが行われる従来技術の方式とは対照的である。最初にズームするホバリング入力を用い、次にカーソルの正確な配置にタッチ入力を用いるという２段階処理は、こうした構成要素の足し合わせ以上の結果を与えられると言える。それは、この２つの段階がユーザの指による同じ動作の一部として影響されるからである。

またポインティングモードのときは、指の動きが（ズームまたは拡大された）表示内容に全く影響しないことも注目に値する。表示内容はタッチ入力が検出されたとき以前と同一のままである。換言すれば、ユーザの指はその指を中心とする拡大鏡のエミュレーションをそれ以上行わず、代わりに拡大表示がロックされる。ユーザの指がタッチスクリーンの端またはその近傍まで動かされるが、その動く範囲が、タッチ入力が表示の端またはその近傍に残り、表示テキストがテキストウィンドウにおける関連する方向での端に到達していない範囲まである場合、拡大表示は部分的にロックが解除される。

加えて、図３を参照して前述した動作により、テキスト範囲の選択が行える。さらに、ズームまたは拡大状態で開始・終了カーソルを配置できる際は、こうしたテキストのハイライト表示も行える。またさらに、開始カーソルの配置後、終了カーソルの配置前に表示をパンすることが可能であるため、同じ拡大率またはズーム率の表示内では開始・終了位置が見えない場合であっても、テキストをハイライトすることができる。これは、図３を参照して前述した動作においては、ユーザは単にタッチ入力を保持し、ユーザの指をパンが必要な方向に沿って表示の端まで移動するだけで達成される。これは、垂直方向や水平方向のどちらでもよく、水平・垂直両方向でできてもよい。タッチ入力の終了で特定範囲のテキストが選択される。

選択またはハイライトされたテキストの使い道については、本願の範囲外事項である。しかし、ユーザが追加動作を実行する目的でテキストを選択することも想定される。こうした追加動作は、テキストや表示の任意の部分を長押ししたり、ハードウェアの「選択」キーを押したりして実行される。

同様に、テキスト中にカーソルを配置した後の使い道についても、本願の範囲外事項である。しかし、ユーザが仮想キーボード等のキーボードを用いてカーソル位置にテキストを挿入してもよいことが想定される。あるいは、仮想キーボードの一部を形成するバックスペースキー等を用いてカーソル位置からテキストを削除してもよい。

タッチ入力位置に対するカーソルの配置は任意適当な形態でもよい。例えば、タッチ入力、すなわちユーザの指の下の位置に直接カーソルが配置されてもよい。あるいは、タッチ入力位置の少し上、すなわちタッチスクリーン１０２におけるユーザの指の位置の少し上にカーソルが配置されてもよい。後の変形例は、テキストに表示されたカーソルとその位置をユーザが確認し易くなるため好ましい。

前述した図３の説明では、端末１００がポインティングモード４３に入るまでカーソルがテキストに挿入されないように記述されているが、第１の実施形態群における別の実施形態では、カーソルが予めテキストに存在していてもよい。実施形態によっては、端末１００がズームパンモード４２である間、カーソルがその初期位置のままである。あるいは、端末がズームパンモードである間、カーソルが表示されないようになってもよい。何れの場合でも、端末１００がポインティングモード４３に入ると、ズームパンモード４２からポインティングモード４３への遷移を生じさせたタッチ入力の位置にカーソルが挿入される。他の実施形態では、通常／ズームモードの際、開始・終了カーソルにより既にハイライトされているテキスト部分が、ポインティングモードで変更されてもよい。例えば、端末１００は、開始・終了カーソルの位置近傍のタッチ入力でカーソルがタッチ入力と一緒に動くようにすることにより、ズームパンモードからポインティングモードへの遷移に反応してもよい。ここで、ユーザはポインティングモードで提供されたズームによりカーソルを高精度で配置することができ、ポインティングモードでタッチ入力を動かすことによりカーソルを再配置できる。開始・終了カーソルのもう一方は、このときにタッチ入力をこのカーソルの位置近傍に置くが、ユーザが同様の操作を行うことにより再配置されてもよい。こうした他の実施形態では、カーソル位置は、端末１００がポインティングモードのときにユーザにより配置されたものでもよく、それ以外の方法、例えば端末が通常／ズームモードのときにテキストのワードへ置かれたタッチ入力で配置されたものでもよい。

ユーザは通常、ユーザ入力を行う前にカーソルを配置したい位置を分かっているものと想定される。ホバリング入力を行うと、端末１００はズームパンモード４２に入り、ホバリング入力が受取られた位置を拡大する。タッチ入力を行うと、ユーザは、希望位置にカーソルが配置されるまで水平および／または垂直方向で調節することにより、カーソル配置を微調整できる。ホバリング入力の位置が、ユーザがカーソルを挿入したい位置から大きく離れていない限り、カーソル単純のためだけで表示をパンする必要性は低い。ユーザが開始・終了カーソルでテキストの一部をハイライトしたい場合の方が、表示のパンがずっと行われ易い。

前述した図３の説明から、ホバリング入力の検出が決定された後でのみ、ズームパンモードに入ることが理解されよう。何時ズームパンモードに入るかをユーザが予想できるように端末１００を構成することにより、ユーザは、必要なときにカーソル位置に対する表示が拡大されると確信できる。ホバリング入力が検出されたときに限ってズームパンモードに入る別の利点は、こうしたズームパンモードとポインティングモードが、ズーム不要であるときの端末１００の動作にまで影響を及ぼすことがないことである。例えば、ユーザがテキストをスクロースするドラッグ操作またはスワイプ操作を行う場合、ユーザが最初にホバリング入力を行わずにドラッグまたはスワイプを行うことにより、こうした利点が達成される。ホバリング入力はステップＳ６で検出されないため、ズームパンモードに入らず、ユーザ入力は別の方法で処理される。

当業者には別の実施形態も想定されよう。

例えば、前述の例でタッチ入力があり、特に表示の端にある間、ステップＳ２２で表示をパンすることにより終了カーソルが配置される。ただし、これとは別の形態も想定される。例えば、端末１００は、開始カーソルの配置後、タッチ入力が表示の端またはその近傍にある間に（ズームレベルを下げる）ズームアウトするように構成されてもよい。こうしたズームアウトにより表示されるべきテキストウィンドウの比率は大きくなる。この中には開始カーソル位置も含まれ、ユーザはタッチ入力を止めずに終了カーソルを配置できる。しかしこれは、終了カーソルを配置したときにズームレベルが下がっているため、ユーザが希望した終了カーソル位置にカーソルを配置するのがより困難になる可能性があるという不利益を被る。

また別の実施形態では、端末１００は、ズームアウトによりテキストの一部がハイライトされた後、タッチ入力が無くなったという決定に応じて、ユーザが終了カーソルを配置できるようにズームしたテキストウィンドウの変更部分を選択できるように構成される。この実施形態では、端末１００は、２つの連続するタッチ入力の間でのホバリング入力の位置にユーザ入力が残っていることの検出に応答してもよい。この別の実施形態では、端末１００は、ホバリング入力中は（ステップＳ５から）最初のズームレベルでテキストウィンドウを表示し、第２のタッチ入力が検出されると（ステップＳ８から）追加のズームレベルでズームしてもよい。あるいは、端末１００は、最初のズームレベルに戻る第１のタッチ入力の後、ホバリング入力が検出されないことに応答し、次に、タッチ入力の受信後にカーソルを配置し、ホバリング入力が行われた位置にテキストウィンドウの一部の表示をズームするホバリング入力の検出に応答してもよい。

図３を参照して前述した動作により、一部の拡大鏡ユーザインタフェースで体験されるポインティング精度の問題が解決される。こうしたインタフェースでは、タッチ入力位置により拡大鏡または魚眼レンズを通じた拡大される領域の中心が決められる。しかし、拡大鏡または魚眼レンズを通じた領域以外の表示領域は変化しない。こうしたインタフェースでは、ユーザがタッチスクリーンにユーザ入力を与える場合により見易くできる。しかし、必ずしもユーザが希望位置に入力を配置し易いわけではない。こうした問題は、ズームパンモードでのズームとポインティングモードでの表示ロックの組合せという前述の動作により解決される。

次に、第２実施形態群での端末１００の動作について、図１０のフローチャートおよび図４の遷移図を参照して説明する。 第２実施形態群の詳細は、記載のない限り、または動作間で矛盾が生じない限りにおいて、第１実施形態群と同様である。事前にホバリング入力が検出されない場合でのタッチ入力に対する端末１００の応答は本願の範囲外であり、図１０には示されていない。

動作はステップＳ１で開始し、端末１００は通常モードである。ステップＳ２で、アイコン配列が元のサイズで表示され、図１１に示される。ここで、端末１００はアイコンのグリッド配列を提供するように示される。アイコンは、タッチスクリーン１０２の表示領域の大部分を占有している。アイコンは規則的な正方形グリッドパターンで配置されるが、他の配置形態が使用されてもよい。ここでのアイコンは正方形形状であるが、他の形状でもよい。こうしたアイコンは５ｍｍ角の大きさであるが、３ｍｍや４ｍｍ、６ｍｍ、７ｍｍ角、または他のサイズでもよい。

各アイコンと隣接するアイコンとの間は小さい隙間がある。アイコン間の隙間から見えるような背景画像が提供されてもよい。こうした背景画像とアイコン間の隙間を用いることにより、より好ましい視覚的効果が得られ、ユーザの可読性も向上する。

図１１では、アイコンが元のサイズで表示されているといえる。この実施例では、全てのアイコンが同じサイズであるが、異なるサイズであってもよい。

通常モード４１および（以下で説明する）ポインティングモード４３では、端末１００はアイコンの１つに対応する位置でのユーザ入力に応答して、そのアイコンの選択に関連する動作を行う。アイコンが写真のサムネイルである実施例では、こうした動作が対応する写真を開くことであって、その写真を原寸大で表示することであってもよい。アイコンがブックマークである場合、そのアイコン位置でユーザ入力を検出することにより、端末１００がそのブックマークでリンクされるウェブページへ移動してもよい。当然ながら、これらはほんの一例に過ぎない。アイコンがビデオのサムネイルである実施例では、そのアイコン位置でユーザ入力を検出することにより、端末１００がメディアプレーヤーアプリケーションでビデオを開いたり、ビデオ再生を開始したりしてもよい。アイコンが電子書籍またはテキスト文書を表わすテキストまたはグラフィクスである実施例では、そのアイコン位置でユーザ入力を検出することにより、端末１００がその電子書籍またはテキスト文書を開いてもよい。アイコンがアプリケーションのショートカットである実施例では、そのアイコン位置でユーザ入力を検出することにより、端末１００がそのアプリケーションを開いてもよい。アイコンが連絡先アイコンである実施例では、そのアイコン位置でユーザ入力を検出することにより、端末１００が連絡先アプリケーションから対応する連絡先を開いたり、その連絡先に関連する所定の動作を行ったりしてもよい。こうした動作は例えば、その連絡先に電話を掛けたり、その連絡先宛の空のメッセージを開いたりすることでもよい。

端末１００がユーザ入力に反応する表示領域１０２は、ターゲット領域と呼ばれる。アイコン毎に１つのターゲット領域があり、ターゲット領域への入力により対応するアイコンが選択されてもよい。ターゲット領域はアイコンと完全同一の空間を占めてもよい。すなわち、ターゲット領域はアイコンと同一サイズ・同一形状で、そのアイコンと同じ位置に配置されていてもよい。この場合、アイコン間の隙間はどのターゲット領域の部分も形成しない。ここで、タッチスクリーン１０２においてこうした隙間の１つの中の特定の位置でユーザ入力を検出しても、どのアイコンも選択されない。あるいは、ターゲット領域がアイコンよりも若干大きくてもよい。こうした実施形態では、隣接するターゲット領域間に隙間があってもよく、なくてもよい。

ターゲット領域でのユーザ入力は通常、ユーザの指がタッチスクリーン１０２から離れるとき、すなわち、タッチ入力が終了するときに検出される。タッチ入力位置がタッチ入力の開始点から終了点の間を移動する場合、通常、タッチ入力の終了位置がその入力位置であると見做される。ここで、ユーザの指がタッチスクリーン１０２から離れると、そのユーザの指があった位置のターゲット領域に依存する動作が行われる。ユーザ入力は、多くの適切な形態の１つを取ってもよい。例えば、「プレス」と呼ばれる短時間の入力もこうした入力形態の１つである。別の入力形態には「ロングプレス」がある。これは、特定の位置で閾値を超える時間行われるタッチ入力である。この閾値は例えば、０．５から１．５秒の間でもよく、通常、１秒程度でもよい。

ステップＳ３で、ズームレベルが変更されたかが決定される。ズームレベルはユーザ入力により変更されてもよい。例えば、ピンチジェスチャーやハードウェアキーを用いてでもよく、その他の方法でもよい。ステップＳ３でズームレベルが変更されたと決定されると、ステップＳ４でズームレベルが変更される。ステップＳ３でズームレベルが変更されなかったと決定されるか、ステップＳ４の後、ステップＳ５でテキストが設定されたズームレベルで表示される。ズームレベルが変更されなかった場合、設定されるズームレベルはデフォルトズームレベルである。したがって、図１１はズームレベルが変更されなかった場合であり、ステップＳ５の後の結果である表示を再掲している。 図１１は、端末１００により表示されるアイコン配列を示す。この配列は、各並びのアイコンが直前の並びのアイコンから続くようにラップアラウンド（ｗｒａｐａｒｏｕｎｄ）配列を含む。図１１に示すウィンドウでは、アイコン配列の幅全体が表示されている。この実施例では、アイコン列はアルファベット順でラベル付けされている。

ステップＳ６で、ホバリング入力が検出されたかが決定される。 ホバリング入力、または単にホバリングは、任意適当な方法で検出されてもよい。ユーザの指が触覚／ホバリングインタフェース部１１０の感度領域内にあるという決定に応じて、ホバリングが検出されてもよい。あるいは、ユーザの指が所定時間を超えて触覚／ホバリングインタフェース部１１０の感度領域内の特定の位置にあるという決定に応じて、ホバリングが検出されてもよい。この所定時間は数百ミリ秒のオーダーでもよい。あるいはまた、ユーザの指がタッチスクリーン１０２から、例えば３０ｍｍという特定の範囲内にあるという決定に応じて、ホバリングが検出されてもよい。

ホバリング入力が検出されない場合、この動作は再びステップＳ３に続く。ホバリング入力が検出されたと決定される場合、ステップＳ７で端末１００は通常モードを出てズームパンモードに入る。ステップＳ６からステップＳ７への遷移は、図４の遷移Ｔ１で示される。

この後、ステップＳ８でズームレベルが上げられる。ここで、ズームはホバリング入力位置を中心とする。したがって、ホバリング入力の位置周辺で拡大されようとする領域は、ステップＳ５で表示されていた領域であり、図１２に示される。ここで、図５の表示の左側にあるアイコンが拡大されたものが図１２に示されている。ホバリング入力位置の近くでない表示部分は、これ以上表示されない。これは図１１の表示の右側を含む。ホバリング入力の位置は円で示されている。

ステップＳ９で、ホバリング入力位置が変化したかが決定される。ステップＳ９でホバリング入力位置が変化したと決定されると、ステップＳ１０でホバリング入力位置の移動に合わせて表示がパンされる。ここで表示は、拡大表示されるアイコンがホバリング入力位置の後を追うようにパンされる。図１２に示すように、拡大すべきアイコン配列の左側から始めて右側へホバリング入力を移動させることにより、図４のディスプレイに表示されるアイコンは左側へスクロールし、ディスプレイの右側にあるアイコンが表示されるようになる。この状況は図１３に示され、ホバリング入力の位置が再び円で示されている。

同様に、ホバリング入力位置が上に移動すると、表示されるアイコンは下にスクロールされ、ステップＳ５で表示されたような図５で示されるディスプレイの上側にあるアイコンが現われて表示されるようになる。ステップＳ１０でホバリング入力の移動によるパンは、アイコン配列の端を考慮している。パンは、表示されるアイコンが配列の境界を越えて移動しないように制限される。こうした制限は水平両方向（左右両方）と垂直両方向（上下両方）に適用される。

ステップＳ１０に続いて、この動作は再びステップＳ９に戻り、ホバリング入力位置が変化したかが決定される。

ステップＳ９でホバリング入力位置の変化が検出されない場合、ステップＳ１１でホバリング入力が無くなったかが決定される。ステップＳ１１でホバリング入力が無くなったと決定され、端末１００がズームパンモードである場合、端末１００はズームパンモードを出て通常／ズームモードに戻る。具体的には、この動作は再びステップＳ５に進み、図４の遷移Ｔ２により示される。

ステップＳ１１でホバリング入力が無くなっていないと決定される場合、端末１００はズームパンモードのままステップＳ１２に進む。ここで、タッチ入力が検出されたかが決定される。ステップＳ１２でタッチ入力が検出されなかった場合、この動作はステップＳ９に戻る。ステップＳ１２でタッチ入力が検出されたと決定される場合、この動作はステップＳ１３に進む。

ステップＳ９、Ｓ１１およびＳ１２の効果により、ホバリング入力が無くなるかタッチ入力が検出されるかの何れかが起きるまで、端末１００はズームパンモードを維持し、ホバリング入力位置に合わせて表示がパンされる。ホバリング入力が無くなると、端末１００はＴ２であるズームパンモード４２から通常／ズームモード４１に遷移する。タッチ入力が検出されると、端末１００はＴ３であるズームパンモード４２からポインティングモード４３に遷移する。ステップＳ１３でポインティングモードに入る。

ステップＳ１４で表示がロックされる。このステップでは、特定の状況を除いて表示の更なるパンを抑制する。これは以降で説明される。

ステップＳ１４で、ポインタまたはマーカがタッチ入力位置に提供される。これは図１４に示される表示のようになる。タッチ入力の位置は円とその中にある×で示されている。ポインタまたはマーカは任意適当な形態でもよい。例えば、マーカの位置を識別する先端を持つ矢印の形態でもよい。あるいは、ポインタが他の形状または形態を持ってもよい。ポインタの主要件は、ポインタが指し示す位置をユーザが決定できることである。 マーカはポインタの一種であるが、ポインタアイコンやポインタグラフィクスを備えなくてもよい。その代わり、マーカが指す位置を他の位置とは異なる外観に変えることにより、マーカが位置を示してもよい。例えば、マーカが特定の位置を中心とするリップル（ｒｉｐｐｌｅ）や他のダイナミックグラフィカル効果を与えることにより位置を示してもよい。あるいは、マーカはその位置に存在する特定のものの外観を変更してもよい。アイコン配列では、マーカは他のアイコンとは異なる視覚的特性を有するアイコンでもよい。例えば、マーカアイコンは色が異なっていたり、視覚的テクスチャが異なっていたりしてもよい。マーカは輝度が異なっていたり、他のアイコンとは異なるコントラストを持つエッジを有したりしてもよい。マーカは、マーカアイコンの外観が変更できるよう動的でもよい。例えば、マーカアイコンは色や輝度、コントラストやそれらの組合せで点滅したり、パルス的に表示されたりしてもよい。マーカはこれら以外の任意適当な形態でもよい。 タッチ入力位置がアイコンのターゲット領域に一致しない場合、マーカやポインタは出力されない。あるいは、ポインタが出力され、そのポインタがアイコンを指し示していないことがユーザに明確に伝わるようにしてもよい。図１４では、タッチ入力位置に一致するアイコンが、他のアイコンと異なる太さのフレーム（ここでは、より太いフレーム）を持つように示されている。

ステップＳ１４の後、ステップＳ１５でタッチ入力が移動したかが決定される。ステップＳ１５でタッチ入力位置が移動したと決定される場合、この動作はステップＳ１６に進む。ここでは、ポインタまたはマーカの位置は新しいタッチ入力位置に合わせて移動される。この移動は上下左右の何れか、または垂直・水平移動の任意の組合せでもよい。タッチ入力の移動後、別のアイコンがポイントまたはマークされてもよい。この状況は図１５に示され、別のアイコンがマークされている。タッチ入力の位置が再び円とその中にある×で示されている。

ステップＳ１５でタッチ入力が移動していないと示された後や、ステップＳ１６でポインタの移動後、ステップＳ１７でタッチ入力が無くなったかが決定される。ステップＳ１７でタッチ入力が無くなっていないと決定されると、この動作はステップＳ１５に戻る。ステップＳ１７でタッチ入力が無くなったと決定されると、この動作はステップＳ１８に進む。

したがって、この動作は条件が決定されるまでステップＳ１５、Ｓ１６およびＳ１７を繰り返す。こうした条件とは、タッチ入力が無くなり、端末１００がポインティングモード４３を出て動作がステップＳ１８に進むことである。ただし、端末１００はこの段階で通常／ズームモードへ遷移しなくてもよい。

ステップＳ１８で、タッチ入力が無くなるとき、タッチ入力位置でのターゲット領域を持つアイコンが選択される。タッチ入力が無くなるとき、タッチ入力位置がアイコンのターゲット領域に一致しない場合、ステップＳ１８でどのアイコンも選択されない。アイコン選択により、そのアイコンが関連する内容と端末１００の設定に依存しうる動作が行われる。こうした実施例の一部は前述の通りである。ステップＳ１８の後、この動作はステップＳ１９で終了する。

ステップＳ１６でのポインタの移動は、図３のステップＳ２２を参照して前述したのと同様に、アイコン配列でズームした部分のパンを含んでもよい。

図１０を参照して前述した特徴により、２段階アイコン選択処理が実装される。第１段階では、ホバリング入力により、表示されるアイコン配列の拡大表示が得られる。この第１段階では、ユーザはアイコンを選択せずに配列内をパンできる。第２段階では、タッチ入力により、アイコン配列の更なるパンを抑制し、ポインタまたはマーカを移動できるようになる。この第２段階ではアイコン配列がズームまたは拡大されているため、希望するアイコンの選択をズーム前のときよりも容易に行える。加えて、アイコンがサムネイルであり、それが示すアイテムの視覚的表現であることを意味する他の形態を持つ場合、ズームパンモードの提供により、ユーザは関心のあるアイコンを探す際にその識別を容易に行える。

さらに、第２段階でのアイコン選択は、ズームにつながる同じ動作の一部として達成することもできる。これは、ピンチ操作や別のズーム制御用操作のみでズームが行われる方式とは対照的である。最初にズームするホバリング入力を用い、次にアイコン選択にタッチ入力を用いるという２段階処理は、こうした構成要素の足し合わせ以上の結果を与えられると言える。それは、この２つの段階がユーザの指による同じ動作の一部として影響されるからである。

またポインティングモードのときは、指の動きが（ズームまたは拡大された）表示内容に全く影響しないことも注目に値する。表示内容はタッチ入力が検出されたとき以前と同一のままである。換言すれば、ユーザの指はその指を中心とする拡大鏡のエミュレーションをそれ以上行わず、代わりに拡大表示がロックされる。拡大表示は、ユーザの指がタッチスクリーンの端またはその近傍へ移動されると、部分的にロックが解除されてもよい。

アイコン選択の使い道については、本願の範囲外事項である。

タッチ入力位置に対するポインタまたはマーカの配置は任意適当な形態でもよい。例えば、タッチ入力、すなわちユーザの指の下の位置に直接ポインタまたはマーカが配置されてもよい。あるいは、タッチ入力位置の少し上、すなわちタッチスクリーン１０２におけるユーザの指の位置の少し上にポインタまたはマーカが配置されてもよい。後の変形例は、アイコン配列に表示されたポインタまたはマーカとその位置をユーザが確認し易くなるため好ましい。

ユーザは通常、ユーザ入力を行う前にどのアイコンを選択したいかが分かっているものと想定される。ホバリング入力を行うと、端末１００はズームパンモード４２に入り、ホバリング入力が受取られた位置を拡大する。タッチ入力を行うと、ユーザは、希望位置にポインタまたはマーカが配置されるまで水平および／または垂直方向で調節することにより、ポインタまたはマーカ配置を微調整できる。ホバリング入力の位置が、ユーザが選択したいアイコンから大きく離れていない限り、アイコン選択のためだけで表示をパンする必要性は低い。ユーザが希望するアイコンを探すために複数のアイコンをブラウズしたい場合の方が、表示のパンがずっと行われ易い。

前述した図１０の説明から、ホバリング入力の検出が決定された後でのみ、ズームパンモードに入ることが理解されよう。何時ズームパンモードに入るかをユーザが予想できるように端末１００を構成することにより、ユーザは、必要なときにアイコン選択に対する表示が拡大されると確信できる。ホバリング入力が検出されたときに限ってズームパンモードに入る別の利点は、こうしたズームパンモードとポインティングモードが、ズーム不要であるときの端末１００の動作にまで影響を及ぼすことがないことである。例えば、ユーザがアイコン配列をスクロースするドラッグ操作またはスワイプ操作を行う場合、ユーザは最初にホバリング入力を行わずにドラッグまたはスワイプを行うことにより、こうした利点が達成される。ホバリング入力はステップＳ６で検出されないため、ズームパンモードに入らず、ユーザ入力は別の方法で処理される。

図１０を参照して前述した動作により、一部の拡大鏡ユーザインタフェースで体験されるポインティング精度の問題が解決される。こうしたインタフェースでは、タッチ入力位置により拡大鏡または魚眼レンズを通じた拡大される領域の中心が決められる。しかし、拡大鏡または魚眼レンズを通じた領域以外の表示領域は変化しない。こうしたインタフェースでは、ユーザがタッチスクリーンにユーザ入力を与える場合により見易くできる。しかし、必ずしもユーザが希望位置に入力を配置し易いわけではない。こうした問題は、ズームパンモードでのズームとポインティングモードでの表示ロックの組合せという前述の動作により解決される。

当業者には様々な別の実施形態も想定されよう。また、様々な追加的な特徴も想定されよう。

例えば、ズームパンモードで、ズームレベルはホバリング入力のｚ方向距離に依存するようになっていてもよい。また例えば、ズームレベルは、ユーザの指がタッチスクリーン１０２に近づくにつれて大きくなり、タッチ入力が行われるときに最大レベルに達し、ポインティングモードでは一定で維持されてもよい。ズームレベルの上昇は、ｚ方向距離が小さくなるにつれてズームレベルが徐々に大きくなるといった連続的なものでもよい。あるいは、ｚ方向距離が特定の範囲ではズームレベルが特定の値を取り、ｚ方向距離がその範囲の下限よりも小さいとズームレベルが別の値を取るといった段階的なものでもよい。通常／ズームモードとポインティングモードの間でのズームレベルの段数は任意適当な値でもよく、例えば、３、４、または５でもよい。

さらに、本願の開示には、本願で明示的に記載されているかどうかに関係なく、あらゆる新規の特徴やそうした特徴の新規的な組合せ、またはそれらを一般化した事項が含まれているものと理解すべきである。そして、本願またはこれから派生する他の出願の審査経過において、新規の特許請求の範囲は、こうした特徴の何れか、および／またはこうした特徴の任意の組合せを包含するように策定されている。

Claims (31)

1. 通常モードで、タッチスクリーンに複数の離散アイテムを表示することと；
   前記通常モードのとき、複数の離散アイテムが表示されている間、ユーザの指が前記タッチスクリーンにおける特定の位置でホバリングするがタッチしていないことの検出に応答して、ズームパンモードに入ることと；
   前記ズームパンモードに入ったことに応答して、前記表示される複数の離散アイテムをズームすることと；
   前記ズームパンモードのとき、前記タッチスクリーンに表示された複数の離散アイテムをパンすることにより、前記ユーザの指が前記タッチスクリーンにおける別のホバリング位置に移動することの検出に応答することと；
   前記ズームパンモードのとき、ポインティングモードに入ることにより、タッチ入力の検出に応答することと；
   前記ポインティングモードのとき、所定の条件下で前記タッチ入力の位置が移動しつつ前記表示される複数の離散アイテムのパンを抑制することと；
   前記ポインティングモードのとき、前記タッチ入力の位置の変化に合わせてカーソル、ポインタまたはマーカを移動すること
   を含む、方法。
2. 前記離散アイテムはテキスト文字である、請求項１に記載の方法。
3. 前記ポインティングモードのとき、前記タッチ入力が無くなったことの検出に応答して、前記タッチ入力の位置にカーソルを配置することを含む、請求項２に記載の方法。
4. 前記離散アイテムはアイコンである、請求項１に記載の方法。
5. 前記ポインティングモードのとき、前記タッチ入力が無くなったことの検出に応答して、前記タッチ入力の位置でアイコンを選択することを含む、請求項４に記載の方法。
6. 前記ポインティングモードのとき、前記通常モードに戻り、前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答することを含む、請求項１から５の何れかに記載の方法。
7. 前記ポインティングモードのとき、前記通常モードに戻り、前記ズームパンモードに入った時点でのズームレベルに前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答することを含む、請求項１から６の何れかに記載の方法。
8. 前記ズームパンモードのとき、前記通常モードに戻り、前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答することを含む、請求項１から７の何れかに記載の方法。
9. 前記ズームパンモードのとき、前記通常モードに戻り、前記ズームパンモードに入った時点でのズームレベルに前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答することを含む、請求項１から７の何れかに記載の方法。
10. コンピュータ装置により実行されると、請求項１から９の何れかに記載の方法を遂行する命令を含む、コンピュータプログラム。
11. 装置が通常モードであるとき、タッチスクリーンに複数の離散アイテムを表示する手段と；
    前記装置が通常モードであるとき、ズームパンモードに入るために、複数の離散アイテムが表示されている間、ユーザの指が前記タッチスクリーンにおける特定の位置でホバリングするがタッチしていないことの検出に応答する手段と；
    前記ズームパンモードに入ったことに応答して、前記表示される複数の離散アイテムをズームする手段と；
    前記装置がズームパンモードであるのとき、前記タッチスクリーンに表示された複数の離散アイテムをパンすることにより、前記ユーザの指が前記タッチスクリーンにおける別のホバリング位置に移動することの検出に応答する手段と；
    前記装置がズームパンモードであるとき、ポインティングモードに入ることにより、タッチ入力の検出に応答する手段と；
    前記装置がポインティングモードであるとき、所定の条件下で前記タッチ入力の位置が移動しつつ前記表示される複数の離散アイテムのパンを抑制する手段と；
    前記装置がポインティングモードであるとき、前記タッチ入力の位置の変化に合わせてカーソル、ポインタまたはマーカを移動する手段
    を備える、装置。
12. 前記離散アイテムはテキスト文字である、請求項１１に記載の装置。
13. 前記ポインティングモードのとき、前記タッチ入力が無くなったことの検出に応答して、前記タッチ入力の位置にカーソルを配置する手段を備える、請求項１２に記載の装置。
14. 前記離散アイテムはアイコンである、請求項１１に記載の装置。
15. 前記ポインティングモードのとき、前記タッチ入力が無くなったことの検出に応答して、前記タッチ入力の位置でアイコンを選択する手段を備える、請求項１４に記載の装置。
16. 前記ポインティングモードのとき、前記通常モードに戻り、前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答する手段を備える、請求項１１から１５の何れかに記載の装置。
17. 前記ポインティングモードのとき、前記通常モードに戻り、前記ズームパンモードに入った時点でのズームレベルに前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答する手段を備える、請求項１１から１６の何れかに記載の装置。
18. 前記ズームパンモードのとき、前記通常モードに戻り、前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答する手段を備える、請求項１１から１７の何れかに記載の装置。
19. 前記ズームパンモードのとき、前記通常モードに戻り、前記ズームパンモードに入った時点でのズームレベルに前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答する手段を備える、請求項１１から１８の何れかに記載の装置。
20. 前記装置は携帯電話等のコンピュータデバイス、ポータブルコンピュータ、または非携帯型コンピュータである、請求項１１から１９の何れかに記載の装置。
21. 少なくとも１つのプロセッサと、コンピュータ可読コードを格納して持つ少なくとも１つのメモリを備える装置であって、前記コンピュータ可読コードは実行されると前記少なくとも１つのプロセッサに：
    通常モードで、タッチスクリーンに複数の離散アイテムを表示することと；
    前記通常モードのとき、複数の離散アイテムが表示されている間、ユーザの指が前記タッチスクリーンにおける特定の位置でホバリングするがタッチしていないことの検出に応答して、ズームパンモードに入ることと；
    前記ズームパンモードに入ったことに応答して、前記表示される複数の離散アイテムをズームすることと；
    前記ズームパンモードのとき、前記タッチスクリーンに表示された複数の離散アイテムをパンすることにより、前記ユーザの指が前記タッチスクリーンにおける別のホバリング位置に移動することの検出に応答することと；
    前記ズームパンモードのとき、ポインティングモードに入ることにより、タッチ入力の検出に応答することと；
    前記ポインティングモードのとき、所定の条件下で前記タッチ入力の位置が移動しつつ前記表示される複数の離散アイテムのパンを抑制することと；
    前記ポインティングモードのとき、前記タッチ入力の位置の変化に合わせてカーソル、ポインタまたはマーカを移動すること
    を遂行するように制御する、装置。
22. 前記離散アイテムはテキスト文字である、請求項２１に記載の装置。
23. 前記コンピュータ可読コードは実行されると前記少なくとも１つのプロセッサに、前記ポインティングモードのとき、前記タッチ入力が無くなったことの検出に応答して、前記タッチ入力の位置にカーソルを配置するように制御する、請求項２２に記載の装置。
24. 前記離散アイテムはアイコンである、請求項２１に記載の装置。
25. 前記コンピュータ可読コードは実行されると前記少なくとも１つのプロセッサに、前記ポインティングモードのとき、前記タッチ入力が無くなったことの検出に応答して、前記タッチ入力の位置でアイコンを選択するように制御する、請求項２４に記載の装置。
26. 前記コンピュータ可読コードは実行されると前記少なくとも１つのプロセッサに、前記ポインティングモードのとき、前記通常モードに戻り、前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答するように制御する、請求項２１から２５の何れかに記載の装置。
27. 前記コンピュータ可読コードは実行されると前記少なくとも１つのプロセッサに、前記ポインティングモードのとき、前記通常モードに戻り、前記ズームパンモードに入った時点でのズームレベルに前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答するように制御する、請求項２１から２６の何れかに記載の装置。
28. 前記コンピュータ可読コードは実行されると前記少なくとも１つのプロセッサに、前記ポインティングモードのとき、前記通常モードに戻り、前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答するように制御する、請求項２１から２７の何れかに記載の装置。
29. 前記コンピュータ可読コードは実行されると前記少なくとも１つのプロセッサに、前記ズームパンモードのとき、前記通常モードに戻り、前記ズームパンモードに入った時点でのズームレベルに前記複数の離散アイテムをズームアウトすることにより、前記タッチ入力が無くなったことの検出に応答するように制御する、請求項２１から２８の何れかに記載の装置。
30. コンピュータ可読コードを格納して持つ非一時的コンピュータ可読記憶媒体であって、前記コンピュータ可読コードはコンピュータ装置により実行されると、前記コンピュータ装置に方法を遂行させ、前記方法は：
    通常モードで、タッチスクリーンに複数の離散アイテムを表示することと；
    前記通常モードのとき、複数の離散アイテムが表示されている間、ユーザの指が前記タッチスクリーンにおける特定の位置でホバリングするがタッチしていないことの検出に応答して、ズームパンモードに入ることと；
    前記ズームパンモードに入ったことに応答して、前記表示される複数の離散アイテムをズームすることと；
    前記ズームパンモードのとき、前記タッチスクリーンに表示された複数の離散アイテムをパンすることにより、前記ユーザの指が前記タッチスクリーンにおける別のホバリング位置に移動することの検出に応答することと；
    前記ズームパンモードのとき、ポインティングモードに入ることにより、タッチ入力の検出に応答することと；
    前記ポインティングモードのとき、所定の条件下で前記タッチ入力の位置が移動しつつ前記表示される複数の離散アイテムのパンを抑制することと；
    前記ポインティングモードのとき、前記タッチ入力の位置の変化に合わせてカーソル、ポインタまたはマーカを移動すること
    を含む、非一時的コンピュータ可読記憶媒体。
31. コンピュータに実装される方法であって：
    通常モードで、タッチスクリーンに複数の離散アイテムを表示することと；
    前記通常モードのとき、複数の離散アイテムが表示されている間、ユーザの指が前記タッチスクリーンにおける特定の位置でホバリングするがタッチしていないことの検出に応答して、ズームパンモードに入ることと；
    前記ズームパンモードに入ったことに応答して、前記表示される複数の離散アイテムをズームすることと；
    前記ズームパンモードのとき、前記タッチスクリーンに表示された複数の離散アイテムをパンすることにより、前記ユーザの指が前記タッチスクリーンにおける別のホバリング位置に移動することの検出に応答することと；
    前記ズームパンモードのとき、ポインティングモードに入ることにより、タッチ入力の検出に応答することと；
    前記ポインティングモードのとき、所定の条件下で前記タッチ入力の位置が移動しつつ前記表示される複数の離散アイテムのパンを抑制することと；
    前記ポインティングモードのとき、前記タッチ入力の位置の変化に合わせてカーソル、ポインタまたはマーカを移動すること
    を含む、コンピュータに実装される方法。

Images