JP2013526171A - 補助キーのストリップをもつ仮想キーボード - Google Patents

補助キーのストリップをもつ仮想キーボード Download PDF

Info

Publication number
JP2013526171A
JP2013526171A JP2013505545A JP2013505545A JP2013526171A JP 2013526171 A JP2013526171 A JP 2013526171A JP 2013505545 A JP2013505545 A JP 2013505545A JP 2013505545 A JP2013505545 A JP 2013505545A JP 2013526171 A JP2013526171 A JP 2013526171A
Authority
JP
Japan
Prior art keywords
auxiliary
key
keyboard
keys
virtual keyboard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013505545A
Other languages
English (en)
Inventor
バリー モーリー，ジェイソン
エス ティ リー，アンドリュー
ボックソール，マーク
ハーター，アンディ
Original Assignee
リアル ヴィエヌシー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by リアル ヴィエヌシー リミテッド filed Critical リアル ヴィエヌシー リミテッド
Publication of JP2013526171A publication Critical patent/JP2013526171A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Input From Keyboards Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本発明は、特に携帯機器のような比較的小さな画面をもつタッチ感応性デバイスのための、改善されたインターフェースに関する。タッチスクリーン・デバイスであって、当該デバイスのタッチスクリーン上に補助仮想キーボードを実装するよう構成されており、当該デバイスは、タッチおよびジェスチャー検知および画像表示機能を提供するよう構成されたオペレーティング・システムを有し、当該デバイスは：タッチ感応性ディスプレイ・スクリーンおよび不揮発性メモリに結合されたプロセッサであって、前記不揮発性メモリは、プロセッサ制御コードならびに一組の補助キーを有する前記補助仮想キーボードを定義するデータおよび該補助キーの補助キー・レイアウト・マップを記憶している、プロセッサを有する。前記プロセッサ制御コードは、前記プロセッサ上で実行されるときに、前記プロセッサが：前記オペレーティング・システムから、前記補助仮想キーボードが前記タッチスクリーン上に表示されるべきであるという信号を受信する段階と；前記補助仮想キーボードが補助キーのストリップとして表示される補助キーボード・ウィンドウの大きさを決定する段階と；前記オペレーティング・システムに、前記補助キーの部分集合がユーザーに対して表示されるよう、前記ウィンドウ内に前記補助仮想キーボードの部分的なビューを表示するよう指示する段階であって、前記補助仮想キーボードは、前記補助キーの異なる部分集合を表示するための前記補助仮想キーボードの前記部分的なビューを変更するようユーザー入力に応答してスクロール可能である、段階と；前記オペレーティング・システムからタッチ・データを受領する段階と；前記タッチ・データを、前記補助キー・レイアウト・マップを使って前記補助キーボードのキーにマッピングして、タッチされた補助キーを識別する段階と；前記識別されたタッチされた補助キーに依存して前記オペレーティング・システムに応答を与える段階とを実行するよう構成されるようなものである。

Description

本発明は、特に携帯機器のような比較的小さな画面をもつタッチ感応性デバイスのための、改善されたインターフェースに関する。
タッチ感応性デバイスはますます一般的になりつつある。例としては、アイパッド（登録商標）、アイフォーン（登録商標）、さまざまなタブレット・デバイス、グーグル（登録商標）・アンドロイド（登録商標）オペレーティング・システムを走らせる携帯機器、シンビアン・ベースのデバイス、ノキアの携帯機器および他の多くがある。これらの機器の一部は、タッチ感応性ディスプレイ上にキーボードが表示されてテキスト入力を容易にする仮想キーボードを使う。アイフォーン（登録商標）の場合、「ABC」ボタンと「123」ボタンが設けられており、これらは表示される仮想キーボードをアルファベットを示すものと数字および記号を示すものとの間で切り替える効果をもつ。
ディスプレイ上で、キーボードのわきに追加的なボタンを表示するさまざまな機器がある。たとえば、特許文献１（ゴールドスミス）は、ユーザーから入力されたテキストを訂正するために候補単語のリストがインターフェース上に提示されるタッチ感応性デバイスを記載している。特許文献２（ケーター）は、メイン・キー領域、数字キー領域および機能キー領域をもつキー・ゾーンをもつタッチスクリーンを有するタッチ感応性デバイスを記載している。特許文献３（ソニー）は、複数のアイコンを表示するスマートフォン上のグラフィカル・ユーザー・インターフェースを記載している。特許文献４（ドナルドソン）は、アルファベットによってインデックス付けされ、任意的に円形アレイに配列されるタブをもつタブ表示領域を有するグラフィカル・ユーザー・インターフェースを記載している。
米国特許出願公開第2009/0077464号 米国特許出願公開第2008/0046496号 欧州特許出願公開第2068236号 米国特許第7249325号
これらの既知のデバイスにもかかわらず、デバイスのそのような仮想キーボード上に拡張されたまたは修正子キーを表示することには、特にスペースの制限のため、問題がある。必要とされうるそのようなキーは多数に上る可能性があり、デスクトップ・キーボード上に見られるファンクション・キー、カーソル・キー（矢印）、「コントロール」「オルト」「挿入」「削除」「エスケープ」のような特殊機能をもつキーならびに「アップル」キーおよび「ウィンドウズ（登録商標）」キーのようなオペレーティング・システム固有のキーを含む。特に携帯機器のタッチスクリーンの限られた地所において、そのようなキーをユーザーが利用しやすくする改善されたユーザー・インターフェースが必要とされている。
本発明の第一の側面によれば、タッチスクリーン・デバイスであって、該デバイスのタッチスクリーン上に補助仮想キーボードを実装するよう構成されており、当該デバイスは、タッチおよびジェスチャー検知および画像表示機能を提供するよう構成されたオペレーティング・システムを有し、当該デバイスは：
タッチ感応性ディスプレイ・スクリーンおよび不揮発性メモリに結合されたプロセッサであって、前記不揮発性メモリは、プロセッサ制御コードおよび一組の補助キーおよび該補助キーの補助キー・レイアウト・マップを有する前記補助仮想キーボードを定義するデータを記憶している、プロセッサを有し、
前記プロセッサ制御コードは、前記プロセッサ上で実行されるときに、前記プロセッサが：
前記オペレーティング・システムから、前記補助仮想キーボードが前記タッチスクリーン上に表示されるべきであるという信号を受信する段階と；
前記補助仮想キーボードが補助キーのストリップとして表示される補助キーボード・ウィンドウの大きさを決定する段階と；
前記オペレーティング・システムに、前記補助キーの部分集合がユーザーに対して表示されるよう、前記ウィンドウ内に前記補助仮想キーボードの部分的なビューを表示するよう指示する段階であって、前記補助仮想キーボードは、前記補助キーの異なる部分集合を表示するための前記補助仮想キーボードの前記部分的なビューを変更するようユーザー入力に応答してスクロール可能である、段階と；
前記オペレーティング・システムからタッチ・データを受領する段階と；
前記タッチ・データを、前記補助キー・レイアウト・マップを使って前記補助キーボードのキーにマッピングして、タッチされた補助キーを識別する段階と；
前記識別されたタッチされた補助キーに依存して前記オペレーティング・システムに応答を与える段階とを実行するよう構成されるようなものである、
デバイスが提供される。
前記タッチ感応性デバイスはモバイル・デバイス、特に比較的小さな画面をもつもの、たとえば電話、PDA、アイパッド（登録商標）などであってもよい。あるいはまた、タッチ感応性デバイスは表面コンピューティング・デバイス（surface computing device）、すなわちキーボードおよびマウスのような伝統的なGUI要素がタッチ感応性スクリーンによって置き換えられている特殊なグラフィカル・ユーザー・インターフェースであってもよい。タッチ感応性デバイスは自動車用途、たとえば経路計画デバイスまたは産業用途、たとえば産業プロセスについての設定／機能を調整する制御パネルとしての用途のためであってもよい。
前記オペレーティング・システムに与えられる前記応答は、伝統的なデスクトップ・パーソナル・コンピュータまたはラップトップに取り付けられうるような物理的なハードウェア・キーボードの作用に密接に一致していてもよい。よって、本発明において、前記オペレーティング・システムに与えられる前記応答は、タッチ・データに対応するイベントおよびキー・コードを生成する、すなわち識別された各タッチされた補助キーに対応する関連付けられたキー・コードおよび少なくとも一つのキー・イベントを生成することであってもよい。たとえば、ユーザーが表示された補助キーにタッチする（または押す）とき、前記応答は、前記キーの単一のタッチがある場合にはキー押下〔キー・ダウン〕イベントと、キーのタッチが反復された動作を示す場合にはキー反復〔キー・リピート〕イベントと一緒にキー・コードを生成することであってもよい。ユーザーが表示された補助キーを放すと、前記応答はキー浮上〔キー・アップ〕イベントと一緒にキー・コードを生成することであってもよい。
そのようなイベントは、前記オペレーティング・システム内で、ハードウェア・デバイス・ドライバによって処理され、その後、入力処理フレームワークを通されることができる。入力処理フレームワークは、任意的に、オペレーティング・システムまたは焦点を絞られるアプリケーションに何らかの動作を実行させたり、キャラクタまたは他の何らかのイベントを注入したりしてもよい。
補助キーボード・ウィンドウは、当該デバイスに収まる大きさにされ、補助キーボードはこのウィンドウ内に表示される。しかしながら、ウィンドウに収まるために補助キーボードの大きさを変更したり構成を変更したりすることは必要ない。ウィンドウ内に見えるキーの部分集合がユーザーによって変更されうるよう、補助仮想キーボードはスクロール可能だからである。このようにして、補助仮想キーボードは、各デバイスまたは配向によって補助キーボードを再構成する必要なしに、種々の配向（たとえばポートレートまたはランドスケープ）にある多様なデバイス上で実装されうる。
いくつかの好ましい実装では、補助キーボード・ビューは、仮想キーボードと並行して表示される。キーボードのよく知られた特性は、キー上のラベルおよびその意味が静的であり、新しいアプリケーションがインストールされたり、文書が開かれたり、単語が編集されたりする際に変わらない、よく知られたセットから引き出されているということである。対照的に、特許文献１は、各使用のために必然的に変わる候補語を表示することを記載している。同様に、特許文献２は、デバイス上にインストールされるアプリケーションの各構成についても変わるアイコンの表示を記載している。このように、本発明の補助キーは、標準的な物理的（ハードウェア）キーボード上に存在する非標準英数字キーの一部または全部を含むことができる。よって、補助キーは、修正子キー（たとえばシフト、キャップスロック）、機能キー（F1、F2など）および位置キー（たとえば上矢印および下矢印）の組み合わせを含むことができる。補助キーは、次のうちの一部または全部を含んでいてもよい：シフト、コントロール（Ctrl）、オルト（Alt）、アップル・キー／ウィンドウズ（登録商標）・キー、削除（Del）、エスケープ（Esc）、タブ、挿入（Ins）、カーソル上、カーソル下、カーソル左、カーソル右、ホーム（Home）、エンド（End）、ページ・アップ、ページ・ダウン、F1ないしF12、スクロール・ロック、キャップスロック、プリント・スクリーンおよびブレイク。
いくつかの実施形態では、補助キーボードは、特にマウス用のポインタのような選択ツールに付随するために、付随する仮想キーボードなしに表示されてもよい。補助キーボードが該キーボードなしに表示される場合、補助キーは標準的な英数字キーをも含んでいてもよい。いくつかの実施形態では、補助キーの一つまたは複数は、コントロール‐オルト‐削除（Ctrl-Alt-Delete）のようなキーの組み合わせの機能を実行してもよい。
補助キーはストリップに配置されてもよく、該ストリップは、連続的な円形の帯の外観を与えるようつながれていてもよい。諸実施形態において、補助キーボードは、好ましくは機能的に関係した補助キーの一つまたは複数の群の境界にスナップするよう構成されていてもよいし、あるいはオペレーティング・システムがスナップ機能をサポートできるようにするよう構成されていてもよい。
前記補助キーボードは、補助キーボードの部分的なビューが変更されるべきであるというユーザーからのジェスチャー・データまたは他のデータ入力に応答してスクロール可能であってもよい。前記コードはさらに、そのようなジェスチャーまたは他の入力データを前記オペレーティング・システムから受け取り、前記データに応答して、前記補助キーボードの前記部分的なビューを調整するよう構成されていてもよい。あるいはまた、前記オペレーティング・システムは、前記ジェスチャーまたは他のデータに応答して前記部分的なビューを調整するよう構成されていてもよい。
前記補助キーボードは、仮想キーボードと一緒に、または仮想キーボードなしに実装されてもよい。後者の場合、補助キーボードは、マウス・ポインタのような選択ツールと一緒に実装されてもよい。それにより補助キーは選択ツールを制御するために使うことができる。
当該デバイスは、リモート・コンピュータまたはシステム（つまり、それ自身、前記タッチ感応性デバイスのオペレーティング・システムとは異なるオペレーティング・システムを走らせているリモート・デバイス）にリンクされていてもよい。当該デバイスは、前記リモート・コンピュータまたはシステムを制御するよう構成されていてもよい。リモート・システムの制御は、リモート・アクセス・プロトコルによって達成される。リモート・アクセス・プロトコルは、タッチスクリーン・デバイス上でリモート・オペレーティング・システムの視覚的表現を受領するための機構を提供する。リモート・システムのそのような視覚的表現は、これに限られないが、リモート・システム上にアクティブに表示されるスクリーンの内容であってもよい。リモート・アクセス・プロトコルの例は、RFB、つまりRemote Framebuffer Protocol〔リモート・フレームバッファ・プロトコル〕（VNCおよびその変形において実装される）、RDP、つまりRemote Desktop Protocol〔リモート・デスクトップ・プロトコル〕その他を含む。
リモート・アクセス・プロトコルは、任意的に、リモート・システムにイベントを送るための機構を提供する。送るイベントは、これに限られないが、諸ポインタ・イベントおよび諸キーボード・イベントを含みうる。よって、リモート・アクセス・プロトコルは、キー・コードを、リモート・デバイス上の識別された各タッチされたキーに対応するキー押下イベント、キー浮上イベントまたはキー反復イベントと一緒に提供しうる。これらの提供されるキー・イベントは、リモート・システムに取り付けられた物理的ハードウェアのイベントに密接に対応する。
このコンテキストにおいて、補助仮想キーボードおよび補助キーは、リモート・システムにとっては重要だがローカル・デバイスには適用可能でないキーがユーザーに対して表示されうる手段を提供する。よって、補助仮想キーボード上に呈示されるキーは、タッチ感応性デバイスの制御にとっては余計であると考えられることもある。（リモートまたはその他の）個別的なアプリケーションのコンテキストでは、そのようなキーは、そのアプリケーションに固有の複雑なキー組み合わせ操作を実行するワンタッチの方法を提供してもよい。たとえば、Ctrl+Alt+Delete（マイクロソフト・ウィンドウズ（登録商標）がインストールされたPCの場合）、Cmd+C（OX Xシステム上でコピーする）。
識別された補助キーは修正子キーであってもよく、その場合、プロセッサ制御コードは識別されたタッチされた修正子キーに応答して仮想キーボード上でタッチされたキーの値を修正するよう構成されていてもよい。この修正は、オペレーティング・システムから仮想キーボードのタッチ・キーの値を受け取り、識別されたタッチされた修正子キーに依存してこの値を修正し、タッチされた仮想キーボード・キーの修正された値をオペレーティング・システムに返すことによって達成されてもよい。追加的または代替的に、識別されたタッチされた修飾子キーは、二次的または従属的な補助キーボードを一緒に共同アニメーション化する（co-animating）ことによって、仮想キーボードの外観を修正してもよい。そのようなアクセサリーは、前記識別されたタッチされた修飾子キーに主として関連付けられているキー（標準的なキーボードのキーまたは補助キー）の部分集合を含んでいてもよい。たとえば、Ctrlがタッチされる場合、二次的な補助キーボードは「C」、「V」および「X」を表示してもよい。キーのこの組み合わせによって包み込まれる、標準的なコピー、ペーストおよび削除機能を簡単にするためである。
いくつかの好ましい実施形態では、プロセッサ制御コードは、仮想キーボードの寸法を決定し、これに依存して補助キーボード・ビューの大きさを調整するよう構成される。追加的または代替的に、補助キーボード・ビューの大きさは、当該デバイスの検出された配向（オペレーティング・システムから入手できる情報）に依存して修正されてもよい。
いくつかの好ましい実施形態では、補助キーボード・ビュー内での補助キーボードの表示は、仮想キーボードの出現とともに共同アニメーション化される。たとえば、諸実施形態において、補助仮想キーボードは、補助キーボードの一部が見えるウィンドウに「飛び込む」ようアニメーション化される線形ストリップを含んでいてもよい。これにより、ユーザーは、補助キーボードが可動である、より詳細には補助キーボード・ビューまたはウィンドウ内でスライドできるという概念を与えられる。
補助キーボード・ウィンドウはストリップ・ウィンドウを有していてもよい。いくつかの好ましい実施形態では、ストリップ・ウィンドウは、仮想キーボードの境界に隣接して、たとえば仮想キーボードの上方に配置される。あるいはまた、前記ストリップ・ウィンドウは前記ディスプレイ・スクリーンのエッジに沿っていてもよい。前記補助仮想キーボードは、前記ストリップ・ウィンドウ内で長手方向に前後にスライド可能であってもよい。ストリップ・ウィンドウは水平であっても垂直であってもよい。
いくつかの好ましい実施形態では、ウィンドウ内で、補助キーボード・キーは、ストリップ・ウィンドウの一端または各端における少なくとも一つのキーが部分的に可視であるよう表示される。よってこれも、ユーザーに、補助キーの仮想ストリップが可動である、より詳細にはウィンドウ内でスライド可能であることを理解する手がかりを与える。これは、複数の完全なキーおよび少なくとも一つの部分的に可視のキーが表示されることを保証するよう、キーの間の間隔（キー間ギャップ）を修正することによって、および／またはキーの幅を修正することによって達成されてもよい。プロセッサは、ギャップおよび／またはキー幅の修正を実装するよう構成されていてもよい。たとえば、前記コードは：
number_of_key_cells〔キー・セルの数〕＝floor(window_width〔ウィンドウ幅〕 / max_key_width〔最大キー幅〕);
if (extra_keys_to_left〔左に追加キーあり〕) number_of_key_cells+=0.5;
if (extra_keys_to_right〔右に追加キーあり〕) number_of_key_cells+=0.5;
key_cell_width〔キー・セル幅〕＝window_width / number_of_key_cells;
キー・セル幅は、エッジでの部分的なキーを許容するために、max_key_widthより小さくてもよい。
あるいはまた、プロセッサは次のコードを実装してもよい。
fractional_key_width〔キー幅割合〕＝0.4;
number_of_whole_keys〔完全キーの数〕＝floor(window_width / max_key_width);
number_of_visible_widths〔目に見える幅の数〕＝number_of_whole_keys＋2*fractional_key_width;
key_cell_width〔キー・セル幅〕＝window_width / number_of_visible_widths;
換言すれば、プロセッサは、部分的なキーで埋められても埋められなくてもよいウィンドウの各端におけるギャップを設定するプロセッサ制御コードを実装してもよい。これらのギャップの設定は、ウィンドウ内のキーの目に見える幅の数を決定する。このようにして、キーの大きさはアルゴリズムによって変更されない。ギャップは、キー幅割合かけるkey_cell_widthとして計算されうる。
関係する側面では、タッチ感応性デバイスのディスプレイ・ビュー上の仮想キーボードに一組の追加的なキーを提供する方法であって、前記仮想キーボードと一緒に前記追加的なキーを表示するためのウィンドウを提供する段階と、前記ウィンドウ内に前記一組の追加的なキーの部分集合を、ストリップをなすキーボード・アクセサリーとして表示する段階であって、前記ウィンドウは前記ストリップの部分的なビューを表示する、段階と；前記ディスプレイ上のユーザーのタッチに応答して前記ウィンドウ内で前記リボンをスクロールして、前記部分的なビューを変更し、表示される前記キーの前記部分集合を変更する段階と、前記追加的なキーのタッチされた表示された一つからのユーザー入力を受け取る段階とを含む、方法が提供される。
前記補助キーは前記仮想キーボード上のキーと関連して押圧されるキーであってもよく、当該方法は、前記検出された補助キー押圧に応答して、前記仮想キーボード上のキーのキー押圧を修正することを含んでいてもよい。
ここでもまた、いくつかの好ましい実施形態では、補助キーの部分的な画像が前記ストリップ・ウィンドウの一端において可視である。また、修正子キーの線形ストリップがスクロールできることの理解に向けてユーザーに手がかりを与えるために、諸実施形態において、修正子キーのストリップは、最初に表示されるとき、ストリップ・ウィンドウ中にスクロールされてはいる。
本発明はさらに、タッチスクリーン・デバイスのタッチスクリーン上で補助仮想キーボードを実装するための、前記タッチスクリーン・デバイスのためのプロセッサ制御コードを担持するデータ担体であって、前記デバイスは、タッチおよびジェスチャー検知および画像表示機能を提供するよう構成されたオペレーティング・システムを有し、前記デバイスは：タッチ感応性ディスプレイ・スクリーンおよび不揮発性メモリに結合されたプロセッサを有し、前記不揮発性メモリは、プロセッサ制御コードおよび一組の補助キーおよび該補助キーの補助キー・レイアウト・マップの画像を定義するデータを記憶しており、
前記プロセッサ制御コードは：
前記オペレーティング・システムから、補助仮想キーボードが前記タッチスクリーン上に表示されるべきであるという信号を受信する段階と；
前記補助キーボードが補助キーのストリップとして表示されるべきである補助キーボード・ウィンドウの大きさを決定する段階と；
前記オペレーティング・システムに、前記補助キーの部分集合がユーザーに対して表示されるよう、前記ウィンドウ内に前記補助仮想キーボードの部分的なビューを表示するよう指示する段階であって、前記補助仮想キーボードは、前記補助キーの異なる部分集合を表示するための前記補助仮想キーボードの前記部分的なビューを変更するためのユーザー入力に応答してスクロール可能である、段階と；
前記オペレーティング・システムからタッチ・データを受領する段階と；
前記タッチ・データを、前記補助キー・レイアウト・マップを使って前記補助キーボードのキーにマッピングしてタッチされた補助キーを識別する段階と；
前記識別されたタッチされた補助キーに依存して前記オペレーティング・システムに応答を与える段階とを実行するよう構成されたコードを含む、
データ担体が提供される。
本発明はさらに、上記のシステムおよび方法を、たとえば汎用コンピュータ・システム上でまたはデジタル信号プロセッサ（DSP: digital signal processor）上で実装するためのプロセッサ制御コードを提供する。前記コードは、ディスク、CD-ROMまたはDVD-ROM、不揮発性メモリ（たとえばフラッシュ）もしくは読み出し専用メモリ（ファームウェア）のようなプログラムされたメモリのような担体上で提供されてもよい。本発明の諸実施形態を実装するためのコード（および／またはデータ）は、Cまたはアセンブリー・コードのような通常のプログラミング言語（インタープリター式またはコンパイル式）でのソース、オブジェクトまたは実行可能コードを含んでいてもよい。当業者は認識するであろうが、そのようなコードおよび／またはデータは、互いに通信する複数の結合されたコンポーネントの間に分散されていてもよい。
本発明は、例として以下の図面によって図的に示される。
タッチ感応性デバイスの構成要素のブロック概略図である。 タッチ感応性デバイスのオペレーティング・システムのフレームワークと補助キーボード・アプリケーションとの間の対話を示すフローチャートである。 ポートレート・モードのアイフォーン（登録商標）上に表示される補助キーボードの第一の部分的なビューおよびキーボードを示すスクリーンショットである。 ランドスケープ・モードのアイフォーン（登録商標）上に表示される補助キーボードの第一の部分的なビューおよびキーボードを示すスクリーンショットである。 ポートレート・モードのアイフォーン（登録商標）上に表示される補助キーボードの第二の部分的なビューおよびキーボードを示すスクリーンショットである。 ランドスケープ・モードのアイフォーン（登録商標）上に表示される補助キーボードの第二の部分的なビューおよびキーボードを示すスクリーンショットである。 ポートレート・モードのアイフォーン（登録商標）上に表示される補助キーボードの第三の部分的なビューおよびキーボードを示すスクリーンショットである。 ポートレート・モードのアイフォーン（登録商標）上に表示される補助キーボードの代替的な部分的なビューを示すスクリーンショットである。 ポートレート・モードのアイフォーン（登録商標）上に表示される補助キーボードの代替的な部分的なビューを示すスクリーンショットである。 ランドスケープ・モードのアイフォーン（登録商標）上に表示される補助キーボードの代替的な部分的なビューを示すスクリーンショットである。 ランドスケープ・モードのアイフォーン（登録商標）上に表示される補助キーボードの代替的な部分的なビューを示すスクリーンショットである。 ランドスケープ・モードのアイパッド（登録商標）上に表示される補助キーボードの部分的なビューおよびキーボードを示すスクリーンショットである。 ランドスケープ・モードのアイパッド（登録商標）上に表示される補助キーボードの部分的なビューを示すスクリーンショットである。 ポートレート・モードのアイパッド（登録商標）上に表示される補助キーボードの部分的なビューおよびキーボードを示すスクリーンショットである。 ポートレート・モードのアイパッド（登録商標）上に表示される補助キーボードの部分的なビューを示すスクリーンショットである。 補助キーボードをもつモバイル・デバイスのポートレート・モードでの概略図である。 ａないしｃは、補助キーボードのアニメーションを例解する図である。 ａおよびｂは、二つの代替的なキーボード・アクセサリーの概略図である。 ａおよびｂは、二つのさらなる代替的なキーパッド・アクセサリーの概略図である。 ａおよびｂあ、二つの代替的な第二のキーパッド・アクセサリーの概略平面図である。
図１は、補助仮想キーボードを実装するよう構成されたタッチスクリーン・デバイスのブロック要素を示している。本デバイスは、タッチ感応性ディスプレイ・スクリーン２２に結合されたプロセッサ２０を有する。プロセッサは、タッチ検知、ジェスチャー検知および画像表示機能を提供するよう構成されているオペレーティング・システムのためのコードを記憶する不揮発性メモリ２６を有する。
プロセッサ２０は、通信インターフェース３０を通じて他のデバイス、たとえばアプリケーション・ストア３２に接続されている。アプリケーション・ストア３２は、本デバイスでアプリケーションを実装するためのプロセッサ制御コードを有するさまざまなアプリケーションを記憶する。これらのアプリケーションは、インターネットを通じてダウンロードされてもよい。ダウンロードされたアプリケーションは、オペレーティング・システムのコードを記憶する不揮発性メモリ２６とは別個に示されている不揮発性メモリ２８に記憶されてもよい。これらの不揮発性メモリ・コンポーネントは一緒にして設けられてもよいことは理解されるであろう。ダウンロードされたアプリケーションは、本デバイス上で該アプリケーションを実行するためのプロセッサ制御コード、一組の補助キーの画像を定義するデータおよび補助キーの補助キー・レイアウト・マップを含む。
プロセッサは、オペレーティング・システムをもつリモート・デバイス２１にも接続される。リモート・デバイス２１は、リモート・コンピュータまたはシステムであってもよく、タッチスクリーン・デバイスのプロセッサは前記リモート・コンピュータまたはシステムを制御するよう構成されていてもよい。換言すれば、プロセッサ２０に接続されたタッチ感応性ディスプレイ２２上での動作が、リモート・デバイス２１における応答を開始するのである。リモートとは、タッチスクリーン・デバイスとは物理的に分離されたデバイスを意味する。
図２に示されるように、アプリケーションからのプロセッサ制御コードは本デバイスのフレームワーク（オペレーティング・システム）制御コードと相互作用して、キーボードと並行して補助仮想キーボードを実装する。ステップＳ１０２では、キーボードがオペレーティング・システムによって起動される。起動は自動であってもよい。たとえば、ユーザーが本デバイスのテキスト・フィールドにアクセスすることによってであってもよい。あるいはまた、起動は、ユーザーがデバイス上のボタンを押すことによる手動であってもよい。あるいはまた、起動は単に、デバイスのスイッチが入れられたときに行われるのであってもよい。キーボードが起動されるという信号がオペレーティング・システムから送られる。ステップＳ１０４では、アプリケーションは配向データ（すなわち、デバイスがポートレート・モードにあるかランドスケープ・モードにあるか）、キーボード寸法およびキーボードのアニメーションを含む、デバイスからの詳細を取得する。
ステップＳ１０６では、アプリケーションは、補助キーボードの共同アニメーション化を決定するために、アプリケーションのXMLファイル内の情報と一緒に前のステップで集められた情報を使う。XMLファイルは、アクセサリー中に現れる記号およびテキストを含む。これはアクセサリーが実現される前に読まれる。アクセサリー・キーの数、視覚的外観および機能は完全にXMLファイルによって決定される。受信されたデータは、この情報と組み合わせて、補助キーボード・ビューの大きさおよび配向を決定するために使われてもよい。ステップＳ１０８では、補助キーボードの共同アニメーションがデバイスに送られる。それにより、オペレーティング・システムは、キーボード・ビュー内に、キーボードと、補助キーボード・ビューの部分的なビューとを表示するよう指示される。
オペレーティング・システムは、ステップＳ１１２において、デバイス上のタッチを検出し、タッチ・データを決定する。タッチ・データは、キーボード上でどのキーが押されたか（もしいずれかが押されたとすれば）を示す値を、補助キーボード上でどのキー（単数または複数）が押されたかを示す値と一緒に含む。補助キーボード中の各キーは、互いとは独立に、またいかなる標準的なキーボードのキーとも独立に押されてもよい。しかしながら、補助キーが、アクセサリー上または標準キーボード上のキーの値を修正する修正子キーである場合には、タッチ・データは、押下されたすべてのキーの値を示す。修正子キーは必ずしも他のキーと同時に押される必要はなく、修正子キーが生じさせる状態変化は持続的であってもよい。たとえばキャップスロックまたはナンバーロック。ステップＳ１１４では、タッチされた補助キー（単数または複数）を識別するために、アプリケーションは、この受領されたタッチ・データを、補助キーのレイアウトを示すXMLマップ・ファイルにマッピングする。ステップＳ１１６では、識別されたタッチされた補助キーに基づくキー・コマンドが処理のためにオペレーティング・システムに返送される。
大きさの制約のため、補助キーボードの一部のビューしか表示されない。よって、他の表示されないキーにアクセスできるようにするため、補助キーボードは、キーボートに対して可動になっている。補助キーボードは、スクリーン上の検出されたジェスチャーまたは他のタッチ入力によって動かされる。ステップＳ１１８では、ジェスチャー（通例はスクロールを示すためのスライド動作）は、オペレーティング・システムによって検出され、その動作を定義するジェスチャー・データがアプリケーションに送られる。ステップＳ１２０では、補助キーボードの異なる部分が見えるよう、補助キーボードが補助キーボード・ビュー内でスクロールされる。異なるビューを定義するデータがオペレーティング・システムに返送される。
図３ａから図５ｄは、補助キーボードがどのようにしてアイフォーン（登録商標）上で実装されうるかを示している。図３ａから図４ｂでは、アイフォーン（登録商標）は、アルファベットの文字を含む標準的なキーボード４４と、その標準的なキーボードを数字および記号を含むものに切り替えるための数字ボタン５０とを有している。補助キーボード４２は、シフト（shift）、Ctrl、Alt、Del、カーソル・キー、機能キーなどを含む補助キー４０の線形のストリップである。それらのキーの部分集合がキーボード４４の上のストリップ・ウィンドウに表示される。このストリップ・ウィンドウが補助キーボード・ビューである。さらなるキーにアクセスするために補助キーボードがスクロール可能であることをユーザーに示すための二つの視覚的な手がかりがある。アニメーション（図８のａないしｃ参照）では、補助キーの線形のストリップがキーボードの上の位置に「飛んでいく」。補助キーボードがスクロールできることを示す部分的なキー４８もある。たとえば、図３ａに示されるように、「Del」キーの隣のキーは部分的にしか示されておらず、右にあるキーにアクセスするために補助キーボードがスクロールされうることを示している。そのような部分的に表示されるキーを押すことが、標準的なスクロール・ジェスチャーへの代替として、スクロール動作をトリガーしてもよい。同様に、図４ａにおいて、ストリップ・ウィンドウの両側にあるキーは部分的なキーになっており、補助キーボードが両方の方向にスクロールされうることを示している。
図３ａおよび図４ａのポートレート・モードでは、四つまたは五つの完全な補助キーしか見えていない。同様に、図４ｃでは、最後の五つの完全な補助キーが示されている。対照的に、補助キーボードの同様のセクションを示す図３ｂおよび図４ｂのランドスケープ・モードでは、七つの完全なキーが見えている。補助キーはギャップによって離間されており、図３ｂおよび図４ｂにおいてより明瞭に示されるように、二つのサイズのギャップがある。より大きなギャップは、補助キーがグループ化される部分集合を示す。たとえば、図３ｂでは、「シフト、Ctrl、Alt、アップル・キー」がグループをなし、図４ｂでは「上、下、左および右矢印」がグループをなす。
図５ａ〜５ｄは図３ａないし図４ｃの実施形態に対する、キーボードなしで補助キーボードが表示される変形である。この構成では、補助キーボードはマウス機能を補足するために使われる。補助キーボードの表示および処理は、図２の補助キーボードと同様だが、ステップＳ１０２はマウス・コントロールのアクティブ化に置き換えられ、キーボードおよび補助キーボードの共同アニメーション／共同表示を補助キーボードおよびマウス・コントロール（たとえばマウス・ポインタ）で置き換える同様の変更をする。この場合、標準的なキーボード上のキーに関するタッチ・データはなく、修正されたキー値が単独で処理されるまたは、任意的に、他の画面上アクセサリー（たとえばマウス・ポインタ）と組み合わせて使われる。以前と同様、補助キーボードは、ストリップ・ウィンドウの形のディスプレイ・アクセサリー・ビューにおいて表示され、補助キーの一部のみが見える。ストリップ・ウィンドウはディスプレイの下部に位置されているが、たとえばディスプレイの側部に縦に置かれるなど、異なる位置や配向であってもよい。
図６ａ〜６ｄは、アイパッド（登録商標）上で表示される補助キーボードを示している。図６ａおよび６ｃでは、補助キーボードはキーボードと一緒に示され、図６ｂおよび６ｄでは、補助キーボードはキーボードなしで示されている。アイパッド（登録商標）はアイフォーン（登録商標）より大きなデバイスである。よって、ランドスケープ・モード１３では、完全な補助キー４０が見え、ポートレート・モード１０では完全な補助キー４０が見える。より多くのキーが見えると、キーの諸セット５４へのグループ分けがより明瞭に見える。ここでもまた、部分的なキー４８が示されている。もっとキーがあり補助キーボードがスクロール可能であることの視覚的な手がかりである。
図７は、汎用携帯機器上の補助キーボードを示す概略図である。補助キーボードは、デバイスのディスプレイ・スクリーン５８上のキーボード４４の上方にストリップ・ウィンドウ４７において表示される。ストリップ・ウィンドウは、アプリケーションによって定義されるがオペレーティング・システムによって提供されるスクローリング・コンテナである。ストリップ・ウィンドウ４７の上方にアプリケーション・ウィンドウ・フレームがあり、デバイスの上部にステータス・バーがある。補助キーボードは線形ストリップに配置された複数のキー４０を有する。図のように、六つの完全なキーと一つの部分的なキー４８がストリップ・ウィンドウ４７内に見えている。キーは諸グループ５４（この場合、三つのキーからなるグループ）をなして配列される。補助キーボードのスクロールを制御し、補助キーボードが諸グループの始まりにスナップ・ロックすることを保証するマーカー５６がある。補助キーボード上には、この携帯機器上で見えていないいくつかの他のキー４９がある。上で説明したように、補助キー４８は、これらのキーがスクロールにより利用可能となることの視覚的な手がかりである。
図８のａ〜ｃは、補助キーボードがスクロール可能であることの別の視覚的手がかりを示している。図８ａに示されるようにたとえばデバイス自身の起動またはキーボードの起動に続いて補助キーボードが最初にアニメーション化されるとき、ストリップ・ウィンドウ内には何のアクセサリーも見えない。図８のｂでは、補助キーボードは、矢印で示される方向にスライドして視野にはいってくる。図８のｃは、アニメーションが完了し、ストリップ・ウィンドウが補助キーボード上のキーで満たされるときの最終段階を示している。
図９のａは、図７の補助キーボードの概略図である。補助キーボードは、キーボード４４の上方の水平のストリップ・ウィンドウ内に位置される。ストリップ・ウィンドウは、ディスプレイ・スクリーンのほぼ半分まで上がったところにある。図９のｂは、キーボード４４の一方の側部にある縦のストリップ・ウィンドウ内に表示されている代替的な補助キーボードを示している。ストリップ・ウィンドウは、デバイスの長辺の長さ全体に沿って延在し、よって、図９のａに示した構成よりも多くのキーが見える。どちらの配置でも、補助キーボードは諸キーの線形のストリップであり、一時には、それらのキーのうち部分集合のみが見える。補助キーボードはその長軸に沿って（すなわち、長手方向に）前後にスクロール可能であり、補助キーボードの部分ビューを変更し、よってディスプレイ・スクリーンの、見えるキーの部分集合を変更する。
図１０のａおよびｂの構成では、補助キーボード４２のキーの線形ストリップが連続的なループになっている。図９のａおよびｂのように、キーの部分集合７４だけがディスプレイ・スクリーン上のストリップ・ウィンドウ内に見える。さらなるキー７２が利用可能だが、視界の外にあり、スクリーン外のループ・セクションをなしている。この補助キーボードもその長軸に沿って（すなわち、長手方向に）前後にスクロール可能であり、補助キーボードの部分ビューを変更する。しかしながら、図９のａおよびｂの構成とは対照的に、線形ストリップには端がなく、よって部分ビューを一方向だけにスクロールすることによって変更することができる。図１０のａでは、ストリップ・ウィンドウは水平方向に配置され、図１０のｂでは、ストリップ・ウィンドウは垂直方向に配置されている。
図１１のａおよびｂは、キーボードなしに第二の補助キーボード６２の使用を示している。いずれの図でも、一次補助キーボード４２（これは、上記のキーボード・アクセサリー、たとえば線形ストリップまたはループのいずれであってもよい）上の特定のキー６４のアクティブ化が、二次補助キーボードのアニメーションをトリガーする。二次補助キーボードは、アクティブ化されたキーに最も一般的に関連付けられる諸キーを表示する。（たとえば、Ctrlが押される場合、二次補助キーボードは「C」「V」「X」を表示してもよい。）図１１のａでは、二次補助キーボードは補助キーボードの下の水平方向のストリップ・ウィンドウに表示される。図１１のｂでは、二次補助キーボードは、垂直方向の補助キーボードに隣接する垂直方向のストリップ・ウィンドウ内に表示される。
当業者には他の多くの効果的な代替が思いつくことは間違いない。本発明は記載された実施形態に限定されるのではなく、付属の請求項の精神および範囲内にはいる当業者に明白な修正をも包含することは理解されるであろう。

Claims (26)

  1. タッチスクリーン・デバイスであって、当該デバイスのタッチスクリーン上に補助仮想キーボードを実装するよう構成されており、当該デバイスは、タッチおよびジェスチャー検知および画像表示機能を提供するよう構成されたオペレーティング・システムを有し、当該デバイスは：
    タッチ感応性ディスプレイ・スクリーンおよび不揮発性メモリに結合されたプロセッサであって、前記不揮発性メモリは、プロセッサ制御コードならびに一組の補助キーを有する前記補助仮想キーボードを定義するデータおよび該補助キーの補助キー・レイアウト・マップを記憶している、プロセッサを有し、
    前記プロセッサ制御コードは、前記プロセッサ上で実行されるときに、前記プロセッサが：
    前記オペレーティング・システムから、前記補助仮想キーボードが前記タッチスクリーン上に表示されるべきであるという信号を受信する段階と；
    前記補助仮想キーボードが補助キーのストリップとして表示される補助キーボード・ウィンドウの大きさを決定する段階と；
    前記オペレーティング・システムに、前記補助キーの部分集合がユーザーに対して表示されるよう、前記ウィンドウ内に前記補助仮想キーボードの部分的なビューを表示するよう指示する段階であって、前記補助仮想キーボードは、前記補助キーの異なる部分集合を表示するための前記補助仮想キーボードの前記部分的なビューを変更するようユーザー入力に応答してスクロール可能である、段階と；
    前記オペレーティング・システムからタッチ・データを受領する段階と；
    前記タッチ・データを、前記補助キー・レイアウト・マップを使って前記補助キーボードのキーにマッピングして、タッチされた補助キーを識別する段階と；
    前記識別されたタッチされた補助キーに依存して前記オペレーティング・システムに応答を与える段階とを実行するよう構成されるようなものである、
    デバイス。
  2. 前記オペレーティング・システムに与えられる前記応答は、識別された各タッチされた補助キーに対応する関連付けられたキー・コードおよび少なくとも一つのキー・イベントを生成することを含む、請求項１記載のタッチスクリーン・デバイス。
  3. 前記キー・イベントがキー押下イベント、キー反復イベントまたはキー浮上イベントのうちの一つまたは複数である、請求項２記載のタッチスクリーン・デバイス。
  4. 前記応答を与える前記コードは、二次的な補助キーボードを共同活性化することによって前記仮想キーボードの外観を修正するよう構成されている、請求項１ないし３のうちいずれか一項記載のタッチスクリーン・デバイス。
  5. 前記補助キーボード・ウィンドウが、前記ディスプレイ・スクリーンのエッジに沿ったストリップ・ウィンドウであり、前記補助仮想キーボードが前記ストリップ・ウィンドウ内で長手方向にスライド可能である、請求項１ないし４のうちいずれか一項記載のタッチスクリーン・デバイス。
  6. 前記プロセッサ制御コードが、前記補助キーボード内に補助キーのグループを定義するマーカーを提供し、前記オペレーティング・システムに前記補助キーの前記一つまたは複数のグループにスナップするよう指示するよう構成されている、請求項５記載のタッチスクリーン・デバイス。
  7. 補助キーボード・ウィンドウの大きさを決定する前記コードが、前記補助キーボード・ウィンドウの少なくとも一つのエッジにおいてある補助キーの一部分のみが表示されるよう構成されている、請求項１ないし６のうちいずれか一項記載のタッチスクリーン・デバイス。
  8. 前記補助キーが、キーの組み合わせの機能を実行するよう構成された少なくとも一つのキーを含み、組み合わされるキーは、タブ、シフト、コントロール、エスケープ、オルト、ファンクション・キー、挿入、削除、カーソル／矢印キー、アップル・キーおよびウィンドウズ（登録商標）・キー、英数字キーからなる群から選択される二つ以上のキーを含む、請求項１ないし７のうちいずれか一項記載のタッチスクリーン・デバイス。
  9. 補助キーの前記線形ストリップが、前記補助キーボード・ウィンドウ内でスクロール可能な連続的なループをなす、請求項１ないし８のうちいずれか一項記載のタッチスクリーン・デバイス。
  10. 前記補助キーボードが仮想キーボードと一緒に実装される、請求項１ないし９のうちいずれか一項記載のタッチスクリーン・デバイス。
  11. 前記コードは、前記仮想キーボードの寸法を決定するコードを含み、前記補助キーボード・ビューの大きさを決定する前記コードが、前記仮想キーボードの前記寸法に依存して前記大きさを調整するコードを含む、請求項１０記載のタッチスクリーン・デバイス。
  12. 前記仮想キーボードの寸法を決定する前記コードが、当該デバイスの配向を定義するデータを前記オペレーティング・システムから受領するコードを含む、請求項１１記載のタッチスクリーン・デバイス。
  13. 前記識別されたタッチされた補助キーは修正子キーであり、前記応答を与える前記コードは、前記識別されたタッチされた修正子キーに応答して前記仮想キーボード上でタッチされたキーの値を修正するよう構成されている、請求項１０ないし１２のうちいずれか一項記載のタッチスクリーン・デバイス。
  14. 前記応答を修正する前記コードは、前記オペレーティング・システムから前記仮想キーボードのタッチされたキーの値を受領するコードと、前記同定されたタッチされた修正されたキーに依存して、前記オペレーティング・システムに前記タッチされたキーの修正された値を返送するコードとを含む、請求項１３記載のタッチスクリーン・デバイス。
  15. 前記オペレーティング・システムに前記補助キーボードの部分的なビューを表示するよう指示する前記コードが、前記補助キーボードの出現を、前記ディスプレイ・スクリーン上で前記仮想キーボードと共同活性化するよう構成されている、請求項１４記載のタッチスクリーン・デバイス。
  16. 前記補助キーボード・ビューが、前記仮想キーボードの境界に隣接するストリップ・ウィンドウを含む、請求項１０ないし１５のうちいずれか一項記載のタッチスクリーン・デバイス。
  17. オペレーティング・システムを有するリモート・デバイスに接続された請求項１ないし１６のうちいずれか一項記載のタッチスクリーン・デバイスであって、前記プロセッサ制御コードがさらに、
    前記識別されたタッチされた補助キーに依存して前記リモート・デバイス上の前記オペレーティング・システムに応答を与えるよう構成されている、
    タッチスクリーン・デバイス。
  18. 請求項１７記載のタッチスクリーン・デバイスであって、前記プロセッサ制御コードが、
    当該タッチスクリーン・デバイス上で前記リモート・オペレーティング・システムの仮想的な表現を受領するための機構を提供するリモート・アクセス・プロトコルを実装するよう構成されている、タッチスクリーン・デバイス。
  19. 前記プロセッサ制御コードがさらに、前記リモート・デバイス上での識別された各タッチされたキーに対応するキー押圧イベント、キー浮上イベントまたはキー反復イベントと一緒のキー・コードの形で応答を与えるよう構成されている、請求項１７記載のタッチスクリーン・デバイス。
  20. タッチ感応性デバイスのディスプレイ・ビュー上の仮想キーボードに一組の補助キーを提供する方法であって、
    前記仮想キーボードと一緒に前記補助キーを表示するためのウィンドウを提供する段階と、
    前記ウィンドウ内に前記一組の補助キーの部分集合を、ストリップをなすキーボード・アクセサリーとして表示する段階であって、前記ウィンドウは前記ストリップの部分的なビューを表示する、段階と；
    前記ディスプレイ上のユーザーのタッチに応答して前記ウィンドウ内で前記ストリップをスクロールして、前記部分的なビューを変更し、表示される前記キーの前記部分集合を変更する段階と；
    前記補助キーのタッチされた表示された一つからのユーザー入力を受け取る段階とを含む、方法。
  21. 前記表示する段階が、前記ストリップがスクロールできることの視覚的手がかりを表示することをさらに含む、請求項２０記載の方法。
  22. 前記補助キーが、前記仮想キーボード上のキーと連携して押されるべきキーを含み、当該方法が、前記検出された補助キー押圧に応答して前記仮想キーボード上のキーのキー押下を修正することを含む、請求項２０または２１記載の方法。
  23. 前記補助キーの前記部分集合の前記表示が、前記ストリップ・ウィンドウのエッジがある補助キーを横切り、前記補助キーの部分的な画像を表示するよう前記補助キーを配列することを含む、請求項２０ないし２２のうちいずれか一項記載の方法。
  24. 前記補助キーの前記表示が、前記補助キーが前記タッチスクリーンに最初に表示されるときに、前記補助キーの前記ストリップを前記ウィンドウの中までスクロールさせることを含む、請求項２０ないし２３のうちいずれか一項記載の方法。
  25. 請求項２０ないし２４のうちいずれか一項記載の方法を実装するためのプロセッサ制御コードを担持するデータ担体。
  26. タッチスクリーン・デバイスのタッチスクリーン上で補助仮想キーボードを実装するための、前記タッチスクリーン・デバイスのためのプロセッサ制御コードを担持するデータ担体であって、前記デバイスは、タッチおよびジェスチャー検知および画像表示機能を提供するよう構成されたオペレーティング・システムを有し、前記デバイスは：タッチ感応性ディスプレイ・スクリーンおよび不揮発性メモリに結合されたプロセッサを含み、前記不揮発性メモリは、プロセッサ制御コードならびに一組の補助キーの画像を定義するデータおよび前記補助キーの補助キー・レイアウト・マップを記憶しており、
    前記プロセッサ制御コードは：
    前記オペレーティング・システムから、補助仮想キーボードが前記タッチスクリーン上に表示されるべきであるという信号を受信する段階と；
    前記補助キーボードが補助キーのストリップとして表示されるべきである補助キーボード・ウィンドウの大きさを決定する段階と；
    前記オペレーティング・システムに、前記補助キーの部分集合がユーザーに対して表示されるよう、前記ウィンドウ内に前記補助仮想キーボードの部分的なビューを表示するよう指示する段階であって、前記補助仮想キーボードは、前記補助キーの異なる部分集合を表示するための前記補助仮想キーボードの前記部分的なビューを変更するためのユーザー入力に応答してスクロール可能である、段階と；
    前記オペレーティング・システムからタッチ・データを受領する段階と；
    前記タッチ・データを、前記補助キー・レイアウト・マップを使って前記補助キーボードのキーにマッピングしてタッチされた補助キーを識別する段階と；
    前記識別されたタッチされた補助キーに依存して前記オペレーティング・システムに応答を与える段階とを実行するよう構成されたコードを含む、
    データ担体。
JP2013505545A 2010-04-21 2011-04-20 補助キーのストリップをもつ仮想キーボード Pending JP2013526171A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1006644.7 2010-04-21
GB1006644.7A GB2479756B (en) 2010-04-21 2010-04-21 Virtual interface devices
PCT/GB2011/050791 WO2011131989A1 (en) 2010-04-21 2011-04-20 Virtual keyboard with strip of auxiliary keys

Publications (1)

Publication Number Publication Date
JP2013526171A true JP2013526171A (ja) 2013-06-20

Family

ID=42245537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013505545A Pending JP2013526171A (ja) 2010-04-21 2011-04-20 補助キーのストリップをもつ仮想キーボード

Country Status (5)

Country Link
US (1) US9342239B2 (ja)
EP (1) EP2561427A1 (ja)
JP (1) JP2013526171A (ja)
GB (1) GB2479756B (ja)
WO (1) WO2011131989A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015141487A (ja) * 2014-01-28 2015-08-03 ブラザー工業株式会社 操作支援プログラムおよび端末装置
US9591155B2 (en) 2014-09-19 2017-03-07 Kyocera Document Solutions Inc. Image forming apparatus accepting an instruction indicating a shift key has been selected from a mobile device
US10474358B2 (en) 2016-02-29 2019-11-12 Google Llc Computing devices having dynamically configurable user input devices, and methods of operating the same

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9652147B2 (en) * 2008-04-15 2017-05-16 HTC Corportion Method and apparatus for shifting software input panel and recording medium thereof
US9081499B2 (en) * 2010-03-02 2015-07-14 Sony Corporation Mobile terminal device and input device
USD689060S1 (en) * 2010-12-28 2013-09-03 Sony Corporation Display panel or screen with a graphical user interface
US8959452B2 (en) * 2011-10-11 2015-02-17 Texas Instruments Incorporated Method, system and computer program product for receiving information from a user
EP2587355A1 (en) * 2011-10-31 2013-05-01 Research In Motion Limited Electronic device and method of character entry
US10423328B2 (en) * 2011-12-28 2019-09-24 Hiroyuki Ikeda Portable terminal for controlling two cursors within a virtual keyboard according to setting of movement by a single key at a time or a plurality of keys at a time
USD681044S1 (en) 2012-01-11 2013-04-30 Sony Corporation Display panel with graphical user interface
JP6071107B2 (ja) 2012-06-14 2017-02-01 裕行 池田 携帯端末
JP5998690B2 (ja) * 2012-07-10 2016-09-28 富士ゼロックス株式会社 情報処理装置及びプログラム
US20150261310A1 (en) * 2012-08-01 2015-09-17 Whirlscape, Inc. One-dimensional input system and method
US9329778B2 (en) * 2012-09-07 2016-05-03 International Business Machines Corporation Supplementing a virtual input keyboard
EP2926220A1 (en) 2012-11-27 2015-10-07 Thomson Licensing Adaptive virtual keyboard
EP2926236A1 (en) 2012-11-27 2015-10-07 Thomson Licensing Adaptive virtual keyboard
KR101441200B1 (ko) * 2012-12-06 2014-09-18 강동성 유동형 자판을 제공하는 단말기 및 그의 유동형 자판 표시 방법
USD753130S1 (en) * 2013-01-11 2016-04-05 Benjamin Sakhai Display screen or portion thereof with icons
US9792014B2 (en) 2013-03-15 2017-10-17 Microsoft Technology Licensing, Llc In-place contextual menu for handling actions for a listing of items
KR20140131070A (ko) * 2013-05-03 2014-11-12 삼성전자주식회사 휴대 단말기에서 메시지를 생성하는 장치 및 방법
US9092407B2 (en) * 2013-08-30 2015-07-28 Verizon Patent And Licensing Inc. Virtual interface adjustment methods and systems
US9933858B2 (en) 2013-09-29 2018-04-03 Shenzhen Hsmc Technology Co., Ltd. Keyboard operated with two thumbs and key layout method thereof
US10156984B2 (en) 2013-09-29 2018-12-18 Shenzhen Hsmc Technology Co., Ltd. Method for implementing control of keys of virtual keyboard on wide touch screen with two thumbs
CN103576879B (zh) * 2013-09-29 2016-03-30 罗蒙明 一种实现双手拇指操控宽屏虚拟键盘按键的方法
CN105094355B (zh) * 2014-04-29 2018-03-27 联发科技（新加坡）私人有限公司 输入方法及相关电子装置
TWI603255B (zh) * 2014-05-05 2017-10-21 志勇無限創意有限公司 手持裝置及其輸入方法
US20160132992A1 (en) 2014-11-06 2016-05-12 Microsoft Technology Licensing, Llc User interface scaling for devices based on display size
US10949075B2 (en) 2014-11-06 2021-03-16 Microsoft Technology Licensing, Llc Application command control for small screen display
US10514826B2 (en) * 2016-02-08 2019-12-24 Microsoft Technology Licensing, Llc Contextual command bar
USD807393S1 (en) * 2016-10-14 2018-01-09 Zynga Inc. Display screen or portion thereof with graphical user interface
USD806745S1 (en) * 2016-10-14 2018-01-02 Zynga Inc. Display screen or portion thereof with graphical user interface
USD832299S1 (en) * 2017-05-16 2018-10-30 Microsoft Corporation Display screen with transitional graphical user interface
CN109542323B (zh) * 2018-11-23 2021-03-02 网易（杭州）网络有限公司 基于虚拟场景的交互控制方法及装置、存储介质、电子设备
US11541305B2 (en) * 2020-09-28 2023-01-03 Snap Inc. Context-sensitive remote eyewear controller

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001202173A (ja) * 2000-01-24 2001-07-27 Seiko Epson Corp 電子機器の制御方法及び電子機器
JP2004531781A (ja) * 2000-07-26 2004-10-14 ウェスラー，オラフ 符号群の符号の入力方法、入力装置及び携帯情報端末
JP2005250949A (ja) * 2004-03-05 2005-09-15 Sony Corp 情報処理装置及びその仮想入力方法
JP3133517U (ja) * 2006-05-18 2007-07-12 柯亞瑟 キーボード構造
JP2008305294A (ja) * 2007-06-11 2008-12-18 Sharp Corp フルキーボードを搭載した携帯型端末装置及びフルキーボード表示方法
JP2009509235A (ja) * 2005-09-16 2009-03-05 アップル インコーポレイテッド タッチスクリーン型ユーザ・インターフェース上への仮想入力装置の配置
JP2009230253A (ja) * 2008-03-19 2009-10-08 Canon Inc 情報処理装置、画像処理装置、画像処理システム及び画像処理方法並びにプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1183590B1 (en) * 1999-06-09 2005-08-17 Malvern Scientific Solutions Limited Communication system and method
US7249325B1 (en) * 2000-05-11 2007-07-24 Palmsource, Inc. Automatically centered scrolling in a tab-based user interface
JP4827644B2 (ja) * 2006-07-27 2011-11-30 アルパイン株式会社 遠隔用入力装置およびこれを用いた電子装置
US20080168368A1 (en) * 2007-01-07 2008-07-10 Louch John O Dashboards, Widgets and Devices
KR100913962B1 (ko) * 2007-05-14 2009-08-26 삼성전자주식회사 이동통신 단말기의 문자 입력 방법 및 장치
US7970438B2 (en) * 2007-06-19 2011-06-28 Lg Electronics Inc. Mobile terminal and keypad control method
US8059101B2 (en) * 2007-06-22 2011-11-15 Apple Inc. Swipe gestures for touch screen keyboards
US8661340B2 (en) * 2007-09-13 2014-02-25 Apple Inc. Input methods for device having multi-language environment
US8245155B2 (en) * 2007-11-29 2012-08-14 Sony Corporation Computer implemented display, graphical user interface, design and method including scrolling features
TWI416399B (zh) * 2007-12-28 2013-11-21 Htc Corp 手持式電子裝置及其操作方法
US8327296B2 (en) * 2010-04-16 2012-12-04 Google Inc. Extended keyboard user interface

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001202173A (ja) * 2000-01-24 2001-07-27 Seiko Epson Corp 電子機器の制御方法及び電子機器
JP2004531781A (ja) * 2000-07-26 2004-10-14 ウェスラー，オラフ 符号群の符号の入力方法、入力装置及び携帯情報端末
JP2005250949A (ja) * 2004-03-05 2005-09-15 Sony Corp 情報処理装置及びその仮想入力方法
JP2009509235A (ja) * 2005-09-16 2009-03-05 アップル インコーポレイテッド タッチスクリーン型ユーザ・インターフェース上への仮想入力装置の配置
JP3133517U (ja) * 2006-05-18 2007-07-12 柯亞瑟 キーボード構造
JP2008305294A (ja) * 2007-06-11 2008-12-18 Sharp Corp フルキーボードを搭載した携帯型端末装置及びフルキーボード表示方法
JP2009230253A (ja) * 2008-03-19 2009-10-08 Canon Inc 情報処理装置、画像処理装置、画像処理システム及び画像処理方法並びにプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015141487A (ja) * 2014-01-28 2015-08-03 ブラザー工業株式会社 操作支援プログラムおよび端末装置
US9591155B2 (en) 2014-09-19 2017-03-07 Kyocera Document Solutions Inc. Image forming apparatus accepting an instruction indicating a shift key has been selected from a mobile device
US10474358B2 (en) 2016-02-29 2019-11-12 Google Llc Computing devices having dynamically configurable user input devices, and methods of operating the same

Also Published As

Publication number Publication date
GB201006644D0 (en) 2010-06-02
US9342239B2 (en) 2016-05-17
GB2479756A (en) 2011-10-26
EP2561427A1 (en) 2013-02-27
GB2479756B (en) 2013-06-05
WO2011131989A1 (en) 2011-10-27
US20130174079A1 (en) 2013-07-04

Similar Documents

Publication Publication Date Title
US9342239B2 (en) Virtual interface devices
US8739053B2 (en) Electronic device capable of transferring object between two display units and controlling method thereof
CN104205098B (zh) 使用阵列模式在浏览器中的内容项之间进行导航
US9535600B2 (en) Touch-sensitive device and touch-based folder control method thereof
US20130318478A1 (en) Electronic device, display method and non-transitory storage medium
EP2669786A2 (en) Method for displaying item in terminal and terminal using the same
WO2011125352A1 (ja) 情報処理システム、操作入力装置、情報処理装置、情報処理方法、プログラム及び情報記憶媒体
JP2008276776A (ja) タッチ式タグ・ナビゲーション方法及び関連装置
CN101615102A (zh) 基于触摸屏的输入方法
EP2720134A2 (en) Apparatus and method for displaying information in a portable terminal device
JP6022807B2 (ja) 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理制御方法
CN102754050A (zh) 屏幕上和屏幕外手势组合
US9733667B2 (en) Information processing device, information processing method and recording medium
CN101484871A (zh) 改进的便携电子装置和相关方法
CN102884498A (zh) 用于创建屏幕上输入的屏幕外手势
CN102099776A (zh) 计算装置中的活动的卡隐喻
WO2012157563A1 (ja) 表示装置、ユーザインタフェース方法及びプログラム
WO2012160829A1 (ja) タッチスクリーン装置、タッチ操作入力方法及びプログラム
US20220276756A1 (en) Display device, display method, and program
EP2238526B1 (en) Input device
JP7496699B2 (ja) 表示装置
JP5749245B2 (ja) 電子機器、表示方法、及び表示プログラム
KR20100107611A (ko) 단말 제어 장치 및 방법
CN110531902B (zh) 信息处理装置、信息处理方法及记录介质
JP2012053662A (ja) タッチパネル操作方式の携帯端末

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150422

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150915