JP2014164368A - 入力支援装置、キーボード、情報処理端末、入力支援方法、及びプログラム - Google Patents

入力支援装置、キーボード、情報処理端末、入力支援方法、及びプログラム Download PDF

Info

Publication number
JP2014164368A
JP2014164368A JP2013032813A JP2013032813A JP2014164368A JP 2014164368 A JP2014164368 A JP 2014164368A JP 2013032813 A JP2013032813 A JP 2013032813A JP 2013032813 A JP2013032813 A JP 2013032813A JP 2014164368 A JP2014164368 A JP 2014164368A
Authority
JP
Japan
Prior art keywords
input
key
keyboard
information processing
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013032813A
Other languages
English (en)
Inventor
Mitsuru Matsushima
充 松島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2013032813A priority Critical patent/JP2014164368A/ja
Publication of JP2014164368A publication Critical patent/JP2014164368A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Input From Keyboards Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】マルチタッチスクリーンを備えた情報処理端末において物理キーボードでのジェスチャ入力を実現し得る、入力支援装置、キーボード、情報処理端末、入力支援方法、及びプログラムを提供する。
【解決手段】入力支援装置１０は、マルチタッチスクリーン１０１を有する情報処理端末１００でキーボード２００を利用する際に、入力支援を行なうため、ジェスチャ入力受付部１１を備えている。ジェスチャ入力受付部１１は、キーボード２００上でキー操作が行なわれた場合に、キー操作で入力された各キーの入力順位と各キーの位置とに基づいて、マルチタッチスクリーン１０１上でジェスチャ入力が行なわれたときに情報処理端末１００に入力される入力データを生成する。
【選択図】図２

Description

本発明は、マルチタッチスクリーンを有する情報処理端末でキーボードを利用する場合に入力支援を行なうための、入力支援装置、それを備えたキーボード、同じくそれを備えた情報処理端末、入力支援方法、これらを実現するためのプログラムに関する。
近年、情報処理端末の入力装置として、画面上の複数箇所への同時入力を可能とするマルチタッチスクリーンの採用が増加している。マルチタッチスクリーンが採用された情報処理端末では、ピンチイン、ピンチアウトといったジャスチャ入力が可能となるため、ユーザは、直感的な操作を行なう事ができる。
また、マルチタッチスクリーンが採用された情報処理端末では、文字入力の手段として、ソフトウェアキーボードを採用することができる。このため、特に、携帯型の情報処理端末では、物理的なキーボード（以下「物理キーボード」と表記する。）を装備しておく必要がなく、端末の薄型化及び軽量化が達成される。
ところで、ソフトウェアキーボードには、入力がし難くい、入力を高速に行なうことができない、キーボードの画像によって画面が狭くなる、といった問題がある。このため、ユーザは、文字入力が主体となるアプリケーションプログラムの利用時においては、無線又は有線によって情報処理端末に接続可能な外付けの物理キーボードを用いて、文字入力を行なう場合がある。
しかし、マルチタッチスクリーンが採用された情報処理端末で実行されるプログラムでは、文字入力が主体となる場合でも、一般に、マルチタッチスクリーンでの利用しか考慮されておらず、キーボードショートカット、ＴＡＢインデックス等が設計されていない。従って、このようなプログラムにおいては、ユーザが物理キーボードのみで操作を行なう場合に、物理キーボードの利用を前提としたパーソナルコンピュータ用のプログラムに比べて、操作性が低下してしまう。
一方、この操作性の低下の問題は、物理キーボードとタッチ操作との併用によって解消可能であるとも考えられるが、この場合、ユーザは片手でタッチ操作を行なうことが多く、そのため、端末が意図せず動いてしまい、正確なタッチ操作ができない可能性がある。また、そもそも物理キーボードから手を離さずに作業をしたいユーザにとって、このような併用は不便である。
従って、操作性の低下を解消するためには、物理キーボードへのキー入力によって、ジェスチャ入力をシミュレートする必要がある。例えば、特許文献１及び２は、物理キーボードによってジェスチャ入力をシミュレートする方法を開示している。
特許文献１及び２に開示された方法では、マウスに代表されるシングルポインティングデバイスを用いた操作と、物理キーボードからのキー入力との組み合せによって、種々のジェスチャ入力がシミュレートされる。また、特許文献４に開示された方法では、更に、２つのマウスを用いた操作によっても、又は２つの物理キーボードからのキー入力によっても、ジェスチャ入力がシミュレートされる。
なお、特許文献３及び４は、物理キーボードによってＧＵＩ（Graphical User Interface）オブジェクトの選択をシミュレートする方法を開示している。特許文献３及び４に開示された方法では、まず、画面は複数のエリアに分割され、エリア毎に、物理キーが割り当てられる。そして、いずれかの物理キーが押下された場合に、そのキーが割り当てられたエリア内のＧＵＩオブジェクトが選択される。
特開２００９−２０５６８５号公報 特開２０１１−２５７９９２号公報 特開２００２−２９０５３３号公報 特開２００８−１４０１８３号公報
しかしながら、特許文献１に開示された方法では、物理キーボードに加えて、ポインティングデバイスまでが必要となる。このため、ユーザは、片手でポインティングデバイスを操作する必要があり、結局のところ、物理キーボードとタッチ操作とを併用する場合と同様に、物理キーボードから手を離さずに作業をしたいユーザにとって不便である。
一方、特許文献２には、特許文献１と異なり、物理キーボードのみでジェスチャ入力を行なう方法も開示されているが、この場合、ユーザは、２つの物理キーボードにおいて同時にキー入力を行なう必要があり、入力操作は煩雑である。また、入力操作のために２つの物理キーボードを用意することは現実的ではない。
以上の点から、ユーザが、物理キーボードから手を離すことなく、キー入力のみで、ジェスチャ入力を実行できる技術の開発が求められている。
本発明の目的の一例は、上記問題を解消し、マルチタッチスクリーンを備えた情報処理端末において物理キーボードでのジェスチャ入力を実現し得る、入力支援装置、キーボード、情報処理端末、入力支援方法、及びプログラムを提供することにある。
上記目的を達成するため、本発明の一側面における入力支援装置は、マルチタッチスクリーンを有する情報処理端末でキーボードを利用する際に、入力支援を行なう入力支援装置であって、
前記キーボード上でキー操作が行なわれた場合に、前記キー操作で入力された各キーの入力順位と各キーの位置とに基づいて、前記マルチタッチスクリーン上でジェスチャ入力が行なわれたときに前記情報処理端末に入力される入力データを生成する、ジェスチャ入力受付部を備えている、ことを特徴とする。
上記目的を達成するため、本発明の一側面におけるキーボードは、マルチタッチスクリーンを有する情報処理端末に接続可能なキーボードであって、
当該キーボード上でキー操作が行なわれた場合に、前記キー操作で入力された各キーの入力順位と各キーの位置とに基づいて、前記マルチタッチスクリーン上でジェスチャ入力が行なわれたときに前記情報処理端末に入力される入力データを生成する、ジェスチャ入力受付部を備えている、ことを特徴とする。
上記目的を達成するため、本発明の一側面における情報処理端末は、キーボードを接続可能な情報処理端末であって、
マルチタッチスクリーンと、前記キーボードの利用時に入力支援を行なう入力支援装置とを備え、
前記入力支援装置は、
前記キーボード上でキー操作が行なわれた場合に、前記キー操作で入力された各キーの入力順位と各キーの位置とに基づいて、前記マルチタッチスクリーン上でジェスチャ入力が行なわれたときに前記情報処理端末に入力される入力データを生成する、ジェスチャ入力受付部を備えている、ことを特徴とする。
また、上記目的を達成するため、本発明の一側面における入力支援方法は、マルチタッチスクリーンを有する情報処理端末でキーボードを利用する際に、入力支援を行なうための方法であって、
前記キーボード上でキー操作が行なわれた場合に、前記キー操作で入力された各キーの入力順位と各キーの位置とに基づいて、前記マルチタッチスクリーン上でジェスチャ入力が行なわれたときに前記情報処理端末に入力される入力データを生成する、ジェスチャ入力受付ステップを有する、ことを特徴とする。
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、マルチタッチスクリーンを有する情報処理端末でキーボードを利用する際に、コンピュータによって、入力支援を行なうためのプログラムであって、
前記コンピュータに、
前記キーボード上でキー操作が行なわれた場合に、前記キー操作で入力された各キーの入力順位と各キーの位置とに基づいて、前記マルチタッチスクリーン上でジェスチャ入力が行なわれたときに前記情報処理端末に入力される入力データを生成する、ジェスチャ入力受付ステップを実行させることを特徴とする。
以上のように、本発明によれば、マルチタッチスクリーンを備えた情報処理端末において物理キーボードでのジェスチャ入力を実現することができる。
図１は、本発明の実施の形態における入力支援装置を備えたキーボードとそれが接続された情報処理端末との全体構成を示す図である。 図２は、本発明の実施の形態における入力支援装置の構成を示すブロック図である。 図３（ａ）は、情報処理端末においてオーバレイ表示された状態を示す図であり、図３（ｂ）は各エリアに割り当てられたキーを示す図である。 図４は、それぞれ、キーボードで入力されたジェスチャ入力の一例を示す図であり、図４（ａ）は、情報処理端末の画面上でのジェスチャ入力の軌跡を示し、図４（ｂ）は、ジェスチャ入力の代わりに行なわれたキー入力のパターンを示す。 図５は、それぞれ、キーボードで入力されたジェスチャ入力の一例を示す図であり、図５（ａ）は、情報処理端末の画面上でのジェスチャ入力の軌跡を示し、図５（ｂ）は、ジェスチャ入力の代わりに行なわれたキー入力のパターンを示す。 図６は、それぞれ、キーボードで入力されたジェスチャ入力の一例を示す図であり、図６（ａ）は、情報処理端末の画面上でのジェスチャ入力の軌跡を示し、図６（ｂ）は、ジェスチャ入力の代わりに行なわれたキー入力のパターンを示す。 図７は、本発明の実施の形態における入力支援装置の動作を示すフロー図である。 図８は、本発明の実施の形態で用いられる入力ストリームの一例を示す図である。 図９は、図７に示したステップＳ３０２の詳細を示すフロー図である。 図１０は、図７に示したステップＳ３０４の詳細を示すフロー図である。 図１１は、図１０に示したステップＳ５０４の詳細を示すフロー図である。 図１２は、図３（ａ）に示したオーバレイスクリーンの一部を拡大して示す図である。 図１３は、本発明の実施の形態における入力支援装置を備えた情報処理端末の構成を示す図である。 図１４は、本発明の実施の形態の変形例２で用いられる入力ストリームの一例を示す図である。 図１５は、本発明の実施の形態の変形例２で行なわれるスプライン補間を説明する図である。
（実施の形態）
以下、本発明の実施の形態における、入力支援装置、それを備えたキーボード、入力支援方法、及びプログラムについて、図１〜図１５を参照しながら説明する。
［装置構成］
最初に、図１を用いて、本実施の形態における入力支援装置の使用態様について説明する。図１は、本発明の実施の形態における入力支援装置を備えたキーボードとそれが接続された情報処理端末との全体構成を示す図である。
図１に示すように、情報処理端末１００は、マルチタッチスクリーン１０１を備えている。また、情報処理端末１００には、外付けの物理的なキーボード２００が接続されている。入力支援装置１０は、ユーザが情報処理端末１００でキーボード２００を利用する際に入力支援を行なう装置である。なお、図１の例では、情報処理端末１００とキーボード２００とは有線インタフェースによって接続されているが、両者はBluetooth（登録商標）などの無線インタフェースによって接続されていても良い。
入力支援装置１０は、キーボード２００上でキー操作が行なわれた場合に、キー操作で入力された各キーの入力順位と各キーの位置とに基づいて、ジェスチャ入力データを生成し、これを情報処理端末１００に入力する。また、ジェスチャ入力データとは、マルチタッチスクリーン１０１上でジェスチャ入力が行なわれたときに情報処理端末１００（具体的には、オペレーティングシステム）に入力される入力データである。
この結果、情報処理端末１００では、マルチタッチスクリーン１０１上でジェスチャ入力が行なわれた場合と同様の処理が行なわれる。つまり、入力支援装置１０によれば、マルチタッチスクリーン１０１を備えた情報処理端末１００において、キーボード２００でのジェスチャ入力が実現される。なお、本実施の形態では、入力支援装置１０はキーボード２００に内蔵されているが、後述するように情報処理端末１００に内蔵されていても良い。
ここで、図２及び図３を用いて、本実施の形態における入力支援装置１０の構成について更に具体的に説明する。図２は、本発明の実施の形態における入力支援装置の構成を示すブロック図である。なお、図２においては、情報処理端末１００、及び入力支援装置１０を備えるキーボード２００、それぞれの構成についても図示されている。
まず、図２に示すように、情報処理端末１００は、上述したマルチタッチスクリーン１０１と、プロセッサ１０２と、メモリ１０３と、外部機器との接続用の外部インタフェース１０４とを備えている。
マルチタッチスクリーン１０１は、情報処理端末１００の表示装置及び入力装置として機能している。本実施の形態では、マルチタッチスクリーン１０１は、液晶表示パネルといった薄型の表示パネルと、タッチパネルといったタッチ式の入力装置とで構成されている。また、マルチタッチスクリーン１０１は、この態様に限定されず、入力装置としての機能を備えた表示パネル、例えば、タッチパネルが組み込まれた液晶表示パネル、位置検出用の受光素子が基板上に形成された液晶表示パネル等であっても良い。
プロセッサ１０２は、マルチタッチスクリーン１０１から、タッチ位置の座標データが出力されてくると、これに合せて、必要な処理を実行する。また、プロセッサ１０２は、マルチタッチスクリーン１０１に、表示すべき画像のデータを出力し、画像を表示させる。
更に、プロセッサ１０２は、外部インタフェース１０４に、キーボード２００が接続されると、メモリ１０３に格納されているキーボード制御プログラム１０５を読み出し、これを実行する。キーボード制御プログラム１０５が実行されると、情報処理端末１００は、キーボード２００からの信号を認識することができるので、ユーザは、キーボード２００を情報処理端末１００の入力装置として使用することができる。
また、キーボード制御プログラム１０５が実行されると、プロセッサ１０２は、キーボード２００からの指示に応じて、画面を複数のエリアに分割し、各エリアへのキーの割り当て（具体的には、各エリアの中心の座標とキーとのマッピング）を実行する。そして、この場合、プロセッサ１０２は、更に、図３（ａ）に示すように、画面上に、画面を複数のエリアに分割する格子１０１ａと、各エリアに割り当てられたキーの識別記号１０１ｂとを、オーバレイ表示する。また、図３（ａ）の例では、各エリアの中心を示す十字形のガイド１０１ｃも表示される。
図３（ａ）は、情報処理端末においてオーバレイ表示された状態を示す図であり、図３（ｂ）は各エリアに割り当てられたキーを示す図である。図３（ｂ）において、各エリアに割り当てられたキーには、斜線が付されている。また、図３（ａ）及び（ｂ）に示すように、画面に表示されるキーの識別記号１０１ｂとしては、キーボード上でキーに割り当てられた文字が用いられている。
加えて、後述の図４〜図６に示すように、プロセッサ１０２は、キーボード２００でのキー入力によってジェスチャ入力が行なわれた場合は、マルチタッチスクリーン１０１上に、そのジェスチャ入力の軌跡を表示することもできる。
また、図２に示すように、キーボード２００は、キースイッチ２０１と、プロセッサ２０２と、メモリ２０３と、情報処理端末１００との接続用の外部インタフェース２０４とを備えている。なお、図２の例では、単一のキースイッチ２０１のみが図示されているが、実際には、キースイッチ２０１はキーの数だけ備えられている。
プロセッサ２０２は、各キースイッチ２０１からの信号に基づいて、押下されたキーを特定し、特定したキーを示す信号を、外部インタフェース２０４を経由して、情報処理端末１００に出力する。
また、本実施の形態では、プロセッサ２０２は、メモリ２０３に格納されている入力支援プログラム２０５を読み出し、これを実行する。そして、入力支援プログラム２０５が実行されると、プロセッサ２０２上に入力支援装置１０が構築される。つまり、本実施の形態では、入力支援装置１０は、支援プログラム２０５によって、キーボード２００上に具現化される。また、これにより、キーボード２００は入力支援装置１０を備えた状態となる。
図２に示すように、入力支援装置１０は、ジェスチャ入力受付部１１を備えている。ジェスチャ入力受付部１１は、まず、キーボード２００上でキー操作が行なわれた場合に、キー操作で入力された各キーの入力順位と各キーの位置とを特定する。そして、ジェスチャ入力受付部１１は、特定した各キーの入力順位と各キーの位置とに基づいて、マルチタッチスクリーン１０１上でジェスチャ入力が行なわれたときに情報処理端末１００に入力されるジェスチャ入力データを生成する。
その後、入力支援装置１０は、生成された入力データを、情報処理端末１００に出力する。この結果、情報処理端末１００において、プロセッサ１０２は、ジェスチャ入力が行なわれたと判定して、このジェスチャ入力に対応する処理を実行する。このように、入力支援装置１０によれば、マルチタッチスクリーン１０１を備えた情報処理端末１００においてキーボード２００でのジェスチャ入力が実現される。
ここで、図４〜図６を用いて、キーボード２００を用いて入力されたジェスチャ入力の具体例について説明する。図４〜図６は、それぞれ、キーボードで入力されたジェスチャ入力の一例を示す図であり、同図（ａ）は、情報処理端末の画面上でのジェスチャ入力の軌跡を示し、同図（ｂ）は、ジェスチャ入力の代わりに行なわれたキー入力のパターンを示す。
図４（ａ）及び（ｂ）には、画面を下方へとスクロールさせるジェスチャ入力が示されている。このジェスチャ入力をキーボード２００によって行なうため、図４（ｂ）に示すように、ユーザは、まず、ｔ＝ｔ０のタイミングで、キーボード２００上の横方向に隣接する二つのキー（図４（ｂ）の例では「ｒ」と「ｔ」）を押下する。次いで、ユーザは、ｔ＝ｔ１（ｔ０＜ｔ１）のタイミングでこれらの下方において同じく隣接する二つのキー（「ｆ」と「ｇ」）を押下する。なお、ｔは時間を表わす変数である。
以上のキー操作が行なわれると、図４（ａ）に示すように、このときのキー入力のパターンによって実現されるジェスチャ入力、即ち、画面を下方へとスクロールさせるジェスチャ入力が、タッチスクリーン１０１の画面上に、軌跡１０１ｄとして表示される。そして、キー操作に対応して画面が下方にスクロールする。なお、図４（ａ）において、太線は、画面に表示されているコンテンツを示している。
図５（ａ）及び（ｂ）には、画面の一部を拡大させるジェスチャ入力（いわゆる「ピンチアウト」）が示されている。このジェスチャ入力をキーボード２００によって行なうため、図５（ｂ）に示すように、ユーザは、まず、ｔ＝ｔ０のタイミングで、キーボード２００上の横方向に隣接する二つのキー（図５（ｂ）の例では「ｇ」と「ｈ」）を押下する。次いで、ユーザは、ｔ＝ｔ１（ｔ０＜ｔ１）のタイミングで各キーの外側に隣接する二つのキー（「ｆ」と「ｊ」）を押下する。
以上のキー操作が行なわれると、図５（ａ）の例では、タッチスクリーン１０１の画面上に、画面の一部を拡大させるジェスチャ入力（ピンチアウト）の軌跡１０１ｄが表示される。また、キー操作に対応して、キー「ｇ」のエリアとキー「ｈ」のエリアとを中心にして、画面の一部が拡大される。なお、図５（ａ）においても、太線は、画面に表示されているコンテンツを示している。
図６（ａ）及び（ｂ）には、画面を回転させるジェスチャ入力が示されている。このジェスチャ入力をキーボード２００によって行なうため、図６（ｂ）に示すように、ユーザは、まず、ｔ＝ｔ０のタイミングで、キーボード２００上で対角に位置する二つのキー（図５（ｂ）の例では「ｂ」と「ｕ」）を押下する。次いで、ユーザは、最初に押したキーを始点に時計回りの円を描くように、ｔ＝ｔ１のタイミングで２つのキー（「ｆ」と「ｋ」）を押下し、ｔ＝ｔ２のタイミングでも２つのキー（「ｔ」と「ｍ」）を押下する（ｔ０＜ｔ１＜ｔ２）。
以上のキー操作が行なわれると、図６（ａ）の例では、タッチスクリーン１０１の画面上に、画面を時計回りに回転させるジェスチャ入力の軌跡１０１ｄが表示される。また、キー操作に対応して、画面が時計回りに回転する。なお、図６（ａ）においても、太線は、画面に表示されているコンテンツを示している。
また、本実施の形態では、ジェスチャ入力受付部１１は、入力されたキーが割り当てられたエリアの座標を、各キーの入力順位に沿って並べてデータ群（以下「入力ストリーム」と表記する。）を生成し、これをジェスチャ入力データとすることができる。
また、キー操作において２以上のキーの入力が常に同時に行なわれている場合は、入力されたキーをグループに分け、グループ毎に入力ストリームを生成する必要がある。つまり、図４〜図６の例のように、２つのキーの同時入力が連続して行なわれている場合は、２つの入力ストリームを生成する必要があり、この２つの入力ストリームを合せてジェスチャ入力データとする必要がある。
従って、この場合、本実施の形態では、ジェスチャ入力受付部１１は、同時に入力された複数の入力値から複数の入力ストリームを生成するため、まず、最新のキー入力の前に入力された各キーの位置から、最新のキー入力で入力されるキーを予測する。次に、ジェスチャ入力受付部１１は、予測したキーの位置と、最新のキー入力で入力されたキーの実際の位置とを対比する。次に、ジェスチャ入力受付部１１は、対比結果に基づいて、入力された全てのキーをグループ分けし、グループ毎に、入力ストリームを作成し（図１０のステップＳ５０４参照）、各入力ストリームをジェスチャ入力データとする。
加えて、ジェスチャ入力受付部１１は、キー操作において、２以上のキーの入力が設定された時間内に行なわれた場合は、２以上のキーの入力は同時に行なわれていると判断することもできる。この態様によれば、同時が厳密に判定されないので、ジェスチャ入力のためのキー操作を容易なものとすることができる。
また、ジェスチャ入力受付部１１は、ジェスチャ入力受付部は、作成した入力ストリームにおいて入力値間（座標間）の値を補間し、補間された入力ストリームを、ジェスチャ入力データとすることもできる（後述の図７のステップＳ３１０参照）。この態様によれば、キー操作によるジェスチャ入力を、マルチタッチスクリーン１０１上でのジェスチャ入力に近づけることができる。
［装置動作］
続いて、本発明の実施の形態における入力支援装置１０の動作について図７〜図１１を用いて説明する。以下の説明においては、適宜図１〜図６を参酌する。また、本実施の形態では、入力支援装置１０を動作させることによって、入力支援方法が実施される。よって、本実施の形態における入力支援方法の説明は、以下の入力支援装置１０の動作説明に代える。
［装置動作：全体］
最初に、図７を用いて、本実施の形態における入力支援装置１０の動作全体について説明する。図７は、本発明の実施の形態における入力支援装置の動作を示すフロー図である。
まず、前提として、情報処理端末１００にキーボード２００が接続された後、ユーザによって、通常のキー入力モードからジェスチャ入力モードへの遷移が指示されると、図７に示す処理が開始される。
具体的には、本実施の形態では、ジェスチャ入力モードへの遷移手段としては、キーボードショートカット（例えば、「Ｃｔｒｌ」＋「Ｓｈｉｆｔ」＋「ａ」など）が用いられている。また、ジェスチャ入力モードの終了は、ジェスチャ入力モードへの遷移に使用したキーボードショートカットを、ジェスチャ入力モード時に再度入力することで行われる。
なお、通常のキー入力モードからジェスチャ入力モードへの遷移、及びジェスチャ入力モードから通常のキー入力モードへの復帰は、キーボードショートカットの入力以外の手段によって行なわれていても良い。例えば、ファンクションキーの入力、特定のＧＵＩオブジェクトの選択（特許文献３及び４参照）等も、遷移及び復帰の手段として挙げられる。
次に、ジェスチャ入力モードへの遷移が指示されると、まず、入力支援装置１０において、ジェスチャ入力受付部１１は、情報処理端末１００に対して、背景を透過させたオーバレイスクリーンの表示を指示する（ステップＳ３０１）。
これにより、情報処理端末１００において、プロセッサ１０２は、画面を複数のエリアに分割し、エリアの中心の座標とキーとのマッピングを実行する。更に、プロセッサ１０２は、画面上に、オーバレイスクリーンとして、図３（ａ）に示したように、画面を複数のエリアに分割する格子１０１ａと、エリア毎の割り当てられたキーの識別記号１０１ｂと、各エリアの中心を示す十字形のガイド１０１ｃとを表示する。
次に、情報処理端末１００の画面上にオーバレイスクリーンが表示されると、ジェスチャ入力受付部１１は、キーの入力を受け付ける（ステップＳ３０２）。また、ステップＳ３０２では、ジェスチャ入力受付部１１は、２以上のキー入力が設定された時間内に行なわれた場合は、これらのキー入力は同時に行なわれていると判断する。
具体的には、ジェスチャ入力受付部１１は、キー入力が行なわれると、入力されたキーに対応するスキャンコード又は文字コードではなく、入力されたキーが割り当てられたエリアの中心の座標（ｘ，ｙ）を入力値として取得する。
そして、ジェスチャ入力受付部１１は、時刻ｔｎ[msec]の時に取得された入力値と、それから閾値△ｔ以内に取得された入力値とを用いて、これらを含むリストを生成し、これを記録する。なお、時刻ｔｎにおいて作成されたリストを、「入力値リストＬｎ」とし、これに含まれる入力値の数をｍ個とする。また、ステップＳ３０２については、図９を用いて後述する。
次に、ジェスチャ入力受付部１１は、ステップＳ３０２で受け付けたキー入力が、ジェスチャ入力なのか、それともジェスチャ入力モードを終了するためのキーボードショートカット入力なのかを判定する（ステップＳ３０３）。
ステップＳ３０３の判定の結果、キー入力がジェスチャ入力の場合（Ｓ３０３：Ｙｅｓ）は、ジェスチャ入力受付部１１は、入力ストリーム識別処理を実行する（ステップＳ３０４）。
具体的には、ステップＳ３０４では、ジェスチャ入力受付部１１は、ステップＳ３０２で得られた時刻ｔｎにおける入力値リストＬｎを用い、それに含まれているｍ個の入力値を、図８に示すように、ｍ個の入力ストリームｓ０、ｓ１、ｓ２、・・・、ｓｍに分離する。図８は、本発明の実施の形態で用いられる入力ストリームの一例を示す図である。
「入力ストリーム」とは、一連の入力値（座標値）のリスト（データ群）である。例えば、図４〜図６に示した例では、同時に入力されるキーの数は二つであるため、２つの入力ストリームが存在することになる。この場合、入力値リストＬｎは入力ストリームｓ０と入力ストリームｓ１との二つに分離される。また、図８に示すように、各入力ストリームｓｉにおいては、入力値としての座標に、発生時刻ｔｎが関連付けられる。
次に、ジェスチャ入力受付部１１は、ステップＳ３０４での識別処理が成功したかどうか、具体的には、入力値リストＬｎをｍ個の入力ストリームに分離できたかどうかを判定する（ステップＳ３０５）。
ステップＳ３０５の判定の結果、ステップＳ３０４での識別処理が成功した場合は、ジェスチャ入力受付部１１は、識別された（分離された）各入力ストリームを、情報処理端末１００に出力し、ジェスチャ入力の軌跡の更新を指示する（ステップＳ３０６）。
ステップＳ３０６が実行されると、情報処理端末１００において、プロセッサ１０２は、現在表示されている軌跡を、出力されてきた各入力ストリームの入力値で特定される座標まで延長し、軌跡を更新する。なお、軌跡が未だ表示されていない場合は、プロセッサ１０２は、出力されてきた各入力ストリームの入力値で特定される座標に点をプロットする。また、ステップＳ３０６の実行後は、ジェスチャ入力受付部１１は、再度ステップＳ３０２を実行する。
一方、ステップＳ３０５の判定の結果、ステップＳ３０４での識別処理が成功しなかった場合は、ジェスチャ入力受付部１１は、情報処理端末１００に対して、オーバレイスクリーン上へのメッセージの表示を指示する（ステップＳ３０７）。これにより、情報処理端末１００において、プロセッサ１０２は、マルチタッチスクリーン１０１の画面上にメッセージを表示する。また、ステップＳ３０７の実行後は、ジェスチャ入力受付部１１は、再度ステップＳ３０２を実行する。
ステップＳ３０７で表示されるメッセージとしては、処理が失敗したことを示すメッセージと再入力を催促するメッセージとが挙げられる。なお、プロセッサ１０２は、新たなキー入力が開始されたらタイミングで、又は数秒後に、メッセージを消去することができる。
また、上述したステップＳ３０３の判定の結果、キー入力がジェスチャ入力モードを終了するためのキーボードショートカット入力の場合（Ｓ３０３：Ｎｏ）は、ジェスチャ入力受付部１１は、入力値補間処理を実行する（ステップＳ３１０）。ステップＳ３１０が実行されると、ステップＳ３０４で得られた入力ストリームの入力値に対して、マルチタッチスクリーン１０１における入力処理のサンプリングレートに合わせて、値が補間される。
具体的には、ジェスチャ入力受付部１１は、ステップＳ３０４で得られた各入力ストリームに対して線形補間を行なって連続関数を求め、求めた連続関数を用いて中間点を算出し、そして、算出した中間点を用いて補間を行なうことができる。
例えば、図８に示したｍ個の入力ストリームｓ０、ｓ１、ｓ２、・・・、ｓｍが得られているとする。この場合、ジェスチャ入力受付部１１は、入力ストリーム毎に、ｔｎとｘｎｉとについて、線形補間を用いて連続関数ｘｉ（ｔ）を算出する。また、ジェスチャ入力受付部１１は、入力ストリーム毎に、ｔｎとｙｎｉとについても、線形補間を用いて連続関数ｙｉ（ｔ）を算出する。なお、ｉ=０，１，・・・，ｍである。
そして、ジェスチャ入力受付部１１は、マルチタッチスクリーン１０１がタッチパネルを備える場合は、タッチパネルのサンプリング周波数に合わせて、入力ストリーム毎に、ｘｉ（ｔ）及びｙｉ（ｔ）を用いて、補間値となる中間点を算出する。なお、ジェスチャ入力が、図４〜図６に示す例である場合は、補間対象となる入力ストリームは２つである。
また、ステップＳ３１０によって得られる補正値群には、ｔｎとｔｎ＋１の間隔に応じて、値が近い密な部分と値が遠い疎な部分とが現れる。このため、マルチタッチスクリーン１０１上でジェスチャ入力を速くしたり、遅くしたりした場合と同様に、キー操作によっても加速度を持ったジェスチャ入力が可能となる。ステップＳ３１０の実行により、キー操作によるジェスチャ入力を、マルチタッチスクリーン１０１上でのジェスチャ入力に近づけることができる。
次に、ジェスチャ入力受付部１１は、ステップＳ３１０によって補間された各入力ストリームを、情報処理端末１００に送信し（ステップＳ３１１）、ジェスチャ入力の軌跡１０１ｃを表示しているオーバレイスクリーンの消去を指示する（ステップＳ３１２）。
ステップＳ３１０及びＳ３１１が実行されると、情報処理端末１００において、送信されてきた入力ストリームをジェスチャ入力データとして受け取り、プロセッサ１０２は、ジェスチャ入力の入力処理を行なうと共に、画面からオーバレイスクリーンを消去する。また、入力処理の実行後、プロセッサ１０２は、情報処理端末１００のオペレーティングシステム上で動作しているプログラムの命令に応じて、画面のスクロール、拡大、回転といった処理を実行する。
［装置動作：入力受付処理］
続いて、図９を用いて、図７のステップＳ３０２に示した入力受付処理について更に具体的に説明する。図９は、図７に示したステップＳ３０２の詳細を示すフロー図である。
図９に示すように、ステップＳ３０１の実行後、ジェスチャ入力受付部１１は、まず、時刻ｔｎにおける初回のキー入力を受け付ける（ステップＳ４０１）。
次に、ジェスチャ入力受付部１１は、ステップＳ４０１で受け付けたキー入力が、ジェスチャ入力モード終了のキーボードショートカット入力に該当するか否かを判定する（ステップＳ４０２）。ステップＳ４０２の判定の結果、ジェスチャ入力モード終了のキーボードショートカット入力に該当する場合は、ジェスチャ入力受付部１１は、ステップＳ３０２の実行を終了する。
一方、ステップＳ４０２の判定の結果、ジェスチャ入力モード終了のキーボードショートカット入力に該当しない場合は、ジェスチャ入力受付部１１は、時刻ｔｎにおける入力値を格納するための入力値リストＬｎを作成する。また、ジェスチャ入力受付部１１、入力値リストＬｎに、ステップＳ４０１で入力を受け付けたキーの入力値（座標）を格納する（ステップＳ４０３）。
次に、ジェスチャ入力受付部１１は、開始時刻をｔｎ、終了時刻をｔｎ＋△ｔに設定する（ステップＳ４０４）。そして、ジェスチャ入力受付部１１は、開始時刻から終了時刻までの間、他のキーの入力を受け付け（ステップＳ４０５）、キー入力が行なわれた場合は、その入力値を入力値リストＬｎに追加する（ステップＳ４０６）。終了時刻が経過すると、ジェスチャ入力受付部１１は、ステップＳ３０２の実行を終了する。
［装置動作：入力ストリーム識別処理］
続いて、図１０を用いて、図７のステップＳ３０４に示した入力ストリーム識別処理について更に具体的に説明する。図１０は、図７に示したステップＳ３０４の詳細を示すフロー図である。
まず、図１０に示すように、ジェスチャ入力受付部１１は、現在のキー入力が時刻ｔ０における入力、即ち、ジェスチャ入力における最初の入力であるかどうかを判定する（ステップＳ５０１）。
ステップＳ５０１の判定の結果、現在のキー入力が時刻ｔ０における入力である場合は、ジェスチャ入力受付部１１は、各入力値（座標）を、各ストリームの最初の値（初期値）として採用し、各ストリームに対応するリストに格納する（ステップＳ５０６）。その後、ジェスチャ入力受付部１１は、ジェスチャ識別処理が成功したと判断する（ステップＳ５０７）。
一方、ステップＳ５０１の判定の結果、現在のキー入力が時刻ｔ０における入力でない場合は、ジェスチャ入力受付部１１は、時刻ｔｎ−１での入力値の個数と時刻ｔｎでの入力値の個数とが等しいかどうかを判定する（ステップＳ５０２）。
ステップＳ５０２の判定の結果、等しくない場合は、ジェスチャ入力受付部１１は、ジェスチャ識別処理が失敗したと判断する（ステップＳ５０８）。
一方、ステップＳ５０２の判定の結果、等しい場合は、ジェスチャ入力受付部１１は、時刻ｔｎの入力値と時刻ｔｎ−１の入力値とが同じであるかどうかを判定し、同じである場合は、これらを同じ座標での入力（定点）として扱う。そして、この場合、ジェスチャ入力受付部１１は、両方の入力値を入力ストリームのリストに追加し、リストに追加した入力値と対応する入力ストリームとを確定済みとしてマークする（ステップＳ５０３）。
次に、ジェスチャ入力受付部１１は、同一時刻に入力された各入力値の所属先となる入力ストリームを確定するため、候補探索処理を実行する（ステップＳ５０４）。候補探索処理では、時刻ｔｎ−１における入力値から遷移可能な時刻ｔｎでの入力値が計算され、計算された入力値の中から、実際の入力値に対応する入力値が再帰的に選択される。ステップＳ５０４については、図１１を用いて後述する。
ステップＳ５０４の実行後、ジェスチャ入力受付部１１は、全ての入力ストリームについて確定済みとなっているかどうかを判定する（ステップＳ５０５）。
ステップＳ５０５の判定の結果、全ての入力ストリームについて確定済みとなっている場合は、ジェスチャ入力受付部１１は、ジェスチャ識別処理が成功したと判断する（ステップＳ５０７）。
一方、ステップＳ５０５の判定の結果、全ての入力ストリームについて確定済みとなっていない場合は、ジェスチャ入力受付部１１は、ジェスチャ識別処理が失敗したと判断する（ステップＳ５０８）。
ここで、図１１を用いて、図１０のステップＳ５０４に示した候補探索処理について更に具体的に説明する。図１１は、図１０に示したステップＳ５０４の詳細を示すフロー図である。
まず、図１１に示すように、ジェスチャ入力受付部１１は、未確定の入力ストリームが存在しているかどうかを判定する（ステップＳ６０１）。ステップＳ６０１の判定の結果、未確定の入力ストリームが存在していない場合は、ジェスチャ入力受付部１１は、候補探索処理は成功したと判断し（ステップＳ６０６）、その後、ステップＳ５０５を実行する。
一方、テップＳ６０１の判定の結果、未確定の入力ストリームが存在している場合は、ジェスチャ入力受付部１１は、未確定の入力ストリームｓｉ（ｉ=０，１，・・・，ｍ）を添え字の小さい順に一つ選択し、ｔｎ−１での入力値からｔｎとしてとり得る入力値の候補を特定する（ステップＳ６０２）。
このとき、候補となり得るのは、ｔｎ−１での入力値のエリアの周囲を囲む計８つのエリアであり、ｔｎ−１での入力値からの距離の短い順に左のエリアから時計回りに並べたものである（図３（ａ）参照）。具体的には、図１２に示すように、時刻ｔｎ−１においてキー「ｆ」が押下されたとすると、キー「ｆ」が割り当てられたエリアｆを中心にして、時刻ｔｎでの候補として、エリアｄ、ｒ、ｇ、ｖ、ｅ、ｔ、ｂ、ｃが特定される。図１２は、図３（ａ）に示したオーバレイスクリーンの一部を拡大して示す図である。また、これらの候補の中から、更に、既に確定された入力値に対応するエリアが除かれ、残ったものが、最終的な候補として使用される。
次に、ジェスチャ入力受付部１１は、ステップＳ６０２で特定した候補（座標）を、時刻ｔｎ−１での入力値からの距離の短い順に取り出し、各候補について、その候補を採用した場合の、次の添え字の入力ストリームに関する候補検索を実行する（ステップＳ６０３）。具体的には、取り出された候補の入力ストリームがｓ０である場合は、次の入力ストリームｓ１に関する候補探索が実行される。ステップＳ６０３は、「候補探索処理」自体の再帰呼び出しに該当する。
次に、ジェスチャ入力受付部１１は、ステップＳ６０３による再帰呼び出しが成功したかどうかを判定する（ステップＳ６０４）。具体的には、ジェスチャ入力受付部１１は、各入力ストリームについて現在選択している候補（座標）全てが、時刻ｔｎでの入力値に該当しているかどうかを判定する。
ステップＳ６０４の判定の結果、ステップＳ６０３による再帰呼び出しが成功している場合は、すべての入力ストリームに対して、時刻ｔｎの入力値を割り当てることが可能である。よって、ジェスチャ入力受付部１１は、現在選択している候補を採用し、候補に対応する入力値、及び入力ストリームを確定済みとしてマークする（ステップＳ６０５）。
ステップＳ６０５の実行後、ジェスチャ入力受付部１１は、候補探索処理は成功したと判断し（ステップＳ６０６）、その後、ステップＳ５０５を実行する。
一方、ステップＳ６０４の判定の結果、ステップＳ６０３による再帰呼び出しが成功していない場合は、ジェスチャ入力受付部１１は、候補探索処理は失敗したと判断し（ステップＳ６０７）、その後、ステップＳ５０５を実行する。なお、再帰呼び出しが成功していない場合とは、ステップＳ６０２で特定したどの候補を採用しても、時刻ｔｎでの入力値を他の入力ストリームに割り当てることができない場合である。
［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図７に示すステップＳ３０１〜Ｓ３１２を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における入力支援装置と入力支援方法とを実現することができる。また、コンピュータとしては、キーボードに内蔵されたコンピュータが挙げられるが、後述の図１３に示すように、情報処理端末に内蔵されたコンピュータであっても良い。更に、この場合、コンピュータのＣＰＵ（Central Processing Unit）は、ジェスチャ入力受付部１１として機能し、処理を行なう。
［実施の形態による効果］
以上のように、本実施の形態によれば、マルチタッチスクリーンを備えた情報処理端末において、実行されているプログラムがキーボード操作を想定していない場合であっても、外付けの物理キーボードでのジェスチャ入力が可能となる。このため、ユーザは、物理キーボードから手を離すことなく、キー入力のみでジェスチャ入力を実行できるので、ユーザにおける利便性が向上する。
また、本実施の形態における入力支援装置を、マルチタッチスクリーン用のプログラムの開発環境で用いた場合は、開発者は、ジェスチャ入力を簡単にシミュレートできるので、効率良く開発を進めることができる。
［変形例１］
続いて、本実施の形態における変形例１について図１３を用いて説明する。図１３は、本発明の実施の形態における入力支援装置を備えた情報処理端末の構成を示す図である。図１３に示すように、本例では、情報処理端末１００のプロセッサ１０２が、メモリ１０３に格納されている入力支援プログラム２０５を読み出し、これを実行する。そして、入力支援プログラム２０５が実行されると、プロセッサ１０２上に入力支援装置１０が構築される。
つまり、図１３に示す例では、図２に示した例と異なり、入力支援装置１０は、入力支援プログラム２０５によって情報処理端末１００上に具現化される。また、これにより、情報処理端末１００は、入力支援装置１０を備えた状態となる。
図１３に示す例とした場合は、キーボード２００として、一般的な市販のキーボードを利用することができる。また、図１３に例では、入力支援プログラム２０５は、キーボード制御プログラム（デバイスドライバ）の一部を構成するモジュールであっても良い。
［変形例２］
続いて、本実施の形態における変形例２について図１４及び図１５を用いて説明する。図１４は、本発明の実施の形態の変形例２で用いられる入力ストリームの一例を示す図である。図１５は、本発明の実施の形態の変形例２で行なわれるスプライン補間を説明する図である。
本変形例２では、ステップＳ３１０の入力値補間処理において、ジェスチャ入力受付部１１は、ステップＳ３０４で得られた各入力ストリームに対して、線形補間の代わりに、スプライン補間を行なって連続関数ｘｉ（ｔ）及びｙｉ（ｔ）を求める。このため、より滑らかな実際のジェスチャ入力に近いジェスチャ入力データを生成することができる。
具体的には、図１４に示す入力ストリームに対して、スプライン補間によって中間点が算出されると、ジェスチャ入力の軌跡は、図１５に示す通りとなる。図１５では、入力値と、算出された各中間点の座標（ｘ，ｙ）とに、点をプロットした例が示されている。また、本変形例２によれば、若干計算コストが増加するが、よりマルチタッチスクリーンによる入力値に近づけることができ、ジェスチャ入力における認識率の向上が図られる。
上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記２０）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
マルチタッチスクリーンを有する情報処理端末でキーボードを利用する際に、入力支援を行なう入力支援装置であって、
前記キーボード上でキー操作が行なわれた場合に、前記キー操作で入力された各キーの入力順位と各キーの位置とに基づいて、前記マルチタッチスクリーン上でジェスチャ入力が行なわれたときに前記情報処理端末に入力される入力データを生成する、ジェスチャ入力受付部を備えている、ことを特徴とする入力支援装置。
（付記２）
前記情報処理端末の画面上に、前記画面を複数のエリアに分割する格子と、各エリアに割り当てられたキーの識別記号とが、オーバレイ表示されており、
前記ジェスチャ入力受付部は、前記各キーの位置として、入力されたキーが割り当てられたエリアの座標を用いて、前記入力データを生成する、
付記１に記載の入力支援装置。
（付記３）
前記ジェスチャ入力受付部は、入力されたキーが割り当てられたエリアの座標を、各キーの入力順位に沿って並べてデータ群を生成し、作成した前記データ群を前記入力データとする、
付記２に記載の入力支援装置。
（付記４）
前記ジェスチャ入力受付部は、
前記キー操作で２以上のキー入力が同時に行なわれている場合に、最新のキー入力の前に入力された各キーの位置から、最新のキー入力で入力されるキーを予測し、
そして、予測したキーの位置と、前記最新のキー入力で入力されたキーの実際の位置とを対比し、対比結果に基づいて、入力された全てのキーをグループ分けし、グループ毎に、前記データ群を作成する、
付記３に記載の入力支援装置。
（付記５）
前記ジェスチャ入力受付部は、前記キー操作で２以上のキー入力が設定された時間内に行なわれた場合は、前記２以上のキー入力は同時に行なわれていると判断する、付記３または４に記載の入力支援装置。
（付記６）
前記ジェスチャ入力受付部は、作成したデータ群において座標間の値を補間し、座標間の値が補間されたデータ群を、前記入力データとする、
付記３〜５のいずれに記載の入力支援装置。
（付記７）
マルチタッチスクリーンを有する情報処理端末に接続可能なキーボードであって、
当該キーボード上でキー操作が行なわれた場合に、前記キー操作で入力された各キーの入力順位と各キーの位置とに基づいて、前記マルチタッチスクリーン上でジェスチャ入力が行なわれたときに前記情報処理端末に入力される入力データを生成する、ジェスチャ入力受付部を備えている、ことを特徴とするキーボード。
（付記８）
キーボードを接続可能な情報処理端末であって、
マルチタッチスクリーンと、前記キーボードの利用時に入力支援を行なう入力支援装置とを備え、
前記入力支援装置は、
前記キーボード上でキー操作が行なわれた場合に、前記キー操作で入力された各キーの入力順位と各キーの位置とに基づいて、前記マルチタッチスクリーン上でジェスチャ入力が行なわれたときに前記情報処理端末に入力される入力データを生成する、ジェスチャ入力受付部を備えている、ことを特徴とする情報処理端末。
（付記９）
マルチタッチスクリーンを有する情報処理端末でキーボードを利用する際に、入力支援を行なうための方法であって、
前記キーボード上でキー操作が行なわれた場合に、前記キー操作で入力された各キーの入力順位と各キーの位置とに基づいて、前記マルチタッチスクリーン上でジェスチャ入力が行なわれたときに前記情報処理端末に入力される入力データを生成する、ジェスチャ入力受付ステップを有する、ことを特徴とする入力支援方法。
（付記１０）
前記情報処理端末の画面上に、前記画面を複数のエリアに分割する格子と、各エリアに割り当てられたキーの識別記号とが、オーバレイ表示されている場合に、
前記ジェスチャ入力受付ステップにおいて、前記各キーの位置として、入力されたキーが割り当てられたエリアの座標を用いて、前記入力データを生成する、
付記９に記載の入力支援方法。
（付記１１）
前記ジェスチャ入力受付ステップにおいて、入力されたキーが割り当てられたエリアの座標を、各キーの入力順位に沿って並べてデータ群を生成し、作成した前記データ群を前記入力データとする、
付記１０に記載の入力支援方法。
（付記１２）
前記ジェスチャ入力受付ステップにおいて、
前記キー操作で２以上のキー入力が同時に行なわれている場合に、最新のキー入力の前に入力された各キーの位置から、最新のキー入力で入力されるキーを予測し、
そして、予測したキーの位置と、前記最新のキー入力で入力されたキーの実際の位置とを対比し、対比結果に基づいて、入力された全てのキーをグループ分けし、グループ毎に、前記データ群を作成する、
付記１１に記載の入力支援方法。
（付記１３）
前記ジェスチャ入力受付ステップにおいて、前記キー操作で２以上のキー入力が設定された時間内に行なわれた場合は、前記２以上のキー入力は同時に行なわれていると判断する、付記１１または１２に記載の入力支援方法。
（付記１４）
前記ジェスチャ入力受付部ステップにおいて、作成したデータ群において座標間の値を補間し、座標間の値が補間されたデータ群を、前記入力データとする、
付記１１〜１３のいずれに記載の入力支援方法。
（付記１５）
マルチタッチスクリーンを有する情報処理端末でキーボードを利用する際に、コンピュータによって、入力支援を行なうためのプログラムであって、
前記コンピュータに、
前記キーボード上でキー操作が行なわれた場合に、前記キー操作で入力された各キーの入力順位と各キーの位置とに基づいて、前記マルチタッチスクリーン上でジェスチャ入力が行なわれたときに前記情報処理端末に入力される入力データを生成する、ジェスチャ入力受付ステップを実行させるプログラム。
（付記１６）
前記情報処理端末の画面上に、前記画面を複数のエリアに分割する格子と、各エリアに割り当てられたキーの識別記号とが、オーバレイ表示されている場合に、
前記ジェスチャ入力受付ステップにおいて、前記各キーの位置として、入力されたキーが割り当てられたエリアの座標を用いて、前記入力データを生成する、
付記１５に記載のプログラム。
（付記１７）
前記ジェスチャ入力受付ステップにおいて、入力されたキーが割り当てられたエリアの座標を、各キーの入力順位に沿って並べてデータ群を生成し、作成した前記データ群を前記入力データとする、
付記１６に記載のプログラム。
（付記１８）
前記ジェスチャ入力受付ステップにおいて、
前記キー操作で２以上のキー入力が同時に行なわれている場合に、最新のキー入力の前に入力された各キーの位置から、最新のキー入力で入力されるキーを予測し、
そして、予測したキーの位置と、前記最新のキー入力で入力されたキーの実際の位置とを対比し、対比結果に基づいて、入力された全てのキーをグループ分けし、グループ毎に、前記データ群を作成する、
付記１７に記載のプログラム。
（付記１９）
前記ジェスチャ入力受付ステップにおいて、前記キー操作で２以上のキー入力が設定された時間内に行なわれた場合は、前記２以上のキー入力は同時に行なわれていると判断する、付記１７または１８に記載のプログラム。
（付記２０）
前記ジェスチャ入力受付部ステップにおいて、作成したデータ群において座標間の値を補間し、座標間の値が補間されたデータ群を、前記入力データとする、
付記１７〜１９のいずれに記載のプログラム。
以上のように、本発明によれば、マルチタッチスクリーンを備えた情報処理端末において物理キーボードでのジェスチャ入力を実現することができる。本発明は、マルチタッチスクリーンが主な入力装置である情報処理端末に接続されることが前提となった物理キーボード、物理キーボードを搭載した情報処理端末に有用である。また、本発明の用途としては、情報処理端末の操作性改善策の研究開発における利用が想定される。
１００ 情報処理端末
１０１ マルチタッチスクリーン
１０１ａ 格子
１０１ｂ キーの識別記号
１０１ｃ ガイド
１０１ｄ 軌跡
１０２ プロセッサ
１０３ メモリ
１０４ 外部インタフェース
１０５ キーボード制御プログラム
２００ キーボード
２０１ キースイッチ
２０２ プロセッサ
２０３ メモリ
２０４ 外部インタフェース
２０５ 入力支援プログラム

Claims (10)

  1. マルチタッチスクリーンを有する情報処理端末でキーボードを利用する際に、入力支援を行なう入力支援装置であって、
    前記キーボード上でキー操作が行なわれた場合に、前記キー操作で入力された各キーの入力順位と各キーの位置とに基づいて、前記マルチタッチスクリーン上でジェスチャ入力が行なわれたときに前記情報処理端末に入力される入力データを生成する、ジェスチャ入力受付部を備えている、ことを特徴とする入力支援装置。
  2. 前記情報処理端末の画面上に、前記画面を複数のエリアに分割する格子と、各エリアに割り当てられたキーの識別記号とが、オーバレイ表示されており、
    前記ジェスチャ入力受付部は、前記各キーの位置として、入力されたキーが割り当てられたエリアの座標を用いて、前記入力データを生成する、
    請求項１に記載の入力支援装置。
  3. 前記ジェスチャ入力受付部は、入力されたキーが割り当てられたエリアの座標を、各キーの入力順位に沿って並べてデータ群を生成し、作成した前記データ群を前記入力データとする、
    請求項２に記載の入力支援装置。
  4. 前記ジェスチャ入力受付部は、
    前記キー操作で２以上のキー入力が同時に行なわれている場合に、最新のキー入力の前に入力された各キーの位置から、最新のキー入力で入力されるキーを予測し、
    そして、予測したキーの位置と、前記最新のキー入力で入力されたキーの実際の位置とを対比し、対比結果に基づいて、入力された全てのキーをグループ分けし、グループ毎に、前記データ群を作成する、
    請求項３に記載の入力支援装置。
  5. 前記ジェスチャ入力受付部は、前記キー操作で２以上のキー入力が設定された時間内に行なわれた場合は、前記２以上のキー入力は同時に行なわれていると判断する、請求項３または４に記載の入力支援装置。
  6. 前記ジェスチャ入力受付部は、作成したデータ群において座標間の値を補間し、座標間の値が補間されたデータ群を、前記入力データとする、
    請求項３〜５のいずれに記載の入力支援装置。
  7. マルチタッチスクリーンを有する情報処理端末に接続可能なキーボードであって、
    当該キーボード上でキー操作が行なわれた場合に、前記キー操作で入力された各キーの入力順位と各キーの位置とに基づいて、前記マルチタッチスクリーン上でジェスチャ入力が行なわれたときに前記情報処理端末に入力される入力データを生成する、ジェスチャ入力受付部を備えている、ことを特徴とするキーボード。
  8. キーボードを接続可能な情報処理端末であって、
    マルチタッチスクリーンと、前記キーボードの利用時に入力支援を行なう入力支援装置とを備え、
    前記入力支援装置は、
    前記キーボード上でキー操作が行なわれた場合に、前記キー操作で入力された各キーの入力順位と各キーの位置とに基づいて、前記マルチタッチスクリーン上でジェスチャ入力が行なわれたときに前記情報処理端末に入力される入力データを生成する、ジェスチャ入力受付部を備えている、ことを特徴とする情報処理端末。
  9. マルチタッチスクリーンを有する情報処理端末でキーボードを利用する際に、入力支援を行なうための方法であって、
    前記キーボード上でキー操作が行なわれた場合に、前記キー操作で入力された各キーの入力順位と各キーの位置とに基づいて、前記マルチタッチスクリーン上でジェスチャ入力が行なわれたときに前記情報処理端末に入力される入力データを生成する、ジェスチャ入力受付ステップを有する、ことを特徴とする入力支援方法。
  10. マルチタッチスクリーンを有する情報処理端末でキーボードを利用する際に、コンピュータによって、入力支援を行なうためのプログラムであって、
    前記コンピュータに、
    前記キーボード上でキー操作が行なわれた場合に、前記キー操作で入力された各キーの入力順位と各キーの位置とに基づいて、前記マルチタッチスクリーン上でジェスチャ入力が行なわれたときに前記情報処理端末に入力される入力データを生成する、ジェスチャ入力受付ステップを実行させるプログラム。
JP2013032813A 2013-02-22 2013-02-22 入力支援装置、キーボード、情報処理端末、入力支援方法、及びプログラム Pending JP2014164368A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013032813A JP2014164368A (ja) 2013-02-22 2013-02-22 入力支援装置、キーボード、情報処理端末、入力支援方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013032813A JP2014164368A (ja) 2013-02-22 2013-02-22 入力支援装置、キーボード、情報処理端末、入力支援方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2014164368A true JP2014164368A (ja) 2014-09-08

Family

ID=51614947

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013032813A Pending JP2014164368A (ja) 2013-02-22 2013-02-22 入力支援装置、キーボード、情報処理端末、入力支援方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2014164368A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881134A (zh) * 2015-05-18 2015-09-02 百度在线网络技术（北京）有限公司 终端键盘
JP2016072035A (ja) * 2014-09-29 2016-05-09 株式会社Ｇｓユアサ 非水電解質蓄電素子
JP2017535827A (ja) * 2015-10-30 2017-11-30 小米科技有限責任公司Ｘｉａｏｍｉ Ｉｎｃ． タッチスクリーンを備えた端末の誤タッチ防止方法および装置
DE102018002783A1 (de) 2017-04-13 2018-10-18 Fanuc Corporation Numerische Steuereinheit
JP2020074134A (ja) * 2015-06-08 2020-05-14 アルプスアルパイン株式会社 車載入力装置
WO2020153087A1 (ja) * 2019-01-23 2020-07-30 株式会社小糸製作所 車両用コミュニケーションシステム、車両用表示装置および車両

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016072035A (ja) * 2014-09-29 2016-05-09 株式会社Ｇｓユアサ 非水電解質蓄電素子
CN104881134A (zh) * 2015-05-18 2015-09-02 百度在线网络技术（北京）有限公司 终端键盘
JP2020074134A (ja) * 2015-06-08 2020-05-14 アルプスアルパイン株式会社 車載入力装置
JP2017535827A (ja) * 2015-10-30 2017-11-30 小米科技有限責任公司Ｘｉａｏｍｉ Ｉｎｃ． タッチスクリーンを備えた端末の誤タッチ防止方法および装置
DE102018002783A1 (de) 2017-04-13 2018-10-18 Fanuc Corporation Numerische Steuereinheit
CN108733224A (zh) * 2017-04-13 2018-11-02 发那科株式会社 数值控制装置
JP2018180950A (ja) * 2017-04-13 2018-11-15 ファナック株式会社 数値制御装置
US10895978B2 (en) 2017-04-13 2021-01-19 Fanuc Corporation Numerical controller
CN108733224B (zh) * 2017-04-13 2021-03-05 发那科株式会社 数值控制装置
WO2020153087A1 (ja) * 2019-01-23 2020-07-30 株式会社小糸製作所 車両用コミュニケーションシステム、車両用表示装置および車両

Similar Documents

Publication Publication Date Title
EP2718788B1 (en) Method and apparatus for providing character input interface
TWI416374B (zh) 輸入方法、輸入裝置及電腦系統
JP5204286B2 (ja) 電子機器および入力方法
KR101323281B1 (ko) 입력 장치 및 문자 입력 방법
EP3087456B1 (en) Remote multi-touch control
US20140049477A1 (en) Systems and Methods for Touch-Based Two-Stage Text Input
US20150220265A1 (en) Information processing device, information processing method, and program
JP2014026629A (ja) 入力装置及び入力支援方法
JP2014164368A (ja) 入力支援装置、キーボード、情報処理端末、入力支援方法、及びプログラム
US8456433B2 (en) Signal processing apparatus, signal processing method and selection method of user interface icon for multi-touch panel
CN104516583B (zh) 输入装置及其控制方法、信息处理装置
KR20120097836A (ko) 단말기에서 텍스트 작성 방법 및 장치
JP2014203375A (ja) タッチパネル表示制御装置
JP5512379B2 (ja) 入力装置、入力方法および入力プログラム
JP5437899B2 (ja) 入力装置、入力方法および入力プログラム
CN105807939B (zh) 提高键盘输入速率的电子设备及方法
CN103197890A (zh) 一种输入处理方法和装置
US20140143726A1 (en) Method of choosing software button
JP2010165226A (ja) 名称入力装置および名称入力方法
US11922007B2 (en) Apparatus, method and system for inputting characters to an electronic device
JP2005228180A (ja) データ処理装置、データ入力方法及びプログラム
JPWO2018167860A1 (ja) タッチジェスチャ判定装置、タッチジェスチャ判定方法、タッチジェスチャ判定プログラム、及びタッチパネル入力装置
EP4115270A1 (en) Electronic input system
US20150347004A1 (en) Indic language keyboard interface
JP2005235168A (ja) 文字入力装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20150123