JP2014075004A - 入力装置、入力方法及びコンピュータプログラム - Google Patents

Abstract

【課題】利便性の高い入力技術を提供する。
【解決手段】入力制御部１８０は、入力可能な複数の文字を画面に表示するキーボード表示部１８２と、ユーザから位置の入力を受け付け、複数の文字の中から入力の位置に対応する文字を選択する入力受付部１８１と、複数の文字に割り当てられた、それぞれ異なる音声データを保持する音声データ保持部１６６と、音声データ保持部１６６から、入力受付部１８１により選択された文字に割り当てられた音声データを読み出して出力する打鍵音声制御部１８７と、入力受付部１８１により選択された文字、又は、入力受付部１８１により選択された文字を含む文字列を変換した変換文字列を出力する出力部１８３とを備える。
【選択図】図４

Description

本発明は、入力技術に関し、とくに、表示装置に表示された入力対象を入力するための入力装置及び入力方法に関する。

パーソナルコンピュータやワードプロセッサなどの装置においては、文字や記号などを入力するために、キーボードが一般に用いられている。しかし、携帯ゲーム機や携帯電話などの携帯端末や、プリンタや冷蔵庫などの家電装置においては、限られたボタンやスイッチなどを用いて文字や記号などを入力する必要があるため、ユーザの利便性を向上させるためのさまざまな工夫が必要となる。

そのような工夫の一例として、液晶パネルなどの表示装置が設けられた装置においては、表示装置にキーボードの画面を表示し、表示されたキーボードの各キーをポインティングデバイスなどで選択することを可能とした、いわゆるオンスクリーンキーボードが用いられている。とくに、タッチパネルが設けられた装置においては、表示されたキーボードの各キーをタッチすることで文字又は記号を入力することができるので、キーボードを用いるのと同様な操作感を提供することができる。

タッチパネルを用いたオンスクリーンキーボードは、限られた画面に多くのキーが配置される上に、入力するキーの物理的な凹凸などがないため、意図しないキーを入力してしまうなどのミスが発生しやすい。スマートフォンの普及により、オンスクリーンキーボードを用いて文字や記号などを入力する機会が飛躍的に増加している現在、誤入力への対策が強く求められている。

本発明はこうした状況に鑑みてなされたものであり、その目的は、利便性の高い入力技術を提供することにある。

本発明のある態様は、コンピュータプログラムに関する。このコンピュータプログラムは、コンピュータを、入力可能な複数の文字を画面に表示する表示部、ユーザから位置の入力を受け付け、前記複数の文字の中から前記入力の位置に対応する文字を選択する入力受付部、前記複数の文字に割り当てられた、それぞれ異なる音声データを保持する音声データ保持部から、前記入力受付部により選択された文字に割り当てられた音声データを読み出して出力する音声制御部、前記入力受付部により選択された文字、又は、前記入力受付部により選択された文字を含む文字列を変換した変換文字列を出力する出力部、として機能させる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、利便性の高い入力技術を提供することができる。

図１（ａ）は、ゲーム装置の前面を示す図であり、図１（ｂ）は、ゲーム装置の背面を示す図である。 図２（ａ）は、ゲーム装置の上面を示す図であり、図２（ｂ）は、ゲーム装置の下面を示す図であり、図２（ｃ）は、ゲーム装置の左側面を示す図である。 ゲーム装置の回路構成を示す図である。 ゲーム装置の機能構成を示す図である。 オンスクリーンキーボードが表示された画面の例を示す図である。 オンスクリーンキーボードのそれぞれのキーに割り当てられた音声データを模式的に示す図である。 オンスクリーンキーボードが表示された画面の別の例を示す図である。 オンスクリーンキーボードのそれぞれのキーに割り当てられた音声データを模式的に示す図である。 キーの入力位置を複数の領域に分割した様子を示す図である。 変換候補が表示された画面の例を示す図である。 打鍵画像が表示された画面の例を示す図である。 打鍵画像が表示された画面の例を示す図である。 打鍵画像が表示された画面の例を示す図である。 打鍵画像が表示された画面の例を示す図である。 打鍵画像が表示された画面の例を示す図である。 実施の形態に係る入力方法の手順を示すフローチャートである。

実施の形態において、オンスクリーンキーボードを利用して文字等を入力する際に、キーごとに異なる打鍵音を出力する技術について説明する。ユーザは、打鍵音を聞くことにより、正しいキーを入力したか否かを判断することができ、入力ミスに気づくことができる。これにより、オンスクリーンキーボードの利便性を向上させることができる。本実施の形態では、オンスクリーンキーボードにより入力を受け付ける入力装置として、携帯型のゲーム装置を例にとって説明する。

まず、本実施の形態に係るゲーム装置１０の外観構成および回路構成を説明する。以下に示すゲーム装置１０は、携帯型のゲーム機であるが、他の種類の携帯型端末装置であってもよい。

［前面部の構成］
図１（ａ）は、ゲーム装置１０の前面を示す。ゲーム装置１０は、横長の筐体により形成され、ユーザが把持する左右の領域は、円弧状の外郭を有している。ゲーム装置１０の前面には、矩形のタッチパネル５０が設けられる。タッチパネル５０は、表示装置２０と、表示装置２０の表面を覆う透明な前面タッチパッド２１から構成される。表示装置２０は有機ＥＬ（Electro-Luminescence）パネルであり、画像を表示する。なお表示装置２０は液晶パネルなどの表示手段であってもよい。前面タッチパッド２１は、同時にタッチされた複数ポイントの検出機能をもつマルチタッチパッドであって、タッチパネル５０はマルチタッチスクリーンとして構成される。

タッチパネル５０の右側には、菱形の頂点にそれぞれ位置する△ボタン２２ａ、○ボタン２２ｂ、×ボタン２２ｃ、□ボタン２２ｄ（以下、総称する場合には「操作ボタン２２」とよぶ）が設けられ、タッチパネル５０の左側には、上キー２３ａ、左キー２３ｂ、下キー２３ｃ、右キー２３ｄ（以下、総称する場合には「方向キー２３」とよぶ）が設けられる。ユーザは方向キー２３を操作して、上下左右および斜方の８方向を入力できる。方向キー２３の下側には左スティック２４ａが設けられ、また操作ボタン２２の下側には右スティック２４ｂが設けられる。ユーザは左スティック２４ａまたは右スティック２４ｂ（以下、総称する場合には「アナログスティック２４」とよぶ）を傾動して、方向および傾動量を入力する。筐体の左右頂部には、Ｌボタン２６ａ、Ｒボタン２６ｂが設けられる。操作ボタン２２、方向キー２３、アナログスティック２４、Ｌボタン２６ａ、Ｒボタン２６ｂは、ユーザが操作する操作手段を構成する。

操作ボタン２２の近傍に、前面カメラ３０が設けられる。左スティック２４ａの左側および右スティック２４ｂの右側には、それぞれ音声を出力する左スピーカ２５ａおよび右スピーカ２５ｂ（以下、総称する場合には「スピーカ２５」とよぶ）が設けられる。また左スティック２４ａの下側にＨＯＭＥボタン２７が設けられ、右スティック２４ｂの下側にＳＴＡＲＴボタン２８およびＳＥＬＥＣＴボタン２９が設けられる。

［背面部の構成］
図１（ｂ）は、ゲーム装置１０の背面を示す。ゲーム装置１０の背面には、背面カメラ３１および背面タッチパッド３２が設けられる。背面タッチパッド３２は、前面タッチパッド２１と同様に、マルチタッチパッドとして構成される。ゲーム装置１０は、前面および背面において、２つのカメラおよびタッチパッドを搭載している。

［上面部の構成］
図２（ａ）は、ゲーム装置１０の上面を示す。既述したように、ゲーム装置１０の上面の左右端側に、Ｌボタン２６ａ、Ｒボタン２６ｂがそれぞれ設けられる。Ｌボタン２６ａの右側には電源ボタン３３が設けられ、ユーザは、電源ボタン３３を押下することで、電源をオンまたはオフする。なおゲーム装置１０は、操作手段が操作されない時間（無操作時間）が所定時間続くと、サスペンド状態に遷移する電力制御機能を有している。ゲーム装置１０がサスペンド状態に入ると、ユーザは電源ボタン３３を押下することで、ゲーム装置１０をサスペンド状態からアウェイク状態に復帰させることができる。

ゲームカードスロット３４は、ゲームカードを差し込むための差込口であり、この図では、ゲームカードスロット３４がスロットカバーにより覆われている状態が示される。なおゲームカードスロット３４の近傍に、ゲームカードがアクセスされているときに点滅するＬＥＤランプが設けられてもよい。アクセサリ端子３５は、周辺機器（アクセサリ）を接続するための端子であり、この図ではアクセサリ端子３５が端子カバーにより覆われている状態が示される。アクセサリ端子３５とＲボタン２６ｂの間には、ボリュームを調整するための−ボタン３６ａと＋ボタン３６ｂが設けられている。

［下面部の構成］
図２（ｂ）は、ゲーム装置１０の下面を示す。メモリカードスロット３７は、メモリカードを差し込むための差込口であり、この図では、メモリカードスロット３７が、スロットカバーにより覆われている状態が示される。ゲーム装置１０の下面において、音声入出力端子３８、マイク３９およびマルチユース端子４０が設けられる。マルチユース端子４０はＵＳＢ（Universal Serial Bus）に対応し、ＵＳＢケーブルを介して他の機器と接続できる。

［左側面部の構成］
図２（ｃ）は、ゲーム装置１０の左側面を示す。ゲーム装置１０の左側面には、ＳＩＭカードの差込口であるＳＩＭカードスロット４１が設けられる。

［ゲーム装置の回路構成］
図３は、ゲーム装置１０の回路構成を示す。各構成はバス９２によって互いに接続されている。無線通信モジュール７１はＩＥＥＥ８０２．１１ｂ／ｇ等の通信規格に準拠した無線ＬＡＮモジュールによって構成され、ＡＰ２を介して、外部ネットワークに接続する。なお無線通信モジュール７１は、ブルートゥース（登録商標）プロトコルの通信機能を有してもよい。携帯電話モジュール７２は、ＩＴＵ（International Telecommunication Union；国際電気通信連合）によって定められたＩＭＴ−２０００（International Mobile Telecommunication 2000）規格に準拠した第３世代（3rd Generation）デジタル携帯電話方式に対応し、携帯電話網４に接続する。ＳＩＭカードスロット４１には、携帯電話の電話番号を特定するための固有のＩＤ番号が記録されたＳＩＭカード７４が挿入される。ＳＩＭカード７４がＳＩＭカードスロット４１に挿入されることで、携帯電話モジュール７２は、携帯電話網４との間で通信可能となる。

ＣＰＵ（Central Processing Unit）６０は、メインメモリ６４にロードされたプログラムなどを実行する。ＧＰＵ（Graphics Processing Unit）６２は、画像処理に必要な計算を実行する。メインメモリ６４は、ＲＡＭ（Random Access Memory）などにより構成され、ＣＰＵ６０が使用するプログラムやデータなどを記憶する。ストレージ６６は、ＮＡＮＤ型フラッシュメモリ（NAND-type flash memory）などにより構成され、内蔵型の補助記憶装置として利用される。

モーションセンサ６７は、ゲーム装置１０の動きを検出し、地磁気センサ６８は、３軸方向の地磁気を検出する。ＧＰＳ制御部６９は、ＧＰＳ衛星からの信号を受信し、現在位置を算出する。前面カメラ３０および背面カメラ３１は、画像を撮像し、画像データを入力する。前面カメラ３０および背面カメラ３１は、ＣＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor Image Sensor）によって構成される。

表示装置２０は、有機ＥＬ表示装置であり、陰極および陽極に電圧を印加することで発光する発光素子を有する。省電力モードでは、電極間に印加する電圧を通常よりも低くすることで、表示装置２０を減光状態とすることができ、電力消費を抑えられる。なお表示装置２０はバックライトを備えた液晶パネル表示装置であってもよい。省電力モードでは、バックライトの光量を下げることで、液晶パネル表示装置を減光状態として、電力消費を抑えることができる。

インタフェース９０において、操作部７０は、ゲーム装置１０における各種操作手段を含み、具体的には、操作ボタン２２、方向キー２３、アナログスティック２４、Ｌボタン２６ａ、Ｒボタン２６ｂ、ＨＯＭＥボタン２７、ＳＴＡＲＴボタン２８、ＳＥＬＥＣＴボタン２９、電源ボタン３３、−ボタン３６ａ、＋ボタン３６ｂを含む。前面タッチパッド２１および背面タッチパッド３２は、マルチタッチパッドであり、前面タッチパッド２１は、表示装置２０の表面に重ね合わせて配置される。スピーカ２５は、ゲーム装置１０の各機能により生成される音声を出力し、マイク３９は、ゲーム装置１０の周辺の音声を入力する。音声入出力端子３８は、外部のマイクからステレオ音声を入力し、外部のヘッドホンなどへステレオ音声を出力する。

ゲームカードスロット３４には、ゲームファイルを記録したゲームカード７６が差し込まれる。ゲームカード７６は、データの書込可能な記録領域を有しており、ゲームカードスロット３４に装着されると、メディアドライブにより、データの書込／読出が行われる。メモリカードスロット３７には、メモリカード７８が差し込まれる。メモリカード７８は、メモリカードスロット３７に装着されると、外付け型の補助記憶装置として利用される。マルチユース端子４０は、ＵＳＢ端子として利用でき、ＵＳＢケーブル８０を接続されて、他のＵＳＢ機器とデータの送受信を行う。アクセサリ端子３５には、周辺機器が接続される。

図４は、ゲーム装置１０の機能構成を示す。ゲーム装置１０は、制御部１４０、キーボード保持部１６０、辞書データ保持部１６２、履歴保持部１６４、音声データ保持部１６６、及び画像データ保持部１６８を備える。これらの構成は、ハードウエアコンポーネントでいえば、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

キーボード保持部１６０は、ユーザが入力可能な複数の文字、数字、記号などのキーを配列させたオンスクリーンキーボードの画面のデータを保持する。辞書データ保持部１６２は、日本語の読みが入力されたときに、その文字列を漢字に変換したり、英単語の一部が入力されたときに、入力されると予測される単語を抽出して表示したりするために用いられる辞書データを保持する。

履歴保持部１６４は、ユーザによるオンスクリーンキーボードを用いた入力の履歴を保持する。履歴保持部１６４は、入力されたキーの種類と順序、出力された文字列、ミスが発生したキーの対などの履歴を保持する。音声データ保持部１６６は、オンスクリーンキーボードのキーが入力されたときに出力される音声のデータを保持する。音声データ保持部１６６は、キーごとに異なる音声データを保持する。音声データ保持部１６６は、キーごとに、ピッチ、音色、大きさなどの異なる音声データを保持してもよい。画像データ保持部１６８は、オンスクリーンキーボードのキーが入力されたときに表示される画像のデータを保持する。画像データ保持部１６８は、キーごとに異なる画像データを保持する。

制御部１４０は、操作部７０、前面タッチパッド２１、及び背面タッチパッド３２から入力されるユーザによる操作指示を受け付け、受け付けたユーザからの操作指示に基づいて、ゲームプログラムなどのアプリケーション１４２、アプリケーション１４２などに文字や記号などを入力するための入力機能、その他の諸機能などを実行する。制御部１４０は、アプリケーション１４２及び入力制御部１８０を含む。入力制御部１８０は、入力受付部１８１、キーボード表示部１８２、出力部１８３、入力文字列取得部１８４、変換候補取得部１８５、変換候補表示部１８６、打鍵音声制御部１８７、打鍵画像制御部１８８、及び入力履歴管理部１８９を含む。

キーボード表示部１８２は、オンスクリーンキーボードの画面をキーボード保持部１６０から読み出して表示装置２０に表示する。入力受付部１８１は、操作部７０、前面タッチパッド２１、又は背面タッチパッド３２から入力されたユーザの操作指示に基づいて、オンスクリーンキーボード上のいずれのキーが入力されたのかを判定し、ユーザによる文字、数字、又は記号の選択を受け付ける。

入力文字列取得部１８４は、入力受付部１８１が受け付けた、ユーザにより選択された文字を取得して、入力文字列に追加する。変換候補取得部１８５は、入力文字列を含む文字列を変換した１以上の変換候補文字列を取得する。変換候補取得部１８５は、ユーザから、入力文字列を変換した変換候補文字列の表示を要求するための指示入力を受け付けたときに変換候補文字列を取得してもよいし、入力文字列が追加されたときに入力文字列を変換した変換候補文字列を取得してもよい。また、入力文字列を前方に含む文字列を変換した変換候補文字列の中から、後続の入力文字列を予測して抽出された予測変換候補文字列を取得してもよい。変換候補取得部１８５は、辞書データ保持部１６２を参照して変換候補文字列を生成してもよいし、他の装置又はアプリケーションに入力文字列を通知し、他の装置又はアプリケーションにより変換された変換候補文字列を取得してもよい。変換機能又は予測変換機能として、既知の任意の技術を利用してもよい。変換候補取得部１８５は、複数の変換候補文字列を取得する場合は、それらの表示順も取得する。

変換候補表示部１８６は、変換候補取得部１８５が取得した変換候補文字列を、表示順にしたがって表示装置２０に表示する。変換候補表示部１８６が表示した変換候補文字列の中から、ユーザがいずれかの変換候補文字列をタッチしたり、選択中の変換候補文字列に確定するための確定キーなどを選択又は押下するなどして、変換候補文字列が確定されると、出力部１８３は、確定された変換候補文字列をアプリケーション１４２などに出力する。英数字や記号など、変換を要しない文字列は、変換することなく直接出力部１８３が出力してもよい。例えば、日本語入力用のオンスクリーンキーボードが選択されている場合は、英数字や記号などが入力されても変換機能を経て出力し、英語入力用のオンスクリーンキーボードが選択されている場合は、変換機能を経ずに出力してもよい。英語入力用のオンスクリーンキーボードが選択されている場合でも、前述した英単語の予測変換機能を利用可能としてもよい。以上のような、オンスクリーンキーボードに関する基本的な技術については、既知の任意の技術を利用可能であるから、ここでは詳述しない。

入力履歴管理部１８９は、ユーザがオンスクリーンキーボードを利用して入力したキーの情報を履歴保持部１６４に記録する。打鍵音声制御部１８７は、オンスクリーンキーボードのキーが入力されたときに、入力されたキーに割り当てられた音声を出力する。打鍵画像制御部１８８は、オンスクリーンキーボードのキーが入力されたときに、入力されたキーに対応する画像を表示する。これらの機能の詳細については、図面を参照しながら後で詳述する。

図５は、オンスクリーンキーボードが表示された画面の例を示す。検索用のアプリケーション１４２が画面に表示した検索キーワード入力用のテキストボックスがアクティブになると、アプリケーション１４２は、入力位置を示すキャレットをテキストボックス内に表示するとともに、入力文字列を受け付けるために入力制御部１８０を起動する。キーボード表示部１８２は、所定の種類のオンスクリーンキーボード２００の画面をキーボード保持部１６０から読み出して表示する。

図６は、オンスクリーンキーボード２００のそれぞれのキーに割り当てられた音声データを模式的に示す。オンスクリーンキーボード２００に配置されたキーのうち、上から３段のキーには、それぞれ異なる音声データが割り当てられる。打鍵音声制御部１８７は、それぞれのキーと、キーに割り当てられた音声データとの対応を示すテーブル又はマップを保持する。これらの音声データは、音声データ保持部１６６に保持される。

打鍵音声制御部１８７は、入力受付部１８１がオンスクリーンキーボード２００に対する入力を受け付けると、入力されたキーの情報を入力受付部１８１から取得し、図５に示したマップを参照して、入力されたキーに割り当てられた音声データを音声データ保持部１６６から読み出し、スピーカ２５に出力する。

音声データは予めそれぞれのキーに割り当てられていてもよいし、ユーザがゲーム装置１０を利用しているときに打鍵音声制御部１８７がそれぞれのキーに音声データを割り当ててもよい。後者の場合、初期状態においては、全てのキーに同じ音声データが割り当てられていてもよい。また、それぞれのキーに対して音声データが固定的に割り当てられてもよいし、打鍵音声制御部１８７が音声データの割り当てを動的に変更してもよい。

図７は、オンスクリーンキーボードが表示された画面の別の例を示す。図７では、日本語入力用のオンスクリーンキーボード２０２が表示されている。日本語入力用のオンスクリーンキーボード２０２においては、テンキー配列のキーのそれぞれに、複数の文字が割り当てられている。例えば、「さ」のキーには、「さ」行の「さ」、「し」、「す」、「せ」、「そ」の５文字が割り当てられており、「さ」のキーを１回入力すると「さ」が、２回入力すると「し」が、３回入力すると「す」が、４回入力すると「せ」が、５回入力すると「そ」が入力できるようになっている。「さ」のキーを６回入力すると、再び「さ」に戻る。

図８は、オンスクリーンキーボード２０２のそれぞれのキーに割り当てられた音声データを模式的に示す。オンスクリーンキーボード２０２のそれぞれのキーには、トーン信号と同様のＤＴＭＦ（Dual-Tone Multi-Frequency）ベースの音声データが割り当てられる。例えば、「さ」のキーが入力されると、打鍵音声制御部１８７は、低群の６９７Ｈｚの信号音と高群の１４７７Ｈｚの信号音を合成して、スピーカ２５に出力する。

オンスクリーンキーボード２０２においては、キーに割り当てられた複数の文字の入力を、フリック入力により受け付けることもできる。例えば、ユーザが「た」のキーを所定時間以上タッチし続けると、入力受付部１８１は、図８に示すように、「た」のキーに割り当てられた「た」以外の４つの文字「ち」「つ」「て」「と」を、「た」のキーの上下左右に表示する。ユーザは、「た」のキーを所定時間以上タッチし続けた後、前面タッチパッド２１から指を離さずに、「た」のキーの周囲に表示されたキーに指を移動させてから指を離すと、「た」のキーの周囲に表示されたキーに対応する文字を入力することができる。

この場合、打鍵音声制御部１８７は、オンスクリーンキーボード２０２に含まれるキーがタッチされたときに、タッチされたキーに割り当てられた合成信号音を出力し、その後、フリック入力が行われると、フリック方向に対応した単音の信号音を出力してもよい。例えば、「た」のキーがタッチされると、「た」のキーに割り当てられた、７７０Ｈｚの信号音と１２０９Ｈｚの信号音を合成して出力し、その後、フリック入力が行われると、「ち」が入力された場合は１１１０Ｈｚ、「つ」が入力された場合は６９７Ｈｚ、「て」が入力された場合は１３３６Ｈｚ、「と」が入力された場合は８５２Ｈｚの信号音を出力してもよい。打鍵音声制御部１８７は、ユーザが前面タッチパッド２１に指を触れている間、連続的又は断続的に、そのときに入力されているキーに対応する音声を出力してもよいし、ユーザがあるキーをタッチしたとき又は所定時間以上タッチし続けたときと、ユーザがフリック入力を行ったときに、入力されたキーに対応する音声を出力してもよい。

入力履歴管理部１８９は、バックスペースが入力されたときに、その前後に入力されたキーの対を、入力ミスが発生したキーの対として履歴保持部１６４に記録する。例えば、「s」が入力された後、バックスペースが入力され、更に「d」が入力された場合、ユーザは「d」を入力しようとして誤って「s」を入力した可能性が高いので、入力履歴管理部１８９は、「s」と「d」の対を、入力ミスが発生したキーの対として履歴保持部１６４に記録する。また、「taoru」という文字列が入力された後、バックスペースキーが３回入力されて「ta」の状態に戻され、更に「iru」という文字列が入力されて「tairu」という文字列に修正された場合、ユーザは「i」を入力しようとして誤って「o」を入力した可能性が高いので、入力履歴管理部１８９は、「i」と「o」の対を、入力ミスが発生したキーの対として履歴保持部１６４に記録する。

打鍵音声制御部１８７は、所定のタイミングで、履歴保持部１６４に保持された履歴情報を参照し、キーに割り当てる音声データを決定する。打鍵音声制御部１８７は、ゲーム装置１０の使用が開始されてから、又は、入力履歴管理部１８９が履歴情報の記録を開始してから所定の期間が経過したときに、キーに割り当てる音声データを決定してもよいし、履歴保持部１６４に所定量の履歴情報が蓄積されたときに、キーに割り当てる音声データを決定してもよい。打鍵音声制御部１８７は、キーに割り当てる音声データを決定すると、図６に示したマップを作成して保持する。

打鍵音声制御部１８７は、入力ミスの頻度が高いキーから順に、より高い又はより大きな音を割り当ててもよいし、入力頻度が高いキーから順に、より高い又はより大きな音を割り当ててもよい。また、より入力ミスの頻度が高いキーの対に、より高さの異なる音を割り当ててもよい。入力ミスの頻度が高いキーの対に、異なる音色の音を割り当ててもよい。

打鍵音声制御部１８７は、所定のタイミングで、履歴保持部１６４に保持されたキーの履歴情報を参照し、キーに割り当てられた音声データを変更する。打鍵音声制御部１８７は、キーに割り当てられた音声データを別の音声データに変更してもよいし、ピッチや振幅などを変更して音声データを加工してもよい。打鍵音声制御部１８７は、入力ミスが発生したキーの対に割り当てられた音声データの音の高さの差が更に広くなるように音声データを変更又は加工してもよい。打鍵音声制御部１８７は、音声データを加工した場合、加工した音声データを音声データ保持部１６６に格納する。打鍵音声制御部１８７は、キーに割り当てる音声データを変更すると、図６に示したマップを更新する。

打鍵音声制御部１８７は、キーの表示領域内における入力位置に応じて、そのキーに割り当てられた音声データを加工して出力してもよい。以下に加工の具体的な一例を示すが、これらに限定されない。図９は、キーの入力位置を複数の領域に分割した様子を示す。図９では、正方形のキー２１０の例を示す。入力位置がキー２１０の中心付近の領域２１２内であった場合、打鍵音声制御部１８７は、キー２１０に割り当てられた音声データを出力する。入力位置がキー２１０の中心から上方向にずれた領域２２２及び２２４内であった場合、打鍵音声制御部１８７は、キー２１０に割り当てられた音声データのピッチを上げてから出力する。打鍵音声制御部１８７は、入力位置が領域２２４内であった場合、入力位置が領域２２４よりも中心に近い領域２２２内であった場合よりも、大きくピッチを上げる。同様に、打鍵音声制御部１８７は、入力位置がキー２１０の中心から下方向にずれた領域２２６内であった場合、音声データのピッチを下げてから出力し、より中心から遠い領域２２８内であった場合、音声データのピッチをより大きく下げてから出力する。打鍵音声制御部１８７は、入力位置がキー２１０の中心から左方向にずれた領域２３２内であった場合、音声データの振幅を小さくしてから出力し、より中心から遠い領域２３４内であった場合、振幅をより小さくしてから音声データに重ねて出力する。打鍵音声制御部１８７は、入力位置がキー２１０の中心から右方向にずれた領域２３６内であった場合、音声データの振幅を大きくしてから出力し、より中心から遠い領域２３８内であった場合、振幅をより大きくしてから音声データに重ねて出力する。これにより、入力位置がキーの中心からずれていることをユーザに気づかせることができ、誤入力を軽減することができる。図９では、４方向にそれぞれ２つずつの領域を設け、入力された領域に応じて出力する音声を決定したが、より多くの領域を設けてもよい。また、打鍵音声制御部１８７は、入力位置を用いた所定の演算式により音声データを加工してもよい。打鍵音声制御部１８７は、入力位置が中心位置から離れるほど大きく音声データを加工してもよい。

打鍵音声制御部１８７は、キーが入力されたときだけでなく、変換候補が選択されるときにも、キーに割り当てられた音声データを出力してもよい。図１０は、変換候補が表示された画面の例を示す。「isikino」という文字列が入力され、入力文字列として「いしきの」という平仮名が表示されている。変換候補取得部１８５は、履歴保持部１６４を参照して、ユーザの入力ミスをも考慮した変換候補文字列を取得して表示する。したがって、「意識の」などの変換候補文字列の他に、「意識に」や「意識も」などの訂正候補文字列も表示されている。ここで、ユーザが「意識に」という変換候補文字列２４０を選択しようとすると、打鍵音声制御部１８７は、「意識に」という文字列を入力するためのキーである「isikini」に対応するそれぞれの音声データを連続して出力する。すなわち、「i」に割り当てられた打鍵音、「s」に割り当てられた打鍵音、「i」に割り当てられた打鍵音、・・・を連続的に出力する。これにより、ユーザは、訂正候補文字列を、出力される音声によっても確認することができる。打鍵音声制御部１８７は、逆に、マイク３９を介してユーザから音声を取得し、取得した音声を解析することにより音声に対応するキーを判定し、キーの入力を受け付けてもよい。

図１１は、打鍵画像が表示された画面の例を示す。打鍵画像制御部１８８は、入力受付部１８１がオンスクリーンキーボード２００に対する入力を受け付けると、入力されたキーの情報を入力受付部１８１から取得し、入力されたキーに割り当てられた画像データを画像データ保持部１６８から読み出し、表示装置２０に表示する。図１１においては、入力位置２５０は「s」のキーの中心付近であるから、打鍵画像制御部１８８は、「s」の中心が入力されたことを示す画像２６０を表示する。

図１２は、打鍵画像が表示された画面の例を示す。図１２においては、入力位置２５０は「s」のキーの中心から右にずれた位置であるから、打鍵画像制御部１８８は、「s」の右側が入力されたことを示す画像２６２を表示する。画像２６２は、長方形が中心を通る上下方向の直線を軸にして右側が奧に左側が手前になるように回転された形状になっているので、キーの右側を入力したことをユーザに理解させることができる。

図１３は、打鍵画像が表示された画面の例を示す。ユーザが、「d」を入力しようとして、図１２の入力位置２５０を入力したとする。このとき、ユーザは、「s」に割り当てられた音声が出力され、「s」が入力されたことを示す画像２６２が表示されるので、誤って「s」を入力してしまったことに気づく。ユーザは、入力位置２５０に触れた指を前面タッチパッド２１から離さずに、「ｓ」の位置から「ｄ」の位置へ右方向に移動させることにより、入力位置２５０を修正することができる。すなわち、入力受付部１８１は、ユーザが最初に前面タッチパッド２１に触れた入力位置２５０ではなく、ユーザが前面タッチパッド２１から指を離したときの入力位置２５０に対応するキーの入力を受け付ける。図１３においては、入力位置２５０が「s」の更に右側にずれた位置になっているから、打鍵画像制御部１８８は、「s」の右側が入力されたことを示す画像２６４を表示する。画像２６４は、図１２に示した画像２６２よりも更に右側が奧に左側が手前になるように回転された形状になっているので、入力位置が更に右にずれたことをユーザに理解させることができる。

図１４は、打鍵画像が表示された画面の例を示す。図１４においては、ユーザが更に指を右に移動させ、入力位置２５０が「d」の左側に移動している。打鍵画像制御部１８８は、「d」の左側が入力されたことを示す画像２６６を表示する。これにより、入力位置２５０が「s」のキーの位置から「d」のキーの位置へ移動したことをユーザに理解させることができる。

図１５は、打鍵画像が表示された画面の例を示す。図１５においては、ユーザが更に指を右に移動させ、入力位置２５０が「d」の中心に移動している。打鍵画像制御部１８８は、「d」の中心が入力されたことを示す画像２６９を表示する。ここでユーザが入力位置２５０から指を離すと、入力受付部１８１は、キー「d」の入力を受け付ける。これにより、ユーザは、現在の入力位置を音声及び画像により確認しながら入力位置を移動させ、所望のキーを入力することができるので、オンスクリーンキーボードの利便性を向上させることができる。

ユーザが前面タッチパッド２１に指を触れたまま入力位置２５０を移動させている間、打鍵音声制御部１８７は、入力位置２５０に対応する音声を出力してもよい。打鍵音声制御部１８７は、入力位置２５０に対応する音声を連続的又は断続的に出力してもよい。打鍵音声制御部１８７は、入力位置２５０がキーの中心から所定距離以上ずれたとき、そのキーに割り当てられた音声と、移動方向にあるキーに割り当てられた音声を重ねて出力してもよい。打鍵音声制御部１８７は、入力位置と両キーの中心位置との距離に応じて、両キーに割り当てられた音声の混合割合を決定してもよい。例えば、図１２に示した例では「s」に割り当てられた音声のみを出力し、図１３に示した例では「s」に割り当てられた音声と「d」に割り当てられた音声を２：１の割合で混合して出力し、図１４に示した例では「s」に割り当てられた音声と「d」に割り当てられた音声を１：２の割合で混合して出力し、図１５に示した例では「d」に割り当てられた音声のみを出力してもよい。打鍵音声制御部１８７は、音声を出力すべき所定のタイミングで、そのときの入力位置２５０に対応して出力すべき音声を決定し、決定した音声をスピーカ２５に出力してもよい。これにより、ユーザは、入力位置とキーの位置との関係を音声により意識しながら入力位置を移動させる操作を行うことができるので、オンスクリーンキーボードの利便性を向上させることができる。打鍵音声制御部１８７は、ユーザが入力位置２５０から指を離すときに、その位置に対応するキー、すなわち、実際に入力されるキーに割り当てられた音声を再度出力してもよい。

図１６は、実施の形態に係る入力方法の手順を示すフローチャートである。入力受付部１８１がオンスクリーンキーボードに対する入力を受け付けると（Ｓ１００のＹ）、打鍵音声制御部１８７は、入力されたキーの種類及びキー内での入力位置に応じて打鍵音声を決定し（Ｓ１０２）、音声データを音声データ保持部１６６から読み出してスピーカ２５に出力する（Ｓ１０４）。打鍵画像制御部１８８は、入力されたキーの種類及びキー内での入力位置に応じて打鍵画像を決定し（Ｓ１０６）、画像データを画像データ保持部１６８から読み出して表示装置２０に表示する（Ｓ１０８）。オンスクリーンキーボードに対する入力を受け付けない場合は（Ｓ１００のＮ）、Ｓ１０２〜Ｓ１０８をスキップする。

このような技術によれば、入力した対象を音声によりフィードバックするので、ユーザが何を入力したのかを確認することができ、誤入力があったとしても気づかせることができる。また、タッチパッド上の入力位置が指で隠れて見えにくい場合や、カーナビゲーションシステムを利用する際に画面を注視することができない場合などであっても、入力対象を音声で確認することができる。この技術は、オンスクリーンキーボードの柔軟性を損なうことなく適用することが可能である。また、それぞれのキー内の位置に応じて打鍵音又は打鍵画像を異ならせるので、キーの中央付近を入力しているかどうかをユーザにフィードバックすることができ、誤入力の少ない入力習慣をユーザに身につけさせることができる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記の実施例では、オンスクリーンキーボードのキーを入力するときに、キーに応じた音声を出力したが、変形例では、入力対象はオンスクリーンキーボードに限られない。例えば、タッチパネルを利用したゲームなどにおいて、キャラクタやオブジェクトなどをタッチさせる場合に、キャラクタやオブジェクトの種類に応じた音声を出力してもよい。この場合も、出力された音声により入力対象を確認することができるので、ユーザの利便性を向上させることができる。

１０ ゲーム装置、２０ 表示装置、２１ 前面タッチパッド、２５ スピーカ、３２ 背面タッチパッド、７０ 操作部、１４０ 制御部、１４２ アプリケーション、１６０ キーボード保持部、１６２ 辞書データ保持部、１６４ 履歴保持部、１６６ 音声データ保持部、１６８ 画像データ保持部、１８０ 入力制御部、１８１ 入力受付部、１８２ キーボード表示部、１８３ 出力部、１８４ 入力文字列取得部、１８５ 変換候補取得部、１８６ 変換候補表示部、１８７ 打鍵音声制御部、１８８ 打鍵画像制御部、１８９ 入力履歴管理部。

Claims (9)

1. コンピュータを、
   入力可能な複数の文字を画面に表示する表示部、
   ユーザから位置の入力を受け付け、前記複数の文字の中から前記入力の位置に対応する文字を選択する入力受付部、
   前記複数の文字に割り当てられた、それぞれ異なる音声データを保持する音声データ保持部から、前記入力受付部により選択された文字に割り当てられた音声データを読み出して出力する音声制御部、
   前記入力受付部により選択された文字、又は、前記入力受付部により選択された文字を含む文字列を変換した変換文字列を出力する出力部、
   として機能させるためのコンピュータプログラム。
2. コンピュータを、前記入力受付部により選択された文字の履歴を履歴保持部に記録する履歴管理部として更に機能させ、
   前記音声制御部は、前記履歴保持部に保持された履歴を参照して、前記複数の文字に音声データを割り当てる
   ことを特徴とする請求項１に記載のコンピュータプログラム。
3. 前記音声制御部は、前記文字の表示領域における前記入力の位置に応じて、異なる音声データを出力することを特徴とする請求項１又は２に記載のコンピュータプログラム。
4. 前記音声制御部は、前記入力の位置が変更されると、変更後の位置に応じた音声データを出力することを特徴とする請求項３に記載のコンピュータプログラム。
5. コンピュータを、前記複数の文字に割り当てられた、それぞれ異なる画像データを保持する画像データ保持部から、前記入力受付部により選択された文字に割り当てられた画像データを読み出して表示する画像制御部として更に機能させ、
   前記画像制御部は、前記文字の表示領域における前記入力の位置に応じて、異なる画像データを表示することを特徴とする請求項１から３のいずれかに記載のコンピュータプログラム。
6. 前記画像制御部は、前記入力の位置が変更されると、変更後の位置に応じた画像データを表示することを特徴とする請求項５に記載のコンピュータプログラム。
7. 入力可能な複数の文字を画面に表示する表示部と、
   ユーザから位置の入力を受け付け、前記複数の文字の中から前記入力の位置に対応する文字を選択する入力受付部と、
   前記複数の文字に割り当てられた、それぞれ異なる音声データを保持する音声データ保持部と、
   前記音声データ保持部から、前記入力受付部により選択された文字に割り当てられた音声データを読み出して出力する音声制御部と、
   前記入力受付部により選択された文字、又は、前記入力受付部により選択された文字を含む文字列を変換した変換文字列を出力する出力部と、
   を備えることを特徴とする入力装置。
8. 表示部が、入力可能な複数の文字を画面に表示するステップと、
   入力受付部が、ユーザから位置の入力を受け付け、前記複数の文字の中から前記入力の位置に対応する文字を選択するステップと、
   音声制御部が、前記複数の文字に割り当てられた、それぞれ異なる音声データを保持する音声データ保持部から、前記入力受付部により選択された文字に割り当てられた音声データを読み出して出力するステップと、
   出力部が、前記入力受付部により選択された文字、又は、前記入力受付部により選択された文字を含む文字列を変換した変換文字列を出力するステップと、
   ことを特徴とする入力方法。
9. 請求項１から６のいずれかに記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images