JP2010244253A - 情報処理装置、通知方法、およびプログラム - Google Patents

情報処理装置、通知方法、およびプログラム Download PDF

Info

Publication number
JP2010244253A
JP2010244253A JP2009091306A JP2009091306A JP2010244253A JP 2010244253 A JP2010244253 A JP 2010244253A JP 2009091306 A JP2009091306 A JP 2009091306A JP 2009091306 A JP2009091306 A JP 2009091306A JP 2010244253 A JP2010244253 A JP 2010244253A
Authority
JP
Japan
Prior art keywords
key
processing apparatus
information processing
virtual
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009091306A
Other languages
English (en)
Inventor
Fumitada Honma
文規 本間
Tatsushi Nashida
辰志 梨子田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009091306A priority Critical patent/JP2010244253A/ja
Priority to US12/726,432 priority patent/US8619046B2/en
Priority to CN2010101414646A priority patent/CN101859223B/zh
Publication of JP2010244253A publication Critical patent/JP2010244253A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves

Abstract

【課題】表示画面に表示された仮想的な入力インタフェースにおけるユーザの利便性の向上を図ることが可能な情報処理装置、通知方法、およびプログラムを提供する。
【解決手段】表示画面に複数の仮想操作キーを所定のキー配列で表示し、表示画面に対するユーザ操作を検出する操作表示部と、操作表示部における振動の変化を検出する振動検出部と、操作表示部における検出結果と振動検出部における検出結果とに基づいて、仮想操作キーそれぞれに対するキー入力操作を判定するキー操作判定部と、キー操作判定部における、仮想操作キーそれぞれに対してキー入力操作が行われておらず、かつ操作表示部の検出結果に対応する仮想操作キーが基準位置を規定する基準仮想操作キーであることを示す判定結果に基づいて、ユーザに対する通知を選択的に行わせる通知制御部とを備える情報処理装置が提供される。
【選択図】図6

Description

本発明は、情報処理装置、通知方法、およびプログラムに関する。
近年、表示画面に表示させたアイコンや仮想操作キーにユーザが触れることによって入力を可能とする、いわゆるオン・スクリーン・キーボード(以下、「OSK」という。)を備える電子機器が登場している。ここで、OSKは、例えば物理的な入力インタフェースであるハードウェア・キーボードと同様の所定のキー配列で、文字入力のための複数の仮想操作キーをタッチスクリーンの表示画面上に表示させたものであり、仮想的な入力インタフェースの一種であるといえる。また、OSKは、例えば、PC(Personal Computer)などの電子機器の小型化、機器形態や使用環境の変化、デザイン性、機能性の重視などを要因として登場した入力インタフェースであり、有効な入力インタフェースの一つとして着目されている。
このような中、仮想的な入力インタフェースにおいてユーザの利便性を向上させるための技術が開発されている。キー入力操作の基準となる基準位置(いわゆるホームポジション)を規定する仮想操作キーの位置を、ユーザ操作に基づいて任意に設定可能とする技術としては、例えば、特許文献1が挙げられる。
特開2004−54589号公報
物理的な入力インタフェースであるハードウェア・キーボードでは、キー入力操作の基準となる基準位置(いわゆるホームポジション。以下、同様とする。)を規定する所定の操作キーであるFキーおよびJキーに突起が設けられる。キーボードの所定の操作キーに突起が設けられることによって、ユーザは、所定の操作キーに指が触れていることを触覚的に認識することができる。よって、ユーザは、ハードウェア・キーボードを視覚的に確認することなく、キー入力操作を行うことができる(ユーザは、いわゆるブラインドタッチを行うことができる。)。つまり、ハードウェア・キーボードを用いる場合には、ユーザは、より高速なタイピング操作を行うことが可能となる。
ここで、仮想的な入力インタフェースにおいてユーザの利便性を向上させるための従来の技術(以下、単に「従来の技術」とよぶ。)は、タッチパネルにおけるユーザ操作に応じた圧力の変化に基づいて、ユーザ操作に基づいて基準位置を規定する仮想操作キーの位置を動的に変更可能とする。しかしながら、従来の技術は、FキーやJキーに対応する基準位置を規定する仮想操作キー(以下、「基準仮想操作キー」とよぶ場合がある。)を視覚的に表示することしかできない。つまり、従来の技術が適用された情報処理装置(以下、「従来の情報処理」とよぶ場合がある。)を用いるユーザは、基準位置を視覚的に確認しなければ基準位置を把握することはできない。
よって、従来の情報処理装置を用いる場合には、ユーザは、基準仮想操作キーを視覚的に確認し、基準仮想操作キーの位置に指の位置を合わせなければ、ブラインドタッチを実現することはできない。また、従来の情報処理装置を用いる場合、ユーザが一旦仮想的な入力インタフェースから手を離したときには、ユーザは、再度視覚的に基準仮想操作キーを確認し、基準仮想操作キーの位置に指の位置を合わせなければ、ブラインドタッチを実現することはできない。
したがって、従来の情報処理装置を用いたとしても、例えばタッチパネル上に表示されたOSKなどの表示画面に表示された仮想的な入力インタフェースにおけるユーザの利便性の向上は、望むべくもない。
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、表示画面に表示された仮想的な入力インタフェースにおけるユーザの利便性の向上を図ることが可能な、新規かつ改良された情報処理装置、通知方法、およびプログラムを提供することにある。
上記目的を達成するために、本発明の第1の観点によれば、表示画面に複数の仮想操作キーを所定のキー配列で表示し、上記表示画面に対するユーザ操作を検出する操作表示部と、上記操作表示部における振動の変化を検出する振動検出部と、上記操作表示部における検出結果と、上記振動検出部における検出結果とに基づいて、上記仮想操作キーそれぞれに対するキー入力操作を判定するキー操作判定部と、上記キー操作判定部における、上記仮想操作キーそれぞれに対してキー入力操作が行われておらず、かつ上記操作表示部の検出結果に対応する仮想操作キーが基準位置を規定する基準仮想操作キーであることを示す判定結果に基づいて、ユーザに対する通知を選択的に行わせる通知制御部とを備える情報処理装置が提供される。
かかる構成により、表示画面に表示された仮想的な入力インタフェースにおけるユーザの利便性の向上を図ることができる。
また、上記キー操作判定部は、上記ユーザ操作が検出されてから所定の時間における検出された振動の変化量を導出し、導出した上記変化量に基づいて上記仮想操作キーそれぞれに対するキー入力操作を判定してもよい。
また、上記キー操作判定部は、上記変化量が所定の閾値以上、または所定の閾値より大きい場合に、上記操作表示部の検出結果に対応する仮想操作キーに対してキー入力操作が行われたと判定してもよい。
また、上記キー操作判定部は、上記操作表示部の検出結果に対応する仮想操作キーに対してキー入力操作が行われたと判定されず、かつ、上記ユーザ操作が検出されてから所定の時間内に再度ユーザ操作が検出されない場合に、上記操作表示部の検出結果に対応する仮想操作キーが上記基準仮想操作キーであるか否かを判定してもよい。
また、上記キー操作判定部における判定結果に基づいて、上記操作表示部の検出結果に対応する仮想操作キーに対するキー入力を選択的に有効化/無効化するキー入力制御部をさらに備えてもよい。
また、上記キー入力制御部は、上記キー操作判定部における上記仮想操作キーそれぞれに対してキー入力操作が行われていないことを示す判定結果に基づいて、上記キー入力を無効化してもよい。
また、上記通知制御部により制御され、ユーザに対する通知を選択的に行う通知部をさらに備えてもよい。
上記目的を達成するために、本発明の第2の観点によれば、表示画面に複数の仮想操作キーを所定のキー配列で表示し、上記表示画面に対するユーザ操作を検出する操作表示部の検出結果と、上記操作表示部における振動の変化を検出する振動検出部の検出結果とに基づいて、上記仮想操作キーそれぞれに対するキー入力操作を判定するステップと、上記判定するステップにおける、上記仮想操作キーそれぞれに対してキー入力操作が行われておらず、かつ上記操作表示部の検出結果に対応する仮想操作キーが基準位置を規定する基準仮想操作キーであることを示す判定結果に基づいて、ユーザに対する通知を選択的に行うステップとを有する通知方法が提供される。
かかる方法を用いることにより、表示画面に表示された仮想的な入力インタフェースにおけるユーザの利便性の向上を図ることができる。
上記目的を達成するために、本発明の第3の観点によれば、表示画面に複数の仮想操作キーを所定のキー配列で表示し、上記表示画面に対するユーザ操作を検出する操作表示部の検出結果と、上記操作表示部における振動の変化を検出する振動検出部の検出結果とに基づいて、上記仮想操作キーそれぞれに対するキー入力操作を判定するステップ、上記判定するステップにおける、上記仮想操作キーそれぞれに対してキー入力操作が行われておらず、かつ上記操作表示部の検出結果に対応する仮想操作キーが基準位置を規定する基準仮想操作キーであることを示す判定結果に基づいて、ユーザに対する通知を選択的に行うステップをコンピュータに実行させるためのプログラムが提供される。
かかるプログラムを用いることにより、表示画面に表示された仮想的な入力インタフェースにおけるユーザの利便性の向上を図ることができる。
本発明によれば、表示画面に表示された仮想的な入力インタフェースにおけるユーザの利便性の向上を図ることができる。
本発明の実施形態に係る情報処理装置の表示画面に表示された仮想的な入力インタフェースの一例を示す説明図である。 本発明の実施形態に係る情報処理装置が備える振動検出デバイスにおける検出結果の一例を示す説明図である。 本発明の実施形態に係る情報処理装置が備える振動検出デバイスにおける検出結果の一例を示す説明図である。 本発明の実施形態に係る情報処理装置が備える振動検出デバイスにおける検出結果の一例を示す説明図である。 本発明の実施形態に係る情報処理装置のキー入力操作判定処理の一例を示す説明図である。 本発明の実施形態に係る情報処理装置のキー入力操作判定処理の一例を示す説明図である。 本発明の実施形態に係る情報処理装置のキー入力操作判定処理の一例を示す説明図である。 本発明の実施形態に係る情報処理装置における通知手段の他の例を示す説明図である。 本発明の実施形態に係る情報処理装置における通知手段の他の例を示す説明図である。 本発明の実施形態に係る情報処理装置における処理の一例を示す説明図である。 本発明の実施形態に係る情報処理装置の構成の一例を示す説明図である。 本発明の実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
1.本発明の実施形態に係るアプローチ
2.本発明の実施形態に係る情報処理装置
3.本発明の実施形態に係るプログラム
(本発明の実施形態に係るアプローチ)
本発明の実施形態に係る情報処理装置(以下、「情報処理装置100」という。)について説明する前に、本発明の実施形態に係る表示画面に表示された仮想的な入力インタフェースにおけるユーザの利便性向上アプローチについて説明する。
[本発明の実施形態に係る仮想的な入力インタフェースの一例]
図1は、本発明の実施形態に係る情報処理装置100の表示画面に表示された仮想的な入力インタフェースの一例を示す説明図である。ここで、図1は、情報処理装置100を構成するタッチスクリーン(後述する操作表示部の一例)の表示画面上に表示された画像の一例を示している。以下では、本発明の実施形態に係る情報処理装置100が備える操作表示部(後述する)の一例として、表示画面に対するユーザ操作を検出することが可能な静電式のタッチスクリーンを例に挙げて説明する。なお、本発明の実施形態に係る情報処理装置100が備える操作表示部(後述する)が、例えば感圧式のタッチスクリーンで実現することも可能であることは、言うまでもない。
図1に示すように、表示画面には、仮想的な入力インタフェースとしての仮想的なキーボードであるOSK(図1では符号OSKで示す。)が、表示される(割り付けられる)。また、本発明の実施形態に係るOSKは、図1に示すように、表示画面に複数の仮想操作キー(例えば、Aキー、Sキーなど)が所定のキー配列で表示される。ここで、情報処理装置100の表示画面に表示される仮想操作キーは、例えば文字入力のために用いられるが、上記に限られない。例えば、情報処理装置100の表示画面に表示される仮想操作キーは、情報処理装置100に所定の処理を行わせるためのトリガとして用いられてもよい。
ここで、図1では、基準位置を規定する基準仮想操作キーに相当するFキー(図1では符号K1を付している。)およびJキー(図1では符号K2を付している。)とが、視覚的に他の仮想操作キーと異なるように表示される例を示している。図1に示すように、情報処理装置100が、いわゆるホームポジションの基準となるFキーおよびJキーを、他の仮想操作キーと視覚的に異なるように表示させることによって、ユーザは、ホームポジションの基準となる仮想操作キーを視覚的に認識することができる。
情報処理装置100のユーザは、表示画面に表示されたOSKをハードウェア・キーボードと同様にキー入力操作を行うことによって、例えば情報処理装置100に対して入力を所望する文字を入力する(情報処理装置100に文字を認識させる)。ここで、本発明の実施形態に係る「キー入力操作」とは、仮想操作キーが示す文字の入力(または所定の処理の実行)を情報処理装置100に認識させるためのユーザ操作である。キー入力操作としては、例えばユーザが意図的に仮想操作キーを押下することが挙げられる。
なお、本発明の実施形態に係る仮想的な入力インタフェースは、図1に示すOSKに限られない。例えば、本発明の実施形態に係る仮想的な入力インタフェースは、EnterキーやShiftキーなど様々な仮想操作キーをさらに設けることができる。また、本発明の実施形態に係る仮想的な入力インタフェースは、例えばアイコンのように画像で表された仮想操作キーを設けることもできる。以下では、例えば図1に示すタッチスクリーン上に表示されたOSKのように、タッチスクリーンを用いた仮想的な入力インタフェースを、「仮想入力インタフェース」とよぶ場合がある。
[仮想入力インタフェースにおいて生じうる問題の一例]
ここで、例えば図1に示すタッチスクリーン上に表示されたOSKのように、タッチスクリーンを用いて仮想的な入力インタフェースを実現することによって、表示画面に対するユーザ操作を検出することができる。しかしながら、タッチスクリーンを用いて仮想的な入力インタフェースを実現する場合には、ハードウェア・キーボードでは生じる可能性が低い新たな問題が生じうる。上記新たな問題とは、例えば、ハードウェア・キーボードを用いる場合には、ユーザが操作キーに「触ること」と、操作キーを「押下すること」とが判別されるのに対して、仮想入力インタフェースを用いる場合には、上記を判別することができないことである。つまり、ユーザがキー入力操作を意図しないで仮想操作キーに触った場合であっても、仮想入力インタフェースに対してキー入力操作がされたものと捉えられてしまう。上記は、仮想入力インタフェースを構成するタッチスクリーンが、触れられたか否かしか検出することができないことに起因する。以下では、タッチスクリーンが検出する触れられた状態をタッチスクリーンへの“タッチ”とよび、また、このときのユーザ操作も“タッチ”とよぶ場合がある。
よって、タッチスクリーンを用いる仮想的な入力インタフェースにおいてユーザがいわゆるホームポジションに手を置いた場合であっても、情報処理装置は、当該仮想的な入力インタフェースに対してキー入力操作が行われたと誤認識する恐れがある。ここで、上記のような誤認識が生じた場合には、ユーザは、適宜入力された文字を修正しなければならず、また、上記のような誤認識が生じる場合には、ユーザは、いわゆるホームポジションに指を置くことはできない。つまり、仮想入力インタフェースが用いられる情報処理装置において上記のような誤認識が生じる場合には、ユーザは、ブラインドタッチを実現することはできない。
したがって、タッチスクリーンを用いた仮想的な入力インタフェースをユーザに提供する情報処理装置では、ユーザが仮想操作キーに触った状態と、ユーザがキー入力操作を行った状態とを判別しなければ、ユーザの利便性を向上させることはできない。
[本発明の実施形態に係る利便性向上アプローチの概要]
上記のように、タッチスクリーンを用いた仮想的な入力インタフェースをユーザに提供する情報処理装置では、ユーザが仮想操作キーに触った状態と、ユーザがキー入力操作を行った状態とを判別しなければ、ユーザの利便性を向上させることはできない。
また、上述したように従来の技術を用いた場合には、ユーザは、視覚的に基準仮想操作キーを確認しなければ、指を基準仮想操作キーの位置に合わせることができず、指が基準仮想操作キー上にあるか否かを把握することすら困難である。つまり、従来の技術を用いたとしてもブラインドタッチを実現することは困難であるといえる。よって、従来の技術を用いたとしても、ユーザの利便性の向上は望めない。
そこで、本発明の実施形態に係る情報処理装置100は、例えば、以下の(1)の処理、(2)の処理によって、図1に示すような表示画面に表示された仮想的な入力インタフェースにおけるユーザの利便性の向上を図る。
(1)キー入力操作判定処理
上記のように、仮想入力インタフェースを構成するタッチスクリーン(後述する操作表示部の一例)は、タッチされたか否かしか判別することができない。そこで、情報処理装置100は、例えば、ジャイロセンサや加速度センサなど振動を検出可能な振動検出デバイス(後述する振動検出部の一例)を備え、タッチスクリーンにおける振動を検出する。そして、情報処理装置100は、タッチスクリーンにおける検出結果と、振動検出デバイスにおける検出結果とに基づいて、仮想操作キーそれぞれに対するキー入力操作を判定する。
図2A〜図2Cは、本発明の実施形態に係る情報処理装置100が備える振動検出デバイスにおける検出結果の一例を示す説明図である。ここで、図2A〜図2Cに示すAは、ユーザ操作の一例を示しており、図2A〜図2Cに示すBは、振動検出デバイスが3軸のジャイロセンサである場合における検出結果の一例を示している。また、図2Aは、ユーザがタッチスクリーンTSをタッチした場合を示しており、図2Bは、ユーザがタッチスクリーンTSをタッチした状態を解除した場合を示している。以下では、図2BのAに示すユーザ動作、すなわちユーザがタッチスクリーンから指を離す動作を、“リリース”とよぶ場合がある。また、図2Cは、ユーザがタッチスクリーンTS上をスライドさせた場合を示している。
情報処理装置100は、振動検出デバイスを備えることによって、ユーザ操作に応じた振動量を表す振動情報を、振動検出デバイスにおける検出結果として取得することができる。ここで、情報処理装置100は、振動検出デバイスから得られる検出結果を、例えば情報処理装置100が備える記憶部(後述する)に振動情報として記録するが、上記に限られない。例えば、情報処理装置100は、メモリスティックやSDカードなどの着脱可能な外部記録媒体や、ネットワークなどを介して(あるいは直接的に)通信可能な外部装置に振動情報を記録することもできる。
より具体的に(1)の処理について説明すると、情報処理装置100は、タッチスクリーンにおける検出結果に基づいて仮想操作キーへのタッチが行われたか否かを判定する。ここで、情報処理装置100におけるタッチが行われたか否かの判定は、ユーザ操作が行われたか否かの判定に相当する。
仮想操作キーへのタッチが行われたと判定された場合には、情報処理装置100は、タッチが検出されてから所定の時間における振動の変化量を導出し、導出した変化量に基づいて仮想操作キーそれぞれに対するキー入力操作を判定する。ここで、情報処理装置100は、例えば、記憶部(後述する)に記憶された振動情報を用いて上記変化量を導出する。また、情報処理装置100は、例えば、導出した変化量が所定の閾値以上、または所定の閾値より大きい場合に、タッチスクリーンにおける検出結果に対応する仮想操作キーに対してキー入力操作が行われたと判定する。上記閾値の情報は、例えば、情報処理装置100が備える記憶部(後述する)に記憶されるが、上記に限られない。また、上記閾値の値は、予め設定された固定の値であってもよいし、例えば、ユーザ操作により適宜設定可能な値であってもよい。
また、反対に、タッチスクリーンにおける検出結果に対応する仮想操作キーに対してキー入力操作が行われたと判定されない場合には、情報処理装置100は、ユーザが当該仮想操作キーに「触った」ものと判定することができる。
〔キー入力操作判定処理の一例〕
図3A〜図3Cは、本発明の実施形態に係る情報処理装置100のキー入力操作判定処理の一例を示す説明図である。図3A〜図3Cに示すAおよびBは、それぞれ図2A〜図2Cと同様に、ユーザ操作の一例と当該ユーザ操作に対応する検出結果の一例を示している。なお、ユーザ操作と当該ユーザ操作に対応する検出結果とは、図3A〜図3Cに示す例に限られない。
〔A〕第1の例(図3A)
図3AのAに示すように、ユーザが、タッチスクリーンTSをタッチしその後リリースした場合には、図3AのBに示すような検出結果が得られる。情報処理装置100は、所定の時間tにおける変化量の総和(例えば、変化量の絶対値の総和)と所定の閾値とに基づいて、キー入力操作が行われたか否かを判定する。
〔B〕第2の例(図3B)
図3BのAに示すように、ユーザが、タッチスクリーンTSから指をリリースした場合には、図3BのBに示すような検出結果が得られる。情報処理装置100は、図3Aの場合と同様に、所定の時間tにおける変化量の総和と所定の閾値とに基づいて、キー入力操作が行われたか否かを判定する。
〔C〕第3の例(図3C)
図3CのAに示すように、ユーザが、タッチスクリーンTSをタッチした場合には、タッチの強さに応じて図3CのBに示すような検出結果が得られる。情報処理装置100は、図3Aの場合と同様に、所定の時間tにおける変化量の総和と所定の閾値とに基づいて、キー入力操作が行われたか否かを判定する。
情報処理装置100は、例えば、図3A〜図3CのBに示すような振動検出デバイスにおける検出結果に基づいて変化量を導出し、キー入力操作が行われたか否かを判定する。例えば図3A〜図3Cに示す第1の例〜第3の例では、情報処理装置100は、第1の例(図3A)および第3の例(図3C)の場合にキー入力操作が行われたと判定し、第2の例(図3B)の場合にキー入力操作が行われたと判定しないが、上記に限られない。
情報処理装置100は、例えば上記のように、タッチスクリーンにおける検出結果と、振動検出デバイスにおける検出結果とに基づいて、仮想操作キーそれぞれに対するキー入力操作を判定する。したがって、情報処理装置100は、(1)の処理によって、ハードウェア・キーボードを用いる場合と同様に、ユーザが仮想操作キーに「触ること」と、仮想操作キーを「押下すること」とを判別することができる。
また、情報処理装置100は、(1)の処理の結果(判定結果)に基づいて、仮想操作キーに対するキー入力を選択的に有効化/無効化する。より具体的には、情報処理装置100は、キー入力操作が行われたと判定された場合にキー入力を選択的に有効化し、また、キー入力操作が行われたと判定されない場合にキー入力を選択的に無効化する。
キー入力を選択的に無効化することによって、情報処理装置100は、ユーザがタッチスクリーン上においていわゆるホームポジションに手を置いた場合であっても、キー入力操作が行われたと誤認識することを防止することができる。
(2)通知処理
上記(1)の処理によって、情報処理装置100は、ユーザが仮想操作キーに「触ること」と、仮想操作キーを「押下すること」とを判別することができる。ここで、従来の技術を用いる場合のようにユーザが視覚的に基準仮想操作キーを確認しなければ指が基準仮想操作キーの位置にあるか否かをユーザが把握できない場合には、ユーザがブラインドタッチを行うことは困難であり、ユーザの利便性向上は望めない。
そこで、情報処理装置100は、上記(1)の処理においてユーザが仮想操作キーに「触った」ものと判定され、かつ、当該判定に係る仮想操作キーが、基準仮想操作キー(Fキー/Jキー)である場合に、ユーザに対する通知を選択的に行う。ここで、情報処理装置100における選択的な通知は、ハードウェア・キーボードにおけるFキーおよびJキーに設けられた突起と同様に、ユーザの指が基準仮想操作キーに位置することをユーザにフィードバックする役目を果たす。
より具体的には、情報処理装置100は、例えば、キー入力操作が行われておらず、かつタッチスクリーンにおける検出結果に対応する仮想操作キーが基準仮想操作キーであることを示す判定結果が上記(1)の処理において得られた場合に、ユーザに対する通知を選択的に行う。
また、情報処理装置100における通知手段としては、例えば、振動による通知(触覚的な通知)や、音による通知(聴覚的な通知)、LED(Light Emitting Diode)の点灯による通知(視覚的な通知)が挙げられるが、上記に限られない。例えば、情報処理装置100は、上記のような通知手段を任意に組み合わせることによって、ユーザに通知を行うこともできる。また、情報処理装置100は、例えば、キー入力操作が有効の場合(すなわち「押下」と判定さえた場合)と、無効の場合(すなわち「触っている」と判定された場合)における基準仮想操作キーの表示方法を変更することもできる。
図4A、図4Bは、本発明の実施形態に係る情報処理装置100における通知手段の他の例を示す説明図である。ここで、図4Aは、情報処理装置100がJキーに「触っている」と判定した場合における表示の一例を示している。また、図4Bは、情報処理装置100がJキーを「押下した」と判定した場合における表示の一例を示している。
図4A、図4Bに示すように、情報処理装置100が、判定結果に応じて基準仮想操作キーの表示方法を変更することによって、ユーザは、「触っている」と判定されているのか、「押下した」と判定されているのかを視覚的に認識することができる。なお、図4A,図4Bでは、Jキー(基準仮想操作キー)に対する表示例を示しているが、本発明の実施形態に係る情報処理装置100が、他の仮想操作キーに対しても同様の表示を行うことができることは、言うまでもない。
情報処理装置100が、上記(1)の処理の処理結果に基づいてユーザに対して選択的に通知を行うことによって、ユーザは、指が基準仮想操作キーに位置することを把握することができる。つまり、情報処理装置100を用いるユーザは、従来の技術を用いる場合のように視覚的に基準仮想操作キーを確認することなく、指が基準仮想操作キーに位置すること、すなわちホームポジションに指が位置することを把握することができる。よって、情報処理装置100は、表示画面に表示された仮想的な入力インタフェースを用いたブラインドタッチを、従来の情報処理装置を用いる場合よりもより容易にユーザに行わせることができる。
したがって、情報処理装置100は、上記(1)の処理(キー入力操作判定処理)、および(2)の処理(通知処理)を行うことによって、表示画面に表示された仮想的な入力インタフェースにおけるユーザの利便性の向上を図ることができる。
[本発明の実施形態に係るアプローチに係る処理の具体例]
次に、情報処理装置100における本発明の実施形態に係る利便性向上アプローチに係る処理について、より具体的に説明する。図5は、本発明の実施形態に係る情報処理装置100における処理の一例を示す説明図である。
情報処理装置100は、振動情報を記録する(S100)。情報処理装置100は、振動検出デバイス(後述する振動検出部の一例)の検出結果に基づいて、例えば、記憶部(後述する)に振動情報を記録する。
ステップS100において振動情報が記録されると、情報処理装置100は、任意の仮想操作キーに対するタッチが検出されたか否かを判定する(S102)。ここで、情報処理装置100は、例えばタッチスクリーン(後述する操作表示部の一例)における検出結果に基づいてステップS102の処理を行うが、上記に限られない。
ステップS102において任意の仮想操作キーに対するタッチが検出されたと判定されない場合には、情報処理装置100は、ステップS100からの処理を繰り返す。
また、ステップS102において任意の仮想操作キーに対するタッチが検出されたと判定された場合には、情報処理装置100は、一定時間(所定の時間)内の振動変化量を導出する(S104)。ここで、ステップS104における一定時間を規定する値は、例えば、予め設定されるが、上記に限られない。例えば、ステップS104における一定時間を規定する値は、ユーザ操作により適宜設定することもできる。
ステップS104において一定時間内の振動変化量が導出されると、情報処理装置100は、変化量が閾値以上か否かを判定する(S106)。なお、ステップS106における判定条件は、上記に限られない。例えば、情報処理装置100は、ステップS106において、変化量が閾値より大きいか否かを判定することもできる。
ステップS106において変化量が閾値以上であると判定された場合は、情報処理装置100は、ユーザがタイピングを行った(キー入力操作を行った)と判断し、キー入力を有効化する(S108)。ここで、本発明の実施形態に係る「キー入力」とは、キー入力操作に対応する仮想操作キーが示す文字(または所定の処理)を、情報処理装置100が入力されたもの(または実行するもの)と認識することをいう。
ステップS108の処理によりキー入力が有効化されることによって、情報処理装置100の表示画面には、例えばキー入力操作に応じた文字が表示される。そして、情報処理装置100は、ステップS100からの処理を繰り返す。
また、ステップS106において変化量が閾値以上であると判定されない場合は、情報処理装置100は、一定時間内に仮想操作キーのリリースが検出されたか否かを判定する(S110)。
ここで、情報処理装置100は、例えば、タッチスクリーンの検出結果の変化に基づいてステップS110の処理を行うが、上記に限られない。例えば、情報処理装置100は、図2Bに示すようなリリース動作が行われた場合における振動検出デバイスの検出結果のパターンを示すパターン情報を予め記憶し、振動検出デバイスの検出結果とパターン情報とに基づいてステップS110の処理を行うこともできる。情報処理装置100は、例えば、ROM(Read Only Memory)や記憶部(後述する)などに上記パターン情報を記憶するが、上記に限らない。なお、本発明の実施形態に係る情報処理装置100におけるステップS110の処理は、上記に限られない。
また、ステップS110における一定時間を規定する値は、例えば、予め設定されるが、上記に限られない。例えば、ステップS110における一定時間を規定する値は、ユーザ操作により適宜設定することもできる。
〔一定時間内に仮想操作キーのリリースが検出されたと判定された場合〕
ステップS110において一定時間内に仮想操作キーのリリースが検出されたと判定された場合には、情報処理装置100は、タッチされていた時間を含む一定時間内の振動変化量を導出する(S112)。ここで、ステップS112の処理は、ステップS104における一定時間よりもより長い時間における振動変化量を導出することに相当する。また、情報処理装置100は、例えば、タッチが検出されてからリリースが検出されるまでの時間の値に予め設定された値を加算したした値を、ステップS112における一定時間を規定する値とするが、上記に限られない。
ステップS112において振動変化量が導出されると、情報処理装置100は、ステップS106と同様に、変化量が閾値以上か否かを判定する(S114)。なお、ステップS114における判定条件は、上記に限られない。
ステップS114において変化量が閾値以上であると判定された場合は、情報処理装置100は、ステップS108と同様に、ユーザがタイピングを行った(キー入力操作を行った)と判断し、キー入力を有効化する(S116)。そして、情報処理装置100は、ステップS100からの処理を繰り返す。
また、ステップS114において変化量が閾値以上であると判定されない場合は、情報処理装置100は、ユーザがキー入力操作を行っていないと判断し、キー入力を無効化する(S122)。ステップS122の処理によって、ユーザがタッチスクリーンに表示された仮想操作キーに触れているにも関わらず、情報処理装置100の表示画面には、触れている仮想操作キーに対応する文字は表示されない。そして、情報処理装置100は、ステップS100からの処理を繰り返す。
ステップS114の判定結果に応じてキー入力を選択的に無効化することによって、情報処理装置100は、ハードウェア・キーボードを用いる場合と同様に、ユーザが仮想操作キーに「触ること」と、仮想操作キーを「押下すること」とを判別することができる。
〔一定時間内に仮想操作キーのリリースが検出されたと判定されない場合〕
ステップS110において一定時間内に仮想操作キーのリリースが検出されたと判定されない場合には、情報処理装置100は、Fキー(基準仮想操作キー)、および/または、Jキー(基準仮想操作キー)がタッチされていたか否かを判定する(S118)。
ここで、情報処理装置100は、例えば、タッチスクリーンにおける検出結果(例えば、タッチスクリーンにおける座標の情報など)と、タッチスクリーンに表示された基準仮想操作キーの位置の情報が一致するか否かに基づいて、ステップS118の処理を行う。なお、ステップS118における判定方法は、上記に限られない。例えば、情報処理装置100は、さらにユーザの人差し指が基準仮想操作キーにタッチしているか否かを判定し、人差し指が基準仮想操作キーにタッチしていと判定した場合にFキー、および/または、Jキーがタッチされていたと判定することもできる。ここで、情報処理装置100は、例えば、タッチスクリーンに静電センサを設け、静電センサの検出結果と、ユーザの手の形に係るデータ(例えば、指の長さや位置関係を示すデータ)とに基づいて、上記判定を行うが、上記に限られない。
ステップS118において、Fキー(基準仮想操作キー)、および/または、Jキー(基準仮想操作キー)がタッチされていたと判定されない場合には、情報処理装置100は、ユーザがキー入力操作を行っていないと判断しキー入力を無効化する(S122)。そして、情報処理装置100は、ステップS100からの処理を繰り返す。
また、ステップS118において、Fキー(基準仮想操作キー)、および/または、Jキー(基準仮想操作キー)がタッチされていたと判定された場合には、情報処理装置100は、通知処理を行う(S120)。ここで、情報処理装置100は、ステップS120において、例えば、振動による通知(触覚的な通知)や、音による通知(聴覚的な通知)などの通知手段によって、ユーザに対する通知を行うが、上記に限られない。
そして情報処理装置100は、キー入力を無効化し(S122)、ステップS100からの処理を繰り返す。なお、図5では、ステップS120の処理の後ステップS122の処理を行う例を示しているが、上記に限られない。例えば、情報処理装置100は、ステップS120の処理の開始と同期してステップS122の処理を行うこともできる。
ステップS110における判定結果に基づいてステップS118〜S122の処理を行うことによって、情報処理装置100は、ユーザが仮想操作キーに「触ること」と、仮想操作キーを「押下すること」とを判別することができる。また、情報処理装置は、ステップS118〜S122の処理を行うことによって、ユーザの指が基準位置に置かれている場合に選択的に通知することができる。
情報処理装置100は、例えば図5に示す処理を行うことによって、利便性向上アプローチに係る上記(1)の処理(キー入力操作判定処理)、および(2)の処理(通知処理)を実現することができる。よって、情報処理装置100は、例えば図5に示す処理を行うことによって、表示画面に表示された仮想的な入力インタフェースにおけるユーザの利便性の向上を図ることができる。
なお、本発明の実施形態に係る利便性向上アプローチに係る処理は、図5に示す処理に限られない。例えば、情報処理装置100は、図5に示すステップS102〜S122の処理を行っている場合においても、図5に示すステップS100の処理を平行して行うこともできる。
(本発明の実施形態に係る情報処理装置)
次に、上述した本発明の実施形態に係る利便性向上アプローチを実現することが可能な、本発明の実施形態に係る情報装置100の構成例について説明する。
図6は、本発明の実施形態に係る情報処理装置100の構成の一例を示す説明図である。情報処理装置100は、操作表示部102と、振動検出部104と、記憶部106と、制御部108と、通知部110とを備える。
また、情報処理装置100は、例えば、ROM(図示せず)や、RAM(Random Access Memory;図示せず)、通信部(図示せず)、ユーザが操作可能な操作部(図示せず)などを備えてもよい。情報処理装置100は、例えば、データの伝送路としてのバス(bus)により各構成要素間を接続する。
ここで、ROM(図示せず)は、制御部108が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部108により実行されるプログラムなどを一次記憶する。操作部(図示せず)としては、例えば後述する操作入力デバイスが挙げられる。通信部(図示せず)は、ネットワークを介して(あるいは、直接的に)外部装置と有線/無線で通信を行う役目を果たす。ここで、ネットワークとしては、例えば、LAN(Local Area Network)やWAN(Wide Area Network)などの有線ネットワーク、基地局を介した無線WAN(WWAN;Wireless Wide Area Network)や無線MAN(WMAN;Wireless Metropolitan Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられるが、上記に限られない。また、通信部(図示せず)としては、例えば後述する通信インタフェースが挙げられる。
[情報処理装置100のハードウェア構成例]
図7は、本発明の実施形態に係る情報処理装置100のハードウェア構成の一例を示す説明図である。図7を参照すると、情報処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、静電式タッチパネル164と、ジャイロセンサ166と、通信インタフェース168と、振動発生デバイス170と、音声出力デバイス172とを備える。また、情報処理装置100は、例えば、データの伝送路としてのバス174で各構成要素間を接続する。
MPU150は、MPU(Micro Processing Unit)や制御機能を実現するための複数の回路が集積された集積回路などで構成され、情報処理装置100全体を制御する制御部108として機能する。また、MPU150は、情報処理装置100において、後述する振動情報記録部120、キー操作判定部122、通知制御部124、およびキー入力制御部126としての役目を果たすこともできる。
ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データを記憶し、また、RAM154は、例えば、MPU150により実行されるプログラムなどを一次記憶する。
記録媒体156は、記憶部106として機能し、例えば、振動情報(データ)や、アプリケーションなど様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、EEPROM(Electrically Erasable and Programmable Read Only Memory)、フラッシュメモリ(flash memory)、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)、PRAM(Phase change Random Access Memory)などの不揮発性メモリ(nonvolatile memory)が挙げられるが、上記に限られない。
入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)端子、各種処理回路などが挙げられるが、上記に限られない。なお、入出力インタフェース158は、情報処理装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)や、表示デバイス(例えば、外部ディスプレイなど)と接続することもできることは、言うまでもない。
操作入力デバイス160は、操作部(図示せず)として機能する。また、操作入力デバイス160は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられるが、上記に限られない。
表示デバイス162は、静電式タッチパネル164と共に操作表示部102として機能する。表示デバイス162は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display;LCD)や有機ELディスプレイ(organic ElectroLuminescence display。または、OLEDディスプレイ(Organic Light Emitting Diode display)ともよばれる。)などが挙げられるが、上記に限られない。
また、表示デバイス162上には、ユーザのタッチ操作を検出可能な静電式タッチパネル164と、振動を検出可能なジャイロセンサ166とが設けられる。表示デバイス162、静電式タッチパネル164、およびジャイロセンサ166を備える構成によって、ユーザ操作の検出と振動の検出との双方が可能な、本発明の実施形態に係るタッチスクリーンが実現される。
通信インタフェース168は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)外部装置と無線/有線で通信を行うための通信部(図示せず)として機能する。ここで、通信インタフェース168としては、例えば、通信アンテナおよびRF回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11bポートおよび送受信回路(無線通信)、あるいはLAN端子および送受信回路(有線通信)などが挙げられるが、上記に限られない。
振動発生デバイス170は、通知部110として機能し、例えばMPU150からの制御信号に基づいて、選択的に振動を発生させる。ここで、振動発生デバイス170としては、振動モータが挙げられるが、上記に限られない。
音声出力デバイス172は、通知部110として機能し、例えば、例えばMPU150からの制御信号に基づいて、選択的に音声を発生させる。ここで、音声出力デバイス172としては、例えば、DSP(Digital Signal Processor)や増幅器(アンプ)、スピーカなどから構成されるが、上記に限られない。
情報処理装置100は、例えば図7に示す構成によって、上記(1)の処理(キー入力操作判定処理)、および(2)の処理(通知処理)を行い、上述した本発明の実施形態に係る利便性向上アプローチを実現する。
なお、本発明の実施形態に係る情報装置100のハードウェア構成は、図7に示す構成に限られない。例えば、本発明の実施形態に係る情報処理装置100は、静電式タッチパネル164の代わりに感圧式のタッチパネルを備えることもできる。また、本発明の実施形態に係る情報処理装置100は、ジャイロセンサ166の代わりに加速度センサを備えることもできる。また、本発明の実施形態に係る情報処理装置100は、例えば、LCDなどの他の表示デバイスや、メモリスティックなどの外部記録媒体を着脱可能に収納するスロットなどをさらに備えてもよい。
再度図6を参照して、情報処理装置100の構成要素について説明する。操作表示部102は、表示画面に複数の仮想操作キーを所定のキー配列で表示する(割付ける)。よって、操作表示部102の表示画面には、例えば図1に示すようなOSKが表示される。また、操作表示部102は、例えば、タッチ操作やリリース操作など、表示画面に対するユーザ操作を検出する。そして、操作表示部102は、例えば、表示画面上のタッチされた場所を示す座標の情報を検出結果として制御部108へ伝達する。なお、操作表示部102における検出結果は、表示画面上のタッチされた場所を示す座標の情報に限られず、例えば、タッチされたことおよびその場所を表すことが可能な任意の情報とすることができる。
振動検出部104は、操作表示部102における振動の変化を検出する。そして、振動検出部104は、例えば図2A〜図2CのBなどに示すような検出結果を、制御部108へ伝達する。ここで、情報処理装置100は、操作表示部102と振動検出部104とを、例えば、表示デバイス162、静電式タッチパネル164、およびジャイロセンサ166で構成するが、上記に限られない。
記憶部106は、情報処理装置100が備える記憶手段である。ここで、記憶部106としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられるが、上記に限られない。
また、記憶部106は、例えば、振動情報(データ)や、アプリケーションなど様々なデータを記憶する。ここで、図6では、振動情報130が記憶部106に記憶されている例を示しているが、上記に限られない。
制御部108は、例えば、MPUや、各種処理回路が集積された集積回路などで構成され、情報処理装置100全体を制御する役目を果たす。また、制御部108は、振動情報記録部120と、キー操作判定部122と、通知制御部124と、キー入力制御部126とを備え、上記(1)の処理(キー入力操作判定処理)、および(2)の処理(通知処理)を主導的に行う役目を果たす。
振動情報記録部120は、振動検出部104から伝達される検出結果を振動情報として記憶部106に記録する。なお、振動情報記録部120が振動情報を記録する記録先は、記憶部106に限られない。例えば、振動記録部120は、スロット(図示せず)などに収納された外部記録媒体(図示せず)に振動情報を記録することができ、また、ネットワークなどを介して(あるいは直接的に)通信可能な外部装置に振動情報を記録することもできる。
キー操作判定部122は、例えば、操作表示部102から伝達される検出結果と、記憶部106に記録された振動情報(振動検出部104から伝達される検出結果に対応する。)とに基づいて、仮想操作キーそれぞれに対するキー入力操作を判定する。つまり、キー操作判定部122は、上記(1)の処理(キー入力操作判定処理)を行う役目を果たす。また、キー操作判定部122は、判定結果に応じて、判定結果を通知制御部124、および/またはキー入力制御部126に選択的に伝達する。
より具体的には、キー操作判定部122は、例えば、図5に示す処理のうち、ステップS102〜S114、S118の処理を行う。なお、キー操作判定部122における処理の例が図5に示す例に限られないことは、言うまでもない。
通知制御部124は、キー操作判定部122から選択的に伝達される判定結果に基づいて通知部110を制御し、ユーザに対する通知を選択的に行わせる。より具体的には、通知制御部124は、例えば、仮想操作キーそれぞれに対してキー入力操作が行われておらず、かつ操作表示部102の検出結果に対応する仮想操作キーが基準仮想操作キーであることを示す判定結果に基づいて、通知を制御する制御信号を選択的に生成する。そして、通知制御部124は、上記制御信号を通知部110へ伝達し、上記制御信号が伝達された通知部110は、ユーザに対する通知を選択的に行う。つまり、通知制御部124は、上記(2)の処理(通知処理)を行う役目を果たす。
キー入力制御部126は、キー操作判定部122から選択的に伝達される判定結果に基づいて、操作表示部102に表示された仮想操作キーのキー入力を選択的に有効化/無効化する。より具体的には、キー入力制御部126は、例えば、キー操作判定部122から仮想操作キーそれぞれに対してキー入力操作が行われていないことを示す判定結果が伝達された場合に、操作表示部102の検出結果に対応する仮想操作キーに対するキー入力を選択的に無効化する。また、キー入力制御部126は、例えば、キー操作判定部122から伝達される判定結果が上記以外の場合に、キー入力を選択的に有効化する。
制御部108は、振動情報記録部120、キー操作判定部122、通知制御部124、およびキー入力制御部126を備えることによって、上記(1)の処理(キー入力操作判定処理)、および(2)の処理(通知処理)を主導的に行う役目を果たすことができる。
通知部110は、制御部108(より厳密には通知制御部124)から伝達される制御信号に基づいて、ユーザに対する通知を行う。通知部110は、例えば、振動による通知(触覚的な通知)や、音による通知(聴覚的な通知)などの通知手段によって、ユーザに対する通知を行うが、上記に限られない。また、情報処理装置100は、通知手段に応じて、例えば、振動発生デバイス170や音声出力デバイス172などを通知部110として備える。なお、情報処理装置100が備える通知部110は、振動発生デバイス170や音声出力デバイス172に限られない。
情報処理装置100は、例えば、図6に示す構成によって、上記(1)の処理(キー入力操作判定処理)、および(2)の処理(通知処理)を実現する。したがって、情報処理装置100は、表示画面に表示された仮想的な入力インタフェースにおけるユーザの利便性の向上を図ることができる。
以上のように、本発明の実施形態に係る情報処理装置100は、上記(1)の処理(キー入力操作判定処理)を行うことによって、ユーザが仮想操作キーに「触ること」と、仮想操作キーを「押下すること」とを判別する。また、情報処理装置100は、上記(1)の処理の結果に基づいて、仮想操作キーに対するキー入力を選択的に有効化/無効化する。よって、情報処理装置100は、ユーザがタッチスクリーン上においていわゆるホームポジションに手を置いた場合であっても、キー入力操作が行われたと誤認識することを防止することができる。また、情報処理装置100は、上記(1)の処理の処理結果に基づいて上記(2)の処理(通知処理)を行う。上記(2)の処理により情報処理装置100がユーザに対して選択的に通知を行うことによって、ユーザは、指が基準仮想操作キーに位置することを把握することができる。つまり、情報処理装置100を用いるユーザは、従来の技術を用いる場合のように視覚的に基準仮想操作キーを確認することなく、指が基準仮想操作キーに位置すること、すなわちホームポジションに指が位置することを把握することができる。よって、情報処理装置100は、表示画面に表示された仮想的な入力インタフェースを用いたブラインドタッチを、従来の情報処理装置を用いる場合よりもより容易にユーザに行わせることができる。したがって、情報処理装置100は、表示画面に表示された仮想的な入力インタフェースにおけるユーザの利便性の向上を図ることができる。
以上、本発明の実施形態として情報処理装置100を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、PCや、ノート型PCなどのコンピュータ、携帯電話やPHS(Personal Handyphone System)などの携帯型通信装置、WALK MAN(登録商標)などの映像/音楽再生装置、PlayStation Portable(登録商標)などの携帯型ゲーム機、デジタル放送/アナログ放送を受信可能なテレビ受像機など、様々な機器に適用することができる。
(本発明の実施形態の情報処理装置に係るプログラム)
コンピュータを、本発明の実施形態に係る情報処理装置として機能させるためのプログラムによって、表示画面に表示された仮想的な入力インタフェースにおけるユーザの利便性の向上を図ることができる。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、図6に示す情報処理装置100では、制御部108が振動情報記録部120、キー操作判定部122、通知制御部124、およびキー入力制御部126を備える構成を示したが、本発明の実施形態に係る情報処理装置の構成は、上記に限られない。例えば、本発明の実施形態に係る情報処理装置は、図6に示す振動情報記録部120、キー操作判定部122、通知制御部124、およびキー入力制御部126それぞれを個別に備える(例えば、それぞれを個別の処理回路で実現する)こともできる。
また、上記では、コンピュータを、本発明の実施形態に係る情報処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本発明の実施形態は、さらに、上記各プログラムを記憶させた記憶媒体も併せて提供することができる。
上述した構成は、本発明の実施形態の一例を示すものであり、当然に、本発明の技術的範囲に属するものである。
100 情報処理装置
102 操作表示部
104 振動検出部
106 記憶部
108 制御部
110 通知部
120 振動情報記録部
122 キー操作判定部
124 通知制御部
126 キー入力制御部


Claims (9)

  1. 表示画面に複数の仮想操作キーを所定のキー配列で表示し、前記表示画面に対するユーザ操作を検出する操作表示部と;
    前記操作表示部における振動の変化を検出する振動検出部と;
    前記操作表示部における検出結果と、前記振動検出部における検出結果とに基づいて、前記仮想操作キーそれぞれに対するキー入力操作を判定するキー操作判定部と;
    前記キー操作判定部における、前記仮想操作キーそれぞれに対してキー入力操作が行われておらず、かつ前記操作表示部の検出結果に対応する仮想操作キーが基準位置を規定する基準仮想操作キーであることを示す判定結果に基づいて、ユーザに対する通知を選択的に行わせる通知制御部と;
    を備える、情報処理装置。
  2. 前記キー操作判定部は、前記ユーザ操作が検出されてから所定の時間における検出された振動の変化量を導出し、導出した前記変化量に基づいて前記仮想操作キーそれぞれに対するキー入力操作を判定する、請求項1に記載の情報処理装置。
  3. 前記キー操作判定部は、前記変化量が所定の閾値以上、または所定の閾値より大きい場合に、前記操作表示部の検出結果に対応する仮想操作キーに対してキー入力操作が行われたと判定する、請求項2に記載の情報処理装置。
  4. 前記キー操作判定部は、前記操作表示部の検出結果に対応する仮想操作キーに対してキー入力操作が行われたと判定されず、かつ、前記ユーザ操作が検出されてから所定の時間内に再度ユーザ操作が検出されない場合に、前記操作表示部の検出結果に対応する仮想操作キーが前記基準仮想操作キーであるか否かを判定する、請求項3に記載の情報処理装置。
  5. 前記キー操作判定部における判定結果に基づいて、前記操作表示部の検出結果に対応する仮想操作キーに対するキー入力を選択的に有効化/無効化するキー入力制御部をさらに備える、請求項1〜4に記載の情報処理装置。
  6. 前記キー入力制御部は、前記キー操作判定部における前記仮想操作キーそれぞれに対してキー入力操作が行われていないことを示す判定結果に基づいて、前記キー入力を無効化する、請求項5に記載の情報処理装置。
  7. 前記通知制御部により制御され、ユーザに対する通知を選択的に行う通知部をさらに備える、請求項1に記載の情報処理装置。
  8. 表示画面に複数の仮想操作キーを所定のキー配列で表示し、前記表示画面に対するユーザ操作を検出する操作表示部の検出結果と、前記操作表示部における振動の変化を検出する振動検出部の検出結果とに基づいて、前記仮想操作キーそれぞれに対するキー入力操作を判定するステップと;
    前記判定するステップにおける、前記仮想操作キーそれぞれに対してキー入力操作が行われておらず、かつ前記操作表示部の検出結果に対応する仮想操作キーが基準位置を規定する基準仮想操作キーであることを示す判定結果に基づいて、ユーザに対する通知を選択的に行うステップと;
    を有する、通知方法。
  9. 表示画面に複数の仮想操作キーを所定のキー配列で表示し、前記表示画面に対するユーザ操作を検出する操作表示部の検出結果と、前記操作表示部における振動の変化を検出する振動検出部の検出結果とに基づいて、前記仮想操作キーそれぞれに対するキー入力操作を判定するステップ;
    前記判定するステップにおける、前記仮想操作キーそれぞれに対してキー入力操作が行われておらず、かつ前記操作表示部の検出結果に対応する仮想操作キーが基準位置を規定する基準仮想操作キーであることを示す判定結果に基づいて、ユーザに対する通知を選択的に行うステップ;
    をコンピュータに実行させるためのプログラム。
JP2009091306A 2009-04-03 2009-04-03 情報処理装置、通知方法、およびプログラム Withdrawn JP2010244253A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009091306A JP2010244253A (ja) 2009-04-03 2009-04-03 情報処理装置、通知方法、およびプログラム
US12/726,432 US8619046B2 (en) 2009-04-03 2010-03-18 Information processing apparatus, notification method, and program
CN2010101414646A CN101859223B (zh) 2009-04-03 2010-03-26 信息处理设备、通知方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009091306A JP2010244253A (ja) 2009-04-03 2009-04-03 情報処理装置、通知方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2010244253A true JP2010244253A (ja) 2010-10-28

Family

ID=42825799

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009091306A Withdrawn JP2010244253A (ja) 2009-04-03 2009-04-03 情報処理装置、通知方法、およびプログラム

Country Status (3)

Country Link
US (1) US8619046B2 (ja)
JP (1) JP2010244253A (ja)
CN (1) CN101859223B (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012105158A1 (ja) * 2011-02-04 2012-08-09 パナソニック株式会社 電子機器
WO2012137946A1 (ja) * 2011-04-06 2012-10-11 京セラ株式会社 電子機器、操作制御方法および操作制御プログラム
JP2013089244A (ja) * 2011-10-13 2013-05-13 Eturbotouch Technology Inc タッチコントロールキーモジュール
JP2013109636A (ja) * 2011-11-22 2013-06-06 Nec Saitama Ltd 入力装置およびその制御方法
WO2013111590A1 (ja) * 2012-01-27 2013-08-01 パナソニック株式会社 電子機器
JP2013210934A (ja) * 2012-03-30 2013-10-10 Minebea Co Ltd 電子機器の入力装置
JPWO2013069447A1 (ja) * 2011-11-08 2015-04-02 ソニー株式会社 センサ装置、解析装置および記憶媒体
JP2017107430A (ja) * 2015-12-10 2017-06-15 株式会社東海理化電機製作所 振動呈示装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110273372A1 (en) * 2010-05-09 2011-11-10 Elsid Aliaj Mobile device with unique features
US8599152B1 (en) * 2010-06-25 2013-12-03 Sprint Communications Company L.P. Intelligent touch screen keyboard
JP2012174208A (ja) * 2011-02-24 2012-09-10 Sony Corp 情報処理装置、情報処理方法、プログラム及び端末装置
JP5204286B2 (ja) * 2011-11-02 2013-06-05 株式会社東芝 電子機器および入力方法
CN103092386A (zh) * 2011-11-07 2013-05-08 联想(北京)有限公司 一种电子设备及其触控方法
CN102722238B (zh) * 2012-04-20 2016-04-27 深圳市汇顶科技股份有限公司 一种触摸终端识别确认型触摸手势的方法及系统
US9996182B2 (en) * 2012-04-20 2018-06-12 Shenzhen GOODIX Technology Co., Ltd. Method and system for recognizing confirmation type touch gesture by touch terminal
CN102750487A (zh) * 2012-06-01 2012-10-24 钱袋网(北京)信息技术有限公司 键盘输入真实性验证方法及终端设备
JP2014131133A (ja) * 2012-12-28 2014-07-10 Kyocera Document Solutions Inc 操作入力装置、情報処理装置
CN103729138A (zh) * 2013-12-18 2014-04-16 乐视致新电子科技(天津)有限公司 一种基于显示屏模拟物理按键的方法和电子设备
EP3035656B1 (en) 2014-12-18 2021-08-04 Samsung Electronics Co., Ltd. Method and apparatus for controlling an electronic device
US10322682B2 (en) * 2016-03-03 2019-06-18 Steering Solutions Ip Holding Corporation Steering wheel with keyboard
US10144383B2 (en) 2016-09-29 2018-12-04 Steering Solutions Ip Holding Corporation Steering wheel with video screen and airbag
CN110289844B (zh) * 2018-03-19 2021-01-29 华为技术有限公司 触压按键组件、振动传感器组件和电子设备
CN109165002B (zh) * 2018-07-09 2022-01-11 Oppo广东移动通信有限公司 屏幕发声方法、装置、电子装置以及存储介质
CN114690887B (zh) * 2020-12-30 2024-04-12 华为技术有限公司 一种反馈方法以及相关设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3630153B2 (ja) 2002-07-19 2005-03-16 ソニー株式会社 情報表示入力装置及び情報表示入力方法、並びに情報処理装置
JP2009025848A (ja) * 2005-11-08 2009-02-05 Panasonic Corp 入力手段を有する表示装置及びそれを備えた情報機器装置、ならびに入力手段を有する表示装置の駆動方法
US7999797B2 (en) * 2006-12-26 2011-08-16 Sony Ericsson Mobile Communications Ab Detecting and locating a touch or a tap on an input surface
WO2009039365A2 (en) * 2007-09-19 2009-03-26 Madentec Limited Cleanable touch and tap-sensitive surface
US20100156793A1 (en) * 2008-12-19 2010-06-24 Ozias Orin M System and Method For An Information Handling System Touchscreen Keyboard

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012105158A1 (ja) * 2011-02-04 2012-08-09 パナソニック株式会社 電子機器
JP5496337B2 (ja) * 2011-02-04 2014-05-21 パナソニック株式会社 電子機器
JPWO2012105158A1 (ja) * 2011-02-04 2014-07-03 パナソニック株式会社 電子機器
US9557815B2 (en) 2011-02-04 2017-01-31 Panasonic Intellectual Property Management Co., Ltd. Electronic device
WO2012137946A1 (ja) * 2011-04-06 2012-10-11 京セラ株式会社 電子機器、操作制御方法および操作制御プログラム
US9733708B2 (en) 2011-04-06 2017-08-15 Kyocera Corporation Electronic device, operation control method, and operation control program
JP2013089244A (ja) * 2011-10-13 2013-05-13 Eturbotouch Technology Inc タッチコントロールキーモジュール
US9551572B2 (en) 2011-11-08 2017-01-24 Sony Corporation Sensor device, analyzing device, and recording medium for detecting the position at which an object touches another object
US10508908B2 (en) 2011-11-08 2019-12-17 Sony Corporation Sensor device, analyzing device, and recording medium for detecting the position at which an object touches another object
JPWO2013069447A1 (ja) * 2011-11-08 2015-04-02 ソニー株式会社 センサ装置、解析装置および記憶媒体
JP2013109636A (ja) * 2011-11-22 2013-06-06 Nec Saitama Ltd 入力装置およびその制御方法
JPWO2013111590A1 (ja) * 2012-01-27 2015-05-11 パナソニックIpマネジメント株式会社 電子機器
WO2013111590A1 (ja) * 2012-01-27 2013-08-01 パナソニック株式会社 電子機器
JP2013210934A (ja) * 2012-03-30 2013-10-10 Minebea Co Ltd 電子機器の入力装置
JP2017107430A (ja) * 2015-12-10 2017-06-15 株式会社東海理化電機製作所 振動呈示装置

Also Published As

Publication number Publication date
CN101859223A (zh) 2010-10-13
CN101859223B (zh) 2013-02-27
US8619046B2 (en) 2013-12-31
US20100253652A1 (en) 2010-10-07

Similar Documents

Publication Publication Date Title
JP2010244253A (ja) 情報処理装置、通知方法、およびプログラム
JP5204286B2 (ja) 電子機器および入力方法
EP2955603B1 (en) Electronic equipment with display device
US11656711B2 (en) Method and apparatus for configuring a plurality of virtual buttons on a device
EP3023865B1 (en) Portable terminal having display and method for operating same
JP2015513186A (ja) 力コンセントレータ
US20130207905A1 (en) Input Lock For Touch-Screen Device
US20090167715A1 (en) User interface of portable device and operating method thereof
WO2005010740A1 (ja) 携帯情報端末
US8988363B2 (en) Information processing apparatus, method for controlling display, and computer-readable recording medium
WO2012127792A1 (ja) 情報端末、表示画面切り替えのための方法、及びそのプログラム
TWI659353B (zh) 電子設備以及電子設備的工作方法
WO2014054367A1 (ja) 情報処理装置、情報処理方法及び記録媒体
KR102156617B1 (ko) 터치키 동작의 제어 방법 및 장치
US7616194B2 (en) Key lock means and application method of the same
JP2019175090A (ja) 電子機器、制御装置、制御プログラム及び電子機器の動作方法
WO2014003025A1 (ja) 電子機器
JP2006350932A (ja) 入力端末
JP4685945B2 (ja) 情報処理装置
JP2010211323A (ja) 入力システム、携帯端末、入出力装置、入力システム制御プログラム、コンピュータ読み取り可能な記録媒体、および、入力システムの制御方法
JP6062519B1 (ja) 電子機器及び電子機器の動作方法
CN106020673B (zh) 一种控制方法及电子设备
US9536526B2 (en) Electronic device with speaker identification, method and storage medium
JP2012137800A (ja) 携帯端末
JP6112554B2 (ja) 電子機器

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20120605