JP2006127488A - 入力装置、コンピュータ装置、情報処理方法及び情報処理プログラム - Google Patents

入力装置、コンピュータ装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
JP2006127488A
JP2006127488A JP2005270519A JP2005270519A JP2006127488A JP 2006127488 A JP2006127488 A JP 2006127488A JP 2005270519 A JP2005270519 A JP 2005270519A JP 2005270519 A JP2005270519 A JP 2005270519A JP 2006127488 A JP2006127488 A JP 2006127488A
Authority
JP
Japan
Prior art keywords
contact
input
image
key
keyboard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005270519A
Other languages
English (en)
Inventor
Masanori Ozawa
正則 小沢
Katsumi Kuno
勝美 久野
Akira Furukawa
亮 古川
Minoru Mukai
稔 向井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2005270519A priority Critical patent/JP2006127488A/ja
Publication of JP2006127488A publication Critical patent/JP2006127488A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】入力装置に対する物体の接触位置を適切にし得る入力装置を提供する。
【解決手段】入力位置を認識させるための画像を表示する表示装置5と、表示装置の表示面に沿って設けられた接触検出面に接触する物体の位置を検出する接触位置検出部21と、接触位置検出部21によって検出された位置と入力位置を認識させるための画像の中心位置との差を表すデータを記録する記録部24と、記録部24に記録されるデータに基づいて、表示装置5に表示する入力位置を認識させるための画像の修正量を求める演算部23とを備える。
【選択図】図6

Description

本発明は、例えばコンピュータ等に情報を入力するための入力装置、コンピュータ装置、情報処理方法及び情報処理プログラムに関する。
従来、コンピュータなどの端末装置のインタフェースとしては、入力装置としてキーボードやマウス、表示装置としてCRT(cathode-ray tube)やLCD(liquid crystal display)を具備することが一般的である。
又、表示装置と入力装置とを積層したいわゆるタッチパネルも、各種端末装置のインタフェースや、タブレット型の携行用小型計算機にも用いられ、利用が広がっている。
更に、携帯電話やPDA(Personal Digital Assistant)などのように文字入力のために利用できる装置表面の面積が小さい場合でも、簡単に文字を入力することができるタッチパネルに関する技術が開示されている(例えば、特許文献1参照)。
特開2003−196007号公報(段落番号「0037」、図2)
しかしながら、従来のタッチパネル上に、指先やペン状指示棒などの物体を接触させた場合、掌の大きさや視野角度には個人差があるため、タッチパネルに表示された画像の適切な個所に接触していないことがある。
このような技術的課題を解決するためになされた本発明の目的は、入力装置に対する物体の接触位置を適切にし得る入力装置、コンピュータ装置、情報処理方法及び情報処理プログラムを提供することである。
本発明の実施の形態に係る特徴は、入力装置において、入力位置を認識させるための画像を表示する表示装置と、表示装置の表示面に沿って設けられた接触検出面に接触する物体の位置を検出する接触位置検出部と、接触位置検出部によって検出された位置と入力位置を認識させるための画像の中心位置との差を表すデータを記録する記録部と、記録部に記録されるデータに基づいて、表示装置に表示する入力位置を認識させるための画像の修正量を求める演算部とを備えることである。
また本発明の実施の形態に係る特徴は、コンピュータ装置において、入力位置を認識させるための画像を表示する表示装置と、表示装置の表示面に沿って設けられた接触検出面に接触する物体の位置を検出する接触位置検出部と、接触位置検出部によって検出された位置と入力位置を認識させるための画像の中心位置との差を表すデータを記録する記録部と、記録部に記録されるデータに基づいて、表示装置に表示する入力位置を認識させるための画像の修正量を求める演算部と、接触位置検出部によって検出された物体の接触位置に基づいて、物体の接触結果に応じた処理を実行する処理部とを備えることである。
また本発明の実施の形態に係る特徴は、コンピュータ装置において、入力位置を認識させるための画像を表示する表示装置の表示面に沿って設けられた接触検出面に接触する物体の接触位置と入力位置を認識させるための画像の中心位置との差を表すデータを記録する記録部と、記録部に記録されるデータに基づいて、表示装置に表示する入力位置を認識させるための画像の修正量を求める演算部と、物体の接触位置に基づいて、物体の接触結果に応じた処理を実行する処理部とを備えることである。
また本発明の実施の形態に係る特徴は、情報処理方法において、入力位置を認識させるための画像を表示装置に表示するステップと、表示装置に重ねて配置された接触検出面に接触する物体の位置を検出するステップと、検出された位置と入力位置を認識させるための画像の中心位置との差を表すデータを記録するステップと、記録したデータから入力位置を認識させるための画像の修正量を求めるステップと、修正結果に基づく画像を表示装置に表示するステップとを含むことである。
また本発明の実施の形態に係る特徴は、情報処理プログラムにおいて、入力位置を認識させるための画像を表示する表示装置が設けられた入力装置に、表示装置に重ねて配置された接触検出面に接触する物体の位置を検出する手順と、検出した位置と入力位置を認識させるための画像の中心位置との差を表すデータを記録する手順と、記録されるデータから入力位置を認識させるための画像の修正量を求める手順と、修正結果に基づく画像を表示装置に表示する手順とを実行させることである。
本発明によると、入力装置に対する物体の接触位置を適切にし得る入力装置、コンピュータ装置、情報処理方法及び情報処理プログラムを提供することができる。
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。ただし、図面は模式的なものであり、各寸法の比率等は現実のものとは異なることに留意すべきである。従って、具体的な寸法等は以下の説明を参酌して判断すべきものである。又、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
[第1の実施の形態]
本発明の実施の形態に係る入力装置は、コンピュータ等の端末装置の入出力デバイスの一種である。
図1に示すように、本実施の形態に係る入力装置を備えるノート型コンピュータ1は、中央処理ユニット等の演算部を有するコンピュータ本体30とこのコンピュータ本体30に対するユーザインターフェイスである入力部3とが設けられた下筐体2Aと、LCD構成の表示装置29を含む表示部4が設けられた上筐体2Bとを備えている。
コンピュータ本体30は、下筐体2Aの入力部3を介して入力された情報を中央処理ユニットにおいて処理し、その結果を上筐体2Bの表示部4に表示する。
下筐体2Aに設けられた入力部3は、LCDによって構成された表示装置5と、この表示装置5の表示面における物体(指先、ペン状指示棒の先端部等)の接触を検出するための接触検出部とを備え、表示装置5にユーザに入力位置を認識させるための画像(例えばキーボードの各キー、各種入力操作キー、右ボタンや左ボタンやスクロール用ホイールやボディを備えるマウス等、ユーザが操作する入力装置を表す画像)が表示される。図1は、キーボードを表す画像(仮想キーボード5a)、マウスを表す画像(仮想マウス5b)が表示された状態を示している。
(入力装置の構成)
図2に示すように、入力部3は、発光領域を備えたバックライト装置6と、このバックライト装置6の発光領域上に積層される表示装置5と、この表示装置5の表示画面上に積層されるタッチパネル10とを備えている。
バックライト装置6は、近年のノート型パソコンなどの表示装置に一般的に採用されている蛍光管と導光板を組み合わせた構成としても良く、又、最近実用化が進んでいる白色LED(発光ダイオード)を平面上に複数分散配置した構成としても良い。
なお、この表示装置5とバックライト装置6の構成は、従来のノート型コンピュータのディスプレイや、デスクトップ型コンピュータ用の外部LCDディスプレイに採用されている表示装置と同様の構成でも構わないが、表示装置5に、実用化が進んでいる自発光式の画素を採用すれば、表示装置5が透過性を有する必要は無く、バックライト装置6を省略することも可能である。
表示装置5は、x方向及びy方向に格子状に複数の画素5cが配列されて表示画面を構成しており、後述するディスプレイドライバ22(図6)によって駆動され、その表示画面にキーボード等の入力装置の画像が表示される。
タッチパネル10は、入力部3の最も表層部に設けられ、下筐体2Aの入力操作面として筐体から露出するように設けられている。このタッチパネル10は、その接触検出面10aにおいて、物体(例えば、指先やペン状指示棒の先端部等)の接触を検出する。
本実施の形態においては、タッチパネル10として、抵抗膜方式のものが用いられる。この抵抗膜方式のタッチパネルは、アナログ方式のものとデジタル方式のものがある。アナログ方式のタッチパネルは、4〜8線式など複数の種類があるが、基本的には、並行電極を設け、接触した部位の電位を検出することでその座標を取り出すものである。これをX方向及びY方向のそれぞれについて独立に構成し積層することで、接触した部位のX、Y座標を検出することができる。しかしながら、アナログ方式では、多点同時押しの検出は困難であり、接触面積の検出には不向きである。本実施の形態においては、接触位置に加えて接触面積を検出するため、デジタル方式を用いる。なお、いずれの方式を利用する場合でも、接触検出面10aが光透過性を有することにより、表示装置5を表層側から視認することができる。
図3及び図4に示すように、タッチパネル10においては、X方向に一定の間隔で配置された帯線状の複数(n本)の透明電極でなるX電極12を有するベース11と、Y方向に一定の間隔で配置された帯線状の複数(m本)の透明電極でなるY電極14を有するベース13とがそれぞれの電極形成面を対向させるように積層される。この積層構造において、X電極12とY電極14とが直交するように積層される。これにより、X電極12とY電極14とが交差するn×m個の接触検出部10bがマトリクス状に形成される。
またベース11においては、X電極12が設けられた側の面に、各X電極12間に一定間隔で絶縁材でなる凸形状のドットスペーサ15が設けられている。このドットスペーサ15の高さは、X電極12及びY電極14の厚みを合計した厚みよりも大きく形成されており、その先端部は、各Y電極14間において露出したベース13の表面13Aに当接する。これにより図5に示すように、ベース11、13が積層された構成において、ドットスペーサ15は、ベース11、13に挟まれ、X電極12とY電極14とは接触しない状態となる。すなわち、ドットスペーサ15によってX電極12とY電極14とが離間して保持される。このようにX電極12とY電極14とが離間して保持された状態において、ベース13を撓ませることにより、X電極12とY電極14とを接触させることができる。
すなわち、タッチパネル10においては、ベース13のY電極14が設けられた面とは反対側の面13Bを入力操作面として筐体外部に露出するように構成されており、この面を指先またはペン状指示棒の先端部等で押圧することにより、ベース13を撓ませて、Y電極14をX電極12に接触させることができる。
この場合、タッチパネル10の入力操作面を指先またはペン状指示棒の先端部等で押圧すると、その圧力が一定圧以下の場合は、ベース13の撓みが不足し、Y電極14とX電極12とが接触しない。そして、押圧力が一定圧を超えると、ベース13が十分に撓むことにより、Y電極14とX電極12とが接触する。これにより、一定の押圧力よりも大きな押圧力でベース13を押圧した場合にのみY電極14とX電極12とが接触して電気的に導通する。
本実施の形態のノート型コンピュータ1においては、かかる構成の入力部3におけるY電極14とX電極12との接触位置を接触検出装置21(図6参照)において検出するようになされている。
すなわち、ノート型コンピュータ1においては、図1に示す入力部3と、この入力部3に設けられたタッチパネル10のX電極12とY電極14との接触位置を検出する接触検出装置21とを含む入力装置20(図6参照)が下筐体2Aに設けられている。
この入力装置20は、図2及び図6に示すように、入力部3と、この入力部3のタッチパネル10における指先等の接触位置を検出すると共に、タッチパネル10に接触した物体の形状を認識する接触検出装置21と、接触検出装置21において検出された接触位置情報をデジタル信号に変換すると共に後述する各種処理やコンピュータ本体30(図7参照)との通信に係るI/O制御を行うデバイス制御IC23と、入力装置20における各種処理プログラムやデータを格納するメモリ24と、音声により各種通知やビープ音による警告を行うスピーカドライバ25及びスピーカ26とを備えている。
接触検出装置21は、各X電極12(図3)に対して順次電圧を印加すると共に、各Y電極14(図3)の電圧を測定しながら、X電極12に印加した電圧が出力されるY電極14を特定するようになされている。
すなわち図6に示すように、タッチパネル10においては、電源部とこの電源部の基準電圧を各X電極12に対して選択的に印加するスイッチ部とを備えた電圧印加部11aが設けられている。この電圧印加部11aは、接触検出装置21から供給される印加電極選択信号に基づいて、基準電圧の印加先のX電極12をスイッチ部により順次選択して基準電圧をそのX電極12に印加するようになされている。
また、タッチパネル10においては、接触検出装置21からの測定電極選択信号によって指定されたY電極14の電圧値を選択的に測定する電圧測定部11bが設けられている。この電圧測定部11bは、各Y電極14に表れる電圧値を、接触検出装置21から供給される測定電極選択信号に基づいて順次選択的に測定し、この測定結果を接触検出装置21に送出する。
これらにより、タッチパネル10を指先やペン状指示棒の先端部で押圧すると、その押圧位置においてX電極12とY電極14とが接触することにより導通状態となり、X電極12に印加された基準電圧がこの押圧位置で接触したY電極14を介して測定される。従って、接触検出装置21においては、Y電極14の出力電圧として基準電圧が測定された場合、そのY電極14と、その基準電圧が印加されたX電極12とを特定することができる。接触検出装置21は、このX電極12とY電極14との組み合わせにより、指先またはペン状指示棒の先端部によって押圧された接触検出部10bを特定することができる。
接触検出装置21は、X電極12とY電極14との接触状態を十分に高速で繰り返し検出することにより、X電極12の配列間隔及びY電極14の配列間隔の精度で多点同時押しを検出することができる。
例えば、指先がタッチパネル10を強く押した場合には、接触面積が大きくなり、複数の接触検出部10bが同時に押される状態となるが、この場合においても、接触検出装置21は、各X電極12へ基準電圧の印加を高速で順次繰り返し行い、また各Y電極14における電圧測定を高速で順次繰り返し行うことにより、同時に押されている接触検出部10bを検出することができる。接触検出装置21は、このようにして検出した接触検出部10bの数に基づいて、接触面積を検出することができる。
ここで、ディスプレイドライバ22は、デバイス制御IC23からの命令に従って、ボタン、アイコン、キーボード、テンキー、マウスなどコンピュータにおけるユーザインターフェイスとしての入力装置を表す画像(入力位置を認識させるための画像)の1以上を表示する。バックライト装置6において発光した光がLCDの背面側から前面側に透過することにより、表示装置5に表示された入力装置の画像は、前面側から目視することができる。
デバイス制御IC23は、表示装置5に表示されるキーボード等の画像における各キーの表示位置と、接触検出装置21において検出された接触位置、接触面積とに基づいて、接触した位置に表示されているキーの画像を判別する。そして、この判別したキーの情報を、コンピュータ本体30に通知する。
コンピュータ本体30では、デバイス制御IC23から供給されたキーの情報に基づいて、そのキーが操作された場合の処理を実行する。
すなわち、図7に示すように、下筐体2Aに設けられたコンピュータ本体30であるマザーボード30aは、ノースブリッジ31とサウスブリッジ32とが高速専用バスB1によって接続されており、ノースブリッジ31には、システムバスB2を介してCPU(Central Processing Unit)33が接続され、メモリバスB3を介してメインメモリ34が接続され、AGP(Accelerated Graphics Port)バスB4を介してグラフィックス回路35が接続されている。
グラフィックス回路35は、上筐体2Bの表示部4に設けられたディスプレイドライバ28にデジタル画像信号を出力する。ディススプレイドライバ28は、デジタル画像信号に基づいて表示装置29を駆動することにより、表示装置29の表示画面(LCD)に画像を表示させる。
またサウスブリッジ32には、PCI(Peripheral Component Interconnect)バスB5を介してPCIデバイス37が接続され、USB(Universal Serial Bus)B6を介してUSBデバイス38が接続されている。サウスブリッジ32は、PCIデバイス37を介して、PCIバスB5に接続可能な各種の機器を接続することができ、またUSBバスB6を介して、USBバスB6に接続可能な各種の機器を接続することができる。
またサウスブリッジ32には、ATA(AT Attachment)バスB7とIDE(Integrated Drive Electronics)インタフェース39とを介して、ハードディスク装置(HDD)41が接続されている。さらにサウスブリッジ32には、LPC(Low Pin Count)バスB8を介して、リムーバブルメディア装置(磁気ディスク装置)44、シリアル/パラレルポート45及びキーボード/マウスポート46が接続されている。キーボード/マウスポート46は、入力装置20から出力されるキーボード、マウスの操作結果を表す信号をサウスブリッジ32に受け渡す。これによりキーボード、マウスの操作結果は、サウスブリッジ32からノースブリッジ31を介してCPU33に受け渡され、CPU33において操作結果に応じた処理を実行するようになされている。
さらにサウスブリッジ32には、専用バスを介してオーディオ信号出力回路47が接続され、このオーディオ信号出力回路47からコンピュータ本体30に内蔵されたスピーカ48に対してオーディオ信号を出力することにより、スピーカ48から種々の音声を出力することができる。
CPU33は、ハードディスク装置41やメインメモリ34に格納されている各種処理プログラムを実行することにより、上筐体2Bの表示部4に設けられた表示装置29や下筐体2Aに設けられた表示装置5(図6参照)に画像を表示し、下筐体2Aのコンピュータ本体30に内蔵されたスピーカ48から音声を出力し、また下筐体2Aの入力部3に設けられた入力装置20(図6参照)から出力されるキーボード、マウスの操作結果を表す信号に応じた処理を実行する。具体的には、CPU33は、操作結果に応じてグラフィックス回路35を制御することにより、グラフィックス回路35から表示装置5に対してデジタル画像信号を出力させ、操作結果に応じた画像を表示装置5に表示させる。またCPU33は、操作結果に応じてオーディオ信号出力回路47を制御することにより、オーディオ信号出力回路47からスピーカ48に対してオーディオ信号を出力させ、スピーカ48から操作結果に応じた音声を出力させる。このように、CPU33(処理部)は、入力装置20(図6参照)から出力されるキーボード、マウスの操作結果に基づく種々の処理を実行するようになされている。
次に、図6に示すように、入力装置20において、タッチパネル10の接触検出面10aに指先、ペン状指示棒の先端部等の物体が接触した際の接触状態を検出する処理について説明する。
接触検出装置21(接触位置検出部)は、表示装置5に積層されたタッチパネル10の接触検出面10aに接触する物体の位置を所定の処理時間間隔毎に検出してデバイス制御IC23に出力する。
また、接触検出装置21(接触強度検出部)は、物体が接触検出面10aに接触するときの強度を検出する。この強度は、二もしくは三以上の離散的な値で表現されても良く、連続的な値で表現されても良い。そして、接触検出装置21は、強度情報を所定の処理時間間隔毎にデバイス制御IC23へ出力する。
強度は、例えば、接触検出面10aに対する物体の接触面積、又は接触面積の時間変化を利用することによって検出される。図8及び図9に、検出された接触面積の推移の例を示す。図8及び図9は、軸を無次元化してあり単位や目盛りを省略しているが、実装時には真値を用いても良い。
ここで、接触面積の推移は、例えば、所定のスキャン周波数で、タッチパネル10上の接触が検出された接触検出部10bを周期的に取得することにより算出する。周波数が高いほど、一定時間に取得する信号群の取得回数が多いことを意味し、時間方向の分解能は当然向上するが、その分デバイス側の反応速度や処理回路の性能も高いことが要求されるため、適切なスキャン周波数に設定する。
図8は、接触検出面10aに物体を接触させているだけの状態の、接触面積Aの推移の一例である。ユーザが打鍵を意識せず、接触検出面10a上に指を置いているだけの状態では、このように、比較的なだらかな面積の推移を示すことが多い。
一方、図9は、入力部3の表示装置5に表示されたキーボード等の入力装置の画像を目標にタッチパネル10に対して打鍵を行う状態の、接触面積Aの推移の一例である。接触面積は、ゼロもしくはゼロ近傍から急峻に増大し、かつ直後に急峻に減少するという特徴を持つ。
このように、図8の場合が物体を漫然と「置く」という状態に近いとすると、図9の場合は、「叩く」という動作に近いと説明できる。
また、強度は、接触検出面10aに対する物体の接触圧力、又は接触圧力の時間変化を利用することによって検出されてもよい。この場合、圧力を電気信号に変換するセンサを接触検出面10aとして設けるようにすればよい。
図10〜図12に、圧力を電気信号に変換するセンサの例としてのタッチパネル210を示す。
図10及び図11に示すように、タッチパネル210においては、X方向に一定の間隔で配置された帯線状の複数(n本)の透明電極でなるX電極212を有するベース211と、Y方向に一定の間隔で配置された帯線状の複数(m本)の透明電極でなるY電極214を有するベース213とがそれぞれの電極形成面を対向させるように積層される。この積層構造において、X電極212とY電極214とが直交するように積層される。これにより、X電極212とY電極214とが交差するn×m個の接触検出部210b〜210dがマトリクス状に形成される。
またベース211においては、X電極212が設けられた側の面に、各X電極212間に一定間隔で絶縁材でなる凸形状のドットスペーサ215が設けられている。このドットスペーサ215の高さは、X電極212及びY電極214の厚みを合計した厚みよりも大きく形成されており、その先端部は、各Y電極214間において露出したベース213の表面に当接する。
さらに、ドットスペーサ215として高いドットスペーサ215a(図11では”H”と表示される)と低いドットスペーサ215b(図11では”L”と表示される)が設けられている。図10に示すように、ドットスペーサ215においては、4つの高いドットスペーサ215aがひとつの組を構成し、4つの低いドットスペーサ215bがひとつの組を構成している。また図11に示すように、これら4つの高いドットスペーサ215aの組と4つの低いドットスペーサ215bの組が千鳥格子上に配列されている。なお、それぞれ高いドットスペーサ215aの組を構成するドットスペーサ215aの数、低いドットスペーサ215bの組を構成するドットスペーサ215bの数は任意に設定できる。
これにより図12に示すように、ドットスペーサ215は、ベース211、213に挟まれ、X電極212とY電極214とは接触しない状態となる。すなわち、ドットスペーサ215によってX電極212とY電極214とが離間して保持され、接触検出部210b〜210dは電気的に閉に保持される。
このようにX電極212とY電極214とが離間して保持された状態において、ベース213を撓ませることにより、X電極212とY電極214とを開にすることができる。
すなわち、タッチパネル210においては、ベース213のY電極214が設けられた面213A(図10参照)とは反対側の面213B(図10参照)を入力操作面として筐体外部に露出するように構成されており、この面を指先等で押圧することにより、ベース213を撓ませて、Y電極214をX電極212に接触させることができる。
この場合、タッチパネル210の入力操作面を指先等で押圧すると、その圧力が第1の押圧力以下の場合は、ベース213の撓みが不足し、Y電極214とX電極212とが接触しない。
そして、押圧力が第1の押圧力を超えると、ベース213が十分に撓むことにより、複数の接触検出部のうち周囲4箇所に低いドットスペーサ215bが隣接(図10に示すように、4つのスペーサが正方形状に配置された場所、正方形の辺を挟んで隣り合うとき隣接と呼ぶ)する接触検出部210bが開になる。しかし、複数の接触検出部のうち、周囲2箇所以上に高いドットスペーサ215aが隣接する接触検出部210cと210dは閉のままである。
さらに、押圧力が第1の押圧力よりも大きい第2の押圧力を超えると、ベース213がさらに撓むことにより、複数の接触検出部のうち周囲2箇所に低いドットスペーサ215bが隣接する接触検出部210cが電気的に開になる。しかし、複数の接触検出部のうち周囲4箇所に高いドットスペーサ215aが隣接する接触検出部210dはまだ閉のままである。
さらに、押圧力が第2の押圧力よりも大きい第3の押圧力を超えると、ベース213がさらに撓むことにより、複数の接触検出部のうち周囲4箇所に高いドットスペーサ215aが隣接する接触検出部210dも開になる。
これら3種類の接触検出部210b〜210dが、指先等で押圧される面積の領域の中に存在するので、接触位置を検出し得てさらに押圧力を3段階の電気信号に変換するセンサとして動作する。
このようなタッチパネル210を有する本実施の形態のノート型コンピュータ1においては、接触検出装置21が、複数の接触検出部のうちどれが開になっているかを検出する。
接触検出装置21は例えば、隣接しあっている開の接触検出部の一群の中央に位置する接触検出部がある位置を、接触検出面10aの押圧された位置として検出する。
また接触検出装置21は例えば、接触検出部210b〜210dのそれぞれに1〜3のランクを定義付けており、1〜3の分布や密度を検出することで押圧力を検知する。接触検出装置21の接触面積および圧力分布の検出方法は以下の通りである。
図13は低いドットスペーサ215bおよび高いドットスペーサ215aの配置図である。図11で示した低いドットスペーサ215bと高いドットスペーサ215aの配置の場合、接触検出部210b〜210dはそれぞれ4つのドットスペーサに囲まれている。このうち、高いドットスペーサ215aのしめる個数を数字で表し、接触検出部210b〜210dの対応部に記したのが図13である。
図14内に示す楕円は、指が接触した部分の領域である。これを外円と呼ぶ事にする。
この時の接触領域内の面圧(すなわち、単位面積当たりの押圧力)が、数字「0」で示す接触検出部を接触するだけの大きさしかなかった場合、接触検出装置21は図14内に示す楕円の内側に位置する数字「0」で示される接触検出部(図11に示した接触検出部210b)しか接触として出力しない。
しかし、同じ接触面積でも、図14の場合より、より強い押圧力が働いたとすると、接触検出装置21は図15内の外円の内側にあるもう一つの楕円(これを中円と呼ぶ事にする)の内側に存在する数字「2」によって示される接触検出部(図11に示した接触検出部210c)も、接触として検知するようになる。
なお、押圧力が強い場合、実際には、本実施例の動作原理でも記述したように、外円の面積も大きくなる。しかしここでは説明のため外円の大きさは一定と仮定する。
また、実際には、外円も中円も、図15に示すように面圧分布が正確に楕円状に区分される事は無く、実際には図16に示す様に、外円の外にも接触と検出される接触検出部があったり、逆に中円の内側でも接触と検出されない「2」や「0」の接触検出部があったりと、各境界で入り交じることが多い。それらの例外は、図16においてイタリック体の数字によって示している。しかし、接触検出装置21では、その様な入り交じる誤差が最も少なくなるように、境界線として外円や中円、さらには後述する内円の大きさや位置、形状を決定する。この際、接触検出装置21では、その境界線を、あまり複雑な形状で自由度を持たせるのではなく、曲率半径を適切に設定する事により、適度に滑らかで、それでいて誤差も少ない境界線形状を決定する。この曲率半径の設定は、経験や実験による機械学習アルゴリズムなどにより適切に設定する。その際の目的関数は、打鍵時の上記外円、中円、内円に囲まれる面積やその時間変化率による打鍵識別誤差率であり、これが最少になる様に最小の曲率半径を決定する。
ここで説明した境界線の決定方法は、前述や後述の図14、図15、図17、図18でも適用されるものとする。
さて図15の説明に続いて、図17の説明に移る。図17は、図15よりもさらに強い押圧力が作用している場合である。ここでは中円の内側にさらに内円で示される領域が発現する。この領域では、数字「0」、「2」、「4」で示される接触検出部(図11に示した接触検出部210b、210c、210d)の全てで接触と判定されている。
続いて、図18では、中円、内円で示される領域が拡大している。これは、図17よりもさらに強い押圧力が作用していることを示している。
以上、説明した様に、図14、図15、図17、図18に示した様に、各円の面積の時間推移や、各円同士の面積比率の時間推移を検出することにより、指などの接触が、単なる接触状態か、打鍵を意図したものであるのかを、誤診断少なく検出する事ができる様になる。例えば上記のような、圧力を電気信号に変換するセンサを用いて、接触検出面10aに対する物体の接触圧力、又は接触圧力の時間変化から強度を検出する場合の圧力推移のグラフは、図8及び図9の両グラフにおいて、縦軸を接触圧力に置き換えれば、「置く」と「叩く」でそれぞれほぼ同様の傾向が見られる。
図6に示すデバイス制御IC23(判断部)は、接触検出装置21によって検出された強度を受信し、強度に関する特徴量を抽出し、当該特徴量あるいは当該特徴量から計算された値と予め設定された閾値とを比較することにより、物体の接触状態を判断する。物体の接触状態としては、例えば、「非接触」、「接触」、「打鍵」の3パターンが挙げられる。「非接触」は表示装置5に表示された画像に物体が接触していない状態であり、「接触」は、表示装置5に表示された画像に物体が置かれている状態であり、「打鍵」は、表示装置5に表示された画像を物体が叩いている状態である。このような接触状態の判断方法については、図22及び図23を用いて後に詳述する。
接触状態を判断する閾値は調整可能である。例えば、図19に示すように、入力装置20のデバイス制御IC23は、表示装置5に「弱」ボタン20bと「強」ボタン20cと閾値の大小を表すレベルメータ20aとを表示する。このレベルメータ20aが「接触」状態と「打鍵」状態との閾値を設定しているとする。ユーザが打鍵を意識して画像をした押下したにも関わらず、打鍵として認識しないことが多い場合、「弱」ボタン20bの表示領域を押下する。デバイス制御IC23は、「弱」ボタン20bの表示位置と、接触検出装置21において検出された接触位置とに基づいて、「弱」ボタン20bが押下されたか否かを判断し、押下されたと判断した場合には、ディスプレイドライバ22を制御して、表示装置5に表示されているレベルメータ20aの表示位置を左側に移動させ、閾値を下げる。尚、画像は実際には「押下」されている(押し下げられている)わけではなく、画面の表面に圧力がかかるだけであるが、ここでは説明の便宜上、ユーザが打鍵を意識して画面に接触することを「押下」とする。又、レベルメータ20aに表示されているスライダ表示部20dをドラッグすることで、直接レベルメータ20aを変更してもよい。
また、デバイス制御IC23(通知部)は、例えば、キーボードやマウス等の入力装置における操作結果に基づいた処理を行うコンピュータ本体30のマザーボード30a(図7)に対して、接触検出装置21から受信した、物体の接触位置やこの位置に基づいて検出された接触状態を表す情報を通知する。例えば、「打鍵」状態のキー位置や「接触」状態のキー位置を端末装置へ通知する。
又、デバイス制御IC23(演算部)は、接触位置と入力装置を表す画像の中心位置との差を表すベクトルデータから、表示装置に表示する入力装置の画像の位置、寸法もしくは形状の修正量を求める。又、デバイス制御IC23(演算部)は、次に物体が接触した場合、ユーザ情報に基づき、表示装置に表示する入力装置の画像の位置、寸法もしくは形状の修正量を求める。ここで、「ユーザ情報(物体識別情報)」とは、ユーザの掌の大きさなど、ユーザを識別可能な情報を指す。このユーザ情報は、メモリ24(図45〜図47に後述するように、入力装置が外付けの場合は、入力装置が接続されるコンピュータ本体の記録部)に記録される。
又、デバイス制御IC23(演算部)は、入力装置を表す画像がキーボードの場合、あらかじめ設定された文字数Nの文字列Sの入力により、キーボート上の座標セットUをN個得る。この得られたN個のキーボード上の座標セットUと、現在のキーボード配列で文字列Sを表現するときの中心座標のセットCに、2次元の座標変換Tを施した後の座標セットC’との距離の誤差の総和が最小になる前記座標変換Tを決定し、該決定した座標変換Tによるキーボード配列C’を新たなキーボード配列として用いることができる。このキーボード配列変更処理については、後に詳述する。
又、デバイス制御IC23(演算部)は、キー情報に基づき、表示されたキー配列の変更、もしくは、キーの位置、形状、角度の微調整を行う。このとき、デバイス制御IC23(演算部)は、微調整を行う時間間隔を一定以上設ける。
又、デバイス制御IC23(演算部)は、物体が接触した場合、前回、物体が接触した際に使用され、メモリ24に記録された入力装置を表す画像を表示する。
又、デバイス制御IC23(集計部)は、入力装置を表す画像がキーボードの場合、ベクトルデータによって、物体がキーの中心位置に接触したかを示す中心ヒット率、あるいは所望のキーに接触したかを示すキーヒット率を集計する。
又、デバイス制御IC23(補正部)は、物体がタッチパネル10の接触検出面10aに対して垂直方向に接触した場合と、物体が接触検知面10aに対して実際の使用状況において接触した場合と、入力装置を表す画像の表示位置の位置合わせを行う。又、デバイス制御IC23(補正部)は、物体が使用状況において接触した場合、接触位置と入力画像の基準位置との差を利用して位置合わせを行う。
図6に示すデバイス制御IC23(表示制御部)は、接触検出面10aにおける物体の接触状態に応じて、表示装置5に表示された画像の表示形態を変更する。接触状態は、上述したように例えば、「非接触」、「接触」、「打鍵」の3パターンが挙げられる。デバイス制御IC23は、このような接触状態に応じて、それぞれ画像の明度、色、形状、輪郭線のパターンや太さ、点滅/点灯、点滅間隔などを変更して表示する。
例えば、表示装置5に仮想キーボードが表示され、ユーザが入力操作を行うことを想定する。図20に示すように、ユーザが入力操作の準備位置であるいわゆるホームポジションに指を置いている場合、「S」、「D」、「F」、「J」、「K」、「L」のキーは指が「接触」している状態であり、デバイス制御IC23は、この「接触」状態に応じて、これらのキーを表す画像を例えば黄色に点灯させる。その他のキーは「非接触」の状態であり、デバイス制御IC23は、これらのキーを表す画像を例えば青色に点灯させる。そして、図21に示すように、「O」のキーが押下された場合、「O」のキーは指が「打鍵」している状態であり、デバイス制御IC23は、このキーを表す画像を例えば赤色に点灯させ、また「S」、「D」、「F」、「J」のキーは指が「接触」している状態であり、デバイス制御IC23は、これらのキーを表す画像を黄色に点灯させる。
このとき、「非接触」、「接触」、「打鍵」をすべて識別する必要がない場合は、ユーザが、表示形態を変更する接触状態を選択できるようにしてもよい。
又、デバイス制御IC23(表示制御部)は、物体の輪郭を表示装置5に表示する。例えば、デバイス制御IC23(表示制御部)は、図20に示すように、ユーザの掌の輪郭(2点破線部分)を表示装置5に表示する。更に、デバイス制御IC23(表示制御部)は、入力装置を表す画像として、物体の輪郭に沿ったマウスを表示する。
図6に示すデバイス制御IC23(発音部)は、接触検出装置21によって検出された物体の位置とキーボードやマウス等の入力装置の画像の位置との相対関係により判断した接触状態に応じて所定の認識音を決定し、この決定に基づいてスピーカドライバ25を制御することにより、この認識音を、スピーカ26から出力させる。例えば、表示装置5に仮想キーボードが表示され、ユーザがキーを叩くことを想定する。このとき、デバイス制御IC23は、接触検出装置21によって検出されたキー入力の位置と、表示装置5に表示されたキーの中心との相対位置を算出する。この相対位置の算出方法については、図25〜27を用いて後に詳述する。
そして、デバイス制御IC23は、「打撃」の状態において、キー入力の位置と表示されたキーの中心との相対距離が所定の値より大きいと判断した場合、スピーカドライバ25を制御して所定の認識音をスピーカ26から出力させる。この認識音は、通常の「打撃」の状態において発する認識音とは異なる形態(異なる音色、時間、パターンなど)で表現されてもよい。
また、例えば、表示装置5に仮想キーボード5aが表示され、ユーザが入力操作を行うことを想定する。ユーザは事前に、いわゆるホームポジションの指の位置を登録しておく。そして、ユーザが指を置いたときに、デバイス制御IC23がホームポジション以外のキーに指が置かれている(「接触」状態)と判断した場合、ホームポジションに指が置かれている(「接触」状態)と判断した場合と異なる形態(異なる音色、時間、パターンなど)の認識音を発することも可能である。
また、発光装置27(発光部)は、入力装置20の表面に備えられ、デバイス制御IC23の判断に従って、接触状態に応じて発光する。例えば、ユーザがホームポジションに指を置いたと判断した場合、デバイス制御IC23は、発光装置27を発光させる。
図6に示すメモリ24(記録部)は、物体の接触位置、接触強度、そして接触位置と入力装置を表す画像の中心位置との差を表すベクトルデータを記録する。
又、メモリ24(記録部)は、入力装置を表す画像がキーボードの場合、接触検出装置21によって検出した位置とキーボードのキーの中心位置との差を表すベクトルデータを記録する。又、メモリ24(記録部)は、入力取り消しキーの使用頻度、取り消されたキー、および取り消し直後に入力し直されたキーの種類を含むキー情報を記録する。
又、メモリ24(記録部)は、物体に応じた前記入力装置を表す画像と、タッチパネル10において認識したユーザ情報とを対応付けて記録する。
尚、メモリ24は、RAM(Random Access Memory)、フラッシュメモリ等の不揮発性メモリの他、ハードディスクやフレキシブルディスク等の磁気ディスク、コンパクトディスク等の光学ディスク、ICチップ、カセットテープなどにより構成されてもよい。
又、本実施の形態に係る入力装置20は、インタフェースの状態(接触、キータッチ、手の位置、自動調整、認証した個人名など)を図、文字、記号、インジケータ点灯の内少なくとも一つの手段で表示する表示手段を備える。この表示手段は、表示装置5でも良く、これとは別の装置でも構わない。
次に、各種プログラムの保持について説明する。本実施の形態に係る入力装置20は、接触位置検出処理、接触強度検出処理、判断処理、自動調整処理、タイピング練習機能処理、打ち直しによる調整処理、マウス表示処理、視野角補正処理などを接触検出装置21やデバイス制御IC23に実行させるための情報処理プログラムをメモリ24に格納する。このメモリ24は、RAM等で構成されており、入力装置20においては、このメモリ24にプログラムを格納するための、情報読み取り装置(図示せず)が設けられている。この情報読み取り装置としては、例えば、フレキシブルディスク等の磁気ディスク、光学ディスク、ICチップ、若しくはカセットテープ等の記録媒体から情報を読み取る装置、又はネットワークからこれらのプログラムをダウンロードする装置等を用いることができる。記録媒体を用いる場合、プログラムの保存、運搬、販売などを容易に行うことができる。なお、メモリ24に代えて、ハードディスク装置等の記憶装置を用いることもできる。
(情報処理)
次に、第1の実施の形態に係る情報処理方法について図22〜27を用いて説明する。尚、以下において説明する情報処理方法は、メモリ24などに格納された情報処理プログラムをデバイス制御IC23等が実行することによって実現される。即ち、情報処理方法における各ステップは、情報処理プログラムによって実行できる各手順に対応する。
また、ここでは、入力部3の表示装置5に表示される入力装置の画像として仮想キーボード5aを想定し、ユーザは指で仮想キーボードのキー5aに接触して入力操作を行う。
まず図22を用いて、図6を参照しながら、基本的な情報処理方法の流れを説明する。
図22のステップS101において、入力装置20は、表示装置5に入力装置の画像(仮想キーボード5a)を表示する。そして、ステップS102において、タッチパネル10の接触検出面10aにおける検出領域を取得し、ステップS103において、接触検出面10aに指が接触した領域があるか否かを判断する。接触領域がない場合、ステップS102へ戻り、接触領域がある場合、ステップS104へ進む。
ステップS104において、入力装置20は、接触検出面10aに接触する指の位置を検出し、ステップS105において、指が接触するときの強度を検出する。
次に、ステップS106において、入力装置20は、検出された強度に関する特徴量を抽出し、当該特徴量あるいは当該特徴量から計算された値と予め設定された閾値とを比較することにより、指先やペン状指示棒の先端部等の接触状態を判断する。接触状態には、例えば上述したように、「非接触」、「接触」、「打鍵」状態があるとする。例えば、図9に示すように、接触面積Aが、直前までゼロもしくは非常に小さい値であったものが、急峻に立ち上がることを検出し、これを「打鍵」状態と判断する。具体的には、図8及び図9において、特徴量として接触面積を抽出し、この接触面積から面積速度もしくは面積加速度、即ち、それぞれΔA/ΔtもしくはΔA/Δt2で表される量の演算を行い、この数値が予め設定された閾値より大きいと「打鍵」状態であると認識する。
尚、「打鍵」あるいは「接触」と認識する際の、ΔA/ΔtもしくはΔA/Δt2の閾値は、個人によって、もしくは使用中のアプリケーションによっても異なり、又、同一ユーザであっても、使用している間に徐々に変化してくることも考えられる。適当なタイミングでこれを学習しキャリブレーションすることにより、所定の固定値とするよりも識別精度が向上する。
次に、ステップS107において、「打鍵」状態か否か判断する。「打鍵」状態でない場合はステップS102へ戻り、検出領域を取得する。一方、「打鍵」状態である場合は、ステップS108へ進み、入力装置20は、コンピュータ本体30へ、キーが「打鍵」されたことを通知する。また、「打鍵」状態である場合においても、次の接触状態を判断するため、ステップS102へ戻り、検出領域を取得する処理が並行して行われる。
次に、ステップS109において、入力装置20は、仮想キーボードのキー画像の表示形態を「打鍵」状態の表示形態へ変更する。具体的には、「打鍵」されたキーの明度、色、形状、輪郭線のパターンや太さ、点滅/点灯、点滅間隔などを「打鍵」状態の表示形態へ変更して表示する。又、入力装置20は、「打鍵」状態のキー表示が行われてから、所定の時間が経過したか否か判断し、経過していない場合は表示を続行する。経過した場合はキー画像の表示形態を通常の表示に戻す。尚、ここでは、所定の時間の経過ではなく、点滅回数が所定の回数に達したか否かで判断してもよい。
次に、ステップS110において、入力装置20は、認識音を発生する。この処理については、図25を用いて後に詳述する。
そして、入力装置20は、入力操作が終了するまで、ステップS102〜S110の処理を繰り返す(ステップS111)。
ここで、ステップS106における接触状態の判断方法のその他の例について、図23を用いて説明する。
まずステップS1061において、多変量(特徴量)の抽出を行う。例えば、図9に示すグラフから、接触時の最大面積Amax、接触面積Aを積分して求める過渡面積SA、最大面積に到達するまでに要した最大値到達時間(接触面積が最大値に到達するまでの時間)Tp、打鍵開始から終了までに要した打鍵総時間Teを特徴量として抽出する。そして、これらの特徴量に基づいて、立ち上がり傾きk=Amax/Tpなどを計算する。
尚、これらの定性的な物理的特性としては、最大面積Amaxは、指が太く、打鍵が強いほど大きく、過渡面積Saは、打鍵が強く、しっかりした打ち方のときほど大きく、最大値到達時間Tpは指が柔らかく、打鍵が強くゆっくりになるほど大きく、打鍵総時間Teは、打鍵速度が遅く、指が柔らかいほど大きく、立ち上がり傾きk=Amax/Tpは、指が固く、打鍵速度が速く、打鍵が強いほど大きくなるという傾向がある。
これらの特徴量を、ユーザ毎に、複数回数の打鍵から平均するなどして学習し、打鍵の判断に利用する。打鍵データの収集方法としては、一旦打鍵と判定したものが、ユーザにより取り消された場合は除外することにより、打鍵データのみを蓄積して行くことができるので、その蓄積したデータを解析して打鍵識別の閾値を決定することができる。
これを全てのキーで共通して計測しても良いが、指毎やキー毎、もしくはキー群をいくつかのグループに分けて、計測することにより、より判断精度を高められる場合もある。
この際、各変数を独立に閾値を決めて、いずれか一つ以上の所定の変数が閾値を上回ったか、といった論理・条件分岐を判定の拠り所としてもよいし、さらに高度な方法としては、各変数を多変量解析手法により打鍵識別する方法もある。
多変量解析の一例としては、複数回数の打鍵を記録し、所定回数の多変量のセットから、例えばマハラノビス空間を学習し、次に、入力された打鍵をこのマハラノビス空間でマハラノビス距離を計算し(「The Mahalanobis-Taguchi System, ISBN0-07-136263-0, McGraw-Hill」等参照)、このマハラノビス距離が小さいほど「打鍵」であると判断するアルゴリズムとすることも、判断精度を向上させる一方法である。
具体的には、図23のステップS1062において、対象となる多変量データセットに対し、変数毎に平均値と標準偏差を計算し、元のデータをこの平均値と標準偏差でz変換(基準化、標準化ともいう)する。次に、変数間の相関係数を計算し相関行列を求める。ちなみにこの学習は、初期の所定打鍵データが収集できた時点で一度だけ行い、二度と変更しないという場合もあるが、ユーザの打鍵の癖が変化してきた場合や、デバイス側の機械的・電気的特性の経時変化、温度変化など、何らかの理由で判断精度が落ちてきた場合には、再学習することにより、判断精度を回復することができる。なお、複数のユーザがログインなどをして使用する場合、ユーザ毎に判断精度を回復してもよい。
次に、ステップS1063において、この変数毎に求められた平均値と標準偏差、及び一組の相関行列を用いて、判断したい打鍵データのマハラノビス距離を計算する。
そして、ステップS1064において、多変量(特徴量)を認識することにより接触状態の判別を行う。例えば、マハラノビス距離が所定の閾値より小さい場合、物体の接触状態が「打鍵」状態であると判断する。
このように、マハラノビス距離が小さいほど「打鍵」である可能性が高いと判断するアルゴリズムを採用すれば、特徴量をそのまま判断に利用する場合に比べて遙かに判断精度が向上する。なぜなら、マハラノビス距離によれば、学習した変数間の相関も考慮した認識、即ち、パターン認識を行うため、ピーク値Amaxだけは打鍵データの平均値と近くても、接触面積が最大値に到達するまでの時間Tpが長い場合など、打鍵とは異なる接触パターンに対しては、高い識別能力を示す様になるという特徴がある。
本実施の形態では、マハラノビス距離を用いる打鍵識別アルゴリズムで説明したが、その他の多変量解析アルゴリズムを採用して多変量の判断を行っても構わないことは勿論である。
次に、図24を用いて、「打鍵」状態だけではなく、「非接触」状態、「接触」状態におけるキーの表示を変更する処理について説明する。
図24のステップS201〜202の処理は、図22のステップS101〜102の処理と同様であるので、ここでは説明を省略する。
次に、ステップS203において、入力装置20は、接触検出面10aに物体が接触した領域があるか否か判断する。接触領域がない場合は、ステップS212へ進み、接触領域がある場合は、ステップS204へ進む。ステップS212において、入力装置20は、仮想キーボードのキーが「非接触」状態であると判断し、キーの表示形態を変更する(「待機」表示する)。具体的には、「非接触」状態のキーの明度、色、形状、輪郭線のパターンや太さ、点滅/点灯、点滅間隔などを、「接触」あるいは「打鍵」状態のキーとは変更して表示する。そして、ステップS202へ戻り、検出領域を取得する。
次に、ステップS204〜206の処理は、ステップS104〜106の処理と同様であるので、ここでは説明を省略する。
次に、ステップS207において、「打鍵」状態でない場合はステップS213へ進む。ステップS213において、入力装置20は、仮想キーボードのキーが「接触」状態であると判断し、表示形態を変更する(「接触」表示する)。具体的には、「接触」状態のキーの明度、色、形状、輪郭線のパターンや太さ、点滅/点灯、点滅間隔などを、「非接触」あるいは「打鍵」状態のキーとは変更して表示する。そして、ステップS202へ戻り、検出領域を取得する。一方、「打鍵」状態である場合は、ステップS208へ進むと共に、次の接触状態を判断するため、ステップS202へ戻り、検出領域を取得する。
ステップS208〜211の処理は、ステップS108〜111の処理と同様であるので、ここでは説明を省略する。
次に、図22のステップS110において、「打鍵」状態と認識された際、打鍵した位置と入力装置(キーボード等)の画像のキー位置とがずれていた場合に、認識音(警告音)を発生する処理について、図25を用いて説明する。
まず、ステップS301において、入力装置20は、打鍵した指の接触検出部10bの座標群から計算される打鍵基準座標(例えば、「打鍵」状態と判断された座標群から近似して推測された接触領域の重心)を取得する。
次に、ステップS302において、入力装置20は、打鍵基準座標と、仮想キーボードにおける当該キーの基準座標(例えば、中心座標)とを比較する。そして、両者のずれ(以下において、「打鍵ずれベクトル」という。)、即ち、打鍵基準座標及び当該キーの基準座標を始点及び終点とするx、y面における方向と長さを計算する。
次に、ステップS303において、入力装置20は、指が接触した座標が、表示されたキーのどの領域に存在するか判別する。この領域は、左右2分割としても良く、または図26及び図27に示すように、領域51〜55の5つの領域に分割するようにしても良い。領域分割の種類は、ユーザが選択してもよい。尚、図26及び図27における領域55は、正確に打鍵したと認識される領域である。
次に、ステップS304において、入力装置20は、領域に従って、認識音を決定する。図26及び図27では、領域51〜55に対してそれぞれ異なる認識音、例えば、音色、時間、パターンの異なる認識音を決定する。
また、入力装置20は、打鍵ずれベクトルの長さに応じて認識音を変化させてもよく、打鍵ずれベクトルの方向に応じて認識音を変化させても良い。例えば、打鍵ずれベクトルの長さが長いほど高音とし、打鍵ずれベクトルの方向に従って認識音の間隔あるいは音色を変えても良い。
また、2つの領域に跨って指が接触した場合、2つの領域に対応する認識音の中間的な認識音を採用してもよく、また中間的な音色の生成は2つの領域の接触面積に応じて比例配分してもよく、2つの領域のうち接触面積が大きい領域の認識音を採用してもよい。また、このとき2つの音を発生させて和音としてもよい。
次に、ステップS305において、入力装置20は、ステップS304において決定された認識音を所定の音量で発生する。そして、入力装置20は、認識音を発生してから、所定の時間が経過したか否か判断し、経過していない場合は認識音を発生し続ける。経過した場合は認識音を停止する。
尚、ステップS304において、領域1〜5に対して異なる認識音を決定すると説明したが、領域55と領域51〜54とを異なる認識音としてもよい。例えば、領域55を打鍵した場合、正確に打鍵したと認識し、領域51〜54とは異なるパターン音、もしくは無音としても良い。
領域55の形状やサイズは、例えばキートップ全体に対するパーセンテージや、割合や比などの形でユーザ自身が適宜調整しても良く、領域55のヒット率や打鍵ずれベクトルのx、y成分分布等を記録し、それらのデータから自動調整しても良い。
また、領域51〜54の区別はせず、領域55の内側か外側かのみの区別で認識音を変更しても良い。
また、領域55の調整は、キー毎に独立して実施しても良く、全ての領域を一括もしくは複数のグループに分割して実施しても良い。例えば、キーボードの主要なキー、例えば多く使うキーや仮名キー(50音のキー)だけをまとめて打鍵ずれベクトルを累計し、かつ形状やサイズの変更パラメータも主要なキーのグループは共通として同時に変更しても良い。
=自動調整処理=
次に、表示されたキーボードのキー位置と入力位置との差から、キーボードの表示位置、寸法、形状を変化させる調整処理について、図28を用いて説明する。ここで、調整処理は、キー毎に独立して実施しても良く、全ての入力領域を一括もしくは複数のグループに分割して実施しても良い。例えばキーボードの主要なキーだけをまとめて打鍵ずれベクトルを累計し、かつ形状やサイズの変更パラメータも主要なキーのグループは共通として同時に変更する構成としても良い。
まず、ステップS401において、打鍵ずれベクトルの取得方法は、図25のステップS302と同様であるので、ここでは説明を省略する。そして、入力装置20は、打鍵ずれベクトルデータをメモリ24に記録する。
次に、ステップS402において、入力装置20は、規定のタイミングに達したか否か判断する。ここで「規定のタイミング」とは、累計する対象の入力領域(キー毎ならキー毎に、グループでならグループに属する入力領域でまとめて)に打鍵が記録された回数、もしくは所定の時間間隔としても良い。又、所定の打鍵回数の場合でも、打鍵毎に、過去の所定のn回(nは自然数)の打鍵データを基に演算した調整パラメータを用いても良い。このアルゴリズムによれば、nを適切な数に設定すれば、打鍵毎に刻々と入力領域のレイアウト、形状やサイズが最適化される上に、n回のデータを用いているので変化が急激過ぎてむしろ使いにくくなると言ったことや違和感を回避することができるという利点が生じる。
次に、ステップS403において、入力装置20は、打鍵ずれの分布を仮定し、最適な分布形状を演算する。そして、ステップS404において、当該分布形状を規定する一つ以上のパラメータをばらつきの分布データから演算する。
次に、ステップS405において、入力装置20は、キーボード(入力領域)の表示位置、寸法、形状等を変更する。
次に、ステップS406において、入力装置20は、調整処理を終了するか否か判断し、終了しない場合は、ステップS401〜405の処理を繰り返す。
尚、ユーザ側は入力装置20のこのような調整が現在どのような状態なのかを知りたいという要求がある。そこで、上記の様なアルゴリズムを実装する際に、同時に、「打鍵ずれ記録中」「自動調整中」「自動調整オフ」といった現状のステイタスを、入力装置側もしくは本体側の表示装置の一部に表示する構成としても良い。
次に、キーボードを表す画像を表示をしない状態で、ユーザに所定の文字列(パスワード)をキー入力させることで、ユーザの入力意図を読みとり、どの程度のキーピッチを想定してユーザがタイプしたかを演算することにより、そのユーザに最適なキーボードパターンのパラメータを決定する方法について、図29を用いて説明する。
ここでは、キーピッチの他に、仮想的にタイプされた文字列の配列や文字列の基準線の傾き、基準線の曲率といったレイアウトに関するパラメータを最適に変更することにより、ユーザ毎に最適なキーボードレイアウトを提供することができる。
又、五十音順レイアウトや英文キーボードでもいわゆる「QWERTY」配列、「DVORAK」配列を始めとして、様々な配列形式が存在するが、規定の文字列が、どのタイプの配列において入力されたかによって、ユーザが使用したいキーボードを入力装置20が認識できるようになる。
まず、図29のステップS501において、入力装置20は、打鍵を認識した位置の位置座標を取得する。そして、ステップS502において、予め記憶されている所定の文字座標群の位置座標と比較する。
次に、ステップS503において、打鍵位置と文字座標群の位置との差を表す差分ベクトル群を導出する。差分ベクトル群は、入力された文字(パスワードの文字)数のベクトルの群からなる。ここで、各差分ベクトルの始点からなる始点群のみ、および各差分ベクトルの終点からなる終点群のみから最小二乗法などにより一次直線を生成し、それぞれを
y=a1x+b1
y=a2x+b2
とする。
ステップS504において、a1とa2を比較することにより、xy面内で何度基準に対してユーザの入力が回転しているかを検出し、角度修正量として演算する。もしくは、パスワード文字群に用いられている文字を、単純に行(y座標が同じ筈の文字群)毎に分類してそれぞれでx方向の角度を計算し、得られた角度を平均して(1行だけならそのままで)行の角度修正量としてもよい。
次に、ステップS505において、始点群のキーボード基準位置と、終点群から推測するキーボード基準位置を比較することにより、xピッチ及びyピッチの修正量を演算する。方法は色々考えられるが、例えば最も単純には、始点群の座標群の重心と、終点群の座標群の重心とを比較しx方とy方向の差分を計算するだけでも良い。
次に、ステップS506において、x方向の拡大率(kxとする)とy方向の拡大率(kyとする)とを別々に調整し、始点群の座標群と、終点群の座標群のそれぞれx座標およびy座標の誤差が最小となる様にkxとkyを決定し、基準原点修正量の演算を行う。決定方法は、例えば、誤差の2乗和が最小となるように探索的に(数値計算的に)求めても良いし、最小二乗法など算術的方法を行っても構わない。
次に、ステップS507において、パスワードなど所定の文字列の認証判定を行う。即ち、予め登録されているパスワードと入力されたパスワードが一致するか否か判定する。
そして、ステップS508において、ステップS504〜506において演算された、角度修正量、xピッチ、yピッチ修正量、基準原点修正量を反映させた入力範囲(ここでは、仮想キーボート5a)を、再表示する。
尚、上述した角度修正量演算(ステップS504)、xピッチ、yピッチ修正量演算(ステップS505)、基準原点修正量演算(ステップS506)は、現キーボード配列に、適当な変換Tを施すことにより、ユーザにとって適切な配列にキーボードを調整するために算出する。ここで、現キーボード配列は、工場出荷時の配列であってもよく、過去に修正された配列でも良い。
以下に、適当な変換Tを求めるための別の手順について説明する。
適当な変換Tを求めるためには、ユーザにあらかじめ決められた文字数Nの文字列Sを打鍵させ、そのとき得られるN個のタッチパネル上の2次元座標のセットU(キートップ中心座標からずれている)と現在のキーボード配列において文字列Sを表現するときのキートップ中心の座標セットCとを比べ、最も誤差が小さくなるようにTを決めればよい。具体的には、以下で述べる手順が考えられるが、この方法に限定されない。以後、2次元座標または2次元のベクトルを[x,y]と表す。
UはN個の2次元座標なので、[xi,yi](i=1,2,…,N)と書ける。CをTにより変換した座標セットC’を[ξi,ηi](i=1,2,…,N)とする。変換Tは、ここでは座標群全体の平行移動と回転と拡大または縮小により構成する。平行移動を表すベクトルを[e,f]とし、回転角をθ、拡大/縮小係数をλとする。[e,f]は、現キーボード配列全体の中心点[a,b]と、Uの平均座標[c,d]=[(x1+x2+…+xN)/N,(y1+y2+…+yN)/N]から、[e,f]=[c−a,d−b]を計算すればよい。θとλにより、現キーボード配列を変換すると、変換後の座標は、[ξi,ηi]=[λ{(Xi−e)cosθ−(Yi−f)sinθ},λ{(Xi−e)sinθ+(Yi−f)cosθ}](i=1,2,…,N)と計算できるので、距離の2乗Δi=(ξi−xi)^2+(ηi−yi)^2の和α=Δ1+Δ2+…+ΔNを最小化するパラメータθとλを、θとλの初期値をそれぞれ0,1とし、逐次2次計画法を用いて数値的に求めれば、求まったθとλを代入した結果得られる[ξi,ηi](i=1,2,…,N)が、新キーボード配列になる。タイプミスなどの要因により、誤差が大きいときには、θとλは収束解に至らないことも考えられるが、このような場合はそもそも認証しない場合であり、キーボード配列を調整すべきではないので、ユーザに再度文字列Sの入力を促せばよい。
又、λを、x方向とy方向とで別々に調整する構成とすることで、横ピッチと縦ピッチを各々最適化でき、より好ましい結果が得られる場合もある。
又、変換Tを工夫すれば、全体的に湾曲しているようなキーボード配列や、左手で打つキー群と、右手で打つキー群とが、離れた位置にあるようなキーボード配列に調整することも可能である。
このような補正を、左右の手で独立して実施し、市販されている様な、左右の指の守備範囲を別々に扇状に変則的に配置する様な補正を、本アルゴリズムによりフレキシブルに実施しても良い。
尚、この補正は認証時にのみ利用し、実際にキーボード領域を表示する際にはこれを反映しないか、ピッチの修正にのみ反映するなど、部分的もしくは加工・工夫して反映させる種々のバリエーションが考えられることは言うまでもない。特に回転角は、筺体の縁とずれている、もしくは左右非対称であると美観上も違和感があるので調整しないもしくは左右対称になる様に調整を工夫するという構成も考えられる。
以上のように、様々な適切な幾何制約を付加することにより、利便性、美観を高めることができる。
又、本実施の形態に係る入力装置20は、指先等の物体に応じた入力装置を表す画像(入力位置を認識させるための画像)と、接触検知面において認識したユーザ情報とを対応付けて記録し、次に前記物体が接触した場合、当該ユーザ情報に基づき、表示装置に表示する入力装置の画像の位置、寸法もしくは形状の修正量を求めてもよい。例えば、接触検知面10aにおいて認識したユーザの手の大きさから、手の大きさを代表する指標に変換し、当該該指標に合わせて(パラメトリックに)キーボードを表す画像の大きさを変化させて表示してもよい。
入力領域(キー)のサイズやレイアウトを、ユーザに応じて動的に調整することにおいては、図29に示す動作と同様である。しかし、あまりに調整アルゴリズムが複雑であったり、調整パラメータが多すぎると、あまり使いやすくないサイズやレイアウトに調整されてしまったり、表示可能な領域からはみ出すような、調整不可能な値にパラメータが算出されてしまう恐れもある。そこで、図25と同様のアルゴリズムにおいて、(1)角度修正量演算、(2)xピッチ、yピッチ修正量演算、(3)基準原点修正量演算の3種類の調整を個別に行うことに換えて、例えば予め単一もしくは少数のパラメータで規定されるキーボードパターンなどを予め機器が記憶保持しておき、図29のアルゴリズムによる打鍵座標群取得の後、例えばxピッチ、yピッチのみを、規定のキーボードパターンにおける縦横寸法に反映させるだけという単純な調整アルゴリズムにする。
このような変換によれば、例えば、基準位置の移動、即ち、平行移動や、角度・レイアウトのフレキシブルな調整は行わないこともあるが、実用上十分な場合があり、むしろあまり多彩な変化にユーザが戸惑うといった悪影響の恐れも軽減する。
=タイピング練習機能処理=
次に、指先がキーの中心位置に接触したかを示す中心ヒット率、あるいは所望のキーに接触したかを示すキーヒット率をログインユーザ毎に集計し、成績の悪いキーを多く含む例題を出題するタイピング練習機能処理について、図30及び図31を用いて説明する。
まず、ステップS601において、入力装置20は、タイピング練習文字をユーザに入力するよう指示し、ユーザが仮想キーボード5aを用いて、打鍵したことを認識する。
次に、ステップS602において、入力装置20は、入力位置や修正記録をメモリ24に記録する。
次に、ステップS603において、入力装置20は、指先がキーの中心位置に接触したかを示す中心ヒット率、あるいは所望のキーに接触したかを示すキーヒット率を計算する。
次に、ステップS604において、入力装置20は、中心ヒット率あるいはキーヒット率の時間的推移をグラフ表示するためのパラメータを設定する。
そして、ステップS605において、入力装置20は、図31に示すようなヒット率のグラフを表示する。
又、入力装置20は、キー毎の成績をランキングし、集中して練習するキーを提示したり、成績の悪い(ヒット率の悪い)キーを多く含む例題をユーザに出題したりしてもよい。
=打ち直しによる調整処理=
次に、入力取り消しキーの使用頻度、取り消されたキー及び取り消し直後に入力し直されたキーの種類を含むキー情報を用いて、キー配列の変更もしくは位置・形状・角度の微調整を行う処理について、図32を用いて説明する。
まず、ステップS701において、入力装置20は、ユーザが仮想キーボード5aを用いて、キーを打ち直したことを検出する。例えば、QWERTY配列のキーボードに於いて、装置が「R」の打鍵を認識したあとユーザがこれを取り消しキーにより取り消し、改めて「E」が打鍵されたことを検出する。
次に、ステップS702において、入力装置20は、打鍵ミスした際の指の中心と、打ち直されたキーの中心との差分ベクトルデータを計算する。
次に、ステップS703において、入力装置20は、何度かのミスの際の当該差分ベクトルデータ群を導出する。
そして、ステップS704において、当該差分ベクトルデータ群を平均し、これに所定の係数を乗ずることにより、修正量を演算する。この係数を1以下とすれば、小さいほど補正量は緩やかとなり、1に近いほど補正量は大きくなる。又、補正頻度も、誤入力の度に所定の回数分だけ最近の誤入力を平均して実施してもよく、所定の誤入力回数の間隔で実施してもよい。
次に、ステップS705において、入力装置20は、修正量に基づいて、キー位置を修正し、表示する。
尚、入力装置20は、キー位置の修正(微調整)を行う時間間隔を一定以上設けることができる。
=マウス表示処理=
次に、指先がマウスを握る形状を取った際、表示装置に仮想マウス5bを表示させる処理について、図33及び図34を用いて説明する。
まず、ステップS801において、入力装置20は、指の接触形状を検出する。
次に、ステップS802において、入力装置20は、接触形状からマウス使用姿勢であるか否か判断する。マウスの使用姿勢である場合は、ステップS803へ進む。マウス使用姿勢であるとは、例えば、図34(a)に示すような形状で、指が接触した場合である。図34(a)の斜線部分が、タッチパネル10に接触している部分である。
次に、ステップS803において、入力装置20は、マウスの基準位置および基準角度を判断し、基準位置、基準角度を利用して、図34(b)に示すように、表示装置5のディスプレイ上に仮想マウス5bを表示する。この基準位置は、ユーザの指によって決定される。このとき、通常のキーボード表示を残してその上に重ねる状態に仮想マウス5bを表示しても良く、キーボード表示を消して仮想マウス5bを表示しても良い。
次に、ステップS804において、入力装置20は、仮想マウス5bに対してユーザが行うクリックやホイールスクロールなどの操作を検出する。そして、ステップS805において、入力装置20は、位置の移動量や操作イベントを取得する。
尚、ステップS801〜805の処理は、高速な周期で繰り返しており、リアルタイムに「接触形状検出」「マウス使用姿勢か?」の判断が行われている状態となっており、ユーザがマウス使用の手の形状を解除して打鍵状態に移行したり、タッチパネル10から手を離したりしたら直ちにもしくは所定のディレイの後、仮想マウス表示モードから通常使用状態(キーボード表示など)に移行する。
=視野角補正処理=
次に、垂直方向と使用状況で誤差が発生した場合のキャリブレーション処理について説明する。例えば、図35に示すように、表示装置5上のある画素5cに表示された画像をユーザの目が視認し、当該画像に接触することを想定する。このとき、垂直方向から見た場合(ユーザの目240a)、ユーザは接触検出部10bに接触する。一方、通常の使用状況である斜めの方向から見た場合(ユーザの目240b)、ユーザは接触検出素子10bに接触する。同様に、ペン状指示棒の先端部241が画素5cに表示された画像に接触する場合、垂直方向から接触する場合は、図36に示す接触検出部10bに接触し、使用状況において斜めから眺めたときには、図37に示す接触検出部10bに接触することとなる。
このように、垂直方向からのキャリブレーションと、使用時に多い斜め方向からのキャリブレーションと、2回のキャリブレーションを行うことにより、入力装置20は、視野角補正を正確に計算することができる。
この視野角補正処理について、図38を用いて説明する。
まず、ステップS901において、入力装置20は、ユーザが仮想キーボード5aを用いて、打鍵したことを認識する。
次に、ステップS902において、入力装置20は、図39に示すように、タッチパネル10の接触検出部10bと表示装置5上の画素5cとの調整量(ずれ量)Lを抽出する。このずれ量が大きいと、図40に示すように、キー表示の中心位置と打鍵位置Pがずれることとなる。
次に、ステップS903において、入力装置20は、ずれ量の累計を記録する。具体的には、キー毎の接触座標と接触領域の基準座標とのばらつきを計算し、キー毎に記憶する。
次に、ステップS904において、入力装置20は、ずれ量の分布を仮定し、最適な分布形状を演算する。具体的には、図41に示す、指243の接触面積A及び接触面積中心座標Xを用いて、図42及び図43に示すように、x及びy方向の指の接触面積推移を算出する。そして、この度数の累計から分布をフィッティングし、実際のキーの中心座標と分布中心のずれを求める。又、分布を規定する一つ以上のパラメータをばらつきの分布データから計算する。
次に、ステップS905において、入力装置20は、中心ずれ量を演算する。
次に、ステップS906において、入力装置20は、中心ずれ量から視差補正量を演算する。具体的には、上記のパラメータから、表示するキーあるいはキーボードの座標・ジオメトリパラメータのいずれかもしくは全てを調整し、視差補正量を演算する。
次に、ステップS907において、入力装置20は、視差補正後のキーボードを表示する。
尚、上記の視差補正は、キー毎に独立して実施しても良いし、全てのキーを一括もしくは複数のグループに分割して実施しても良い。又、キー毎もしくは補正の周期やずれ量累計記録のリセット方法であるが、所定の打鍵回数の累計が終わる毎に上記アルゴリズムを繰り返し、累計もリセットしても良いし、打鍵毎に、所定の打鍵回数の累計をファストイン・ファストアウト方式で行い、打鍵毎に分布フィッティングをやり直しても良い。
又、視差補正量が得られた後、実際に視差補正する対象は、表示装置5あるいはタッチパネル10のどちらでも良く、又、両方で視差補正量を分担しても良い。
次に、前述の打鍵ずれベクトルデータによるキーボードの自動調整処理と、本項の視野角補正処理の違いについて説明する。
ベクトルデータによりキーボードを自動調整したにもかかわらず、以降も同様の打鍵ずれベクトルデータが観測される場合、それはユーザの打鍵の精度が悪いのではなく、本項で問題としている表示装置5とタッチパネル10との視野角のずれが原因となっている可能性が高い。
そこで、自動調整処理を行った後、視野角補正処理を行うか否かの判断を含むアルゴリズムについて、図44を用いて説明する。
まず、ステップS1001〜1005は、図38のステップS901〜905と同様の処理であるので、ここでは説明を省略する。
次に、ステップS1006において、入力装置20は、上述したオートアライメント処理による表示領域(キーボードを表す画像)補正量を演算する。そして、ステップS1007において、表示領域(キーボードを表す画像)を補正し、表示する。
次に、ステップS1008において、入力装置20は、視差補正実施条件に達したか否か判断する。ここで、「視差補正実施条件」とは、例えば、表示領域補正回数が規定の回数に達する、あるいは表示領域補正回数が規定の回数に達し、かつ表示部の全面もしくは一部において、特定方向への補正が繰り返し行われた場合など、様々な条件設定が考えられる。視差補正実施条件に達した場合、ステップS1009へ進む。
ステップS1009及びS1010の処理は、図38のステップS906及びS907と同様であるので、ここでは説明を省略する。
=その他の処理=
本実施の形態に係る入力装置20は、接触検出装置21を圧力センサで構成し、接触検出装置21へのユーザのキー入力押圧の平均値を計算し、当該押圧の経時変化を検知してキータッチ識別のしきい値を変化させる。
この入力装置20によると、最近の規定時間、もしくは規定打鍵回数の押圧変化の平均を移動平均の形で算出することにより、打鍵識別のしきい値を決定するので、ユーザが長時間使っているうちに打鍵の強度などの癖が推移するようなケースでも、識別率の低下を防ぎ快適な入力を継続することができる。又、このような押圧変化を観察することにより、得られた情報を、例えばユーザの疲労、もしくは機器側の故障などの検出に利用することもできる。
本実施の形態に係る入力装置20は、個人認証のために、予め一人以上のダミーデータを記録しておき、これらと新規登録ユーザとの特徴比較を行う。これは、新規ユーザを登録して例えばマハラノビス距離による判断指標を算出する場合に、特に新規ユーザが一人である場合、学習した新規ユーザのマハラノビス空間のみでマハラノビス距離を計算するのでは、判断精度が不十分な場合が考えられ、その解決手段の一つである。
基本的には、自身のマハラノビス空間でマハラノビス距離を計算し、これが小さいほど本人である確率が高いと判断すればよいが、学習後の打鍵特徴の変化などで、マハラノビス距離が増加し、判断が難しくなる場合があり、本人であるとの認定/否認のしきい値設定が難しい場合がある。
これに対して、予め一人以上のダミーデータ(被験者)により、ダミーの人数と同じ数だけのマハラノビス空間を用意しておき、これらのマハラノビス空間で、判断対象であるユーザの入力のマハラノビス距離を計算する。そして、これらダミーのマハラノビス空間によるマハラノビス距離よりも、該ユーザ自身のマハラノビス空間によるマハラノビス距離の方が小さい場合に、本人である可能性が高いと判断するものである。
この入力装置20によると、特定の一人もしくは少人数のログインユーザのみのマハラノビス空間しか学習しない場合や、予め多数の被験者から一つの平均的なマハラノビス空間しか保持しない場合に比べて、判断の信頼性が向上するという利点がある。なお、この個人認証に用いるキーや指について、予め決めておくことができる。例えばホームポジションであるF(左手の人差し指)やJ(右手の人差し指)をそれぞれ単独或いはあわせて用いることで個人認証を行うことができる。また、上記実施例において説明した方法により表示するキーボードの位置がだんだんとずれていった場合に、予めセットしておいたユーザ毎の最適なポジションや購入時にセットされている初期ポジションに戻す機能を持たせてもよい。これらのポジションを表す核パラメータなどはユーザ毎にメモリに格納しておくことができる。
(作用及び効果)
本実施の形態に係る入力装置20、コンピュータ装置1、情報処理方法及び情報処理プログラムによると、接触検出装置21(接触位置検出部及び接触強度検出部)と、デバイス制御IC23(判断部)とを備えることにより、接触強度に関する特徴量を用いて、タッチパネル10上に置かれたユーザの指が、打鍵を意図しているのか、もしくは接触しているかだけなのかという接触状態の判断を行うことができる。
又、接触強度は、接触面積や接触圧力を利用して検出することができる。特に、接触面積を利用して強度を検出すると、従来の圧力センサ式タッチパネルのように「打鍵の圧力強度」のみに依存する方式に比べて、接触状態の判断を精度良く行うことができる。
又、従来の赤外線式あるいはイメージセンサ式タッチパネルの場合、接触面積や形状のみを検出しているため「打鍵」と「接触」との判断が困難であった。本実施の形態に係る入力装置20によると、物体の接触状態を容易かつ高精度に判断することができる。
又、接触圧力を利用して強度を検出する場合、例えばペン状指示棒の先端部のように、指先と違って比較的硬質で、押圧による接触面積の変化が少なく検出し難いような場合でも、圧力の時間軸方向における変化率を評価することにより、物体の接触状態を容易かつ高精度に判断することができる。
又、従来は非常に短期間の間に、複数キーの打鍵を認識することが困難であったが、本実施の形態に係る入力装置20によると、接触している指先が複数点であった場合でも、「打鍵している指先」と、「接触させているだけの指先」とを精度良く判断することができる。従って、キー入力熟練者による高速な入力のように、非常に短時間の間に複数のキーに対する打鍵が微少な時間差で、一部時間的に重複して並行して入力が行われるような場合にも、接触状態を正確に把握することができる。
本実施の形態に係る入力装置20によると、デバイス制御IC23(判断部)が接触強度に関する特徴量あるいは当該特徴量から計算された値と予め設定された閾値とを比較することにより、物体の接触状態を判断することができる。このため、ユーザ自身が打鍵の特徴やクセに併せて閾値を調整することにより、例えば同一マシンを複数ユーザで使い分けるときなどにも、各人に最適な判断を行い、識別精度を向上させることができる。又、しばらく使用を続けているうちに、打鍵強度が変化した場合にも、ユーザが自在に調節することにより、快適な使用環境を維持することができる。更に、個々のログイン・ユーザ毎に閾値を保存することにより、この閾値をログイン・ユーザ毎に初期値として用いることができる。
図6に示すように、本実施の形態に係る入力装置20のディスプレイドライバ22(表示制御部)及び表示装置5によると、接触状態に応じて、入力装置の画像の表示形態を変更することができる。このため、例えば入力装置としてキーボードが表示されている場合、指先のキーに対する「非接触」、「接触」、「打鍵」状態をユーザが容易に認識することができ、ユーザの装置に対する習熟を支援する上でも非常に有効である。又、「接触」状態のキーを異なる表示形態で表示することにより、いわゆるホームポジションに両手が正しく位置しているかを認識し、正しく習慣付けることができる。
又、接触状態に応じて、キーの明度を変化させる場合、暗い場所でも入力装置20の利用が容易になる。又、使用状態のカラフルで動的なディスプレイ効果により、ユーザの「使う楽しさ」や「遊び心」、「所有欲」、「満足感」を満たす副次的効果もある。
本実施の形態に係る入力装置20のスピーカドライバ25(発音部)及びスピーカ26によると、物体の接触位置と入力装置の画像の位置との相対関係により、接触状態に応じた所定の認識音を発することができる。このため、ユーザがミスタイプの頻度や中心からのずれ量を認識することができるので、自らミスを補正するように練習することができ、習熟の上で非常に有効である。
本実施の形態に係る入力装置20のデバイス制御IC23(通知部)によると、入力装置による出力信号に基づいた処理を行う機器へ接触状態を通知することができる。このため、例えば、事前にユーザが指定したホームポジションに指が置かれていると認識した際、接続された端末装置側にその旨を通知することができる。
本実施の形態に係る入力装置20の発光装置27によると、接触状態に応じて発光することができる。このため、例えば、事前にユーザが指定したホームポジションに指が置かれていると認識した際、ユーザにその旨を視認させることができる。
本実施の形態に係る入力装置20の自動調整機能によると、打鍵ずれベクトルデータを用いて、キーボードの大きさや形状を変更することができる。
本実施の形態に係る入力装置20のタイピング練習機能によると、ユーザが自身の苦手とするキーを把握し、集中的に練習でき、早期に装置に習熟することができる。又、従来のキーボードを用いる従来のタイピング練習ソフトよりも優れた特徴として、キーの中心と、打鍵した指の中心座標とのずれや、その方向を、連続量のベクトルデータとして認識できるため、打鍵の精度をより細かく診断でき、またその修正指針をユーザにより詳細な情報として提供でき、かつ練習する連続文字列の生成も合理的に行うことができる。
本実施の形態に係る入力装置20の打ち直しによる調整機能では、例えば、QWERTY配列のキーボードにおいて、装置が「R」の打鍵を認識したあとユーザがこれを取り消しキーにより取り消し、改めて「E」が打鍵されたとすると、ユーザは、自身の意図したキーよりも実際には左に配置されているキーを押したことになる。このような再入力の履歴を保存し、この誤操作が多発していることが判明した場合、タッチパネル上の「E」キー近傍を右方向に補正することにより、この打鍵ミスを減少することができる。
尚、キー位置の修正(微調整)を行う時間間隔を一定以上設けることにより、入力装置20側の補正の頻度もしくは補正量が過大になって、仮想キーボード5aの移動が不自然に大きく頻繁になり、むしろユーザが使い難さを感じるという不具合を回避することができ、適度な補正を行うことが可能になる。
本実施の形態に係る入力装置20の打ち直しによるマウス表示機能では、例えば、タッチパッド上でユーザが右手を半ば握る様な形で構えたことをイメージセンサもしくは圧力センサなどからなるタッチパッドが形状識別した際に、ユーザが、キータイプではなく、座標指示を行う使用意図であることを判断し、該手の基準位置を、ほぼ右手の中心位置と定め、また掌部分と丸めた指の位置から基準角度を算出し、この両情報から仮想マウスの位置と角度を算出してディスプレイ上に仮想マウス5bを表示することができる。該仮想マウス5bには、例えば通常のホイールマウスと同様に、左右ボタン、ホイールを具備した表示を行い、このタッチパネル状に表示された左右ボタンやホイールなどの領域は、それぞれの機能を割り付け、この領域上でユーザが指でタッチ、クリック、ホイールスクロール同様の摺動動作などを行った際にこれを検出し、通常のマウスと同様のユーザ指示とみなして機器操作やソフトウェア操作の指令として利用することができる。
[その他の実施の形態]
本発明は上記の実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
例えば、上述の実施の形態においては、入力部3をコンピュータ本体30と一体に構成したが、これに代えて、いわゆる、外付け用機器として、例えばUSB(Universal Serial Bus)等の既存接続規格を用いてコンピュータ本体に外付けする構成としても良い。
この場合、例えば図45に示すように、コンピュータ本体に対して外付けに構成された入力装置20は、表示装置(ここでは、LCD)5に入力装置の画像(ここでは、仮想キーボード5a及び仮想マウス5b)を表示する。入力装置20は、USB(universal serial bus)ケーブル7などにより、コンピュータ本体に外付けされる。入力装置20から出力されるキーボード等の操作結果は、コンピュータ本体に送信され、コンピュータ本体において処理が行われる。また、この処理結果は、コンピュータ本体に接続された表示装置において表示される。
なお、図45の入力装置20においては、図1に示した入力装置20と同様にして、入力部3の表示装置5に対する仮想キーボード5a等の入力装置の画像を表示する処理、図22〜図25に示した物体の接触位置や接触状態を判断する処理、図28〜図44に示した仮想キーボード5aや仮想マウス5bの操作結果に基づく処理を入力装置20側で実行するようにしているが、コンピュータ本体側で実行するようにすることもできる。
すなわち、図7との対応部分に同一符号を付して示す図46は、コンピュータ本体130に対して、入力部140を有する入力装置141を外付け構成とする場合の構成例である。図46に示すように、入力装置141は、コンピュータ本体130のグラフィックス回路35からキーボード等を表す画像を表示するためのデジタル画像信号をディスプレイドライバ22に受け、このディスプレイドライバ22によって表示装置5に仮想キーボード5a等の入力装置の画像を表示する。
打鍵・接触位置検出装置142は、タッチパネル10の接触検出面10aにおいて検出された物体の接触位置や接触状態等を、図22〜図25について上述した方法によって検出し、これをキーボードの操作結果またはマウスの操作結果として、キーボード接続ケーブル(PS/2ケーブル)またはマウス接続ケーブル(PS/2ケーブル)を介してコンピュータ本体130のキーボード/マウスポート46に出力する。
コンピュータ本体130では、キーボード/マウスポート46を介して入力された打鍵結果等をキーボードの操作結果、マウスの操作結果として、ハードディスク装置41等の記録部に一旦記憶し、これらの情報(操作結果)に基づいた処理を実行する。これらの処理としては、図22〜図25に示した基本的な情報処理、図28、図29に示した自動調整処理、図30に示したタイピング練習機能処理、図32に示した打ち直しによる調整処理、図33に示したマウス表示処理、図38に示した視野角補正処理等があり、この処理において、コンピュータ本体130では、操作結果に応じたデジタル画像信号をグラフィックス回路35から表示部150のディスプレイドライバ28に出力する。これにより、操作結果に応じた画像が表示装置29に表示される。また、コンピュータ本体130では、キーボード/マウスポート46を介して入力された打鍵結果等をキーボードの操作結果、マウスの操作結果に基づいた処理として、この操作結果に応じたデジタル画像信号をグラフィックス回路35から入力装置141のディスプレイドライバ22に出力する。これにより、例えば操作結果に応じてキーボード画像の色等を変化させるといった図20及び図21に示した表示処理を表示装置5上で実行させることができる。
この場合、コンピュータ本体130は、表示制御部、接触位置検出部、接触強度検出部及び演算部として動作する。
なお、図46において破線で示すように、キーボード及びマウスの操作結果は、キーボード接続ケーブル、マウス接続ケーブルに代えて、USB接続ケーブル7a、7bを介してコンピュータ本体130のUSBデバイス38に出力するようにしてもよい。
また入力装置141をコンピュータ本体130に対して外付け構成とする他の例として、図47に示すように、入力装置141において、タッチパネル制御・処理装置143によりタッチパネル10の操作結果を検出し、この操作結果をシリアル接続ケーブル9を介して、コンピュータ本体130のシリアル/パラレルポート45に出力する。
コンピュータ本体130では、予めインストールされたタッチパネル用ドライバによって、入力装置141をタッチパネルとして認識し、この操作結果に基づく処理を実行する。この場合においても、図46の場合と同様にして、コンピュータ本体130では、シリアル/パラレルポート45を介して入力されたタッチパネルの走査結果等を、ハードディスク装置41等の記録部に一旦記憶し、これらの情報(操作結果)に基づいた処理を実行する。これらの処理としては、図22〜図25に示した基本的な情報処理、図28、図29に示した自動調整処理、図30に示したタイピング練習機能処理、図32に示した打ち直しによる調整処理、図33に示したマウス表示処理、図38に示した視野角補正処理等がある。このように、コンピュータ本体130において、入力装置141をタッチパネルとして認識した処理を行うことができる。
この場合、コンピュータ本体130は、表示制御部、接触強度検出部及び演算部として動作する。
なお、図47において、シリアル接続ケーブル9に代えて、USB接続ケーブル7によってタッチパネルの操作結果をコンピュータ本体130のUSBデバイス38に出力するようにしてもよい。
また、上述の実施の形態においては、入力部3のみにタッチパネル10を設けたが、これに加えて、表示部においてもタッチパネル10を設けるようにしてもよい。
例えば、図7との対応部分に同一符号を付して示す図48に示すように、下筐体2Aに加えて、上筐体2Bにタッチパネル10を設けるようにしてもよい。この図48に示すように、上筐体2Bに設けられたタッチパネル10の接触検出結果は、タッチパネル制御・処理装置143に供給される。タッチパネル制御・処理装置143は、この検出結果をタッチパネルの操作結果としてシリアル接続ケーブル9を介して、コンピュータ本体130のシリアル/パラレルポート45に出力する。
コンピュータ本体130では、予めインストールされたタッチパネル用ドライバによって、上筐体2Bのタッチパネルを認識し、この操作結果に基づく処理を実行する。
またコンピュータ本体130では、グラフィックス回路35を介してデジタル画像信号を上筐体2Bのディスプレイドライバ28に出力する。これにより上筐体2Bの表示装置29には、種々の画像が表示される。なお、コンピュータ本体30と上筐体2Bとの間においては、例えば図1に示すヒンジ部19を介して信号線が接続される。
下筐体2Aにおいては、打鍵・接触位置検出装置142が設けられている。この打鍵・接触位置検出装置142は、タッチパネル10の接触検出面10aにおいて検出された物体の接触位置や接触状態等を、図22〜図25について上述した方法によって検出し、これをその接触位置に応じてキーボードの操作結果またはマウスの操作結果として、キーボード接続ケーブル(PS/2ケーブル)またはマウス接続ケーブル(PS/2ケーブル)を介してコンピュータ本体130のキーボード/マウスポート46に出力する。
コンピュータ本体130では、キーボード/マウスポート46を介して入力された打鍵結果等をキーボードの操作結果、マウスの操作結果に基づいた処理として、この操作結果に応じたデジタル画像信号をグラフィックス回路35から入力装置141のディスプレイドライバ22に出力する。これにより、例えば操作結果に応じてキーボード画像の色等を変化させるといった図20及び図21に示した表示処理を表示装置5上で実行させることができる。
この場合、コンピュータ本体130は、表示制御部、接触強度検出部及び演算部として動作する。
なお、図48において破線で示すように、キーボード及びマウスの操作結果は、キーボード接続ケーブル、マウス接続ケーブルに代えて、シリアル接続ケーブル9aを介してコンピュータ本体130のシリアル/パラレルポート45に出力するようにしてもよい。
また図48において、下筐体2Aにおいても、上筐体2Bと同様のタッチパネル制御・処理装置143を打鍵・接触位置検出装置142に代えて設け、コンピュータ本体130において、インストールされたタッチパネルドライバによって操作結果を認識し、これに応じた処理を実行するようにしてもよい。
また上述の実施の形態においては、抵抗膜方式のタッチパネル10を用いたが、これに代えて、例えば、光学方式のものを用いるようにしてもよい。光学方式による一構成例として、図49に示すように、赤外線走査型センサアレイが挙げられる。発光用X軸センサアレイ151eから受光用X軸センサアレイ151cへ、又、発光用Y軸センサアレイ151dから受光用Y軸センサアレイ151bへ光が走査する。この光の光路がマトリクス状に交差する空間層がタッチパネル10に代わる接触検出領域となる。指先等で表示装置5の表示面を押圧しようとすると、指先は、表示面に接触する前に接触検出領域を横切ることになる。指先等の物体がこの接触検出領域を横切ると、光路151fを遮るため、受光用X軸センサアレイ151c及び受光用Y軸センサアレイ151bにおいて受光結果が得られないこととなり、図6に示した接触検出装置21において、これらの位置をX座標及びY座標で検出することができる。そして、この接触検出領域を横切った物体の強さ(すなわち表示装置5の表示面に接触する際の強さ)及びその強さに基づく特徴量を接触検出装置21において検出し、接触状態を判断することができる。例えば、一定の断面積を持つ指先が接触検出領域を横切る場合、指先によって複数の赤外線が遮られることになり、この遮られる赤外線の数の単位時間あたりの増加率は、指先が接触検出領域を横切る速度に応じて変化する。そして、表示面を強く押圧しようとすると、指先が接触検出領域を横切る速度が高くなることにより、遮られる赤外線の数の増加率に基づいて、強く押圧したか否かを判断することができる。
また、上述の実施の形態においては、端末装置としてノート型コンピュータを例示したが、これに限らず、電子手帳、PDA(Personal Digital Assistant)、携帯電話などでも構わないことは勿論である。
また、図22において、接触位置の検出を行った後(ステップS104)、接触強度の検出(ステップS105)を行うと説明したが、この順序は逆でも構わない。同様に、打鍵状態の通知(ステップS108)、打鍵表示(ステップS109)、認識音の発生(ステップS110)の順序で処理を行うと説明したが、この順序はそれぞれ入れ替わっても構わない。図24においても同様である。
第1の実施の形態に係るノート型コンピュータの斜視図である。 図1のノート型コンピュータの入力部を示す斜視図である。 図1のノート型コンピュータのタッチパネルを示す斜視図である。 図1のノート型コンピュータのタッチパネルを示す平面図である。 図1のノート型コンピュータのタッチパネルを示す断面図である。 図1のノート型コンピュータの入力装置の構成を示すブロック図である。 図1のノート型コンピュータを示すブロック図である。 図1のノート型コンピュータのタッチパネルにおける接触状態を示すグラフである。 図1のノート型コンピュータのタッチパネルにおける接触状態を示すグラフである。 圧力を電気信号に変換するタッチパネルを示す斜視図である。 圧力を電気信号に変換するタッチパネルを示す平面図である。 圧力を電気信号に変換するタッチパネルを示す断面図である。 タッチパネルの接触検出部の配置例を示す略線図である。 弱い押圧力で押圧した場合に接触検出される接触検出部を示す略線図である。 中程度の押圧力で押圧した場合に接触検出される接触検出部を示す略線図である。 中程度の押圧力で押圧した場合に接触検出される接触検出部を示す略線図である。 強い押圧力で押圧した場合に接触検出される接触検出部を示す略線図である。 最強の押圧力で押圧した場合に接触検出される接触検出部を示す略線図である。 図1のノート型コンピュータの下筐体を示す斜視図である。 図1のノート型コンピュータの入力装置において情報を入力するために掌を置いた状態を示す平面図である。 図1のノート型コンピュータの入力装置において仮想キーを打鍵した状態を示す平面図である。 図1のノート型コンピュータの入力装置における情報処理方法を示すフローチャートである。 図22のステップS106及び図24のステップS206の詳細を示すフローチャートである。 図1のノート型コンピュータの入力装置における情報処理方法を示すフローチャートである。 図22のステップS110及び図24のステップS210の詳細を示すフローチャートである。 図1のノート型コンピュータの入力装置におけるキー領域を示す図である。 図1のノート型コンピュータの入力装置におけるキー領域を示す図である。 図1のノート型コンピュータの入力装置における自動調整処理手順を示すフローチャートである。 図1のノート型コンピュータの入力装置における自動調整処理手順を示すフローチャートである。 図1のノート型コンピュータの入力装置におけるタイピング練習機能処理手順を示すフローチャートである。 図1のノート型コンピュータの入力装置におけるタイピング練習時のヒット率を示すグラフである。 図1のノート型コンピュータの入力装置における打ち直し自動調整処理手順を示すフローチャートである。 図1のノート型コンピュータの入力装置におけるマウス表示処理手順を示すフローチャートである。 図1のノート型コンピュータの入力装置におけるマウス表示処理を説明するための図である。 図1のノート型コンピュータの入力装置における視野角補正処理を説明するための図である。 図1のノート型コンピュータの入力装置における視野角補正処理を説明するための図である。 図1のノート型コンピュータの入力装置における視野角補正処理を説明するための図である。 図1のノート型コンピュータの入力装置における視野角補正処理手順を示すフローチャートである。 図1のノート型コンピュータの入力装置における視野角補正処理のずれ量を説明するための図である。 図1のノート型コンピュータの入力装置における視野角補正処理のずれ量を説明するための図である。 図1のノート型コンピュータの入力装置における視野角補正処理の接触面積を説明するための図である。 図1のノート型コンピュータの入力装置における視野角補正処理のx方向の接触面積推移を示すグラフである。 図1のノート型コンピュータの入力装置における視野角補正処理のy方向の接触面積推移を示すグラフである。 図1のノート型コンピュータの入力装置における視野角補正処理手順を示すフローチャートである。 他の実施の形態に係る入力装置を示す斜視図である。 他の実施の形態に係る入力装置を示すブロック図である。 他の実施の形態に係る入力装置を示すブロック図である。 他の実施の形態に係る入力装置を示すブロック図である。 他の実施の形態に係るタッチパネルを示す斜視図である。
符号の説明
1…ノート型コンピュータ
2A…下筐体
2B…上筐体
3、140…入力部
4…表示部
5、29…表示装置
5a…仮想キーボード
5b…仮想マウス
6…バックライト装置
10、210…タッチパネル
10a…接触検出面
11、13、211、213…ベース
15、215…ドットスペーサ
20、141…入力装置
21…接触検出装置
22、28…ディスプレイドライバ
23…デバイス制御IC
30、130…コンピュータ本体
33…CPU


Claims (20)

  1. 入力位置を認識させるための画像を表示する表示装置と、
    前記表示装置の表示面に沿って設けられた接触検出面に接触する物体の位置を検出する接触位置検出部と、
    前記接触位置検出部によって検出された位置と前記入力位置を認識させるための画像の中心位置との差を表すデータを記録する記録部と、
    前記記録部に記録されるデータに基づいて、前記表示装置に表示する前記入力位置を認識させるための画像の修正量を求める演算部と
    を備えることを特徴とする入力装置。
  2. 前記接触位置検出部は、前記接触検出面に接触した前記物体の形状を認識し、
    前記物体の輪郭を前記表示装置に表示する表示制御部を備えることを特徴とする請求項1に記載の入力装置。
  3. 前記接触位置検出部は、前記接触検出面に接触した前記物体の形状を認識し、
    前記入力位置を認識させるための画像として、前記物体の輪郭に沿ったマウスを前記表示装置に表示する表示制御部を備えることを特徴とする請求項1に記載の入力装置。
  4. 前記入力位置を認識させるための画像は、キーボードを表す画像であり、
    前記演算部は、あらかじめ設定された文字数Nの文字列Sの入力により得られたN個の前記キーボード上の座標セットUと、現在のキーボード配列で前記文字列Sを表現するときの中心座標のセットCに、2次元の座標変換Tを施した後の座標セットC’との距離の誤差の総和が最小になる前記座標変換Tを決定し、該決定した座標変換Tによるキーボード配列C’を新たなキーボード配列として用いることを特徴とする請求項1に記載の入力装置。
  5. 前記入力位置を認識させるための画像は、キーボードを表す画像であり、
    前記記録部は、前記接触位置検出部によって検出した位置と前記キーボードのキーの中心位置と差を表すデータを記録し、
    前記記録部に記録されるデータに基づいて、前記物体が前記キーの中心位置に接触したか否かを示す中心ヒット率、又は所望のキーに接触したか否かを示すキーヒット率を集計する集計部を備えることを特徴とする請求項1に記載の入力装置。
  6. 前記入力位置を認識させるための画像は、キーボードを表す画像であり、
    前記記録部は、入力取り消しキーの使用頻度、取り消されたキー、および取り消し直後に入力し直されたキーの種類を含むキー情報を記録し、
    前記演算部は、前記キー情報に基づき、表示されたキー配列の変更、もしくは、表示されたキーの位置、形状、角度の微調整を行うことを特徴とする請求項1に記載の入力装置。
  7. 前記演算部は、前記微調整を行う時間間隔を設けることを特徴とする請求項6に記載の入力装置。
  8. 前記物体の接触位置と前記入力位置を認識させるための画像の基準位置との差を利用して、前記入力位置を認識させるための画像の表示位置を位置合わせする補正部を備えることを特徴とする請求項1に記載の入力装置。
  9. 前記記録部は、前記接触検知面における前記物体の接触状態に基づいて認識された前記物体を識別するための物体識別情報を、前記修正量に対応付けて記録し、
    前記演算部は、次に前記物体が接触した場合、前記物体識別情報から前記修正量を求めることを特徴とする請求項1に記載の入力装置。
  10. 前記表示面に沿って設けられ、互いの対向面にそれぞれ電極が積層された第1及び第2のベースと、前記第1及び第2のベースの間に設けられた、異なる高さのドットスペーサとを有し、前記物体が前記接触検出面に接触するときの強度を検出する接触強度検出部を備える
    ことを特徴とする請求項1に記載の入力装置。
  11. 入力位置を認識させるための画像を表示する表示装置と、
    前記表示装置の表示面に沿って設けられた接触検出面に接触する物体の位置を検出する接触位置検出部と、
    前記接触位置検出部によって検出された位置と前記入力位置を認識させるための画像の中心位置との差を表すデータを記録する記録部と、
    前記記録部に記録されるデータに基づいて、前記表示装置に表示する前記入力位置を認識させるための画像の修正量を求める演算部と、
    前記接触位置検出部によって検出された前記物体の接触位置に基づいて、前記物体の接触結果に応じた処理を実行する処理部と
    を備えることを特徴とするコンピュータ装置。
  12. 入力位置を認識させるための画像を表示する表示装置の表示面に沿って設けられた接触検出面に接触する物体の接触位置と前記入力位置を認識させるための画像の中心位置との差を表すデータを記録する記録部と、
    前記記録部に記録されるデータに基づいて、前記表示装置に表示する前記入力位置を認識させるための画像の修正量を求める演算部と、
    前記物体の接触位置に基づいて、前記物体の接触結果に応じた処理を実行する処理部と
    を備えることを特徴とするコンピュータ装置。
  13. 入力位置を認識させるための画像を表示装置に表示するステップと、
    前記表示装置に重ねて配置された接触検出面に接触する物体の位置を検出するステップと、
    前記検出された位置と前記入力位置を認識させるための画像の中心位置との差を表すデータを記録するステップと、
    前記記録したデータから前記入力位置を認識させるための画像の修正量を求めるステップと、
    前記修正結果に基づく画像を前記表示装置に表示するステップと
    を含むことを特徴とする情報処理方法。
  14. 前記入力位置を認識させるための画像は、キーボードを表す画像であり、
    前記修正量を求めるステップでは、あらかじめ設定された文字数Nの文字列Sの入力により、得られたN個の前記キーボード上の座標セットUと、現在のキーボード配列で前記文字列Sを表現するときの中心座標のセットCに、2次元の座標変換Tを施した後の座標セットC’との距離の誤差の総和が最小になる前記座標変換Tを決定し、該決定した座標変換Tによるキーボード配列C’を新たなキーボード配列として用いることを特徴とする請求項13に記載の情報処理方法。
  15. 前記入力位置を認識させるための画像は、キーボードを表す画像であり、
    前記データを記録するステップでは、前記検出された前記物体の位置と前記キーボードのキーの中心位置と差を表すデータを記録し、
    前記記録部に記録されるデータに基づいて、前記物体が前記キーの中心位置に接触したか否かを示す中心ヒット率、又は所望のキーに接触したか否かを示すキーヒット率を集計するステップを備えることを特徴とする請求項13に記載の情報処理方法。
  16. 前記入力位置を認識させるための画像は、キーボードを表す画像であり、
    前記データを記録するステップでは、入力取り消しキーの使用頻度、取り消されたキー、および取り消し直後に入力し直されたキーの種類を含むキー情報を記録し、
    前記修正量を求めるステップでは、前記キー情報に基づき、表示されたキー配列の変更、もしくは、表示されたキーの位置、形状、角度の微調整を行うことを特徴とする請求項13に記載の情報処理方法。
  17. 入力位置を認識させるための画像を表示する表示装置が設けられた入力装置に、
    前記表示装置に重ねて配置された接触検出面に接触する物体の位置を検出する手順と、
    前記検出した位置と前記入力位置を認識させるための画像の中心位置との差を表すデータを記録する手順と、
    前記記録されるデータから前記入力位置を認識させるための画像の修正量を求める手順と、
    前記修正結果に基づく画像を前記表示装置に表示する手順と
    を実行させることを特徴とする情報処理プログラム。
  18. 前記入力位置を認識させるための画像は、キーボードを表す画像であり、
    前記修正量を求める手順では、あらかじめ設定された文字数Nの文字列Sの入力により、得られたN個の前記キーボード上の座標セットUと、現在のキーボード配列で前記文字列Sを表現するときの中心座標のセットCに、2次元の座標変換Tを施した後の座標セットC’との距離の誤差の総和が最小になる前記座標変換Tを決定し、該決定した座標変換Tによるキーボード配列C’を新たなキーボード配列として用いることを特徴とする請求項17に記載の情報処理プログラム。
  19. 前記入力位置を認識させるための画像は、キーボードを表す画像であり、
    前記データを記録する手順では、前記検出された前記物体の位置と前記キーボードのキーの中心位置と差を表すデータを記録し、
    前記記録部に記録されるデータに基づいて、前記物体が前記キーの中心位置に接触したか否かを示す中心ヒット率、又は所望のキーに接触したか否かを示すキーヒット率を集計する手順を含むことを特徴とする請求項17に記載の情報処理プログラム。
  20. 前記入力位置を認識させるための画像は、キーボードを表す画像であり、
    前記データを記録する手順では、入力取り消しキーの使用頻度、取り消されたキー、および取り消し直後に入力し直されたキーの種類を含むキー情報を記録し、
    前記修正量を求める手順では、前記キー情報に基づき、表示されたキー配列の変更、もしくは、表示されたキーの位置、形状、角度の微調整を行うことを特徴とする請求項17に記載の情報処理プログラム。

JP2005270519A 2004-09-29 2005-09-16 入力装置、コンピュータ装置、情報処理方法及び情報処理プログラム Pending JP2006127488A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005270519A JP2006127488A (ja) 2004-09-29 2005-09-16 入力装置、コンピュータ装置、情報処理方法及び情報処理プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004285453 2004-09-29
JP2005270519A JP2006127488A (ja) 2004-09-29 2005-09-16 入力装置、コンピュータ装置、情報処理方法及び情報処理プログラム

Publications (1)

Publication Number Publication Date
JP2006127488A true JP2006127488A (ja) 2006-05-18

Family

ID=36722125

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005270519A Pending JP2006127488A (ja) 2004-09-29 2005-09-16 入力装置、コンピュータ装置、情報処理方法及び情報処理プログラム

Country Status (1)

Country Link
JP (1) JP2006127488A (ja)

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008113487A (ja) * 2006-10-30 2008-05-15 Fuji Electric Systems Co Ltd 無停電電源装置の管理装置および無停電電源装置の管理プログラム
WO2009031214A1 (ja) * 2007-09-05 2009-03-12 Panasonic Corporation 携帯端末装置、及び表示制御方法
JP2009070370A (ja) * 2007-07-26 2009-04-02 Konami Digital Entertainment:Kk 仮想マウス装置、及び遊技機
JP2009093368A (ja) * 2007-10-05 2009-04-30 Casio Hitachi Mobile Communications Co Ltd 情報処理装置、及びプログラム
JP2010085812A (ja) * 2008-10-01 2010-04-15 Sony Corp 表示パネル、表示装置
WO2010073329A1 (ja) * 2008-12-25 2010-07-01 富士通株式会社 コンピュータプログラム、入力装置及び入力方法
JP2010204811A (ja) * 2009-03-02 2010-09-16 Panasonic Corp 携帯端末装置及び入力装置
JP2010257198A (ja) * 2009-04-24 2010-11-11 Alps Electric Co Ltd 入力処理装置
WO2011024584A1 (ja) * 2009-08-27 2011-03-03 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2011081318A (ja) * 2009-10-09 2011-04-21 Sony Corp 液晶表示装置およびタッチセンサ内蔵表示装置、並びに電子機器
JP2011113248A (ja) * 2009-11-26 2011-06-09 Kyocera Corp キー入力装置および携帯端末
JP2011154645A (ja) * 2010-01-28 2011-08-11 Minebea Co Ltd 電子機器用の入力装置、入力制御方法、及び電子機器。
WO2011115187A1 (ja) * 2010-03-16 2011-09-22 京セラ株式会社 文字入力装置及び文字入力方法
JP2012093948A (ja) * 2010-10-27 2012-05-17 Kyocera Corp 携帯端末、プログラム及び入力制御方法
JP2012104125A (ja) * 2009-06-16 2012-05-31 Intel Corp ハンドヘルドデバイス用のアダプティブ仮想キーボード
JP2012168931A (ja) * 2011-02-10 2012-09-06 Sony Computer Entertainment Inc 入力装置、情報処理装置および入力値取得方法
JP2012230677A (ja) * 2011-04-25 2012-11-22 Kofukin Seimitsu Kogyo (Shenzhen) Yugenkoshi 外付け型タッチ式キーボード
JP2013004100A (ja) * 2011-06-17 2013-01-07 Polymer Vision B V 接触感知パネルを備える電子装置、電子装置を動作するための方法、およびディスプレイシステム
JP2013015877A (ja) * 2011-06-30 2013-01-24 Nakayo Telecommun Inc 仮想マウスによるデータ入力方法
JP2013503387A (ja) * 2009-08-31 2013-01-31 クアルコム,インコーポレイテッド モバイル装置用の感圧ユーザインターフェイス
JP2013041431A (ja) * 2011-08-16 2013-02-28 Fujitsu Ltd 入力装置、入力制御方法及び入力制御プログラム
JP2013089244A (ja) * 2011-10-13 2013-05-13 Eturbotouch Technology Inc タッチコントロールキーモジュール
JP2013186661A (ja) * 2012-03-07 2013-09-19 Denso Corp 入力検出システム
JP2014119937A (ja) * 2012-12-17 2014-06-30 Funai Electric Co Ltd 入力装置および画像表示装置
JP2014179127A (ja) * 2014-05-26 2014-09-25 Nec Corp 情報処理装置、及びプログラム
WO2014207898A1 (ja) * 2013-06-28 2014-12-31 富士通株式会社 情報処理装置、入力制御プログラム、および入力制御方法
JP2015503807A (ja) * 2012-01-16 2015-02-02 タッチタイプ リミテッド テキスト入力のためのシステム及び方法
JP2015053026A (ja) * 2013-11-30 2015-03-19 株式会社ポケモン タイピング訓練システム、タイピング訓練方法、及びタイピング訓練プログラム
JP2015122124A (ja) * 2015-03-31 2015-07-02 株式会社ナカヨ 仮想マウスによるデータ入力機能を有する情報装置
JP2015219743A (ja) * 2014-05-19 2015-12-07 アルパイン株式会社 情報処理装置及びコンピュータプログラム
JP2015222580A (ja) * 2007-09-19 2015-12-10 クリーンキーズ・インコーポレイテッド 洗浄可能なタッチおよびタップ感知性表面
JP2015232889A (ja) * 2010-11-30 2015-12-24 クリーンキーズ・インコーポレイテッド 動的配置オンスクリーンキーボード
JP2016015181A (ja) * 2015-10-29 2016-01-28 Kddi株式会社 押圧の度合いによって異なる機能を発動可能なユーザインタフェース装置、プログラム及び機能発動方法
US9619025B2 (en) 2009-12-08 2017-04-11 Samsung Electronics Co., Ltd. Method and system for operating a mobile device according to the rate of change of the touch area
US10126942B2 (en) 2007-09-19 2018-11-13 Apple Inc. Systems and methods for detecting a press on a touch-sensitive surface
JP2018181346A (ja) * 2017-04-13 2018-11-15 エヌエイチエヌ エンターテインメント コーポレーションNHN Entertainment Corporation タッチエラー校正方法およびそのシステム
CN108847189A (zh) * 2018-06-25 2018-11-20 Oppo广东移动通信有限公司 背光设置方法、电子装置及计算机可读存储介质
US10203873B2 (en) 2007-09-19 2019-02-12 Apple Inc. Systems and methods for adaptively presenting a keyboard on a touch-sensitive display
US10289302B1 (en) 2013-09-09 2019-05-14 Apple Inc. Virtual keyboard animation

Cited By (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008113487A (ja) * 2006-10-30 2008-05-15 Fuji Electric Systems Co Ltd 無停電電源装置の管理装置および無停電電源装置の管理プログラム
JP2009070370A (ja) * 2007-07-26 2009-04-02 Konami Digital Entertainment:Kk 仮想マウス装置、及び遊技機
WO2009031214A1 (ja) * 2007-09-05 2009-03-12 Panasonic Corporation 携帯端末装置、及び表示制御方法
US10203873B2 (en) 2007-09-19 2019-02-12 Apple Inc. Systems and methods for adaptively presenting a keyboard on a touch-sensitive display
JP2015222580A (ja) * 2007-09-19 2015-12-10 クリーンキーズ・インコーポレイテッド 洗浄可能なタッチおよびタップ感知性表面
US10126942B2 (en) 2007-09-19 2018-11-13 Apple Inc. Systems and methods for detecting a press on a touch-sensitive surface
US10908815B2 (en) 2007-09-19 2021-02-02 Apple Inc. Systems and methods for distinguishing between a gesture tracing out a word and a wiping motion on a touch-sensitive keyboard
JP2009093368A (ja) * 2007-10-05 2009-04-30 Casio Hitachi Mobile Communications Co Ltd 情報処理装置、及びプログラム
JP2012094190A (ja) * 2007-10-05 2012-05-17 Nec Casio Mobile Communications Ltd 情報処理装置、及びプログラム
US8928596B2 (en) 2008-10-01 2015-01-06 Japan Display West Inc. Display panel and display device
KR101620047B1 (ko) 2008-10-01 2016-05-12 가부시키가이샤 재팬 디스프레이 표시 패널, 표시 장치
US9223435B2 (en) 2008-10-01 2015-12-29 Japan Display Inc. Display panel and display device
JP2010085812A (ja) * 2008-10-01 2010-04-15 Sony Corp 表示パネル、表示装置
JP5423686B2 (ja) * 2008-12-25 2014-02-19 富士通株式会社 コンピュータプログラム、入力装置及び入力方法
WO2010073329A1 (ja) * 2008-12-25 2010-07-01 富士通株式会社 コンピュータプログラム、入力装置及び入力方法
JP2010204811A (ja) * 2009-03-02 2010-09-16 Panasonic Corp 携帯端末装置及び入力装置
JP2010257198A (ja) * 2009-04-24 2010-11-11 Alps Electric Co Ltd 入力処理装置
US9851897B2 (en) 2009-06-16 2017-12-26 Intel Corporation Adaptive virtual keyboard for handheld device
US9195818B2 (en) 2009-06-16 2015-11-24 Intel Corporation Adaptive virtual keyboard for handheld device
US10133482B2 (en) 2009-06-16 2018-11-20 Intel Corporation Adaptive virtual keyboard for handheld device
JP2012104125A (ja) * 2009-06-16 2012-05-31 Intel Corp ハンドヘルドデバイス用のアダプティブ仮想キーボード
US8760422B2 (en) 2009-08-27 2014-06-24 Sony Corporation Information processing apparatus, information processing method, and program
JP2011048665A (ja) * 2009-08-27 2011-03-10 Sony Corp 情報処理装置、情報処理方法、及びプログラム
WO2011024584A1 (ja) * 2009-08-27 2011-03-03 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2013503387A (ja) * 2009-08-31 2013-01-31 クアルコム,インコーポレイテッド モバイル装置用の感圧ユーザインターフェイス
JP2011081318A (ja) * 2009-10-09 2011-04-21 Sony Corp 液晶表示装置およびタッチセンサ内蔵表示装置、並びに電子機器
JP2011113248A (ja) * 2009-11-26 2011-06-09 Kyocera Corp キー入力装置および携帯端末
US9619025B2 (en) 2009-12-08 2017-04-11 Samsung Electronics Co., Ltd. Method and system for operating a mobile device according to the rate of change of the touch area
JP2011154645A (ja) * 2010-01-28 2011-08-11 Minebea Co Ltd 電子機器用の入力装置、入力制御方法、及び電子機器。
US8896540B2 (en) 2010-03-16 2014-11-25 Kyocera Corporation Character input device and character input method
WO2011115187A1 (ja) * 2010-03-16 2011-09-22 京セラ株式会社 文字入力装置及び文字入力方法
JP2012093948A (ja) * 2010-10-27 2012-05-17 Kyocera Corp 携帯端末、プログラム及び入力制御方法
JP2015232889A (ja) * 2010-11-30 2015-12-24 クリーンキーズ・インコーポレイテッド 動的配置オンスクリーンキーボード
US9122394B2 (en) 2011-02-10 2015-09-01 Sony Corporation Method and apparatus for area-efficient graphical user interface
JP2012168931A (ja) * 2011-02-10 2012-09-06 Sony Computer Entertainment Inc 入力装置、情報処理装置および入力値取得方法
JP2012230677A (ja) * 2011-04-25 2012-11-22 Kofukin Seimitsu Kogyo (Shenzhen) Yugenkoshi 外付け型タッチ式キーボード
JP2013004100A (ja) * 2011-06-17 2013-01-07 Polymer Vision B V 接触感知パネルを備える電子装置、電子装置を動作するための方法、およびディスプレイシステム
JP2013015877A (ja) * 2011-06-30 2013-01-24 Nakayo Telecommun Inc 仮想マウスによるデータ入力方法
JP2013041431A (ja) * 2011-08-16 2013-02-28 Fujitsu Ltd 入力装置、入力制御方法及び入力制御プログラム
JP2013089244A (ja) * 2011-10-13 2013-05-13 Eturbotouch Technology Inc タッチコントロールキーモジュール
JP2015503807A (ja) * 2012-01-16 2015-02-02 タッチタイプ リミテッド テキスト入力のためのシステム及び方法
US10613746B2 (en) 2012-01-16 2020-04-07 Touchtype Ltd. System and method for inputting text
US9563348B2 (en) 2012-01-16 2017-02-07 Touchtype Limited System and method for inputting text
JP2013186661A (ja) * 2012-03-07 2013-09-19 Denso Corp 入力検出システム
JP2014119937A (ja) * 2012-12-17 2014-06-30 Funai Electric Co Ltd 入力装置および画像表示装置
JP6028861B2 (ja) * 2013-06-28 2016-11-24 富士通株式会社 情報処理装置、入力制御プログラム、および入力制御方法
WO2014207898A1 (ja) * 2013-06-28 2014-12-31 富士通株式会社 情報処理装置、入力制御プログラム、および入力制御方法
US10289302B1 (en) 2013-09-09 2019-05-14 Apple Inc. Virtual keyboard animation
US11314411B2 (en) 2013-09-09 2022-04-26 Apple Inc. Virtual keyboard animation
JP2015053026A (ja) * 2013-11-30 2015-03-19 株式会社ポケモン タイピング訓練システム、タイピング訓練方法、及びタイピング訓練プログラム
JP2015219743A (ja) * 2014-05-19 2015-12-07 アルパイン株式会社 情報処理装置及びコンピュータプログラム
JP2014179127A (ja) * 2014-05-26 2014-09-25 Nec Corp 情報処理装置、及びプログラム
JP2015122124A (ja) * 2015-03-31 2015-07-02 株式会社ナカヨ 仮想マウスによるデータ入力機能を有する情報装置
JP2016015181A (ja) * 2015-10-29 2016-01-28 Kddi株式会社 押圧の度合いによって異なる機能を発動可能なユーザインタフェース装置、プログラム及び機能発動方法
JP2018181346A (ja) * 2017-04-13 2018-11-15 エヌエイチエヌ エンターテインメント コーポレーションNHN Entertainment Corporation タッチエラー校正方法およびそのシステム
CN108847189A (zh) * 2018-06-25 2018-11-20 Oppo广东移动通信有限公司 背光设置方法、电子装置及计算机可读存储介质

Similar Documents

Publication Publication Date Title
JP2006127488A (ja) 入力装置、コンピュータ装置、情報処理方法及び情報処理プログラム
JP2006127486A (ja) 入力装置、コンピュータ装置、情報処理方法及び情報処理プログラム
CN100399253C (zh) 输入设备、微电脑和信息处理方法
US11029843B2 (en) Touch sensitive keyboard
US10228833B2 (en) Input device user interface enhancements
US9851897B2 (en) Adaptive virtual keyboard for handheld device
CN100432909C (zh) 输入设备、微型计算机以及信息处理方法
KR101364837B1 (ko) 핸드헬드 디바이스를 위한 적응형 버츄얼 키보드
US20160364138A1 (en) Front touchscreen and back touchpad operated user interface employing semi-persistent button groups
US8294047B2 (en) Selective input signal rejection and modification
US20060050062A1 (en) Input device
US20170017393A1 (en) Method for controlling interactive objects from a touchpad of a computerized device
US20080297475A1 (en) Input Device Having Multifunctional Keys
US9477874B2 (en) Method using a touchpad for controlling a computerized system with epidermal print information
US20170351345A1 (en) Detecting finger movements
US20140168083A1 (en) Virtual touchscreen keyboards
US20140337786A1 (en) Method for controlling a virtual keyboard from a touchpad of a computerized device
US20080297476A1 (en) Ambidextrous Mouse
US20110012856A1 (en) Methods for Operation of a Touch Input Device
KR20130088752A (ko) 다방향 버튼, 키 및 키보드
JP2006085687A (ja) 入力装置、コンピュータ装置、情報処理方法及び情報処理プログラム
US20150363038A1 (en) Method for orienting a hand on a touchpad of a computerized system
US8436829B1 (en) Touchscreen keyboard simulation for performance evaluation
CA2835509A1 (en) Method for user input from the back panel of a handheld computerized device
US9639195B2 (en) Method using finger force upon a touchpad for controlling a computerized system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090303

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090630