次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。ただし、図面は模式的なものであり、各寸法の比率等は現実のものとは異なることに留意すべきである。従って、具体的な寸法等は以下の説明を参酌して判断すべきものである。又、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
[第1の実施の形態]
本発明の実施の形態に係る入力装置は、コンピュータ等の端末装置の入出力デバイスの一種である。
図1に示すように、本実施の形態に係る入力装置を備えるノート型コンピュータ1は、中央処理ユニット等の演算部を有するコンピュータ本体30とこのコンピュータ本体30に対するユーザインターフェイスである入力部3とが設けられた下筐体2Aと、LCD構成の表示装置29を含む表示部4が設けられた上筐体2Bとを備えている。
コンピュータ本体30は、下筐体2Aの入力部3を介して入力された情報を中央処理ユニットにおいて処理し、その結果を上筐体2Bの表示部4に表示する。
下筐体2Aに設けられた入力部3は、LCDによって構成された表示装置5と、この表示装置5の表示面における物体(指先、ペン状指示棒の先端部等)の接触を検出するための接触検出部とを備え、表示装置5にユーザに入力位置を認識させるための画像(例えばキーボードの各キー、各種入力操作キー、右ボタンや左ボタンやスクロール用ホイールやボディを備えるマウス等、ユーザが操作する入力装置を表す画像)が表示される。図1は、キーボードを表す画像(仮想キーボード5a)、マウスを表す画像(仮想マウス5b)が表示された状態を示している。
(入力装置の構成)
図2に示すように、入力部3は、発光領域を備えたバックライト装置6と、このバックライト装置6の発光領域上に積層される表示装置5と、この表示装置5の表示画面上に積層されるタッチパネル10とを備えている。
バックライト装置6は、近年のノート型パソコンなどの表示装置に一般的に採用されている蛍光管と導光板を組み合わせた構成としても良く、又、最近実用化が進んでいる白色LED(発光ダイオード)を平面上に複数分散配置した構成としても良い。
なお、この表示装置5とバックライト装置6の構成は、従来のノート型コンピュータのディスプレイや、デスクトップ型コンピュータ用の外部LCDディスプレイに採用されている表示装置と同様の構成でも構わないが、表示装置5に、実用化が進んでいる自発光式の画素を採用すれば、表示装置5が透過性を有する必要は無く、バックライト装置6を省略することも可能である。
表示装置5は、x方向及びy方向に格子状に複数の画素5cが配列されて表示画面を構成しており、後述するディスプレイドライバ22(図6)によって駆動され、その表示画面にキーボード等の入力装置の画像が表示される。
タッチパネル10は、入力部3の最も表層部に設けられ、下筐体2Aの入力操作面として筐体から露出するように設けられている。このタッチパネル10は、その接触検出面10aにおいて、物体(例えば、指先やペン状指示棒の先端部等)の接触を検出する。
本実施の形態においては、タッチパネル10として、抵抗膜方式のものが用いられる。この抵抗膜方式のタッチパネルは、アナログ方式のものとデジタル方式のものがある。アナログ方式のタッチパネルは、4〜8線式など複数の種類があるが、基本的には、並行電極を設け、接触した部位の電位を検出することでその座標を取り出すものである。これをX方向及びY方向のそれぞれについて独立に構成し積層することで、接触した部位のX、Y座標を検出することができる。しかしながら、アナログ方式では、多点同時押しの検出は困難であり、接触面積の検出には不向きである。本実施の形態においては、接触位置に加えて接触面積を検出するため、デジタル方式を用いる。なお、いずれの方式を利用する場合でも、接触検出面10aが光透過性を有することにより、表示装置5を表層側から視認することができる。
図3及び図4に示すように、タッチパネル10においては、X方向に一定の間隔で配置された帯線状の複数(n本)の透明電極でなるX電極12を有するベース11と、Y方向に一定の間隔で配置された帯線状の複数(m本)の透明電極でなるY電極14を有するベース13とがそれぞれの電極形成面を対向させるように積層される。この積層構造において、X電極12とY電極14とが直交するように積層される。これにより、X電極12とY電極14とが交差するn×m個の接触検出部10bがマトリクス状に形成される。
またベース11においては、X電極12が設けられた側の面に、各X電極12間に一定間隔で絶縁材でなる凸形状のドットスペーサ15が設けられている。このドットスペーサ15の高さは、X電極12及びY電極14の厚みを合計した厚みよりも大きく形成されており、その先端部は、各Y電極14間において露出したベース13の表面13Aに当接する。これにより図5に示すように、ベース11、13が積層された構成において、ドットスペーサ15は、ベース11、13に挟まれ、X電極12とY電極14とは接触しない状態となる。すなわち、ドットスペーサ15によってX電極12とY電極14とが離間して保持される。このようにX電極12とY電極14とが離間して保持された状態において、ベース13を撓ませることにより、X電極12とY電極14とを接触させることができる。
すなわち、タッチパネル10においては、ベース13のY電極14が設けられた面とは反対側の面13Bを入力操作面として筐体外部に露出するように構成されており、この面を指先またはペン状指示棒の先端部等で押圧することにより、ベース13を撓ませて、Y電極14をX電極12に接触させることができる。
この場合、タッチパネル10の入力操作面を指先またはペン状指示棒の先端部等で押圧すると、その圧力が一定圧以下の場合は、ベース13の撓みが不足し、Y電極14とX電極12とが接触しない。そして、押圧力が一定圧を超えると、ベース13が十分に撓むことにより、Y電極14とX電極12とが接触する。これにより、一定の押圧力よりも大きな押圧力でベース13を押圧した場合にのみY電極14とX電極12とが接触して電気的に導通する。
本実施の形態のノート型コンピュータ1においては、かかる構成の入力部3におけるY電極14とX電極12との接触位置を接触検出装置21(図6参照)において検出するようになされている。
すなわち、ノート型コンピュータ1においては、図1に示す入力部3と、この入力部3に設けられたタッチパネル10のX電極12とY電極14との接触位置を検出する接触検出装置21とを含む入力装置20(図6参照)が下筐体2Aに設けられている。
この入力装置20は、図2及び図6に示すように、入力部3と、この入力部3のタッチパネル10における指先等の接触位置を検出する接触検出装置21と、接触検出装置21において検出された接触位置情報をデジタル信号に変換すると共に後述する各種処理やコンピュータ本体30(図7参照)との通信に係るI/O制御を行うデバイス制御IC23と、入力装置20における各種処理プログラムやデータを格納するメモリ24と、音声による各種通知やビープ音による警告を行うスピーカドライバ25及びスピーカ26とを備えている。
接触検出装置21は、各X電極12(図3)に対して順次電圧を印加すると共に、各Y電極14(図3)の電圧を測定しながら、X電極12に印加した電圧が出力されるY電極14を特定するようになされている。
すなわち図6に示すように、タッチパネル10においては、電源部とこの電源部の基準電圧を各X電極12に対して選択的に印加するスイッチ部とを備えた電圧印加部11aが設けられている。この電圧印加部11aは、接触検出装置21から供給される印加電極選択信号に基づいて、基準電圧の印加先のX電極12をスイッチ部により順次選択して基準電圧をそのX電極12に印加するようになされている。
また、タッチパネル10においては、接触検出装置21からの測定電極選択信号によって指定されたY電極14の電圧値を選択的に測定する電圧測定部11bが設けられている。この電圧測定部11bは、各Y電極14に表れる電圧値を、接触検出装置21から供給される測定電極選択信号に基づいて順次選択的に測定し、この測定結果を接触検出装置21に送出する。
これらにより、タッチパネル10を指先やペン状指示棒の先端部で押圧すると、その押圧位置においてX電極12とY電極14とが接触することにより導通状態となり、X電極12に印加された基準電圧がこの押圧位置で接触したY電極14を介して測定される。従って、接触検出装置21においては、Y電極14の出力電圧として基準電圧が測定された場合、そのY電極14と、その基準電圧が印加されたX電極12とを特定することができる。接触検出装置21は、このX電極12とY電極14との組み合わせにより、指先またはペン状指示棒の先端部によって押圧された接触検出部10bを特定することができる。
接触検出装置21は、X電極12とY電極14との接触状態を十分に高速で繰り返し検出することにより、X電極12の配列間隔及びY電極14の配列間隔の精度で多点同時押しを検出することができる。
例えば、指先がタッチパネル10を強く押した場合には、接触面積が大きくなり、複数の接触検出部10bが同時に押される状態となるが、この場合においても、接触検出装置21は、各X電極12へ基準電圧の印加を高速で順次繰り返し行い、また各Y電極14における電圧測定を高速で順次繰り返し行うことにより、同時に押されている接触検出部10bを検出することができる。接触検出装置21は、このようにして検出した接触検出部10bの数に基づいて、接触面積を検出することができる。
ここで、ディスプレイドライバ22は、デバイス制御IC23からの命令に従って、ボタン、アイコン、キーボード、テンキー、マウスなどコンピュータにおけるユーザインターフェイスとしての入力装置を表す画像(入力位置を認識させるための画像)の1つ以上を表示する。バックライト装置6において発光した光がLCDの背面側から前面側に透過することにより、表示装置5に表示された入力装置の画像は、前面側から目視することができる。
デバイス制御IC23は、表示装置5に表示されるキーボード等の画像における各キーの表示位置と、接触検出装置21において検出された接触位置、接触面積とに基づいて、接触した位置に表示されているキーの画像を判別する。そして、この判別したキーの情報を、コンピュータ本体30に通知する。
コンピュータ本体30では、デバイス制御IC23から供給されたキーの情報に基づいて、そのキーが操作された場合の処理を実行する。
すなわち、図7に示すように、下筐体2Aに設けられたコンピュータ本体30であるマザーボード30aは、ノースブリッジ31とサウスブリッジ32とが高速専用バスB1によって接続されており、ノースブリッジ31には、システムバスB2を介してCPU(Central Processing Unit)33が接続され、メモリバスB3を介してメインメモリ34が接続され、AGP(Accelerated Graphics Port)バスB4を介してグラフィックス回路35が接続されている。
グラフィックス回路35は、上筐体2Bの表示部4に設けられたディスプレイドライバ28にデジタル画像信号を出力する。ディススプレイドライバ28は、デジタル画像信号に基づいて表示装置29を駆動することにより、表示装置29の表示画面(LCD)に画像を表示させる。
またサウスブリッジ32には、PCI(Peripheral Component Interconnect)バスB5を介してPCIデバイス37が接続され、USB(Universal Serial Bus)B6を介してUSBデバイス38が接続されている。サウスブリッジ32は、PCIデバイス37を介して、PCIバスB5に接続可能な各種の機器を接続することができ、またUSBバスB6を介して、USBバスB6に接続可能な各種の機器を接続することができる。
またサウスブリッジ32には、ATA(AT Attachment)バスB7とIDE(Integrated Drive Electronics)インタフェース39とを介して、ハードディスク装置(HDD)41が接続されている。さらにサウスブリッジ32には、LPC(Low Pin Count)バスB8を介して、リムーバブルメディア装置(磁気ディスク装置)44、シリアル/パラレルポート45及びキーボード/マウスポート46が接続されている。キーボード/マウスポート46は、入力装置20から出力されるキーボード、マウスの操作結果を表す信号をサウスブリッジ32に受け渡す。これによりキーボード、マウスの操作結果は、サウスブリッジ32からノースブリッジ31を介してCPU33に受け渡され、CPU33において操作結果に応じた処理を実行するようになされている。
さらにサウスブリッジ32には、専用バスを介してオーディオ信号出力回路47が接続され、このオーディオ信号出力回路47からコンピュータ本体30に内蔵されたスピーカ48に対してオーディオ信号を出力することにより、スピーカ48から種々の音声を出力することができる。
CPU33は、ハードディスク装置41のハードディスクやメインメモリ34に格納されている各種処理プログラムを実行することにより、上筐体2Bの表示部4に設けられた表示装置29や下筐体2Aに設けられた表示装置5(図6参照)に画像を表示し、下筐体2Aのコンピュータ本体30に内蔵されたスピーカ48から音声を出力し、また下筐体2Aの入力部3に設けられた入力装置20(図6参照)から出力されるキーボード、マウスの操作結果を表す信号に応じた処理を実行する。具体的には、CPU33は、操作結果に応じてグラフィックス回路35を制御することにより、グラフィックス回路35から表示装置5に対してデジタル画像信号を出力させ、表示装置5に操作結果に応じた画像を表示させる。またCPU33は、操作結果に応じてオーディオ信号出力回路47を制御することにより、オーディオ信号出力回路47からスピーカ48に対してオーディオ信号を出力させ、スピーカ48から操作結果に応じた音声を出力させる。
次に、図6に示すように、入力装置20において、タッチパネル10の接触検出面10aに指先、ペン状指示棒の先端部等の物体が接触した際の接触状態を検出する処理について説明する。
接触検出装置21(接触位置検出部)は、表示装置5に積層されたタッチパネル10の接触検出面10aに接触する物体の位置を所定の処理時間間隔毎に検出してデバイス制御IC23に出力する。
また、接触検出装置21(接触強度検出部)は、物体が接触検出面10aに接触するときの強度を検出する。この強度は、二もしくは三以上の離散的な値で表現されても良く、連続的な値で表現されても良い。そして、接触検出装置21は、強度情報を所定の処理時間間隔毎にデバイス制御IC23へ出力する。
強度は、例えば、接触検出面10aに対する物体の接触面積、又は接触面積の時間変化を利用することによって検出される。図8及び図9に、検出された接触面積の推移の例を示す。図8及び図9は、軸を無次元化してあり単位や目盛りを省略しているが、実装時には真値を用いても良い。
ここで、接触面積の推移は、例えば、所定のスキャン周波数で、タッチパネル10上の接触が検出された接触検出部10bを周期的に取得することにより算出する。周波数が高いほど、一定時間に取得する信号群の取得回数が多いことを意味し、時間方向の分解能は当然向上するが、その分デバイス側の反応速度や処理回路の性能も高いことが要求されるため、適切なスキャン周波数に設定する。
図8は、接触検出面10aに物体を接触させているだけの状態の、接触面積Aの推移の一例である。ユーザが打鍵を意識せず、接触検出面10a上に指を置いているだけの状態では、このように、比較的なだらかな面積の推移を示すことが多い。
一方、図9は、入力部3の表示装置5に表示されたキーボード等の入力装置の画像を目標にタッチパネル10に対して打鍵を行う状態の、接触面積Aの推移の一例である。接触面積は、ゼロもしくはゼロ近傍から急峻に増大し、かつ直後に急峻に減少するという特徴を持つ。
このように、図8の場合が物体を漫然と「置く」という状態に近いとすると、図9の場合は、「叩く」という動作に近いと説明できる。
また、強度は、接触検出面10aに対する物体の接触圧力、又は接触圧力の時間変化を利用することによって検出されてもよい。この場合、圧力を電気信号に変換するセンサを接触検出面10aとして設けるようにすればよい。
図10〜図12に、圧力を電気信号に変換するセンサの例としてのタッチパネル210を示す。
図10及び図11に示すように、タッチパネル210においては、X方向に一定の間隔で配置された帯線状の複数(n本)の透明電極でなるX電極212を有するベース211と、Y方向に一定の間隔で配置された帯線状の複数(m本)の透明電極でなるY電極214を有するベース213とがそれぞれの電極形成面を対向させるように積層される。この積層構造において、X電極212とY電極214とが直交するように積層される。これにより、X電極212とY電極214とが交差するn×m個の接触検出部210b〜210dがマトリクス状に形成される。
またベース211においては、X電極212が設けられた側の面に、各X電極212間に一定間隔で絶縁材でなる凸形状のドットスペーサ215が設けられている。このドットスペーサ215の高さは、X電極212及びY電極214の厚みを合計した厚みよりも大きく形成されており、その先端部は、各Y電極214間において露出したベース213の表面に当接する。
さらに、ドットスペーサ215として高いドットスペーサ215a(図11では”H”と表示される)と低いドットスペーサ215b(図11では”L”と表示される)が設けられている。図10に示すように、ドットスペーサ215においては、4つの高いドットスペーサ215aがひとつの組を構成し、4つの低いドットスペーサ215bがひとつの組を構成している。また図11に示すように、これら4つの高いドットスペーサ215aの組と4つの低いドットスペーサ215bの組が千鳥格子上に配列されている。なお、それぞれ高いドットスペーサ215aの組を構成するドットスペーサ215aの数、低いドットスペーサ215bの組を構成するドットスペーサ215bの数は任意に設定できる。
これにより図12に示すように、ドットスペーサ215は、ベース211、213に挟まれ、X電極212とY電極214とは接触しない状態となる。すなわち、ドットスペーサ215によってX電極212とY電極214とが離間して保持され、接触検出部210b〜210dは電気的に閉に保持される。
このようにX電極212とY電極214とが離間して保持された状態において、ベース213を撓ませることにより、X電極212とY電極214とを開にすることができる。
すなわち、タッチパネル210においては、ベース213のY電極214が設けられた面213A(図10参照)とは反対側の面213B(図10参照)を入力操作面として筐体外部に露出するように構成されており、この面を指先等で押圧することにより、ベース213を撓ませて、Y電極214をX電極212に接触させることができる。
この場合、タッチパネル210の入力操作面を指先等で押圧すると、その圧力が第1の押圧力以下の場合は、ベース213の撓みが不足し、Y電極214とX電極212とが接触しない。
そして、押圧力が第1の押圧力を超えると、ベース213が十分に撓むことにより、複数の接触検出部のうち周囲4箇所に低いドットスペーサ215bが隣接(図10に示すように、4つのスペーサが正方形状に配置された場合、正方形の辺を挟んで隣り合うとき隣接と呼ぶ)する接触検出部210bが開になる。しかし、複数の接触検出部のうち、周囲2箇所以上に高いドットスペーサ215aが隣接する接触検出部210cと210dは閉のままである。
さらに、押圧力が第1の押圧力よりも大きい第2の押圧力を超えると、ベース213がさらに撓むことにより、複数の接触検出部のうち周囲2箇所に低いドットスペーサ215bが隣接する接触検出部210cが電気的に開になる。しかし、複数の接触検出部のうち周囲4箇所に高いドットスペーサ215aが隣接する接触検出部210dはまだ閉のままである。
さらに、押圧力が第2の押圧力よりも大きい第3の押圧力を超えると、ベース213がさらに撓むことにより、複数の接触検出部のうち周囲4箇所に高いドットスペーサ215aが隣接する接触検出部210dも開になる。
これら3種類の接触検出部210b〜210dが、指先等で押圧される面積の領域の中に存在するので、接触位置を検出し得てさらに押圧力を3段階の電気信号に変換するセンサとして動作する。
このようなタッチパネル210を有する本実施の形態のノート型コンピュータ1においては、接触検出装置21が、複数の接触検出部のうちどれが開になっているかを検出する。
接触検出装置21は例えば、隣接しあっている開の接触検出部の一群の中央に位置する接触検出部がある位置を、接触検出面10aの押圧された位置として検出する。
また接触検出装置21は例えば、接触検出部210b〜210dのそれぞれに1〜3のランクを定義付けており、1〜3の分布や密度を検出することで押圧力を検知する。接触検出装置21の接触面積および圧力分布の検出方法は以下の通りである。
図13は低いドットスペーサ215bおよび高いドットスペーサ215aの配置図である。図11で示した低いドットスペーサ215bと高いドットスペーサ215aの配置の場合、接触検出部210b〜210dはそれぞれ4つのドットスペーサに囲まれている。このうち、高いドットスペーサ215aのしめる個数を数字で表し、接触検出部210b〜210dの対応部に記したのが図13である。
図14内に示す楕円は、指が接触した部分の領域である。これを外円と呼ぶ事にする。
この時の接触領域内の面圧(すなわち、単位面積当たりの押圧力)が、数字「0」で示す接触検出部を接触するだけの大きさしかなかった場合、接触検出装置21は図14内に示す楕円の内側に位置する数字「0」で示される接触検出部(図11に示した接触検出部210b)しか接触として出力しない。
しかし、同じ接触面積でも、図14の場合より、より強い押圧力が働いたとすると、接触検出装置21は図15内の外円の内側にあるもう一つの楕円(これを中円と呼ぶ事にする)の内側に存在する数字「2」によって示される接触検出部(図11に示した接触検出部210c)も、接触として検知するようになる。
なお、押圧力が強い場合、実際には、本実施例の動作原理でも記述したように、外円の面積も大きくなる。しかしここでは説明のため外円の大きさは一定と仮定する。
また、実際には、外円も中円も、図15に示すように面圧分布が正確に楕円状に区分される事は無く、実際には図16に示す様に、外円の外にも接触と検出される接触検出部があったり、逆に中円の内側でも接触と検出されない「2」や「0」の接触検出部があったりと、各境界で入り交じることが多い。それらの例外は、図16においてイタリック体の数字によって示している。しかし、接触検出装置21では、その様な入り交じる誤差が最も少なくなるように、境界線として外円や中円、さらには後述する内円の大きさや位置、形状を決定する。この際、接触検出装置21では、その境界線を、あまり複雑な形状で自由度を持たせるのではなく、曲率半径を適切に設定する事により、適度に滑らかで、それでいて誤差も少ない境界線形状を決定する。この曲率半径の設定は、経験や実験による機械学習アルゴリズムなどにより適切に設定する。その際の目的関数は、打鍵時の上記外円、中円、内円に囲まれる面積やその時間変化率による打鍵識別誤差率であり、これが最少になる様に最小の曲率半径を決定する。
ここで説明した境界線の決定方法は、前述や後述の図14、図15、図17、図18でも適用されるものとするが、以後は説明を簡明にするために説明や接触検出部の越境・入り交じりの図示を省略する。
さて図15の説明に続いて、図17の説明に移る。図17は、図15よりもさらに強い押圧力が作用している場合である。ここでは中円の内側にさらに内円で示される領域が発現する。この領域では、数字「0」、「2」、「4」で示される接触検出部(図11に示した接触検出部210b、210c、210d)の全てで接触と判定されている。
続いて、図18では、中円、内円で示される領域が拡大している。これは、図17よりもさらに強い押圧力が作用していることを示している。
以上、説明した様に、図14、図15、図17、図18に示した様に、各円の面積の時間推移や、各円同士の面積比率の時間推移を検出することにより、指などの接触が、単なる接触状態か、打鍵を意図したものであるのかを、誤診断少なく検出する事ができる様になる。例えば上記のような、圧力を電気信号に変換するセンサを用いて、接触検出面10aに対する物体の接触圧力、又は接触圧力の時間変化から強度を検出する場合の圧力推移のグラフは、図8及び図9の両グラフにおいて、縦軸を接触圧力に置き換えれば、「置く」と「叩く」でそれぞれほぼ同様の傾向が見られる。
図6に示すデバイス制御IC23(判断部)は、接触検出装置21によって検出された強度を受信し、強度に関する特徴量を抽出し、当該特徴量あるいは当該特徴量から計算された値と予め設定された閾値とを比較することにより、物体の接触状態を判断する。物体の接触状態としては、例えば、「非接触」、「接触」、「打鍵」の3パターンが挙げられる。「非接触」は表示装置5に表示された画像に物体が接触していない状態であり、「接触」は、表示装置5に表示された画像に物体が置かれている状態であり、「打鍵」は、表示装置5に表示された画像を物体が叩いている状態である。このような接触状態の判断方法については、図22及び図23を用いて後に詳述する。
接触状態を判断する閾値は調整可能である。例えば、図19に示すように、入力装置20のデバイス制御IC23は、表示装置5に「弱」ボタン20bと「強」ボタン20cと閾値の大小を表すレベルメータ20aとを表示する。このレベルメータ20aが「接触」状態と「打鍵」状態との閾値を設定しているとする。ユーザが打鍵を意識して画像をした押下したにも関わらず、打鍵として認識しないことが多い場合、「弱」ボタン20bの表示領域を押下する。デバイス制御IC23は、「弱」ボタン20bの表示位置と、接触検出装置21において検出された接触位置とに基づいて、「弱」ボタン20bが押下されたか否かを判断し、押下されたと判断した場合には、ディスプレイドライバ22を制御して、表示装置5に表示されているレベルメータ20aの表示位置を左側に移動させ、閾値を下げる。尚、画像は実際には「押下」されている(押し下げられている)わけではなく、画面の表面に圧力がかかるだけであるが、ここでは説明の便宜上、ユーザが打鍵を意識して画面に接触することを「押下」とする。又、レベルメータ20aに表示されているスライダ表示部20dをドラッグすることで、直接レベルメータ20aを変更してもよい。
また、デバイス制御IC23(通知部)は、例えば、キーボードやマウス等の入力装置における操作結果に基づいた処理を行うコンピュータ本体30のマザーボード30a(図7)に対して、接触検出装置21から受信した、物体の接触位置やこの位置に基づいて検出された接触状態を表す情報を通知する。例えば、「打鍵」状態のキー位置や「接触」状態のキー位置を端末装置へ通知する。
また、デバイス制御IC23(特徴量抽出部)は、接触検出装置21によって検出された物体の接触状態に基づいて、物体の接触強度に関する特徴量を抽出する。ここで、特徴量とは、物体の接触強度、当該接触強度の変化率、接触時間、接触位置等を指す。
また、デバイス制御IC23(特定処理部)は、抽出した特徴量と、予め設定された値とを比較することにより、特定の処理を行う。ここで、予め設定された値とは、接触検出面10aに悪影響を及ぼす接触強度に対応する値等が挙げられる。
また、デバイス制御IC23は、特定の処理として、特徴量と予め設定された値とを比較することにより、物体の認証(ユーザ認証)を行うことが挙げられる。その他、予め設定された値が、接触検出面10aに悪影響を及ぼす接触強度に対応する値である場合、デバイス制御IC23は、特定の処理として、特徴量が予め設定された値を超えた場合、物体に対して警告を発するか、又は当該入力装置20の機能を停止することが挙げられる。また、予め設定された値が、物体(例えば、ユーザ)に悪影響を及ぼす接触強度に対する値である場合、特定の処理として、特徴量が予め設定された値を超えた場合、例えばスピーカ26から音声を出力することにより物体に対して警告を発するか、当該入力装置20の機能を停止することが挙げられる。警告を発する方法としては、音声警告に代えて又は音声警告に加えて、表示装置5に警告表示を行う方法を用いることもできる。更に、特定の処理として、特徴量が予め設定された値を超えるか否かにより、表示装置5に表示された仮想キーボードのキーの文字種を切り替える。例えば、大文字と小文字を切り替えたり、シフトキーによる特殊文字入力モードに切り替えたりする。
図6に示すデバイス制御IC23(表示制御部)は、接触検出面10aにおける物体の接触状態に応じて、表示装置5に表示された画像の表示形態を変更する。接触状態は、上述したように例えば、「非接触」、「接触」、「打鍵」の3パターンが挙げられる。デバイス制御IC23は、このような接触状態に応じて、それぞれ画像の明度、色、形状、輪郭線のパターンや太さ、点滅/点灯、点滅間隔などを変更して表示する。
例えば、表示装置5に仮想キーボードが表示され、ユーザが入力操作を行うことを想定する。図20に示すように、ユーザが入力操作の準備位置であるいわゆるホームポジションに指を置いている場合、「S」、「D」、「F」、「J」、「K」、「L」のキーは指が「接触」している状態であり、デバイス制御IC23は、この「接触」状態に応じて、これらのキーを表す画像を例えば黄色に点灯させる。その他のキーは「非接触」の状態であり、デバイス制御IC23は、これらのキーを表す画像を例えば青色に点灯させる。そして、図21に示すように、「O」のキーが押下された場合、「O」のキーは指が「打鍵」している状態であり、デバイス制御IC23は、このキーを表す画像を例えば赤色に点灯させ、また「S」、「D」、「F」、「J」のキーは指が「接触」している状態であり、デバイス制御IC23は、これらのキーを表す画像を黄色に点灯させる。
このとき、「非接触」、「接触」、「打鍵」をすべて識別する必要がない場合は、ユーザが、表示形態を変更する接触状態を選択できるようにしてもよい。
図6に示すデバイス制御IC23(発音部)は、接触検出装置21によって検出された物体の位置とキーボードやマウス等の入力装置の画像の位置との相対関係により判断した接触状態に応じて所定の認識音を決定し、この決定に基づいてスピーカドライバ25を制御することにより、この認識音を、スピーカ26から出力させる。例えば、表示装置5に仮想キーボードが表示され、ユーザがキーを叩くことを想定する。このとき、デバイス制御IC23は、接触検出装置21によって検出されたキー入力の位置と、表示装置5に表示されたキーの中心との相対位置を算出する。この相対位置の算出方法については、図25〜図27を用いて後に詳述する。
そして、デバイス制御IC23は、「打撃」の状態において、キー入力の位置と表示されたキーの中心との相対距離が所定の値より大きいと判断した場合、スピーカドライバ25を制御して所定の認識音をスピーカ26から出力させる。この認識音は、通常の「打撃」の状態において発する認識音とは異なる形態(異なる音色、時間、パターンなど)で表現されてもよい。
また、例えば、表示装置5に仮想キーボード5aが表示され、ユーザが入力操作を行うことを想定する。ユーザは事前に、いわゆるホームポジションの指の位置を登録しておく。そして、ユーザが指を置いたときに、デバイス制御IC23がホームポジション以外のキーに指が置かれている(「接触」状態)と判断した場合、ホームポジションに指が置かれている(「接触」状態)と判断した場合と異なる形態(異なる音色、時間、パターンなど)の認識音を発することも可能である。
また、発光装置27(発光部)は、入力装置20の表面に備えられ、デバイス制御IC23の判断に従って、接触状態に応じて発光する。例えば、ユーザがホームポジションに指を置いたと判断した場合、デバイス制御IC23は、発光装置27を発光させる。
メモリ24は、物体の接触位置と接触強度の履歴を過去一定時間に渡って記憶する。尚、メモリ24は、RAM(Random Access Memory)、フラッシュメモリ等の不揮発性メモリの他、ハードディスクやフレキシブルディスク等の磁気ディスク、コンパクトディスク等の光学ディスク、ICチップ、カセットテープなどにより構成されてもよい。
次に、各種プログラムの保持について説明する。本実施の形態に係る入力装置20は、接触位置検出処理、接触強度検出処理、判断処理、特定の処理(後述)などを接触検出装置21やデバイス制御IC23に実行させるための情報処理プログラムをメモリ24に格納する。このメモリ24は、RAM等で構成されており、入力装置20においては、このメモリ24にプログラムを格納するための、情報読み取り装置(図示せず)が設けられている。この情報読み取り装置としては、例えば、フレキシブルディスク等の磁気ディスク、光学ディスク、ICチップ、若しくはカセットテープ等の記録媒体から情報を読み取る装置、又はネットワークからこれらのプログラムをダウンロードする装置等を用いることができる。記録媒体を用いる場合、プログラムの保存、運搬、販売などを容易に行うことができる。なお、メモリ24に代えて、ハードディスク装置等の記憶装置を用いることもできる。
(情報処理)
次に、第1の実施の形態に係る情報処理方法について図22〜27を用いて説明する。尚、以下において説明する情報処理方法は、メモリ24などに格納された情報処理プログラムをデバイス制御IC23等が実行することによって実現される。即ち、情報処理方法における各ステップは、情報処理プログラムによって実行できる各手順に対応する。
また、ここでは、入力部3の表示装置5に表示される入力装置の画像として仮想キーボード5aを想定し、ユーザは指で仮想キーボード5aのキーに接触して入力操作を行う。
まず図22を用いて、図6を参照しながら、基本的な情報処理方法の流れを説明する。
図22のステップS101において、入力装置20は、表示装置5に入力装置の画像(仮想キーボード5a)を表示する。そして、ステップS102において、タッチパネル10の接触検出面10aにおける検出領域を取得し、ステップS103において、接触検出面10aに指が接触した領域があるか否かを判断する。接触領域がない場合、ステップS102へ戻り、接触領域がある場合、ステップS104へ進む。
ステップS104において、入力装置20は、接触検出面10aに接触する指の位置を検出し、ステップS105において、指が接触するときの強度を検出する。
次に、ステップS106において、入力装置20は、検出された強度に関する特徴量を抽出し、当該特徴量あるいは当該特徴量から計算された値と予め設定された閾値とを比較することにより、指先やペン状指示棒の先端部等の接触状態を判断する。接触状態には、例えば上述したように、「非接触」、「接触」、「打鍵」状態があるとする。例えば、図9に示すように、接触面積Aが、直前までゼロもしくは非常に小さい値であったものが、急峻に立ち上がることを検出し、これを「打鍵」状態と判断する。具体的には、図8及び図9において、特徴量として接触面積を抽出し、この接触面積から面積速度もしくは面積加速度、即ち、それぞれΔA/ΔtもしくはΔ2A/Δt2で表される量の演算を行い、この数値が予め設定された閾値より大きいと「打鍵」状態であると認識する。
尚、「打鍵」あるいは「接触」と認識する際の、ΔA/ΔtもしくはΔ2A/Δt2の閾値は、個人によって、もしくは使用中のアプリケーションによっても異なり、又、同一ユーザであっても、使用している間に徐々に変化してくることも考えられる。適当なタイミングでこれを学習しキャリブレーションすることにより、所定の固定値とするよりも識別精度が向上する。
次に、ステップS107において、「打鍵」状態か否か判断する。「打鍵」状態でない場合はステップS102へ戻り、検出領域を取得する。一方、「打鍵」状態である場合は、ステップS108へ進み、入力装置20は、コンピュータ本体30へ、キーが「打鍵」されたことを通知する。また、「打鍵」状態である場合においても、次の接触状態を判断するため、ステップS102へ戻り、検出領域を取得する処理が並行して行われる。
次に、ステップS109において、入力装置20は、仮想キーボードのキー画像の表示形態を「打鍵」状態の表示形態へ変更する。具体的には、「打鍵」されたキーの明度、色、形状、輪郭線のパターンや太さ、点滅/点灯、点滅間隔などを「打鍵」状態の表示形態へ変更して表示する。又、入力装置20は、「打鍵」状態のキー表示が行われてから、所定の時間が経過したか否か判断し、経過していない場合は表示を続行する。経過した場合はキー画像の表示形態を通常の表示に戻す。尚、ここでは、所定の時間の経過ではなく、点滅回数が所定の回数に達したか否かで判断してもよい。
次に、ステップS110において、入力装置20は、認識音を発生する。この処理については、図25を用いて後に詳述する。
そして、入力装置20は、入力操作が終了するまで、ステップS102〜S110の処理を繰り返す(ステップS111)。
ここで、ステップS106における接触状態の判断方法のその他の例について、図23を用いて説明する。
まずステップS1061において、多変量(特徴量)の抽出を行う。例えば、図9に示すグラフから、接触時の最大面積Amax、接触面積Aを積分して求める過渡面積SA、最大面積に到達するまでに要した最大到達時間Tp、打鍵開始から終了までに要した打鍵総時間Teを特徴量として抽出する。そして、これらの特徴量に基づいて、立ち上がり傾きk=Amax/Tpなどを計算する。
尚、これらの定性的な物理的特性としては、最大面積Amaxは、指が太く、打鍵が強いほど大きく、過渡面積Saは、打鍵が強く、しっかりした打ち方のときほど大きく、最大到達時間Tpは指が柔らかく、打鍵が強くゆっくりになるほど大きく、打鍵総時間Teは、打鍵速度が遅く、指が柔らかいほど大きく、立ち上がり傾きk=Amax/Tpは、指が固く、打鍵速度が速く、打鍵が強いほど大きくなるという傾向がある。
これらの特徴量を、ユーザ毎に、複数回数の打鍵から平均するなどして学習し、打鍵の判断に利用する。打鍵データの収集方法としては、一旦打鍵と判定したものが、ユーザにより取り消された場合は除外することにより、打鍵データのみを蓄積して行くことができるので、その蓄積したデータを解析して打鍵識別の閾値を決定することができる。
これを全てのキーで共通して計測しても良いが、指毎やキー毎、もしくはキー群をいくつかのグループに分けて、計測することにより、より判断精度を高められる場合もある。
この際、各変数を独立に閾値を決めて、いずれか一つ以上の所定の変数が閾値を上回ったか、といった論理・条件分岐を判定の拠り所としてもよいし、さらに高度な方法としては、各変数を多変量解析手法により打鍵識別する方法もある。
多変量解析の一例としては、複数回数の打鍵を記録し、所定回数の多変量のセットから、例えばマハラノビス空間を学習し、次に、入力された打鍵をこのマハラノビス空間でマハラノビス距離を計算し(「The Mahalanobis-Taguchi System, ISBN0-07-136263-0, McGraw-Hill」等参照)、このマハラノビス距離が小さいほど「打鍵」であると判断するアルゴリズムとすることも、判断精度を向上させる一方法である。
具体的には、図23のステップS1062において、対象となる多変量データセットに対し、変数毎に平均値と標準偏差を計算し、元のデータをこの平均値と標準偏差でz変換(基準化、標準化ともいう)する。次に、変数間の相関係数を計算し相関行列を求める。ちなみにこの学習は、初期の所定打鍵データが収集できた時点で一度だけ行い、二度と変更しないという場合もあるが、ユーザの打鍵の癖が変化してきた場合や、デバイス側の機械的・電気的特性の経時変化、温度変化など、何らかの理由で判断精度が落ちてきた場合には、再学習することにより、判断精度を回復することができる。なお、複数のユーザがログインなどをして使用する場合、ユーザ毎に判断精度を回復してもよい。
次に、ステップS1063において、この変数毎に求められた平均値と標準偏差、及び一組の相関行列を用いて、判断したい打鍵データのマハラノビス距離を計算する。
そして、ステップS1064において、多変量(特徴量)を認識することにより接触状態の判別を行う。例えば、マハラノビス距離が所定の閾値より小さい場合、物体の接触状態が「打鍵」状態であると判断する。
このように、マハラノビス距離が小さいほど「打鍵」である可能性が高いと判断するアルゴリズムを採用すれば、特徴量をそのまま判断に利用する場合に比べて遙かに判断精度が向上する。なぜなら、マハラノビス距離によれば、学習した変数間の相関も考慮した認識、即ち、パターン認識を行うため、ピーク値Amaxだけは打鍵データの平均値と近くても、そこへ達する時間Tpが長い場合など、打鍵とは異なる接触パターンに対しては、高い識別能力を示す様になるという特徴がある。
本実施の形態では、マハラノビス距離を用いる打鍵識別アルゴリズムで説明したが、その他の多変量解析アルゴリズムを採用して多変量の判断を行っても構わないことは勿論である。
次に、図24を用いて、「打鍵」状態だけではなく、「非接触」状態、「接触」状態におけるキーの表示を変更する処理について説明する。
図24のステップS201〜202の処理は、図22のステップS101〜102の処理と同様であるので、ここでは説明を省略する。
次に、ステップS203において、入力装置20は、接触検出面10aに物体が接触した領域があるか否か判断する。接触領域がない場合は、ステップS212へ進み、接触領域がある場合は、ステップS204へ進む。ステップS212において、入力装置20は、仮想キーボードのキーが「非接触」状態であると判断し、キーの表示形態を変更する(「待機」表示する)。具体的には、「非接触」状態のキーの明度、色、形状、輪郭線のパターンや太さ、点滅/点灯、点滅間隔などを、「接触」あるいは「打鍵」状態のキーとは変更して表示する。そして、ステップS202へ戻り、検出領域を取得する。
次に、ステップS204〜206の処理は、ステップS104〜106の処理と同様であるので、ここでは説明を省略する。
次に、ステップS207において、「打鍵」状態でない場合はステップS213へ進む。ステップS213において、入力装置20は、仮想キーボードのキーが「接触」状態であると判断し、表示形態を変更する(「接触」表示する)。具体的には、「接触」状態のキーの明度、色、形状、輪郭線のパターンや太さ、点滅/点灯、点滅間隔などを、「非接触」あるいは「打鍵」状態のキーとは変更して表示する。そして、ステップS202へ戻り、検出領域を取得する。一方、「打鍵」状態である場合は、ステップS208へ進むと共に、次の接触状態を判断するため、ステップS202へ戻り、検出領域を取得する。
ステップS208〜211の処理は、ステップS108〜111の処理と同様であるので、ここでは説明を省略する。
次に、図22のステップS110において、「打鍵」状態と認識された際、打鍵した位置と入力装置(キーボード等)の画像のキー位置とがずれていた場合に、認識音(警告音)を発生する処理について、図25を用いて説明する。
まず、ステップS301において、入力装置20は、打鍵した指の接触検出部10bの座標群から計算される打鍵基準座標(例えば、「打鍵」状態と判断された座標群から近似して推測された接触領域の重心)を取得する。
次に、ステップS302において、入力装置20は、打鍵基準座標と、仮想キーボードにおける当該キーの基準座標(例えば、中心座標)とを比較する。そして、両者のずれ(以下において、「打鍵ずれベクトル」という。)、即ち、打鍵基準座標及び当該キーの基準座標を始点及び終点とするx、y面における方向と長さを計算する。
次に、ステップS303において、入力装置20は、指が接触した座標が、表示されたキーのどの領域に存在するか判別する。この領域は、左右2分割としても良く、または図26及び図27に示すように、領域51〜55の5つの領域に分割するようにしても良い。領域分割の種類は、ユーザが選択してもよい。尚、図26及び図27における領域55は、正確に打鍵したと認識される領域である。
次に、ステップS304において、入力装置20は、領域に従って、認識音を決定する。図26及び図27では、領域51〜55に対してそれぞれ異なる認識音、例えば、音色、時間、パターンの異なる認識音を決定する。
また、入力装置20は、打鍵ずれベクトルの長さに応じて認識音を変化させてもよく、打鍵ずれベクトルの方向に応じて認識音を変化させても良い。例えば、打鍵ずれベクトルの長さが長いほど高音とし、打鍵ずれベクトルの方向に従って認識音の間隔あるいは音色を変えても良い。
また、2つの領域に跨って指が接触した場合、2つの領域に対応する認識音の中間的な認識音を採用してもよく、また中間的な音色の生成は2つの領域の接触面積に応じて比例配分してもよく、2つの領域のうち接触面積が大きい領域の認識音を採用してもよい。また、このとき2つの音を発生させて和音としてもよい。
次に、ステップS305において、入力装置20は、ステップS304において決定された認識音を所定の音量で発生する。そして、入力装置20は、認識音を発生してから、所定の時間が経過したか否か判断し、経過していない場合は認識音を発生し続ける。経過した場合は認識音を停止する。
尚、ステップS304において、領域1〜5に対して異なる認識音を決定すると説明したが、領域55と領域51〜54とを異なる認識音としてもよい。例えば、領域55を打鍵した場合、正確に打鍵したと認識し、領域51〜54とは異なるパターン音、もしくは無音としても良い。
領域55の形状やサイズは、例えばキートップ全体に対するパーセンテージや、割合や比などの形でユーザ自身が適宜調整しても良く、領域55のヒット率や打鍵ずれベクトルのx、y成分分布等を記録し、それらのデータから自動調整しても良い。
また、領域51〜54の区別はせず、領域55の内側か外側かのみの区別で認識音を変更しても良い。
また、領域55の調整は、キー毎に独立して実施しても良く、全ての領域を一括もしくは複数のグループに分割して実施しても良い。例えば、キーボードの主要なキー、例えば多く使うキーや仮名キー(50音のキー)だけをまとめて打鍵ずれベクトルを累計し、かつ形状やサイズの変更パラメータも主要なキーのグループは共通として同時に変更しても良い。
(適用例)
上述した、入力装置20及び情報処理方法を用いて、ユーザ個人認証処理、機器保護処理、ユーザ保護処理、文字種切り替え処理などの特定の処理を行う方法について、以下に説明する。また、ここでは、入力装置の画像として仮想キーボードを想定し、ユーザは指で仮想キーボードのキーに接触して入力操作を行う。
=ユーザ個人認証処理=
まず、使用開始時にユーザが所定の文字列(以下において、「パスワード」という。)をキー入力することによりユーザ認証を行う方法について、図28及び図29を用いて説明する。ここでは、使用開始時にユーザが所定の文字列をキー入力し、その際のキータイプ圧力、面積変化率、打鍵時刻履歴のうち少なくとも一種類をキー入力特性情報として、このキー入力特性情報と文字列との双方が予め設定されているデータと合致することを条件に個人認証を行う。なお、パスワード及びキー入力特性情報は、予めメモリ24(図6)に格納されているものとする。
まず、ステップS501において、表示された仮想キーボードを用いてユーザがパスワードを入力することにより、入力装置20は、打鍵されたことを認識する。
次に、ステップS502において、入力装置20は、文字列認証を行う。文字列認証については、後に詳述する。
次に、ステップS503において、入力装置20は、予め記録されたパスワードと入力されたパスワードが合致するか否か判断する。合致した場合は、ステップS504へ進み、合致しない場合は、ステップS507へ進み、文字列不一致時処理を行う。文字列不一致時処理では、例えば、入力装置20を起動させない処理を行う。
次に、ステップS504において、表示された仮想キーボード5aに対する打鍵情報から特徴量を抽出する。特徴量としては、例えば、キータイプ圧力、面積変化率、打鍵時刻履歴などが挙げられる。そして、ステップS505において、抽出した特徴量と、予め記憶されている特徴量(キー入力特性情報)とを比較し、特徴量の認証を行う。
また、キータイプ圧力を用いる場合の原理であるが、キータイプ圧力は、個人によって平均的な強弱にも違いがあるし、圧力のゆらぎにも差異がある。又、個人でも、各キー毎に打鍵強度は異なるし、指毎にも差異がある。これらの情報をユーザ毎に解析し、ユーザを特定できる特徴量を記憶し、取得した打鍵情報と比較することにより個人認証を行う。
また、面積変化率を用いる場合の原理であるが、指の太さや固さ、打鍵の強度は個人によって、かつ十指によって異なるため、キータイプ時の面積やその時間変化履歴にも傾向に差が生じる。指が接する接触面積は、図30に示すAである。この接触面積の変化の様子を図31に示す。図31(a)は打鍵後、指が接触検出面に接触を続ける場合、図31(b)は打鍵後、すぐに離脱する場合、すなわち軽く叩く様に、跳ねる様に打鍵をする場合である。又、接触時間においても、個人によって差があり、異なる曲線a、b、c、dを描く。尚、図31では、軸を無次元化してあり単位や目盛りは図示しないが、実装時には真値を用いても良い。
また、特徴量の抽出の具体例については、図23のステップS1061〜1064について説明したので、ここでは説明を省略する。
次に、ステップS506において、入力装置20は、抽出した特徴量と予め記憶された特徴量が合致するか否か判断する。合致した場合、ステップS509へ進み、合致しない場合、ステップS508へ進み、特徴量不一致時処理を行う。特徴量不一致時処理は、例えば、入力装置20を起動させない処理である。
次に、ステップS509において、このようにして個人認証が成立した場合には、起動処理を行う。もしくは、電源スイッチをアクティブにするなど、任意の所定の設定により、起動可能状態に移行する。個人認証が成立した場合に限り起動処理を行うセーフティ構成を採用することにより、セキュリティ上のメリットだけでなく、運搬中の誤起動による電源の消耗や機器の破損、鞄や保護ケース内での発熱による諸問題などを回避することができる効果もある。
又、連続的に繰り返し誤認証が検出された場合、回数や期間など所定の条件を設定しておき、これに抵触すると、第3者による悪意によるパスワード入力と判断して機器をロックしたり、データを読み出せなくしたりするなどの保護機構を起動するという構成としても良い。
次に、図28におけるステップS502の詳細について、図29を用いて説明する。
まず、ステップS5021において、入力装置20は、打鍵を認識した位置の位置座標を取得する。そして、ステップS5022において、予め記憶されている所定の文字座標群の位置座標と比較する。
次に、ステップS5023において、打鍵位置と文字座標群の位置との差を表す差分ベクトル群を導出する。差分ベクトル群は、入力された文字(パスワードの文字)数のベクトルの群からなる。ここで、各差分ベクトルの始点からなる始点群のみ、および各差分ベクトルの終点からなる終点群のみから最小二乗法などにより一次直線を生成し、それぞれを
y=a1x+b1
y=a2x+b2
とする。
ステップS5024において、a1とa2を比較することにより、xy面内で何度基準に対してユーザの入力が回転しているかを検出し、角度修正量として演算する。もしくは、パスワード文字群に用いられている文字を、単純に行(y座標が同じ筈の文字群)毎に分類してそれぞれでx方向の角度を計算し、得られた角度を平均して(1行だけならそのままで)行の角度修正量としてもよい。
次に、ステップS5025において、始点群のキーボード基準位置と、終点群から推測するキーボード基準位置を比較することにより、xピッチ及びyピッチの修正量を演算する。方法は色々考えられるが、例えば最も単純には、始点群の座標群の重心と、終点群の座標群の重心とを比較しx方とy方向の差分を計算するだけでも良い。
次に、ステップS5026において、x方向の拡大率(kxとする)とy方向の拡大率(kyとする)とを別々に調整し、始点群の座標群と、終点群の座標群のそれぞれx座標およびy座標の誤差が最小となる様にkxとkyを決定し、基準原点修正量の演算を行う。決定方法は、例えば、誤差の2乗和が最小となるように探索的に(数値計算的に)求めても良いし、最小二乗法など算術的方法を行っても構わない。
次に、ステップS5027において、パスワードなど所定の文字列の認証判定を行う。即ち、予め登録されているパスワードと入力されたパスワードが一致するか否か判定する。
そして、ステップS5028において、ステップS5024〜5026において演算された、角度修正量、xピッチ、yピッチ修正量、基準原点修正量を反映させた入力範囲(ここでは、仮想キーボート5a)を、再表示する。
尚、上述した角度修正量演算(ステップS5024)、xピッチ、yピッチ修正量演算(ステップS5025)、基準原点修正量演算(ステップS5026)は、現キーボード配列に、適当な変換Tを施すことにより、ユーザにとって適切な配列にキーボードを調整するために算出する。ここで、現キーボード配列は、工場出荷時の配列であってもよく、過去に修正された配列でも良い。
以下に、適当な変換Tを求めるための別の手順について説明する。
適当な変換Tを求めるためには、ユーザにあらかじめ決められた文字数Nの文字列Sを打鍵させ、そのとき得られるN個のタッチパネル上の2次元座標のセットU(キートップ中心座標からずれている)と現在のキーボード配列において文字列Sを表現するときのキートップ中心の座標セットCとを比べ、最も誤差が小さくなるようにTを決めればよい。具体的には、以下で述べる手順が考えられるが、この方法に限定されない。以後、2次元座標または2次元のベクトルを[x,y]と表す。
UはN個の2次元座標なので、[xi,yi](i=1,2,…,N)と書ける。CをTにより変換した座標セットC’を[ξi,ηi](i=1,2,…,N)とする。変換Tは、ここでは座標群全体の平行移動と回転と拡大または縮小により構成する。平行移動を表すベクトルを[e,f]とし、回転角をθ、拡大/縮小係数をλとする。[e,f]は、現キーボード配列全体の中心点[a,b]と、Uの平均座標[c,d]=[(x1+x2+…+xN)/N,(y1+y2+…+yN)/N]から、[e,f]=[c−a,d−b]を計算すればよい。θとλにより、現キーボード配列を変換すると、変換後の座標は、[ξi,ηi]=[λ{(Xi−e)cosθ−(Yi−f)sinθ},λ{(Xi−e)sinθ+(Yi−f)cosθ}](i=1,2,…,N)と計算できるので、距離の2乗Δi=(ξi−xi)^2+(ηi−yi)^2の和α=Δ1+Δ2+…+ΔNを最小化するパラメータθとλを、θとλの初期値をそれぞれ0,1とし、逐次2次計画法を用いて数値的に求めれば、求まったθとλを代入した結果得られる[ξi,ηi](i=1,2,…,N)が、新キーボード配列になる。タイプミスなどの要因により、誤差が大きいときには、θとλは収束解に至らないことも考えられるが、このような場合はそもそも認証しない場合であり、キーボード配列を調整すべきではないので、ユーザに再度文字列Sの入力を促せばよい。
又、λを、x方向とy方向とで別々に調整する構成とすることで、横ピッチと縦ピッチを各々最適化でき、より好ましい結果が得られる場合もある。
又、変換Tを工夫すれば、全体的に湾曲しているようなキーボード配列や、左手で打つキー群と、右手で打つキー群とが、離れた位置にあるようなキーボード配列に調整することも可能である。
このような補正を、左右の手で独立して実施し、市販されている様な、左右の指の守備範囲を別々に扇状に変則的に配置する様な補正を、本アルゴリズムによりフレキシブルに実施しても良い。
尚、この補正は認証時にのみ利用し、実際にキーボード領域を表示する際にはこれを反映しないか、ピッチの修正にのみ反映するなど、部分的もしくは加工・工夫して反映させる種々のバリエーションが考えられることは言うまでもない。特に回転角は、筺体の縁とずれている、もしくは左右非対称であると美観上も違和感があるので調整しないもしくは左右対称になる様に調整を工夫するという構成も考えられる。
以上のように、様々な適切な幾何制約を付加することにより、利便性、美観を高めることができる。
=機器保護処理=
次に、タッチパネルへの物体の接触強度を抽出し、タッチパネルへ悪影響を及ぼす強度である場合、警告を発するか、機能を停止する方法について、図32を用いて説明する。ここでは、メモリ24に蓄積された接触強度と接触位置のうち少なくとも一方の履歴から、タッチパネルの強度に対し悪影響を及ぼす指標を計算し、指標が所定の条件を超えたと判定された際に、警告を発するか、機能を停止する処理について説明する。
まず、ステップS601において、入力装置20は、ユーザが仮想キーボード25を用いて、打鍵したことを認識する。
次に、ステップS602において、接触強度に関する特徴量を抽出する。例えば、特徴量としては、図9に示す最大面積Amax、過渡面積Tp、最大値到達時間(接触面積が最大になるまでの時間)Tp、打鍵総時間Te、立ち上がり傾きk、打鍵回数や使用時間などが挙げられる。そして、ステップS603において、入力装置20は、これらの特徴量の履歴をメモリ5に記録する。
次に、ステップS604において、入力装置20は、最大面積Amax、過渡面積Tp、最大値到達時間Tp、打鍵総時間Te、立ち上がり傾きk、打鍵回数や使用時間などのうちのいずれか一つもしくは複数を利用した指標を計算する。指標演算としては、各特徴量の最大値などで規定される場合もあれば、いくつかの特徴量からなる指標演算式を予め規定しておく場合もあり、機器特有の物理的特性などから適切に設定する。そして、この指標に警告しきい値を設ける。この警告しきい値は、タッチパネルにダメージを与える可能性のある値の最小値である。
次に、ステップS605において、入力装置20は、特徴量が警告しきい値に達したか否か判断する。達していない場合は、ステップS601へ戻り、達した場合は、ステップS606へ進む。
次に、ステップS606において、入力装置20は、警告しきい値に達した回数が規定回数に達したか否か判断する。達していない場合は、ステップS608へ進み、達している場合は、ステップS607へ進む。
ステップS608において、入力装置20は、警告を発する。ここで、警告処理とは、例えば、接続されている本体側の表示装置に「打鍵が強すぎます。機器にダメージを与える恐れがありますのでもう少し弱めに打鍵して下さい。」といった表示をすることが挙げられる。
ステップS607において、入力装置20は、機器保護処理を行う。ここで、機器保護処理とは、例えば、本体側の表示装置に「打鍵が強すぎます。機器にダメージを与える恐れがありますので打鍵リミッターを起動します。」と表示させた後に、強すぎる打鍵を認識した際に、一定の時間だけキー入力を受け付けない措置を取る事が挙げられる。
警告処理では、打鍵を継続することができるが、機器保護処理では、打鍵が強すぎる場合に打鍵処理が強制的に中断されるので、より強い警告効果と、打鍵を弱くさせる強制力が発生する。
=ユーザ保護処理=
次に、タッチパネルへの物体(指先)の接触強度を抽出し、この接触強度がユーザに必要以上の負荷がかかる強度である場合、警告を発するか、機能を停止する方法について、図33を用いて説明する。ここでは、メモリ24に蓄積された接触強度と接触位置のうち少なくとも一方の履歴から、ユーザに必要以上の負荷がかかる指標を計算し、指標が所定の条件を超えたと判定された際に、警告を発するか、機能を停止する処理について説明する。
まず、ステップS701において、入力装置20は、ユーザが仮想キーボードを用いて、打鍵したことを認識する。
次に、ステップS702において、接触強度に関する特徴量を抽出する。例えば、特徴量としては、図9に示す最大面積Amax、過渡面積Tp、最大値到達時間Tp、打鍵総時間Te、立ち上がり傾きk、打鍵回数や使用時間などが挙げられる。そして、ステップS703において、入力装置20は、これらの特徴量の履歴をメモリ5に記録する。
次に、ステップS704において、入力装置20は、最大面積Amax、過渡面積Tp、最大値到達時間Tp、打鍵総時間Te、立ち上がり傾きk、打鍵回数や使用時間などのうちのいずれか一つもしくは複数を利用した指標を計算する。指標演算としては、各特徴量の最大値などで規定される場合もあれば、いくつかの特徴量からなる指標演算式を予め規定しておく場合もあり、人体への影響の調査分析結果などから適切に設定する。そして、この指標に警告しきい値を設ける。この警告しきい値は、ユーザに必要以上の負荷がかかると考えられる値の最小値である。
次に、ステップS705において、入力装置20は、特徴量が警告しきい値に達したか否か判断する。達していない場合は、ステップS701へ戻り、達した場合は、ステップS706へ進む。
次に、ステップS706において、入力装置20は、警告しきい値に達した回数が規定回数に達したか否か判断する。達していない場合は、ステップS708へ進み、達している場合は、ステップS707へ進む。
ステップS708において、入力装置20は、警告を発する。ここで、警告処理とは、例えば、接続されている本体側の表示装置に「打鍵が強すぎます。必要以上の負荷がかかる恐れがありますのでもう少し弱めに打鍵して下さい。」といった表示をすることが挙げられる。
ステップS707において、入力装置20は、ユーザ保護処理を行う。ここで、ユーザ保護処理とは、例えば、本体側の表示装置に「打鍵が強すぎます。打鍵リミッターを起動します。」と表示させた後に、強すぎる打鍵を認識した際に、一定の時間だけキー入力を受け付けない措置を取ることが挙げられる。
警告処理では、打鍵を継続することができるが、機器保護処理では、打鍵が強すぎる場合に打鍵処理が強制的に中断されるので、より強い警告効果と、打鍵を弱くさせる強制力が発生する。
なお、本実施の形態においては、物体として指先をタッチパネルに接触させる場合について述べているが、物体としては、例えばペン状支持棒を用いることもでき、この場合には、警告処理によってペン状支持棒への悪影響を防止することができる。
=文字種切り替え処理=
次に、接触強度に応じて、小文字から大文字へ、大文字から小文字へなどの文字種の切り替えを行う方法について、図34を用いて説明する。
ここでは、接触強度を利用することにより、例えば、英単語の頭文字のみを大文字にしたいときに、従来の様に、キーボードもしくはフロントエンドプロセッサーと呼ばれる入力・単語変換制御ソフトウェアのモードを切り替える、もしくはCtrlキーなど特殊キーと同時押しさせることなく、大文字にしたい文字のみ例えば強く打鍵し、その他の小文字にしたい文字の入力の場合には標準的強度で打鍵するなどの打ち分けを検出して文字種を区別する方法について説明する。
まず、ステップS801において、入力装置20は、ユーザが仮想キーボード25を用いて、打鍵したことを認識する。そして、図32のステップS602及びステップS603において説明したように、特徴量を抽出する。
次に、ステップS802において、入力装置20は、最大面積Amax、過渡面積Tp、最大値到達時間Tp、打鍵総時間Te、立ち上がり傾きk、打鍵回数や使用時間などのうちのいずれか一つもしくは複数を利用した打鍵強度指標を計算する。指標演算としては、各特徴量の最大値などで規定される場合もあれば、いくつかの特徴量からなる指標演算式を予め規定しておく場合もある。そして、この指標にしきい値を設ける。
次に、ステップS803において、入力装置20は、抽出した特徴量と、しきい値とを比較する。しきい値より大きい場合、ステップS804へ進み、しきい値より小さい場合、ステップS805へ進む。
次に、ステップS804において、入力装置20は、強く打鍵した文字は、特殊文字(例えば、大文字)と認識する。
次に、ステップS805において、入力装置20は、通常の強度で打鍵した文字は、通常文字(例えば、小文字)と認識する。
(効果)
本実施の形態に係る入力装置20、入力装置20を備えたコンピュータ装置、情報処理方法及び情報処理プログラムによると、接触検出装置21(接触位置検出部及び接触強度検出部)と、デバイス制御IC23(判断部)とを備えることにより、接触強度に関する特徴量を用いて、接触検出面10a上に置かれたユーザの指が、打鍵を意図しているのか、もしくは接触しているかだけなのかという接触状態の判断を行うことができる。
また、接触強度は、接触面積や接触圧力を利用して検出することができる。特に、接触面積を利用して強度を検出すると、従来の圧力センサ式タッチパネルのように「打鍵の圧力強度」のみに依存する方式に比べて、接触状態の判断を精度良く行うことができる。
また、従来の赤外線式あるいはイメージセンサ式タッチパネルの場合、接触面積や形状のみを検出しているため「打鍵」と「接触」との判断が困難で、例えば、何本の指で操作しているかといった判断をユーザ側が行っていた。本実施の形態に係る入力装置20によると、物体の接触状態を容易かつ高精度に判断することができる。
また、接触圧力を利用して強度を検出する場合、例えばペン状指示棒の先端部のように、指先と違って比較的硬質かつ小さく、押圧による接触面積の変化が少なく検出し難いような場合でも、圧力の時間軸方向における変化率を評価することにより、物体の接触状態を容易かつ高精度に判断することができる。
また、従来は非常に短期間の間に、複数キーの打鍵を認識することが困難であったが、本実施の形態に係る入力装置20によると、接触している指先が複数点であった場合でも、「打鍵している指先」と、「接触させているだけの指先」とを精度良く判断することができる。従って、キー入力熟練者による高速な入力のように、非常に短時間の間に複数のキーに対する打鍵が微少な時間差で、一部時間的に重複して並行して入力が行われるような場合にも、接触状態を正確に把握することができる。
本実施の形態に係る入力装置20によると、デバイス制御IC23(判断部)が接触強度に関する特徴量あるいは当該特徴量から計算された値と予め設定された閾値とを比較することにより、物体の接触状態を判断することができる。このため、ユーザ自身が打鍵の特徴やクセに併せて閾値を調整することにより、例えば同一マシンを複数ユーザで使い分けるときなどにも、各人に最適な判断を行い、識別精度を向上させることができる。また、しばらく使用を続けているうちに、打鍵強度が変化した場合にも、ユーザが自在に調節することにより、快適な使用環境を維持することができる。更に、ログオフ時の閾値をログインユーザ毎に保存することにより、ユーザ毎に適切な閾値を使い分けることができる。
図6に示すように、本実施の形態に係る入力装置20のディスプレイドライバ22(表示制御部)及び表示装置5によると、接触状態に応じて、入力装置の画像の表示形態を変更することができる。このため、例えば入力装置としてキーボードが表示されている場合、指先のキーに対する「非接触」、「接触」、「打鍵」状態をユーザが容易に認識することができ、ユーザの装置に対する習熟を支援する上でも非常に有効である。又、「接触」状態のキーを異なる表示形態で表示することにより、いわゆるホームポジションに両手が正しく位置しているかを認識し、正しく習慣付けることができる。
また、接触状態に応じて、キーの明度を変化させる場合、暗い場所でも入力装置20の利用が容易になる。又、使用状態のカラフルで動的なディスプレイ効果により、ユーザの「使う楽しさ」や「遊び心」、「所有欲」、「満足感」を満たす副次的効果もある。
本実施の形態に係る入力装置20のスピーカドライバ25(発音部)及びスピーカ26によると、物体の接触位置と入力装置の画像の位置との相対関係により、接触状態に応じた所定の認識音を発することができる。このため、ユーザがミスタイプの頻度や中心からのずれ量を認識することができるので、自らミスを補正するように練習することができ、習熟の上で非常に有効である。
本実施の形態に係る入力装置20のデバイス制御IC23(通知部)によると、入力装置による出力信号に基づいた処理を行う機器へ接触状態を通知することができる。このため、例えば、事前にユーザが指定したホームポジションに指が置かれていると認識した際、接続された端末装置側にその旨を通知することができる。
本実施の形態に係る入力装置20の発光装置27によると、接触状態に応じて発光することができる。このため、例えば、事前にユーザが指定したホームポジションに指が置かれていると認識した際、ユーザにその旨を視認させることができる。
また、本実施の形態に係る入力装置20のデバイス制御IC23(特定処理部)によると、入力装置に対する物体の接触状態を適切に判断し、それに応じた特定の処理を行うことができる。特定の処理としては、物体の認証処理、機器の保護処理、ユーザの保護処理、文字種の切り替え処理などが含まれる。それぞれの処理の効果について、以下に詳細に説明する。
また、本実施の形態に係る入力装置20のデバイス制御IC23(特定処理部)によると、特徴量と、予め設定されたしきい値とを比較することにより、物体の認証を行うことができる。このため、機密情報やプライバシーに関する情報など、特定ユーザ以外の他人への機密漏洩の恐れを低減することができる。
また、本実施の形態に係る入力装置20のデバイス制御IC23(特定処理部)によると、しきい値として、接触検出面10aに悪影響を及ぼす接触強度に対する値を設定することにより、特徴量がしきい値を超えた場合、物体(ユーザ)に対して警告を発するか、当該入力装置20の機能を停止することができる。このため、ユーザの不用意に強い打鍵や、初心者の無理な力による打鍵など、装置の構造に対し、早期の摩滅や故障、破損など、悪影響を及ぼす様な使われ方をされた場合に、装置側でこれを認識し、事前に装置を守ることができる。
また、本実施の形態に係る入力装置20のデバイス制御IC23(特定処理部)によると、しきい値として、物体(ユーザ)に必要以上の負荷がかかる接触強度に対する値を設定することにより、特徴量がしきい値を超えた場合、物体(ユーザ)に対して警告を発するか、当該入力装置20の機能を停止することができる。このため、ユーザの不用意に強い打鍵や、初心者の無理な力による打鍵など、ユーザに対し、必要以上の負荷がかかる様な使われ方であると判定された場合に、装置側でこれを認識し、事前にそのような恐れを低減することができる。
また、本実施の形態に係る入力装置20のデバイス制御IC23(特定処理部)によると、特徴量が予め設定された値を超えるか否かにより、キーボードのキーの文字種を切り替えることができる。例えば、英単語の頭文字のみを大文字にしたいときに、従来の様に、キーボードもしくはフロントエンドプロセッサーと呼ばれる入力・単語変換制御ソフトウェアのモードを切り替えることなく、大文字にしたい文字のみ例えば強く打鍵し、その他の小文字にしたい文字の入力の場合には標準的強度で打鍵するなどの打ち分けを検出して文字種を区別するものであり、先述のモード切替を都度行う場合に比べて能率の良い入力が可能となる。
[その他の実施の形態]
本発明は上記の実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
例えば、上述の実施の形態においては、入力部3をコンピュータ本体30と一体に構成したが、これに代えて、いわゆる、外付け用機器として、例えばUSB(Universal Serial Bus)等の既存接続規格を用いてコンピュータ本体に外付けする構成としても良い。
この場合、例えば図35に示すように、コンピュータ本体に対して外付けに構成された入力装置20は、表示装置(ここでは、LCD)5に入力装置の画像(ここでは、仮想キーボード5a及び仮想マウス5b)を表示する。入力装置20は、USB(universal serial bus)ケーブル7などにより、コンピュータ本体に外付けされる。入力装置20から出力されるキーボード等の操作結果は、コンピュータ本体に送信され、コンピュータ本体において処理が行われる。また、この処理結果は、コンピュータ本体に接続された表示装置において表示される。
なお、図35の入力装置20においては、図1に示した入力装置20と同様にして、入力部3の表示装置5に対する仮想キーボード5a等の入力装置の画像を表示する処理、図22〜図25に示した仮想キーボード5aや仮想マウス5bの操作結果に基づくキーボード画像等の入力装置の画像の表示処理、図28、図29、図32〜図34に示したユーザ個人認証処理、機器保護処理、ユーザ保護処理、文字種切り替え処理などの特定の処理を入力装置20側で実行するようにしているが、コンピュータ本体側で実行するようにすることもできる。
すなわち、図7との対応部分に同一符号を付して示す図36は、コンピュータ本体130に対して、入力部140を有する入力装置141を外付け構成とする場合の構成例である。図36に示すように、入力装置141は、コンピュータ本体130のグラフィックス回路35からキーボード等を表す画像を表示するためのデジタル画像信号をディスプレイドライバ22に受け、このディスプレイドライバ22によって表示装置5に仮想キーボード5a等の入力装置の画像を表示する。
打鍵・接触位置検出装置142は、タッチパネル10の接触検出面10aにおいて検出された物体の接触位置や接触状態等を、図22〜図25について上述した方法によって検出し、これをキーボードの操作結果またはマウスの操作結果として、キーボード接続ケーブル(PS/2ケーブル)またはマウス接続ケーブル(PS/2ケーブル)を介してコンピュータ本体130のキーボード/マウスポート46に出力する。
コンピュータ本体130では、キーボード/マウスポート46を介して入力されたキーボードの操作結果、マウスの操作結果に基づいた処理を実行する。この処理において、コンピュータ本体130では、操作結果に応じたデジタル画像信号をグラフィックス回路35から表示部150のディスプレイドライバ28に出力する。これにより、操作結果に応じた画像が表示装置29に表示される。また、コンピュータ本体130では、キーボード/マウスポート46を介して入力されたキーボードの操作結果、マウスの操作結果に基づいた処理として、この操作結果に応じたデジタル画像信号をグラフィックス回路35から入力装置141のディスプレイドライバ22に出力する。これにより、例えば操作結果に応じてキーボード画像の色等を変化させるといった図20及び図21に示した表示処理を表示装置5上で実行させることができる。またコンピュータ本体130では、キーボードの操作結果、マウスの操作結果に基づく特定処理として、図28、図29、図32〜図34に示したユーザ個人認証処理、機器保護処理、ユーザ保護処理、文字種切り替え処理などを実行する。この場合、コンピュータ本体130では、ユーザ個人認証に係るパスワードと、基準となるキータイプ圧力、キー面積変化率及び打鍵時刻履歴の少なくとも一種類からなるキー入力特性情報とを予めメインメモリ34に格納しておき、入力装置141から出力されるキーボードの操作結果、マウスの操作結果と、メインメモリ34に格納されているこれらの情報とを比較する。コンピュータ本体130では、この比較結果に基づいて、図28、図29、図32〜図34に示したユーザ個人認証処理、機器保護処理、ユーザ保護処理、文字種切り替え処理などを実行し、必要に応じてオーディオ信号出力回路47を介してスピーカ48から警告音等を出力し、また各処理に応じたデジタル画像信号をグラフィックス回路35から入力装置141のディスプレイドライバ22及び又は表示部150のディスプレイドライバ28に出力する。これにより、ユーザ個人認証処理、機器保護処理、ユーザ保護処理、文字種切り替え処理等の処理結果に基づく画像が表示部150の表示装置29及び又は入力装置141の表示装置5に表示され、またスピーカ48からそれぞれの処理に応じた音声が出力される。
この場合、コンピュータ本体130は、表示制御部、接触強度検出部、特徴量抽出部及び特定処理部として動作する。
なお、図36において破線で示すように、キーボード及びマウスの操作結果は、キーボード接続ケーブル、マウス接続ケーブルに代えて、USB接続ケーブル7a、7bを介してコンピュータ本体130のUSBデバイス38に出力するようにしてもよい。
また入力装置141をコンピュータ本体130に対して外付け構成とする他の例として、図37に示すように、入力装置141において、タッチパネル制御・処理装置143によりタッチパネル10の操作結果を検出し、この操作結果をシリアル接続ケーブル9を介して、コンピュータ本体130のシリアル/パラレルポート45に出力する。
コンピュータ本体130では、予めインストールされたタッチパネル用ドライバによって、入力装置141をタッチパネルとして認識し、この操作結果に応じてキーボード画像の色等を変化させるといった図20及び図21に示した表示処理を表示装置5上で実行させることができる。またコンピュータ本体130では、キーボードの操作結果、マウスの操作結果に基づく特定処理として、図28、図29、図32〜図34に示したユーザ個人認証処理、機器保護処理、ユーザ保護処理、文字種切り替え処理などを実行する。このように、コンピュータ本体130においては、入力装置141をタッチパネルとして認識した処理を行うことができる。
この場合、コンピュータ本体130は、表示制御部、接触強度検出部、特徴量抽出部及び特定処理部として動作する。
なお、図37において、シリアル接続ケーブル9に代えて、USB接続ケーブル7によってタッチパネルの操作結果をコンピュータ本体130のUSBデバイス38に出力するようにしてもよい。
また、上述の実施の形態においては、入力部3のみにタッチパネル10を設けたが、これに加えて、表示部においてもタッチパネル10を設けるようにしてもよい。
例えば、図7との対応部分に同一符号を付して示す図38に示すように、下筐体2Aに加えて、上筐体2Bにタッチパネル10を設けるようにしてもよい。この図27に示すように、上筐体2Bに設けられたタッチパネル10の接触検出結果は、タッチパネル制御・処理装置143に供給される。タッチパネル制御・処理装置143は、この検出結果をタッチパネルの操作結果としてシリアル接続ケーブル9を介して、コンピュータ本体130のシリアル/パラレルポート45に出力する。
コンピュータ本体130では、予めインストールされたタッチパネル用ドライバによって、上筐体2Bのタッチパネルを認識し、この操作結果に基づく処理を実行する。
またコンピュータ本体130では、グラフィックス回路35を介してデジタル画像信号を上筐体2Bのディスプレイドライバ28に出力する。これにより上筐体2Bの表示装置29には、種々の画像が表示される。なお、コンピュータ本体30と上筐体2Bとの間においては、例えば図1に示すヒンジ部19を介して信号線が接続される。
下筐体2Aにおいては、打鍵・接触位置検出装置142が設けられている。この打鍵・接触位置検出装置142は、タッチパネル10の接触検出面10aにおいて検出された物体の接触位置や接触状態等を、図22〜図25について上述した方法によって検出し、これをその接触位置に応じてキーボードの操作結果またはマウスの操作結果として、キーボード接続ケーブル(PS/2ケーブル)8aまたはマウス接続ケーブル(PS/2ケーブル)8bを介してコンピュータ本体130のキーボード/マウスポート46に出力する。
コンピュータ本体130では、キーボード/マウスポート46を介して入力されたキーボードの操作結果、マウスの操作結果に基づいた処理として、この操作結果に応じたデジタル画像信号をグラフィックス回路35から入力装置141のディスプレイドライバ22に出力する。これにより、例えば操作結果に応じてキーボード画像の色等を変化させるといった図20及び図21に示した表示処理を表示装置5上で実行させることができる。
この場合、コンピュータ本体130は、表示制御部、接触強度検出部、特徴量抽出部及び特定処理部として動作する。
なお、図38において破線で示すように、キーボード及びマウスの操作結果は、キーボード接続ケーブル、マウス接続ケーブルに代えて、シリアル接続ケーブル9aを介してコンピュータ本体130のシリアル/パラレルポート45に出力するようにしてもよい。
また図38において、下筐体2Aにおいても、上筐体2Bと同様のタッチパネル制御・処理装置143を打鍵・接触位置検出装置142に代えて設け、コンピュータ本体130において、インストールされたタッチパネルドライバによって操作結果を認識し、これに応じた処理を実行するようにしてもよい。
また上述の実施の形態においては、抵抗膜方式のタッチパネル10を用いたが、これに代えて、例えば、光学方式のものを用いるようにしてもよい。光学方式による一構成例として、図39に示すように、赤外線走査型センサアレイが挙げられる。発光用X軸センサアレイ151eから受光用X軸センサアレイ151cへ、又、発光用Y軸センサアレイ151dから受光用Y軸センサアレイ151bへ光が走査する。この光の光路がマトリクス状に交差する空間層がタッチパネル10に代わる接触検出領域となる。指先等で表示装置5の表示面を押圧しようとすると、指先は、表示面に接触する前に接触検出領域を横切ることになる。指先等の物体がこの接触検出領域を横切ると、光路151fを遮るため、受光用X軸センサアレイ151c及び受光用Y軸センサアレイ151bにおいて受光結果が得られないこととなり、図6に示した接触検出装置21において、これらの位置をX座標及びY座標で検出することができる。そして、この接触検出領域を横切った物体の強さ(すなわち表示装置5の表示面に接触する際の強さ)及びその強さに基づく特徴量を接触検出装置21において検出し、接触状態を判断することができる。例えば、一定の断面積を持つ指先が接触検出領域を横切る場合、指先によって複数の赤外線が遮られることになり、この遮られる赤外線の数の単位時間あたりの増加率は、指先が接触検出領域を横切る速度に応じて変化する。そして、表示面を強く押圧しようとすると、指先が接触検出領域を横切る速度が高くなることにより、遮られる赤外線の数の増加率に基づいて、強く押圧したか否かを判断することができる。この判断結果に基づいて、入力部3の表示装置5に対して警告を表示する等、種々の特定処理を実行することができる。
また、上述の実施の形態においては、端末装置としてノート型コンピュータを例示したが、これに限らず、電子手帳、PDA(Personal Digital Assistant)、携帯電話などでも構わないことは勿論である。
また、図22において、接触位置の検出を行った後(ステップS104)、接触強度の検出(ステップS105)を行うと説明したが、この順序は逆でも構わない。同様に、打鍵状態の通知(ステップS108)、打鍵表示(ステップS109)、認識音の発生(ステップS110)の順序で処理を行うと説明したが、この順序はそれぞれ入れ替わっても構わない。図24においても同様である。