JP2008305174A - 情報処理装置、情報処理方法、プログラム - Google Patents

Abstract

【課題】ユーザが意図していない機能を発生させることを防ぐことができる、入力装置を用いた情報処理装置を提供する。
【解決手段】操作面にバーチャルボタンが可変設定される操作入力部と、この操作入力部への接触及びその接触の位置を検出する位置検出部と、操作入力部に対する接触の圧力を検出する圧力検出部と、位置検出部が操作入力部に対する接触を検出したときに、接触の位置に対応するバーチャルボタンを選択されているバーチャルボタンＢ１とみなし、圧力検出部により検出された圧力の大きさに応じて、選択されているバーチャルボタンＢ１の大きさを拡張するようにバーチャルボタンのレイアウトを補正するバーチャルボタン制御部とを備えた、情報処理装置を構成する。
【選択図】図６

Description

本発明は、手指等による操作面への接触（又は接近）及び押圧による入力操作が行われる入力装置を用いた、情報処理装置、情報処理方法、及びプログラムに関する。

パーソナルコンピュータ等の情報処理装置に対して入力操作を行うための入力装置としては、キーボード、マウス、タッチパッド、描画タブレット、タッチパネル、ジョイスティック、トラックボール等、種々のものが知られている。
これら入力装置においては、小型化や操作の容易性等を考慮して、改良が進められている。

例えば、静電容量結合方式を採用したタッチパネルにおいて、接触した面積に応じて静電容量が変化することを擬似的に押圧とする構成（特許文献１参照）が提案されている。
また例えば、押圧力の大きさに合わせて入力点数を高精度に変動できる構造の押圧センサを使用した入力装置（特許文献２参照）が提案されている。

また、本出願人は、先に、ボタンへの接触の検出と、ボタンへの押圧の検出とを、共に行う構成の入力装置を提案している（例えば、特許文献３参照）。

このような接触と押圧とを検出する構成の入力装置においては、ボタンへ指を接触させることにより、そのボタンが選択される。そして、例えば、入力装置に接続されている表示装置の画面のソフトボタンのうち、選択されたボタンに対応するソフトボタンが強調表示される。
さらに、指でボタンを押して、圧力を加えることにより、選択されたボタンと画面のソフトボタンに割り当てられた機能を実行させることができる。

特開２００５−１８６６９号公報 特開２００５−３８８１２号公報 特開２００３−２２３２６５号公報

上記特許文献３に記載された構成では、物理的なボタンを多数並べて、入力装置を構成している。
これに対して、物理的なボタンの代わりに、タッチパネルやタッチパッド等を用いて、その操作面をユーザには見えない境界で区切り、区切られた各領域をそれぞれボタンとみなして入力を行う、バーチャルボタンを用いた構成とすることも考えられる。
このとき、それぞれのバーチャルボタンにおいて、ボタンへの接触又は接近の検出と、ボタンへの押圧の検出とを行うようにすればよい。

バーチャルボタンを用いることにより、ユーザは、表示画面のＧＵＩ（Graphical User Interface）を観ながら、入力装置の操作面上で指を動作させる（触る、押す）ことにより、インタフェースを操作することができる。

しかしながら、このようにバーチャルボタンを用いた構成の入力装置において、現在作動しているバーチャルボタンの領域と隣接するバーチャルボタンの領域との境界付近に、指の位置がある場合には、指を押して圧力を加えると、問題が起こりうる。

即ち、押圧によって、入力装置上の指の接触面が増大し、また接触面の中心の位置が動くため、接触検出によって解釈された指の位置が、ユーザによって動きを認識されることなく、境界を越えて隣のボタン領域に動いてしまうことになる。

このことを、図１６を参照して説明する。
指を入力装置に接触させただけで、圧力を加えていないときには、指との接触面Ｓが小さい。
このため、図１６Ａに示すように、所望のバーチャルボタンＢ１の領域の境界付近に指が接触していても、接触面Ｓが、選択された所望のバーチャルボタンＢ１の領域内にある。これにより、接触の位置検出により解釈される指の位置（図中＋印）Ｐも、選択された所望のバーチャルボタンＢ１の領域内にあり、図中斜線を付して示すように、このボタンＢ１が有効となって対応した機能が実行される。

一方、指から圧力を加えていくと、指との接触面Ｓが増大すると共に、指先が曲がることにより、接触面Ｓの位置が動いて行く。
このため、指から強い圧力を加えると、図１６Ｂに示すように、接触面Ｓが、所望のバーチャルボタンＢ１の領域の境界Ｌを越えて隣のバーチャルボタンＢ２の領域にまで跨ってしまい、接触面Ｓの中心位置も隣のボタンＢ２の領域に移ってしまう。これにより、接触の位置検出により解釈される指の位置（図中＋印）Ｐも、所望のバーチャルボタンＢ１の領域から隣のボタンＢ２の領域内に移り、図中斜線を付して示すように、隣のボタンＢ２が有効となって対応した機能が実行される。
結果として、ユーザが意図していない機能を発生させてしまうことになる。

上述した問題の解決のために、本発明においては、ユーザが意図していない機能を発生させることを防ぐことができる、入力装置を用いた情報処理装置、情報処理方法、並びにプログラムを提供するものである。

本発明の情報処理装置は、操作面にバーチャルボタンが可変設定される操作入力部と、この操作入力部に対する接触又は接近を検出すると共に、この操作入力部に対する接触又は接近の位置を検出する位置検出部と、操作入力部に対する接触の圧力を検出する圧力検出部と、位置検出部が操作入力部に対する接触又は接近を検出したときに、検出した接触又は接近の位置に対応するバーチャルボタンを、選択されているバーチャルボタンとみなし、圧力検出部により検出された圧力が第１の閾値以上の圧力のとき、検出された圧力の大きさに応じて、選択されているバーチャルボタンの大きさを拡張するようにバーチャルボタンのレイアウトを補正するバーチャルボタン制御部とを備えたものである。

本発明の情報処理方法は、操作面にバーチャルボタンを可変設定して、その可変設定されたバーチャルボタンの操作を行う方法であり、操作面に対する接触又は接近を検出すると共に、操作面に対する接触又は接近の位置を検出する位置検出工程と、操作面に対する接触の圧力を検出する圧力検出工程と、位置検出工程で接触又は接近が検出されたときに、検出した接触又は接近の位置に対応するバーチャルボタンを、選択されているバーチャルボタンとみなし、前記圧力検出工程により検出された圧力が第１の閾値以上の圧力のとき、検出された圧力の大きさに応じて、選択されているバーチャルボタンの大きさを拡張するようにバーチャルボタンのレイアウトを補正するバーチャルボタン制御工程とを有するものである。

本発明のプログラムは、操作面に対する接触又は接近を検出すると共に、この操作入力部に対する接触又は接近の位置を検出する位置検出部と、操作入力部に対する接触の圧力を検出する圧力検出部とを有する入力装置に対する処理をコンピュータに実装して実行させるプログラムであって、操作面に対してバーチャルボタンを所定のレイアウトで設定する手順と、位置検出部で接触又は接近が検出された場合には、位置検出部で検出された接触又は接近の位置に対応するバーチャルボタンを、選択されているバーチャルボタンとみなす手順と、圧力検出部で圧力が検出され、検出された圧力が第１の閾値以上の圧力の場合には、検出された圧力の大きさに応じて、選択されているバーチャルボタンの大きさを拡張するようにバーチャルボタンのレイアウトを補正する処理を行う手順と、操作面に対して、補正したレイアウトでバーチャルボタンを設定する手順とを、コンピュータに実行させるものである。

上述の本発明の情報処理装置の構成によれば、圧力検出部により検出された圧力が第１の閾値以上の圧力のとき、検出された圧力の大きさに応じて、選択されているバーチャルボタンの大きさを拡張するようにバーチャルボタンのレイアウトを補正するバーチャルボタン制御部を備えているので、検出された圧力が第１の閾値以上の圧力のときには、操作面に対して補正されたレイアウトでバーチャルボタンが設定される。
これにより、操作入力部の操作面を指等で押して、接触面が広がったり、接触面の位置がずれたりしても、圧力に対応して選択されているバーチャルボタンの大きさが拡張されてレイアウトが設定されるので、接触面を選択されているバーチャルボタンの内部に収めることができる。

上述の本発明の情報処理方法によれば、圧力検出工程により検出された圧力が第１の閾値以上の圧力のとき、検出された圧力の大きさに応じて、選択されているバーチャルボタンの大きさを拡張するようにバーチャルボタンのレイアウトを補正するバーチャルボタン制御工程によって、操作面には補正したレイアウトでバーチャルボタンが設定される。
これにより、操作面を指等で押して、接触面が広がったり、接触面の位置がずれたりしても、圧力に対応して選択されているバーチャルボタンの大きさを拡張してレイアウトを補正し、補正したレイアウトを操作面に設定するので、接触面を選択されているバーチャルボタンの内部に収めることができる。

上述の本発明のプログラムによれば、圧力検出部で圧力が検出され、検出された圧力が第１の閾値以上の圧力の場合には、検出された圧力の大きさに応じて、選択されているバーチャルボタンの大きさを拡張するようにバーチャルボタンのレイアウトを補正する処理を行う手順と、操作面に対して、補正したレイアウトでバーチャルボタンを設定する手順とをコンピュータに実行させる。
これにより、操作面を指等で押して、接触面が広がったり、接触面の位置がずれたりしても、圧力に対応して選択されているバーチャルボタンの大きさを拡張してレイアウトを設定することができるので、接触面を選択されているバーチャルボタンの内部に収めることができる。

上述の本発明によれば、操作面を指等で押して、接触面が広がったり、接触面の位置がずれたりしても、接触面を選択されているバーチャルボタンの内部に収めることができるので、隣のバーチャルボタンが選択されてユーザが意図しない機能が実行されることを、防ぐことができる。

以下、本発明を適用した具体的な実施の形態について、図面を参照して説明する。

本発明の一実施の形態で使用する入力装置の模式的なブロック図を、図１に示す。
この入力装置１は、接触センサ部２と、圧力センサ部３と、これら接触センサ部２及び圧力センサ部３からの検出出力に応じて制御信号を出力する制御部４とを具備している。

接触センサ部２は、タッチセンサ、タッチパッドあるいはタッチパネルとして用いられるものを含み、静電容量方式、抵抗膜方式等により、表面（操作入力面；以下操作面とする）に対する手指等の物理的な接触を検出する接触検出手段である。
本実施の形態の入力装置１では、接触センサ部２が、後述するように手指の接触位置を検出する位置検出機能をも有している。

圧力センサ部３は、物理的な接触の圧力を検出する圧力検出手段として、手指等により押圧操作されたときの圧力を検出するものであり、感圧センサ、圧力検知素子とも称される。この圧力センサ部３は、例えば、圧電素子、圧力−電気抵抗変換素子等を用いて構成することができる。

この入力装置１では、板状の接触センサ部２の表面が、入力装置１の操作面５となっている。そして、接触センサ部２の裏面の四隅等に圧力センサ部３が配置されていて、この圧力センサ部３で板状の接触センサ部２を支持している。
このように構成されているので、手指等により入力装置１の操作面５である接触センサ部２の表面に接触して押圧操作すると、その圧力が接触センサ部２を介して圧力センサ部３に印加され、手指等の圧力が圧力センサ部３で検出される。

制御部４は、接触センサ部２に接続されて手指などの接触位置を検出処理して電気的な接触位置情報信号を出力する接触検出処理回路４１と、圧力センサ部３に接続されて印加された圧力（手指などによる押圧力）を検出して電気的な圧力検出信号を出力する圧力検出回路４２とを有する。
接触検出処理回路４１からの接触位置情報信号は、制御部４の出力端子４４を介して第１の処理機能部５１に送られる。
圧力検出回路４２からの圧力検出信号は、２つの端子ａ，ｂを有する切換選択回路４３に送られる。切換選択回路４３の端子ａからの第１の信号は、制御部４の出力端子４５を介して第２の処理機能部５２に送られ、切換選択回路４３の端子ｂからの第２の信号は、制御部４の出力端子４６を介して第３の処理機能部５３に送られる。

第１の処理機能部５１としては、例えば後述するように、表示画面に表示された多数の選択対象（アイコン、ソフトボタン等）のうち、機能を実行すべき対象を選択して強調表示する処理を行うものが挙げられる。
第２の処理機能部５２は、詳細を後述するように、圧力検出回路４２で検出した圧力に対応して、選択された対象に対応するバーチャルボタンの大きさを拡張する処理を行う。
第３の処理機能部５３としては、選択された対象（アイコン、ソフトボタン等）の機能を実行するための処理を行うものが挙げられる。

そして、この入力装置１においては、操作面５に対して所定のレイアウトでバーチャルボタンが設定される。
即ち、操作面５を例えばユーザには見えない境界で区切り、区切られた各領域をそれぞれボタンとみなしてバーチャルボタンを設定する。この操作面５に対して指等を接触させることにより、接触位置に該当する操作面５の領域のバーチャルボタンが選択されて、入力を行うことができる。

次に、この入力装置１における、手指等による入力操作について、図２及び図３を参照して説明する。
図２は、指を立てて指先を入力装置１の操作入力部の操作面（接触センサ部２の表面）５に接触させたときの図を示し、図２Ａは概略断面図であり、図２Ｂは平面図である。
このとき、図２Ｂに示すように、指先による接触センサ部２への接触面積は、小さな面積Ｓ１となる。

一方、図２に示した状態から、指を押して圧力を加えていって、強い圧力が加わっているときの図を、図３の平面図に示す。
強い圧力を加えると、指による接触センサ部２との接触面積が大きく（広く）なり、図３に示すように、大きな面積Ｓ２となる。また、指先だけの接触から、指の腹も接触するようになり、操作面５に接触する指の部分も指の腹の方に少し移動する。これにより、図３に示すように、接触面Ｓ２も指の腹の方に移動し、図１６Ｂにも示したように、接触面Ｓ２の中心位置が図２の接触面Ｓ１の中心位置から移動する。

本実施の形態においては、特に、入力装置１の操作面５に対するバーチャルボタンの設定を可変として、指から入力装置１の操作面５への圧力に対応して、バーチャルボタンの大きさを変化させる。
即ち、圧力が大きいほど、バーチャルボタンが大きくなって拡張されるように、処理を実行する。この処理は、図１に示すブロック図においては、例えば、圧力検出回路４２で検出した圧力に基づいて、第２の処理機能部５２において実行される。

そして、図１の入力装置１への入力操作によって、入力装置１に接続された表示装置（ディスプレイ等）において、入力操作に対応する機能が選択かつ表示されると共に、表示された機能が実行されるように、構成する。これら入力装置１及び表示装置を備えて一体化した情報処理装置を構成してもよいし、それぞれの装置を有線又は無線により信号のやり取りが可能な状態で接続したシステムを構成してもよい。
本実施の形態の入力装置１の操作面５と、表示装置の表示画面との対応について、図４を参照して説明する。

図４Ａは、図１の入力装置１の操作面５の概略平面図を示している。
図４Ａに示すように、入力装置１の操作面（接触センサ部２の表面）５に、図１６で説明したと同様に、縦３×横３の合計９個のバーチャルボタンを設けている。各バーチャルボタンは、入力装置１の操作面５を縦横の境界線Ｌ１，Ｌ２，Ｌ３，Ｌ４で区切った各領域に対応している。なお、通常、これらの境界線Ｌ１，Ｌ２，Ｌ３，Ｌ４は、実際の操作面５には表示されない。

図４Ｂは、図４Ａに示したバーチャルボタンに対応して、仮想されるボタン配置を示している。図４Ａの９個のバーチャルボタンに対応する、９個のボタン２１から成るボタン群２０を仮想している。図４Ｂのボタン群２０の各ボタン２１の境界線Ｌ１１，Ｌ１２，Ｌ１３，Ｌ１４は、入力装置１の操作面５のバーチャルボタンの境界線Ｌ１，Ｌ２，Ｌ３，Ｌ４のそれぞれに対応している。
バーチャルボタンを拡張する処理を行う際には、図４Ｂのボタン群２０うち、拡張するバーチャルボタンに対応するボタン２１の大きさを変化させる。即ち、ボタン２１の境界線Ｌ１１，Ｌ１２，Ｌ１３，Ｌ１４のうち、該当するボタン２１の周囲の境界線を移動する。これにより、ボタン群２０のボタン２１の配置を設定して、これに連動して、入力装置１の操作面５の各バーチャルボタン及び境界線Ｌ１，Ｌ２，Ｌ３，Ｌ４が再設定される。

図４Ｃは、入力装置１への入力操作によって、表示装置の表示画面に表示される機能情報の画像を示している。図４Ａの入力装置１の操作面５の各バーチャルボタンは、図４Ｃの表示画面上のいわゆるソフトキーパッド３０の各ソフトボタン３１として表示されている。

このような構成において、入力装置１の操作面５の中央の領域に指を触れると、この中央の領域のバーチャルボタンＢ１（図４Ａ参照）が選択されていることになる。
このとき、指の操作面５への接触位置を、図１の接触検出処理回路４１によって検出して、その検出結果に基づいて、図４Ｂのボタン群２０の９個のボタン２１のうちの中央のボタンＢ１１が指の接触位置に対応していることが求められる。これに対応して、指が接触している、即ち選択されているバーチャルボタンＢ１を決定することができる。

そして、図４Ｃに示すように、選択されているバーチャルボタンＢ１に対応する、表示画面上のソフトキーパッド３０のソフトボタン３１、即ち９個のソフトボタン３１のうちの中央のソフトボタンＫ１が、他のソフトボタン３１よりやや大きくなって、ハイライト表示される。なお、ソフトボタンの大きさを変える代わりに、ソフトボタンを反転表示にしたり、輝度を上げて明るく表示したり、表示画面がカラー表示の場合にソフトボタンの色を変えて表示したりしても、ハイライト表示をすることが可能である。
図４Ｃでは、中央のソフトボタンＫ１は、音量（ボリューム：ＶＯＬ．）コントロールボタンに相当しており、機能名を文字で“ＶＯＬ．”と表示している。この他、バーチャルボタン及びソフトボタン毎に種々の機能を割り当てることができる。
なお、図４Ｃでは、指が接触したボタンに対応するソフトボタンＫ１のみに機能名（ＶＯＬ．）を表示させているが、指が接触されていない他のソフトボタン３１についても機能名や機能を表すアイコン等を表示するようにしてもよい。このようにソフトボタン３１に表示を行うことにより、機能を実行しなくても、ユーザが該当するソフトボタンで実行される機能を知ることができる。

なお、表示画面において、図４Ｃに示した各ソフトボタンの境界線は表示せずに、アイコン等のシンボルのみを表示しても構わない。
また、表示部のソフトボタンの大きさや形状は、入力装置のボタンに対して、同じ大きさや相似形や同様の配置でなくても構わない。ソフトボタンの配置や内容によって、ボタンとソフトボタンとの対応が容易にわかればよい。

次に、図４Ａに示したバーチャルボタンの大きさの圧力に伴う変化を、図５及び図６を参照して説明する。
図５に示すように、入力装置１の操作面（接触センサ部２の表面）５に、図４Ａで説明したと同様に、縦３×横３の合計９個のバーチャルボタンを設け、各バーチャルボタンが入力装置１の操作面５を縦横の境界線Ｌ１，Ｌ２，Ｌ３，Ｌ４で区切った各領域に対応している。
図５では、さらに、現在選択されているボタンＢ１に、斜線を付して示している。また、指と操作面５との接触面１１と、接触センサ２の接触検出により解釈された指の位置（＋印）１２とを示している。解釈された指の位置１２は、図１に示した制御部４の接触検出処理回路４１における検出処理によって、求められるものである。
図５に示すバーチャルボタンの状態を、各バーチャルボタンの初期値とする。

ここで、図６Ａに示すように、圧力を加えず入力装置１の操作面５に指を接触させた段階において、中央のバーチャルボタンＢ１の右下部分に指が接触している場合（図１６Ａと同じ状態）を考える。
このとき、指の接触位置が中央のバーチャルボタンＢ１に対応しているので、このバーチャルボタンＢ１が選択されている。このとき、指との接触面１１は小さく、この接触面１１及び解釈された指の位置１２が、いずれも初期値のバーチャルボタンＢ１（図４参照）の内部にある。

なお、図６Ａに示すように、指の操作面５への接触だけで圧力が弱い状態においては、指を操作面５上で動かすことにより、選択されるバーチャルボタンを変えたり、表示装置の表示画面をスクロールさせたりすることが可能である。

次に、指によって少し圧力を加えた場合には、選択されているバーチャルボタンＢ１も、圧力に合わせて拡張される。具体的には、図６Ｂに示すように、バーチャルボタンＢ１の境界線Ｌ１，Ｌ２，Ｌ３，Ｌ４を上下左右に広げることによって、バーチャルボタンＢ１を拡張している。これにより、図５Ｂに示すように、指との接触面１１が少し広がって、解釈された指の位置１２が下に少し移動しても、指との接触面１１及び解釈された指の位置１２が、いずれもバーチャルボタンＢ１の内部にある。選択されているボタンＢ１が拡張される代わりに、下に隣接するバーチャルボタンＢ２等、周囲のバーチャルボタンは縮小される。

次に、指により強い圧力を加えた場合には、図６Ｃに示すように、指との接触面１１がさらに広がり、解釈された指の位置１２もさらに下に少し移動するが、選択されているバーチャルボタンＢ１も圧力に合わせて大きく拡張されるので、指との接触面１１及び解釈された指の位置１２が、いずれもバーチャルボタンＢ１の内部にある。

図６Ｂ及び図６Ｃに示したように、バーチャルボタンＢ１が拡張される際には、図４Ｂのボタン群２０の中央のボタンＢ１１の大きさを拡張するようにボタン２１の境界線Ｌ１１，Ｌ１２，Ｌ１３，Ｌ１４を移動させる処理を行う。この処理に連動して、入力装置１の操作面５の中央のバーチャルボタンＢ１も拡張される。このとき、圧力検出回路４２で検出した圧力の大きさと、予め設定されている、圧力に対するバーチャルボタンの大きさの変化のさせ方とに基づいて、処理が行われる。

圧力に対する、バーチャルボタンの大きさの変化のさせ方は、様々な態様が考えられる。
以下に、いくつかの態様を示す。

図７に示す態様では、圧力の大きさを３つの領域に分けて、それぞれの領域で、バーチャルボタンの大きさの変化を設定している。
圧力が第１の閾値Ｐｔ１までの領域では、バーチャルボタンの大きさが初期値のまま一定である。
圧力が第１の閾値Ｐｔ１から第２の閾値Ｐｔ２までの領域では、圧力の変化に対して、バーチャルボタンの大きさが直線的に変化している。
圧力が第２の閾値Ｐｔ２より大きい領域では、バーチャルボタンの大きさは最大値（ＭＡＸ）で一定である。
このようにバーチャルボタンの大きさの変化を設定していることにより、圧力が小さいうちはバーチャルボタンの大きさに変化がなく、圧力が第１の閾値Ｐｔ１以上に大きくなるとバーチャルボタンの大きさが変化するようになり、圧力が第２の閾値Ｐｔ２以上に大きくなるとバーチャルボタンの大きさは最大値で一定となる。なお、バーチャルボタンの大きさの最大値（ＭＡＸ）は、操作面５全体又はそれ以下にする。

図８に示す態様では、圧力に比例してバーチャルボタンの大きさが変化するように設定している。
図８に示すように、バーチャルボタンの大きさが、初期値から圧力の大きさに伴い直線的に変化する。圧力が最大値（ＭＡＸ）のときに、バーチャルボタンの大きさも最大値（ＭＡＸ）となる。

なお、図８に示した態様のように直線的に変化させる代わりに、圧力の変化に対して、段階的に、即ち階段状に、バーチャルボタンの大きさを変化させることも可能である。

図９Ａ及び図９Ｂに示す各態様では、圧力に対して、バーチャルボタンの大きさが、曲線的に徐々に変化するように設定している。
図９Ａに示す態様では、下に凸な曲線に設定している。この場合、圧力が小さいうちはバーチャルボタンの大きさの変化が小さく、徐々にバーチャルボタンの大きさの変化率が上がっていく。
図９Ｂに示す態様では、上に凸な曲線に設定している。この場合、圧力が小さいうちはバーチャルボタンの大きさの変化が大きいが、徐々にバーチャルボタンの大きさの変化率が小さくなり、バーチャルボタンの大きさが飽和・収束していく。
図９Ａ及び図９Ｂに示す各態様においても、圧力が最大値（ＭＡＸ）のときに、バーチャルボタンの大きさも最大値（ＭＡＸ）となる。

図示した以外にも、様々なバーチャルボタンの大きさの変化のさせ方の態様が可能である。
なお、どの態様が最も良いかは、接触センサや圧力センサの感度、操作面の構成（押しやすさや表面状態）等、入力装置１の構成に依存する。入力装置１の構成に対応して、適切な態様を選定すればよい。

図１０は、圧力に応じてバーチャルボタンの大きさを変化させるための処理を説明するためのフローチャートである。
この図１０に示すフローチャートは、図７に示したバーチャルボタンの大きさの変化の態様に対応したフローチャートである。

まず、最初のステップＳ１１にて、入力装置１の操作面（接触センサ部２の表面）５に指が接触しているか否かを判別する。
指が接触しているときには、ステップＳ１２に進み、指の位置に応じて、現在選択されているバーチャルボタンを決定する。指の位置は、図１の制御部４の接触検出処理回路４１における検出処理によって求められる。
一方、指が接触していないときには、ステップＳ１１の前に戻る。即ち、指の接触があるまで、接触の有無の検知を行いながら待機することになる。

次に、ステップＳ１２からステップＳ１３に進み、圧力センサ部３で検出された圧力が第１の閾値Ｐｔ１より大きいか否かを判別する。
検出された圧力が第１の閾値Ｐｔ１より大きいときには、ステップＳ１４に進み、加えられている圧力に関連して、バーチャルボタンの大きさが補正される。この補正の処理は、図１の圧力検出回路４２の検出に基づいて、第２の処理機能部５２で実行される。このとき、切換選択回路４３は端子ａ側になる。
一方、検出された圧力が第１の閾値Ｐｔ１より小さいときには、ステップＳ１１の前に戻る。即ち、バーチャルボタンの大きさは初期値のままで、接触の有無の検知を行いながら待機することになる。

次に、ステップＳ１４からステップＳ１５に進み、圧力センサ部３で検出された圧力が第２の閾値Ｐｔ２より大きいか否かを判別する。
検出された圧力が第２の閾値Ｐｔ２より大きいときには、ステップＳ１６に進み、図１の第３の処理機能部５３において、現在選択されているバーチャルボタンに関する機能を実行する。このとき、切換選択回路４３は端子ｂ側になる。
ステップＳ１６の処理後は、処理過程を終了する。
一方、検出された圧力が第２の閾値Ｐｔ２より小さいときには、ステップＳ１１の前に戻る。即ち、ボタンを選択した状態で、圧力の検出を行いながら待機することになる。

なお、図１０のフローチャートのステップＳ１３の代わりに、圧力センサ部３に圧力が加えられているか否かを判別するようにしてもよい。
図８や図９に示したバーチャルボタンの大きさの変化の態様のように、小さい押圧力でも初期値からバーチャルボタンを拡張させる場合には、このように圧力が加えられているか否かを判別するとよい。このような場合、圧力検出回路４２の検出限界の最小値の圧力以上の圧力が加わると、圧力検出回路４２で圧力が検出されることになる。

また、図１０のフローチャートのステップＳ１５において、第２の閾値Ｐｔ２の代わりに、検出を行う圧力の最大値（ＭＡＸ）を用いることも可能である。図８や図９に示したバーチャルボタンの大きさの変化の態様のように、検出を行う圧力の最大値までバーチャルボタンの大きさを変化させる場合には、このようなステップとする。
即ち、第２の閾値Ｐｔ２や検出を行う圧力の最大値ＭＡＸなど、ある圧力以上の圧力が検出されたときに、バーチャルボタンの大きさを操作面５の大きさと等しくなるよう拡張して、現在選択されているバーチャルボタンに関する機能を実行するステップに進めばよい。なおここで、バーチャルボタンの大きさを操作面５の大きさと等しくなるように拡張する代わりに、バーチャルボタンの大きさの拡張を停止してもよい。

次に、上述したような入力装置１を用いた、情報処理装置１００の一形態のブロック図を、図１１に示す。
この図１１において、ＣＰＵ１０１に接続されたバス１１０には、プログラムやデータが記憶されたＲＯＭ１０２、処理中のデータ等が記憶されるＲＡＭ１０３が接続されており、このバス１１０に、入力装置１が接続されている。ＣＰＵ１０１は、ＲＯＭ１０２に記憶されているプログラム、あるいはＲＡＭ１０３にロードされたプログラムに従って、各種の処理を実行する。ＲＡＭ１０３にはまた、ＣＰＵ１０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

入力装置１は、図１と共に説明したように、圧力センサ部３で検出された圧力値を解釈した信号を出力するものである。ここで、図１の制御部４は、入力装置１内あるいはバス１１０との間のインタフェース回路として設けるようにすればよいが、必要に応じて、制御部４の一部あるいは全部を、ＣＰＵ１０１（もしくはＲＯＭ１０２、ＲＡＭ１０３等）によりソフトウエア的に実現するようにしてもよい。

また、図１に示した、第１の処理機能部５１、第２の処理機能部５２、第３の処理機能部５３のそれぞれは、例えば、図示しない構成により、ハードウエア的に実現するようにしてもよく、例えば、図１１の情報処理装置１００のＣＰＵ１０１により、ソフトウエア的に実現するようにしてもよい。

図１１のバス１１０には、必要に応じて、ハードディスク装置（ＨＤＤ）１０４、表示部１０５、光ディスクやメモリカード等の記録媒体に対する再生及び／又は記録を行う記録媒体操作部１０７等が接続される。
この他、必要に応じて通信回路、チューナ回路等を付加したり、不要な回路を省いたりすることが可能である。そして、この情報処理装置１００を、パーソナルコンピュータ、ハードディスクレコーダ、テレビジョン受像機、その他の電子機器として構成することも可能である。

上述の本実施の形態によれば、入力装置１の圧力検出回路４２により検出された圧力が第１の閾値Ｐｔ１以上のとき、検出された圧力の大きさに対応して、選択されているバーチャルボタンＢ１の大きさを拡張するように、バーチャルボタンのレイアウトを補正する処理を行って、補正されたレイアウトで操作面５にバーチャルボタンを再設定している。
これにより、指の押圧を強くして指との接触面１１が広がったり、接触面１１の位置がずれたりしても、圧力に対応して選択されているバーチャルボタンＢ１の大きさが拡張されてレイアウトが再設定され、指との接触面１１が依然として選択されているバーチャルボタンＢ１内にある。このため、隣のバーチャルボタンＢ２が選択されてユーザが意図しない機能が実行されることを、防ぐことができる。

なお、図４Ｂに示したようなボタン群２０を仮想して演算を行う代わりに、入力装置の操作面のバーチャルボタンのレイアウト（大きさ、境界線）を直接変更するように、制御を行っても構わない。そして、演算や制御の方法に対応して、入力装置や表示装置等のハードウエア、制御プログラム等を構成すればよい。

図６では、選択されたバーチャルボタンＢ１の４本の境界線Ｌ１，Ｌ２，Ｌ３，Ｌ４を全て拡張していたが、一部の境界線だけを拡張しても構わない。

また、例えば、指が接触していて圧力を加える前の段階で、バーチャルボタンの中心から指の位置のずれの方向を検知して、主としてそのずれの方向にボタンを拡張させる構成とすることも可能である。
この場合を、図１２及び図１３を参照して説明する。
図１２Ａに示すように、指の接触位置がバーチャルボタンの中心から下にあるときには、圧力に対応して、図１２Ｂに示すように、選択されているバーチャルボタンＢ１の下側の境界線Ｌ４を下に拡張する。他の境界線Ｌ１，Ｌ２，Ｌ３は元の位置のままである。
図１３Ａに示すように、指の接触位置がバーチャルボタンの中心から右下にあるときは、圧力に対応して、図１３Ｂに示すように、選択されているバーチャルボタンＢ１の右側の境界線Ｌ２を右に拡張すると共に、ボタンＢ１の下側の境界線Ｌ４を下に拡張する。他の境界線Ｌ１，Ｌ３は元の位置のままである。
図１２Ｂと図１３Ｂのいずれでも、選択されているバーチャルボタンＢ１の大きさの拡張により、接触面１１が選択されているバーチャルボタンＢ１の内部にある。
このような構成とすると、図６に示した場合と比較して、処理がやや複雑になるが、図１のブロック図に示した構成において、処理の具体的な演算等を変更するだけで実行可能である。

なお、本発明に係る操作面を有する操作入力部の構成、即ち本発明において使用する入力装置の構成は、上述の実施の形態の構成に限定されるものではない。
例えば、板状の接触センサ部の四隅等をスペーサなどで支持し、接触センサ部の裏面に歪ゲージ（ストレインゲージ）等を貼り付けて圧力センサ部とし、手指等で接触センサ部を押圧するときの板状の接触センサ部の変形歪を歪ゲージ等で検出することにより、圧力を検出するように入力装置を構成してもよい。
また例えば、接触センサ部の裏面に圧力センサ部が設けられ、接触センサ部への圧力が圧力センサに印加されるように、入力装置を構成してもよい。

なお、上述の実施の形態の入力装置１においては、接触センサ部２を、操作面５への指の接触を検出する構成としていたが、本発明に係る検出部は、少なくとも操作面への指の接触又は接近を検出する機能を有していればよい。指の接近を検出する検出部としては、例えば、前記特許文献３に開示されている、送信電極と受信電極とを用いた近接センサを用いることができる。

上述の実施の形態では、入力装置１と表示装置（表示部１０５）とが別々である構成を説明したが、例えばタッチパネルのように、入力装置を兼ねる表示装置を構成してもよく、このような表示装置においても本発明を適用することが可能である。
タッチパネルでは、例えば、表示画面の表面に、透明板状体あるいは透明フィルムを操作面として配置して、手指等による接触を検出する。
この場合、例えば、図１に示した接触センサ部２に、透明なものを用いて表示面上に配置するようにし、この透明な接触センサ部２に対する圧力を圧力センサ３で検出するように構成することが可能である。
また例えば、ＬＣＤパネルのような板状の表示部材の表面に、接触センサ部となるタッチパネルを貼り付け、板状の表示部材の裏面に圧力センサを配置して、タッチパネルから板状の表示部材を介して圧力センサ部に印加される押圧力を検出するように構成することも可能である。

なお、表示装置の画面のソフトボタンの大きさを、バーチャルボタンの拡張に合わせて、拡張して表示することも可能である。
同様に、タッチパネル等のように、入力装置と表示装置とを兼用する場合において、バーチャルボタンの拡張に合わせて、指を接触させるソフトボタンの大きさを拡張させて表示することも可能である。
これらの構成とする場合には、指からの圧力に対応して、バーチャルボタンの大きさを拡張するだけでなく、表示部のボタンの大きさをも拡張するように、画面表示の信号処理を行えばよい。
ただし、表示部のソフトボタンの大きさも変化すると、ユーザが驚いたり戸惑ったりすることもある。また、周囲のソフトボタンを縮小又は消去する必要があるので、ソフトボタン上のアイコンや文字を小さくしたり消したりする等、画像処理が増えることになる。

本発明において、バーチャルボタンの形状は、上述の実施の形態で説明した格子状（四角形）に限定されるものではなく、円形や三角形等、他の形状としてもよい。
また、１つのバーチャルボタンによって実行する機能は、１つの機能に限定されるものではなく、例えば複数の機能を切り換えてもよい。

ところで、表示画面をソフトボタンの集合として、それぞれのソフトボタンによって実行する機能をアイコンや文字で表示する場合において、複数の表示画面を切り換えるように構成することが可能である。そして、それぞれの表示画面で、ソフトボタンの内容（実行する機能）や、ソフトボタンの大きさ・形状を変えても構わない。
このように複数の表示画面を切り換える構成を、次に示す。

図１４及び図１５に、複数の表示画面を切り換える構成の１つの形態における、各表示画面とバーチャルボタンとをそれぞれ示す。各図Ａが表示画面を示し、各図Ｂがバーチャルボタンを示している。
表示部８０において、図１４Ａに示す第１の表示画面８１と、図１５Ａに示す第２の表示画面８２とを切り換えて表示する。

図１４Ａに示す第１の表示画面８１では、略正方形のソフトボタン９１を縦５個×横３個の合計１５個配置している。略正方形のソフトボタン９１には、図示しないが、文字、アイコン、シンボル等の機能を表す表示がなされる。
この第１の表示画面８１のソフトボタン９１に対応して、図１４Ｂに示すように、入力装置１の操作面５にソフトボタン９１と相似形（略正方形）のバーチャルボタンが設定されている。

図１５Ａに示す第２の表示画面８２では、横に細長い長方形のソフトボタン９２を８個、その下に中央に境界線を有する、横がやや長い長方形のソフトボタン９３を２個配置している。細長い長方形９２のソフトボタンには、図示しないが、文字等で機能を表す表示がなされる。横がやや長い長方形のソフトボタン９３には、図示しないが、文字、アイコン、シンボル等の機能を表す表示がなされる。例えば、ソフトボタン９２に各種機能を割り当てて、下方のソフトボタン９３に画面表示の切り換え機能等を割り当てることが考えられる。
この第２の表示画面８２のソフトボタン９２，９３に対応して、図１５Ｂに示すように、入力装置１の操作面５にソフトボタン９２，９３と相似形（長方形）のバーチャルボタンが設定されている。

即ち、それぞれの表示画面８１及び８２のソフトボタン９１及び９２，９３に対応して、操作面５にバーチャルボタンが設定されている。
バーチャルボタンの形状の変更は、表示画面８１及び８２の切り換えに対応して、図１の制御部や図１１のＣＰＵ１０１内で処理を行って、バーチャルボタンの境界線の位置を変更することにより、容易に行うことができる。
このとき、図４Ｂに示したようなボタン群２０を仮想して演算を行ってもよいし、バーチャルボタンのレイアウト（大きさ、境界線）を直接変更するように制御を行ってもよい。そして、演算や制御の方法に対応するように、ハードウエアやソフトウエアを構成する。

そして、図１４Ｂ及び図１５Ｂに示すそれぞれのバーチャルボタンにおいて、図６・図１２・図１３で説明したと同様に、指が操作面５を押す圧力に対応して、選択されているバーチャルボタンの大きさや境界線の位置等を変化させる。
これにより、いずれの表示画面８１，８２に対しても、誤動作なく機能を実行することができる。

なお、この構成においても、指の操作面５への接触だけで圧力が弱い状態で、指を操作面５上で動かすことにより、各表示画面８１，８２において、選択されるソフトボタンを動かしたり、表示画面をスクロールさせたりすることが、可能である。

上述の実施の形態では、主としてハードウエアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵにコンピュータプログラムを実行させることによって実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。

本発明においては、バーチャルボタンの大きさを拡張するようにレイアウトを補正する、バーチャルボタン制御部を備えて情報処理装置を構成してもよく、ＣＰＵにコンピュータプログラムを実行させることによってソフトウエア的にバーチャルボタンの大きさを拡張するようにレイアウトを補正する手順を行うようにしてもよい。
即ち、本発明は、ハードウエア又はソフトウエアを用いて、バーチャルボタンの大きさを拡張するようにレイアウトを補正する工程（バーチャルボタン制御工程）を行うものである。

本発明における、バーチャルボタンの大きさの補正は、ＧＵＩ（Graphical User Interface）環境を反映していても、反映していなくても、どちらでも構わない。

本発明においては、バーチャルボタンの大きさを、バーチャルボタン制御部等で補正する処理を行うことから、例えば、前記特許文献３に記載した、物理的なボタンに圧力センサを設け、この物理的なボタンを縦横に並べた入力装置にも、同様に適用することが可能である。
このような入力装置に本発明を適用する場合には、バーチャルボタンを、物理的なボタンとは独立して大きさや位置を変化させることができるように構成する。
そして、このような入力装置でも、本発明を適用することにより、物理的なボタンに押圧力を加えていったときに、指の接触位置がずれていって、隣の物理的なボタンも一緒に押してしまったり、隣の物理的なボタンに指が移ってしまったりしても、バーチャルボタンの大きさを補正して個々の物理的なボタンの大きさよりも拡張することにより、元々接触していた物理的なボタンに関する機能を実行するように、制御することが可能になる。

本発明は、上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲でその他様々な構成が取り得る。

本発明の一実施の形態で使用する入力装置の模式的なブロック図である。 Ａ、Ｂ 図１の入力装置における入力操作について説明する図である。 図１の入力装置における入力操作について説明する図である。 Ａ〜Ｃ 図１の入力装置のバーチャルボタンと表示装置の表示画面上のソフトボタンとの関係を説明する図である。 図４Ａのバーチャルボタンの大きさの圧力に伴う変化を説明する図である。 Ａ〜Ｃ 図４Ａのバーチャルボタンの大きさの圧力に伴う変化を説明する図である。 圧力に対するバーチャルボタンの大きさの変化のさせ方の一つの態様を示す図である。 圧力に対するバーチャルボタンの大きさの変化のさせ方の他の態様を示す図である。 Ａ、Ｂ 圧力に対するバーチャルボタンの大きさの変化のさせ方のさらに他の態様を示す図である。 圧力に応じてバーチャルボタンの大きさを変化させるための処理を説明するためのフローチャートである。 図１の入力装置を用いた情報処理装置の一形態のブロック図である。 Ａ、Ｂ バーチャルボタンの中心から指の位置のずれの方向を検知して、その方向に拡張させる構成を説明する図である。 Ａ、Ｂ バーチャルボタンの中心から指の位置のずれの方向を検知して、その方向に拡張させる構成を説明する図である。 Ａ、Ｂ 複数の表示画面を切り換える構成を説明する図である。 Ａ、Ｂ 複数の表示画面を切り換える構成を説明する図である。 Ａ、Ｂ バーチャルボタンを用いた構成の入力装置において、指から押圧を加えたときに生じる問題を説明する図である。

符号の説明

１ 入力装置、２ 接触センサ部、３ 圧力センサ部、４ 制御部、５ 操作面、１１，Ｓ１，Ｓ２ （指との）接触面、１２ （解釈された）指の位置、３０ ソフトキーパッド、３１，９１，９２，９３ ソフトボタン、４１ 接触検出処理回路、４２ 圧力検出回路、４３ 切換選択回路、４４，４５，４６ 出力端子、５１ 第１の処理機能部、５２ 第２の処理機能部、５３ 第３の処理機能部、８０，１０５ 表示部、８１ 第１の表示画面、８２ 第２の表示画面、１００ 情報処理装置、１０１ ＣＰＵ、１０２ ＲＯＭ、１０３ ＲＡＭ、１０４ ハードディスク装置、１０７ 記録媒体操作部、１１０ バス、Ｌ１，Ｌ２，Ｌ３，Ｌ４ 境界線、Ｐｔ１ 第１の閾値、Ｐｔ２ 第２の閾値

Claims (10)

1. 操作面にバーチャルボタンが可変設定される操作入力部と、
   前記操作入力部に対する接触又は接近を検出すると共に、前記操作入力部に対する接触又は接近の位置を検出する位置検出部と、
   前記操作入力部に対する接触の圧力を検出する圧力検出部と、
   前記位置検出部が前記操作入力部に対する接触又は接近を検出したときに、検出した接触又は接近の位置に対応するバーチャルボタンを、選択されているバーチャルボタンとみなし、前記圧力検出部により検出された圧力が第１の閾値以上の圧力のとき、検出された圧力の大きさに応じて、前記選択されているバーチャルボタンの大きさを拡張するようにバーチャルボタンのレイアウトを補正するバーチャルボタン制御部とを備えた
   ことを特徴とする情報処理装置。
2. 前記第１の閾値の圧力は、前記圧力検出部の検出限界の最小値の圧力であることを特徴とする請求項１に記載の情報処理装置。
3. 前記バーチャルボタン制御部は、前記圧力検出部により検出された圧力が第２の閾値以上の圧力のとき、前記選択されているバーチャルボタンの大きさを前記操作面の大きさと等しくなるよう拡張するようにバーチャルボタンのレイアウトを補正すると共に、前記選択されているバーチャルボタンに対応する機能を実行することを特徴とする請求項１に記載の情報処理装置。
4. 前記操作面に割り当てられた１以上の機能に関する機能情報を表示する表示部を備え、前記表示部に前記バーチャルボタンに対応するソフトボタンが表示されることを特徴とする請求項１に記載の情報処理装置。
5. 操作面にバーチャルボタンを可変設定して、その可変設定されたバーチャルボタンの操作を行う情報処理方法であって、
   前記操作面に対する接触又は接近を検出すると共に、前記操作面に対する接触又は接近の位置を検出する位置検出工程と、
   前記操作面に対する接触の圧力を検出する圧力検出工程と、
   前記位置検出工程で接触又は接近を検出したときに、検出した接触又は接近の位置に対応するバーチャルボタンを、選択されているバーチャルボタンとみなし、前記圧力検出工程により検出された圧力が第１の閾値以上の圧力のとき、検出された圧力の大きさに応じて、前記選択されているバーチャルボタンの大きさを拡張するようにバーチャルボタンのレイアウトを補正するバーチャルボタン制御工程とを有する
   ことを特徴とする情報処理方法。
6. 前記第１の閾値の圧力を、前記圧力検出工程における検出限界の最小値の圧力とすることを特徴とする請求項５に記載の情報処理方法。
7. 検出された圧力が第２の閾値以上となった場合には、前記選択されているバーチャルボタンの大きさを前記操作面の大きさと等しくなるよう拡張するようにバーチャルボタンのレイアウトを補正すると共に、前記選択されているバーチャルボタンに対応する機能を実行することを特徴とする請求項５に記載の情報処理方法。
8. 表示装置の画面に、前記バーチャルボタンに対応するソフトボタンを表示することを特徴とする請求項５に記載の情報処理方法。
9. 前記表示装置において、各画面にそれぞれ前記ソフトボタンのレイアウトが設定された複数の画面を切換えて表示し、前記画面の切換によって前記ソフトボタンのレイアウトが変更される場合には、前記ソフトボタンのレイアウトに対応して前記バーチャルボタンのレイアウトを変更することを特徴とする請求項８に記載の情報処理方法。
10. 操作面に対する接触又は接近を検出すると共に、前記操作面に対する接触又は接近の位置を検出する位置検出部と、前記操作面に対する接触の圧力を検出する圧力検出部とを有する入力装置に対する処理をコンピュータに実装して実行させるプログラムであって、
    前記操作面に対して、バーチャルボタンを所定のレイアウトで設定する手順と、
    前記位置検出部で前記接触又は接近が検出された場合には、前記位置検出部で検出された接触又は接近の位置に対応するバーチャルボタンを、選択されているバーチャルボタンとみなす手順と、
    前記圧力検出部で圧力が検出され、検出された圧力が第１の閾値以上の圧力の場合には、検出された前記圧力の大きさに応じて、前記選択されているバーチャルボタンの大きさを拡張するようにバーチャルボタンのレイアウトを補正する処理を行う手順と、
    前記操作面に対して、補正したレイアウトでバーチャルボタンを設定する手順とを、コンピュータに実行させる
    ことを特徴とするプログラム。

Images