JP2011034502A - 表示装置、表示方法及びプログラム - Google Patents

Abstract

【課題】表示画面においてユーザが行う操作に対して画面への接触及び非接触の判別に加え、近接状態からの状態変化に応じて表示画面の表示を制御する表示装置、表示方法及びプログラムを提供する。
【解決手段】モバイル機器１０は、タッチパネルにより検出されたユーザの操作に基づき、ディスプレイへの接触状態、近接状態及び遠方状態のいずれの状態かを判別する状態判別部２０と、状態判別部２０により判別された状態に従い、ユーザが行う操作の状態変化を識別する状態変化識別部２４と、ユーザが行った操作に対してディスプレイの表示を制御するための操作コマンドを設定する際、状態変化識別部２４により識別された状態変化に応じて操作コマンドを設定する操作コマンド設定部２６を有する。
【選択図】図３

Description

本発明は、表示装置、表示方法及びプログラムに関する。より詳しくは、本発明は、表示画面においてユーザが行う操作をデバイスにより検出し、これに応じて表示画面の表示を制御する表示装置、表示方法及びプログラムに関する。

近年、透過型タッチパネルを搭載するモバイルデバイスが増加している。このようなデバイスの多くは、できる限り大きなディスプレイを搭載し、そのディスプレイに設けられたタッチパネルによる直観的な操作が可能なようにユーザインターフェースの技術も重要視されている。しかしながら、ディスプレイに表示されたボタンをユーザの指で操作する場合、操作ミスを減らすためにボタンを一定の大きさ以上に表する必要がある。このため、ディスプレイのサイズに自ずと限界があるモバイルデバイスでは、多くのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）ボタンを表示することは難しい。

これに対して、指の接触位置及び圧力を検出できるデバイスを用いることにより、ユーザが一つのボタンを押した場合であっても、その押下力に応じて異なる複数のコマンドを割り振る技術が提案されている（たとえば、特許文献１参照。）。この技術では、操作のバリエーションが拡がる可能性がある。

また、指の接近を感知すると、ユーザが操作対象としているボタンがハイライト表示される技術も提案されている（たとえば、特許文献２参照。）。この技術では、ユーザがどのボタンを押そうとしているのかを確認できるため、誤操作が軽減される可能性がある。

特開２００６−２５１９２７号公報 特開２００９−７５６５６号公報

しかし、特許文献１では、ユーザがボタンを押す際、自ら圧力を調節しなければならず、ユーザにとって操作負荷が高い。また、押下力を感知する必要があるためデバイスの構造が複雑になる。

また、特許文献２では、近接状態と接触状態とで異なるインタラクションを付加することにより異なる表示制御を可能することができるが、近接状態と接触状態とを明確に区別してユーザが画面操作をすることは難しく、操作ミスが増える可能性がある。また、この技術をモバイルデバイスに応用しようとすると、前述のようにモバイルデバイスではディスプレイのサイズに限りがあるため、これに応じてＧＵＩボタンのサイズ等も小さくしなければならない。これに加えてノイズも大きいため、近接状態の検知及び接触状態の検知を同一ボタンに対する異なるインタラクションのトリガとすることは難しい。

上記問題に鑑み、本発明は、表示画面においてユーザが行う操作に対して画面への接触及び非接触の判別に加え、ユーザが行う操作の状態変化に応じて表示画面の表示を変える表示装置、表示方法及びプログラムを提供する。

上記課題を解決するために、本発明のある態様によれば、表示画面と、前記表示画面においてユーザが行う操作を検出するデバイスと、前記デバイスにより検出されたユーザの操作に基づき前記表示画面への接触状態、近接状態及び遠方状態のいずれの状態かを判別する状態判別部と、前記状態判別部により判別された状態に従い、ユーザが行う操作の状態変化を識別する状態変化識別部と、ユーザが行った操作に対して前記表示画面の表示を制御するための操作コマンドを設定する際、前記状態変化識別部により識別された状態変化に応じて操作コマンドを設定する操作コマンド設定部と、を有する表示装置が提供される。

これによれば、ユーザが行った操作に対して表示画面の表示を制御するための操作コマンドを設定する際、前記状態変化識別部により識別された状態変化に応じて操作コマンドが設定される。これにより、画面操作のバリエーションを増やしたり、操作性を向上させたりすることができる。

前記操作コマンド設定部により設定された操作コマンドに従い前記表示画面の表示を変える画面制御部を更に有していてもよい。

前記状態変化識別部は、前記状態判別部の判別結果に基づき、前記表示画面においてユーザにより行われた操作が接触状態、近接状態及び遠方状態のいずれからいずれへ状態変化したかを識別し、前記操作コマンド設定部は、前記状態変化識別部により識別された状態変化に応じて異なる操作コマンドを設定してもよい。

前記状態判別部による前回の判別結果を記憶する記憶部を更に有し、前記状態変化識別部は、前記記憶部に記憶された前回の判別結果と前記状態判別部による今回の判別結果とに基づき、前記表示画面に対する接触状態から遠方状態への状態変化又は前記表示画面に対する接触状態から近接状態への状態変化を識別し、前記操作コマンド設定部は、前記状態変化識別部により識別された状態変化に応じて異なる操作コマンドを設定してもよい。

前記状態変化識別部により識別された状態変化が接触状態から遠方状態への状態変化である場合、前記操作コマンド設定部は、設定された操作コマンドの実行を前記画面制御部に促してもよい。

前記状態変化識別部により識別された状態変化が接触状態から近接状態への状態変化である場合、前記操作コマンド設定部は、設定された操作コマンドの実行を見合わせるように前記画面制御部に促してもよい。

上記課題を解決するために、本発明の他の態様によれば、示画面においてユーザが行う操作をデバイスに検出させるステップと、前記デバイスにより検出されたユーザの操作に基づき前記表示画面への接触状態、近接状態及び遠方状態のいずれの状態かを判別するステップと、前記判別された状態に従い、ユーザが行う操作の状態変化を識別するステップと、ユーザが行った操作に対して前記表示画面の表示を制御するための操作コマンドを設定する際、前記識別された状態変化に応じて操作コマンドを設定するステップと、を含む表示方法が提供される。

上記課題を解決するために、本発明の他の態様によれば、表示画面においてユーザが行う操作をデバイスに検出させる処理と、前記デバイスにより検出されたユーザの操作に基づき前記表示画面への接触状態、近接状態及び遠方状態のいずれの状態かを判別する処理と、前記判別された状態に従い、ユーザが行う操作の状態変化を識別する処理と、ユーザが行った操作に対して前記表示画面の表示を制御するための操作コマンドを設定する際、前記識別された状態変化に応じて操作コマンドを設定する処理と、をコンピュータに実行させるプログラムが提供される。

以上説明したように本発明によれば、表示画面においてユーザが行う操作に対して画面への接触及び非接触の判別に加え、ユーザが行う操作の状態変化に応じて表示画面の表示を変えることができる。

本発明の第１及び第２実施形態に係るモバイル機器を示した図である。 第１及び第２実施形態に係るモバイル機器による指の状態検出を説明するための図である。 第１及び第２実施形態に係るモバイル機器の機能構成図である。 第１実施形態に係るモバイル機器にて実行される操作コマンド判定処理（メインルーチン）を示したフローチャートである。 第１実施形態に係るモバイル機器にて実行される状態識別処理（サブルーチン）を示したフローチャートである。 図４の操作コマンド判定処理にて判定されたシングルタップと指の状態変化との関係を説明するための図である。 図４の操作コマンド判定処理にて判定されたダブルタップと指の状態変化との関係を説明するための図である。 第１実施形態に係るモバイル機器にて割り当てられる他の操作コマンドを説明するための図である。 第２実施形態に係るモバイル機器にて実行される操作コマンド判定処理（メインルーチン）を示したフローチャートである。 図９の操作コマンド判定処理にて判定されたドラッグ・アンド・ドロップと指の状態変化との関係を説明するための図である。 変形例に係るモバイル機器の一例を示した図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、以下で説明する本発明の各実施形態に係る表示装置が適用されるモバイル機器は、主に携帯電話、携帯音楽プレーヤ、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の携帯型端末であることが好ましい。ただし、本発明に係る表示装置は、ノート型ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）や据え置き型のＰＣ等の情報処理装置に用いることもできる。

以下では次の順序で説明する。
＜第１実施形態＞
［１−１．モバイル機器のハードウエア構成］
［１−２．モバイル機器の機能構成］
［１−３．モバイル機器の動作：操作コマンド判定処理］
（シングルタップ又はダブルタップの割り当て）
（タップ又はウィークタップの割り当て）
＜第２実施形態＞
［２−１．モバイル機器の機能構成］
［２−２．モバイル機器の動作：操作コマンド判定処理］
（ドラッグ・アンド・ドロップの実行と実行見合わせ）
＜変形例＞

＜第１実施形態＞
［１−１．モバイル機器のハードウエア構成］
まず、第１実施形態に係るモバイル機器のハードウエア構成について、図１を参照しながら説明する。本実施形態に係るモバイル機器１０は、ディスプレイ１２上にユーザの指の位置を検出できるセンサを搭載した透過型のタッチパネルを有するデバイスである。モバイル機器１０は、図示しないネットワークを介して様々なコンテンツを受信し、ディスプレイ１２に表示することができる。

ディスプレイ１２としては、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機エレクトロルミネッセンスディスプレイ（有機ＥＬ、ＯＥＬＤ：Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等を用いることができる。

ディスプレイ１２にはタッチパネル１４が設けられている。タッチパネル１４は、ディスプレイ１２上に表示された各種のＧＵＩボタン１６に対してユーザが行った画面操作を検出する。タッチパネル１４は、ディスプレイ１２に対してｘ方向及びｙ方向の指の位置を検出するとともに、Ｚ方向の指の状態を検出する。図２に示したように、タッチパネル１４は、ディスプレイ１２上の指の接触状態及び近接状態を透過型で計測できるようになっている。

たとえば、指からディスプレイ１２の表面までの距離Ｔが予め定められた閾値Ｔｈより大きい場合、タッチパネル１４は何も検知しない。このとき、指はディスプレイ１２に対して遠方状態にあると判別される。

また、指からディスプレイ１２の表面までの距離Ｔが予め定められた閾値Ｔｈより小さく、距離Ｔが０でない場合、タッチパネル１４は指が近接領域に存在すると検出する。このとき、指はディスプレイ１２に対して近接状態にあると判別される。

また、指からディスプレイ１２の表面までの距離Ｔが０である場合、タッチパネル１４は指がディスプレイ１２に接触していると検出する。このとき、指はディスプレイ１２に対して接触状態にあると判別される。

なお、本実施形態で搭載されるタッチパネル１４及び次に説明する第２実施形態や変形例で搭載されるタッチパネルは、透過型であれば、静電式であってもよく光学式であってもよい。また、タッチパネル１４は、ディスプレイ１２に設けられ、ディスプレイ１２においてユーザが行った画面操作を検出するデバイスに相当する。

モバイル機器１０には、図１に示したＣＰＵ３２、ＲＡＭ３４、不揮発性メモリ３６を有するマイクロプロセッサ３０が埋め込まれている。各種メモリには、タッチパネル１４により検出された画面操作に関する情報が一時的に記憶される。ＣＰＵ３２は、後述する操作コマンド判定処理を制御する。なお、以下のハードウエア構成は、モバイル機器に搭載された表示装置のハードウエア構成ということもできる。

［１−２．モバイル機器の機能構成］
第１実施形態に係るモバイル機器１０は、図３に示した機能ブロックにより示される機能構成を有している。すなわち、本実施形態に係るモバイル機器１０は、状態判別部２０、記憶部２２、状態変化識別部２４、操作コマンド設定部２６及び画面制御部２８を有している。

状態判別部２０は、タッチパネル１４により検出されたユーザの操作に基づき、指の操作状態がディスプレイ１２への接触状態、近接状態及び遠方状態のいずれの状態かを判別する。

記憶部２２は、状態判別部２０による判別結果を記憶する。具体的には、記憶部２２は、毎回の判別結果が接触状態、近接状態及び遠方状態のいずれの状態であるかを記憶する。以下の説明では、前回のユーザの操作状態をＰ（ｔ−１）で示し、今回のユーザの操作状態をＰ（ｔ）で示す。

状態変化識別部２４は、状態判別部２０により判別された状態に従い、ユーザが行う操作の状態変化を識別する。具体的には、状態変化識別部２４は、状態判別部２０の判別結果に基づき、ディスプレイ１２においてユーザにより行われた操作が接触状態、近接状態及び遠方状態のいずれからいずれへ状態変化したかを識別する。状態変化識別部２４は、記憶部２２に記憶された前回の判別結果と状態判別部２０による今回の判別結果とに基づき、ディスプレイ１２に対する接触状態から遠方状態への状態変化又はディスプレイ１２に対する接触状態から近接状態への状態変化を識別する。

操作コマンド設定部２６は、ユーザが行った操作に対してディスプレイ１２の表示を制御するための操作コマンドを設定する。その際、操作コマンド設定部２６は、状態変化識別部２４により識別された状態変化に応じて操作コマンドを設定する。

画面制御部２８は、操作コマンド設定部２６により設定された操作コマンドに従い、状態変化識別部２４により識別された状態変化に応じてディスプレイ１２の表示を変える。

以上に説明した、モバイル機器１０の各機能構成部への指令は、専用の制御デバイスあるいはプログラムを実行するＣＰＵ３２により実行される。次に説明する操作コマンド判定処理を実行するためのプログラムは、ＲＡＭ３４や不揮発性メモリ３６に予め記憶されている。ＣＰＵ３２は、これらのメモリから各プログラムを読み出し実行することにより、状態判別部２０、記憶部２２、状態変化識別部２４、操作コマンド設定部２６及び画面制御部２８の各機能を実行する。

［１−３．モバイル機器の動作］
次に、本実施形態に係るモバイル機器１０の操作コマンド判定処理について図４を参照しながら説明する。図４は、本実施形態に係るモバイル機器１０により実行される操作コマンド判定処理を示したフローチャートである。以下の動作は、本実施形態に係るモバイル機器１０に搭載された表示装置の動作ということもできる。

ステップＳ４００より、操作コマンド判定処理が開始されると、ステップＳ４０５にて状態判別部２０は、状態判別処理のルーチン（図５）を実行する。状態判別処理は、図５のステップＳ５００から処理が開始される。状態判別部２０は、ステップＳ５０５にてタッチパネル１４により検出されたユーザの操作に基づき、ディスプレイ１２に対してユーザの指が非接触状態であって近接状態にあるかを判別する。前述したように、ディスプレイ１２から指までの距離Ｐが所与の閾値Ｔｈより大きい場合、指は図２の遠方状態であると判別される。この場合、ステップＳ５１０に進んで、状態判別部２０は、今回の操作状態Ｐ（ｔ）を遠方状態と判別し、ステップＳ５９５から図４のステップＳ４１０に戻る。

一方、ステップＳ５０５でＹＥＳと判定されると、ステップＳ５１５に進み、状態判別部２０は、指がディスプレイ１２に接触した状態かを判別する。前述したように、ディスプレイ１２から指までの距離Ｐが０に等しければ指の位置は図２の接触状態と判別される。この場合、ステップＳ５２０に進んで、状態判別部２０は、今回の操作状態Ｐ（ｔ）を接触状態と判別し、ステップＳ５９５から図４のステップＳ４１０に戻る。

一方、ステップＳ５１５でＮＯと判定されると、ステップＳ５２５に進み、状態判別部２０は、今回の操作状態Ｐ（ｔ）を近接状態と判別し、ステップＳ５９５から図４のステップＳ４１０に戻る。

ステップＳ４１０では、記憶部２２が、今回判別された操作状態Ｐ（ｔ）を記憶する。次に、ステップＳ４１５に進んで、状態変化識別部２４は、指の状態が接触状態から近接状態に状態変化したかを識別する。具体的には、状態変化識別部２４は、記憶部２２に記憶されている前回判別された操作状態Ｐ（ｔ−１）が接触状態で、かつ今回判別された操作状態Ｐ（ｔ）が近接状態であるかを判断する。

状態変化が接触状態→近接状態である場合、ステップＳ４２０に進んで再度、図５の状態判別処理を実行し、ステップＳ４２５に進む。ステップＳ４２５にて、状態変化識別部２４は、指の状態が近接状態から遠方状態に状態変化したかを識別する。具体的には、状態変化識別部２４は、記憶部２２に記憶されている前回判別された操作状態Ｐ（ｔ−１）が近接状態で、かつ今回判別された操作状態Ｐ（ｔ）が遠方状態であるかを判断する。

識別の結果、接触状態→近接状態（Ｓ４１５）に状態変化した後、更に近接状態→遠方状態（Ｓ４２５）に状態変化した場合、ステップＳ４３０に進む。操作コマンド設定部２６は、ステップＳ４３０にてシングルタップと判定し、シングルタップに予め割り当てられている画面操作の操作コマンドを設定する。

識別の結果、接触状態→近接状態（Ｓ４１５）に状態変化した後、近接状態→遠方状態（Ｓ４２５）には状態変化しない場合、ステップＳ４３５に進む。操作コマンド設定部２６は、ステップＳ４３５にてダブルタップと判定し、ダブルタップに予め割り当てられている画面操作の操作コマンドを設定する。

なお、ステップＳ４１５にて、状態変化識別部２４が接触状態から近接状態に状態変化していないと識別した場合、ステップＳ４４０に進んで、操作コマンド設定部２６は、ディスプレイ１２の表示を変える操作コマンドを設定せず現状の状態を維持する。

（シングルタップ又はダブルタップの割り当て）
以上に説明した操作コマンド判定処理の具体例として、図６及び図７を参照しながら状態変化の相違により操作コマンドとしてシングルタップ又はダブルタップを割り当てる例を説明する。

（シングルタップ）
図６に示したように、ディスプレイ１２に対する指の操作が遠方状態→近接状態→接触状態→近接状態→遠方状態・・・を複数回繰り返す場合、最初の状態変化（遠方状態→近接状態）では、状態変化識別部２４は、ステップＳ４１５にてＮＯと判定しステップＳ４４０に進む。操作コマンド設定部２６は、ステップＳ４４０にてディスプレイ１２の表示を変える操作コマンドを設定せず現状の状態を維持する。

図６に示した次の状態変化（近接状態→接触状態）でも、状態変化識別部２４は、ステップＳ４１５にてＮＯと判定しステップＳ４４０に進む。操作コマンド設定部２６は、ステップＳ４４０にてディスプレイ１２の表示を変える操作コマンドを設定せず現状の状態を維持する。

図６に示した次の状態変化（接触状態→近接状態）では、状態変化識別部２４は、ステップＳ４１５にてＹＥＳと判定し、ステップＳ４２０にて再度、図５の状態判別処理を実行する。図６に示した次の状態は遠方状態である。そこで、ステップＳ４２５にて、状態変化識別部２４は、状態変化が近接状態→遠方状態であると識別し、ステップＳ４３０に進む。操作コマンド設定部２６は、シングルタップと判定し、シングルタップに予め割り当てられている画面操作の操作コマンドを設定する。複数回のシングルタップに対しては、以上の動作を繰り返すことにより、シングルタップに予め割り当てられている画面操作の操作コマンドを繰り返し設定する。

たとえば、図６のＧＵＩボタン１６に対してシングルタップに予め割り当てられた画面操作が次の楽曲選定である場合、操作コマンド設定部２６は、次の楽曲を選定する操作コマンドを設定する。画面制御部２８は、操作コマンド設定部２６により設定された操作コマンドに従い、ディスプレイ１２上に選定された次の楽曲名を表示する。複数回のシングルタップに対しては、以上の動作を繰り返すことにより、楽曲名が楽曲順に次々とディスプレイ１２上に表示される。

（ダブルタップ）
図７に示したように、ディスプレイ１２に対する指の操作が遠方状態→近接状態→接触状態→近接状態→接触状態→近接状態→遠方状態・・・の場合、最初の状態変化（遠方状態→近接状態）では、状態変化識別部２４は、ステップＳ４１５にてＮＯと判定しステップＳ４４０に進む。操作コマンド設定部２６は、ステップＳ４４０にてディスプレイ１２の表示を変える操作コマンドを設定せず現状の状態を維持する。

図７に示した次の状態変化（近接状態→接触状態）でも、状態変化識別部２４は、ステップＳ４１５にてＮＯと判定しステップＳ４４０に進む。操作コマンド設定部２６は、ステップＳ４４０にてディスプレイ１２の表示を変える操作コマンドを設定せず現状の状態を維持する。

図７に示した次の状態変化（接触状態→近接状態）では、状態変化識別部２４は、ステップＳ４１５にてＹＥＳと判定し、再度、図５の状態判別処理を実行する。図７に示した次の状態は接触状態である。そこで、ステップＳ４２５にて、状態変化識別部２４は、状態変化が近接状態→接触状態であると識別し、ステップＳ４３５に進む。操作コマンド設定部２６は、ダブルタップと判定し、ダブルタップに予め割り当てられている画面操作の操作コマンドを設定する。

たとえば、図７のＧＵＩボタン１６に対してダブルタップに予め割り当てられた画面操作が次のアルバム選定である場合、操作コマンド設定部２６は、次のアルバムを選定する操作コマンドを設定する。画面制御部２８は、操作コマンド設定部２６により設定された操作コマンドに従い、ディスプレイ１２上に選定された次のアルバム名を表示する。

なお、画面制御部２８は、ＧＵＩボタン１６を一度押すと、図７に示したように、指が近接領域を出るまでＧＵＩボタン１６の表情が変わるように画面を制御してもよい。たとえば、画面制御部２８は、指がダブルタップの操作中、ＧＵＩボタン１６の色を赤等の目立つ色に変えてもよい。

以上に説明したように、本実施形態に係るモバイル機器１０によれば、タッチパネル１４により検出された接触状態に従い表示画面の表示を制御する際、近接状態から次に遷移する状態変化に応じて設定する操作コマンドを変えることができる。その結果、設定された操作コマンドに従い、状態変化に応じてディスプレイ１２上の表示を変えることができる。これにより、ユーザにとって負荷の高い操作を減らして操作性を向上させながら、たとえば一つのＧＵＩボタンに複数の操作コマンドを与える等、画面操作のバリエーションを増やすことができる。

また、本実施形態に係るモバイル機器１０によれば、高速操作が可能なユーザインターフェースを提供することができる。たとえば、従来のダブルタップは、時間方向の接触状態の変化を見ることで識別されていた。そのため、識別には一定の時間を要し、かつシングルタップを短い時間で複数回入力することはできなかった。しかしながら、本実施形態に係るモバイル機器１０によれば、状態変化だけでダブルタップを識別するため、ダブルタップの識別に時間のファクターを必要としない。これにより、本実施形態では、従来のように識別のために必ず一定の時間を要することはなく、ダブルタップ及びシングルタップを短い時間で高速入力することができる。

（タップ又はウィークタップの割り当て）
画面操作のバリエーションを増やす他の例として、図８を参照しながら状態変化の相違により操作コマンドとしてタップ又はウィークタップを割り当てる例を説明する。

（タップ）
この例では、図４の操作コマンド判定処理のステップＳ４０５〜ステップＳ４２５を実行してステップＳ４３０に進むと、操作コマンド設定部２６は、ユーザの画面操作を通常のタップと判定する。操作コマンド設定部２６は、タップに応じた操作コマンドとしてページ単位でのスクロールを設定する。画面制御部２８は、設定された操作コマンドに応じて図８の右下に示したように、指のタップ操作に対応した画面のページ単位でのスクロールを実行する。

（ウィークタップ）
一方、図４の操作コマンド判定処理のステップＳ４０５〜ステップＳ４２５を実行してステップＳ４３５に進むと、操作コマンド設定部２６は、ユーザの画面操作をウィークタップと判定する。操作コマンド設定部２６は、ウィークタップに応じた操作コマンドとして行単位でのスクロールを設定する。画面制御部２８は、設定された操作コマンドに応じて図８の左下に示したように、指のウィークタップ操作に対応した画面の行単位でのスクロールを実行する。これにより、ユーザは大まかな位置合わせをタップで行い、細かな調整をウィークタップで行うことができる。

なお、本実施形態では、タップした座標は接触状態でのみ定義されるため、近接状態での位置の誤差はここでは問題にならない。また、多段階で近接状態を計測できるデバイスでは、２種類より多くのタップを定義することも可能である。

以上のように、本実施形態に係るモバイル機器１０によれば、状態変化識別部２４は、ディスプレイ１２に対する接触状態から遠方状態への状態変化（接触状態から近接状態を経て遠方状態に遷移）又はディスプレイ１２に対する接触状態から近接状態への状態変化（接触状態から近接状態まで遷移し、近接状態から遠方状態へは遷移しない）を識別する。そして、操作コマンド設定部２６は、状態変化識別部２４により識別された状態変化に応じて異なる操作コマンドを設定する。このように、本実施形態では、接触状態及び近接状態に別々に操作コマンドを割り当てるのではなく、接触状態後の状態変化に応じて別々に操作コマンドを割り当てる。よって、接触状態及び近接状態を区別してユーザが画面操作をする際の操作の難しさと操作ミスの発生を回避して、ユーザの操作性を向上させながら、画面操作のバリエーションを増やすことができる。

＜第２実施形態＞
次に、第２実施形態に係るモバイル機器１０について説明する。本実施形態に係るモバイル機器１０のハードウエア構成は第１実施形態に係るモバイル機器１０と同様であるためここでは説明を省略する。

［２−１．モバイル機器の機能構成］
第２実施形態に係るモバイル機器１０は、図３に示した機能ブロックにより示される機能構成を有している。すなわち、本実施形態に係るモバイル機器１０は、第１実施形態と同様に状態判別部２０、記憶部２２、状態変化識別部２４、操作コマンド設定部２６及び画面制御部２８を有している。状態判別部２０、記憶部２２及び状態変化識別部２４の機能は第１実施形態の場合と同様であるためここでは説明を省略する。また、本実施形態においても、モバイル機器１０の各機能は、ＣＰＵ３２が、ＲＡＭ３４や不揮発メモリ３６から各プログラムを読み出して実行することにより実現される。

操作コマンド設定部２６は、状態変化識別部２４により識別された状態変化が接触状態から遠方状態への状態変化（接触状態から近接状態を経て遠方状態に遷移）である場合、設定された操作コマンドの実行を画面制御部２８に促す。画面制御部２８は、これに応じて、操作コマンドに従いディスプレイ１２の表示を制御する。

操作コマンド設定部２６は、状態変化識別部２４により識別された状態変化が接触状態から近接状態への状態変化（接触状態から近接状態まで遷移し、近接状態から遠方状態へは遷移しない）である場合、設定された操作コマンドの実行を見合わせるように画面制御部２８に促す。画面制御部２８は、これに応じて操作コマンドの実行を見合わせ、現在のディスプレイ１２の表示状態を維持する。

［２−２．モバイル機器の動作：操作コマンド判定処理］
次に、本実施形態に係るモバイル機器１０の操作コマンド判定処理について図９を参照しながら説明する。図９は、本実施形態に係るモバイル機器１０により実行される操作コマンド判定処理を示したフローチャートである。以下では、ドラッグ・アンド・ドロップの実行とその実行を見合わせを例に挙げて操作コマンド判定処理を説明する。なお、以下の動作は、本実施形態に係るモバイル機器１０に搭載された表示装置の動作ということもできる。

（ドラッグ・アンド・ドロップの実行と実行見合わせ）
ステップＳ９００より、操作コマンド判定処理が開始されると、ステップＳ４０５にて状態判別部２０は、状態判別処理のルーチン（図５）を実行する。状態判別処理は、第１実施形態にて説明したのでここでは省略する。ステップＳ４０５の状態判別処理において今回判別された操作状態Ｐ（ｔ）は、ステップＳ４１０にて記憶部２２に記憶される。

次に、ステップＳ４１５に進んで、状態変化識別部２４は、指の状態が接触状態から近接状態に状態変化したかを識別する。状態変化が接触状態→近接状態である場合、ステップＳ４２０に進んで再度、図５の状態判別処理を実行し、ステップＳ４２５に進む。ステップＳ４２５にて、状態変化識別部２４は、指の状態が近接状態から遠方状態に状態変化したかを識別する。識別の結果、接触状態→近接状態（Ｓ４１５）に状態変化した後、更に近接状態→遠方状態（Ｓ４２５）に状態変化した場合、ステップＳ９０５に進んで、操作コマンド設定部２６は、指が接触した画像をドラッグ・アンド・ドロップする操作コマンドを設定する。

一方、識別の結果、接触状態→近接状態（Ｓ４１５）に状態変化した後、近接状態→遠方状態（Ｓ４２５）には状態変化しない場合、ステップＳ９１０に進んで、操作コマンド設定部２６は、指が接触した画像のドラッグ・アンド・ドロップ操作の実行を見合わせる。つまり、指が接触した画像はドラッグ・アンド・ドロップされず、現状の状態が維持される。

なお、ステップＳ４１５にて、状態変化識別部２４が接触状態から近接状態に状態変化していないと識別した場合、ステップＳ４４０に進んで、操作コマンド設定部２６は、ディスプレイ１２の表示を変える操作コマンドを設定せず現状の状態を維持する。

本実施形態に係る操作コマンド判定処理によれば、図９の下段に示したように、接触状態→近接状態に状態変化した後、近接状態→遠方状態に状態変化しない場合、指が接触した画像をドラッグ・アンド・ドロップしない。このように、本実施形態に係る操作コマンド判定処理では、ユーザが誤って指をディスプレイ１２から離した場合、ドラッグしたデータのドロップ操作が実行されないようにする。

一方、本実施形態に係る操作コマンド判定処理によれば、接触状態→近接状態に状態変化した後、近接状態→遠方状態に状態変化した場合、指が接触した画像をドラッグ・アンド・ドロップする。このように、本実施形態に係る操作コマンド判定処理では、ユーザが近接領域以上指をディスプレイ１２から離した場合、指の動作が誤動作ではないと判断して、ドラッグ・アンド・ドロップ操作が実行される。

従来、図１０の上段に示したように、ユーザが意図しなくても操作中に指が少しでもディスプレイ１２から離れると、ドラッグ・アンド・ドロップ操作が実行され、操作ミスとなっていた。しかしながら、本実施形態では、図１０の下段に示したように、操作中に指が少しだけディスプレイ１２から離れた状態ではドロップさせず、近接状態から遠方状態への状態変化をドロップのタイミングとみなすことにより、従来起きていた操作ミスを補償し、ユーザの操作性を向上させることができる。

＜変形例＞
最後に、以上に説明した各実施形態の表示装置を搭載する携帯型機器の変形例として図１１のモバイル機器５０について簡単に説明する。モバイル機器５０は、上部ディスプレイ５２Ｕと下部ディスプレイ５２Ｄの２画面を有している。上部ディスプレイ５２Ｕ、下部ディスプレイ５２Ｄにはタッチパネル５８Ｕ、５８Ｄが搭載されている。モバイル機器５０は、中央のヒンジ機構５９により折り畳み可能であり、携帯に便利な構成となっている。

本変形例に係るモバイル機器５０に搭載された表示装置によっても、デバイスにより検出されたＧＵＩボタン１６に対する指の接触状態に従い表示画面の表示を制御する際、識別された状態変化に応じてディスプレイの表示を変えることができる。これにより、操作性を向上させながら、画面操作のバリエーションを増やすことができる。

以上に説明した各実施形態によれば、接触状態及び非接触状態の識別だけでなく、指の状態変化を識別することにより、ダブルタップと複数のシングルタップとを判別したり、２種類のタップを判別したり、ドラッグ・アンド・ドロップ操作の補助を行ったりすることができる。これにより、ユーザにとって負荷の高い操作を減らし、操作性の高いユーザインターフェースを提供することができる。

上記実施形態において、各部の動作は互いに関連しており、互いの関連を考慮しながら、一連の動作及び一連の処理として置き換えることができる。これにより、表示装置の実施形態を、表示方法の実施形態及び表示装置が有する機能をコンピュータに実現させるためのプログラムの実施形態とすることができる。

これにより、ディスプレイ１２においてユーザが行う操作をタッチパネル１４に検出させるステップと、タッチパネル１４により検出されたユーザの操作に基づきディスプレイ１２への接触状態、近接状態及び遠方状態のいずれの状態かを判別するステップと、前記判別された状態に従い、ユーザが行う操作の状態変化を識別するステップと、ユーザが行った操作に対してディスプレイ１２の表示を制御するための操作コマンドを設定する際、前記識別された状態変化に応じて操作コマンドを設定するステップと、を含む表示方法を提供することができる。

また、これにより、ディスプレイ１２においてユーザが行う操作をタッチパネル１４に検出させる処理と、タッチパネル１４により検出されたユーザの操作に基づきディスプレイ１２への接触状態、近接状態及び遠方状態のいずれの状態かを判別する処理と、前記判別された状態に従い、ユーザが行う操作の状態変化を識別する処理と、ユーザが行った操作に対してディスプレイ１２の表示を制御するための操作コマンドを設定する際、前記識別された状態変化に応じて操作コマンドを設定する処理と、をコンピュータに実行させるプログラムを提供することができる。

尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能である。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されないことは言うまでもない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても当然に本発明の技術的範囲に属するものと了解される。

たとえば、一つのＧＵＩボタンに複数の操作コマンドを与える例としては、上記各実施形態で説明した例に限られない。一つのＧＵＩボタンに複数の操作コマンドを与える他の例としては、一つのＧＵＩボタンにコンテンツの選択とインデックス送りの操作コマンドを設定する場合等が挙げられる。

また、状態変化を文字入力の操作コマンドに応用することもできる。たとえば、「Ｔｈａｎｋ ｙｏｕ」と文字入力する場合、ユーザは、「Ｔｈａｎｋ」と文字入力した後、指を近接状態から遠方状態に状態変化させる。近接状態から遠方状態への状態変化には、予めブランク入力が操作コマンドとして割り当てられている。これにより、「Ｔｈａｎｋ」と「ｙｏｕ」との間のブランクが入力される。これに続いて、ユーザは「ｙｏｕ」と文字入力する。このようにして、指の状態変化を文字入力に応用してもよい。

本発明に係るユーザの画面操作を検出するデバイスの接触センサとしては、例えばマトリクススイッチ・抵抗膜方式のスイッチ・表面弾性波方式のスイッチなどを有するタッチセンサ・タッチパネル・タッチスクリーン・タッチパッドなどが挙げられる。

本発明に係るモバイル機器に搭載されるタッチパネルは、ディスプレイ１２への押し込み（押下）を検出できる機能を有していればより好ましい。これにより、タッチパネル１４は遠方状態、近接状態、接触状態、押下状態の４つの状態変化を検出することができ、これらの状態変化を組み合わせることによってさらに操作のバリエーションを増やすことができる。

１０、５０ モバイル機器
１２ ディスプレイ
１４ タッチパネル
１６ ボタン
２０ 状態判別部
２２ 記憶部
２４ 状態変化識別部
２６ 操作コマンド設定部
２８ 画面制御部

Claims (8)

1. 表示画面と、
   前記表示画面においてユーザが行う操作を検出するデバイスと、
   前記デバイスにより検出されたユーザの操作に基づき前記表示画面への接触状態、近接状態及び遠方状態のいずれの状態かを判別する状態判別部と、
   前記状態判別部により判別された状態に従い、ユーザが行う操作の状態変化を識別する状態変化識別部と、
   ユーザが行った操作に対して前記表示画面の表示を制御するための操作コマンドを設定する際、前記状態変化識別部により識別された状態変化に応じて操作コマンドを設定する操作コマンド設定部と、を備える表示装置。
2. 前記操作コマンド設定部により設定された操作コマンドに従い前記表示画面の表示を変える画面制御部を更に備える請求項１に記載の表示装置。
3. 前記状態変化識別部は、前記状態判別部の判別結果に基づき、前記表示画面においてユーザにより行われた操作が接触状態、近接状態及び遠方状態のいずれからいずれへ状態変化したかを識別し、
   前記操作コマンド設定部は、前記状態変化識別部により識別された状態変化に応じて異なる操作コマンドを設定する請求項１に記載の表示装置。
4. 前記状態判別部による前回の判別結果を記憶する記憶部を更に備え、
   前記状態変化識別部は、前記記憶部に記憶された前回の判別結果と前記状態判別部による今回の判別結果とに基づき、前記表示画面に対する接触状態から遠方状態への状態変化又は前記表示画面に対する接触状態から近接状態への状態変化を識別し、
   前記操作コマンド設定部は、前記状態変化識別部により識別された状態変化に応じて異なる操作コマンドを設定する請求項３に記載の表示装置。
5. 前記状態変化識別部により識別された状態変化が接触状態から遠方状態への状態変化である場合、前記操作コマンド設定部は、設定された操作コマンドの実行を前記画面制御部に促す請求項２に記載の表示装置。
6. 前記状態変化識別部により識別された状態変化が接触状態から近接状態への状態変化である場合、前記操作コマンド設定部は、設定された操作コマンドの実行を見合わせるように前記画面制御部に促す請求項２に記載の表示装置。
   画面制御部
7. 表示画面においてユーザが行う操作をデバイスに検出させるステップと、
   前記デバイスにより検出されたユーザの操作に基づき前記表示画面への接触状態、近接状態及び遠方状態のいずれの状態かを判別するステップと、
   前記判別された状態に従い、ユーザが行う操作の状態変化を識別するステップと、
   ユーザが行った操作に対して前記表示画面の表示を制御するための操作コマンドを設定する際、前記識別された状態変化に応じて操作コマンドを設定するステップと、を含む表示方法。
8. 表示画面においてユーザが行う操作をデバイスに検出させる処理と、
   前記デバイスにより検出されたユーザの操作に基づき前記表示画面への接触状態、近接状態及び遠方状態のいずれの状態かを判別する処理と、
   前記判別された状態に従い、ユーザが行う操作の状態変化を識別する処理と、
   ユーザが行った操作に対して前記表示画面の表示を制御するための操作コマンドを設定する際、前記識別された状態変化に応じて操作コマンドを設定する処理と、をコンピュータに実行させるプログラム。

Images