JP2013200792A - 端末装置、および、制御方法 - Google Patents

Abstract

【課題】指と画面との距離に応じた操作画面を表示する場合と表示しない場合とを容易に切替えること。
【解決手段】端末装置により、検知部で検知された位置に基づき、画面と指との距離が特定され（Ｓ１０２，１１１，１２１）、検知部で検知された位置の変化に基づき、指が停滞しているかが判断され（Ｓ１０２〜１０４）、特定される距離が、複数の範囲のいずれかに含まれるかが判断され（Ｓ１１１，１２１）、特定される距離が、画面に接触している距離であるかが判断され、距離がいずれの範囲に含まれるときにも、指が停滞していると判断されずに、接触している距離であると判断されたことを条件に、画面への接触態様に応じた処理が行なわれ、指が停滞していると判断されたこと、かつ、距離がいずれかの範囲に含まれると判断されたことを条件に、距離が含まれる範囲に応じた操作画面が画面に表示される（Ｓ１０４，１１１，１１５，１２１，１２６，１２７）。
【選択図】図２

Description

この発明は、端末装置、および、制御方法に関し、特に、ディスプレイの画面に対する操作に適した端末装置、および、制御方法に関する。

従来、手指を画面に近付けるに従って、画面に表示されているソフトウェアキーボードを徐々に拡大表示させる電子機器があった（たとえば、特許文献１）。

また、画面の一定距離以下まで指を近付けると、指に一番近いアイコンを拡大表示したり、当該アイコンに割当てられている各文字のアイコンに分割表示したりする携帯端末装置があった（たとえば、特許文献２）。

さらに、操作体が表示部に近接または接触していることが検知されると、操作体が近接または接触している入力領域を拡大するとともに、相隣接する入力領域同士が重複しないように入力領域のうち少なくとも１つを移動させる情報処理装置があった（たとえば、特許文献３）。

特開２０１０−１２８６８５号公報 特開２００６−２３６１４３号公報 特開２０１０−６７１３５号公報

しかし、特許文献１から特許文献３までの技術では、操作画面を拡大等されたものに変更させることはできるが、素早く入力したい場合など、拡大等されたものに変更したくない場合は、拡大等する機能が動作しないように切替えることが可能なように構成される必要があった。しかし、特許文献１から特許文献３までの技術では、手指の指先またはスタイラスの先端などの検知対象部分とディスプレイとの距離に応じた操作画面を表示する場合と表示しない場合とを容易に切替えることはできないといった問題があった。

この発明は、上述の問題を解決するためになされたものであり、検知対象部分とディスプレイとの距離に応じた操作画面を表示する場合と表示しない場合とを容易に切替えることが可能な端末装置、および、制御方法を提供することである。

上述の目的を達成するために、この発明のある局面によれば、端末装置は、ディスプレイと、ディスプレイに対する検知対象部分の相対的な３次元の位置を検知する検知部と、制御部とを備える。制御部は、検知部によって検知された位置に基づいて、ディスプレイと検知対象部分との距離を特定する距離特定部と、検知部によって検知された位置の変化に基づいて、検知対象部分が停滞しているか否かを判断する停滞判断部と、距離特定部によって特定される距離が、予め定められた複数の範囲のいずれかの範囲に含まれるか否かを判断する距離判断部と、距離特定部によって特定される距離が、ディスプレイに接触している距離であるか否かを判断する接触判断部と、距離判断部によって距離がいずれの範囲に含まれるときにも、停滞判断部によって検知対象部分が停滞していると判断されずに、接触判断部によって接触している距離であると判断されたことを条件として、ディスプレイへの接触態様に応じた処理を行なう処理部と、停滞判断部によって検知対象部分が停滞していると判断されたこと、かつ、距離判断部によって距離がいずれかの範囲に含まれると判断されたことを条件として、距離が含まれる範囲に応じた操作画面をディスプレイに表示させる表示制御部とを含む。

この発明に従えば、端末装置によって、検知部によって検知された位置に基づいて、ディスプレイと検知対象部分との距離が特定され、検知部によって検知された位置の変化に基づいて、検知対象部分が停滞しているか否かが判断され、特定される距離が、予め定められた複数の範囲のいずれかの範囲に含まれるか否かが判断され、特定される距離が、ディスプレイに接触している距離であるか否かが判断され、距離がいずれの範囲に含まれるときにも、検知対象部分が停滞していると判断されずに、接触している距離であると判断されたことを条件として、ディスプレイへの接触態様に応じた処理が行なわれ、検知対象部分が停滞していると判断されたこと、かつ、距離がいずれかの範囲に含まれると判断されたことを条件として、距離が含まれる範囲に応じた操作画面がディスプレイに表示される。

このため、検知対象部分とディスプレイとの距離がいずれかの範囲に含まれるときに、検知対象部分が停滞している場合には、当該範囲に応じた操作画面がディスプレイに表示される。一方、いずれの範囲でも検知対象部分が停滞せず、検知対象部分がディスプレイに接触した場合は、いずれの範囲に応じた操作画面も表示されない。その結果、検知対象部分とディスプレイとの距離に応じた操作画面を表示する場合と表示しない場合とを容易に切替えることが可能な端末装置を提供することができる。

好ましくは、制御部は、さらに、検知部によって検知された位置に基づいて、検知対象部分から最短のディスプレイ上の座標を特定する位置特定部を含む。表示制御部は、停滞判断部によって検知対象部分が停滞していると判断されたときに位置特定部によって特定された座標に応じた操作画面を表示させる。

この発明に従えば、端末装置によって、検知部によって検知された位置に基づいて、検知対象部分から最短のディスプレイ上の座標が特定され、検知対象部分が停滞していると判断されたときに特定された座標に応じた操作画面が表示される。このため、ディスプレイに接触していない状態であっても、座標に応じた操作画面を表示させることができる。

さらに好ましくは、表示制御部は、表示制御部によって操作画面が表示されているときに、距離判断部によって距離が同じ範囲に含まれると判断されていることを条件として、位置特定部によって特定された座標が変化したときに、変化した座標に応じた操作画面を表示させる。

この発明に従えば、端末装置によって、操作画面が表示されているときに、距離が同じ範囲に含まれると判断されていることを条件として、特定された座標が変化したときに、変化した座標に応じた操作画面が表示される。このため、ディスプレイに接触していない状態における検知対象部分の水平移動に応じた操作画面を表示させることができる。

好ましくは、停滞判断部は、検知部によって検知された位置の変化に基づいて、検知対象部分の速度を特定する速度特定部を含む。停滞判断部は、速度特定部によって特定される速度が所定時間の間、所定速度未満または以下であったか否かを判断することで、検知対象部分が停滞しているか否かを判断する。

この発明に従えば、端末装置によって、検知部によって検知された位置の変化に基づいて、検知対象部分の速度が特定され、特定される速度が所定時間の間、所定速度未満または以下であったか否かが判断されることで、検知対象部分が停滞しているか否かが判断される。このため、検知対象部分が停滞しているか否かを確実に判断することができる。

好ましくは、距離判断部は、距離が複数の範囲のうち第１の範囲から第２の範囲に含まれるようになったと判断するときのしきい値と、第２の範囲から第１の範囲に含まれるようになったと判断するときのしきい値とを、第１の範囲から第２の範囲へは移行し易いが、第２の範囲から第１の範囲へは移行し難いように異ならせる。

この発明に従えば、端末装置によって、距離が複数の範囲のうち第１の範囲から第２の範囲に含まれるようになったと判断するときのしきい値と、第２の範囲から第１の範囲に含まれるようになったと判断するときのしきい値とが、第１の範囲から第２の範囲へは移行し易いが、第２の範囲から第１の範囲へは移行し難いように異ならせられる。このため、一旦、第２の範囲に含まれるようになったと判断された場合は、第１の範囲の側に距離が変化したとしても、第１の範囲に含まれるようになったと判断され難くすることができる。その結果、第１の範囲に応じた操作画面が表示された後、一旦、第２の範囲に応じた操作画面が表示されたときは、再び、第１の範囲に応じた操作画面が表示され難くすることができるので、操作画面が頻繁に切替わってしまうことを防止することができる。

この発明の他の局面によれば、制御方法は、ディスプレイと、ディスプレイに対する検知対象部分の相対的な３次元の位置を検知する検知部と、制御部とを備える端末装置の制御方法である。制御方法は、制御部が、検知部によって検知された位置に基づいて、ディスプレイと検知対象部分との距離を特定するステップと、検知部によって検知された位置の変化に基づいて、検知対象部分が停滞しているか否かを判断するステップと、特定される距離が、予め定められた複数の範囲のいずれかの範囲に含まれるか否かを判断するステップと、特定される距離が、ディスプレイに接触している距離であるか否かを判断するステップと、距離がいずれの範囲に含まれるときにも、検知対象部分が停滞していると判断されずに、接触している距離であると判断されたことを条件として、ディスプレイへの接触態様に応じた処理を行なうステップと、検知対象部分が停滞していると判断されたこと、かつ、距離がいずれかの範囲に含まれると判断されたことを条件として、距離が含まれる範囲に応じた操作画面をディスプレイに表示させるステップとを含む。

検知対象部分とディスプレイとの距離に応じた操作画面を表示する場合と表示しない場合とを容易に切替えることが可能な端末装置の制御方法を提供することができる。

この発明の実施の形態におけるスマートフォンの構成の概略を示す図である。 この実施の形態のスマートフォンによって実行される入力処理の流れを示す第１のフローチャートである。 この実施の形態のスマートフォンによって実行される入力処理の流れを示す第２のフローチャートである。 この実施の形態のスマートフォンによって実行される入力処理の流れを示す第３のフローチャートである。 この実施の形態のスマートフォンの表示部に表示される文字入力モードの操作画面の表示内容を示す第１の図である。 この実施の形態のスマートフォンを側面から見たときのユーザの指先とディスプレイとの位置関係を示す第１の図である。 この実施の形態のスマートフォンをディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第１の図である。 この実施の形態のスマートフォンを側面から見たときのユーザの指先とディスプレイとの位置関係を示す第２の図である。 この実施の形態のスマートフォンをディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第２の図である。 この実施の形態のスマートフォンを側面から見たときのユーザの指先とディスプレイとの位置関係を示す第３の図である。 この実施の形態のスマートフォンをディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第３の図である。 この実施の形態のスマートフォンを側面から見たときのユーザの指先とディスプレイとの位置関係を示す第４の図である。 この実施の形態のスマートフォンをディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第４の１の図である。 この実施の形態のスマートフォンをディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第４の２の図である。 この実施の形態のスマートフォンをディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第４の３の図である。 この実施の形態のスマートフォンを側面から見たときのユーザの指先とディスプレイとの位置関係を示す第５の図である。 この実施の形態のスマートフォンをディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第５の図である。 この実施の形態のスマートフォンを側面から見たときのユーザの指先とディスプレイとの位置関係を示す第６の図である。 この実施の形態のスマートフォンをディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第６の図である。 この実施の形態のスマートフォンを側面から見たときのユーザの指先とディスプレイとの位置関係を示す第７の図である。 この実施の形態のスマートフォンをディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第７の図である。 この実施の形態のスマートフォンを側面から見たときのユーザの指先とディスプレイとの位置関係を示す第８の図である。 この実施の形態のスマートフォンをディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第８の図である。 この実施の形態のスマートフォンを側面から見たときのユーザの指先とディスプレイとの位置関係を示す第９の図である。 この実施の形態のスマートフォンをディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第９の図である。 この実施の形態のスマートフォンを側面から見たときのユーザの指先とディスプレイとの位置関係を示す第１０の図である。 この実施の形態のスマートフォンをディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第１０の図である。 この実施の形態のスマートフォンを側面から見たときのユーザの指先とディスプレイとの位置関係を示す第１１の図である。 この実施の形態のスマートフォンをディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第１２の図である。 この実施の形態のスマートフォンを側面から見たときのユーザの指先とディスプレイとの位置関係を示す第１２の図である。 この実施の形態のスマートフォンを側面から見たときのユーザの指先とディスプレイとの位置関係を示す第１３の図である。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一のまたは相当する部分については、同一符号を付してその説明は繰返さない。

図１は、この発明の実施の形態におけるスマートフォン１００の構成の概略を示す図である。図１を参照して、スマートフォン１００は、制御部１１０と、記憶部１２０と、操作検知部１３０と、表示部１４０と、音声入出力部１７０と、電話網通信部１９０と、アンテナ１９１とを含む。

制御部１１０は、ＣＰＵ（Central Processing Unit）およびその補助回路からなり、記憶部１２０、操作検知部１３０、表示部１４０、音声入出力部１７０、および、電話網通信部１９０を制御し、記憶部１２０に記憶されたプログラムまたはデータに従って所定の処理を実行し、操作検知部１３０、音声入出力部１７０および電話網通信部１９０から入力されたデータを処理し、処理したデータを、記憶部１２０に記憶させたり、表示部１４０、音声入出力部１７０または電話網通信部１９０に出力したりする。

記憶部１２０は、制御部１１０でプログラムを実行するために必要な作業領域として用いられるＲＡＭ（Random Access Memory）と、制御部１１０で実行するための基本的なプログラムを記憶するためのＲＯＭ（Read Only Memory）とを含む。また、ＲＡＭには、所定の処理を実行するためのデータまたはスクリプトなどのプログラムが、電話網通信部１９０から読込まれて記憶される。さらに、記憶部１２０の記憶領域を補助するための補助記憶装置の記憶媒体として、磁気ディスク（ＨＤ（Hard Disk）、ＦＤ（Flexible Disk））、光ディスク（ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＢＤ（Blu-ray Disc））、光磁気ディスク（ＭＯ（Magneto-Optical disk））、または、半導体メモリ（メモリカード、ＳＳＤ（Solid State Drive））などが用いられてもよい。

操作検知部１３０は、表示部１４０のディスプレイ上のユーザの手の指先の３次元の位置を検知するセンサを含む。このようなセンサとしては、たとえば、赤外線を用いたもの、および、静電容量の変化を用いたものなどが考えられる。また、操作検知部１３０は、加えて、電源ボタンなどのハードウェアボタンの操作を検知する。操作検知部１３０は、検知した３次元の位置を示す情報およびその他の操作情報を制御部１１０に受け渡す。

表示部１４０は、ディスプレイ（たとえば、ＬＣＤ：Liquid Crystal Display）を含む。表示部１４０は、制御部１１０によって制御されて、所定の文字および画像をディスプレイに表示させる。

音声入出力部１７０は、マイクおよびスピーカで構成される。音声入出力部１７０は、制御部１１０によって制御されて、外部からマイクに入力された音声を音声信号に変換し、変換した音声信号を電話網通信部１９０に送信するとともに、電話網通信部１９０からの音声信号を音声に変換して、スピーカで外部に出力する。

電話網通信部１９０は、制御部１１０によって制御されて、通話相手の他の携帯端末または固定電話から電気通信事業者の通信設備およびアンテナ１９１を介して無線信号を受信し、受信した無線信号を音声信号に変換して、変換した音声信号を音声入出力部１７０に送信するとともに、音声入出力部１７０からの音声信号を無線信号に変換して、アンテナ１９１および電気通信事業者の通信設備を介して通話相手の他の携帯端末または固定電話に送信する。

また、電話網通信部１９０は、制御部１１０によって制御されて、データ通信が可能な機器、たとえば、サーバまたは他の端末装置と、電気通信事業者の通信設備およびアンテナ１９１を介して無線信号を受信し、受信した無線信号をデータに変換して、変換したデータを記憶部１２０に記憶させたり、データを表示させるために表示部１４０に送信したりするとともに、送信するデータを無線信号に変換して、アンテナ１９１および電気通信事業者の通信設備を介してデータ通信先のサーバまたは他の端末装置に送信する。

図２は、この実施の形態のスマートフォン１００によって実行される入力処理の流れを示す第１のフローチャートである。図３は、この実施の形態のスマートフォン１００によって実行される入力処理の流れを示す第２のフローチャートである。図４は、この実施の形態のスマートフォン１００によって実行される入力処理の流れを示す第３のフローチャートである。

図２を参照して、スマートフォン１００の制御部１１０は、入力処理において、まず、ステップＳ１０１で、文字入力モードに切替えられているか否かを判断する。

図５は、この実施の形態のスマートフォン１００の表示部１４０に表示される文字入力モードの操作画面の表示内容を示す第１の図である。図５を参照して、文字入力モードにおいては、表示部１４０のディスプレイに操作画面として、図で示すようなソフトウェアキーボードが表示される。

図２に戻って、文字入力モードに切替えられていないと判断した場合（ステップＳ１０１でＮＯと判断した場合）、実行する処理をこの入力処理の呼出元の処理に戻す。

一方、文字入力モードに切替えられていると判断した場合（ステップＳ１０１でＹＥＳと判断した場合）、ステップＳ１０２で、制御部１１０は、操作検知部１３０から、ユーザの手の指先の３次元の位置を取得し、記憶部１２０に記憶させる。なお、文字入力モードである限り、ステップＳ１０２の処理は、所定周期（たとえば、数十ミリ秒）ごとに繰返し実行されるので、記憶部１２０には、所定周期ごとの指先の位置が記憶される。

次いで、ステップＳ１０３で、制御部１１０は、ステップＳ１０２で取得し記憶部１２０に記憶させた所定周期ごとの指先の位置に基づいて、指先の速度を算出する。

ステップＳ１０４では、制御部１１０は、ユーザの指先が所定時間Ｔ1以上、停滞しているか否かを判断する。ここで、所定時間Ｔ1以上、停滞しているか否かは、たとえば、速度がα（ｍｍ／秒）未満（または以下）となってから所定時間Ｔ1（たとえば、Ｔ1＝０．５秒間）以上が経過しているか否かで判断される。

図６は、この実施の形態のスマートフォン１００を側面から見たときのユーザの指先とディスプレイとの位置関係を示す第１の図である。図７は、この実施の形態のスマートフォン１００をディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第１の図である。図６および図７を参照して、このようにスマートフォン１００のディスプレイとユーザの指先との位置関係が、ほとんど変化していない場合は、指先が停滞していると判断される。

図２に戻って、指先が、所定時間Ｔ1以上、停滞していないと判断した場合（ステップＳ１０４でＮＯと判断した場合）、ステップＳ１０５で、制御部１１０は、操作を認識する認識モードが、空間認識モードであるか否かを判断する。ユーザの操作を検知するモードには、通常認識モードと空間認識モードがある。通常認識モードとは、ディスプレイへの接触のみを操作として検知するモードである。空間認識モードとは、ディスプレイの接触に加えて、ディスプレイ上に近接した空間での操作も検知するモードである。

空間認識モードでないと判断した場合（ステップＳ１０５でＮＯと判断した場合）、つまり、通常認識モードであると判断した場合、制御部１１０は、ステップＳ１１０で、通常認識モードに設定して、実行する処理を図３のステップＳ１３１に進める。一方、空間認識モードであると判断した場合（ステップＳ１０５でＹＥＳと判断した場合）、制御部１１０は、実行する処理を図３のステップＳ１４１に進める。

一方、指先が、所定時間Ｔ1以上、停滞していると判断した場合（ステップＳ１０４でＹＥＳと判断した場合）、ステップＳ１１１で、制御部１１０は、指先の位置が第１の範囲に含まれるか否かを判断する。

再び、図６を参照して、第１の範囲とは、スマートフォン１００のディスプレイの表示面を底面とする四角柱の内部のうち、ディスプレイとの距離がｂ超（または以上）ａ以下（または未満）の空間の範囲である。

図８は、この実施の形態のスマートフォン１００を側面から見たときのユーザの指先とディスプレイとの位置関係を示す第２の図である。図８を参照して、この図のように、ユーザの手の指先が、ディスプレイとの距離がｂ超（または以上）ａ以下（または未満）の空間に存在する場合、指先の位置が、第１の範囲に含まれると判断される。

図２に戻って、指先の位置が第１の範囲に含まれると判断した場合（ステップＳ１１１でＹＥＳと判断した場合）、ステップＳ１１２で、制御部１１０は、画面接触直後フラグがオン状態であるか否かを判断する。

画面接触直後フラグとは、空間認識モードにおいてディスプレイにユーザの指先が接触されたことが検知された直後であるか否かを示すフラグである。画面接触直後フラグは、後述する図４のステップＳ１６４でオン状態とされ、図２のステップＳ１０７、ステップＳ１１３、ステップＳ１２４、および、図３のステップＳ１４５でオフ状態とされる。

画面接触直後フラグがオン状態であると判断した場合（ステップＳ１１２でＹＥＳと判断した場合）、ステップＳ１１３で、画面接触直後フラグおよび画面接触直後フラグ１をオフ状態とする。画面接触直後フラグ１とは、空間認識モードにおいてディスプレイにユーザの指先が接触されたことが検知され、所定時間Ｔ1以上、停滞が検知されてから、所定時間Ｔ2以上、停滞が検知されるまでの間であるか否かを示すフラグである。この間は、第２の範囲にありながら、第１の範囲のふるまいをする。ただし、Ｔ1＜Ｔ2とする。画面接触直後フラグ１は、後述する図２のステップＳ１２８でオン状態とされ、図２のステップＳ１０７、ステップＳ１１３、および、ステップＳ１２４でオフ状態とされる。

一方、画面接触直後フラグがオン状態でないと判断した場合（ステップＳ１１２でＮＯと判断した場合）、および、ステップＳ１１３の後、ステップＳ１１４で、制御部１１０は、認識モードを空間認識モードに設定し、範囲モードを第１範囲モードに設定する。範囲モードとは、空間認識モードにおいてどの範囲の操作を検知しているかを示すモードである。第１範囲モードとは、空間認識モードにおいて第１の範囲での操作を検知していることを示すモードである。

次いで、ステップＳ１１５で、制御部１１０は、指先のディスプレイに対して水平方向の位置に対応する、ディスプレイに表示されているキーを拡大表示する。その後、制御部１１０は、実行する処理を図３のステップＳ１３１に進める。

図９は、この実施の形態のスマートフォン１００をディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第２の図である。図９を参照して、指先が第１の範囲に存在する場合、図のように、指先の水平位置に対応するキー（ここでは、「な」のキー）が拡大表示される。

図２に戻って、一方、指先の位置が第１の範囲に含まれないと判断した場合（ステップＳ１１１でＮＯと判断した場合）、ステップＳ１２１で、制御部１１０は、指先の位置が第２の範囲に含まれるか否かを判断する。

再び、図６を参照して、第２の範囲とは、スマートフォン１００のディスプレイの表示面を底面とする四角柱の内部のうち、ディスプレイとの距離が０以上ｂ以下（または未満）の空間の範囲である。なお、「０以上」に替えて、「δ超（または以上）」（δ：微小値、たとえば、２ｍｍ）としてもよい。

図１０は、この実施の形態のスマートフォンを側面から見たときのユーザの指先とディスプレイとの位置関係を示す第３の図である。図１０を参照して、この図のように、ユーザの手の指先が、ディスプレイとの距離が０以上ｂ以下（または未満）の空間に存在する場合、指先の位置が、第２の範囲に含まれると判断される。

図２に戻って、指先の位置が第２の範囲に含まれると判断した場合（ステップＳ１２１でＹＥＳと判断した場合）、ステップＳ１２２で、制御部１１０は、画面接触直後フラグがオン状態であるか否かを判断する。

画面接触直後フラグがオン状態であると判断した場合（ステップＳ１２２でＹＥＳと判断した場合）、ステップＳ１２３で、制御部１１０は、ユーザの指先が所定時間Ｔ2以上、停滞しているか否かを判断する。この判断は、ステップＳ１０４での判断と同様である。

図２２は、この実施の形態のスマートフォン１００を側面から見たときのユーザの指先とディスプレイとの位置関係を示す第８の図である。図２２を参照して、このように、ディスプレイに接触した直後に第２の範囲で指を水平移動させている場合は、ステップＳ１２１およびステップＳ１２２でＹＥＳと判断され、ステップＳ１２３でＮＯと判断される。

所定時間Ｔ2以上、停滞していないと判断した場合（ステップＳ１２３でＮＯと判断した場合）、制御部１１０は、ステップＳ１２８で、画面接触直後フラグ１をオン状態として、実行する処理を、前述したステップＳ１１５の処理に進め、指先のディスプレイに対して水平方向の位置に対応する、ディスプレイに表示されているキーを拡大表示する。その後、制御部１１０は、実行する処理を図３のステップＳ１３１の処理に進める。

図２３は、この実施の形態のスマートフォン１００をディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第８の図である。図２３（Ａ）を参照して、ディスプレイ接触直後に、ユーザの手の指先が第２の範囲に存在する場合は、まず、指先のディスプレイに対して水平方向の位置に対応する、ディスプレイに表示されているキー（ここでは、「な」のキー）が拡大表示される。

一方、所定時間Ｔ2以上、停滞していると判断した場合（ステップＳ１２３でＹＥＳと判断した場合）、ステップＳ１２４で、画面接触直後フラグおよび画面接触直後フラグ１をオフ状態とする。

一方、画面接触直後フラグがオン状態でないと判断した場合（ステップＳ１２２でＮＯと判断した場合）、および、ステップＳ１２４の後、ステップＳ１２５で、制御部１１０は、認識モードを空間認識モードに設定し、範囲モードを第２範囲モードに設定する。第２範囲モードとは、空間認識モードにおいて第２の範囲での操作を検知していることを示すモードである。

次いで、ステップＳ１２６で、制御部１１０は、指先のディスプレイに対して水平方向の位置に対応する、ディスプレイに表示されているキーの候補表示を拡大表示する。そして、ステップＳ１２７で、制御部１１０は、候補表示の真中のキーを反転表示する。その後、制御部１１０は、実行する処理を図３のステップＳ１３１に進める。

図１１は、この実施の形態のスマートフォン１００をディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第３の図である。図１１を参照して、指先が第２の範囲に存在する場合、図のように、指先の水平位置に対応するキー（ここでは、「な」のキー）の候補表示（ここでは、「な」の周りの「に」「ぬ」「ね」「の」の表示）が拡大表示される。そして、候補表示の真中のキー（ここでは、「な」のキー）が反転表示される。

図２３を再び参照して、図２３（Ａ)の画面が表示され、指先が第２の範囲に存在する状態で所定時間Ｔ2以上、停滞していた場合は、図２３（Ｂ）で示すように、図１１と同様に、指先の水平位置に対応するキー（ここでは、「な」のキー）の候補表示（ここでは、「な」の周りの「に」「ぬ」「ね」「の」の表示）が拡大表示される。そして、候補表示の真中のキー（ここでは、「な」のキー）が反転表示される。

図２に戻って、一方、指先の位置が第２の範囲に含まれないと判断した場合（ステップＳ１２１でＮＯと判断した場合）、ステップＳ１０６で、制御部１１０は、画面接触直後フラグがオン状態であるか否かを判断する。

画面接触直後フラグがオン状態であると判断した場合（ステップＳ１０６でＹＥＳと判断した場合）、ステップＳ１０７で、画面接触直後フラグおよび画面接触直後フラグ１をオフ状態とする。

一方、画面接触直後フラグがオン状態でないと判断した場合（ステップＳ１０６でＮＯと判断した場合）、および、ステップＳ１０７の後、ステップＳ１０８で、制御部１１０は、認識モードを通常認識モードに設定する。そして、ステップＳ１０９で、制御部１１０は、図５で示した通常の入力表示に戻す。その後、実行する処理を図３のステップＳ１３１に進める。

図３を参照して、ステップＳ１３１では、制御部１１０は、認識モードが通常認識モードであるか否かを判断する。通常認識モードでないと判断した場合（ステップＳ１３１でＮＯと判断した場合）、制御部１１０は、実行する処理をこの入力処理の呼出元の処理に戻す。

一方、通常認識モードであると判断した場合（ステップＳ１３１でＹＥＳと判断した場合）、ステップＳ１３２で、制御部１１０は、ステップＳ１０２で取得した指先の位置に基づいて、ユーザの手の指先が、ディスプレイに接触したか否かを判断する。指先がディスプレイに接触したか否かは、ディスプレイとの距離が０の位置に、指先が存在するか否かによって判断される。

指先がディスプレイに接触していないと判断した場合（ステップＳ１３２でＮＯと判断した場合）、制御部１１０は、実行する処理をこの入力処理の呼出元の処理に戻す。

一方、指先がディスプレイに接触したと判断した場合（ステップＳ１３２でＹＥＳと判断した場合）、ステップＳ１３３で、制御部１１０は、画面への接触態様に応じた処理を実行する。その後、制御部１１０は、実行する処理をこの入力処理の呼出元の処理に戻す。

図１２は、この実施の形態のスマートフォン１００を側面から見たときのユーザの指先とディスプレイとの位置関係を示す第４の図である。図１３は、この実施の形態のスマートフォン１００をディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第４の１の図である。

図１４は、この実施の形態のスマートフォン１００をディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第４の２の図である。図１５は、この実施の形態のスマートフォン１００をディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第４の３の図である。

図１２から図１５を参照して、ステップＳ１３３での処理は、たとえば、次のように実行される。第１の範囲および第２の範囲で指先が停滞することなく、ディスプレイに指先が接触した場合は、従来と同様の一般的なスマートフォンの文字入力の動作をする。

たとえば、図１３のように、操作画面の「な」の位置に指先が接触した場合、「な」が反転表示される。そして、一定時間経過すると、図１４のように、「な」に対応する候補表示（ここでは、「に」「ぬ」「ね」「の」）が表示されるとともに、「な」が反転表示される。

次いで、図１５のように、指をスライドさせて「ね」の位置に移動すると、「ね」が反転表示される。「ね」の位置で指を離すと、「ね」がスマートフォン１００に確定入力される。

図３に戻って、ステップＳ１４１では、制御部１１０は、指先の位置が第１の範囲に含まれるか否かを判断する。指先の位置が第１の範囲に含まれないと判断した場合（ステップＳ１４１でＮＯと判断した場合）、制御部１１０は、実行する処理を図４のステップＳ１５０の処理に進める。

一方、指先の位置が第１の範囲に含まれると判断した場合（ステップＳ１４１でＹＥＳと判断した場合）、ステップＳ１４４で、制御部１１０は、画面接触直後フラグがオン状態であるか否かを判断する。

画面接触直後フラグがオン状態であると判断した場合（ステップＳ１４４でＹＥＳと判断した場合）、ステップＳ１４５で、画面接触直後フラグおよび画面接触直後フラグ１をオフ状態とする。

一方、画面接触直後フラグがオン状態でないと判断した場合（ステップＳ１４４でＮＯと判断した場合）、および、ステップＳ１４５の後、ステップＳ１４６で、制御部１１０は、範囲モードが第２範囲モードであるか否かを判断する。第２範囲モードであると判断した場合（ステップＳ１４６でＹＥＳと判断した場合）、ステップＳ１４７で、制御部１１０は、範囲モードを第１範囲モードに設定する。その後、制御部１１０は、実行する処理を図２のステップＳ１１５の処理に移行させる。

一方、範囲モードが第２範囲モードでないと判断した場合（ステップＳ１４６でＮＯと判断した場合）、ステップＳ１４２で、制御部１１０は、記憶部１２０に記憶された直近の指先の位置に基づいて、ユーザの手の指先のディスプレイに水平な方向の位置が変化したか否かを判断する。

図１６は、この実施の形態のスマートフォン１００を側面から見たときのユーザの指先とディスプレイとの位置関係を示す第５の図である。図１６を参照して、この図のように、ユーザの手の指先が、第１の範囲において、水平に移動されると、第１範囲モードにおいて指先の水平方向の位置が変化したと判断される。

図３に戻って、水平位置が変化していないと判断した場合（ステップＳ１４２でＮＯと判断した場合）、制御部１１０は、実行する処理をこの入力処理の呼出元の処理に戻す。

一方、水平位置が変化したと判断した場合（ステップＳ１４２でＹＥＳと判断した場合）、ステップＳ１４３で、制御部１１０は、指先の水平位置に対応するキーを拡大表示する。その後、制御部１１０は、実行する処理をこの入力処理の呼出元の処理に戻す。

図１７は、この実施の形態のスマートフォン１００をディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第５の図である。図１７を参照して、たとえば、指先の水平位置が「は」の位置に移動されると、指先の水平位置に対応するキー（ここでは、「は」のキー）が拡大表示される。

図４を参照して、ステップＳ１５０では、制御部１１０は、指先の位置が第２の範囲に含まれるか否かを判断する。第２の範囲に含まれないと判断した場合（ステップＳ１５０でＮＯと判断した場合）、制御部１１０は、実行する処理を図２のステップＳ１０６に移行させる。

一方、指先の位置が第２の範囲に含まれると判断した場合（ステップＳ１５０でＹＥＳと判断した場合）、ステップＳ１５１で、制御部１１０は、範囲モードが第１範囲モードであるか否かを判断する。第１範囲モードであると判断した場合（ステップＳ１５１でＹＥＳと判断した場合）、ステップＳ１５６で、制御部１１０は、範囲モードを第２範囲モードに設定する。その後、制御部１１０は、実行する処理を図２のステップＳ１２６の処理に移行させる。

一方、範囲モードが第１範囲モードでないと判断した場合（ステップＳ１５１でＮＯと判断した場合）、ステップＳ１７０で、制御部１１０は、画面接触直後フラグがオン状態であるか否かを判断する。

画面接触直後フラグがオン状態でないと判断した場合（ステップＳ１７０でＮＯと判断した場合）、ステップＳ１５２で、制御部１１０は、記憶部１２０に記憶された直近の指先の位置に基づいて、ユーザの手の指先のディスプレイに水平な方向の位置が変化したか否かを判断する。

図１８は、この実施の形態のスマートフォン１００を側面から見たときのユーザの指先とディスプレイとの位置関係を示す第６の図である。図１８を参照して、この図のように、ユーザの手の指先が、第２の範囲において、水平に移動されると、第２範囲モードにおいて指先の水平方向の位置が変化したと判断される。

図４に戻って、水平位置が変化していないと判断した場合（ステップＳ１５２でＮＯと判断した場合）、制御部１１０は、実行する処理をステップＳ１６１の処理に進める。

一方、水平位置が変化したと判断した場合（ステップＳ１５２でＹＥＳと判断した場合）、ステップＳ１５３で、制御部１１０は、指先の水平位置に対応する操作画面内の位置が候補表示の内部であるか否かを判断する。

候補表示内であると判断した場合（ステップＳ１５３でＹＥＳと判断した場合）、ステップＳ１５４で、制御部１１０は、指先の水平位置に対応する候補表示のキーを反転表示する。その後、制御部１１０は、実行する処理をステップＳ１６１の処理に進める。

図１９は、この実施の形態のスマートフォン１００をディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第６の図である。図１９を参照して、指先の水平位置が候補表示の「に」対応する位置に移動されると、指先の水平位置に対応するキー（ここでは、「に」のキー）が反転表示される。

図４に戻って、指先の水平位置に対応する操作画面内の位置が候補表示内でないと判断した場合（ステップＳ１５３でＮＯと判断した場合）、ステップＳ１５５で、制御部１１０は、反転表示していたキーの反転表示を元に戻す。その後、制御部１１０は、実行する処理をステップＳ１６１の処理に進める。

ステップＳ１６１では、制御部１１０は、ユーザの手の指先が、ディスプレイに接触したか否かを判断する。指先の接触の判断については、前述したステップＳ１３２の判断と同様であるので、重複する説明は繰返さない。

図２０は、この実施の形態のスマートフォンを側面から見たときのユーザの指先とディスプレイとの位置関係を示す第７の図である。図２０を参照して、この図は、ユーザの手の指先がディスプレイに接触した状態を示す。

図４に戻って、ディスプレイに接触したと判断した場合（ステップＳ１６１でＹＥＳと判断した場合）、ステップＳ１６２で、制御部１１０は、指先の接触位置が候補表示の内部であるか否かを判断する。

候補表示内であると判断した場合（ステップＳ１６２でＹＥＳと判断した場合）、ステップＳ１６３で、制御部１１０は、接触位置の候補表示のキーの文字の入力を受付ける。そして、ステップＳ１６４で、制御部１１０は、画面接触直後フラグをオン状態にする。候補表示内でないと判断した場合（ステップＳ１６２でＮＯと判断した場合）、および、ステップＳ１６４の後、制御部１１０は、実行する処理をこの入力処理の呼出元の処理に戻す。

図２１は、この実施の形態のスマートフォン１００をディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第７の図である。図２１を参照して、たとえば、接触位置の候補表示のキーの文字（ここでは、「に」）の入力が受付けられる。

図４に戻って、一方、ディスプレイに接触していないと判断した場合（ステップＳ１６１でＮＯと判断した場合）、制御部１１０は、実行する処理をこの入力処理の呼出元の処理に戻す。

一方、画面接触直後フラグがオン状態であると判断した場合（ステップＳ１７０でＹＥＳと判断した場合）、ステップＳ１７１で、制御部１１０は、画面接触直後フラグ１がオン状態であるか否かを判断する。オン状態でないと判断した場合（ステップＳ１７１でＮＯと判断した場合）、制御部１１０は、実行する処理をこの入力処理の呼出元の処理に戻す。

一方、画面接触直後フラグ１がオン状態であると判断した場合（ステップＳ１７１でＹＥＳと判断した場合）、ステップＳ１７２で、図３のステップＳ１４２と同様に、制御部１１０は、記憶部１２０に記憶された直近の指先の位置に基づいて、ユーザの手の指先のディスプレイに水平な方向の位置が変化したか否かを判断する。

水平位置が変化していないと判断した場合（ステップＳ１７２でＮＯと判断した場合）、制御部１１０は、実行する処理をこの入力処理の呼出元の処理に戻す。

一方、水平位置が変化したと判断した場合（ステップＳ１７２でＹＥＳと判断した場合）、ステップＳ１７３で、図３のステップＳ１４３と同様に、制御部１１０は、指先の水平位置に対応するキーを拡大表示する。その後、制御部１１０は、実行する処理をこの入力処理の呼出元の処理に戻す。

図２４は、この実施の形態のスマートフォン１００を側面から見たときのユーザの指先とディスプレイとの位置関係を示す第９の図である。図２５は、この実施の形態のスマートフォン１００をディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第９の図である。

図２４および図２５を参照して、このように、ディスプレイに接触した直後に第１の範囲で指を停滞または水平移動させている場合、図２のステップＳ１０４で、所定時間Ｔ1以上、ユーザの手の指先が停滞していると判断され、ステップＳ１１１で、指先が第１の範囲に存在していると判断され、ステップＳ１１２で、画面接触直後フラグがオン状態であると判断され、ステップＳ１１３で、画面接触直後フラグおよび画面接触直後フラグ１がオフ状態とされ、ステップＳ１１４で、第２範囲モードから第１範囲モードに変更設定され、ステップＳ１１５で、指先の水平位置に対応するキー（ここでは、「は」）が拡大表示される。

図２６は、この実施の形態のスマートフォン１００を側面から見たときのユーザの指先とディスプレイとの位置関係を示す第１０の図である。図２７は、この実施の形態のスマートフォン１００をディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第１０の図である。

図２６および図２７を参照して、このように、第１の範囲を経ずに、第２の範囲で指先を停滞または水平移動させている場合、図２のステップＳ１０４で、所定時間Ｔ1以上、ユーザの手の指先が停滞していると判断され、ステップＳ１２１で、指先が第２の範囲に存在していると判断され、ステップＳ１２２で、画面接触直後フラグがオフ状態であると判断され、ステップＳ１２５で、通常認識モードから第２範囲モードに変更設定され、ステップＳ１２６で、指先の水平位置に対応するキー（ここでは、「な」）の候補表示（「に」「ぬ」「ね」「の」の表示）が拡大表示され、ステップＳ１２７で、候補の真中（ここでは、「な」のキー）が反転表示される。

図２８は、この実施の形態のスマートフォン１００を側面から見たときのユーザの指先とディスプレイとの位置関係を示す第１１の図である。図２９は、この実施の形態のスマートフォン１００をディスプレイに垂直な方向から見たときのユーザの指先とディスプレイとの位置関係、および、操作画面の表示内容を示す第１２の図である。

図２８および図２９を参照して、ユーザの手の指先が第１の範囲または第２の範囲に存在する状態から、第１の範囲および第２の範囲の外の範囲に、指先を移動させ、指先が停滞しているときは、図２のステップＳ１０４で、所定時間Ｔ1以上、指先が停滞していると判断され、ステップＳ１１１で、指先が第１の範囲に存在していないと判断され、ステップＳ１２１で、指先が第２の範囲に存在ていないと判断され、ステップＳ１０６で画面接触直後フラグがオン状態であると判断された場合は、ステップＳ１０７で、画面接触直後フラグおよび画面接触フラグ１がオフ状態とされ、ステップＳ１０８で、通常認識モードに設定され、ステップＳ１０９で、通常の入力表示に戻される。

このように、第１の範囲および第２の範囲の外に指先を移動させるだけで、操作画面の変化をリセットできるので、操作性がよくなる。

図３０は、この実施の形態のスマートフォン１００を側面から見たときのユーザの指先とディスプレイとの位置関係を示す第１２の図である。図３０を参照して、図２のステップＳ１１１のユーザの手の指先が第１の範囲に入ったか否かは、第２の範囲以外から第１の範囲に入った場合は、上述したように、スマートフォン１００のディスプレイの表示面を底面とする四角柱の内部のうち、ディスプレイとの距離がｂ超（または以上）ａ以下（または未満）の空間の範囲に入ったか否かによって判断される。

一方、第２の範囲から第１の範囲に入った場合（たとえば、指先が一旦ディスプレイに近づいて、すぐに遠ざかる動きをした場合）は、ユーザの指先が第１の入ったか否かは、スマートフォン１００のディスプレイの表示面を底面とする四角柱の内部のうち、ディスプレイとの距離がｃ超（または以上）ａ以下（または未満）の空間の範囲に入ったか否かによって判断される。なお、ａ〜ｃの関係は、ｂ＜ｃ＜ａである。

このように、第１の範囲から第２の範囲に入ったと判断される条件よりも、第２の範囲から第１の範囲に入ったと判断される条件を厳しくすること（ヒステリシスがつけられること）によって、第１の範囲に入ったとの判断および第２の範囲に入ったとの判断が繰返されることを防止することができる。

図３１は、この実施の形態のスマートフォン１００を側面から見たときのユーザの指先とディスプレイとの位置関係を示す第１３の図である。図３１を参照して、ユーザの指先が、ディスプレイへの接触直後に、ディスプレイとの距離がｃ超（または以上）ａ以下（または未満）の空間の範囲に入ったと判断されると、図２のステップＳ１１１で、指先が第１の範囲に入ったと判断され、ステップＳ１１２で、画面接触直後フラグがオン状態であると判断され、ステップＳ１１３で、画面接触直後フラグおよび画面接触直後フラグ１がオフ状態とされ、ステップＳ１１４で、第２範囲モードから第１範囲モードに変更設定され、ステップＳ１１５で、指先の水平位置に対応するキーが拡大表示される。

以上、説明したように、この実施の形態におけるスマートフォン１００によれば、以下のような効果が得られる。

（１） スマートフォン１００は、表示部１４０のディスプレイと、ディスプレイに対する検知対象部分（本実施の形態においては、ユーザの手の指先）の相対的な３次元の位置を検知する操作検知部１３０と、制御部１１０とを備える。図２のステップＳ１０２，ステップＳ１１１，ステップＳ１２１で示したように、制御部１１０によって、操作検知部１３０によって検知された位置に基づいて、ディスプレイと検知対象部分との距離が特定される。

図２のステップＳ１０２〜ステップＳ１０４で示したように、制御部１１０によって、操作検知部１３０によって検知された位置の変化に基づいて、検知対象部分が停滞しているか否かが判断される。図２のステップＳ１１１，ステップＳ１２１で示したように、制御部１１０によって、特定される距離が、予め定められた複数の範囲（本実施の形態においては、第１の範囲，第２の範囲）のいずれかの範囲に含まれるか否かが判断される。図３のステップＳ１３２，図４のステップＳ１６１で示したように、制御部１１０によって、特定される距離が、ディスプレイに接触している距離であるか否かが判断される。

図３のステップＳ１３２〜ステップＳ１３３で示したように、制御部１１０によって、距離がいずれの範囲に含まれるときにも、検知対象部分が停滞していると判断されずに、接触している距離であると判断されたことを条件として、ディスプレイへの接触態様に応じた処理が行なわれる。

図２のステップＳ１０４，ステップＳ１１１，ステップＳ１１５，ステップＳ１２１，ステップＳ１２６，ステップＳ１２７で示したように、検知対象部分が停滞していると判断されたこと、かつ、距離がいずれかの範囲に含まれると判断されたことを条件として、距離が含まれる範囲に応じた操作画面がディスプレイに表示される。

このため、検知対象部分とディスプレイとの距離がいずれかの範囲に含まれるときに、検知対象部分が停滞している場合には、当該範囲に応じた操作画面がディスプレイに表示される。一方、いずれの範囲でも検知対象部分が停滞せず、検知対象部分がディスプレイに接触した場合は、いずれの範囲に応じた操作画面も表示されない。その結果、検知対象部分とディスプレイとの距離に応じた操作画面を表示する場合と表示しない場合とを容易に切替えることができる。

（２） 図２のステップＳ１１５，ステップＳ１２６，図３のステップＳ１４３，図４のステップＳ１５４で示したように、制御部１１０によって、操作検知部１３０によって検知された位置に基づいて、検知対象部分から最短のディスプレイ上の座標が特定され、検知対象部分が停滞していると判断されたときに特定された座標に応じた操作画面が表示される。このため、ディスプレイに接触していない状態であっても、座標に応じた操作画面を表示させることができる。

（３） 図３のステップＳ１４１〜ステップＳ１４３、図４のステップＳ１５２〜ステップＳ１５４で示したように、制御部１１０によって、操作画面が表示されているときに、距離が同じ範囲に含まれると判断されていることを条件として、特定された座標が変化したときに、変化した座標に応じた操作画面が表示される。このため、ディスプレイに接触していない状態における検知対象部分の水平移動に応じた操作画面を表示させることができる。

（４） 図２のステップＳ１０４で示したように、制御部１１０によって、操作検知部１３０によって検知された位置の変化に基づいて、検知対象部分の速度が特定され、特定される速度が所定時間Ｔ1以上の間、所定速度未満または以下であったか否かが判断されることで、検知対象部分が停滞しているか否かが判断される。このため、検知対象部分が停滞しているか否かを確実に判断することができる。

（５） 図３０で示したように、制御部１１０によって、距離が複数の範囲のうち範囲Ａから範囲Ｂに含まれるようになったと判断するときのしきい値と、範囲Ｂから範囲Ａに含まれるようになったと判断するときのしきい値とが、範囲Ａから範囲Ｂへは移行し易いが、範囲Ｂから範囲Ａへは移行し難いように異ならせられる。このため、一旦、範囲Ｂに含まれるようになったと判断された場合は、範囲Ａの側に距離が変化したとしても、範囲Ａに含まれるようになったと判断され難くすることができる。その結果、範囲Ａに応じた操作画面が表示された後、一旦、範囲Ｂに応じた操作画面が表示されたときは、再び、範囲Ａに応じた操作画面が表示され難くすることができるので、操作画面が頻繁に切替わってしまうことを防止することができる。

次に、上述した実施の形態の変形例を説明する。
（１） 前述した実施の形態においては、スマートフォンに発明を適用する場合について説明した。しかし、これに限定されず、ディスプレイに表示された操作画面に対する操作を検出して、検出された操作に応じた処理を実行する装置であれば、他の装置に発明が適用されるようにしてもよい。たとえば、スマートフォンと異なる携帯端末であってもよい。また、ＰＣ（Personal Computer）またはタブレットコンピュータであってもよい。

（２） 前述した実施の形態においては、操作検知部１３０は、ユーザの手の指の３次元の位置を検知するようにした。しかし、これに限定されず、操作検知部１３０が検知する対象およびその部分は、他のものであってもよい。たとえば、スタイラスの先端であってもよい。

（３） 前述した実施の形態においては、操作画面として、ひらがなを入力する画面を示した。しかし、これに限定されず、操作画面は、他の文字または記号を入力するための画面であってもよく、たとえば、アルファベットを入力する画面であってもよいし、数字を入力する画面であってもよいし、記号を入力する画面であってもよいし、韓国語のハングルを入力する画面であってもよいし、中国語をピンイン入力する画面であってもよいし、他の言語を入力する画面であってもよい。

（４） 前述した実施の形態の図６などで示したａ，ｂの値は、ユーザが設定可能なように構成してもよい。ユーザによって指先を動かす能力が異なるので、このように設定できることによって、ユーザに応じて操作をし易く設定することができる。

（５） 前述した実施の形態の図３０で示したｃの値は、ユーザが設定可能なように構成してもよい。これにより、第２の範囲から第１の範囲に戻るときの条件を厳しくしたり緩くしたりできることによって、ユーザに応じて操作性を改善させることができる。

（６） 前述した実施の形態においては、ユーザの手の指先が存在しているか否かを判断するための複数の範囲は、第１の範囲および第２の範囲の２つの範囲であることとした。しかし、これに限定されず、３以上の複数の範囲であってもよい。

そして、いずれの範囲に指先が存在するかによって、指先の水平位置に対応するキーを拡大表示すること、または、指先の水平位置に対応するキーの候補表示を拡大表示することの２段階の階層で操作画面を変化させるようにした。しかし、これに限定されず、３以上の複数の範囲である場合は、３以上の階層で操作画面を変化させるようにしてもよい。

（７） 前述した実施の形態においては、図３のステップＳ１３２で説明したように、指先がディスプレイに接触したか否かは、ディスプレイとの距離が０の位置に、指先が存在するか否かによって判断するようにした。

しかし、これに限定されず、指先がディスプレイに接触したか否かが、スマートフォン１００のディスプレイの表示面を底面とする四角柱の内部のうち、ディスプレイとの距離がδ以下（または未満）（δ：微小値、たとえば、２ｍｍ）の空間に、指先が存在するか否かによって判断されるようにしてもよい。この場合は、実際には接触していない場合も含まれるが、そのような場合であっても、ディスプレイの極近傍に指先がある場合は、接触しているとみなすようにする。

（８） 前述した実施の形態においては、空間認識モードの図４のステップＳ１６１では、通常認識モードの図３のステップＳ１３２と同様に、ディスプレイに接触されたか否かを判断して、接触されたと判断したことを条件として、接触位置のキーの文字の入力を受付けるようにした。しかし、これに限定されず、空間認識モードにおいては、ステップＳ１５４等で文字が反転表示されている状態で、スマートフォン１００の側面などに設けられたハードウェアボタンが操作されることで、反転表示されているキーの文字の入力を受付けるようにしてもよい。

（９） 前述した実施の形態においては、スマートフォン１００の装置として発明を捉えて、発明の実施の形態を説明した。しかし、これに限定されず、スマートフォン１００などの装置の制御方法として発明を捉えることができる。また、スマートフォン１００などの装置で実行される制御プログラムとして発明を捉えることができる。

（１０） 今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１００ スマートフォン、１１０ 制御部、１２０ 記憶部、１３０ 操作検知部、１４０ 表示部、１７０ 音声入出力部、１９０ 電話網通信部、１９１ アンテナ。

Claims (6)

1. ディスプレイと、
   前記ディスプレイに対する検知対象部分の相対的な３次元の位置を検知する検知部と、
   制御部とを備え、
   前記制御部は、
   前記検知部によって検知された前記位置に基づいて、前記ディスプレイと前記検知対象部分との距離を特定する距離特定手段と、
   前記検知部によって検知された前記位置の変化に基づいて、前記検知対象部分が停滞しているか否かを判断する停滞判断手段と、
   前記距離特定手段によって特定される前記距離が、予め定められた複数の範囲のいずれかの前記範囲に含まれるか否かを判断する距離判断手段と、
   前記距離特定手段によって特定される前記距離が、前記ディスプレイに接触している距離であるか否かを判断する接触判断手段と、
   前記距離判断手段によって前記距離がいずれの前記範囲に含まれるときにも、前記停滞判断手段によって前記検知対象部分が停滞していると判断されずに、前記接触判断手段によって前記接触している距離であると判断されたことを条件として、前記ディスプレイへの接触態様に応じた処理を行なう処理手段と、
   前記停滞判断手段によって前記検知対象部分が停滞していると判断されたこと、かつ、前記距離判断手段によって前記距離がいずれかの前記範囲に含まれると判断されたことを条件として、前記距離が含まれる前記範囲に応じた操作画面を前記ディスプレイに表示させる表示制御手段とを含む、端末装置。
2. 前記制御部は、さらに、
   前記検知部によって検知された前記位置に基づいて、前記検知対象部分から最短の前記ディスプレイ上の座標を特定する位置特定手段を含み、
   前記表示制御手段は、前記停滞判断手段によって前記検知対象部分が停滞していると判断されたときに前記位置特定手段によって特定された前記座標に応じた前記操作画面を表示させる、請求項１に記載の端末装置。
3. 前記表示制御手段は、前記表示制御手段によって前記操作画面が表示されているときに、前記距離判断手段によって前記距離が同じ範囲に含まれると判断されていることを条件として、前記位置特定手段によって特定された前記座標が変化したときに、変化した前記座標に応じた前記操作画面を表示させる、請求項２に記載の端末装置。
4. 前記停滞判断手段は、
   前記検知部によって検知された前記位置の変化に基づいて、前記検知対象部分の速度を特定する速度特定手段を含み、
   前記停滞判断手段は、前記速度特定手段によって特定される前記速度が所定時間の間、所定速度未満または以下であったか否かを判断することで、前記検知対象部分が停滞しているか否かを判断する、請求項１に記載の端末装置。
5. 前記距離判断手段は、前記距離が複数の前記範囲のうち第１の範囲から第２の範囲に含まれるようになったと判断するときのしきい値と、前記第２の範囲から前記第１の範囲に含まれるようになったと判断するときのしきい値とを、前記第１の範囲から前記第２の範囲へは移行し易いが、前記第２の範囲から前記第１の範囲へは移行し難いように異ならせる、請求項１に記載の端末装置。
6. 端末装置の制御方法であって、
   前記端末装置は、
   ディスプレイと、
   前記ディスプレイに対する検知対象部分の相対的な３次元の位置を検知する検知部と、
   制御部とを備え、
   前記制御部が、
   前記検知部によって検知された前記位置に基づいて、前記ディスプレイと前記検知対象部分との距離を特定するステップと、
   前記検知部によって検知された前記位置の変化に基づいて、前記検知対象部分が停滞しているか否かを判断するステップと、
   特定される前記距離が、予め定められた複数の範囲のいずれかの前記範囲に含まれるか否かを判断するステップと、
   特定される前記距離が、前記ディスプレイに接触している距離であるか否かを判断するステップと、
   前記距離がいずれの前記範囲に含まれるときにも、前記検知対象部分が停滞していると判断されずに、前記接触している距離であると判断されたことを条件として、前記ディスプレイへの接触態様に応じた処理を行なうステップと、
   前記検知対象部分が停滞していると判断されたこと、かつ、前記距離がいずれかの前記範囲に含まれると判断されたことを条件として、前記距離が含まれる前記範囲に応じた操作画面を前記ディスプレイに表示させるステップとを含む、端末装置の制御方法。

Images