JP2014219841A - 操作入力装置および操作入力プログラム - Google Patents

Abstract

【課題】指のような操作指示体の表示パネルへの接近をユーザ操作に効果的に利用することのできる操作入力装置を提供する。
【解決手段】操作入力装置１０１は、操作指示体１０５の表示パネル１０２表面への接近状態に関する状態信号を取得する取得部１０６と、取得部により取得された状態信号に基づいて、操作の対象オブジェクト１０４Ａおよび対象オブジェクト１０４Ａへの操作イベント発生を検出する検出部１０７とを備え、検出部１０６は、操作指示体１０５の表示パネル１０２表面への近接を状態信号が示す場合、操作指示体１０５の予め定めた面１０５Ａの表示パネル１０２表面に対する向きを状態信号に基づいて判定し、その判定結果により、対象オブジェクト１０４Ａへの操作イベント発生の有無を区別する。
【選択図】図１

Description

本発明は、表示パネル上の画面に配置されるオブジェクトに対する操作を受け付ける操作入力装置および操作入力プログラムに関する。

スマートフォンやタブレットでは、タッチパネル上の画面にアイコンやボタン、リンクなどのオブジェクトが配置され、そのオブジェクトに対してタップやフリックなどのユーザ操作が行われる。オブジェクトをユーザが容易に操作するには、画面上に適当なサイズ、例えば指先よりも大きなサイズでオブジェクトを表示するのが好ましい。パネルサイズの制約などにより十分な表示サイズをオブジェクトに確保できない場合、操作対象と異なるオブジェクトをユーザが誤って選択してしまう可能性が高くなる。特許文献１は、ユーザの誤選択を防止するために、タッチスイッチへの指の接近を検出し、接近箇所付近のアイコンを拡大表示する。

特開２００６−３１４９９号公報

特許文献１のようにタッチパネルへの指の接近を検出し接近箇所付近のアイコンを拡大表示すれば、アイコンの選択が容易になる。しかしながら、ユーザがタッチパネルに指を接触させるにはタッチパネルに指を接近させる必要があるため、拡大表示が不要なときにも拡大表示がされてしまい、却ってユーザ操作が煩雑になる可能性がある。

本発明は、このような課題を鑑みてなされたものであり、指のような操作指示体の表示パネルへの接近をユーザ操作に効果的に利用することのできる操作入力装置および操作入力プログラムを提供する。

本発明の一態様において、表示パネル上の画面に配置されるオブジェクトに対する操作を受け付ける操作入力装置を提供する。操作入力装置は、操作指示体の表示パネル表面への接近状態に関する状態信号を取得する取得部と、取得部により取得された状態信号に基づいて、操作の対象オブジェクトおよび対象オブジェクトへの操作イベント発生を検出する検出部とを備え、検出部は、操作指示体の表示パネル表面への近接を状態信号が示す場合、操作指示体の予め定めた面の表示パネル表面に対する向きを状態信号に基づいて判定し、その判定結果により、対象オブジェクトへの操作イベント発生の有無を区別する。

本発明の他の態様において、表示パネル上の画面に配置されるオブジェクトに対する操作を受け付ける手続をコンピュータに実行させるための操作入力プログラムを提供する。手続は、操作指示体の表示パネル表面への接近状態に関する状態信号を取得する手順と、取得された状態信号に基づいて、操作の対象オブジェクトおよび対象オブジェクトへの操作イベント発生を検出する手順とを備え、検出する手順は、操作指示体の表示パネル表面への近接を状態信号が示す場合、操作指示体の予め定めた面の表示パネル表面に対する向きを状態信号に基づいて判定し、その判定結果により、対象オブジェクトへの操作イベント発生の有無を区別する。

本発明は、上述の操作入力プログラムにおける各手順を備える操作入力方法を他の態様とすることができる。さらに上述の操作入力プログラムを記録したコンピュータ読み取り可能な記録媒体を他の態様としてもよい。

本発明によれば、操作指示体の表示パネルへの接近をユーザ操作に効果的に利用することができる。

本発明の前述やその他の目的、特徴および利点は、以下で添付図面を参照して説明する実施の形態でより明らかにする。図面において、同一の符号は異なる図面においても同一部分を示す。
本発明の実施の形態に係る操作入力装置の概要を説明するための図である。 操作入力装置において操作指示体の予め定めた面の向きによって操作イベント発生の有無を区別する例を説明するための図である。 操作入力装置において操作指示体の予め定めた面の向き変更によって操作イベント発生の有無を区別する例を説明するための図である。 本発明の実施の形態に係る操作入力装置の機能的構成例を説明するための図である。 オブジェクトへの一操作イベントに対して一処理を割り当てた例を説明するための図である。 オブジェクトへの一操作イベントに対して複数の処理を割り当てた例を説明するための図である。 オブジェクトへの一操作イベントに対して複数の処理を割り当てた他の例を説明するための図である。 本実施の形態に係る操作入力装置のハードウェア構成の一例を説明するための図である。 プログラムの指令に従って実行される操作入力手続の一例を説明するための図である。 操作入力プログラムを実行するスマートフォンの動作例を説明するための図である。 操作入力プログラムを実行するスマートフォンの動作に関する他の例を説明するための図である。 操作入力プログラムを実行するスマートフォンの動作に関するさらに他の例を説明するための図である。 操作入力手続において近接状態の操作イベント発生時に複数の処理を読み出す例を説明するための図である。 操作入力プログラムを実行するスマートフォンの動作に関するさらに他の例を説明するための図である。 操作入力プログラムを実行するスマートフォンの動作に関するさらに他の例を説明するための図である。 動画コンテンツを集めたアルバムのアプリケーションに対する操作例を説明するための図である。 地図のアプリケーションに対する操作例を説明するための図である。

図１は本発明の実施の形態に係る操作入力装置の概要を説明するための図である。この操作入力装置は、表示パネル上の画面に配置されるオブジェクトに対する操作を受け付ける装置であって、操作指示体の表示パネル表面への接近状態に関する状態信号を取得する取得部と、取得部により取得された状態信号に基づいて、操作の対象オブジェクトおよび対象オブジェクトへの操作イベント発生を検出する検出部とを備え、検出部は、操作指示体の表示パネル表面への近接を状態信号が示す場合、操作指示体の予め定めた面の表示パネル表面に対する向きを状態信号に基づいて判定し、その判定結果により、対象オブジェクトへの操作イベント発生の有無を区別する。

図１を参照して、操作入力装置は本実施の形態においてスマートフォン１０１である。スマートフォン１０１は、表示パネル１０２上の画面１０３に配置されるオブジェクト１０４に対する操作を受け付ける。この例においてオブジェクト１０４は図１Ａに示すように仮想キーボードの各キーであり、図には一部のキーのみを表している。

ユーザは、図１Ｂにおける指のような操作指示体１０５でスマートフォン１０１を操作する。スマートフォン１０１は、操作指示体１０５の表示パネル１０２表面への接近状態に関する状態信号を取得する取得部１０６と、取得された状態信号に基づいて、操作の対象オブジェクト１０４Ａへの操作イベント発生の有無を検出する検出部１０７とを備える。対象オブジェクト１０４Ａは、たとえば、仮想キーボードにおける文字「ｐ」の入力キーであり、「ｏ」キーや「＠」キーと隣接する。対象オブジェクト１０４Ａの表示サイズが操作指示体１０５の先端より小さいと、ユーザは、対象オブジェクト１０４Ａを操作しようとして、隣接する他のオブジェクト１０４を誤操作してしまうかもしれない。

検出部１０７は、操作指示体１０５の表示パネル１０２表面への近接を状態信号が示す場合、操作指示体１０５の予め定めた面１０５Ａ、本例では指の腹側の面の表示パネル１０２に対する向きを状態信号に基づいて判定する。そして、その判定結果により、対象オブジェクト１０４Ａへの操作イベント発生の有無を区別する。

操作指示体１０５の表示パネル１０２表面への近接によって、対象オブジェクト１０４Ａへの操作イベント発生を検出した場合、スマートフォン１０１は、その操作イベントに対する処理を実行する。図１Ｃの例において、スマートフォン１０１は、対象オブジェクト１０４Ａとその周辺を拡大表示している。これによって、ユーザは対象オブジェクト１０４Ａを操作し易くなる。対象オブジェクト１０４への操作イベント発生を検出しなければ、スマートフォン１０１は、拡大表示のような近接時の処理を実行しない。

このように本実施の形態における操作入力装置は、操作指示体の表示パネルに対する向きによって操作イベント発生の有無を区別することで、操作指示体の表示パネルへの接近をユーザ操作に効果的に利用する。ユーザが操作指示体を表示パネルに接近させても、操作イベント発生を検出しない場合、拡大表示のような処理を操作入力装置は行わない。したがって、表示パネルに操作指示体を単に当接させるためにユーザが操作指示体を表示パネルに近づけているような場合に操作入力装置は余計な処理の実行を回避する。この操作入力装置には、図２以降の各図を用いた説明またはその一部を適宜一つ以上組み合わせることができる。

図２は操作入力装置における操作イベント発生の有無の区別例を説明するための図である。操作入力装置において、検出部は、操作指示体の予め定めた面が表示パネル表面を向いているか否かによって、対象オブジェクトへの操作イベント発生の有無を区別することができる。指の腹側の面が、たとえば図２Ａに示すように表示パネル１０２の方を向いている場合、スマートフォン１０１は、指が表示パネル１０２に近接しても、対象オブジェクト１０４への操作イベント発生を検出しない。一方、図２Ｂのように、指の腹側の面が表示パネル１０２の短手方向、たとえば図の奥側を向いている場合、指の腹側の面は表示パネル１０２の方を向いていないと判定される。この場合、スマートフォン１０１は、指が表示パネル１０２に近接すると、対象オブジェクト１０４への操作イベント発生を検出する。

このように本実施の形態に係る操作入力装置は、操作指示体の予め定めた面が表示パネル表面を向いているか否かによって、対象オブジェクトへの操作イベント発生の有無を区別することができる。表示パネルに操作指示体を単に当接させる目的でユーザが操作指示体を表示パネルに近づけるような場合、通常操作指示体の一定の面が表示パネル表面を向いている。したがって、このように操作イベント発生の有無を区別することによって、操作入力装置は、より直感的な操作をユーザに提供することができる。

図３は本発明の実施の形態に係る操作入力装置における操作イベント発生の有無の区別に関する他の例を説明するための図である。操作入力装置において、検出部は、操作指示体の予め定めた面の向き変更を判定し、その判定結果により、対象オブジェクトへの操作イベント発生の有無を区別するようにしてもよい。この例では、指の腹側の面１０５Ａが表示パネル１０２の方を向いている状態から指が回転することで、指が表示パネル１０２に近接した状態で指の向きが変更されている。スマートフォン１０１は、この指の向き変更を判定する。指が表示パネル１０２に近接した状態で指の向きの変更があったと判定すれば、スマートフォン１０１は対象オブジェクトへの操作イベント発生を検出する。一方、指の向きの変更があったと判定しなければ、対象オブジェクトへの操作イベント発生を検出しない。

このように表示パネルに近接した状態の操作指示体の向き変更にしたがって、対象オブジェクトへの操作イベント発生の有無を区別することで、操作入力装置は、より明確にユーザの意図を操作に反映することができる。図３の例とは逆に、指の腹側の面が表示パネルの方を向いていない状態で指を表示パネルに接近させることで、操作イベント発生後にユーザは指の腹側の面を表示パネルの方に向けることもできる。このとき、操作入力装置は、指の向きが変更されたと判定し、先に検出したイベントに対する処理を取り消すようにしてもよいし、別の処理を実行するようにしてもよい。

図４は本発明の実施の形態に係る操作入力装置の機能的構成例を説明するための図である。操作入力装置は、取得部４０１および検出部４０２に加え、オブジェクトへの操作イベントに対する処理を記憶する記憶部と、対象オブジェクトへの操作イベントに対する処理を記憶部から読み出し処理を実行する処理実行部とをさらに備えることができる。記憶部４０３は、例えば処理が記述されたファイルを記憶し、処理実行部４０４は、そのファイルを読み出し、記述された処理を実行する。

図５はオブジェクトへの操作イベントに対する処理割り当ての一例を説明するための図である。記憶部は、オブジェクトについて、そのオブジェクトへの操作イベントの種類およびその操作イベントに対応する処理を記憶することができる。この例では、オブジェクト、「ｐ」キーに対して、イベントとして「非接触で近接」、処理として「拡大表示」が割り当てられている。このような構造で記憶されるイベントは「タップ」、「長押し」、「フリック」などのその他のイベントであってもよい。処理は「選択」、「縮小表示」などのその他の処理であってもよい。さらにオブジェクトは、ボタンやボックス、リストなどのその他のオブジェクトであってもよい。

このようにオブジェクトへの操作イベントに対する処理を記憶し実行することによって、操作入力装置はオブジェクトおよびそのオブジェクトに対するイベントの種類に適した処理を実行することができる。さらに処理の設定者はその設定を容易に変更することができる。

図６はオブジェクトへの操作イベントに対する処理割り当ての他の例を説明するための図である。記憶部は、オブジェクトへの操作イベントに対して、表示パネル表面に操作指示体が近接する場合の第１処理と、表示パネル表面に操作指示体が接触する場合の第２処理とを組にして記憶し、処理実行部は、操作指示体の表示パネル表面への近接を状態信号が示す場合に対象オブジェクトへの操作イベント発生が検出部により検出されると、第１処理を実行し、対象オブジェクトが変更されずに操作指示体の表示パネル表面への接触を状態信号が示すようになると、第２処理を実行することができる。

図６を参照して、この例では、オブジェクト、「ｐ」キーについて、イベント「非接触で近接」に対して、第１処理としての「拡大表示」と、第２処理としての「入力受付」とを組にして記憶部は記憶している。この例も他のオブジェクト、他のイベント、および他の処理に適用可能である。

図７はオブジェクトへの操作イベントに対する処理割り当てのさらに他の例を説明するための図である。この例は、オブジェクト「動画再生ボタン」に対する割り当てを示す。この例において、オブジェクト「動画再生ボタン」について、イベント「非接触で近接」に対する第１処理「プレビュー」と、第２処理「再生」とを組にして記憶部は記憶している。

図７の例において操作入力装置は、動画再生ボタンをユーザがタップしなくてもその動画のプレビュー表示を実行する。したがって、動画再生ボタンをタップして動画再生しなくても、ユーザは動画の内容を簡単に確認することができる。続いてユーザが動画再生ボタンに指を接触させると、操作入力装置は対象の動画を再生する。このため、プレビュー再生の後、連続して対象の動画をユーザは視聴することができる。

このように表示パネル表面に操作指示体が近接する場合の第１処理と、操作指示体が表示パネルに接触する場合の第２処理とを組にして記憶すれば、処理の設定者は、関連性のある複数の処理を簡単に対応付けることができる。さらに操作入力装置は、複数の異なる処理を実行させるのに一度の操作イベント発生を検出すればよい。

上述のような操作入力装置は、操作入力プログラムをコンピュータに実行させることで実現可能である。この操作入力プログラムは、表示パネル上の画面に配置されるオブジェクトに対する操作を受け付ける手続をコンピュータに実行させるためのプログラムであって、その手続は、操作指示体の表示パネル表面への接近状態に関する状態信号を取得する手順と、取得された状態信号に基づいて、操作の対象オブジェクトおよび対象オブジェクトへの操作イベント発生を検出する手順とを備え、検出する手順は、操作指示体の表示パネル表面への近接を状態信号が示す場合、操作指示体の予め定めた面の表示パネル表面に対する向きを状態信号に基づいて判定し、その判定結果により、対象オブジェクトへの操作イベント発生の有無を区別する。

図８は本実施の形態に係る操作入力装置のハードウェア構成の一例を説明するための図である。スマートフォン８００は、ＣＰＵ８０１およびバス８０２を備える。ＣＰＵ８０１はバス８０２を通じてメモリ８０３およびＨＤＤ８０４と接続され、メモリ８０３およびＨＤＤ８０４に対して入出力を行う。メモリ８０３またはＨＤＤ８０４はＯＳおよびそのＯＳ上で実行可能な各種のアプリケーションに関するファイルを格納する。ＣＰＵ８０１がバス８０２を通じて、そのようなプログラムのファイルの一部または全部を読み出し実行することで、スマートフォン８００のようなコンピュータが本実施の形態に係る操作入力装置として機能する。さらに図５から図７で示したような処理割り当て構造はそのファイルに含まれる。すなわち、スマートフォン８００におけるメモリ８０３またはＨＤＤ８０４は操作入力装置における記憶部として機能することができる。

スマートフォン８００において、ＣＰＵ８０１はバス８０２を通じてタッチパネル８０５および近接センサ８０６とも接続され、これらに対して入出力を行う。タッチパネル８０５は、制御部８０７と、表示パネル８０８と、接触センサ８０９とを備える。制御部８０７はバス８０２を通じてＣＰＵ８０１と通信すると共に、タッチパネル８０５全体を制御する。表示パネル８０８は、ＣＰＵ８０１の指令を受けた制御部８０７によって生成された画像信号を受け画面表示する。接触センサ８０９は、タッチパネル８０５に表示された画面における一箇所または複数箇所に対する接触を検出する。接触センサ８０９は感圧式でも静電容量式でもその他のセンサでもよい。接触センサ８０９からの検出信号は、制御部８０７によりバス８０２を通じてＣＰＵ８０１へ出力される。

近接センサ８０６は、非接触で操作指示体８１０を検出するためのセンサユニットである。近接センサ８０６には赤外線センサやカメラなどを用いることができる。静電容量式の接触センサ８０９の感度を向上させることで、接触センサ８０９が近接センサ８０６を兼ねるようにしてもよい。赤外線センサを用いる場合、たとえばセンサ光を走査し、操作指示体８１０の形状、位置等を時系列に特定し、その結果から操作指示体８１０の予め定めた面の向きを決定する。カメラを用いる場合、取得画像に含まれる物体の形状認識を行い、その結果から操作指示体８１０の予め定めた面の向きを決定する。近接センサ８０６は、表示パネル８０８上の物体を検出すると、または定期的に、バス８０２を通じてその検出信号をＣＰＵ８０１へ出力する。

ＣＰＵ８０１は、操作入力装置における状態信号としての検出信号をバス８０２から取得する。すなわち、ＣＰＵ８０１は本実施の形態に係る操作入力装置の取得部として機能する。さらにＣＰＵ８０１は操作入力装置の検出部および処理実行部としても機能する。ＣＰＵ８０１はバス８０２から検出信号を取得すると、その検出信号に基づいて、操作の対象オブジェクト８１１および対象オブジェクト８１１への操作イベント発生を検出する。便宜上、図にはハードウェアの一部であるように対象オブジェクト８１１を示している。しかしながら、対象オブジェクト８１１は表示パネル８０９に表示されるソフトウェア上の要素である。

ＣＰＵ８０１は、操作指示体の表示パネル８０８への接近により、操作指示体の表示パネル８０８表面への近接を検出信号が示す場合、操作指示体８１０の予め定めた面の表示パネル８０８表面に対する向きを検出信号に基づいて判定し、その判定結果により、対象オブジェクト８１１への操作イベント発生の有無を区別する。ＣＰＵ８０１は、操作イベント発生を検出すると、操作入力プログラムの手続にしたがって、そのイベントに対応する処理をメモリ８０３またはＨＤＤ８０４から読み出し、その処理を実行する。

図９はプログラムの指令に従って実行される操作入力手続の一例を説明するための図である。この手続は図８で示したスマートフォンのようなコンピュータが実行することができる。そのスマートフォンにおいて、ＣＰＵは操作指示体の表示パネル表面への接近状態に関する状態信号の取得を開始する（手順９０１）。状態信号はたとえば一定時間間隔で取得する。ＣＰＵは状態信号の時間的推移、たとえば信号強度の時間的変化によって操作指示体の表示パネル表面への接近をモニタする。ＣＰＵは操作指示体の接近をモニタしながら、操作指示体が表示パネルに近接したか、たとえば操作指示体が表示パネル表面から一定の距離内に入ったかを判定する（手順９０２）。操作指示体が表示パネル表面から一定の距離内に入ったかどうかは、状態信号の信号強度が一定値以上になったかどうかで区別することができる。

操作指示体が表示パネルに一定距離まで近接していなければ、ＣＰＵは状態信号の取得を継続する。操作指示体が表示パネルに近接すると、ＣＰＵは、表示パネルに表示されたオブジェクトから対象オブジェクトを検出する（手順９０３）。対象オブジェクトは、信号強度の２次元的な分布から検出することができる。オブジェクトの表示領域と信号強度の大きな領域とを比較することでＣＰＵはオブジェクトのうち対象オブジェクトを決定することができる。

対象オブジェクトを検出すると、ＣＰＵは操作指示体の予め定めた面の表示パネル表面に対する向きをモニタする（手順９０４）。操作指示体の予め定めた面の向きは、近接センサから見た操作指示体の形状を特定することでＣＰＵが決定することができる。操作指示体が指であるとき、たとえば表示パネル側にある近接センサからみて、指の腹側の面に相当する曲面形状を検出対象の先端が有しているかどうかで指の腹側の面が表示パネル表面を向いているかどうかをＣＰＵは決定する。

この例において、操作指示体の予め定めた面が表示パネルの方を向いていないとき、ＣＰＵは操作イベント発生を検出する（手順９０５）。操作イベント発生を検出すると、対象オブジェクトに対し、その操作イベントの種類、ここでは近接イベントについて予め定められた処理をＣＰＵは読み出し、その処理を実行する（手順９０６）。既述のようにたとえば仮想キーボードのキーが対象オブジェクトである場合、そのキーオブジェクトに対し、近接イベントについて割り当てられた拡大表示処理をＣＰＵは実行する。

近接イベント検出後も、ＣＰＵは状態信号のモニタを継続することで、操作指示体が対象オブジェクトの領域から外れたかどうかを判定する（手順９０７）。操作指示体が対象オブジェクトの領域から外れた場合、ＣＰＵは新たな対象オブジェクトの検出を実行する（手順９０８）。

近接時の操作イベントが発生したかどうかにかかわらず、ＣＰＵは接触センサの検出信号の取得を継続的に行っており、操作指示体が表示パネルに接触したかどうかを検出する（手順９０９）。手順９０４において操作指示体の予め定めた面が表示パネルの方を向いていると判定したときも、ＣＰＵは操作指示体が表示パネルに接触したかどうかを検出する。操作指示体の表示パネルへの接触により、ＣＰＵは操作イベント発生を検出する（手順９１０）。操作イベント発生を検出すると、ＣＰＵは対象オブジェクトについて、その操作イベントに割り当てられた処理を読み出し実行する（手順９１１）。既述のようにたとえばキーオブジェクトに対し、タップイベントが発生した場合、キー入力の受付処理をＣＰＵは実行する。

このようにして操作入力プログラムをスマートフォンのようなコンピュータが実行することで、操作指示体の表示パネルに対する向きによって操作イベント発生の有無を区別できる。その結果、コンピュータは操作指示体の表示パネルへの接近をユーザ操作に効果的に利用することができる。表示パネルに操作指示体を単に当接させるためにユーザが操作指示体を表示パネルに近づけているような場合にコンピュータは余計な処理を実行するのを回避する。

図１０は操作入力プログラムを実行するスマートフォンの動作例を説明するための図である。この図はユーザが操作指示体としての指１００１をスマートフォンの表示パネル１００２に近づけ最終的に接触させる様子を示す。指１００１の腹側の面１００１Ａはその間、表示パネル１００２の方を向いている。図１０Ａに示すようにユーザの指１００１が表示パネルから一定距離以上はなれている状態では、スマートフォンは対象オブジェクトの検出も操作イベント発生も検出しない。

図１０Ｂに示すようにユーザの指１００１が表示パネル表面から一定距離内に入った状態になると、スマートフォンはオブジェクト１００３から対象オブジェクト１００４を検出し、指１００１の腹側の面１００１Ａが表示パネル１００２の方を向いているかを判定する。しかしながら、指１００１の腹側の面１００１Ａが表示パネル１００１の方を向いているかどうかを判定してから、スマートフォンは対象オブジェクト１００４を検出してもよい。さらに指１００１の腹側の面１００１Ａが表示パネル１００１の方を向いているとき、スマートフォンはこの時点で対象オブジェクト１００４の検出をしなくてもよい。

この例では、指１００１の腹側の面１００１Ａが表示パネル１００２の方を向いているため、スマートフォンは操作イベント発生を検出しない。その状態から図１０Ｃに示すようにユーザが指１００１をさらに表示パネル１００２に接近させ指先が表示パネル１００２に接触すると、スマートフォンはタップ等のイベントについて割り当てられた処理を実行する。このようにユーザが表示パネルをタップ等するために単に指を表示パネルに近づけているとき、近接時の処理は発生せず接触時にのみ処理が発生する。

図１１は操作入力プログラムを実行するスマートフォンの動作に関する他の例を説明するための図である。この図において、指１００１の腹側の面は表示パネル１００２の方を向いていない。指１００１自体は表示パネル１００２の方を向いているが、指１００１の腹側の面は図面奥側を向いている。図１１Ａに示すようにユーザの指１００１が表示パネルから一定距離以上はなれている状態では、指１００１の腹側の面の向きにかかわらず、スマートフォンは対象オブジェクトの検出も操作イベント発生も検出しない。

この例において、ユーザはその状態から指１００１の腹側の面の向きを変えずに表示パネル１００２に指１００１を近づける。このとき、スマートフォンはその指１００１の腹側の面が表示パネル１００２の方を向いていないと判定し、オブジェクト１００３のうち対象オブジェクト１００４に対する操作インベント発生を検出する。このようにスマートフォンは、表示パネルをタップ等するために単に指を表示パネルに近づけるのではなく、ユーザが近接時の操作イベント発生を意図しているときを明確に判定する。近接時の操作イベント発生後、さらに接触時の操作イベント発生を検出してもよい。

図１２は操作入力プログラムを実行するスマートフォンの動作に関するさらに他の例を説明するための図である。この図において、ユーザは指１００１を表示パネル１００２に接触させるまで指１００１の腹側の面を表示パネル１００２の方に向けず、表示パネル１００２に接触させるとき表示パネル１００２表面に向けている。図１２Ａおよび図１２Ｂは図１１Ａおよび図１１Ｂと同じ状態を示している。

図１２Ｃに示すように近接時の操作イベント検出後、ユーザが指１００１を表示パネル１００２に接触させると、タップ等の操作イベント発生をスマートフォンは検出し、対応する処理を実行する。図１２Ｂの状態で実行する処理と図１２Ｃの状態で実行する処理の組合せは様々である。図１２Ｃの状態では、指１００１の腹側の面が表示パネル１００２に接触しているかどうかにかかわらず、操作イベントを発生させればよい。

図１３はプログラムの指令に従って実行される操作入力手続の他の例を説明するための図である。図１３の例は、近接時に操作イベント発生を検出した時点で接触時の操作イベントに対応する処理もスマートフォンが読み出しておく点で図９と異なっている。この場合、図６および図７のような構造で処理を記憶しておくことで、スマートフォンは関連する２つ以上の処理を一時に容易に読み出すことができる。

手順９０５において近接時の操作イベント発生を検出した後、スマートフォンのＣＰＵは近接時および接触時の両方に対応する処理を読み出し、近接時の処理を実行する（手順１３０１）。ＣＰＵは、操作指示体が対象オブジェクトの領域から離れることなく（手順９０７）、たとえば近接時の処理実行開始から予め定めた時間が経過したかどうかを判定する（手順１３０２）。

予め定めた時間が経過したとき、ＣＰＵはたとえば状態信号の示す信号強度が閾値以上であるかどうかを判定する（手順１３０３）。閾値以上の場合、ＣＰＵは手順１３０１で読み出した接触時の操作イベントに対応する処理を実行する（手順１３０４）。閾値以上でなければ、ＣＰＵはこの手続を終了する。

手順９０４において操作指示体の予め定めた面が表示パネルの方を向いていると判定したとき、手順９０７において操作指示体が対象オブジェクトの領域から外れたとき、ＣＰＵはあらためて対象オブジェクトの検出を実行する（手順９０８）。手順９０８の後、図９の例と同様に手順９０９から手順９１１をＣＰＵは実行する。

このような操作入力手続でも、図１２と同様の動作を実現することができる。コンピュータは、近接状態での操作イベント発生を検出させるだけで、近接時と接触時とで別個の処理を実行することができる。

図１４は操作入力プログラムを実行するスマートフォンの動作に関するさらに他の例を説明するための図である。この図において、図１４Ａに示すようにユーザは指１００１の腹側の面を表示パネル１００２の方に向けない状態で指１００１を表示パネル１００２に近接させる。その後、図１４Ｂに示すように表示パネル１００２に接触させずに近接させた状態で指を回転させる。スマートフォンは図１４Ａおよび図１４Ｂそれぞれの状態で、オブジェクト１００３のうち対象オブジェクト１００４に対して操作イベント発生の検出を行い、その操作イベントに対して割り当てられた処理を実行する。このような動作例では、ユーザは表示パネル１００２に指１００１を接触させることなく、異なる複数の処理をスマートフォンに実行させることができる。

図１５は操作入力プログラムを実行するスマートフォンの動作に関するさらに他の例を説明するための図である。この図において、ユーザの指の動かし方は図１４と同じである。しかしながら、それに対するスマートフォンの動作は異なっている。図１５Ａに示すように、指１００１の腹側の面を表示パネル１００２の方に向けない状態で指１００１を表示パネル１００２に近接させただけでは、スマートフォンのＣＰＵは操作イベント発生を検出しない。この例ではその状態から、図１５Ｂに示すように指の向き変更があったと判定したときにＣＰＵは操作イベント発生を検出する。このような動作例では、ユーザは操作イベントを発生させるのに指１００１を表示パネル１００２に近接させるだけなく回転させる必要がある。しかしながら、ユーザはより明確に操作イベント発生の要否をスマートフォンに伝えることができる。

図１６は動画コンテンツを集めたアルバムのアプリケーションに対する操作例を説明するための図である。上述の実施の形態では、オブジェクトが仮想キーボードのキーである場合を説明したが、他のオブジェクトに本発明を適用することも可能である。図１６の例では、動画アルバムのアプリケーションにおける動画リストがスマートフォン１０１のパネル１０２に表示されている。動画リストは、複数の動画それぞれのサムネイル１６０１を含む。指のような操作指示体をユーザがサムネイル１６０１の一つに非接触で近接させると、操作指示体の近接した対象オブジェクト１６０１Ａに対しスマートフォン１０１はプレビュー再生１６０２の処理を実行する。このようにすれば、ユーザは動画リストの各サムネイル上に指を運ぶことで簡単に各動画の内容を確認することができる。ユーザが所望の動画を再生したいと思った時には、その動画のサイムネイルに操作指示体を接触させればよい。

図１７は地図のアプリケーションに対する操作例を説明するための図である。この例は、地図を表示する表示ボックス１７０１における地図画像の拡大・縮小操作に本発明を適用している。ユーザは、スライドバー１７０２上で指をスライドさせることで、対象点１７０３を中心に地図の表示を拡大・縮小することができる。さらにたとえば対象点１７０３上で指のような操作指示体が上下すれば、スマートフォン１０１は地図の表示を拡大・縮小する。指を徐々に表示パネル１０２に近づけると、スマートフォン１０１は徐々に地図の表示を拡大する。指を徐々に表示パネル１０２から遠ざけると、徐々に地図の表示を縮小する。上述の実施の形態では、操作指示体が表示パネル１０２に近接したかどうかで操作イベント発生を検出したが、操作指示体の近接量、すなわち表示パネル１０２との距離にしたがって処理の内容を連続的に変化させるようにしてもよい。

上述した実施の形態は本発明の技術的範囲を制限するものではなく、本発明の範囲内で種々の変形や応用が可能である。本発明は上述の実施の形態のようスマートフォン以外にも、表示パネルを使って操作するタブレットやＰＣ、その他の操作入力装置に適用することが可能である。さらに操作指示体がユーザの指である例を上述したが、たとえばペン型部材であってもよい。

さらに上述の実施の形態において操作入力プログラムは、スマートフォンのメモリに記憶されていた。操作入力プログラムが予め導入されていないコンピュータにも、インターネットのような電気通信回線や、コンピュータ読み取り可能な記録媒体から操作入力プログラムのファイルを取得することで導入することができる。コンピュータ読取可能な記録媒体としては、種々の光学メディアや、フラッシュメモリのような半導体メモリを利用することができる。

さらに上述の実施の形態では、操作入力プログラムを利用することでスマートフォンを操作入力装置として機能させていた。しかしながら、その機能の一部または全部を回路または回路群により実現するようにしてもよい。さらに操作入力装置は、他の装置の一部であってもよい。また操作入力装置は、物理的に一体である必要はなく、複数の装置を電気通信回線により接続することで構成してもよい。

本発明の操作入力装置および操作入力プログラムは、指のような操作指示体の表示パネルへの接近をユーザ操作に効果的に利用することでき、スマートフォンやタブレット等、様々な装置に適用することができる。

１０１ スマートフォン
１０２ 表示パネル
１０３ 画面
１０４ オブジェクト
１０４Ａ 対象オブジェクト
１０５ 操作指示体
１０５Ａ 操作指示体の予め定めた面
１０６ 取得部
１０７ 検出部
４０１ 取得部
４０２ 検出部
４０３ 記憶部
４０４ 処理実行部
８００ スマートフォン
８０１ ＣＰＵ
８０２ バス
８０３ メモリ
８０４ ＨＤＤ
８０５ タッチパネル
８０６ 近接センサ
８０７ 制御部
８０８ 表示パネル
８０９ 接触センサ
８１０ 操作指示体
８１１ 対象オブジェクト
１００１ 指
１００１Ａ 指の腹側の面
１００２ 表示パネル
１００３ オブジェクト
１００４ 対象オブジェクト
１６０１ 動画リスト
１６０１Ａ 対象オブジェクト
１６０２ プレビュー再生画面
１７０１ 地図表示ボックス
１７０２ スライドバー
１７０３ 対象点

Claims (6)

1. 表示パネル上の画面に配置されるオブジェクトに対する操作を受け付ける操作入力装置であって、
   操作指示体の前記表示パネル表面への接近状態に関する状態信号を取得する取得部と、
   前記取得部により取得された状態信号に基づいて、操作の対象オブジェクトおよび前記対象オブジェクトへの操作イベント発生を検出する検出部と
   を備え、
   前記検出部は、前記操作指示体の前記表示パネル表面への近接を前記状態信号が示す場合、前記操作指示体の予め定めた面の前記表示パネル表面に対する向きを前記状態信号に基づいて判定し、その判定結果により、前記対象オブジェクトへの操作イベント発生の有無を区別する、操作入力装置。
2. 前記検出部は、前記操作指示体の前記予め定めた面が前記表示パネル表面を向いているか否かによって、前記対象オブジェクトへの操作イベント発生の有無を区別する、請求項１に記載の操作入力装置。
3. 前記検出部は、前記操作指示体の前記予め定めた面の向き変更を判定し、その判定結果により、前記対象オブジェクトへの操作イベント発生の有無を区別する、請求項１または請求項２に記載の操作入力装置。
4. 前記オブジェクトへの操作イベントに対する処理を記憶する記憶部と、
   前記対象オブジェクトへの前記検出された操作イベントに対する処理を前記記憶部から読み出し実行する処理実行部とをさらに備える、請求項１〜請求項３のいずれか１項に記載の操作入力装置。
5. 前記記憶部は、前記オブジェクトへの操作イベントに対して、前記表示パネル表面に前記操作指示体が近接する場合の第１処理と、前記表示パネル表面に前記操作指示体が接触する場合の第２処理とを組にして記憶し、
   前記処理実行部は、前記操作指示体の前記表示パネル表面への近接を前記状態信号が示す場合に前記対象オブジェクトへの操作イベント発生が前記検出部により検出されると、前記第１処理を実行し、前記対象オブジェクトが変更されずに前記操作指示体の前記表示パネル表面への接触を前記状態信号が示すようになると、前記第２処理を実行する、請求項４に記載の操作入力装置。
6. 表示パネル上の画面に配置されるオブジェクトに対する操作を受け付ける手続をコンピュータに実行させるための操作入力プログラムであって、
   前記手続は、
   操作指示体の前記表示パネル表面への接近状態に関する状態信号を取得する手順と、
   前記取得された状態信号に基づいて、操作の対象オブジェクトおよび前記対象オブジェクトへの操作イベント発生を検出する手順とを備え、
   前記検出する手順は、前記操作指示体の前記表示パネル表面への近接を前記状態信号が示す場合、前記操作指示体の予め定めた面の前記表示パネル表面に対する向きを前記状態信号に基づいて判定し、その判定結果により、前記対象オブジェクトへの操作イベント発生の有無を区別する、操作入力プログラム。

Images