JP2012256213A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】既存の操作に不慣れなユーザであっても容易にオブジェクトの処理を指示できるようにすること。
【解決手段】情報処理装置１は、入力操作受付部５１と、距離特定部５２と、制御部５３と、を備える。入力操作受付部５１は、タッチパネルが積層された表示部１６の表示面（２次元平面）に略平行な物体の移動を、タッチパネルに対するタッチ操作として受け付ける。距離特定部５２は、タッチ操作がなされた場合の物体についての、表示部１６の表示面（２次元平面）からの距離を検出する。制御部５３は、入力操作受付部５１により受け付けられたタッチ操作の種類（物体の移動の軌跡に応じて異なる種類）と、距離特定部５２により検出された距離に基づいて、表示されたオブジェクトに関する処理の実行を可変制御する。
【選択図】図２

Description

本発明は、既存の操作に不慣れなユーザであっても容易にオブジェクトの処理を指示することが可能にする情報処理装置、情報処理方法及びプログラムに関する。

昨今、液晶ディスプレイに積層されたタッチパネルを備えた情報処理装置の需要が高まりつつある。情報処理装置は、タッチパネルに対するユーザの指やタッチペン等の物体の接触の操作に基づいて、表示部に表示されるオブジェクトに関する処理を実行する（例えば、特許文献１乃至５参照）。

特開平０７−３３４３０８号公報 実用新案登録第３１５０１７９号公報 特開２００９−２６１５５号公報 特開２００６−２３６１４３号公報 特開２０００−１６３０３１号公報

しかしながら、特許文献１乃至５に記載の技術を適用した場合であっても、複雑なタッチ操作を行わなければオブジェクトの処理が適切に行われないことがあるという問題が生じている。

このような問題は、タッチパネルのみならず、入力機器に接触する操作、例えばキーボードのキーを押下する操作やマウスをクリックする操作等、入力機器等に指等の物体を接触する既存の操作全体で生じている。

本発明は、このような状況に鑑みてなされたものであり、既存の操作に不慣れなユーザであっても容易にオブジェクトの処理を指示できるようにすることを目的とする。

上記目的を達成するため、本発明の一態様の情報処理装置は、
基準平面に対する物体の３次元方向の位置を検出する３次元位置検出手段と、
前記３次元位置検出手段により時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受け付け手段と、
前記３次元操作受け付け手段により受け付けられた前記指示操作に応じて、前記オブジェクトに関する処理を可変制御する制御手段と、
を備えることを特徴とする。

本発明によれば、既存の操作に不慣れなユーザであっても容易にオブジェクトの処理を指示できるようにすることができる。

本発明の実施形態に係る情報処理装置のハードウェアの構成を示すブロック図である。 図１の情報処理装置の機能的構成のうち、入力操作受付処理を実行するための機能的構成を示す機能ブロック図である。 図１の情報処理装置の入力部の一部を示す断面図である。 図２の機能的構成を有する図１の情報処理装置が実行する入力操作受付処理の流れを説明するフローチャートである。 図１の情報処理装置の入力部に対しタッチ操作がなされた状態を示している。 図１の情報処理装置の入力部に対しフリック操作がなされた状態を示している。 図１の情報処理装置の入力部上で手を握ったり開いたりした操作がなされた状態を示している。 図１の情報処理装置の入力部に対し回転操作がなされた状態を示している。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の実施形態に係る情報処理装置のハードウェアの構成を示すブロック図である。
情報処理装置１は、例えばスマートフォンとして構成される。

情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、表示部１６と、入力部１７と、記憶部１８と、通信部１９と、ドライブ２０と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１８からＲＡＭ１３にロードされたプログラムにしたがって各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、表示部１６、入力部１７、記憶部１８、通信部１９及びドライブ２０が接続されている。

表示部１６は、ディスプレイにより構成され画像を表示する。
入力部１７は、表示部１６の表示画面に積層されるタッチパネルで構成されており、ユーザの指示操作に応じて各種情報を入力する。入力部１７は、後述の図３を参照して説明するように、静電容量式タッチパネル３１と、抵抗膜式タッチパネル３２と、を備えている。
記憶部１８は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部１９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア４１が適宜装着される。ドライブ２０によってリムーバブルメディア４１から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア４１は、記憶部１８に記憶されている画像のデータ等の各種データも、記憶部１８と同様に記憶することができる。

図２は、このような情報処理装置１の機能的構成のうち、入力操作受付処理を実行するための機能的構成を示す機能ブロック図である。
入力操作受付処理とは、ユーザにより図示せぬ電源ボタンが押下されたことを契機として開始される、次のような処理をいう。即ち、入力操作受付処理とは、入力部１７のタッチパネルに対する操作を受け付け、当該操作に応じてオブジェクトに関する処理を実効するまでの一連の処理をいう。

ＣＰＵ１１においては、入力操作受付処理の実行が制御される場合、入力操作受付部５１と、距離特定部５２と、制御部５３と、が機能する。

本実施形態においては、入力部１７の一部は、図３に示すように、静電容量式タッチパネル３１と、抵抗膜式タッチパネル３２として構成されている。
図３は、入力部１７の一部を示す断面図である。
静電容量式タッチパネル３１と、抵抗膜式タッチパネル３２とは、表示部１６（図１参照）のディスプレイの表示画面全体にそれぞれ積層され、タッチ操作がなされた位置の座標を検出する。ここで、タッチ操作とは、タッチパネルに対する物体（ユーザの指やタッチペン等）の接触又は近接の操作をいう。
静電容量式タッチパネル３１と、抵抗膜式タッチパネル３２とは入力操作受付部５１を介して、検出した位置の座標を制御部５３へ供給する。

静電容量式タッチパネル３１は、表示部１６のディスプレイの表示画面上において、導電膜により形成される。即ち、指先が静電容量式タッチパネル３１の表面に近づくだけで静電結合が起きるため、指先が静電容量式タッチパネル３１に接触しない場合であっても近接するだけで、静電容量式タッチパネル３１は、指先と導電膜との間での静電容量の変化を捉えて位置を検出する。表示画面に対して指或いはスタイラスペンのような突起物を接触又は近接させる操作（以下、「画面タッチ操作」と呼ぶ）をユーザが行うと、ＣＰＵ１１は、このような指先と導電膜との間での静電容量の変化に基づいて当該指の接触位置の座標を検出する。

抵抗膜式タッチパネル３２は、表示部１６のディスプレイの表示画面上において、ＰＥＴ（Ｐｏｌｙｅｔｈｙｌｅｎｅ ｔｅｒｅｐｈｔｈａｌａｔｅ）のような柔らかい表面膜と、その奥にある液晶ガラス膜が並行に重ねられて形成される。双方の膜は、それぞれ透明な導電膜が貼り込まれており、透明なスペーサを介してそれぞれ電気的に絶縁されている。表面膜とガラス膜とはそれぞれ導体が通っており、画面タッチ操作をユーザが行うと、突起物による応力により表面膜が湾曲し、表面膜とガラス膜が部分的に導通状態となる。この時、突起物の接触位置に応じて電気抵抗値や電位が変化する。ＣＰＵ１１は、このような電気抵抗値や電位の変化に基づいて当該突起物の接触位置の座標を検出する。

以上まとめると、静電容量式タッチパネル３１は、指先と導電膜との間での静電容量の変化を捉えて、２次元平面上（画面上）の位置を検出する。したがって、静電容量式タッチパネル３１は、指１０１が静電容量式タッチパネル３１に対し非接触状態でも、即ち近接状態でも、タッチ操作がなされた２次元平面上の位置の座標を検出することができる。さらにこの場合、指１０１と静電容量式タッチパネル３１との距離、換言すると、指１０１の高さ方向の位置の座標を、高精度とはいえないまでも検出可能である。
これに対し、抵抗膜式タッチパネル３２は、指１０１が抵抗膜式タッチパネル３２に対し非接触状態では、タッチ操作がなされたと検出されない。即ち、指１０１が抵抗膜式タッチパネル３２に対し非接触状態の場合、当該指１０１の２次元平面上の位置の座標は検出されず、かつ、当該指１０１の高さ方向の位置の座標（距離）も検出されない。しかし、抵抗膜式タッチパネル３２は、静電容量式タッチパネル３１と比較して、タッチ操作がなされた２次元平面上の位置の座標を高精度かつ高分解能で検出することができる。

本実施形態においては、静電容量式タッチパネル３１と、抵抗膜式タッチパネル３２は、表示部１６のディスプレイの表示画面全体にその順番で積層されているため、静電容量式タッチパネル３１の表面により、抵抗膜式タッチパネル３２を保護することができる。さらに、静電容量式タッチパネル３１により、非接触状態でもタッチ操作がなされた２次元平面上の位置の座標及び、指１０１と静電容量式タッチパネル３１との距離（高さ方向の位置の座標）、即ち３次元空間上の位置の座標を検出することができる。一方で、指１０１が接触した場合には、抵抗膜式タッチパネル３２により、タッチ操作がなされた位置の座標を高精度かつ高分解能で検出することができる。

図２に戻って、入力操作受付部５１は、入力部１７のタッチパネル（静電容量式タッチパネル３１と、抵抗膜式タッチパネル３２）に対するタッチ操作を、入力部１７に対する入力操作の１つとして受け付け、受け付けた２次元上の位置の座標を制御部５３へ通知する。

距離特定部５２は、入力部１７のタッチパネルのうち、静電容量式タッチパネル３１に対してタッチ操作をする物体（指１０１等）までの距離を検出する。具体的には、距離特定部５２は、静電容量式タッチパネル３１の静電容量の変化を捉えて、入力部１７と物体（手や指１０１等）との間の距離（高さ方向の位置の座標）を特定し、当該距離を制御部５３へ通知する。

制御部５３は、入力操作受付部５１により受け付けられた２次元平面上の位置の座標、及び距離特定部５２により特定された距離（高さ方向の位置の座標）に基づいて、表示部１６に表示されたオブジェクトに関する処理を実行する。具体的には、制御部５３は、所定のオブジェクトを示す画像を表示部１６の表示画面に含むように表示させる制御等を実行する。オブジェクトに関する操作の具体例については、後述の図５乃至８を参照して説明する。

次に、図４を参照して、このような図２の機能的構成の情報処理装置１が実行する入力操作受付処理について説明する。
図４は、図２の機能的構成を有する図１の情報処理装置１が実行する入力操作受付処理の流れを説明するフローチャートである。

入力操作受付処理は、ユーザにより情報処理装置１の電源ボタン（図示せず）が押下されたことを契機として開始され、次のような処理が繰り返し実行される。

ステップＳ１１において、入力操作受付部５１は、タッチパネルに対するユーザによるタッチ操作を受け付けたか否かを判定する。タッチパネルに対するユーザによるタッチ操作が行われていない場合には、ステップＳ１１においてＮＯであると判定されて、処理はステップＳ１１に再び戻される。即ち、タッチ操作が行われるまでの間、ステップＳ１１の判定処理が繰り返し実行されて、入力操作受付処理は待機状態となる。その後、タッチ操作が行われた場合には、ステップＳ１１においてＹＥＳであると判定されて、処理はステップＳ１２に進む。

ステップＳ１２において、距離特定部５２は、入力部１７のタッチパネルと、該タッチパネルに対する手や指等の物体との間の距離（高さ方向の位置の座標）を特定する。

ステップＳ１３において、制御部５３は、入力操作受付部５１により受け付けられた位置の座標、即ちタッチ操作がなされた２次元平面上の位置の座標、及び距離特定部５２により検出された距離（高さ方向の位置の座標）に応じて、表示部１６に表示されたオブジェクトに関する処理を実行する。オブジェクトに関する処理の具体例については、後述の図５乃至８を参照して説明する。

ステップＳ１４において、ＣＰＵ１１は、入力操作受付終了の指示があったか否かを判定する。入力操作受付終了の指示がない場合、ステップＳ１４においてＮＯであると判定されて、処理はステップＳ１１に戻される。即ち、入力操作受付終了の指示があるまでの間、ステップＳ１１乃至Ｓ１４の処理が繰り返し行われる。
このようにして、ユーザは入力操作受付終了の指示を行うまでの間、タッチパネルに対するタッチ操作を繰り返すことで、所望のオブジェクトを制御することができる。その後、例えばユーザが情報処理装置１に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップＳ１４においてＹＥＳであると判定されて、入力操作受付処理は終了となる。

次に、入力部１７に対する操作に応じた、オブジェクトに関する処理の具体例について説明する。
図５は、図１の情報処理装置の入力部１７に対しタッチ操作がなされた状態を示している。

図５（ａ−１）に示すように、指１０１が入力部１７から距離Ａだけ離間している場合には、表示部１６のディスプレイに表示されるアイコン（オブジェクトの一種）は、図５（ｂ−１）に示す表示率ａの大きさで表示されているものとする。
この場合、図５（ａ−２）に示すように、指１０１が入力部１７に対して、距離Ａよりも短い距離Ｂだけ近づくと、表示部１６のディスプレイに表示されるアイコンは、図５（ｂ−２）に示すように、表示率ａよりも拡大された表示率ｂの大きさで表示される。
なお、アイコンの拡大率は、距離に応じて可変すれば足りるが、本実施形態では、距離に比例して拡大率が縮小するものとする。即ち、図５の例では、表示率ｂは、表示率ａの（Ａ／Ｂ）倍になる。
なお、本実施形態においては、入力部１７と指との間の距離ｎが小さくなると、表示部１６のディスプレイに表示されるアイコンの表示率は大きくなるが、これに限られるものではない。例えば、入力部１７と指との間の距離ｎが大きくなると、表示部１６のディスプレイに表示されるアイコンの表示率を小さくしてもよい。

次に、表示部１６の表示画面（２次元平面）に対し略平行に指１０１を移動させる操作（以下、「フリック操作」と呼ぶ）をした場合であっても、指１０１と入力部１７の距離の違いに応じて、オブジェクトに関する処理を変更する例について説明する。
図６は、図１の情報処理装置の入力部１７に対しフリック操作がなされた状態を示している。

図６（ａ）に示すように、ユーザが、入力部１７と指１０１との間の距離が０でフリック操作をした場合、即ち、指１０１を入力部１７に接触した状態を維持してフリック操作をした場合には、制御部５３は、オブジェクトに関する処理として、第１の処理を実行する。
これに対し、図６（ｂ）に示すように、ユーザが、入力部１７と指１０１との間の距離が離れている状態でフリック操作をした場合、即ち、指１０１が入力部１７に対して非接触の状態を維持してフリック操作をした場合には、制御部５３は、オブジェクトに関する処理として、第２の処理を実行する。
ここで、第１の処理と第２の処理とは、相互に異なる処理であれば任意の処理でよいが、本実施形態では、表示部１６に表示されている本やノート（オブジェクトの一種）のページを送る処理が第１の処理として、表示部１６に表示されるファイル（オブジェクトの別の一種）を変更する処理が第２の処理として、それぞれ採用されている。

次に、入力部１７上で手１０２を握ったり開いたりする一連の操作に応じて、オブジェクトに関する処理を実行する例について説明する。
図７は、図１の情報処理装置の入力部１７上で手１０２を握ったり開いたりした操作がなされた状態を示している。

入力部１７と手１０２との間の距離が離れている場合、即ち、手１０２が入力部１７に非接触状態の場合、手１０２の状態を、図７（ａ）から図７（ｂ）に示す状態に遷移させる一連の動作（ジェスチャ）、即ち手１０２を広げた状態から手１０２を握った状態に遷移させるジェスチャをした場合には、制御部５３は、当該ジェスチャを認識し、当該ジェスチャに予め対応付けられた処理を実行する。この場合、当該ジェスチャに対応付けられた処理は、特に限定されないが、本実施形態では、表示部１６に表示されているファイルを削除する処理が採用されている。
なお、ジェスチャの種類と個数は、図７の例に特に限定されず、任意の種類の任意の個数のジェスチャを採用することができる。例えば、図示はしないが、手１０２を開いた状態から握った状態に遷移させるジェスチャや、手１０２を握ったり開いたりすることを繰り返すジェスチャを採用することができる。即ち、Ｎ種類（Ｎは１以上の任意の整数値）のジェスチャを採用することが可能である。この場合、Ｎ種類のジェスチャの各々に対して、相異なる任意の処理をそれぞれ対応付けることができる。

次に、表示部１６の表示画面（２次元平面）に対し略平行に指１０１を回転させる操作（以下、「回転操作」と呼ぶ）した場合であっても、指１０１と入力部１７の距離の違いに応じて、オブジェクトに関する処理を変更する例について説明する。
図８は、図１の情報処理装置の入力部１７に対し回転操作がなされた状態を示している。

図８（ａ）に示すように、ユーザが、入力部１７と指１０１との間の距離が０の状態、即ち、指１０１が入力部１７に接触している状態を維持して回転操作をした場合には、制御部５３は、オブジェクトに関する処理として、第１の処理を実行する。
これに対し、図８（ｂ）に示すように、ユーザが、入力部１７と指１０１との間の距離が離れている状態、即ち、指１０１が入力部１７に対して非接触の状態を維持して回転操作をした場合には、制御部５３は、オブジェクトに関する処理として、第２の処理を実行する。
ここで、第１の処理と第２の処理とは、相互に異なる処理であれば任意の処理でよいが、本実施形態では、表示部１６に表示されているオブジェクト１０３を、回転操作する指１０１の軌跡に追随して回転させる処理が第１の処理として、当該オブジェクトを所定角度回転させる処理が第２の処理として、それぞれ採用されている。
なお、オブジェクト１０３の回転角度は、距離に応じて可変すれば足りるが、本実施形態では、距離が０の場合には指１０１の回転角度と略一致させ、これを基準角度として、距離に比例して基準角度よりも小さくなっていくものとする。即ち、距離をｎとするならば、オブジェクト１０３の回転角度は、基準角度の（１／ｎ）倍になる。

以上説明したように、本実施形態の情報処理装置１は、入力操作受付部５１と、距離特定部５２と、制御部５３と、を備える。
入力操作受付部５１は、タッチパネルが積層された表示部１６の表示面（２次元平面）に略平行な物体の移動を、タッチパネルに対するタッチ操作として受け付ける。
距離特定部５２は、タッチ操作がなされた場合の物体についての、表示部１６の表示面（２次元平面）からの距離を検出する。
制御部５３は、入力操作受付部５１により受け付けられたタッチ操作の種類（物体の移動の軌跡に応じて異なる種類）と、距離特定部５２により検出された距離に基づいて、表示されたオブジェクトに関する処理の実行を可変制御する。
これにより、タッチパネルに対する操作が不慣れなユーザであっても直感的にジェスチャ操作（指や手と言った物体を移動させるという直感的なタッチ操作）を行うだけで、オブジェクトに関する処理の各種指示を行うことができる。これにより、タッチパネルに不慣れなユーザであっても容易にオブジェクトの処理を指示することができる。

さらに、本実施形態の情報処理装置１の制御部５３は、ジェスチャ操作（タッチ操作）に対応付けられた、オブジェクトに関する処理を制御するようにした。これにより、タッチパネルに対する操作が不慣れなユーザであっても直感的にジェスチャ操作（手や指を開いたり閉じたりする直感的なタッチ操作）を行うだけで、オブジェクトに関する処理の各種指示を行うことができる。これにより、タッチパネルに不慣れなユーザであっても容易にオブジェクトの処理を指示することができる。

さらに、本実施形態の情報処理装置１の制御部５３は、距離特定部５２により特定された距離に対応付けられた、オブジェクトに関する処理を制御するようにした。これにより、タッチパネルに対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、オブジェクトに関する処理の各種指示を行うことができる。これにより、タッチパネルに不慣れなユーザであっても容易にオブジェクトの処理を指示することができる。

さらに、本実施形態の情報処理装置１の制御部５３は、距離特定部５２により特定された距離に応じて、表示部１６の表示面に表示されるオブジェクトの表示率を変更するようにした。これにより、タッチパネルに対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、オブジェクトの表示率を変更することができる。これにより、タッチパネルに不慣れなユーザであっても容易にオブジェクトの倍率の変更を指示することができる。

さらに、本実施形態の情報処理装置１の制御部５３は、距離特定部５２により特定された距離に応じて、表示部１６の表示面に表示されるオブジェクトのページ送り又はオブジェクトの変更の何れかの制御を実行するようにした。これにより、タッチパネルに対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、オブジェクトの制御を変更することができる。これにより、タッチパネルに不慣れなユーザであっても容易にオブジェクトの制御の変更を指示することができる。

さらに、本実施形態の情報処理装置１の制御部５３は、距離特定部５２により検出された距離に応じて、表示部１６の表示面に表示されるオブジェクトを入力操作受付部５１により受け付けられた回転操作に対応付けられた、オブジェクトに関する処理を制御するようにした。これにより、タッチパネルに対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、回転操作に応じてオブジェクトの制御を変更することができる。これにより、タッチパネルに不慣れなユーザであっても回転操作を行うだけで容易にオブジェクトの制御の変更を指示することができる。

さらに、本実施形態の情報処理装置１のタッチパネルは、静電容量式タッチパネルと、抵抗膜式タッチパネルとにより構成されている。
この場合、静電容量式タッチパネル３１の表面により、抵抗膜式タッチパネル３２を保護することができる。さらに、静電容量式タッチパネル３１により、非接触状態でもタッチ操作がなされた位置の座標及び、指１０１と静電容量式タッチパネル３１との距離を検出することができるとともに、接触した場合には、抵抗膜式タッチパネル３２により、より詳細にタッチ操作がなされた位置の座標を検出することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、静電容量式タッチパネル３１と、抵抗膜式タッチパネル３２は、表示部１６のディスプレイの表示画面全体にその順番で積層されているがこの限りではない。例えば、抵抗膜式タッチパネル３２と、静電容量式タッチパネル３１と、はその順番で表示部１６のディスプレイの表示画面全体にその順番で積層されてもよい。

また上述の実施形態では、距離特定部５２は、入力部１７を構成する静電容量式タッチパネル３１の静電容量の変化から入力部１７と手や指等との距離を複数特定しているがこの限りではない。例えば、距離特定部５２は、図示せぬ超音波センサ、赤外線センサ、撮像装置、等により検出された距離を特定してもよい。

換言すると、上述した実施形態では、入力操作受付部５１は、表示部１６の表示画面（２次元平面）に略平行な方向の、物体（手や指等）の２次元上の位置の移動の操作を、タッチ操作として受け付けた。また、距離特定部５２は、物体の表示画面からの距離、即ち、表示画面の垂線と略平行な方向の物体の位置を検出した。
してみると、上述した実施形態とは、入力操作受付部５１及び距離特定部５２が、表示部１６の表示画面を基準平面として、基準平面に対する３次元方向の物体の移動の操作を受け付けていることと等価である。そこで、入力操作受付部５１及び距離特定部５２をまとめて、以下、「３次元操作受付部」と呼ぶ。
この場合、基準平面は、表示部１６の表示画面である必要は特になく、任意の平面でよい。この場合、基準平面は、ユーザから肉眼視できる平面を採用する必要はなく、何らかの物体内の平面を採用してもよいし、仮想的な平面を基準平面として定義してもよい。
また、物体の３次元上の位置を測定する３次元位置検出部は、上述の実施形態では静電容量式タッチパネル３１及び抵抗膜式タッチパネル３２として構成されたが、特にこれに限定されず、任意の種類の任意の個数の位置検出部を組み合わせて構成することができる。ここで、上述の距離とは、基準面の法線方向の位置に他ならないので、距離を検出することは、基準面の法線方向の位置を検出することに他ならない。

以上まとめると、本発明が適用される情報処理装置とは、次のような機能を有していれば足り、その実施形態は上述の実施形態に特に限定されない。
即ち、本発明が適用される情報処理装置とは、
基準平面に対する物体の３次元方向の位置を検出する３次元位置検出機能と、
時間的に離間して複数回検出された物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受け付け機能と、
受け付けられた指示操作に応じて、当該オブジェクトに関する処理を可変制御する制御機能と、
を有している。

また、上述の実施形態では、入力部１７と指１０１との距離に応じて表示部１６のディスプレイに表示されるアイコンの表示率を変更していたがこれに限られない。例えば、入力部１７と指１０１との距離に応じて指１０１に近接する箇所にセンターリングして表示されるようにしてもよい。

また、上述の実施形態では、本発明が適用される情報処理装置１は、スマートフォンを例として説明したが、特にこれに限定されない。
例えば、本発明は、撮像機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、デジタルカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア４１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア４１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１８に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
基準平面に対する物体の３次元方向の位置を検出する３次元位置検出手段と、
前記３次元位置検出手段により時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受け付け手段と、
前記３次元操作受け付け手段により受け付けられた前記指示操作に応じて、前記オブジェクトに関する処理を可変制御する制御手段と、
を備えることを特徴とする情報処理装置。
［付記２］
前記３次元位置検出手段は、表示画面を基準平面として、当該表示画面に積層されたタッチパネルを含み、
前記３次元操作受け付け手段は、
前記表示画面に略平行な２次元方向の物体の移動を、前記タッチパネルに対するタッチ操作として受け付ける入力操作受付手段と、
前記物体の前記表示画面からの距離を、前記表示画面の法線方向の前記物体の位置として特定する距離特定手段と、
を含むことを特徴とする付記１に記載の情報処理装置。
［付記３］
前記制御手段は、
前記タッチ操作に予め対応付けられた、オブジェクトに関する処理を制御することを特徴とする付記２に記載の情報処理装置。
［付記４］
前記制御手段は、
前記距離特定手段により特定された距離に対応付けられた、オブジェクトに関する処理を制御することを特徴とする付記２に記載の情報処理装置。
［付記５］
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトの表示率を変更する制御を実行することを特徴とする付記４に記載の情報処理装置。
［付記６］
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトのページ送り又はオブジェクトの変更の何れかの制御を実行することを特徴とする付記４に記載の情報処理装置。
［付記７］
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトを前記３次元操作受け付け手段により受け付けられた回転操作に対応付けられた、オブジェクトに関する処理を制御することを特徴とする付記４に記載の情報処理装置。
［付記８］
前記タッチパネルは、
静電容量式タッチパネルと、抵抗膜式タッチパネルとにより構成されていることを特徴とする付記２乃至７のうち何れか１つに記載の情報処理装置。
［付記９］
オブジェクトに関する処理を制御する情報処理装置が実行する情報処理方法において、
基準平面に対する物体の３次元方向の位置を検出する３次元位置検出ステップと、
前記３次元位置検出ステップにより時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受け付けステップと、
前記３次元操作受け付けステップにより受け付けられた前記指示操作に応じて、前記オブジェクトに関する処理を可変制御する制御ステップと、
を含むことを特徴とする情報処理方法。
［付記１０］
オブジェクトに関する処理を制御する情報処理装置を制御するコンピュータに、
基準平面に対する物体の３次元方向の位置を検出する３次元位置検出機能と、
前記３次元位置検出機能により時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受け付け機能と、
前記３次元操作受け付け機能により受け付けられた前記指示操作に応じて、前記オブジェクトに関する処理を可変制御する制御機能と、
を含む情報処理を実行させるプログラム。

１・・・情報処理装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・表示部、１７・・・入力部、１８・・・記憶部、１９・・・通信部、２０・・・ドライブ、３１・・・静電容量式タッチパネル、３２・・・抵抗膜式タッチパネル、４１・・・リムーバブルメディア、５１・・・入力操作受付部、５２・・・距離特定部、５３・・・制御部

Claims (10)

1. 基準平面に対する物体の３次元方向の位置を検出する３次元位置検出手段と、
   前記３次元位置検出手段により時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受け付け手段と、
   前記３次元操作受け付け手段により受け付けられた前記指示操作に応じて、前記オブジェクトに関する処理を可変制御する制御手段と、
   を備えることを特徴とする情報処理装置。
2. 前記３次元位置検出手段は、表示画面を基準平面として、当該表示画面に積層されたタッチパネルを含み、
   前記３次元操作受け付け手段は、
   前記表示画面に略平行な２次元方向の物体の移動を、前記タッチパネルに対するタッチ操作として受け付ける入力操作受付手段と、
   前記物体の前記表示画面からの距離を、前記表示画面の法線方向の前記物体の位置として特定する距離特定手段と、
   を含むことを特徴とする請求項１に記載の情報処理装置。
3. 前記制御手段は、
   前記タッチ操作に予め対応付けられた、オブジェクトに関する処理を制御することを特徴とする請求項２に記載の情報処理装置。
4. 前記制御手段は、
   前記距離特定手段により特定された距離に対応付けられた、オブジェクトに関する処理を制御することを特徴とする請求項２に記載の情報処理装置。
5. 前記制御手段は、
   前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトの表示率を変更する制御を実行することを特徴とする請求項４に記載の情報処理装置。
6. 前記制御手段は、
   前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトのページ送り又はオブジェクトの変更の何れかの制御を実行することを特徴とする請求項４に記載の情報処理装置。
7. 前記制御手段は、
   前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトを前記３次元操作受け付け手段により受け付けられた回転操作に対応付けられた、オブジェクトに関する処理を制御することを特徴とする請求項４に記載の情報処理装置。
8. 前記タッチパネルは、
   静電容量式タッチパネルと、抵抗膜式タッチパネルとにより構成されていることを特徴とする請求項２乃至７のうち何れか１項に記載の情報処理装置。
9. オブジェクトに関する処理を制御する情報処理装置が実行する情報処理方法において、
   基準平面に対する物体の３次元方向の位置を検出する３次元位置検出ステップと、
   前記３次元位置検出ステップにより時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受け付けステップと、
   前記３次元操作受け付けステップにより受け付けられた前記指示操作に応じて、前記オブジェクトに関する処理を可変制御する制御ステップと、
   を含むことを特徴とする情報処理方法。
10. オブジェクトに関する処理を制御する情報処理装置を制御するコンピュータに、
    基準平面に対する物体の３次元方向の位置を検出する３次元位置検出機能と、
    前記３次元位置検出機能により時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受け付け機能と、
    前記３次元操作受け付け機能により受け付けられた前記指示操作に応じて、前記オブジェクトに関する処理を可変制御する制御機能と、
    を含む情報処理を実行させるプログラム。

Images