JP2016042383A - ユーザ操作処理装置、ユーザ操作処理方法及びプログラム - Google Patents

Abstract

【課題】既存の操作に不慣れなユーザであっても容易にオブジェクトの処理を指示する情報処理装置、方法及びプログラムを提供する。
【解決手段】情報処理装置においてＣＰＵ１１は、入力操作受付部５１と、距離特定部５２と、制御部５３と、を備える。入力操作受付部５１は、タッチパネルが積層された表示部１６の表示面（２次元平面）に略平行な物体の移動を、タッチパネルに対するタッチ操作として受け付ける。距離特定部５２は、タッチ操作がなされた場合の物体についての、表示部１６の表示面（２次元平面）からの距離を検出する。制御部５３は、入力操作受付部５１により受け付けられたタッチ操作の種類（物体の移動の軌跡に応じて異なる種類）と、距離特定部５２により検出された距離に基づいて、表示されたオブジェクトに関する処理の実行を可変制御する。
【選択図】図２

Description

本発明は、既存の操作に不慣れなユーザであっても容易にオブジェクトの処理を指示することが可能にする情報処理装置、情報処理方法及びプログラムに関する。

昨今、液晶ディスプレイなどの表示部に積層されたタッチパネルを備えた情報処理装置の需要が高まりつつある。情報処理装置は、タッチパネルに対するユーザの指やタッチペンなどの物体の接触又は近接による操作（以下、「タッチ操作」と呼ぶ）に基づいて、表示部に表示されるオブジェクトに関する処理を実行する（例えば、特許文献１乃至５参照）。

特開平０７−３３４３０８号公報 実用新案登録第３１５０１７９号公報 特開２００９−２６１５５号公報 特開２００６−２３６１４３号公報 特開２０００−１６３０３１号公報

しかしながら、特許文献１乃至５に記載の技術を適用した場合であっても、複雑なタッチ操作が行われなければオブジェクトに関する処理が適切に行われないことがあるという問題が生じている。

このような問題は、タッチパネルのみならず、入力機器に接触する操作、例えばキーボードのキーを押下する操作やマウスをクリックする操作など、入力機器などに指などの物体を接触又は近接させる既存の操作全体で生じている。

本発明は、このような状況に鑑みてなされたものであり、既存の操作に不慣れなユーザであっても容易にオブジェクトの処理を指示できるようにすることを目的とする。

上述した課題を解決するために、本発明の一態様の情報処理装置は、
基準平面に対する物体の３次元方向の位置を検出する３次元位置検出手段と、
前記３次元位置検出手段により時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受付手段と、
前記３次元操作受付手段により受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御手段と、
を備え、
前記３次元位置検出手段は、表示画面を基準平面として、当該表示画面に積層されたタッチパネルを含み、
前記オブジェクトに関する処理として、異なる処理がそれぞれ対応付けられた複数種のタッチ操作が、前記表示画面の法線方向の距離に応じてそれぞれ割り当てられており、
前記３次元操作受け付け手段は、
前記表示画面に略平行な２次元方向の物体の移動操作を受け付ける入力操作受付手段と、
前記物体の前記表示画面からの法線方向の距離を特定する距離特定手段と、を含み、
前記制御手段は、前記入力操作受付手段により受け付けられた移動操作、及び前記距離特定手段により特定された距離に基づいて、前記複数種のタッチ操作のうち、実行されたタッチ操作を認識し、当該タッチ操作に対応した前記オブジェクトに関する処理を制御し、更に、
前記制御手段は、前記距離特定手段により特定された距離に応じて、文字認識の結果に基づき取得される変換候補の文字として異なる文字種を選択する制御を実行することを特徴とする。

本発明によれば、既存の操作に不慣れなユーザであっても容易にオブジェクトの処理を指示できるようにすることができる。

本発明の第１実施形態に係る情報処理装置のハードウェアの構成を示すブロック図である。 図１の情報処理装置の機能的構成のうち、入力操作受付処理を実行するための機能的構成を示す機能ブロック図である。 図１の情報処理装置の入力部の一部を示す断面図である。 図２の機能的構成を有する図１の情報処理装置が実行する第１実施形態の入力操作受付処理の流れを説明するフローチャートである。 図１の情報処理装置の入力部に対しフリック操作がなされた状態を示している図である。 図２の機能的構成を有する図１の情報処理装置が実行する第２実施形態の入力操作受付処理の流れを説明するフローチャートである。 図１の情報処理装置の入力部に対し円を描くようなフリック操作がなされた状態を示す図である。 図２の機能的構成を有する図１の情報処理装置の表示部で表示される表示例を説明する図である。 図２の機能的構成を有する図１の情報処理装置が実行する第３実施形態の入力操作受付処理の流れを説明するフローチャートである。 図２の機能的構成を有する図１の情報処理装置が実行する第４実施形態の入力操作受付処理の流れを説明するフローチャートである。 図１の情報処理装置の入力部に対しタッチダウンとタッチアップとがなされた状態を示す図である。 図２の機能的構成を有する図１の情報処理装置が実行する第５実施形態の入力操作受付処理の流れを説明するフローチャートである。 図１の情報処理装置の入力部に対しフリック操作がなされた状態を示す図である。 図２の機能的構成を有する図１の情報処理装置が実行する第６実施形態の入力操作受付処理の流れを説明するフローチャートである。 図１の情報処理装置の入力部１７に対し指を近づけたり遠ざけたりしながらフリック操作がなされた状態を示す図である。 図２の機能的構成を有する図１の情報処理装置が実行する第７実施形態の入力操作受付処理の流れを説明するフローチャートである。 図１７は、タッチダウンからタッチアップまでの間に移動した指の各々の位置の座標に基づき作成された軌跡データに対応する文字ストロークの表示例を示す図である。 図２の機能的構成を有する図１の情報処理装置が実行する第８実施形態の入力操作受付処理の流れを説明するフローチャートである。 図１の情報処理装置の入力部１７に対しタッチ操作がなされた状態を示す図である。 図２の機能的構成を有する図１の情報処理装置が実行する第９実施形態の入力操作受付処理の流れを説明するフローチャートである。 図１の情報処理装置の入力部に対しタッチ操作がなされた状態を示す図である。

以下、本発明の実施形態について、図面を用いて説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る情報処理装置のハードウェアの構成を示すブロック図である。
情報処理装置１は、例えばスマートフォンとして構成される。

情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、表示部１６と、入力部１７と、撮像部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムにしたがって各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、表示部１６、入力部１７、撮像部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

表示部１６は、ディスプレイにより構成され画像を表示する。
入力部１７は、表示部１６の表示画面に積層されるタッチパネル３１で構成されており、ユーザの指示操作に応じて各種情報を入力する。入力部１７は、後述の図３を参照して説明するように、静電容量式タッチパネル３１ａと、抵抗膜式タッチパネル３１ｂと、を備えている。

撮像部１８は、被写体を撮像し、当該被写体の像を含む画像（以下、「撮像画像」と称する）のデータをＣＰＵ１１に供給する。

記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などで構成され、各種画像のデータ、撮像画像のデータの他、文字認識のためのアプリケーションプログラムなどの各種プログラムなどを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなる、リムーバブルメディア４１が適宜装着される。ドライブ２１によってリムーバブルメディア４１から読み出されたプログラム（例えば、上述の文字認識のためのアプリケーションプログラムなど）は、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア４１は、記憶部１９に記憶されている画像のデータなどの各種データも、記憶部１９と同様に記憶することができる。

図２は、このような情報処理装置１の機能的構成のうち、入力操作受付処理を実行するための機能的構成を示す機能ブロック図である。
入力操作受付処理とは、ユーザにより図示せぬ電源ボタンが押下されたことを契機として開始される、次のような処理をいう。即ち、入力操作受付処理とは、入力部１７のタッチパネル３１に対するタッチ操作を受け付け、当該タッチ操作に応じてオブジェクトに関する処理を実効するまでの一連の処理をいう。

ＣＰＵ１１においては、入力操作受付処理の実行が制御される場合、入力操作受付部５１と、距離特定部５２と、制御部５３と、が機能する。

本実施形態においては、入力部１７の一部は、図３に示すように、静電容量式タッチパネル３１ａと、抵抗膜式タッチパネル３１ｂとして構成されている。以下、静電容量式タッチパネル３１ａと、抵抗膜式タッチパネル３１ｂとを個々に区別する必要がない場合、これらをまとめて、「タッチパネル３１」と呼ぶ。
図３は、入力部１７の一部を示す断面図である。
静電容量式タッチパネル３１ａと、抵抗膜式タッチパネル３１ｂとは、表示部１６（図１参照）のディスプレイの表示画面全体にそれぞれ積層され、タッチ操作がなされた位置の座標を検出する。ここで、タッチ操作とは、上述したように、タッチパネル３１に対する物体（ユーザの指やタッチペンなど）の接触又は近接の操作をいう。
静電容量式タッチパネル３１ａと、抵抗膜式タッチパネル３１ｂとは入力操作受付部５１を介して、検出した位置の座標を制御部５３へ供給する。

静電容量式タッチパネル３１ａは、表示部１６のディスプレイの表示画面上において、導電膜により形成される。即ち、指先が静電容量式タッチパネル３１ａの表面に近づくだけで静電結合が起きるため、指先が静電容量式タッチパネル３１ａに接触しない場合であっても近接するだけで、静電容量式タッチパネル３１ａは、指先と導電膜との間での静電容量の変化を捉えて位置を検出する。表示画面に対して指或いはスタイラスペンのような突起物を接触又は近接させる操作（タッチ操作）をユーザが行うと、ＣＰＵ１１は、このような指先と導電膜との間での静電容量の変化に基づいて当該指の接触位置の座標を検出する。

抵抗膜式タッチパネル３１ｂは、表示部１６のディスプレイの表示画面上において、ＰＥＴ（Ｐｏｌｙｅｔｈｙｌｅｎｅ ｔｅｒｅｐｈｔｈａｌａｔｅ）のような柔らかい表面膜と、その奥にある液晶ガラス膜が並行に重ねられて形成される。双方の膜は、それぞれ透明な導電膜が貼り込まれており、透明なスペーサを介してそれぞれ電気的に絶縁されている。表面膜とガラス膜とはそれぞれ導体が通っており、タッチ操作をユーザが行うと、突起物による応力により表面膜が湾曲し、表面膜とガラス膜が部分的に導通状態となる。この時、突起物の接触位置に応じて電気抵抗値や電位が変化する。ＣＰＵ１１は、このような電気抵抗値や電位の変化に基づいて当該突起物の接触位置の座標を検出する。

以上まとめると、静電容量式タッチパネル３１ａは、指先と導電膜との間での静電容量の変化を捉えて、２次元平面上（画面上）の位置を検出する。
ここで、当該２次元平面（画面）上に、Ｘ軸と、Ｘ軸と直交するＹ軸とが構築され、Ｘ軸及びＹ軸と直交するＺ軸、即ち画面の法線と平行なＺ軸が構築されているものする。この場合、２次元平面（画面）は、「ＸＹ平面」と呼ぶことができる。
具体的には、静電容量式タッチパネル３１ａは、指１０１が静電容量式タッチパネル３１ａに対し非接触状態でも、即ち近接状態でも、タッチ操作がなされた２次元平面上の位置の座標（即ち、ＸＹ平面上のＸ座標及びＹ座標）を検出することができる。さらにこの場合、静電容量式タッチパネル３１ａは、指１０１と静電容量式タッチパネル３１ａとの距離、換言すると、指１０１の高さ方向の位置の座標（即ち、Ｚ軸上のＺ座標）を、高精度とはいえないまでも検出することができる。

これに対し、抵抗膜式タッチパネル３１ｂは、指１０１が抵抗膜式タッチパネル３１ｂに対し非接触状態では、タッチ操作がなされたと検出しない。即ち、指１０１が抵抗膜式タッチパネル３１ｂに対し非接触状態の場合、当該指１０１の２次元平面上の位置の座標（即ち、ＸＹ平面上のＸ座標及びＹ座標）は検出されず、かつ、当該指１０１の高さ方向の位置の座標（距離）（即ち、Ｚ軸上のＺ座標）も検出されない。しかし、抵抗膜式タッチパネル３１ｂは、静電容量式タッチパネル３１ａと比較して、タッチ操作がなされた２次元平面上の位置の座標を高精度かつ高分解能で検出することができる。

本実施形態においては、静電容量式タッチパネル３１ａと、抵抗膜式タッチパネル３１ｂは、表示部１６のディスプレイの表示画面全体にその順番で積層されているため、静電容量式タッチパネル３１ａの表面により、抵抗膜式タッチパネル３１ｂを保護することができる。さらに、静電容量式タッチパネル３１ａにより、非接触状態でもタッチ操作がなされた２次元平面上の位置の座標及び、指１０１と静電容量式タッチパネル３１ａとの距離（高さ方向の位置の座標）、即ち３次元空間上の位置の座標を検出することができる。一方で、指１０１が接触した場合には、抵抗膜式タッチパネル３１ｂにより、タッチ操作がなされた位置の座標を高精度かつ高分解能で検出することができる。

図２に戻って、入力操作受付部５１は、入力部１７のタッチパネル３１（静電容量式タッチパネル３１ａと、抵抗膜式タッチパネル３１ｂ）に対するタッチ操作を、入力部１７に対する入力操作（指示操作）の１つとして受け付ける。入力操作受付部５１は、受け付けた２次元上の位置の座標を制御部５３へ通知する。また、入力操作受付部５１は、タッチ操作が継続したまま画面（ＸＹ平面）上を指１０１が移動されると（このような、指１０１の画面上の移動を伴うタッチ操作を、以下、「フリック操作」と呼ぶ）、時間的に離間して複数回検出された指１０１の各位置のＸＹ平面上の位置の座標を制御部５３へ逐次通知する。

距離特定部５２は、入力部１７のタッチパネル３１のうち、静電容量式タッチパネル３１ａに対してタッチ操作をする物体（指１０１など）までの距離を検出する。具体的には、距離特定部５２は、静電容量式タッチパネル３１ａの静電容量の変化を捉えて、指１０１の静電容量式タッチパネル３１ａ（表示部１６）からの法線方向の距離、即ち、入力部１７と物体（手や指１０１など）との間の距離（高さ方向の位置の座標）を特定し、当該距離を制御部５３へ通知する。

制御部５３は、入力操作受付部５１により受け付けられた静電容量式タッチパネル３１ａ（表示部１６）に略平行な２次元方向の移動操作、即ち、静電容量式タッチパネル３１ａ（表示部１６）の２次元平面上の位置の座標、及び距離特定部５２により特定された距離（高さ方向の位置の座標）に基づいて、表示部１６に表示されたオブジェクトに関する処理などを実行する。具体的には、制御部５３は、入力操作受付部５１により受け付けられた移動操作、及び距離特定部５２により特定された距離に基づいて、複数種のタッチ操作のうち、実行されたタッチ操作を認識し、当該タッチ操作に対応した所定のオブジェクトを示す画像を表示部１６の表示画面に含むように表示させる制御などを実行する。オブジェクトに関する操作の具体例については、後述の図４乃至２１を参照して説明する。
また、制御部５３は、入力部１７に対する物体（ユーザの指やタッチペンなど）の接触又は近接が開始される行為（以下、「タッチダウン」と呼ぶ）や、タッチダウンの状態から物体（ユーザの指やタッチペンなど）の接触又は近接が解除される行為（以下、「タッチアップ」と呼ぶ）を検出することができる。即ち、タッチダウンにより一のタッチ操作が開始され、タッチアップにより当該一のタッチ操作が終了する。

次に、図４を参照して、このような図２の機能的構成の情報処理装置１が実行する第１実施形態の入力操作受付処理について説明する。第１実施形態においては、ユーザが、静電容量式タッチパネル３１ａにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、別ファイルの読み込み又はページ送りのうち何れかの処理が行われる。
図４は、図２の機能的構成を有する図１の情報処理装置１が実行する第１実施形態の入力操作受付処理の流れを説明するフローチャートである。
情報処理装置１により入力操作受付処理が実行されると、ＣＰＵ１１において図２の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではＣＰＵ１１が該当する。但し、本発明の理解を容易なものとすべく、ＣＰＵ１１において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。

入力操作受付処理は、ユーザにより情報処理装置１の電源ボタン（図示せず）が押下されたことを契機として開始され、次のような処理が繰り返し実行される。

ステップＳ１１において、入力操作受付部５１は、タッチパネル３１に対するユーザによるタッチ操作を受け付けたか否かを判定する。タッチパネル３１に対するユーザによるタッチ操作が行われていない場合には、ステップＳ１１においてＮＯであると判定されて、処理はステップＳ１１に再び戻される。即ち、タッチ操作が行われるまでの間、ステップＳ１１の判定処理が繰り返し実行されて、入力操作受付処理は待機状態となる。その後、タッチ操作が行われた場合には、ステップＳ１１においてＹＥＳであると判定されて、処理はステップＳ１２に進む。

ステップＳ１２において、距離特定部５２は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたか否かを判定する。具体的には、距離特定部５２は、入力部１７のタッチパネル３１と、該タッチパネル３１に対する手や指などの物体との間の距離（高さ方向の位置の座標）を特定することで、静電容量式タッチパネル３１ａに対してオブジェクトに対する指示操作が受け付けられたか否かを判定する。静電容量式タッチパネル３１ａでタッチ操作を受け付けた場合には、ステップＳ１２においてＹＥＳであると判定されて、処理は、ステップＳ１３に進む。

ステップＳ１３において、制御部５３は、静電容量式タッチパネル３１ａに対してタッチ操作がなされたと判断して、静電容量式タッチパネル３１ａに対するタッチ操作の移動量を算出する。具体的には、制御部５３は、入力操作受付部５１を介して受け付けられたタッチ操作受付開始時の２次元上の位置の座標と、現在のタッチ操作受付時の２次元上の位置の座標と、の差分に基づいて、現在のタッチ操作の移動量を算出する。

ステップＳ１４において、制御部５３は、ステップＳ１３において算出した移動量が予め設定した設定量を超えたか否かを判定する。移動量が設定量を超えていない場合には、ステップＳ１４においてＮＯであると判定されて、処理はステップＳ１３に戻る。即ち、移動量が設定量を超えるまでの間、入力操作受付処理は待機状態となる。移動量が設定量を超えた場合には、ステップＳ１４においてＹＥＳであると判定されて、処理はステップＳ１５に進む。

ステップＳ１５において、制御部５３は、別ファイルの読み込みを行う。別ファイルの読み込みの具体例については、後述の図５を参照して説明する。この処理が終了すると、処理はステップＳ１９に進む。ステップＳ１９以降の処理については、後述する。

静電容量式タッチパネル３１ａでタッチ操作を受け付けていない場合には、ステップＳ１２においてＮＯであると判定されて、処理は、ステップＳ１６に進む。

ステップＳ１６において、制御部５３は、抵抗膜式タッチパネル３１ｂに対してタッチ操作がなされたと判断して、抵抗膜式タッチパネル３１ｂに対するタッチ操作の移動量を算出する。具体的には、制御部５３は、入力操作受付部５１を介して受け付けられたタッチ操作受付開始時の２次元上の位置の座標と、現在のタッチ操作受付時の２次元上の位置の座標と、の差分に基づいて、現在のタッチ操作の移動量を算出する。

ステップＳ１７において、制御部５３は、ステップＳ１６において算出した移動量が予め設定した設定量を超えたか否かを判定する。移動量が設定量を超えていない場合には、ステップＳ１７においてＮＯであると判定されて、処理はステップＳ１６に戻る。即ち、移動量が設定量を超えるまでの間、入力操作受付処理は待機状態となる。移動量が設定量を超えた場合には、ステップＳ１７においてＹＥＳであると判定されて、処理はステップＳ１８に進む。

ステップＳ１８において、制御部５３は、ページ送りを行う。ページ送りの具体例については、後述の図５を参照して説明する。この処理が終了すると、処理はステップＳ１９に進む。

ステップＳ１９において、制御部５３は、入力操作受付終了の指示があったか否かを判定する。入力操作受付終了の指示がない場合、ステップＳ１９においてＮＯであると判定されて、処理はステップＳ１１に戻される。即ち、入力操作受付終了の指示があるまでの間、ステップＳ１１乃至Ｓ１９の処理が繰り返し行われる。
このようにして、ユーザは入力操作受付終了の指示を行うまでの間、タッチパネル３１に対するタッチ操作を繰り返すことで、別ファイルの読み込み又はページ送りのうち所望のオブジェクトを制御することができる。その後、例えばユーザが情報処理装置１に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップＳ１９においてＹＥＳであると判定されて、入力操作受付処理は終了となる。

次に、入力部１７に対する操作に応じた、オブジェクトに関する処理の具体例について説明する。ここでは、フリック操作をした場合であっても、指１０１と入力部１７の距離の違いに応じて、オブジェクトに関する処理を変更する例について説明する。
図５は、図１の情報処理装置の入力部１７に対しフリック操作がなされた状態を示している図である。

図５（ａ）に示すように、ユーザが、入力部１７と指１０１との間の距離が０でフリック操作をした場合、即ち、指１０１を入力部１７に接触した状態を維持してフリック操作をした場合には、制御部５３は、抵抗膜式タッチパネル３１ｂでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第１の処理を実行する。
これに対し、図５（ｂ）に示すように、ユーザが、入力部１７と指１０１との間の距離が離れている状態でフリック操作をした場合、即ち、指１０１が入力部１７に対して非接触の状態を維持してフリック操作をした場合には、制御部５３は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第２の処理を実行する。
ここで、第１の処理と第２の処理とは、相互に異なる処理であれば任意の処理でよいが、本実施形態では、表示部１６に表示されるファイル（オブジェクトの一種）を記憶部１９から読み込み、読み込んだ新たなファイルを表示部１６に表示する処理が第１の処理として採用されている。また、表示部１６に表示されている本やノート（オブジェクトの別の一種）のページを送る処理が第２の処理として採用されている。
即ち、ユーザが、入力部１７と指１０１との間の距離が０でフリック操作をした場合（図５（ａ）の場合）、制御部５３は、表示部１６に表示されている本やノート（オブジェクトの一種）のページを送り、次ページを表示部１６に表示する。これに対し、ユーザが、入力部１７と指１０１との間の距離が離れている状態でフリック操作をした場合（図５（ｂ）の場合）、制御部５３は、表示部１６に表示されるファイルを記憶部１９から読み込んで、読み込んだ新たなファイルを表示部１６に表示する。

以上、本発明の第１実施形態に係る情報処理装置１について説明した。
次に、本発明の第２実施形態に係る情報処理装置１について説明する。

［第２実施形態］
次に、図６を参照して、図２の機能的構成の情報処理装置１が実行する第２実施形態の入力操作受付処理について説明する。第２実施形態においては、ユーザが、静電容量式タッチパネル３１ａにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、表示部１６に表示されている画像の角度をタッチ操作の接触点に沿った任意の角度に回転するか、規定の大まかな角度（例えば９０度）に回転するかのうち何れかの処理が行われる。
情報処理装置１により第２実施形態の入力操作受付処理が実行されると、ＣＰＵ１１において図２の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではＣＰＵ１１が該当する。但し、本発明の理解を容易なものとすべく、ＣＰＵ１１において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
図６は、図２の機能的構成を有する図１の情報処理装置１が実行する第２実施形態の入力操作受付処理の流れを説明するフローチャートである。

入力操作受付処理は、ユーザにより情報処理装置１の電源ボタン（図示せず）が押下されたことを契機として開始され、次のような処理が繰り返し実行される。

ステップＳ３１において、入力操作受付部５１は、タッチパネル３１に対するユーザによるタッチ操作を受け付けたか否かを判定する。タッチパネル３１に対するユーザによるタッチ操作が行われていない場合には、ステップＳ３１においてＮＯであると判定されて、処理はステップＳ３１に再び戻される。即ち、タッチ操作が行われるまでの間、ステップＳ３１の判定処理が繰り返し実行されて、入力操作受付処理は待機状態となる。その後、タッチ操作が行われた場合には、ステップＳ３１においてＹＥＳであると判定されて、処理はステップＳ３２に進む。

ステップＳ３２において、距離特定部５２は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたか否かを判定する。具体的には、距離特定部５２は、入力部１７のタッチパネル３１と、該タッチパネル３１に対する手や指などの物体との間の距離（即ち、Ｚ軸上のＺ座標）を特定することで、静電容量式タッチパネル３１ａに対してオブジェクトに対する指示操作が受け付けられたか否かを判定する。静電容量式タッチパネル３１ａでタッチ操作を受け付けた場合には、ステップＳ３２においてＹＥＳであると判定されて、処理は、ステップＳ３３に進む。

ステップＳ３３において、制御部５３は、静電容量式タッチパネル３１ａに対してタッチ操作がなされたと判断して、静電容量式タッチパネル３１ａに対するタッチ操作の回転角度を算出する。具体的には、制御部５３は、入力操作受付部５１を介して受け付けられたタッチ操作受付開始時の２次元上の位置の座標の角度と、現在のタッチ操作受付時の２次元上の位置の座標の角度と、の角度の差分に基づいて、現在のタッチ操作の回転角度を算出する。

ステップＳ３４において、制御部５３は、表示部１６に表示されている画像をｎ度（ｎは０〜３６０度のうち任意の角度）回転して表示する制御を行う。画像の回転についての具体例については、後述の図７を参照して説明する。この処理が終了すると、処理はステップＳ３８に進む。ステップＳ３８以降の処理については、後述する。

静電容量式タッチパネル３１ａでタッチ操作を受け付けていない場合には、ステップＳ３２においてＮＯであると判定されて、処理は、ステップＳ３５に進む。
ステップＳ３５において、制御部５３は、抵抗膜式タッチパネル３１ｂに対してタッチ操作がなされたと判断して、抵抗膜式タッチパネル３１ｂに対するタッチ操作の回転角度を算出する。具体的には、制御部５３は、入力操作受付部５１を介して受け付けられたタッチ操作受付開始時の２次元上の位置の座標の角度と、現在のタッチ操作受付時の２次元上の位置の座標の角度と、の角度の差分に基づいて、現在のタッチ操作の回転角度を算出する。

ステップＳ３６において、制御部５３は、ステップＳ３６において算出した回転角度が９０度を超えたか否かを判定する。回転角度が９０度を超えていない場合には、ステップＳ３６においてＮＯであると判定されて、処理はステップＳ３５に戻る。即ち、回転角度が９０度を超えるまでの間、入力操作受付処理は待機状態となる。回転角度が９０度を超えた場合には、ステップＳ３６においてＹＥＳであると判定されて、処理はステップＳ３７に進む。尚、制御部５３は、算出した回転角度が９０度を超えたか否かを判定しているが、判定する回転角度は９０度に限定されるものではなく、ユーザが予め設定した任意の角度（０〜３６０度）を採用することができる。

ステップＳ３７において、制御部５３は、表示部１６に表示されている画像を９０度回転して表示する制御を行う。画像を９０度回転する具体例については、後述の図７を参照して説明する。この処理が終了すると、処理はステップＳ３８に進む。

ステップＳ３８において、制御部５３は、入力操作受付終了の指示があったか否かを判定する。入力操作受付終了の指示がない場合、ステップＳ３８においてＮＯであると判定されて、処理はステップＳ３１に戻される。即ち、入力操作受付終了の指示があるまでの間、ステップＳ３１乃至Ｓ３８の処理が繰り返し行われる。
このようにして、ユーザは入力操作受付終了の指示を行うまでの間、タッチパネル３１に対するタッチ操作を繰り返すことで、表示部１６に表示されている画像（オブジェクト）を任意の角度（ｎ度）回転して表示するか又は画像（オブジェクト）を予め設定された角度（本実施形態においては９０度）に回転して表示するか制御することができる。その後、例えばユーザが情報処理装置１に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップＳ３８においてＹＥＳであると判定されて、入力操作受付処理は終了となる。

次に、入力部１７に対する操作に応じた、オブジェクトに関する処理の具体例について説明する。
表示部１６の表示画面（２次元平面）に対し円を描くようなフリック操作をした場合であっても、指１０１と入力部１７の距離の違いに応じて、オブジェクトに関する処理を変更する例について説明する。
図７は、図１の情報処理装置の入力部１７に対し円を描くようなフリック操作がなされた状態を示す図である。

図７（ａ）に示すように、ユーザが、入力部１７と指１０１との間の距離が０で円を描くようなフリック操作をした場合、即ち、指１０１を入力部１７に接触した状態を維持してフリック操作をした場合には、制御部５３は、抵抗膜式タッチパネル３１ｂでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第３の処理を実行する。
これに対し、図７（ｂ）に示すように、ユーザが、入力部１７と指１０１との間の距離が離れている状態で円を描くようなフリック操作をした場合、即ち、指１０１が入力部１７に対して非接触の状態を維持してフリック操作をした場合には、制御部５３は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第４の処理を実行する。
本実施形態では、表示部１６に表示される画像（オブジェクトの一種）を任意の角度（ｎ度）に回転して表示する処理が第３の処理として採用されている。また、表示部１６に表示されている画像（オブジェクトの別の一種）を９０度（ユーザにより予め設定された任意の角度）に回転して表示する処理が第４の処理として採用されている。
即ち、ユーザが、入力部１７と指１０１との間の距離が０で円を描くようなフリック操作をした場合（図７（ａ）の場合）、制御部５３は、表示部１６に表示されている画像を９０度（ユーザにより予め設定された大まかな角度）に回転して表示部１６に表示する。これに対し、ユーザが、入力部１７と指１０１との間の距離が離れている状態で円を描くようなフリック操作をした場合（図７（ｂ）の場合）、制御部５３は、表示部１６に表示されている画像をタッチ操作の接触位置に沿ってきめ細かく任意の角度（ｎ度）に回転して表示部１６に表示する。

以上、本発明の第２実施形態に係る情報処理装置１について説明した。
次に、本発明の第３実施形態に係る情報処理装置１について説明する。

［第３実施形態］
次に、図８及び図９を参照して、図２の機能的構成の情報処理装置１が実行する第３実施形態の入力操作受付処理について説明する。
第３実施形態においては、表示部１６に表示されるオブジェクトとして、ソフトウェアボタン（以下、単に「ボタン」と称する）が採用されている。具体的には、表示部１６の画面上に構築される３次元空間内に表示される複数の層に複数のボタンが散在しているとユーザの目に映るように、所定の３Ｄ画像が表示部１６に表示される。即ち、複数のボタンの中には、画面上の層に配置されているボタンも存在するし、画面の上方の空中に浮いて層に配置されているボタンも存在する。ユーザは、これらの空間内に散在する複数の層のボタンのうち、所望のボタンを押下するようなタッチ操作をすることができる。
この場合、情報処理装置１は、このボタンの押下を、静電容量式タッチパネル３１ａに対するタッチ操作として検出し、当該ボタンに割り当てられた機能を発揮させるための処理（以下、「押下処理」と呼ぶ）を実行する。
情報処理装置１により第３実施形態の入力操作受付処理が実行されると、ＣＰＵ１１において図２の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではＣＰＵ１１が該当する。但し、本発明の理解を容易なものとすべく、ＣＰＵ１１において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
図８は、図２の機能的構成を有する図１の情報処理装置１の表示部１６で表示される表示例を説明する図である。

第３実施形態の表示部１６は、３Ｄ（ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ）画像（図示せず）が表示可能に構成されている。
表示部１６に表示される３Ｄ画像は、Ｚ軸方向（高さの方向）に複数の層が積み重なってユーザの目に映るように構成される。ここで、３Ｄ画像の最下位の層が、抵抗膜式タッチパネル３１ｂと同位置の層であるものとし、その最下位以外の上位の層からは空間に浮いているようにユーザの目には映り、配置位置が高くなる層程（Ｚ軸方向にユーザの目に近づく程）上位になっていくものとする。
ただし、ここでは説明の簡略上、図８に示すように、３Ｄ画像は、最上位の層１６−１と、最下位の層１６−２とのみから構成されているものとする。即ち、３Ｄ画像は、指１０１を有するユーザからみて、手前の層１６−１と、その奥の層１６−２とのみから構成されているものとする。そして、最上位の層１６−１には、ボタン１１１−１が配置され、最下位の層１６−２には、ボタン１１１−２が配置されているように、３Ｄ画像を見たユーザの目に映るものとする。即ち、ボタン１１１−１と、ボタン１１１−２とは、それぞれ略同一の座標（ｘ、ｙ）に配置され、座標ｚのみが異なるものとする。ここで、座標ｘはＸ軸の座標であり、座標ｙはＹ軸の座標であり、座標ｚはＺ軸の座標である。
最上位の層１６−１に対するタッチ操作は、静電容量式タッチパネル３１ａ上の静電容量の電位変化に基づいて検出することができる。また、最下位の層１６−２に対するタッチ操作は、抵抗膜式タッチパネル３１ｂに対する接触の有無に基づいて検出することができる。
尚、本実施形態では、最上位の層１６−１と最下位の層１６−２との関係について説明したが、これに限られない。例えば、静電容量式タッチパネル３１ａは、座標ｚを検出することが可能であるため、最下位層以外の層が複数存在する場合には、検出された座標ｚに応じて、タッチ操作がなされた層を検出することができる。

次に、図９を参照して、図２の機能的構成の情報処理装置１が実行する第３実施形態の入力操作受付処理について説明する。
図９は、図２の機能的構成を有する図１の情報処理装置１が実行する第３実施形態の入力操作受付処理の流れを説明するフローチャートである。

入力操作受付処理は、ユーザにより情報処理装置１の電源ボタン（図示せず）が押下されたことを契機として開始され、次のような処理が繰り返し実行される。

ステップＳ５１において、入力操作受付部５１は、タッチパネル３１に対するユーザによるタッチ操作を受け付けたか否かを判定する。タッチパネル３１に対するユーザによるタッチ操作が行われていない場合には、ステップＳ５１においてＮＯであると判定されて、処理はステップＳ５１に再び戻される。即ち、タッチ操作が行われるまでの間、ステップＳ５１の判定処理が繰り返し実行されて、入力操作受付処理は待機状態となる。その後、タッチ操作が行われた場合には、ステップＳ５１においてＹＥＳであると判定されて、処理はステップＳ５２に進む。

ステップＳ５２において、距離特定部５２は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたか否かを判定する。具体的には、距離特定部５２は、入力部１７のタッチパネル３１と、該タッチパネル３１に対する手や指などの物体との間の距離（高さ方向の位置の座標）を特定することで、静電容量式タッチパネル３１ａに対してオブジェクトに対する指示操作が受け付けられたか否かを判定する。静電容量式タッチパネル３１ａでタッチ操作を受け付けた場合には、ステップＳ５２においてＹＥＳであると判定されて、処理は、ステップＳ５３に進む。

ステップＳ５３において、制御部５３は、静電容量式タッチパネル３１ａに対してタッチ操作がなされたと判断して、指１０１と静電容量式タッチパネル３１ａとの間での静電容量の変化を記録する。具体的には、制御部５３は、静電容量式タッチパネル３１ａに設けられたコンデンサ（図示せず）の静電容量（以下、単に「静電容量」と呼ぶ）の電位変化の記録を開始する。

ステップＳ５４において、制御部５３は、ステップＳ５３において記録が開始された静電容量の遷移が「小→大→小」の順で変化したか否かを判定する。
ここで、静電容量式タッチパネル３１ａに指１０１が近づけられると、静電容量が少し増加する。このとき、静電容量はまだ「小」の状態である。その後、指１０１が静電容量式タッチパネル３１ａに対してさらに近づけられて、静電容量式タッチパネル３１ａに対して指１０１が略接触したときに、静電容量が最大となる。このとき、静電容量は「大」の状態となる。その後、静電容量式タッチパネル３１ａに対する指１０１の略接触が解除されて、指１０１が上方向（Ｚ軸方向）に遠ざかるように移動していくにつれ、静電容量が徐々に減少する。このとき、静電容量は徐々に「小」の状態となる。
このように、ユーザが、その指１０１を、静電容量式タッチパネル３１ａに対し近づけ始めて、静電容量式タッチパネル３１ａに対して略接触させ、その後遠ざけるまでの一連の動作を以下、「タップ操作」と呼ぶ。即ち、タップ操作は、指１０１を、静電容量式タッチパネル３１ａに対し近づけ始めることにより一のタッチ操作が開始してから、その後指１０１を遠ざけることにより当該一のタッチ操作を終了するまでの一連の動作をいう。
制御部５３は、静電容量の遷移が「小」→「大」→「小」の順で変化するか否かに応じて、タップ操作をしたか否かを検出することができる。

ステップＳ５５において、制御部５３は、ステップＳ５４の処理で記録した静電容量の遷移の中心座標を検出する。ここで、図８においては、１つの層に対し１つのボタンが配置されている例について図示しているが、実際には１つの層に対し複数のボタンが配置されている。制御部５３は、タップ操作が行われた際の、２次元上の位置の各々の座標の平均値を、静電容量の遷移の中心座標として検出する。そして、制御部５３は、一の層に配置された複数のボタンの中から、検出した中心座標の範囲内に含まれるボタンを特定する。

ステップＳ５６において、制御部５３は、最上位の層１６−１（図８参照）に配置された複数のボタンの中から、ステップＳ５５の処理で検出された中心座標の範囲内に含まれるボタン１１１−１の押下処理を行う。この処理が終了すると、処理はステップＳ５９に進む。ステップＳ５９以降の処理については、後述する。

静電容量式タッチパネル３１ａでタッチ操作を受け付けていない場合には、ステップＳ５２においてＮＯであると判定されて、即ち、抵抗膜式タッチパネル３１ｂに対してタッチ操作がなされたと判断されて、処理はステップＳ５７に進む。

ステップＳ５７において、制御部５３は、抵抗膜式タッチパネル３１ｂに対してタッチ操作がなされた座標を検出する。そして、制御部５３は、一の層に配置された複数のボタンの中から、検出した座標の範囲内に含まれるボタンを特定する。

ステップＳ５８において、制御部５３は、最下位の層１６−２（図８参照）に配置された複数のボタンの中から、ステップＳ５７の処理で検出された座標の範囲内に含まれるボタン１１１−２の押下処理を行う。

ステップＳ５９において、制御部５３は、入力操作受付終了の指示があったか否かを判定する。入力操作受付終了の指示がない場合、ステップＳ５９においてＮＯであると判定されて、処理はステップＳ５１に戻される。即ち、入力操作受付終了の指示があるまでの間、ステップＳ５１乃至Ｓ５９の処理が繰り返し行われる。
このようにして、ユーザにより入力操作受付終了の指示が行われるまでの間、ユーザによるタッチ操作が繰り返し行われることで、最上位の層１６−１又は最下位の層１６−２のうち何れかの層に対応するボタンに対する押下処理の制御が行われる。その後、例えばユーザが情報処理装置１に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップＳ５９においてＹＥＳであると判定されて、入力操作受付処理は終了となる。

以上、本発明の第３実施形態に係る情報処理装置１について説明した。
次に、本発明の第４実施形態に係る情報処理装置１について説明する。

［第４実施形態］
次に、図１０及び図１１を参照して、このような図２の機能的構成の情報処理装置１が実行する第４実施形態の入力操作受付処理について説明する。第４実施形態においては、ユーザが、静電容量式タッチパネル３１ａにタッチ操作をしたか否かに応じて、ＰＣ（Ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ：パーソナルコンピュータ）のＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）におけるファイル操作を制御することができる。ファイル（オブジェクトの一種）操作の制御の具体例としては、タッチ操作の移動範囲内のファイルを全て選択するか、タッチ操作がなされた際のファイルを移動するか、のうち何れかの処理が行われる。第４実施形態においては、ユーザが、静電容量式タッチパネル３１ａにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、移動範囲内のファイルを全て選択するか、タッチ操作がなされた際のファイルを移動するか、のうち何れかの処理が行われる。ファイルの移動とは、タッチダウンされた際の座標位置に存在するファイルをタッチアップされた際の座標位置に移動する、いわゆる、ドラッグアンドドロップの処理を意味する。
情報処理装置１により第４実施形態の入力操作受付処理が実行されると、ＣＰＵ１１において図２の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではＣＰＵ１１が該当する。但し、本発明の理解を容易なものとすべく、ＣＰＵ１１において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
図１０は、図２の機能的構成を有する図１の情報処理装置１が実行する第４実施形態の入力操作受付処理の流れを説明するフローチャートである。

入力操作受付処理は、ユーザにより情報処理装置１の電源ボタン（図示せず）が押下されたことを契機として開始され、次のような処理が繰り返し実行される。

ステップＳ７１において、入力操作受付部５１は、タッチパネル３１に対するユーザによるタッチ操作を受け付けたか否かを判定する。タッチパネル３１に対するユーザによるタッチ操作が行われていない場合には、ステップＳ７１においてＮＯであると判定されて、処理はステップＳ７１に再び戻される。即ち、タッチ操作が行われるまでの間、ステップＳ７１の判定処理が繰り返し実行されて、入力操作受付処理は待機状態となる。その後、タッチ操作が行われた場合には、ステップＳ７１においてＹＥＳであると判定されて、処理はステップＳ７２に進む。

ステップＳ７２において、距離特定部５２は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたか否かを判定する。具体的には、距離特定部５２は、入力部１７のタッチパネル３１と、該タッチパネル３１に対する手や指などの物体との間の距離（高さ方向の位置の座標）を特定することで、静電容量式タッチパネル３１ａに対してオブジェクトに対する指示操作が受け付けられたか否かを判定する。静電容量式タッチパネル３１ａでタッチ操作を受け付けた場合には、ステップＳ７２においてＹＥＳであると判定されて、処理は、ステップＳ７３に進む。

ステップＳ７３において、制御部５３は、静電容量式タッチパネル３１ａに対してタッチ操作がなされたと判断して、タッチダウンがされた座標位置からタッチアップされた座標位置までの指の移動範囲を検出する。具体的には、制御部５３は、ユーザによるタッチ操作が静電容量式タッチパネル３１ａに対してなされたことを検出し、そのタッチ操作の座標位置を認識する。制御部５３は、静電容量式タッチパネル３１ａに対しダッチダウンされた際の座標位置からタッチアップされた座標位置までの間に含まれる範囲を移動範囲として検出する。

ステップＳ７４において、制御部５３は、ステップＳ７３において検出した移動範囲内のファイルを全て選択する。移動範囲内のファイルの選択については、後述の図１１を参照して説明する。この処理が終了すると、処理はステップＳ７８に進む。ステップＳ７８以降の処理については、後述する。

静電容量式タッチパネル３１ａでタッチ操作を受け付けていない場合には、ステップＳ７２においてＮＯであると判定されて、処理は、ステップＳ７６に進む。

ステップＳ７６において、制御部５３は、抵抗膜式タッチパネル３１ｂに対してタッチ操作がなされたと判断して、タッチダウンされた座標位置のファイルを選択する。ファイルの選択については、後述の図１１を参照して説明する。

ステップＳ７７において、制御部５３は、タッチアップされた座標位置にステップＳ７６において選択したファイルを移動する。ファイルの移動については、後述の図１１を参照して説明する。

ステップＳ７８において、制御部５３は、入力操作受付終了の指示があったか否かを判定する。入力操作受付終了の指示がない場合、ステップＳ７８においてＮＯであると判定されて、処理はステップＳ７１に戻される。即ち、入力操作受付終了の指示があるまでの間、ステップＳ７１乃至Ｓ７８の処理が繰り返し行われる。
このようにして、ユーザは入力操作受付終了の指示を行うまでの間、タッチパネル３１に対するタッチ操作を繰り返すことで、移動範囲内のファイル（オブジェクト）を全て選択するか又はタッチダウンされた座標位置のファイルをタッチアップされた座標位置まで移動（いわゆるドラッグアンドドロップ）するか制御することができる。その後、例えばユーザが情報処理装置１に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップＳ７８においてＹＥＳであると判定されて、入力操作受付処理は終了となる。

次に、入力部１７に対する操作に応じた、オブジェクトに関する処理の具体例について説明する。
表示部１６の表示画面（２次元平面）に対しタッチダウンとタッチアップとをした場合であっても、指１０１と入力部１７の距離の違いに応じて、オブジェクトに関する処理を変更する例について説明する。
図１１は、図１の情報処理装置の入力部１７に対しタッチダウンとタッチアップとがなされた状態を示す図である。

図１１（ａ）に示すように、ユーザが、入力部１７と指１０１との間の距離が０でタッチダウン及びタッチアップをした場合、即ち、指１０１を入力部１７に接触した状態を維持してフリック操作をした場合には、制御部５３は、抵抗膜式タッチパネル３１ｂでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第５の処理を実行する。
これに対し、図１１（ｂ）に示すように、ユーザが、入力部１７と指１０１との間の距離が離れている状態でタッチダウン及びタッチアップをした場合、即ち、指１０１が入力部１７に対して非接触の状態を維持してフリック操作をした場合には、制御部５３は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第６の処理を実行する。
本実施形態では、タッチダウンの座標位置にあるファイルを選択してからタッチアップの座標位置にファイルを移動する処理が第５の処理として採用されている。また、タッチダウンの座標位置からタッチアップの座標位置までに含まれる移動範囲内のファイルを全て選択する処理が第６の処理として採用されている。
即ち、ユーザが、入力部１７と指１０１との間の距離が０でタッチダウンとタッチアップとをした場合（図１１（ａ）の場合）、制御部５３は、表示部１６に表示されているファイルのうち、タッチダウンされた座標位置のファイル（オブジェクトの一種）をタッチアップされた座標位置に移動する。これに対し、ユーザが、入力部１７と指１０１との間の距離が離れている状態でタッチアップとタッチダウンとをした場合（図１１（ｂ）の場合）、制御部５３は、表示部１６に表示されているファイル（オブジェクトの一種）のうち移動範囲内にあるファイルを全て選択する。

以上、本発明の第４実施形態に係る情報処理装置１について説明した。
次に、本発明の第５実施形態に係る情報処理装置１について説明する。

［第５実施形態］
次に、図１２及び図１３を参照して、このような図２の機能的構成の情報処理装置１が実行する第５実施形態の入力操作受付処理について説明する。
第５実施形態に係る情報処理装置１は、第１実施形態に係る情報処理装置１と基本的に同様のハードウェア構成及び機能的構成を取ることができる。
したがって、図１は、第５実施形態に係る情報処理装置１のハードウェアの構成を示すブロック図でもある。また、図２は、第５実施形態に係る情報処理装置１の機能的構成を示す機能ブロック図でもある。
また、第５実施形態に係る情報処理装置１が実行する入力操作受付処理は、第１実施形態に係る入力操作受付処理と基本的に同様の流れとなる。
但し、第５実施形態においては、ユーザが、静電容量式タッチパネル３１ａにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、同カテゴリの別ファイルを表示するか別カテゴリの別ファイルを表示するかのうち何れかの処理が行われる点で第１実施形態と異なる。
したがって、第５実施形態では、ステップＳ１５及びステップＳ１８の処理については、第１実施形態で採用された図４のフローチャートではなく、図１２のフローチャートが採用される。具体的には、第５実施形態では、図４の入力操作受付処理のうち、ステップＳ１５に代えてステップＳ９５の処理が行われ、ステップＳ１８に代えてステップＳ９８の処理が行われる。
そこで、以下、このような差異点である、ステップＳ９５及びステップＳ９８についてのみ説明し、一致点の説明は適宜省略する。
情報処理装置１により第５実施形態の入力操作受付処理が実行されると、ＣＰＵ１１において図２の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではＣＰＵ１１が該当する。但し、本発明の理解を容易なものとすべく、ＣＰＵ１１において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
図１２は、図２の機能的構成を有する図１の情報処理装置１が実行する第５実施形態の入力操作受付処理の流れを説明するフローチャートである。

ステップＳ９５において、制御部５３は、同カテゴリの別ファイルを表示する制御を実行する。同カテゴリの別ファイルを表示する具体例については、後述の図１３を参照して説明する。この処理が終了すると、処理はステップＳ９９に進む。

ステップＳ９８において、制御部５３は、別カテゴリのファイルを表示する制御を実行する。別カテゴリのファイルを表示する具体例については、後述の図１３を参照して説明する。この処理が終了すると、処理はステップＳ９９に進む。

次に、入力部１７に対する操作に応じた、オブジェクトに関する処理の具体例について説明する。本実施形態では、フリック操作をした場合であっても、指１０１と入力部１７の距離の違いに応じて、オブジェクトに関する処理を変更する例について説明する。
図１３は、図１の情報処理装置の入力部１７に対しフリック操作がなされた状態を示す図である。
図１３（ａ）に示すように、表示部１６の中央には、ブラウスを着たモデルが配置されたファイル１３１−１が表示されている。また、表示部１６の左には、ロングＴシャツを着たモデルが配置されたファイル１３１−２が表示されている。また、表示部１６の右には、リボン付きワンピースを着たモデルが配置されたファイル１３１−３が表示されている。ファイル１３１−１と、ファイル１３１−２と、ファイル１３１−３と、は互いに異なる別カテゴリの別のファイルにより構成され、各々記憶部１９に記憶されている。
また、図１３（ｂ）に示すように、表示部１６の中央には、赤色のブラウスを着たモデルが配置されたファイル１４１−１が表示されている。また、表示部１６の左には、青色のブラウスを着たモデルが配置されたファイル１４１−２が表示されている。また、表示部１６の右には、黄色のブラウスを着たモデルが配置されたファイル１４１−３が表示されている。ファイル１４１−１に配置されたモデルと、ファイル１４１−２に配置されたモデルと、ファイル１４１−３に配置されたモデルと、はそれぞれ同じモデルが採用されている。したがって、ファイル１４１−１と、ファイル１４１−２と、ファイル１４１−３と、は互いに同じカテゴリ（ブラウス）の別のファイルにより構成され、各々記憶部１９に記憶されている。

図１３（ａ）に示すように、ユーザが、入力部１７と指１０１との間の距離が０でフリック操作をした場合、即ち、指１０１を入力部１７に接触した状態を維持してフリック操作をした場合には、制御部５３は、抵抗膜式タッチパネル３１ｂでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第７の処理を実行する。
これに対し、図１３（ｂ）に示すように、ユーザが、入力部１７と指１０１との間の距離が離れている状態でフリック操作をした場合、即ち、指１０１が入力部１７に対して非接触の状態を維持してフリック操作をした場合には、制御部５３は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第８の処理を実行する。
ここで、第７の処理と第８の処理とは、相互に異なる処理であれば任意の処理でよいが、本実施形態では、表示部１６に表示されているファイル（オブジェクトの一種）を、現在表示部１６に表示されているファイルと別カテゴリの別のファイルを記憶部１９から読み込み、読み込んだ新たなファイルを表示部１６の中央に表示する処理が第７の処理として採用されている。また、表示部１６に表示されているファイル（オブジェクトの別の一種）を、現在表示部１６に表示されているファイルと同カテゴリの別のファイルを記憶部１９から読み込み、読み込んだ新たなファイルを表示部１６の中央に表示する処理が第８の処理として採用されている。
即ち、ユーザが、入力部１７と指１０１との間の距離が０で右側にフリック操作をした場合（図１３（ａ）の場合）、制御部５３は、表示部１６の中央に表示されているファイル１３１−１を別カテゴリの別のファイル１３１−２に変えて表示部１６の中央に表示する。同様に、ユーザが、入力部１７と指１０１との間の距離が０で左側にフリック操作をした場合（図１３（ａ）の場合）、制御部５３は、表示部１６の中央に表示されているファイル１３１−１を別カテゴリの別のファイル１３１−３に変えて表示部１６の中央に表示する。
これに対し、ユーザが、入力部１７と指１０１との間の距離が離れている状態で右側にフリック操作をした場合（図１３（ｂ）の場合）、制御部５３は、表示部１６の中央に表示されているファイル１４１−１を同カテゴリの別のファイル１４１−２に変えて表示部１６の中央に表示する。同様に、ユーザが、入力部１７と指１０１との間の距離が離れている状態で左側にフリック操作をした場合（図１３（ｂ）の場合）、制御部５３は、表示部１６の中央に表示されているファイル１４１−１を同カテゴリの別のファイル１４１−３に変えて表示部１６の中央に表示する。

以上、本発明の第５実施形態に係る情報処理装置１について説明した。
次に、本発明の第６実施形態に係る情報処理装置１について説明する。

［第６実施形態］
次に、図１４及び図１５を参照して、このような図２の機能的構成の情報処理装置１が実行する第６実施形態の入力操作受付処理について説明する。第６実施形態においては、ユーザが、静電容量式タッチパネル３１ａにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、表示部１６に表示されている地球儀（オブジェクトの一種）の画像を縮小したり、拡大したりするなどの処理が行われる。
情報処理装置１により第６実施形態の入力操作受付処理が実行されると、ＣＰＵ１１において図２の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではＣＰＵ１１が該当する。但し、本発明の理解を容易なものとすべく、ＣＰＵ１１において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
図１４は、図２の機能的構成を有する図１の情報処理装置１が実行する第６実施形態の入力操作受付処理の流れを説明するフローチャートである。

入力操作受付処理は、ユーザにより情報処理装置１の電源ボタン（図示せず）が押下されたことを契機として開始され、次のような処理が繰り返し実行される。

ステップＳ１１１において、入力操作受付部５１は、タッチパネル３１に対するユーザによるタッチ操作を受け付けたか否かを判定する。タッチパネル３１に対するユーザによるタッチ操作が行われていない場合には、ステップＳ１１１においてＮＯであると判定されて、処理はステップＳ１１１に再び戻される。即ち、タッチ操作が行われるまでの間、ステップＳ１１１の判定処理が繰り返し実行されて、入力操作受付処理は待機状態となる。その後、タッチ操作が行われた場合には、ステップＳ１１１においてＹＥＳであると判定されて、処理はステップＳ１１２に進む。

ステップＳ１１２において、距離特定部５２は、静電容量式タッチパネル３１ａで静電容量の変化を検出したか否かを判定する。具体的には、距離特定部５２は、静電容量の変化を検出することで、オブジェクト（後述の図１５の地球儀）に対する指示操作が受け付けられたか否かを判定する。静電容量式タッチパネル３１ａで静電容量の変化を検出した場合には、ステップＳ１１２においてＹＥＳであると判定されて、処理は、ステップＳ１１３に進む。

ステップＳ１１３において、制御部５３は、ステップＳ１１２において検出された静電容量は増加しているか否かを判定する。静電容量は減少している場合、ステップＳ１１３においてＮＯであると判定されて、処理はステップＳ１１４に進む。

ステップＳ１１４において、制御部５３は、指などが静電容量式タッチパネル３１ａから遠ざかっていると判断して、表示部１６に表示されている地球儀（オブジェクトの一種）を縮小して表示する。地球儀を縮小して表示部１６に表示する具体例については、後述の図１５を参照して説明する。この処理が終了すると、処理はステップＳ１１９に進む。ステップＳ１１９以降の処理については、後述する。

ステップＳ１１２において検出した静電容量は増加している場合、ステップＳ１１３においてＹＥＳであると判定されて、処理はステップＳ１１５に進む。

ステップＳ１１４において、制御部５３は、指などが静電容量式タッチパネル３１ａに近づいていると判断して、表示部１６に表示されている地球儀（オブジェクトの一種）を拡大して表示する。地球儀を拡大して表示部１６に表示する具体例については、後述の図１５を参照して説明する。この処理が終了すると、処理はステップＳ１１９に進む。ステップＳ１１９以降の処理については、後述する。

静電容量式タッチパネル３１ａで静電容量の変化を検出できなかった場合には、ステップＳ１１２においてＮＯであると判定されて、処理は、ステップＳ１１６に進む。
ステップＳ１１６において、制御部５３は、静電容量式タッチパネル３１ａで座標位置の移動を検出したか否かを判定する。座標位置の移動を検出した場合、ステップＳ１１６においてＹＥＳであると判定されて、処理はステップＳ１１７に進む。

ステップＳ１１７において、制御部５３は、指などと静電容量式タッチパネル３１ａとの距離が一定の状態で、静電容量式タッチパネル３１ａに対しフリック操作が行われたと判断して、表示部１６に表示されている地球儀（オブジェクトの一種）を回転して表示する。地球儀を回転して表示部１６に表示する具体例については、後述の図１５を参照して説明する。この処理が終了すると、処理はステップＳ１１９に進む。ステップＳ１１９以降の処理については、後述する。

静電容量式タッチパネル３１ａで座標位置の移動を検出できなかった場合、ステップＳ１１６においてＮＯであると判定されて、処理はステップＳ１１８に進む。
ステップＳ１１８において、制御部５３は、抵抗膜式タッチパネル３１ｂに対してタッチ操作が行われたと判断して、表示部１６に表示されている地球儀（オブジェクトの一種）においてタッチ操作された位置座標を選択する。タッチ操作された位置座標を選択する具体例については、後述の図１５を参照して説明する。この処理が終了すると、処理はステップＳ１１９に進む。

ステップＳ１１９において、制御部５３は、入力操作受付終了の指示があったか否かを判定する。入力操作受付終了の指示がない場合、ステップＳ１１９においてＮＯであると判定されて、処理はステップＳ１１１に戻される。即ち、入力操作受付終了の指示があるまでの間、ステップＳ１１１乃至Ｓ１１９の処理が繰り返し行われる。
このようにして、ユーザは入力操作受付終了の指示を行うまでの間、タッチパネル３１に対するタッチ操作を繰り返すことで、表示部１６に表示されている画像（オブジェクト）を縮小したり拡大したりして表示する制御を行うことができる。また、表示部１６に表示されている画像（オブジェクト）を回転したりタッチ操作した位置座標を選択したりする制御を行うことができる。その後、例えばユーザが情報処理装置１に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップＳ１１９においてＹＥＳであると判定されて、入力操作受付処理は終了となる。

次に、入力部１７に対する操作に応じた、オブジェクトに関する処理の具体例について説明する。
指１０１と入力部１７の距離の違いに応じて、表示部１６の表示画面（２次元平面）に表示された地球儀（オブジェクトの一種）に関する処理を変更する例について説明する。
図１５は、図１の情報処理装置の入力部１７に対し指を近づけたり遠ざけたりしながらフリック操作がなされた状態を示す図である。

図１５（ａ）に示すように、ユーザが、入力部１７から指１０１を遠ざける方向に動かした場合、制御部５３は、オブジェクトに関する処理として、第９の処理を実行する。
これに対し、図１５（ａ）に示すように、ユーザが、入力部１７に指１０１を近づける方向に動かした場合、制御部５３は、オブジェクトに関する処理として、第１０の処理を実行する。
また、図１５（ｂ）に示すように、ユーザが、入力部１７と指１０１との間の距離を一定にした状態でフリック操作をした場合には、制御部５３は、オブジェクトに関する処理として、第１１の処理を実行する。
これに対し、図１５（ｂ）に示すように、ユーザが、抵抗膜式タッチパネル３１ｂに指１０１を接触させてタッチ操作をした場合には、制御部５３は、オブジェクトに関する処理として、第１２の処理を実行する。
即ち、ユーザが、入力部１７と指１０１との間の距離が離間するように指１０１を動かした場合（図１５（ａ）の場合）、制御部５３は、表示部１６に表示されている地球儀１５１を縮小して表示させる制御を行う。これに対し、ユーザが、入力部１７と指１０１との間の距離が近接するように指１０１を動かした場合（図１５（ａ）の場合）、制御部５３は、表示部１６に表示されている地球儀１５１を拡大して表示させる制御を行う。
また、ユーザが、入力部１７と指１０１との間の距離を一定にした状態でフリック操作をした場合、（図１５（ｂ）の場合）、制御部５３は、表示部１６に表示されている地球儀１５１を回転して表示させる制御を行う。これに対し、ユーザが、抵抗膜式タッチパネル３１ｂに指１０１を接触させてタッチ操作をした場合に（図１５（ｂ）の場合）、制御部５３は、表示部１６に表示されている地球儀１５１のうち、タッチ操作された位置座標を選択する制御を行う。
なお、本実施形態においては、静電容量式タッチパネル３１ａでの静電容量が増減したか否かに基づいて表示部１６に表示されている地球儀１５１を拡大したり縮小して表示する制御を行っていたがこれに限られるものではない。例えば、静電容量式タッチパネル３１ａでの静電容量の増減に基づいて地球儀１５１を回転する速度を変えて表示する制御を行うことができる。具体的には、静電容量式タッチパネル３１ａでの静電容量の変化量が減少した場合、即ち、ユーザが指１０１を静電容量式タッチパネル３１ａから遠ざけた状態で、フリック操作を行った場合、制御部５３は、表示部１６に表示されている地球儀１５１を高速で回転して表示する制御を行う。これに対し、静電容量式タッチパネル３１ａでの静電容量の変化量が増加した場合、即ち、ユーザが指１０１を静電容量式タッチパネル３１ａに近づけた状態で、フリック操作を行った場合、制御部５３は、表示部１６に表示されている地球儀１５１を低速で回転して表示する制御を行う。

以上、本発明の第６実施形態に係る情報処理装置１について説明した。
次に、本発明の第７実施形態に係る情報処理装置１について説明する。

［第７実施形態］
次に、図１６を参照して、このような図２の機能的構成の情報処理装置１が実行する第７実施形態の入力操作受付処理について説明する。第７実施形態においては、ユーザが、静電容量式タッチパネル３１ａにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、文字認識アルゴリズムにより取得される変換候補の文字として小文字を選択したり、大文字を選択したり、するなど異なる文字種を選択する処理が行われる。
図１６は、図２の機能的構成を有する図１の情報処理装置１が実行する第７実施形態の入力操作受付処理の流れを説明するフローチャートである。

入力操作受付処理は、ユーザにより情報処理装置１の電源ボタン（図示せず）が押下されたことを契機として開始され、次のような処理が繰り返し実行される。

ステップＳ１３１において、入力操作受付部５１は、タッチパネル３１に対するユーザによるタッチ操作を受け付けたか否かを判定する。タッチパネル３１に対するユーザによるタッチ操作が行われていない場合には、ステップＳ１３１においてＮＯであると判定されて、処理はステップＳ１３１に再び戻される。即ち、タッチ操作が行われるまでの間、ステップＳ１３１の判定処理が繰り返し実行されて、入力操作受付処理は待機状態となる。その後、タッチ操作が行われた場合には、ステップＳ１３１においてＹＥＳであると判定されて、処理はステップＳ１３２に進む。

ステップＳ１３２において、距離特定部５２は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたか否かを判定する。具体的には、距離特定部５２は、入力部１７のタッチパネル３１と、該タッチパネル３１に対する手や指などの物体との間の距離（高さ方向の位置の座標）を特定することで、静電容量式タッチパネル３１ａに対してオブジェクトに対する指示操作が受け付けられたか否かを判定する。静電容量式タッチパネル３１ａでタッチ操作を受け付けた場合には、ステップＳ１３２においてＹＥＳであると判定されて、処理は、ステップＳ１３３に進む。

ステップＳ１３３において、入力操作受付部５１は、タッチダウンからタッチアップまでの間に移動した指の各々の位置の座標を取得する。そして、制御部５３は、入力操作受付部５１により取得された各々の位置の座標の軌跡に基づき軌跡データを作成する。尚、制御部５３は、作成した軌跡データに対応する文字ストロークを表示部１６に表示する制御を行う。

ステップＳ１３４において、制御部５３は、ステップＳ１３３において作成された軌跡データに基づいて、パターンマッチングなどにより、公知の文字認識アルゴリズムに基づき複数の変換候補の文字を取得する。

ステップＳ１３５において、制御部５３は、ステップＳ１３４において取得した複数の変換候補の文字から小文字を選択する。そして、制御部５３は、選択した小文字を表示部１６に表示する制御を行う。変換候補の文字から小文字を選択する具体例については、後述の図１７を参照して説明する。この処理が終了すると、処理はステップＳ１３９に進む。ステップＳ１３９以降の処理については、後述する。

静電容量式タッチパネル３１ａでタッチ操作を受け付けられていない場合には、ステップＳ１３２においてＮＯであると判定されて、処理は、ステップＳ１３６に進む。

ステップＳ１３６において、入力操作受付部５１は、タッチダウンからタッチアップまでの間に移動した指の各々の位置の座標を取得する。そして、制御部５３は、入力操作受付部５１により取得された各々の位置の座標の軌跡に基づき軌跡データを作成する。尚、制御部５３は、作成した軌跡データに対応する文字ストロークを表示部１６に表示する制御を行う。

ステップＳ１３７において、制御部５３は、ステップＳ１３６において作成された軌跡データに基づいて、パターンマッチングなどにより、公知の文字認識アルゴリズムに基づき複数の変換候補の文字を取得する。

ステップＳ１３８において、制御部５３は、ステップＳ１３７において取得した複数の変換候補の文字から大文字を選択する。そして、制御部５３は、選択した大文字を表示部１６に表示する制御を行う。変換候補の文字から大文字を選択する具体例については、後述の図１７を参照して説明する。この処理が終了すると、処理はステップＳ１３９に進む。

ステップＳ１３９において、制御部５３は、入力操作受付終了の指示があったか否かを判定する。入力操作受付終了の指示がない場合、ステップＳ１３９においてＮＯであると判定されて、処理はステップＳ１３１に戻される。即ち、入力操作受付終了の指示があるまでの間、ステップＳ１３１乃至Ｓ１３９の処理が繰り返し行われる。
このようにして、ユーザは入力操作受付終了の指示を行うまでの間、タッチパネル３１に対するタッチ操作を繰り返すことで、文字認識アルゴリズムにより取得される変換候補の文字として小文字か大文字かを選択して表示する制御を行うことができる。その後、例えばユーザが情報処理装置１に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップＳ１３９においてＹＥＳであると判定されて、入力操作受付処理は終了となる。

次に、入力部１７に対する操作に応じた、オブジェクトに関する処理の具体例について説明する。
指１０１と入力部１７の距離の違いに応じて、変換候補の文字から小文字又は大文字のうち何れかの文字（オブジェクトの一種）を選択する例について図１７を参照して説明する。
図１７は、タッチダウンからタッチアップまでの間に移動した指の各々の位置の座標に基づき作成された軌跡データに対応する文字ストローク１６１の表示例を示す図である。
制御部５３は、入力操作受付部５１により取得された各々の位置の座標の軌跡に基づき軌跡データを作成し、作成した軌跡データを公知の文字認識アルゴリズムに基づきパターンマッチングなどを行い、複数の変換候補の文字を取得する。
ユーザが、入力部１７と指１０１との間の距離が離れている状態でタッチアップからタッチダウンまでの間に指を移動した場合、即ち、静電容量式タッチパネル３１ａに対してタッチ操作をした場合には、制御部５３は、オブジェクトに関する処理として、第１３の処理を実行する。これに対し、ユーザが、入力部１７と指１０１との間の距離を略０にした（接触した）状態でタッチアップからタッチダウンまでの間に指を移動した場合、即ち、抵抗膜式タッチパネル３１ｂに対してタッチ操作をした場合には、制御部５３は、オブジェクトに関する処理として、第１４の処理を実行する。
即ち、ユーザが、入力部１７と指１０１との間の距離が離れている状態でタッチ操作をした場合、制御部５３は、文字認識アルゴリズムに基づき選択される文字として小文字を選択する。これに対し、ユーザが、入力部１７と指１０１との間の距離を略０にした状態でタッチ操作をした場合、制御部５３は、文字認識アルゴリズムに基づき選択される文字として大文字を選択する。
なお、本実施形態においては、静電容量式タッチパネル３１ａでタッチ操作を受け付けたか否かに基づいて、変換候補の文字から小文字を選択したり大文字を選択したりしていたがこれに限られるものではない。例えば、静電容量式タッチパネル３１ａでタッチ操作を受け付けたか否かに基づいて濁点（半濁点）と、濁点がない通常の文字のうち何れかの文字を選択したり、通常の「つ」と、小書きの「っ」とのうち何れかの文字を選択することができる。具体的には、静電容量式タッチパネル３１ａでタッチ操作を受け付けた場合、即ち、ユーザが指１０１をタッチパネル３１から遠ざけた状態で、タッチ操作をした場合、制御部５３は、変換候補から、濁点（半濁点）の文字や小書きの「っ」を選択する。これに対し、静電容量式タッチパネル３１ａでタッチ操作を受け付けていない場合、即ち、ユーザが指１０１を抵抗膜式タッチパネル３１ｂに接触させた状態で、タッチ操作をした場合、制御部５３は、変換候補から、濁点や小書きでない通常の文字を選択する。

以上、本発明の第７実施形態に係る情報処理装置１について説明した。
次に、本発明の第８実施形態に係る情報処理装置１について説明する。

［第８実施形態］
次に、図１８及び図１９を参照して、このような図２の機能的構成の情報処理装置１が実行する第８実施形態の入力操作受付処理について説明する。第８実施形態においては、ユーザが、静電容量式タッチパネル３１ａにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、静電容量式タッチパネル３１ａに対するタッチ操作に基づき撮影を行ったり、抵抗膜式タッチパネル３１ｂに対するタッチ操作に基づき撮影を行ったり、するなどの処理が行われる。
情報処理装置１により第８実施形態の入力操作受付処理が実行されると、ＣＰＵ１１において図２の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではＣＰＵ１１が該当する。但し、本発明の理解を容易なものとすべく、ＣＰＵ１１において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
図１８は、図２の機能的構成を有する図１の情報処理装置１が実行する第８実施形態の入力操作受付処理の流れを説明するフローチャートである。

入力操作受付処理は、ユーザにより情報処理装置１の電源ボタン（図示せず）が押下されたことを契機として開始され、次のような処理が繰り返し実行される。

ステップＳ１５１において、入力操作受付部５１は、タッチパネル３１に対するユーザによるタッチ操作を受け付けたか否かを判定する。タッチパネル３１に対するユーザによるタッチ操作が行われていない場合には、ステップＳ１５１においてＮＯであると判定されて、処理はステップＳ１５１に再び戻される。即ち、タッチ操作が行われるまでの間、ステップＳ１５１の判定処理が繰り返し実行されて、入力操作受付処理は待機状態となる。その後、タッチ操作が行われた場合には、ステップＳ１５１においてＹＥＳであると判定されて、処理はステップＳ１５２に進む。

ステップＳ１５２において、距離特定部５２は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたか否かを判定する。具体的には、距離特定部５２は、入力部１７のタッチパネル３１と、該タッチパネル３１に対する手や指などの物体との間の距離（高さ方向の位置の座標）を特定することで、静電容量式タッチパネル３１ａに対してオブジェクトに対する指示操作が受け付けられたか否かを判定する。静電容量式タッチパネル３１ａでタッチ操作を受け付けた場合には、ステップＳ１５２においてＹＥＳであると判定されて、処理は、ステップＳ１５３に進む。

ステップＳ１５３において、制御部５３は、静電容量式タッチパネル３１ａに対するタッチ操作に基づき撮像処理を行う制御を行う。静電容量式タッチパネル３１ａに対するタッチ操作に基づき撮像処理を行う具体例については、後述の図１９を参照して説明する。この処理が終了すると、処理はステップＳ１５５に進む。ステップＳ１５５以降の処理については、後述する。

静電容量式タッチパネル３１ａでタッチ操作を受け付けられていない場合には、ステップＳ１５２においてＮＯであると判定されて、処理は、ステップＳ１５４に進む。

ステップＳ１５４において、制御部５３は、抵抗膜式タッチパネル３１ｂに対するタッチ操作に基づき撮像処理を行う制御を行う。抵抗膜式タッチパネル３１ｂに対するタッチ操作に基づき撮像処理を行う具体例については、後述の図１９を参照して説明する。この処理が終了すると、処理はステップＳ１５５に進む。

ステップＳ１５５において、制御部５３は、入力操作受付終了の指示があったか否かを判定する。入力操作受付終了の指示がない場合、ステップＳ１５５においてＮＯであると判定されて、処理はステップＳ１５１に戻される。即ち、入力操作受付終了の指示があるまでの間、ステップＳ１５１乃至Ｓ１５５の処理が繰り返し行われる。
このようにして、ユーザは入力操作受付終了の指示を行うまでの間、タッチパネル３１に対するタッチ操作を繰り返すことで、抵抗膜式タッチパネル３１ｂ又は静電容量式タッチパネル３１ａのうち何れかに対するタッチ操作に基づき撮像処理を開始する制御を行うことができる。その後、例えばユーザが情報処理装置１に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップＳ１５５においてＹＥＳであると判定されて、入力操作受付処理は終了となる。

次に、入力部１７に対する操作に応じた、オブジェクトに関する処理の具体例について説明する。
指１０１と入力部１７の距離の違いに応じて、静電容量式タッチパネル３１ａ（オブジェクトの一種）又は抵抗膜式タッチパネル３１ｂ（オブジェクトの他の一種）に基づき撮像処理を行う制御を行う例について図１９を参照して説明する。
図１９は、図１の情報処理装置の入力部１７に対しタッチ操作がなされた状態を示す図である。
本実施形態においては、入力部１７のうち、静電容量式タッチパネル３１ａは、表示部１６の略全体に配置されているのに対し、抵抗膜式タッチパネル３１ｂは、表示部１６の右側に配置された所定のエリア１７１にのみ配置されている。

ユーザが、入力部１７と指１０１との間の距離が０でタッチ操作をした場合、即ち、指１０１を入力部１７に接触した状態を維持してタッチ操作をした場合には、制御部５３は、抵抗膜式タッチパネル３１ｂでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第１５の処理を実行する。
これに対し、ユーザが、入力部１７と指１０１との間の距離が離れている状態でタッチ操作をした場合、即ち、指１０１が入力部１７に対して非接触の状態を維持してタッチ操作をした場合には、制御部５３は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第１６の処理を実行する。
ここで、第１５の処理と第１６の処理とは、相互に異なる処理であれば任意の処理でよいが、本実施形態では、静電容量式タッチパネル３１ａ（オブジェクトの一種）に対するタッチ操作に基づき撮像を行う撮像処理が第１５の処理として採用されている。また、抵抗膜式タッチパネル３１ｂ（オブジェクトの別の一種）に対するタッチ操作に基づき撮像（オブジェクトの一種）を行う撮像処理が第１６の処理として採用されている。
即ち、ユーザが、入力部１７と指１０１との間の距離が０でタッチ操作をした場合、制御部５３は、抵抗膜式タッチパネル３１ｂに対するタッチ操作に基づき撮像を行う制御を実行する。これに対し、ユーザが、入力部１７と指１０１との間の距離が離れている状態でタッチ操作をした場合、制御部５３は、静電容量式タッチパネル３１ａに対するタッチ操作に基づき撮像を行う制御を実行する。
静電容量式タッチパネル３１ａは、軽快な操作感で操作することができる一方で、水中又は水滴が付いている状態では感度が落ちてしまい操作ができなくなってしまう。本実施形態においては、地上では、静電容量式タッチパネル３１ａによる軽快な操作感で撮像を指示することができるとともに、水中や水滴が付着される環境下においては、抵抗膜式タッチパネル３１ｂによる確実な操作感で撮像を指示することができる。

以上、本発明の第８実施形態に係る情報処理装置１について説明した。
次に、本発明の第９実施形態に係る情報処理装置１について説明する。

［第９実施形態］
次に、図２０及び図２１を参照して、このような図２の機能的構成の情報処理装置１が実行する第９実施形態の入力操作受付処理について説明する。第９実施形態においては、ユーザが、静電容量式タッチパネル３１ａにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、連続撮影を開始したり、連続撮影を停止したり、するなどの処理が行われる。連続撮影とは、撮像部１８により連続して撮像される撮像画像のデータを、バッファ（図示せず）に一次的に記憶する処理をいう。また、連続撮影を停止するとは、連続撮影によりバッファに一時的に記憶されている撮像画像のデータを記憶部１９又はリムーバブルメディア４１に記録し、連続した撮像を停止する処理をいう。
情報処理装置１により第９実施形態の入力操作受付処理が実行されると、ＣＰＵ１１において図２の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではＣＰＵ１１が該当する。但し、本発明の理解を容易なものとすべく、ＣＰＵ１１において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
図２０は、図２の機能的構成を有する図１の情報処理装置１が実行する第９実施形態の入力操作受付処理の流れを説明するフローチャートである。

入力操作受付処理は、ユーザにより情報処理装置１の電源ボタン（図示せず）が押下されたことを契機として開始され、次のような処理が繰り返し実行される。

ステップＳ１７１において、入力操作受付部５１は、タッチパネル３１に対するユーザによるタッチ操作を受け付けたか否かを判定する。タッチパネル３１に対するユーザによるタッチ操作が行われていない場合には、ステップＳ１７１においてＮＯであると判定されて、処理はステップＳ１７１に再び戻される。即ち、タッチ操作が行われるまでの間、ステップＳ１７１の判定処理が繰り返し実行されて、入力操作受付処理は待機状態となる。その後、タッチ操作が行われた場合には、ステップＳ１７１においてＹＥＳであると判定されて、処理はステップＳ１７２に進む。

ステップＳ１７２において、距離特定部５２は、静電容量式タッチパネル３１ａでタッチ操作を受け付けたか否かを判定する。具体的には、距離特定部５２は、入力部１７のタッチパネル３１と、該タッチパネル３１に対する手や指などの物体との間の距離（高さ方向の位置の座標）を特定することで、静電容量式タッチパネル３１ａに対してオブジェクトに対する指示操作が受け付けられたか否かを判定する。静電容量式タッチパネル３１ａでタッチ操作を受け付けた場合には、ステップＳ１７２においてＹＥＳであると判定されて、処理は、ステップＳ１７３に進む。

ステップＳ１７３において、制御部５３は、静電容量式タッチパネル３１ａに対してタッチ操作がなされたと判断して、連続撮影を開始する制御を行う。連続撮影を開始する具体例については、後述の図２１を参照して説明する。この処理が終了すると、処理はステップＳ１７４に進む。

ステップＳ１７４において、制御部５３は、入力操作受付終了の指示があったか否かを判定する。入力操作受付終了の指示がない場合、ステップＳ１７４においてＮＯであると判定されて、処理はステップＳ１７１に戻される。即ち、入力操作受付終了の指示があるまでの間、ステップＳ１７１乃至Ｓ１７４の処理が繰り返し行われる。
このようにして、ユーザは入力操作受付終了の指示を行うまでの間、静電容量式タッチパネル３１ａに対するタッチ操作を継続することで、連続撮影を継続して行うことができる。その後、例えばユーザが情報処理装置１に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップＳ１７４においてＹＥＳであると判定されて、入力操作受付処理は終了となる。

静電容量式タッチパネル３１ａでタッチ操作を受け付けられていない場合には、ステップＳ１７２においてＮＯであると判定されて、処理は、ステップＳ１７５に進む。

ステップＳ１７５において、制御部５３は、抵抗膜式タッチパネル３１ｂに対してタッチ操作がなされたと判断して、連続撮影を停止する制御を行う。連続撮影を停止する具体例については、後述の図２１を参照して説明する。この処理が終了すると、入力操作受付処理は終了となる。

次に、入力部１７に対する操作に応じた、オブジェクトに関する処理の具体例について説明する。
図２１は、図１の情報処理装置１の入力部１７に対しタッチ操作がなされた状態を示す図である。本実施形態においては、入力部１７は表示部１６の右側端部近辺に配置されている。

ユーザが、入力部１７と指１０１との間の距離が離れている状態でタッチ操作をした場合、即ち、指１０１が入力部１７に対して非接触の状態を維持してタッチ操作をした場合には、制御部５３は、静電容量式タッチパネル３１ａ（オブジェクトの一種）でタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第１７の処理を実行する。
これに対し、ユーザが、入力部１７と指１０１との間の距離が０でタッチ操作をした場合、即ち、指１０１を入力部１７に接触した状態を維持してタッチ操作をした場合には、制御部５３は、抵抗膜式タッチパネル３１ｂ（オブジェクトの他の一種）でタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第１８の処理を実行する。
ここで、第１７の処理と第１８の処理とは、相互に異なる処理であれば任意の処理でよいが、本実施形態では、静電容量式タッチパネル３１ａに対するタッチ操作に基づき連続撮影を開始する処理が第１７の処理として採用されている。また、抵抗膜式タッチパネル３１ｂに対するタッチ操作に連続撮影を停止する処理が第１８の処理として採用されている。
即ち、ユーザが、入力部１７と指１０１との間の距離が離れている状態でタッチ操作をした場合、制御部５３は、連続撮影を開始し、静電容量式タッチパネル３１ａに対するタッチ操作に基づき撮像画像のデータをバッファ（図示せず）に一時的に連続して記憶していく。そして、ユーザが、入力部１７と指１０１との間の距離が０でタッチ操作をした場合、制御部５３は、抵抗膜式タッチパネル３１ｂに対するタッチ操作に基づきバッファに記憶されている撮像画像のデータをリムーバブルメディア４１に記憶する。制御部５３は、撮像画像のデータをリムーバブルメディア４１に記憶することにより連続撮影を停止する。これにより、ユーザが撮影を意識した時点から撮影するまでを連続撮影し、ユーザが撮影するタイミングと実際に撮影されるタイミングとのズレを解消することで、シャッターチャンスを逃すことなくユーザが所望する撮影タイミングで撮影することができる。

以上説明したように、本実施形態の情報処理装置１は、入力操作受付部５１と、距離特定部５２と、制御部５３と、を備える。
入力操作受付部５１は、タッチパネル３１が積層された表示部１６の表示面（２次元平面）に略平行な物体の移動を、タッチパネル３１に対するタッチ操作として受け付ける。
距離特定部５２は、タッチ操作がなされた場合の物体についての、表示部１６の表示面（２次元平面）からの距離を検出する。
制御部５３は、入力操作受付部５１により受け付けられたタッチ操作の種類（物体の移動の軌跡に応じて異なる種類）と、距離特定部５２により検出された物体の表示部１６の表示面からの法線方向の距離に基づいて、表示されたオブジェクトに関する処理の実行を可変制御する。
これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作（指や手といった物体を移動させるという直感的なタッチ操作）を行うだけで、オブジェクトに関する処理の各種指示を行うことができる。これにより、タッチパネル３１に不慣れなユーザであっても容易にオブジェクトの処理を指示することができる。

さらに、本実施形態の情報処理装置１の制御部５３は、入力操作受付部５１により受け付けられたタッチ操作（移動操作）の種類、及び距離特定部５２により特定された距離に基づいて、複数種のタッチ操作のうち、実行されたタッチ操作を認識し、当該タッチ操作に対応付けられた、オブジェクトに関する処理を制御するようにした。これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、オブジェクトに関する処理の各種指示を行うことができる。これにより、タッチパネル３１に不慣れなユーザであっても容易にオブジェクトの処理を指示することができる。

さらに、本実施形態の情報処理装置１の制御部５３は、距離特定部５２により特定された距離に応じて、表示部１６の表示面に表示されるオブジェクトのページ送り又は別オブジェクトの読み込みの何れかの制御を実行するようにした。
これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、表示部１６に表示されている漫画のコンテンツのページ送りをしたり、現在表示されている漫画のコンテンツに代えて次の巻のコンテンツに変えることができる。これにより、タッチパネル３１に不慣れなユーザであっても容易に表示部１６に表示されているコンテンツの制御を変更して指示することができる。

さらに、本実施形態の情報処理装置１の制御部５３は、距離特定部５２により特定された距離に応じて、表示部１６の表示面に表示されるオブジェクトの任意の角度への回転又は規定の角度への回転の何れかの制御を実行するようにした。これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、表示部１６に表示されている絵の角度をきめ細かく任意の角度へ回転したり、予め設定された規定の角度へ大まかに回転したりすることができる。これにより、タッチパネル３１に不慣れなユーザであっても容易に表示部１６に表示されているオブジェクトの回転角度を指示することができる。

さらに、本実施形態の情報処理装置１の制御部５３は、距離特定部５２により特定された距離に応じて、３Ｄ画面を表示する為の複数の層に配置されたボタンのうち、何れかの層に配置されたボタンに対する押下処理の制御を実行するようにした。これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、３Ｄコンテンツを表示する為の上位階層に配置されたボタンに対する押下処理をしたり、下位階層に配置されたボタンに対する押下処理をしたりすることができる。これにより、タッチパネル３１に不慣れなユーザであっても容易に表示部１６に表示されている複数の層に配置されたボタンに対する押下処理を指示することができる。

さらに、本実施形態の情報処理装置１の制御部５３は、距離特定部５２により特定された距離に応じて、表示部１６の表示面に表示される複数のファイルを選択するか又は一部のファイルのみを移動するか何れかの制御を実行するようにした。これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、ファイル管理ソフトなどにより、表示部１６に表示されている特定の範囲内にある複数のファイルを選択したり、一部のファイルのみを選択したりすることができる。これにより、タッチパネル３１に不慣れなユーザであっても容易に表示部１６に表示されたページやファイルの制御の変更を指示することができる。

さらに、本実施形態の情報処理装置１の制御部５３は、距離特定部５２により特定された距離に応じて、表示部１６の表示面に表示されるファイルを同カテゴリの別ファイルにするか別カテゴリの別ファイルにするかの何れかの制御を実行するようにした。これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、電子カタログ中の表示部１６に表示されている同じカテゴリの商品を別の色の商品のファイルに変更して表示したり、別の商品のファイルに変更して表示したり、することができる。これにより、タッチパネル３１に不慣れなユーザであっても容易に商品などのオブジェクトを変更して表示する制御を指示することができる。

さらに、本実施形態の情報処理装置１の制御部５３は、距離特定部５２により特定された距離に応じて、表示部１６の表示面に表示されるオブジェクトを拡大したり、縮小して表示する制御を実行するようにした。これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、表示部１６に表示された３Ｄコンテンツ（例えば、地球儀）を自由に拡大して表示したり、縮小して表示したり、することができる。これにより、タッチパネル３１に不慣れなユーザであっても容易に表示部１６に表示されているコンテンツの大きさを変更して表示する制御を指示することができる。

さらに、本実施形態の情報処理装置１の制御部５３は、３次元方向の移動に応じて、オブジェクトを回転するか又は選択するかの何れかを制御を実行するようにした。これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、表示部１６に表示された回転自由な３Ｄコンテンツ（例えば、地球儀）を自由に回転して表示したり、選択して表示したり、することができる。これにより、タッチパネル３１に不慣れなユーザであっても容易に表示部１６に表示されている３Ｄコンテンツなどの制御の変更を指示することができる。

さらに、本実施形態の情報処理装置１の制御部５３は、距離特定部５２により特定された距離に応じて、文字認識の結果に基づき取得される変換候補の文字として異なる文字種を選択する制御を実行するようにした。これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、大文字と小文字とで略同じの筆跡の文字（例えば、“Ｃ”と“ｃ”、“Ｏ”と“ｏ”など）が手書き入力される場合であっても、文字認識の結果に基づき取得される変換候補として大文字の文字種を選択したり、小文字の文字種を選択したり、することができる。これにより、タッチパネル３１に不慣れなユーザであっても容易に変換候補の文字種を指定することができる。

さらに、本実施形態の情報処理装置１は、被写体を撮像する撮像部１８を備える。そして、制御部５３は、距離特定部５２により特定された距離に応じて、積層されたタッチパネル３１を構成する複数のパネルのうち、何れかのタッチパネル３１に基づく指示により撮像部１８を制御して撮像するようにした。これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、タッチパネルの特性（例えば、水に強いタッチパネルや、感応性に優れたタッチパネルなど）に応じたタッチパネルを選択して撮像することができる。これにより、タッチパネル３１に不慣れなユーザであっても容易に最適なタッチパネルを選択して撮影の指示をすることができる。

さらに、本実施形態の情報処理装置１の制御部５３は、距離特定部５２により特定された距離に応じて、撮像部１８により連続撮影を開始するか又は前記連続撮影を停止するかのうち、何れかの制御を実行するようにした。これにより、タッチパネル３１に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、シャッターチャンスを伺うために連続撮影を開始したり、連続撮影中の一瞬のシャッターチャンスにおいて撮影をするために、連続撮影を停止させたり、することができる。これにより、タッチパネル３１に不慣れなユーザであっても容易に最適なシャッタータイミングでの撮影を指示することができる。

さらに、本実施形態の情報処理装置１のタッチパネル３１は、静電容量式タッチパネル３１ａと、抵抗膜式タッチパネル３１ｂとにより構成されている。
この場合、静電容量式タッチパネル３１ａの表面により、抵抗膜式タッチパネル３１ｂを保護することができる。さらに、静電容量式タッチパネル３１ａにより、非接触状態でもタッチ操作がなされた位置の座標及び、指１０１と静電容量式タッチパネル３１ａとの距離を検出することができるとともに、接触した場合には、抵抗膜式タッチパネル３１ｂにより、より詳細にタッチ操作がなされた位置の座標を検出することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。

上述の実施形態では、静電容量式タッチパネル３１ａと、抵抗膜式タッチパネル３１ｂは、表示部１６のディスプレイの表示画面全体にその順番で積層されているがこの限りではない。例えば、抵抗膜式タッチパネル３１ｂと、静電容量式タッチパネル３１ａと、はその順番で表示部１６のディスプレイの表示画面全体にその順番で積層されてもよい。

また上述の実施形態では、距離特定部５２は、入力部１７を構成する静電容量式タッチパネル３１ａの静電容量の変化から入力部１７と手や指などとの距離を複数特定しているがこの限りではない。例えば、距離特定部５２は、図示せぬ超音波センサ、赤外線センサ、撮像装置、などにより検出された距離を特定してもよい。

換言すると、上述した実施形態では、入力操作受付部５１は、表示部１６の表示画面（２次元平面）に略平行な方向の、物体（手や指など）の２次元上の位置の移動の操作を、タッチ操作として受け付けた。また、距離特定部５２は、物体の表示画面からの距離、即ち、表示画面の垂線と略平行な方向の物体の位置を検出した。
してみると、上述した実施形態とは、入力操作受付部５１及び距離特定部５２が、表示部１６の表示画面を基準平面として、基準平面に対する３次元方向の物体の移動の操作を受け付けていることとなど価である。そこで、入力操作受付部５１及び距離特定部５２をまとめて、以下、「３次元操作受付部」と呼ぶ。
この場合、基準平面は、表示部１６の表示画面である必要は特になく、任意の平面でよい。この場合、基準平面は、ユーザから肉眼視できる平面を採用する必要はなく、何らかの物体内の平面を採用してもよいし、仮想的な平面を基準平面として定義してもよい。
また、物体の３次元上の位置を測定する３次元位置検出部は、上述の実施形態では静電容量式タッチパネル３１ａ及び抵抗膜式タッチパネル３１ｂとして構成されたが、特にこれに限定されず、任意の種類の任意の個数の位置検出部を組み合わせて構成することができる。ここで、上述の距離とは、基準面の法線方向の物体の位置に他ならないので、距離を検出することは、基準面の法線方向の位置を検出することに他ならない。

以上まとめると、本発明が適用される情報処理装置とは、次のような機能を有していれば足り、その実施形態は上述の実施形態に特に限定されない。
即ち、本発明が適用される情報処理装置とは、
基準平面に対する物体の３次元方向の位置を検出する３次元位置検出機能と、
時間的に離間して複数回検出された物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受け付け機能と、
受け付けられた指示操作に応じて、当該オブジェクトに関する処理を可変制御する制御機能と、
を有している。

また、上述の実施形態では、入力部１７と指１０１との距離に応じて表示部１６のディスプレイに表示されるアイコンの表示率を変更していたがこれに限られない。例えば、入力部１７と指１０１との距離に応じて指１０１に近接する箇所にセンターリングして表示されるようにしてもよい。

また、上述の実施形態では、本発明が適用される情報処理装置１は、スマートフォンを例として説明したが、特にこれに限定されない。
例えば、本発明は、撮像機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、デジタルカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機などに適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア４１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成される。リムーバブルメディア４１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスクなどにより構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などにより構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）などにより構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換など種々の変更を行うことができる。これら実施形態やその変形は、本明細書などに記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均などの範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
基準平面に対する物体の３次元方向の位置を検出する３次元位置検出手段と、
前記３次元位置検出手段により時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受付手段と、
前記３次元操作受付手段により受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御手段と、
を備えることを特徴とする情報処理装置。
［付記２］
前記３次元位置検出手段は、表示画面を基準平面として、当該表示画面に積層されたタッチパネルを含み、
前記オブジェクトに関する処理として、異なる処理がそれぞれ対応付けられた複数種のタッチ操作が、前記表示画面の法線方向の距離に応じてそれぞれ割り当てられており、
前記３次元操作受け付け手段は、
前記表示画面に略平行な２次元方向の物体の移動操作を受け付ける入力操作受付手段と、
前記物体の前記表示画面からの法線方向の距離を特定する距離特定手段と、
を含み、
前記制御手段は、
前記入力操作受付手段により受け付けられた移動操作、及び前記距離特定手段により特定された距離に基づいて、前記複数種のタッチ操作のうち、実行されたタッチ操作を認識し、当該タッチ操作に対応した前記オブジェクトに関する処理を制御する
ことを特徴とする付記１に記載の情報処理装置。
［付記３］
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトのページ送り又は別のオブジェクトの読み込みの何れかの制御を実行することを特徴とする付記２に記載の情報処理装置。
［付記４］
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトの任意の角度への回転又は規定の角度への回転の何れかの制御を実行することを特徴とする付記２に記載の情報処理装置。
［付記５］
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示される複数の層に配置されたオブジェクトのうち、何れかの層に配置された前記オブジェクトに対する押下処理の制御を実行することを特徴とする付記２に記載の情報処理装置。
［付記６］
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示される複数のオブジェクトを選択するか又は前記複数のオブジェクトのうち一部のオブジェクトのみを移動するかの何れかの制御を実行することを特徴とする付記２に記載の情報処理装置。
［付記７］
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトを同カテゴリの別ファイルを表示するか別カテゴリの別ファイルを表示するかの何れかの制御を実行することを特徴とする付記２に記載の情報処理装置。
［付記８］
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトを拡大又は縮小して表示する制御を実行することを特徴とする付記２に記載の情報処理装置。
［付記９］
前記制御手段は、
前記３次元操作受け付け手段により認識された前記物体の３次元方向の移動に応じて、前記オブジェクトを回転するか又は選択するかの何れかの制御を実行することを特徴とする付記２に記載の情報処理装置。
［付記１０］
前記制御手段は、
前記距離特定手段により特定された距離に応じて、文字認識の結果に基づき取得される変換候補の文字として異なる文字種を選択する制御を実行することを特徴とする付記２に記載の情報処理装置。
［付記１１］
被写体を撮像する撮像手段をさらに備え、
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記積層されたタッチパネルを構成する複数のパネルのうち、何れかのタッチパネルに基づく指示により前記撮像手段を制御して撮像する制御を実行することを特徴とする付記２に記載の情報処理装置。
［付記１２］
被写体を撮像する撮像手段をさらに備え、
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記撮像手段により連続撮影を開始するか又は前記連続撮影を停止するかのうち、何れかの制御を実行することを特徴とする付記２に記載の情報処理装置。
［付記１３］
オブジェクトに関する処理を制御する情報処理装置が実行する情報処理方法において、
基準平面に対する物体の３次元方向の位置を検出する３次元位置検出ステップと、
前記３次元位置検出ステップにより時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受け付けステップと、
前記３次元操作受け付けステップにより受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御ステップと、
を含むことを特徴とする情報処理方法。
［付記１４］
オブジェクトに関する処理を制御する情報処理装置を制御するコンピュータに、
基準平面に対する物体の３次元方向の位置を検出する３次元位置検出機能と、
前記３次元位置検出機能により時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受け付け機能と、
前記３次元操作受け付け機能により受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御機能と、
を含む情報処理を実行させるプログラム。

１・・・情報処理装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・表示部、１７・・・入力部、１８・・・記憶部、１９・・・通信部、２０・・・ドライブ、３１・・・タッチパネル、３１ａ・・・静電容量式タッチパネル、３１ｂ・・・抵抗膜式タッチパネル、４１・・・リムーバブルメディア、５１・・・入力操作受付部、５２・・・距離特定部、５３・・・制御部

本発明は、ユーザ操作処理装置、ユーザ操作処理方法及びプログラムに関する。

上述した課題を解決するために、本発明のユーザ操作処理装置は、
表示画面を有し前記表示画面に表示オブジェクトを表示する表示部と、前記表示部の前記表示画面に積層されるタッチパネルとを備え、前記タッチパネルに対するユーザ操作に基づいて前記表示オブジェクトに関する処理を実行するユーザ操作処理装置であって、
前記タッチパネルに対する前記ユーザ操作として、前記タッチパネルにタッチした状態での移動操作または前記タッチパネルに非タッチ状態での移動操作を検出する検出部と、
前記タッチパネルにタッチした状態での移動操作が前記検出部により検出された場合は前記表示画面に表示される前記表示オブジェクトに関する第１処理を実行させ、前記タッチパネルに非タッチ状態での移動操作が前記検出部により検出された場合は前記第１処理とは異なる第２処理を実行させる制御部と、
を備え、
前記制御部は、
前記タッチパネルにタッチした状態での前記検出部により検出された前記移動操作の移動量が設定量を超えるまでの間は前記第１処理を待機状態とし、
前記タッチパネルに非タッチ状態での前記検出部により検出された前記移動操作の移動量が前記設定量を超えるまでの間は前記第２処理を待機状態とする
ことを特徴とする。

Claims (15)

1. 基準平面に対する物体の３次元方向の位置を検出する３次元位置検出手段と、
   前記３次元位置検出手段により時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受付手段と、
   前記３次元操作受付手段により受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御手段と、
   を備え、
   前記３次元位置検出手段は、表示画面を基準平面として、当該表示画面に積層されたタッチパネルを含み、
   前記オブジェクトに関する処理として、異なる処理がそれぞれ対応付けられた複数種のタッチ操作が、前記表示画面の法線方向の距離に応じてそれぞれ割り当てられており、
   前記３次元操作受け付け手段は、
   前記表示画面に略平行な２次元方向の物体の移動操作を受け付ける入力操作受付手段と、
   前記物体の前記表示画面からの法線方向の距離を特定する距離特定手段と、を含み、
   前記制御手段は、前記入力操作受付手段により受け付けられた移動操作、及び前記距離特定手段により特定された距離に基づいて、前記複数種のタッチ操作のうち、実行されたタッチ操作を認識し、当該タッチ操作に対応した前記オブジェクトに関する処理を制御し、更に、
   前記制御手段は、前記距離特定手段により特定された距離に応じて、文字認識の結果に基づき取得される変換候補の文字として異なる文字種を選択する制御を実行することを特徴とする情報処理装置。
2. 前記制御手段は、
   前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトのページ送り又は別のオブジェクトの読み込みの何れかの制御を実行することを特徴とする請求項１に記載の情報処理装置。
3. 前記制御手段は、
   前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトの任意の角度への回転又は規定の角度への回転の何れかの制御を実行することを特徴とする請求項１に記載の情報処理装置。
4. 前記制御手段は、
   前記距離特定手段により特定された距離に応じて、前記表示画面に表示される複数の層に配置されたオブジェクトのうち、何れかの層に配置された前記オブジェクトに対する押下処理の制御を実行することを特徴とする請求項１に記載の情報処理装置。
5. 前記制御手段は、
   前記距離特定手段により特定された距離に応じて、前記表示画面に表示される複数のオブジェクトを選択するか又は前記複数のオブジェクトのうち一部のオブジェクトのみを移動するかの何れかの制御を実行することを特徴とする請求項１に記載の情報処理装置。
6. 前記制御手段は、
   前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトを同カテゴリの別ファイルを表示するか別カテゴリの別ファイルを表示するかの何れかの制御を実行することを特徴とする請求項１に記載の情報処理装置。
7. 前記制御手段は、
   前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトを拡大又は縮小して表示する制御を実行することを特徴とする請求項１に記載の情報処理装置。
8. 前記制御手段は、
   前記３次元操作受け付け手段により認識された前記物体の３次元方向の移動に応じて、
   前記オブジェクトを回転するか又は選択するかの何れかの制御を実行することを特徴とする請求項１に記載の情報処理装置。
9. 被写体を撮像する撮像手段をさらに備え、
   前記制御手段は、
   前記距離特定手段により特定された距離に応じて、前記積層されたタッチパネルを構成する複数のパネルのうち、何れかのタッチパネルに基づく指示により前記撮像手段を制御して撮像する制御を実行することを特徴とする請求項１に記載の情報処理装置。
10. 被写体を撮像する撮像手段をさらに備え、
    前記制御手段は、
    前記距離特定手段により特定された距離に応じて、前記撮像手段により連続撮影を開始するか又は前記連続撮影を停止するかのうち、何れかの制御を実行することを特徴とする
    請求項１に記載の情報処理装置。
11. オブジェクトに関する処理を制御する情報処理装置が実行する情報処理方法において、
    基準平面に対する物体の３次元方向の位置を検出する３次元位置検出ステップと、
    前記３次元位置検出ステップにより時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受け付けステップと、
    前記３次元操作受け付けステップにより受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御ステップと、
    を含み、
    前記３次元位置検出ステップは、表示画面を基準平面として、当該表示画面に積層されたタッチパネルにおける基準平面に対する物体の３次元方向の位置を検出し、
    前記オブジェクトに関する処理として、異なる処理がそれぞれ対応付けられた複数種のタッチ操作が、前記表示画面の法線方向の距離に応じてそれぞれ割り当てられており、
    前記３次元操作受け付けステップは、
    前記表示画面に略平行な２次元方向の物体の移動操作を受け付ける入力操作受付ステップと、
    前記物体の前記表示画面からの法線方向の距離を特定する距離特定ステップと、を含み、
    前記制御ステップは、前記入力操作受付ステップにより受け付けられた移動操作、及び前記距離特定ステップにより特定された距離に基づいて、前記複数種のタッチ操作のうち、実行されたタッチ操作を認識し、当該タッチ操作に対応した前記オブジェクトに関する処理を制御し、更に、
    前記制御ステップは、前記距離特定ステップにより特定された距離に応じて、文字認識の結果に基づき取得される変換候補の文字として異なる文字種を選択する制御を実行する
    ことを特徴とする情報処理方法。
12. オブジェクトに関する処理を制御する情報処理装置を制御するコンピュータに、
    基準平面に対する物体の３次元方向の位置を検出する３次元位置検出機能と、
    前記３次元位置検出機能により時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受け付け機能と、
    前記３次元操作受け付け機能により受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御機能と、
    を含む情報処理を実行させ、
    前記３次元位置検出機能は、表示画面を基準平面として、当該表示画面に積層されたタッチパネルにおける基準平面に対する物体の３次元方向の位置を検出し、
    前記オブジェクトに関する処理として、異なる処理がそれぞれ対応付けられた複数種のタッチ操作が、前記表示画面の法線方向の距離に応じてそれぞれ割り当てられており、
    前記３次元操作受け付け機能は、
    前記表示画面に略平行な２次元方向の物体の移動操作を受け付ける入力操作受付機能と、
    前記物体の前記表示画面からの法線方向の距離を特定する距離特定機能と、を含み、
    前記制御機能は、前記入力操作受付機能により受け付けられた移動操作、及び前記距離特定機能により特定された距離に基づいて、前記複数種のタッチ操作のうち、実行されたタッチ操作を認識し、当該タッチ操作に対応した前記オブジェクトに関する処理を制御し、更に、
    前記制御機能は、前記距離特定機能により特定された距離に応じて、文字認識の結果に基づき取得される変換候補の文字として異なる文字種を選択する制御を実行するプログラム。
13. 基準平面に対する物体の３次元方向の位置を検出する３次元位置検出手段と、
    前記３次元位置検出手段により時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受付手段と、
    前記３次元操作受付手段により受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御手段と、
    を備え、
    前記制御手段は、前記法線方向の距離に応じて、文字認識の結果に基づき取得される変換候補の文字として異なる文字種を選択する制御を実行することを特徴とする情報処理装置。
14. オブジェクトに関する処理を制御する情報処理装置が実行する情報処理方法において、
    基準平面に対する物体の３次元方向の位置を検出する３次元位置検出ステップと、
    前記３次元位置検出ステップにより時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受け付けステップと、
    前記３次元操作受け付けステップにより受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御ステップと、
    を含み、
    前記制御ステップは、前記法線方向の距離に応じて、文字認識の結果に基づき取得される変換候補の文字として異なる文字種を選択する制御を実行することを特徴とする情報処理方法。
15. オブジェクトに関する処理を制御する情報処理装置を制御するコンピュータに、
    基準平面に対する物体の３次元方向の位置を検出する３次元位置検出機能と、
    前記３次元位置検出機能により時間的に離間して複数回検出された前記物体の３次元方向の各位置に基づいて、当該物体の３次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける３次元操作受け付け機能と、
    前記３次元操作受け付け機能により受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御機能と、
    を含む情報処理を実行させ、
    前記制御機能は、前記法線方向の距離に応じて、文字認識の結果に基づき取得される変換候補の文字として異なる文字種を選択する制御を実行するプログラム。

Images