JP2019207574A - 情報処理装置、情報処理システム及びプログラム - Google Patents

Abstract

【課題】空気中に表示される画像に対する同じ身振りを身振りの開始が検知される位置に応じて複数の意味に分けて受け付けるための技術を提供する。【解決手段】情報処理装置は、空気中に形成されている画像に対する検知の対象の動きを検知する検知手段と、画像の表示領域に対して動きが開始されたときの位置と動きの方向との組み合わせに応じて、画像に対する操作の内容を制御する制御手段と、を有する。【選択図】図１３

Description

本発明は、情報処理装置、情報処理システム及びプログラムに関する。

空気中に表示される空中画像までの距離と、距離センサで測定されたユーザの手までの距離との差が事前に定めた範囲内であるとき、ユーザのタッチ操作として認識する技術がある。

特開２０１７−６２７０９号公報

先行技術では、タッチ操作かそれ以外かの区別しかされていない。

本発明は、空気中に表示される画像に対する同じ身振りを身振りの開始が検知される位置に応じて複数の意味に分けて受け付けるための技術を提供することを目的とする。

請求項１に記載の発明は、空気中に形成されている画像に対する検知の対象の動きを検知する検知手段と、前記画像の表示領域に対して前記動きが開始されたときの位置と当該動きの方向との組み合わせに応じて、当該画像に対する操作の内容を制御する制御手段と、を有する情報処理装置である。
請求項２に記載の発明は、前記組み合わせは複数であり、予め与えられている、請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記動きが開始されたときの位置は、前記画像と重ならない位置、重なる位置と、接する位置のうちの複数又は１つである、請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記組み合わせに応じた制御の内容は、前記画像の表示に用いられるアプリケーションプログラムに応じて定められる、請求項１に記載の情報処理装置である。
請求項５に記載の発明は、前記組み合わせに応じた制御の内容は、操作の対象であるオブジェクトの属性に応じて定められる、請求項１に記載の情報処理装置である。
請求項６に記載の発明は、前記動きが開始されたときの位置は、検知の対象が予め定めた時間以上、静止とみなす状態にある位置である、請求項１に記載の情報処理装置である。
請求項７に記載の発明は、前記動きが開始されたときの位置は、予め定めた検知用の領域のうち、検知の対象の通過が検知された位置である、請求項１に記載の情報処理装置である。
請求項８に記載の発明は、前記動きが開始されたときの両手の位置が前記画像と重なっておらず、かつ、両手の間隔を広げる動きの場合、前記制御手段は、当該画像の最大表示領域を拡大する、請求項１に記載の情報処理装置である。
請求項９に記載の発明は、前記動きが開始されたときの両手の位置が前記画像と重なっており、かつ、両手の間隔を広げる動きの場合、前記制御手段は、当該画像のうち両手で挟まれている部分を最大表示領域内で局所的に拡大する、請求項１に記載の情報処理装置である。
請求項１０に記載の発明は、前記動きが開始されたときの両手の位置が前記画像と重なっておらず、かつ、両手の間隔を狭める動きの場合、前記制御手段は、操作が当該画像の最大表示領域を縮小する、請求項１に記載の情報処理装置である。
請求項１１に記載の発明は、前記動きが開始されたときの両手の位置が前記画像と重なっており、かつ、両手の間隔を狭める動きの場合、前記制御手段は、当該画像のうち両手で挟まれている部分を最大表示領域内で局所的に縮小する、請求項１に記載の情報処理装置である。
請求項１２に記載の発明は、前記動きが開始されたときの片手の位置が前記画像と重なっておらず、かつ、片手を一方向に移動させる動き又は回転させる動きの場合、前記制御手段は、当該画像を形成する空間を当該動きの方向に移動させる又は当該画像を回転させる、請求項１に記載の情報処理装置である。
請求項１３に記載の発明は、前記動きが開始されたときの片手の位置が前記画像と重なっており、かつ、片手を一方向に移動させる動きの場合、前記制御手段は、片手が通過した部分を削除する、請求項１に記載の情報処理装置である。
請求項１４に記載の発明は、前記動きが開始されたときの片手の位置が前記画像と重なっておらず、かつ、指と指の間隔を広げる動きの場合、前記制御手段は、操作が当該画像の最大表示領域を拡大する、請求項１に記載の情報処理装置である。
請求項１５に記載の発明は、前記動きが開始されたときの片手の位置が前記画像と重なっており、かつ、指と指の間隔を広げる動きの場合、前記制御手段は、指と指で挟まれている部分を最大表示領域内で局所的に拡大する、請求項１に記載の情報処理装置である。
請求項１６に記載の発明は、前記動きが開始されたときの片手の位置が前記画像と重なっておらず、かつ、指と指の間隔を狭める動きの場合、前記制御手段は、操作が当該画像の最大表示領域を縮小する、請求項１に記載の情報処理装置である。
請求項１７に記載の発明は、前記動きが開始されたときの片手の位置が前記画像と重なっており、かつ、指と指の間隔を狭める動きの場合、前記制御手段は、指と指で挟まれている部分を最大表示領域内で局所的に縮小する、請求項１に記載の情報処理装置である。
請求項１８に記載の発明は、前記制御手段は、複数の前記組み合わせに応じて操作の内容を制御する、請求項１に記載の情報処理装置である。
請求項１９に記載の発明は、前記画像が立体像の場合、前記制御手段は、開始の位置の違いにより、外層の像または内部の像を制御する、請求項１８に記載の情報処理装置である。
請求項２０に記載の発明は、ユーザの体の一部に、操作の内容に応じた刺激を与える、請求項１に記載の情報処理装置である。
請求項２１に記載の発明は、空気中に画像を形成する像形成手段と、前記画像に対する検知の対象の動きを検知する検知手段と、前記画像の表示領域に対して前記動きが開始されたときの位置と当該動きの方向との組み合わせに応じて、当該画像に対する操作の内容を制御する制御手段と、を有する情報処理システムである。
請求項２２に記載の発明は、コンピュータに、空気中に形成されている画像に対する検知の対象の動きを検知する機能と、前記画像の表示領域に対して前記動きが開始されたときの位置と当該動きの方向との組み合わせに応じて、当該画像に対する操作の内容を制御する機能と、を実行させるプログラムである。

請求項１記載の発明によれば、空気中に表示される画像に対する同じ身振りを身振りの開始が検知される位置に応じて複数の意味に分けて受け付けることができる。
請求項２記載の発明によれば、微細な位置や方向の違いを無視できる。
請求項３記載の発明によれば、操作の予測性を高めることができる。
請求項４記載の発明によれば、同じ身振りをアプリケーション毎に異なる意味で利用できる。
請求項５記載の発明によれば、同じ身振りをオブジェクト毎に異なる意味で利用できる。
請求項６記載の発明によれば、操作に用いる身振りと操作に用いない身振りを区別できる。
請求項７記載の発明によれば、操作に用いる身振りと操作に用いない身振りを区別できる。
請求項８記載の発明によれば、身振りによって最大表示領域を拡大できる。
請求項９記載の発明によれば、身振りによって画像の一部を局所的に拡大できる。
請求項１０記載の発明によれば、身振りによって最大表示領域を縮小できる。
請求項１１記載の発明によれば、身振りによって画像の一部を局所的に縮小できる。
請求項１２記載の発明によれば、身振りによって画像の表示位置を移動又は回転させることができる。
請求項１３記載の発明によれば、身振りによって画像の一部を削除できる。
請求項１４記載の発明によれば、身振りによって最大表示領域を拡大できる。
請求項１５記載の発明によれば、身振りによって画像の一部を局所的に拡大できる。
請求項１６記載の発明によれば、身振りによって最大表示領域を縮小できる。
請求項１７記載の発明によれば、身振りによって画像の一部を局所的に縮小できる。
請求項１８記載の発明によれば、多様な操作を実現できる。
請求項１９記載の発明によれば、立体像に特有の操作を実現できる。
請求項２０記載の発明によれば、身振りによる操作の受付を実感できる。
請求項２１記載の発明によれば、空気中に表示される画像に対する同じ身振りを身振りの開始が検知される位置に応じて複数の意味に分けて受け付けることができる。
請求項２２記載の発明によれば、空気中に表示される画像に対する同じ身振りを身振りの開始が検知される位置に応じて複数の意味に分けて受け付けることができる。

実施の形態１に係る空中画像形成システムの概略構成を説明する図である。 表示デバイスから出力される光を専用の光学プレートを透過させることで空中画像を形成する空中画像形成装置の原理図である。（Ａ）は各部材と空中画像との位置関係を示し、（Ｂ）は光学プレートの断面構造の一部を示す。 空中画像として３次元像を形成する空中画像形成装置の原理図である。 ２面コーナーリフレクタを構成する微小な四角い穴を平面内に等間隔に配列した構造のマイクロミラーアレイを用いて空中画像を形成する空中画像形成装置の原理図である。（Ａ）は各部材と空中画像との位置関係を示し、（Ｂ）はマイクロミラーアレイの一部分を拡大した図である。 ビームスプリッタと再帰性反射シートを使用する空中画像形成装置の原理図である。 空中画像をプラズマ発光体の集合として形成する空中画像形成装置の原理図である。 実施の形態１に係る操作受付装置のハードウェア構成の一例を説明する図である。 実施の形態１に係る操作受付装置の機能構成の一例を説明する図である。 開始位置検知部が検知する位置を説明する図である。（Ａ）は右手と左手の位置が空中画像の外側の場合（重ならない場合）を示し、（Ｂ）は右手と左手の位置が空中画像の外縁に接する場合を示し、（Ｃ）は右手と左手の位置が空中画像の内側の場合（重なる場合）を示す。 空中画像を出力するアプリケーションが描画用ソフトウェアの場合における操作の内容を特定する規則の例を説明する図表である。 空中画像を出力するアプリケーションが文書作成用ソフトウェアの場合における操作の内容を特定する規則の例を説明する図表である。 実施の形態１に係る操作受付装置で実行される処理内容を説明するフローチャートの一例である。 身振りによる操作の具体例１を説明する図である。（Ａ）は操作中の手（右手及び左手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例２を説明する図である。（Ａ）は操作中の手（右手及び左手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例３を説明する図である。（Ａ）は操作中の手（右手及び左手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例４を説明する図である。（Ａ）は操作中の手（右手及び左手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例５を説明する図である。（Ａ）は操作中の手（右手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例６を説明する図である。（Ａ）は操作中の手（右手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例７を説明する図である。（Ａ）は操作中の手（右手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例８を説明する図である。（Ａ）は操作中の手（右手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例９を説明する図である。（Ａ）は操作中の手（左手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例１０を説明する図である。（Ａ）は操作中の手（左手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例１１を説明する図である。（Ａ）は操作中の手（左手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例１２を説明する図である。（Ａ）は操作中の手（左手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例１３を説明する図である。（Ａ）は操作中の手（右手及び左手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例１４を説明する図である。（Ａ）は操作中の手（右手及び左手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例１５を説明する図である。（Ａ）は操作中の手（右手及び左手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例１６を説明する図である。（Ａ）は操作中の手（右手及び左手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例１７を説明する図である。（Ａ）は操作中の手（右手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例１８を説明する図である。（Ａ）は操作中の手（右手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例１９を説明する図である。（Ａ）は操作中の手（右手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例２０を説明する図である。（Ａ）は操作中の手（左手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例２１を説明する図である。（Ａ）は操作中の手（左手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例２２を説明する図である。（Ａ）は操作中の手（左手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例２３を説明する図である。（Ａ）は操作中の手（右手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例２４を説明する図である。（Ａ）は操作中の手（右手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例２５を説明する図である。（Ａ）は操作中の手（右手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例２６を説明する図である。（Ａ）は操作中の手（右手）と空中画像の位置の関係を示し、（Ｂ）は空中画像に対する操作を示し、（Ｃ）は２段階の操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例２７を説明する図である。（Ａ）は操作中の手（右手３）と空中画像の位置の関係を示し、（Ｂ）は空中画像に対する操作を示し、（Ｃ）は２段階の操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例２８を説明する図である。（Ａ）は操作中の手（右手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示す。 身振りによる操作の具体例２９を説明する図である。（Ａ）は操作中の手（右手）と空中画像の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像を示し、（Ｃ）は更に操作を受け付けた後の空中画像を示す。

以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜空中ディスプレイの概略構成＞
図１は、実施の形態１に係る空中画像形成システム１の概略構成を説明する図である。
本実施の形態において、空中画像１０とは空気中に形成される像をいい、例えば物体からの反射光と同等の光の状態を空気中に再現することにより形成される。
空中画像１０は空気中に浮かぶように形成されるので、人は、空中画像１０を通り抜けることができる。

図１に示す空中画像形成システム１は、空中画像１０を空気中に形成する空中画像形成装置１１と、空中画像１０に対する人の接近の方向を検知して空中画像１０に対する操作を受け付ける操作受付装置１２と、空中画像１０に対するユーザ３の身振りを撮像するカメラ１３と、受け付けた操作の内容に応じた刺激を体の一部（例えば右手３Ｒ、左手３Ｌ）に与える空中触覚装置１４と、を有している。
本実施の形態における空中画像形成システム１は、情報処理システムの一例であり、操作受付装置１２は、情報処理装置の一例である。
なお、空中画像形成装置１１は、像形成装置の一例である。

空中画像１０は、表示領域の一形態であり、各種の情報の表示に用いられる。例えば空中画像１０は、文書、図面、写真、地図等の静止画像の表示、映像等の動画像の表示、静止画像と動画像を組み合わせた複合画像の表示に用いられる。空中画像１０は、これらの表示を通じ、例えば案内、広告、操作、開発、学習等の用途で使用される。
図１の場合、空中画像１０の外縁（すなわち、最大表示領域）は球形状で規定されているが、外縁を規定する形状は任意である。例えば空中画像１０の外縁は、空中画像１０として表示される物体（オブジェクト）の外縁によって規定されてもよい。
本実施の形態の場合、物体（オブジェクト）は、それ自体が表示や処理の対象として規定され、外空間との境界を与える外縁によって規定される。
物体は、例えば操作用のボタンの像の外形、人の像の外形、動物の像の外形、製品の像の外形、果物の像の外形などで規定されてもよい。

この他、空中画像１０の外縁は、平面でも、曲面、直方体等の立体的な図形でも構わない。空中画像１０が立体的な形状である場合、空中画像１０は中空でもよいし、内部に構造を有していてもよい。
図１の場合、ユーザ３は、空中画像１０に対して手前側（空中画像１０を基準としてＸ方向についてマイナス側）に位置し、右手３Ｒと左手３Ｌを用いて、球形状の空中画像１０の外周面に触れるような身振りを行っている。右手３Ｒと左手３Ｌは、検知の対象の一例である。
空中画像１０は、空気中に光学的に形成される像であるので（物理的な投影スクリーンや表示デバイスが存在しないので）、ユーザ３から見て空中画像１０の裏面側や背後の風景が透けて見えている。

本実施の形態におけるカメラ１３は、ユーザ３の身振りだけでなく、身振りが開始される空間上の位置と空中画像１０との関係を検知できる位置に配置される。
例えばカメラ１３は、空中画像１０の鉛直上方（Ｚ軸の正の方向）や鉛直下方（Ｚ軸の負の方向）の位置に配置する。もっとも、複数のカメラ１３を、空中画像１０を取り囲むように配置してもよい。
なお、カメラ１３に代えて、又は、カメラ１３と組み合わせて、空間内の物体までの距離を測定する技術や光学的な検知面を横切る物体を検知するセンサ技術を用いてもよい。
距離を測定する技術には、例えば半導体レーザやＬＥＤ（Light Emitting Diode）から発射された光が物体で反射して戻ってくるまでの時間を画素毎に計測して物体までの距離を測定するＴＯＦ（Time Of Flight）方式、時系列に変化する縦縞パターンを投影した物体を撮像した画素に現れる輝度の変化から物体までの距離を測定するＳＬ（Structured Light）時系列パターン投影方式、超音波やミリ波を用いて物体までの距離を測定する方式、レーザ光や赤外光を用いて物体までの距離を測定する方式等をそれぞれ単独で、又は、組み合わせてもよい。組み合わせの対象には、撮像された画像を処理して身振りを認識する技術も含まれる。

＜空中画像形成装置の例＞
図２〜図６を用いて、空中画像１０の形成原理を説明する。なお、以下に説明する原理は、いずれも既知である。
図２は、表示デバイス２１から出力される光を専用の光学プレート２２を透過させることで空中画像１０を形成する空中画像形成装置１１Ａの原理図である。（Ａ）は各部材と空中画像１０との位置関係を示し、（Ｂ）は光学プレート２２の断面構造の一部を示す。

ここでの光学プレート２２は、壁面を鏡として使用する短冊状のガラス２２Ａを配列したプレートと、ガラス２２Ａに対して直交する向きに短冊状のガラス２２Ｂを配列したプレートを上下に重ねた構造を有する。
光学プレート２２は、表示デバイス２１から出力される光を短冊状のガラス２２Ａ及び２２Ｂで２回反射して空気中で結像させることで、表示デバイス２１に表示されている画像を空気中に再現する。なお、表示デバイス２１と光学プレート２２の距離と、光学プレート２２と空中画像１０との距離は同じである。また、表示デバイス２１に表示される画像の寸法と空中画像１０の寸法は同じである。

図３は、空中画像１０として３次元像を形成する空中画像形成装置１１Ｂの原理図である。空中画像形成装置１１Ｂは、実際の物体２３の表面で反射された光をリング型の光学プレート２２を２回透過させることで３次元像を空気中に再現する。なお、光学プレート２２を直列に配置する必要はない。

図４は、２面コーナーリフレクタを構成する微小な四角い穴２４Ａを平面内に等間隔に配列した構造のマイクロミラーアレイ２４を用いて空中画像１０を形成する空中画像形成装置１１Ｃの原理図である。（Ａ）は各部材と空中画像１０との位置関係を示し、（Ｂ）はマイクロミラーアレイ２４の一部分を拡大した図である。１つの穴２４Ａは、例えば１００μｍ角で形成される。

図５は、ビームスプリッタ２６と再帰性反射シート２７を使用する空中画像形成装置１１Ｄの原理図である。ここで、ビームスプリッタ２６は、表示デバイス２５の表示面に対して４５°の角度で配置されている。また、再帰性反射シート２７は、ビームスプリッタ２６による表示画像の反射方向に、表示デバイス２５の表示面に対して９０°の角度に配置されている。
空中画像形成装置１１Ｄの場合、表示デバイス２５から出力される光は、ビームスプリッタ２６によって再帰性反射シート２７の方向に反射され、次に再帰性反射シート２７で再帰反射され、ビームスプリッタ２６を透過して空中で結像される。光が結像する位置に空中画像１０が形成される。

図６は、空中画像１０をプラズマ発光体の集合として形成する空中画像形成装置１１Ｅの原理図である。
空中画像形成装置１１Ｅの場合、赤外パルスレーザ２８がパルス状のレーザ光を出力し、ＸＹＺスキャナ２９がパルス状のレーザ光を空気中で集光する。このとき、焦点近傍の気体が瞬間的にプラズマ化し、発光する。
ここでのパルス周波数は、例えば１００Ｈｚ以下であり、パルス発光時間は、例えばナノ秒オーダである。

なお、空中画像を生成する手法は、図２〜図６で説明した手法に限らない。
例えばいわゆるホログラムの手法を用いて空中画像を生成してもよい。
また、ユーザの目の前方に配置した透明プリズム（例えばホログラフィック光学素子）によって景色からの光と表示画面からの光とを合成し、ユーザには空中に画像が浮かんでいるように知覚させる手法を用いてもよい。
また、いわゆるヘッドマウントディスプレイを装着したユーザに、あたかもユーザの前方に画像が浮かんでいるように知覚させる手法を用いてもよい。

＜操作受付装置１２の構成＞
図７は、実施の形態１に係る操作受付装置１２のハードウェア構成の一例を説明する図である。
操作受付装置１２は、ファームウェアやアプリケーションプログラムの実行を通じて各種の機能を提供するＣＰＵ（Central Processing Unit）３１と、ファームウェアやＢＩＯＳ（Basic Input Output System）を格納する記憶領域であるＲＯＭ（Read Only Memory）３２と、プログラムの実行領域であるＲＡＭ（Random Access Memory）３３とを有している。ＣＰＵ３１、ＲＯＭ３２及びＲＡＭ３３はコンピュータを構成する。
また、操作受付装置１２は、空中画像１０として表示する情報を格納する記憶装置３４を有している。記憶装置３４は、例えば書き換え可能な不揮発性の記憶媒体を情報の格納に使用する。

また、操作受付装置１２は、通信インタフェース（通信ＩＦ）３５を使用して空中画像形成装置１１を制御し、操作の内容に応じて空中画像１０に表示される画像の内容を変化させる。
また、操作受付装置１２は、インタフェース（ＩＦ）３６を通じて、ユーザの身振りを撮像するカメラ１３と操作の内容に応じた刺激を体の一部に与える空中触覚装置１４と接続される。
本実施の形態における空中触覚装置１４は、例えば複数の超音波振動子を格子状に並べた超音波振動子アレーで構成される。この種の空中触覚装置１４は、空中の任意の位置に超音波の焦点を生成することができる。焦点の分布や振動の強さを調整することにより、ユーザによって知覚される触覚は変化する。
ここで、ＣＰＵ３１と各部はバス３７を通じて接続されている。

図８は、実施の形態１に係る操作受付装置１２（図１参照）の機能構成の一例を説明する図である。
図８に示す機能構成は、ＣＰＵ３１によるプログラムの実行を通じて実現される。
ＣＰＵ３１は、空中画像１０（図１参照）に対する身振りが開始した位置を検知する開始位置検知部４１と、身振りに用いられる体の部位が動く方向を検知する動き方向検知部４２と、身振りが開始した位置と身振りに用いられる体の部位が動く方向とに基づいて操作の内容を決定する操作内容決定部４３と、決定された操作の内容に応じて空中画像１０（図１参照）の表示を更新する画面更新部４４として機能する。

開始位置検知部４１と動き方向検知部４２は検知手段の一例であり、操作内容決定部４３は制御手段の一例である。
本実施の形態では、空中での身振りを、空中画像１０に対する操作として受け付ける。
空中画像１０に対する操作は、動きが開始されたときの位置と検知された動きの方向とで特定される。開始位置検知部４１と動き方向検知部４２は、これらの情報の検知に用いられる。
本実施の形態の場合、開始位置検知部４１は、操作に用いる体の部位（例えば手、足）が、予め定めた時間以上、静止とみなす状態にある位置を、動きが開始されたときの位置として検知する。手、指、足などの体の部位は、検知の対象の一例である。検知の対象として用いる体の部位は、開始位置検知部４１に予め設定されている。
静止とみなす状態は、完全な静止である必要はない。静止とみなす状態は、画像を処理するプログラムによって規定される。
予め定めた時間以上を要求するのは、体の部位を開始点に移動する動きと操作としての動きを区別するためである。本実施の形態では、例えば２秒の静止を要求する。

開始位置検知部４１は、カメラ１３で撮像された画像を処理して、操作の開始時における体の部位（例えば手）の位置を、空中画像１０（図１参照）に対する相対的な関係として検知する。
図９は、開始位置検知部４１が検知する位置を説明する図である。（Ａ）は右手３Ｒと左手３Ｌの位置が空中画像１０の外側の場合（重ならない場合）を示し、（Ｂ）は右手３Ｒと左手３Ｌの位置が空中画像１０の外縁に接する場合を示し、（Ｃ）は右手３Ｒと左手３Ｌの位置が空中画像１０の内側の場合（重なる場合）を示す。

ここで、外縁に接するとは、厳密に接することを意味しない。
本実施の形態の場合、操作に用いる体の部位が、空中画像１０の外縁に対して予め定めた範囲内に存在する場合を、操作に用いる体の部位が外縁に接する位置にある状態として扱う。範囲は、外縁に対して外側だけでなく、内側も含まれる。外縁に対して外側の方向についての範囲と、外縁に対して内側の方向への範囲は、それぞれ異なる値に設定してもよい。また、範囲の値は、空中画像１０の内容に応じて定めてもよい。

図９では、右手３Ｒと左手３Ｌの位置がいずれも同じ場合を例示しているが、左右の位置が異なっていてもよい。例えば右手３Ｒは空中画像１０の内側で左手３Ｌは空中画像１０の外側でもよい。
図９では、操作に用いる体の部位が両手の場合を例示しているが、操作に用いる体の部位は片手でもよいし、手の指でもよいし、足でもよい。本実施の形態では、ユーザが操作する棒などの物体も、操作に用いる体の部位に準じて扱う。ユーザが操作する棒などの物体も、検知の対象の一例である。物体には手袋や靴を含めてもよい。
操作に用いる手の指の数は、１本でも複数本でもよい。また、特定の指を操作に用いる部位としてもよい。操作に用いる部位を特定することで誤検知を低減できる。

動き方向検知部４２は、操作に関する動きとして、空中画像１０に対して近づく方向の動きか、離れる方向の動きか、外縁に沿う動きか等を検知する。なお、外縁の方向に沿う動きについては、体の部位が移動する方向を含めてもよい。操作に用いる部位が複数の場合（例えば両手、複数の指）、複数の部位の間隔が狭まるか広がるかを検知してもよい。
図１０及び図１１は、操作内容決定部４３が操作の内容の特定に使用する規則の一例を示す図表である。
図１０は、空中画像１０を出力するアプリケーションが描画用ソフトウェアの場合における操作の内容を特定する規則の例を説明する図表である。
図１１は、空中画像１０を出力するアプリケーションが文書作成用ソフトウェアの場合における操作の内容を特定する規則の例を説明する図表である。
図１０及び図１１に示す図表は、組み合わせに付した通し番号の列Ｒ１、空中画像１０を出力するアプリケーションを表す列Ｒ２、空中画像１０に表示される内容を表す列Ｒ３、操作に用いる部位を表す列Ｒ４、開始の位置を表すＲ５、動きの方向を表す列Ｒ６、操作の内容を表す列Ｒ７で構成される。

まず、アプリケーションが描画用のソフトウェアの場合（図１０参照）について説明する。
図１０の場合、描画用のソフトウェアは、３次元コンピュータグラフィック（３ＤＣＧ）ソフトウェア又は２次元コンピュータグラフィック（２ＤＣＧ）ソフトウェアである。

●組み合わせ１
空中画像１０は、立体像又は平面像である。
組み合わせ１は、空中画像１０の外側（接するとみなされない位置）に位置している両手の間隔を狭めるように動かす場合に対応する。
この場合、ユーザの操作は、空中画像１０の最大表示領域を均等に縮小する操作として受け付けられる。
●組み合わせ２
空中画像１０は、立体像又は平面像である。
組み合わせ２は、空中画像１０の外側（接するとみなされない位置）に位置している両手の間隔を広げるように動かす場合に対応する。
この場合、ユーザの操作は、空中画像１０の最大表示領域を均等に拡大する操作として受け付けられる。

●組み合わせ３
空中画像１０は、立体像又は平面像である。
組み合わせ３は、空中画像１０の内側（接するとみなされない位置）に位置している両手の間隔を狭めるように動かす場合に対応する。
この場合、ユーザの操作は、空中画像１０のうち両手で挟まれている部分画像（立体像の場合はユーザ寄りの部分画像）を局所的に縮小する操作として受け付けられる。一方、両手で挟まれていない部分の画像は、領域の縮小に連動するように拡大変形される。
●組み合わせ４
空中画像１０は、立体像又は平面像である。
組み合わせ４は、空中画像１０の内側（接するとみなされない位置）に位置している両手の間隔を広げるように動かす場合に対応する。
この場合、ユーザの操作は、空中画像１０のうち両手で挟まれている部分画像（立体像の場合はユーザ寄りの部分画像）を局所的に拡大する操作として受け付けられる。一方、両手で挟まれていない部分の画像は、領域の拡大に連動するように縮小変形される。
●組み合わせ５
空中画像１０は、立体像又は平面像である。
組み合わせ５は、空中画像１０の外側（接するとみなされない位置）に位置している片手を空中画像１０に近づく方向に動かす場合に対応する。
この場合、ユーザの操作は、空中画像１０の全体を手の動きの方向に移動させる操作として受け付けられる。

●組み合わせ６
空中画像１０は、立体像又は平面像である。
組み合わせ６は、空中画像１０の外側（接するとみなされない位置）に位置している片手の複数の指（例えば親指と人差し指）の間隔を狭めるように動かす場合に対応する。
この場合、ユーザの操作は、空中画像１０の最大表示領域を均等に縮小する操作として受け付けられる。
●組み合わせ７
空中画像１０は、立体像又は平面像である。
組み合わせ７は、空中画像１０の外側（接するとみなされない位置）に位置している片手の複数の指（例えば親指と人差し指）の間隔を広げるように動かす場合に対応する。
この場合、ユーザの操作は、空中画像１０の最大表示領域を均等に拡大する操作として受け付けられる。

●組み合わせ８
空中画像１０は、立体像又は平面像である。
組み合わせ８は、空中画像１０の内側（接するとみなされない位置）に位置している片手で特定のオブジェクトの上をなぞるように動かす場合に対応する。
この場合、ユーザの操作は、空中画像１０の一部を構成する特定のオブジェクトの属性に変化を加える操作として受け付けられる。
属性には、例えば色、オブジェクトの攻撃力がある。
●組み合わせ９
空中画像１０は、立体像又は平面像である。
組み合わせ９は、空中画像１０の内側（接するとみなされない位置）に位置している片手の複数の指（例えば親指と人差し指）の間隔を広げるように動かす場合に対応する。
この場合、ユーザの操作は、空中画像１０のうち指と指で挟まれている部分画像（立体像の場合はユーザ寄りの部分画像）を局所的に拡大する操作として受け付けられる。一方、複数の指で挟まれていない部分の画像は、領域の拡大に連動するように縮小変形される。

●組み合わせ１０
空中画像１０は、立体像又は平面像である。
組み合わせ１０は、空中画像１０の内側（接するとみなされない位置）に位置している片手の複数の指（例えば親指と人差し指）の間隔を狭めるように動かす場合に対応する。
この場合、ユーザの操作は、空中画像１０のうち指と指で挟まれている部分画像（立体像の場合はユーザ寄りの部分画像）を局所的に縮小する操作として受け付けられる。一方、両手で挟まれていない部分の画像は、領域の縮小に連動するように拡大変形される。
●組み合わせ１１
この組み合わせの場合、空中画像１０は、立体像である。
組み合わせ１１は、空中画像１０の外縁（接するとみなされる位置）に位置している片手を外縁に沿って移動する場合に対応する。
この場合、ユーザの操作は、空中画像１０の全体を手の動きの方向に回転させる操作として受け付けられる。

このように、ユーザが操作に用いる体の部位、操作が開始した位置と動きの方向の組み合わせが異なれば、異なる操作として受け付けられる。
本実施の形態の場合、組み合わせ１〜１１のいずれにも該当しない身振りは、操作として扱われない。
また、図１０に示すように、操作が開始した位置と動きの方向を予め定めた区分で管理することにより、微細な位置や方向の違いを無視することが可能になる。
また、操作の組み合わせを事前に定めることで、ユーザも、自身の身振りによって実行される操作の内容の予測性を高めることができる。

次に、アプリケーションが文書作成用ソフトウェアの場合（図１１参照）について説明する。
●組み合わせ１
空中画像１０は、文書である。ここでの文書は、１ページ単位で表示される場合を想定する。
組み合わせ１は、空中画像１０の外側（接するとみなされない位置）に位置している両手の間隔を狭めるように動かす場合に対応する。
この場合、ユーザの操作は、空中画像１０の最大表示領域を均等に縮小する操作として受け付けられる。
操作の内容は、描画用のソフトウェアの場合（図１０参照）と同じである。
●組み合わせ２
空中画像１０は、文書である。
組み合わせ２は、空中画像１０の外側（接するとみなされない位置）に位置している両手の間隔を広げるように動かす場合に対応する。
この場合、ユーザの操作は、空中画像１０の最大表示領域を均等に拡大する操作として受け付けられる。
操作の内容は、描画用のソフトウェアの場合（図１０参照）と同じである。

●組み合わせ３
空中画像１０は、文書である。
組み合わせ３は、空中画像１０の内側（接するとみなされない位置）に位置している両手の間隔を狭めるように動かす場合に対応する。
この場合、ユーザの操作は、空中画像１０のうち両手で挟まれている部分画像（立体像の場合はユーザ寄りの部分画像）を局所的に縮小する操作として受け付けられる。一方、両手で挟まれていない部分の画像は、領域の縮小に連動するように拡大変形される。
操作の内容は、描画用のソフトウェアの場合（図１０参照）と同じである。
●組み合わせ４
空中画像１０は、文書である。
組み合わせ４は、空中画像１０の内側（接するとみなされない位置）に位置している両手の間隔を広げるように動かす場合に対応する。
この場合、ユーザの操作は、空中画像１０のうち両手で挟まれている部分画像（立体像の場合はユーザ寄りの部分画像）を局所的に拡大する操作として受け付けられる。一方、両手で挟まれていない部分の画像は、領域の拡大に連動するように縮小変形される。
操作の内容は、描画用のソフトウェアの場合（図１０参照）と同じである。

●組み合わせ５
空中画像１０は、文書である。
組み合わせ５は、空中画像１０の外側（接するとみなされない位置）に位置している片手を空中画像１０に近づく方向に動かす場合に対応する。
この場合、ユーザの操作は、空中画像１０の全体を手の動きの方向に移動させる操作として受け付けられる。
操作の内容は、描画用のソフトウェアの場合（図１０参照）と同じである。
●組み合わせ６
空中画像１０は、文書である。
組み合わせ６は、空中画像１０の外側（接するとみなされない位置）に位置している片手の複数の指（例えば親指と人差し指）の間隔を狭めるように動かす場合に対応する。
この場合、ユーザの操作は、空中画像１０の最大表示領域を均等に縮小する操作として受け付けられる。
操作の内容は、描画用のソフトウェアの場合（図１０参照）と同じである。

●組み合わせ７
空中画像１０は、文書である。
組み合わせ７は、空中画像１０の外側（接するとみなされない位置）に位置している片手の複数の指（例えば親指と人差し指）の間隔を広げるように動かす場合に対応する。
この場合、ユーザの操作は、空中画像１０の最大表示領域を均等に拡大する操作として受け付けられる。
操作の内容は、描画用のソフトウェアの場合（図１０参照）と同じである。
●組み合わせ８
空中画像１０は、文書である。
組み合わせ８は、空中画像１０の内側（接するとみなされない位置）に位置している片手で空中画像１０の上をなぞるように動かす場合に対応する。
この場合、ユーザの操作は、なぞるように動かされた部位のオブジェクトを削除する操作として受け付けられる。
身振りは同じでも、この操作の内容は、描画用のソフトウェアの場合（図１０参照）と異なる。

●組み合わせ９
空中画像１０は、複数ページの文書である。
組み合わせ９は、空中画像１０の内側（接するとみなされない位置）に位置している片手を空中画像１０の上をなぞるように動かす場合に対応する。
この場合、ユーザの操作は、なぞった方向に、空中画像１０として表示されているページをめくる操作として受け付けられる。
この操作の内容も、描画用のソフトウェアの場合（図１０参照）と異なる。
●組み合わせ１０
空中画像１０は、複数ページの文書である。
組み合わせ１０は、空中画像１０の内側（接するとみなされない位置）に位置している片手の複数の指（例えば親指と人差し指）の間隔を広げるように動かす場合に対応する。
この場合、ユーザの操作は、空中画像１０のうち指と指で挟まれている部分画像（立体像の場合はユーザ寄りの部分画像）を局所的に拡大する操作として受け付けられる。一方、複数の指で挟まれていない部分の画像は、領域の拡大に連動するように縮小変形される。
操作の内容は、描画用のソフトウェアの場合（図１０参照）と同じである。
●組み合わせ１１
空中画像１０は、複数ページの文書である。
組み合わせ１１は、空中画像１０の内側（接するとみなされない位置）に位置している片手の複数の指（例えば親指と人差し指）の間隔を狭めるように動かす場合に対応する。
この場合、ユーザの操作は、空中画像１０のうち指と指で挟まれている部分画像（立体像の場合はユーザ寄りの部分画像）を局所的に縮小する操作として受け付けられる。一方、複数の指で挟まれていない部分の画像は、領域の縮小に連動するように拡大変形される。
操作の内容は、描画用のソフトウェアの場合（図１０参照）と同じである。

このように、空中画像１０を出力するソフトウェアが異なれば、同じ組み合わせであっても異なる操作として受け付けられる場合がある。
勿論、空中画像１０を出力するソフトウェアが異なっても同じ操作として受け付けられる場合もある。
なお、空中画像１０を出力するソフトウェアが描画用のソフトウェアの場合にも、空中画像１０の内側を片手でなぞるような動きをオブジェクトの削除として受け付けることも可能である。
反対に、空中画像１０を出力するソフトウェアが文書作成用のソフトウェアの場合にも、空中画像１０の内側を片手でなぞるような動きをなぞった部分のオブジェクトの属性（例えばフォント、色）を変化として受け付けることも可能である。
これらの操作の受付は、なぞる方向で切り替えてもよい。

＜操作受付処理＞
続いて、操作受付装置１２（図１参照）による空中画像１０（図１参照）に対する操作の受付処理を説明する。
図１２は、実施の形態１に係る操作受付装置１２で実行される処理内容を説明するフローチャートの一例である。この処理内容は、図８を用いて説明した機能部を用いて実現される。具体的な処理の進行は、プログラムの実行を通じて制御される。
なお、図１２においては、処理を構成する各ステップを記号Ｓで表記する。

まず、開始位置検知部４１（図８参照）は、静止の状態が予め定めた時間以上継続しているか否かを判定する（ステップ１）。
ステップ１で否定結果が得られている間は、ユーザが操作の開始の位置に体の部位を移動させている最中である。
ステップ１で肯定結果が得られると、開始位置検知部４１（図８参照）は、空中画像１０との関係で動きが開始した位置を検知する（ステップ２）。例えば空中画像１０の外側（体の部位が空中画像１０と重なっていない）か、空中画像１０の内側（体の部位が空中画像１０と重なっている）か、空中画像１０の外縁に接しているかが検知される。

次に、動き方向検知部４２（図８参照）は、操作に用いられる体の部位の動きの方向を検知する（ステップ３）。
操作に関する動きが開始した位置と動きの方向が検知されると、操作内容決定部４３（図８参照）は、空中画像１０を出力しているソフトウェアの種類、空中画像１０として表示されている内容等に基づいて、操作の内容を決定する（ステップ４）。
操作の内容が決定されると、操作の内容に応じた処理が実行される（ステップ５）。
例えば操作内容決定部４３は、空中触覚装置１４を制御し、操作を受け付けたことを示す刺激や操作の内容に応じた刺激を与える。
例えば画面更新部４４は、操作の内容に応じた処理を、空中画像１０に加える。画面更新部４４は、例えば空中画像１０が表示される空中の位置を変更する。画面更新部４４は、例えば空中画像１０の最大表示領域を拡大又は縮小する。画面更新部４４は、例えば空中画像１０を構成する部分画像（オブジェクトを含む）を局所的に拡大又は縮小する。他に、画面更新部４４は、部分画像（オブジェクトを含む）を削除したり、属性を変化させたりする。

＜操作の具体例＞
以下では、操作に関する動きが開始された位置と動きの方向等の組み合わせによって実行される操作の具体例を説明する。
●具体例１
図１３は、身振りによる操作の具体例１を説明する図である。（Ａ）は操作中の手（右手３Ｒ及び左手３Ｌ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図１３の場合、空中画像１０として地球の像が表示されている。
図１３の場合、ユーザの右手３Ｒと左手３Ｌは、空中画像１０の外側に位置した状態から両手の間隔を狭める方向に動かされている。
この場合、空中画像１０の最大表示領域が均等に縮小されている。勿論、最大表示領域の縮小に応じて表示される地球の像も均等に縮小される。
この具体例は、図１０の組み合わせ１に対応する。

●具体例２
図１４は、身振りによる操作の具体例２を説明する図である。（Ａ）は操作中の手（右手３Ｒ及び左手３Ｌ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図１４の場合も、空中画像１０として地球の像が表示されている。
図１４の場合、ユーザの右手３Ｒと左手３Ｌは、空中画像１０の外側に位置した状態から両手の間隔を広げる方向に動かされている。
この場合、空中画像１０の最大表示領域が均等に拡大されている。勿論、最大表示領域の拡大に応じて表示される地球の像も均等に拡大される。
この具体例は、図１０の組み合わせ２に対応する。

●具体例３
図１５は、身振りによる操作の具体例３を説明する図である。（Ａ）は操作中の手（右手３Ｒ及び左手３Ｌ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図１５の場合も、空中画像１０として地球の像が表示されている。
図１５の場合、ユーザの右手３Ｒと左手３Ｌは、空中画像１０の内側に位置した状態から両手の間隔を狭める方向に動かされている。前述したように、空中画像１０は、空中に光学的に形成される像であるので、右手３Ｒと左手３Ｌを空中画像１０に挿入することが可能である。
図１５の場合、北アメリカ大陸が右手３Ｒと左手３Ｌで挟まれている。
この場合、空中画像１０の最大表示領域に変化はないが、北アメリカ大陸の像が局所的に縮小される。なお、北アメリカ大陸の縮小に連動するように周囲の画像は拡大変形される。例えば縮小変形される北アメリカ大陸に近い空間ほど歪が大きくなるように拡大変形される。
この具体例は、図１０の組み合わせ３に対応する。

●具体例４
図１６は、身振りによる操作の具体例４を説明する図である。（Ａ）は操作中の手（右手３Ｒ及び左手３Ｌ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図１６の場合も、空中画像１０として地球の像が表示されている。
図１６の場合、ユーザの右手３Ｒと左手３Ｌは、空中画像１０の内側に位置した状態から両手の間隔を広げる方向に動かされている。
図１６の場合、北アメリカ大陸が右手３Ｒと左手３Ｌで挟まれている。
この場合、空中画像１０の最大表示領域に変化はないが、北アメリカ大陸の像が局所的に拡大される。なお、北アメリカ大陸の拡大に連動するように周囲の画像は縮小変形される。例えば拡大変形される北アメリカ大陸に近い空間ほど歪が大きくなるように縮小変形される。
この具体例は、図１０の組み合わせ４に対応する。

●具体例５
図１７は、身振りによる操作の具体例５を説明する図である。（Ａ）は操作中の手（右手３Ｒ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図１７の場合も、空中画像１０として地球の像が表示されている。
図１７の場合、ユーザの右手３Ｒは、空中画像１０の外側に位置した状態から空中画像１０に近づく方向に動かされている。換言すると、右手３Ｒは、図１７に向かって空中画像１０の左側から右方向に移動されている。
この場合、空中画像１０の最大表示領域の寸法に変化はないが、右手３Ｒが移動する方向に空中画像１０の位置が移動される。
この具体例は、図１０の組み合わせ５に対応する。

●具体例６
図１８は、身振りによる操作の具体例６を説明する図である。（Ａ）は操作中の手（右手３Ｒ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図１８の場合も、空中画像１０として地球の像が表示されている。
図１８の場合、ユーザの右手３Ｒは、空中画像１０の内側に位置しており、北アメリカ大陸をなぞるように動かされている。
この場合、空中画像１０の最大表示領域の寸法や画像の配置に変化はないが、北アメリカ大陸の表示に用いられる色が変化される。
この具体例は、図１０の組み合わせ８に対応する。
なお、空中画像１０として表示されているオブジェクトがゲームのキャラクターの場合には、同じ操作によって、攻撃力をアップさせてもよい。攻撃力がアップすると、キャラクターが進化してもよいし、装備が強化されてもよい。

●具体例７
図１９は、身振りによる操作の具体例７を説明する図である。（Ａ）は操作中の手（右手３Ｒ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図１９の場合も、空中画像１０として地球の像が表示されている。
図１９の場合、ユーザの右手３Ｒは、空中画像１０の外縁（外周面）に位置しており、外縁に沿うように動かされている。
この場合、空中画像１０の最大表示領域の寸法や画像の配置に変化はないが、右手３Ｒが動いた方向に大陸の位置が回転している。図１９の場合、操作の結果、ユーザから見える大陸は、アフリカ大陸とユーラシア大陸に変化している。
この具体例は、図１０の組み合わせ１１に対応する。
なお、空中画像１０として表示されているオブジェクトがゲームのキャラクターの場合には、同じ操作によって、キャラクターの向きが正面から背面に変化してもよい。

●具体例８
図２０は、身振りによる操作の具体例８を説明する図である。（Ａ）は操作中の手（右手３Ｒ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図２０の場合も、空中画像１０として地球の像が表示されている。
図２０の場合、ユーザの右手３Ｒは空中画像１０の内側に位置しており、その状態で空中画像１０をなぞるように動かしている。
この場合、右手３Ｒが移動した北アメリカ大陸が削除されている。
この具体例は、図１１の組み合わせ８の応用例に対応する。

●具体例９
図２１は、身振りによる操作の具体例９を説明する図である。（Ａ）は操作中の手（左手３Ｌ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図２１の場合も、空中画像１０として地球の像が表示されている。
図２１の場合、ユーザの左手３Ｌは空中画像１０の外側に位置しており、その状態で親指と人差し指の間隔を狭める方向に動かしている。
この場合、空中画像１０の最大表示領域が均等に縮小されている。勿論、最大表示領域の縮小に応じて表示される地球の像も均等に縮小される。
この具体例は、図１０の組み合わせ６に対応する。

●具体例１０
図２２は、身振りによる操作の具体例１０を説明する図である。（Ａ）は操作中の手（左手３Ｌ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図２２の場合も、空中画像１０として地球の像が表示されている。
図２２の場合、ユーザの左手３Ｌは空中画像１０の外側に位置しており、その状態で親指と人差し指の間隔を広げる方向に動かしている。
この場合、空中画像１０の最大表示領域が均等に拡大されている。勿論、最大表示領域の拡大に応じて表示される地球の像も均等に拡大される。
この具体例は、図１０の組み合わせ７に対応する。

●具体例１１
図２３は、身振りによる操作の具体例１１を説明する図である。（Ａ）は操作中の手（左手３Ｌ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図２３の場合も、空中画像１０として地球の像が表示されている。
図２３の場合、ユーザの左手３Ｌは空中画像１０の内側に位置しており、その状態で親指と人差し指の間隔を狭める方向に動かしている。
図２３の場合、北アメリカ大陸が左手３Ｌの親指と人差し指の間に挟まれている。
この場合、空中画像１０の最大表示領域に変化はないが、北アメリカ大陸の像が局所的に縮小される。なお、北アメリカ大陸の縮小に連動するように周囲の画像は拡大変形される。例えば縮小変形される北アメリカ大陸に近い空間ほど歪が大きくなるように拡大変形される。
この具体例は、図１０の組み合わせ１０に対応する。

●具体例１２
図２４は、身振りによる操作の具体例１２を説明する図である。（Ａ）は操作中の手（左手３Ｌ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図２４の場合も、空中画像１０として地球の像が表示されている。
図２４の場合、ユーザの左手３Ｌは空中画像１０の内側に位置しており、その状態で親指と人差し指の間隔を広げる方向に動かしている。
図２４の場合、北アメリカ大陸の一部分が左手３Ｌの親指と人差し指の間に挟まれている。
この場合、空中画像１０の最大表示領域に変化はないが、北アメリカ大陸の像が局所的に拡大される。なお、北アメリカ大陸の拡大に連動するように周囲の画像は縮小変形される。例えば拡大変形される北アメリカ大陸に近い空間ほど歪が大きくなるように縮小変形される。
この具体例は、図１０の組み合わせ９に対応する。

●具体例１３
図２５は、身振りによる操作の具体例１３を説明する図である。（Ａ）は操作中の手（右手３Ｒ及び左手３Ｌ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図２５の場合、空中画像１０として文書（ＡＡＡＡＡ／ＡＡＡＡＡ／ＡＡＡＡＡ／ＡＡＡＡＡ」の像が表示されている。ここで斜線は改行を意味する。
図２５の場合、ユーザの右手３Ｒと左手３Ｌは、空中画像１０の外側に位置した状態から両手の間隔を狭める方向に動かされている。
この場合、空中画像１０の最大表示領域が均等に縮小されている。勿論、最大表示領域の縮小に応じて表示される文書の像も均等に縮小される。具体的にはフォントのサイズが縮小されている。なお、文書中に挿絵や図表が含まれる場合には、それらも均等に縮小される。
この具体例は、図１１の組み合わせ１に対応する。

●具体例１４
図２６は、身振りによる操作の具体例１４を説明する図である。（Ａ）は操作中の手（右手３Ｒ及び左手３Ｌ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図２６の場合も、空中画像１０として文書（ＡＡＡＡＡ／ＡＡＡＡＡ／ＡＡＡＡＡ／ＡＡＡＡＡ）の像が表示されている。
図２６の場合、ユーザの右手３Ｒと左手３Ｌは、空中画像１０の外側に位置した状態から両手の間隔を広げる方向に動かされている。
この場合、空中画像１０の最大表示領域が均等に拡大されている。勿論、最大表示領域の拡大に応じて表示される文書の像も均等に拡大される。具体的にはフォントのサイズが拡大されている。なお、文書中に挿絵や図表が含まれる場合には、それらも均等に拡大される。
この具体例は、図１１の組み合わせ２に対応する。

●具体例１５
図２７は、身振りによる操作の具体例１５を説明する図である。（Ａ）は操作中の手（右手３Ｒ及び左手３Ｌ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図２７の場合も、空中画像１０として文書（ＡＡＡＡＡ／ＡＡＡＡＡ／ＡＡＡＡＡ／ＡＡＡＡＡ）の像が表示されている。
図２７の場合、ユーザの右手３Ｒと左手３Ｌは、空中画像１０の内側に位置した状態から両手の間隔を狭める方向に動かされている。
図２７の場合、上から１行目の文字列（ＡＡＡＡＡ）のうち真ん中の３文字（ＡＡＡ）が右手３Ｒと左手３Ｌで挟まれている。
この場合、空中画像１０の最大表示領域に変化はないが、上から１行目の文字列のうち真ん中の３文字が局所的に縮小される。図２７の場合、上から１行目の他の文字や２行目以降の文字列の表示に変化はない。
もっとも、文字列の縮小に連動するように周囲の画像が拡大変形されてもよい。この場合、縮小変形される文字列に近い画像ほど歪が大きくなるように拡大変形してもよい。
この具体例は、図１１の組み合わせ３に対応する。

●具体例１６
図２８は、身振りによる操作の具体例１６を説明する図である。（Ａ）は操作中の手（右手３Ｒ及び左手３Ｌ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図２８の場合も、空中画像１０として文書（ＡＡＡＡＡ／ＡＡＡＡＡ／ＡＡＡＡＡ／ＡＡＡＡＡ）の像が表示されている。
図２８の場合、ユーザの右手３Ｒと左手３Ｌは、空中画像１０の内側に位置した状態から両手の間隔を広げる方向に動かされている。
図２８の場合も、上から１行目の文字列（ＡＡＡＡＡ）のうち真ん中の３文字（ＡＡＡ）が右手３Ｒと左手３Ｌで挟まれている。
この場合、空中画像１０の最大表示領域に変化はないが、上から１行目の文字列のうち真ん中の３文字が局所的に拡大される。図２８の場合、上から１行目の他の文字や２行目以降の文字列の表示に変化はない。
もっとも、文字列の拡大に連動するように周囲の画像が縮小変形されてもよい。この場合、拡大変形される文字列に近い画像ほど歪が大きくなるように縮小変形してもよい。
この具体例は、図１１の組み合わせ４に対応する。

●具体例１７
図２９は、身振りによる操作の具体例１７を説明する図である。（Ａ）は操作中の手（右手３Ｒ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図２９の場合も、空中画像１０として文書（ＡＡＡＡＡ／ＡＡＡＡＡ／ＡＡＡＡＡ／ＡＡＡＡＡ）の像が表示されている。
図２９の場合、ユーザの右手３Ｒは、空中画像１０の外側に位置した状態から空中画像１０に近づく方向に動かされている。換言すると、右手３Ｒは、図２９に向かって空中画像１０の右側から左方向に移動されている。
この場合、空中画像１０の最大表示領域の寸法に変化はないが、右手３Ｒが移動する方向に空中画像１０の位置が移動される。
この具体例は、図１１の組み合わせ５に対応する。

●具体例１８
図３０は、身振りによる操作の具体例１８を説明する図である。（Ａ）は操作中の手（右手３Ｒ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図３０の場合も、空中画像１０として文書（ＡＡＡＡＡ／ＡＡＡＡＡ／ＡＡＡＡＡ／ＡＡＡＡＡ）の像が表示されている。
図３０の場合、ユーザの右手３Ｒは、空中画像１０の内側に位置しており、１行目の文字列（ＡＡＡＡＡ）をなぞるように動かされている。
この場合、空中画像１０の最大表示領域の寸法に変化はないが、右手３Ｒが移動した位置に表示されていた文字列が削除されている。
この具体例は、図１１の組み合わせ８に対応する。

●具体例１９
図３１は、身振りによる操作の具体例１９を説明する図である。（Ａ）は操作中の手（右手３Ｒ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図３１の場合も、空中画像１０として文書（ＡＡＡＡＡ／ＡＡＡＡＡ／ＡＡＡＡＡ／ＡＡＡＡＡ）の像が表示されている。
図３１の場合、ユーザの右手３Ｒは空中画像１０の内側に位置しており、その状態で親指と人差し指の間隔を狭める方向に動かしている。
図３１の場合、上から１行目の文字列（ＡＡＡＡＡ）のうち右端側の３文字（ＡＡＡ）が右手３Ｒの親指と人差し指の間に挟まれている。
この場合、空中画像１０の最大表示領域に変化はないが、上から１行目の右端側の文字列が局所的に縮小される。図３１の場合、上から１行目の他の文字や２行目以降の文字列の表示に変化はない。
もっとも、文字列の縮小に連動するように周囲の画像が拡大変形されてもよい。この場合、縮小変形される文字列に近い画像ほど歪が大きくなるように拡大変形してもよい。
この具体例は、図１１の組み合わせ１１に対応する。

●具体例２０
図３２は、身振りによる操作の具体例２０を説明する図である。（Ａ）は操作中の手（左手３Ｌ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図３２の場合も、空中画像１０として文書（ＡＡＡＡＡ／ＡＡＡＡＡ／ＡＡＡＡＡ／ＡＡＡＡＡ）の像が表示されている。
図３２の場合、ユーザの左手３Ｌは空中画像１０の外側に位置しており、その状態で親指と人差し指の間隔を狭める方向に動かしている。
この場合、空中画像１０の最大表示領域が均等に縮小されている。勿論、最大表示領域の縮小に応じて表示される文書の像も均等に縮小される。具体的にはフォントのサイズが縮小されている。なお、文書中に挿絵や図表が含まれる場合には、それらも均等に縮小される。
この具体例は、図１１の組み合わせ６に対応する。

●具体例２１
図３３は、身振りによる操作の具体例２１を説明する図である。（Ａ）は操作中の手（左手３Ｌ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図３３の場合も、空中画像１０として文書（ＡＡＡＡＡ／ＡＡＡＡＡ／ＡＡＡＡＡ／ＡＡＡＡＡ）の像が表示されている。
図３３の場合、ユーザの左手３Ｌは空中画像１０の外側に位置しており、その状態で親指と人差し指の間隔を広げる方向に動かしている。
この場合、空中画像１０の最大表示領域が均等に拡大されている。勿論、最大表示領域の拡大に応じて表示される文書の像も均等に拡大される。具体的にはフォントのサイズが拡大されている。なお、文書中に挿絵や図表が含まれる場合には、それらも均等に拡大される。
この具体例は、図１１の組み合わせ７に対応する。

●具体例２２
図３４は、身振りによる操作の具体例２２を説明する図である。（Ａ）は操作中の手（右手３Ｒ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図３４の場合も、空中画像１０として文書（ＡＡＡＡＡ／ＡＡＡＡＡ／ＡＡＡＡＡ／ＡＡＡＡＡ）の像が表示されている。
図３４の場合、ユーザの右手３Ｒは空中画像１０の内側に位置しており、その状態で親指と人差し指の間隔を広げる方向に動かしている。
図３４の場合、上から１行目の文字列（ＡＡＡＡＡ）のうち右端側の３文字（ＡＡＡ）が親指と人差し指で挟まれている。
この場合、空中画像１０の最大表示領域に変化はないが、上から１行目の文字列のうち右端側の３文字が局所的に拡大される。図３４の場合、上から１行目の他の文字や２行目以降の文字列の表示に変化はない。
もっとも、文字列の拡大に連動するように周囲の画像が縮小変形されてもよい。この場合、拡大変形される文字列に近い画像ほど歪が大きくなるように縮小変形してもよい。
この具体例は、図１１の組み合わせ１０に対応する。

●具体例２３
図３５は、身振りによる操作の具体例２３を説明する図である。（Ａ）は操作中の手（右手３Ｒ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図３５の場合、空中画像１０として複数のページの像が表示されている。具体的には、左側から右方向に、ページ１、ページ２、ページ３の像が表示されている。
図３５の場合、ユーザの右手３Ｒは空中画像１０の内側に位置しており、なぞるように左方向に動かされている。
この場合、空中画像１０の最大表示領域に変化はないが、空中画像１０に表示されるページの並びが変更されている。具体的には、左側から右方向に、ページ２、ページ３、ページ４の像が表示されている。この操作は、表示されるページを進める、ページめくりに対応する。
この具体例は、図１１の組み合わせ９に対応する。

●具体例２４
図３６は、身振りによる操作の具体例２４を説明する図である。（Ａ）は操作中の手（右手３Ｒ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図３６の場合、ゲームのキャラクター１０Ａ及び１０Ｂを含む空中画像１０が表示されている。
具体例２３は、具体例１〜１２と同様、空中画像１０が描画用のソフトウェアから出力される場合である。
図３６の場合、ユーザの右手３Ｒは空中画像１０の内側に位置しており、図中右側に位置するキャラクター１０Ａの上をなぞるように動かされている。
この場合、空中画像１０の最大表示領域に変化はないが、キャラクター１０Ａの色が変化されている。
この具体例は、図１０の組み合わせ８に対応する。

●具体例２５
図３７は、身振りによる操作の具体例２５を説明する図である。（Ａ）は操作中の手（右手３Ｒ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図３７の場合も、ゲームのキャラクター１０Ａ及び１０Ｂを含む空中画像１０が表示されている。
図３７の場合も、ユーザの右手３Ｒは空中画像１０の内側に位置しており、図中右側に位置するキャラクター１０Ａの上をなぞるように動かされている。
ただし、具体例２４の場合、この操作は、空中画像１０内におけるキャラクター１０Ａの表示位置の移動に用いられている。
図３７の場合、キャラクター１０Ａは、移動方向に位置するキャラクター１０Ｂを攻撃している。攻撃を受けたキャラクター１０Ｂは痛手を受けた表情に変化している。

●具体例２６
図３８は、身振りによる操作の具体例２６を説明する図である。（Ａ）は操作中の手（右手３Ｒ）と空中画像１０の位置の関係を示し、（Ｂ）は空中画像１０に対する操作を示し、（Ｃ）は２段階の操作を受け付けた後の空中画像１０を示す。
図３８の場合、剣１０Ｃを装着したゲームのキャラクター１０Ａを含む空中画像１０が表示されている。
図３８の例は、複数の操作を組み合わせることで、操作の内容が切り替わる例に対応する。
図３８の場合、右手３Ｒは空中画像１０の外側に位置している。この状態で、右手３Ｒを空中画像１０に近づける動きを行う。この動き単独では、空中画像１０に対する操作と認識されないので、空中画像１０に変化は生じない。
この後、ユーザの右手３Ｒは、空中画像１０の内側に移動され、キャラクター１０Ａの上をなぞるように動かすと、具体例２３（図３５参照）や具体例２４（図３６参照）の場合とは異なり、空中画像１０を対象とした移動の操作として受け付けられる。

●具体例２７
図３９は、身振りによる操作の具体例２７を説明する図である。（Ａ）は操作中の手（右手３Ｒ）と空中画像１０の位置の関係を示し、（Ｂ）は空中画像１０に対する操作を示し、（Ｃ）は２段階の操作を受け付けた後の空中画像１０を示す。
図３９の場合も、剣１０Ｃを装着したゲームのキャラクター１０Ａを含む空中画像１０が表示されている。
図３９の例は、複数の操作を組み合わせることで、操作の内容が切り替わる例に対応する。
図３９の場合、右手３Ｒは剣１０Ｃに接する又は重なるように位置している。この状態で、右手３Ｒを空中画像１０に近づける又は奥に挿入する動きを行う。図３９の場合も、空中画像１０に対する操作と認識されないので、この段階では、空中画像１０に変化は生じない。
この後、ユーザの右手３Ｒは、空中画像１０の内側に移動され、キャラクター１０Ａの上をなぞるように動かすと、剣１０Ｃの属性を変化させる操作として受け付けられる。
図３９の場合には、攻撃力がアップした剣１０Ｃに変更されている。
図３９では、キャラクター１０Ａが装着している備品が剣１０Ｃであったが、盾、服装、靴、帽子等が操作の受付のたびに変化してもよい。

●具体例２８
図４０は、身振りによる操作の具体例２８を説明する図である。（Ａ）は操作中の手（右手３Ｒ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示す。
図４０の場合、３次元データ（内部構造のデータ）を有する卵の空中画像１０が表示されている。
図４０の場合、ユーザの右手３Ｒは、空中画像１０の外側に位置した状態から空中画像１０に近づく方向に動かされている。換言すると、右手３Ｒは、図４０に向かって空中画像１０の右側から左方向に移動されている。
この場合、空中画像１０の最大表示領域の寸法に変化はないが、右手３Ｒが移動する方向に空中画像１０の位置が移動される。
この具体例は、外層の像に対する操作の一例である。

●具体例２９
図４１は、身振りによる操作の具体例２９を説明する図である。（Ａ）は操作中の手（右手３Ｒ）と空中画像１０の位置の関係を示し、（Ｂ）は操作を受け付けた後の空中画像１０を示し、（Ｃ）は更に操作を受け付けた後の空中画像１０を示す。
図４１の場合、内部構造を有する卵の空中画像１０が表示されている。具体的には、最上層としての殻、中間層としての白身、最下層としての黄身の構造を有している。これら３階層の画像は一度に表示されてもよいし、ユーザの指示した層だけを表示してもよい。
図４１の場合、ユーザの右手３Ｒは、空中画像１０に接している又は内側に位置している。
図４１では、この状態で、右手３Ｒが空中画像１０をなぞるように動かされる場合の操作の受付による空中画像１０の変化を表している。
図４１の場合、１度目の身振りによって、空中画像１０は白身の表示に変化し、２度目の身振りによって、空中画像１０は黄身の表示に変化する。
この具体例は、内部の像に対する操作の一例である。

＜他の実施形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

１…空中画像形成システム、３…ユーザ、３Ｒ…右手、３Ｌ…左手、１０…空中画像、１０Ａ、１０Ｂ…キャラクター、１１、１１Ａ、１１Ｂ、１１Ｃ、１１Ｄ、１１Ｅ…空中画像形成装置、１２…操作受付装置、１３…カメラ、１４…空中触覚装置、４１…開始位置検知部、４２…動き方向検知部、４３…操作内容決定部、４４…画面更新部

Claims (22)

1. 空気中に形成されている画像に対する検知の対象の動きを検知する検知手段と、
   前記画像の表示領域に対して前記動きが開始されたときの位置と当該動きの方向との組み合わせに応じて、当該画像に対する操作の内容を制御する制御手段と、
   を有する情報処理装置。
2. 前記組み合わせは複数であり、予め与えられている、請求項１に記載の情報処理装置。
3. 前記動きが開始されたときの位置は、前記画像と重ならない位置、重なる位置と、接する位置のうちの複数又は１つである、請求項２に記載の情報処理装置。
4. 前記組み合わせに応じた制御の内容は、前記画像の表示に用いられるアプリケーションプログラムに応じて定められる、請求項１に記載の情報処理装置。
5. 前記組み合わせに応じた制御の内容は、操作の対象であるオブジェクトの属性に応じて定められる、請求項１に記載の情報処理装置。
6. 前記動きが開始されたときの位置は、検知の対象が予め定めた時間以上、静止とみなす状態にある位置である、請求項１に記載の情報処理装置。
7. 前記動きが開始されたときの位置は、予め定めた検知用の領域のうち、検知の対象の通過が検知された位置である、請求項１に記載の情報処理装置。
8. 前記動きが開始されたときの両手の位置が前記画像と重なっておらず、かつ、両手の間隔を広げる動きの場合、前記制御手段は、当該画像の最大表示領域を拡大する、請求項１に記載の情報処理装置。
9. 前記動きが開始されたときの両手の位置が前記画像と重なっており、かつ、両手の間隔を広げる動きの場合、前記制御手段は、当該画像のうち両手で挟まれている部分を最大表示領域内で局所的に拡大する、請求項１に記載の情報処理装置。
10. 前記動きが開始されたときの両手の位置が前記画像と重なっておらず、かつ、両手の間隔を狭める動きの場合、前記制御手段は、操作が当該画像の最大表示領域を縮小する、請求項１に記載の情報処理装置。
11. 前記動きが開始されたときの両手の位置が前記画像と重なっており、かつ、両手の間隔を狭める動きの場合、前記制御手段は、当該画像のうち両手で挟まれている部分を最大表示領域内で局所的に縮小する、請求項１に記載の情報処理装置。
12. 前記動きが開始されたときの片手の位置が前記画像と重なっておらず、かつ、片手を一方向に移動させる動き又は回転させる動きの場合、前記制御手段は、当該画像を形成する空間を当該動きの方向に移動させる又は当該画像を回転させる、請求項１に記載の情報処理装置。
13. 前記動きが開始されたときの片手の位置が前記画像と重なっており、かつ、片手を一方向に移動させる動きの場合、前記制御手段は、片手が通過した部分を削除する、請求項１に記載の情報処理装置。
14. 前記動きが開始されたときの片手の位置が前記画像と重なっておらず、かつ、指と指の間隔を広げる動きの場合、前記制御手段は、操作が当該画像の最大表示領域を拡大する、請求項１に記載の情報処理装置。
15. 前記動きが開始されたときの片手の位置が前記画像と重なっており、かつ、指と指の間隔を広げる動きの場合、前記制御手段は、指と指で挟まれている部分を最大表示領域内で局所的に拡大する、請求項１に記載の情報処理装置。
16. 前記動きが開始されたときの片手の位置が前記画像と重なっておらず、かつ、指と指の間隔を狭める動きの場合、前記制御手段は、操作が当該画像の最大表示領域を縮小する、請求項１に記載の情報処理装置。
17. 前記動きが開始されたときの片手の位置が前記画像と重なっており、かつ、指と指の間隔を狭める動きの場合、前記制御手段は、指と指で挟まれている部分を最大表示領域内で局所的に縮小する、請求項１に記載の情報処理装置。
18. 前記制御手段は、複数の前記組み合わせに応じて操作の内容を制御する、請求項１に記載の情報処理装置。
19. 前記画像が立体像の場合、前記制御手段は、開始の位置の違いにより、外層の像または内部の像を制御する、請求項１８に記載の情報処理装置。
20. ユーザの体の一部に、操作の内容に応じた刺激を与える、請求項１に記載の情報処理装置。
21. 空気中に画像を形成する像形成手段と、
    前記画像に対する検知の対象の動きを検知する検知手段と、
    前記画像の表示領域に対して前記動きが開始されたときの位置と当該動きの方向との組み合わせに応じて、当該画像に対する操作の内容を制御する制御手段と、
    を有する情報処理システム。
22. コンピュータに、
    空気中に形成されている画像に対する検知の対象の動きを検知する機能と、
    前記画像の表示領域に対して前記動きが開始されたときの位置と当該動きの方向との組み合わせに応じて、当該画像に対する操作の内容を制御する機能と、
    を実行させるプログラム。