JP2019207573A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】ユーザの接触による操作を用いずに現実の空間に存在する物体の操作を可能とする。【解決手段】情報処理装置は、操作の対象とする物体の像を表示する表示面とは非接触の状態で、表示面とユーザとの間で行われるユーザの動きを検知する検知手段と、検知されたユーザの動きに対応する操作の実行を物体に指示する制御手段とを有し、ユーザと接して使用される。【選択図】図２

Description

本発明は、情報処理装置及びプログラムに関する。

ユーザが操作する携帯機器に内蔵されたカメラで撮像した画像に含まれる機器を認識し、認識された機器に対応する仮想ユーザインタフェースを拡張現実の空間に表示し、この仮想ユーザインタフェースを通じて機器を操作することが提示されている。

特開２０１３−１７２４３２号公報

機器の操作には、ユーザの接触による指示が前提とされる。

本発明は、ユーザの接触による操作を用いずに現実の空間に存在する物体の操作を可能とする。

請求項１に記載の発明は、操作の対象とする物体の像を表示する表示面とは非接触の状態で、当該表示面とユーザとの間で行われるユーザの動きを検知する検知手段と、検知されたユーザの動きに対応する操作の実行を前記物体に指示する制御手段と、を有する情報処理装置である。
請求項２に記載の発明は、前記物体の像は、撮像された画像に基づいて前記表示面に表示されている、請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記検知手段は、撮像された画像を処理してユーザの手又は指の動きを検知する、請求項１に記載の情報処理装置である。
請求項４に記載の発明は、前記検知手段は、測定された距離の情報を用いてユーザの手又は指の動きを検知する、請求項１に記載の情報処理装置である。
請求項５に記載の発明は、前記表示面には、ユーザの手又は指の像が、前記物体の像に重ねて表示される、請求項１に記載の情報処理装置である。
請求項６に記載の発明は、ユーザの動きに対応する操作は、前記物体の個別の部位毎に用意されている、請求項１に記載の情報処理装置である。
請求項７に記載の発明は、前記制御手段は、ユーザによる前記物体の操作が許可されている場合に、当該物体に対して操作の実行を指示する、請求項１に記載の情報処理装置である。
請求項８に記載の発明は、検知されたユーザの動きに対応する操作が前記物体で実行できない場合、ユーザに報知する、請求項１に記載の情報処理装置である。
請求項９に記載の発明は、前記物体に対する正しい操作の方法を報知する、請求項８に記載の情報処理装置である。
請求項１０に記載の発明は、前記制御手段は、前記物体に応じ、検知されたユーザの動きに対応する操作の内容を決定する、請求項１に記載の情報処理装置である。
請求項１１に記載の発明は、前記制御手段は、前記物体との通信を通じて操作が可能な当該物体の機能を取得する、請求項１に記載の情報処理装置である。
請求項１２に記載の発明は、前記制御手段は、ユーザの体の部位を示唆する表記を前記物体に重ねて表示する、請求項１に記載の情報処理装置である。
請求項１３に記載の発明は、前記制御手段は、ユーザの動きを操作として受け付けたことをユーザに報知する、請求項１に記載の情報処理装置である。
請求項１４に記載の発明は、前記報知は、ユーザが前記表示面に対して非接触に動かした体の部位に触覚を通じて報知する、請求項１３に記載の情報処理装置である。
請求項１５に記載の発明は、前記制御手段は、操作として受け付けた体の部位を、受け付け前とは異なる態様で表示する、請求項１３に記載の情報処理装置である。
請求項１６に記載の発明は、前記制御手段は、前記物体の操作に用いる装備をユーザの体に重ねて表示する、請求項１に記載の情報処理装置である。
請求項１７に記載の発明は、前記制御手段は、前記物体が存在する環境に応じた装備をユーザの体に重ねて表示する、請求項１に記載の情報処理装置である。
請求項１８に記載の発明は、前記制御手段は、ユーザの動きに対応する操作が前記物体に対する物理的な操作を必要とする場合、可動部を有する別の機器に対して操作の実行を指示する、請求項１に記載の情報処理装置である。
請求項１９に記載の発明は、前記表示面に表示されている前記物体の像は、操作の対象とする当該物体の画像を更に撮像した画像である、請求項１に記載の情報処理装置である。
請求項２０に記載の発明は、前記表示面は空気中に形成される、請求項１に記載の情報処理装置である。
請求項２１に記載の発明は、前記表示面は、拡張現実又は複合現実として表示される、請求項１に記載の情報処理装置である。
請求項２２に記載の発明は、操作の対象とする物体とは非接触の状態のまま実行されるユーザの動きを検知する検知手段と、ユーザの動きが、前記物体の像を表示する表示面とユーザとの間で検知されたか、当該物体を撮像する当該表示面と当該物体との間で検知されたかに応じて、当該物体に指示する操作の内容を切り替える制御手段と、を有する情報処理装置である。
請求項２３に記載の発明は、前記表示面とユーザとの間で検知されたユーザの動きと当該表示面と前記物体との間で検知されたユーザの動きとが、当該物体の異なる部位に対応付けられている、請求項２２に記載の情報処理装置である。
請求項２４に記載の発明は、前記表示面とユーザとの間で検知されたユーザの動きは、前記物体のうちユーザから見て手前側の面に対応付けられており、前記表示面と前記物体との間で検知されたユーザの動きは、当該物体のうちユーザから見て奥側の面に対応付けられている、請求項２３に記載の情報処理装置である。
請求項２５に記載の発明は、前記表示面とユーザとの間で検知されたユーザの動きと当該表示面と前記物体との間で検知されたユーザの動きとが、当該物体の同じ部位に対応付けられている、請求項２２に記載の情報処理装置である。
請求項２６に記載の発明は、前記制御手段は、前記表示面とユーザとの間で検知されたユーザの動きに限り、又は、当該表示面と前記物体との間で検知されたユーザの動きに限り、有効な動きとして当該物体に指示する、請求項２２に記載の情報処理装置である。
請求項２７に記載の発明は、前記有効な動きとして扱われる検知の位置は機能毎に設定される、請求項２６に記載の情報処理装置である。
請求項２８に記載の発明は、前記有効な動きとして扱われる検知の位置はユーザにより指定される、請求項２６に記載の情報処理装置である。
請求項２９に記載の発明は、コンピュータを、操作の対象とする物体の像を表示する表示面とは非接触の状態で、当該表示面とユーザとの間で行われるユーザの動きを検知する検知手段と、検知されたユーザの動きに対応する操作の実行を前記物体に指示する制御手段、として機能させるプログラムである。
請求項３０に記載の発明は、コンピュータを、操作の対象とする物体とは非接触の状態のまま実行されるユーザの動きを検知する検知手段と、ユーザの動きが、前記物体の像を表示する表示面とユーザとの間で検知されたか、当該物体を撮像する当該表示面と当該物体との間で検知されたかに応じて、当該物体に指示する操作の内容を切り替える制御手段、として機能させるプログラムである。

請求項１記載の発明によれば、ユーザの接触による操作を用いずに現実の空間に存在する物体の操作を可能にできる。
請求項２記載の発明によれば、ユーザの接触による操作を用いずに現実の空間に存在する物体の操作を可能にできる。
請求項３記載の発明によれば、ユーザの接触による操作を用いずに現実の空間に存在する物体の操作を可能にできる。
請求項４記載の発明によれば、ユーザの接触による操作を用いずに現実の空間に存在する物体の操作を可能にできる。
請求項５記載の発明によれば、ユーザは画面上で自身の手又は指と操作の対象とする物体との位置関係を確認できる。
請求項６記載の発明によれば、部位ごとに異なる操作を実現できる。
請求項７記載の発明によれば、許可が必要とされる操作にも対応できる。
請求項８記載の発明によれば、正しくない操作を知らせることができる。
請求項９記載の発明によれば、正しい操作を促すことができる。
請求項１０記載の発明によれば、物体が異なっても操作できる。
請求項１１記載の発明によれば、物体の機能に応じた操作を指示できる。
請求項１２記載の発明によれば、画面上で物体を確認したまま操作できる。
請求項１３記載の発明によれば、操作の確定を確認できる。
請求項１４記載の発明によれば、操作の確定を確認できる。
請求項１５記載の発明によれば、操作の確定を確認できる。
請求項１６記載の発明によれば、現実感を高めることができる。
請求項１７記載の発明によれば、現実感を高めることができる。
請求項１８記載の発明によれば、物理的な接触が必要とされる操作も実行を指示できる。
請求項１９記載の発明によれば、目前にない物体でも操作できる。
請求項２０記載の発明によれば、ユーザの接触による操作を用いずに現実の空間に存在する物体の操作を可能にできる。
請求項２１記載の発明によれば、ユーザの接触による操作を用いずに現実の空間に存在する物体の操作を可能にできる。
請求項２２記載の発明によれば、ユーザの接触による操作を用いずに現実の空間に存在する物体の操作を可能にできる。
請求項２３記載の発明によれば、誤操作を低減できる。
請求項２４記載の発明によれば、誤操作を低減できる。
請求項２５記載の発明によれば、ユーザの動きが検知される位置により操作の内容を切り替えることができる。
請求項２６記載の発明によれば、ユーザの動きが検知される位置により有効な操作と無効な操作を切り替えることができる。
請求項２７記載の発明によれば、機能毎に有効な操作と無効な操作を切り替えることができる。
請求項２８記載の発明によれば、ユーザの誤操作を低減できる。
請求項２９載の発明によれば、ユーザの接触による操作を用いずに現実の空間に存在する物体の操作を可能にできる。
請求項３０記載の発明によれば、ユーザの接触による操作を用いずに現実の空間に存在する物体の操作を可能にできる。

実施の形態１に係るシステムの一例を説明する図である。 右手とスマートフォンの位置の関係を説明する図である。 画像形成装置のハードウェア構成の一例を説明する図である。 スマートフォンのハードウェア構成の一例を説明する図である。 プログラムの実行を通じて処理回路部が実現する機能構成の一例を説明する図である。 処理回路部において実行される処理動作の一例を説明するフローチャートである。 操作の対象とする画像形成装置の像が表示されている液晶ディスプレイに触れること無く画像形成装置を操作する例を説明する図である。 操作の対象とする画像形成装置の像が表示されている液晶ディスプレイに触れること無く人差し指を空中で押すように動かして画像形成装置を操作する例を説明する図である。 操作の受け付けをユーザに報知する他の方法を説明する図である。 操作の受け付けをユーザに報知する他の方法を説明する図である。 操作の受け付けをユーザに報知する他の方法を説明する図である。 人差し指の像を液晶ディスプレイに表示させない手法を説明する図である。 人差し指の像を液晶ディスプレイに表示させない他の手法を説明する図である。 スマートフォンによって検知された人差し指の位置を示唆する手法の例を説明する図である。 操作の対象が通信の機能を有する電卓である場合を説明する図である。 操作の対象がレバーである場合を説明する図である。 操作の対象がレバーである場合の他の例を説明する図である。 蝶番が取り付けられた部分を軸として開閉する片開き扉を操作の対象とする場合を説明する図である。 ユーザが右手を空中に押し出す動きをスマートフォンで撮像することで片開き扉が少し開いた状態を説明する図である。 ユーザが右手を空中に押し出す動きをスマートフォンで撮像することで片開き扉が大きく開いた状態を説明する図である。 片開き扉にレバー式の取っ手（レバーハンドル）が取り付けられている場合を説明する図である。 許容される最大の角度まで片開き扉が開いた後も押し続ける身振りが検知される場合をユーザに報知する機能の一例を説明する図である。 照明器具を撮像の対象とする場合を説明する図である。 照明器具の点灯を制御するスイッチを撮像の対象とする場合を説明する図である。 表示装置に表示されている電卓の像を撮像の対象とする場合を説明する図である。 スマートフォンで撮像されるユーザの動きを液晶ディスプレイに表示されている操作子の操作に紐付ける例を説明する図である。 実施の形態２に係るシステムの一例を説明する図である。 実施の形態２で使用するメガネ型の端末の構造例を説明する図である。 実施の形態２で使用するメガネ型の端末のハードウェア構成の一例を示す図である。 金庫を操作の対象として撮像する場合を説明する図である。 金庫のハードウェア構成の一例を説明する図である。 ＭＰＵで実行される処理動作の一例を説明するフローチャートである。 実施の形態４に係るシステムの一例を説明する図である。 前述した実施の形態で説明したように、スマートフォンでユーザの体の一部の動きを片開き扉の操作として受け付ける場合を示す図である。 ネットワークを介して複数のユーザが操作の情報を共有する仕組みを説明する図である。 ３台のスマートフォンのうちの１台を使用して片開き扉を押し開く場合を説明する図である。 片開き扉が開かれた状態が３台のスマートフォンで共有される様子を説明する図である。 植木の移動を身振りで指示する場合を説明する図である。 ロボットのハードウェア構成を説明する図である。 ロボットを使用した植木の移動を説明する図である。 画像形成装置に対向する位置の他の例を説明する図である。 身振りによって用紙の収容部を開閉する例を説明する図である。 印刷された用紙に対して穴を開ける処理や綴る処理を加えるための機構が取り付けられている場合の操作例を説明する図である。 後処理装置の像を人差し指の像で選択した場合に実行される表示部に生じる画面の変化を説明する図である。（Ａ）は人差し指の像による身振りを受け付ける前の表示を示し、（Ｂ）は人差し指の像による身振りを受け付けた後の表示を示し、（Ｃ）は身振りによる操作を受け付けるスマートフォンの画面例を示す。 実施の形態９に係るシステムの一例を説明する図である。 右手とスマートフォンの位置の関係を説明する図である。 ２種類の操作の手法の切り替えを説明する図である。（Ａ）は右手を液晶ディスプレイとユーザとの間の空中で動かす手法を示し、（Ｂ）は右手をスマートフォンと画像形成装置との間の空中で動かす手法を示す。 操作がスマートフォンに対して手前側で行われる場合と奥側で行われる場合とで、操作の対象とする物体の部位が切り替えられる場合を説明する図である。（Ａ）は、ユーザの操作が液晶ディスプレイとユーザとの間で行われる場合の関係を示し、（Ｂ）は、ユーザの操作がスマートフォンと画像形成装置との間で行われる場合の関係を示す。 操作がスマートフォンに対して手前側で行われる場合と奥側で行われる場合とで、動作モードが切り替えられる場合を説明する図である。（Ａ）は、ユーザの操作が液晶ディスプレイとユーザとの間で行われる場合の関係を示し、（Ｂ）は、ユーザの操作がスマートフォンと画像形成装置との間で行われる場合の関係を示す。 操作がスマートフォンに対して手前側で行われる場合と奥側で行われる場合とで操作の有効と無効が設定されている場合を説明する図である。（Ａ）は、ユーザの操作が液晶ディスプレイとユーザとの間で行われる場合を示し、（Ｂ）は、ユーザの操作がスマートフォンと画像形成装置との間で行われる場合を示す。 液晶ディスプレイに表示される設定用の画面の一例を示す図である。 身振りを検知する位置の設定を機能別に設定する画面の一例を示す図である。 実施の形態１１に係る空中画像形成システムの概略構成を説明する図である。 空中画像を形成する携帯型のデバイスの一例を示す図である。 空中画像に対して手前の位置で右手を動かし、物体を操作する例を示す。（Ａ）はユーザから見た空中画像と右手の見え方を示し、（Ｂ）はユーザと空中画像と右手の間の位置の関係を示す。 空中画像に対して奥側の位置で右手を動かし、物体を操作する例を示す。（Ａ）はユーザから見た空中画像と右手の見え方を示し、（Ｂ）はユーザと空中画像と右手の間の位置の関係を示す。 表示デバイスから出力される光を専用の光学プレートを透過させることで空中画像を形成する空中画像形成装置の原理図である。（Ａ）は各部材と空中画像との位置関係を示し、（Ｂ）は光学プレートの断面構造の一部を示す。ここでの表示デバイスと光学プレートは、光学部品の一例である。 空中画像として３次元像を形成する空中画像形成装置の原理図である。 ２面コーナーリフレクタを構成する微小な四角い穴を平面内に等間隔に配列した構造のマイクロミラーアレイを用いて空中画像を形成する空中画像形成装置の原理図である。（Ａ）は各部材と空中画像との位置関係を示し、（Ｂ）はマイクロミラーアレイの一部分を拡大した図である。 ビームスプリッタと再帰反射シートを使用する空中画像形成装置の原理図である。 空中画像をプラズマ発光体の集合として形成する空中画像形成装置の原理図である。

以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜システム例＞
図１及び図２を用い、実施の形態１に係るシステム全体の構成と、ユーザと機器との位置の関係を説明する。
図１は、実施の形態１に係るシステムの一例を説明する図である。
図２は、右手３０２とスマートフォン２００の位置の関係を説明する図である。
実施の形態１に係るシステムは、記録材（以下、代表して「用紙」と記す場合もある。）に画像を形成する画像形成装置１００と、画像形成装置１００を撮像するスマートフォン２００とで構成されている。

本実施の形態の場合、ユーザ３００は、スマートフォン２００を通じ、操作の対象とする画像形成装置１００を操作する。
図１及び図２に示すように、本実施の形態の場合、ユーザ３００は、左手３０１でスマートフォン２００を保持した状態で右手３０２を空中で動かすことで、画像形成装置１００に対する操作をスマートフォン２００に入力する。
なお、右手３０２でスマートフォン２００を保持した状態で左手３０１を空中で動かしてもよい。

図１及び図２に示すように、操作の入力に使用される右手３０２は、ユーザ３００の頭部とスマートフォン２００の間に位置し、スマートフォン２００の表示面とは非接触である。
本実施の形態に係るスマートフォン２００は、ユーザの右手３０２（例えば人差し指）の動きを検知し、検知された動きに対応する操作の実行を画像形成装置１００に指示する。すなわち、ユーザ３００は、画像形成装置１００の操作面とスマートフォン２００の操作面のいずれにも触れずに、画像形成装置１００に対する操作を入力する。
ただし、左手３０１はスマートフォン２００に接している。

画像形成装置１００は、複製物を生成するコピー機能、原稿の画像を読み取るスキャン機能、他機との間でファックス画像を受け渡しするファックス送受信機能、用紙に画像を記録する印刷機能等を備えている。コピー機能は、スキャン機能と印刷機能とを組み合わせることで実現される。
なお、画像形成装置１００は、コピー機能、スキャン機能、ファックス送受信機能の全てを備える必要はなく、いずれか１つの機能に特化した装置、例えば複写機、スキャナ、ファックス送受信機、プリンタ（３次元プリンタを含む。）であってもよい。また、画像形成装置１００は、これらの機能の一部を選択的に組み合わせた装置構成を有していてもよい。

画像形成装置１００は、ユーザ３００からの操作の受け付けやユーザ３００に対する各種情報の提示に用いられるユーザインタフェース部１１０と、原稿の画像を読み取る画像読取ユニット１２０と、用紙上に画像を記録する画像形成ユニット１３０と、用紙を収容する収容部１４０とで構成されている。
スマートフォン２００は、携帯型の端末装置であり、後述するように撮像用のカメラ、表示画面、通信機能等を備えている。
図１に示すスマートフォン２００の表示画面には、画像形成装置１００の像１００Ａが表示されている。
ここでの画像形成装置１００は、操作の対象として現実の空間に存在する物体の一例であり、スマートフォン２００は、ユーザ３００に接した状態で使用される情報処理装置の一例である。

＜画像形成装置の構成＞
図３は、画像形成装置１００のハードウェア構成の一例を説明する図である。
図３には、図１との対応部分に対応する符号を付して示している。
ユーザインタフェース部１１０は、操作画面等の表示に使用される表示部１１１と、ユーザの入力操作を受け付ける操作受付部１１２とを備えている。
表示部１１１は、例えば液晶ディスプレイパネルや有機ＥＬ（Electro Luminescence）ディスプレイパネル等で構成されている。
操作受付部１１２は、ユーザによる操作入力を受け付けるボタンやタッチパッド等で構成されている。

画像読取ユニット１２０は、原稿から画像を読み取る画像読取部と、画像読取部に原稿を搬送する原稿搬送部とを有している。画像読取ユニット１２０は、画像形成ユニット１３０の上部に配置される。
画像形成ユニット１３０は、制御部として機能するＭＰＵ（Micro Processing Unit）１３１と、ＲＯＭ（Read Only Memory）１３２と、ＲＡＭ（Random Access Memory）１３３を有している。
ＭＰＵ１３１は、ＲＯＭ１３２から読み出したファームウェア等のプログラムを実行し、各種の機能を提供する。ＲＡＭ１３３は、プログラムの作業領域として使用される。

画像形成ユニット１３０には、その他に、画像データ等の記憶に用いられる記憶部１３４、画像データに色補正や階調補正等の画像処理を加える画像処理部１３５、電子写真方式やインクジェット方式で用紙に画像を形成する画像形成部１３６、外部との通信に用いられる通信部１３７等を有している。
記憶部１３４は、ハードディスク装置や半導体メモリ等の不揮発性の記憶媒体を有している。記憶部１３４には、画像読取ユニット１２０で読み取った原稿の画像データや通信部１３７を通じて受信した画像データが記憶される。

画像処理部１３５は、例えば専用のプロセッサや処理ボードによって構成される。
通信部１３７は、ＬＡＮ（Local Area Network）インタフェースやファクシミリ通信網サービスのインタフェースを備えている。前述したスマートフォン２００（図１参照）との通信にはＬＡＮインタフェースが使用される。
なお、ＭＰＵ１３１、ＲＯＭ１３２、ＲＡＭ１３３、記憶部１３４、画像処理部１３５、画像形成部１３６、通信部１３７は、バス１３８を通じて互いに接続されている。また、前述したユーザインタフェース部１１０と画像読取ユニット１２０は、インタフェース１３９を通じてバス１３８に接続されている。

＜スマートフォンの構成＞
図４は、スマートフォン２００のハードウェア構成の一例を説明する図である。
スマートフォン２００は、データを処理する処理回路部２１０と、プログラムやデータを記憶する不揮発性のメモリ２２１と、オーディオ信号を入出力するオーディオ回路２２２と、画像を表示する液晶ディスプレイ（ＬＣＤ）２２３と、電源制御デバイス２２４と、画像を撮像する２台のカメラ２２５Ａ、２２５Ｂと、操作面に対する接触を検知するタッチパッド２２６と、ＷｉＦｉ（登録商標）規格に準拠する無線信号を送受信するＷｉＦｉ（Wireless Fidelity）モジュール２２７と、近距離無線通信規格の１つであるブルートゥース（登録商標）規格に準拠する無線信号を送受信するBluetooth（登録商標）モジュール２２８と、物体に接触していない体の部位に人工的な触覚を与える空中触覚モジュール２２９と、を有している。

本実施の形態の場合、画像形成装置１００の撮像に用いられるカメラ２２５Ａが設けられる面と液晶ディスプレイ２２３が設けられる面とは、表面と裏面の関係にある。
このため、ユーザは、現実の空間に存在する物体（例えば画像形成装置）と自身の体の一部（例えば指、手、足）をカメラ２２５Ａで撮像しながら、その画像を液晶ディスプレイ２２３で確認することが可能である。
一方、液晶ディスプレイ２２３と同じ面には、スマートフォン２００を操作するユーザ３００を撮像するカメラ２２５Ｂが設けられている。カメラ２２５Ａとカメラ２２５Ｂとは反対側の面に設けられている。

カメラ２２５Ａで撮像された画像が液晶ディスプレイ２２３に表示されている場合、カメラ２２５Ｂで撮像された画像は、ユーザ３００の身振り（体の一部の動き）の検知用に用いられる。この場合、カメラ２２５Ｂで撮像された画像は、例えば液晶ディスプレイ２２３に表示されていないか、カメラ２２５Ａで撮像された画像を補助する画像として表示される。
もっとも、ユーザの指示があれば、カメラ２２５Ａで撮像された画像又はメモリ２２１から再生される画像の代わりに、カメラ２２５Ｂで撮像された画像を液晶ディスプレイ２２３に表示してもよい。
なお、スマートフォン２００を自分撮りモードで使用する場合、カメラ２２５Ｂで撮像された画像が液晶ディスプレイ２２３に表示される。

本実施の形態では、液晶ディスプレイ２２３を用いているが、表示面として、有機ＥＬ（Electro-Luminescence）ディスプレイその他の表示手段を用いてもよい。
本実施の形態における空中触覚モジュール２２９は、例えば複数の超音波振動子を格子状に並べた超音波振動子アレーで構成される。この種の空中触覚モジュール２２９は、空中の任意の位置に超音波の焦点を生成することができる。焦点の分布や振動の強さを調整することにより、ユーザによって知覚される触覚は変化する。
本実施の形態における空中触覚モジュール２２９は、例えば複数の超音波振動子を格子状に並べた超音波振動子アレーで構成される。この種の空中触覚モジュール２２９は、空中の任意の位置に超音波の焦点を生成することができる。焦点の分布や振動の強さを調整することにより、ユーザによって知覚される触覚は変化する。
例えば操作の対象である機能に応じ、生成する触覚を変化させてもよい。触覚は、例えばユーザの動きが検知された場合、特定の機能に対する操作として受け付けられた場合等に生成される。また、他のユーザの動きや動きの強さを、触覚を通じて伝達してもよい。空中触覚モジュール２２９は、触覚を付与する付与手段の一例である。

処理回路部２１０には、メモリ２２１との間でデータの読み書きを制御するメモリ制御部２１１と、処理を実行する複数のＣＰＵコア（Central Processing Unit Core）２１２と、電源の供給を管理する電源管理部２１３と、組み込みシステムの動作を管理するシステム管理部２１４と、オーディオ信号を処理するオーディオ処理部２１５と、実時間で画像を処理するＧＰＵ（Graphics Processing Unit）２１６と、液晶ディスプレイ２２３に画像を表示するディスプレイ制御部２１７と、外部のモジュールとの接続に使用される外部インタフェース（Ｉ／Ｆ）２１８と、ベースバンド信号を処理するベースバンド回路２１９とが設けられている。

図５は、プログラムの実行を通じて処理回路部２１０が実現する機能構成の一例を説明する図である。
ここでの処理回路部２１０は、検知手段の一例であるとともに制御手段の一例でもある。
処理回路部２１０は、画像データを処理してユーザの身振りを検知する身振り検知部２５１と、操作の対象とする物体を検知する操作対象検知部２５２と、操作の対象とする物体（本実施の形態では画像形成装置１００）から物体が備える機能の情報を取得する対象側機能取得部２５３と、ユーザの身振りを操作として受け付ける操作受付部２５４と、受け付けた操作に対応する指示を対象とする物体に送信する指示送信部２５５と、操作の受け付けをユーザに報知する報知部２５６として機能する。

本実施の形態における身振り検知部２５１は、カメラ２２５Ｂで撮像された画像からユーザの体の一部（例えば指、手、足）の動きを身振りとして検知する。動きの意味は、操作の対象として検知される物体（例えば画像形成装置１００）毎に異なる。
本実施の形態における身振りには、例えば押す、引く、回す、握る、蹴る、踏む、クリック、ダブルクリック、ドラッグ、タップ、フリック、スワイプ等が含まれる。
本実施の形態における身振り検知部２５１は、例えばカメラ２２５Ｂで撮像された画像からユーザの体の一部（例えば指、手、足）の動きを身振りとして検知する。動きの意味は、操作の対象として検知される物体毎に異なる。また、同じ物体に対する動きでも操作の対象とする機能が異なれば、動きの意味は異なる。
本実施の形態における身振りには、例えば押す、引く、回す、握る、蹴る、踏む、クリック、ダブルクリック、ドラッグ、タップ、フリック、スワイプ等が含まれる。なお、身振りの特定には、深層学習の機能を用いてもよい。

身振りの検知には、他の手法の活用も可能である。例えば半導体レーザやＬＥＤ（Light Emitting Diode）から発射され光が物体で反射して戻ってくるまでの時間を画素毎に計測して物体までの距離を測定するＴＯＦ（Time Of Flight）方式、時系列に変化する縦縞パターンを投影した物体を撮像した画素に現れる輝度の変化から物体までの距離を測定するＳＬ（Structured Light）時系列パターン投影方式、超音波やミリ波を用いて物体までの距離を測定する方式等をそれぞれ単独で、又は、組み合わせてもよい。組み合わせの対象には、撮像された画像を処理して身振りを認識する技術も含まれる。

本実施の形態における操作対象検知部２５２は、カメラ２２５Ｂで撮像される画像から検出されたユーザの体の一部を、カメラ２２５Ａで撮像される操作の対象とする物体（例えば画像形成装置１００）やその操作子等に対応付ける処理を実行する。
本実施の形態の場合、図２で説明したように、操作の対象である物体と操作の入力に用いられるユーザの体の一部は、スマートフォン２００を挟んで反対側に位置するためである。
操作対象検知部２５２は、カメラ２２５Ｂで撮像された画像を処理して予め定めた体の一部（例えば指先、手、足）を抽出し、抽出された体の一部の液晶ディスプレイ２２３内における位置を特定する。

その後、操作対象検知部２５２は、特定された液晶ディスプレイ２２３内の位置（画素）を用い、カメラ２２５Ａで撮像された画像のうち操作の対象となる物体やその操作子等を検知する。
本実施の形態における操作子には、操作の対象となる物理的な構造物（例えばボタン、スイッチ）、ソフトウェア的に再現される画面上の表示（例えばボタン、スイッチ）等が含まれる。

処理に用いる画像は、液晶ディスプレイ２２３とは反対側の面に設けられたカメラ２２５Ａから取得される実時間の画像データに限らず、メモリ２２１や外部から取得される画像データでもよい。
画面内に複数の物体が含まれる場合、操作対象検知部２５２は、カメラ２２５Ａで撮像された画像のうち画面の中央により近い物体を対象として検知してもよい。
なお、操作対象検知部２５２は、無線ＬＡＮ等によってスマートフォン２００と接続中の機器の一覧の中からユーザによって選択された機器を操作の対象として検知してもよい。

本実施の形態における対象側機能取得部２５３は、例えば操作対象検知部２５２で検知された物体との通信を通じ、操作が可能な操作子の情報を取得する。例えば無線ＬＡＮを用い、操作子の情報を取得する。
また、対象側機能取得部２５３は、例えば通信可能な機器のそれぞれから操作が可能な操作子の情報を取得してもよい。
なお、操作の対象が通信機能を有しているとは限らない。例えば操作の対象が植物や自然物の場合である。この場合でも、対象側機能取得部２５３は、人の動きを代行可能なロボットその他の機器と通信し、実行が可能な操作の情報を取得してもよい。

本実施の形態における操作受付部２５４は、検知された身振りを操作の対象とする物体の特定の機能に紐付けて操作として受け付ける。
なお、図２に示したように、操作の対象とする物体は、ユーザと対向する位置に存在している。そして、カメラ２２５Ａが操作の対象とする物体を撮像する方向と、カメラ２２５Ｂ（図４参照）がユーザの体の一部を撮像する方向とは逆向きになる。
ここでの逆向きは、正確に逆方向である必要はない。

本実施の形態における指示送信部２５５は、受け付けた操作に対応する指示の実行を対象とする物体（例えば画像形成装置１００）に対して送信する。なお、指示送信部２５５は、指示に対する応答（例えば指示の受け付け等）を対象とする物体の側から取得する機能も備えている。
また、指示送信部２５５は、操作の対象とする物体の各部に、それぞれ特有の身振りと機能の指示とが紐付けられている場合には、身振りを通じて受け付けた指示を送信してもよい。この場合、操作画面に対する操作は不要となる。

因みに、操作画面に対する操作を必須とする場合には、操作画面内に配置された複数の選択肢の中から１つを選択する操作や深い階層に位置する選択肢にたどり着く必要がある。
しかし、操作の対象とする物体の特定の部位に、それぞれ特定の身振りと特定の機能が割り当てられている場合には、より少ない操作で指示を送信することが可能になる。結果的に、複数の機能を素早く選択的に実行できる。
本実施の形態における報知部２５６は、オーディオ回路２２２や液晶ディスプレイ２２３を通じて、ユーザによる身振りによる操作を補助する各種の報知を実行する。

＜処理回路部による処理動作＞
図６は、処理回路部２１０（図５参照）において実行される処理動作の一例を説明するフローチャートである。図６においては、ステップを記号のＳで示す。
本実施の形態における処理回路部２１０は、液晶ディスプレイ２２３（図４参照）と同じ面に設けられているカメラ２２５Ｂで撮像された画像に含まれる人体の一部（例えば指、手、足）を認識する（ステップ１０１）。
次に、処理回路部２１０は、認識された部位（例えば指先）の動きを検知する（ステップ１０２）。
以上の処理は、例えば身振り検知部２５１（図５参照）が実行する。

その後、処理回路部２１０は、検知された部位と画面上で重なる位置（画素）の物体又はその一部分を特定する（ステップ１０３）。この処理は、例えば操作対象検知部２５２（図５参照）が実行する。
なお、処理回路部２１０は、操作の対象である物体の認識も事前に又は並行して行う。操作の対象である物体を特定できない場合、処理回路部２１０は、操作の対象とする物体を特定できないこと、型式等を含む画像を撮像すべきこと等を報知する。この処理は、例えば報知部２５６（図５参照）が実行する。

続いて、処理回路部２１０は、検知された人体の動きを、特定された物体又は部位に対する操作として受け付ける（ステップ１０４）。この処理は、例えば操作受付部２５４が実行する。
なお、特定された部位に対応付けられている機能が存在しない場合や対応付けられている機能の実行とは関係のない動きの場合、処理回路部２１０は、検知された動きを操作として受け付けないこともある。

次に、処理回路部２１０は、対象とする物体を通信により制御可能か否かを判定する（ステップ１０５）。この処理も、例えば操作受付部２５４が実行する。
ステップ１０５で肯定結果が得られた場合、処理回路部２１０は、操作の実行を指示する信号を、対象とする物体に送信する（ステップ１０６）。

ステップ１０５で否定結果が得られた場合、処理回路部２１０は、操作の代行が可能な自走装置があるか否かを判定する（ステップ１０７）。
ステップ１０７で肯定結果が得られた場合、処理回路部２１０は、操作の実行を指示する信号を自走装置に送信する（ステップ１０８）。
ステップ１０７で否定結果が得られた場合、処理回路部２１０は、操作できない旨を報知する（ステップ１０９）。

＜操作例＞
以下では、前述した機能を用いて実現される操作例について説明する。
＜操作例１＞
図７は、操作の対象とする画像形成装置１００の像が表示されている液晶ディスプレイ２２３に触れること無く画像形成装置１００を操作する例を説明する図である。
この撮像の際、ユーザは、左手３０１でスマートフォン２００を保持している。一方、右手３０２は、液晶ディスプレイ２２３とは非接触のまま、液晶ディスプレイ２２３とユーザとの間で動かされる。
右手３０２を液晶ディスプレイ２２３の表示面に接触させない点が、既存の使い方との違いである。

図７の場合、スマートフォン２００の液晶ディスプレイ２２３には、ユーザインタフェース部１１０の一部分が拡大された状態で表示されている。
この表示の状態は、画像形成装置１００の像が液晶ディスプレイ２２３に表示されている状態でズーム操作を実行することで得ることができる。例えばスマートフォン２００には、画面を数回タップすると、画面を拡大又は縮小できる機能が備えられている。従って、スマートフォン２００を保持する左手３０１の人差し指で画面を数回タップすれば、液晶ディスプレイ２２３に右手３０２を触れること無く、画面の拡大率を変更できる。また、音声認識技術を使用すれば、液晶ディスプレイ２２３に右手３０２を触れなくても、画面の拡大率を変更できる。

図７の場合、現実の空間に存在するユーザインタフェース部１１０の一部分を撮像した像２７０（言語切替用のボタン２７１と画面輝度調整用のボタン２７２）と、人差し指の像３０２Ａとが、液晶ディスプレイ２２３に表示されている。
ここで、人差し指の像３０２Ａは、カメラ２２５Ｂによって撮像された画像そのものではなく、予め用意されている表示用の画像やアイコンの類である。
なぜなら、カメラ２２５Ｂによって撮像される右手３０２の人差し指は、指の腹側（手のひら側）であり、撮像された画像をそのまま液晶ディスプレイ２２３に表示したのでは、不自然な画像になるためである。

本実施の形態では、予め手の甲の側から撮像した指の像やアイコンをメモリ２２１（図４参照）から読み出し、カメラ２２５Ｂで撮像された画像から検知された位置に合成して表示する。
この表示により、あたかもユーザが指先で液晶ディスプレイ２２３の表面に触れているかのような見え方を再現できる。
操作に用いる右手３０２と液晶ディスプレイ２２３の表示面とが近い場合には（例えば人差し指が表示面から１ｃｍ程度の場合には）、人差し指の像３０２Ａの表示は必ずしも必要ではないが、人差し指の像３０２Ａが表示されることで、ユーザは、自身の人差し指が液晶ディスプレイ２２３に表示された画像のどの部位に位置しているかを容易に確認することができる。

ところで、人差し指の動きで画像形成装置１００を操作するには、操作の対象として画像形成装置１００が事前に特定されている必要がある。
画像形成装置１００の特定には、例えば画像形成装置１００の画像を処理して機種を特定する技術、画像に含まれる型番等の文字情報を検知する技術、液晶ディスプレイ２２３に表示される候補の中から選択する技術等の使用が可能である。
ここでの候補は、例えば無線ＬＡＮ等によってスマートフォン２００と接続中の機器の一覧として与えられる。
ここでは、操作の対象として画像形成装置１００が既に特定されているものとする。

図７の場合、操作が可能な２つの操作子（言語切替用のボタン２７１と画面輝度調整用のボタン２７２）が液晶ディスプレイ２２３に表示されているが、３つ以上の操作子が表示されていてもよいし、１つの操作子だけが表示されていてもよい。
図７の場合、２つの操作子が液晶ディスプレイ２２３に表示されているので、操作の対象とする操作子の像と人差し指の像３０２Ａとが重なるように右手３０２を空中で移動させる必要がある。

この右手３０２の空気中での移動もスマートフォン２００には、ユーザの動きとして検知される。ただし、水平方向への動きは、撮像されている操作子に対する操作の動きに対応付けられていない。
このため、人差し指の像３０２Ａが画面輝度調整用のボタン２７２と重なるまでの動きは、操作子に対する操作としては受け付けられていない。
なお、本実施の形態では、操作の対象がボタン類であるので人差し指の像３０２Ａの動きを検知しているが、検知の対象とする体の一部分は、操作の対象に応じて定めてもよい。例えば手、腕、足などの人体の一部を検知の対象としてもよい。検知の対象を特定することで誤操作の回避が可能になる。

図８は、操作の対象とする画像形成装置１００の像が表示されている液晶ディスプレイ２２３に触れること無く人差し指を空中で押すように動かして画像形成装置１００を操作する例を説明する図である。
図８には、図７との対応する部分に対応する符号を付して示している。
ここでの押すような動作とは、右手３０２がスマートフォン２００の表示面に近づく方向への動きである。
具体的には、実空間において、ユーザインタフェース部１１０に表示された操作子を押す場合と同じ動きになる。

図８に示す液晶ディスプレイ２２３では、人差し指の像３０２Ａが画面輝度調整用のボタン２７２と重なっているので、スマートフォン２００は、画面輝度調整用のボタン２７２を押す操作として検知する。
本実施の形態の場合、スマートフォン２００には、操作子と動きとの関係がメモリ２２１（図４参照）に記憶されている。もっとも、メモリ２２１に記憶される関係は、画像形成装置１００に設けられる操作子のうちの一部についてでもよい。
また、画像形成装置１００に設けられる操作子のイメージと操作として認識する動きの関係は、画像形成装置１００に記憶されており、操作の対象とする操作子を特定する処理も画像形成装置１００が実行してもよい。

図８では、画像形成装置１００と通信が可能であるので、スマートフォン２００は、画面輝度調整用のボタン２７２の操作を指示する信号を画像形成装置１００に送信する。
本実施の形態におけるスマートフォン２００には、操作の受け付けをユーザに報知する機能が用意されている。
このため、図８では、画面輝度調整用のボタン２７２の表示の形態を変化させ、操作の受け付けをユーザに報知している。

ここで、表示の形態を変化させる方法には、例えば操作の対象となったボタンが表示されている領域の輝度を上げる、点滅させる、他の色に変化させる等の手法が用いられる。
加えて、図８の場合、右手３０２の人差し指の腹側（手のひら側）には、空中触覚モジュール２２９から発生される超音波によって人差し指に振動が加えられている。この振動は、ユーザに、ボタンの操作が受け付けられた触覚を与える。
なお、操作の受け付けをユーザに報知する機能は必須ではない。

＜操作例２＞
図９は、操作の受け付けをユーザに報知する他の方法を説明する図である。
図９には、図８との対応部分に対応する符号を付して示している。
図９の場合、画面輝度調整用のボタン２７２の表示には変化がないが、不図示のスピーカから「カチッ」という音が出力されている。
この音の発生により、ユーザは、自身の動きが操作として受け付けられたことの確認が可能である。
なお、音による報知の手法は、「操作を受け付けました」等の言葉として発せられてもよい。
この場合も、空中触覚モジュール２２９から発生される超音波によって人差し指に振動が加えられている。

＜操作例３＞
図１０は、操作の受け付けをユーザに報知する他の方法を説明する図である。
図１０には、図８との対応部分に対応する符号を付して示している。
図１０の場合、画面輝度調整用のボタン２７２の表示には変化がないが、操作の受け付けを示す小さい画面２８０が追加的に表示されている。
図１０に示す画面２８０には「操作を受け付けました」との文字列が記述されている。勿論、この文字列は一例である。
この場合も、空中触覚モジュール２２９から発生される超音波によって人差し指に振動が加えられている。

＜操作例４＞
図１１は、操作の受け付けをユーザに報知する他の方法を説明する図である。
図１１には、図８との対応部分に対応する符号を付して示している。
図１１の場合、画面輝度調整用のボタン２７２の表示には変化がないが、人差し指の像３０２Ａの表示の態様を、操作として受け付ける前の態様から変化させている。
ここで、表示の形態を変化させる方法には、例えば人差し指の像３０２Ａが表示されている領域の輝度を上げる、点滅させる、他の色に変化させる等の手法が用いられる。
この場合も、空中触覚モジュール２２９から発生される超音波によって人差し指に振動が加えられている。

＜操作例５＞
図１２は、人差し指の像３０２Ａを液晶ディスプレイ２２３に表示させない手法を説明する図である。
図１２には、図８との対応部分に対応する符号を付して示している。
例えば液晶ディスプレイ２２３と同じ面に設けられたカメラ２２５Ｂの撮像の範囲に侵入した人体の一部を常に表示する手法では、人体の一部によって操作子の大部分が隠れてしまう可能性もある。例えば操作子に記載されている文字が手や腕の像に隠れてしまう可能性がある。

このような場合、ユーザは操作の対象とする操作子を画面上で確認することができず、又は、一部しか確認できないため、操作に支障が生じることがある。
操作子に記載されている文字を確認できないと、どの操作子を操作しているのかわからないだけでなく、誤操作の原因にもなる。
そこで、図１２では、画像処理によって人差し指の像３０２Ａを画面上から消している。この場合、ユーザは、どの操作子を操作の対象とするのかを操作の間中、画面上で確認することが可能である。
ただし、人差し指の像３０２Ａの表示がなければ、自身の人差し指が画面上のどの位置を指しているか分からないので、指先が位置する操作子（図１２では、画面輝度調整用のボタン２７２）の表示の形態を変化させて、誤操作が起こらないようにしている。なお、ユーザの操作を受け付けた場合には、操作された操作子の表示の形態を、操作を受け付ける前と変化させてもよい。

＜操作例６＞
図１３は、人差し指の像３０２Ａを液晶ディスプレイ２２３に表示させない他の手法を説明する図である。
図１３には、図１２との対応部分に対応する符号を付して示している。

図１３の場合も、スマートフォン２００が検知した人差し指が位置する操作子（ここでは、画面輝度調整のボタン２７２）の表示の形態を変化させ、ユーザの確認を支援している。
また、図１３では、操作を受け付けたことを文字列で記述する画面２８０も表示している。
この表示により、自身の体の一部によって視認を妨げられずに、特定の操作子を操作することが可能になる。
また、操作子の表示の態様を変化させる機能がある場合には、操作の対象と間違えずに済む。さらに、操作の受け付けが報知される場合には、ユーザの操作性を高めることができる。

＜操作例７＞
図１４は、スマートフォン２００によって検知された人差し指の位置を示唆する手法の例を説明する図である。
図１４には、図１３との対応部分に対応する符号を付して示している。
操作例６では、人差し指の像３０２Ａを全く表示していないが、画面上での位置を確認したいという要望も考えられる。
図１４は、このような要望を考慮した表示の手法であり、人差し指の像３０２Ａが位置する領域の輪郭線を示している。輪郭線が示されることでユーザは、スマートフォン２００が検知した人差し指の位置と操作子との位置の関係を容易に確認することが可能になる。ここでの輪郭線は、ユーザの体の部位を示唆する表記の一例である。

なお、図１４では、人差し指の像３０２Ａの輪郭線を破線で示しているが、画像処理によって透過像に変換した画像を実像に代えて表示してもよい。ここでの透過像も、ユーザの体の部位を示唆する表記の一例である。
また、指先の部分だけを輪郭線や透過像で選択的に表現し、指先以外は実像で表示してもよいし、反対に指先の部分だけを選択的に実像で表示してもよい。人体の一部の像で隠れる面積が減るので、操作の対象である物体の像の確認が容易になる。

＜操作例８＞
図１５は、操作の対象が通信の機能を有する電卓４００である場合を説明する図である。
この例の場合、ユーザは、右手の指先が汚れていても、電卓４００を汚すことなく操作し、演算の結果を確認できる。
図１５の場合、ユーザの人差し指の像３０２Ａは、透過像として電卓の像４００Ａの上に重ねて表示されている。透過像は、輪郭線とは異なり、実像が透けるように表示される。

ただし、電卓４００のように操作子の寸法が小さい場合には、押し間違いの可能性が残る。
そこで、液晶ディスプレイ２２３に表示される体の一部の大きさを選択できるようにしてもよい。例えば実像に比して大きくしたり、小さくしたりできるようにしてもよい。また、段階的に調整できるようにしてもよい。
この機能を用意することにより、操作子の押し間違いの低減が期待される。

＜操作例９＞
図１６は、操作の対象がレバー５００である場合を説明する図である。
本実施の形態におけるレバー５００には、例えば操縦桿、ジョイスティック、シフトレバー、ウインカーレバー、ブレーキレバー、車両のコントローラが含まれる。
図１６の場合、操作の対象はレバー５００であるので、ユーザは、何かを握るように空中に右手３０２を突き出している。この例の場合、右手３０２を前後左右に動かすと、その動きを検知したスマートフォン２００からの指示によりレバー５００が同じ動きをする。
液晶ディスプレイ２２３には、右手の像３０２Ｂがレバーの像５００Ａを握ったように表示されている。なお、右手の像３０２Ｂは、レバーの像５００Ａの上に単に重ねて表示されてもよい。

もっとも、レバー５００を右手３０２に連動して動かす必要はなく、レバー５００によって制御される対象に右手３０２の動きに応じた制御が現れればよい。
レバー５００は、入力装置であって最終的な制御の対象ではないためである。従って、レバー５００とスマートフォン２００との通信は必須ではない。レバー５００と通信できなくても、スマートフォン２００は、レバー５００の操作によって制御される機器との間で通信が可能であればよい。

この操作例におけるスマートフォン２００には、液晶ディスプレイ２２３に表示されるユーザの体の一部をユーザの属性や使用の環境に応じて装飾する機能が用意されている。
例えば操作例１（図７参照）の場合には、カメラ２２５Ｂ（図４参照）で撮像された体の一部に対応する表示用の画像やアイコンが表示されているが、図１６の例では、薄手の手袋を着用した右手の像３０２Ｂが表示されている。ここでの手袋は装備の一例である。

使用する装飾の種類は、事前にユーザが選択してもよいし、レバー５００（又はレバー５００を備える機器）側から通知されてもよいし、スマートフォン２００のメモリ２２１（図４参照）に記憶されていてもよいし、外部のサーバなどから通知されてもよい。
また、装飾に使用する画像データは、スマートフォン２００のメモリ２２１に記憶されていてもよいし、レバー５００を備える機器、外部のサーバ等から与えられてもよい。

なお、液晶ディスプレイ２２３に表示される右手の像３０２Ｂの形状や大きさは、撮像の仕方によっても異なる。従って、スマートフォン２００には、右手の像３０２Ｂの形状や大きさに応じて装飾する画像を変形する機能も備えている。
本実施の形態の場合、この機能は、スマートフォン２００におけるアプリケーションプログラムの実行を通じて実現される。もっとも、スマートフォン２００の外部に設けられたサーバその他のコンピュータを使用して画像処理を実行し、処理の結果を液晶ディスプレイ２２３の表示に反映してもよい。

図１７は、操作の対象がレバー５００である場合の他の例を説明する図である。
図１７には、図１６との対応部分に対応する符号を付して示している。
図１７の場合、冬場に屋外でレバー５００を操作する場合を想定している。このため、図１７の場合には、厚手の手袋が装飾として右手の像３０２Ｂに付加されている。
このように、液晶ディスプレイ２２３に装飾した右手の像３０２Ｂが表示されることで、レバー５００を実際に操作する場合と同様の印象をユーザに与えることができ、操作の実感を高めることが可能になる。

＜操作例１０＞
図１８は、蝶番が取り付けられた部分を軸として開閉する片開き扉６００を操作の対象とする場合を説明する図である。
片開き扉６００には、電気的に片開き扉６００を開く又は閉じる開閉用の機構６１０が取り付けられている。開閉用の機構６１０は、出入り口が設けられている壁面側に取り付けられている。また、ここでの開閉用の機構６１０は、無線ＬＡＮ等を通じてスマートフォン２００と直接又は間接的に通信が可能である。
なお、出入り口の近くの壁面には、不図示の照明器具の点灯や消灯に用いられるスイッチ７００が取り付けられている。

このため、スマートフォン２００の液晶ディスプレイ２２３には、片開き扉の像６００Ａとスイッチの像７００Ａが表示されている。
図１８の場合、ユーザの右手３０２は、液晶ディスプレイ２２３とユーザとの間の空間に位置し、液晶ディスプレイ２２３の表示面には非接触である。
勿論、ユーザの右手３０２は、片開き扉６００とは非接触である。
図１８に示す片開き扉６００は、押すことで奥方向に開き、手前に引くと閉まる。

図１９は、ユーザが右手３０２を空中に押し出す動きをスマートフォン２００で撮像することで片開き扉６００が少し開いた状態を説明する図である。
図１９では、右手３０２の動き方向を矢印で表している。この右手３０２の動きは、スマートフォン２００において、片開き扉６００を開ける操作として検知される。スマートフォン２００は、検知された操作の実行を指示する信号を開閉用の機構６１０に送信している。

この際、スマートフォン２００は、画像上で検知された右手３０２の動きの速度を開閉用の機構６１０に送信してもよい。この場合、開閉用の機構６１０は、与えられた速度に応じて片開き扉６００を開く速度に反映させることが可能になる。すなわち、片開き扉６００を実際に操作する場合と近い感覚で片開き扉６００を開くことが可能になる。

図２０は、ユーザが右手３０２を空中に押し出す動きをスマートフォン２００で撮像することで片開き扉６００が大きく開いた状態を説明する図である。
図２０では、右手３０２の動きが継続しており、開閉用の機構６１０による駆動も継続している。
なお、片開き扉６００を開く動作が検知された後は、右手３０２の動きが止まっても、片開き扉６００の駆動が継続されるように制御してもよい。スマートフォン２００による撮像中に右手３０２が移動できる範囲は、駆動の対象である片開き扉６００が動く範囲に対して狭いためである。この制御は、スマートフォン２００の機能として実現してもよいし、開閉用の機構６１０の機能として実現してもよい。
なお、右手３０２を手前に引く動きが検知された場合、スマートフォン２００は、片開き扉６００を閉じる操作として検知する。

図２１は、片開き扉６００にレバー式の取っ手（レバーハンドル）６２０が取り付けられている場合を説明する図である。
この片開き扉６００を開くには、レバー式の取っ手６２０を握って回転し、その後、押し出すような動きが必要になる。
図２１では、片開き扉の像６００Ａと取っ手の像６２０Ａの上に重ねて右手の像３０２Ｂが表示されている。

図２１に示すスマートフォン２００は、この２段階の動きが順番に検知された場合に、片開き扉６００を開く操作として検知する。検知後の動作は、図１９及び図２０を用いた説明と同じである。
なお、図１８〜図２１では、片開き扉６００を例示したが、扉の面が弧を描いて開閉する開き戸に限らず、溝やレールに案内されて直線的に開閉する引き戸、開き戸と引き戸を組み合わせたグライドスライドドア、折れ戸、回転扉などでもよい。
また、扉は、片開きに限らず両開きでもよい。

＜操作例１１＞
ここでは、誤った操作や想定外の操作の受け付けをユーザに警告する機能について説明する。
図２２は、許容される最大の角度まで片開き扉６００が開いた後も押し続ける身振りが検知される場合をユーザに報知する機能の一例を説明する図である。
図２２には、図１９との対応部分に対応する符号を付して示している。
図２２の場合、液晶ディスプレイ２２３の下部には、「これ以上は開きません！」なる警告文を含む小さい画面２９０が表示されている。
なお、報知は、音声によって行われてもよい。また、報知は、文字と音に限らず、操作の対象として認識されている物体の像を変更する等してもよい。
また、ここでは可動範囲の上限を知らせているが、そもそも可動しない方向への操作の検知を報知してもよい。また、正しい操作の仕方を報知してもよい。
ただし、正しい操作については、常に報知する必要はない。
例えば操作の対象が金庫の場合である。金庫は、特定の人以外の解錠が許されないためである。なお、操作の指示を発信しているスマートフォン２００のユーザアカウント等から認証できた操作者(権限を有する者、所有者等)には、正しい操作の仕方を報知してもよい。

＜操作例１２＞
図２３は、照明器具８００を撮像の対象とする場合を説明する図である。
図２３に示す照明器具８００は、不図示の配線を通じて位置保持型のスイッチ７００に電気的に接続されている。スイッチ７００がオン操作されると照明器具８００は点灯し、スイッチ７００がオフ操作されると照明器具８００は消灯する。
図２３の場合、照明器具８００には、消灯している状態で右手３０２が空中に押し出される動作を点灯の操作として受け付け、点灯している状態で右手３０２が空中に押し出される動作を消灯の操作として受け付ける機能が設定されている。

従って、スマートフォン２００の液晶ディスプレイ２２３に表示されている照明器具の像８００Ａの上に右手の像３０２Ｂを重ね、右手３０２を空中に押し出す動きをすると、その動きを検知したスマートフォン２００から照明器具８００に対して状態を切り替える信号が出力される。
具体的には、照明器具８００が点灯状態であれば消灯を指示する信号が出力され、照明器具８００が消灯状態であれば点灯を指示する信号が出力される。

なお、照明器具８００の状態の切り替えは２段階に限らない。例えば点灯の状態でも明るさが異なる数段階の状態をユーザの動きを通じて切り替えてもよい。また、照明器具８００が照明光の色を切り替えられる場合には、ユーザの動きを通じて色を切り替えてもよい。
また、前述の説明では、右手３０２を空中に押し出す動きを操作として検知しているが、指１本を点灯、指２本を消灯として検知してもよいし、指を立てたら点灯、指を横にすると消灯として検知してもよい。すなわち、液晶ディスプレイ２２３と同じ面に設けられたカメラ２２５Ｂで撮像される指の本数や指の向きに特定の操作を関連づけてもよい。
いずれにしても、照明器具８００に直接触れることなく、照明器具８００の動作の状態を操作することができる。

図２４は、照明器具８００の点灯を制御するスイッチ７００を撮像の対象とする場合を説明する図である。
図２４には、図２３との対応部分に対応する符号が付されている。
前述したように、照明器具８００は、スイッチ７００のオン操作によって点灯し、スイッチ７００のオフ操作によって消灯する。
なお、図２４の場合には、人差し指の先端だけを像３０２Ａとして選択的に表示し、その他の部位は表示していない点で図２３と相違する。このように操作に関係する部位だけを表示することで、ユーザによる操作の対象の確認が容易になる。

スイッチ７００にスマートフォン２００と通信する機能が備えられている場合、スイッチの像７００Ａに人差し指の像３０２Ａを重ねた状態で、右手３０２を空中に押し出す動きの操作があると、スイッチ７００のオンとオフを切り替える信号をスマートフォン２００が出力する。

なお、スイッチ７００がスマートフォン２００と通信する機能を有していない場合もある。この場合でも、スイッチ７００と照明器具８００との関係がスマートフォン２００に与えられていれば、スイッチの像７００Ａに人差し指の像３０２Ａを重ねた状態での右手３０２を空中に押し出す動きを照明器具８００に対する操作として受け付けることができる。
なお、制御の対象は、他に空調機、オーディオ機器、家電製品等でもよい。

＜操作例１３＞
前述の操作例では、現実の空間に存在する物体をスマートフォン２００で撮像しているが、撮像の対象は実在する物体の像であってもよい。
図２５は、表示装置９００に表示されている電卓の像４００Ａを撮像の対象とする場合を説明する図である。
図２５には、図１５との対応部分に対応する符号を付して示している。

表示装置９００は、例えばテレビジョン受像機やモニタである。ここでの電卓の像４００Ａは、実在する電卓４００を撮像した画像データを再生した像である。
ここで、スマートフォン２００の液晶ディスプレイ２２３には、表示装置９００を撮像した電卓の像４００Ｂと人差し指の像３０２Ａとが表示されている。勿論、右手３０２は、表示装置９００に触れていない。
この操作例では、スマートフォン２００による撮像の対象が、操作の対象である実在の電卓４００と異なる以外は、図１５を用いて説明した操作例８と同様である。

この場合でも、無線ＬＡＮ等によってスマートフォン２００と接続中の機器の一覧の中から操作の対象とする電卓４００を事前に特定しておけば、操作例８と同様に電卓４００の操作が可能である。
なお、電卓の像４００Ａと実在する電卓４００との関係が不明でも、スマートフォン２００は、画像を認識する技術を通じて撮像の対象が電卓であることを検知できる。この場合、スマートフォン２００が通信可能な実在する電卓４００を指定して、ユーザの動きに対応する操作の実行を指示してもよい。
ただし、スマートフォン２００で検知された操作が通信可能な電卓４００に用意されていない場合には、身振りの撮像によって電卓４００を操作することはできない。

＜操作例１４＞
前述の操作例では、操作の対象である物体又はその像をカメラ２２５Ａ（図４参照）で撮像しながら、ユーザの体の一部をカメラ２２５Ｂで撮像する場合を想定しているが、撮像の対象は、操作の対象である物体の像でも構わない。
図２６は、スマートフォン２００で撮像されるユーザの動きを液晶ディスプレイ２２３に表示されている操作子の操作に紐付ける例を説明する図である。
図２６には、図７との対応部分に対応する符号を付して示している。

図２６の場合、液晶ディスプレイ２２３には、実在する画像形成装置１００のユーザインタフェース部１１０の一部分を撮像した像２７０（言語切替用のボタン２７１と画面輝度調整用のボタン２７２）が表示されているが、カメラ２２５Ａの前方には画像形成装置１００は存在していない。
ただし、操作の対象である画像形成装置１００は、インターネットやＬＡＮ等のネットワーク１０００を介してスマートフォン２００と通信可能に接続されている。

図２６では、液晶ディスプレイ２２３と並んで設けられたカメラ２２５Ｂによって撮像されたユーザの体の一部の像（例えば右手３０２の人差し指の像３０２Ａ）が表示画面上に合成されて表示されている。
具体的には、ユーザインタフェース部１１０の一部分を撮像した像２７０のうち画面輝度調整用のボタン２７２の位置には、人差し指の位置を示す人差し指の像３０２Ａが合成されている。
スマートフォン２００は、この合成像を画像処理の対象とし、人差し指の動きを操作として受け付けると、対応する画像形成装置１００に対して操作の実行を指示する信号を送信する。

＜実施の形態２＞
前述の実施の形態１の場合には、スマートフォン２００（図１参照）を用いてユーザの身振りを撮像し、実在する画像形成装置１００（図１参照）の操作に用いているが、ユーザの身振りの撮像はスマートフォン２００に限らない。
図２７は、実施の形態２に係るシステムの一例を説明する図である。
図２７には、図１との対応部分に対応する符号を付して示している。
図２７の場合、ユーザは、メガネ型の端末１０１０を装着している。

メガネ型の端末１０１０は、装着した際にユーザの目の部分に透明度が高い光学素子が配置される構成を有している。
このため、メガネ型の端末１０１０を装着したユーザは、透明度の高い光学素子を透して現実の空間にある画像形成装置１００を直接視認することが可能である。

図２８は、実施の形態２で使用するメガネ型の端末１０１０の構造例を説明する図である。
メガネ型の端末１０１０は、既に複数のメーカによって実用化されている。この種のメガネ型の端末１０１０は、透過型デバイス、網膜投射型デバイス等とも呼ばれる。
図２８に示すメガネ型の端末１０１０は、透明度が高い導光板１０１１と、可視光透過型回折格子１０１２Ａ、１０１２Ｂと、操作対象とする部位の像が表示される小型の表示部１０１３と、ユーザの前方を撮像するカメラ１０１４とを有している。

導光板１０１１は、例えば８５％以上の透明度を有している。このため、ユーザは、導光板１０１１を透かして前方の景色を直接視認することができる。導光板１０１１は、透明な部材の一例である。
図２８では、画像形成装置１００で反射された外光Ｌ１が、導光板１０１１及び可視光透過型回折格子１０１２Ｂを透過するように直進して眼球３１０に導かれている。なお、可視光透過型回折格子１０１２Ｂは、平板形状を有し、眼球３１０の前方に配置されている。
ここでの可視光透過型回折格子１０１２Ｂは、導光板１０１１の内部を反射しながら伝搬する光Ｌ２を眼球３１０の方向に屈折させる機能も果たす。

光Ｌ２は、表示部１０１３から導光板１０１１に投影された後、可視光透過型回折格子１０１２Ａによって屈折された後の光線である。
なお、可視光透過型回折格子１０１２Ａ及び１０１２Ｂには、例えばホログラフィック回折格子が用いられる。可視光透過型回折格子１０１２Ｂは、いわゆるハーフミラーとして機能する。従って、眼球３１０には、虚像としてのユーザインタフェース部の像１１０Ａ（図２７参照）が実在する風景に重なって見える。換言すると、ユーザ３００には、拡張現実又は複合現実が視認される。

図２９は、実施の形態２で使用するメガネ型の端末１０１０のハードウェア構成の一例を示す図である。
メガネ型の端末１０１０は、プログラム（ファームウェアを含む）の実行を通じて装置全体を制御するＣＰＵ１０２１と、ＢＩＯＳやファームウェア等のプログラムを記憶するＲＯＭ１０２２と、プログラムの実行領域として使用されるＲＡＭ１０２３と、を有している。
ＣＰＵ１０２１、ＲＯＭ１０２２、ＲＡＭ１０２３は、コンピュータ１０２０として機能する。

コンピュータ１０２０には、外界を撮像するカメラ１０１４と、カメラ１０１４で撮像された画像等を表示する表示部１０１３と、各種の物理量を検知するセンサ１０２４と、外部との通信に用いられる通信インタフェース（通信ＩＦ）１０２５とが接続されている。
センサ１０２４には、例えば本体の傾きを検知するジャイロセンサ、対象物までの距離を測定する距離センサ、メガネ型の端末１０１０の位置を検知するＧＰＳ（Global Positioning System）センサ、視線検知センサ等が含まれる。
ここでのメガネ型の端末１０１０は、ユーザの頭部に装着して使用するため、ユーザと接して使用される情報処理装置の一例である。

メガネ型の端末１０１０は、両手を使った操作の入力に用いることができる。このため、メガネ型の端末１０１０は、スマートフォン２００を用いる場合よりも、入力可能な操作の範囲を広げることが可能になる。
メガネ型の端末１０１０を装着したユーザは、自身の前方（例えば２．５ｍ先）の空中に、ユーザインタフェース部の像１１０Ａが浮かんでいるように知覚する。
このため、本実施の形態の場合も、奥側から順番に、操作の対象である画像形成装置１００、ユーザインタフェース部の像１１０Ａ（仮想の表示面）、右手３０２の関係になる。

＜実施の形態３＞
前述した実施の形態で操作の対象とする機器（例えば画像処理装置、電卓、レバー、扉、照明）は、物理的な操作と身振りによる操作を区別しない点で共通している。
実施の形態３では、操作の受け付けを身振りによる操作に限定できる機器について説明する。

図３０は、金庫１１００を操作の対象として撮像する場合を説明する図である。
図３０に示す金庫１１００には、前面に配置されたシリンダ１１０１又は押しボタン１１０２が物理的に正しく操作されることを条件に解錠を有効にする機能の他に、これらの物理的な操作を無効化する機能も有している。
物理的な操作が無効化されている場合、解錠が有効化されるのは、スマートフォン２００から押しボタン１１０２の操作に対応する信号が受信された場合である。
この実施の形態でも、液晶ディスプレイ２２３には金庫の像１１００Ａと人差し指の像３０２Ａが表示されている。勿論、人差し指の像３０２Ａは、右手３０２の人差し指に対応している。右手３０２は、金庫１１００と液晶ディスプレイ２２３の両方に触れておらず、空中で動かされる。

図３１は、金庫１１００のハードウェア構成の一例を説明する図である。
金庫１１００は、シリンダ１１０１と、操作面に英数文字が印字された複数の押しボタン１１０２と、ＭＰＵ１１１１と、ファームウェア等のデータが記憶されるＲＯＭ１１１２と、プログラムの作業領域として使用されるＲＡＭ１１１３と、スマートフォン２００（図３０参照）等の外部機器との通信に用いられる通信部１１１４と、電気的にシリンダ１１０１を解錠又は施錠する解錠制御部１１１５とを有している。これらの各部は、例えばバス１１１６により互いに接続されている。

図３２は、ＭＰＵ１１１１で実行される処理動作の一例を説明するフローチャートである。図３２では、ステップを記号のＳで示す。
まず、ＭＰＵ１１１１は、物理的な操作は無効化されているか否かを判定する（ステップ２０１）。
ステップ２０１で肯定結果が得られた場合、ＭＰＵ１１１１は、スマートフォン２００からの操作だけを受け付ける設定を有効化する（ステップ２０２）。
一方、ステップ２０１で否定結果が得られた場合、ＭＰＵ１１１１は、物理的な操作を受け付ける設定を有効化する（ステップ２０３）。物理的な操作を受け付ける設定が有効である場合、スマートフォン２００からの操作も有効である。

これらの設定の後、ＭＰＵ１１１１は、操作の内容が解錠の条件に合致するか否かを判定する（ステップ２０４）。
ステップ２０４で肯定結果が得られた場合、ＭＰＵ１１１１は、シリンダ１１０１を解錠する（ステップ２０５）。
一方、ステップ２０４で否定結果が得られた場合、ＭＰＵ１１１１は、操作を無効化する（ステップ２０６）。

例えば物理的な操作が無効化されている場合には、正しい鍵がシリンダ１１０１（図３１参照）に挿入されても、押しボタン１１０２（図３１参照）が正しい順番で操作されても施錠状態が維持される。一方で、押しボタン１１０２を正しい順番で操作する指示がスマートフォン２００から与えられた場合には、解錠が許可される。
本実施の形態に係る金庫１１００では、物理的な操作が正しくても解錠できない設定を有効にすることにより、防犯性を高めることが可能になる。また、スマートフォン２００を用いた個人認証の機能を組み合わせることで、金庫１１００を解錠できるユーザが特定の個人（スマートフォン２００を操作できるユーザ）に限定される。

＜実施の形態４＞
ここでは、ウェブカメラ等で撮像された被写体があたかも目の前にあるかのように身振りで操作する方法について説明する。
この実施の形態は、操作の対象がユーザの前方に実在しない点を除き、操作例１０（図１８〜図２２）と同様である。

図３３は、実施の形態４に係るシステムの一例を説明する図である。
図３３に示すシステムでは、ウェブカメラ１２００から出力される画像データがネットワーク１３００経由でスマートフォン２００に送信され、液晶ディスプレイ２２３に表示されている。
図３３に示す液晶ディスプレイ２２３には、片開き扉６００を撮像した像６００Ａが表示されている。
図３３の場合、ユーザの右手３０２に対応する像は液晶ディスプレイ２２３に表示されていない。

図３４は、前述した実施の形態で説明したように、スマートフォン２００でユーザの体の一部（ここでは右手３０２）の動きを片開き扉６００の操作として受け付ける場合を示す図である。
図３４には、図３３との対応部分に対応する符号が付されている。
図３４では、片開き扉の像６００Ａにスマートフォン２００のカメラ２２５Ｂで撮像された右手の像３０２Ｂが重なっている。
この状態で、右手３０２を空気中で押し出すように動かすと、ネットワーク１３００経由で接続された開閉用の機構６１０に片開き扉６００の開操作を指示する信号が出力される。

図３５は、ネットワーク１３００を介して複数のユーザが操作の情報を共有する仕組みを説明する図である。図３５には、図３４との対応部分に対応する符号を付している。
図３５では、ウェブカメラ１２００から出力される画像データをサーバ１４００が取得し、その後、３台のスマートフォン２００に配信する場合を表している。なお、サーバ１４００の機能がウェブカメラ１２００に内蔵されていてもよい。
図３５の場合、いずれのスマートフォン２００にも片開き扉の像６００Ａが表示されている。

図３６は、３台のスマートフォン２００のうちの１台を使用して片開き扉６００を押し開く場合を説明する図である。図３６には、図３５との対応部分に対応する符号を付して示している。
図３６の場合、３台のうちの１台のスマートフォン２００を通じて受け付けられた操作は、サーバ１４００を通じて片開き扉６００の開閉用の機構６１０に送信される。なお、片開き扉６００に対する操作が一度に複数発生した場合、本実施の形態におけるサーバ１４００は、先に到達した操作を優先する。なお、矛盾する操作が一度に到達した場合には実行を保留してもよい。「一度に」とは、予め定めた区間内に到達する意味である。

図３７は、片開き扉６００が開かれた状態が３台のスマートフォン２００で共有される様子を説明する図である。図３７には、図３６との対応部分に対応する符号を付して示している。
この仕組みを用いれば、１つの機器を複数人が各自の身振りによって操作することが可能になる。

＜実施の形態５＞
前述の実施の形態では、スマートフォン２００に表示されている操作の対象が機器である場合について説明したが、ここでは操作の対象に通信の機能が設けられていない場合について説明する。
図３８は、植木１５００の移動を身振りで指示する場合を説明する図である。図３８では、スマートフォン２００の画面に、ユーザの右手の像３０２Ｂと植木の像１５００Ａが表示されている。この場合も、実空間にある右手３０２は、植木１５００と液晶ディスプレイ２２３の両方に触れていない。

植木１５００には、通信機能も自走装置も取り付けられていない。このため、前述した実施の形態のように、スマートフォン２００のカメラ２２５Ｂで右手３０２の動きを撮像しても、その動きによって植木１５００を移動させることはできない。
本実施の形態では、身振りによる操作の送信先として自走機能を有するヒト型のロボット１６００を指定する。なお、指示の送信先としてのロボット１６００は、例えばスマートフォン２００との通信が可能な機器の一覧の中から指定すればよい。

図３８に示すロボット１６００は、その外観にヒト型を採用しているが、必要な機能が搭載されていれば外観は任意である。例えば犬やネコなどの動物、花や木などの植物、車（電車を含む）や飛行機等の乗り物を模したものでもよい。
図３８に示すロボット１６００は、胴部１６１１、頭部１６１２、腕１６１３、１６１５、手１６１４、１６１６、足１６１７、１６１８を有している。
胴部１６１１には、信号処理のための電子部品が格納されている。胴部１６１１には、表示デバイスや音響機器が搭載されてもよい。

頭部１６１２は、首の部分に設けられたジョイント機構を介して胴部１６１１に連結されている。本実施の形態の場合、ジョイント機構は、３軸まわりに回転可能である。３軸まわりの回転とは、ヨー（ｚ軸まわりの回転）、ロール（ｘ軸まわりの回転）、ピッチ（ｙ軸まわりの回転）の３つである。ここでのジョイント機構は可動部の一例である。
３軸の全てに対して回転可能である必要はなく、１軸のみ又は２軸について回転可能でもよい。これらの回転は、不図示のモーターによって実現してもよいが、手動で行ってもよい。もっとも、頭部１６１２が胴部１６１１に対して固定される場合を妨げない。
頭部１６１２には目１６１２Ａ、１６１２Ｂが設けられている。目１６１２Ａ及び１６１２Ｂは、装飾的に配置されていてもよいし、撮像装置、投影機、照明等を内蔵してもよい。頭部１６１２には可動式の耳が配置されていてもよい。

本実施の形態における腕１６１３及び１６１５は、胴部１６１１とジョイント機構を介して連結されている。腕１６１３及び１６１５の上腕と前腕は、ジョイント機構を介して連結されている。ここでのジョイント機構は、頭部１６１２と同様に多軸でも単軸でもよい。また、軸周りの回転は不図示のモーターにより実現してもよいし、手動で実現してもよい。もっとも、腕１６１３及び１６１５は、胴部１６１１に固定されていてもよい。ここでのジョイント機構も可動部の一例である。
なお、腕１６１３及び１６１５を予め定めた角度に折り曲げれば、物の運搬に用いることができる。

手１６１４及び１６１６は、手首の部分に設けられたジョイント機構を介して腕１６１３及び１６１５に連結されている。手１６１４及び１６１６の手の平と指は、いずれもジョイント機構を介して連結されている。ここでのジョイント機構は、頭部１６１２と同様に多軸でも単軸でもよい。また、軸周りの回転は不図示のモーターにより実現してもよいし、手動で実現してもよい。本実施の形態の場合、手１６１４及び１６１６は、指の開閉により物を掴むことができる。ここでのジョイント機構も可動部の一例である。
手１６１４及び１６１６は、腕１６１３及び１６１５に対して固定でもよい。

足１６１７及び１６１８は、ジョイント機構を介して胴部１６１１に連結されてもよいし、車輪やキャタピラー等の自走装置として胴部１６１１に取り付けられてもよい。
足１６１７及び１６１８がジョイント機構を介して胴部１６１１に連結される場合、ジョイント機構は、頭部１６１２と同じく多軸でも単軸でもよい。
また、軸周りの回転は不図示のモーターにより実現してもよいし、手動で実現してもよい。なお、足１６１７及び１６１８は、胴部１６１１に対して固定でもよい。ここでのジョイント機構も可動部の一例である。

図３９は、ロボット１６００のハードウェア構成を説明する図である。
ロボット１６００は、装置全体の動きを制御する制御部１６２１と、ロボット周辺の画像を撮像するカメラ１６２２と、会話用の音声、楽曲、効果音を再生するスピーカ１６２３と、音の入力又は取得に用いられるマイク１６２４と、ジョイント機構などの可動機構１６２５と、外部装置（例えばスマートフォン）との通信に用いられる通信部１６２６と、画像を表示する表示部１６２７と、装置全体を移動させる移動機構１６２８と、各部に電力を供給する電源１６２９と、各部の状態や周辺情報の収集に使用されるセンサ１６３０と、位置情報の取得に用いられる位置検知部１６３１とを有している。これらの各部は、例えばバス１６３２により互いに接続されている。

言うまでもなく、図３９に示すハードウェア構成は一例である。従って、ロボット１６００は、前述した全ての機能部を搭載する必要はない。
また、ロボット１６００は、不図示の機能部を更に搭載してもよい。例えばロボット１６００は、電源ボタン、記憶装置（ハードディスク装置、半導体メモリ等）、熱源（冷却源を含む。）等を搭載してもよい。

制御部１６２１は、いわゆるコンピュータであり、ＣＰＵ、ＲＯＭ、ＲＡＭを有している。ＲＯＭには、ＣＰＵにより実行されるプログラムが記憶されている。ＣＰＵは、ＲＯＭに記憶されているプログラムを読み出し、ＲＡＭを作業エリアに使用してプログラムを実行する。プログラムの実行を通じ、ＣＰＵはロボット１６００を構成する各部の動作を制御する。
ここでのプログラムには、人工知能に対応するアルゴリズムの実現に関連するプログラムが含まれる。制御部１６２１を構成するＣＰＵやＲＡＭは、人工知能が使用する計算資源を提供する。

本実施の形態における制御部１６２１は、例えばカメラ１６２２、マイク１６２４、センサ１６３０を通じて取得される情報を人工知能で処理し、ロボット１６００の周辺環境や状態に応じた動作を自律的に決定する。
例えばスピーカ１６２３を通じて音声を出力したり、通信部１６２６を通じてメッセージを送信したり、表示部１６２７を通じて画像を出力してもよい。
これら情報の入出力や可動機構１６２５の動きを通じ、制御部１６２１は、ユーザとの間でコミュニケーションを成立させることができる。コミュニケーションの応用例には、例えば接客や会議の進行なども含まれる。
制御部１６２１は、不明な事態が発生した場合に、インターネット検索や外部のコンピュータとの通信を通じて追加の情報を収集し、検索事象との類似度によって解決策を発見する機能も搭載する。

本実施の形態の場合、制御部１６２１が取得する情報には、例えば視覚、聴覚、触覚、味覚、嗅覚、平衡感覚、温度が含まれる。
視覚は、カメラ１６２２で撮像された画像の認識処理を通じて実現される。
聴覚は、マイク１６２４で取得された音の認識処理を通じて実現される。
触覚には、例えば表在感覚（触覚、痛覚、温度覚）、深部覚（圧覚、位置覚、振動覚など）、皮質性感覚（二点識別覚、立体識別能力など）が含まれる。
制御部１６２１は、触覚の違いを分別できる。
触覚、味覚、嗅覚、平衡感覚、温度は、各種のセンサ１６３０による情報の検知を通じて実現される。なお、温度には、周辺温度、内部温度、ヒトや動物の体温なども含まれる。
更に、制御部１６２１が取得する情報には、ヒトや動物の脳波も含み得る。この場合、脳波は、ヒト等に装着された脳波検知デバイスから発信される情報を通信部１６２６で受信すればよい。

本実施の形態の場合、カメラ１６２２は、目１６１２Ａ及び１６１２Ｂ（図３８参照）の位置に配置される。
表示部１６２７として投影機が用いられる場合、投影機は、例えば目１６１２Ａ及び１６１２Ｂ（図３８参照）のいずれか一方又は両方に配置することができる。なお、投影機は胴部１６１１や頭部１６１２に配置してもよい。

可動機構１６２５は、物の搬送の他、感情を表現する目的でも使用される。
物の搬送に使用される場合、可動機構１６２５は、腕１６１３、１６１５や手１６１４、１６１６（図３８参照）の変形を通じて、例えば物を掴む、抱える、支える等の動作を実現する。
感情の表現に使用される場合、可動機構１６２５は、例えば頭部１６１２、腕１６１３、１６１５、手１６１４、１６１６等（図３８参照）の駆動を通じて、頭を傾げる、見上げる、周囲を見回す（キョロキョロする）、万歳する、指さし等の動作を実行する。

本実施の形態における通信部１６２６は、無線方式によって外部と通信する。
ロボット１６００には、通信先として想定する外部装置で用いられる通信方式の数だけ通信部１６２６が搭載される。通信方式には、例えば赤外線通信、可視光通信、近接無線通信、ＷｉＦｉ（登録商標）、ブルートゥース（登録商標）、ＲＦＩＤ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＩＥＥＥ８０２．１１ａ（登録商標）、ＭｕｌｔｅＦｉｒｅ、ＬＰＷＡ（Low Power Wide Area）等がある。
無線通信に使用する帯域には、短波長帯（例えば８００ＭＨｚ〜９２０ＭＨｚ）、長波長帯（例えば２．４ＧＨｚ、５ＧＨｚ）等がある。
なお、通信部１６２６と外部装置との接続には通信ケーブルを使用してもよい。

表示部１６２７は、ユーザとの間で視覚的なコミュニケーションを実現するために使用してもよい。例えば表示部１６２７には、文字や図形を表示してもよい。
表示部１６２７が頭部１６１２に配置される場合、表示部１６２７に表情を表示してもよい。

本実施の形態の場合、移動機構１６２８には車輪やキャタピラーを用いるが、プロペラや圧縮空気の吹き出し機構を用い、空気の力でロボット１６００を移動させてもよい。
本実施の形態における電源１６２９には二次電池を使用するが、電力を発生できれば一次電池、燃料電池、太陽電池のいずれを用いてもよい。
また、電源１６２９の代わりに、電源ケーブルを通じて外部から電力の供給を受ける構成を採用してもよい。

本実施の形態の場合、ロボット１６００には、位置検知部１６３１が搭載されている。
位置検知部１６３１には、例えばＧＰＳ（Global Positioning System）信号から地点情報を読み取る方式、ＧＰＳと同等の信号を用いて屋内の位置を測位するＩＭＥＳ（Indoor Messaging System）方式、ＷｉＦｉの複数のアクセスポイントから送信された電波の強度や到達時間等から位置を測位するＷｉＦｉ測位方式、基地局から定期的に発生される信号に対する応答の方角と遅延時間から位置を測位する基地局測位方式、不可聴域の超音波を受信して位置を測位する音波測位方式、ブルートゥースを使ったビーコンからの電波を受信して位置を測位するブルートゥース測位方式、ＬＥＤ（Light Emitting Diode）等の照明光の点滅によって伝達される位置情報を用いて位置を測位する可視光測位方式、加速度センサやジャイロセンサ等を用いて現在位置を測位する自律航法方式等を利用する。

図４０は、ロボット１６００を使用した植木１５００の移動を説明する図である。
図４０には、図３８との対応部分に対応する符号を付して示している。
他の実施の形態と同様に、ユーザは、スマートフォン２００の前方の空間で右手３０２を動かし、その動きを撮像する。
右手３０２の動きを操作として受け付けたスマートフォン２００は、その操作の実行を植木１５００への移動が可能なロボット１６００に指示する。ここでの操作は、植木１５００の横方向への移動である。

移動の指示を受信したロボット１６００は、移動の対象である植木１５００の場所まで移動すると、植木１５００を掴んで横方向に移動させる。
このとき、スマートフォン２００には、植木の像１５００Ａを掴んで移動するロボットの像１６００Ａと右手の像３０２Ｂとが表示される。図４０の場合、ロボットの像１６００Ａの確認が容易になるように、右手の像３０２Ｂを透過像として表示している。
図４０の場合には、ユーザの目の前に植木１５００もロボット１６００も実在するので右手の像３０２Ｂを透過的に表示する必要性は低いが、スマートフォン２００に表示されている植木の像１５００Ａがユーザの目の前にない場合（例えばスマートフォン２００にはウェブカメラの画像が表示されている場合）には、右手の像３０２Ｂが透過的に表示されることで実空間の様子の確認が容易になる。

＜実施の形態６＞
前述の実施の形態では、スマートフォン２００が操作の対象である物体の正面側に位置する場合を、操作の対象とする物体に対向する位置の例として説明したが、対向する位置は正面に限らない。
図４１は、画像形成装置１００に対向する位置の他の例を説明する図である。
図４１には、画像形成装置１００から見て右斜め前方の位置Ｐ１、右斜め後方の位置Ｐ２、後ろの位置Ｐ３、左斜め後方の位置Ｐ４、左斜め前方の位置Ｐ５にスマートフォン２００が位置する例を示している。これらのいずれも、画像形成装置１００に対向する位置の一例である。
ユーザが画像形成装置１００を撮像する方向が異なれば、カメラ２２５Ａによって撮像される部位や操作子も異なる内容になる。このため、カメラ２２５Ｂによって撮像されるユーザの動きが同じでも、画像形成装置１００に対する操作の内容は異なる。

＜実施の形態７＞
前述の実施の形態では、画像形成装置１００（図１参照）のユーザインタフェース部１１０（図１参照）に表示されたボタン類を身振りで操作する場合について説明したが、用紙の収容部１４０（図１参照）を身振りによって開閉してもよい。
図４２は、身振りによって用紙の収容部１４０を開閉する例を説明する図である。操作の対象が用紙の収容部１４０であるので、スマートフォン２００の液晶ディスプレイ２２３には、用紙の収容部の像１４０Ａとユーザの右手の像３０２Ｂとが重なるように表示されている。図４２では、矢印で示すように、右手３０２が手前方向（ユーザ自身に近づく方向又は液晶ディスプレイ２２３から離れる方向）に引かれている。
この例の場合には、ユーザインタフェース部１１０に表示されるボタンを操作しなくても、右手の像３０２Ｂとの重なりが検出された用紙の収容部１４０が手前側に引き出されることになる。
勿論、前提として、用紙の収容部１４０を駆動する不図示のモーターが画像形成装置１００に内蔵されている必要がある。なお、右手３０２を奥方向に動かせば、用紙の収容部１４０を閉じることもできる。

＜実施の形態８＞
前述の実施の形態では、ユーザインタフェース部１１０（図１参照）を直接操作する場合と同様の操作を身振りによって実現する場合について説明したが、操作の対象である特定の部位が身振りによって指定された場合には、ユーザインタフェース部１１０に表示される内容が指定された部位に関連のあるボタン類を含む表示に切り替わってもよい。
図４３は、印刷された用紙に対して穴を開ける処理や綴る処理を加えるための機構（後処理装置１５０）が取り付けられている場合の操作例を説明する図である。なお、後処理装置１５０には仕分け機構が含まれてもよい。
図４３では、後処理装置の像１５０Ａの上に人差し指の像３０２Ａが重なっている。
本実施の形態の場合、後処理装置の像１５０Ａには、人差し指の像３０２Ａによる選択の操作と後処理装置１５０に関連する設定の頁を開く機能が割り当てられている。

図４４は、後処理装置の像１５０Ａ（図４３参照）を人差し指の像３０２Ａで選択した場合に実行される表示部１１１に生じる画面の変化を説明する図である。（Ａ）は人差し指の像３０２Ａによる身振りを受け付ける前の表示を示し、（Ｂ）は人差し指の像３０２Ａによる身振りを受け付けた後の表示を示し、（Ｃ）は身振りによる操作を受け付けるスマートフォン２００の画面例を示す。

図４４の場合、スマートフォン２００でユーザインタフェース部１１０（図４３参照）の表示部１１１を撮像すると、身振りによって操作しなくても、綴じ処理を実行するか否かを指定するためのボタン１１０Ｂを含む画面に切り替わっている。このように、特定の部位に特定の操作と特定の機能が割り当てられている場合には、少ない操作で指示を完了できる。すなわち、操作を効率化できる。
勿論、特定の身振りと特定の機能を割り当てる部位は後処理装置１５０に限らない。例えば画像形成装置１００（図１参照）の背面でもよい。背面に配置された接続用の端子や通信線が撮像された状態で身振りによる選択が受け付けられた場合には、接続用の端子の調整や設定に用いられるメニュー画面を表示部１１１に表示させてもよい。

＜実施の形態９＞
前述の実施の形態においては、図２に示したように、操作の指示に用いられる右手３０２が表示面（例えば液晶ディスプレイ２２３）とユーザ３００の間の空中を動く場合について説明したが、右手３０２は、操作の対象である物体とスマートフォン２００との間の空中を動かされてもよい。
以下では、図４５及び図４６を用い、実施の形態９に係るシステム全体の構成と、ユーザと機器との位置の関係を説明する。

図４５は、実施の形態９に係るシステムの一例を説明する図である。
図４６は、右手３０２とスマートフォン２００の位置の関係を説明する図である。
図４５と図１を比較し、図４６と図２を比較すれば分かるように、違いは、ユーザ３００の右手３０２の位置である。
本実施の形態の場合、カメラ２２５Ａによって、操作の対象である物体（画像形成装置１００）とユーザの右手３０２とを一度に撮像することができる。このため、本実施の形態による使い方の場合には、液晶ディスプレイ２２３（図７参照）と同じ面に設けられるカメラ２２５Ｂを用いる必要がない。

本実施の形態の場合も、ユーザは、物体に触れずに操作できる。
本実施の形態の場合には、カメラ２２５Ａで撮像される人差し指の像をそのまま、液晶ディスプレイ２２３に表示することができる。
なお、本実施の形態のように、操作の入力に用いる右手３０２をスマートフォン２００と操作の対象とする画像形成装置１００の間で動かす手法は、前述した実施の形態１〜８のいずれにも組み合わせることが可能であり、各実施の形態と同様の操作を実現できる。

＜実施の形態１０＞
本実施の形態では、前述した２種類の操作の手法を組み合わせる場合について説明する。
図４７は、２種類の操作の手法の切り替えを説明する図である。（Ａ）は右手３０２を液晶ディスプレイ２２３とユーザ３００との間の空中で動かす手法を示し、（Ｂ）は右手３０２をスマートフォン２００と画像形成装置１００との間の空中で動かす手法を示す。
すなわち、（Ａ）の手法は実施の形態１〜８に対応し、（Ｂ）の手法は実施の形態９に対応する。

本実施の形態におけるスマートフォン２００の基本的なハードウェア構成と機能構成は実施の形態１と同様である。
ただし、本実施の形態の場合、操作受付部２５４（図５参照）には、ユーザ３００による操作の入力がスマートフォン２００の液晶ディスプレイ２２３と同じ側の空間で実行されているか、それとも反対側の空間で実行されているかを検知し、検知の結果に基づいて操作の内容を決定する機能が追加されている。
本実施の形態における操作受付部２５４は、操作の対象である物体や部位が同じであり、かつ、検出されるユーザ３００の身振りが同じ場合でも、身振りが行われる空間が異なれば異なる操作として受け付けるよう設定されている。
もっとも、両者を区別しない設定とすることも可能である。
設定は、ユーザが個別に変更することが可能である。なお、両者を区別するか否かは、物体やその部位に関連付けられた個々の機能毎、操作の実行者であるユーザ毎に設定してもよい。

＜操作例１＞
図４８は、操作がスマートフォン２００に対して手前側で行われる場合と奥側で行われる場合とで、操作の対象とする物体の部位が切り替えられる場合を説明する図である。（Ａ）は、ユーザ３００の操作が液晶ディスプレイ２２３とユーザ３００との間で行われる場合の関係を示し、（Ｂ）は、ユーザ３００の操作がスマートフォン２００と画像形成装置１００との間で行われる場合の関係を示す。
なお、ユーザの動きに対応する操作は、物体と部位の組み合わせに応じて定まる。従って、物体が異なれば、部位が同じでも異なる操作を割り当てることが可能である。

図４８の例では、スマートフォン２００に対して手前側で行われる操作は画像形成装置１００の前面（手前側の面）１００Ｆに対応付けられるのに対し、スマートフォン２００に対して奥側で行われる操作は画像形成装置１００の背面（奥側の面）１００Ｒに対応付けられている。

この操作例の場合、ユーザは、画像形成装置１００の前面側を操作したいか背面側を操作したいかによって、身振りによる操作を行う空間をスマートフォン２００の手前側か奥側かを使い分ければよい。
例えばスマートフォン２００の手前側でユーザ３００が右手３０２を動かす場合には、画像形成装置１００の前面側と背面側の両方に操作子が配置されていても、前面側に配置されている操作子に対する操作としてユーザの操作が受け付けられる。
一方、スマートフォン２００の奥側でユーザ３００が右手３０２を動かす場合には、画像形成装置１００の前面側と背面側の両方に操作子が配置されていても、背面側に配置されている操作子に対する操作としてユーザの操作が受け付けられる。

なお、ユーザ３００の位置から画像形成装置１００の背面を見ることはできないが、事前に撮像された又は予め用意された背面側の画像に表示が切り替えられてもよい。もっとも、画像の切り替えは必須ではない。
背面側に配置される機能は、前面側に比べて少なく、その種類も限られることが多い。このため、背面側の画像が表示されない場合でも、操作が可能な機能の一覧を表示して、ユーザ３００の操作を対応付ける機能を選べるようにしてもよい。

＜操作例２＞
図４９は、操作がスマートフォン２００に対して手前側で行われる場合と奥側で行われる場合とで、動作モードが切り替えられる場合を説明する図である。（Ａ）は、ユーザ３００の操作が液晶ディスプレイ２２３とユーザ３００との間で行われる場合の関係を示し、（Ｂ）は、ユーザ３００の操作がスマートフォン２００と画像形成装置１００との間で行われる場合の関係を示す。
図４９の場合、ユーザ３００による操作の位置の違いによらず、操作の対象は共通である。すなわち、操作の位置の違いによらず、操作の対象は、ユーザインタフェース部１１０である。

ただし、この操作例の場合、操作がスマートフォン２００に対して手前側で行われる場合には一般ユーザモードとして操作が実行されるのに対し、操作がスマートフォン２００に対して奥側で行われる場合には管理者モードとしての操作が実行される。
なお、管理者モードとしての操作は、ユーザ３００が管理者として登録されていることを条件としてもよい。
また、管理者モードでの操作は、ユーザ３００が画像形成装置１００にログインできた場合に限定してもよい。

＜操作例３＞
図５０は、操作がスマートフォン２００に対して手前側で行われる場合と奥側で行われる場合とで操作の有効と無効が設定されている場合を説明する図である。（Ａ）は、ユーザ３００の操作が液晶ディスプレイ２２３とユーザ３００との間で行われる場合を示し、（Ｂ）は、ユーザ３００の操作がスマートフォン２００と画像形成装置１００との間で行われる場合を示す。
図５０の場合、スマートフォン２００に対して手前側で行われる操作は有効な操作として受け付けられるのに対し、スマートフォン２００に対して奥側で行われる操作は無効な操作として扱われる。
すなわち、操作がスマートフォン２００に対して手前側で行われる場合にはユーザインタフェース部１１０の操作が可能であるのに対し、操作がスマートフォン２００に対して奥側で行われる場合にはユーザインタフェース部１１０の操作が不能である。

この設定は、ユーザ３００が変更できることが望ましい。
図５１は、液晶ディスプレイ２２３に表示される設定用の画面２２３Ａの一例を示す図である。
図５１に示す画面２２３Ａは、身振りを検知する位置の設定用であり、スマートフォン２００の手前側で行われる身振りの検知機能がオン、奥側で行われる身振りの検知機能がオフの例を示している。
図５１の設定は、図５０に示す操作の例に対応している。
ところで、身振りを検知する位置の設定は、機能毎に定めることも可能である。

図５２は、身振りを検知する位置の設定を機能別に設定する画面２２３Ｂの一例を示す図である。
例えば機能Ａと機能Ｄに対する操作は、ユーザの操作がスマートフォン２００の手前側で行われる場合も奥側で行われる場合も有効である。
例えば機能Ｂと機能Ｆに対する操作は、ユーザの操作がスマートフォン２００の奥側で行われる場合に限り有効である。
例えば機能Ｃと機能Ｅに対する操作は、ユーザの操作がスマートフォン２００の手前側で行われる場合に限り有効である。

＜実施の形態１１＞
本実施の形態では、操作画面が空中画像として表示される場合について説明する。
図５３は、実施の形態１１に係る空中画像形成システム２０００の概略構成を説明する図である。空中画像形成システム２０００は、情報処理システムの一例である。
本実施の形態において、空中画像２０１０とは、物体からの反射光と同等の光の状態を再現するように空気中に形成される像をいう。
空中画像２０１０は、空気中に浮かぶように形成されるので、人は、空中画像２０１０を通り抜けることも可能である。

本実施の形態の場合、空中画像２０１０には、ユーザ３００が操作の対象とする物体（例えば画像形成装置１００のユーザインタフェース部１１０）の像が表示される。
図５３の場合、ユーザインタフェース部１１０の画像は、カメラ２０２０によって撮像され、空中画像形成装置２０３０に与えられている。
本実施の形態の場合、操作の対象の画像（例えば「ＡＡＡＡＡ／ＡＡＡＡＡ／ＡＡＡＡＡ／ＡＡＡＡＡ」。ここでの記号／は改行を示す。）が空中画像２０１０に表示されているが、その他の画像が表示されてもよい。
空中画像２０１０には、静止画像だけでなく、動画像が表示されることもある。

図５３では、矩形形状の外縁を有する空中画像２０１０の例を示しているが、空中画像２０１０の外縁を規定する形状は任意である。例えば物体（オブジェクト）の像が形成される空間を、空中画像２０１０が形成される空間の全てとしてもよい。例えば操作用のボタンの像、人の像、動物の像、製品の像、果物の像なども、ここでの空中画像２０１０の一例である。
図５３では、空中画像２０１０が平面形状であるが、曲面、球体、立方体などの立体的な形状でもよい。

空中画像２０１０は、単独で配置される場合もあるが、１つの空間内に複数を配置する場合もある。
図５３に示す空中画像形成システム２０００は、空気中に空中画像２０１０を形成する空中画像形成装置２０３０と、ユーザ３００の空中画像２０１０に対する操作を撮像の対象とするカメラ２０４０と、撮像されたユーザ３００の動きに基づいて空中画像形成装置２０３０と画像形成装置１００の動きを制御する制御装置２０５０と、を有している。
本実施の形態における空中画像形成装置２０３０は像形成手段の一例である。

制御装置２０５０は、ユーザ３００が空中画像２０１０に対して行った動きと動きが検知された位置とを組み合わせて操作の内容を特定する点で前述の実施の形態と共通する。
制御装置２０５０は、カメラ２０４０から入力される画像を認識する技術（画像認識）を使用して、操作の内容を特定する。
ここでの制御装置２０５０は、特定された内容に応じて画像形成装置１００を制御する情報処理装置の一例である。
ただし、本実施の形態における制御装置２０５０は、ユーザ３００と接した状態で使用されない点で他の実施の形態と相違するが、実行する操作の内容は他の実施の形態と共通する。

カメラ２０４０は、例えばユーザ３００の手や指先の動きを撮像できる位置に配置される。
図５３では、カメラ２０４０が１台の場合を表しているが、カメラ２０４０は複数台でもよい。複数台のカメラ２０４０は、取り付け位置や撮像の方向が異なっていてもよい。取り付け位置や撮像の方向が異なることで、死角が少なくなり、ユーザ３００の操作の検知や特定の制度を高めることが可能である。
図５３では、カメラ２０４０を用いているが、他の種類のセンサを使用してもよい。例えば空中画像２０１０と平行に形成される検知面を横切る物体を検知するセンサを用いてもよい。検知面は、例えば赤外線で形成する。

図５４は、空中画像２０１０を形成する携帯型のデバイス２０６０の一例を示す図である。
図５４の場合、ユーザ３００は、デバイス２０６０を左手３０１で保持している。デバイス２０６０には、空中画像形成装置２０３０、カメラ２０４０、制御装置２０５０が収容されている。なお、デバイス２０６０は、携帯型に限らず、筐体ごと移動が可能であってもよい。

図５５は、空中画像２０１０に対して手前の位置で右手３０２を動かし、物体（例えば画像形成装置１００）を操作する例を示す。（Ａ）はユーザ３００から見た空中画像２０１０と右手３０２の見え方を示し、（Ｂ）はユーザ３００と空中画像２０１０と右手３０２の間の位置の関係を示す。
図５６は、空中画像２０１０に対して奥側の位置で右手３０２を動かし、物体（例えば画像形成装置１００）を操作する例を示す。（Ａ）はユーザ３００から見た空中画像２０１０と右手３０２の見え方を示し、（Ｂ）はユーザ３００と空中画像２０１０と右手３０２の間の位置の関係を示す。
本実施の形態におけるデバイス２０６０は、右手３０２が空中画像２０１０に対して手前側に位置するか奥側に位置するかを検知し、検知された結果に応じて制御の内容を変更する。

以下では、空中画像形成装置２０３０の具体例を説明する。
図５７は、表示デバイス３００１から出力される光を専用の光学プレート３００２を透過させることで空中画像２０１０を形成する空中画像形成装置３０００Ａの原理図である。（Ａ）は各部材と空中画像２０１０との位置関係を示し、（Ｂ）は光学プレート３００２の断面構造の一部を示す。ここでの表示デバイス３００１と光学プレート３００２は、光学部品の一例である。

光学プレート３００２は、壁面を鏡として使用する短冊状のガラス３００２Ａを配列したプレートと、ガラス３００２Ａに対して直交する向きに短冊状のガラス３００２Ｂを配列したプレートを上下に重ねた構造を有する。
光学プレート３００２は、表示デバイス３００１から出力される光を短冊状のガラス３００２Ａ及び３００２Ｂで２回反射して空気中で結像させることで、表示デバイス３００１に表示されている画像を空気中に再現する。
なお、表示デバイス３００１と光学プレート３００２の距離と、光学プレート３００２と空中画像２０１０の距離は同じである。また、表示デバイス３００１に表示される画像の寸法と空中画像２０１０の寸法は同じである。

図５８は、空中画像２０１０として３次元像を形成する空中画像形成装置３０００Ｂの原理図である。空中画像形成装置３０００Ｂは、実際の物体３００３の表面で反射された光をリング型の光学プレート３００２を２回透過させることで３次元像（空中画像２０１０）を空気中に再現する。なお、光学プレート３００２を直列に配置する必要はない。
図５９は、２面コーナーリフレクタを構成する微小な四角い穴３００４Ａを平面内に等間隔に配列した構造のマイクロミラーアレイ３００４を用いて空中画像２０１０を形成する空中画像形成装置３０００Ｃの原理図である。（Ａ）は各部材と空中画像２０１０との位置関係を示し、（Ｂ）はマイクロミラーアレイ３００４の一部分を拡大した図である。１つの穴３００４Ａは、例えば１００μｍ角で形成される。ここでのマイクロミラーアレイ３００４は、光学部品の一例である。

図６０は、ビームスプリッタ３００６と再帰反射シート３００７を使用する空中画像形成装置３０００Ｄの原理図である。ここで、ビームスプリッタ３００６は、表示デバイス３００５の表示面に対して４５°の角度で配置されている。
再帰反射シート３００７は、ビームスプリッタ３００６による表示画像の反射方向に、表示デバイス３００５の表示面に対して９０°の角度に配置されている。表示デバイス３００５、ビームスプリッタ３００６、再帰反射シート３００７は、光学部品の一例である。
空中画像形成装置３０００Ｄの場合、表示デバイス３００５から出力される光は、ビームスプリッタ３００６によって再帰反射シート３００７の方向に反射され、次に再帰反射シート３００７で再帰反射され、ビームスプリッタ３００６を透過して空中で結像される。光が結像する位置に空中画像２０１０が形成される。

図６１は、空中画像２０１０をプラズマ発光体の集合として形成する空中画像形成装置３０００Ｅの原理図である。
空中画像形成装置３０００Ｅの場合、赤外パルスレーザ３００８がパルス状のレーザ光を出力し、ＸＹＺスキャナ３００９がパルス状のレーザ光を空気中で集光する。このとき、焦点近傍３０１０の気体が瞬間的にプラズマ化し、発光する。パルス周波数は、例えば１００Ｈｚ以下であり、パルス発光時間は、例えばナノ秒オーダである。ここでの赤外パルスレーザ３００８とＸＹＺスキャナ３００９は、光学部品の一例である。

＜他の実施形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

（１）例えば前述の実施の形態では、現実の空間に存在する物体の操作にスマートフォン２００（図１参照）やメガネ型の端末（図２７参照）を用いているが、撮像用のカメラと、表示部と、通信部を有していれば、ユーザの身振りを操作として受け付ける情報処理装置は、例えばタブレット端末でも、いわゆるデジタルカメラでも、ゲーム機器などの玩具でも、時計型のウェアラブル端末やカメラ内蔵型のコンタクトレンズでも構わない。カメラ内蔵型のコンタクトレンズは、ウェアラブル端末の一例であり、スマートコンタクトレンズとも呼ばれる。スマートコンタクトレンズは、角膜に接触させて使用するレンズに、例えばカメラ、アンテナ、電子部品（送受信回路、信号処理回路等）を配置した構成を有し、まばたきによる操作が可能である。例えばシャッター、ズーム、絞り、焦点を操作できる。

（２）前述の実施の形態では、スマートフォン２００で撮像する自身の体の一部の動きを操作として受け付ける処理をスマートフォン２００で実行しているが、スマートフォン２００は体の一部の動きを撮像する手段として使用し、その動きを操作として受け付ける処理は外部の装置（例えばサーバ）で実行してもよい。

（３）前述の実施の形態では、使用の場面に応じてユーザの体の一部を装飾する例として手袋を例示しているが、装飾として衣類の類を付加してもよい。また、画面上では爪にマニキュアが塗られていてもよい。また、足を用いて操作を行う場合には、使用の場面に応じた履物を装飾として付加してもよい。例えばビジネスシューズ、スポーツシューズ、サンダル、長靴などでもよい。

（４）前述の実施の形態の場合、図５７〜図６１で説明した仕組みで空中画像を生成しているが、空中画像を生成する手法はこれに限らない。例えばいわゆるホログラムの手法を用いて空中画像を生成してもよい。

１００…画像形成装置、２００…スマートフォン、２２５Ａ、２２５Ｂ、１０１４、１６２２、２０２０、２０４０…カメラ、２２９…空中触覚モジュール、３００…ユーザ、３０１…左手、３０２…右手、３１０…眼球、４００…電卓、５００…レバー、６００…片開き扉、７００…スイッチ、８００…照明器具、９００…表示装置、１０００、１３００…ネットワーク、１０１０…メガネ型の端末、１０１１…導光板、１０１２Ａ、１０１２Ｂ…可視光透過型回折格子、１０１３…表示部、１１００…金庫、１２００…ウェブカメラ、１４００…サーバ、１５００…植木、１６００…ロボット

Claims (30)

1. 操作の対象とする物体の像を表示する表示面とは非接触の状態で、当該表示面とユーザとの間で行われるユーザの動きを検知する検知手段と、
   検知されたユーザの動きに対応する操作の実行を前記物体に指示する制御手段と、
   を有する情報処理装置。
2. 前記物体の像は、撮像された画像に基づいて前記表示面に表示されている、請求項１に記載の情報処理装置。
3. 前記検知手段は、撮像された画像を処理してユーザの手又は指の動きを検知する、請求項１に記載の情報処理装置。
4. 前記検知手段は、測定された距離の情報を用いてユーザの手又は指の動きを検知する、請求項１に記載の情報処理装置。
5. 前記表示面には、ユーザの手又は指の像が、前記物体の像に重ねて表示される、請求項１に記載の情報処理装置。
6. ユーザの動きに対応する操作は、前記物体の個別の部位毎に用意されている、請求項１に記載の情報処理装置。
7. 前記制御手段は、ユーザによる前記物体の操作が許可されている場合に、当該物体に対して操作の実行を指示する、請求項１に記載の情報処理装置。
8. 検知されたユーザの動きに対応する操作が前記物体で実行できない場合、ユーザに報知する、請求項１に記載の情報処理装置。
9. 前記物体に対する正しい操作の方法を報知する、請求項８に記載の情報処理装置。
10. 前記制御手段は、前記物体に応じ、検知されたユーザの動きに対応する操作の内容を決定する、請求項１に記載の情報処理装置。
11. 前記制御手段は、前記物体との通信を通じて操作が可能な当該物体の機能を取得する、請求項１に記載の情報処理装置。
12. 前記制御手段は、ユーザの体の部位を示唆する表記を前記物体に重ねて表示する、請求項１に記載の情報処理装置。
13. 前記制御手段は、ユーザの動きを操作として受け付けたことをユーザに報知する、請求項１に記載の情報処理装置。
14. 前記報知は、ユーザが前記表示面に対して非接触に動かした体の部位に触覚を通じて報知する、請求項１３に記載の情報処理装置。
15. 前記制御手段は、操作として受け付けた体の部位を、受け付け前とは異なる態様で表示する、請求項１３に記載の情報処理装置。
16. 前記制御手段は、前記物体の操作に用いる装備をユーザの体に重ねて表示する、請求項１に記載の情報処理装置。
17. 前記制御手段は、前記物体が存在する環境に応じた装備をユーザの体に重ねて表示する、請求項１に記載の情報処理装置。
18. 前記制御手段は、ユーザの動きに対応する操作が前記物体に対する物理的な操作を必要とする場合、可動部を有する別の機器に対して操作の実行を指示する、請求項１に記載の情報処理装置。
19. 前記表示面に表示されている前記物体の像は、操作の対象とする当該物体の画像を更に撮像した画像である、請求項１に記載の情報処理装置。
20. 前記表示面は空気中に形成される、請求項１に記載の情報処理装置。
21. 前記表示面は、拡張現実又は複合現実として表示される、請求項１に記載の情報処理装置。
22. 操作の対象とする物体とは非接触の状態のまま実行されるユーザの動きを検知する検知手段と、
    ユーザの動きが、前記物体の像を表示する表示面とユーザとの間で検知されたか、当該物体を撮像する当該表示面と当該物体との間で検知されたかに応じて、当該物体に指示する操作の内容を切り替える制御手段と、
    を有する情報処理装置。
23. 前記表示面とユーザとの間で検知されたユーザの動きと当該表示面と前記物体との間で検知されたユーザの動きとが、当該物体の異なる部位に対応付けられている、請求項２２に記載の情報処理装置。
24. 前記表示面とユーザとの間で検知されたユーザの動きは、前記物体のうちユーザから見て手前側の面に対応付けられており、
    前記表示面と前記物体との間で検知されたユーザの動きは、当該物体のうちユーザから見て奥側の面に対応付けられている、請求項２３に記載の情報処理装置。
25. 前記表示面とユーザとの間で検知されたユーザの動きと当該表示面と前記物体との間で検知されたユーザの動きとが、当該物体の同じ部位に対応付けられている、請求項２２に記載の情報処理装置。
26. 前記制御手段は、前記表示面とユーザとの間で検知されたユーザの動きに限り、又は、当該表示面と前記物体との間で検知されたユーザの動きに限り、有効な動きとして当該物体に指示する、請求項２２に記載の情報処理装置。
27. 前記有効な動きとして扱われる検知の位置は機能毎に設定される、請求項２６に記載の情報処理装置。
28. 前記有効な動きとして扱われる検知の位置はユーザにより指定される、請求項２６に記載の情報処理装置。
29. コンピュータを、
    操作の対象とする物体の像を表示する表示面とは非接触の状態で、当該表示面とユーザとの間で行われるユーザの動きを検知する検知手段と、
    検知されたユーザの動きに対応する操作の実行を前記物体に指示する制御手段、
    として機能させるプログラム。
30. コンピュータを、
    操作の対象とする物体とは非接触の状態のまま実行されるユーザの動きを検知する検知手段と、
    ユーザの動きが、前記物体の像を表示する表示面とユーザとの間で検知されたか、当該物体を撮像する当該表示面と当該物体との間で検知されたかに応じて、当該物体に指示する操作の内容を切り替える制御手段、
    として機能させるプログラム。