JP2006146803A - 操作装置及び遠隔操作システム - Google Patents

Abstract

【課題】 使用者が操作対象機器を直感的に操作することができる操作装置及び遠隔操作システムを提供する。
【解決手段】 使用者に装着されて使用者の視界内の領域を撮像する撮像装置３と、使用者の視界方向前方に画像を虚像として重畳表示する表示装置４と、機器と通信を行う通信装置２１と、機器の識別情報を含む情報を記憶する記憶装置２２と、表示装置４及び通信装置２１の動作を制御する情報処理装置２３と、使用者の動作指令を情報処理装置２３に入力するための入力部２４とを設ける。情報処理装置２３を、撮像装置３によって得られた画像情報と記憶装置２２に記憶された識別情報とに基づいて、使用者の視界上に位置する機器を識別して操作対象機器Ｄとして認識し、通信装置２１に、入力部２４から入力された動作指令を操作対象機器Ｄに送出させ、表示装置４に操作対象機器Ｄの動作状況を表示させる構成とする。
【選択図】 図２

Description

この発明は、機器を遠隔操作するための操作装置及び遠隔操作システムに関するものである。

従来、機器の遠隔操作には、機器への動作指令を入力するための入力手段を有する操作装置が用いられている。
入力手段としては、例えば後記の特許文献１に記載の装着型計算機に用いられるものがある。この入力手段は、透過型ディスプレイ装置を被った利用者が眼前に手を開いて提示することで入力画面を呼び出し、もう一方の手で指さしすることで、あるいは開いた手の指を折ることでメニューを選択、あるいはもう一方の手で掌に記述することで入力可能とされている。
特開２００１−３１２３５６号公報

しかし、例えば、無線通信による機器の遠隔操作の場合には、操作対象機器への動作指令を行うにあたって、まず操作対象機器を特定する作業が必要となる。
このように複数ステップの処理が必要な場合には、特許文献１に記載の入力手段では、操作手順が複雑となり、直感的な操作は困難であった。

この発明は上述した事情に鑑みてなされたものであって、使用者が操作対象機器をより直感的に操作することが可能な操作装置及び遠隔操作システムを提供することを目的としている。

上記目的を達成するために、本発明は、以下の手段を提供する。
本発明は、機器を遠隔操作するための操作装置であって、使用者の視界内の領域を撮像する撮像装置と、前記使用者の視界方向前方に画像を虚像として重畳表示する表示装置と、前記機器と通信を行う通信装置と、前記機器の識別情報を含む情報を記憶する記憶装置と、前記表示装置及び前記通信装置を制御する情報処理装置と、前記使用者の動作指令を前記情報処理装置に入力するための入力部とを有しており、前記情報処理装置が、前記撮像装置によって得られた前記機器の画像情報と前記記憶装置に記憶された前記識別情報とに基づいて、前記使用者の視界上に位置する前記機器を識別して操作対象機器として認識し、前記通信装置に、前記入力部から入力された動作指令を前記操作対象機器に送出させる操作装置を提供する。

このように構成される操作装置では、機器が使用者の視界内に入ると、情報処理装置が、撮像装置の撮像した機器画像情報と記憶装置に記憶された識別情報とに基づいて使用者の視界内に入っている機器を識別して操作対象機器として認識し、使用者が入力部によって入力した動作指令を、通信装置によって操作対象機器に送出する。
すなわち、この操作装置では、使用者が機器を視界内に位置させるだけで、操作対象機器が特定されて、この操作対象機器を遠隔操作することが可能となる。
ここで、記憶装置が記憶する識別情報としては、例えば、機器の外見上の特徴（大きさ、形状、色や模様等）を抽出した情報や、機器の表面に設けられた識別子（バーコード等、パターンによって情報を表示するものや、機器の製造メーカの標章等）の情報が用いられる。
なお、通信装置は有線通信装置と無線通信装置とのどちらであってもよいが、通信装置として無線通信装置を用いることで、使用者の自由度が向上する。

上記操作装置において、前記撮像装置、前記表示装置、及び前記情報処理装置とが前記入力部を構成しており、前記情報処理装置が、前記撮像装置の撮像範囲中に、前記操作対象機器の動作指令に対応する指示ポイントを設定し、前記表示装置によって前記指示ポイントを示す画像を表示させ、前記撮像装置によって撮像された画像情報から、前記使用者の身体部分または前記使用者が保持する指示具の位置情報を検出して、前記身体部分または前記指示具の指示する前記指示ポイントに対応する動作指令が入力されたと認識するようにしてもよい。

このように構成される操作装置では、表示装置によって、使用者の視界上に、指示ポイントを示す標識画像が重畳表示される。このため、使用者は、身体部分または指示具によって標識画像を指示することにより、その標識画像が重畳表示されている指示ポイントを指示することになる。
このように使用者が指示ポイントを指示すると、情報処理装置が、撮像装置によって撮像された画像情報から、使用者が指示する指示ポイントを特定し、この指示ポイントに対応する動作指令を通信装置によって操作対象機器に送出させる。
これにより、使用者は、操作対象機器から視線を外さずに、操作対象機器に対する動作指令を正確に入力することができる。

また、本発明は、機器を遠隔操作するための操作装置であって、使用者の視界内の領域を撮像する撮像装置と、前記使用者の視界方向前方に画像を虚像として重畳表示する表示装置と、前記機器と通信を行って該機器の識別情報を入手する通信装置と、前記表示装置及び前記通信装置を制御する情報処理装置とを有しており、前記情報処理装置が、前記撮像装置の撮像範囲中に、前記操作対象機器の動作指令に対応する指示ポイントを設定し、前記表示装置によって前記指示ポイントを示す標識画像を表示させ、前記撮像装置によって撮像された画像情報から、前記使用者の身体部分または前記使用者が保持する指示具の位置情報を検出して、前記身体部分または前記指示具の指示する前記指示ポイントに対応する動作指令が入力されたと認識し、前記通信装置によって得られた前記機器の識別情報に基づいて、前記使用者の視界上に位置する前記機器を識別して操作対象機器として認識し、前記通信装置に、前記動作指令を前記操作対象機器に送出させる操作装置を提供する。

このように構成される操作装置では、情報処理装置が、通信装置によって入手した機器の情報と記憶装置に記憶された識別情報とに基づいて機器の識別を行って操作対象機器として認識し、使用者が入力した動作指令を、通信装置によって操作対象機器に送出する。
すなわち、この操作装置では、操作対象機器を自動的に特定して、この操作対象機器を遠隔操作することが可能となる。

また、この操作装置では、表示装置によって、使用者の視界上に、指示ポイントを示す標識画像が重畳表示される。このため、使用者は、身体部分または指示具によって標識画像を指示することにより、その標識画像が重畳表示されている指示ポイントを指示することになる。
このように使用者が指示ポイントを指示すると、情報処理装置が、撮像装置によって撮像された画像情報から、使用者が指示する指示ポイントを特定し、この指示ポイントに対応する動作指令を通信装置によって操作対象機器に送出させる。
これにより、使用者は、操作対象機器から視線を外さずに、操作対象機器に対する動作指令を正確に入力することができる。
なお、通信装置は有線通信装置と無線通信装置とのどちらであってもよいが、通信装置として無線通信装置を用いることで、使用者の自由度が向上する。

本発明は、機器を遠隔操作するための操作装置であって、使用者の視界内の領域を撮像する撮像装置と、前記使用者の視界方向前方に画像を虚像として重畳表示する表示装置と、前記機器と通信を行う第一通信装置と、外部に配置され、前記機器の識別情報を記憶していて、該識別情報と画像情報とに基づいて操作対象機器を特定する外部機器に対し、画像情報を送信して機器特定情報を受信する第二通信装置と、前記表示装置、第一通信装置及び第二通信装置を制御する情報処理装置と、前記機器への動作指令を入力するための入力部とを備え、前記情報処理装置が、第二通信装置によって、前記撮像装置により取得された画像情報を前記外部機器に送信して該外部機器から機器特定情報を受信し、受信した機器特定情報により特定された操作対象機器に対して、前記入力部から入力された動作指令を前記第一通信装置によって送出させる操作装置を提供する。

このように構成される操作装置では、撮像装置が取得した画像情報が第二通信装置を介して外部機器に送信されることで、外部機器から第二通信装置を介して機器特定情報が得られる。
操作装置は、このように操作対象機器が特定されたのちは、入力部から入力された動作指令を、第一通信装置を介して操作対象機器に送出して、操作対象機器の遠隔操作を行う。
すなわち、この操作装置では、使用者が機器を視界内に位置させるだけで、操作対象機器が特定されて、この操作対象機器を遠隔操作することが可能となる。
この操作装置は、外部機器と通信することによって機器特定情報を得ているので、その分、操作装置自体を小型、軽量とすることができる。これにより、使用者の負担が少なくて済み、使用者の自由度が向上する。
なお、通信装置は有線通信装置と無線通信装置とのどちらであってもよいが、通信装置として無線通信装置を用いることで、使用者の自由度が向上する。

本発明は、上記した、外部機器と通信を行うことで操作対象機器の特定を行う操作装置と、該操作装置の外部に配置された外部機器とを備え、該外部機器が、前記機器の識別情報を記憶する記憶装置と、前記操作装置と通信を行う第三通信装置と、前記操作装置から送られてくる画像情報と前記記憶装置に記憶されている識別情報とに基づいて操作対象機器を特定する機器特定装置とを備え、該機器特定装置により特定された機器に関する機器特定情報を、前記第三通信装置を介して前記操作装置に送信する遠隔操作システムを提供する。

このように構成される遠隔操作システムでは、操作装置に設けられた撮像装置が取得した画像情報が、第二通信装置を介して外部機器に送信される。
この画像情報と外部機器内の記憶装置に記憶された識別情報とに基づいて、外部機器に設けられた機器特定装置による操作対象機器の特定が行われ、この機器特定情報が、第三通信装置を介して操作装置に送信される。
操作装置は、このように操作対象機器が特定されたのちは、入力部から入力された動作指令を、第一通信装置を介して操作対象機器に送出して、操作対象機器の遠隔操作を行う。
すなわち、この遠隔操作システムでは、使用者が機器を視界内に位置させるだけで、操作対象機器が特定されて、この操作対象機器を遠隔操作することが可能となる。

この操作装置は、外部機器と通信することによって機器特定情報を得ているので、その分、操作装置自体を小型、軽量とすることができる。これにより、使用者の負担が少なくて済み、使用者の自由度が向上する。
また、この操作装置では、情報処理装置が、表示装置に操作対象機器の動作状況を表示させるので、使用者は操作対象機器の動作状況を把握しながら操作対象機器の遠隔操作を行うことができる。
ここで、外部機器としては、情報記憶装置と情報処理装置とを備えたサーバコンピュータ等を用いることができる。

本発明に係る操作装置及び遠隔操作システムによれば、操作対象機器を自動的に特定してこの操作対象機器を遠隔操作することが可能となるので、より直感的な操作を行うことが可能となる。
また、本発明に係る操作装置では、表示装置によって操作対象機器の動作状況が表示されるので、使用者は操作対象機器の動作状況を把握しながら操作対象機器の遠隔操作を行うことができ、より直感的な操作を行うことが可能となる。

以下、本発明に係る操作装置及び遠隔操作システムについて、図面を用いて説明する。
［第一実施形態］
本発明の第一実施形態に係る操作装置について、図１から図９を参照して説明する。
図１に示すように、本実施形態に係る操作装置１は、この操作装置１の構成部品（例えば電子回路等）が内蔵される筐体２と、この筐体２上に設けられた撮像装置３と、画像情報を使用者の実視界上に重畳させる表示装置４とを有している。

筐体２は、略長方形平板形状をなしており、その一端側には、筐体２を厚み方向に貫く開口部２ａが設けられている。以下、筐体２の周面のうち、開口部２ａの一方の開口端が形成される周面を正面２ｂとし、他方を背面２ｃとし、残りの周面（厚み方向に略平行な周面）を側面２ｄとする。

筐体２の他端側は、操作装置１の持ち手を構成している。ここで、この操作装置１は、使用者が一端側を視線方向前方に位置するようにして他端側を片手で保持しつつ、正面２ｂの他端側を自身の側頭部等に当接させることで、操作装置１を自身の頭部に対して位置決めして、安定した保持を実現することができる。

撮像装置３は、例えば筐体２の一端側に設けられていて、筐体２の一端が向けられた方向の風景（すなわち筐体２を保持する使用者の視線方向の風景）を撮像するものである。撮像装置３としては、ＣＣＤ素子やＣＭＯＳ素子等の撮像素子を用いたデジタル式撮像装置が用いられる。

表示装置４は、筐体２の一端側に設けられるものであって、筐体２の背面２ｃ側に設けられる画像表示装置６と、筐体２の正面２ｂ側に設けられて開口部２ａを通じて画像表示部６から入射した光を他端側に向けて反射するとともに使用者の視線方向の実視野からの光を透過する半透過型光学素子７とを有している。
表示装置４は、筐体２の他端側を側頭部等に当接させている使用者からみて、その視線方向（筐体２の一端が向けられた方向）の半透過型光学素子７よりも遠方に、画像情報の虚像を表示させるものである。

ここで、画像表示部６の表示する画像情報のデータは、後述する記憶装置内に格納されている。画像表示部６が表示する画像情報は、予め設定された条件に基づいて自動的に選択されるようになっている。具体的には、表示装置４は、後述する情報処理装置によって操作対象機器が認識された場合には、この操作対象機器に対応する画像を虚像として表示する構成とされている。

画像表示部６は、例えば液晶表示パネルや有機ＥＬ表示パネル等のいわゆる薄型ディスプレイによって構成されており、筐体２に対して支持部材１１を介して取り付けられている。本実施形態では、画像表示部６は、略長方形平板形状をなしており、その片面側が画像情報の表示される表示面６ａとされている。また、表示面６ａは、図１において長辺が紙面に略平行となる向きの略長方形状とされている。

画像表示部６は、筐体２にヒンジ１１を介して取り付けられていて、ヒンジ１１の揺動軸線回りに揺動させることで、筐体２に対する画像表示部６の向きを変更することができるようになっている。
本実施形態では、画像表示部６は、その一短辺を、筐体２の開口部２ａの縁部のうち、他端側の縁部に対してヒンジ１１を介して接続されており、筐体２の背面２ｃに略直交しかつ筐体２の長手方向に略平行となる面上で、ヒンジ１１の揺動軸線回りに揺動可能とされている。

そして、表示装置４の使用時には、画像表示部６を変位させて、その表示面６ａを筐体２の正面２ｂ側の一端寄りに向けて（言い換えれば筐体２の一端側の正面２ｂ寄りに向けて）、画像表示部６を半透過型光学素子７に対して略平行にすることで、画像表示部６の発する光が開口部２ａを通じて半透過型光学素子７の反射面７ａに入力される。また、表示装置４を使用しない場合には、画像表示部６を変位させて、筐体２の開口部２ａ内に収納することで、操作装置１の外形寸法を小さくすることができる。

半透過型光学素子７は、凹曲面状の反射面７ａを有する部材であって、開口部２ａを通じて画像表示部６からの光を、反射面７ａによって筐体２の他端側に向けて反射させることによって、他端部を頭側部に当接させた状態の使用者からみて半透過型光学素子７よりも遠方に、画像情報の虚像を表示するものである。
半透過型光学素子７において、反射面７ａが形成される領域は、使用者の実視界からの光を透過させる構成とされており、使用者は、半透過型光学素子７を通じて視線方向遠方の景色も視認することができるようになっている。すなわち、表示装置４は、使用者の実視界上に虚像を重畳する。

本実施形態では、半透過型光学素子７は、アクリルやポリカーボネート等の透明な材質からなる略長方形板状の部材であって、その片面側に金属膜等の反射層が形成されていて、ハーフミラーとして機能する。この反射層の表面が、画像表示部６から入射した光線を表面で反射させる反射面７ａとされている。

また、半透過型光学素子７は、一方の短辺がヒンジ１６を介して筐体２の一端近傍に接続されており、ヒンジ１６の揺動軸線回りに揺動することができるようになっている。
そして、表示装置４の使用時には、図１に示すように、反射面７ａが使用者に向くように筐体２の正面２ｂに対して開くことで、画像表示部６から発せられた光が使用者に向けて反射される。
また、表示装置４を使用しない場合には、半透過型光学素子７を、図１に二点差線で示すように筐体２の正面２ｂに沿うように折り畳むことで、操作装置１の外形寸法を小さくすることができる。

また、反射面７ａは、長手方向（図１において紙面に略平行な方向）及び短手方向（図１において紙面に略垂直な方向）にそれぞれ曲率を有する凹曲面状に形成されており、表示装置４においては、画像表示部６が発する光線を使用者に向けて反射し、虚像の観察を可能にする凹面鏡として機能する。
さらに、反射面７ａは、長手方向においてヒンジ１６との接続端から離間するにつれて次第に曲率が増大させられており、これによって反射面７ａの長手方向の各部における画像表示部６の表示面６ａまでの距離の差によって生じる収差が解消されて、歪みのない画像情報の虚像が形成されるようになっている。

また、半透過型光学素子７は、反射面７ａが形成される領域の肉厚が均一とされている。これによって、視線方向遠方から使用者に向けて半透過型光学素子７に入射した光線は、半透過型光学素子７によって屈折させられることなく、使用者の瞳に入射することとなり、使用者が視線方向遠方の景色を歪みなく良好に視認することができる。

また、図２のブロック図に示すように、操作装置１は、上記構成部材以外に、操作対象機器Ｄとの通信を行う通信装置２１と、機器の識別情報を含む情報を記憶する記憶装置２２と、表示装置４及び通信装置２１の動作を制御する情報処理装置２３と、使用者の動作指令を情報処理装置に入力するための入力部２４とを有している。本実施形態では、通信装置２１、記憶装置２２及び情報処理装置２３は、筐体２内に設置されている。

通信装置２１は、例えば無線の光通信装置や無線通信装置によって構成されるものである。なお、通信装置２１の使用する光の波長や無線電波の周波数は、操作装置１の使用環境に応じて適宜選択されるものであって、例えば同一室内にある機器の操作を行う場合等、操作対象機器Ｄと操作装置１との距離が短い場合には、通信装置２１として、赤外光を利用した光通信装置や、免許不要帯域の無線電波を利用した無線通信装置等、近距離通信用の通信装置が用いられる。また、通信装置２１は、双方向通信機としてもよいが、操作対象機器Ｄに対してする動作指令の送出のみ行う一方向通信機としてもよい。

記憶装置２２は、磁気記録媒体（磁気記録テープや磁気記録ディスク）や光ディスク、不揮発メモリ等を記録媒体とするものであって、機器の識別情報として、例えば、機器の外見上の特徴（大きさ、形状、色や模様等）を抽出した情報や、機器の表面に設けられた識別子（バーコード等、パターンによって情報を表示するものや、機器の製造メーカの標章等）の情報を記憶している。

情報処理装置２３は、ＣＰＵ（中央演算装置）によって構成されている。
また、本実施形態では、情報処理装置２３は、撮像装置３及び表示装置４とともに入力部２４を構成している。
具体的には、情報処理装置２３は、撮像装置３の撮像範囲中に、操作対象機器Ｄの動作指令に対応する指示ポイントを設定する。
また、情報処理装置２３は、表示装置４に、使用者の視界上で指示ポイントに重畳される領域に指示ポイントを示す標識画像Ｐを表示させる（図３（ａ），（ｂ）参照）。この標識画像Ｐとしては、重畳表示される指示ポイントに対応する動作指令を示す画像（例えば操作ボタンやシンボル等）が用いられる。

さらに、情報処理装置２３は、撮像装置３によって撮像された画像情報から、使用者の身体部分または使用者が保持する指示具の位置情報を検出して、身体部分または指示具の指示する指示ポイントに対応する動作指令が入力されたと認識する。
以下、入力部２４の具体的な動作について説明する。
図３に、使用者から見た表示装置４の表示画像の例を示す。図３（ａ）は、操作対象機器Ｄが空気調和装置ＡＣである場合を示しており、図３（ｂ）は、操作対象機器Ｄが、テレビジョン受像機ＴＶである場合を示している。本実施形態では、図３（ａ），（ｂ）に示すように、情報処理装置２３が、表示装置４に、指示ポイントを備える仮想コントローラＣを表示させるようになっている。

情報処理装置２３は、撮像装置３によって得た画像情報に基づいて、使用者の身体部分（例えば指先）や、使用者に保持される指示部材を認識し、その先端の位置を検出する。
例えば、使用者の身体部分を認識する場合には、撮像装置３によって得た画像情報において肌色の領域（すなわち使用者の身体部分が写っている領域）を検出し、この肌色の領域において突出している部分の先端（すなわち使用者の指先と思われる部分）の位置を検出する。
一方、指示部材を認識する場合には、撮像装置３によって得た画像情報からパターンマッチング処理によって指示部材の先端を認識してその位置を検出するか、もしくは指示部材と同じ色の領域において突出している部分の先端（すなわち指示部材の先端と思われる部分）の位置を検出する。

情報処理装置２３としては、該情報処理装置２３が、上記撮像装置３によって撮像された画像情報から、使用者の身体部分または使用者が保持する指示具の位置情報を検出して、動作指令が入力されたと認識するものに限られず、例えば、前記操作装置１が、図示しない選択及び決定機能を有する操作キーなどの入力手段を更に備え、情報処理装置２３、撮像装置３、表示装置４及び、前記図示しない操作キーにより入力部２４を構成することも可能である。
具体的には、情報処理装置２３は、表示装置４に、使用者の視界上で標識画像Ｐを表示させる。
この標識画像Ｐとしては、例えば、図３（ａ），（ｂ）と同様の操作ボタンやシンボル等が用いられる。

更に、情報処理装置２３は、前記図示しない操作キーによる使用者の選択入力操作に対応した選択入力信号を検出して、表示装置４に表示された操作ボタンの中から選択された所定の操作ボタンを視覚的に識別可能に表示させる。表示方法としては、特に制限はなく、例えば、選択された操作ボタンの色を他の非選択の操作ボタンに対して変化させて表示させるなどの方法が挙げられる。次に、情報処理装置２３は、使用者が、前記図示しない操作キーによって、識別可能に表示された操作ボタンを決定する決定入力操作を行った場合に、該決定入力操作に対応した決定入力信号を検出して、表示装置４に表示された操作ボタンの中から所定の操作ボタンに対応する動作指令が使用者により入力されたと認識する。

すなわち、この操作装置１では、使用者が身体部分（例えば指先など）や指示具によって標識画像Ｐを指示することで、身体部分または指示具によって指示ポイントを指示して、操作装置１に動作指令を入力することができる。
これにより、使用者は、操作対象機器から視線を外さずに、操作対象機器Ｄに対する動作指令を正確に入力することができる。
ここで、情報処理装置２３の設定する指示ポイントの位置（すなわち情報処理装置２３が表示装置４に表示させる標識画像Ｐの位置も含む）は、操作対象機器Ｄごとに設定される。

この操作装置１を用いて機器を操作する際の情報処理装置２３の動作について、図４のフローチャートを用いて説明する。
情報処理装置２３は、撮像装置３によって得られた画像情報を読み込み（ステップＳ１）、記憶装置２２に記憶された識別情報を読み出す（ステップＳ２）。
情報処理装置２３は、この画像情報と識別情報とに基づいて、撮像装置３の撮像範囲内に位置する機器（すなわち使用者の視界上に位置する機器）を識別し（ステップＳ３）、操作対象機器Ｄとして認識する（ステップＳ４）。

情報処理装置２３は、通信装置に、入力部２４から入力された動作指令を操作対象機器Ｄに送出させる（ステップＳ５）。
さらに、情報処理装置２３は、表示装置４に操作対象機器Ｄの動作状況を表示させる（ステップＳ６）。ここで、表示装置４に表示される操作対象機器Ｄの動作状況は、入力部２４から入力された動作指令に基づいて予測される動作状況であってもよく、また、通信装置２１を通じて得られた実際の操作対象機器Ｄの動作状況であってもよい。

以降は、操作対象機器Ｄが変更されない場合には、ステップＳ５以降の処理が繰り返され、操作対象機器Ｄが変更された場合（操作対象機器Ｄが使用者の視界から外れた場合）には、ステップＳ１から改めて処理が開始される（ステップＳ７）。

このように構成される操作装置１によれば、使用者が機器を視界内に位置させるだけで、この機器が操作対象機器Ｄとして特定されて、この操作対象機器Ｄを遠隔操作することが可能となるので、より直感的な操作を行うことが可能となる。
また、この操作装置１では、表示装置４によって操作対象機器Ｄの動作状況が表示されるので、使用者は操作対象機器Ｄの動作状況を把握しながら操作対象機器Ｄの遠隔操作を行うことができ、より直感的な操作を行うことが可能となる。

以下に、表示装置４が表示する仮想コントローラＣの例を示す。
図５に示す例は、操作対象機器Ｄが空気調和装置ＡＣである場合の仮想コントローラＣである。この仮想コントローラＣには、標識画像Ｐとして、複数の操作ボタンが配置されている。また、この例では、仮想コントローラＣには、操作ボタンとともに、空気調和装置ＡＣの動作情報（設定温度）と、空気調和装置ＡＣや操作装置１、空気調和装置ＡＣの室外機等に設けられたセンサの測定情報（室温や外気温）が表示されるようになっている。

図６に示す例は、操作対象機器Ｄがテレビジョン受像機ＴＶである場合の仮想コントローラＣである。この仮想コントローラＣには、標識画像Ｐとして、複数の操作ボタンが、実際のテレビジョン受像機ＴＶのコントローラと同様の配置で設けられたものである。

図７に示す例は、操作対象機器Ｄがビデオテープレコーダ等の画像記録装置である場合の、テレビジョン放送の録画予約操作に用いられる仮想コントローラＣである。この仮想コントローラＣは、番組表の体裁をなしており、この番組表において、番組情報が記載された各欄ＣＬが、それぞれ標識画像Ｐとされている。これら標識画像Ｐに対応する指示ポイントは、それぞれの欄ＣＬに記載された番組の録画予約指令に対応している。

図８に示す例は、操作対象機器Ｄがビデオデッキ等の画像再生装置またはオーディオプレーヤ等である場合の仮想コントローラＣである。この仮想コントローラＣには、標識画像Ｐとして、操作ボタンとともに、再生対象を選択するメニュー（選択肢）も表示されるようになっている。各操作ボタンに対応する指示ポイントは、それぞれ操作ボタンの機能と同じ動作指令に対応しており、各メニューに対応する指示ポイントは、それぞれ各メニューを選択する動作指令に対応している。

図９に示す例は、操作対象機器Ｄが明るさの調整が可能な照明装置である場合の仮想コントローラＣである。この仮想コントローラＣには、明るさ調整用のスライドボリュームＶが設けられている。
このスライドボリュームＶは、スライダＴ（ツマミ）のスライド方向に沿って複数の区画に分割されており（但しこれらの区画の境界は表示されない）、各区画がそれぞれ標識画像Ｐとされている。
制御装置２３は、これら標識画像Ｐが重畳される指示ポイントにそれぞれ照明装置の明るさの設定値を設定しており、使用者が指示した指示ポイントの設定値に合わせて照明装置の明るさを調整する。
これら指示ポイントの設定値は、対応する標識画像ＰのスライドボリュームＶにおける位置を反映した値とされている。具体的には、対応する標識画像ＰがスライドボリュームＶのＭＩＮと表示された側に位置している指示ポイントほど設定値が小さくなり、対応する標識画像ＰがスライドボリュームＶのＭＡＸと表示された側に位置している指示ポイントほど設定値が大きくなっている。

また、この例では、情報処理装置２３は、スライダＴを、スライドボリュームＶ上の使用者が指示した位置に移動させる構成とされており、これによって使用者が現在の明るさの設定状態を視認することができるようになっている。

この例では、使用者が、図９においてスライダＴよりもＭＩＮと表示される側の領域を指示した場合には、情報処理装置２３は、照明装置の明るさを低減させ、使用者がスライダＴよりもＭＡＸと表示される側の領域を指示した場合には、情報処理装置２３は、照明装置の明るさを増加させる。

［第二実施形態］
以下、本発明の第二実施形態について、図１０を用いて説明する。
本実施形態では、本発明が適用される遠隔操作システムについて説明する。
この遠隔操作システムは、図１０のブロック図に示すように、使用者に装着されて機器を遠隔操作するための操作装置３１と、この操作装置３１の外部に設置される外部機器３２とを有している。

操作装置３１は、第一実施形態に示した操作装置１において、記憶装置２２をなくし、通信装置２１として、操作対象機器Ｄと通信を行う第一通信装置２１ａと、外部機器３２と通信を行う第二通信装置２１ｂとを設けたものである。なお、第一通信装置２１ａ、第二通信装置２１ｂとして、それぞれ独立した通信装置を用いてもよく、また、一つの通信装置がこれら第一通信装置２１ａと第二通信装置２１ｂとを兼ねていてもよい。

外部機器３２は、機器の識別情報を記憶する記憶装置２２と、操作装置３１の第二通信装置２１ｂと通信を行う第三通信装置３３と、操作装置１３から送られてくる画像情報と記憶装置２２に記憶されている識別情報とに基づいて操作対象機器Ｄを特定する機器特定装置３４とを備えている。ここで、機器特定装置３４は、ＣＰＵ（中央演算装置）によって構成されている。

このように構成される遠隔操作システムでは、操作装置３１に設けられた撮像装置３が取得した画像情報が、第二通信装置２１ｂを介して外部機器３２に送信される。
この画像情報と外部機器３２内の記憶装置２２に記憶された識別情報とに基づいて、外部機器３２に設けられた機器特定装置３４による操作対象機器Ｄの特定が行われ、この機器特定情報が、第三通信装置３３及び第二通信装置２１ｂを介して操作装置３１の情報処理装置２３に送信される。

情報処理装置２３は、このように操作対象機器Ｄが特定されたのちは、入力部２４から入力された動作指令を、第一通信装置２１ａを介して操作対象機器Ｄに送出して、操作対象機器Ｄの遠隔操作を行う。
すなわち、この遠隔操作システムにおいても、使用者が機器を視界内に位置させるだけで、操作対象機器Ｄが特定されて、この操作対象機器Ｄを遠隔操作することが可能となる。

さらに、この遠隔操作システムでは、操作装置３１が、外部機器３２と通信することによって機器特定情報を得ているので、その分、操作装置３１自体を小型、軽量とすることができる。これにより、使用者の負担が少なくて済み、使用者の自由度が向上する。
また、この遠隔操作システムでは、操作装置３１の情報処理装置２３が、表示装置４に操作対象機器Ｄの動作状況を表示させるので、使用者は操作対象機器Ｄの動作状況を把握しながら操作対象機器Ｄの遠隔操作を行うことができる。

［第三実施形態］
以下、本発明の第三実施形態について、図１１を用いて説明する。
本実施形態では、本発明が適用される遠隔操作システムについて説明する。
この遠隔操作システムは、図１１のブロック図に示すように、使用者に装着されて機器を遠隔操作するための操作装置４１を有している。この操作装置４１は、第一実施形態に示した操作装置１において、記憶装置２２をなくしたものである。
また、この遠隔操作システムでは、操作装置４１によって操作される機器として、自身の識別情報を記憶する記憶装置４２と、操作装置４１と通信を行う第四通信装置４３とを有する機器が用いられる。

このように構成される遠隔操作システムでは、操作装置４１の情報処理装置２３が、通信装置２１によって機器の記憶装置４２から入手した機器の識別情報に基づいて機器の識別を行って操作対象機器Ｄとして認識し、使用者が入力した動作指令を、通信装置２１によって操作対象機器Ｄに送出する。
すなわち、この遠隔操作システムでは、操作対象機器Ｄを自動的に特定して、この操作対象機器Ｄを遠隔操作することが可能となる。

ここで、上記各実施の形態では、操作対象機器への動作指令を入力するための入力部が、操作パネルを表示する表示装置の表示する虚像によって構成された例を示したが、これに限られることなく、筐体２の例えば側面２ｄに操作ボタン等からなる入力部を設置して、使用者が操作装置１を保持している手で操作ボタンを操作することで動作指令を入力することができるようにしてもよい。
また、上記各実施の形態では、各通信装置が無線通信装置である例を示したが、これらのうちいずれかもしくは全てが有線通信装置であってもよい。

本発明の第一実施形態に係る操作装置の構成を示す図である。 本発明の第一実施形態に係る操作装置の構成とその制御の流れを示すブロック図である。 本発明の第一実施形態に係る操作装置において、使用者から見た表示装置の表示画像の例を示す図であって、（ａ）は、操作対象機器が空気調和装置である場合を示す図、（ｂ）は、操作対象機器が、テレビジョン受像機である場合を示す図である。 本発明の第一実施形態に係る操作装置の情報処理装置の処理の流れを示すフローチャートである。 本発明の第一実施形態に係る操作装置において、操作対象機器が空気調和装置である場合に表示装置が表示する仮想コントローラを示す図である。 本発明の第一実施形態に係る操作装置において、操作対象機器がテレビジョン受像機である場合に表示装置が表示する仮想コントローラを示す図である。 本発明の第一実施形態に係る操作装置において、操作対象機器が画像記録装置である場合に表示装置が表示する仮想コントローラを示す図である。 本発明の第一実施形態に係る操作装置において、操作対象機器が画像再生装置である場合に表示装置が表示する仮想コントローラを示す図である。 本発明の第一実施形態に係る操作装置において、操作対象機器が照明装置である場合に表示装置が表示する仮想コントローラを示す図である。 本発明の第二実施形態に係る遠隔操作システムの構成とその制御の流れを示すブロック図である。 本発明の第三実施形態に係る遠隔操作システムの構成とその制御の流れを示すブロック図である。

符号の説明

１，３１，４１ 操作装置
３ 撮像装置
４ 表示装置
２１ 通信装置
２２，４２ 記憶装置
２３ 情報処理装置
２４ 入力部
２１ａ 第一通信装置
２１ｂ 第二通信装置
３２ 外部機器
３３ 第三通信装置
３４ 機器特定装置
Ｐ 標識画像

Claims (5)

1. 機器を遠隔操作するための操作装置であって、
   使用者の視界内の領域を撮像する撮像装置と、
   前記使用者の視界方向前方に画像を虚像として重畳表示する表示装置と、
   前記機器と通信を行う通信装置と、
   前記機器の識別情報を含む情報を記憶する記憶装置と、
   前記表示装置及び前記通信装置を制御する情報処理装置と、
   前記使用者の動作指令を前記情報処理装置に入力するための入力部とを有しており、
   前記情報処理装置が、前記撮像装置によって得られた前記機器の画像情報と前記記憶装置に記憶された前記識別情報とに基づいて、前記使用者の視界上に位置する前記機器を識別して操作対象機器として認識し、前記通信装置に、前記入力部から入力された動作指令を前記操作対象機器に送出させる操作装置。
2. 前記撮像装置、前記表示装置、及び前記情報処理装置とが前記入力部を構成しており、
   前記情報処理装置が、前記撮像装置の撮像範囲中に、前記操作対象機器の動作指令に対応する指示ポイントを設定し、前記表示装置によって前記指示ポイントを示す標識画像を表示させ、前記撮像装置によって撮像された画像情報から、前記使用者の身体部分または前記使用者が保持する指示具の位置情報を検出して、前記身体部分または前記指示具の指示する前記指示ポイントに対応する動作指令が入力されたと認識する請求項１記載の操作装置。
3. 機器を遠隔操作するための操作装置であって、
   使用者の視界内の領域を撮像する撮像装置と、
   前記使用者の視界方向前方に画像を虚像として重畳表示する表示装置と、
   前記機器と通信を行って該機器の識別情報を入手する通信装置と、
   前記表示装置及び前記通信装置を制御する情報処理装置とを有しており、
   前記情報処理装置が、前記撮像装置の撮像範囲中に、前記操作対象機器の動作指令に対応する指示ポイントを設定し、前記表示装置によって前記指示ポイントを示す標識画像を表示させ、前記撮像装置によって撮像された画像情報から、前記使用者の身体部分または前記使用者が保持する指示具の位置情報を検出して、前記身体部分または前記指示具の指示する前記指示ポイントに対応する動作指令が入力されたと認識し、前記通信装置によって得られた前記機器の識別情報に基づいて、前記使用者の視界上に位置する前記機器を識別して操作対象機器として認識し、前記通信装置に、前記動作指令を前記操作対象機器に送出させる操作装置。
4. 機器を遠隔操作するための操作装置であって、
   使用者の視界内の領域を撮像する撮像装置と、
   前記使用者の視界方向前方に画像を虚像として重畳表示する表示装置と、
   前記機器と通信を行う第一通信装置と、
   外部に配置され、前記機器の識別情報を記憶していて、該識別情報と画像情報とに基づいて操作対象機器を特定する外部機器に対し、画像情報を送信して機器特定情報を受信する第二通信装置と、
   前記表示装置、第一通信装置及び第二通信装置を制御する情報処理装置と、
   前記機器への動作指令を入力するための入力部とを備え、
   前記情報処理装置が、第二通信装置によって、前記撮像装置により取得された画像情報を前記外部機器に送信して該外部機器から機器特定情報を受信し、受信した機器特定情報により特定された操作対象機器に対して、前記入力部から入力された動作指令を前記第一通信装置によって送出させる操作装置。
5. 請求項４に記載の操作装置と、
   該操作装置の外部に配置された外部機器とを備え、
   該外部機器が、前記機器の識別情報を記憶する記憶装置と、前記操作装置と通信を行う第三通信装置と、前記操作装置から送られてくる画像情報と前記記憶装置に記憶されている識別情報とに基づいて操作対象機器を特定する機器特定装置とを備え、
   該機器特定装置により特定された機器に関する機器特定情報を、前記第三通信装置を介して前記操作装置に送信する遠隔操作システム。

Images