JP2007266772A - 機器操作装置および機器操作方法 - Google Patents

Abstract

【課題】複数の機器を直感的に操作でき、日常生活における機器の使い勝手向上が期待できる機器操作装置および機器操作方法を提供する。
【解決手段】操作対象となる機器を指し示すことで（ステップＳ２２のＹｅｓ）、部屋に設置されている複数の機器の中から所望の操作対象機器を選択することが可能になっているとともに（ステップＳ２２〜Ｓ３２）、選択された操作対象機器に対する操作内容に基づく操作コマンドを操作対象機器に送信する（ステップＳ３３〜Ｓ３６）。これにより、複数の機器を直感的に操作でき、日常生活における機器の使い勝手向上が期待できる。
【選択図】 図１７

Description

本発明は、複数の機器を操作する機器操作装置および機器操作方法に関する。

家庭内の機器の多数はそれぞれその機器専用のリモコンが付属しており、１つの部屋の中に複数のリモコンが存在している場合が多い。その様な場合、機器を操作する際には該当する機器のリモコンを手に取り、所望の操作を行うわけであるが、該当するリモコンがなかなか見つからないことがしばしば発生する。これはリモコンが１つの部屋の中に複数存在することが主な原因であるが、この問題を解消すべく生み出されたものの１つとして、１つのリモコンで複数の機器を操作可能なマルチリモコンがある（例えば、特許文献１参照）。

特開２００３−０７８７７９号公報

しかしながら、特許文献１に記載されているようなマルチリモコンによる操作は、操作対象機器を選ぶボタンとその機器別の操作ボタン、あるいは各機器共通の操作ボタンを操作対象機器ごとにカスタマイズして操作を行うため、リモコン上のボタンの数が増えてしまい、また所望の操作を行うまでのボタンの操作回数が複数回必要となってしまうため、操作が煩雑になるという問題がある。

これに対し、１つのリモコンで複数の機器を単純な操作で制御するものとして、各機器に特別な機能を持たせて複数機器を識別可能とする取り組みがあるが、従来からある機器には適用できない。

また、機器の識別にジェスチャ等による特別なコマンドを用意するアプローチは、そのコマンドをユーザが覚えなければならず、使用前にある程度の訓練が必要である。

本発明は、上記に鑑みてなされたものであって、複数の機器を直感的に操作でき、日常生活における機器の使い勝手向上が期待できる機器操作装置および機器操作方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の機器操作装置は、操作対象となる機器を指し示すことによる操作対象機器に対する操作の開始を検出する操作開始検出手段と、この操作開始検出手段により前記操作対象機器に対する操作の開始が検出された場合、指し示した前記操作対象機器に対する方向を検出する方向検出手段と、前記操作開始検出手段により前記操作対象機器に対する操作の開始が検出された場合、指し示した前記操作対象機器との距離を検出する距離検出手段と、前記機器が設置されている部屋の形状や大きさである部屋情報及び操作対象となる各機器の位置情報が記憶されている部屋情報データベースと、前記方向検出手段から得られた方向情報と前記距離検出手段から得られた距離情報とから生成される操作ベクトルに基づいて前記部屋情報データベースに記憶されている情報を参照して、指し示した前記操作対象機器を判別する対象機器判別手段と、この対象機器判別手段により判別された前記操作対象機器に対する操作内容を認識する操作内容認識手段と、各操作対象機器の各操作に関する操作コマンドが格納されている操作コマンドデータベースと、前記操作内容認識手段により認識された操作内容に基づいて前記操作コマンドデータベースから所望の操作コマンドを生成する操作コマンド生成手段と、この操作コマンド生成手段により生成された前記操作コマンドを前記対象機器判別手段により判別された前記操作対象機器に送信する操作コマンド送信手段と、を備える。

また、本発明の機器操作方法は、操作対象となる機器を指し示すことによる操作対象機器に対する操作の開始を検出する操作開始検出工程と、この操作開始検出工程により前記操作対象機器に対する操作の開始が検出された場合、指し示した前記操作対象機器に対する方向を検出する方向検出工程と、前記操作開始検出工程により前記操作対象機器に対する操作の開始が検出された場合、指し示した前記操作対象機器との距離を検出する距離検出工程と、前記方向検出工程から得られた方向情報と前記距離検出工程から得られた距離情報とから生成される操作ベクトルに基づき、前記機器が設置されている部屋の形状や大きさである部屋情報及び操作対象となる各機器の位置情報が記憶されている部屋情報データベースを参照して指し示した前記操作対象機器を判別する対象機器判別工程と、この対象機器判別工程により判別された前記操作対象機器に対する操作内容を認識する操作内容認識工程と、前記操作内容認識工程により認識された操作内容に基づき、各操作対象機器の各操作に関する操作コマンドが格納されている操作コマンドデータベースから所望の操作コマンドを生成する操作コマンド生成工程と、この操作コマンド生成工程により生成された前記操作コマンドを前記対象機器判別工程により判別された前記操作対象機器に送信する操作コマンド送信工程と、を含む。

本発明によれば、複数の機器を直感的に操作でき、日常生活における機器の使い勝手向上が期待できるという効果を奏する。

以下に添付図面を参照して、この発明にかかる機器操作装置および機器操作方法の最良な実施の形態を詳細に説明する。

［第１の実施の形態］
本発明の第１の実施の形態を図１ないし図２８に基づいて説明する。図１は、本発明の第１の実施の形態にかかる機器操作装置１を使用する環境を説明する模式図である。図１に示すように、機器操作装置１は、ユーザ１００が手に持って使用、あるいはユーザ１００の身体の一部に着けて使用するものであり、家庭内で複数の機器（例えば、テレビ２、エアコン３、照明４など）を直感的な操作により制御することができるようにしたものである。

図２は、機器操作装置１を示す平面図である。図２に示すように、機器操作装置１はユーザ１００の手首に装着することができる腕時計型であり、装着ベルト１１、装置本体部１２、指示内容などを表示する表示部１３、赤外線を出射するセンサ用窓１４から構成され、装着ベルト１１で装着された腕を振ることで、家庭内で複数の機器（例えば、テレビ２、エアコン３、照明４など）を制御することが可能になっている。

次に、機器操作装置１の制御系の概略構成例を図３に示すブロック図を参照して説明する。この制御系としては、ＲＯＭ（Read Only Memory）２１及びＲＡＭ（Random Access Memory）２２とともにマイクロコンピュータを構成するＣＰＵ（Central Processing Unit）２３が設けられている。このＣＰＵ２３はＲＯＭ２１内に格納された制御プログラムに従い、当該機器操作装置１全体の制御を受け持つ。ＲＡＭ２２には各種処理を行う上で必要なデータ等を一時格納するための等の作業領域として使われる。また、ＲＯＭ２１内には、複数の機器（例えば、テレビ２、エアコン３、照明４など）をそれぞれ制御するためのプログラムを始め、その他の各種プログラムが格納されている。

また、Ｉ／Ｏインタフェース２４を介し、表示部１３を始めとし、地磁気センサ１５、加速度センサ１６、赤外線ＬＥＤを使用した赤外線距離センサ１７などの当該機器操作装置１を制御する上で必要なその他の入出力装置が接続されている。ＣＰＵ２３、ＲＯＭ２１、ＲＡＭ２２、Ｉ／Ｏインタフェース２４は、アドレスバス２５及びデータバス２６にて接続されており、アドレスの指定及びデータの入出力を行っている。

次に、機器操作装置１のＣＰＵ２３がＲＯＭ２１に格納されているプロフラムに従って実行する各種の演算処理のうち、本実施の形態の特長的な処理である機器操作制御処理について以下に説明する。

図４は、機器操作装置１の機器操作制御処理にかかる機能構成を示すブロック図である。図４に示すように、機器操作装置１は、ＣＰＵ２３がＲＯＭ２１に格納されているプロフラムに従うことにより、水平方向検出手段（方向検出手段）である水平方向検出部３１と、垂直方向検出手段（方向検出手段）である垂直方向検出部（加速度検出部）３２と、距離検出手段である距離検出部３３と、部屋情報生成手段である部屋情報生成部３４と、部屋情報設定指示手段である部屋情報設定指示部３５と、操作開始検出手段である判別タイミング検出部３６と、対象機器判別手段である対象機器判別部３７と、部屋情報ＤＢ（データベース）３８と、操作内容認識手段である操作内容認識部３９と、対象機器訂正手段である対象機器訂正部４０と、各種の操作コマンドを格納する操作コマンドＤＢ（データベース）４１と、操作コマンド生成手段である操作コマンド生成部４２と、操作対象機器（例えば、テレビ２、エアコン３、照明４など）に操作コマンドを送信する操作コマンド送信手段である操作コマンド送信部４３と、を備える。

水平方向検出部３１は、ユーザ１００が機器操作装置１を操作対象機器（例えば、テレビ２、エアコン３、照明４など）に向けた際の機器操作装置１の水平方向の角度を地磁気センサ１５を用いて検出する。

垂直方向検出部（加速度検出部）３２は、機器操作装置１の垂直方向の角度を、重力加速度に対する各軸の傾きを検出する加速度センサ１６を用いて検出する。なお、加速度センサ１６に限るものではなく、垂直方向を検出できるセンサを使用すればよい。例えば、３軸地磁気センサを使用するようにした場合には、水平方向だけでなく垂直方向も検出できる。しかしながら、加速度センサ１６を使用すると、ユーザ１００の動作が計測可能になるため、操作内容認識部３９においてユーザ１００の動作による操作内容の認識が可能となるという利点がある。

距離検出部３３は、操作対象機器と機器操作装置１との距離を、赤外線ＬＥＤを用いた赤外線距離センサ１７を用いて検出する。なお、赤外線距離センサ１７に限るものではなく、操作対象機器との距離を計測できるものであれば、超音波距離センサ、レーザー距離センサなど、種類を選ばない。ただし、赤外線距離センサ１７を使用すると、操作コマンド送信部４３の赤外線ＬＥＤを用いた送信用ＬＥＤを、距離検出用ＬＥＤと兼用することができるという利点がある。

部屋情報生成部３４は、水平方向検出部３１の検出結果と垂直方向検出部３２の検出結果と距離検出部３３の検出結果とから部屋情報を生成し、部屋情報設定指示部３５は、部屋情報を生成するためにユーザ１００に設定方法を指示する。そして、部屋情報ＤＢ３８は、部屋情報生成部３４が生成した部屋情報を蓄積する。

判別タイミング検出部３６は、操作対象機器（例えば、テレビ２、エアコン３、照明４など）を判別するタイミングを検出し、対象機器判別部３７は、操作対象機器（例えば、テレビ２、エアコン３、照明４など）を判別する。また、対象機器訂正部４０は、対象機器判別部３７が判別した操作対象機器が誤っていた場合に訂正を行う。

操作内容認識部３９は、操作対象機器（例えば、テレビ２、エアコン３、照明４など）に対するユーザ１００からの操作内容を加速度センサ１６を用いて認識する。操作コマンド生成部４２は、操作内容認識部３９が認識した操作内容に基づいて操作コマンドを操作コマンドＤＢ４１から抽出して生成し、操作コマンド送信部４３は、操作コマンド生成部４２で生成した操作コマンドを、赤外線距離センサ１７を用いて操作対象機器へ送信する。操作コマンドＤＢ４１は、各操作対象機器の各操作に関する操作コマンドが格納されている。

まず、部屋情報設定指示部３５の指示方法について説明する。部屋情報設定指示部３５は、部屋情報（部屋の情報）を生成するために、図５に示すような部屋形状の計測画面及び図６に示すような予め登録されている操作対象機器の設定画面を順に機器操作装置１の表示部１３に表示し、ユーザ１００に設定方法を指示する。なお、部屋形状の設定と操作対象機器の設定の順番は逆であっても構わない。また、文字による表示に限るものではなく、アイコン等による表示でも良い。

ユーザ１００は、表示部１３の表示に従って設定（計測）操作を行う。本実施の形態においては、加速度センサ１６が搭載されているので、操作内容認識部３９はユーザ１００のポインティング動作を加速度から検出して計測のトリガとし、設定操作内容を認識する。なお、加速度センサ１６が搭載されていない場合には、設定操作を行うためのボタンを用意して、ボタンをその都度押すようにすれば良い。

また、図７は、表示部１３の代わりにＬＥＤ５０を設けて設定指示を行う場合の例である。現在設定操作を行っているＬＥＤが点灯し、点灯しているＬＥＤに対応した設定を行う。このように表示部１３の代わりにＬＥＤ５０を設けた場合も、ユーザ１００のポインティング動作あるいはボタン等で計測のトリガとする。なお、これらの例以外にも、音声によって設定指示を行うようにしても良い。

なお、操作対象機器の種類は予め登録されているものとしたが、操作ボタン等が装備された構成の場合は、表示部１３やＬＥＤ５０上で動的に操作対象機器の種類を設定することができるようにしても良い。

ここで、ポインティング動作を加速度から検出する点について簡単に説明する。図８は、機器操作装置１をユーザ１００の腕に装着してポインティング動作（指し示す動作）を行なった際に検出された加速度の例を示すグラフである。このようにポインティング動作時は、Ｘ軸方向（図９参照）およびＹ軸方向（図９参照）、あるいはＸ軸方向およびＹ軸方向のいずれかに特徴的な波形が出現することを利用して、閾値処理あるいはパターンマッチング等の認識処理によって検出することが可能である。例えば、上下の閾値を設定しておき、上下の閾値に達した場合、その閾値間の時間が所定の時間内であれば、ポインティング動作として認識する。図９は、機器操作装置１をユーザ１００の腕に装着した状態でのＸＹＺ軸方向を示す説明図である。

＜部屋情報の生成処理＞
次に、部屋情報生成部３４における部屋情報の生成処理について詳述する。部屋情報生成部３４における部屋情報の生成処理は、初回使用時にユーザ１００が機器操作装置１０を操作することにより、半自動的に部屋情報（部屋の情報、機器の種類、位置情報の設定）を行うものである。

図１０は、部屋情報生成部３４における部屋情報の生成処理の流れを概略的に示すフローチャートである。図１０に示すように、まず、部屋情報設定指示部３５によって図５に示したような部屋形状の計測画面が表示部１３に表示されることにより、部屋形状の計測が指示される（ステップＳ１１）。ユーザ１００は、表示部１３に表示された部屋形状の計測画面に従って部屋形状の計測を行うことになる。図５に示す部屋形状の計測画面によれば、「前後左右上下の計６方向の壁に向けて指示して下さい」という文字が表示されている。なお、この時点で、地磁気センサ１５、加速度センサ１６、赤外線距離センサ１７は検知可能な状態になっている。ただし、地磁気センサ１５の初期化（水平方向に３６０°動かす）等必要であれば、この操作の前に行っておく。

続くステップＳ１２では、表示部１３に表示された部屋形状の計測を実行する。ユーザ１００は、部屋全体が直方体の形状をしているものとして、ユーザ１００の現在位置から各壁面（前後左右計４面）、天井面、床面の計６面の方向に対して、機器操作装置１を腕に装着してポインティング動作（指し示す動作）を行う。このポインティング動作の際に、水平方向検出部３１と垂直方向検出部（加速度検出部）３２と距離検出部３３は、各方向に直角になる方向の水平／垂直方向および距離を計測する。図１１は、方向および距離の計測結果例である。

ここで、図１１に示した計測結果を元に、部屋情報生成部３４が生成した部屋情報の例をわかりやすく水平方向（図１２参照）、垂直方向（図１３参照）に分けて示す。ここで、垂直角（重力加速度に対する角度）は部屋情報の生成には必ずしも必要としないが、計測距離結果の補正に利用できる。例えば、機器操作装置１が任意の壁面を図１４に示すように、計測時の機器操作装置１の重力加速度に対する角度θ＝９０°で計測すべきところを、θ＝θ₁で実測距離をｒと計測したとする。この場合、ユーザ１００から水平方向への正しい値（補正距離Ｒ）は、Ｒ＝ｒｃｏｓ（９０−θ）で表される。このように各計測値を補正することで、より正確な部屋情報を生成することができる。なお、ユーザ１００はこの操作を行う際、腕を伸ばして行うため、ユーザ１００の腕の長さも考慮して計測結果を補正するとより正確な部屋情報を生成できる。

部屋情報生成部３４は、ユーザ１００が現在位置から計測した部屋情報を、部屋情報ＤＢ３８に蓄積する。

部屋形状の計測が終了すると、部屋情報設定指示部３５によって図６に示したような操作対象機器の設定画面が表示部１３に表示されることにより、操作対象機器（ここでは、予め登録されているテレビ２、エアコン３、照明４）の設定が指示される（ステップＳ１３）。ユーザ１００は、表示部１３に表示された操作対象機器の設定画面に従って操作対象機器の設定を行うことになる。図６に示す操作対象機器の設定画面によれば、まず、「エアコンに向けて指示して下さい」という文字が表示されている。部屋情報設定指示部３５は、予め決められた順番に設定すべき操作対象機器を表示する。なお、ユーザ１００が設定する操作対象機器を指定して設定操作を行うものであっても良い。

続くステップＳ１４では、表示部１３に表示された操作対象機器の設定を実行する。ユーザ１００は、ユーザ１００の現在位置から操作対象機器（エアコン３）の方向に対して、機器操作装置１を腕に装着してポインティング動作（指し示す動作）を行う。このポインティング動作の際に、水平方向検出部３１と垂直方向検出部（加速度検出部）３２と距離検出部３３は、操作対象機器（エアコン３）までの水平／垂直方向および距離を計測する。

ここで、図１５に示すような配置の各操作対象機器についての計測例について説明する。この例では、部屋の任意の点を原点とし、そこから各壁方向を各軸とした座標系の相対座標として各操作対象機器の位置を保持している。原点は、例えば最も北に位置する床面の角とする。

部屋情報生成部３４は、ユーザ１００が現在位置から計測した各操作対象機器の方向および距離の情報を、部屋の原点に対する位置座標系に変換して部屋情報ＤＢ３８に蓄積する。部屋情報ＤＢ３８に蓄積されている部屋情報の例を図１６に示す。

上述したような操作対象機器の設定指示（ステップＳ１３）、ユーザ１００の現在位置から操作対象機器までの水平／垂直方向および距離の計測（ステップＳ１４）は、操作対象機器（ここでは、予め登録されているテレビ２、エアコン３、照明４）全てについて順に実行される。

ステップＳ１５では、操作対象機器の座標が部屋形状の外側に位置する関係になってしまっているなど、明らかに部屋情報に不整合がある場合は、再設定を促す。

これら一連の部屋情報生成操作は、初回使用開始時だけでなく、操作対象機器の配置換えを行った時や、誤差が大きくなった時など、適宜行うようにして良い。

なお、上述したような設定操作を行う代わりに、パーソナルコンピュータなどの外部端末上で部屋情報を手動で設定して、その設定情報を通信手段である通信部（図示せず）経由で部屋情報ＤＢ３８に転送するようにしても良い。パソコン上での設定方法は、図１６に示したようなデータをそのまま編集しても良いし、専用の設定ツールを用意して、グラフィカルに設定できるようにしても良い。

＜操作対象機器の操作制御処理＞
次に、部屋情報が設定された後、機器操作装置１をユーザ１００の腕に装着して実際に操作対象機器を操作制御する際の処理動作について説明する。

図１７は、操作対象機器に対する操作制御処理の流れを概略的に示すフローチャートである。図１７に示すように、まず、判別タイミング検出部３６は操作対象機器指定の確認操作を検出する（ステップＳ２１、ステップＳ２２）。この確認操作は、ユーザ１００が機器操作装置１を腕に装着して操作対象機器（例えば、テレビ２、エアコン３、照明４など）に対してポインティング動作（指し示す動作）することにより生じる加速度から操作対象機器の指定操作を検出してそれを確認の入力とする。ポインティング動作を加速度から検出する点については、前述した通りである。なお、操作ボタン等が装備された構成の場合は、ユーザ１００が機器操作装置１を腕に装着して操作対象機器（例えば、テレビ２、エアコン３、照明４など）に対してポインティング動作（指し示す動作）してボタンを押すこととしても良い。

以上のようにして操作対象機器の指定がされると（ステップＳ２２のＹｅｓ）、水平方向検出部３１による水平方向検出（ステップＳ２３）、垂直方向検出部（加速度検出部）３２による垂直方向検出（ステップＳ２４）、距離検出部３３による距離検出（ステップＳ２５）を順に行う。なお、検出の順番はこれに限らない。

すべての計測が終わると、各計測結果をもとに操作ベクトルを生成する（ステップＳ２６）。これは、水平角（例えば、真北から時計回り方向の角度）、垂直角（例えば、重力加速度に対する角度）、機器操作装置１から操作対象機器までの距離から決定されるベクトルである。

次に、対象機器判別部３７がステップＳ２６で生成された操作ベクトルをもとに操作対象機器の判別を行う（ステップＳ２７）。ここで、本構成例で計測する情報からは機器操作装置１の位置を確定させることができない。よって、計測情報をもとに操作対象機器の候補を推定する。ここでは、判別方法として２通りの方法を説明する。

１つめの方法は、部屋の各壁から操作ベクトルをのばし操作対象機器存在エリアを推定する方法である。ここで、図１８は第１の操作対象機器の判別方法の機器判別処理の流れを示すフローチャート、図１９はその概念図である。

まず、図１９に示すように、水平方向の絞り込みは四方の壁からベクトルをまんべんなくひき（ステップＳ４１）、ベクトルの先が部屋の大きさの中に収まるエリアを水平方向対象エリアとする（ステップＳ４２）。垂直方向については、ユーザ１００が起立時および着席時の高さから操作ベクトルを配置し、垂直方向対象エリアとする。水平方向対象エリアと垂直方向対象エリアの組み合わせで、対象機器存在エリアが推定される（ステップＳ４３）。このエリア内にある機器を操作対象機器とする（ステップＳ４４のＹｅｓ，ステップＳ４６）。エリア内に対象とすべき機器が部屋情報ＤＢ３８にない場合は（ステップＳ４４のＮｏ）、エリアまでの距離が一番近い機器を候補とする（ステップＳ４５）。

２つめの方法は、操作ベクトルの逆ベクトルを生成し操作対象機器存在エリアを推定する方法である。ここで、図２０は第２の操作対象機器の判別方法の機器判別処理の流れを示すフローチャート、図２１はその概念図である。

まず、図２１に示すように、操作ベクトルの逆ベクトルを生成し（ステップＳ５１）、操作対象のすべての機器から逆ベクトルを伸ばす（ステップＳ５２）。その結果、逆ベクトルの先がユーザ１００の操作位置となるわけであるが、その位置がユーザ１００の操作位置として正しい位置かどうかを判定する（ステップＳ５３）。ユーザ１００の操作位置として正しい場合には（ステップＳ５４のＹｅｓ）、当該機器を操作対象機器とする（ステップＳ５６）。一方、ユーザ位置が部屋の外となってしまった場合や、垂直方向位置がユーザ起立時や着席時の高さ範囲から外れている場合は、非該当とする。このように対象機器がない場合は（ステップＳ５４のＮｏ）、非該当の度合いが一番小さいものを操作対象機器とし（ステップＳ５５）、操作対象機器の候補を決定する（ステップＳ５６）。

上述したような方法により操作対象機器の候補が決定され、候補となる操作対象機器が複数ある場合は（ステップＳ２８のＹｅｓ）、初期設定時の場所を現在のユーザ位置とする、あるいは、過去の操作履歴を記憶しておき操作頻度の高い方を操作対象機器とするなど、ルールをあらかじめ決めておき、それをもとに候補を絞り込む（ステップＳ２９）。

このようにして絞り込まれた操作対象機器であるが、候補の機器がユーザ１００の希望と違っている場合もある。

そこで本実施の形態においては、続くステップＳ３０において、対象機器判別部３７が判別した操作対象機器に対して、判別した時点で操作コマンド送信部４３から操作対象機器に候補となっていることを示す操作対象候補コマンドを送ることにより、各操作対象機器はそのコマンドを受信した場合に、候補となっていることをユーザ１００に知らせる表示を行う。例えば、図２２に示すように、各操作対象機器にＬＥＤで構成される操作対象候補表示部７０を設けるようにして、候補となっている場合にはＬＥＤを点灯させることでユーザ１００に知らせる表示を行う。なお、操作対象機器の報知は、ＬＥＤを点灯させることに限るものではなく、音声などによるものであっても良い。

ユーザ１００はその状態を確認して、所望の機器が選択されていれば（ステップＳ３１のＮｏ）、そのままステップＳ３３に進み、操作コマンドを入力すれば良い。

一方、候補の機器がユーザ１００の希望と違っている場合には、操作対象機器の訂正の宣言の入力を受け付け（ステップＳ３１のＹｅｓ）、訂正コマンドを入力して操作対象機器を訂正する（ステップＳ３２）。より詳細には、訂正コマンド入力が確認されると、対象機器判別部３７は第２の候補に対して操作対象候補コマンドを送り、同様のプロセスを進める。操作対象機器の訂正の宣言は、機器操作装置１には加速度センサ１６が搭載されているので、訂正用のコマンドをあらかじめ用意しておき、ユーザ１００は機器操作装置１に操作対象訂正の操作を入力する。また、操作対象機器の訂正方法は、訂正する操作対象機器の方向へ向けて機器操作装置１をポインティング動作（指し示す動作）するようにすれば良い。なお、操作ボタン等が装備された構成の場合は、訂正する操作対象機器に対してポインティング動作（指し示す動作）してボタンを押すこととしても良い。

以上のようにして操作対象機器が決定された後、機器操作装置１は操作内容の入力を待つ（ステップＳ３３）。操作内容の入力は、機器操作装置１は加速度センサ１６を搭載しているので、図２３に示すような機器共通なコマンド属性を予め用意しておき、その動作に基づいて作内容を指示するようにすればよい（ステップＳ３４のＹｅｓ）。また、表示部１３に表示される操作内容から所望の操作内容を選択するようにしても良い。このようにして操作内容認識部３９は、操作内容を認識して入力する。

図２３に示すような機器共通なコマンド属性は、できるだけ直感的なコマンドを割り当てておくのが良い。例えば制御量としては、エアコンの風量であれば、レベルをいくつ変化させるか、テレビのチャンネルであれば、チャンネルいくつ分進めるかということである。制御量の認識は、制御属性コマンドの操作回数で行う。なお、ＯＮ／ＯＦＦなど、制御量の概念のない制御属性については、制御量の入力はしない。図２３に示した６種類の属性コマンドの認識は、例えば閾値クロスやパターンマッチングを利用した認識方法により行う。図２４から図２６は、それぞれの属性コマンドを行った時の加速度波形の例である。図２４（ａ）（ｂ）はオン（右回り）、オフ（左回り）、図２５（ａ）（ｂ）は減少（下）、増加（上）、図２６（ａ）（ｂ）は逆送り（左）、順送り（右）の一例である。

次に、操作コマンド生成部４２はここまでで設定した操作対象機器および操作内容に基づいて操作コマンドＤＢ４１から操作コマンドを抽出し、生成する（ステップＳ３５）。操作コマンドは、機器操作装置１の操作コマンド送信部４３が赤外線リモコン互換である場合は、赤外線ＬＥＤの発光プロトコルでコマンドを生成する。なお、赤外線ＬＥＤのコマンドは予め操作コマンドＤＢ４１内に蓄積しておく。

最後に、操作コマンド送信部４３は、操作対象機器に対して赤外線距離センサ１７を用いて操作コマンドを送信する（ステップＳ３６）。

このように本実施の形態によれば、操作対象となる機器を指し示すことで、部屋に設置されている複数の機器（例えば、テレビ２、エアコン３、照明４など）の中から所望の操作対象機器を選択することが可能になっているとともに、選択された操作対象機器に対する操作内容に基づく操作コマンドを操作対象機器に送信することができるので、複数の機器を直感的に操作でき、日常生活における機器の使い勝手向上が期待できる。

なお、本実施の形態においては、機器操作装置１をユーザ１００の腕に装着する形状としたが、これに限るものではなく、図２７に示す機器操作装置５１のように、ユーザ１００が手に持つ形状のものであっても良い。機器操作装置５１は、部屋情報設定指示部３５による指示内容などを表示するディスプレイ部５２、操作内容をユーザ１００が直接指示する操作内容指示部（図２８参照）として用意された操作ボタン５３、距離検出部３３および操作コマンド送信部４３に赤外線距離センサ１７を使用した際のセンサ用窓５４がある。図２８は、機器操作装置５１の機器操作制御処理にかかる機能構成を示すブロック図である。

［第２の実施の形態］
次に、本発明の第２の実施の形態を図２９および図３０に基づいて説明する。なお、前述した第１の実施の形態と同じ部分は同じ符号で示し説明も省略する。

図２９は本実施の形態のシステム構成例を示すシステム構成図、図３０は機器操作制御処理にかかる機能構成を示すブロック図である。本実施の形態は、第１の実施の形態の機器操作装置１の機能を、腕時計型装置６１とホームサーバ６２に分散させて持たせる場合の例である。

図３０に示すように、腕時計型装置６１とホームサーバ６２とは、それぞれ通信部６３，６４を有している。通信部６３，６４間の通信は、赤外線通信やBluetooth（商標）などによる。腕時計型装置６１は、水平方向検出部３１と、垂直方向検出部（加速度検出部）３２と、距離検出部３３と、部屋情報設定指示部３５と、ホームサーバ６２と通信を行う通信部６３と、これらの計測処理および通信処理を制御する制御部６５とを備えている。ホームサーバ６２は、一般的なパーソナルコンピュータ等であり、各操作対象機器（例えば、テレビ２、エアコン３、照明４など）とＬＡＮ（Local Area network）などのネットワーク６６で接続されており、情報家電ネットワークを構成している。ＬＡＮは、有線か無線であるかは問わない。このようなホームサーバ６２は、ＣＰＵが記憶装置に格納されているプログラムに従うことにより、部屋情報生成部３４と、判別タイミング検出部３６と、対象機器判別部３７と、部屋情報ＤＢ３８と、操作内容認識部３９と、対象機器訂正部４０と、操作コマンドＤＢ４１と、操作コマンド生成部４２と、操作コマンド送信部４３と、腕時計型装置６１と通信を行う通信部６４と、を備えている。なお、本実施の形態においては、操作コマンド送信部４３によるコマンド送信は情報家電ネットワーク経由で送信することになるので、操作コマンド中に操作対象機器のアドレスを含んでいる。

本発明の第１の実施の形態にかかる機器操作装置を使用する環境を説明する模式図である。 機器操作装置を示す平面図である。 機器操作装置の制御系の概略構成例を示すブロック図である。 機器操作装置の機器操作制御処理にかかる機能構成を示すブロック図である。 部屋形状の計測画面を示す説明図である。 操作対象機器の設定画面を示す説明図である。 表示部の代わりにＬＥＤを設けて設定指示を行う場合の例を示す平面図である。 機器操作装置をユーザの腕に装着してポインティング動作（指し示す動作）を行なった際に検出された加速度の例を示すグラフである。 機器操作装置をユーザの腕に装着した状態でのＸＹＺ軸方向を示す説明図である。 部屋情報生成部における部屋情報の生成処理の流れを概略的に示すフローチャートである。 方向および距離の計測結果例を示す説明図である。 部屋情報生成部が生成した部屋情報の水平方向例を示す説明図である。 部屋情報生成部が生成した部屋情報の垂直方向例を示す説明図である。 計測距離結果の補正例を示す説明図である。 操作対象機器の配置例を示す説明図である。 部屋情報ＤＢに蓄積されている部屋情報の例を示す説明図である。 操作対象機器に対する操作制御処理の流れを概略的に示すフローチャートである。 第１の操作対象機器の判別方法の機器判別処理の流れを示すフローチャートである。 その概念図である。 第２の操作対象機器の判別方法の機器判別処理の流れを示すフローチャートである。 その概念図である。 操作対象候補表示部を各操作対象機器に設けた例を示す説明図である。 機器共通なコマンド属性を示す説明図である。 機器操作装置でＯＮ動作（右回り）、ＯＦＦ動作（左回り）を行った際の加速度変化の一例を示したグラフである。 機器操作装置でＵＰ動作（上）、ＤＯＷＮ動作（下）を行った際の加速度変化の一例を示したグラフである。 機器操作装置で順送り動作（右）、逆送り動作（左）を行った際の加速度変化の一例を示したグラフである。 ユーザが手に持つ形状の機器操作装置を示す平面図である。 機器操作装置の機器操作制御処理にかかる機能構成を示すブロック図である。 本発明の第２の実施の形態のシステム構成例を示すシステム構成図である。 機器操作制御処理にかかる機能構成を示すブロック図である。

符号の説明

１，５１ 機器操作装置
２，３，４ 操作対象機器
１６ 加速度センサ
１７ 赤外線ＬＥＤ
３１ 水平方向検出手段、方向検出手段
３２ 垂直方向検出手段、方向検出手段
３３ 距離検出手段
３４ 部屋情報生成手段
３５ 部屋情報設定指示手段
３６ 操作開始検出手段
３７ 対象機器判別手段
３８ 部屋情報データベース
３９ 操作内容認識手段
４０ 対象機器訂正手段
４１ 操作コマンドデータベース
４２ 操作コマンド生成手段
４３ 操作コマンド送信手段
５３ 操作内容指示手段
６６ ネットワーク

Claims (20)

1. 操作対象となる機器を指し示すことによる操作対象機器に対する操作の開始を検出する操作開始検出手段と、
   この操作開始検出手段により前記操作対象機器に対する操作の開始が検出された場合、指し示した前記操作対象機器に対する方向を検出する方向検出手段と、
   前記操作開始検出手段により前記操作対象機器に対する操作の開始が検出された場合、指し示した前記操作対象機器との距離を検出する距離検出手段と、
   前記機器が設置されている部屋の形状や大きさである部屋情報及び操作対象となる各機器の位置情報が記憶されている部屋情報データベースと、
   前記方向検出手段から得られた方向情報と前記距離検出手段から得られた距離情報とから生成される操作ベクトルに基づいて前記部屋情報データベースに記憶されている情報を参照して、指し示した前記操作対象機器を判別する対象機器判別手段と、
   この対象機器判別手段により判別された前記操作対象機器に対する操作内容を認識する操作内容認識手段と、
   各操作対象機器の各操作に関する操作コマンドが格納されている操作コマンドデータベースと、
   前記操作内容認識手段により認識された操作内容に基づいて前記操作コマンドデータベースから所望の操作コマンドを生成する操作コマンド生成手段と、
   この操作コマンド生成手段により生成された前記操作コマンドを前記対象機器判別手段により判別された前記操作対象機器に送信する操作コマンド送信手段と、
   を備えることを特徴とする機器操作装置。
2. 前記方向検出手段は、
   指し示した前記操作対象機器に対する水平方向の角度を検出する水平方向検出手段と、
   指し示した前記操作対象機器に対する垂直方向の角度を検出する垂直方向検出手段と、
   を備えることを特徴とする請求項１記載の機器操作装置。
3. 前記対象機器判別手段は、前記操作ベクトルに基づいて前記部屋情報データベースに記憶されている前記部屋情報から前記操作対象機器が存在するエリアを絞り込むことにより前記操作対象機器を判別する、
   ことを特徴とする請求項１または２記載の機器操作装置。
4. 前記対象機器判別手段は、前記操作ベクトルに基づいて前記部屋情報データベースに記憶されている前記部屋情報と操作対象となる各機器の位置情報とから前記操作ベクトルの逆ベクトルを計算することにより前記操作対象機器を判別する、
   ことを特徴とする請求項１または２記載の機器操作装置。
5. 前記対象機器判別手段により操作対象として判別された前記機器に対し、候補となっていることを当該機器が外部に報知することが可能な操作対象候補コマンドを送信する、
   ことを特徴とする請求項１ないし４のいずれか一記載の機器操作装置。
6. 前記対象機器判別手段により判別された前記操作対象機器が、操作対象とする所望の機器と違っていた場合には、前記操作対象機器の訂正を行う対象機器訂正手段を更に備える、
   ことを特徴とする請求項１ないし５のいずれか一記載の機器操作装置。
7. 前記部屋情報データベースに記憶するための各情報の生成指示を行う部屋情報設定指示手段と、
   この部屋情報設定指示手段による指示に従って位置が指し示された際の前記方向検出手段の検出結果と前記距離検出手段の検出結果とから、部屋情報及び操作対象となる各機器の位置情報を生成して前記部屋情報データベースに記憶させる部屋情報生成手段と、
   を更に備えることを特徴とする請求項１ないし６のいずれか一記載の機器操作装置。
8. 前記部屋情報設定指示手段は、部屋の壁面、天井面、床面へのそれぞれ直角方向を順に指し示させることを指示するとともに、操作対象となる各機器を順に指し示させることを指示する、
   ことを特徴とする請求項７記載の機器操作装置。
9. 外部端末にて設定された部屋情報及び操作対象となる各機器の位置情報を受け取る通信手段を更に備え、
   前記部屋情報データベースは、前記通信手段を介して受け取った情報から生成される、
   ことを特徴とする請求項１ないし６のいずれか一記載の機器操作装置。
10. ユーザの動作に伴う加速度を検出する加速度センサにより検出される加速度から前記操作対象機器に設定されている操作内容を認識する操作内容認識手段と、
    各操作対象機器の各操作に関する操作コマンドが格納されている操作コマンドデータベースと、
    を更に備え、
    前記操作コマンド生成手段は、前記操作内容認識手段により認識された操作内容に基づいて前記操作コマンドデータベースから所望の操作コマンドを生成する、
    ことを特徴とする請求項１ないし９のいずれか一記載の機器操作装置。
11. ユーザに所望の操作内容を指示させる操作内容指示手段を更に備え、
    前記操作内容認識手段は、前記操作内容指示手段により指示された操作内容を認識する、
    ことを特徴とする請求項１ないし１０のいずれか一記載の機器操作装置。
12. 前記操作内容認識手段は、ユーザの動作に伴って検出される加速度から前記操作対象機器に設定されている操作内容を認識する、
    ことを特徴とする請求項１ないし１０のいずれか一記載の機器操作装置。
13. 前記垂直方向検出手段で加速度センサを用いている場合、前記操作内容認識手段は、前記垂直方向検出手段で用いている前記加速度センサを使用してユーザの動作に伴う加速度を検出する、
    ことを特徴とする請求項１２記載の機器操作装置。
14. 前記操作コマンド送信手段は、赤外線ＬＥＤを利用した赤外線通信により前記操作コマンドを前記操作対象機器に直接送信する、
    ことを特徴とする請求項１ないし１３のいずれか一記載の機器操作装置。
15. 前記距離検出手段は赤外線ＬＥＤを利用した測距方法を用いるものである場合、前記操作コマンド送信手段は、前記距離検出手段で用いている前記赤外線ＬＥＤを使用して前記操作コマンドを前記操作対象機器に直接送信する、
    ことを特徴とする請求項１４記載の機器操作装置。
16. 前記操作コマンド送信手段は、無線通信手段を利用した無線通信により前記操作コマンドを前記操作対象機器に直接送信する、
    ことを特徴とする請求項１ないし１３のいずれか一記載の機器操作装置。
17. 前記操作対象機器が前記ネットワークを介して本装置に接続されている場合には、前記操作コマンド送信手段は、前記操作コマンド中に前記操作対象機器のアドレスを含めて送信する、
    ことを特徴とする請求項１ないし１３のいずれか一記載の機器操作装置。
18. 操作対象となる機器を指し示すことによる操作対象機器に対する操作の開始を検出する操作開始検出工程と、
    この操作開始検出工程により前記操作対象機器に対する操作の開始が検出された場合、指し示した前記操作対象機器に対する方向を検出する方向検出工程と、
    前記操作開始検出工程により前記操作対象機器に対する操作の開始が検出された場合、指し示した前記操作対象機器との距離を検出する距離検出工程と、
    前記方向検出工程から得られた方向情報と前記距離検出工程から得られた距離情報とから生成される操作ベクトルに基づき、前記機器が設置されている部屋の形状や大きさである部屋情報及び操作対象となる各機器の位置情報が記憶されている部屋情報データベースを参照して指し示した前記操作対象機器を判別する対象機器判別工程と、
    この対象機器判別工程により判別された前記操作対象機器に対する操作内容を認識する操作内容認識工程と、
    前記操作内容認識工程により認識された操作内容に基づき、各操作対象機器の各操作に関する操作コマンドが格納されている操作コマンドデータベースから所望の操作コマンドを生成する操作コマンド生成工程と、
    この操作コマンド生成工程により生成された前記操作コマンドを前記対象機器判別工程により判別された前記操作対象機器に送信する操作コマンド送信工程と、
    を含むことを特徴とする機器操作方法。
19. 前記対象機器判別工程は、前記操作ベクトルに基づいて前記部屋情報データベースに記憶されている前記部屋情報から前記操作対象機器が存在するエリアを絞り込むことにより前記操作対象機器を判別する、
    ことを特徴とする請求項１８記載の機器操作方法。
20. 前記対象機器判別工程は、前記操作ベクトルに基づいて前記部屋情報データベースに記憶されている前記部屋情報と操作対象となる各機器の位置情報とから前記操作ベクトルの逆ベクトルを計算することにより前記操作対象機器を判別する、
    ことを特徴とする請求項１８記載の機器操作方法。

Images