JP2019003228A - 機器連携システム、機器連携装置、機器連携方法及び機器連携プログラム - Google Patents

Abstract

【課題】複数の機器を操作する作業を容易にする。【解決手段】機器連携システムは、機器連携装置２とカメラ３と入力装置５とを備えている。機器連携装置２は、取得部と収集部と選択部と制御部とを備えている。取得部は、入力装置５から送信される検出信号を取得する。収集部は、ユーザの視線を示す画像をカメラ３から収集する。選択部は、ユーザの視線に基づいて複数の機器から１つの機器６−ｉを選択する。制御部は、その検出信号に応答して、機器６−ｉの状態が変化するように、機器６−ｉを制御する。【選択図】図５

Description

本発明は、機器連携システム、機器連携装置、機器連携方法及び機器連携プログラムに関する。

従来、リモコンにより遠隔操作されることができる機器が知られている。このような機器としては、テレビ、エアコン、照明器具が例示される。ユーザは、リモコンを操作することにより、機器がユーザから離れている場合でも機器に接近することなく、機器を容易に操作することができる。また、ユーザの視線を検出することにより、ユーザが手を用いないで機器に情報を入力することができる装置が知られている（特許文献１〜３参照）。

特開平０９−８１３０９号公報 特開２０１２−８７４５号公報 特開平０５−３０３４６５号公報

しかしながら、ユーザは、複数の機器のうちの所望の機器を操作するときに、複数のリモコンから所望の機器を操作するリモコンを探す必要があり、リモコンの数が多いときに、所望の機器を操作する作業が煩雑になるという問題がある。

１つの側面では、複数の機器を操作する作業を簡潔にする機器連携システム、機器連携装置、機器連携方法及び機器連携プログラムを提供することを目的とする。

第１の案では、機器連携システムは、センサと、入力装置と、機器連携装置とを備えている。前記機器連携装置は、収集部と選択部と取得部と制御部とを有している。収集部は、監視対象の姿勢を示す姿勢情報を前記センサから収集する。選択部は、前記姿勢情報に基づいて複数の機器から選択機器を選択する。取得部は、前記入力装置から検出信号を取得する。制御部は、前記検出信号に応答して前記選択機器の状態が変化するように前記選択機器を制御する。

本発明の１実施態様によれば、複数の機器の状態を変化させる操作を簡潔にすることができる。

図１は、実施例１の機器連携システムを示すブロック図である。 図２は、実施例１におけるリモコンの一例を示すブロック図である。 図３は、実施例１における機器連携装置の一例を示すブロック図である。 図４は、実施例１における機器位置テーブルの一例を示す図である。 図５は、実施例１における機器の状態を変更させる動作の一例を示すシーケンス図である。 図６は、実施例２の機器連携システムのリモコンの一例を示す図である。 図７は、実施例２の機器連携システムの複数のＬＥＤのうちの１つの機器に対応するＬＥＤの一例を示す図である。 図８は、実施例２における視線データの一例を示す図である。 図９は、実施例２における視線データを更新する動作の一例を示すシーケンス図である。 図１０は、実施例２における選択された機器を通知する動作の一例を示すシーケンス図である。 図１１は、実施例２における機器が注目されている期間と、機器が選択されている期間との一例を示すタイムチャートである。 図１２は、実施例３における変更内容テーブルの一例を示す図である。 図１３は、実施例３における状態テーブルの一例を示す図である。 図１４は、実施例４の機器連携システムの複数のカメラのうちの１つの機器に対応するカメラを示す図である。 図１５は、機器連携プログラムを実行するコンピュータの一例を示す図である。

以下、図面を参照して、実施形態にかかる機器連携システム、機器連携装置、機器連携方法及び機器連携プログラムを説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する機器連携システム、機器連携装置、機器連携方法及び機器連携プログラムは、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。

［機器連携システム］
図１は、実施例１の機器連携システム１を示すブロック図である。機器連携システム１は、図１に示されているように、機器連携装置２とカメラ３と入力装置５と複数の機器６−１〜６−ｎ（ｎ＝２，３，４，…）とを備えている。機器連携装置２とカメラ３と入力装置５と複数の機器６−１〜６−ｎとは、無線ＬＡＮ（Local Area Network）７を介して互いの情報伝達可能に接続されている。複数の機器６−１〜６−ｎは、室内のうちの互いに異なる複数の位置にそれぞれ配置されている。複数の機器６−１〜６−ｎの各機器６−ｉ（ｉ＝１，２，３，…，ｎ）は、いわゆる家電製品である。家電製品としては、エアコン、テレビ、照明器具、パソコンが例示される。複数の機器６−１〜６−ｎは、それぞれ、無線ＬＡＮ７を介して機器連携装置２から指示信号を受信することにより状態が変化する。カメラ３は、複数の機器６−１〜６−ｎが配置される室内のうちの天井に配置されている。カメラ３は、機器連携装置２に制御されることにより、室内にいるユーザ８の画像を撮像し、無線ＬＡＮ７を介してその撮像された画像を機器連携装置２に送信する。

入力装置５は、スマホ１１とリモコン１２とを備えている。スマホ１１は、いわゆるコンピュータであり、インストールされるアプリケーションを実行することにより、所定の動作を実行する。スマホ１１は、無線ＬＡＮ７を介して機器連携装置２と情報伝達可能に接続されている。図２は、実施例１におけるリモコン１２の一例を示すブロック図である。リモコン１２は、図２に示されているように、ボタン１４と通信部１５とを備えている。ボタン１４は、ユーザに押下されることにより、押下信号を発信する。通信部１５は、ボタン１４から押下信号が発信されたときに、無線通信を介して検出信号をスマホ１１に発信する。その無線通信としては、Ｂｌｕｅｔｏｏｔｈ（登録商標）が例示される。スマホ１１は、所定のアプリケーションを実行することにより、リモコン１２から発信された検出信号を受信したときに、無線ＬＡＮ７を介して機器連携装置２に検出信号を送信する。

図３は、実施例１における機器連携装置２の一例を示すブロック図である。機器連携装置２は、いわゆるコンピュータであり、例えば、パーソナルコンピュータやサーバコンピュータから形成されている。機器連携装置２は、図３に示されているように、入力部２１と表示部２２と通信部２３と記憶部２４と制御部２５とを備えている。入力部２１は、ユーザに操作されることにより各種の情報を生成する入力デバイスであり、たとえば、マウスやキーボードなどが例示される。入力部２１は、ユーザに操作されることにより入力された情報を制御部２５に出力する。

表示部２２は、表示面を備えている表示デバイスである。表示部２２としては、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）が例示される。表示部２２は、制御部２５により作成された画面を表示面に表示する。通信部２３は、無線ＬＡＮ７を介してカメラ３と複数の機器６−１〜６−ｎとスマホ１１と各種情報を送受信する。

記憶部２４は、情報を記録する記憶デバイスである。記憶部２４としては、ハードディスク、ＳＳＤ（Solid State Drive）、光ディスクなどが例示される。なお、記憶部２４は、データを書き換え可能な半導体メモリであってもよい。半導体メモリとしては、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）などが例示される。記憶部２４は、制御部２５で実行されるＯＳ（Operating System）や各種プログラムを記録している。記憶部２４は、さらに、制御部２５で実行されるプログラムで用いられる各種データを記憶する。例えば、記憶部２４は、機器位置テーブル３１を記憶している。

制御部２５は、機器連携装置２を制御するデバイスである。制御部２５としては、電子回路や、集積回路を採用することができる。電子回路としては、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等が例示される。集積回路としては、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等が例示される。制御部２５は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部２５は、各種のプログラムを動作することにより各種の処理部として機能する。例えば、制御部２５は、処理部として取得部４１と収集部４２と選択部４３と制御部４４と登録部４５とを有している。

取得部４１は、スマホ１１から発信される検出信号を受信するように、通信部２３を制御する。収集部４２は、室内の画像が撮像されるように、カメラ３を制御する。すなわち、収集部４２は、無線ＬＡＮ７を介して制御信号がカメラ３に送信されるように、通信部２３を制御する。収集部４２は、さらに、カメラ３により撮像された画像がカメラ３から収集されるように、通信部２３を制御する。選択部４３は、収集部４２により収集された画像と機器位置テーブル３１とに基づいて、複数の機器６−１〜６−ｎから１つの機器６−ｉを選択する。制御部４４は、選択部４３により選択された機器６−ｉの状態が変更されるように、機器６−ｉを制御する。すなわち、制御部４４は、選択部４３により選択された機器６−ｉに指示信号が送信されるように、通信部２３を制御する。登録部４５は、入力部２１を介して入力された情報に基づいて機器位置テーブル３１が変更されるように、記憶部２４を制御する。

図４は、実施例１における機器位置テーブル３１の一例を示す図である。機器位置テーブル３１は、図５に示されているように、複数の機器ＩＤ５１を複数の位置５２に対応付けている。複数の機器ＩＤ５１は、複数の機器６−１〜６−ｎを識別し、それぞれ、複数の機器６−１〜６−ｎのうちの１つの機器６−ｉを示している。複数の位置５２のうちの機器６−ｉに対応する位置は、室内のうちの機器６−ｉが配置されている位置を示し、室内のうちの機器６−ｉが占めている３次元領域を示している。

このとき、選択部４３は、収集部４２により収集された画像を画像処理することにより、ユーザ８の視線を算出する。視線は、ユーザ８の眼球の位置と、ユーザ８の眼球が向いている方向とを示し、すなわち、ユーザ８とユーザ８が注目している対象とを結ぶ直線を示している。選択部４３は、ユーザ８の視線が算出されると、機器位置テーブル３１を参照して、複数の位置５２からその算出された視線と交差する位置を算出し、複数の機器ＩＤ５１からその算出された位置に対応する機器ＩＤを選択する。

［機器連携方法］
実施例１にかかる機器連携方法は、機器連携システム１により実行され、機器の状態を変更させる動作と、機器位置テーブル３１を更新する動作とを備えている。図５は、実施例１における機器の状態を変更させる動作の一例を示すシーケンス図である。ユーザは、複数の機器６−１〜６−ｎのうちの所望の機器６−ｉの状態を変更したいときに、機器６−ｉを注目しながら、リモコン１２のボタン１４を押下する。リモコン１２は、ボタン１４が押下されると、通信部１５を介して検出信号を発信する。スマホ１１は、リモコン１２から発信された検出信号を受信すると、図５に示されているように、無線ＬＡＮ７を介して機器連携装置２に検出信号を送信する（ステップＳ１）。

機器連携装置２は、入力装置５から検出信号を受信すると、無線ＬＡＮ７を介してカメラ３に制御信号を送信する（ステップＳ２）。カメラ３は、機器連携装置２から送信された制御信号を受信すると、室内の画像を撮像する（ステップＳ３）。カメラ３は、室内の画像を撮像すると、無線ＬＡＮ７を介してその撮像された画像を機器連携装置２に送信する（ステップＳ４）。

機器連携装置２は、カメラ３から送信された画像を受信すると、その受信された画像を画像処理することにより、リモコン１２を持っているユーザ８を特定する（ステップＳ５）。機器連携装置２は、ユーザ８が特定されると、さらに、その受信された画像を画像処理することにより、ユーザ８の視線を算出する（ステップＳ６）。機器連携装置２は、ユーザ８の視線が算出されると、機器位置テーブル３１に基づいて複数の機器６−１〜６−ｎからユーザ８が注目している機器６−ｉを選択する。すなわち、機器連携装置２は、ユーザ８の視線が算出されると、機器位置テーブル３１を参照して、複数の位置５２からその算出された視線と交差する位置を算出し、複数の機器ＩＤ５１からその算出された位置に対応する機器ＩＤを選択する（ステップＳ７）。

機器連携装置２は、機器ＩＤが選択されると、無線ＬＡＮ７を介して、機器ＩＤが示す機器６−ｉに指示信号を送信する（ステップＳ８）。機器６−ｉは、指示信号を受信すると、状態を更新する（ステップＳ９）。たとえば、機器６−ｉは、動作中であるときに、指示信号を受信することにより動作を停止し、動作が停止しているときに、指示信号を受信することにより動作を再開する。このような動作によれば、ユーザは、所望の機器６−ｉを注目しながらリモコン１２のボタン１４を押下することにより、機器６−ｉの状態を容易に変更することができる。ユーザは、さらに、複数の機器６−１〜６−ｎをそれぞれ操作する複数のリモコンから所望の機器６−ｉを操作する１つのリモコンを探す必要がなく、機器６−ｉの状態を容易に変更することができる。

なお、機器６−ｉは、機器連携装置２に制御されることにより、３つ以上の状態に変更されてもよい。機器６−ｉが取り得る複数の状態は、たとえば、機器６−ｉが照明器具であるときに、主灯点灯と常夜灯点灯と消灯とを示している。主灯点灯は、主灯が点灯し、常夜灯が消灯している状態を示している。常夜灯点灯は、主灯が消灯し、常夜灯が点灯している状態を示している。消灯は、主灯が消灯し、常夜灯が消灯している状態を示している。照明器具は、主灯点灯のときに、指示信号を受信することにより、常夜灯点灯に変化する。照明器具は、常夜灯点灯のときに、指示信号を受信することにより、消灯に変化する。照明器具は、消灯のときに、指示信号を受信することにより、主灯点灯に変化する。

機器連携システム１によれば、ユーザは、照明器具が消灯のときに、照明器具を注目しながら、リモコン１２のボタン１４を押下することにより、照明器具を主灯点灯の状態に容易に変更することができる。ユーザは、照明器具が主灯点灯のときに、照明器具を注目しながら、リモコン１２のボタン１４を押下することにより、照明器具を常夜灯点灯の状態に容易に変更することができる。ユーザは、照明器具が常夜灯点灯のときに、照明器具を注目しながら、リモコン１２のボタン１４を押下することにより、照明器具を消灯の状態に容易に変更することができる。

機器位置テーブル３１を更新する動作は、機器６−ｉが移動されたときに、または、複数の機器６−１〜６−ｎに新規の機器が追加されたときに、実行される。ユーザは、機器６−ｉが移動されたときに、または、複数の機器６−１〜６−ｎに新規の機器が追加されたときに、所定の操作を入力部２１に施す。機器連携装置２は、入力部２１に所定の操作がなされたときに、機器位置テーブル３１の内容を表示部２２に表示させる。ユーザは、機器６−ｉが新規の位置に移動されたときに、入力部２１を操作することにより、複数の位置５２のうちの機器６−ｉに対応する位置が新規の位置を示すように、機器位置テーブル３１を更新する。ユーザは、複数の機器６−１〜６−ｎに新規の機器が追加されたときに、入力部２１を操作することにより、新規の機器が配置される位置が新規の機器と対応するように、機器位置テーブル３１を更新する。機器連携装置２は、機器位置テーブル３１が更新されると、記憶部２４を制御することにより、その更新された機器位置テーブル３１を記憶部２４に記録する。

機器位置テーブル３１を更新する動作によれば、ユーザは、機器６−ｉが移動された場合でも、機器６−ｉを注目して入力装置５のリモコン１２のボタン１４を押下することにより、機器６−ｉの状態を変更することができる。機器位置テーブル３１を更新する動作によれば、ユーザは、新規の機器が追加された場合でも、新規の機器を注目して入力装置５のリモコン１２のボタン１４を押下することにより、新規の機器の状態を変更することができる。

［実施例１の機器連携システム１の効果］
実施例１の機器連携システム１は、機器連携装置２とカメラ３と入力装置５とを備えている。機器連携装置２は、取得部４１と収集部４２と選択部４３と制御部４４とを備えている。取得部４１は、入力装置５から送信される検出信号を取得する。収集部４２は、ユーザ８の視線を示す画像をカメラ３から収集する。選択部４３は、ユーザ８の視線に基づいて複数の機器６−１〜６−ｎから１つの機器６−ｉを選択する。制御部４４は、その検出信号に応答して、機器６−ｉの状態が変化するように、機器６−ｉを制御する。

このような機器連携システム１によれば、ユーザは、機器６−ｉを注目して入力装置５のリモコン１２のボタン１４を押下することにより、機器６−ｉの状態を変更することができる。複数の機器６−１〜６−ｎは、複数の機器６−１〜６−ｎをそれぞれ操作する複数のリモコンが設けられている。機器連携システム１によれば、ユーザは、複数のリモコンから機器６−ｉを操作するリモコンを探す必要がなく、容易に機器６−ｉを操作することができる。

実施例２の機器連携システムは、既述の実施例１の機器連携システム１のリモコン１２が他のリモコン６１に置換されている。図６は、実施例２の機器連携システムのリモコン６１の一例を示す図である。リモコン６１は、図６に示されているように、リモコン１２と同様にして、ボタン１４と通信部１５とを備え、表示部６２をさらに備えている。このとき、リモコン６１は、スマホ１１を介して双方向に情報伝達可能に機器連携装置２に接続されている。表示部６２は、機器連携装置２に制御されることにより、機器連携装置２により作成された画面を表示する。すなわち、スマホ１１は、機器連携装置２から送信された通知信号を受信すると、その通知信号をリモコン６１に転送することにより、その通知信号が示す画像が表示されるように、表示部６２を制御する。

実施例２の機器連携システムは、さらに、既述の実施例１の機器連携システム１に複数の機器６−１〜６−ｎに対応する複数のＬＥＤが追加されている。図７は、実施例２の機器連携システムの複数のＬＥＤのうちの１つの機器６−ｉに対応するＬＥＤ６３の一例を示す図である。ＬＥＤ６３は、図７に示されているように、機器６−ｉに組み込まれ、機器６−ｉが占める領域に配置され、または、機器６−ｉの近傍に配置されている。たとえば、ＬＥＤ６３は、機器６−ｉがエアコンであるときに、吹出口の脇に配置されている。ＬＥＤ６３は、機器６−ｉがテレビであるときに、テレビ画面の脇に配置されている。ＬＥＤ６３は、機器連携装置２に制御されることにより、青色に発光したり、赤色に発光したりする。

機器連携装置２の記憶部２４は、さらに、視線データ６４を記録している。図８は、実施例２における視線データ６４の一例を示す図である。視線データ６４は、図８に示されているように、複数の時刻６５を複数の視線６６に対応付けている。すなわち、複数の視線６６の各視線は、複数の時刻６５のうち１つの時刻に対応している。複数の視線６６のうちのある時刻に対応する視線は、その時刻にカメラ３により撮像された画像を画像処理することにより算出された視線を示している。たとえば、複数の視線６６のうちのある時刻に対応する視線は、その時刻にユーザ８がテレビを注目していたときに、ユーザ８とテレビとを結ぶ直線を示す。

機器連携装置２の制御部２５は、図示されていない通知部をさらに備えている。通知部は、選択部４３により選択された機器６−ｉを示す画面を作成し、その画像を示す通知信号をリモコン６１に送信することにより、その画像がリモコン６１の表示部６２に表示されるように、表示部６２を制御する。通知部は、さらに、選択部４３により機器６−ｉが選択されたときに、機器６−ｉのＬＥＤ６３が赤色に発光するように、機器６−ｉに通知信号を送信することによりＬＥＤ６３を制御する。通知部は、さらに、選択部４３により機器６−ｉが選択されたときに、機器６−ｉに通知信号を送信することにより、機器６−ｉのＬＥＤ６３が赤色に発光するように、ＬＥＤ６３を制御する。通知部は、さらに、選択部４３により機器６−ｉが選択されていないときに、機器６−ｉのＬＥＤ６３が青色に発光するように、ＬＥＤ６３を制御する。

［実施例２の機器連携方法］
実施例２の機器連携方法は、実施例２の機器連携システムにより実行され、視線データ６４を更新する動作と、選択された機器を通知する動作と、機器の状態を変更させる動作とを備えている。視線データ６４を更新する動作は、所定の時間間隔で間欠的に実行される。図９は、実施例２における視線データ６４を更新する動作の一例を示すシーケンス図である。カメラ３は、図９に示されているように、所定の時間間隔で間欠的に、室内の画像を撮像する（ステップＳ１１）。カメラ３は、室内の画像を撮像した後に、無線ＬＡＮ７を介して、その撮像された画像を機器連携装置２に送信する（ステップＳ１２）。機器連携装置２の選択部４３は、カメラ３から画像を受信すると、その画像を画像処理することにより、リモコン１２を持っているユーザを特定する（ステップＳ１３）。

選択部４３は、ユーザが特定されると、さらに、その受信された画像を画像処理することにより、ユーザ８の視線を算出する（ステップＳ１４）。選択部４３は、ユーザ８の視線が算出されると、記憶部２４を制御することにより、その画像が撮像された時刻にその算出された視線が対応するように、視線データ６４を更新する（ステップＳ１５）。

選択された機器を通知する動作は、所定の時間間隔で間欠的に実行される。その時間間隔は、視線データ６４を更新する動作が実行される時間間隔に等しい。なお、その時間間隔は、視線データ６４を更新する動作が実行される時間間隔と異なっていてもよく、たとえば、視線データ６４を更新する動作が実行される時間間隔より長くてもよい。図１０は、実施例２における選択された機器を通知する動作の一例を示すシーケンス図である。機器連携装置２は、図１０に示されているように、視線データ６４に基づいて複数の機器６−１〜６−ｎから１つの機器６−ｉを選択する（ステップＳ２１）。機器連携装置２は、視線データ６４によっては、機器６−ｉを選択しないこともある。

機器連携装置２は、ステップＳ２１の処理で機器６−ｉが選択されたときに、機器６−ｉが選択されていることを示す画面を作成し、ステップＳ２１の処理で機器が選択されなかったときに、機器が選択されていないことを示す画面を作成する（ステップＳ２２）。機器連携装置２は、その画面が作成された後に、無線ＬＡＮ７を介して、その作成された画面を示す通知信号を入力装置５に送信する（ステップＳ２３）。リモコン６１は、入力装置５が機器連携装置２から送信された通知信号を受信すると、通知信号が示す画面を表示部６２に表示することにより、選択されている機器をユーザに通知し、または、機器が選択されていないことをユーザに通知する（ステップＳ２４）。

機器連携装置２は、ステップＳ２１の処理で機器６−ｉが選択されたときに、さらに、無線ＬＡＮ７を介して機器６−ｉが選択されていることを示す通知信号を機器６−ｉに送信する。機器連携装置２は、さらに、ステップＳ２１の処理で機器６−ｉが選択されなかったときに、無線ＬＡＮ７を介して機器６−ｉが選択されなかったことを示す通知信号を機器６−ｉに送信する（ステップＳ２５）。

機器６−ｉは、機器連携装置２から送信された通知信号が機器６−ｉが選択されていることを示すときに、ＬＥＤ６３を赤色に発光させ、機器６−ｉが選択されていることをユーザに通知する。機器６−ｉは、機器連携装置２から送信された通知信号が機器６−ｉが選択されていないことを示すときに、ＬＥＤ６３を青色に発光させ、機器６−ｉが選択されていないことをユーザに通知する（ステップＳ２６）。

図１１は、実施例２における機器６−ｉが注目されている期間と、機器６−ｉが選択されている期間との一例を示すタイムチャートである。注目状態６７は、機器６−ｉが注目されているかどうかの変化を示している。注目状態６７は、ユーザが第１時刻ｔ_１より前に機器６−ｉを注目していないことを示し、第１時刻ｔ_１より前の時刻に撮像された画像に基づいて算出された視線が、機器６−ｉに交差していないことを示している。注目状態６７は、ユーザが第１時刻ｔ_１で機器６−ｉを注目し始めたことを示し、第１時刻ｔ_１に撮像された画像に基づいて算出された視線が、機器６−ｉに交差していることを示している。注目状態６７は、ユーザが第２時刻ｔ_２で機器６−ｉを注目することを止めたことを示し、第２時刻ｔ_２に撮像された画像に基づいて算出された視線が、機器６−ｉに交差していないことを示している。すなわち、注目状態６７は、第１時刻ｔ_１から第２時刻ｔ_２までの期間に撮像された画像に基づいて算出された視線が、機器６−ｉに交差していることを示している。注目状態６７は、第１時刻ｔ_１から第２時刻ｔ_２までの期間と異なる他の期間に撮像された画像に基づいて算出された視線が、機器６−ｉに交差していないことを示している。

選択状態６８は、図１０のシーケンス図のステップＳ２１で機器６−ｉが選択されているかどうかの変化を示している。選択状態６８は、第３時刻ｔ_３より前の時刻で機器６−ｉが選択されていないことを示し、第３時刻ｔ_３より後の時刻で機器６−ｉが選択されていることを示している。選択状態６８は、さらに、第４時刻ｔ_４より前の時刻で機器６−ｉが選択されていることを示し、第４時刻ｔ_４より後の時刻で機器６−ｉが選択されていないことを示している。

図１１のタイムチャートは、第３時刻ｔ_３が第１時刻ｔ_１より時間Δｔ_１後であることを示している。すなわち、図１１のタイムチャートは、ユーザが機器６−ｉを注目した直後に機器６−ｉが選択されないことを示し、ユーザが機器６−ｉを注目している時間が時間Δｔ_１より長いときに、機器６−ｉが選択されることを示している。すなわち、機器連携装置２の選択部４３は、視線データ６４に基づいて、ユーザが機器６−ｉを注目している時間を算出する。機器６−ｉは、ユーザが機器６−ｉを注目している時間が時間Δｔ_１より短いときに、選択されないで、ユーザが機器６−ｉを注目している時間が時間Δｔ_１より長いときに、選択される。

図１１のタイムチャートは、さらに、第４時刻ｔ_４が第２時刻ｔ_２より時間Δｔ_２後であることを示している。すなわち、図１１のタイムチャートは、ユーザが機器６−ｉの注目を止めた直後も機器６−ｉが選択され続けることを示し、ユーザが機器６−ｉの注目を止めてから時間Δｔ_２が経過後に機器６−ｉが選択されなくなることを示している。すなわち、機器連携装置２の選択部４３は、視線データ６４に基づいて、ユーザが機器６−ｉを注目していない時間を算出する。機器６−ｉは、ユーザが機器６−ｉを注目していない時間が時間Δｔ_２より短いときに、選択され、ユーザが機器６−ｉを注目していない時間が時間Δｔ_２より長いときに、選択されない。

このような機器の選択によれば、機器連携装置２は、ユーザが機器６−ｉを注目し始めてから時間Δｔ_１経過後に、機器６−ｉを選択し、ＬＥＤ６３および表示部６２を用いて機器６−ｉが選択されていることをユーザに通知する。機器連携装置２は、ユーザが時間Δｔ_１より短い時間だけ機器６−ｉをちらっと見たときに、機器６−ｉを選択しないで、ＬＥＤ６３または表示部６２を用いて機器６−ｉが選択されていることをユーザに通知しない。

このような機器の選択によれば、機器連携装置２は、ユーザが機器６−ｉの注目を止めてから時間Δｔ_２が経過した後に、機器６−ｉが選択されていないことを示す画面をリモコン６１の表示部６２に表示させる。機器連携装置２は、ユーザが機器６−ｉの注目を止めてから時間Δｔ_２が経過するまでの期間も、選択された機器６−ｉを示す画面をリモコン６１の表示部６２に表示させることができる。

機器の状態を変更させる動作は、ユーザによりリモコン６１のボタン１４が押下されることにより、開始する。入力装置５は、リモコン６１のボタン１４が押下されると、無線ＬＡＮ７を介して機器連携装置２に検出信号を送信する。機器連携装置２の制御部４４は、機器連携装置２が入力装置５から検出信号を受信すると、既述の選択された機器を通知する動作で選択される機器６−ｉに無線ＬＡＮ７を介して指示信号を送信する。機器６−ｉは、指示信号を受信すると、状態を更新する。すなわち、制御部４４により状態が変更される機器６−ｉは、機器連携装置２が検出信号を取得した時刻より前の時刻に撮像された画像に基づいて選択される。

図１１に示されているような機器の選択によれば、機器連携装置２は、ユーザが時間Δｔ_１より短い時間だけ機器６−ｉをちらっと見てボタン１４を押下したときに、機器６−ｉの状態を変化させない。このため、機器連携装置２は、ユーザがリモコン６１を操作するときに無意識にちらっと見た機器が選択される誤作動が起こることを防止することができる。機器連携装置２は、ユーザが機器６−ｉの注目を止めてから時間Δｔ_２が経過する前にボタン１４を押下した場合でも、機器６−ｉを選択し、機器６−ｉの状態を変更することができる。すなわち、機器連携装置２は、ユーザがリモコン６１を用いて機器６−ｉの状態を変更させるときに、ユーザが機器６−ｉを注目した後に、表示部６２に表示される画面をユーザが確認する時間を確保することができる。機器連携装置２は、ユーザが表示部６２を見る時間を確保することにより、ユーザがリモコン６１を用いて機器６−ｉの状態を変化させる操作を容易にすることができる。

［実施例２の機器連携システムの効果］
実施例２の機器連携システムの収集部４２は、カメラ３から収集される複数の画像に基づいて複数の時刻６５に対応する複数の視線６６を示す視線データ６４を記憶部２４に記録する。選択部４３は、複数の視線６６に基づいてユーザが機器６−ｉの方向を向いている時間を算出し、その時間が所定の時間Δｔ_１以上であるときに機器６−ｉを選択する。

このような機器連携装置２は、視線データ６４が記憶部２４に記録されていることにより、ユーザが機器６−ｉを注目している期間と、機器６−ｉが選択されている期間とをずらすことができる。機器連携装置２は、ユーザが機器６−ｉの方向を向いている時間が所定の時間Δｔ_１以上であるときにその機器６−ｉを選択することにより、ユーザがちらっと見た機器が選択されることが防止される。機器連携装置２は、ユーザがちらっと見た機器が選択されることが防止されることにより、ユーザにより注目された機器６−ｉを適切に選択することができ、ユーザにより注目された機器６−ｉの状態を適切に変更することができる。

また、実施例２の機器連携システムの選択部４３は、複数の視線６６のうちの入力装置５から発信された検出信号が取得された時刻より前の時刻に対応する視線に基づいて機器６−ｉを選択する。このような機器連携システムは、検出信号が取得された時刻より前の時刻のユーザ８の視線に基づいて機器６−ｉを選択することにより、ユーザが注目していた機器を適切に選択することができる。すなわち、このような機器連携装置２は、ユーザが機器６−ｉを注目した後にリモコン６１を見ながらリモコン６１を操作した場合でも、機器６−ｉを適切に選択することができる。このような機器連携装置２によれば、ユーザは、機器６−ｉを見ながらリモコン６１を操作する必要がなく、機器６−ｉの状態を容易に変更させることができる。

また、実施例２の機器連携システムの選択部４３は、さらに、カメラ３から収集される画像に基づいて複数のユーザから１人のユーザを特定する。制御部４４は、ユーザが特定されないときに機器６−ｉの状態を変化させない。このような機器連携装置２は、ユーザが特定されないときに機器６−ｉの状態を変化させないことにより、入力装置５が誤動作で検出信号を発信した場合に、機器６−ｉの状態を変化させる誤動作を防止することができる。

ところで、既述の実施例の機器連携システムの選択部４３は、複数のユーザからリモコンを持っているユーザを特定しているが、他の基準でユーザを特定してもよい。たとえば、選択部４３は、複数のユーザから予め顔認証システムで登録されているユーザを特定してもよい。機器連携システムは、顔認証システムによりユーザを特定するときに、所定のユーザ以外のリモコン６１の操作により機器６−ｉの状態が変化しないように、たとえば、小さい子供が機器６−ｉの状態を変化させないようにチャイルドロックすることができる。

また、実施例２の機器連携システムは、リモコン６１の表示部６２と複数の機器６−１〜６−ｎのＬＥＤ６３とをさらに備えている。機器連携装置２は、選択部４３により機器６−ｉが選択されている最中に機器６−ｉをユーザに通知するように、リモコン６１の表示部６２と複数の機器６−１〜６−ｎのＬＥＤ６３とを制御する通知部をさらに有している。

このような機器連携装置２は、ユーザ８の視線により選択された機器６−ｉをユーザに通知することができる。このような機器連携システムによれば、ユーザは、リモコン６１を操作する前に、どの機器が選択されているかを確認することができ、所望の機器６−ｉを適切に操作することができる。

ところで、リモコン６１の表示部６２は、選択された機器を示す画面を表示するが、選択された機器を他の手段でユーザに通知する通知装置に置換されてもよい。その通知装置としては、選択された機器を音声でユーザに通知する音声装置が例示される。実施例２の機器連携システムは、このような通知装置が設けられた場合でも、選択された機器をユーザに通知することにより、ユーザの操作を容易にすることができる。さらに、実施例２の機器連携システムは、リモコン６１の表示部６２と複数の機器６−１〜６−ｎのＬＥＤ６３との両方を備えているが、一方が省略されてもよい。実施例２の機器連携システムは、リモコン６１の表示部６２と複数の機器６−１〜６−ｎのＬＥＤ６３との一方が省略された場合でも、選択された機器を他方がユーザに通知することができる。

実施例３の機器連携システムは、既述の実施例２の機器連携装置２の記憶部２４に変更内容テーブル７１と状態テーブル７２とがさらに記録されている。図１２は、実施例３における変更内容テーブル７１の一例を示す図である。変更内容テーブル７１は、図１２に示されているように、複数の機器ＩＤ７３を複数の状態７４に対応付けている。複数の機器ＩＤ７３は、複数の機器６−１〜６−ｎを識別し、それぞれ、複数の機器６−１〜６−ｎのうちの１つの機器６−ｉを示している。複数の状態７４のうちの機器６−ｉに対応する状態は、機器６−ｉが取り得る複数の状態を示している。

変更内容テーブル７１は、さらに、複数の機器ＩＤ７３と複数の状態７４と複数の操作内容７５とを複数の変更内容７６に対応付けている。複数の操作内容７５は、それぞれ、ボタン１４を操作する内容を示している。複数の操作内容７５としては、ボタン１４を１回押下するシングルクリック、ボタン１４を素早く２回押下するダブルクリック、ボタン１４を素早く３回押下するトリプルクリック、ボタン１４を所定時間押したままにする長押しが例示される。複数の変更内容７６のうちの機器６−ｉとある状態とある操作内容とに対応する変更内容は、機器６−ｉが選択されている場合で、その操作内容がボタン１４に施されたときに、機器６−ｉがいかに変更されるかを示し、その状態から変更される状態を示している。

図１３は、実施例３における状態テーブル７２の一例を示す図である。状態テーブル７２は、図１３に示されているように、複数の機器ＩＤ７７を複数の状態７８に対応付けている。複数の機器ＩＤ７７は、複数の機器６−１〜６−ｎを識別し、それぞれ、複数の機器６−１〜６−ｎのうちの１つの機器６−ｉを示している。複数の状態７８のうちの機器６−ｉに対応する状態は、機器６−ｉの状態を示している。たとえば、複数の状態７８のうちの機器６−ｉに対応する状態は、機器６−ｉがエアコンであるときに、設定温度を示している。複数の状態７８のうちの機器６−ｉに対応する状態は、機器６−ｉがテレビであるときに、選局されているチャンネルを示している。

実施例３の機器連携方法は、実施例３の機器連携システムにより実行され、視線データ６４を更新する動作と、機器の状態を収集する動作と、選択された機器を通知する動作と、機器の状態を変更させる動作とを備えている。視線データ６４を更新する動作は、既述の実施例２の機器連携方法の視線データ６４を更新する動作と同様である。

機器の状態を収集する動作は、間欠的に実行される。機器連携装置２は、複数の機器６−１〜６−ｎを制御することにより、複数の機器６−１〜６−ｎから複数の状態をそれぞれ収集する。複数の状態のうちの機器６−ｉから収集された状態は、機器６−ｉの状態を示している。機器連携装置２は、複数の状態を収集すると、記憶部２４を制御することにより、複数の状態７８のうちの機器６−ｉに対応する状態が機器６−ｉの状態を示すように、状態テーブル７２を更新する。

選択された機器を通知する動作は、既述の実施例２の機器連携方法の選択された機器を通知する動作で機器連携装置２から入力装置５に送信される通知信号が他の通知信号に置換されている。その置換された通知信号は、選択されている機器６−ｉと、機器６−ｉの状態と、複数の操作内容と、複数の操作内容に対応する複数の変更内容とを示す画面を示している。

たとえば、その画面は、エアコンが選択されているときに、エアコンが選択されていることと、エアコンの設定温度と、複数の操作内容に対応する複数の変更内容とを示している。その複数の変更内容は、シングルクリックでオンオフが切り替えされること、ダブルクリックで設定温度が上昇すること、トリプルクリックで設定温度が下降することを示している。その画面は、テレビが選択されているときに、テレビが選択されていることと、テレビにより選局されているチャンネルと、複数の操作内容に対応する複数の変更内容とを示している。その複数の変更内容は、シングルクリックでオンオフが切り替えされること、ダブルクリックでチャンネルが昇順に変更すること、トリプルクリックでチャンネルが降順に変更することを示している。

このような動作によれば、ユーザは、ボタン１４を操作する前に、リモコン６１の表示部６２を見ることにより、ボタン１４を操作したときにどの機器がどのように変化するのかを確認することができる。ユーザは、どの機器がどのように変化するのかを確認することにより、所望の機器と異なる他の機器の状態を変化させる誤操作を防止することができる。

機器の状態を変更させる動作は、既述の実施例２の機器連携方法の機器の状態を変更させる動作で利用される指示信号が他の指示信号に置換されている。その指示信号は、複数の変更内容７６のうちの、選択された機器６−ｉと、機器６−ｉの状態と、ボタン１４に施された操作内容とに対応する変更内容を示している。機器６−ｉは、指示信号を受信すると、その指示信号が示す変更内容に基づいて状態を変化させる。

［実施例３の機器連携システムの効果］
実施例３の機器連携装置２は、複数の操作内容７５を複数の変更内容７６に対応付ける変更内容テーブル７１を記憶部２４に記録している。制御部４４は、変更内容テーブル７１を参照して、複数の変更内容７６のうちのリモコン６１に施された操作内容に対応する変更内容で機器６−ｉの状態が変化するように機器６−ｉを制御する。このような機器連携装置２は、リモコン６１の１つのボタン１４での一回の操作により、機器６−ｉを１つの状態から複数の状態に変更することができる。

ところで、既述の実施例の機器連携システムは、カメラ３を１つ備えているが、室内のうちの互いに異なる複数の位置にそれぞれ配置される複数のカメラを備えてもよい。複数のカメラがそれぞれ配置される複数の位置としては、室内の天井の四隅が例示される。機器連携システムは、このような複数のカメラによりそれぞれ撮影される複数の画像を画像処理することによりユーザ８の視線を算出する。

機器連携装置２は、カメラ３がユーザ８の画像を撮像することができないときに、ユーザ８の視線を算出することができないので、複数の機器６−１〜６−ｎからユーザが注目している機器６−ｉを選択することができない。機器連携システムは、複数のカメラを備えることにより、複数のカメラのうちのあるカメラがユーザ８の画像を撮像することができない場合でも、他のカメラがユーザ８の画像を撮像することができる場合がある。機器連携システムは、複数のカメラを備えることにより、ユーザ８の画像をより確実に撮像することができ、ユーザ８の視線をより確実に算出することができ、ユーザが注目している機器の状態を適切に変更することができる。

実施例４の機器連携システムは、既述の実施例３の機器連携システムのカメラ３が、複数の機器６−１〜６−ｎに対応する複数のカメラに置換されている。図１４は、実施例４の機器連携システムの複数のカメラのうちの１つの機器６−ｉに対応するカメラ８１を示す図である。カメラ８１は、図１４に示されているように、機器６−ｉに組み込まれ、機器６−ｉが占める領域に配置され、または、機器６−ｉの近傍に配置されている。たとえば、カメラ８１は、機器６−ｉがエアコンであるときに、吹出口の脇に配置されている。カメラ８１は、機器６−ｉがテレビであるときに、テレビ画面の脇に配置されている。カメラ８１は、機器連携装置２に制御されることにより、機器６−ｉから見た室内の画像を撮像する。

実施例４の機器連携方法は、実施例４の機器連携システムにより実行される。複数のカメラは、それぞれ、所定の時間間隔で間欠的に、複数の機器６−１〜６−ｎを視点とする室内の複数の画像をそれぞれ撮像し、その複数の画像を機器連携装置２に送信する。すなわち、複数のカメラのうちの機器６−ｉに対応するカメラ８１は、機器６−ｉから見た室内の画像を撮像し、その撮像された画像を機器連携装置２に送信する。

機器連携装置２の選択部４３は、複数のカメラからそれぞれ送信された複数の画像からユーザと視線が合っている画像を選択し、すなわち、カメラを注目しているユーザが写し出されている画像を選択する。選択部４３は、複数のカメラからその画像が撮像されたカメラ８１を選択し、複数の機器６−１〜６−ｎからカメラ８１に対応する機器６−ｉを選択する。選択部４３は、さらに、その選択された機器６−ｉを示す選択機器情報を、複数の画像が撮像された時刻に対応付けて記憶部２４に記録する。

機器連携装置２の制御部４４は、入力装置５から発信された検出信号を受信すると、記憶部２４に記録されている複数の選択機器情報から、検出信号が受信された時刻より前の時刻に対応する選択機器情報を算出する。制御部４４は、その算出された選択機器情報が示す機器６−ｉに指示信号を送信することにより、機器６−ｉの状態を変化させる。

［実施例４の機器連携システムの効果］
実施例４の機器連携システムは、複数の機器６−１〜６−ｎにそれぞれ搭載される複数のカメラを備えている。選択部４３は、複数のカメラによりそれぞれ撮像された複数の画像を画像処理することにより、ユーザが注目している機器６−ｉを選択する。

複数の画像からユーザと視線が合っている画像を選択する情報処理は、既述のカメラ３により撮像された画像に基づいて視線を算出する画像処理の情報処理に比較して、簡単である。このため、実施例４の機器連携システムの選択部４３は、既述の実施例の機器連携システムの選択部４３に比較して、より容易に作成されることができる。実施例４の機器連携システムは、選択部４３が容易に作成されることにより、製造コストを低減することができる。

ところで、既述の実施例の機器連携システムのカメラ３およびカメラ８１は、ユーザ８の画像を機器連携装置２に送信しているが、ユーザ８の画像と異なる他の情報を機器連携装置２に送信する他のセンサに置換されてもよい。その情報としては、ユーザ８の視線の３次元位置を示す情報、ユーザ８の頭部の位置と姿勢とを示す情報が例示される。機器連携装置２は、このようなセンサが機器連携システムに設けられた場合でも、ユーザ８の視線に基づいて複数の機器６−１〜６−ｎから機器６−ｉを選択することができ、機器６−ｉの状態を変化させるユーザ８の操作を容易にすることができる。

ところで、既述の実施例の機器連携装置２の選択部４３は、ユーザ８の視線に基づいて複数の機器６−１〜６−ｎから機器６−ｉを選択しているが、ユーザと異なる他の監視対象の姿勢に基づいて機器６−ｉを選択してもよい。その監視対象としては、リモコン１２、６１が例示される。このとき、ユーザは、機器６−ｉの状態を変更させたいときに、リモコン１２、６１を機器６−ｉに向けて、リモコン１２、６１を操作する。機器連携装置２は、リモコン１２、６１の画像に基づいてリモコン１２、６１が向けられている機器６−ｉを選択し、機器６−ｉの状態が変化するように、機器６−ｉを制御する。機器連携装置２は、このように機器６−ｉを選択する場合でも、機器６−ｉの状態を変化させるユーザの操作を容易にすることができる。

ところで、既述の実施例の機器連携システムのリモコン６１は、ボタン１４を備えているが、ボタン１４と異なる他の入力デバイスに置換されてもよい。その入力デバイスとしては、キーボード、ジョグダイヤル、タッチパネルが例示される。リモコン６１は、このような入力デバイスを備えるときに、ボタン１４に比較して、より多くの操作内容が施されることができる。このため、機器連携システムは、リモコン６１に施されるユーザの操作に基づいて、選択された機器６−ｉの状態をより複雑に変更することができる。

既述の実施例の機器連携システムの入力装置５は、リモコン１２、６１とスマホ１１とを備えているが、他の形態の入力装置から形成されてもよい。その入力装置としては、単体の入力装置、仮想リモコンと監視カメラ装置とのセットが例示される。仮想リモコンは、それ自体にユーザの操作を検出したり、信号を発信したりする機能を有していない。監視カメラ装置は、仮想リモコンの画像を撮像し、その画像を画像処理することにより、ユーザから仮想リモコンに施される操作内容を算出し、その操作内容を示す検出信号を機器連携装置２に送信する。その操作内容としては、仮想リモコンの所定の部分を押下すること、仮想リモコンを所定の方向に振ること、仮想リモコンを所定の方向の回転軸を中心に回転させることが例示される。機器連携システムは、このような入力装置を備える場合でも、既述の実施例の機器連携システムと同様にして、複数の機器６−１〜６−ｎの状態を変更させる操作を容易にすることができる。

［システム］
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部４１と収集部４２と選択部４３と制御部４４と登録部４５との各処理部が適宜統合または分散されているような構成であってもよい。さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。

［ハードウェア］
上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図１５は、機器連携プログラムを実行するコンピュータの一例を示す図である。

図１５に示すように、コンピュータ９００は、通信インタフェース９０１、ＨＤＤ（Hard Disk Drive）９０２、メモリ９０３、プロセッサ９０４及び入出力インタフェース９０５を有する。これら９０１〜９０５の各部は、バス９１０を介して接続される。

通信インタフェース９０１は、各機能部の説明時に示した通信部２３に該当し、例えばネットワークインタフェースカードなどである。ＨＤＤ９０２には、機器連携装置２の取得部４１と収集部４２と選択部４３と制御部４４と登録部４５と同様の機能を発揮する機器連携プログラム９２０ａが予め記憶される。なお、機器連携プログラム９２０ａについては、適宜分離しても良い。また、ＨＤＤ９０２は、各種情報を記憶する。

プロセッサ９０４は、機器連携プログラム９２０ａをＨＤＤ９０２等から読み出してメモリ９０３に展開することで、図３等で説明した各機能を実行するプロセスを動作させる。すなわち、このプロセスは、機器連携装置２の取得部４１と収集部４２と選択部４３と制御部４４と登録部４５と同様の機能を実行する。入出力インタフェース９０５は、各機能部への情報の入力及び各機能部からの情報の出力を行う。

なお、上記した機器連携プログラム９２０ａについては、必ずしも最初からＨＤＤ９０２に記憶させることを要しない。例えば、コンピュータ９００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にプログラムを記憶させておく。そして、コンピュータ９００がこれらからプログラムを読み出して実行するようにしてもよい。さらには、公衆回線、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などを介してコンピュータ９００に接続される「他のコンピュータ（またはサーバ）」などにプログラムを記憶させておく。そして、コンピュータ９００がこれらからプログラムを読み出して実行するようにしてもよい。

１ ：機器連携システム
２ ：機器連携装置
３ ：カメラ
５ ：入力装置
６−１〜６−ｎ：複数の機器
１１ ：スマホ
１２ ：リモコン
１４ ：ボタン
１５ ：通信部
２３ ：通信部
２４ ：記憶部
２５ ：制御部
３１ ：機器位置テーブル
４１ ：取得部
４２ ：収集部
４３ ：選択部
４４ ：制御部
４５ ：登録部
６１ ：リモコン
６２ ：表示部
６３ ：ＬＥＤ
６４ ：視線データ
７１ ：変更内容テーブル
７２ ：状態テーブル
９００：コンピュータ
９２０ａ：機器連携プログラム

Claims (10)

1. センサと、
   入力装置と、
   機器連携装置とを備え、
   前記機器連携装置は、
   監視対象の姿勢を示す姿勢情報を前記センサから収集する収集部と、
   前記姿勢情報に基づいて複数の機器から選択機器を選択する選択部と、
   前記入力装置から検出信号を取得する取得部と、
   前記検出信号に応答して前記選択機器の状態が変化するように前記選択機器を制御する制御部とを有する
   ことを特徴とする機器連携システム。
2. 前記収集部は、前記姿勢情報に基づいて複数の時刻に対応する複数の姿勢データを記憶部に記録し、
   前記選択部は、前記複数の姿勢データに基づいて前記監視対象が前記選択機器の方向を向いている時間を算出し、前記時間が所定の閾値以上であるときに前記選択機器を選択する
   請求項１に記載の機器連携システム。
3. 前記選択部は、前記複数の姿勢データのうちの前記検出信号が取得された時刻より前の時刻に対応する姿勢データに基づいて前記選択機器を選択する
   請求項２に記載の機器連携システム。
4. 前記選択部は、さらに、前記姿勢情報に基づいて複数の対象から前記監視対象を特定し、
   前記制御部は、前記監視対象が特定されないときに前記選択機器の状態を変化させない
   請求項１〜請求項３のいずれか一項に記載の機器連携システム。
5. 通知装置をさらに備え、
   前記機器連携装置は、前記選択部により前記選択機器が選択されている最中に前記選択機器が前記監視対象に通知されるように前記通知装置を制御する通知部をさらに有する
   請求項１〜請求項４のいずれか一項に記載の機器連携システム。
6. 前記制御部は、複数の操作内容を複数の変更内容に対応付けるテーブルを参照して、前記複数の変更内容のうちの前記入力装置に施された操作内容に対応する変更内容で前記選択機器の状態が変化するように前記選択機器を制御する
   請求項１〜請求項５のいずれか一項に記載の機器連携システム。
7. 前記センサは、前記複数の機器にそれぞれ搭載される複数のカメラを含み、
   前記選択部は、前記複数のカメラによりそれぞれ撮像された複数の画像を画像処理することにより前記選択機器を選択する
   請求項１〜請求項６のいずれか一項に記載の機器連携システム。
8. 監視対象の姿勢を示す姿勢情報をセンサから収集する収集部と、
   前記姿勢情報に基づいて複数の機器から選択機器を選択する選択部と、
   入力装置から検出信号を取得する取得部と、
   前記検出信号に応答して前記選択機器の状態が変化するように前記選択機器を制御する制御部とを備える
   機器連携装置。
9. 監視対象の姿勢を示す姿勢情報をセンサから収集し、
   前記姿勢情報に基づいて複数の機器から選択機器を選択し、
   入力装置から検出信号を取得し、
   前記検出信号に応答して前記選択機器の状態が変化するように前記選択機器を制御する
   処理をコンピュータが実行することを特徴とする機器連携方法。
10. 監視対象の姿勢を示す姿勢情報をセンサから収集し、
    前記姿勢情報に基づいて複数の機器から選択機器を選択し、
    入力装置から検出信号を取得し、
    前記検出信号に応答して前記選択機器の状態が変化するように前記選択機器を制御する
    処理をコンピュータに実行させることを特徴とする機器連携プログラム。

Images