JP2021145198A

JP2021145198A - アイコンタクトによる機器操作システム

Info

Publication number: JP2021145198A
Application number: JP2020041424A
Authority: JP
Inventors: 佐々木雄司; Yuji Sasaki; 中屋悠資; Yushi Nakaya; 尾崎正和; Masakazu Ozaki
Original assignee: Individual
Current assignee: Individual
Priority date: 2020-03-10
Filing date: 2020-03-10
Publication date: 2021-09-24

Abstract

【課題】視線検出により操作対象を特定する方法は、いずれも精度が十分とはいえず、誤作動が多く実用に至っていない。【解決手段】機器を音声で操作する機器操作システムであって、前記機器にそれぞれ設置された、ユーザーを撮像するカメラと、前記カメラが撮影した画像を認識し、ユーザーの視線を検知する視線検知部と、視認対象と判定された画像を撮影したカメラが設置された機器が、コマンド待機状態であることをユーザーへ通知して操作を促すユーザーインターフェースを提供するUI提供部と、操作を促されたユーザーが操作指示した音声を認識し、コマンドを判定するコマンド判定部と、前記コマンドを指定して待機状態の機器を制御する制御部と、を備える機器操作システムを提供する。【選択図】図１

Description

本発明は、人間と家電がお互いに認識し合っていることをインジケータの点灯により示し、視線による操作対象指定を安定的に行うシステムに関するものである。

多くのデバイスを1 つの方法で制御するには操作対象を識別する必要がある。操作対象の指定には家電に名前を登録することが考えられるが、事前に命名スキームを知っておく必要があり、訪問者はそれを推測できないという問題がある（非特許文献１）。「ただいま」といった状況を示すキーワードを用いて事前に登録した複数の家電の操作を行えるようにするものもあるが、正確な操作に向かないうえ、キーワードを覚えている必要がある点では家電に名前を登録しておくことと変わりはない。

この問題を解決するために操作対象の指定に視線を用いる研究が行われており、視線による選択と音声に限らない様々な命令方法を組み合わせることで家電を操作しようとしている。非特許文献１によると、ライトを操作するときに対象物を全く見ない人は9%であり、それ以外は66%が常に見ており、25%は必要に応じて見ていた。このことから操作対象の指定に視線を用いるのは自然であるといえる。

非特許文献２は、室内に設置した視線推定モジュールを用いてユーザーが見つめているデバイスを特定、さらに同じく設置しているハンドジェスチャー認識モジュールでユーザーが意図する操作を特定することで家電を操作するというシステムを提案している。しかし、視線の推定は完全ではなく誤検出される場合があり、正確な操作対象指定は難しい。

非特許文献３は、室内に１つの視線検出デバイスを置いてユーザーが何を見ているのか推定するのではなく、カメラをユーザーが見ているかどうか判別する手法を提案している。このカメラを家電に取り付けることで、ユーザーが家電を見ているかの判別に応用できる。しかし、機械学習モデルのトレーニングが環境やユーザーに依存するため、一般的に高い精度を実現することは難しいと指摘されている（非特許文献４）。

特許文献１は、顔認識を使用して、環境に入る場合に個人に関連したネットワークに接続された機器を開始するシステム等を開示している。この場合、機器間で共有している情報は、ユーザーに通知すべき内容に関するものであって、機器選択のためにユーザーがどのように機器を見ているかといった情報は共有されていない。

特開2004-536376号公報

Brumitt, B. and Cadiz, J.: "Let There Be Light":Examining Interfaces for Homes of the Future, INTERACT(2001) Kim, J., Choi, S. and Jeong, J.: Watch ＆ Do: A Smart IoT Interaction System with Object Detection and Gaze Estimation, IEEE Transactions on Consumer Electronics (2019) Smith, B. A., Yin, Q., Feiner, S. K., Nayar, S. K.: Gaze Locking: Passive Eye Contact Detection for Human−Object Interaction, ACM User Interface Software and Technology (2013) Zhang, X., Sugano, Y. and Bulling, A.: Everyday Eye Contact Detection Using Unsupervised Gaze Target Discovery, ACM User Interface Software and Technology (2017)

上述したように、視線検出により操作対象を特定する手法は広く研究されており、特定されたデバイスに対してハンドジェスチャーや音声コマンドなどにより操作するシステムが開発されている。視線検出により操作対象を特定するには(1) 室内に設置された1 つのカメラで何を見ているか特定する方法、(2) 操作対象の家電それぞれにカメラを取り付けて見つめられているか判断する方法などがあるが、いずれも精度が十分とはいえず、誤作動が多く実用に至っていない。

本発明は、操作対象がユーザーの視線を検知したことをユーザーにフィードバックする機構を組み込むことにより、ユーザー視線の誤検知を防ぐことを特徴とする。

本発明によれば、ユーザーの視線を検知した機器がインジケータを点灯することにより、ユーザーに操作を促すため、誤作動を抑制し、高い精度で機器を制御することができる。

本発明の第１の実施形態に係る機器操作システムの機能の一例を示すブロック図である。図１に示す機器操作システムの処理とユーザーの機器操作の流れを示すタイミングチャートである。本発明の第１の実施形態に係る機器操作システムの実施例の概略構成図である。本発明の第２の実施形態に係るネゴシエーション部を備えた機器操作システムの機能の一例を示すブロック図である。図４に示すネゴシエーション部において機器を再選択する手順の一例を示す模式図である。図４に示すネゴシエーション部における処理の流れを示すタイミングチャートである。

以下、本発明の実施の形態について図面を参照して説明する。
（第1の実施形態）
図１は、本発明の機器操作システムの構成の一例を示すブロック図である。機器操作システム１は、複数の機器１０を音声で操作するシステムである。機器操作システム１によれば、ユーザーが操作するために機器に対して顔を正面に向けると、機器がこれを認識してインジケータを点灯させて通知するため、ユーザーは目的の機器がコマンド待機状態であることを確認したうえで操作コマンドを指示でき、誤作動を抑制することができる。

第１の実施形態の機器操作システム１は、図１に示すように、機器１０にそれぞれ設置された、ユーザーを撮影するカメラ２０と、前記カメラが撮影した画像を認識し、ユーザーの視線を検知する視線検知部３０と、視認対象と判定された画像を撮影したカメラが設置された機器が、コマンド待機状態であることをユーザーへ通知して操作を促すユーザーインターフェースを提供するUI提供部４０と、操作を促されたユーザーが操作指示した音声を認識し、コマンドを判定するコマンド判定部５０と、前記コマンドを指定して待機状態の機器を制御する制御部６０とを備えている。

機器１０としては、例えば、照明機器、スマートスピーカー、電子レンジ、パソコン、掃除機などの小型家電製品；及びエアコン、冷蔵庫、テレビ、洗濯機などの家電製品などが想定される。

カメラ２０は、操作対象となる複数の機器それぞれに、ユーザーを撮影できる位置に設置される。このようなカメラ２０として、例えばRaspberry Pi Camera Module V2などを用いることができる。

視線検知部３０は、画像に基づきユーザーが視認している対象を視線により推定して検知する機能を有している。本発明において、画像に基づきユーザーの視線により操作対象を推定して検知又は検出することを、単に「視線の検知/検出」と称する場合がある。視線検知の方法としては、例えば、 (1)任意の場所に設置したカメラが撮影する画像に基づき、ユーザーが何を見ているのか推定する方法や、(2)操作対象の機器に取り付けたカメラが撮影する画像に基づき、ユーザーがカメラを見ているか判別する方法などが挙げられる。さらに、(2)の方法には、(2a) ユーザーの目の画像に基づきユーザーの視線を検知する方法、及び(2b)ユーザーの顔の画像に基づいて、ユーザーの顔向きを推定して視認対象を検知する方法などが例示できる。顔向き推定には、例えば、ディープラーニングによる画像認識を利用することができる。

視線検知部３０は、例えば、ディープラーニングによる画像認識を行い、顔が正面を向いているかどうかを判定できる。具体的には、例えば、顔の写真のデータセットを作成し、適用することで、カメラが撮影した画像について顔の向きを判定し、視認対象を推定する。ディープラーニングによる画像認識モデルの作成には、例えばTensorFlow Lite、TensorFlowなどのプラットフォームを使用できる。本発明の機器操作システム１は、後述するアイコンタクトの仕組みを取り入れているため、顔向き推定により視認対象を検出するというより簡易な方法によっても、実用的なレベルで操作対象を特定することができる。

UI提供部４０は、視線検知部３０で検知された機器が、コマンド待機状態にあることをユーザーへ通知して、操作を促すユーザーインターフェースを提供する機能を有する。ユーザーへの通知は、図２に示すように、LEDなどのインジケータを点灯する方法、ユーザーが身につけているウエアラブル機器や携帯電話（スマートフォンを含む）を用いて行う方法などにより行うことができる。なかでもLEDなどのインジケータを点灯する方法は、ユーザー側が追加の機器を用意する必要がなく好ましい。

UI提供部４０は、また、アイコンタクトの手法を取り入れたユーザーインターフェースを提供する機能を有する。本発明におけるアイコンタクトとは、ユーザーと機器がお互いに認識し合っていることをインジケータの点灯等により示し、顔の向きにより操作対象の指定を安定的に行えるようにする手法を意味し、必ずしも互いの視線があっていなくてもよい。アイコンタクトは、具体的には、例えば、システムがユーザーの顔向きを認識すると機器に設置したインジケータが点灯し、音声による操作指示が可能であることをユーザーに通知する手法により実現しうる。

従来、視線を検出して操作対象を特定する方法は広く研究され用いられているが、視線検出に用いられる機械学習モデルのトレーニングは環境やユーザーに依存し、視線の推定が不完全なため誤検出する場合があり、視線の推定のみで実用に足る精度で操作対象を指定することは極めて困難であった。これまでの機器操作システムでは、このようにシステムがユーザーの視線を認識しているかどうかユーザーが確認する手段がなかったため、ユーザーが認識していないのにコマンドを実行してしまうことがあった。さらに、複数のシステムが近くに並んでいる場合、どちらのシステムがユーザーの視線を認識しているか、つまりコマンド待機状態であるかを知ることができなかった。これに対し本発明の機器操作システム１は、顔向き等による視線の推定に、アイコンタクトの手法を組み合わせて、操作対象を指定している。従って、視線の推定を誤ると、インジケータが点灯した機器を見たユーザーは、自ら意図したのとは異なる機器が認識された状態にあることを把握し、操作指示を中断できる。このため、誤作動を回避して操作対象を正確に指定できる。しかも、視線の推定精度をあまり高度に求める必要がないため、小型化しやすくシステムを低コストで構成することができる。

コマンド判定部５０は、操作を促されたユーザーが操作指示した音声を認識し、コマンドを判定する機能を有する。コマンド判定部５０は、より具体的には、マイクから入力された音声データをテキストデータに変換して、そのテキストデータを解析して単語やフレーズを抽出する。ここで、UI提供部のインジケータのLEDが点灯している間は、コマンド判定部５０における音声入力を有効にし、ユーザーからの操作指示を受け付ける。コマンド判定部５０は、例えば、音声の認識の処理については、公知の方法を用いることができる。例えば、機器操作システム１により照明機器の電源の入切断を制御する場合、このエンジンに対して、動作のコマンドとして考られる「点灯」「消灯」「ついて」「きえて」などの言葉を登録した辞書を与え、辞書中のいずれかの言葉である可能性が高い場合に、コマンドが発話されたと判定することができる。コマンド判定部５０は、機器の種類、操作指示の内容等に応じて、操作対象の機器を適切に制御できるコマンドを判定する。

制御部６０は、前記コマンドを指定して待機状態の機器１０を制御する機能を有する。制御部６０は、例えば、機器の電源の入切断機器１０を制御する例としては、例えば、照明機器などの機器の電源の入切断のほか、出力レベル、温度、音量、チャンネルなどの入切断及び値の指定などが挙げられる。

本発明のプログラムは、機器１０を音声で操作するためのプログラムであって、コンピュータに、前記機器１０にそれぞれ設置されたカメラ２０が撮像した画像から、ユーザーの視線を検知するステップと、視認対象と判定された画像を撮影したカメラ２０が設置された機器が、コマンド待機状態であることをユーザーへ通知して操作を促すユーザーインターフェースを提供するステップと、前記待機状態の機器に対してユーザーが操作指示した音声を認識し、前記機器に対するコマンドを判定するステップと、前記コマンドを指定して選択された機器を制御するステップと、を実行させる。

図２は、図１に示す操作機器システム１の処理とユーザーの機器操作の流れを示すタイミングチャートである。この図に示すように、(1) ユーザーが機器を見ると、(2) カメラが顔の向きを判定し、(3) コマンド待機状態であることを示すインジケータが点灯する。(4) ユーザーはインジケータの点灯を見て「アイコンタクト」の成立を確認、(5)音声コマンドを発声する。このように「アイコンタクト」を機器選択に取り入れることで、ユーザーはシステムに認識されたかどうかを確認した上で操作指示することが可能になる。また、操作したい家電等の機器を見るという動作は、スマートスピーカーへの指示や通常のリモコンでの操作でも最初に行われることが多いため、ユーザーの負担は比較的少なく、自然である。なお、図２の(4)でインジケータの点灯によりユーザーが意図しない機器が選択されていることをユーザーが認めた場合には、「アイコンタクト」不成立となり、ユーザーは(5)音声コマンドを発生しないことで、誤作動を回避できる。後述する本発明の第２の実施形態によれば、このような場合にも、機器の再選択を行うことができ、意図する対象機器に正確に操作を指示することができる。

図３は、本発明の第１の実施形態に係る機器操作システム１の実施例の概略構成図である。この機器操作システム１は、図３に示すように、(1)Raspberry Pi（コンピュータ700）、(2) 顔の向きを撮影するためのカメラ２０、(3)顔が機器の正面を向いていることをユーザーに通知するためのLED（インジケータ400）、(4) ユーザーが操作指示した音声を入力するマイク５１０、(5)AC 電源を制御する機構600と電球11からなる照明機器1００によって構成される。このシステムによれば、アイコンタクトを用いて、照明機器１１の点灯と消灯を制御できる。すなわち、照明器具１１に視線を向けるとインジケータの点灯によりユーザーに操作を促し、「点灯」「消灯」などのコマンドを発話すると照明器具の状態を制御できる。

(1) のRaspberry Pi には、ディープラーニングによる顔の向き推定を行えるだけの性能が必要になるためRaspberry Pi 3 B+を使用している。(2) カメラにはRaspberry Pi Camera Module V2、(4) マイクには一般的なUSB 入力のマイクをそれぞれ使用した。(5) 電源の制御にはソリッドステート・リレー(SSR) を使用し、Raspberry Pi の汎用入出力(GPIO) ピンの出力をHigh にすると電源がOn になる。

顔向き判定にはTensorFlow Lite(画像認識) ３００を使用し、顔が正面を向いているかどうかを判断している。顔の写真を5クラス分(上下左右正面)、それぞれ100 枚ずつ集めデータセットを作成した。そのデータセットを、学習用と検証用で分割し、学習を行ったモデルを、検証用を用いて判別させる実験をした結果、84.7%の精度で判定できた。実際には、学習の調整を行うことによりこの精度をさらに高めることは可能である。また、画像の分類ではなく、より正確に顔の向きを推定する技術も存在するが、本発明の機器操作システムにおいては、アイコンタクトの手法を組み合わせるため、顔向きの処理を行うコンピュータが上記実験方法において８４％程度の精度でも、実用に耐えるシステムを提供できる。

音声の認識にはオープンソースのエンジンであるJulius（音声認識）５２０を使用した。これは音響モデルや言語モデル、辞書を使用することで、入力された音声を文字に起こしたりコマンドを抜き出したりといった処理をオフラインで行えるというものである。このエンジンに対して、動作のコマンドとして考えられる「点灯」「消灯」「ついて」「きえて」などの言葉を登録した辞書を与え、辞書中のいずれかの言葉である可能性が高い場合に、コマンドが発話されたと判定する。

(1)の電源を入れるとカメラ20がユーザーの顔が正面を向いているかどうか判定し続ける。TensorFlow３００でカメラ２０からの画像を解析し、正面を向いていると判定された場合にはインジケータのLED４００を点灯させてユーザーを認識していることを示す。インジケータのLED４００が点灯している間は音声コマンドの入力を有効化し、ユーザーからの操作を受け付ける。音声処理エンジンのJulius５２０がコマンドを検出し点灯を意味するものであればSSR６００に繋がったGPIO ピンの出力をHigh に、消灯を意味するものであればLow に変化させる。SSRは電球に電力を供給する線を制御し、コンピュータからHigh の入力があるときだけ電球を点灯する。以上のように視線検知とアイコンタクト、さらに音声コマンドによる操作と照明機器１００の制御を実現している。

（第2の実施形態）
図４は、本発明の第２の実施形態に係るネゴシエーション部を備えた機器操作システム２の機能の一例を示すブロック図である。第２の実施形態に係る機器操作システム２は、第１の実施形態に係る機器操作システム１にネゴシエーション部７０が追加されている。本発明におけるネゴシエーションとは、機器同士で通信し同時に複数の機器が選択されないように調整し、その調整の結果、ユーザーの意図と異なる機器が選択された場合には別の機器への再選択を促す機能を意味している。すなわち、本発明の第2の実施態様によれば、ユーザーの意図通り機器を選択できなかった場合に、ネゴシエーションにより機器を再選択することができる。機器を再選択する手順としては、例えば、図５に示されるように、ユーザーは、最初に機器を見たときに(1)、機器１３からフィードバックを受ける（インジケータの点灯）ことにより（２）、視線がずれて誤検知されたこと（アイコンタクトが不成立であったこと）を認識し、機器１２に視線を移動する（３）。機器１２からフィードバックを受ける（インジケータの点灯）ことにより、機器の選択が修正されて正しく検知されたことを認識するこができる。

第２の実施態様における機器操作システム２は、ネゴシエーション部７０として、マスターとスレーブの両方の機能を備えており、ユーザーがシステムを設置する際などにマスターかスレーブかを明示的に設定することができる。本発明における「マスター」とは、次の３つの機能、すなわち、(1) スレーブからの情報を集約し、(2)スレーブからの情報を比較検討し、(3)最もそれらしいスレーブを選択した旨を通知する機能を備えた状態を意味する。「スレーブ」とは、マスターに制御されている状態を意味する。音声認識は、選択されたスレーブ自体で行われる。本明細書において、マスター機能が設定されたシステム及び当該システムを備えた機器を単に「マスター」、スレーブ機能が設定されたシステム及び当該システムを備えた機器を単に「スレーブ」と称する場合がある。具体的には、任意に選択した一つのシステムをマスターに指定して、その他のシステムはスレーブとなり、マスターはスレーブを兼ねる。このマスターの指定は、例えば、都度自動的にマスターが選択される方法でもよく、セットアップ時に手動でマスターかスレーブかを物理ボタンで選ぶ方法により行うこともできる。

従来のスマートホームデバイスは、マスター機能のみを備えたハブと、それ以外のスレーブとで構成される場合がある。このような場合、マスター機能を備えたハブとスレーブの距離が、互いに無線通信困難な程度に遠隔に配置されている場合には、ハブがスレーブを制御できず、意図する機器操作ができないという問題があった。これに対し、本発明の機器操作システム２は、マスターとスレーブ両方の機能を有しているため、複数の機器が存在する場合であっても、近傍の機器同士で通信が可能である。さらに、ネゴシエーション機能は、誤認識が生じやすい近傍の機器同士で実現できれば足り、誤認識のおそれのない程度に離隔して配置された機器間の通信は不要であり、そのためハブを介した通信を必要としない。従来は、スマートスピーカー等のハブとなるデバイスに対して指示をしていたところ、ハブの独立性を高めることにより、これが不要となり、指示したい機器に直接語りかけるだけで、機器の選択と操作指示を同時に行えるという操作感をユーザーに提供することができる。また、運用時にマスターとスレーブを自動で又は手動で選択することにより、ハブとなる特別な装置や複雑な接続設定を不要にし、このシステムに対応した家電を設置するだけですぐに使い始めることができる。

図６は、図４に示すネゴシエーション部における処理の流れを示すタイミングチャートである。図６によれば、ユーザーは、意図する機器に視線を向けると、スレーブ１とスレーブ２がそれぞれ視線を検知してマスターへ通知し、マスターは視線が検知された可能性が高い機器を選択して当該機器へ通知し、この通知を受け取ったスレーブ２はインジケータを点灯してユーザーへ通知する。ユーザーは、スレーブ２のインジケータの点灯により、意図しない機器が誤って検知されたことを認識し（アイコンタクトの不成立）、ユーザーが機器に誤検知を通知する。通知を受けたスレーブ１とスレーブ２は再度視線を検知してマスターへ通知し、選択の誤りを認識したマスターが、視線が検知された可能性が高い機器を再選択して当該機器へ通知し、この通知を受け取ったスレーブ１はインジケータを点灯してユーザーへ通知し、ユーザーは意図した機器が選択されたことを認識し（アイコンタクトの成立）、操作を指示することができる。

ユーザーが機器に誤検知を通知する方法としては、視線移動や顔向き変更（顔を向き直すなど）により意図する機器を選択しなおす方法があるが、そのほかに，首を横に振るなど単に選択の正否を意味するジェスチャーにより選択の誤りを通知する方法も用いることができる。機器が２〜３個のときには、後者の方法により簡便に再選択を実現できる。すなわち、後者の方法により通知を受けたマスターは、再度視線を検知する代わりに、誤認識されたらそれ以外の機器を選択し、必要に応じてこれを繰り返すことにより、意図する機器を選択することができる。このように、ネゴシエーションは誤検知が解消されるまで繰り返し行ってもよく、また、最初の視線により正しい機器が選択された場合には再選択を行うプロセスを省略することができる。

ネゴシエーション部７０の実現には、無線通信機能（ハードウェア）と機器同士の「どちらが選択されていそうか」という情報を提供・やりとりする機能（ソフトウェア）を追加する。ネゴシエーション部７０を実現する構成例としては、例えば、ハードウェアにはTWELITE（無線モジュールの製品）などを使いることができる。このソフトウェアは、例えば、マスターから送られてくる「カメラが得たデータが注視（ユーザーが操作を意図する機器に顔を向けている状態）である確率」が高い（視線が検知された可能性が高い）機器、または「ユーザーが上下左右どの方向に顔を動かしたか（ジェスチャーの検出など）」の情報を集約してもっとも操作対象に近い機器にその旨を通知する。具体的には（１）確率が下がったデバイスと確率が上がったデバイスがあった場合には確率が上がったデバイスの方向に顔を動かしたと判断するか、（２）顔を動かした方向にあるデバイスをユーザーが選択しようとしていると認識する。本発明におけるネゴシエーションは、このように、アイコンタクトによる選択を補完して再選択を可能にする。機器操作システム２は、このようなネゴシエーション部を備えるため、操作対象を指定する精度を向上できる。

本発明は、視線の検知により操作対象を指定し、音声により機器を操作する機器操作システムを、高い精度で提供できる。

１、２機器操作システム
１０、１２、１３機器
１１電球
２０カメラ
３０視線検知部
４０ UI提供部
５０コマンド判定部
６０制御部
７０ネゴシエーション部
１００照明器具
３００ TensorFlow（画像認識）
４００ LED（インジケータ）
５１０マイク
５２０ Julius（音声認識）
６００ SSR（制御部）
１０００コンピュータ

Claims

機器を音声で操作する機器操作システムであって、
前記機器にそれぞれ設置された、ユーザーを撮像するカメラと、
前記カメラが撮影した画像を認識し、ユーザーの視線を検知する視線検知部と、
視認対象と判定された画像を撮影したカメラが設置された機器が、コマンド待機状態であることをユーザーへ通知して操作を促すユーザーインターフェースを提供するUI提供部と、
操作を促されたユーザーが操作指示した音声を認識し、コマンドを判定するコマンド判定部と、
前記コマンドを指定して待機状態の機器を制御する制御部と、
を備える機器操作システム。
機器を音声で操作するためのプログラムであって、コンピュータに、
前記機器にそれぞれ設置されたカメラが撮像した画像から、ユーザーの視線を検知するステップと、
視認対象と判定された画像を撮影したカメラが設置された機器が、コマンド待機状態であることをユーザーへ通知して操作を促すユーザーインターフェースを提供するステップと、
前記待機状態の機器に対してユーザーが操作指示した音声を認識し、前記機器に対するコマンドを判定するステップと、
前記コマンドを指定して選択された機器を制御するステップと、
を実行させるプログラム。
機器を音声で操作する方法であって、
前記機器にそれぞれ設置されたカメラが撮像した画像から、ユーザーの視線を検知するステップと、
視認対象と判定された画像を撮影したカメラが設置された機器が、コマンド待機状態であることをユーザーへ通知して操作を促すユーザーインターフェースを提供するステップと、
前記待機状態の機器に対してユーザーが操作指示した音声を認識し、前記機器に対するコマンドを判定するステップと、
前記コマンドを指定して選択された機器を制御するステップと、
を含む方法。
さらに、機器同士で通信し同時に複数の機器が選択されないよう調整し、その調整の結果、ユーザーの意図と異なる機器が選択された場合に別の機器への再選択を促す機能を有するネゴシエーション部を備える請求項１記載のシステム。