JP2020129252A - 機器制御システムおよび端末装置 - Google Patents

Abstract

【課題】機器の複数の動作を制御する際に利便性の良い機器制御システムおよび端末装置を提供することを目的とする。【解決手段】機器制御システムであって、一または複数の電子機器の複数の動作を含む制御シーケンス、および制御シーケンスの実行を開始するトリガーとなるキーワードまたはモーションを設定する制御シーケンス設定部と、制御シーケンス設定部により設定された制御シーケンスとキーワードまたはモーションとを関連付けて記憶する記憶部と、キーワードに対応する音声またはモーションが入力される入力部と、入力部に入力されたキーワードまたはモーションに関連付けられた制御シーケンスを記憶部から抽出し、制御シーケンスに含まれる複数の動作を実施させるための制御コマンドを生成する機器制御部と、を備え、制御シーケンス設定部は、入力される音声により制御シーケンスを設定する。【選択図】図４

Description

本発明は、電子機器を制御する機器制御システムおよび端末装置に関するものである。

従来、ユーザーが発話した音声に基づいて、テレビなどの電子機器を制御する技術が知られている。例えば特許文献１には、マイクに入力される音声データをサーバに送信する端末装置と、音声データに対応する音声コマンドに基づいて制御コマンドを決定するサーバとからなる電子機器制御システムが提案されている。

特開２０１６−１１４７４４号公報

特許文献１に記載される従来技術においては、一つの音声コマンドと一つの制御コマンドとが対応付けられている。そのため、電子機器に複数の動作を連続して行わせる場合、または電子機器に対し複雑な動作を行わせる場合には、指示を複数回行う必要があり、利便性が低いという課題がある。

本発明は、上記のような課題を解決するものであり、機器の複数の動作を制御する際に利便性の良い機器制御システムおよび端末装置を提供することを目的とする。

本発明に係る機器制御システムは、一または複数の電子機器の複数の動作を含む制御シーケンス、および制御シーケンスの実行を開始するトリガーとなるキーワードまたはモーションを設定する制御シーケンス設定部と、制御シーケンス設定部により設定された制御シーケンスとキーワードまたはモーションとを関連付けて記憶する記憶部と、キーワードに対応する音声またはモーションが入力される入力部と、入力部に入力されたキーワードまたはモーションに関連付けられた制御シーケンスを記憶部から抽出し、制御シーケンスに含まれる複数の動作を実施させるための制御コマンドを生成する機器制御部と、を備え、制御シーケンス設定部は、入力される音声により制御シーケンスを設定する。

本発明に係る端末装置は、一または複数の電子機器の複数の動作を含む制御シーケンス、および制御シーケンスの実行を開始するトリガーとなるキーワードまたはモーションを設定する制御シーケンス設定部と、制御シーケンス設定部により設定された制御シーケンスと、キーワードまたはモーションとを関連付けて記憶する記憶部と、キーワードまたはモーションが入力された場合に、入力されたキーワードまたはモーションに関連付けられた制御シーケンスを記憶部から抽出し、制御シーケンスに含まれる複数の動作を実施させるための制御コマンドを生成する機器制御部と、を備え、制御シーケンス設定部は、入力される音声により制御シーケンスを設定する。

本発明における機器制御システムおよび端末装置によれば、音声によって機器の複数の動作を含む制御シーケンスを設定し、キーワードまたはモーションの入力に応じて制御シーケンスを実施することができるため、機器を制御する際の利便性が向上する。

実施の形態１における機器制御システムの概略構成図である。 実施の形態１における機器制御システムの動作を示す図である。 実施の形態１における制御シーケンス設定処理の流れを示すフローチャートである。 実施の形態１における制御シーケンス設定処理の流れを示すフローチャートである。 実施の形態１におけるシーケンス設定初期画面の一例を示す図である。 実施の形態１における機器選択画面の一例を示す図である。 実施の形態１における動作選択画面の一例を示す図である。 実施の形態１におけるキーワード設定画面の一例を示す図である。 実施の形態１におけるキーワード入力画面の一例を示す図である。 実施の形態１における動作選択画面の変形例１を示す図である。 実施の形態１における動作選択画面の変形例２を示す図である。 実施の形態１における動作選択画面の変形例３を示す図である。 実施の形態２における制御シーケンス設定処理の流れを示すフローチャートである。 実施の形態３における機器制御システムの概略構成図である。 実施の形態３における制御シーケンス設定処理の流れを示すフローチャートである。 実施の形態３におけるキーワード設定画面の一例を示す図である。 実施の形態４における制御シーケンス実行処理の流れを示すフローチャートである。

以下、図面に基づいて本発明の実施の形態について説明する。なお、図１を含め、以下の図面では各構成の大きさの関係が実際のものとは異なる場合がある。また、図１を含め、以下の図面において、同一の符号を付したものは、同一またはこれに相当するものであり、このことは明細書の全文において共通することとする。さらに、明細書全文に表わされている構成要素の形態は、あくまでも例示であって、これらの記載に限定されるものではない。

実施の形態１．
図１は、実施の形態１における機器制御システム１００の概略構成図である。図１に示すように、本実施の形態の機器制御システム１００は、端末装置１と、音声入出力装置２と、クラウドサーバ３と、電子機器４とからなる。端末装置１と、音声入出力装置２と、電子機器４とは、家庭内ＬＡＮ（Local Area Network）を介して通信可能に接続される。なお、端末装置１と、音声入出力装置２と、電子機器４とは、図１に破線で示すように、赤外線通信またはBluetooth（登録商標）等の無線通信で通信可能に接続されてもよい。また、端末装置１と、音声入出力装置２と、電子機器４とは、インターネットを介してクラウドサーバ３に通信可能に接続される。

端末装置１は、ＰＣ、スマートフォン、または電子機器４のリモートコントローラなどである。端末装置１は、制御部１１と、操作部１２と、表示部１３とを備える。制御部１１は、専用のハードウェア、またはメモリに格納されるプログラムを実行するＣＰＵ（Central Processing Unit）、プロセッサまたはマイクロコンピュータなどで構成される。制御部１１は、後述する制御シーケンス設定処理を実行する。操作部１２は、キーボード、マウスまたはタッチパネルであり、ユーザーによる操作される。表示部１３は、例えば液晶ディスプレイであり、制御シーケンス設定処理における画面などを表示する。

音声入出力装置２は、例えば、スマートスピーカー（ＡＩスピーカー）であり、制御部２１と、音声入力部２２と、音声出力部２３とを備える。制御部２１は、専用のハードウェア、またはメモリに格納されるプログラムを実行するＣＰＵ（Central Processing Unit）、プロセッサまたはマイクロコンピュータなどで構成される。音声入力部２２は、マイクであり、音声出力部２３は、スピーカーである。制御部２１は、クラウドサーバ３と連携し、音声入力部２２に入力された音声に対して音声認識を行うとともに、認識結果に基づいて電子機器４に制御コマンドを送信する。また、制御部２１は、音声出力部２３からの音声出力を制御する。

クラウドサーバ３は、インターネット経由でサービスを提供するサーバであり、制御部３１と、記憶部３２とを備える。制御部３１は、専用のハードウェア、またはメモリに格納されるプログラムを実行するＣＰＵ（Central Processing Unit）、プロセッサまたはマイクロコンピュータなどで構成される。制御部３１は、プログラムを実行することによって実現される機能部として、音声認識部３１１と、制御コマンド生成部３１２とを有する。音声認識部３１１は、音声入出力装置２から受信した音声データの音声認識を行う。制御コマンド生成部３１２は、音声認識部３１１における音声認識結果に基づいて、制御コマンドを生成する。

記憶部３２は、ＲＡＭ、ＲＯＭまたはフラッシュメモリなどの不揮発性または揮発性のメモリである。記憶部３２には、制御コマンドデータベース３２１と、制御シーケンスデータベース３２２とが記憶される。制御コマンドデータベース３２１は、クラウドサーバ３を利用するユーザー毎に、制御対象となる電子機器４およびその対応番号と、動作項目およびその対応番号と、制御コマンドと、が関連付けられたテーブルを記憶する。制御コマンドデータベース３２１は、機器制御システム１００に属する電子機器４から定期的に収集した情報に基づいて生成される。制御シーケンスデータベース３２２は、クラウドサーバ３を利用するユーザー毎に、制御シーケンスの識別子と、キーワードと、制御シーケンスと、が関連づけられたテーブルを記憶する。制御シーケンスデータベース３２２は、端末装置１から送信される情報に基づいて生成される。

電子機器４は、例えば空気調和機、テレビまたは照明などであり、端末装置１または音声入出力装置２により動作が制御される。図１では、１つの電子機器４を備える構成としたが、複数の電子機器４を備えてもよい。

図２は、実施の形態１の機器制御システム１００の動作を示す図である。本実施の形態では、まず、端末装置１を用いて、制御シーケンスおよびキーワードが設定される（Ｓ１）。制御シーケンスは、複数の動作とこれらを実行する順序を含む。複数の動作は、一つの電子機器４における複数の動作、または複数の電子機器４の各々における一つの動作である。キーワードは、制御シーケンスの実行を開始するトリガーとなるキーワードである。制御シーケンスおよびキーワードの設定については、後ほど詳述する。

端末装置１にて設定された制御シーケンスおよびキーワードは、クラウドサーバ３に送信される（Ｓ２）。そして、クラウドサーバ３において制御シーケンスとキーワードとが関連づけられ、制御シーケンスデータベース３２２に登録される（Ｓ３）。

そして、音声入出力装置２に対し、ユーザーから音声入力が行われる（Ｓ４）。入力される音声としては、情報の検索を指示する音声、電子機器４の動作を指示する音声、または制御シーケンスに対応するキーワードの音声などが考えられる。以下のステップでは、キーワードが音声入力された場合を例に説明する。

音声入出力装置２に入力された音声データは、クラウドサーバ３に送信され（Ｓ５）、音声認識部３１１により音声認識される（Ｓ６）。ここでは、音声認識により音声入力がキーワードであると判定される。そして、制御シーケンスデータベース３２２が検索され、キーワードに対応する制御シーケンスが抽出される（Ｓ７）。そして、制御コマンド生成部３１２にて、制御コマンドデータベース３２１が参照され、制御シーケンスに含まれる動作に対応する制御コマンドが生成される（Ｓ８）。ここでは、複数の動作に対応する一つの制御コマンドが生成されてもよいし、複数の動作にそれぞれ対応する複数の制御コマンドが生成されてもよい。

そして、生成された制御コマンドが音声入出力装置２を介して電子機器４に送信される（Ｓ９）。電子機器４では、制御コマンドに従った動作が実行される（Ｓ１０）。このように、本実施の形態の機器制御システム１００では、音声入出力装置２に対し、キーワードを音声入力することで、電子機器４の複数の動作を含む制御シーケンスを実行することができる。

続いて、本実施の形態における制御シーケンスおよびキーワードの設定方法について説明する。なお、本明細書において、制御シーケンスおよびキーワードの設定を行う処理を「制御シーケンス設定処理」という。本実施の形態では、端末装置１の制御部１１と音声入出力装置２の制御部２１とが連携して制御シーケンス設定処理を実施する。図３および図４は、実施の形態１における制御シーケンス設定処理の流れを示すフローチャートである。図３は、端末装置１により実行される手動での制御シーケンス設定処理の流れを示し、図４は、音声入出力装置２により実行される音声での制御シーケンス設定処理の流れを示す。

本実施の形態の制御シーケンス設定処理は、端末装置１の操作部１２が操作されることなどにより開始される。シーケンス設定処理が開始されると、端末装置１の表示部１３にシーケンス設定初期画面が表示される（Ｓ１０１）。図５は、実施の形態１におけるシーケンス設定初期画面の一例を示す図である。図５に示すように、シーケンス設定初期画面は、上下に配置される第１画面５１と、第２画面５２を有し、第１画面５１には、音声ボタン５０１と、マニュアルボタン５０２とが表示される。音声ボタン５０１は、制御シーケンスの設定を音声で行う場合に操作されるボタンであり、マニュアルボタン５０２は、制御シーケンスの設定を手動で行う場合に操作されるボタンである。

図３に戻って、音声により制御シーケンスの設定を行うか否かが判断される（Ｓ１０２）。ここでは、シーケンス設定初期画面において、音声ボタン５０１が押された場合に音声により制御シーケンスの設定を行うと判断される。ここで、音声により制御シーケンスの設定を行わない場合（Ｓ１０２：ＮＯ）、すなわちシーケンス設定初期画面においてマニュアルボタン５０２が押された場合は、表示部１３に機器選択画面が表示される（Ｓ１０３）。

図６は、実施の形態１における機器選択画面の一例を示す図である。図６（ａ）に示すように、機器選択画面は、第１画面５１と第２画面５２とを有する。第１画面５１は、家庭用ＬＡＮに接続される電子機器４が表示される。なお、図６では、電子機器４がアイコンで表示されるが、機器名がリストで表示されてもよい。また、第２画面５２には、設定中の制御シーケンスの識別子と、終了ボタン５０３と、戻るボタン５０４とが表示される。制御シーケンス識別子は、登録順に自動的に付与されてもよいし、ユーザーにより任意の識別子が入力されてもよい。終了ボタン５０３は、制御シーケンスの設定が終了した場合に操作されるボタンである。戻るボタン５０４は、一つ前の画面に戻るために操作されるボタンである。

図６（ｂ）に示すように、機器の選択は、第１画面５１に表示される機器の何れかが選択され、第２画面５２にドラッグされ、ドロップされることにより行われる。図６の例では、空気調和機が選択される。図３に戻って、機器選択画面上で選択された機器が制御シーケンスにおける制御の対象となる機器として設定される（Ｓ１０４）。

続いて、表示部１３に動作選択画面が表示される（Ｓ１０５）。図７は、実施の形態１における動作選択画面の一例を示す図である。図７（ａ）に示すように、動作選択画面は、第１画面５１と第２画面５２とを有する。第１画面５１には、選択された機器の制御可能な動作が一覧で表示される。第２画面５２には、機器選択画面と同様に、設定中の制御シーケンスの識別子と、終了ボタン５０３と、戻るボタン５０４とが表示される。

図７（ｂ）に示すように、動作の選択は、第１画面５１に表示される動作の何れかが選択され、第２画面５２にドラッグされ、ドロップされることで行われる。図７（ｂ）の例では、まず「電源ＯＮ」が選択される。図３に戻って、動作選択画面上で選択された動作が制御シーケンスにおける制御対象の動作として設定される（Ｓ１０６）。設定された動作は、第２画面５２に表示される。

続いて、戻るボタン５０４が押されたか否かが判断される（Ｓ１０７）。ここで、戻るボタン５０４が押された場合は（Ｓ１０７：Ｙｅｓ）、ステップＳ１０３へ戻り、機器選択画面が表示される。一方、戻るボタン５０４が押されていない場合は（Ｓ１０７：Ｎｏ）、終了ボタン５０３が押されたか否かが判断される（Ｓ１０８）。ここで、終了ボタン５０３が押されていない場合は（Ｓ１０８：Ｎｏ）、引き続き動作選択画面が表示され、動作の選択が行われる。例えば、図７（ｃ）に示すように、運転モードとして「暖房」が選択される。このように、機器および動作の選択が繰り返されることで、制御シーケンスが設定される。図７の例では、空気調和装置の電源をＯＮし、暖房モードで運転する、という制御シーケンスが設定される。また、動作を追加する際に、ドロップする位置により、動作の順序を決定してもよい。例えば、第２画面５２に表示されている動作の前（図７の例では上）に追加の動作をドロップすることで、動作を割り込ませることもできる。

そして、図７（ｄ）に示すように、終了ボタン５０３が押された場合（Ｓ１０８：Ｙｅｓ）、キーワード設定画面が表示される（Ｓ１０９）。図８は、実施の形態１におけるキーワード設定画面の一例を示す図である。図８に示すように、キーワード設定画面は、第１画面５１と第２画面５２とを有し、第１画面５１には音声入力ボタン５０５と文字入力ボタン５０６とが表示される。音声入力ボタン５０５は、キーワードを音声により設定する場合に操作されるボタンである。文字入力ボタン５０６は、キーワードを文字で設定する場合に操作されるボタンである。

図３に戻って、キーワードが文字で設定されるか否かが判断される（Ｓ１１０）。ここで、キーワードが文字で設定される場合（Ｓ１１０：Ｙｅｓ）、すなわち文字入力ボタン５０６が操作された場合は、表示部１３にキーワード入力画面が表示される（Ｓ１１１）。図９は、実施の形態１におけるキーワード入力画面の一例を示す図である。図９に示すように、キーワード入力画面は、第１画面５１と第２画面５２とを有し、第２画面５２にキーワード入力部５０７と、設定ボタン５０８とが表示される。そして、キーワード入力部５０７にキーワードが入力され、設定ボタン５０８が押されることにより、キーワードが設定される（Ｓ１１２）。

一方、キーワードが音声で設定される場合（Ｓ１１０：Ｎｏ）、すなわち音声入力ボタン５０５が押された場合は、端末装置１からの指令により音声入出力装置２が起動される（Ｓ１１３）。そして、音声入出力装置２にキーワードが音声入力されると、クラウドサーバ３にて音声認識される。そして、音声認識結果が端末装置１に送信され、端末装置１にて取得されてキーワードとして設定される（Ｓ１１４）。なお、このとき、音声入出力装置２を通常モードとは異なる制御シーケンス設定モードで起動するとよい。通常モードは、キーワードが音声入力された場合に、キーワードに基づいた制御シーケンスの実行を行うモードであり、制御シーケンス設定モードは、キーワードが音声入力された場合に、制御シーケンスのキーワードとして設定するモードである。

続いて、キーワードの話者認識を行うか否かが判断される（Ｓ１１５）。ここでは、端末装置１の表示部１３に話者認識を行うか否かを問い合わせる表示を行う、または音声入出力装置２から話者認識を行うか否かを問い合わせる音声を発し、その応答に応じて話者認識を行うか否かを判断する。そして、話者認識を行うと判断された場合（Ｓ１１５：Ｙｅｓ）、キーワード入力時の音声データがキーワードとして設定される（Ｓ１１６）。この場合、クラウドサーバ３は、キーワードが入力された際の音声認識を行うときに、話者認識も行う。このように話者を識別することで、同じキーワードの場合にも制御シーケンスの実行または不実行を区別できるとともに、話者に応じた設定、例えば話者に応じた室温設定などを行うことができる。

一方、話者認識を行わないと判断された場合は（Ｓ１１５：Ｎｏ）、Ｓ１１４で設定されたキーワード、すなわち音声データを含まないキーワードが設定される。その後、設定された機器および動作を含む制御シーケンスとキーワードとが、制御シーケンスの識別子と関連づけられた状態で、クラウドサーバ３に送信される（Ｓ１１７）。

一方、ステップＳ１０２に戻って、音声による制御シーケンスの設定を行うと判断された場合（Ｓ１０２：Ｙｅｓ）、すなわちシーケンス初期設定画面において音声ボタン５０１が押された場合、図４に示すフローチャートへ移行する。図４に示すように、まず音声入出力装置２が起動される（Ｓ１２１）。そして、音声入出力装置２の音声出力部２３から、家庭内ＬＡＮに接続される音声入出力装置２と連携している機器の名前と、対応番号とが読み上げられる（Ｓ１２２）。例として「空気調和機の場合は１、テレビの場合は２、照明の場合は３…」と読み上げられる。読み上げる音声データは、音声入出力装置２の制御部２１が備えるメモリに記憶されていてもよいし、クラウドサーバ３の記憶部３２に記憶されたものを読みこんでもよい。

そして、音声入力部２２において音声が入力されたか否かが判断される（Ｓ１２３）。そして、音声が入力されない場合は（Ｓ１２３：Ｎｏ）、ステップＳ１２２に戻り、機器の読み上げが繰り返される。一方、音声が入力された場合は（Ｓ１２３：Ｙｅｓ）、音声認識が行われる（Ｓ１２４）。ここでは、入力された音声データがクラウドサーバ３に送信され、クラウドサーバ３において音声認識が行われる。そして、クラウドサーバ３において、制御コマンドデータベース３２１が参照され、音声入力された番号に対応する機器の情報（名前または識別子）が抽出されて、音声入出力装置２に送信される。そして、機器情報に基づく機器が、制御シーケンスにおける制御の対象となる機器として設定される（Ｓ１２５）。具体的には、クラウド３から受信した機器情報が端末装置１へ送信され、端末装置１において、受信した機器情報に対応する機器が制御シーケンスに設定される。

続いて、音声入出力装置２の音声出力部２３から、設定された機器の名前と、その機器の制御可能な動作およびその対応番号とが読み上げられる（Ｓ１２６）。例として「空気調和機で、電源ＯＮの場合は１、電源ＯＦＦの場合は２、暖房運転モードの場合は３…」と読み上げられる。読み上げる音声データは、音声入出力装置２の制御部２１が備えるメモリに記憶されていてもよいし、クラウドサーバ３の記憶部３２に記憶されたものを読みこんでもよい。

そして、音声入力部２２において音声が入力されたか否かが判断される（Ｓ１２７）。そして、音声が入力されない場合は（Ｓ１２７：Ｎｏ）、ステップＳ１２６に戻り、動作の読み上げが繰り返される。一方、音声が入力された場合は（Ｓ１２７：Ｙｅｓ）、音声認識が行われる（Ｓ１２８）。ここでは、入力された音声データがクラウドサーバ３に送信され、クラウドサーバ３において音声認識が行われる。そして、音声認識結果に基づき、入力された音声が機器の選択に戻ることを指示するものであるか否かが判定される（Ｓ１２９）。例えば、ユーザーにより「戻る」との音声が入力された場合、機器の選択に戻ることを指示するものと判断する。

音声が機器の選択に戻ることを指示するものである場合（Ｓ１２９：Ｙｅｓ）、ステップＳ１２２に戻り、再び機器の読み上げが行われる。一方、音声が機器の選択に戻ることを指示するものでない場合（Ｓ１２９：Ｎｏ）、音声が制御シーケンスの設定の終了を指示するものであるか否かが判断される（Ｓ１３０）。例えば、ユーザーにより「設定終了」との音声が入力された場合、制御シーケンスの設定の終了を指示するものであると判断する。そして、音声が制御シーケンスの設定の終了を指示するものである場合（Ｓ１３０：Ｙｅｓ）、図３のステップＳ１０９に移行する。

一方、音声が制御シーケンスの設定の終了を指示するものでない場合（Ｓ１３０：Ｎｏ）、音声認識結果は、例えば選択された番号に対応する動作であり、音声認識された動作が、制御シーケンスに設定される（Ｓ１３１）。具体的には、クラウドサーバ３において、制御コマンドデータベース３２１が参照され、音声入力された番号に対応する動作の情報（名前または識別子）が抽出されて、音声入出力装置２に送信される。そして、動作情報が音声入出力装置２から端末装置１へ送信され、端末装置１において、受信した動作が制御シーケンスに設定される。そして、ステップＳ１２６に戻り、以降のステップが繰り返される。

以上のように、本実施の形態では、プログラムの知識がないユーザーであっても、電子機器４の複数の動作を含む制御シーケンスを容易に作成することができ、利便性が向上する。また、これまでは電子機器４の様々な動作を組み合わせることによって特定の動作モードを設計者が作り込んでいた。これに対し、本実施の形態により、設計者が想定しないような動作モードであっても、ユーザーが所望する動作をあたかも発売時から搭載されている動作モードのように使うことができる。さらに、音声による制御シーケンスの設定が可能であるため、手が不自由で端末装置１の操作が困難なユーザー、または足が不自由で端末装置１がある位置まで移動が困難なユーザーであっても、複雑な機器の動作を含む制御シーケンスを容易に設定できる。なお、本実施の形態の端末装置１または音声入出力装置２が「制御シーケンス設定部」に対応し、音声入出力装置２が「入力部」に対応し、音声入出力装置２およびクラウドサーバ３が「機器制御部」に対応する。

機器制御システム１００の使用例として、玄関に音声入出力装置２を設置し、「いってきます」というキーワードを、普段、家を最後に出る人の音声を話者認識して設定する。これにより、家を先に出て行く人の「いってきます」には反応しないが、家を最後に出て行く人の「いってきます」には反応して、当該キーワードに対応した制御シーケンスを実行することができる。制御シーケンスとしては、全部屋の消灯、空気調和機の電源ＯＦＦ、戸締りおよびガス栓のＯＦＦなどが設定される。これにより、「いってきます」と発話するだけで、外出時に必要な電子機器４の複数の動作を容易に制御することができる。また、玄関で靴を履き終えてしまった後でも、部屋に戻る必要がなくなり、利便性が向上する。

また、介護施設または老人ホームにおいて、「Ｂさん、おやすみ」というキーワードと、Ｂさんの好みに合わせた制御シーケンス（例えば空気調和機の室温）を設定することができる。この場合、夜間見回りの際に交わす挨拶で、部屋の空気調和機の温度設定をＢさんの好みの設定とすることができる。これにより、入居者に応じて個別の設定を行う必要がなく、介護者の負担を軽減できる。

なお、制御シーケンスの動作を設定する動作設定画面は、図７に示す例に限定されるものではない。図１０は、実施の形態１における動作選択画面の変形例１を示す図である。図１０に示すように、第１画面５１に、選択された機器の動作をアイコンで表示してもよい。第２画面５２には、図７の動作選択画面と同様に、設定中の制御シーケンスの識別子と、終了ボタン５０３と、戻るボタン５０４とが表示される。この場合は、図８（ｂ）および（ｃ）に示すように、動作選択画面上で、動作のアイコンが第２画面５２までドラッグされ、第２画面５２にドロップされることで、動作が選択される。また、図８（ｄ）に示すように、終了ボタン５０３が押されることで、制御シーケンスの設定が終了する。

また、制御シーケンスとして、機器の制御可能な動作だけでなく、動作に関する様々なパラメータを設定できるようにしてもよい。例えば、複数の動作の時間間隔または動作を実行する時刻を設定できるようにしてもよい。図１１は、実施の形態１における動作選択画面の変形例２を示す図である。図１１では、制御対象の機器として「照明」が選択された場合の例を示す。

図１１（ａ）に示すように、本変形例の動作選択画面では、第１画面５１に動作一覧に加え、照度ボタン５０９と時間ボタン５１０とが表示される。そして、照度ボタン５０９が押されると、図１１（ｂ）に示すように、第１画面５１に、照度入力部５１１と、設定ボタン５１２とが表示される。そして、照度入力部５１１に照度が入力された状態で、設定ボタン５１２が押されることにより、制御シーケンスにおいて照明の照度を設定することができる。設定された照度は、第２画面５２に表示される。

なお、図１１の例では、「１」〜「１０」などの数値で表される絶対照度を設定する構成としたが、これに限定されるものではなく、「−１０」〜「＋１０」などの数値で表される相対照度を設定する構成としてもよい。もしくは、絶対照度と相対照度の何れかを選択できる構成としてもよい。

続いて、図１１（ａ）の画面に戻って、時間ボタン５１０が選択されると、図１１（ｃ）に示すように、第１画面５１に時間間隔を入力するための、時間入力部５１３と、設定ボタン５１２とが表示される。時間入力部５１３には、直前の動作からの次の動作を実行するまでの時間間隔が入力される。そして、時間入力部５１３に時間が入力された状態で、設定ボタン５１２が押されることにより、制御シーケンスにおいて次の動作を実行するまでの間隔を設定することができる。設定された時間は、第２画面５２に表示される。

なお、図１１の例では、時間間隔を設定する構成としたが、これに限定されるものではなく、次の動作を実行する時刻（例えば「午後１１時」など）を設定する構成としてもよい。もしくは、時間間隔と時刻の何れかを選択できる構成としてもよい。

そして、図１１（ｄ）に示すように、次の動作として電源ＯＦＦが選択され、制御シーケンスに追加される。これにより、図１１の例では、照明の照度を８にし、３０分後に電源をＯＦＦにする、という制御シーケンスが設定される。

この場合の使用例として、「おやすみ」というキーワードと、部屋の照明の照度を段階的（例えば２段階）に下げていき、３分後に照明をＯＦＦにする、という制御シーケンスを設定することができる。就寝時に、部屋の照明の照度を段階的に下げていき、３分後に照明をＯＦＦにするといった操作を行いたい場合は、照度を下げる操作を２回、スイッチをＯＦＦにする操作を１回の計３回の操作を行う必要がある。これに対し、上記の制御シーケンスを設定することで、１回の音声入力で同じ動作が実現することができ、利便性が向上するとともに、就寝準備に専念することができる。

また、室内の温度、湿度または照度などの室内の環境を測定し、制御シーケンスに、環境測定値に基づく条件式を設定できるようにしてもよい。図１２は、実施の形態１における動作選択画面の変形例３を示す図である。図１２では、制御対象の機器として「空気調和機」が選択された場合の例を示す。

図１２（ａ）に示すように、本変形例の動作選択画面では、第１画面５１に、動作一覧に加え、条件ボタン５１４が表示される。そして、条件ボタン５１４が押されると、図１２（ｂ）に示すように、第１画面５１に、条件入力部５１５と、設定ボタン５１２とが表示される。条件式は、例えば室温または湿度などの検知対象となる環境測定値と、以上または以下などの条件と、閾値と、を含む。そして、条件入力部５１５に条件式が入力された状態で、設定ボタン５１２が押されることにより、制御シーケンスにおいて条件式を設定することができる。設定された条件式は、第２画面５２に表示される。

続いて図１２（ｃ）に示すように、設定した条件式を満たす場合の動作が選択される。これにより、図１２の例では、室温が２８℃以上になった場合に空気調和機の電源をＯＮにする、という制御シーケンスが設定される。なお、室内環境の測定は、専用のセンサ（例えば温度センサ、湿度センサまたは照度センサなど）を備えても良いし、空気調和機などの電子機器４に含まれるセンサの測定値を用いてもよい。これらの測定値は、クラウドサーバ３の制御コマンドデータベース３２１に記憶されてもよい。

この場合の使用例として、「おやすみ」というキーワードと、部屋の温度が２８℃より高くなった場合に冷房を２７℃設定でＯＮにするという制御シーケンスを設定することができる。これにより、「おやすみ」というキーワードを発するだけで、部屋の温度の上昇を抑制し、快適な睡眠をとることができる。また、高齢者が体感で暑いと感じる前に温度調節を行うことで、熱中症になるリスクを予防することができる。

実施の形態２．
次に、本発明の実施の形態２について説明する。実施の形態２では、制御シーケンスの設定方法において、実施の形態１と相違する。機器制御システム１００および機器制御システム１００が備える各装置の構成は、実施の形態１と同じである。

図１３は、実施の形態２における制御シーケンス設定処理の流れを示すフローチャートである。図１３のフローチャートは、音声入出力装置２の制御部２１により実行される。本実施の形態では、ユーザーによる発話によって制御シーケンス設定処理が開始される。まず、ユーザーにより、音声入出力装置２を起動するための音声が発生され、音声入出力装置２が起動される（Ｓ２０１）。そして、音声入力部２２において音声が入力されたか否かが判断される（Ｓ２０２）。

そして、音声が入力されない場合は（Ｓ２０２：Ｎｏ）、音声が入力されるまで待機する。一方、音声が入力された場合は（Ｓ２０２：Ｙｅｓ）、音声認識が行われる（Ｓ２０３）。ここでは、入力された音声データをクラウドサーバ３に送信し、クラウドサーバ３から音声認識結果を受信する。そして、音声認識結果に基づき、音声が制御シーケンス設定処理の開始を指示するものであるか否かが判定される（Ｓ２０４）。例えば、音声が「動作を記録して」の場合は、制御シーケンス設定処理の開始を指示するものとする。

ここで、音声が制御シーケンス設定処理の開始を指示するものでない場合（Ｓ２０４：Ｎｏ）、音声に応じた制御が行われる（Ｓ２０５）。一方、音声が制御シーケンス設定処理の開始を指示するものである場合（Ｓ２０４）、制御シーケンス設定処理を開始し、音声が入力されたか否かが判断される（Ｓ２０６）。なお、ステップＳ２０６に先立って、音声出力部２３から「制御シーケンスの設定処理を開始します」などの音声を出力してもよい。そして、音声が入力されない場合は（Ｓ２０６：Ｎｏ）、音声が入力されるまで待機する。一方、音声が入力された場合は（Ｓ２０６：Ｙｅｓ）、音声認識が行われる（Ｓ２０７）。そして、音声認識結果に基づき、音声が制御シーケンス設定処理の終了を指示するものであるか否かが判定される（Ｓ２０８）。例えば、音声が「動作の記録を完了して」の場合は、制御シーケンス設定処理の終了を指示するものとする。

ここで、音声が制御シーケンス設定処理の終了を指示するものでない場合（Ｓ２０８：Ｎｏ）、音声に応じた制御シーケンスが設定される（Ｓ２０９）。例えば、「空気調和機で冷房にして」との音声が入力された場合は、制御対象の機器が空気調和機であり、制御される動作が冷房である制御シーケンスが設定される。そして、ステップＳ２０６に戻り、以降の処理が繰り返される。例えば「エアコンで弱風にして」、「扇風機で中風にして」、「扇風機で首振りにして」、「扇風機で３０分後に弱風にして」との音声が順番に入力された場合、各音声に含まれる機器および動作が制御シーケンスに追加される。ここでは、音声入出力装置２の制御部２１が備えるメモリなどに、制御シーケンスが一時的に記憶される。

そして、音声が制御シーケンス設定処理の終了を指示するものである場合（Ｓ２０８：Ｙｅｓ）、設定された制御シーケンスが読み上げられる（Ｓ２１０）。上記の例の場合、音声出力部２３から「エアコンを起動し、冷房で弱風運転をします。次に扇風機を起動し、中風で首振り運転をします。３０分後に扇風機を弱風にします」との音声が出力される。そして、制御シーケンスを保存するか否かが判断される（Ｓ２１１）。ここでは、制御シーケンスの読み上げの後に、制御シーケンスを保存するか否かを問う音声を出力し、ユーザーからの応答を音声認識して判断する。

そして、制御シーケンスを保存しないと判断された場合（Ｓ２１１：Ｎｏ）、読み上げられた制御シーケンスに誤りがあると判断され、制御シーケンスの修正が行われる（Ｓ２１２）。制御シーケンスの修正は、音声による指示で行われる。制御シーケンスの修正が終わると、ステップＳ２１０に戻り、修正された制御シーケンスが読み上げられる。そして、制御シーケンスを保存すると判断された場合（Ｓ２１１：Ｙｅｓ）、設定された制御シーケンスが端末装置１に送信される（Ｓ２１３）。そして、図３のステップＳ１０９またはＳ１１４に移行し、キーワードが設定される。

以上のように、本実施の形態においては、ユーザーが制御したい機器および動作を音声入力するだけで、容易に制御シーケンスを設定することができ、利便性がさらに向上する。また、音声入出力装置２において、実施の形態１のように機器および動作を読み上げる必要がないため、制御シーケンスの設定にかかる時間も短縮できる。

なお、上述では、音声入出力装置２にて設定された制御シーケンスを端末装置１に送信する構成としたが、これに限定されるものではなく、音声入出力装置２から直接クラウドサーバ３に送信してもよい。

実施の形態３．
次に、本発明の実施の形態３について説明する。実施の形態３では、キーワードの設定方法において、実施の形態１と相違する。図１４は、実施の形態３における機器制御システム１００Ａの概略構成図である。図１４に示すように、本実施の形態における機器制御システム１００Ａの音声入出力装置２Ａは、撮影部２４を備える。撮影部２４は、例えばカメラであり、ユーザーの動きを検知するものである。なお、撮影部２４は、音声入出力装置２Ａが備える構成に限定されるものではなく、端末装置１または電子機器４が備えてもよいし、専用の撮影部２４を設けてもよい。

図１５は、実施の形態３における制御シーケンス設定処理の流れを示すフローチャートである。なお、本実施の形態における制御シーケンス処理は、ステップＳ１０８以降が実施の形態１と相違するものであり、図１５ではＳ１０８までの記載は省略している。

動作選択画面において終了ボタン５０３が押された場合（Ｓ１０８：Ｙｅｓ）、キーワード設定画面が表示される（Ｓ３０１）。図１６は、実施の形態３におけるキーワード設定画面の一例を示す図である。図１６に示すように、本実施の形態のキーワード設定画面は、第１画面５１と第２画面５２とを有し、第１画面５１には音声入力ボタン５０５と文字入力ボタン５０６とに加え、モーション入力ボタン５１６が表示される。モーション入力ボタン５１６は、ユーザーの動きをキーワードとして設定する場合に操作されるボタンである。

図１５に戻って、キーワードが文字で設定されるか否かが判断される（Ｓ３０２）。ここで、キーワードが文字で設定される場合（Ｓ３０２：Ｙｅｓ）、すなわち文字入力ボタン５０６が操作された場合は、実施の形態１と同じステップＳ１１１およびＳ１１２が実行され、キーワードが設定される。一方、キーワードが文字で設定されないと判断された場合（Ｓ３０２：Ｎｏ）、キーワードが音声で設定されるか否かが判断される（Ｓ３０３）。そして、キーワードが音声で設定される場合（Ｓ３０３：Ｙｅｓ）、すなわちキーワード設定画面で音声入力ボタン５０５が押された場合は、実施の形態１と同じステップＳ１１３〜Ｓ１１６が実行され、キーワードが設定される。

一方、キーワードが音声で設定されものでもない場合（Ｓ３０３：Ｎｏ）、すなわちモーション入力ボタン５１６が押された場合は、端末装置１からの指令により音声入出力装置２の撮影部２４が起動される（Ｓ３０４）。そして、ユーザーが撮影部２４の前で所定の動作を行うことで、撮影部２４にてユーザーの動きがモーションキャプチャーによりデータ化され、端末装置１に送信される。この場合のユーザーの動きとしては、手を振る、手をひねる、または手で円を描く、などがある。また、手の形、例えば所定の指を立てた状態で、上述の動作を行っても良い。

そして、端末装置１により、音声入出力装置２Ａから受信したデータが制御シーケンスのキーワードとして設定される（Ｓ３０５）。その後、実施の形態１と同様に、設定された機器および動作を含む制御シーケンスとキーワードとが、制御シーケンスの識別子と関連づけられた状態で、クラウドサーバ３に送信される（Ｓ１１７）。

また、本実施の形態において、制御シーケンスを実行する場合には、撮影部２４の前で、キーワードとして設定した動作をすればよい。音声入出力装置２Ａは、撮影部２４で撮影した動画のモーションキャプチャデータをクラウドサーバ３に送信し、クラウドサーバ３において、キーワードとして設定されたモーションとの照合を行い、制御シーケンスが抽出される。

本実施の形態のように、動作を制御シーケンスの実行を開始するトリガーとすることで、声または音を発することなく、電子機器４の動作を制御することができる。これにより、同居者へ音の配慮が必要な場合、発言内容を同居者に聞かれたくない場合、または発言する気力がない場合などであっても撮影部２４を介して電子機器４に指令を送ることができる。また、モーションを用いることで、異なる言語を使う者であっても共有することができ、様々な言語に対応した設定を行う必要がなくなり、利便性がさらに向上する。

また、キーワードとしてモーションを入力する際は、設定されたモーションを確認するために、同じモーションを複数回撮影する、または撮影したモーションを、動画で表示して確認を促してもよい。キーワードとしてモーションを検知する場合は、撮影部２４にて、モーションだけではなく、ユーザーの目の動きとモーションとを検知してもよい。これにより、撮影部２４に向けてではない動きをキーワードとして反応することを抑制できる。

実施の形態４．
次に、本発明の実施の形態４について説明する。実施の形態４では、機器制御システム１００において、ユーザーが設定していない制御シーケンスについても実施できる点において、実施の形態１と相違する。機器制御システム１００および機器制御システム１００が備える各装置の構成は、実施の形態１と同じである。

図１７は、実施の形態４における制御シーケンス実行処理の流れを示すフローチャートである。本実施の形態の制御シーケンス実行処理は、音声入出力装置２と、クラウドサーバ３とが連携して実施される。まず、音声入出力装置２の音声入力部２２に、音声が入力され（Ｓ４０１）、音声データがクラウドサーバ３に送信される（Ｓ４０２）。ここで入力される音声は、ユーザーが実施したいモードを表すキーワードであり、例えば「空気調和機でそよ風運転にして」などの音声とする。

クラウドサーバ３では、受信した音声データの音声認識が行われる（Ｓ５０１）。そして、音声認識結果に基づき、制御シーケンスデータベース３２２に認識された音声に対応する制御シーケンスがあるか否かが判断される（Ｓ５０２）。上記の例の場合、キーワードが「そよ風運転」である制御シーケンスがあるか否かが判断される。そして、音声に対応する制御シーケンスがある場合（Ｓ５０２：Ｙｅｓ）、制御シーケンスから制御コマンドが生成され、音声入出力装置２に送信される（Ｓ５０３）。

一方、入力された音声に対応する制御シーケンスがない場合（Ｓ５０２：Ｎｏ）、制御シーケンスデータベース３２２の全てのテーブルに対し、入力された音声に対応する制御シーケンスの検索が行われる（Ｓ５０４）。すなわち、第三者により設定され、制御シーケンスデータベース３２２に記憶されている制御シーケンスが、入力された音声に対応するものであるか否かが判断される。そして、音声に対応する制御シーケンスがある場合（Ｓ５０４：Ｙｅｓ）、制御シーケンスに基づく制御コマンドが生成され、制御シーケンスの内容とともに音声入出力装置２に送信される（Ｓ５０６）。

一方、制御シーケンスデータベース３２２に音声に対応する制御シーケンスがない場合（Ｓ５０５：Ｎｏ）、入力された音声に類似するキーワードに対応する制御シーケンスがあるか否かが判断される（Ｓ５０７）。上記の例の場合、「そよ風運転」に対し「自然風運転」などが類似するとして検索される。そして、類似するキーワードに対応する制御シーケンスがある場合（Ｓ５０７：Ｙｅｓ）、制御シーケンスに基づく制御コマンドが生成され、制御シーケンスの内容とともに音声入出力装置２に送信される（Ｓ５０６）。一方、類似するキーワードに対応する制御シーケンスもない場合（Ｓ５０７：Ｎｏ）、対応する制御シーケンスがないことを音声入出力装置２に通知する（Ｓ５０８）。

続いて、音声入出力装置２では、クラウドサーバ３から受信したデータが制御シーケンス内容を含むか否かが判断される（Ｓ４０３）。そして、クラウドサーバ３から受信したデータが制御シーケンス内容を含む場合（Ｓ４０３：Ｙｅｓ）、受信した制御シーケンスの内容が音声出力部２３により読み上げられる（Ｓ４０４）。上記の例の場合、「自然風モードです。空気調和機を電源ＯＮし、弱風と中風とを５分毎に切替えます。扇風機を電源ＯＮし、首振り運転をします」などと読み上げる。

そして、制御シーケンスを実行するか否かが判断される（Ｓ４０５）。ここでは、音声出力部２３から、制御シーケンスを実行するか否かを問い合わせる発話を行い、ユーザーからの応答に基づいて実行するか否かを判断する。そして、制御シーケンスを実行する場合は（Ｓ４０５：Ｙｅｓ）、制御コマンドを電子機器４に送信し、制御シーケンスを実行する（Ｓ４０６）。クラウドサーバ３から受信したデータが制御シーケンス内容を含む場合は、ユーザーにより設定された制御シーケンスではないため、読み上げて内容を確認することで、ユーザーの意図しない制御シーケンスの実施を抑制することができる。

一方、クラウドサーバ３から受信したデータが制御シーケンス内容を含まない場合（Ｓ４０３：Ｎｏ）、受信したデータが制御コマンドであるか否かが判断される（Ｓ４０７）。そして、受信したデータが制御コマンドである場合（Ｓ４０７：Ｙｅｓ）、制御コマンドを電子機器４に送信し、制御シーケンスを実行する（Ｓ４０６）。

また、受信したデータが制御コマンドでもない場合は（Ｓ４０７：Ｎｏ）、制御シーケンスがないことの通知であると判断し、入力された音声に対応する制御シーケンスを設定するか否かをユーザーに問い合わせる（Ｓ４０８）。そして、制御シーケンスを設定すると判断された場合は（Ｓ４０８：Ｙｅｓ）、図３、図４、図１３または図１５に記載される制御シーケンス設定処理を実施する。

以上のように、本実施の形態によれば、ユーザーが設定した制御シーケンス以外の制御シーケンスを、キーワードに類似する音声を発するだけで実行することができ、利便性がさらに向上する。なお、上記では、キーワードが同じまたは類似するか否かに基づいて制御シーケンスを検索する構成としたが、これに限定されるものではない。例えば制御シーケンスの識別子として運転モードをタグ付けし、入力された音声に対応するタグまたは類似するタグに基づいて制御シーケンスを検索してもよい。

以上が本発明の実施の形態の説明であるが、本発明は、上記の実施の形態に限定されるものではなく、本発明の主旨を逸脱しない範囲で種々に変形することが可能である。例えば、上記実施の形態では、制御シーケンスを設定してからキーワードを設定する構成としたが、キーワードを先に設定してから制御シーケンスを設定してもよい。また、音声によるキーワードには、手を叩く音などの音を含んでもよい。

また、端末装置１が音声入出力装置２の構成の全てまたは一部を備える構成、または音声入出力装置２が端末装置１の構成の全てまたは一部を備えてもよい。また、クラウドサーバ３は必須ではなく、端末装置１と、音声入出力装置２と、電子機器４とが、それぞれ個別に、または連携してクラウドサーバ３が備える機能の一部または全部を実施する構成としてもよい。例えば、制御対象となる電子機器４が空気調和機のみの場合は、電子機器４が制御シーケンスデータベース３２２を記憶する構成とすることで、クラウドサーバ３を経由せずに迅速に制御を実施することができる。

さらに、制御シーケンス設定処理にて制御シーケンスを記録する以外にも、実際の電子機器４への指示に基づき、制御シーケンスを設定してもよい。具体的には、実際の電子機器４への複数の動作の指示をクラウドサーバ３などに記録しておく。そして、複数の動作の同じ組み合わせが、複数回指示された場合に、制御シーケンスとして設定するか否かを問い合わせ、必要に応じて制御シーケンスとして設定してもよい。

また、制御シーケンスの設定において、ユーザーが一から設定するのが面倒な場合は、第三者がＷｅｂまたはサーバ上にアップロードした制御シーケンスをダウンロードする、もしくはＷｅｂまたはサーバ上に読み込みにいってもよい。これにより、複雑な制御シーケンスを容易に設定することができる。また、これらをカスタマイズすることでユーザーにより合った制御シーケンスにアレンジしてもよい。

また、キーワードにより制御シーケンスが実行された場合に、制御シーケンスを途中でやめるための停止ワードをさらに設定する構成としてもよい。停止ワードは、文字、音声またはモーションにより入力することができる。

１ 端末装置、２、２Ａ 音声入出力装置、３ クラウドサーバ、４ 電子機器、１１、２１、３１ 制御部、１２ 操作部、１３ 表示部、２２ 音声入力部、２３ 音声出力部、２４ 撮影部、３２ 記憶部、５１ 第１画面、５２ 第２画面、１００、１００Ａ 機器制御システム、３１１ 音声認識部、３１２ 制御コマンド生成部、３２１ 制御コマンドデータベース、３２２ 制御シーケンスデータベース、５０１ 音声ボタン、５０２ マニュアルボタン、５０３ 終了ボタン、５０４ 戻るボタン、５０５ 音声入力ボタン、５０６ 文字入力ボタン、５０７ キーワード入力部、５０８ 設定ボタン、５０９ 照度ボタン、５１０ 時間ボタン、５１１ 照度入力部、５１２ 設定ボタン、５１３ 時間入力部、５１４ 条件ボタン、５１５ 条件入力部、５１６ モーション入力ボタン。

Claims (9)

1. 一または複数の電子機器の複数の動作を含む制御シーケンス、および前記制御シーケンスの実行を開始するトリガーとなるキーワードまたはモーションを設定する制御シーケンス設定部と、
   前記制御シーケンス設定部により設定された前記制御シーケンスと前記キーワードまたは前記モーションとを関連付けて記憶する記憶部と、
   前記キーワードに対応する音声または前記モーションが入力される入力部と、
   前記入力部に入力された前記キーワードまたは前記モーションに関連付けられた前記制御シーケンスを前記記憶部から抽出し、前記制御シーケンスに含まれる前記複数の動作を実施させるための制御コマンドを生成する機器制御部と、
   を備え、
   前記制御シーケンス設定部は、入力される音声により前記制御シーケンスを設定する機器制御システム。
2. 前記入力部には、前記制御シーケンスに対応する音声が入力されるものであり、
   前記制御シーケンス設定部は、前記入力部に入力される前記制御シーケンスに対応する音声に基づき前記制御シーケンスを設定する請求項１に記載の機器制御システム。
3. 前記制御シーケンス設定部は、前記入力部に入力される音声により前記キーワードを設定する請求項１または２に記載の機器制御システム。
4. 前記機器制御部は、入力された前記キーワードの話者認識を行う請求項３に記載の機器制御システム。
5. 前記制御シーケンス設定部は、操作部および表示部を備え、
   前記表示部は、前記一または複数の電子機器の前記複数の動作を表示するものであり、
   前記制御シーケンス設定部は、前記操作部の操作により前記制御シーケンスを設定する請求項１〜４の何れか一項に記載の機器制御システム。
6. 前記表示部は、第１画面および第２画面を表示するものであり、
   前記第１画面には、前記一または複数の電子機器の前記複数の動作が表示され、
   前記制御シーケンス設定部は、前記操作部により前記第１画面の前記複数の動作の何れかが前記第２画面にドラッグしてドロップされることにより、前記制御シーケンスを設定する請求項５に記載の機器制御システム。
7. 前記制御シーケンスは、前記複数の動作を実行する時間間隔、前記複数の動作の少なくとも一つを実行する時刻、または環境測定値を用いた条件式を含む請求項１〜６の何れか一項に記載の機器制御システム。
8. 前記機器制御部は、前記記憶部に前記入力部に入力された前記キーワードに対応する前記制御シーケンスがない場合、前記キーワードに類似するキーワードに対応する制御シーケンスを抽出し、前記制御シーケンスに含まれる前記複数の動作を実施させるための制御コマンドを生成する請求項１〜７の何れか一項に記載の機器制御システム。
9. 一または複数の電子機器の複数の動作を含む制御シーケンス、および前記制御シーケンスの実行を開始するトリガーとなるキーワードまたはモーションを設定する制御シーケンス設定部と、
   前記制御シーケンス設定部により設定された前記制御シーケンスと、前記キーワードまたは前記モーションとを関連付けて記憶する記憶部と、
   前記キーワードまたは前記モーションが入力された場合に、入力された前記キーワードまたは前記モーションに関連付けられた前記制御シーケンスを前記記憶部から抽出し、前記制御シーケンスに含まれる前記複数の動作を実施させるための制御コマンドを生成する機器制御部と、を備え、
   前記制御シーケンス設定部は、入力される音声により前記制御シーケンスを設定する端末装置。

Images