JP2018170744A - リモコン制御システム、リモコン制御方法及びプログラム - Google Patents

Abstract

【課題】ユーザが遠隔地から学習型リモコンにより家電機器の制御を行なう際、ユーザ自身が目視などで確認することなく、家電機器が所望の稼働の状態にあるか否かを容易に確認することが可能なリモコン制御システムを提供することを目的とする。【解決手段】本発明は、リモコンからの制御信号を受信した家電機器の稼働の状態を検出するセンサからの検出データを入力する状態検出機能部と、検出データにより家電機器が制御信号の指示に対応する稼働状態に遷移したか否かの判定を行なう制御結果判定部と、制御結果判定部の判定結果をユーザに通知する通知機能部とを備える。【選択図】図１

Description

本発明は、家電機器等の制御に用いるリモートコントロール装置（以下、単にリモコンと示す）の制御信号を学習した学習型リモコンで複数の家電機器を制御するリモコン制御システム、リモコン制御方法及びプログラムに関する。

テレビやエアコン（エア コンディショナー）などの家電機器の制御には、赤外線や電波などにより、制御対象である家電機器に対して制御情報を送信するリモコンによる制御が一般的である。
ユーザがリモコンを制御対象の家電機器に対して向け、リモコンの制御盤の所定のボタンを押下することにより、ボタンに対応する制御を行なわせるための制御信号を出力する。たとえば、リモコンが赤外線リモコンであれば、リモコンに搭載されている赤外線ＬＥＤから、制御の種類に対応した赤外線のパルスパターンが放射される。

近年、家電機器の増加に対応し、リモコンの数が多くなることで、それぞれの家電機器のリモコンを使用して制御することが煩雑となった。このため、複数の家電機器の各々のリモコンにおける制御信号のパルスパターンを学習させ、一台で複数の家電機器の制御を行なう学習型リモコンが用いられている。
この学習型リモコンを用いることにより、遠隔地から学習型リモコンを、チャットなどのアプリケーションを用いて制御し、この学習型リモコンが配置されている室内における複数の家電機器の各々の制御を、インターネット等の通信回線を用いて行なうことができる。

しかし、一般的な学習型リモコンの赤外線の制御信号を用いた制御の場合、制御対象の家電機器に制御信号を放射するのみであり、家電機器が制御信号に対応して稼働するか否かは学習型リモコンを操作するユーザが確認している。例えば、家電機器と学習型リモコンとの間に、予期しない遮蔽物が一時的に存在する場合、学習型リモコンの制御信号が家電機器に届かず、家電機器を正常に稼働させることはできない。また、このとき、ユーザは遠隔地にいるため、直接に家電機器の状態を撮像することができない。
したがって、上述したように、遠隔地から学習型リモコンを制御し、家電機器を稼働させる操作を行なっても、家電機器が所望の状態に遷移し、正常に稼働したか否かは判らない。

このため、ユーザが遠隔地から家電機器を制御するインテリジェントなホームネットワークシステムに対し、上述した学習型リモコンを制御装置として組み込んで使用するのは困難である。遠隔地にいるユーザが家電機器の状態を観察するためには、家電機器の稼働状態を取得することのできる通信方式（例えば、ＥＣＨＯＮＥＴ Ｌｉｔｅ（登録商標）など）を家電機器の各々に実装し、学習型リモコンによる制御時の稼働の状態を検出するなどして、制御結果を担保する必要がある。
しかし、家電機器毎に上記通信方式の機能を組み込むため、家電機器の製造コストが増加し、一般家庭に広く普及されておらず、かつこの機能が組み込まれていない家電機器を、上記通信方式のネットワーク下で使用することができない。

上記課題を解決するため、学習型リモコンを操作して家電機器を制御した際の画像や、家電機器の動作を検出するセンサ情報を、学習型リモコンを制御しているユーザの携帯端末などに通知するシステムがある（例えば、特許文献１参照）。ユーザは家電機器が所望の操作に対応した稼働の状態となっているか否かを、上記システムからの通知により確認する。

特開２０１７−２２７４５号公報

しかしながら、上記特許文献１は、ユーザがシステムからの通知の内容を携帯端末において確認し、正常に稼働したか否かを目視で確認しなければならないという煩雑さがある。
また、タイマーなどで時間指定した場合など、指定した時間に、システムからの家電機器の稼働の状態を示す通知の内容を確認し、制御どおりに正常に稼働しているか否かを判定する必要があるが、指定した時間において一々対応することが困難である。

本発明は、このような事情に鑑みてなされたもので、ユーザが遠隔地から学習型リモコンにより家電機器の制御を行なう際、ユーザ自身が目視などで確認することなく、家電機器が所望の稼働の状態にあるか否かを容易に確認することが可能なリモコン制御システム、リモコン制御方法及びプログラムを提供することを目的とする。

この発明は上述した課題を解決するためになされたもので、本発明のリモコン制御システムは、リモコンが放射する制御信号を受信した家電機器の稼働の状態を検出するセンサからの検出データを入力する状態検出機能部と、前記検出データにより前記家電機器が前記制御信号の指示に対応する稼働状態に遷移したか否かの判定を行なう制御結果判定部と、前記制御結果判定部の判定結果をユーザに通知する通知機能部とを備えることを特徴とする。

本発明のリモコン制御システムは、少なくとも前記制御信号の示す制御コマンドと、前記稼働の状態を検出する複数の前記センサの各々からの前記検出データと、これらを用いた際の実際の制御結果とを教師データとした機械学習を行い、入力される前記制御信号の示す制御コマンドと、前記稼働の状態を検出する複数の前記センサの各々からの前記検出データから、前記制御結果の判定を推定する制御結果判定モデルを生成する判定モデル学習部をさらに有し、前記制御結果判定部が、前記リモコンの前記制御信号による指示前及び指示後それぞれの時点において、少なくとも前記制御信号の示す制御コマンドと、前記稼働の状態を検出する複数の前記センサの各々からの前記検出データとを入力とする制御結果判定モデルを用い、前記家電機器の制御結果を推定し、当該推定結果により前記判定を行うことを特徴とする。

本発明のリモコン制御システムは、ユーザの指定する操作に対応する制御信号を、前記リモコンに対して放射させる制御を行なうリモコン制御部をさらに備え、前記制御結果判定部が、前記家電機器の制御結果が前記制御信号に対応した状態でないと判定した場合、前記リモコン制御部が、前記リモコンに対して前記制御信号を再放射させることを特徴とする。

本発明のリモコン制御システムは、前記リモコンを搭載し、前記制御信号の放射方向を制御する放射方向調整機構を備え、前記リモコン制御部が、前記放射方向調整機構を制御し、制御対象の前記家電機器の配置位置に、前記リモコンの制御信号の放射方向を調整することを特徴とする。

本発明のリモコン制御システムは、ユーザと対話する対話エージェントをさらに備え、前記対話エージェントが、前記ユーザとの対話により、当該ユーザの前記家電機器の制御の指令を前記リモコン制御部へ伝達し、前記機械学習の処理を前記判定モデル学習部へ伝達することを特徴とする。

本発明のリモコン制御方法は、状態検出機能部が、リモコンからの制御信号を受信した家電機器の稼働の状態を検出するセンサからの検出データを入力する状態検出過程と、
制御結果判定部が、前記検出データにより前記家電機器が前記制御信号の指示に対応する稼働状態に遷移したか否かの判定を行なう制御結果判定過程と、通知機能部が、前記制御結果判定部の判定結果をユーザに通知する通知過程とを含むことを特徴とする。

本発明のプログラムは、コンピュータを、リモコンからの制御信号を受信した家電機器の稼働の状態を検出するセンサからの検出データを入力する状態検出機能手段、前記検出データにより前記家電機器が前記制御信号の指示に対応する稼働状態に遷移したか否かの判定を行なう制御結果判定手段、前記制御結果判定部の判定結果をユーザに通知する通知機能手段として機能させるプログラムである。

この発明によれば、ユーザが遠隔地から学習型リモコンにより家電機器の制御を行なう際、ユーザ自身が目視などで確認することなく、家電機器が所望の稼働の状態にあるか否かを容易に確認することが可能なリモコン制御システム、リモコン制御方法及びプログラムを提供することができる。

本発明の第１の実施形態のリモコン制御システムの構成例を示す図である。 機器データベース１３２に書き込まれて記憶されている機器データテーブルの構成例を示す図である。 コマンドデータベース１３１に書き込まれて記憶されているコマンドテーブルの構成例を示す図である。 状態データベース１３３に書き込まれて記憶されている状態データテーブルの構成例を示す図である。 第２の実施形態のリモコン制御システムを用いた家電機器の室内における位置の確認処理の動作例を示すフローチャートである。 本実施形態のリモコン制御システムを用いた家電機器の制御処理の動作例を示すフローチャートである。 本発明の第２の実施形態のリモコン制御システムの構成例を示す図である。 制御履歴データベース１３４に記憶されている制御履歴データテーブルの構成例を示す図である。 状態データベース１３３Ａに記憶されている状態データテーブルの構成例を示す図である。 本実施形態のリモコン制御システムにおける制御結果判定部における制御結果判定モデルを学習させる教師データの取得処理の動作例を示すフローチャートである。 第２の本実施形態のリモコン制御システムを用いた家電機器の制御処理の動作例を示すフローチャートである。

＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態のリモコン制御システムの構成例を示す図である。
図１において、リモコン制御システムは、ロボット装置１１、リモコン制御装置１２及び記憶装置１３の各々を備えている。ロボット装置１１、リモコン制御装置１２及び記憶装置１３は、ホームネットワークなどの通信網１００により接続されている。通信網１００は、インターネットなどを介して携帯端末２００と接続される。ロボット装置１１及びリモコン制御装置１２の各々は、以下に説明する機能それぞれに対応するアプリケーションプログラムがインストールされて、それぞれの機能を実行する。また、本実施形態においては、リモコン制御システムがロボット装置１１及びリモコン制御装置１２の各々に分離して構成された例を示しているが、ロボット装置１１及びリモコン制御装置１２を一つのサーバなどのコンピュータシステムで一体化して構成してもよい。また、ロボット装置１１、リモコン制御装置１２及び記憶装置１３を一つのサーバなどのコンピュータシステムで一体化して構成してもよい。また、機能それぞれを、個々のコンピュータシステムで構成し、連携して動作する構成としてもよい。

ロボット装置１１は、マイク（マイクロフォン）装置１１１、撮像装置１１２、対話エージェント１１３及びスピーカ装置１１４の各々を備えている。
マイク装置１１１は、指向性を有するマイクセンサが備えられており音の検出（取得）を行ない音情報（強度及び周波数など）を出力する。ここで、ロボット装置１１は、マイク装置１１１が検出した音情報を状態データベース１３３に書き込んで記憶させる。

撮像装置１１２は、指向性を有する撮像センサ（例えば、ＣＣＤ（charge coupled device）イメージセンサ）であり、撮像した画像データを状態データベース１３３に対して書き込んで記憶させる。ここで、ロボット装置１１は、撮像装置１１２が撮像した画像データを状態データベース１３３に書き込んで記憶させる。また、撮像装置１１２は、撮像センサとして指向性を有さない全天球型撮像センサを用いても良い。

また、ロボット装置１１には、学習型リモコン４００、マイク装置１１１及び撮像装置１１２を搭載し、学習型リモコン４００の赤外線（後述する制御信号）の放射方向を調整するため、学習型リモコン４００の固定台の方位角及び仰角を変化させる方向調整機構が設けられている。この方向調整機構において、学習型リモコン４００の赤外線の放射方向と、マイク装置１１１の指向性を有する音声を取得する取得方向と、撮像装置１１２の撮像方向との各々が同一となるように、上記固定台において、学習型リモコン４００、マイク装置１１１、撮像装置１１２それぞれが取り付けられている。そして、方向調整機構により上記固定台の方位角及び仰角を調整することにより、学習型リモコン４００の赤外線の放射方向と、マイク装置１１１の指向性を有する音声を取得する取得方向と、撮像装置１１２の撮像方向とを調整することができる。ここで、撮像装置１１２として全天球型撮像センサを用いている場合、撮像装置１１２は上記方向調整機構に搭載せず、ロボット装置１１の筐体に固定して取り付けられる。

対話エージェント１１３は、ユーザがリモコン制御システムにより家電機器を制御したり、家電機器の動作状態の通知を受ける際のインターフェースとなっている。対話エージェント１１３は、ユーザとのインタラクションを、マイク装置１１１及びスピーカ装置１１４と、自身に内包されるアプリケーションサーバである音声認識サーバ、音声合成サーバとを用いた自然言語による音声対話や、携帯端末２００を介したチャットなどの対話形式で行ない、家電機器３００の制御に係わるデータの送受信を行なう。
すなわち、対話エージェント１１３は、ユーザとの対話を行なう際、例えば、スピーカ装置１１４から質問をユーザに対して音声で通知し、ユーザからの回答の音声をマイク装置１１１により入力する。ここで、対話エージェント１１３は、自身に内包された音声合成サーバ及び音声認識サーバの各々により、ユーザに行なう質問の音声の合成、ユーザからの回答の音声の内容の認識それぞれの処理を行なう。
また、ロボット装置１１は、家電機器３００＿１から家電機器３００＿ｍの各々の近傍に配置されているセンサ１４＿１、…、センサ１４＿ｎそれぞれからのセンサ検出データを読み出し、状態データベースに書き込んで記憶させる。以下、家電機器３００＿１から家電機器３００＿ｍを総称する際、家電機器３００と示し、センサ１４＿１からセンサ１４＿ｎを総称する際、センサ１４と称する。

また、ロボット装置１１は、対話エージェント１１３を介して入力される家電機器３００の名称（メーカ名）に基づき、ウェブ上において家電機器３００のメーカのホームページをアクセスし、家電機器３００の画像データを取得し、この家電機器３００を識別する機器ＩＤ（identification）を付与し、機器データベース１３２に書き込んで記憶させる。
また、ロボット装置１１は、家電機器３００の各々の個々のリモコンのコマンドを、学習型リモコン４００に学習させ、コマンド名及びこのコマンド名のコマンドを識別するコマンドＩＤを付与し、機器データベース１３２に書き込んで記憶させる。このとき、ロボット装置１１は、上記コマンドＩＤに対応させ、各コマンドＩＤの示すコマンドに対応して放射される赤外線のパルスパターンの情報をコマンドデータベース１３１に対して書き込んで記憶させる。このコマンドデータベース１３１は、ロボット装置１１、記憶装置１３及び学習型リモコン４００のいずれに備える構成としてもよい。
また、ロボット装置１１は、ウェブ上において家電機器３００の各々のリモコンのコマンドが登録されているデータベースから、学習対象の家電機器３００のリモコンのコマント及び赤外線のパルスパターンを読み込んで取得し、学習型リモコン４００に対して学習させてもよい。
さらに、ユーザが自身の操作により、家電機器３００の各々のリモコンのコマンドを、学習型リモコン４００に対して入力することで、コマンドＩＤの示すコマンドに対応して放射される赤外線のパルスパターンの情報を学習させてもよい。

リモコン制御装置１２は、制御結果判定部１２１及びリモコン制御部１２２の各々を備えている。
制御結果判定部１２１は、状態データベース１３３に記憶されている音情報、画像データ及びセンサ検出データの各々のデータを用い、家電機器３００の各々の状態を推定する。また、制御結果判定部１２１は、推定した状態から、学習型リモコン４００から放射した制御信号に対応する制御が、家電機器３００において行なわれたか否かの判定を行なう。制御結果判定部１２１は、上記対話エージェント１１３を介して、ユーザの携帯端末２００に対して、判定結果の通知を行う。
リモコン制御部１２２は、学習型リモコン４００に対し、家電機器３００の各々を制御するための制御信号を放射させる。このとき、リモコン制御部１２２は、ロボット装置１１の方向調整機構を制御して、学習型リモコン４００の放射方向を調整する。

機器データベース１３２には学習型リモコン４００に登録されているコマンドにより制御する家電機器の情報が、それぞれの家電機器を識別する機器ＩＤに対応付けて記述された機器データテーブルが書き込まれて記憶されている。
図２は、機器データベース１３２に書き込まれて記憶されている機器データテーブルの構成例を示す図である。図２において、機器データテーブルは、レコード毎に、機器ＩＤの各々に対応付けられ、名称（メーカ名）、コマンド名リスト、コマンドＩＤリスト、画像及び位置の各々の欄が設けられている。名称（メーカ名）は、家電機器の名前、例えば製品名であり、メーカ名とともに記載される。コマンド名は、リモコンで制御するときのコマンドの名称であり、例えば、家電機器３００がエアコンであれば、暖房ＯＮ、暖房ＯＦＦなどである。コマンドＩＤは、コマンドを識別する識別情報である。画像は、家電機器３００の形状を示す画像データである。位置は、家電機器３００の取り付け位置を示す情報、すなわちロボット装置１１を原点とした方向調整機構の制御情報を示している。

コマンドデータベース１３１には、学習型リモコン４００に登録されているコマンドのコマンドＩＤとこのコマンドＩＤに対応した赤外線のパルスパターンとを対応付けたコマンドテーブルが書き込まれて記憶されている。
図３は、ロボット装置１１、記憶装置１３及び学習型リモコン４００内のいずれかに備えられたコマンドデータベース１３１に書き込まれて記憶されているコマンドテーブルの構成例を示す図である。図３において、コマンドテーブルは、レコード毎に、コマンドＩＤの各々に対応付けられ、信号パターン（パルスパターン）の欄が設けられている。信号パターンは、コマンドＩＤの示すコマンドに対応して、学習型リモコン４００が放射する、家電機器３００を制御するパルスパターンの情報（周波数、パルス幅など）が記載されている。

図４は、状態データベース１３３に書き込まれて記憶されている状態データテーブルの構成例を示す図である。図４において、状態データテーブルは、レコード毎に、コマンドＩＤの各々に対応付けられ、時刻、カメラ情報、マイク入力及びセンサ出力の各々の欄が設けられている。時刻は、このコマンドＩＤのコマンドに対応したパルスパターンの赤外線が放射された時刻を示している。カメラ情報は、このコマンドＩＤのコマンドに対応したパルスパターンの赤外線が放射された後に撮像装置１１２により撮像された画像データである。マイク入力は、このコマンドＩＤのコマンドに対応したパルスパターンの赤外線が放射された後にマイク装置１１１により取得された音声データである。

また、センサ出力は、コマンドＩＤのコマンドに対応する家電機器３００の近傍に配置されたセンサの出力する検出結果を示している。例えば、家電機器３００がテレビ（television set）である場合、画面近傍に照度センサが設けられている。また、家電機器３００がエアコンの場合、送風口近傍に温度センサや風量センサ（所謂、風量計として用いられる差圧センサ）などが設けられている。このように、家電機器３００の近傍に配置されるセンサは、それぞれの家電機器３００の稼働が確認できる情報が得られる種類が用いられる。上述したように、本実施形態において、センサの各々は、家電機器３００それぞれに個別に取り付けられている。

次に、図５を用いて、本実施形態のリモコン制御システムを用いた家電機器の室内における位置の確認処理の流れを説明する。図５は、第２の実施形態のリモコン制御システムを用いた家電機器の室内における位置の確認処理の動作例を示すフローチャートである。

ステップＳ１１：ロボット装置１１は、対話エージェント１１３を介して、ユーザが音声あるいは入力手段（タッチパネルあるいはボタン、キーボード）により入力する家電機器３００の名称（メーカ名）により、これから画像を取得する家電機器３００を特定する。

ステップＳ１２：ロボット装置１１は、特定した家電機器３００の名称（メーカ名）に基づき、メーカのホームページを検索する。また、ロボット装置１１は、予め多様なメーカの家電機器３００の機器情報が登録されている、ウェブ上のマザーデータベースにアクセスし、特定した家電機器３００の機器情報の検索を行なっても良い。
そして、ロボット装置１１は、検索した家電機器３００のメーカのホームページ、またはマザーデータベースのレコードから、家電機器３００の形状を示す画像データを取得する。このとき、ロボット装置１１は、取得した画像データに対応する家電機器３００に機器ＩＤを付与し、この家電機器３００の画像データを、機器データベース１３２の機器データテーブルに書き込んで記憶させる。

ステップＳ１３：ロボット装置１１は、方向調整機構を調整し、撮像装置１１２の撮像方向を制御する。そして、ロボット装置１１は、撮像装置１１２に撮像される室内の画像において、機器データベース１３２の機器データテーブルに記載した家電機器の画像データと一致する家電機器３００を検索する。また、撮像装置１１２として全天球型撮像センサを用いている場合、ロボット装置１１は、撮像される室内の全天球画像から、全天球型撮像センサを基準とした三次元座標系において、何れの方向に家電機器の画像データと一致する家電機器３００の画像の位置を検索する。

ステップＳ１４：ロボット装置１１は、機器データテーブルに記載した家電機器の画像データと一致する家電機器３００を検出した場合、その時点における方向調整機構の制御値を、家電機器３００の位置と判定する。また、撮像装置１１２として全天球型撮像センサを用いている場合、そして、ロボット装置１１は、全天球画像から検索された方向を、家電機器３００の位置とする。

ステップＳ１５：そして、ロボット装置１１は、家電機器３００の位置と判定した方向調整機構の制御値を、機器データベース１３２の機器データテーブルに書き込んで記憶させる。

ステップＳ１６：対話エージェント１１３は、他に配置位置を機器データテーブルに登録する家電機器３００があるか否かをユーザに対して確認する。このとき、ロボット装置１１は、対話エージェント１１３を介して、ユーザから他に機器データテーブルに登録する家電機器３００がないとする回答を受けると、処理を終了する。一方、ロボット装置１１は、対話エージェントを介して、ユーザから他に機器データテーブルに登録する家電機器３００があるとする回答を受けると、処理をステップＳ１１へ戻す。

図６を用いて、本実施形態のリモコン制御システムを用いた家電機器の制御を行う処理の流れを説明する。図６は、本実施形態のリモコン制御システムを用いた家電機器の制御処理の動作例を示すフローチャートである。以下の説明においては、制御対象の家電機器３００をエアコンとして説明する。

ステップＳ２１：リモコン制御装置１２は、対話エージェント１１３を介して、制御対象の家電機器３００とコマンド名との各々を取得し、制御対象の家電機器３００、制御するためのコマンドそれぞれの特定を行う。

ステップＳ２２：リモコン制御部１２２は、リモコン制御装置１２が特定した家電機器３００に対し、学習型リモコン４００の赤外線の放射方向が向くように、ロボット装置１１の方向調整機構を制御する。これにより、リモコン制御部１２２は、学習型リモコン４００の赤外線の放射方向を、制御対象の家電機器３００の配置位置に対して向ける。このとき、撮像装置１１２の撮像方向及びマイク装置１１１の集音方向の各々も、学習型リモコン４００の赤外線の放射方向と同一の方向を向く。
そして、リモコン制御部１２２は、制御を行うコマンドＩＤに対応するパルスパターンの情報を、コマンドデータベース１３１のコマンドテーブルから読み出し、学習型リモコン４００に送信する。

ステップＳ２３：学習型リモコン４００は、リモコン制御部１２２から供給されたパルスパターンの赤外線を放射する。この赤外線は、学習型リモコン４００の放射方向が制御対象の家電機器３００に向いているため、この制御対象の家電機器３００に対して到達する。

ステップＳ２４：リモコン制御装置１２は、撮像装置１１２により撮像された家電機器３００の画像データをカメラ情報として、コマンドＩＤに対応させて状態データベース１３３の状態データテーブルに対して書き込んで記憶させる。
同様に、リモコン制御装置１２は、マイク装置１１１により取得された家電機器３００の発生する音声データをマイク入力として、コマンドＩＤに対応させて状態データベース１３３の状態データテーブルに対して書き込んで記憶させる。
また、リモコン制御装置１２は、家電機器３００あるエアコンのルーバーの風の出口に配置された風量を検出するセンサ１４から取得された、エアコンの吹き出す空気の風量データを、センサ出力としてコマンドＩＤに対応して状態データベース１３３の状態データテーブルに対して書き込んで記憶させる。

ステップＳ２５：制御結果判定部１２１は、状態データベース１３３の状態データテーブルから画像データを読み出して、読み出した画像データの画像解析を行い、例えばルーバーの動作状態を検出するなどし、家電機器３００の稼働状態を推定する。
また、制御結果判定部１２１は、状態データベース１３３の状態データテーブルから音声データを読み出して、読み出した音声データの音声解析を行い、例えばルーバーの稼働音や学習型リモコン４００コマンド受付音を検出するなどし、家電機器３００の稼働状態を推定する。
同様に、制御結果判定部１２１は、状態データベース１３３の状態データテーブルから風量データを読み出して、読み出した風量データの風量解析を行い、例えばエアコンの吹き出し口からの風量を検出するなどし、家電機器３００の稼働状態を推定する。

そして、制御結果判定部１２１は、ルーバーの動作状態、ルーバーの稼働音、吹き出し口からの風量、あるいは学習型リモコン４００コマンド受付音の各々が予め設定された所定の閾値を超えているか否かの判定を行う。このとき、制御結果判定部１２１は、内部に設けられた判定器に対し、ルーバーの動作状態、ルーバーの稼働音、吹き出し口からの風量、学習型リモコン４００コマンド受付音が閾値を超えているか否かの判定結果を供給する。上記判定器は、全ての判定結果が閾値を超えている場合、家電機器３００が正常に稼働していると判定する。一方、判定器は、いずれかの判定結果が閾値を超えていない場合、家電機器３００が正常に稼働していないと判定する。
また、上記判定器は、いずれかの判定結果が閾値を超えている場合、家電機器３００が正常に稼働し、一方、全ての判定結果が閾値以下である場合、家電機器３００が正常に稼働していないと判定するように構成されていてもよい。

ステップＳ２６：制御結果判定部１２１は、判定器の判定結果に基づいて、家電機器３００が稼働しているか否かの判定を行う。
このとき、制御結果判定部１２１は、家電機器３００が正常に稼働していると判定器により判定された場合、処理をステップＳ２７へ進める。
一方、制御結果判定部１２１は、家電機器３００が正常に稼働していないと判定器により判定された場合、処理をステップＳ２８へ進める。

ステップＳ２７：リモコン制御装置１２は、家電機器３００が正常に稼働していることを、対話エージェント１１３を介して、遠隔地のユーザの携帯する携帯端末２００に対して通知する。

ステップＳ２８：リモコン制御装置１２は、家電機器３００が正常に稼働していないことを、対話エージェント１１３を介して、遠隔地のユーザの携帯する携帯端末２００に対して通知する（異常処理）。
また、リモコン制御装置１２は、異常処理であった場合、ステップＳ２２に処理を戻し、再度、家電機器３００に対して赤外線を放射する処理を行い、この処理を行ったことを携帯端末２００に対して通知する構成としてもよい。

上述したように、本実施形態によれば、学習型リモコンによって操作された家電機器３００から取得した画像データ、音声データ及びセンサ出力の各々に基づき、家電機器３００の稼働状態を判定器により確認し、稼働状態をユーザに対して通知するため、ユーザが遠隔地からチャットなどを用いて、対話エージェントを介して学習型リモコンにより家電機器の制御を行なう際、ユーザ自身が目視などで確認することなく、家電機器が所望の稼働の状態にあるか否かを容易に確認することが可能となる。
また、本実施形態によれば、ユーザの所望する制御結果が得られない場合、リモコン制御装置１２が、再度、ユーザから指定された家電機器の制御を自動で行うため、ユーザの対話エージェントを介しての、家電機器３００の制御の負荷を低減させることができる。

＜第２の実施形態＞
以下、図面を参照して、本発明の第２の実施形態について説明する。図７は、本発明の第２の実施形態のリモコン制御システムの構成例を示す図である。
図７において、リモコン制御システムは、ロボット装置１１、リモコン制御装置１２Ａ及び記憶装置１３Ａの各々を備えている。リモコン制御装置１２Ａは、制御結果判定部１２１Ａ、リモコン制御部１２２、判定モデル学習部１２３の各々を備えている。記憶装置１３Ａは、コマンドデータベース１３１、機器データベース１３２、状態データベース１３３Ａ、制御履歴データベース１３４の各々を備えている。
以下、第２の実施形態が第１の実施形態と異なる構成及び動作についてのみ説明する。図７において、第１の実施形態と同様の構成に対しては、同一の符号を付し、その説明を省略する。

リモコン制御装置１２Ａは、制御結果判定部１２１Ａと、リモコン制御部１２２及び判定モデル学習部１２３を備えている。
本実施形態において、制御結果判定部１２１Ａにおける判定器は、機械学習により生成された制御結果判定モデルである。この制御結果判定モデルは、ＳＶＭ（support vector machine）やニューラルネットワークなどデータの特性に合わせて選択したアルゴリズムが用いられた推定モデルである。
この制御結果判定モデルは、家電機器３００毎に一個のモデルとして機械学習により作成してもよいし、複数の家電機器３００に対して一個のモデルとして機械学習により作成してもよい。

上記機械学習において、以下に示すように、教師データを用いて、対話エージェント１１３を介して、ユーザに行わせる制御操作により、上記制御結果判定モデルを作成する。
判定モデル学習部１２３は、機械学習において、対話エージェント１１３を介して、ユーザに対して家電機器３００の制御を学習型リモコンに行わせ、その後、家電機器３００が制御に対応して正しく稼働したか否かの判定を行わせる。
このとき、ロボット装置１１は、機械学習を行ったコマンドＩＤ毎に、撮像装置１１２、マイク装置１１１及びセンサ１４の各々から、画像データ、音声データ、センサ出力それぞれを取得し、状態データベース１３３Ａ、制御履歴データベース１３４に書き込んで記憶させる。

図８は、制御履歴データベース１３４に記憶されている制御履歴データテーブルの構成例を示す図である。図８において、制御履歴データテーブルは、レコード毎に、制御ＩＤの各々に対応付けられ、時刻、コマンドＩＤ、状態ＩＤ及び正否ラベルの各々の欄が設けられている。制御ＩＤは、家電機器３００に対して行った制御の各々を識別するための情報である。時刻は、コマンドＩＤのコマンドに対応したパルスパターンの赤外線が放射された時刻を示している。コマンドＩＤは、コマンドを識別する識別情報である。状態ＩＤは、制御を行った結果えられた家電機器３００の状態を示すデータを識別する情報である。正否ラベルは、この制御ＩＤの示す制御を行った結果、家電機器３００が正常に稼働したか否かを示すラベルであり、正常に稼働した場合に「正」となり、正常に稼働しない場合に「否」となる。家電機器を制御した後、対話エージェント１１３を介して、判定モデル学習部１２３が、制御ＩＤの各々に対応して家電機器３００が正常に稼働しているか否かの判定結果を、ユーザに対して問い合わせ、回答されたユーザの判定結果を正否ラベルとして、制御履歴データベース１３４に対して書き込んで記憶させる。

図９は、状態データベース１３３Ａに記憶されている状態データテーブルの構成例を示す図である。図９において、状態データテーブルは、レコード毎に、状態ＩＤの各々に対応付けられ、時刻、カメラ情報、マイク入力及びセンサ出力の各々の欄が設けられている。カメラ情報は、このコマンドＩＤのコマンドに対応したパルスパターンの赤外線が、放射される前（すなわち、家電機器３００に対する赤外線によるコマンドの指示前）と放射された後（すなわち、家電機器３００に対する赤外線によるコマンドの指示後）との各々に撮像装置１１２により撮像された２種類の画像データである。マイク入力は、このコマンドＩＤのコマンドに対応したパルスパターンの赤外線が、放射される前と放射された後との各々にマイク装置１１１により取得された２種類の音声データである。センサ出力は、コマンドＩＤのコマンドに対応する家電機器３００の近傍に配置されたセンサの出力する検出結果を示している。また、センサ出力は、放射される前（指示前）と放射された後（指示後）との各々にセンサ１４により検出された２種類のセンサ出力である。

図７に戻り、判定モデル学習部１２３は、制御ＩＤ毎にコマンドＩＤ、状態ＩＤ及び正否ラベルの各々を、制御履歴データベース１３４の制御履歴データテーブルから読み出す。また、判定モデル学習部１２３は、読み出した状態ＩＤに対応する時刻、カメラ情報、マイク入力、センサ出力の各々を、状態データベース１３３Ａの状態データテーブルから読み出す。ここで、読み出したコマンドＩＤ、赤外線が放射される前後の２種類の画像データと、赤外線が放射される前後の２種類の音声データと、赤外線が放射される前後の２種類のセンサ出力との各々が入力、正否ラベルの示す判定結果が出力として、制御結果判定モデルを学習させるための教師データとして用いる。

そして、判定モデル学習部１２３は、コマンドＩＤ、赤外線が放射される前後の２種類の画像データと、赤外線が放射される前後の２種類の音声データと、赤外線が放射される前後の２種類のセンサ出力との各々を入力として供給し、上記正否ラベルの示す判定結果が出力（推定）されるように、制御結果判定モデルの重み付け係数の調整などを行う。上記教師データは、異なる室内の状態（例えば、時間をおいて、同一の制御を複数回行う）で、家電機器３００毎に複数種類取得して、多数個とする。また、判定モデル学習部１２３は、対話エージェント１１３を介して、ユーザに対して、学習型リモコン４００に登録されている複数のリモコンのコマンドの全てのコマンドＩＤに対して、上記制御結果判定モデルの学習を行うための教師データの取得を行う。

次に、図１０を用いて、本実施形態のリモコン制御システムにおける制御結果判定部における制御結果判定モデルを学習させる教師データの取得処理の流れを説明する。図１０は、本実施形態のリモコン制御システムにおける制御結果判定部１２１Ａにおける制御結果判定モデルを学習させる教師データの取得処理の動作例を示すフローチャートである。以下の説明は、ユーザがリモコン制御システムを、制御結果判定モデルの機械学習を行うモードとした際における動作を示している。

ステップＳ３１：ロボット装置１１は、対話エージェント１１３を介して、ユーザが音声あるいは入力手段により入力する家電機器３００の名称（メーカ名）により、これから教師データを取得する家電機器３００を特定する。
また、リモコン制御部１２２は、リモコン制御装置１２Ａが特定した家電機器３００に対し、学習型リモコン４００の赤外線の放射方向が向くように、ロボット装置１１の方向調整機構を制御する。これにより、リモコン制御部１２２は、学習型リモコン４００の赤外線の放射方向を、制御対象の家電機器３００の配置位置に対して向ける。このとき、撮像装置１１２の撮像方向及びマイク装置１１１の集音方向の各々も、学習型リモコン４００の赤外線の放射方向と同一の方向を向く。このとき、リモコン制御部１２２は、対話エージェント１１３を介して、コマンドＩＤをユーザより取得する。

ステップＳ３２：ロボット装置１１は、コマンドＩＤのコマンドに対応したパルスパターンの赤外線が放射される前において、撮像装置１１２により家電機器３００の撮像を行い画像データを撮像する。また、ロボット装置１１は、マイク装置１１１により家電機器３００の音声データの取得、センサ１４によりセンサ出力の検出を行う。
そして、ロボット装置１１は、制御ＩＤを付与し、制御履歴データベース１３４の制御履歴データテーブルに対し、制御ＩＤ、コマンドＩＤ、状態ＩＤの各々を書き込んで記憶させる。また、ロボット装置１１は、上記制御ＩＤに対応した状態ＩＤ、データを取得した時刻、カメラ情報、マイク入力、センサ出力の各々を、状態データベース１３３Ａの状態データテーブルに対して書き込んで記憶させる。

ステップＳ３３：リモコン制御部１２２は、制御を行うコマンドＩＤに対応するパルスパターンの情報を、コマンドデータベース１３１のコマンドテーブルから読み出し、学習型リモコン４００に送信する。

ステップＳ３４：学習型リモコン４００は、リモコン制御部１２２から供給されたパルスパターンの赤外線を放射する。この赤外線は、学習型リモコン４００の放射方向が制御対象の家電機器３００に向いているため、この制御対象の家電機器３００に対して到達する。

ステップＳ３５：ロボット装置１１は所定の時間経過（例えば、一分間）後、コマンドＩＤのコマンドに対応したパルスパターンの赤外線が放射された後（コマンドによる指示後）において、撮像装置１１２により家電機器３００の撮像を行い画像データを撮像する。また、ロボット装置１１は、マイク装置１１１により家電機器３００の音声データの取得、センサ１４によりセンサ出力の検出を行う。
そして、ロボット装置１１は、制御履歴データベース１３４の制御履歴データテーブルにおいて、対応する制御ＩＤのレコードに対し、コマンドＩＤ、状態ＩＤの各々を書き込んで記憶させる。また、ロボット装置１１は、上記制御ＩＤに対応した状態ＩＤ、データを取得した時刻、カメラ情報、マイク入力、センサ出力の各々を、状態データベース１３３Ａの状態データテーブルに対して書き込んで記憶させる。

ステップＳ３６：ロボット装置１１は、与えたコマンドに対応した状態で家電機器３００が正常に稼働しているか否か（すなわち、コマンドの示す制御信号の指示に対応した稼働状態に遷移したか否か）の判定を、対話エージェント１１３を介してユーザに問い合わせる。そして、ロボット装置１１は、対話エージェント１１３を介して得られる家電機器３００の稼働状態の可否に対する回答を得る。

ステップＳ３６：、ロボット装置１１は、対話エージェント１１３を介して得られる家電機器３００の稼働状態の可否に対する回答を、正否ラベルとして、制御履歴データベース１３４の制御履歴データテーブルに対して書き込んで記憶させる。
ロボット装置１１は、制御結果判定モデルの機械学習を行うモードにおいて、上記フローチャートの処理を、教師データの取得として、学習型リモコン４００に登録されている複数のリモコンのコマンドの全てのコマンドＩＤのコマンドの全てに対して行う。

図１１を用いて、本実施形態のリモコン制御システムを用いた家電機器の制御を行う処理の流れを説明する。図１１は、第２の本実施形態のリモコン制御システムを用いた家電機器の制御処理の動作例を示すフローチャートである。以下の説明においては、制御対象の家電機器３００をエアコンとして説明する。

ステップＳ４１：リモコン制御装置１２は、対話エージェント１１３を介して、ユーザが音声あるいは入力手段により入力する家電機器３００の名称により、制御対象の家電機器３００を特定する。
また、リモコン制御部１２２は、リモコン制御装置１２が特定した家電機器３００に対し、学習型リモコン４００の赤外線の放射方向が向くように、ロボット装置１１の方向調整機構を制御する。また、リモコン制御部１２２は、対話エージェント１１３を介して、コマンドＩＤをユーザより取得する。

ステップＳ４２：リモコン制御装置１２は、撮像装置１１２により撮像された家電機器３００の画像データをカメラ情報とし、マイク装置１１１により取得された家電機器３００の発生する音声データをマイク入力とし、コマンドＩＤに対応させて状態データベース１３３Ａの状態データテーブルに対してそれぞれ、赤外線を放射する前（コマンドによる指示前）のデータとして書き込んで記憶させる。
また、リモコン制御装置１２は、家電機器３００あるエアコンのルーバーの風の出口に配置された風量を検出するセンサ１４から取得された、エアコンの吹き出す空気の風量データを、センサ出力としてコマンドＩＤに対応して状態データベース１３３Ａの状態データテーブルに対して、赤外線を放射する前のデータとして書き込んで記憶させる。

ステップＳ４３：リモコン制御部１２２は、制御を行うコマンドＩＤに対応するパルスパターンの情報を、コマンドデータベース１３１のコマンドテーブルから読み出し、学習型リモコン４００に送信する。

ステップＳ４４：学習型リモコン４００は、リモコン制御部１２２から供給されたパルスパターンの赤外線を放射する。この赤外線は、学習型リモコン４００の放射方向が制御対象の家電機器３００に向いているため、この制御対象の家電機器３００に対して到達する。

ステップＳ４５：リモコン制御装置１２は、撮像装置１１２により撮像された家電機器３００の画像データをカメラ情報として、マイク装置１１１により取得された家電機器３００の発生する音声データをマイク入力として、コマンドＩＤに対応させて状態データベース１３３Ａの状態データテーブルに対してそれぞれ、赤外線を放射した後（コマンドによる指示後）のデータとして書き込んで記憶させる。
また、リモコン制御装置１２は、家電機器３００あるエアコンのルーバーの風の出口に配置された風量を検出するセンサ１４から取得された、エアコンの吹き出す空気の風量データを、センサ出力としてコマンドＩＤに対応して状態データベース１３３Ａの状態データテーブルに対して、赤外線を放射した後のデータとして書き込んで記憶させる。

ステップＳ４６：制御結果判定部１２１Ａは、制御履歴データベース１３４の制御履歴データテーブルから、制御対象の家電機器３００の制御ＩＤに対応するコマンドＩＤ及び状態ＩＤの各々を読み出す。また、制御結果判定部１２１Ａは、状態データベース１３３Ａから、上記状態ＩＤに対応するカメラ情報、マイク入力及びセンサ出力の各々を読み出す。そして、制御結果判定部１２１Ａは、コマンドＩＤと、赤外線が放射される前の時点における家電機器３００の画像データ、音声データ及びセンサ出力と、赤外線が放射された後の時点における家電機器３００の画像データ、音声データ及びセンサ出力との各々を、制御結果判定モデルに対して入力データとして入力する。これにより、制御結果判定モデルは、上記入力データに基づいて、家電機器３００が正常に稼働しているか否か、すなわち、コマンドの示す制御信号の指示に対応した稼働状態に遷移にしたか否かの判定結果を推定して出力する。

ここで、例えば、画像データは、赤外線が放射される前の時点においては、エアコンのルーパが停止している状態であり、赤外線が放射された後の時点においては、エアコンのルーパが稼働している状態である。また、音声データは、赤外線が放射される前の時点においては、エアコンのルーパが停止しているため無音状態であり、赤外線が放射された後の時点においては、エアコンのルーパが稼働しているためモータの稼働音がある状態である。また、センサ出力は、赤外線が放射される前の時点においては、エアコンの送風がないため無風の状態であり、赤外線が放射される後の時点においては、エアコンの送風が開始されているため所定の風量がある状態である。

ステップＳ４６：制御結果判定部１２１Ａは、判定器である制御結果判定モデルの推定結果に基づいて、家電機器３００が稼働しているか否かの判定を行う。
このとき、制御結果判定部１２１Ａは、家電機器３００が正常に稼働していると制御結果判定モデルにより判定された場合、処理をステップＳ４７へ進める。
一方、制御結果判定部１２１Ａは、家電機器３００が正常に稼働していないと制御結果判定モデルにより判定された場合、処理をステップＳ４８へ進める。

ステップＳ４７：リモコン制御装置１２は、家電機器３００が正常に稼働していることを、対話エージェント１１３を介して、遠隔地のユーザの携帯する携帯端末２００に対して通知する。このとき、リモコン制御装置１２は、家電機器３００が正常に稼働していることを示す「正」を、制御履歴データベース１３４の制御履歴データべースの対応する制御ＩＤの正否ラベルに書き込んで記憶させる。

ステップＳ４８：リモコン制御装置１２は、家電機器３００が正常に稼働していないことを、対話エージェント１１３を介して、遠隔地のユーザの携帯する携帯端末２００に対して通知する（異常処理）。このとき、リモコン制御装置１２は、家電機器３００が正常に稼働していないことを示す「否」を、制御履歴データベース１３４の制御履歴データべースの対応する制御ＩＤの正否ラベルに書き込んで記憶させる。
また、リモコン制御装置１２は、異常処理であった場合、ステップＳ２２に処理を戻し、再度、家電機器３００に対して赤外線を放射する処理を行い、この処理を行ったことを携帯端末２００に対して通知する構成としてもよい。

上述したように、本実施形態によれば、学習型リモコンによって操作された家電機器３００から取得した画像データ、音声データ及びセンサ出力の各々と、この際のユーザの家電機器３００の稼働に対する正否判定の結果とを教師データとして機械学習させた制御結果判定モデルにより、ユーザが遠隔地から家電機器３００を制御した際の画像データ、音声データ及びセンサ出力により、家電機器３００が正常に稼働しているか否かの推定結果により、家電機器３００が正常に稼働しているか否かの判定を行うため、画像データ、音声データ及びセンサ出力の各々が周囲の環境により変動しても、高い精度で家電機器３００の稼働状態を推定することができるため、家電機器３００の正否判定のロバスト性を向上させることができる。

また、制御結果判定モデル学習が終了した後においても、判定モデル学習部１２３が正確な推定を行なっていないとユーザが判断した場合、その際に判定モデル学習部が用いた画像データ、音声データ及びセンサ出力の各々を入力データと、この入力データに対するユーザが示す正しい状態とを教師データに加えて、制御結果判定モデルの再学習を行う構成としてもよい。
これにより、制御結果判定モデルの画像データ、音声データ及びセンサ出力の各々から、家電機器３００の稼働状態を推定する精度を向上させ、制御結果判定部１２１Ａの家電機器３００の稼働状態の正否の判定を行う精度を向上させることができる。

＜第３の実施形態＞
以下、図面を参照して、本発明の第３の実施形態について説明する。第３の実施形態は、本発明の第２の実施形態のリモコン制御システムと同様の構成をしている。
第３の実施形態が第２の実施形態と異なる点は、判定モデル学習部１２３による制御結果判定モデルの学習のアルゴリズムが異なる。以下、第２の実施形態と異なる点のみを説明する。

本実施形態における判定モデル学習部１２３は、制御結果判定モデルの機械学習に用いる教師データとして、第２の実施形態と同様に、コマンドＩＤと、赤外線が放射される前の時点における家電機器３００の画像データ、音声データ及びセンサ出力と、赤外線が放射された後の時点における家電機器３００の画像データ、音声データ及びセンサ出力との各々を用いる。

しかしながら、制御結果判定モデルの教師データにおける出力データとしては、第１の実施形態で説明した、例えばルーバーの動作状態、ルーバーの稼働音、吹き出し口からの風量の各々が予め設定された所定の閾値を超えているか否かの判定結果を用いる。すなわち、教師データにおける出力データとしては、赤外線を家電機器３００に対して放射した後の画像データ、音声データ及びセンサ出力を閾値で判定し、その判定結果を用いる。また、判定モデル学習部１２３は、制御結果判定モデルの機械学習を行う際、機器データベース１３２の機器テーブルのコマンドＩＤリストにおけるコマンドＩＤの各々を順次読み込み、それぞれの教師データを取得して、上述した制御結果判定モデルの機械学習を行う。

上述した構成により、本実施形態によれば、対話エージェント１１３を介してユーザから家電機器３００の稼働状態の正否を確認する必要がなくなり、リモコン制御システム単体において制御結果判定モデルの機械学習が行えるため、リモコン制御システムを利用する際のユーザの負荷を第２の実施形態に比較して低減させることができる。
なお、本実施形態においても、第２の実施形態と同様に、判定モデル学習部１２３が正確な推定を行なっていないとユーザが判断した場合、その際に判定モデル学習部が用いた画像データ、音声データ及びセンサ出力の各々を入力データと、この入力データに対するユーザが示す正しい状態とを教師データに加えて、制御結果判定モデルの再学習を行い、上記閾値の調整を行なう構成としてもよい。これにより、予め恣意的に設定した閾値が適切でない場合でも、学習によって閾値を修正しつつ、適切な制御結果判定モデルを獲得することができる。

また、図１及び図７の各々におけるリモコン制御システムのロボット装置１１、リモコン制御装置１２、１２Ａの各々の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、リモコンを用いた家電機器などの制御処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１１…ロボット装置
１２，１２Ａ…リモコン制御装置
１３，１３Ａ…記憶装置
１４，１４＿１，＿１４＿ｎ…センサ
１００…通信網
１１１…マイク装置
１１２…撮像装置
１１３…対話エージェント
１１４…スピーカ装置
１２１，１２１Ａ…制御結果判定部
１２２…リモコン制御部
１２３…判定モデル学習部
１３１…コマンドデータベース
１３２…機器データベース
１３３，１３３Ａ…状態データベース
１３４…制御履歴データベース
２００…携帯端末
３００，３００＿１，３００＿ｍ…家電機器
４００…学習型リモコン

Claims (7)

1. リモコンが放射する制御信号を受信した家電機器の稼働の状態を検出するセンサからの検出データを入力する状態検出機能部と、
   前記検出データにより前記家電機器が前記制御信号の指示に対応する稼働状態に遷移したか否かの判定を行なう制御結果判定部と、
   前記制御結果判定部の判定結果をユーザに通知する通知機能部と
   を備えることを特徴とするリモコン制御システム。
2. 少なくとも前記制御信号の示す制御コマンドと、前記稼働の状態を検出する複数の前記センサの各々からの前記検出データと、これらを用いた際の実際の制御結果とを教師データとした機械学習を行い、入力される前記制御信号の示す制御コマンドと、前記稼働の状態を検出する複数の前記センサの各々からの前記検出データから、前記制御結果の判定を推定する制御結果判定モデルを生成する判定モデル学習部をさらに有し、
   前記制御結果判定部が、前記リモコンの前記制御信号による指示前及び指示後それぞれの時点において、少なくとも前記制御信号の示す制御コマンドと、前記稼働の状態を検出する複数の前記センサの各々からの前記検出データとを入力とする制御結果判定モデルを用い、前記家電機器の制御結果を推定し、当該推定結果により前記判定を行う
   ことを特徴とする請求項１に記載のリモコン制御システム。
3. ユーザの指定する操作に対応する制御信号を、前記リモコンに対して放射させる制御を行なうリモコン制御部をさらに備え、
   前記制御結果判定部が、前記家電機器の制御結果が前記制御信号に対応した状態でないと判定した場合、
   前記リモコン制御部が、前記リモコンに対して前記制御信号を再放射させる
   ことを特徴とする請求項１または請求項２に記載のリモコン制御システム。
4. 前記リモコンを搭載し、前記制御信号の放射方向を制御する放射方向調整機構を備え、
   前記リモコン制御部が、前記放射方向調整機構を制御し、制御対象の前記家電機器の配置位置に、前記リモコンの制御信号の放射方向を調整する
   ことを特徴とする請求項３に記載のリモコン制御システム。
5. ユーザと対話する対話エージェントをさらに備え、
   前記対話エージェントが、前記ユーザとの対話により、当該ユーザの前記家電機器の制御の指令を前記リモコン制御部へ伝達し、前記機械学習の処理を前記判定モデル学習部へ伝達する
   ことを特徴とする請求項３または請求項４に記載のリモコン制御システム。
6. 状態検出機能部が、リモコンからの制御信号を受信した家電機器の稼働の状態を検出するセンサからの検出データを入力する状態検出過程と、
   制御結果判定部が、前記検出データにより前記家電機器が前記制御信号の指示に対応する稼働状態に遷移したか否かの判定を行なう制御結果判定過程と、
   通知機能部が、前記制御結果判定部の判定結果をユーザに通知する通知過程と
   を含むことを特徴とするリモコン制御方法。
7. コンピュータを、
   リモコンからの制御信号を受信した家電機器の稼働の状態を検出するセンサからの検出データを入力する状態検出機能手段、
   前記検出データにより前記家電機器が前記制御信号の指示に対応する稼働状態に遷移したか否かの判定を行なう制御結果判定手段、
   前記制御結果判定部の判定結果をユーザに通知する通知機能手段
   として機能させるプログラム。

Images