JP2014236309A - 操作支援装置、操作支援システム及びプログラム - Google Patents

Abstract

【課題】ユーザの現在の行動内容と機器の現在の環境とに適した操作を通信端末上で簡単に実施できるようにする。【解決手段】サーバ装置２０は、ユーザにより所持される通信端末１０の位置を表す位置情報を取得し、取得した位置情報に基づいてユーザの行動の内容を判定する。また、サーバ装置２０は、機器４０の環境を表す環境情報を取得する。サーバ装置２０は、記憶部に記憶された履歴情報に基づいて、判定された行動の内容と取得された環境情報が表す環境とに対応する操作の内容を決定し、決定した操作の内容を表す操作情報を通信端末１０に出力する。【選択図】図１

Description

本発明は、機器の操作を支援する技術に関する。

家電などの機器の操作を支援するために、ユーザの状況に応じて自動的に機器を制御する技術が提案されている。例えば、特許文献１には、ユーザの生活習慣、生活環境あるいは嗜好に応じて各種機器を制御する技術が記載されている。

特開２００３−１１１１５７号公報

しかしながら、特許文献１に記載された技術では、統合コントローラを用いて手動で機器を操作する場合には、結局、従来通り決められた操作を行わなければならない。特に、統合コントローラを用いて複数の機器を操作するような場合には、何度もボタン操作を行わなければならず、手間である。
本発明は、ユーザの現在の行動内容と機器の現在の環境とに適した操作を通信端末上で簡単に実施できるようにすることを目的とする。

本発明は、ユーザによる機器の操作の内容を表す操作情報と、当該操作時の当該機器の環境を表す環境情報と、当該操作時の当該ユーザの行動の内容を表す行動情報とを含む、機器の操作に関する履歴情報を記憶する記憶部と、前記ユーザによって所持される通信端末の位置を表す位置情報を取得する位置情報取得部と、前記位置情報取得部により取得された前記位置情報に基づいてユーザの行動の内容を判定する行動判定部と、前記機器の環境を表す環境情報を取得する環境情報取得部と、前記記憶部に記憶された前記履歴情報に基づいて、前記行動判定部により判定された前記行動の内容と前記環境情報取得部により取得された前記環境情報が表す環境とに対応する操作の内容を決定する決定部と、前記決定部により決定された前記操作の内容を表す操作情報を前記通信端末に出力する出力部とを備える操作支援装置を提供する。

前記操作支援装置において、前記履歴情報は、前記操作が行われた時刻を含み、前記決定部は、所定の時間内に行われた複数の操作の内容を決定してもよい。

前記操作支援装置において、前記履歴情報は、前記操作が行われた日付、時刻又は曜日を含み、前記決定部は、前記位置情報取得部により前記位置情報が取得された日付、時刻又は曜日に対応する操作の内容を決定してもよい。

前記操作支援装置において、前記環境情報は、温度、湿度、照度、空気を構成する気体の濃度、又は人の有無を表す情報を含んでもよい。

また、本発明は、サーバ装置と、通信端末とを備え、前記サーバ装置は、ユーザによる機器の操作の内容を表す操作情報と、当該操作時の当該機器の環境を表す環境情報と、当該操作時の当該ユーザの行動の内容を表す行動情報とを含む、機器の操作に関する履歴情報を記憶する記憶部と、前記ユーザによって所持される前記通信端末の位置を表す位置情報を取得する位置情報取得部と、前記位置情報取得部により取得された前記位置情報に基づいてユーザの行動の内容を判定する行動判定部と、前記機器の環境を表す環境情報を取得する環境情報取得部と、前記記憶部に記憶された前記履歴情報に基づいて、前記行動判定部により判定された前記行動の内容と前記環境情報取得部により取得された前記環境情報が表す環境とに対応する操作の内容を決定する決定部と、前記決定部により決定された前記操作の内容を表す操作情報を前記通信端末に出力する出力部とを備え、前記通信端末は、前記出力部により出力された前記操作情報に基づいて操作用の画像を表示する表示部を備える操作支援システムを提供する。

また、本発明は、制御装置と、サーバ装置と、通信端末とを備え、前記制御装置は、機器の環境を検出し、当該検出した環境を表す環境情報を生成する検出部を備え、前記サーバ装置は、ユーザによる前記機器の操作の内容を表す操作情報と、当該操作時の当該機器の環境を表す環境情報と、当該操作時の当該ユーザの行動の内容を表す行動情報とを含む、機器の操作に関する履歴情報を記憶する記憶部と、前記ユーザによって所持される前記通信端末の位置を表す位置情報を取得する位置情報取得部と、前記位置情報取得部により取得された前記位置情報に基づいてユーザの行動の内容を判定する行動判定部と、前記検出部によって生成された前記環境情報を取得する環境情報取得部と、前記記憶部に記憶された前記履歴情報に基づいて、前記行動判定部により判定された前記行動の内容と前記環境情報取得部により取得された前記環境情報が表す環境とに対応する操作の内容を決定する決定部と、前記決定部により決定された前記操作の内容を表す操作情報を前記通信端末に出力する出力部とを備え、前記通信端末は、前記出力部により出力された前記操作情報に基づいて操作用の画像を表示する表示部を備える操作支援システムを提供する。

前記操作支援システムにおいて、前記記憶部は、前記通信端末上で行われた前記機器の操作に関する履歴情報、又はリモートコントローラを用いて行われた前記機器の操作に関する履歴情報を記憶してもよい。

また、本発明は、ユーザによる機器の操作の内容を表す操作情報と、当該操作時の当該機器の環境を表す環境情報と、当該操作時の当該ユーザの行動の内容を表す行動情報とを含む、機器の操作に関する履歴情報を記憶する記憶部を備えるコンピュータに、前記ユーザによって所持される通信端末の位置を表す位置情報を取得するステップと、前記取得された位置情報に基づいてユーザの行動の内容を判定するステップと、前記機器の環境を表す環境情報を取得するステップと、前記記憶部に記憶された前記履歴情報に基づいて、前記判定された行動の内容と前記取得された環境情報が表す環境とに対応する操作の内容を決定するステップと、前記決定された操作の内容を表す操作情報を前記通信端末に出力するステップとを実行させるためのプログラムを提供する。

本発明によれば、ユーザの現在の行動内容と機器の現在の環境とに適した操作を通信端末上で簡単に実施することができる。

実施形態に係る遠隔操作システムの全体構成を示す図である。 通信端末のハードウェア構成を示す図である。 通信端末の機能構成を示す図である。 サーバ装置のハードウェア構成を示す図である。 履歴情報の一例を示す図である。 行動定義テーブルの一例を示す図である。 サーバ装置の機能構成を示す図である。 制御装置のハードウェア構成を示す図である。 制御信号データベースの一例を示す図である。 制御装置の機能構成を示す図である。 履歴記録処理を示すシーケンスチャートである。 表示処理を示すシーケンスチャートである。 操作の内容の出現回数の一例を示す図である。 操作画面の一例を示す図である。 変形例に係る操作画面の一例を示す図である。 変形例に係る操作画面の一例を示す図である。 変形例に係る操作画面の一例を示す図である。

１．構成
（１）システム全体の構成
図１は、本実施形態に係る遠隔操作システム１の全体構成を示す図である。遠隔操作システム１は、本発明に係る操作支援システムの一例である。遠隔操作システム１は、通信端末１０と、サーバ装置２０と、制御装置３０とを備える。通信端末１０、サーバ装置２０及び制御装置３０は、移動体通信網やインターネットを含むネットワーク２を介して接続される。

通信端末１０は、例えば携帯電話やスマートフォン、タブレット端末である。通信端末１０は、ユーザによって所持され、ユーザの家に設置された複数の機器４０を遠隔操作するときに用いられる。複数の機器４０には、例えばエアコン、照明、テレビ、ヒーター、扇風機、ビデオレコーダ、オーディオプレーヤ、冷蔵庫、洗濯機、風呂給湯器、電気錠、電動シャッタ、電動カーテン、ロボット掃除機、コンピュータ等の、ユーザにより操作される各種の機器４０が含まれる。これらの機器４０は、通信端末１０上の操作によって制御される他、リモートコントローラ５０を用いた操作によっても制御される。

制御装置３０は、例えば機器４０が設置された部屋に設置される。制御装置３０は、通信端末１０上で行われた操作に従って機器４０を制御する機能を有する。サーバ装置２０は、通信端末１０と制御装置３０との間で操作信号を中継する機能を有する。また、サーバ装置２０は、ユーザの現在の行動と機器４０の現在の環境とに適した操作の内容を表す操作情報を通信端末１０に提供する機能を有する。

（２）通信端末の構成
図２は、通信端末１０のハードウェア構成を示す図である。通信端末１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ１１と、ＲＡＭ（Random Access Memory）などのメインメモリ１２と、通信部１３と、タッチパネルやキーなどの入力部１４と、液晶ディスプレイなどの表示部１５と、ＧＰＳ（Global Positioning System）受信機などの測位部１６と、フラッシュメモリなどの記憶部１７とを備える。なお、通信端末１０は、これらの構成の他に、音声通話を行うための構成を備えていてもよい。

プロセッサ１１は、記憶部１７に記憶されたプログラムを実行することにより、通信端末１０の各部を制御する。メインメモリ１２は、プログラムやデータを一時的に記憶する。メインメモリ１２は、プロセッサ１１がプログラムを実行する際の作業領域として用いられる。通信部１３は、ネットワーク２に接続されるインタフェースである。具体的には、ネットワーク２には基地局が含まれており、通信部１３はこの基地局に無線で接続される。通信部１３は、ネットワーク２を介してサーバ装置２０と通信を行う。

入力部１４は、ユーザの操作に応じた情報をプロセッサ１１に入力する。表示部１５は、各種の情報を表示する。測位部１６は、ＧＰＳを利用して、通信端末１０の現在位置を測定し、測定した位置を表す位置情報を生成する。記憶部１７は、各種のプログラムやデータを記憶する。

図３は、通信端末１０の機能構成を示す図である。通信端末１０は、プロセッサ１１が１又は複数のプログラムを実行することにより、送信部１１１、受信部１１２、表示制御部１１３及び位置情報送信部１１４の機能を実現する。送信部１１１は、機器４０の操作を表す操作信号を、通信部１３を介してサーバ装置２０に送信する。受信部１１２は、通信部１３を介してサーバ装置２０から操作情報を受信する。表示制御部１１３は、受信部１１２によって受信された操作情報に基づいて操作用の画像を表示部１５に表示させる。位置情報送信部１１４は、所定の時間間隔で、測位部１６によって生成された位置情報を、通信部１３を介してサーバ装置２０に送信する。

（３）サーバ装置の構成
図４は、サーバ装置２０のハードウェア構成を示す図である。サーバ装置２０は、ＣＰＵなどのプロセッサ２１と、ＲＡＭなどのメインメモリ２２と、通信部２３と、ハードディスクなどの記憶部２４とを備える。

プロセッサ２１は、記憶部２４に記憶されたプログラムを実行することにより、サーバ装置２０の各部を制御する。メインメモリ２２は、プログラムやデータを一時的に記憶する。メインメモリ２２は、プロセッサ２１がプログラムを実行する際の作業領域として用いられる。通信部２３は、ネットワーク２に接続されるインタフェースである。通信部２３は、ネットワーク２を介して通信端末１０や制御装置３０と通信を行う。記憶部２４は、各種のプログラムやデータを記憶する。また、記憶部２４は、履歴情報２４１と、行動定義テーブル２４２とを記憶する。

図５は、履歴情報２４１の一例を示す図である。履歴情報２４１は、機器４０の操作に関する履歴を表す情報である。履歴情報２４１には、日時と、曜日と、操作情報と、環境情報と、行動情報とが含まれる。日時は、機器４０が操作された日付及び時刻である。曜日は、機器４０が操作された曜日である。操作情報は、機器４０の操作の内容を表す情報である。環境情報は、操作時の機器４０の環境を表す情報である。例えば、環境情報には、機器４０が設置された部屋の温度や照度が含まれる。行動情報は、操作時のユーザの行動の内容を表す情報である。

図６は、行動定義テーブル２４２の一例を示す図である。行動定義テーブル２４２では、ユーザの行動が定義されている。行動定義テーブル２４２には、時間帯と、位置情報と、行動情報とが対応付けて格納される。位置情報は、ユーザの位置を表す情報である。行動情報は、位置情報及び時間帯によって定義されるユーザの行動の内容を表す情報である。

例えば、ユーザが、自宅から半径７００ｍの位置から自宅から半径５００ｍの位置へと移動した場合には、時間帯に関係なく、ユーザは帰宅中であると考えられる。この場合には、行動定義テーブル２４２には、図６に示すように位置情報「自宅から半径７００ｍの位置から自宅から半径５００ｍの位置」と、時間帯「終日」と、行動情報「帰宅」とが対応付けて格納される。

図７は、サーバ装置２０の機能構成を示す図である。サーバ装置２０は、本発明に係る操作支援装置又はコンピュータの一例である。サーバ装置２０は、プロセッサ２１が１又は複数のプログラムを実行することにより、転送部２１２、履歴記録部２１３、位置情報取得部２１４、行動判定部２１５、環境情報取得部２１６、決定部２１７及び出力部２１８の機能を実現する。

転送部２１２は、通信部２３を介して、通信端末１０から受信した操作信号を制御装置３０に転送する。履歴記録部２１３は、通信端末１０から受信した操作信号が表す操作に関する操作履歴を記録する。これにより、記憶部２４に履歴情報２４１が記憶される。

位置情報取得部２１４は、通信端末１０の位置を表す位置情報を取得する。行動判定部２１５は、行動定義テーブル２４２を参照し、位置情報取得部２１４により取得された位置情報に基づいてユーザの行動の内容を判定する。環境情報取得部２１６は、機器４０の環境を表す環境情報を取得する。決定部２１７は、履歴情報２４１に基づいて、行動判定部２１５により判定された行動の内容と環境情報取得部２１６により取得された環境情報が表す環境とに対応する操作の内容を決定する。出力部２１８は、決定部２１７により決定された操作の内容を表す操作情報を通信端末１０に出力する。

（４）制御装置の構成
図８は、制御装置３０のハードウェア構成を示す図である。制御装置３０は、ＣＰＵなどのプロセッサ３１と、ＲＡＭなどのメインメモリ３２と、通信部３３と、赤外線発光ダイオードなどの制御信号送信部３４と、フォトダイオードなどの制御信号受信部３５と、温度センサや照度センサなどの各種のセンサ３６と、フラッシュメモリなどの記憶部３７とを備える。

プロセッサ３１は、記憶部３７に記憶されたプログラムを実行することにより、制御装置３０の各部を制御する。メインメモリ３２は、プログラムやデータを一時的に記憶する。メインメモリ３２は、プロセッサ３１がプログラムを実行する際の作業領域として用いられる。通信部３３は、ネットワーク２に接続されるインタフェースである。通信部３３は、ネットワーク２を介してサーバ装置２０と通信を行う。

制御信号送信部３４は、赤外線により、機器４０に制御信号を送信する。制御信号受信部３５は、リモートコントローラ５０から赤外線により機器４０に送信された制御信号を受信する。センサ３６は、機器４０が設置された部屋の温度や照度等の機器４０の環境を検出し、検出した環境を表す環境情報を生成する。センサ３６は、本発明に係る検出部の一例である。記憶部３７は、各種のプログラムやデータを記憶する。また、記憶部３７は、制御信号データベース（以下、「制御信号ＤＢ」という）３７１を記憶する。

図９は、制御信号ＤＢ３７１の一例を示す図である。制御信号ＤＢ３７１は、機器４０に制御信号を送信するときに用いられる。制御信号ＤＢ３７１には、機器４０の識別情報と、操作信号と、制御信号とが対応付けて格納される。機器４０の識別情報は、機器４０を識別する情報である。機器４０の識別情報には、機器４０のメーカー名や機種種別が含まれてもよい。操作信号は、機器４０の操作を表す信号である。制御信号は、機器４０を制御する信号である。

例えば、制御信号は以下のように取得される。制御信号は、機器４０を遠隔操作するためのサービスの提供者又は制御装置３０のメーカーによって収集され、予めネットワーク２上の格納装置（図示せず）に格納される。ユーザがリモートコントローラ５０を用いて機器４０の操作を行うと、その操作に従ってリモートコントローラ５０から送信された制御信号が制御信号受信部３５によって受信される。この制御信号には、機器４０の識別情報が含まれる。制御装置３０は、制御信号受信部２５によって受信された制御信号に含まれる識別情報に基づいて機器４０を識別し、識別した機器４０を制御するための全ての制御信号を格納装置からダウンロードする。このようにして制御信号を取得すると、制御装置３０は、取得した制御信号を制御信号ＤＢ３７１に格納する。

図１０は、制御装置３０の機能構成を示す図である。制御装置３０は、プロセッサ３１が１又は複数のプログラムを実行することにより、信号受信部３１１、信号送信部３１２及び環境情報送信部３１３の機能を実現する。信号受信部３１１は、機器４０の操作を表す操作信号を、通信部３３を介してサーバ装置２０から受信する。信号送信部３１２は、制御信号ＤＢ３７１を参照し、信号受信部３１１により受信された操作信号に応じて、機器４０を制御する制御信号を、制御信号送信部３４を介して機器４０に送信する。環境情報送信部３１３は、センサ３６によって生成された環境情報を、通信部３３を介してサーバ装置２０に送信する。

２．動作
次に、遠隔操作システム１の動作について説明する。遠隔操作システム１では、機器４０の操作履歴を記録する履歴記録処理が行われる。また、遠隔操作システム１では、ユーザが所定の行動を行ったときに、ユーザの現在の行動内容や機器４０の現在の環境に適した操作に用いられるボタン１５２を通信端末１０上に表示する表示処理が行われる。

（１）履歴記録処理
図１１は、履歴記録処理を示すシーケンスチャートである。ユーザは、機器４０を遠隔操作する場合には、通信端末１０の入力部１４を介して、その操作を表す操作信号を入力する。例えば、照明を点灯する場合には、照明を点灯する操作を表す操作信号Ｓ１が入力される。操作信号が入力されると、ステップＳ１０１の処理が開始される。

ステップＳ１０１において、送信部１１１は、通信部１３を介して、入力された操作信号をサーバ装置２０に送信する。ステップＳ１０２において、サーバ装置２０の転送部２１２は、通信部２３を介して、この操作信号を受信し、受信した操作信号を制御装置３０に転送する。制御装置３０の信号受信部３１１は、通信部３３を介してこの操作信号を受信する。

ステップＳ１０３において、信号送信部３１２は、信号受信部３１１によって受信された操作信号に対応する制御信号を、制御信号送信部３４を介して制御対象の機器４０に送信する。具体的には、信号送信部３１２は、信号受信部３１１によって受信された操作信号と対応付けて格納された制御信号を制御信号ＤＢ３７１から読み出す。続いて、信号送信部３１２は、制御信号送信部３４を介してこの制御信号を送信する。例えば、サーバ装置２０から操作信号Ｓ１を受信した場合には、図９に示す例では、この操作信号Ｓ１と対応付けて格納された制御信号ｓ１が制御信号ＤＢ３７１から読み出される。この場合、制御信号送信部３４から制御信号ｓ１が送信される。

ステップＳ１０４において、機器４０は、制御装置３０から受信した制御信号に従って動作する。例えば、照明が制御装置３０から制御信号ｓ１を受信した場合には、照明が点灯する。

ステップＳ１０５において、サーバ装置２０の環境情報取得部２１６は、センサ３６によって生成された環境情報を制御装置３０から取得する。具体的には、環境情報取得部２１６は、通信部２３を介して環境情報の取得要求を制御装置３０に送信する。制御装置３０の環境情報送信部３１３は、この取得要求に応じて、センサ３６によって生成された環境情報を、通信部３３を介してサーバ装置２０に送信する。サーバ装置２０の環境情報取得部２１６は、通信部２３を介して制御装置３０から環境情報を受信する。

ステップＳ１０６において、行動判定部２１５は、行動定義テーブル２４２を参照し、通信端末１０の現在位置と現在時刻とに基づいて、ユーザの現在の行動の内容を判定する。具体的には、通信端末１０は、所定の時間間隔で、測位部１６によって生成された位置情報を、通信部１３を介してサーバ装置２０に送信するようになっている。位置情報取得部２１４は、通信部２３を介してこの位置情報を受信する。行動判定部２１５は、行動定義テーブル２４２を参照して、位置情報取得部２１４によって取得された位置情報が表す位置と現在時刻とに基づいて、ユーザの現在の行動の内容を判定する。

例えば、通信端末１０から、予め設定された自宅から半径７００ｍの位置を表す位置情報を受信した後に、自宅から半径５００ｍの位置を表す位置情報を受信した場合には、ユーザが、自宅から半径７００ｍの位置から自宅から半径５００ｍの位置に移動したことを意味する。図６に示す例では、行動定義テーブル２４２には、時間帯「終日」及び位置情報「自宅から半径７００ｍの位置から自宅から半径５００ｍの位置」に対応付けて行動情報「帰宅」が格納されている。この場合、ユーザの現在の行動の内容として「帰宅」が判定される。

ステップＳ１０７において、履歴記録部２１３は、ステップＳ１０２で受信した操作信号が表す操作に関する操作履歴を記録する。具体的には、履歴記録部２１３は、ステップＳ１０２で操作信号を受信した日時及び曜日と、この操作信号に対応する操作情報と、ステップＳ１０５で取得した環境情報と、ステップＳ１０６で判定した行動の内容を表す行動情報とを履歴情報２４１に追加する。

例えば、ステップＳ１０２において２０１３年４月１日（月）１７：００に照明を点灯する操作信号Ｓ１が受信され、ステップＳ１０５において「温度：１５度 照度：３００ルクス」という環境情報が取得され、ステップＳ１０６でユーザの行動の内容として「帰宅」が判定された場合には、図５に示すように、日時「２０１３／０４／０１ １７：００」、曜日「月」、操作情報「照明を点灯」、環境情報「温度：１５度 照度：３００ルクス」及び行動情報「帰宅」が履歴情報２４１に追加される。

（２）表示処理
図１２は、表示処理を示すシーケンスチャートである。ステップＳ２０１において、通信端末１０の位置情報送信部１１４は、所定の時間間隔で測位部１６によって生成された位置情報を、通信部１３を介してサーバ装置２０に送信する。サーバ装置２０の位置情報取得部２１４は、通信部２３を介してこの位置情報を受信する。

ステップＳ２０２において、行動判定部２１５は、行動定義テーブル２４２を参照し、ステップＳ２０１で受信した位置情報が表す位置と現在時刻とに基づいて、ユーザの現在の行動の内容を判定する。例えば、通信端末１０から自宅から半径７００ｍの位置を表す位置情報を受信した後に、自宅から半径５００ｍの位置を表す位置情報を受信した場合には、ユーザが、自宅から半径７００ｍの位置から自宅から半径５００ｍの位置に移動したことを意味する。図６に示す例では、行動定義テーブル２４２には時間帯「終日」及び位置情報「自宅から半径７００ｍの位置から自宅から半径５００ｍの位置」に対応付けて行動情報「帰宅」が格納されている。この場合、ユーザの現在の行動の内容として「帰宅」が判定される。なお、ユーザの現在の行動の内容が、行動定義テーブル２４２に定義された行動の内容以外であると判定された場合には、ステップＳ２０３以降の処理は行われない。

ステップＳ２０３において、環境情報取得部２１６は、上述したステップＳ１０５と同様に、センサ３６によって生成された環境情報を制御装置３０から取得する。

ステップＳ２０４において、決定部２１７は、履歴情報２４１を解析することにより、ステップＳ２０２で判定されたユーザの行動の内容とステップＳ２０３で取得された環境情報が表す環境とに対応する操作の内容を決定する。具体的には、決定部２１７は、履歴情報２４１から、ステップＳ２０２で判定されたユーザの行動の内容とステップＳ２０３で取得された環境情報とに応じて設定された条件を満たす操作の内容を抽出する。続いて、決定部２１７は、抽出した操作の内容において、所定の時間内に行われた複数の操作の内容をグループ化する。なお、所定の時間内に１個の操作しか行われていない場合には、グループ化は行われない。続いて、決定部２１７は、抽出した操作の内容において、グループ化されていない単一の操作内容又はグループ化された複数の操作内容の出現回数を計算し、出現回数が最も多い操作の内容を決定する。

例えば、ステップＳ２０２で判定されたユーザの行動の内容が「帰宅」であり、ステップＳ２０３で取得された環境情報が「温度：１５度 照度：３００ルクス」である場合には、操作時のユーザの行動の内容が「帰宅」であり、且つ、操作時の機器４０の環境が、温度が１５度を含む許容範囲内であり、照度が３００ルクスを含む許容範囲内であるという条件が設定される。温度の許容範囲は、環境情報が表す温度が１５度の場合には、例えば１３度から１７度の範囲に設定される。照度の許容範囲は、環境情報が表す照度が３００ルクスの場合には、例えば１００ルクスから５００ルクスの範囲に設定される。図５に示す例では、「照明を点灯」という操作は、操作時のユーザの行動の内容が「帰宅」であり、且つ、操作時の機器４０の環境が、「温度：１５度 照度：３００ルクス」であるため、この条件を満たす。また、「エアコンの電源をオン 設定温度：２５度」という操作も、同様にこの条件を満たす。この場合、「照明を点灯」という操作の内容と「エアコンの電源をオン 設定温度：２５度」という操作の内容とが履歴情報２４１から抽出される。

また、図５に示す例では、「照明を点灯」という操作が行われた日時は、「２０１３／０４／０１ １７：００」であり、「エアコンの電源をオン、設定温度：２５度」という操作が行われた日時は「２０１３／０４／０１ １７：０５」である。例えば、所定の時間が１０分である場合には、これらの操作は所定の時間内に行われている。この場合、「照明を点灯」という操作の内容と「エアコンの電源をオン 設定温度：２５度」という操作の内容とがグループ化される。続いて、グループ化されていない単一の操作の内容又はグループ化された複数の操作の内容の出現回数が計算される。

図１３は、操作の内容の出現回数の一例を示す図である。図１３に示す例では、「照明を点灯」及び「エアコンの電源をオン 設定温度：２５度」という操作の内容の出現回数が１０回であり、「照明を点灯」及び「テレビの電源をオン チャンネル：１ｃｈ」という操作の内容の出現回数が５回であり、「照明を点灯」という操作の内容の出現回数が１回である。この場合、「照明を点灯」及び「エアコンの電源をオン 設定温度：２５度」という操作の内容の出現回数が最も多いため、この操作の内容が決定される。

ステップＳ２０５において、出力部２１８は、ステップＳ２０４で決定された操作の内容を表す操作情報を、通信部２３を介して通信端末１０に送信する。通信端末１０の受信部１１２は、通信部１３を介してこの操作情報を受信する。ステップＳ２０６において、表示制御部１１３は、受信部１１２によって受信された操作情報に基づく操作画面１５１を表示部１５に表示させる。

図１４は、操作画面１５１の一例を示す図である。この操作画面１５１には、受信部１１２によって受信された操作情報に基づいて作成されたボタン１５２が表示されている。ボタン１５２は、操作用の画像の一例である。このボタン１５２には、「照明を点灯」という操作と、「エアコンの電源をオン 設定温度：２５度」という操作とが割り当てられている。また、操作画面１５１には、ボタン１５２と合わせて、これらの操作の内容が表示されている。

この場合、ユーザは、ボタン１５２を押すだけで、照明を点灯する操作と、エアコンの電源オンにして設定温度を２５度にする操作とをまとめて実行することができる。具体的には、ユーザがボタン１５２を押すと、入力部１４を介して照明を点灯する操作を表す操作信号Ｓ１と、エアコンの電源をオンにして設定温度を２５度にする操作を表す操作信号Ｓ２とが入力される。操作信号Ｓ１及びＳ２が入力されると、上述したステップＳ１０１の処理が開始される。これにより、照明が点灯するとともに、エアコンの電源がオンになり、設定温度が２５度になる。

以上説明した実施形態によれば、ユーザが所定の行動を行ったときに、ユーザの現在の行動及び機器４０の現在の環境に適した操作に用いられるボタン１５２が通信端末１０上に表示される。したがって、ユーザの現在の行動及び機器４０の現在の環境に適した操作を通信端末１０上で簡単に実施することができる。

［変形例］
本発明は、上述した実施形態に限定されず、以下のように変形してもよい。また、以下の変形例を互いに組み合わせてもよい。

（１）上述した実施形態では、通信端末１０上で行われた操作の履歴が記録される例について説明した。しかし、通信端末１０上で行われた操作の履歴に加えて、リモートコントローラ５０を用いて行われた操作の履歴が記録されてもよい。

ユーザがリモートコントローラ５０を用いて機器４０の操作を行うと、その操作に従ってリモートコントローラ５０から送信された制御信号が制御信号受信部３５によって受信される。制御信号受信部３５によって制御信号が受信されると、制御装置３０は、この制御信号に対応する操作信号を、通信部３３を介してサーバ装置２０に送信する。サーバ装置２０の操作情報取得部２１１は、通信部２３を介してこの操作信号を受信する。履歴記録部２１３は、制御装置３０から受信した操作信号が表す操作に関する操作履歴を記録する。具体的には、履歴記録部２１３は、上述した実施形態と同様に、操作信号を受信した日時及び曜日と、この制御信号に対応する操作情報と、環境情報取得部２１６によって取得された環境情報と、行動判定部２１５によって判定された行動の内容を表す行動情報とを履歴情報２４１に追加する。

本変形例によれば、ユーザが通信端末１０上で行う操作の履歴と、リモートコントローラ５０を用いて行われる操作の履歴との両方に基づいて、ユーザの現在の行動及び機器４０の現在の環境に適した操作の内容を決定することができる。

（２）上述した実施形態では、センサ３６が温度や照度を検出する例について説明した。しかし、センサ３６が検出する機器４０の環境は、温度や照度に限定されない。

例えば、センサ３６は、湿度センサを備え、機器４０が設置された部屋の湿度を検出してもよい。この場合、決定部２１７は、例えば操作時の湿度が、センサ３６によって検出された湿度の許容範囲内であることを含む条件を設定し、設定した条件を満たす操作の内容を履歴情報２４１から抽出する。これは、例えば機器４０に加湿器が含まれるような場合に有効である。

また、センサ３６は、二酸化炭素濃度計などの空気を構成する気体の濃度を検出する濃度計を備え、気体の濃度を検出してもよい。この場合、決定部２１７は、例えば操作時の気体の濃度が、センサ３６によって検出された気体の濃度の許容範囲内であることを含む条件を設定し、設定した条件を満たす操作の内容を履歴情報２４１から抽出する。これは、例えば機器４０に換気扇が含まれるような場合に有効である。

さらに、センサ３６は、マイクロフォン又は人感センサを備え、機器４０が設置された部屋に人がいるか否かを検出してもよい。この場合、決定部２１７は、例えば操作時の人の有無が、センサ３６によって検出された人の有無と一致することを含む条件を設定し、設定した条件を満たす操作の内容を履歴情報２４１から抽出する。これは、例えば部屋に人がいるときといないときとで操作の内容が異なるような場合に有効である。

（３）上述した実施形態では、ユーザの現在の行動及び機器４０の現在の環境に対応する操作の内容を決定する例について説明した。しかし、ユーザによる機器４０の操作の内容は、平日か休日か、又は季節によって異なる場合がある。そこで、決定部２１７は、ユーザの現在の行動及び現在の機器４０の環境に加えて、操作が行われた日付、時刻又は曜日に対応する操作の内容を決定してもよい。

この場合、決定部２１７は、ステップＳ２０２で判定された行動の内容と、ステップＳ２０３で取得された環境情報と、ステップＳ２０１で位置情報が取得された日付、時刻又は曜日とに応じて設定された条件を満たす操作の内容を抽出する。例えば、ステップＳ２０２で判定されたユーザの行動の内容が「帰宅」であり、ステップＳ２０３で取得された環境情報が「温度：１５度 照度：３００ルクス」であり、ステップＳ２０１において２０１３年４月８日（月）１７：００に位置情報が取得された場合には、操作時のユーザの行動の内容が「帰宅」であり、操作時の機器４０の環境が、１５度を含む許容範囲内であり、照度が３００ルクスを含む許容範囲内であり、且つ、操作が行われた日が平日であり、操作が行われた季節が春であるという条件が設定される。

本変形例によれば、日付、時刻又は季節によって操作の内容が異なる場合にも、現在の日付、時刻又は季節に適した操作を通信端末１０上で簡単に実施できるようにすることができる。

（４）上述した実施形態では、出現回数が最も多い操作の内容に基づくボタン１５２だけが表示されていた。しかし、このボタン１５２に加えて、出現回数が多い上位所定数の操作の内容に基づくボタンが表示されてもよい。

この場合、決定部２１７は、出現回数が閾値より多い所定数の操作の内容を決定する。例えば、図１３に示す例では、「照明を点灯」及び「エアコンの電源をオン 設定温度：２５度」という操作の内容の出現回数が最も多く、「照明を点灯」及び「テレビの電源をオン チャンネル：１ｃｈ」という操作の内容の出現回数が２番目に多く、「照明を点灯」という操作の内容の出現回数が３番目に多い。例えば、所定数が３である場合には、これらの操作の内容が決定される。

図１５は、本変形例に係る操作画面１５１の一例を示す図である。この操作画面１５１には、実施形態で説明したボタン１５２の他に、「照明を点灯」及び「テレビの電源をオン チャンネル：１ｃｈ」という操作の内容に基づいて作成されたボタン１５３と、「照明を点灯」という操作の内容に基づいて作成されたボタン１５４とが表示されている。このボタン１５３には、「照明を点灯」という操作と「テレビの電源をオン チャンネル：１ｃｈ」という操作とが割り当てられている。ボタン１５４には、「照明を点灯」という操作が割り当てられている。ボタン１５３及び１５４は、ボタン１５２より小さいサイズで表示されてもよい。

本変形例によれば、出現回数が最も多い操作の内容に基づく操作用の画像だけでなく、出現回数が多い上位所定数の操作の内容に基づく操作用の画像も通信端末１０上に表示される。したがって、このような操作についても通信端末１０上で簡単に実施することができる。

（５）上述した実施形態において、操作画面１５１においてボタン１５２に割り当てられた操作の内容を変更できるようにしてもよい。図１４に示す例では、ボタン１５２には、「照明を点灯」という操作と、「エアコンの電源をオン 設定温度：２５度」という操作とが割り当てられている。ここで、エアコンの設定温度を２４度に変更した場合、ユーザは、入力部１４を介してエアコンの設定温度を２４度に変更する指示を入力する。この後、ユーザがこのボタン１５２を押すと、照明を点灯する操作を表す操作信号Ｓ１と、エアコンの電源をオンにして設定温度を２４度にする操作を表す操作信号とが、サーバ装置２０を中継して制御装置３０に送信される。

（６）上述した実施形態では、通信端末１０がＧＰＳを利用して現在位置を特定する例について説明した。しかし、通信端末１０の現在位置を特定する方法は、ＧＰＳを利用した方法に限定されない。例えば、通信端末１０は、通信部１３が接続した基地局の位置情報を取得し、取得した基地局の位置情報に基づいて現在位置を特定してもよい。

（７）上述した実施形態では、通信端末１０が携帯電話やスマートフォン、タブレット端末である例について説明した。しかし、通信端末１０は、これらの端末に限定されず、例えばノート型パーソナルコンピュータであってもよい。

（８）通信端末１０のプロセッサ１１、サーバ装置２０のプロセッサ２１及び制御装置３０のプロセッサ３１により実行されるプログラムは、インターネットなどの通信回線を介してダウンロードされてもよい。また、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供されてもよい。

（９）上述した実施形態では、赤外線を利用して制御信号を送信する例について説明した。しかし、制御信号送信部３４は、赤外線以外の光を利用して機器４０に制御信号を送信してもよいし、電波を利用して機器４０に制御信号を送信してもよい。また、制御信号受信部３５は、リモートコントローラ５０から赤外線以外の光を利用して送信された制御信号を受信してもよいし、リモートコントローラ５０から電波を利用して送信された制御信号を受信してもよい。

（１０）上述した実施形態では、制御装置３０が、機器４０の操作を表す操作信号を受信し、受信した操作信号に対応する制御信号を制御信号ＤＢ３７１から読み出す処理を行っていた。しかし、制御装置３０に代えてサーバ装置２０がこの処理を行ってもよい。この場合、サーバ装置２０の記憶部２４には、制御信号ＤＢ３７１が記憶される。サーバ装置２０は、上述したステップＳ１０１で通信端末１０から操作信号を受信すると、上述したステップＳ１０３と同様に、受信した操作信号に対応する制御信号を制御信号ＤＢ３７１から読み出し、読み出した制御信号を制御装置３０に送信する。制御装置３０は、サーバ装置２０から制御信号を受信すると、赤外線や電波を利用して、受信した制御信号を機器４０に送信する。

（１１）上述した実施形態では、ユーザの現在の行動内容と機器４０の現在の環境とに対応する操作内容の出現回数を計算し、計算した出現回数を用いて、ユーザの現在の行動内容と機器４０の現在の環境とに適する操作の内容を決定する例について説明した。しかし、ユーザの現在の行動内容と機器４０の現在の環境とに適する操作の内容を決定する方法は、この方法に限定されない。

例えば、決定部２１７は、ステップＳ２０３で取得された環境情報、ステップＳ２０１で受信された位置情報、この位置情報が受信された日付、時間、曜日、及び直前に行われた操作の内容を説明変数として、履歴情報２４１に含まれる各操作情報が表す操作が実施される確率を目的変数とした重回帰分析を行うことにより、ユーザの現在の行動、機器４０の現在の環境及び現在の日時や曜日と相関が高い操作の内容、すなわちユーザにより実施される確率が高い操作の内容を決定してもよい。例えば、ユーザが夕方に自宅の近くに移動し、且つ、機器４０が設置された部屋が暗い状態の場合において、これらの状況と相関が高い操作の内容が「リビングの照明を点灯」、「子供部屋の照明を点灯」、「キッチンの照明を点灯」である場合には、これらの操作の内容が決定される。この場合、通信端末１０の表示部１５には、これらの操作内容に基づく操作画面１５５が表示される。

図１６は、本変形例に係る操作画面１５５の一例を示す図である。図１６（ａ）に示す操作画面１５５には、「リビングの照明を点灯」、「子供部屋の照明を点灯」、「キッチンの照明を点灯」という操作の内容と、ボタン１５６とが表示されている。初期状態では、これらの操作は、全て実行対象として選択されている。ユーザは、これらの操作の中に必要のない操作が含まれている場合には、その操作を実行対象から除外する操作を行ってからボタン１５６を押す。例えば、通信端末１０がタッチパネルを備えている場合には、ユーザは、タッチパネル上で１又は複数の必要としない操作の内容をタップすることにより、その操作を実行対象から除外することができる。もし、ユーザがキッチンの照明を点灯しなくない場合には、図１６（ｂ）に示すように、キッチンの照明の「点灯」ボタンをタップして「消灯」状態（非選択状態）にする。この場合、ボタン１５６には、「キッチンの照明を点灯」という操作以外の操作が割り当てられる。なお、実行対象の操作を選択又は除外する操作は、タップ操作に限定されず、例えばタッチパネル上を指でなぞって対象の操作の内容を囲むような操作であってもよい。

このようにして、ユーザが、「リビングの照明を点灯」及び「キッチンの照明を点灯」という操作を除外する操作を行ってから、「子供部屋の照明を点灯」という操作が割り当てられたボタン１５６を押すと、子供部屋の照明が点灯する。この場合、決定部２１７は、この操作の内容を含む説明変数を用いて再び重回帰分析を行い、ユーザの現在の状況、機器４０の現在の環境及び現在の日時や曜日に加えて、この操作の内容と相関が高い操作の内容を決定する。例えば、「子供部屋の照明を点灯」という操作の内容を含む説明変数を用いて重回帰分析を行った場合において、この操作が行われたことを含む状況と相関が高い操作の内容が「子供部屋のエアコンの冷房をオン」、「子供部屋のテレビをオン」である場合には、これらの操作の内容が決定される。この場合、通信端末１０の表示部１５には、これらの操作内容に基づく操作画面１５７が表示される。

図１７は、本変形例に係る操作画面１５７の一例を示す図である。この操作画面１５７には、「子供部屋のエアコンの冷房をオン」、「子供部屋のテレビをオン」という操作の内容と、ボタン１５８とが表示されている。また、操作画面１５７には、「子供部屋のエアコンの冷房をオン」という操作の内容の隣に、温度設定ダイヤル１５９が表示されている。ユーザは、例えば温度設定ダイヤル１５９を指でなぞって左右にスライドさせることにより、所望の設定温度を指定することができる。ユーザは、図１６に示す操作画面１５５と同様に、これらの操作の中に必要のない操作が含まれている場合には、その操作を実行対象から除外する操作を行ってからボタン１５８を押す。これにより、ボタン１５８には、除外された操作以外の操作が割り当てられる。

本変形例によれば、ユーザが行う可能性が高い操作の内容を精度よく予測し、その操作用の画像を通信端末１０上に表示することができる。

（１２）上述した実施形態において、家に居る人の数やメンバーによって異なる機能を有するボタンが生成され、表示されてもよい。この場合、家に居る人の数やメンバーは、例えば家族のメンバーがそれぞれ自分の通信端末１０を所持している場合には、各通信端末１０がＧＰＳを利用して生成した位置情報を取得することにより、この位置情報に基づいて検出することができる。または、家に居る人の数やメンバーは、上述した変形例（２）で説明したように、センサ３６に設けられたマイクロフォンや人感センサによって検出されてもよい。

本変形例に係る表示制御部１１３は、このようにして検出された家に居る人の数やメンバーによってボタンに異なる操作を割り当てる。例えば、家に居る人の数が０より多い場合には、サーバ装置２０から受信した操作情報が表す操作のうち、現在動作している機器の操作を除いた操作がボタンに割り当てられる。この現在動作している機器の操作は、例えば記憶部２４に記憶された履歴情報２４１に基づいて特定することができる。これにより、家に人がいる場合には、その人の操作によって動作された機器が、家の外にいる他のメンバーによって動作が停止されたり、設定が変更されたりするのを防止することができる。

また、例えば家に或るメンバーがいる場合には、サーバ装置２０から受信した操作情報が表す操作のうち、そのメンバーが操作権限を有する機器の操作を除いた操作がボタンに割り当てられてもよい。各メンバーが操作権限を有する機器は、予め設定される。例えば、子供が、子供部屋に設置された機器の操作権限を有する場合には、子供が操作権限を有する機器として、子供部屋に設置された機器が設定される。これにより、家に或るメンバーがいる場合には、そのメンバーが操作権限を有する機器が、家の外にいる他のメンバーによって操作されるのを防止することができる。

１ 遠隔操作システム、１０ 通信端末、２０ サーバ装置、３０ 制御装置、４０ 機器、５０ リモートコントローラ、２１ プロセッサ、２２ メインメモリ、２３ 通信部、２４ 記憶部、１１１ 送信部、１１２ 受信部、１１３ 表示制御部、１１４ 位置情報送信部、２１２ 転送部、２１３ 履歴記録部、２１４ 位置情報取得部、２１５ 行動判定部、２１６ 環境情報取得部、２１７ 決定部、２１８ 出力部、３１１ 信号受信部、３１２ 信号送信部、３１３ 環境情報送信部。

Claims (8)

1. ユーザによる機器の操作の内容を表す操作情報と、当該操作時の当該機器の環境を表す環境情報と、当該操作時の当該ユーザの行動の内容を表す行動情報とを含む、機器の操作に関する履歴情報を記憶する記憶部と、
   前記ユーザによって所持される通信端末の位置を表す位置情報を取得する位置情報取得部と、
   前記位置情報取得部により取得された前記位置情報に基づいてユーザの行動の内容を判定する行動判定部と、
   前記機器の環境を表す環境情報を取得する環境情報取得部と、
   前記記憶部に記憶された前記履歴情報に基づいて、前記行動判定部により判定された前記行動の内容と前記環境情報取得部により取得された前記環境情報が表す環境とに対応する操作の内容を決定する決定部と、
   前記決定部により決定された前記操作の内容を表す操作情報を前記通信端末に出力する出力部と
   を備える操作支援装置。
2. 前記履歴情報は、前記操作が行われた時刻を含み、
   前記決定部は、所定の時間内に行われた複数の操作の内容を決定する
   請求項１に記載の操作支援装置。
3. 前記履歴情報は、前記操作が行われた日付、時刻又は曜日を含み、
   前記決定部は、前記位置情報取得部により前記位置情報が取得された日付、時刻又は曜日に対応する操作の内容を決定する
   請求項１又は２に記載の操作支援装置。
4. 前記環境情報は、温度、湿度、照度、空気を構成する気体の濃度、又は人の有無を表す情報を含む
   請求項１から３のいずれか１項に記載の操作支援装置。
5. サーバ装置と、通信端末とを備え、
   前記サーバ装置は、
   ユーザによる機器の操作の内容を表す操作情報と、当該操作時の当該機器の環境を表す環境情報と、当該操作時の当該ユーザの行動の内容を表す行動情報とを含む、機器の操作に関する履歴情報を記憶する記憶部と、
   前記ユーザによって所持される前記通信端末の位置を表す位置情報を取得する位置情報取得部と、
   前記位置情報取得部により取得された前記位置情報に基づいてユーザの行動の内容を判定する行動判定部と、
   前記機器の環境を表す環境情報を取得する環境情報取得部と、
   前記記憶部に記憶された前記履歴情報に基づいて、前記行動判定部により判定された前記行動の内容と前記環境情報取得部により取得された前記環境情報が表す環境とに対応する操作の内容を決定する決定部と、
   前記決定部により決定された前記操作の内容を表す操作情報を前記通信端末に出力する出力部とを備え、
   前記通信端末は、
   前記出力部により出力された前記操作情報に基づいて操作用の画像を表示する表示部を備える
   操作支援システム。
6. 制御装置と、サーバ装置と、通信端末とを備え、
   前記制御装置は、
   機器の環境を検出し、当該検出した環境を表す環境情報を生成する検出部を備え、
   前記サーバ装置は、
   ユーザによる前記機器の操作の内容を表す操作情報と、当該操作時の当該機器の環境を表す環境情報と、当該操作時の当該ユーザの行動の内容を表す行動情報とを含む、機器の操作に関する履歴情報を記憶する記憶部と、
   前記ユーザによって所持される前記通信端末の位置を表す位置情報を取得する位置情報取得部と、
   前記位置情報取得部により取得された前記位置情報に基づいてユーザの行動の内容を判定する行動判定部と、
   前記検出部によって生成された前記環境情報を取得する環境情報取得部と、
   前記記憶部に記憶された前記履歴情報に基づいて、前記行動判定部により判定された前記行動の内容と前記環境情報取得部により取得された前記環境情報が表す環境とに対応する操作の内容を決定する決定部と、
   前記決定部により決定された前記操作の内容を表す操作情報を前記通信端末に出力する出力部とを備え、
   前記通信端末は、
   前記出力部により出力された前記操作情報に基づいて操作用の画像を表示する表示部を備える
   操作支援システム。
7. 前記記憶部は、前記通信端末上で行われた前記機器の操作に関する履歴情報、又はリモートコントローラを用いて行われた前記機器の操作に関する履歴情報を記憶する
   請求項６に記載の操作支援システム。
8. ユーザによる機器の操作の内容を表す操作情報と、当該操作時の当該機器の環境を表す環境情報と、当該操作時の当該ユーザの行動の内容を表す行動情報とを含む、機器の操作に関する履歴情報を記憶する記憶部を備えるコンピュータに、
   前記ユーザによって所持される通信端末の位置を表す位置情報を取得するステップと、
   前記取得された位置情報に基づいてユーザの行動の内容を判定するステップと、
   前記機器の環境を表す環境情報を取得するステップと、
   前記記憶部に記憶された前記履歴情報に基づいて、前記判定された行動の内容と前記取得された環境情報が表す環境とに対応する操作の内容を決定するステップと、
   前記決定された操作の内容を表す操作情報を前記通信端末に出力するステップと
   を実行させるためのプログラム。

Images