JP2013207520A - 制御装置 - Google Patents

Abstract

【課題】電気機器を遠隔制御する際の優れたユーザ操作性を提供する。
【解決手段】制御装置は、１つ以上の電気機器が配置された部屋内を撮影するカメラ２４０Ａ,２４０Ｂの映像を処理するための映像処理手段と、カメラからの映像と、映像処理手段による処理結果とを同一の画面に表示するための表示処理手段と、画面の上における位置を指定する操作を受付けるための操作受付手段と、を備える。映像処理手段は、カメラの映像から電気機器の画像を検出するための電気機器検出手段を、含み、表示処理手段は、カメラからの映像と、画像が検出された１つ以上の電気機器に対応するアイコンとを同一画面に表示し、操作受付手段がアイコンの表示位置を指定する操作を受付けたとき、当該アイコンに対応する電気機器宛てに制御指令を送信する。
【選択図】図１

Description

本発明は制御装置に関し、特に、被制御対象である電気機器を遠隔から制御する制御装置に関する。

家電を制御するための各種のＵＩ（ユーザインターフェイス）技術が提案されている。たとえば、特許文献１（特開２０００−１９４４６７号公報）では、エアコン、テレビなどの家電をオブジェクトとして扱い、複数のオブジェクトをカメラで撮影した実画像として取り込み、注目するオブジェクトとその詳細情報を同時に表示しながら、オブジェクトに制御を行うためのコマンドを送り遠隔制御する情報表示装置が示される。

特開２０００−１９４４６７号公報

家電を運転制御する際には、操作性のよいＵＩを提供してほしいとの要望がある。しかしながら、特許文献１では、室内にある家電を撮影して得られた実画像を表示している場合に、ユーザが表示中の所望家電に対し制御を行なうためのコードを送信する場合には、表示画面とは個別に設けられた入力手段１４のボタンなどを操作する必要があり、操作性に優れない。

それゆえに、本発明の目的は、電気機器を遠隔制御する際の優れたユーザ操作性を有した制御装置を提供することである。

この発明のある局面に従う制御装置は、１つ以上の電気機器が配置された部屋内を撮影するカメラの映像を処理するための映像処理手段と、カメラからの映像と、映像処理手段による処理結果とを同一の画面に表示するための表示処理手段と、画面の上における位置を指定する操作を受付けるための操作受付手段と、を備える。

映像処理手段は、カメラの映像から前記１つ以上の電気機器の画像を検出するための電気機器検出手段を、含み、表示処理手段は、カメラからの映像と、画像が検出された１つ以上の電気機器に対応するアイコンとを前記同一の画面に表示し、操作受付手段がアイコンの表示位置を指定する操作を受付けたとき、当該アイコンに対応する電気機器宛てに制御指令を送信する。

好ましくは、制御装置は、１つ以上の電気機器から当該電気機器の動作状態を示す電気機器情報を受信するための手段を、さらに備える。表示処理手段は、操作受付手段がアイコンの表示位置を指定する操作を受付けたとき、当該アイコンに対応する電気機器の電気機器情報を同一の画面に表示する。

好ましくは、操作受付手段がアイコンの表示位置を指定する操作と、当該アイコンに対応する電気機器の電気機器情報の表示位置を指定する操作とを受付けたとき、当該アイコンに対応する電気機器宛てに、当該電気機器情報に従う制御指令を送信する。

好ましくは、表示処理手段は、電気機器情報を、映像における当該電気機器の画像を検出した位置において表示する。

好ましくは、表示処理手段は、１つ以上の電気機器のうち、問い合わせに対して応答した電気機器についてのみ対応するアイコンを表示する。

好ましくは、アイコンを、対応する電気機器について検出された画像から生成する。
好ましくは、操作受付手段は、タッチパネル上の位置を指定するためのタッチ操作を受付け、受付けた操作に対応した情報を入力し、タッチパネルは画面の上に設けられる。

好ましくは、映像処理手段と、表示処理手段とを含む映像表示処理手段を有し、所定条件が成立すると判定したとき、映像表示処理手段を起動する。

好ましくは、部屋に配置された１つ以上の電気機器の消費電力量が目標値を越えると判定したとき、映像表示処理手段を起動する。

この発明の他の局面に従う制御方法は、１つ以上の電気機器が配置された部屋内を撮影するカメラの映像を処理するステップと、カメラからの映像と、映像を処理するステップによる処理結果とを同一の画面に表示するステップと、画面の上における位置を指定する操作を受付けるステップと、を備える。

映像を処理するステップは、カメラの映像から１つ以上の電気機器の画像を検出するステップを、含む。表示するステップでは、カメラからの映像と、画像が検出された１つ以上の電気機器に対応するアイコンとを同一の画面に表示し、操作を受付けるステップにおいて、アイコンの表示位置を指定する操作を受付けたとき、当該アイコンに対応する電気機器宛てに制御指令を送信する。

本発明によれば、電気機器を遠隔制御する際の優れたユーザ操作性を得ることができる。

本発明の実施の形態に係るネットワークシステムの概略構成図である。 本発明の実施の形態に係るホームコントローラのハードウェア構成図である。 本発明の実施の形態に係る制御のためのテーブルを示す図である。 本発明の実施の形態に係る対応テーブルの一例を示す図である。 本発明の実施の形態に係る家電のハードウェア構成図である。 本発明の実施の形態に係る中継器のハードウェア構成図である。 本発明の実施の形態に係るホームコントローラの機能構成図である。 本発明の実施の形態に係る通信装置の構成を示す図である。 本発明の実施の形態に係る警告画面の一例を示す図である。 本発明の実施の形態に係るカメラによる撮影映像の画面例を示す図である。 カメラの撮影映像と共に、家電情報を表示するための画面例を示す図である。 本発明の実施の形態に係る消費電力に基づく警告処理起動のための処理フローチャートである。 本発明の実施の形態に係る警告処理のフローチャートである。 本発明の実施の形態に係る消費電力に基づく警告処理起動のための他の処理フローチャートである。

以下、本発明の実施の形態について図面を参照し詳細に説明する。なお、同一の構成要素には各図において同一の符号を付し、詳細な説明は繰返さない。

ここでは、電気機器とは電気が供給されることにより駆動される機器を示し、とりわけ、本実施の形態では電気機器として家電を例示する。また、本実施の形態では家電情報は、家電が有する動作モードの種類と、現在はどのモードで動作しているか示すデータと、消費電力を示すデータをと含む情報である。

＜ネットワークシステムの全体構成＞
図１は、本発明の実施の形態に係るネットワークシステム１の概略構成図である。図１を参照して、ネットワークシステム１は、たとえば、住宅やオフィスなどに設置されるが、ここでは住宅を想定する。ネットワークシステム１は、居間のエアコン（空気調和機）２００Ａ、キッチンのテレビ（テレビジョン）２００Ｂ、電子レンジ２００Ｃ、冷蔵庫２００Ｄ、および照明２００Ｅなどの家電、および居間に設置されたカメラ２４０Ａおよびキッチンに設置されたカメラ２４０Ｂを含む。

カメラ２４０Ａおよび２４０Ｂは、たとえばＣＣＤ（Charge Coupled Device）カメラであり、設置された部屋内全体を撮影し、撮影した映像を要求に応じて送信する機能を有する。

図示される家電は一例であり、これらに限定されるものではなく、また部屋の種類も居間、キッチンに限定されない。ここでは、エアコン２００Ａ、テレビ２００Ｂ、電子レンジ２００Ｃ、冷蔵庫２００Ｄおよび照明２００Ｅは、家電２００Ａ〜２００Ｅと総称する場合がある。また、カメラ２４０Ａ，２４０Ｂも単にカメラと総称する場合がある。

また、ネットワークシステム１は、太陽光発電装置２００Ｘ、蓄電池２００Ｙ、それらを制御するためのパワーコンディショナ２００Ｚを含む。なお、蓄電池２００Ｙは、住宅などに設置されるものであってもよいし、自動車用の蓄電池を住宅用の蓄電池として兼用するものであってもよい。

パワーコンディショナ２００Ｚは、電力線４０２を介して、蓄電池２００Ｙと系統と家電２００Ａ〜２００Ｅとに電力を供給する。そして、パワーコンディショナ２００Ｚは、電力線４０２を介して、太陽光発電装置２００Ｘ、蓄電池２００Ｙ、および系統（電力会社が提供する電力系統など）から電力を取得する。

本実施の形態に係るネットワークシステム１では、エアコン２００Ａ用の通信装置４００Ａが、エアコン２００Ａとエアコン２００Ａのコンセントとの間に設置される。換言すれば、通信装置４００Ａがエアコン２００Ａのコンセントに差し込まれ、エアコン２００Ａのアダプタ２５０Ａが通信装置４００Ａに差し込まれる。テレビ２００Ｂ用の通信装置４００Ｂが、テレビ２００Ｂとテレビ２００Ｂのコンセントとの間に設置される。換言すれば、通信装置４００Ｂがテレビ２００Ｂのコンセントに差し込まれ、テレビ２００Ｂのアダプタ２５０Ｂが通信装置４００Ｂに差し込まれる。同様に、電子レンジ２００Ｃ用の通信装置４００Ｃが、電子レンジ２００Ｃと電子レンジ２００Ｃのコンセントとの間に設置される。換言すれば、通信装置４００Ｃが電子レンジ２００Ｃのコンセントに差し込まれ、電子レンジ２００Ｃのアダプタ２５０Ｃが通信装置４００Ｃに差し込まれる。冷蔵庫２００Ｄ用の通信装置４００Ｄが、冷蔵庫２００Ｄと冷蔵庫２００Ｄのコンセントとの間に設置される。換言すれば、通信装置４００Ｄが冷蔵庫２００Ｄのコンセントに差し込まれ、冷蔵庫２００Ｄのアダプタ２５０Ｄが通信装置４００Ｄに差し込まれる。照明２００Ｅ用の通信装置４００Ｅが、照明２００Ｅと照明２００Ｅのコンセントとの間に設置される。換言すれば、通信装置４００Ｅが照明２００Ｅのコンセントに差し込まれ、照明２００Ｅのアダプタ２５０Ｅが通信装置４００Ｅに差し込まれる。

ネットワークシステム１は、家電２００Ａ〜２００Ｅ、太陽光発電装置２００Ｘ、蓄電池２００Ｙ、それらを制御するためのパワーコンディショナ２００Ｚ、カメラ、家電などを制御するための制御装置に対応するホームコントローラ１００を含む。ネットワークシステム１は、家電２００Ａ〜２００Ｅおよびカメラとホームコントローラ１００との通信を中継するための中継器３００を備える。

ホームコントローラ１００は、有線あるいは無線のネットワーク４０１を介して、中継器３００、カメラ、家電２００Ａ〜２００Ｅ、太陽光発電装置２００Ｘ、蓄電池２００Ｙ、パワーコンディショナ２００Ｚ、などと通信が可能である。ネットワーク４０１として、たとえば、無線ＬＡＮ、ZigBee(登録商標)、Bluetooth（登録商標）、有線ＬＡＮ（Local Area Network）、またはＰＬＣ（Power Line Communications）などを利用する。ホームコントローラ１００は、持ち運び可能なタブレット型端末であってもよいし、テーブル上に載置されたベースに着脱自在であってもよいし、部屋の壁に固設されるものであってもよい。

＜ホームコントローラ１００のハードウェア構成とテーブル＞
図２を参照して、ホームコントローラ１００は、メモリ１０１、ディスプレイ１０２、タブレット１０３、ボタン１０４、通信インターフェイス１０５、スピーカ１０７、時計１０８、およびＣＰＵ（Central Processing Unit）１１０を含む。タブレット１０３およびボタン１０４のユーザ操作を受付けるための入力インターフェイス１０３１と１０４１と、ディスプレイ１０２に情報を出力するために出力インターフェイス１０２１をさらに備える。ユーザに対して情報を出力するデバイスは画像表示によるディスプレイ１０２と、音声出力によるスピーカ１０７とを用いることができる。

メモリ１０１は、各種のＲＡＭ（Random Access Memory）や、ＲＯＭ（Read-Only Memory）や、ハードディスクなどによって実現される。たとえば、メモリ１０１は、読取
用のインターフェイスを介して利用される、ＵＳＢ（Universal Serial Bus）メモリ、ＣＤ−ＲＯＭ（Compact Disc - Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk - Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリ、メモリカード、ＦＤ（Flexible Disk）、ハードディスク、磁気テープ、カセットテープ、ＭＯ（Magnetic Optical Disc）、ＭＤ（Mini Disc）、ＩＣ（Integrated Circuit）カード（メモリカードを除く）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）などの、不揮発的にプログラムを格納する媒体などによっても実現される。

メモリ１０１は、ＣＰＵ１１０によって実行される制御プログラム、後述する目標テーブル３０５、パターンデータ３０６、アドレステーブル３０７および対応テーブル３０８を記憶するための記憶部と、ディスプレイ１０２に表示する画像データを格納する表示用メモリとを含む。テーブルの詳細は後述する。

ディスプレイ１０２は、ＣＰＵ１１０によって制御されることによって、家電２００Ａ〜２００Ｅやパワーコンディショナ２００Ｚの状態等の各種情報を表示する。

本実施の形態においては、ディスプレイ１０２の表面にタブレット１０３が敷設されている。すなわち、本実施の形態においては、ディスプレイ１０２とタブレット１０３とがユーザ操作を受付けるためのタッチパネル１０６を構成する。タッチパネル１０６は、ユーザのタッチ操作を検出して、タブレット１０３上におけるタッチ位置を示す座標などをＣＰＵ１１０に出力する。

ボタン１０４は、ホームコントローラ１００の表面に配置される。ボタン１０４は、決定ボタン、戻りボタン、方向ボタン、テンキーなどの複数のボタン，キーを有する。

ＣＰＵ１１０は、タブレット１０３またはボタン１０４を介したユーザ操作を受付けて、受付けた操作を解析する。受付けた操作が家電の運転制御に関する操作である場合には、解析結果に基づき当該操作に従う運転制御指令を生成する。生成された運転制御指令は通信インターフェイス１０５によって対象の家電宛てに送信される。

通信インターフェイス１０５は、ＣＰＵ１１０によって制御されることによって、ネットワーク４０１を介してデータを送受信する。

スピーカ１０７は、ＣＰＵ１１０からの命令に基づいて、音声を出力する。たとえば、ＣＰＵ１１０は、音声データに基づいて、スピーカ１０７に音声を出力させる。

時計１０８は、ＣＰＵ１１０からの命令に基づいて、現在の日付や時刻をＣＰＵ１１０に入力する。

ＣＰＵ１１０は、メモリ１０１に記憶されている各種のプログラムを実行することによって、各種の情報処理を実行する。換言すれば、ホームコントローラ１００における処理は、各ハードウェアおよびＣＰＵ１１０により実行されるソフトウェアによって実現される。このようなソフトウェアは、メモリ１０１に予め記憶されている場合がある。また、ソフトウェアは、記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。

このようなソフトウェアは、図示しない読取装置を利用することによってその記憶媒体から読み取られて、あるいは、通信インターフェイス１０５を利用することによってダウンロードされて、メモリ１０１に一旦格納される。ＣＰＵ１１０は、ソフトウェアを実行可能なプログラムの形式でメモリ１０１に格納してから、当該プログラムを実行する。

なお、記憶媒体としては、ＣＤ−ＲＯＭ（Compact Disc - Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk - Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリ、メモリカード、ＦＤ（Flexible Disk）、ハードディスク、磁気テープ、カセットテープ、ＭＯ（Magnetic Optical Disc）、ＭＤ（Mini Disc）、ＩＣ（Integrated Circuit）カード（メモリカードを除く）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）などの、不揮発的にプログラムを格納する媒体が挙げられる。

ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

図３は、本発明の実施の形態に係る制御のためのテーブルを示す図である。図３の（Ａ）は目標テーブル３０５の一例を示す図である。図３の（Ａ）を参照して目標テーブル３０５は、宅内の部屋のそれぞれに対応して部屋名を示すデータ３０５Ａおよび部屋毎のユーザが予め設定した消費電力量の目標値を示すデータ３０５Ｂを対応付けて格納している。データ３０５Ｂの目標値は後述する上限条件を満たすものである。

図３の（Ｂ）は、本発明の実施の形態に係るアドレステーブル３０７の一例を示す図である。図４を参照して、アドレステーブル３０７は、制御対象家電（すなわち、電力測定がされて、測定された電力が集計される対象家電）のそれぞれに対応して家電の名称を示すデータ３０７Ａ、当該家電が設置された部屋名を示すデータ３０７Ｂおよび当該家電と通信するためのアドレス３０７Ｃを含む。

図４は、本発明の実施の形態に係る対応テーブル３０８の一例を示す図である。対応テーブル３０８は、部屋毎のカメラ２４０Ａ，２４０Ｂのそれぞれに対応して生成されてメモリ１０１に格納される。図４では、キッチンのカメラ２４０Ｂのための対応テーブル３０８を示すが、居間のカメラ２４０Ａのための対応テーブルについても同様に生成することができる。対応テーブル３０８は、主に当該カメラ撮影による映像の表示処理およびユーザ操作受付けのために読み書きされる。

図４を参照して、対応テーブル３０８は、制御対象家電のそれぞれに対応して家電の名称を示すデータ３０８Ａ、表示画像における当該家電の画像の位置を示すデータ３０８Ｂ、当該家電の外観を表す絵柄・画像を示すアイコンのデータ３０８Ｃおよび当該アイコンの表示位置を示すデータ３０８Ｄを含む。

＜テレビ２００Ｂのハードウェア構成＞
家電の一例として、テレビ２００Ｂの構成を説明する。図５を参照して、テレビ２００Ｂは、運転に関するデータ・プログラムを記憶するためのメモリ２０１、ユーザによる制御のための操作を受付けるためのボタン２０４、通信インターフェイス２０５、図示しないディスプレイ・ステレオに映像・音声を出力するためのＡＶ（Audio-Visual）信号処理部などを含むＡＶ出力処理部２０７、およびＣＰＵ２１０を含む。

メモリ２０１は、ホームコントローラ１００のメモリ１０１と同様に実現され得る。メモリ２０１は、ＣＰＵ２１０によって実行される制御プログラム、テレビ２００Ｂに入力された命令、テレビ２００Ｂの現在の動作モードを示すためのデータである現動作モード２０１Ａなどを記憶する。

現動作モード２０１Ａは、テレビ２００Ｂの家電情報に相当するものであって、テレビ２００Ｂが有する動作モードの種類を順番に並べた一覧表において、現在の動作モードを特定して示すためのデータである。

通信インターフェイス２０５は、ＣＰＵ２１０によって制御されることによって、ネットワーク４０１を介して、ホームコントローラ１００とデータを送受信する。上述したように、通信インターフェイス２０５は、無線ＬＡＮ、ZigBee(登録商標)、Bluetooth（登
録商標）、有線ＬＡＮ（Local Area Network）、またはＰＬＣ（Power Line Communications）などを利用することによって、中継器３００を介しホームコントローラ１００とデータを送受信する。

＜中継器３００のハードウェア構成＞
図６は、本発明の実施の形態に係る中継器３００のハードウェア構成図である。図６を参照し、中継器３００はＣＰＵ３０１、ネットワーク４０１を介して通信するための通信インターフェィス３０２および記憶部３０３を備える。

本実施の形態では、家電２００Ａ〜２００Ｅについて測定された消費電力の情報は、中継器３００を経由しホームコントローラ１００に送信される。ホームコントローラ１００側では、各家電について消費電力量（単位：ｋＷｈ）を算出する。

＜ネットワークシステムの動作概要＞
次に、本実施の形態に係るネットワークシステム１の動作概要について説明する。

ホームコントローラ１００は、ネットワーク４０１を介して、住宅に設置される家電２００Ａ〜２００Ｅのそれぞれから、家電２００Ａ〜２００Ｅの消費電力のデータを受信する。家電２００Ａ〜２００Ｅそれぞれは、ホームコントローラ１００と通信するための通信部を内蔵する。

ホームコントローラ１００は、受信した家電２００Ａ〜２００Ｅの消費電力のデータを蓄積することによって、家電２００Ａ〜２００Ｅの消費電力量を所定期間にわたって累積加算し、累積加算した消費電力量を所定記憶領域に格納し、必要に応じて外部に出力（表示）し、または外部の情報処理装置に送信する。

パワーコンディショナ２００Ｚは、図示のない電力センサを用いて太陽光発電装置２００Ｘの発電電力量および蓄電池２００Ｙの残量電荷による電力量である蓄電量を検出し、検出した電力量をホームコントローラ１００に送信する。

ホームコントローラ１００は、系統からの供給電力、太陽光発電装置２００Ｘの発電電力量、および蓄電池２００Ｙの蓄電量のうちの１種以上の供給電力を用いて各家電を運転制御する。この場合において、少なくとも供給電力量を超えない範囲の消費電力となるような上限条件の下で各家電の運転を制御する。

ホームコントローラ１００は、通常は、上限条件の下で各家電の運転を制御する。上限条件の下で、各家電の消費電力量が部屋単位の目標を超えると判定したときは、出力インターフェイス１０２１を介してディスプレイ１０２に警告を出力する。

ここでは、説明を簡単にするために、各家電の運転を制御するためのユーザ操作は、操作部（タッチパネル１０６またはボタン１０４）を介して入力インターフェイス１０３１により受付けると想定しているが、各家電が固有に有するボタン２０４などの操作部から受付けるとしてもよい。

＜機能構成＞
図７は、本発明の実施の形態に係るホームコントローラ１００の機能構成図である。図７を参照してホームコントローラ１００は、通信インターフェイス１０５に対応の通信部３１０、ユーザの操作を受付けるための操作受付部３１１、受信した映像信号を処理するための映像処理部３２０、情報を表示するための表示処理部３３０および要求を送信するための要求部３４０を備える。通信部３１０は誤り訂正、変調・復調などの処理部を含む。

映像処理部３２０は、通信部３１０から受信する映像から家電２００Ａ〜２００Ｅの画像を検出するための家電検出部３２１および家電２００Ａ〜２００Ｅの外観の絵柄・画像を示すアイコンを生成するためのアイコン生成部３２２を含む。

表示処理部３３０は、通信部３１０を介して受信した映像（静止画または動画）をディスプレイ１０２に表示するための映像表示部３３１、警告情報を表示するための警告表示部３３２、アイコン生成部３２２で生成された家電２００Ａ〜２００Ｅのアイコンをディスプレイ１０２に表示するための家電アイコン表示部３３３、および家電２００Ａ〜２００Ｅから取得した家電情報を表示するための家電情報表示部３３４を含む。

要求部３４０は、家電２００Ａ〜２００Ｅに対し家電情報を要求するための家電情報要求部３４１、およびカメラに対し映像を要求するための映像要求部３４２を含む。

（家電検出処理）
家電検出部３２１による検出処理を説明する。家電検出部３２１は、メモリ１０１のパターンデータ３０６を用いて家電２００Ａ〜２００Ｅの画像を検出する。

パターンデータ３０６は各種家電の識別子である家電名に対応付けて、当該家電の画像の特徴量と、当該家電のアイコンとを含む。

家電検出部３２１は、通信部３１０から受信するカメラの映像から、フレーム単位の画像を抽出し、抽出したフレーム画像における各部分画像について、当該部分画像のフレーム画像における位置のデータ３０８Ｂと特徴量とを算出する。当該部分画像についての算出特徴量とパターンデータ３０６の各種家電の特徴量とを照合し、照合結果から画像の類似度を算出する。当該部分画像についての算出類似度が予め定めた閾値よりも大きいことを判定したとき、パターンデータ３０６における当該類似度の算出に用いた特徴量に対応の家電名のデータ３０８Ａと、当該部分画像について算出された上述の位置のデータ３０８Ｂとを対応テーブル３０８に格納する。

上述の家電検出処理により、カメラが撮影する部屋内の家電それぞれについて撮影画像における家電画像の位置と家電名が検出される。

ここでは、フレーム単位画像における各部分画像のサイズは家電の画像サイズから経験的に予め決定されたサイズを示す。また、上述のフレーム単位画像のサイズ・形状はディスプレイ１０２のそれに整合し、また形状は矩形を示すと想定する。上述の位置は、たとえば当該矩形画像領域における２次元座標値で示される。

（アイコン生成処理）
アイコン生成部３２２は、家電検出部３２１が検出したデータ３０８Ａが示す家電名のそれぞれについて、パターンデータ３０６を検索し、対応するアイコンを読出す。読出した各アイコンのデータ３０８Ｃは、当該家電名のデータ３０８Ａと対応するように対応テーブル３０８に格納される。

なお、アイコン生成部３２２は、家電検出処理により検出された家電の部分画像を縮小処理し、これにより得られたムネイル画像をアイコンとしてもよい。

（アイコン表示処理）
家電アイコン表示部３３３は、アイコン生成部３２２が生成したアイコンのデータ３０８Ｃと対応する家電名のデータ３０８Ａを対応テーブル３０８から読出し、アイコンと家電名を関連付けてディスプレイ１０２の予め定められた位置（これを、アイコン位置と称する）に表示する。また、家電アイコン表示部３３３は、ディスプレイ１０２に表示される各アイコンのデータ３０８Ｃに対応付けてアイコン位置のデータ３０８Ｄを格納する。

（家電情報表示処理）
家電情報表示部３３４は、操作受付部３１１が受付けたユーザのタッチ操作位置に基づき対応テーブル３０８を検索し、当該タッチ操作位置に該当するアイコン位置のデータ３０８Ｄを検出し、検出したデータ３０８Ｄに対応した画像位置のデータ３０８Ｂを読出す。読出したデータ３０８Ｂの画像位置において、取得した家電情報を表示する。

図８は、本発明の実施の形態に係る通信装置４００Ａ〜４００Ｅの構成を示す図である。通信装置４００Ａ〜４００Ｅは同様の機能構成を有し、通信装置４００と総称する場合がある。

図８を参照して通信装置４００は、通信部４１０、当該通信装置４００が取付けられた家電の稼働を制御するための稼働制御部４１１、受信した要求を処理するための要求処理部４４０、当該家電から現動作モード２０１Ａを取得するための状態取得部４５０、当該家電の消費電力を測定するための電力測定部４６０および当該家電に対して電力を供給するための電源部４７０を備える。

＜表示画面＞
図９は、本発明の実施の形態に係る警告画面の一例を示す図であり、警告表示部３３２がディスプレイ１０２に表示する画面例である。

図１０は、本発明の実施の形態に係るカメラによる撮影映像の画面例を示す図であり、当該画面は映像表示部３３１によってディスプレイ１０２に表示される。

図１１は、カメラの撮影映像と共に、家電情報を表示するための画面例を示す図であり、当該画面は家電アイコン表示部３３３および家電情報表示部３３４によってディスプレイ１０２に表示される。図１１の画面では、簡単化のためにテレビ２００Ｂのみについて、家電情報ＩＲが表示されているが、実際は、検出家電のそれぞれについて取得した家電情報ＩＲが表示されることになる。

図１０と図１１では、検出家電のアイコンに関連付けて、家電情報に含まれる消費電力（より特定的には、現在の消費電力）の値が表示される。

家電情報ＩＲは家電の複数種類の動作モードの一覧表において現動作モード２０１Ａが表す現在の動作を特定して示す情報である。特定して示すために、画面では強調・反転などの態様が採用される。

ユーザはタッチパネル１０６を操作することで家電の動作モードを切替えることができる。具体的には、所望する家電の家電情報が示す動作モード一覧表から切替え後の動作モードの種類をタッチする。操作受付部３１１は当該操作を受付けてタッチ位置を出力する。ＣＰＵ１１０は操作受付部３１１からのタッチ位置に基づき対応テーブル３０８から当該タッチ位置に該当する画像位置のデータ３０８Ｂを特定し、特定したデータ３０８Ｂに対応のデータ３０８Ａの家電名を読出す。そして、読出した家電名に基づきアドレステーブル３０７から当該家電のアドレス３０７Ｃを読出す。

また、このときＣＰＵ１１０は操作受付部３１１からのタッチ位置の座標値と所定係数とを用いて動作モード一覧表の“ｉ番目”の種類の動作モードがタッチされたことを検出する。

このように、家電の動作モードの切替え操作がされたとき、ＣＰＵ１１０は当該家電のアドレス３０７Ｃと、“ｉ番目”とを出力する。

（部屋毎の消費電力の算出）
ここでは、各家電の通信装置４００は、電力測定部４６０が測定する対応家電の消費電力のデータを格納した通信パケットを生成し、当該通信パケットを通信部４１０を介し定期的にホームコントローラ１００に送信する。この通信パケットのヘッダには送信元家電のアドレスが格納される。

ホームコントローラ１００のＣＰＵ１１０は、中継器３００を介して当該通信パケットを受信する。ＣＰＵ１１０は、受信した通信パケットのアドレスに基づきアドレステーブル３０７を検索する。検索結果に基づき、受信アドレスに一致するアドレス３０７Ｃを検出する。検出したアドレス３０７Ｃに対応するデータ３０７Ｂが示す部屋名毎に、受信する消費電力を累積加算する。これにより、部屋毎に当該部屋の家電のよる消費電力量が算出される。

＜フローチャート＞
図１２は、本発明の実施の形態に係る消費電力に基づく警告出力のための処理フローチャートである。図１２を参照して、まずＣＰＵ１１０は各家電から消費電力を受信し（ステップＳ３）、上述の手順に従って、部屋毎の消費電力量を算出する（ステップＳ５）。

続いて、算出した部屋毎の消費電力量と、目標テーブル３０５のデータ３０５Ｂが示す当該部屋名のデータ３０５Ａに対応の消費電力量の目標のデータ３０５Ｂとを比較する（ステップＳ７）。比較の結果に基づき、当該部屋の消費電力量がデータ３０５Ｂが示す目標値を超えるか否かを判定する（ステップＳ９）。目標を超えていない、すなわち算出消費電力量≦目標値の条件が成立すると判定した場合（ステップＳ９でＮＯ）、ディスプレイ１０２の画面から表示中の警告画像を消去する（ステップＳ１０）。その後、ステップＳ３の処理に戻る。

なお、警告画像が表示されていない場合には、ステップＳ１０の処理はパスし、ステップＳ３の処理に戻る。

目標を超えている、すなわち算出消費電力量＞目標値の条件が成立すると判定した場合（ステップＳ９でＹＥＳ）、ＣＰＵ１１０は警告処理を起動する（ステップＳ１１）。その後、ステップＳ３の処理に戻る。

このように、図１２の処理は、部屋毎の家電の総消費電力量を算出し、算出した総消費電力量が目標を超えるときは警告処理（図１３参照）を起動させる。図１２の処理は、たとえば０．２秒間隔で実行される。

図１３は、本発明の実施の形態に係る警告処理のフローチャートである。
図１３を参照して、ＣＰＵ１１０により警告処理が起動されると、まず警告表示部３３２は警告画像（図９参照）をディスプレイ１０２に表示する（ステップＳ１３）。警告画像は、消費電力量が目標を超えた部屋名を示す情報を含む。ここでは、キッチンの消費電力量が目標を超えた場合を想定する。

警告画像を表示後、ユーザは消費電力量が目標以下となるように家電を制御することを希望する場合には図９の“はい”ボタンをタッチするが、そうでない場合には“いいえ”ボタンをタッチする。

操作受付部３１１はユーザのボタン操作を受付け、受付けた操作内容を出力する。ＣＰＵ１１０は操作受付部３１１の出力から“いいえ”ボタンが操作されたと判定すると（ステップＳ１５で“いいえ”）、処理は終了する。

一方、“はい”ボタンが操作されたと判定すると（ステップＳ１５で“はい”）、表示処理部３３０は、ステップＳ５で算出された部屋毎の消費電力量の情報をディスプレイ１０２に表示する（ステップＳ１７）。

その後、要求部３４０の映像要求部３４２は消費電力量が目標を超えたと判定されたキッチンのカメラ２４０Ｂのアドレスを用いて、カメラ２４０Ｂ宛てに映像の要求を送信する（ステップＳ１９）。なお、メモリ１１０には、各部屋名に対応して、当該部屋に設置されたカメラのアドレスが格納されているとする。

映像要求を受信したカメラ２４０Ｂは、要求受信時にキッチンを撮影し、その映像を要求元に返信する。これにより、ホームコントローラ１００はキッチンの映像を取得することができる（ステップＳ２１）。

映像処理部３２０の家電検出部３２１は、キッチンの映像から上述した家電検出処理を行なう（ステップＳ２３）。映像処理部３２０は検出結果に基づき、家電を検出することができたか否かを判定する（ステップＳ２５）。家電を検出できなかったと判定すると（ステップＳ２５でＮＯ）、処理はステップＳ３７に移行する。

家電を検出できたと判定すると（ステップＳ２５でＹＥＳ）、ＣＰＵ１１０は通信部３１０により検出された各家電宛てに問合せの通信パケットを送信する。当通信パケットのヘッダには宛先アドレスとして、アドレステーブル３０７から読出した、検出家電のアドレス３０７Ｃが格納される。

各家電の通信装置４００では、通信部４１０において対応する家電のアドレスを予め格納している。したがって、通信部４１０は通信パケットを受信すると、受信した通信パケットのアドレスと予め格納された家電のアドレスとを照合することで自己の家電宛ての通信パケットであるか否かを判定する。自己宛てでないと判定すると、当該通信パケットを破棄する。

各家電の通信装置４００は受信した通信パケットは自己の家電宛てであると判定すると、応答をホームコントローラ１００に送信する。応答には、当該家電のアドレスが含まれる。ＣＰＵ１１０は応答を受信するか否かに基づき通信可能である検出家電を検出し、当該検出家電を制御対象と特定する（ステップＳ２９）。

これにより、応答しない家電すなわち通信装置４００からコンセントが抜かれて電力供給を受けていない家電は制御対象から除かれて、以降のステップ３３で家電情報の取得対象から外すことができる。

続いて、要求部３４０の家電情報要求部３４１は、制御対象と特定された各家電宛てに家電情報の要求を送信する（ステップＳ３１）。

通信装置４００は、自己の家電宛ての家電情報の要求を受信すると、状態取得部４５０はメモリ２０１の現動作モード２０１Ａから、家電情報の通信パケットを生成する。生成された通信パケットはホームコントローラ１００宛てに送信される。

ホームコントローラ１００のＣＰＵ１１０は、家電情報の通信パケットを受信することによりキッチンに配置されている各家電の家電情報を取得する（ステップＳ３３）。

その後、ディスプレイ１０２に撮影映像による画像が表示される（ステップＳ３５）。具体的には、映像表示部３３１はディスプレイ１０２の同一画面においてカメラ撮影の映像を表示し、家電アイコン表示部３３３はアイコン生成部３２２が生成した検出家電のアイコンを同時に表示する（図１０参照）。図１０では、検出家電のアイコンを１画面で表示できない場合に、スクロールボタンＳＲを操作することによりアイコンをスクロール表示することができる。また、家電情報表示部３３４は、上述の家電情報表示処理により、検出家電について取得した家電情報を上記の同一画面に表示する（図１１参照）。

図１１によれば、家電の消費電力量が目標を超えた部屋の撮影映像と、部屋に置かれた家電のアイコンおよび家電情報とを同一画面で表示することができる。また、家電情報は、映像における対応の家電画像の位置で表示されて、部屋の各家電と現在の動作モードの対応付けを容易にしている。

ユーザは、タッチパネル１０６を介して図１１の所望家電のアイコンをタッチし、且つ当該家電の家電情報をタッチして別の動作モードへ切替える操作をすると、操作受付部３１１により当該操作が受付けられる。

図１１の画面を表示後、ＣＰＵ１１０は操作受付部３１１からの出力に基づき、ユーザがタッチパネル１０６をタッチ操作したか否かを判定する（ステップＳ３７）。タッチ操作していないと判定すると（ステップＳ３７で“入力なし（継続）”）、ステップＳ３７の判定処理が繰返される。

一方、操作受付部３１１の出力から家電の動作モードの“切替え”操作がされたと判定すると（ステップＳ３７で“切替え”）、ＣＰＵ１１０は、上述したように当該家電のアドレス３０７Ｃと、“ｉ番目”とを含むモード切替えの制御指令のための通信パケットを生成し（ステップＳ３９）、通信部３１０から送信する（ステップＳ４１）。その後、処理は終了する。

当該通信パケットのアドレス３０７Ｃに基づき自己宛てと判定した通信装置４００（図１１の場合は、たとえばテレビ２００Ｂの通信装置４００Ｂ）は、通信部４１０を経由して、受信した通信パケットを稼働制御部４１１に出力する。

稼働制御部４１１は、通信パケットの“ｉ番目”を含む制御指令を対応家電に出力する。対応家電がテレビ２００Ｂである場合、テレビ２００ＢのＣＰＵ２１０は制御指令の“ｉ番目”に基づき現動作モード２０１Ａの動作モード一覧表を検索し、動作モードを当該一覧表のｉ番目の動作モードに切替えるためのコマンドを、ＡＶ出力処理部２０７を含む各部に出力する。これにより、テレビ２００Ｂの動作モードはｉ番目の動作モードに切替わるとともに、メモリ２０１の現動作モード２０１Ａは切替え後の動作モードの種類を表すように更新される。動作モードの切替え完了の通知は、ホームコントローラ１００に送信されて、図１１の画面の家電情報ＩＲは切替え後の動作モードを示すように更新される。

これにより、キッチンの家電の消費電力量が目標を超えた場合には、図１１の画面を操作して、消費電力量が目標以下となるようにキッチンの家電のうちテレビ２００Ｂの動作モードを電源ＯＮ→ＯＦＦに切替えることができる。

＜他のフローチャート＞
図１４は、本発明の実施の形態に係る他の処理フローチャートである。図１４のフローチャートは、図１３のフローチャートを変形したものである。したがって、図１４では、図１３から変形した部分のみを説明する。

図１４を参照して、ステップＳ１３〜ステップＳ２３までの処理は、図１３と同様に行なわれる。

ステップＳ２５ａにおいて、ステップ２５と同様に家電が検出されたか否かが判定される。家電が検出された場合（ステップ２５ａでＹＥＳ）、処理は前述したステップＳ２７以降の処理に移行するが、家電が検出されなかった場合（ステップＳ２５ａでＮＯ）、ステップ５１以降の処理においてカメラ撮影用の光源を制御する処理が行われる。

具体的には、映像処理部３２０は、受信した映像の輝度成分を抽出し、輝度成分から映像の明るさが所定レベル、すなわち家電の部分画像を検出することが可能な明るさレベルであるか否かを判定する（ステップＳ５１）。所定レベルよりも低い場合（ステップＳ５１でＹＥＳ）、ＣＰＵ１１０は撮影された部屋、すなわちキッチンの照明宛てに問合せの通信パケットを送信する（ステップＳ５３）。この通信パケットには、アドレステーブル３０７から読出した、キッチンの照明のアドレス３０７Ｃが格納される。

ＣＰＵ１１０は、キッチンの照明２００Ｅから応答を受信するか否かにより当該照明と通信可能か否かを判定する（ステップＳ５５）。照明２００Ｅと通信可能と判定されなければ（ステップＳ５５でＮＯ）、処理はステップＳ３７に移行する。

一方、照明２００Ｅから応答を受信し通信可能と判定されると（ステップＳ５５でＹＥＳ）、家電情報要求部３４１は照明２００Ｅ宛てに家電情報を要求する通信パケットを送信する（ステップＳ５７）。

当該要求の通信パケットを受信した照明２００Ｅは、現動作モード２０１Ａをメモリ２０１から読出し、家電情報として格納した通信パケットを、要求元のホームコントローラ１００に送信する。

ＣＰＵ１１０は、照明２００Ｅから受信した家電情報から、照明２００Ｅが現在は消灯／点灯のいずれの動作モードであるかを判定する（ステップＳ５９、Ｓ６１）。点灯と判定されると（ステップ６１でＮＯ）、処理はステップＳ３７に移行する。

一方、消灯と判定されると（ステップＳ６１でＹＥＳ）、ＣＰＵ１１０は外部に通知を出力する。この通知は、たとえばスピーカ１０７による音通知である（ステップＳ６３）。そして、音通知とともにディスプレイ１０２の撮影映像の表示領域ではない家電アイコン画像の表示領域に照明通知アイコンを表示する（ステップＳ６５）。その後、前述したステップＳ３７の処理に移る。

照明通知アイコンは、照明２００Ｅは現在消灯していることを報知するためのアイコン、または照明２００Ｅの点灯をユーザに促すためのアイコンなどである。ユーザは当該通知により、キッチンでは照明が消灯しており撮影用照明光量が不足していることを知ることができる。

上述の図１２〜図１４のフローチャートに従うプログラムはメモリ１０１などに格納されて、ＣＰＵ１１０がプログラムを読出し、実行することで上述した機能が実現される。

＜変形例１＞
図１３の処理は、所定条件が成立したときに開始されるとしてよい。つまり、本実施の形態では、所定条件はいずれかの部屋の消費電力量が目標値を超える、というものであったが、これに限定されない。たとえば、所定条件は、ホームコントローラ１００が特定の部屋から受信する情報に基づき警告またはエラーを検出した、というものであってもよい。その場合には、検出した警告・エラーの情報を報知するための画面が表示される。

また、所定条件は、ユーザがタッチパネル１０６を操作して指示を入力する、というものであってもよい。その場合には、図１３の警告表示（ステップＳ１３）を除く処理が実行される。

＜変形例２＞
本実施の形態では、ホームコントローラ１００が、各家電の消費電力量を算出するとしたが、消費電力量の算出は各家電側で行うようにしてもよい。つまり、各家電が自己の消費電力をリアルタイムに測定する電力センサ（図示せず）を有し、電力センサが測定する消費電力をメモリ２０１を用いて累積加算し累積加算結果を消費電力量としてホームコントローラ１００に送信する構成であってもよい。または、各家電に代わって、対応する通信装置４００が当該家電の電力センサ測定による消費電力を受信し、累積加算し消費電力量を算出するとしてもよい。

または中継器３００が消費電力量の算出を行うとしてもよい。つまり、中継器３００のＣＰＵ３０１は各家電側から受信する消費電力を記憶部３０３において累積加算を行い、累積加算結果を消費電力量として通信インターフェィス３０２からホームコントローラ１００に送信するようにしてもよい。

＜変形例３＞
図１１の画面では、検出家電のすべてについて、家電情報ＩＲを取得して表示するようにしたが、指定された検出家電のみについて家電情報ＩＲを取得して表示するようにしてもよい。たとえば、ユーザが図１０の画面において所望のアイコン画像をタッチ操作した場合には、タッチ操作されたアイコン画像の検出家電のみについて家電情報ＩＲを取得し表示するとしてもよい。

＜変形例４＞
上述の実施の形態では、検出家電のアイコンをタッチ操作することで動作モードを切替える制御対象家電を指定したが、アイコンに代替して、表示中のカメラ撮影映像における家電画像をタッチ操作することで当該制御対象家電を指定するとしてもよい。

＜変形例５＞
図１３のステップＳ３５では検出家電の全てについてアイコンを表示したが、これに代替して検出家電のうちステップＳ２９で応答を受信した家電についてのみアイコンを表示するとしてもよい。または、検出家電の全てについてアイコンを表示するが、そのうちステップＳ２９で応答を受信できない家電のアイコンのみ表示態様を他のアイコンのそれとは異ならせるようにしてもよい。

＜変形例６＞
ここでは、アイコンは、ユーザが視認し易いように家電２００Ａ〜２００Ｅの外観を絵柄で表したもの、またはサムネイル画像としたが、これに限定されない。たとえば、視認により家電を区別可能であれば家電の名称などを示す文字のアイコンであってもよい。

＜変形例７＞
図１では、家電２００Ａ〜２００Ｅは通信装置４００Ａ〜４００Ｅを経由してホストコンピュータ１００と通信したが、通信装置４００Ａ〜４００Ｅを用いることなくホストコンピュータ００と通信するとしてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ ネットワークシステム、１００ ホームコントローラ、１０２ ディスプレイ、１０３ タブレット、１０６ タッチパネル、２００Ａ エアコン、２００Ｂ テレビ、２００Ｃ 電子レンジ、２００Ｄ 冷蔵庫、２００Ｅ 照明、２０１Ａ 現動作モード、２４０Ａ，２４０Ｂ カメラ、３０５ 目標テーブル、３０６ パターンデータ、３０７ アドレステーブル、３０８ 対応テーブル、３１１ 操作受付部、３２０ 映像処理部、３２１ 家電検出部、３２２ アイコン生成部、３３０ 表示処理部、３３１ 映像表示部、３３２ 警告表示部、３３３ 家電アイコン表示部、３３４ 家電情報表示部、３４０ 要求部、３４１ 家電情報要求部、３４２ 映像要求部、ＩＲ 家電情報。

Claims (10)

1. １つ以上の電気機器が配置された部屋内を撮影するカメラの映像を処理するための映像処理手段と、
   前記カメラからの映像と、前記映像処理手段による処理結果とを同一の画面に表示するための表示処理手段と、
   前記画面の上における位置を指定する操作を受付けるための操作受付手段と、を備え、
   前記映像処理手段は、前記カメラの映像から前記１つ以上の電気機器の画像を検出するための電気機器検出手段を、含み、
   前記表示処理手段は、
   前記カメラからの映像と、画像が検出された前記１つ以上の電気機器に対応するアイコンとを前記同一の画面に表示し、
   前記操作受付手段が前記アイコンの表示位置を指定する操作を受付けたとき、当該アイコンに対応する電気機器宛てに制御指令を送信する、制御装置。
2. 前記１つ以上の電気機器から当該電気機器の動作状態を示す電気機器情報を受信するための手段を、さらに備え、
   前記表示処理手段は、
   前記操作受付手段が前記アイコンの表示位置を指定する操作を受付けたとき、当該アイコンに対応する前記電気機器の前記電気機器情報を前記同一の画面に表示する、請求項１に記載の制御装置。
3. 前記操作受付手段が前記アイコンの表示位置を指定する操作と、当該アイコンに対応する前記電気機器の前記電気機器情報の表示位置を指定する操作とを受付けたとき、当該アイコンに対応する電気機器宛てに、当該電気機器情報に従う制御指令を送信する、請求項２に記載の制御装置。
4. 前記表示処理手段は、前記電気機器情報を、前記映像における当該電気機器の画像を検出した位置において表示する、請求項２または３に記載の制御装置。
5. 前記表示処理手段は、
   前記１つ以上の電気機器のうち、問い合わせに対して応答した電気機器についてのみ対応するアイコンを表示する、請求項１から４のいずれかに記載の制御装置。
6. 前記アイコンを、対応する前記電気機器について検出された画像から生成する、請求項１から５のいずれかに記載の制御装置。
7. 前記操作受付手段は、
   タッチパネル上の位置を指定するためのタッチ操作を受付け、受付けた操作に対応した情報を入力し、
   前記タッチパネルは前記画面の上に設けられる、請求項１から６のいずれかに記載の制御装置。
8. 前記映像処理手段と、前記表示処理手段とを含む映像表示処理手段を有し、
   所定条件が成立すると判定したとき、前記映像表示処理手段を起動する、請求項１から７のいずれかに記載の制御装置。
9. 前記部屋に配置された１つ以上の電気機器の消費電力量が目標値を越えると判定したとき、前記映像表示処理手段を起動する、請求項８に記載の制御装置。
10. １つ以上の電気機器が配置された部屋内を撮影するカメラの映像を処理するステップと、
    前記カメラからの映像と、前記映像を処理するステップによる処理結果とを同一の画面に表示するステップと、
    前記画面の上における位置を指定する操作を受付けるステップと、を備え、
    前記映像を処理するステップは、前記カメラの映像から前記１つ以上の電気機器の画像を検出するステップを、含み、
    前記表示するステップでは、
    前記カメラからの映像と、画像が検出された前記１つ以上の電気機器に対応するアイコンとを前記同一の画面に表示し、
    前記操作を受付けるステップにおいて、前記アイコンの表示位置を指定する操作を受付けたとき、当該アイコンに対応する電気機器宛てに制御指令を送信する、制御方法。

Images