JP2007329823A - 機器制御システムおよび機器制御方法 - Google Patents

Abstract

【課題】住宅、または自動車内に設けられた電子機器または家庭用電化製品など各機器について、専用のセンサ類に頼ることなく、ユーザの好みに応じて、各機器の動作制御の内容を設定または変更を容易にできる機器制御システムおよび機器の動作の機器制御方法を提供する。
【解決手段】本発明の機器制御システムは、機器に設けられ、所定の空間領域を撮影し、撮影画像データを得るカメラと、撮影画像データを解析し、比較対象画像データを作成する撮影画像解析部と、比較対象画像データと比較される参照画像データ、ならびに比較対象画像データと参照画像データとの類似度に基づく機器の動作条件、および機器の動作内容が登録される登録部と、類似度を算出する比較部と、類似度の結果に応じて、動作内容に基づく制御信号を機器に出力し、動作内容の動作を機器に実行させる指示部とを有する。
【選択図】図２

Description

本発明は、電子機器または家庭用電化製品など各機器の動作制御を行う、機器制御システムおよび機器の動作の機器制御方法に関し、特に、電子機器または家庭用電化製品など各機器について、専用のセンサ類に頼ることなく、ユーザの好みに応じて、各機器の動作制御の内容を設定または変更を容易にできる機器制御システムおよび機器の動作の機器制御方法に関する。

現在、視聴者が家庭であるテレビ番組を鑑賞していて、風呂、トイレ等の用事でその場から席をはずし、場所を移動する必要が生じ、テレビ鑑賞を中断せざるを得ないような場合に、継続してその番組を見ようとすると、携帯テレビを持ち歩くか、その移動先のそれぞれの場所にテレビ受像機を備えておき、移動先のテレビ受像機のスイッチを入れ、今まで見ていた番組にチャンネルを合わせなければならない。

この場合、家庭内でどこへ移動してもテレビ番組を継続して見るために、携帯テレビを持ち歩いたりする方法では、常にこれらの端末装置等を持ち歩かなければならない。
また、家庭内で移動する先々の各場所にそれぞれテレビ受像機を設置する方法では、テレビ受像機の設置場所が必要であり、またいちいちそのテレビ受像機自体のスイッチを操作しなくてもよいようにするためには、やはりリモコンを持ち歩かなければならない。
そこで、従来、テレビ番組等の見たい情報をどこででも自動的に継続して見ることを可能とする画像表示方法が提案されている（例えば、特許文献１参照）。

特許文献１には、人物が視聴するための画像情報を複数の表示装置の表示画面に表示する画像表示方法が開示されている。この特許文献１においては、予め、登録モードとして、追尾表示の有無、継続表示の有無、人物同定の有無および停止条件設定の少なくとも２つの選択項目の組み合せからなる表示モードを設定することができ、設定された登録モードに応じて、複数の表示装置の表示画面への画像情報の表示を制御することができる。
この構成により、特許文献１においては、家庭内において、ある人物が場所限定追尾モードを指定した場合、最初居間において、ある人物が場所限定追尾モードを指定して、テレビを見ていたとする。表示内容が場面Ｎ３のときに、その人物が席を立ち、トイレへ行くために居間を離れ、人物センサがそれを検知し、パソコンサーバがその人物を識別すると、パソコンサーバは、その時の表示場面Ｎ３を、自動的に記録する。その人物がトイレに行っている間は、表示が中断され、その間に放映される内容は、データ蓄積機能によって記憶される。
その人物が居間に戻り、人物センサによりその人物がテレビの鑑賞可能エリア内に入ったことが検出されると、パソコンサーバの指示により、記憶、蓄積されていたデータを、先程の続きの場面Ｎ４から継続してテレビに表示させることができる。

特許文献１においては、上述のような画像表示制御がなされている。しかし、特許文献１以外にも、従来、種々の画像表示制御方法が開示されている（例えば、特許文献２および特許文献３参照）。

特許文献２には、視聴者を認識し、視聴者に応じた動作を行うことができるもの認識機能付表示装置が開示されている。この特許文献２においては、家庭でテレビ放送等を鑑賞していて、テレビを視聴している視聴者に応じて、ある特定のシーンの画像は、見せないようにするなどの視聴制限をすることができる。

また、特許文献３には、視聴者の好み、感性に沿った再生を行うことができる映像再生装置が開示されている。この特許文献３においては、視聴者の視聴する視聴動作により、表示される映像の表示位置および表示画角を制御することができる。

特開２００３−１９５８４５号公報 特開２００１−０１６５１４号公報 特開平１０−２４３３８３号公報

しかしながら、特許文献１においては、人物が場所を移動した場合において、表示画面への画像情報の表示を制御することができるものの、表示装置の動作そのものを、設定または変更することができるものではない。
また、特許文献２においては、テレビを視聴している視聴者に応じて、ある特定のシーンの画像は、見せないようにするなどの視聴の禁止制限をすることができるものの、それ以外には変更できず、また、テレビの電源を切るなどの動作制御を設定することができない。
さらに、特許文献３においても、視聴者の視聴する視聴動作により、表示される映像の表示位置および表示画角を制御することができるものの、それ以外には、テレビの電源を切るなどの動作制御を設定することができない。

このように、特許文献１〜特許文献３のいずれにおいても、視聴者が、テレビの電源を切るなどの動作制御を設定すること、または動作制御の内容を変更することができないという問題点がある。

本発明の目的は、従来技術の問題点を解決することにあり、住宅、または自動車内に設けられた電子機器または家庭用電化製品など各機器について、専用のセンサ類に頼ることなく、ユーザの好みに応じて、各機器の動作制御の内容を設定または変更を容易にできる機器制御システムおよび機器の動作の機器制御方法を提供することにある。

目的達成するために、本発明の第１の態様は、機器に設けられ、所定の空間領域を撮影し、撮影画像データを得るカメラと、前記カメラにより得られた前記撮影画像データを解析し、比較対象画像データを作成する撮影画像解析部と、前記比較対象画像データと比較される参照画像データ、ならびに前記比較対象画像データと前記参照画像データとの類似度に基づく機器の動作条件、および機器の動作内容が登録される登録部と、前記参照画像データと前記比較対象画像データとの類似度を算出する比較部と、前記比較部による前記類似度の結果に応じて、前記動作内容に基づく制御信号を前記機器に出力し、前記動作内容の動作を前記機器に実行させる指示部とを有することを特徴とする機器制御システムを提供するものである。

本発明においては、前記指示部は、携帯情報通信端末または携帯電話に、文字を表示させる通知機能を有するものであり、前記動作内容は、前記携帯情報通信端末または前記携帯電話に所定の文章を表示させることであることが好ましい。

また、本発明においては、前記機器は、例えば、住宅に設けられた電子機器または家庭用電化製品である。
さらに、本発明においては、前記機器は、例えば、自動車に設けられた電子機器である。
さらにまた、本発明においては、前記機器は、複数設けられていることが好ましい。

また、本発明の第２の態様は、機器に設けられたカメラにより得られた撮影画像データから比較対象画像データを作成し、前記比較対象画像データと比較される参照画像の参照画像データ、前記参照画像データと前記比較対象画像データとの類似度に応じた前記機器の動作条件、および前記機器の動作内容を予め登録しておいて、機器に所定の動作を行わせる機器制御方法であって、前記カメラによる前記撮影画像データを取得する工程と、前記撮影画像データを解析し、前記比較対象画像データを作成する工程と、前記参照画像データと前記比較対象画像データとの類似度を算出する工程と、前記類似度の結果に応じて、前記動作内容に基づく制御信号を前記機器に出力し、前記動作内容の動作を前記機器に実行させる工程とを有することを特徴とする機器制御方法を提供するものである。

本発明の第１の態様の機器制御システム、および第２の態様の機器制御方法によれば、登録部に、動作条件の基準となる参照画像の参照画像データと、この参照画像データに応じた動作条件および動作内容を予め登録しておき、この参照画像データと、機器に設けられたカメラにより得られた撮影画像データを解析して得られた比較対象画像データとの類似度を算出し、この類似度に基づく予め登録した機器の動作条件、および機器の動作内容で、機器に所定の動作を行わせることができる。このため、ユーザが参照画像データを登録し、機器の動作条件、および機器の動作内容を設定することにより、機器の制御を特定のセンサを用いることなく設定することができる。これにより、機器制御における操作性を高くでき、各種の機器を容易に扱うことができる。

また、ユーザが設定した参照画像データと、比較対象画像データとの類似度を求めるため、類似度の計算精度を高くすることもできる。さらには、ユーザが設定した参照画像データと、比較対象画像データとの類似度を求めるため、汎用的なパターン認識のアルゴリズムが不要であり、ハードウエア構成を簡素化でき、コストダウンを図ることができる。

以下、本発明の機器制御システムおよび機器制御方法について、添付の図面に示される好適実施例を基に、詳細に説明する。

まず、本発明の機器制御システムの第１の実施例について説明する。
ここで、図１は、本発明の第１の実施例の機器制御システムが設けられた住宅を示す模式図であり、図２は、本発明の機器制御システムの第１の実施例の概略構成を示す模式的ブロック図である。

第１の実施例の機器制御システム２０は、住宅１０に設けられたテレビ５０、外部記録再生装置５２、冷蔵庫５４および調理器５６などの種々の家庭用電化製品を制御するものである。
図１に示すように、住宅１０は、２つの部屋１２ａ、１２ｂと、リビング１４と、キッチン１６とを有する。リビング１４にテレビ５０が設けられており、このテレビ５０には、外部記録再生装置５２が接続されている。さらに、キッチン１６に冷蔵庫５４および調理器５６が設けられている。

図２に示すように、機器制御システム２０は、基本的に、サーバ２２と、カメラ２４ａ、２４ｂ、２４ｃと、入力装置４０とを有する。このサーバ２２に、カメラ２４ａ、２４ｂ、２４ｃおよび入力装置４０が接続されている。
カメラ２４ａは、テレビ５０に取り付けられている。また、カメラ２４ｂは、冷蔵庫５４の内部に取り付けられている。さらに、カメラ２４ｃは、調理器５６の上方に取り付けられている。

また、本実施例においては、機器制御システム２０のサーバ２２は、テレビ５０、外部記録再生装置５２、冷蔵庫５４および調理器５６に接続されており、さらには、サーバ２２は、通信端末機器５８に接続されている。

サーバ２２は、撮影画像解析部３０、登録部３２、比較部３４、指示部３６、および制御部３８を有する。
撮影画像解析部３０は、カメラ２４ａ、２４ｂ、２４ｃにより得られた撮影画像データ（デジタルデータ）について、人物などの被写体を抽出し、種々の画像処理を施して、比較対象画像データを作成するものである。
この比較対象画像データは、後述するように、登録部３２に登録された参照画像データと比較されるものであり、比較部３４に出力される。
撮影画像解析部３０における画像解析は、制御対象機器毎に設定することができる。例えば、撮影画像解析部３０においては、カメラ２４ａ、２４ｂ、２４ｃが取り付けられた機器を登録し、各カメラ２４ａ、２４ｂ、２４ｃから出力された撮影画像データ毎に異なる画像処理をしてもよい。

登録部３２は、比較対象画像データと比較される参照画像データ、ならびに比較対象画像データと参照画像データとの類似度に基づく機器の動作条件、および機器の動作内容が登録されるものである。この登録部３２には入力装置４０が接続されている。
この入力装置４０は、例えば、キーボード、マウス、またはペンタイプの入力機器を備えるパーソナルコンピュータである。

本実施例において、登録部３２に参照画像の参照画像データを登録する場合、ＣＤ−Ｒ、ＣＤ−ＲＷ、もしくはＤＶＤ、または各種のメモリカードなどの記録媒体に記録された参照画像の参照画像データを、入力装置４０を用いて登録部３２に登録するとともに、この参照画像の参照画像データと比較される比較対象画像データとの類似度に基づく機器の動作条件、および機器の動作内容も入力装置４０を用いて入力する。登録部３２においては、参照画像の参照画像データ毎に機器の動作条件、および機器の動作内容が記憶される。

機器の動作条件とは、例えば、比較対象画像データと参照画像データとの類似度について点数を設定し、この設定した類似度の点数よりも類似度が高いか、または類似度が低い場合に、設定した機器の動作内容を実行させる閾値のことである。

機器の動作内容とは、機器に実行させる動作のことであり、例えば、テレビの電源のオンもしくはオフ、テレビ番組の録画、通信端末機器５８を介したユーザへの通知、または調理器の制御などである。この動作内容は、特に限定されるものではなく、サーバ２２に接続される機器に応じて適宜設定することができるものである。
また、登録部３２においては、各機器毎に、参照画像（参照画像データ）を登録し、各参照画像に対して同動作条件および動作内容を登録することができる。このため、１つの機器に対して、複数の動作条件を設定し、動作条件毎に動作内容を設定することができる。

また、登録部３２に参照画像の参照画像データを登録する場合、入力装置４０により、カメラ２４ａ、２４ｂ、２４ｃで撮影されたものの中から、参照画像（参照画像データ）を選択することもできる。
さらには、登録部３２において、参照画像となるコンピュータグラフィックによる画像（以下、ＣＧ画像という）を複数記憶しておき、これらのＣＧ画像の中から、入力装置４０により、参照画像を選択し、登録部３２に参照画像データとして登録できるようにしてもよい。

比較部３４は、撮影画像解析部３０で画像解析されて得られた比較対象画像データと参照画像データとを比較して、類似度を算出するものである。さらに、この比較部３４は、算出された類似度が、設定された点数に適合するか否かを判定するものである。すなわち、動作条件に適合するか否かが判定される。比較部３４は、この判定結果を指示部３６に出力する。
例えば、比較部３４において、比較対象画像データと、参照画像データとの類似度の算出には、テンプレートマッチング、または構造マッチングが用いられる。

指示部３６は、比較部３４による比較対象画像データと参照画像データとの比較の結果、類似度の点数が機器の動作条件に適合する場合には、登録部３２に記憶された機器の動作内容を参照して、この機器の動作内容に基づく動作を機器に実行させるための制御指示を制御信号として機器に出力するものである。

制御部３８は、撮影画像解析部３０、登録部３２、比較部３４および指示部３６を制御するものである。

カメラ２４ａは、図３に示すように、撮像部６０と、送信部６２と、アンテナ６４と、バッテリ６６とを有するものである。
撮像部６０は、レンズ（図示せず）と、例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサを備える撮像素子（図示せず）と、この撮像素子により、得られた被写体の撮影画像データ（アナログデータ）をデジタルデータに変換するＡ／Ｄ変換素子（図示せず）とを有する。このカメラ２４ａにおいては、撮像部６０を向けた方向が撮影領域となる。
カメラ２４ａの撮像部６０で得られた被写体の撮影画像データ（デジタルデータ）は、送信部６２に出力される。

送信部６２は、撮像部６０で得られた被写体の撮影画像データ（デジタルデータ）を、アンテナ６４を介して、サーバ２２の撮影画像解析部３０に送信するものである。
バッテリ６６は、撮像部６０および送信部６２に動作電力を供給するものである。このバッテリ６６は、例えば、電池が用いられる。
なお、カメラ２４ｂ、２４ｃは、カメラ２４ａと同様の構成であるため、その詳細な説明は省略する。
また、カメラ２４ａ、２４ｂ、２４ｃは、無線式のものとしたが、本発明は、これに限定されるものではなく、送信部６２およびアンテナ６４を設けることなく、撮像部６０に撮影画像データを出力するための信号線を取り付けた有線式でもよい。

次に、本実施例の機器制御システム２０による機器制御方法について説明する。
ここで、図４は、本実施例の機器制御システムによる機器制御方法を示すフローチャートである。

本実施例の機器制御システム２０においては、まず、カメラ２４ａによる撮影画像データがサーバ２２（撮影画像解析部３０）に入力され、撮影画像データを取得する（ステップＳ１０）。
次に、撮影画像解析部３０において、撮影画像データについて被写体が抽出され、さらに種々の画像解析がされて、比較対象画像データが作成される。（ステップＳ１２）。
次に、比較対象画像データが比較部３４に出力される。次に、比較部３４において、参照画像データと比較対照画像データ（撮影画像データ）とを比較し、類似度を算出し、この類似度が動作条件に適合するか否かが判定される（ステップＳ１４）。この判定結果を、指示部３６に出力する。
ステップＳ１４において、参照画像データと比較対照画像データとの類似度が動作条件に適合しない場合には、指示部３６においては、機器に対して制御はしない（ステップＳ１６）。
一方、ステップＳ１４において、参照画像データと比較対照画像データとの類似度が動作条件に適合する場合には、指示部３６においては、登録部３２に比較した参照データに基づく機器の動作内容を確認する（ステップＳ１８）。
そして、指示部３６から、機器の動作内容に基づいて、所定の機器に対して制御指示が出力される（ステップＳ２０）。これにより、機器が所定の動作を実行する。

このように、本実施例の機器制御システム２０においては、カメラ２４ａ〜２４ｃにより、撮影画像データを得て、この撮影画像データを画像解析して得られた比較対象画像データと、参照画像データとを比較して、類似度を求め、この類似度に対して、設定された機器の動作条件に基づく機器の動作内容に応じて、所定の機器の制御をすることができる。

次に、本実施例の機器制御システム２０によるテレビ５０および外部記録再生装置５２の制御について説明する。
ここで、図５は、本実施例の機器制御システムによるテレビおよび外部記録再生装置の制御を説明するための模式図である。
図５に示すように、カメラ２４ａは、テレビ５０に取り付けられている。このカメラ２４ａは、テレビ５０の表示画面５０ａを正面から視聴する視聴者７０を撮影するものである。カメラ２４ａは、撮影部６０のレンズ（図示せず）がテレビ５０の表示画面５０ａと同じ向きに配置されている。

本実施例においては、まず、視聴者７０がテレビ５０を視聴している場合を例にして、説明する。
なお、視聴者７０は、リモコン７４を用いて、テレビ５０および外部記録再生装置５２を操作できるものとする。

テレビ５０は、テレビ受像機のことであり、テレビジョン放送を受信するチューナー（図示せず）を備え、映像を表示画面５０ａに表示するものである。また、テレビ５０は、外部記録再生装置５２により、記録された映像（以下、録画コンテンツという）を再生するモニタの機能を有するものである。

外部記録再生装置５２は、テレビ５０に所定の映像を再生することができるものであり、例えば、ビデオテープレコーダ、ＨＤＤレコーダ、またはＤＶＤレコーダなどである。
また、外部記録再生装置５２は、テレビ５０に接続されており、テレビ５０で放送されている映像を記録するものである。
さらに、外部記録再生装置５２は、指示部３６からの制御信号に基づいて、その動作が制御されるものである。例えば、視聴者７０が表示画面５０ａを見ておらず、視聴者７０がよそ見していると判定された場合に指示部３６からの指示情報により、テレビ５０で放映されている映像を記録する。

テレビ５０および外部記録再生装置５２を制御する場合、サーバ２２の撮影画像解析部３０は、撮影画像データから視聴者７０の顔検出、および視聴者７０の目の部分の検出をする画像解析機能を備えるものである。
この場合、撮影画像解析部３０により視聴者７０の顔検出、または目の部分の検出がなされ、比較対象画像データが作成される。

テレビ５０および外部記録再生装置５２を制御する場合においては、登録部３２に、例えば、視聴者７０がテレビ５０の表示画面５０ａを注視している画像を参照画像（参照画像データ）として登録する。この視聴者７０が注視している画像は、例えば、カメラ２４ａで撮影されたものの中から、選択されたものである。また、視聴者７０が注視している画像は、参照画像（参照画像データ）として複数登録してもよい。

さらに、視聴者７０が注視している画像については、目の部分を指定して、登録することもできる。
例えば、目の部分の指定は、視聴者７０の顔画像を入力装置４０に表示させて、入力装置４０を用いて目の部分の領域を選択することによりなされる。

また、テレビ５０の動作条件としては、視聴者７０がテレビ５０の表示画面５０ａを注視している画像（参照画像データ）と、視聴者７０の撮影画像データから得られた比較対象画像データとの類似度が所定の値以下であることを設定する。
この場合、動作条件として、さらに撮影するカメラ２４ａを指定し、このカメラ２４ａで撮影された撮影画像データであることを要件として付加することができる。
また、機器の動作内容として、対象機器をテレビ５０とし、動作を通知モードオンとする。
この通知モードオンとは、テレビ５０で放送されているテレビ番組を外部記録再生装置５２に記録させることである。

また、比較部３４においては、参照画像データと比較対象画像データとの類似度に基づいて、顔７２の向きが注視している状態ではなく、例えば、上向き、下向き、左向き、または右向きである場合、視聴者７０が表示画面５０ａを見ていないと判定する。

さらに、比較部３４による類似度の算出結果に基づいて、類似度が所定値以下である場合、指示部３６においては、動作内容を登録部３２に参照し、その動作内容（通知モードオン）に基づく制御指示を制御信号の形態で、外部記録再生装置５２に出力する。

指示部３６からの制御信号に基づいて、外部記録再生装置５２においては、テレビ５０で放送されているテレビ番組を記録する。
これにより、視聴者７０がよそ見をしているか、またはテレビ５０の前からいなくなった場合、外部記録再生装置５２にテレビ番組が記録されるため、見逃した映像を、後で見ることができる。

また、外部記録再生装置５２に、記録されたテレビ５０の映像の映像データから、図６に示すようなインデックス画像８０を作成し、このインデックス画像８０をテレビ５０の表示画面５０ａに表示させる画像編集部（図示せず）を設けてもよい。
図６に示すインデックス画像８０は、例えば、視聴者７０が表示画面５０ａを見ていないと判定された時点における映像の静止画像８２ａ〜８２ｃを、まとめて表示するものである。このため、視聴者７０が表示画面５０ａを見ていないとする判定が１回であれば、静止画像が１つだけ表示される。

この画像編集部においても、指示部３６からの制御信号により、その動作が制御されるものである。外部記録再生装置５２で記録されたテレビ５０の映像データを、画像編集部に出力させて、視聴者７０が表示画面５０ａを見ておらず、視聴者７０が表示画面５０ａを見ていないと判定された時点における映像の手がかりを示すインデックス画像８０を画像編集部に作成させる。

本実施例においては、インデックス画像８０は、画像編集部から外部記録再生装置５２を経て、テレビ番組の終了時、コーマーシャル中、またはテレビ５０の電源を切る際に、表示させるものである。

なお、視聴者７０が画面を見ていないと判定された、すなわち、視聴者７０が見逃した映像については、視聴者７０の指示に基づいて、インデックス画像８０に示された各静止画像８２ａ〜８２ｃに対応する映像を再生する。
また、インデックス画像８０に示された各静止画像８２ａ〜８２ｃを、リモコン７４を用いて、クリックすることにより、各静止画像８２ａ〜８２ｃ対応する映像を再生させるようにしてもよい。

本実施例の機器制御システム２０においては、カメラ２４ａにより、所定の時間間隔で撮影し、撮影画像の撮影画像データを撮影画像解析部３０に出力する。
撮影画像解析部３０において、撮影画像データから被写体の抽出、画像処理を施し、比較対象画像データを作成する。この比較対象画像データを比較部３４に出力する。
そして、比較部３４において、参照画像データと、比較対象画像データとの類似度を求め、この類似度が、視聴者７０が表示画面５０ａを見ていない状態である設定された類似度の値以下である場合には、指示部３６において、外部記録再生装置５２にテレビ番組を記録する制御信号が出力される。
これにより、外部記録再生装置５２が、テレビ５０で放送されている映像が記録される。これにより、視聴者が見逃した映像を容易に選択することができる。
なお、視聴者７０が見逃した映像について、インデックス画像８０を作成することにより、視聴者７０が見逃した映像を容易に選択することができ、速やかに見逃した映像を見ることができる。

また、本実施例においては、視聴者７０の指示によらず、テレビ番組の終了時、再生映像の終了時、またはテレビ５０の電源を切る際に、視聴者７０が見逃した映像を、自動的に再生するようにしてもよい。この視聴者７０が見逃した映像についての再生タイミングは、特に限定されるものではない。

また、本実施例において、録画コンテンツをテレビ５０で再生しており、この録画コンテンツを視聴者７０が視聴している場合、視聴者７０がよそ見をしていると判定された時点で、再生を停止し、視聴者が所定時間、テレビ５０の表示画面５０ａを見ていると判定されたとき（類似度が所定の値以上であるとき）に、再度、録画コンテンツを再生するようにしてもよい。

また、本実施例においては、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant、携帯情報通信端末）または携帯電話などの通信端末機器５８に、テレビ５０を見ることを促すために、メッセージ、または音声などを発する制御指示を指示部３６から制御信号として出力するようにしてもよい。
なお、視聴者が、通信端末機器５８をテレビ５０が設置されている部屋などで使用した場合に、制御部３８において、よそ見していると自動的に判定して、上述の如く、指示部３６により、テレビ番組を外部画像記録再生装置５２に記録させるようにしてもよい。

また、本実施例においては、登録部３２に、例えば、視聴者７０がテレビ５０の表示画面５０ａを注視している画像を参照画像（参照画像データ）として登録したが、本発明は、これに限定されるものではない。
例えば、視聴者７０がよそ見をしている画像を参照画像（参照画像データ）として登録してもよい。この場合、視聴者７０が注視している画像を参照画像（参照画像データ）として登録したときと反対になり、動作条件は、類似度を所定値以上となる。このように設定することにより、視聴者７０が注視している画像を参照画像として登録した場合と同様の動作内容を実現することができる。

次に、本実施例の機器制御システム２０による冷蔵庫５４の制御について説明する。
ここで、図７（ａ）は、本実施例の機器制御システムによる冷蔵庫の制御を説明するための模式図であり、（ｂ）は、本実施例の機器制御システムによる冷蔵庫を制御する際の通知機能を説明する模式図である。
図７（ａ）に示すように、冷蔵庫５４は、開戸５４ａ、および２つの引戸５４ｂ、５４ｃを有するものである。

図８に示すように、開戸５４ａの内側には、下方から第１の棚９０ａ、第２の棚９０ｂ、第３の棚９０ｃの合計３つの棚が設けられている。
第１の棚９０ａは、紙パック、プラスチック容器またはビンなどに充填された比較的容量が大きい飲料などが収納されるものである。この場合、牛乳の容器９２ａ〜９２ｄが収納されている。
また、第２の棚９０ｂは、ジャムなどが充填されたビンなどが収納されるものである。この第２の棚９０ｂの下方に、カメラ２４ｂが設けられている。このカメラ２４ｂは、第１の棚９０ａの全域を撮影することができるものである。

また、第３の棚９０ｃは、玉子９４が収納されるものであり、玉子９４の形状に合わせた凹部（図示せず）が複数形成されている。この凹部に、玉子９４が収納される。
また、第３の棚９０ｃの玉子９４を収納する凹部が形成された全域を撮影可能なカメラ２５が設けられている。このカメラ２５は、カメラ２４ａ（図３参照）と同じ構成であり、その詳細な説明は省略する。

冷蔵庫５４を制御する場合においては、ユーザ（図示せず）が、食材を買って、冷蔵庫５４で保存する場合、特定の食材を消費し、なくなった場合、その特定食材がなくなったことをユーザに携帯電話５９（通信端末機器）を介して通知するものである。

冷蔵庫５４を制御する場合においては、登録部３２に、特定の食材が冷蔵庫５４の内部に置かれた状態の撮影画像を参照画像として登録する。
この場合、参照画像として登録する撮影画像としては、第１の棚９０ａであれば、牛乳の容器９２ａ〜９２ｄが置かれた状態の画像を用いる。また、牛乳の容器９２ａ〜９２ｄについては、それぞれ容器９２ａ〜９２ｄの画像を参照画像として登録することもできる。このとき、牛乳の容器９２ａ〜９２ｄの画像の検出数に応じて、携帯電話５９に通知をすることもできる。すなわち、牛乳のストックが少ないことを知らせることもできる。

また、第３の棚９０ｃであれば、玉子９４が置かれた状態の画像を用いる。また、玉子９４の画像を参照画像として登録することもできる。このとき、玉子９４の画像の検出数に応じて、携帯電話５９に通知をすることもできる。すなわち、玉子９４のストックが少ないことを知らせることもできる。

牛乳の容器９２ａ〜９２ｄを管理する場合には、動作条件として、牛乳の容器９２ａ〜９２ｄの参照画像データと、カメラ２４ｂによる撮影画像データから得られた比較対象画像データとの類似度が所定の値以下であることを設定する。
また、牛乳の容器９２ａ〜９２ｄを管理する場合には、動作条件として、さらに撮影するカメラ２４ｂを指定し、このカメラ２４ｂで撮影された撮影画像データであることを要件として付加することができる。
また、動作内容として、対象機器を携帯電話５９とし、動作をデータ通信とする。
このデータ通信とは、消費された食材の買い物リストとして、携帯電話５９の画面５９ａに表示させるものである。
この場合、消費された牛乳を買い物リストとして、携帯電話５９の画面５９ａに表示させるものである。さらに、図７（ｂ）に示すように、携帯電話５９の画面５９ａに「牛乳がなくなりました」というメッセージ５９ｂを表示させて、注意を促すものである。

玉子９４を管理する場合には、動作条件として、玉子９４の参照画像データと、カメラ２５による撮影画像データから得られた比較対象画像データとの類似度が所定の値以下であることを設定する。
また、玉子９４を管理する場合には、動作条件として、さらに撮影するカメラ２５を指定し、このカメラ２５で撮影された撮影画像データであることを要件として付加することができる。
また、動作内容として、対象機器を携帯電話５９とし、動作をデータ通信とする。
このデータ通信とは、消費された食材の買い物リストとして、携帯電話５９の画面５９ａに表示させるものである。さらに、消費された玉子９４を買い物リストとして、携帯電話５９の画面５９ａに表示させるものである。

また、比較部３４においては、牛乳の容器９２ａ〜９２ｄおよび玉子９４以外にも、参照画像データと、冷蔵庫内に設けられた撮影画像データから得られた比較対象画像データとの類似度に基づいて、特定の食材の有無を判定することができる。

さらに、比較部３４による参照画像データと、冷蔵庫内に設けられた撮影画像データから得られた比較対象画像データと類似度の算出結果に基づいて、類似度が所定値以下である場合、指示部３６においては、動作内容を登録部３２に参照し、その動作内容（データ通信）に基づく制御指示を制御信号の形態で携帯電話５９に出力し、携帯電話５９に表示させる。

指示部３６からの制御信号に基づいて、携帯電話５９においては、その画面５９ａに、牛乳がないこと、または玉子９４がないことを示すメッセージを表示させる。
これにより、ユーザに、特定食材を消費したこと通知することができる。ユーザは、買い忘れなどを防止することができる。

本実施例の機器制御システム２０においては、カメラ２４ｂ、２５により、第１の棚９０ａまたは第３の棚９０ｃを所定の時間間隔で撮影し、撮影画像の撮影画像データを撮影画像解析部３０に出力する。この場合、冷蔵庫内部は暗いため、カメラ２４ｂ、２５による撮影のタイミングで内部を明るくする。
そして、撮影画像解析部３０において、撮影画像データから被写体の抽出、画像処理を施し、比較対象画像データを作成する。この比較対象画像データを比較部３４に出力する。
そして、比較部３４において、参照画像データと、比較対象画像データとの類似度を求め、牛乳、および玉子などの特定の食材がない状態であると設定された類似度の値以下である場合には、指示部３６から制御信号が出力されて、携帯電話５９の画面５９ａに、買い物リストを表示させるとともに、特定の食材がないこと示すメッセージ５９ｂを表示させる。
このようにして、ユーザに、特定の食材を消費したこと通知することができ、ユーザは、買い忘れを防止できる。

次に、本実施例の機器制御システム２０による調理器５６の制御について説明する。
ここで、図９は、本実施例の機器制御システムによる調理器の制御を説明するための模式図である。

図１に示すように、キッチン１６に設けられた流し台１７に、電磁調理式の調理器５６が設けられている。この調理器５６の制御について説明する。
図９に示すように、調理器５６は、流し台１７に設けられており、この調理器５６の上方には、換気のため、レンジフード１７ａが設けられている。このレンジフード１７ａに、カメラ２４ｃが設けられている。
このカメラ２４ｃは、調理器５６を上方から撮影するものであり、調理器５６の全域を撮影することができるものである。

機器制御システム２０による調理器５６の制御においては、調理する料理の出来上がりを判定し、料理が完成したときに自動的に調理器５６を停止させるものであり、適正な調理を実現することができる。
この調理器５６は、電磁調理器具であり、ＩＨ（Induction Heating）調理器と呼ばれるものである。
また、機器制御システム２０による調理器５６の制御においては、なべ、フライパン、またはやかんなどの調理器具を加熱した状態で放置した場合、空焚き、または沸騰を判定し、火災などの事故を防ぐために、自動的に調理器５６を停止させるものである。

本実施例においては、登録部３２に、図１０（ａ）に示すような料理が完成した状態の撮影画像を参照画像（参照画像データ）として登録する。
この場合、参照画像として登録する撮影画像としては、カメラ２４ｃと同様に、調理器５６の上方から撮影された画像を用いることが好ましい。
また、空焚き、または沸騰を判定し、火災などの事故を防ぐためには、図１０（ｂ）に示すような各種調理器具における空焚き状態の撮影画像、または沸騰状態の撮影画像を参照画像（参照画像データ）として登録する。

なお、空焚き状態の撮影画像、または沸騰状態の撮影画像の取得が困難である場合には、空焚き状態、または沸騰状態を示す画像を参照画像（参照画像データ）として登録する。この場合、例えば、入力装置４０から、インターネットを介して通信ネットワーク上（Ｗｅｂ上）に公開されている料理の完成画像または空焚き状態の画像、または沸騰状態の画像を参照画像として登録することもできる。

料理の出来上がりの場合、動作条件としては、完成した料理の参照画像データと、カメラ２４ｃによる撮影画像データから得られた比較対象画像データとの類似度が所定の値以上であることを設定する。この動作条件として、さらに撮影するカメラ２４ｃを指定し、これらのカメラ２４ｃで撮影された撮影画像データであることを要件として付加することができる。
また、動作内容として、対象機器を調理器５６とし、動作を調理器５６の停止とする。
この調理器５６の停止とは、調理器５６をオフにすることである。

空焚き状態、および沸騰状態の場合、動作条件としては、空焚き状態を示す参照画像データ、または沸騰状態を示す参照画像データと、カメラ２４ｃによる撮影画像データから得られた比較対象画像データとの類似度が所定の値以上であることを設定する。この動作条件として、さらに撮影するカメラ２４ｃを指定し、これらのカメラ２４ｃで撮影された撮影画像データであることを要件として付加することができる。
また、動作内容として、対象機器を調理器５６とし、動作を調理器５６の停止とする。
この調理器５６の停止とは、調理器５６をオフにすることである。

また、比較部３４においては、参照画像データと、比較対象画像データとの類似度に基づいて、料理の出来具合、ならびに空焚き状態、および沸騰状態を判定することができる。

さらに、比較部３４による参照画像データと、比較対象画像データとの類似度の算出結果に基づいて、類似度が所定値以上である場合、指示部３６においては、動作内容を登録部３２に参照し、その動作内容（調理器５６をオフ）に基づく制御指示を制御信号の形態で、調理器５６に出力する。

指示部３６からの制御信号に基づいて、調理器５６の電源を切る。
これにより、料理を完成させることができる。また、空焚き状態、および沸騰状態を抑制することができ、火災などの事故を防ぐことができる。

本実施例の機器制御システム２０においては、カメラ２４ｃにより、調理器５６を上方から所定の時間間隔で撮影し、撮影画像の撮影画像データを撮影画像解析部３０に出力する。
そして、比較部３４において、完成した料理の参照画像データと、カメラ２４ｃによる撮影画像データから得られた比較対象画像データとの類似度を求め、料理が完成した状態であると設定された類似度の値以上である場合には、指示部３６から制御信号を出力して、調理器５６をオフにする。

また、比較部３４において、空焚き状態を示す参照画像データ、または沸騰状態を示す参照画像データと、カメラ２４ｃによる撮影画像データから得られた比較対象画像データとの類似度を求め、空焚き状態、または沸騰状態であると設定された類似度の値以上である場合には、指示部３６から制御信号を出力して、調理器５６をオフにする。

以上のように、本実施例の機器制御システム２０においては、ユーザが参照画像データを登録し、機器の動作条件、および機器の動作内容を設定することにより、各機器の制御を特定のセンサを用いることなく設定することができる。このため、機器制御における操作性が高く、各種の機器を容易に扱うことができる。
また、ユーザが設定した参照画像データと、比較対象画像データとの類似度を求めるため、類似度を求めるマッチングアルゴリズムは、複雑なものではなく、簡単なものでよい。さらには、ユーザが設定した参照画像データと、比較対象画像データとの類似度を求めるため、類似度の計算精度を高くすることもできる。さらにまた、ユーザが設定した参照画像データと、比較対象画像データとの類似度を求めるため、汎用的なパターン認識のアルゴリズムが不要であり、比較部３４のハードウエア構成を簡素化でき、コストダウンを図ることができる。

次に、本発明の機器制御システムの第２の実施例について説明する。
図１１（ａ）は、本発明の第２の実施例の機器制御システムが設けられた車を示す側面図であり、（ｂ）は、図１１（ａ）に示す車の後部の一部を示す模式的斜視図である。
図１２は、本発明の機器制御システムの第２の実施例を示す模式的ブロック図である。
図１３は、本実施例の機器制御システムが設けられた車の内部の一部を示す模式的斜視図である。
なお、本実施例においては、図２に示す第１の実施例の機器制御システム２０と同一の構成物には、同一符号を付して、その詳細な説明は省略する。

本実施例の機器制御システム２０ａは、図１１（ａ）および（ｂ）に示すように、自動車１１０に設けられたフロントカメラ１１４およびリアカメラ１１６により得られた各撮影画像データに基づいて作成した各比較対象画像データと、参照画像データとを比較し、その類似度を求め、この類似度に基づいて、自動車１１０に設けられた各種の電子機器を制御するものである。

本実施例の機器制御システム２０ａにおいては、第１実施例の機器制御システム２０（図２参照）に比して、住宅１０（図１参照）ではなく自動車１１０に設けられている点、制御対象がカーナビゲーション装置１２２、表示装置１２６、および警告装置１２８である点、ならびにサーバ１２０の構成が相違する点が異なり、それ以外の構成は、第１実施例の機器制御システム２０（図２参照）と同様であるため、その詳細な説明は省略する。

本実施例において、図１２に示すように、サーバ１２０は、指示部３６ａがカーナビゲーション装置１２２、表示装置１２６および警告装置１２８に接続されている。
また、サーバ１２０の撮影画像解析部３０に、フロントカメラ１１４およびリアカメラ１１６が接続されている。

ここで、図１１（ａ）および図１３に示すように、フロントカメラ１１４が、ダッシュボード１５０に設けられている。
また、図１１（ｂ）に示すように、リアゲート１１２にリアカメラ１１６が設けられている。
さらに、図１３に示すように、カーナビゲーション装置１２２、ＧＰＳ１２４、および表示装置１２６がダッシュボード１５０に設けられている。

図１４に示すように、カーナビゲーション装置１２２は、ＧＰＳ（Global Positioning System）１２４を用いて車両の現在位置を探索し、液晶モニタ（ＬＣＤ）などの表示装置１２６に車両の走行状態を表示するものであり、ＤＶＤ（Digital Versatile Disc）などの記録媒体に記録された動画コンテンツを再生する機能、およびテレビ中継を受信する機能を備えたものである。

また、カーナビゲーション装置１２２は、ＣＰＵ１３０、ＤＶＤプレイヤ１３２、スピーカ１３４、操作部１３６、ＲＯＭ１３８、ＲＡＭ１４０、外部Ｉ／Ｆ（インターフェース）１４２、および位置・方位検出回路１４４を有するものであり、ＣＰＵ１３０には、ＤＶＤプレイヤ１３２、スピーカ１３４、操作部１３６、ＲＯＭ１３８、ＲＡＭ１４０、外部Ｉ／Ｆ（インターフェース）１４２、および位置・方位検出回路１４４が接続されている。この外部Ｉ／Ｆ１４２に、表示装置１２６が接続されており、位置・方位検出回路１４４にＧＰＳ１２４が接続されている。

ＤＶＤプレイヤ１３２は、ナビゲーションソフトが記録されたＤＶＤまたは動画コンテンツが記録されたＤＶＤの再生が可能なものである。
ＤＶＤプレイヤ１３２でナビゲーションソフトが記録されたＤＶＤの再生を行うと、自動車１１０の現在位置とともに、地図（図示せず）が表示装置１２６に表示される。また、動画コンテンツが記録されたＤＶＤの再生を行うと、動画コンテンツが表示装置１２６に表示され、その動画コンテンツに付随した音声がスピーカ１３４から出力される。

操作部１３６は、目的地の設定またはＤＶＤプレイヤ１３２を動作させる際に操作されるものである。
ＣＰＵ１３０は、この操作部１３６の操作に応答して、各部に制御信号を出力するものである。
また、ＲＯＭ１３８には、カーナビゲーション装置１６を動作させるためのプログラムおよび各種データが記憶されているものである。
ＲＡＭ１４０は、ＤＶＤプレイヤ１３２で再生される動画および音声に対して、デコード／エンコード処理などを施す際に、バッファメモリとして機能するものである。

位置・方位検出回路１４４は、ＧＰＳ１２４からの衛星電波信号を解析して、自動車１１０の現在位置を検出する。位置・方位検出回路１４４による現在位置の検出結果は、ＣＰＵ１３０に送信される。ＣＰＵ１３０は、この検出結果に基づいて、ナビゲーションソフトが記録されたＤＶＤから地図情報を読み出し、自動車１１０の現在位置とともに、地図を表示装置１２６に表示する。
なお、表示装置１２６は、液晶モニタ（ＬＣＤ）、有機ＥＬ、またはＰＤＰなどである。

また、警告装置１２８は、音声または光などで、運転手に注意を促すものである。この警告装置１２８は、例えば、アラーム、または点滅するライトなどである。
また、警告装置１２８は、カーナビゲーション装置１２２のスピーカ１３４から音声を発生させるか、または表示装置１２６を点滅させるなどして、運転手に注意を促す機能を有するものでもよい。

本実施例のサーバ１２０においては、フロントカメラ１１４またはリアカメラ１１６により、得られた撮影画像（撮影画像データ）と、登録された参照画像データとを比較し、類似度を求め、この類似度に基づいて、カーナビゲーション装置１２２の操作を禁止するとともに、ＤＶＤプレイヤ１３２による動画の再生を中断させることができるものである。

本実施例においては、フロントカメラ１１４またはリアカメラ１１６により、得られた撮影画像（撮影画像データ）が画像処理されて得られた比較対象画像データと、登録された参照画像データとの類似度を求め、この類似度に応じて、カーナビゲーション装置１２２または警告装置１２８を制御する。

また、本実施例においては、登録部３２（図１２参照）に、図１５に示すように、自宅の車庫入れ成功時の撮影画像１６０を参照画像として登録する。この撮影画像１６０は、自動車１１０の後部１１８と、地面１６２に設けられた車止め１６４ａ、１６４ｂとの位置関係を示すものである。
自宅の車庫入れ成功時の撮影画像１６０の参照画像として登録する撮影画像としては、リアカメラ１１６と同様に撮影された画像を用いることが好ましい。

また、運転中のカーナビゲーション装置１２２のＤＶＤプレイヤ１３２による動画コンテンツの再生を防ぐためには、図１６に示すように、停止時における自動車１１０正面の撮影画像１７０を参照画像として登録する。この撮影画像１７０は、信号機１７２と、前方の他車両１７４とが撮影されたものである。
停止時における自動車１１０正面の撮影画像１７０の参照画像として登録する撮影画像は、例えば、フロントカメラ１１４により停止時に自動的に撮影されたものである。また、参照画像としては、撮影画像１７０の信号機１７２または他車両１７４について、範囲指定して範囲指定した領域を参照画像（参照画像データ）として登録することもできる。

自宅の車庫入れ成功時のバック撮影画像１６０においては、動作条件として、類似度が所定の値以下であることを設定する。
この動作条件として、さらに撮影するリアカメラ１１６を指定し、リアカメラ１１６で撮影された撮影画像データであることを要件として付加することができる。
また、動作内容として、動作条件が自宅の車庫入れ成功時のバック撮影画像１６０の類似度が所定の値以下である場合、対象機器を警告装置１２８とし、動作を警告装置１２８による警告とする。この警告装置１２８による警告とは、警告装置１２８から音声または光を発し、運転手に、自動車が車庫に対して適性な位置ではない知らせるために注意を促すことである。

また、比較部３４においては、参照画像データと比較対象画像データとの類似度に基づいて、自動車１１０の車庫への入り具合を判定することができる。

さらに、比較部３４による参照画像データと、比較対象画像データとの類似度の算出結果に基づいて、類似度が所定値以上である場合、指示部３６においては、動作内容を登録部３２に参照し、その動作内容（警告装置１２８による警告）に基づく制御指示を制御信号の形態で、警告装置１２８に出力する。警告装置１２８は、指示部３６からの制御信号に基づいて、警告を発する。
これにより、自宅の車庫に自動車１１０を入れる場合、自動車１１０が適性に車庫に納められたか、または障害物があるか、もしくは猫、犬などの動物がいても、運転手に警告がされる。このため、車庫に、自動車１１０を適正に入れることができる。さらには、障害物があるか、もしくは猫、犬などの動物がいる場合でも対処することができる。

また、停止時における自動車１１０正面の撮影画像１７０においては、動作条件として、類似度が所定の値以下であることを設定する。
この類似度が所定の値以下である場合には、自動車１１０の周辺の自動車（交通）が動いていると判定される。この類似度は、例えば、信号機１７２を構成する各信号の色データ（信号機１７２が赤から青に変わることを示すもの）、または前方の他車両１７４の移動を判定し、自動車１１０の周辺の自動車（交通）が動いているか否かが判定される。
この動作条件として、さらに撮影するフロントカメラ１１４を指定し、フロントカメラ１１４で撮影された撮影画像データであることを要件として付加することができる。

また、動作内容として、停止時における自動車１１０正面の撮影画像１７０の類似度である場合には、対象機器をカーナビゲーション装置１２２とし、動作をカーナビゲーション装置１２２の動画コンテンツの表示停止とする。この動画コンテンツの表示停止とは、動画コンテンツの再生を停止することである。

また、比較部３４においては、参照画像データと、比較対象画像データとを比較して、類似度を求め、この類似度に基づいて、自動車１１０の周辺の自動車（交通）が動いているかなどの状態を判定することができる。

さらに、比較部３４による類似度の算出結果に基づいて、類似度が所定値以下である場合、指示部３６においては、動作内容を登録部３２に参照し、その動作内容（カーナビゲーション装置１２２の動画コンテンツの表示停止）に基づく制御指示を制御信号の形態で、警告装置１２８に出力する。

指示部３６からの制御信号に基づいて、カーナビゲーション装置１２２の動画コンテンツの表示が停止される。
これにより、自動車１１０の周辺の自動車（交通）が動いているか、または動き出した場合、自動車１１０が発進すべきタイミング直前で、カーナビゲーション装置１２２の動画コンテンツの表示が停止され、運転手に運転動作を促すことができる。

本実施例の機器制御システム２０ａにおいては、フロントカメラ１１４およびリアカメラ１１６により、所定の時間間隔で撮影し、撮影画像の撮影画像データを撮影画像解析部３０に出力する。
撮影画像解析部３０において、撮影画像データから被写体の抽出、画像処理を施し、比較対象画像データを作成する。この比較対象画像データを比較部３４に出力する。
そして、比較部３４において、参照画像データと、比較対象画像データとを比較して、類似度を求め、車庫に適正に自動車１１０が入れられていると設定された類似度の値以下である場合には、指示部３６において、警告装置１２８から警告をするものである。
また、比較部３４において、参照画像データと、比較対象画像データとを比較して、類似度を求め、自動車１１０および周辺の自動車（交通）が停止していると設定された類似度の値以下である場合には、カーナビゲーション装置１２２の動画コンテンツの表示が停止されるものである。

以上のように、本実施例の機器制御システム２０ａにおいては、ユーザが参照画像（参照画像データ）を登録し、動作条件、および動作内容を設定することにより、自動車１１０のカーナビゲーション装置１２２および警告装置１２８を特定のセンサを用いることなく制御することができる。このため、自動車１１０に設けられたカーナビゲーション装置１２２および警告装置１２８などの機器の制御を高い操作性で実現でき、各種の機器を容易に扱うことができる。
また、ユーザが設定した参照画像データと、比較対象画像データとの類似度を求めるため、類似度を求めるマッチングアルゴリズムは、複雑なものではなく、簡単なものでよい。さらには、ユーザが設定した参照画像データと、比較対象画像データとの類似度を求めるため、類似度の計算精度を高くすることもできる。さらにまた、ユーザが設定した参照画像データと、比較対象画像データとの類似度を求めるため、汎用的なパターン認識のアルゴリズムが不要であり、比較部３４のハードウエア構成を簡素化でき、コストダウンを図ることができる。

なお、上述のいずれの実施例の機器制御システムにおいても、参照画像（参照画像データ）として、１画像分登録するものに限定されるものではない。例えば、状態変化前後の複数の画像（画像データ）を参照画像（参照画像データ）として、登録することができる。この場合、類似度については、参照画像として登録した状態変化を示す画像（画像データ）が撮影画像データ（比較対象画像データ）に含まれるか否かにより判定される。
例えば、信号機が赤から青に変化した画像を参照画像（参照画像データ）として登録しておき、信号機が赤から青に変化した場合に、所定の類似度であるかが判定される。一方、信号機が青から赤に変化した場合には、類似度の判定からは除外する。これにより、類似度の判定精度を高くすることができる。

また、上述のいずれの実施例の機器制御システムにおいても、例えば、入力装置４０を用いて、比較部３４において所定の類似度であると判定された比較対象画像（比較対象画像データ）を排除することもできる。これにより、機器の動作制御を撮影画像データ（比較対象画像データ）についてもユーザによる制限を加えることができるため、機器の制御をさらに一層高い操作性で実現でき、各種の機器を容易に扱うことができる。

以上、本発明の機器制御システムおよび機器制御方法について詳細に説明したが、本発明は、上記実施例に限定は、されず、本発明の要旨を逸脱しない範囲において、各種の改良または変更を行ってもよいのは、もちろんである。

本発明の第１の実施例の機器制御システムが設けられた住宅を示す模式図である。 本発明の機器制御システムの第１の実施例の概略構成を示す模式的ブロック図である。 カメラの構成を示す模式的ブロック図である。 本実施例の機器制御システムによる機器制御方法を示すフローチャートである。 本実施例の機器制御システムによるテレビおよび外部記録再生装置の制御を説明するための模式図である。 本発明の第１の実施例の機器制御システムによるインデックス画像を示す模式図である。 （ａ）は、本実施例の機器制御システムによる冷蔵庫の制御を説明するための模式図であり、（ｂ）は、本実施例の機器制御システムによる冷蔵庫を制御する際の通知機能を説明する模式図である。 図７（ａ）に示す冷蔵庫の内部を示す模式図である。 本実施例の機器制御システムによる調理器の制御を説明するための模式図である。 （ａ）および（ｂ）は、それぞれ本実施例の機器制御システムによる調理器の制御に用いられる参照画像の一例を示す模式図である。 （ａ）は、本発明の第２の実施例の機器制御システムが設けられた車を示す側面図であり、（ｂ）は、図１１（ａ）に示す車の後部の一部を示す模式的斜視図である。 本発明の機器制御システムの第２の実施例を示す模式的ブロック図である。 本実施例の機器制御システムが設けられた車の内部の一部を示す模式的斜視図である。 本実施例の機器制御システムに用いられるカーナビゲーション装置の構成を示す模式的ブロック図である。 本実施例の機器制御システムによる車の制御に用いられる参照画像の一例を示す模式図である。 本実施例の機器制御システムによる車の制御に用いられる参照画像の一例を示す模式図である。

符号の説明

１０ 住宅
２０、２０ａ 機器制御システム
２２、１２０ サーバ
２４ａ、２４ｂ、２４ｃ、２５ カメラ
３０ 撮影画像解析部
３２ 登録部
３４ 比較部
３６ 指示部
３８ 制御部
４０ 入力装置
５０ テレビ
５２ 外部記録再生装置
５４ 冷蔵庫
５６ 調理器
５８ 通信端末機器
５９ 携帯電話
７０ 視聴者
８０ インデックス画像
８２ａ〜８２ｃ 画像
９２ａ〜９２ｄ 容器
９４ 玉子
１１０ 自動車
１１２ リアゲート
１１４ フロントカメラ
１１６ リアカメラ
１２２ カーナビゲーション装置
１２４ ＧＰＳ
１２６ 表示装置
１２８ 警告装置
１６０、１７０ 撮影画像
１７２ 信号機
１７４ 他車両

Claims (6)

1. 機器に設けられ、所定の空間領域を撮影し、撮影画像データを得るカメラと、
   前記カメラにより得られた前記撮影画像データを解析し、比較対象画像データを作成する撮影画像解析部と、
   前記比較対象画像データと比較される参照画像データ、ならびに前記比較対象画像データと前記参照画像データとの類似度に基づく機器の動作条件、および機器の動作内容が登録される登録部と、
   前記参照画像データと前記比較対象画像データとの類似度を算出する比較部と、
   前記比較部による前記類似度の結果に応じて、前記動作内容に基づく制御信号を前記機器に出力し、前記動作内容の動作を前記機器に実行させる指示部とを有することを特徴とする機器制御システム。
2. 前記指示部は、携帯情報通信端末または携帯電話に、文字を表示させる通知機能を有するものであり、
   前記動作内容は、前記携帯情報通信端末または前記携帯電話に所定の文章を表示させることである請求項１に記載の機器制御システム。
3. 前記機器は、住宅に設けられた電子機器または家庭用電化製品である請求項１または２に記載の機器制御システム。
4. 前記機器は、自動車に設けられた電子機器である請求項１〜３のいずれか１項に記載の機器制御システム。
5. 前記機器は、複数設けられている請求項１〜４のいずれか１項に記載の機器制御システム。
6. 機器に設けられたカメラにより得られた撮影画像データから比較対象画像データを作成し、前記比較対象画像データと比較される参照画像の参照画像データ、前記参照画像データと前記比較対象画像データとの類似度に応じた前記機器の動作条件、および前記機器の動作内容を予め登録しておいて、機器に所定の動作を行わせる機器制御方法であって、
   前記カメラによる前記撮影画像データを取得する工程と、
   前記撮影画像データを解析し、前記比較対象画像データを作成する工程と、
   前記参照画像データと前記比較対象画像データとの類似度を算出する工程と、
   前記類似度の結果に応じて、前記動作内容に基づく制御信号を前記機器に出力し、前記動作内容の動作を前記機器に実行させる工程とを有することを特徴とする機器制御方法。

Images