JP2004046822A

JP2004046822A - 監視・制御方法及びそれを用いたビデオカメラ装置

Info

Publication number: JP2004046822A
Application number: JP2003156667A
Authority: JP
Inventors: Hiroshi Ueda; 上田　宏
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2003-06-02
Filing date: 2003-06-02
Publication date: 2004-02-12
Anticipated expiration: 2015-09-19
Also published as: JP3805324B2

Abstract

【課題】画面上の表示や音声面（報知音・操作音）の操作を良好にしたホームオートメーションシステム用の監視・制御方法およびそれを用いたビデオカメラ装置を提供する。
【解決手段】ビデオカメラ１１に、表示部１と、タッチパネル２と、機器９を制御する機器制御部８と、指示画像の操作制御部７と、報知音を発生するモニター異常報知部１６と、報知変更機能と音変更機能と設定画像を設定する機能を有するマイクロコンピュータ５と、指示画像と報知音及び機器制御の設定を記憶する画像メモリ部１２と、ビデオカメラ１１の出力を処理する画像処理部１０とを備え、画像処理部１０は顔画像を一覧表示する画像表示制御部１３を備え、顔画像に対応した指示画像と報知音と機器制御部８の設定との組み合わせを画像メモリ部１２に記憶することで操作者に対応した設定画像として登録するものである。
【選択図】　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、ＣＲＴや液晶表示装置上の絵・文字表示を用いて、機器の状態の監視や、機器のＯＮ／ＯＦＦの制御等を行うホームオートメーションシステム等に適用して好適な監視・制御方法およびそれを用いたビデオカメラ装置に関する。
【０００２】
【従来の技術】
家庭内の機器の状態を監視したり、ＯＮ／ＯＦＦの制御を行うホームオートメーションシステムの普及と、電子技術の進歩によって、近年高機能で操作性のよいホームオートメーションシステム用の監視・制御装置が安価に作られ、多くのメーカーから多様な機能のものが発売されている。
【０００３】
図２２は、従来のホームオートメーションシステムの構成を示すブロック図である。監視・制御装置３０は、ＣＲＴ３１、マイクロコンピュータ３２、映像混合器３３、操作スイッチ３４、３５、３６によって構成されている。またマイクロコンピュータ３２は被制御機器（風呂３７、シャッタ３８、炊飯器３９、エアコン４０、電気錠４１、照明４２等）に接続されており、常時被制御機器の状態を監視している。監視・制御装置３０では、被制御機器の状態がＣＲＴ３１上に表示されており、制御の必要がある時に、画面中の被制御機器の状態表示が行われている横の操作スイッチ３４、３５、３６を押すことにより制御する。（画面表示部と機器の指示部を別々に持つ監視・制御装置）
【０００４】
また他の監視・制御装置としては、透過型入力装置を用いて、画面表示されている指示キーを直接押して制御する装置があり、ホームオートメーションシステム用に商品化されている（特許文献１を参照）。
【０００５】
【特許文献１】
特開昭６０−９６０８９号公報（第１−４頁、図６）
【０００６】
【発明が解決しようとする課題】
上記のようなホームオートメーションシステム用の監視・制御装置においては、指示や監視状況を表す画面表示（例えば「エアコン運転」「照明点灯中」等）の大きさや表示位置が予め決められており、特に目の悪い老人等にとっては、必ずしも使いやすいものではなかった。また普段使用しない機能もたくさんついており、操作が煩わしく分かりにくい点も老人にとっては、使いづらいものであった。また、これらホームオートメーションシステム用の監視・制御装置においては、報知音や操作音を伴うが、これら音声の音質も予め決められた音質であるため、高音の聞き取りにくい老人にとっては、適したものとは言えない。
【０００７】
本発明は、上記問題点を解決するために、これら画面上の表示の問題と、さらに音声面（報知音・操作音）に着目して、目や耳の不自由な老人にも使いやすいホームオートメーションシステム用の監視・制御方法およびそれを用いたビデオカメラ装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、監視・制御方法に係り、機器の制御を指示する指示画像を表示する行程と、前記指示画像に対応する指示信号を出力する行程と、前記指示信号を受けて、この指示信号に対応する機器を制御する行程と、前記指示画像の大きさ・位置・色・表示数の変更を指示する変更信号を出力する行程と、前記変更信号を受けて、前記指示画像の大きさ・位置・色・表示数を変更する行程と、報知音を発生する行程と、前記報知音の音量・音質・種類の変更を指示する行程と、前記報知変更の指示に応じて該報知音の音量・音質・種類を変更する行程と、表示された指示画像に対応する機器を所定の状態に設定する指示をするための設定画像に対応する指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類と、前記指示画像に対応する機器制御の設定との組み合わせを記憶する行程と、前記設定画像に対応する指示信号に応じて、記憶された組み合わせの中から前記設定画像に対応する組み合わせを選択し、選択された状態に設定する行程と、ビデオカメラからの出力を所定に処理する画像処理行程とを備え、前記画像処理行程は、ビデオカメラにより撮像した操作者の顔画像を録画する行程と、ビデオカメラによる録画済みの画像を一覧表示する行程と、この一覧表示された顔画像の中の１を選択し、この顔画像に対応した指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類と機器制御の設定との組み合わせを記憶して、操作者に対応した設定画像として登録する行程とを具備することを特徴とする。
【０００９】
また、前記指示信号は、指または入力ペンの接触に応じて指示画像に対応するキー入力部を有するタッチパネルにより該指示画像に対応して出力され、前記指示画像の大きさ・位置変更に連動して、該指示画像に対応するタッチパネルのキー入力部の大きさ・位置を自動的に変更する行程を備えることが好ましい。
【００１０】
また、顔画像と指示画像とを同一画面に所定の配列で表示する画像混合行程と、表示された顔画像と指示画像の大きさ・配列を各々変更する行程とを具備することが好ましい。
【００１１】
また、前記画像処理行程は、操作者の顔画像と予め録画された複数の顔画像とを比較し、前記操作者の顔画像と特徴の一致する設定画像として登録された顔画像を抽出する行程と、前記抽出された顔画像に対応する監視・制御状態を記憶された中から選択して選択された状態に設定する行程とを具備することが好ましい。
【００１２】
また、ビデオカメラの出力を監視する画像監視行程と、該ビデオカメラの出力を画像処理行程と画像監視行程とに切り換える行程とを備え、前記画像監視行程は、ビデオカメラにて撮像した画像を記憶する行程と、前記画像を記憶した所定時間後のビデオカメラにて撮像した画像を比較して監視信号を出力する行程とを具備することが好ましい。
【００１３】
また、本発明は、ビデオカメラ装置に係り、録画手段を備えたビデオカメラに、機器の制御を指示する指示画像を表示する表示手段と、前記指示画像に対応する指示信号を受けて、この指示信号に対応する前記機器を制御する機器制御手段と、前記表示手段に表示された前記指示画像の大きさ・位置・色・表示数の変更を指示する変更信号を出力する変更指示手段と、この変更信号を受けて、前記指示画像の大きさ・位置・色・表示数を変更する画像変更手段と、報知音を発生する報知手段と、この報知音の音量・音質・種類の変更を指示する報知変更手段と、この報知変更手段の指示に応じて、前記報知音の音量・音質・種類を変更する音変更手段と、表示手段に表示された監視・制御装置を所定の状態に設定する指示をするための設定画像に対応する指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類及び前記指示画像に対応する機器制御の設定との組み合わせを記憶する記憶手段と、前記設定画像に対応する指示信号に応じて、記憶手段に記憶された組み合わせの中から前記設定画像に対応する組み合わせを選択し、選択された状態に設定する設定手段と、前記ビデオカメラの出力を所定に処理する画像処理部とを備え、前記画像処理部は、録画済みの操作者の顔画像を前記表示手段に一覧表示する画像制御手段と、この一覧表示された顔画像の中の１を選択し、この顔画像に対応した指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類と機器制御の設定との組み合わせを記憶手段に記憶することによって、操作者に対応した設定画像として登録する登録手段とを具備することを特徴とするものである。
【００１４】
また、前記指示信号は、指または入力ペンの接触に応じて指示画像に対応するキー入力部を有するタッチパネルにより該指示画像に対応して出力され、前記指示画像の大きさ・位置変更に連動して、該指示画像に対応するタッチパネルのキー入力部の大きさ・位置を自動的に変更するキー変更手段を備えることが好ましい。
【００１５】
また、顔画像と指示画像とを表示手段の同一画面に所定の配列で表示する画像混合手段と、前記表示手段に表示された顔画像と指示画像の大きさ・配列を各々変更する配列変更手段とを具備することが好ましい。
【００１６】
また、前記画像処理部は、操作者の顔画像と録画手段に予め録画された複数の顔画像とを比較し、前記操作者の顔画像と特徴の一致する設定画像として登録された顔画像を録画手段から抽出する認識手段を有し、前記抽出された顔画像に対応する監視・制御装置の状態を記憶手段から選択し、選択された状態に設定する自動設定手段を具備することが好ましい。
【００１７】
また、ビデオカメラの出力を監視する画像監視部と、該ビデオカメラの出力を画像処理部と前記画像監視部とに切り換える切換部とを備え、前記画像監視部は、ビデオカメラにて撮像した画像を記憶する画像記憶手段と、この画像記憶手段に前記画像を記憶した所定時間後のビデオカメラにて撮像した画像を比較して監視信号を出力する画像比較手段とを具備することが好ましい。
【００１８】
【発明の実施の形態】
図１は本発明の第１の実施形態である、監視・制御装置の構成を示す。表示部１は、表示手段に対応し、ＣＲＴまたは液晶ディスプレイ等で構成される。表示部１の表面には、透過型入力装置（以下タッチパネルという）２が装着されている。タッチパネル２は、指または入力ペン２０により接触または押圧されることにより、接触または押圧された位置に対応する指示信号を出力する。表示変更スイッチ３は、変更指示手段に対応し、操作者の操作によって、表示部１に表示されている表示内容（表示位置、大きさ、色等）の変更を指示する、変更信号を出力する。マイクロコンピュータ５は、操作制御部６、表示制御部７、機器制御部８を制御する。マイクロコンピュータ５、操作制御部６、表示制御部７、機器制御部８によって、制御部４を構成する。制御部４は、機器変更手段、画面変更手段、キー変更手段として機能する。機器９は、このホームオートメーションシステムに接続される外部機器である。タッチパネル２からの指示信号は、操作制御部６に入力される。また表示変更スイッチ３からの変更信号は、同じく操作制御部６に入力される。操作制御部６には、機器９からの機器のＯＮ・ＯＦＦ監視信号も入力される。操作制御部６はこれらの入力信号をマイクロコンピュータ５の受け入れられる信号に変換する働きをする。マイクロコンピュータ５は操作制御部６からの信号を受けて、表示部１へ表示するための表示信号を表示制御部７へ送る。表示制御部７はこれを文字・絵画像に加工して、表示部１に送る。なお指示信号により機器の制御が指示されたときは、マイクロコンピュータ５からの制御信号を機器制御部８にて機器に入力できる信号に変換し、ＯＮ・ＯＦＦ信号として、機器９に入力する。そして前述のように機器のＯＮ・ＯＦＦ状態は、機器のＯＮ・ＯＦＦ監視信号にて操作制御部６に入力され、このＯＮ・ＯＦＦ状態がマイクロコンピュータ５、表示制御部７を介して表示部１に表示される。
【００１９】
図２および図３により、画面上の表示内容が変更される一例を示す。画面１上の指示画像２ａ，２ｂ，２ｃ，２ｄ，２ｅは制御対象機器名を示し、各指示画像を操作することにより、各機器をＯＮ・ＯＦＦ制御できる。図２は表示変更前の表示部１の画面を示す。表示部１の下部には表示変更スイッチ３（表示部１に指示画像として配置してもよい。）があり、スイッチ群２１〜２６で構成されている。以下、変更の方法を説明する。まず変更スタートキー２１を操作する。そして、例えば指示画像２ａの位置・大きさを変更するために、指示画像２ａを操作する。そして上下左右の移動キー２２、拡大キー２３、縮小キー２４により移動、拡大または縮小する。なお縮小キー２４を複数回操作すると、対応する指示画像はどんどん小さくなり、最後は消滅する。すなわち縮小キー２４は表示を消滅させる機能をも持つ。さて目的の位置及び大きさに変更できたら、変更セットキー２６の操作により設定完了となる。図３はこれらの操作によって、指示画像が変更された後の表示部１の画面を示す。なお色変更キー２５により色の変更も可能であり、変更方法は上記と同様である。
【００２０】
図４は指示画像変更操作のフローチャートである。
指示画像変更操作がスタートされると、指示画像２ａ〜２ｅが画面上のセットされた位置に表示され、指示画像２ａ〜２ｅは表示内容の機器のＯＮ／ＯＦＦキーとして有効になる（Ｓ１）。
Ｓ２において、変更スタートキー２１を操作するまでは、画面上の表示は機器のＯＮ・ＯＦＦ操作が可能な状態であるが、変更スタートキー２１を操作することにより機器のＯＮ・ＯＦＦ機能が無効になる（Ｓ３）。
【００２１】
ここでタイマーカウントが開始されるが（Ｓ４）、これは変更操作途中で操作が放棄されたときに、ある一定時間後に元の初期状態（機器のＯＮ・ＯＦＦ操作が可能な状態）に自動的に戻すためのものである。
【００２２】
そして、指示画像２ａ〜２ｅのどれかを操作すると（Ｓ５）、２ａ〜２ｅのうちの操作されたキーの表示が変更の対象になる（Ｓ６）。キー操作を行わない場合は、ある一定時間以上経過すると（Ｓ７）、タイマーが解除される（Ｓ８）。
【００２３】
操作キー２２〜２５の何れのキーを操作すると（Ｓ９）、操作キー２２〜２５の何れかのキーの操作により変更対象のキー表示が上下左右移動又は拡大又は縮小又は色変更がされる（Ｓ１０）。キー操作を行わない場合は、ある一定時間以上経過すると（Ｓ１１）、タイマーが解除される（Ｓ８）。
【００２４】
変更セットキー２６の操作により（Ｓ１２）、変更が確定し、以後はこの状態がメモリされると共に、この変更後の指示画像に対応するタッチパネルの領域がキー入力部として有効になる（Ｓ１３）。また前記タイマーは変更セットキー２６の操作により解除される（Ｓ８）。
【００２５】
本発明は、上記構成とすることによって、最初からきめられた仕様ではなく、操作者の意志の入った仕様の監視・制御装置とすることができる。特に従来老人にとっては、使いにくい（操作が分かりにくい）ホームオートメーションシステム用の監視・制御装置を、必要に応じて表示を大きくしたり、表示を簡略化したり、表示の位置や色を変えたり、またそれらの変更に連動して、タッチパネルの大きさや位置を変更して、使いやすくしている。
【００２６】
図５は、他の実施形態における、使用頻度の最も少ない指示画像（この場合２ｅ）の使用頻度を１としたときの各指示画像の使用頻度比を示す。
【００２７】
図６は、本実施形態の表示内容自動変更ルーチンの例を示す。
過去３カ月間の指示画像の操作回数を計数し（Ｓ２１）、使用頻度の順位付けをし（Ｓ２２）、使用頻度順に指示画像を並べ換え、タッチパネルのキー入力部もその移動に伴い移動させる（Ｓ２３）。キー操作の最も少ないものとの回数比が５倍以上のものがあるかを判断し（Ｓ２４）、前記比が５倍以上の指示画像を拡大し（Ｓ２５）、比が２倍以下の指示画像を画面の向かって左端へ移動し（Ｓ２６）、同時にタッチパネルのキー入力部も移動させる（Ｓ２７）。
【００２８】
図６は主要ルーチンのみを記載したが、指示画像同士が重なり合わないようにすることや、見栄えの良い配列にするための移動規則を有している。
【００２９】
図７は、本実施形態における、表示部１の機器操作画面を示す。そして図８は、図７の画面が、各指示画像２ａ〜２ｅの操作回数の頻度によって、指示画像とタッチパネルのキー入力部の大きさと位置が自動変更された画面を示す。
【００３０】
本実施形態は、画面上の指示画像の大きさ（拡大・縮小）・位置（配列の順序を含む）・色・表示数等が、各々の指示画像操作の使用頻度によって自動変更されると共に、この変更に連動して有効キー入力部も自動変更されることを特徴とする。このことによって、使用頻度が増えるに従って学習制御により、画面の設定や表示内容が使いやすいように自動的に変更される。
【００３１】
図９は、さらに他の実施形態における、報知音変更の画面を示す。指示画像５６（操作音スイッチ）は、各指示画像に対応するタッチパネルのキー入力部の操作時に発する音を変更するための指示画像である。指示画像５７（報知音スイッチ）は、報知音を変更するための指示画像である。操作音変更のために指示画像５６を操作すると、指示画像５８（音量）、指示画像５９（音質）、指示画像６０（メロディ）、指示画像６１（声）の各指示画像からなる、図１０に示す画面になる。ここで例えば音質を変更するために指示画像５９を操作すると、図１１に示す画面になる。指示画像６２〜６５の４種類（この場合予め内容が固定されている）から選択し指示画像６６（セットキー）の操作により変更できる。このように、画面上で自分の好みの報知音を選定できる。
【００３２】
以上述べたことによって、報知音（スイッチ操作時や報知必要時の音声）の音量・音質・種類を変更ができるため、耳の不自由な老人（耳が遠い。すなわち高音が聞き取りにくい。）でも支障なく使用できるようになる。
【００３３】
図１２は、さらに他の実施形態における、操作者の好みの報知音を作曲する画面を示す。音楽の五線表示１２１上に作曲操作スイッチ群１２２により操作者の好みの音に設定する。まずセットスイッチ１２３を操作した後、作曲操作スイッチ群１２２のいずれかを操作すると音楽の五線表示１２１の上に楽譜が記入される。記入の一区切りごとに発音され、作曲の確認がそのたびに行える。クリアスイッチ１２４は消去を、セットスイッチ１２３は、設定を行う。このように、本実施形態では、報知音も任意に設定するために、報知音の音質・メロディ等を表示画面上で、操作者の好みに合わせて作成し、設定できることを特徴とする。
【００３４】
図１３は、さらに他の実施形態における画面表示を示す。設定画像７１〜７８は祖父母、父母、子供達を意識した家族構成のイメージキャラクターを示す。これらの設定画像に操作者自身を重ね合わせて、操作者に対応する設定画像を決定する。例えば設定画像７３を操作すれば、父の設定になる。そして各操作時の始めに操作者に対応する設定画像を操作すると、例えば、図２→図３のように操作者に合わせた指示画像のレイアウトをすることもできるし、図９→図１０→図１１のように報知音の種類を操作者に合わせて変更することもできる。このような設定の組み合わせが操作者の人数分できることになる。なお図１３の中で自分の家族の人数に絞り込むため、図２の表示変更スイッチ３により前記と同様の方法で、不要な顔画面も削除できる。このため、家の中の複数の使用者がそれぞれ好みの設定ができる。
【００３５】
図１４は、本発明の第２の実施形態である、監視・制御装置の構成を示す。ビデオカメラ１１が表示部１の近傍に設置され、ビデオカメラ１１により撮像した操作者の顔画像を画像メモリ部１２に送り、録画する。マイクロコンピュータ５の指示で、画像メモリ部１２に複数顔画像が順次整列して録画される。画像表示制御部１３は画像メモリ部１２に録画された顔画像をマイクロコンピュータ５の指示で取り出し、表示部１に一覧画像の形に編集して送る。一覧表示された顔画像中の１を操作者に対応する設定画像とする。このため、操作者に対応する設定画像を、操作者の顔とすることができ、操作者が間違うことがなく、また家庭ごとに仕様の異なったホームオートメーションシステム用の監視・制御装置とすることができる。
【００３６】
図１５は、本発明の第３の実施形態である、監視・制御装置の構成を示す。一覧顔画像情報と指示画像とを、映像混合器１５で重畳し表示部１に重畳表示する。なお重畳時に他の画面の表示の邪魔にならないように、表示変更スイッチ３ａにて顔画像一覧を縮小かつ配列替えを行うことができる。図１６は、本実施形態における、機器操作画面と表示変更スイッチを示す。表示部１の重畳画面で、２１〜２６のキーにて前記と同操作で顔画面の縮小や配列替えをおこなうことができる。まず重畳画面の中の顔画面を選択操作した後、指示画像２ａ〜２ｅを操作することによって、各顔画面に対応した設定にできる。
【００３７】
図１７は、本発明の第４の実施形態である、監視・制御装置の構成を示す。複数の顔画像がビデオカメラ１１によって撮像され、画像メモリ部１２に録画されている。そして同じビデオカメラ１１にて操作者を撮像して、顔画像比較部１４にて、予め画像メモリ部１２に記憶されている複数の顔画像と比較する。そして一致した顔画面抽出情報をマイクロコンピュータ５に送ることにより、抽出された顔画像の人が操作者であることを認識し、以後の監視・制御装置の状態（設定画像、報知音、機器制御の設定等）を、特定された操作者に対応した設定にする。
【００３８】
本実施形態では、ビデオカメラ１１で撮像された操作者の顔が、認識判別され、従って自動的にその人の設定になり、顔画像が現時点の操作者表示をも兼用する。このことにより、操作者は、画面上に表示された顔画像一覧表示の中から操作者に合わせた設定を選ぶための操作が不要になる。
【００３９】
図１８は、他の実施形態における、表示内容自動変更ルーチンの例を示す。４人の操作者Ａ，Ｂ，Ｃ，Ｄの中の１人の操作によって、前記図８の表示内容自動変更ルーチンの方法に従い、各々個別のルーチン８０Ａ，８０Ｂ，８０Ｃ，８０Ｄを走り、顔画像ごとに指示画像別使用頻度を計数する。これにより、監視・制御装置の使用によって、自動的に各操作者にとって、使用し易い表示配列や大きさに表示が自動変更される。
【００４０】
図１９は、本発明の第５の実施形態である、監視・制御装置の構成を示す。画像抽出部１０４は、顔画像切り出し部１０１、顔画像一定化処理部１０２、顔画像の線化処理部１０３とから構成される。ビデオカメラ１１にて撮像された操作者の像を、顔画像切り出し部１０１にて顔画像のみを残す処理をする。即ちほぼ丸い顔の輪郭特徴の内部のみを残す処理であり、画像処理手法としては公知であるので説明を省略する。そして顔画像一定化処理部１０２にて、この顔画像を予め決められた大きさに一定化する。これには画像の拡大・縮小処理が行われるが、これも公知の技術であるので説明を省略する。この一定の大きさに統一された顔画像を顔画像の線化処理部１０３にて線化（縁部のみを残す）する。線化処理も画像処理の常套手段のため説明を省略する。画像メモリ部１０８は画像メモリａ部１０５、画像メモリｂ部１０６、画像メモリａ部１０５と画像メモリｂ部１０６との切り換えスイッチ部１０７とから成る。即ち、顔画像一定化処理部１０２からの自然な顔画像は画像メモリａ部１０５に、そして線化された顔画像は画像メモリｂ部１０６に記録される。画面に映す顔画像を自然な顔画像にするか線化された顔画像にするかは切り換えスイッチ部１０７により選択できる。操作者ごとにこの選択を変えることも可能である。画面上に表示された顔画像は、前記と同じく、設定画像となる。なお線化された顔画像のみを画面上に表示することにすると、切り換えスイッチ部１０７は不要になり、画像メモリの容量も少なくてすむ。
【００４１】
図２０は、他の実施形態における、４人の操作者Ａ，Ｂ，Ｃ，Ｄが顔画像を操作したときのフローチャートを示す。この場合は、操作中のみその人の顔画像を点灯させて、操作完了後は点灯を解除する方法を採用している。操作未完成の状態で放置されたとき点灯しているので、誰が操作しようとしていたのかわかる利点がある。なおこの時でも、誰か後で操作しようとしたときに、点灯を復活させて、以前誰がその画面モードで設定したかを示すようにすることも可能である。本実施形態では、単に指示画像としての顔画像表示というだけでなく、操作中あるいは操作後に、その人が操作中あるいは操作したという経歴を表す機能をも兼ね備えたものである。これにより他の人が後で画面を見たとき現在その機能をだれが設定したものかわかる利点がある。
【００４２】
図２１は、本発明の第６の実施形態である、監視・制御装置の構成を示す。カメラ切換部１１ａによって画像処理部１０への接続か画像監視部２７への接続かを切り換える。この切り換えは手動スイッチとしてもよいし、ビデオカメラの前面に人が立つことをもって自動的に操作者撮像に切り換える方式としてもよい。画像監視部２７は、例えば室内画像メモリ２８と室内画像比較部２９とから成る。直前の室内画像情報が、室内画像メモリ２８に記録されており、室内現画像情報との差を室内画像比較部２９にて比較し、監視信号として、マイクロコンピュータ５に入力する。この情報は、室内の異常（火災、防犯、乳幼児の動きの異常等）監視情報や、室内の人の動きの監視情報として使用できる。
【００４３】
上記のようにビデオカメラ１１を、顔画像登録や操作者特定用に使用するだけでなく、監視・制御装置の設置されている部屋の監視にも使用することによって、例えば人の動きの監視情報により、人の動きが大きいか小さいかを検知してエアコンの温度設定を変更したり、人のいる方向まで検知してエアコンの風向の設定を変化させる等を行わせることができる。このように操作者のみの撮像だけでなく、ビデオカメラが室内監視も兼ねること等、１つのビデオカメラを有効活用できるので、きめの細かい、老人でも使いやすいホームオートメーションシステム用の監視・制御装置とすることができる。
【００４４】
【発明の効果】
本発明は上記のように、ホームオートメーションシステム用の監視・制御装置を従来のように、あらかじめ決まった仕様でなく、操作者に合わせて仕様を変更できるようにし、特に目や耳の不自由な老人にとっても使いやすくしたものである。また一般の人達にとっても、ややもすれば堅苦しいと思われているホームオートメーションシステムを身近なものにしたものである。
【００４５】
詳しくは、本発明の監視・制御方法によれば、機器の制御を指示する指示画像を表示する行程と、前記指示画像に対応する指示信号を出力する行程と、前記指示信号を受けて、この指示信号に対応する機器を制御する行程と、前記指示画像の大きさ・位置・色・表示数の変更を指示する変更信号を出力する行程と、前記変更信号を受けて、前記指示画像の大きさ・位置・色・表示数を変更する行程とを具備することで、スイッチ兼用の画面上の指示画像の各種表示を操作者に合わせて変更でき、報知音を発生する行程と、前記報知音の音量・音質・種類の変更を指示する行程と、前記報知変更の指示に応じて該報知音の音量・音質・種類を変更する行程とを具備することで、報知音を操作者に合わせて変更できるとともに、表示された指示画像に対応する機器を所定の状態に設定する指示をするための設定画像に対応する指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類と、前記指示画像に対応する機器制御の設定との組み合わせを記憶する行程と、前記設定画像に対応する指示信号に応じて、記憶された組み合わせの中から前記設定画像に対応する組み合わせを選択し、選択された状態に設定する行程とを具備することで、複数人数分の指示画像の各種表示や報知音を操作者ごとに設定でき、さらにきめ細かいホームオートメーションシステムを提供できる。
【００４６】
さらに、ビデオカメラからの出力を所定に処理する画像処理行程とを備え、前記画像処理行程は、ビデオカメラにより撮像した操作者の顔画像を録画する行程と、ビデオカメラによる録画済みの画像を一覧表示する行程と、この一覧表示された顔画像の中の１を選択し、この顔画像に対応した指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類と機器制御の設定との組み合わせを記憶して、操作者に対応した設定画像として登録する行程とを具備することで、カメラで撮像された操作者の顔画像を画面上にスイッチ兼用表示として出すことにより操作者ごとの設定を行うことができ、従来の画一的なホームオートメーションシステムを改善できる。
【００４７】
また、前記指示信号を、指または入力ペンの接触に応じて指示画像に対応するキー入力部を有するタッチパネルにより該指示画像に対応して出力して、指示画像の大きさ・位置変更に連動して、該指示画像に対応するタッチパネルのキー入力部の大きさ・位置を自動的に変更する行程を備えたことで、ホームオートメーションシステム用の監視・制御装置を、必要に応じて表示を大きくしたり、表示を簡略化したり、表示の位置や色を変えたり、またそれらの変更に連動して、タッチパネルの大きさや位置を変更して、使い易くできる。
【００４８】
さらに、顔画像と指示画像とを同一画面に所定の配列で表示する画像混合行程と、表示された顔画像と指示画像の大きさ・配列を各々変更する行程とを具備することで、画面上に顔画像一覧表示を他画面に重畳して、かつ他画面の邪魔にならないように配置変更や縮小を行えるようにして、より視覚的に操作者に合わせた操作性の改善を図ることができる。
【００４９】
さらに、また、画像処理行程として、操作者の顔画像と予め録画された複数の顔画像とを比較し、前記操作者の顔画像と特徴の一致する設定画像として登録された顔画像を抽出する行程と、前記抽出された顔画像に対応する監視・制御状態を記憶された中から選択して選択された状態に設定する行程とを具備することで、付属のビデオカメラにて操作者を撮像し、自動的に操作者を特定することにより、操作者自身が「自分が操作していることを画面上で入力」することなく、自動的にその操作者自身の設定になるので、より自動性、操作の少なさ、きめの細かさの改善を図ることができる。
【００５０】
さらに、ビデオカメラの出力を監視する画像監視行程と、該ビデオカメラの出力を画像処理行程と画像監視行程とに切り換える行程とを備え、前記画像監視行程として、ビデオカメラにて撮像した画像を記憶する行程と、前記画像を記憶した所定時間後のビデオカメラにて撮像した画像を比較して監視信号を出力する行程とを具備することで、付属のビデオカメラを多用途に使用できるようにして、多機能性をもたせ、ホームオートメーションシステムをコンパクトにできる。
【００５１】
また、本発明のビデオカメラ装置によれば、録画手段を備えたビデオカメラに、機器の制御を指示する指示画像を表示する表示手段と、前記指示画像に対応する指示信号を受けて、この指示信号に対応する前記機器を制御する機器制御手段と、前記表示手段に表示された前記指示画像の大きさ・位置・色・表示数の変更を指示する変更信号を出力する変更指示手段と、この変更信号を受けて、前記指示画像の大きさ・位置・色・表示数を変更する画像変更手段とを具備することで、スイッチ兼用の画面上の指示画像の各種表示を操作者に合わせて変更でき、報知音を発生する報知手段と、この報知音の音量・音質・種類の変更を指示する報知変更手段と、この報知変更手段の指示に応じて、前記報知音の音量・音質・種類を変更する音変更手段とを具備することで、報知音を操作者に合わせて変更できるとともに、表示手段に表示された監視・制御装置を所定の状態に設定する指示をするための設定画像に対応する指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類及び前記指示画像に対応する機器制御の設定との組み合わせを記憶する記憶手段と、前記設定画像に対応する指示信号に応じて、記憶手段に記憶された組み合わせの中から前記設定画像に対応する組み合わせを選択し、選択された状態に設定する設定手段とを具備することで、複数人数分の指示画像の各種表示や報知音を操作者ごとに設定でき、さらにきめ細かいホームオートメーションシステムを提供できる。
【００５２】
さらに、ビデオカメラの出力を所定に処理する画像処理部を備え、前記画像処理部は、録画済みの操作者の顔画像を前記表示手段に一覧表示する画像制御手段と、この一覧表示された顔画像の中の１を選択し、この顔画像に対応した指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類と機器制御の設定との組み合わせを記憶手段に記憶することによって、操作者に対応した設定画像として登録する登録手段とを具備することで、カメラで撮像された操作者の顔画像を画面上にスイッチ兼用表示として出すことにより、操作者ごとの設定を行うことができ、従来の画一的なホームオートメーションシステムを改善できる。
【００５３】
また、前記指示信号は、指または入力ペンの接触に応じて指示画像に対応するキー入力部を有するタッチパネルにより該指示画像に対応して出力され、前記指示画像の大きさ・位置変更に連動して、該指示画像に対応するタッチパネルのキー入力部の大きさ・位置を自動的に変更するキー変更手段を備えたことで、ホームオートメーションシステム用の監視・制御装置を、必要に応じて表示を大きくしたり、表示を簡略化したり、表示の位置や色を変えたり、またそれらの変更に連動して、タッチパネルの大きさや位置を変更して、使い易くできる。
【００５４】
さらに、顔画像と指示画像とを表示手段の同一画面に所定の配列で表示する画像混合手段と、前記表示手段に表示された顔画像と指示画像の大きさ・配列を各々変更する配列変更手段とを具備することで、画面上に顔画像一覧表示を他画面に重畳して、かつ他画面の邪魔にならないように配置変更や縮小を行えるようにして、より視覚的に操作者に合わせた操作性の改善を図ることができる。
【００５５】
さらに、また、前記画像処理部は、操作者の顔画像と録画手段に予め録画された複数の顔画像とを比較し、前記操作者の顔画像と特徴の一致する設定画像として登録された顔画像を録画手段から抽出する認識手段を有し、前記抽出された顔画像に対応する監視・制御装置の状態を記憶手段から選択し、選択された状態に設定する自動設定手段を具備することで、付属のビデオカメラにて操作者を撮像し、自動的に操作者を特定することにより、操作者自身が「自分が操作していることを画面上で入力」することなく、自動的にその操作者自身の設定になるので、より自動性、操作の少なさ、きめの細かさの改善を図ることができる。
【００５６】
さらに、ビデオカメラの出力を監視する画像監視部と、該ビデオカメラの出力を画像処理部と前記画像監視部とに切り換える切換部とを備え、前記画像監視部は、ビデオカメラにて撮像した画像を記憶する画像記憶手段と、この画像記憶手段に前記画像を記憶した所定時間後のビデオカメラにて撮像した画像を比較して監視信号を出力する画像比較手段とを具備することで、付属のビデオカメラを多用途に使用できるようにして、多機能性をもたせ、ホームオートメーションシステムをコンパクトにできる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態である、監視・制御装置の構成を示す図である。
【図２】表示変更前の表示部の画面を示す図である。
【図３】指示画像が変更された後の表示部の画面を示す図である。
【図４】指示画像変更操作のフローチャートである。
【図５】各指示画像の使用頻度比を示す図である。
【図６】表示内容自動変更ルーチンの例を示す図である。
【図７】表示部の機器操作画面を示す図である。
【図８】指示画像が自動変更された表示部の画面を示す図である。
【図９】報知音変更の画面を示す図である。
【図１０】操作音変更のための各指示画像を示す図である。
【図１１】操作音設定のための各指示画像を示す図である。
【図１２】操作者の好みの報知音を作曲する画面を示す図である。
【図１３】設定画像の画面表示を示す図である。
【図１４】本発明の第２の実施形態である、監視・制御装置の構成を示す図である。
【図１５】本発明の第３の実施形態である、監視・制御装置の構成を示す図である。
【図１６】機器操作画面と表示変更スイッチを示す図である。
【図１７】本発明の第４の実施形態である、監視・制御装置の構成を示す図である。
【図１８】表示内容自動変更ルーチンの例を示す図である。
【図１９】本発明の第５の実施形態である、監視・制御装置の構成を示す図である。
【図２０】４人の操作者Ａ，Ｂ，Ｃ，Ｄが顔画像を操作したときのフローチャートである。
【図２１】本発明の第６の実施形態である、監視・制御装置の構成を示す図である。
【図２２】従来のホームオートメーションシステム用の監視・制御装置の構成を示すブロック図である。
【符号の説明】
１　表示部
２　タッチパネル
３　表示変更スイッチ
４　制御部
５　マイクロコンピュータ
６　操作制御部
７　表示制御部
８　機器制御部
９　機器
１０　画像処理部
１１　ビデオカメラ

Claims

機器の制御を指示する指示画像を表示する行程と、
前記指示画像に対応する指示信号を出力する行程と、
前記指示信号を受けて、この指示信号に対応する機器を制御する行程と、
前記指示画像の大きさ・位置・色・表示数の変更を指示する変更信号を出力する行程と、
前記変更信号を受けて、前記指示画像の大きさ・位置・色・表示数を変更する行程と、
報知音を発生する行程と、
前記報知音の音量・音質・種類の変更を指示する行程と、
前記報知変更の指示に応じて該報知音の音量・音質・種類を変更する行程と、
表示された指示画像に対応する機器を所定の状態に設定する指示をするための設定画像に対応する指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類と、前記指示画像に対応する機器制御の設定との組み合わせを記憶する行程と、
前記設定画像に対応する指示信号に応じて、記憶された組み合わせの中から前記設定画像に対応する組み合わせを選択し、選択された状態に設定する行程と、
ビデオカメラからの出力を所定に処理する画像処理行程とを備え、
前記画像処理行程は、ビデオカメラにより撮像した操作者の顔画像を録画する行程と、ビデオカメラによる録画済みの画像を一覧表示する行程と、この一覧表示された顔画像の中の１を選択し、この顔画像に対応した指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類と機器制御の設定との組み合わせを記憶して、操作者に対応した設定画像として登録する行程とを備えたことを特徴とする監視・制御方法。
前記指示信号は、指または入力ペンの接触に応じて指示画像に対応するキー入力部を有するタッチパネルにより該指示画像に対応して出力され、
前記指示画像の大きさ・位置変更に連動して、該指示画像に対応するタッチパネルのキー入力部の大きさ・位置を自動的に変更する行程を備えたことを特徴とする請求項１に記載の監視・制御方法。
顔画像と指示画像とを同一画面に所定の配列で表示する画像混合行程と、表示された顔画像と指示画像の大きさ・配列を各々変更する行程とを具備することを特徴とする請求項１または２に記載の監視・制御方法。
前記画像処理行程は、操作者の顔画像と予め録画された複数の顔画像とを比較し、前記操作者の顔画像と特徴の一致する設定画像として登録された顔画像を抽出する行程と、
前記抽出された顔画像に対応する監視・制御状態を記憶された中から選択して選択された状態に設定する行程とを具備することを特徴とする請求項１乃至３のうちの何れか一項に記載の監視・制御方法。
ビデオカメラの出力を監視する画像監視行程と、
該ビデオカメラの出力を画像処理行程と画像監視行程とに切り換える行程とを備え、
前記画像監視行程は、ビデオカメラにて撮像した画像を記憶する行程と、前記画像を記憶した所定時間後のビデオカメラにて撮像した画像を比較して監視信号を出力する行程とを具備することを特徴とする請求項１乃至４のうちの何れか一項に記載の監視・制御方法。
録画手段を備えたビデオカメラに、
機器の制御を指示する指示画像を表示する表示手段と、
前記指示画像に対応する指示信号を受けて、この指示信号に対応する前記機器を制御する機器制御手段と、
前記表示手段に表示された前記指示画像の大きさ・位置・色・表示数の変更を指示する変更信号を出力する変更指示手段と、
この変更信号を受けて、前記指示画像の大きさ・位置・色・表示数を変更する画像変更手段と、
報知音を発生する報知手段と、
この報知音の音量・音質・種類の変更を指示する報知変更手段と、
この報知変更手段の指示に応じて、前記報知音の音量・音質・種類を変更する音変更手段と、
表示手段に表示された監視・制御装置を所定の状態に設定する指示をするための設定画像に対応する指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類及び前記指示画像に対応する機器制御の設定との組み合わせを記憶する記憶手段と、
前記設定画像に対応する指示信号に応じて、記憶手段に記憶された組み合わせの中から前記設定画像に対応する組み合わせを選択し、選択された状態に設定する設定手段と、
前記ビデオカメラの出力を所定に処理する画像処理部とを備え、
前記画像処理部は、録画済みの操作者の顔画像を前記表示手段に一覧表示する画像制御手段と、この一覧表示された顔画像の中の１を選択し、この顔画像に対応した指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類と機器制御の設定との組み合わせを記憶手段に記憶することによって、操作者に対応した設定画像として登録する登録手段とを具備することを特徴とするビデオカメラ装置。
前記指示信号は、指または入力ペンの接触に応じて指示画像に対応するキー入力部を有するタッチパネルにより該指示画像に対応して出力され、
前記指示画像の大きさ・位置変更に連動して、該指示画像に対応するタッチパネルのキー入力部の大きさ・位置を自動的に変更するキー変更手段を備えたことを特徴とする請求項６に記載のビデオカメラ装置。
顔画像と指示画像とを表示手段の同一画面に所定の配列で表示する画像混合手段と、前記表示手段に表示された顔画像と指示画像の大きさ・配列を各々変更する配列変更手段とを具備することを特徴とする請求項６または７に記載のビデオカメラ装置。
前記画像処理部は、操作者の顔画像と録画手段に予め録画された複数の顔画像とを比較し、前記操作者の顔画像と特徴の一致する設定画像として登録された顔画像を録画手段から抽出する認識手段を有し、
前記抽出された顔画像に対応する監視・制御装置の状態を記憶手段から選択し、選択された状態に設定する自動設定手段を具備することを特徴とする請求項６乃至８のうちの何れか一項に記載のビデオカメラ装置。
ビデオカメラの出力を監視する画像監視部と、該ビデオカメラの出力を画像処理部と前記画像監視部とに切り換える切換部とを備え、
前記画像監視部は、ビデオカメラにて撮像した画像を記憶する画像記憶手段と、この画像記憶手段に前記画像を記憶した所定時間後のビデオカメラにて撮像した画像を比較して監視信号を出力する画像比較手段とを具備することを特徴とする請求項６乃至９のうちの何れか一項に記載のビデオカメラ装置。