JP2023177610A - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents

Abstract

【課題】外部機器を特定する際に外部機器の照明部の発光や点滅による悪影響を防ぐことが可能な画像処理装置等を提供することを目的とする。【解決手段】本発明の画像処理装置は、撮像手段で撮像された外部機器を含む動画像に前記外部機器に関する情報を重畳表示する表示画面を制御する制御手段を備え、前記制御手段は、前記外部機器の照明部の点灯又は点滅指示が入力された際に、前記外部機器の前記照明部を使用中又は前記動画像に基づく画像認識動作中の場合には、前記照明部の点灯又は点滅を行う代わりに前記表示画面において、前記外部機器の近傍に所定の特定情報を表示するための画面を表示させることを特徴とする。【選択図】 図１

Description

本発明は、画像処理装置、画像処理方法及びコンピュータプログラム等に関する。

従来からネットワークや専用線を介して遠隔操作により制御して映像の監視や音声の取得ができる監視装置等の画像処理装置が知られている。監視装置では、外部機器と接続して情報を取得したり制御したりすることが可能である。又、外部機器は一般的にインジケータとしてＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を搭載しており、例えばインジケータの点灯によって外部機器の特定などをする。

特許文献１には、他の画像表示装置側から自身が通信相手として選択されている場合に、自身の画像表示部の周辺に設けたインジケータを所定の輝度で点灯させる表示装置が開示されている。

特許文献２には、ビデオ装置が電源オンされているときに、パワーインジケータのイルミネーションを選択的に点灯させるユーザインターフェースを備えるシステムが開示されている。

特許６０５５４２１号公報 特開２００２－３５４３６３号公報

一方、電灯型の外部機器を、ネットワーク等を介して制御する場合に、電灯自体がインジケータとしての用途を兼ねていることがある。そのような場合、インジケータの点灯又は点滅を指示すると、電灯が点灯又は点滅するため周辺の照明環境に影響を与えてしまう虞がある。

本発明は、上述したような問題点に鑑みてなされたものであり、外部機器を特定する際に外部機器の照明部の発光や点滅による悪影響を防ぐことが可能な画像処理装置等を提供することを目的とする。

本発明の画像処理装置は、
撮像手段で撮像された外部機器を含む動画像に前記外部機器に関する情報を重畳表示する表示画面を制御する制御手段を備え、
前記制御手段は、前記外部機器の照明部の点灯又は点滅指示が入力された際に、前記外部機器の前記照明部を使用中又は前記動画像に基づく画像認識動作中の場合には、前記照明部の点灯又は点滅を行う代わりに前記表示画面において、前記外部機器の近傍に所定の特定情報を表示するための画面を表示させることを特徴とする。

本発明によれば、外部機器を特定する際に外部機器の照明部の発光や点滅による悪影響を防ぐことが可能な画像処理装置等を提供することができる。

第１の実施形態にかかる監視システム１０の構成の１例を示す図である。 （Ａ）は第１の実施形態に係る監視装置１の構成の１例を示す機能ブロック図である。（Ｂ）は第１の実施形態に係るクライアント装置２の構成の１例を示す機能ブロック図である。 第１の実施形態に係る監視装置１における外部機器管理設定の表示画面３１の１例を示す図である。 第１の実施形態に係る監視装置１における外部機器の「現在値」を重畳設定する表示画面４１の１例を示す図である。 第１の実施形態に係る重畳画像を表示した表示画面５１の１例を示す図である。 第１の実施形態に係る監視装置の処理の１例を示すフローチャートである。 第１の実施形態に係るクライアント装置２の表示部で特定情報の表示を促す表示画面の１例を示す図である。 第１の実施形態に係るビューワーで特定情報を重畳した表示画面の１例を示す図である。 第２の実施形態に係る監視装置１における外部機器の画像検知を設定する表示画面９１の１例を示す図である。 第２の実施形態に係る監視装置の処理の１例を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を、実施例を用いて説明する。ただし、本発明は以下の実施例に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。

（第１の実施形態）
図１は、第１の実施形態にかかる監視システム１０の構成の１例を示す図であり、本実施形態の監視システム１０は、監視装置１、クライアント装置２、外部機器３ａ、３ｂ等を備える。本実施形態では例えば監視装置１やクライアント装置２は画像処理装置として機能している。

監視装置１は、人等の被写体を動画で撮像する監視カメラであり、例えば、ネットワークカメラを用いることができる。監視装置１は、クライアント装置２、外部機器３ａ、３ｂとネットワーク４、５を介して通信を行う。

クライアント装置２は、監視装置１の動作を制御するためのものであり、例えばＰＣ（パーソナルコンピュータ）等の情報処理装置を用いることができる。尚、クライアント装置２は、表示部６を有し、表示部６を制御する表示制御装置として機能する。またクライアント装置２は、監視装置１に対して各種の制御コマンドを送信する。

制御コマンドには、例えば外部機器３ａ、３ｂ等の動作（点灯等）指示、外部機器３ａ、３ｂを特定（確認）するためのインジケータの点灯又は点滅指示、画像検知の設定、監視装置１の制御等を行うためのコマンド等が含まれる。尚、監視装置１は、受信した制御コマンドに対するレスポンスをクライアント装置２に送信する。

外部機器３ａ、３ｂは、監視装置１とネットワーク５を介して通信を行う。監視装置１は外部機器３ａ、３ｂに対して制御コマンドを送信したり、外部機器３ａ、３ｂから機器の状態に関する通知コマンドを受信したりする。

本実施形態においては、外部機器３ａ、３ｂは、電灯型の機器であり、外部から受信した制御コマンドに応じて電気回路を作動させて外部機器の筐体に設けたインジケータを点灯又は点滅するように構成される。尚、本実施形態においては、インジケータはＬＥＤ等の照明部であっても良いし、電灯自体をインジケータとして使っても良い。ここで、インジケータや電灯は照明部として機能している。

又、外部機器３ａ、３ｂは監視装置１に対して現在の状態（例えば電灯の照度などの現在値）を通知する通知コマンドを送信する。尚、外部機器３ａ、３ｂの持つ機能は電灯の機能に限定されず、例えば各種のセンサー機器など、他の機能を有する機器であっても良い。

監視装置１とクライアント装置２とは、ネットワーク４を介して相互に通信可能な状態に接続されている。ネットワーク４は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満たす複数のルータ、スイッチ、ケーブル等から構成される。但し、監視装置１とクライアント装置２との間で通信可能であれば、通信規格、規模及び構成はどのようなものであっても良い。

監視装置１と外部機器３ａ、３ｂは、無線又は有線のネットワーク５を介して相互に通信可能な状態に接続されている。ネットワーク５は、例えば、Ｚ－Ｗａｖｅ、Ｚｉｇｂｅｅ（登録商標）、無線ＬＡＮ等の通信規格によるネットワークを用いることができる。但し、監視装置１と外部機器３ａ、３ｂとの間で通信可能であれば、ネットワーク５の通信規格、規模及び構成はどのようなものであっても良い。

外部機器３ａ、３ｂは、監視装置１からインジケータ点灯又は点滅指示コマンドを受信すると、インジケータ（電灯やＬＥＤ等）を点灯又は点滅させる。インジケータを点灯又は点滅させる用途の１つとして、設置してある外部機器のうちの何れの機器が表示画面上で操作している外部機器であるかを特定（確認）する用途がある。ただしインジケータの用途はこれに限らず、例えば外部機器３ａ、３ｂの動作状態をチェックするために用いることも可能である。

尚、以後本実施形態ではインジケータを点滅させる例を述べるが、インジケータを点灯させるようにしても構わない。ネットワーク５の通信規格がＺ－Ｗａｖｅである場合、インジケータ点滅指示コマンドはＩｎｄｉｃａｔｏｒ Ｓｅｔコマンドなどを用いる。インジケータの点滅の発光時の強度や点滅時間や点滅回数や１回の点滅における発光と消灯の時間の比などの、インジケータの点滅方式は、インジケータ点滅指示コマンドで指定する構成でも良いし、外部機器で予め定められた点滅方式で点滅するものでも良い。

次に、図２（Ａ）は第１の実施形態に係る監視装置１の構成の１例を示す機能ブロック図であり、（Ｂ）は第１の実施形態に係るクライアント装置２の構成の１例を示す機能ブロック図である。

尚、図２（Ａ）、（Ｂ）に示される機能ブロックの一部は、監視装置１又はクライアント装置２に含まれるコンピュータに、記憶媒体としての記憶部に記憶されたコンピュータプログラムを実行させることによって実現されている。しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。

ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。又、図２（Ａ）、（Ｂ）に示される夫々の機能ブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。

図２（Ａ）に示されるように、監視装置１は、制御部１１、記憶部１２、撮像部１３、圧縮符号化部１４、通信部１５、撮像制御部１６等を備えている。監視装置１の各構成部は、バス１７を介して接続されている。

制御部１１には前述のように、コンピュータとしてのＣＰＵが内蔵されており、記憶媒体としてのメモリに記憶されたコンピュータプログラムに基づき監視装置１全体の各部の動作を制御する。尚、制御部１１は、撮像手段としての撮像部１３で撮像された外部機器を含む動画像に、その外部機器に関する情報を重畳表示する表示画面を制御する制御手段として機能している。

記憶部１２は、各種データを記憶する。記憶部１２は、主に制御部１１のＣＰＵが実行するコンピュータプログラム格納領域、プログラム実行中のワーク領域を有する。又、記憶部１２は、外部機器の管理情報、画像検知等の設定情報、イベントトリガとアクションのルール設定情報、撮像部１３や制御部１１が生成する画像データの格納領域等の様々なデータの格納領域として用いられる。

又、監視装置１は外部機器を管理対象に追加する際に、外部機器の種々の情報、例えばサポートするコマンド情報、外部機器の機器タイプ等を取得して記憶部１２に記憶する。

撮像部１３は、不図示の撮像光学系により結像された被写体像を撮像してアナログ信号を取得する。更にアナログ信号をデジタルデータに変換し、必要な画像処理を施し、順次、撮像画像として記憶部１２に記憶する。制御部１１は、撮像画像が記憶部１２に記憶された場合に撮像部１３から画像取得イベントを受信する。

圧縮符号化部１４は、撮像部１３が記憶した撮像画像ないし生成された重畳画像に対してＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）或いはＨ．２６４等の形式に基づき圧縮符号化処理を行うことで画像データを生成し、記憶部１２に記憶する。

通信部１５は、クライアント装置２等の外部装置から制御コマンドを受信し、制御コマンドに対するレスポンスを外部装置に送信する。制御部１１は、通信部１５が外部装置からコマンドを受信した場合に、通信部１５から、コマンド受信のイベントを受信する。又、通信部１５は、制御部１１が生成した制御コマンドを外部装置へ送信する。更に、通信部１５は、圧縮符号化部１４により圧縮符号化された画像データを、順次、記憶部１２から読み出してクライアント装置２に映像ストリームとして送信する。

撮像制御部１６は、制御部１１により指示されたパン、チルト、ローテーション、ズーム、又はフォーカスの値に基づいて駆動部を夫々パン駆動、チルト駆動、ズーム駆動、ローテーション駆動或いはフォーカス駆動させて撮像部１３の画角等を変更する。尚、監視装置１は上記の複数の駆動部の一部又は全部を含まない構成であっても良い。又、画像の切り出しによって電子的にパン、チルト、ローテーション、ズーム等を実行しても良い。

又、クライアント装置２は、図２（Ｂ）に示されるように、制御部２１、記憶部２２、操作部２４、通信部２５、表示制御部２６等を備えている。クライアント装置２の各構成部は、バス２７を介して接続されている。

制御部２１には、コンピュータとしてのＣＰＵが内蔵されており、記憶媒体としてのメモリに記憶されたコンピュータプログラムに基づきクライアント装置２全体の各部の動作を制御する制御手段として機能する。

記憶部２２、通信部２５、夫々記憶部１２、通信部１５と同様の構成であり、操作部２４はキーボードやマウスやタッチパネルを含む。２６は表示制御部であり、表示部６に表示する画像の制御を行う。２７はバスである。

次に、クライアント装置２の表示部６に表示される表示画面の例について説明する。図３は、第１の実施形態に係る監視装置１における外部機器管理設定の表示画面３１の１例を示す図である。表示画面３１は、クライアント装置２の制御部２１内のコンピュータとしてのＣＰＵが、ユーザによる外部機器管理設定を行う指示に基づいて、クライアント装置２の記憶部２２に記憶されているプログラムを実行することにより表示される。

表示画面３１には、外部機器３ａ、３ｂの夫々の管理情報を表示する管理情報３１１、３１２、外部機器を新たに追加する追加ボタン３１３、登録されている外部機器を削除する削除ボタン３１４が表示される。

ユーザは追加ボタン３１３を押して監視装置１を外部機器追加可能状態に移行させる。それと共に、追加したい外部機器の筐体に設けた所定の物理ボタン等を押すことによって追加可能状態に移行させることにより、その外部機器を監視装置１が管理する外部機器として登録する。

尚、外部機器を登録する方法はこれに限定されず、例えば監視装置１に事前に登録してある外部機器の識別情報を基に自動で外部機器を登録する等、他の方法で外部機器を登録しても良い。このようにして、予め外部機器３ａ、３ｂを監視装置１に登録し、管理情報３１１、３１２が表示される。

管理情報３１１には、登録されている機器を識別するための「機器番号」、外部機器３ａが主にどのような機能を持つかを示す「タイプ」、外部機器３ａとの通信がオン状態か否かを表す「駆動状態」が表示される。更に、外部機器が持つ機能の現在状態（例えば現在の稼働率等）を表す「現在値」が表示される。これらの情報は外部機器３ａより送信されて通信部１５にて受信し、記憶部１２に記憶されている。

図３の管理情報３１１においては、「機器番号」には「２番」、「タイプ」には電灯型の機器を示す「電灯機器」、「駆動状態」には動作中であることを示す「オン」、「現在値」には発光照度の稼働率である「８０％」が表示されている。但し、管理情報３１１に表示される情報は前述の情報に限定されず、外部機器３ａに関する情報であればその種類や組み合わせを問わない。

又、「タイプ」には電灯機器では無く、数値を設定できる機器であることを示す「マルチレベルスイッチ」などと表示してあっても良い。又、管理情報３１１には外部機器３ａを特定するために外部機器３ａのインジケータを点滅させる「インジケータ点滅」というボタンが表示されている。

外部機器３ｂの情報を表示する管理情報３１２には、「機器番号」として「３番」が表示されており、その他の情報に関しては管理情報３１１と同様である。

図４は、第１の実施形態に係る監視装置１における外部機器の「現在値」を重畳設定する表示画面４１の１例を示す図である。表示画面４１は、クライアント装置２の制御部２１内のコンピュータとしてのＣＰＵが、ユーザによる重畳表示の設定を行う指示に基づいて、クライアント装置２の記憶部２２に記憶されているプログラムを実行することにより表示される。

表示画面４１全体には撮像画面が表示されている。又、表示画面４１には、更に、外部機器３ａ、３ｂ、新たな重畳表示を追加する追加ボタン４１１、重畳表示を削除する削除ボタン４１２、被写体４１３、外部機器３ａ、３ｂの現在値を表示する重畳表示設定枠４１４、４１５が表示されている。

ユーザは、表示画面３１にて予め追加した外部機器の、夫々の現在値を表示した重畳表示を表示画面４１に表示する。そのために、追加ボタン４１１をクリックすると例えば重畳表示設定枠４１４のような表示枠が表示画面４１に表示される。次に、重畳表示設定枠４１４に対応づける外部機器の機器番号を指定することで、対応づけられた外部機器から取得した現在値が重畳表示設定枠４１４内に表示される。

重畳表示設定枠４１４には例えば外部機器３ａから取得した現在値である８０％が表示されている。尚、外部機器が複数種類の機能を持つことを考慮し、機器番号に加えて表示する現在値の機能の種類を指定する構成としても良いし、複数種類の機能の現在値を夫々表示しても良い。又、外部機器の機能の「現在値」に限らず、例えば「駆動状態」など他の値を表示しても良い。又、重畳表示を表示するパンやチルトの角度やズーム倍率の範囲を指定する設定を更に行うようにしても良い。

続いて、クライアント装置２のマウス等の操作部２４を使用し、表示画面４１上で重畳表示設定枠４１４をドラッグアンドドロップして対応する外部機器３ａの近傍に配置する。具体的には、重畳表示設定枠４１５のように対応する外部機器（重畳表示設定枠４１５では外部機器３ｂ）の近傍に配置する。

こうして得られた重畳表示設定枠の設定状態等の情報は、監視装置１の記憶部１２に記憶される。記憶された重畳表示設定枠の情報を元に、制御部１１は撮像画像に重畳表示を重畳した画像（映像）を生成し、重畳画像（重畳映像）として記憶部１２又は記憶部２２に記憶する。

又、削除したい重畳表示設定枠をマウス等により画面上で選択して削除ボタン４１２をクリックすることで重畳表示設定枠を削除することができる。

図５は、第１の実施形態に係る重畳画像を表示した表示画面５１の１例を示す図である。表示画面５１は、クライアント装置２が表示画面の表示を行う指示を出すのに応じて、クライアント装置２の記憶部に記憶されているプログラムを実行することにより表示される。

図５の表示画面５１には、外部機器３ａ、３ｂ、被写体４１３、表示画面４１で設定された外部機器３ａ、３ｂに夫々対応する、外部機器に関する情報（照明部の照度など）の重畳表示５１１、５１２が表示されている。

次に監視装置１の動作例について図６のフローチャートを参照して説明する。図６は、第１の実施形態に係る監視装置の処理の１例を示すフローチャートであり、図６のフローチャートは、監視装置１の制御部１１内のＣＰＵが記憶部１２に記憶されたプログラムを実行することにより実現される。

ステップＳ６１では、制御部１１は、通信部１５を介してインジケータ点滅指示のコマンドをクライアント装置２より受信する。このときユーザは表示画面３１に表示されている外部機器のうち、特定したい外部機器に対して、管理情報にあるインジケータ点滅ボタン３１５や３１６をクリックしている。

ボタンがクリックされると、クライアント装置２よりインジケータ点滅指示コマンドが送信され、監視装置１の通信部１５が受信し記憶部１２に記憶される。本フローチャートの例では、ユーザは例えば外部機器３ａを特定するために管理情報３１１のインジケータ点滅ボタン３１５をクリックしているものとする。

ステップＳ６２では、制御部１１は、インジケータ点滅指示のあった対象の外部機器が電灯型の機器であるか否かを判定する。具体的には、制御部１１は、インジケータ点滅指示のあった外部機器の情報を記憶部１２より取得し、電灯型の機器か否かを判定する。

このとき、ネットワーク５の通信規格が例えばＺ－Ｗａｖｅである場合、当該情報に含まれるＤｅｖｉｃｅ ＴｙｐｅがＬｉｇｈｔ Ｄｉｍｍｅｒ Ｓｗｉｔｃｈ、又はＣｏｌｏｒ Ｓｗｉｔｃｈであるなどと判定された場合には、電灯型の機器であると判定する。或いは、当該外部機器がＣｏｌｏｒ Ｓｗｉｔｃｈコマンドクラスをサポートしている場合は電灯型の機器であると判定する。

又、予め各種外部機器の機器タイプを記録したデータベースとなるファイルを記憶部１２に記憶しておき、対象の外部機器が電灯型の機器のタイプであるか否かをデータベースファイルと照らし合わせても良い。電灯型の機器であると判定した場合はステップＳ６４に進み、そうでない場合にはステップＳ６３に進む。尚、図６の例では外部機器３ａを特定するために管理情報３１１のインジケータ点滅ボタン３１５をクリックしているので、ステップＳ６４に進む。

ステップＳ６３では、制御部１１は、ステップＳ６１でインジケータ点滅指示のあった外部機器に対して通信部１５よりインジケータ点滅指示のコマンドを送信し、本フローチャートの処理を終了する。例えばネットワーク５の通信規格がＺ－Ｗａｖｅである場合、インジケータ点滅指示コマンドはＩｎｄｉｃａｔｏｒ Ｓｅｔコマンド等を用いる。これにより外部機器３ａの不図示のインジケータが点滅する。

ステップＳ６４では、制御部１１は、対象の外部機器の電灯（照明部）が現在点灯中であるか否かを判定する。具体的には、制御部１１は、対象の外部機器に対して現在の電灯の現在値を確認するコマンドを送信し、その返信の内容に応じて判定を行う。このとき、制御部１１は、照明部が点灯している場合に、照明部を使用中であると判定する。

本実施形態ではネットワーク５の通信規格として例えばＺ－Ｗａｖｅであるとする。従って、当該外部機器から取得した情報に含まれる、Ｍｕｌｔｉ ｌｅｖｅｌ Ｓｗｉｔｃｈ Ｒｅｐｏｒｔ、Ｂｉｎａｒｙ Ｓｗｉｔｃｈ Ｒｅｐｏｒｔ、又はＣｏｌｏｒ Ｓｗｉｔｃｈ Ｒｅｐｏｒｔの、Ｃｕｒｒｅｎｔ Ｖａｌｕｅ又はＴａｒｇｅｔ Ｖａｌｕｅを確認する。これらのＶａｌｕｅが０ｘ０１以上であれば電灯が現在点灯中であると判定する。

又、以前に対象となった外部機器に対して点灯指示をしたときの値を記憶部１２に電灯の現在値として記憶しておき、その現在値に基づき現在点灯中であるかを判定しても良い。電灯が現在点灯中であると判定した場合はステップＳ６５に進み、そうでない場合にはステップＳ６３に進む。

ステップＳ６５では、制御部１１は、クライアント装置２の表示部の画面上に、外部機器を特定するためのマーク等を表示するか否かを判定する。そのために、制御部１１は、通信部１５を通じてクライアント装置２に対し、図７の表示画面７１を表示させるコマンドを送信し、クライアント装置２の表示部６に表示画面７１が表示される。

即ち、ステップＳ６５は、撮像手段で撮像された外部機器を含む動画像に前記外部機器に関する情報を重畳表示する表示画面を制御する制御ステップとして機能している。又、ステップＳ６５では、表示画面において、外部機器の近傍に所定の特定情報を表示するための画面を表示させている。ここで、特定情報を表示するための画面とは、特定情報を表示することを促す画面（図７の表示画面７１）を含む。

図７は、第１の実施形態に係るクライアント装置２の表示部で特定情報の表示を促す表示画面の１例を示す図である。図７に示す表示画面７１は、ステップＳ６５で制御部１１から送られたコマンドに応答して、クライアント装置２の制御部内のＣＰＵがクライアント装置２の記憶部に記憶されているプログラムを実行することにより表示される。

表示画面７１では、選択した外部機器のインジケータを点滅すると照明環境に影響が出るため、代わりにビューワー画面上で外部機器を特定するための特定情報（マーク等）の表示をするかを確認するダイアログが表示される。又、表示画面７１には、ビューワー画面上で外部機器を特定するための特定情報（マーク等）の表示をすることを決定するボタン７１１と、ビューワー画面上で外部機器を特定するための特定情報の表示をしないことを決定するボタン７１２が表示される。

尚、制御部１１は、対象の外部機器を特定するための特定情報（マーク等）の表示の設定がなされているかを記憶部１２に記憶されている特定情報表示設定から確認しても良い。そして、もし特定情報表示設定が記憶されていない場合に、電灯の点滅による照明環境への影響があるがそれでも点滅させるか？という警告を表示するようにクライアント装置２に指示をしても良い。即ち、特定情報を表示することを促す画面は例えば警告等を表示する画面を含む。

表示画面７１が表示され、ユーザがボタン７１１又はボタン７１２をクリックすることで、クライアント装置２の通信部より決定情報が監視装置１へ送信され、通信部１５を通じて受信した決定情報が記憶部１２に記憶される。

ステップＳ６５では、受信した決定情報が、ビューワー画面上で特定情報を表示するという決定情報か否かを判定する。ボタン７１２がクリックされ、ステップＳ６５でＮｏと判定された場合（特定情報表示設定ではない場合）には、ステップＳ６３でインジケータを点滅させてから本フローチャートを終了する。

即ち、外部機器の照明部を使用中でなければ、ステップＳ６３で照明部の点灯又は点滅を行わせる。尚、クライアント装置側で図７のボタン７１１をクリックしたら、クライアント装置側でそのまま表示画面８１に遷移しても良い。

ステップＳ６５でＹｅｓと判定された場合は、ステップＳ６６に進み、制御部１１は、撮像部１３が撮像する画角内に対象の外部機器に関する情報（照明部の照度等）の重畳表示が含まれているか否かを判定する。撮像制御部１６による画角変更で、表示画面４１で設定した対象の外部機器の重畳表示が画角外となっている可能性がある。即ち、監視装置１の撮像しているパン・チルト角度やズーム倍率によっては外部機器の重畳表示が画角内（画面内）には含まれていないことがある。

従って、ステップＳ６６で、制御部１１は、記憶部１２に記憶されている対象の外部機器に関する情報の重畳表示の全ての座標が、現在の撮像画像の画角内に含まれているかを判定する。又、重畳表示が撮像画像の画角内にあっても、重畳表示を実際に表示する画角の範囲を限定する設定がされている場合は、画角がその範囲内である時にのみ、画角内に対象の外部機器に関する情報の重畳表示が含まれていると判定する。これは、特定のパン・チルト角度やズーム倍率の範囲でのみ重畳表示を表示する等の設定がされている場合があるからである。

ステップＳ６６で、画角内に対象の外部機器に関する情報の重畳表示が含まれていると判定した場合はステップＳ６８に進み、そうでない場合はステップＳ６７に進む。尚、監視装置１が画角の変更に対応していない場合もステップＳ６８に進む。

ステップＳ６７では、制御部１１は、撮像画像の画角内に重畳表示が表示されるように画角を変更する。具体的には、制御部１１は、記憶部１２に記憶されている対象の外部機器に関する情報の重畳表示の全ての座標が重畳表示される画角内に入るように、撮像制御部１６に対して画角の変更指示を行う。即ち、外部機器に関する情報の重畳表示が動画像の所定の画角内に表示されるように画角を変更する。

画角の変更指示は、重畳表示の全ての座標が重畳表示される画角内に含まれるような変更指示であればどのような方法でも良い。例えば表示画面４１にて重畳表示を設定した際の画角を記憶部１２に記憶しておきその記憶した画角と同じ画角になるように変更指示をしても良いし、重畳表示が画面の中央に表示されるような変更指示をしても良い。

ステップＳ６８では、制御部１１は、撮像画像上に対象の外部機器の特定情報を図８のように重畳して表示する。図８は、第１の実施形態に係るビューワーで特定情報を重畳した表示画面の１例を示す図である。図８に示すように、制御部１１は、対象の外部機器を特定するための特定情報８１１（アイコンやマーク等）を撮像画像に重畳した重畳画像を生成する。即ち、外部機器の近傍に所定の特定情報を表示するための画面（図８の表示画面８１）を表示させる。

生成された重畳画像を基にした映像ストリームは、通信部１５を通じてクライアント装置２へと配信され、クライアント装置２の表示部６では、図８の表示画面８１のようなビューワー画面が表示される。

即ち、表示画面８１全体には撮像画面が表示されており、更に、外部機器３ａ、３ｂ、被写体４１３、表示画面４１で設定された外部機器３ｂの現在値に対応する重畳表示５１２、外部機器３ａを特定する特定情報８１１（アイコンやマーク等）が表示される。

尚、制御部１１は、重畳画像を生成する際に、図５の重畳表示５１１の位置に外部機器３ａの現在値等の代わりに、又は追加情報として外部機器３ａを特定するアイコンやマークなどの特定情報８１１を重畳する。そして、生成した重畳画像（重畳映像）を記憶部１２に記憶する。尚、特定情報８１１は例えば星型や丸や四角形などの図形を表したアイコンやマークなどとしても良いし、どのような形状や色のアイコンやマークなどであっても良い。

或いは、特定情報として外部機器に関する情報（機器番号や機器の名前や現在値等）を目立つように表示しても良い。即ち、重畳した特定情報（機器番号や名前やマークや現在値等）を、周期的に点滅させたりサイズを変更したり色や輝度を変化させた情報としても良く、それにより目立つように強調表示を行っても良い。即ち、特定情報としての外部機器に関する情報は、外部機器の機器番号、外部機器の名前、外部機器の動作状態に関する現在値の少なくとも１つを含むものであっても良い。

又、外部機器のオン時は緑、スリープ時は黄、オフ時は赤に色を変更するなど、外部機器の駆動状態に応じて強調表示のしかたを変更しても良い。又、特定情報周辺の平均輝度が高いもしくは低い場合に、特定情報の色を暗くもしくは明るく変化させる等の変更をしても良い。

尚、本実施形態では、撮像部１３が現在撮像する撮像画像に対して特定情報を重畳表示する例を説明した。しかし、例えば表示画面４１で対象の外部機器の重畳表示設定を実施した際のスナップショット画像を記憶部１２に記憶して、そのスナップ画像を特定情報の重畳表示のために用いても良い。

具体的には、制御部１１は、ステップＳ６５においてビューワー画面上で外部機器を特定する決定がされたと判定した場合、ステップＳ６８に進む。そしてステップＳ６８において特定情報を重畳する重畳画像を生成する際は、前述したスナップショット画像に対して対象の外部機器の重畳表示設定の位置に特定情報を重畳させても良い。

以上のように、第１の実施形態では、ユーザが特定したい外部機器に対して表示画面３１にてインジケータの点滅ボタンをクリックしたとき、対象の外部機器の電灯が点灯中の場合には、対象の外部機器を特定する情報（マーク等）を画像に重畳表示する。

即ち、ステップＳ６１～ステップ６８に示される画像処理方法において、制御部１１は、外部機器の照明部の点灯又は点滅指示が入力された際に、その外部機器の照明部を使用中か否か判定している。そして使用中の場合には、照明部の点灯又は点滅を行う代わりに表示画面において、外部機器の近傍に所定の特定情報を表示するための画面を表示させている。

従って、照明部としての電灯が点灯中で被写体を照明しつつ監視中の場合でも、電灯を点滅させることなく、ビューワー画面上で外部機器を特定し確認することができる。尚、電灯の代わりにインジケータを点滅させる場合もインジケータの発光強度が大きい場合には、悪影響を与える場合があるので、ビューワー画面上で外部機器を特定し確認することでその悪影響を抑制することができる。

（第２の実施形態）
第１の実施形態では外部機器の電灯が点灯中か否かを判定する場合について説明したが、第２の実施形態では画像検知設定がされているか否かを判定する。尚、本実施形態にかかる監視システムの構成は第１の実施形態と同様である。

図９は、第２の実施形態に係る監視装置１における外部機器の画像検知を設定する表示画面９１の１例を示す図である。表示画面９１は、クライアント装置２の制御部内のＣＰＵが、画像検知の設定を行う指示に基づいて、クライアント装置２の記憶部に記憶されているプログラムを実行することにより表示される。

表示画面９１には、外部機器３ａ、３ｂ、新たな画像検知領域を追加する追加ボタン９１１、追加した画像検知領域を削除する削除ボタン９１２、画像検知領域９１３、外部機器３ａ、３ｂの現在値を表示する重畳表示５１１、５１２等が表示される。

ユーザは予め、撮像部１３で撮像する動画像に対する画像検知の設定を行う。画像検知は、例えば検知領域上の動体を検知する動体検知等、動画像を解析して検知するものであればどのようなものでも良い。ユーザが追加ボタン９１１をクリックすると画像検知領域９１３のような検知領域の設定枠が表示される。

その後、クライアント装置２と接続されたマウス等の入力機器を使用し、設定枠をドラッグアンドドロップして画面内の適宜の位置に画像検知領域を移動したり画像検知領域のサイズを変更したりする。又、設定枠を削除したい場合には、その設定枠をクリックしてから削除ボタン９１２をクリックすることで削除することができる。

尚、画面全体に画像検知を設定したり、検知境界を定める境界線を引いたり、画像検知の種類に応じてどのように画像検知を設定しても良い。こうして得られた画像検知設定は、クライアント装置２の通信部より監視装置１の通信部１５を通じて記憶部１２に記憶される。

次に、画像検知が設定してある場合の処理例について図１０のフローチャートの一部を参照して説明する。図１０は、第２の実施形態に係る監視装置の処理の１例を示すフローチャートである。尚、制御部１１内のコンピュータとしてのＣＰＵがメモリに記憶されたコンピュータプログラムを実行することによって図１０のフローチャートの各ステップの動作が行われる。

図１０のフローチャートにおいて、図６のフローチャートの処理と同じ符番のステップは同じ処理なので説明を省略する。図１０においては、電灯が点灯中か否かを判定する処理の代わりに、ステップＳ１０１において制御部１１は、画像検知設定がされているか否かを判定する。

具体的には、制御部１１は、表示画面９１において、画像検知設定がされているか否かを記憶部１２より取得する。画像検知設定がされていると判定した場合はステップＳ６５に進み、そうでない場合はステップＳ６３に進む。

尚、画像検知が設定されているだけでは無く、更に追加の条件を設定しても良い。例えば、ステップＳ１０１において制御部１１は、画像検知設定がされており、かつ画像検知イベントをトリガとして所定の動作を行うルールが設定されているか否かを、記憶部１２を参照して判定する。そして、Ｙｅｓの場合にはステップＳ６５に進み、Ｎｏの場合はステップＳ６３に進むとしても良い。即ち、動画像に基づく画像認識動作中でなければ、ステップＳ６３で照明部の点灯又は点滅を行わせる。

又、画像検知イベントが発生している場合は、例えば動体通過などの何らかの事象が現在発生しているため照明環境の変化を発生させたくない場合がある。よって、制御部１１は、画像検知イベントが発生しているか記憶部１２を参照し、発生している場合にステップＳ６５に進み、そうでない場合はステップＳ６３に進むようにしても良い。

このように第２の実施形態では、ユーザが特定したい外部機器に対して表示画面３１にてインジケータの点滅ボタンをクリックしたとき、画像検知設定がされている場合には、対象の外部機器を特定する情報（マーク等）を画像に重畳表示する。

即ち第２の実施形態では、図１０のステップＳ６１～ステップ６８において、制御部１１は、外部機器の照明部の点灯又は点滅指示が入力された際に、動画像に基づく画像認識動作中か否か判定している。そして画像認識動作中の場合には、照明部の点灯又は点滅を行う代わりに表示画面において、外部機器の近傍に所定の特定情報を表示するための画面を表示させている。

従って、インジケータを点滅させずにビューワー画面上で外部機器を特定することができ、インジケータの点滅により照明環境に変化が生じて画像検知動作の誤動作を防ぐことができる。

（その他の実施形態）
以上、本発明をその好適な実施形態（実施例）に基づいて詳述してきたが、本発明は上記実施形態（実施例）に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。

例えば、上述した監視システムの機能構成の一部又は全てをハードウェアとして監視装置１、クライアント装置２、外部機器３ａ、３ｂに実装しても良い。

又、上述した各実施形態の構成及び処理等は、監視装置１、クライアント装置２、外部機器３ａ、３ｂ以外のコンピュータや他の機器等に適用しても良い。即ち、図３～図１０で説明した処理や動作は監視装置１の制御部１１で行っても良いし、クライアント装置２で行っても良く、更にはそれ以外の機器で行っても良いし、監視装置１、クライアント装置２、それ以外の機器が共同で行っても良い。従って、本実施形態の画像処理装置は監視装置１、クライアント装置２、それ以外の機器を含む。

又、上述した実施形態の監視システムを構成する外部機器は説明上、外部機器３ａ、３ｂとしたが、外部機器は１つ以上であればその数を問わない。

又、監視装置１は、構成の少なくとも一部をハードウェアにより実現しても良い。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）上に自動的に専用回路を生成すれば良い。

又、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしても良い。又、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしても良い。

又、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するプログラムをネットワーク又は各種記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、該プログラム及び該プログラムを格納した記録媒体は本発明を構成する。

１：監視装置
２：クライアント装置
３ａ、３ｂ：外部機器
１１：制御部
１２：記憶部
１３：撮像部
１４：圧縮符号化部
１５：通信部
１６：撮像制御部
１７：バス

Claims (13)

1. 撮像手段で撮像された外部機器を含む動画像に前記外部機器に関する情報を重畳表示する表示画面を制御する制御手段を備え、
   前記制御手段は、前記外部機器の照明部の点灯又は点滅指示が入力された際に、前記外部機器の前記照明部を使用中又は前記動画像に基づく画像認識動作中の場合には、前記照明部の点灯又は点滅を行う代わりに前記表示画面において、前記外部機器の近傍に所定の特定情報を表示するための画面を表示させることを特徴とする画像処理装置。
2. 前記制御手段は、前記照明部が点灯している場合に、前記照明部を使用中であると判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記特定情報は、前記外部機器に関する情報の色又は輝度を変化させた情報を含むことを特徴とする請求項１に記載の画像処理装置。
4. 前記外部機器に関する情報は、前記外部機器の機器番号、前記外部機器の名前、前記外部機器の動作状態に関する現在値の少なくとも１つを含むことを特徴とする請求項３に記載の画像処理装置。
5. 前記特定情報は、所定のアイコン又はマークを含むことを特徴とする請求項１に記載の画像処理装置。
6. 前記制御手段は、前記特定情報が前記動画像の所定の画角内に表示されるように画角を変更することを特徴とする請求項１に記載の画像処理装置。
7. 前記特定情報を表示するための画面は、前記特定情報を表示することを促す画面を含むことを特徴とする請求項１に記載の画像処理装置。
8. 前記特定情報を表示することを促す画面は警告を表示する画面を含むことを特徴とする請求項７に記載の画像処理装置。
9. 前記制御手段は、前記外部機器の前記照明部の点灯又は点滅指示が入力された際に、前記外部機器の前記照明部を使用中又は前記動画像に基づく画像認識動作中でなければ、前記照明部の点灯又は点滅を行わせることを特徴とする請求項１に記載の画像処理装置。
10. 前記照明部はインジケータを含むことを特徴とする請求項１に記載の画像処理装置。
11. 前記照明部は電灯を含むことを特徴とする請求項１に記載の画像処理装置。
12. 撮像手段で撮像された外部機器を含む動画像に前記外部機器に関する情報を重畳表示する表示画面を制御する制御ステップを備え、
    前記制御ステップは、前記外部機器の照明部の点灯又は点滅指示が入力された際に、前記外部機器の前記照明部を使用中又は前記動画像に基づく画像認識動作中の場合には、前記照明部の点灯又は点滅を行う代わりに前記表示画面において、前記外部機器の近傍に所定の特定情報を表示するための画面を表示させることを特徴とする画像処理方法。
13. コンピュータを、請求項１～１０の何れか１項に記載された画像処理装置の各手段として機能させるためのコンピュータプログラム。
    
    

Images