JP2011138409A - 画像センサおよび監視システム、ならびに、画像センサの画像処理方法 - Google Patents

Abstract

【課題】カメラによる監視領域内におけるプライバシーを保護すると共に、監視領域内での異変の発生を検知可能とする。
【解決手段】カメラから出力された撮像画像に対してプライバシー領域を指定し、プライバシー領域内の撮像画像をマスクする。撮像画像に基づき異変が検知された場合に、異変が検知された部分を含む所定範囲のマスクを解除すると共に、当該所定範囲に対して枠表示を行う。これにより、異変が発生していない通常時ではプライバシーの保護が実現され、異変が発生した場合には当該異変を確認することが可能となる。
【選択図】図３

Description

本発明は、画像を用いて監視を行うための画像センサおよび監視システム、ならびに、画像センサの画像処理方法に関する。

従来より、警備会社によって警備依頼主である顧客の店舗、事務所、テナントビル、マンション、住宅などのセキュリティを確保する監視システムとして、顧客の店舗、事務所、テナントビル、マンション、住宅などの監視領域にカメラを設置するようにした監視システムが知られている。このような監視システムでは、このカメラにより撮像された監視領域の画像データを、遠隔地にある警備会社の監視センタにネットワークを介して送信する。

このような監視システムは、監視センタからの要求に応じて、または、予め設定された任意のタイミングで、若しくは常にリアルタイムで、監視領域の画像データを監視センタに送信し、この監視領域の画像データを監視センタのモニタに表示させる。そして、監視センタの監視員は、モニタに表示された監視領域の画像に基づいて監視領域を監視し、監視領域内に侵入者や火災などの異常状態が発生しているものと判断した場合には、警備員を監視領域に急行させることによって、監視領域のセキュリティを確保している。

ところで、上述した監視システムでは、カメラに映り込んだ監視領域の画像データそのものをネットワークを介して監視センタに送信しているため、監視領域のプライバシーを保護することができない。すなわち、監視のために設置したカメラの撮像範囲に対し、顧客において警備会社の監視員にも見られたくない領域や、顧客ではない他人の領域であるがカメラ設置の都合上からカメラに映り込んでしまう領域などが含まれてしまう可能性がある。このような領域は、プライバシー保護の観点から、画像データを送信すべきでないと考えられる。

特許文献１には、監視のために設置したカメラで撮像された画像のうち、監視員にも見られたくない領域や他人の領域などをマスクして監視センタに送信するようにした構成が記載されている。この特許文献１によれば、警備依頼主である顧客や、顧客ではない他人のプライバシーを保護することができる。

特開２００３−６１０７６号公報

しかしながら、上述した特許文献１では、画像をマスクした領域で異変が発生しても、監視センター側でこの異変を検知することができないという問題点があった。

本発明は、上記に鑑みてなされたものであって、カメラに映り込んだ監視領域内におけるプライバシーを保護すると共に、監視領域内での異変の発生を検知可能な画像センサおよび監視システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、第１の発明は、撮像手段で監視領域を撮像した画像データを、監視領域の監視を行う監視センタにネットワークを介して送信する画像センサであって、撮像手段で撮像した画像データの変化を検知する検知手段と、撮像手段で撮像した画像データのうち監視領域内の指定領域をマスクするマスク手段と、マスク手段で指定領域をマスクした画像データを監視センタに送信する送信手段とを有し、マスク手段は、検知手段で変化が検知された場合に、指定領域のうち、指定領域と変化が検知された部分を含む所定領域とが重複する領域に対して、マスクの解除を行うことを特徴とする。

また、第２の発明は、撮像手段で監視領域を撮像した画像データを、監視領域の監視を行う監視センタにネットワークを介して送信する画像センサの画像処理方法であって、検知手段が、撮像手段で撮像した画像データの変化を検知する検知ステップと、マスク手段が、撮像手段で撮像した画像データのうち監視領域内の指定領域をマスクするマスクステップと、送信手段が、マスクステップで指定領域をマスクした画像データを監視センタに送信する送信ステップとを有し、マスクステップは、検知ステップで変化が検知された場合に、指定領域のうち、指定領域と変化が検知された部分を含む所定領域とが重複する領域に対して、マスクの解除を行うことを特徴とする。

また、第３の発明は、画像センサが撮像手段で監視領域を撮像した画像データを、監視領域の監視を行う監視センタにネットワークを介して送信する監視システムであって、画像センサは、撮像手段で撮像した画像データの変化を検知する検知手段と、撮像手段で撮像した画像データのうち監視領域内の指定領域をマスクするマスク手段と、マスク手段で指定領域をマスクした画像データを監視センタに送信する送信手段とを有し、マスク手段は、検知手段で変化が検知された場合に、指定領域のうち、指定領域と変化が検知された部分を含む所定領域とが重複する領域に対して、マスクの解除を行い、監視センタは、画像センサから送信された画像データを表示する表示手段を有することを特徴とする。

本発明によれば、カメラによる監視領域内におけるプライバシーを保護すると共に、監視領域内での異変の発生が検知可能であるという効果を奏する。

本発明の実施形態に適用可能な監視システムの一例の構成を概略的に示すブロック図である。 画像センサのカメラで撮影された画像に対してプライバシー領域を適用した例を示す略線図である。 プライバシー領域が表示された画像に対して異変が検知された場合の画像の例を示す略線図である。 実施形態に適用可能な画像センサの一例の構成を示すブロック図である。 実施形態による画像処理部の一例の機能を示す機能ブロック図である。 被検出画像データから動きが検出された場合の例を示す略線図である。 差分検出ブロックが存在する被検出画像データに対してフェレ径を求めた例を示す略線図である。 実施形態による表示制御処理の一例を示すフローチャートである。 各表示モードにおけるプライバシー領域のマスクおよびフェレ径表示の有無の例を示す略線図である。

以下に添付図面を参照して、本発明に係る監視システムの実施形態を詳細に説明する。図１は、本実施形態に適用可能な監視システム１の一例の構成を概略的に示す。警備対象２０に対して画像センサ１０、１０、…が設置されると共に、これら画像センサ１０、１０、…を制御するための制御装置１１が設置される。画像センサ１０、１０、…と制御装置１１とは、例えばＬＡＮ(Local Area Network)によるネットワーク１２で接続され、互いに通信が可能とされている。なお、ここでは、警備対象２０は、例えば店舗、事務所、テナントビル、マンション、住宅などの建物であるとする。

制御装置１１は、例えばインターネットである外部ネットワーク２１を介して、警備対象２０に対して遠隔地にある監視センタ３０と通信可能とされている。

画像センサ１０、１０、…は、それぞれカメラと、カメラで撮影され得られた画像データを処理する画像処理部と、ネットワーク１２による通信制御を行う通信制御部とを少なくとも有する。また、画像センサ１０、１０、…は、カメラにより撮影された画像データに基づき、撮影対象（監視対象）における異変の発生を検知することが可能とされている。画像センサ１０、１０、…から出力された画像データは、ネットワーク１２を介して制御装置１１に伝送される。

制御装置１１は、画像センサ１０、１０、…から伝送された画像データを外部ネットワーク２１を介して監視センタ３０に送信する。また、制御装置１１は、画像センサ１０、１０、…から伝送された画像データを記録する機能を有する。さらに、制御装置１１は、ネットワーク１２を介して各画像センサ１０、１０、…を制御することができる。

監視センタ３０では、制御装置１１から送信されてきた、各画像センサ１０、１０、…による画像をそれぞれモニタに表示させる。例えば監視員がこれらモニタの表示に基づき、各警備対象２０における異変の発生の有無を監視する。また、監視センタ３０では、制御装置１１から送信されてきた各画像センサ１０、１０、…による画像を、それぞれ記録装置に記録する。

監視システム１において、警備対象２０に対して、さらに、火災センサおよび防犯窓センサといった、異変を検出するための各種センサや、ユーザ操作より異変を監視センタ３０に通知するための非常通知装置などが設置される（図示は省略する）。これら各種センサや非常通知装置の出力は、制御装置１１から外部ネットワーク２１を介して監視センタ３０に送信される。

本発明の実施形態においては、各画像センサ１０、１０、…それぞれの撮影画像に対し、カメラにより撮影された撮像画像の表示を行わない非表示領域を必要に応じて設定し、プライバシー保護を図る。このとき、各画像センサ１０、１０、…それぞれにおいて、非表示領域内で異変が検知された場合には、異変が検知された部分を含む所定範囲の撮像画像を非表示状態から表示状態に変更すると共に、当該所定範囲に対して枠表示を行う。枠表示は、表示状態の領域および非表示状態領域に対して目立つ色で表示させる。

図２および図３を用いて、より具体的に説明する。図２は、画像センサ１０のカメラで撮影された撮像画像に対して非表示領域５０を適用した例を示す。図２の例では、画像４０は、撮像画像におけるドアノブを含むドア部分が非表示領域５０に設定され、当該撮像画像における非表示領域５０がマスクされている。以下、非表示領域５０を、プライバシー保護のために撮像画像を非表示にする領域として、プライバシー領域５０と呼ぶ。プライバシー領域５０は、所定サイズおよび所定色のブロックであるマスクブロック５１、５１、…が配列されて構成される。すなわち、プライバシー領域５０は、マスクブロック５１を単位として設定することができる。

例えば、画面を縦横それぞれ１６分割し、画像データを、１６×１６＝２５６個のブロックに分割する。各マスクブロック５１のサイズは、例えば、画面解像度が６４０画素×４８０ライン（ＶＧＡ(Video Graphics Array)）である場合、４０画素×３０ラインとなる。また、画面解像度が３２０画素×２４０ライン（ＱＶＧＡ(Quarter Video Graphics Array)）である場合、２０画素×１５ラインとなる。

詳細は後述するが、プライバシー領域５０を構成するマスクブロック５１、５１、…は、画像センサ１０内で生成される。画像センサ１０では、カメラから出力された画像データにおいて、プライバシー領域５０内の画像データをマスクブロック５１、５１、…を表示する画像データで置き換えることで、プライバシー領域５０がマスクされた画像４０が生成される。この画像４０の画像データが、画像センサ１０、１０、…からＬＡＮ１２を介して制御装置１１に伝送され、外部ネットワーク２１を介して監視センタ３０に送信される。

図３は、上述した図２の状態に対して異変が検知された場合の画像４０’の例を示す。ここでは、撮像画像におけるドアノブ部分に異変が検知されたものとする。撮像画像に基づき異変が検知されると、異変が検知された部分を含む所定範囲（以下、フェレ径と呼ぶ）に対して枠５２（以下、フェレ径表示５２と呼ぶ）が表示されると共に、プライバシー領域５０において、当該フェレ径とプライバシー領域５０とが重複する領域のマスクが解除される。これにより、当該フェレ径の内部５３において撮像画像が表示される。

本実施形態では、このように、カメラから出力された画像に対してプライバシー領域がマスクされた画像において、異変が検知された場合に、異変が検知された部分を含む所定範囲のマスクを解除する。これにより、異変が発生していない通常時ではプライバシーの保護が実現され、異変が発生した場合には当該異変を確認することが可能となる。

以下に、本実施形態による処理について、より詳細に説明する。図４は、本実施形態に適用可能な画像センサ１０の一例の構成を示す。画像センサ１０は、カメラ１００、画像処理部１０１および制御部１０２を有し、画像処理部１０１の機能は、制御部１０２に含まれる。画像センサ１０は、さらに、赤外線ＬＥＤ(Light Emitting Diode)１０７、赤外線ＬＥＤを駆動するための駆動部１０８、表示灯１０９、映像出力部１１０およびタンパ部１１１を含む。さらにまた、画像センサ１０は、通信Ｉ／Ｆ（インターフェイス）１０３、設定スイッチ１０４、記憶部１０５およびイベント記憶部１０６を含む。

制御部１０２は、例えばＣＰＵ(Central Processing Unit)、ＲＡＭ(Random Access Memory)およびＲＯＭ(Read Only Memory)、ならびに、各種のインターフェイスを含み、ＣＰＵは、ＲＯＭに予め記憶されたプログラムに従い、ＲＡＭをワークメモリとして、インターフェイスを介して画像センサ１０の各部を制御する。制御部１０２は、さらに、画像処理部１０１の機能を実現するためのハードウェアを含んでいてもよい。また、画像処理部１０１の機能は、ＣＰＵによっても実現可能である。

カメラ１００は、被写体である監視領域の画像を所定の時間間隔で連続的に撮影し、フレーム毎の撮像画像データとして出力する。

なお、画像センサ１０は、カメラ１００と共にマイクロフォン（図示しない）を備え、音声を収録することができるようになっている。マイクロフォンで収録した音声データは、制御部１０２の図示されない音声処理部に供給され、所定に音声処理される。

画像処理部１０１は、入力された撮像画像データに対して異変検知処理を行うと共に、予め設定されたプライバシー領域５０をマスクブロック５１、５１、…で置き換えて撮像画像をマスクする。異変検知処理により異変が検知された場合、検知部分を含む所定範囲のプライバシー領域５０のマスクブロック５１、５１、…によるマスクを解除すると共に、当該所定範囲に対して監視領域の画像を表示させる。また、当該所定範囲を示す枠をフェレ径表示５２として表示させる。フェレ径表示５２は、撮像画像に対して目立つ色で表示させると好ましい。画像処理部１０１で画像処理された画像データは、所定の方式で圧縮符号化されて制御部１０２から出力され、通信Ｉ／Ｆ１０３に供給される。

ここで、監視センタ３０では、カメラ１００により撮影された撮像画像に基づく画像データを、撮影に対して略リアルタイムにモニタ表示すると共に、当該画像データを記録装置に記録する。詳細は後述するが、画像センサ１０は、監視センタ３０で略リアルタイムにモニタ表示するための画像データと、画像センサ１０の内部に記録するための画像データとを生成する。すなわち、画像センサ１０からは、少なくとも２系統の画像データが出力され、外部ネットワーク２１を介して監視センタ３０に送信される。

通信Ｉ／Ｆ１０３は、ネットワーク１２に対する通信を制御する。通信Ｉ／Ｆ１０３は、例えばＴＣＰ／ＩＰ(Transmission Control Protocol/Internet Protocol)をプロトコルとして用い、ネットワーク１２に接続された制御装置１１との間で通信を行う。通信Ｉ／Ｆ１０３は、画像処理部１０１で画像処理され圧縮符号化されて供給された画像データを、ネットワーク１２を介して制御装置１１に対して送信する。

また、通信Ｉ／Ｆ１０３に対して、図示されないコンピュータ（ＰＣ）を接続し、当該コンピュータと画像センサ１０との間で通信可能とすることができる。例えば、通信Ｉ／Ｆ１０３において、ネットワーク１２に対する接続と、コンピュータに対する接続とが切り替え可能とされる。通信Ｉ／Ｆ１０３においてコンピュータとの接続を選択することで、当該コンピュータと画像センサ１０との間での通信が可能となり、例えば画像センサ１０に対する各種設定を当該コンピュータから行うことができる。なお、画像センサ１０に対する各種設定は、画像センサ１０に設けられる設定スイッチ１０４から行うこともできる。

記憶部１０５は、例えば不揮発性の半導体メモリからなり、システムデータと基準画像データとが記憶される。基準画像データは、詳細は後述するが、画像処理部１０１において異変検知を行う際の基準となる画像データである。

システムデータは、プライバシー領域５０に関する情報が含まれる。例えば、画像データ上でのプライバシー領域５０の範囲を示すアドレス情報や、プライバシー領域５０を構成する各ブロック５１、５１、…それぞれのアドレス情報がシステムデータに含まれる。アドレス情報は、画像データの表示範囲をブロック５１のサイズで分割したブロック単位で指定される。これに限らず、当該アドレス情報は、ピクセル単位で矩形の対角２点を指定してもよい。

イベント記憶部１０６は、例えば不揮発性の半導体メモリからなり、画像処理部１０１から出力された画像データや音声データを記憶する。イベント記憶部１０６の画像データや音声データは、通信Ｉ／Ｆ１０３からネットワーク１２および外部ネットワーク２１を介して、画像センサ１０から監視センタ３０に送信される。

なお、図４では、記憶部１０５およびイベント記憶部１０６がそれぞれ別個のメモリとして示されているが、これはこの例に限らず、１つのメモリの異なる領域をそれぞれ記憶部１０５およびイベント記憶部１０６として用いてもよい。

赤外線ＬＥＤ１０７は、制御部１０２の制御により駆動部１０８により駆動され、赤外線を照射する。赤外線ＬＥＤ１０７による赤外線の照射は、例えばカメラ１００の撮像画像の照度が低い場合に行われる。

映像出力部１１０は、制御部１０２を介して画像処理部１０１で画像処理された画像データが供給される。映像出力部１１０は、例えば外部モニタ（図示しない）に接続され、画像処理部１０１から供給された画像データを当該外部モニタが表示可能な形式の映像信号に変換して、当該外部モニタに供給する。一例として、この外部モニタに映出された画像に基づき、カメラ１００の画角調整を行う。

タンパ部１１１は、画像センサ１０に対する不正な操作を検知する。例えば、画像センサ１０の筐体のカバーが開けられたか否かを検知する。検知結果は制御部１０２に供給される。制御部１０２は、筐体のカバーが開けられたと判定されたら、不正操作がなされたと判断する。

図５は、本実施形態による画像処理部１０１の一例の機能を示す機能ブロック図である。カメラ１００から所定間隔で出力された撮像画像は、画像取込部１３０に供給される。画像取込部１３０は、供給された撮像画像を、所定間隔で取り込んで出力する。画像データは、画像データのフレームレートに同期して取り込んでもよいし、数フレームおきに取り込んでもよい。画像取込部１３０で取り込まれた画像データは、動き検出部１３２に供給される。

動き検出部１３２は、画像取込部１３０から供給された画像データを、直接、マスク合成部１３４に供給すると共に、当該画像データにおける変化を検出し、動きを検知する。画像データから動きを検知することで、被写体に異変が生じたか否かを推測することができる。

動き検出部１３２における動き検出は、画像取込部１３０から供給された画像データと、記憶部１０５に記憶される基準画像データとを比較することで行われる。例えば、動き検出部１３２は、画像センサ１０の起動時や初期化時など所定のタイミングで、記憶部１０５から基準画像データを読み出し、動き検出部１３２が有する画像メモリ（図示しない）に記憶する。スイッチ１３１を介して供給された画像データと基準画像データとを比較し、所定以上の差があれば、撮像画像に動きがあったと判定する。以下では、基準画像データと比較される画像データを、被検出画像データと呼ぶ。なお、基準画像を用いずに、連続するフレーム間の差分から動きを検知するようにしてもよい。

被検出画像データにおける撮像画像の動きの検出は、当該被検出画像データと基準画像データとの間で、輝度を比較することで行うことができる。一例として、被検出画像データおよび基準画像データのそれぞれを、対応する所定サイズのブロック（以下、動き検出ブロックと呼ぶ）に分割する。なお、動き検出ブロックのサイズは、プライバシー領域５０におけるマスクブロック５１のサイズと同一である必要はない。

動き検出部１３２は、被検出画像データおよび基準画像データのそれぞれにおいて、各動き検出ブロックについて画素毎の輝度値を積算する。被検出画像データと基準画像データとの間で、動き検出ブロック毎に輝度値の積算値を比較し、差分が所定以上である動き検出ブロックを撮像画像に動きがあったブロックとして検出する。以下、動き検出ブロックのうち輝度値の差分が所定以上あるブロックを、差分検出ブロックと呼ぶ。

動き検出部１３２は、次に、差分検出ブロックが閾値以上の個数、連結した連結領域が存在するか否かを判定する。若し、連結領域が存在すると判定された場合、当該連結領域において異変が発生したと推測することができる。動き検出部１３２は、連結領域の範囲を示すアドレス情報を、動き検出結果として出力する。

図６は、被検出画像データ６０から動きが検出された場合の例を示す。図６の例では、画面が縦横それぞれ７分割され、被検出画像データ６０が７×７＝４９個の動き検出ブロックに分割されている。また、図６において、差分検出ブロックに斜線を付して示している。この例では、連結領域を判定するための閾値を２とし、２以上の差分検出ブロックが連結している場合に、当該連結領域において異変が発生したと推測する。

例えば、領域６１Ａは、差分検出ブロックが１個しか含まれていないので、当該領域６１Ａは、動きは検出されたが、検出された動きは異変ではないと推測する。一方、太枠で囲んだ領域６１Ｂは、２個の差分検出ブロックが連結された連結領域である。そのため、領域６１Ｂにおいて異変が発生したと推測する。また、太枠で囲んだ領域６１Ｃは、斜め方向の連結も含め、６個の差分検出ブロックが連結された連結領域である。そのため、領域６１Ｃにおいても異変が発生したと推測する。

なお、異変が発生したと推測するために、差分検出ブロックの連結数に対して閾値を設けるのは、例えば小動物や昆虫などの動きを異変の発生と誤認することを防ぐためである。すなわち、独立した１個の動き検出ブロックで検出された動きは、小動物や昆虫、あるいは、木の葉などの空中の浮遊物によるものである可能性がある。ある程度以上の範囲に亘って動きが検出された場合に、異変が発生したと推測することで、このような誤認を防ぐことができる。

なお、上述では、ブロックにおいて画素毎の輝度値を積算した結果に基づき動きを検出しているが、これはこの例に限られない。ブロック内における画素毎の輝度値の分布や傾斜などを、被検出画像データと基準画像データとで比較してもよい。

動き検出部１３２から出力された動き検出結果は、範囲算出部１３３に供給される。範囲算出部１３３は、動き検出結果に基づき、被検出画像データ内に存在する全ての連結領域を含む、最小の矩形領域を求める。この最小の矩形領域は、図３を用いて説明したフェレ径に相当する。

図７は、上述した図６の如く差分検出ブロックが存在する被検出画像データ６０に対して、フェレ径を求めた例を示す。上述した図６の例では、連結領域６１Ｃの垂直方向の射影が連結領域６１Ｂの垂直方向の射影を含んでいるため、当該矩形領域の垂直方向の射影（垂直フィレ径）は、連結領域６１Ｃの縦方向のブロック幅により規定される。また、図６の例では、連結領域６１Ｂの水平方向の射影と連結領域６１Ｃの水平方向の射影とにより、当該矩形領域の水平方向の射影（水平フェレ径）が規定される。したがって、図７に例示されるように、連結領域６１Ｂおよび連結領域６１Ｃを全て含む、フェレ径６２が求められる。

このフェレ径６２を示す情報は、マスク合成部１３４およびフェレ径生成部１３７に供給される。フェレ径を示す情報は、例えば、動き検出ブロックの位置を示すアドレス情報で示される。

ここで、マスク合成部１３４、フェレ径合成部１３６、文字情報合成部１３８、サイズ変更部１３９および圧縮部１４０は、監視センタ３０で略リアルタイムにモニタ表示するための画像データと、イベント記憶部１０６に記録するための画像データとに対する処理を、並列的に行う。これは、監視センタ３０でモニタ表示するための画像データと、イベント記憶部１０６に記録するための画像データとに対し、それぞれ異なる処理を施すことが可能であることを意味する。

以下では、特に記載のない限り、監視センタ３０において略リアルタイムにモニタ表示するための画像データと、イベント記憶部１０６に記録するための画像データとのうち一方の画像データの処理について説明する。

マスク生成部１３５は、マスクブロック５１の画像データを生成する。より具体的には、マスク生成部１３５は、マスクブロック５１として、サイズが上述した画面を分割したブロックと同一で、所定色で塗り潰されたブロック画像データを生成する。マスクブロック５１内部を塗り潰す所定色は、例えば灰色が用いられる。勿論、マスクブロック５１内部を、灰色以外の別の色で塗り潰してもよい。生成されたマスクブロック５１の画像データは、マスク合成部１３４に供給される。

マスク合成部１３４は、動き検出部１３２から供給された画像データに対してマスク生成部１３５で生成されたマスクブロック５１の画像データを合成し、プライバシー領域５０を生成する。すなわち、マスク合成部１３４は、動き検出部１３２から供給された画像データにおけるプライバシー領域５０を、マスク生成部１３５から供給されたブロック画像データで置き換えた画像データを生成する。

より具体的には、例えば、マスク合成部１３４は、画像センサ１０の起動時や初期化時など所定のタイミングで、記憶部１０５からシステムデータに含まれるプライバシー領域５０の範囲を示すアドレス情報を読み出す。読み出したこのアドレス情報に従い、マスク生成部１３５から供給されたブロック画像データで、プライバシー領域５０に含まれるブロックを順次、置き換えていく。これにより、カメラ１００による画像データにおけるプライバシー領域５０の部分がマスクブロック５１、５１、…でマスクされる。

一方、マスク合成部１３４は、範囲算出部１３３から上述したフェレ径を示すアドレス情報が供給されると、プライバシー領域５０のうち、当該フェレ径とプライバシー領域５０とが重複する領域のマスクブロック５１、５１、…によるマスクを解除した画像データを生成する。

より具体的には、例えば、マスク合成部１３４は、プライバシー領域５０のうち、当該フェレ径とプライバシー領域５０とが重複する領域に含まれるブロックについて、マスク生成部１３５から供給されるブロック画像データでの置き換えを行わない。換言すれば、プライバシー領域５０のうち、当該フェレ径と重複しない領域のブロックのみについて、ブロック画像データでの置き換えを行う。こうすることで、図３を用いて説明したように、プライバシー領域５０において、異変が発生したと推測される範囲のみ撮像画像を表示させ、他の範囲の撮像画像をマスクすることができる。

なお、マスク合成部１３４は、フェレ径に含まれるマスクブロック５１、５１、…によるマスクを解除するか否かを、監視センタ３０における略リアルタイムでのモニタ表示のための画像データと、イベント記憶部１０６に記録するための画像データとに対して、それぞれ設定することができる。この設定は、設定スイッチ１０４や通信Ｉ／Ｆ１０３に接続されるコンピュータなどから行うことができる。

フェレ径生成部１３７は、範囲算出部１３３から供給されるフェレ径を示す情報に基づき、フェレ径を表示するためのフェレ径表示画像データを生成する。フェレ径の表示は、カメラ１００による撮像画像に対して目立つ色、例えば赤色の枠により行われる。より具体的な例として、上述した図７において、フェレ径６２の枠（フェレ径表示）が赤色で表示される。勿論、フェレ径の枠すなわちフェレ径表示は、赤色に限らず、撮像画像に対して目立つ色であれば他の色でもよい。フェレ径生成部１３７は、フェレ径表示を行うための例えば赤色を表示するフェレ径表示画像データを、フェレ径を示す情報に基づき生成する。生成されたフェレ径表示画像データは、フェレ径表示を行うアドレス情報と共にフェレ径合成部１３６に供給される。

フェレ径合成部１３６は、マスク合成部１３４から供給された画像データに対して、フェレ径生成部１３７から供給されたフェレ径表示画像データを合成する。すなわち、フェレ径合成部１３６は、マスク合成部１３４から供給された画像データにおける、フェレ径表示を行うアドレス情報に示される部分を、フェレ径表示画像データで置き換えた画像データを生成する。

なお、フェレ径合成部１３６は、フェレ径表示画像データを表示するか否かを、監視センタ３０におけるモニタ表示のための画像データと、記録のための画像データとに対して、それぞれ設定することができる。この場合、フェレ径表示画像データを表示するか否かの設定は、上述した、マスク合成部１３４によるマスクブロック５１、５１、…によるマスクを解除するか否かの設定に対応してなされる。

本実施形態では、上述したようなマスク合成部１３４およびフェレ径合成部１３６での画像合成処理により、カメラ１００の撮像画像に基づき被写体に異変が発生したと推測された際に、図３を用いて説明したように、プライバシー領域５０において異変が発生したと推測される部分を含む所定範囲において、ブロック画像データによるマスクが解除され撮像画像が直接的に表示されると共に、当該所定範囲を示すフェレ径表示が行われるようにできる。

フェレ径合成部１３６から出力された画像データは、文字情報合成部１３８に供給され、時刻情報やシステム情報といった文字によるキャラクタ画像データがスーパーインポーズされる。文字情報合成部１３８でキャラクタ画像データがスーパーインポーズされた画像データは、映像出力部１１０に対して出力されると共に、サイズ変更部１３９に供給される。サイズ変更部１３９は、供給された画像データに対して必要に応じてサイズ（解像度）変更処理を施す。サイズ変更部１３９から出力された画像データは、圧縮部１４０に供給され、所定の圧縮符号化方式で圧縮符号化されて出力される。

圧縮部１４０は、例えばＪＰＥＧ(Joint Photographic Experts Group)方式を用いて、フレーム毎に画像データを圧縮符号化する。これに限らず、圧縮部１４０は、ＭＰＥＧ(Moving Pictures Experts Group)方式といった動画圧縮符号化方式を用いて画像データの圧縮符号化を行ってもよい。圧縮部１４０で圧縮符号化された画像データは、画像処理部１０１から出力され、例えば通信Ｉ／Ｆ１０３からネットワーク１２を介して監視センタ３０に送信、あるいは、イベント記憶部１０６に記録される。

図８は、本実施形態による表示制御処理の一例を示すフローチャートである。このフローチャートによる処理は、監視センタ３０における略リアルタイムでのモニタ表示に用いられる画像データと、イベント記憶部１０６に記録するための画像データとの何れにも適用可能なものである。なお、このフローチャートの処理に先立って、動き検出部１３２は、記憶部１０５から予め基準画像データを読み出して画像メモリに格納しておくものとする。また、マスク合成部１３４は、動き検出部１３２から供給された画像データに対してマスクブロック５１の画像データを合成して、プライバシー領域５０を予め生成しているものとする。

先ず、ステップＳ１０で、画像取込部１３０により、カメラ１００から出力された１フレーム分の画像データが取り込まれる。取り込まれた画像データは、動き検出部１３２に供給される。次のステップＳ１１で、動き検出部１３２により、画像取込部１３０から供給された画像データ（被検出画像データ）と予め取得しておいた基準画像データとが比較される。すなわち、上述したように、動き検出部１３２は、被検出画像データおよび基準画像データを、それぞれ所定サイズのブロックに分割し、ブロック毎に輝度を比較する。

次のステップＳ１２では、ステップＳ１１での比較の結果に基づき差分が所定以上のブロックが存在するか否かが判定される。若し、１フレーム分の被検出画像データ内の全てのブロックで差分が所定以下であると判定された場合、処理がステップＳ１０に戻され、次の１フレームの画像データに対する処理が行われる。

一方、ステップＳ１２で、被検出画像データにおいて差分が所定以下のブロックが検出されたと判定されたら、処理はステップＳ１３に移行され、動き検出部１３２により、差分を検出した、すなわち動きを検出した差分検出ブロックのアドレスが取得される。次のステップＳ１４で、動き検出部１３２により、差分を検出した差分検出ブロックが閾値以上の個数で連結しているか否かが判定される。若し、閾値以上の個数で連結している差分検出ブロックが存在しないと判定されたら、処理はステップＳ１０に戻され、次の１フレームの画像データに対する処理が行われる。

一方、ステップＳ１４で、差分検出ブロックが閾値以上の個数で連結していると判定されたら、処理はステップＳ１５に移行される。ステップＳ１５で、動き検出部１３２から範囲算出部１３３に対して、差分検出ブロックが連結している連結領域の範囲を示すアドレス情報が供給される。そして、範囲算出部１３３により、連結領域を全て含む最小の矩形領域であるフェレ径が求められる。フェレ径を示す情報は、マスク合成部１３４およびフェレ径生成部１３７に供給される。

フェレ径が求められると、処理はステップＳ１６に移行される。ステップＳ１６では、マスク合成部１３４により、予め与えられたプライバシー領域５０を示す情報と、ステップＳ１５で範囲算出部１３３から供給されたフェレ径を示す情報とに基づき、フェレ径の内部５３にプライバシー領域５０が含まれるか否かが判定される。換言すれば、フェレ径とプライバシー領域５０とが重複する領域が存在するか否かが判定される。若し、含まれないと判定したら、処理はステップＳ１８に移行される。

一方、ステップＳ１６で、フェレ径の内部５３にプライバシー領域５０が含まれる、すなわち、フェレ径とプライバシー領域５０とが重複する領域が存在すると判定されたら、処理はステップＳ１７に移行される。ステップＳ１７では、マスク合成部１３４により、プライバシー領域５０における、フェレ径の内部５３に含まれるマスクブロック５１、５１、…によるマスクが解除される。すなわち、マスク合成部１３４は、予め与えられたプライバシー領域５０を示す情報と、ステップＳ１５で範囲算出部１３３から供給されたフェレ径を示す情報とに基づき、フェレ径とプライバシー領域５０とが重複する領域を求め、当該領域に含まれるブロックについて、マスク生成部１３５から供給されるブロック画像データでの置き換えを行わない。マスク解除が行われると、処理はステップＳ１８に移行される。

ステップＳ１８で、フェレ径合成部１３６により、フェレ径に対してフェレ径表示５２が表示される。すなわち、フェレ径合成部１３６は、範囲算出部１３３からのフェレ径を示す情報に基づきフェレ径生成部１３７で生成されたフェレ径表示画像データを、マスク合成部１３４から供給された画像データに対して合成する。フェレ径表示５２が画像データに対して合成されると、一連の表示制御処理が終了される。

なお、上述では、ステップＳ１８でフェレ径表示５２が表示されると、一連の表示制御処理が終了するように説明した。この場合、フェレ径表示５２およびフェレ径の内部５３におけるプライバシー領域５０のマスク解除状態が保持されることになる。これに限らず、ステップＳ１８の後に処理をステップＳ１０に戻し、フェレ径表示５２およびフェレ径の内部５３におけるプライバシー領域５０のマスク解除を動的に行うことも可能である。

本実施形態においては、画像センサ１０により取得された画像データを表示する表示モードとして、下記の５種類の表示モードが用意されている。
（１）ライブ画像モード
（２）画像モニタモード
（３）記録画像モード
（４）ワンショット画像モード
（５）基準画像モード

（１）のライブ画像モードは、カメラ１００で撮像された画像データを略リアルタイムで表示する表示モードである。すなわち、ライブ画像モードでは、画像センサ１０においてモニタ表示のための画像データとして画像処理された画像データが、監視センタ３０においてモニタ表示される。ライブ画像モードは、所謂通常の監視状態において用いられる。

（２）の画像モニタモードは、画像センサ１０から出力される画像データを、映像出力部１１０を介して外部モニタに表示させる表示モードである。画像モニタモードでは、例えば文字情報合成部１３８から出力される画像データが用いられる。画像モニタモードにおいて、画像センサ１０から出力された画像データは、映像出力部１１０において、例えばＮＴＳＣ(National Television System Committee)方式の映像信号に変換されて外部モニタに表示される。画像モニタモードは、例えばカメラ１００の画角調整や、設定スイッチ１０４を用いたプライバシー領域の設定操作などの際に用いられる。

（３）の記録画像モードは、上述した、画像センサ１０のイベント記憶部１０６に画像データを記録するモードである。すなわち、記録画像モードでは、画像センサ１０のイベント記憶部１０６に記録された画像データは、外部ネットワーク２１を介して監視センタ３０により読み出されて、監視センタ３０のモニタに表示される。

（４）のワンショット画像モードは、例えば、監視センタ３０やネットワーク１２に接続された図示されない遠隔操作装置による画像取り込み命令に応じて、画像取込部１３０がカメラ１００から出力された画像データの１フレーム乃至数フレームを取り込み、取り込んだ画像データを表示する表示モードである。画像取り込み命令に応じて取り込まれた画像データは、例えば監視センタ３０に送信され、監視センタ３０のモニタに表示される。

（５）の基準画像モードは、上述した動き検出部１３２における動き検出の基準となる基準画像を表示させるモードである。例えば、記憶部１０５から読み出した基準画像データを監視センタ３０に送信したり、映像出力部１１０に供給してモニタに表示させる。

本実施形態においては、プライバシー領域のマスクおよびフェレ径表示を行うか否かを、これら表示モードに応じて切り替える。図９は、各表示モードにおけるプライバシー領域のマスクおよびフェレ径表示の有無の例を示す。この図９の例では、（１）ライブ画像モード、（２）画像モニタモードおよび（３）記録画像モードでは、プライバシー領域のマスクおよびフェレ径表示を行う。一方、（４）ワンショット画像モードおよび（５）基準画像モードでは、プライバシー領域のマスクおよびフェレ径表示を常に行わない。

また、（１）ライブ画像モード、（２）画像モニタモードおよび（３）記録画像モードにおけるフェレ径表示の有無は、システムデータの設定により切り替えることが可能とされている。この設定は、設定スイッチ１０４に対する操作や、ネットワーク１２に接続されるコンピュータから行うことが可能である。一方、プライバシー領域のマスクは、これら（１）ライブ画像モード、（２）画像モニタモードおよび（３）記録画像モードにおいて、常に表示する。

なお、上述の各表示モードは、一例であって、これに限られるものではない。画像センサ１０がさらに多くの表示モードを持っていてもよいし、少なくとも（１）のライブ画像モードを持っていれば、上述の５種類より少ない表示モードとしてもよい。また、図９に例示した各表示モードにおけるプライバシー領域のマスクおよびフェレ径表示の有無、ならびに、プライバシー領域のマスクおよびフェレ径表示の有無の設定の可否も、この例に限られない。例えば、プライバシー領域のマスクの有無についても、フェレ径と同様に、（１）ライブ画像モード、（２）画像モニタモードおよび（３）記録画像モードにおいて設定可能としてもよい。

また、本実施形態では、ライブ画像モードにおいて、異変検知の際にプライバシー領域５０のうちフェレ径に含まれる部分のマスク解除を行うか否かを、監視システム１の警備対象２０に対する警備のモードによっても制御する。監視システム１により設定される警備モードとしては、警備状態と警備解除状態とがある。警備対象２０の警備モードが警備状態および警備解除状態の何れであるかは、例えば制御装置１１により設定され、当該警備対象２０の各画像センサ１０、１０、…に通知される。

ここで、警備状態および警備解除状態についてより具体的に説明する。警備状態とは、センサから検知信号が発せられた場合に、警報を出力したり、監視センタ３０に異常を知らせる警報を通報する警備モードである。警備状態の中に、警報出力および監視センタ３０への通報の頻度により、高度な警備状態、低度の警備状態など、警備状態を段階的に設けてもよい。一方、警備解除状態とは、センサから検知信号が発せられた場合でも、警報出力や監視センタ３０への通報を行わない警備モードである。

また、警備対象２０に対して、火災、防犯上の異常といった非常事態が発生する場合がある。この場合、警報出力がなされたり、非常通知装置の操作や、火災センサ、防犯窓センサなどによる異常の通知により、監視センタ３０に対して非常事態が通知される。制御装置１１は、警備対象２０から非常事態の発生が通知されると、非常事態の発生を示す情報を当該警備対象２０の各画像センサ１０、１０、…に通知する。

本実施形態においては、警備状態および警備解除状態の何れの警備モードでも、カメラ１００による撮像画像データに基づく異変検知の際には、プライバシー領域５０のうちフェレ径に含まれる部分のマスク解除を行うように制御する。

すなわち、画像センサ１０では、当該画像センサ１０が含まれる警備対象２０の警備モードが警備状態および警備解除状態の何れに設定されていても、マスク合成部１３４は、カメラ１００による撮像画像データに基づき異変が検知された場合に、プライバシー領域５０のうちフェレ径に含まれるマスクブロック５１、５１、…によるマスクを解除した画像データを生成すると共に、フェレ径合成部１３６により、フェレ径に対してフェレ径表示画像データを合成する。

これに限らず、警備モードが警備状態に設定されている場合にのみ、当該異変検知の際にプライバシー領域５０のうちフェレ径に含まれる部分のマスク解除、ならびに、フェレ径に対するフェレ径表示５２の表示を行うように制御してもよい。この場合、警備モードを警備解除状態に設定した状態で当該異変が検知されても、プライバシー領域５０においてマスク解除を行わない。

また、警備モードが警備解除状態であって、且つ、非常事態の発生が通知された場合に、当該異変検知の際にプライバシー領域５０のうちフェレ径に含まれる部分のマスク解除、ならびに、フェレ径に対するフェレ径表示５２の表示を行うように制御することもできる。この場合、警備モードが警備状態に設定された状態で当該異変検知の際にプライバシー領域５０のうちフェレ径に含まれる部分のマスク解除を行うように制御してもよいし、警備状態に設定された状態でマスク解除を行わないように制御することもできる。

１ 監視システム
１０ 画像センサ
１１ 制御装置
１２ ネットワーク
３０ 監視センタ
５０ プライバシー領域
５１ マスクブロック
５２ フェレ径表示
１００ カメラ
１０１ 画像処理部
１０２ 制御部
１０３ 通信Ｉ／Ｆ
１０４ 設定スイッチ
１０５ 記憶部
１１０ 映像出力部
１３０ 画像取込部
１３２ 動き検出部
１３３ 範囲算出部
１３４ マスク合成部
１３５ マスク生成部
１３６ フェレ径合成部
１３７ フェレ径生成部

Claims (7)

1. 撮像手段で監視領域を撮像した画像データを、該監視領域の監視を行う監視センタにネットワークを介して送信する画像センサであって、
   前記撮像手段で撮像した前記画像データの変化を検知する検知手段と、
   前記撮像手段で撮像した前記画像データのうち前記監視領域内の指定領域をマスクするマスク手段と、
   前記マスク手段で前記指定領域をマスクした画像データを前記監視センタに送信する送信手段と
   を有し、
   前記マスク手段は、
   前記検知手段で前記変化が検知された場合に、前記指定領域のうち、該指定領域と該変化が検知された部分を含む所定領域とが重複する領域に対して、前記マスクの解除を行う
   ことを特徴とする画像センサ。
2. 前記監視領域に対する警備モードとして、警備状態および警備解除状態のうち何れか一方が設定され、
   前記マスク手段は、
   前記警備モードが前記警備状態に設定されている場合に、前記検知手段で前記変化が検知された際に前記マスクの解除を行う
   ことを特徴とする請求項１に記載の画像センサ。
3. 前記マスク手段は、
   さらに、前記警備モードが前記警備解除状態に設定されている場合に、前記検知手段で前記変化が検知された際に前記マスクの解除を行う
   ことを特徴とする請求項２に記載の画像センサ。
4. 前記マスク手段は、
   さらに、前記警備モードが前記警備解除状態に設定されており、且つ、非常事態が発生した場合あるいは非常事態が通知された場合に、前記検知手段で前記変化が検知された際に前記マスクの解除を行う
   ことを特徴とする請求項２に記載の画像センサ。
5. 前記所定領域に対して枠表示を行う枠表示手段をさらに有する
   ことを特徴とする請求項１乃至請求項４の何れか１項に記載の画像センサ。
6. 撮像手段で監視領域を撮像した画像データを、該監視領域の監視を行う監視センタにネットワークを介して送信する画像センサの画像処理方法であって、
   検知手段が、前記撮像手段で撮像した前記画像データの変化を検知する検知ステップと、
   マスク手段が、前記撮像手段で撮像した前記画像データのうち前記監視領域内の指定領域をマスクするマスクステップと、
   送信手段が、前記マスクステップで前記指定領域をマスクした画像データを前記監視センタに送信する送信ステップと
   を有し、
   前記マスクステップは、
   前記検知ステップで前記変化が検知された場合に、前記指定領域のうち、該指定領域と該変化が検知された部分を含む所定領域とが重複する領域に対して、前記マスクの解除を行う
   ことを特徴とする画像処理方法。
7. 画像センサが撮像手段で監視領域を撮像した画像データを、該監視領域の監視を行う監視センタにネットワークを介して送信する監視システムであって、
   前記画像センサは、
   前記撮像手段で撮像した前記画像データの変化を検知する検知手段と、
   前記撮像手段で撮像した前記画像データのうち前記監視領域内の指定領域をマスクするマスク手段と、
   前記マスク手段で前記指定領域をマスクした画像データを前記監視センタに送信する送信手段と
   を有し、
   前記マスク手段は、
   前記検知手段で前記変化が検知された場合に、前記指定領域のうち、該指定領域と該変化が検知された部分を含む所定領域とが重複する領域に対して、前記マスクの解除を行い、
   前記監視センタは、
   前記画像センサから送信された前記画像データを表示する表示手段を有する
   ことを特徴とする監視システム。

Images