JP2005012678A

JP2005012678A - 監視用撮像装置および監視方法

Info

Publication number: JP2005012678A
Application number: JP2003176867A
Authority: JP
Inventors: Hiroyuki Kanda; 博之神田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-06-20
Filing date: 2003-06-20
Publication date: 2005-01-13

Abstract

【課題】監視対象の撮像画像を用いて監視対象の状態変化を検知するにあたって、ノイズの影響による誤検知の可能性を低減し、画像処理に要する演算量を削減する。
【解決手段】監視用撮像装置１０は、撮像部１１およびデジタル変換部１２にて監視対象の画像データを生成する。ＪＰＥＧエンコード部１３は、画像データをＪＰＥＧ変換するとともに、ブロックごとの画像の特徴的パラメータを算出する。特徴的パラメータは、例えばＪＰＥＧ変換の過程で算出されるＤＣ成分値である。監視装置５０では、ＤＣ成分差分演算部５３にて、ブロックごとに、参照ＤＣ成分保持部５２に保持される参照パラメータと画像の特徴的パラメータとの差分を算出する。判定通知部５５は、ＤＣ成分差分演算部５３にて算出された差分に基づいて、前記監視対象の状態変化を検知する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、監視対象を撮像して、監視対象の画像を用いて監視対象の状態変化を検知する監視用撮像装置に関する。
【０００２】
【従来の技術】
従来より、監視対象を撮像して得られた画像を処理することにより、監視対象の状態変化を検知する監視システムが知られている。監視システムは、監視対象の状態変化を検知すると、その旨を監視者に通知する。監視者は、監視システムからの通知を受けると、監視対象に不審人物が存在することや監視対象で火災が発生しているなどの異常な状態を確認できる。
【０００３】
従来のこの種の監視システムは、異常のない状態の監視対象の画像（参照画像）をあらかじめ用意しておき、撮像にて得られた画像（撮像画像）と参照画像とを比較することにより、監視対象に状態変化が発生したか否かを判断する。このとき、監視システムは、撮像画像と参照画像とを画素単位で比較して、両画像の差分を分析し、参照画像に対する撮像画像の変化を検知している。このように画素単位で撮像画像と参照画像とを比較する監視システムは、例えば特許文献１に記載されている。
【０００４】
【特許文献１】
特開平１１−２３９３３７号公報（第７−８頁、第７図）
【０００５】
【発明が解決しようとする課題】
しかしながら、上記の従来の監視システムでは、撮像対象の状態変化を検知するために撮像画像と参照画像とを画素単位で比較する処理を行なっているので、画素単位で発生するノイズの影響を受け易く、また、演算量が多くなるという問題があった。
【０００６】
本発明は、このような問題を解決するためになされたもので、監視対象の撮像画像を用いて監視対象の状態変化を検知するにあたって、画素単位で発生するノイズの影響による誤検知の可能性を低減し、また、演算量を削減できる監視用撮像装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の監視用撮像装置は、監視対象を撮像して画像データを生成する撮像手段と、複数の画素からなるブロックごとの画像の特徴的パラメータを算出する演算を含む符号化処理によって、前記撮像手段にて生成された画像データを符号化する符号化手段と、前記特徴的パラメータのブロックごとの参照パラメータを保持する参照パラメータ保持手段と、前記特徴的パラメータと前記参照パラメータとに基づいて、前記監視対象の状態変化を検知する変化検知手段とを備えている。
【０００８】
この構成により、変化検知手段がブロックごとの画像の特徴的パラメータと参照パラメータとに基づいて監視対象の状態変化を検知するので、画素単位で発生するノイズの影響を抑え、かつ、画素ごとに撮像画像と参照画像とを比較する場合に比べて演算量を少なくできる。特に、本発明の監視用撮像装置では、符号化手段がブロックごとの画像の特徴的パラメータを算出する演算を含む処理によって画像を符号化することに着目し、この符号化の過程で算出される特徴的パラメータを有効に活用して、監視対象の状態変化を少ない演算量にて検知できる。ここで、監視対象の状態変化とは、監視対象には存在しないはずの被写体が存在する場合および監視対象の形状または色が変化した場合を含む。
【０００９】
また、本発明の監視用撮像装置は、前記ブロックごとに、前記特徴的パラメータと前記参照パラメータとの差分を算出する差分演算手段を備えている。そして、前記変化検知手段は、前記差分演算手段にて算出された差分に基づいて、前記監視対象の状態変化を検知する。
【００１０】
この構成により、変化検知手段は差分演算手段にて算出された差分に基づいて監視対象の状態変化を検知するので、特徴的パラメータと参照パラメータとを比較してその差が大きいときに監視対象に状態変化が生じたことを検知できる。また、特徴パラメータと参照パラメータとの差をとるという簡単な演算で監視対象の状態変化を検知できるので、演算量が少なくて済む。
【００１１】
また、本発明の監視用撮像装置では、前記符号化手段は、前記画像データを符号化する過程でＤＣＴ変換を行ない、前記特徴的パラメータは、前記ＤＣＴ変換にて算出されるＭＣＵごとのＤＣ成分値に基づく値である。
【００１２】
この構成により、画像データをＤＣＴ変換する過程で算出されるＭＣＵごとのＤＣ成分を利用して、監視対象の状態変化を検出できる。なお、画像データを符号化する過程でＤＣＴ変換を行なう符号化手段は、例えばＪＰＥＧエンコーダまたはＭＰＥＧエンコーダである。また、ＭＣＵごとのＤＣ成分値に基づく値には、ＤＣ成分値そのものも含まれる。
【００１３】
また、本発明の監視用撮像装置では、前記特徴的パラメータは、前記ブロックごとの輝度平均値および前記ブロックごとの色差平均値を含み、前記参照パラメータは、前記ブロックごとの輝度参照値および前記ブロックごとの色差参照値を含む。そして、前記差分演算手段は、前記ブロックごとに、前記輝度平均値と前記輝度参照値との輝度差分、および前記色差平均値と色差参照値との色差差分を算出し、前記変化検知手段は、前記輝度差分と前記色差差分との重み付け加算値を閾値と比較することにより、前記監視対象の状態変化を検知する。
【００１４】
この構成により、参照画像に対して撮像画像が多少ずれたとしても、輝度平均値および色差平均値には大きく影響しないので、撮像手段が監視対象に対して多少ずれただけでは、監視対象の状態変化が検知されず、したがって、誤検知の可能性を軽減できる。さらに、輝度差分と色差差分とが重み付け加算されて、閾値と比較されるので、輝度の変化および色差の変化の重視の程度を適切に設定できる。
【００１５】
また、本発明の監視用撮像装置は、前記輝度差分と前記色差差分との重み付け加算に用いる重み係数を可変に設定する係数設定手段を備えている。
【００１６】
この構成により、係数設定手段が重み係数を可変に設定するので、状況に応じて輝度の変化および色彩の変化のいずれかを重視するかを任意に設定できる。例えば、監視対象に日光が当たっている場合には、時間の経過と共に被写体である監視対象の輝度が変化するが、このような変化を無視したい場合には、輝度の重み係数を小さく設定すればよい。
【００１７】
また、本発明の監視用撮像装置では、前記係数設定手段は、前記ブロックごとに前記重み係数を設定する。
【００１８】
この構成により、上記のような重み係数の設定をブロックごとに行なうことができ、より適切に監視対象の状態変化を検知できる。
【００１９】
また、本発明の監視用撮像装置は、さらに画像領域の中で状態変化の検知を行なうべき領域を判定する領域判定手段を備えており、前記変化検知手段は、前記領域判定手段にて状態変化の検知を行なうべきであると判定された領域内の監視対象の状態変化を検知する。
【００２０】
この構成により、撮像手段にて得られる画像の領域の中で、監視対象の状態変化を検知する必要がある領域を特定することができ、それ以外の領域での被写体の変化を監視対象の状態変化として誤検知することを防止できる。また、通常の撮像手段で得られる長方形等の画像と異なる任意の形状の領域を、監視対象の状態変化を検知すべき領域として設定できる。
【００２１】
本発明の監視装置は、監視対象を撮像して得られた画像データを符号化する符号化処理の過程で算出された前記画像データの複数の画素からなるブロックごとの画像の特徴的パラメータを取得する特徴的パラメータ取得手段と、前記特徴的パラメータのブロックごとの参照パラメータを保持する参照パラメータ保持手段と、前記特徴的パラメータと前記参照パラメータとに基づいて、前記監視対象の状態変化を検知する変化検知手段とを備えている。
【００２２】
この監視装置を撮像装置に設ければ、上記の監視用撮像装置と同様の装置が構成され、上記の監視用撮像装置と同様の作用効果を奏する。また、監視システムが複数の撮像装置を含むときには、各撮像装置に接続されたセンタ装置にこの監視装置を設けることができる。これにより、各撮像装置のコストアップを抑えられるので、特に多数の撮像装置を含む監視システムのコストアップを抑制できる。
【００２３】
本発明は、上述したような装置の態様に限定されない。本発明の別の態様は、監視方法、監視方法をコンピュータに実行させるためのプログラム、およびそのプログラムを格納した記録媒体である。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２５】
図１は、本実施の形態の監視撮像装置１０の構成を示すブロック図であり、図２は、本実施の形態のセンタ装置２０の構成を示すブロック図である。図３は、監視用撮像装置１０およびセンタ装置２０を含む監視システム１の構成を示す図である。以下では、まず図３を参照して監視システム１の全体の構成を説明した後に、図１および図２を参照して監視用撮像装置１０およびセンタ装置２０の構成を説明する。
【００２６】
図３に示すように、監視システム１は、センタ装置２０および複数の監視用撮像装置１０を含んでいる。各監視用撮像装置１０は、監視装置５０を備えている。複数の監視用撮像装置１０は、センタ装置２０にネットワークで接続されている。ネットワークは有線であっても無線であってもよい。また、ネットワークはインターネットのような広域ネットワークであっても、ＬＡＮのようなネットワークであってもよい。
【００２７】
各監視用撮像装置１０は、監視対象Ｐを撮像する位置に設置される。監視用撮像装置１０は、監視対象Ｐを撮像して得られた撮像画像をセンタ装置２０に送信する。撮像画像は、監視用撮像装置１０またはその他の装置にて保存されてもよい。監視用撮像装置１０は、撮像画像の送信または保存のために、撮像画像の画像データを圧縮符号化する。また、監視用撮像装置１０は、撮像画像を用いて監視対象Ｐの状態変化を検知する。
【００２８】
各監視用撮像装置１０には、警報装置３０が接続されている。警報装置３０は、監視用撮像装置１０にて監視対象Ｐの状態変化が検知されると、警告音を鳴らす。
【００２９】
監視対象Ｐは、例えば立入禁止場所である。監視用撮像装置１０は、立入禁止場所に侵入した人物を撮像すると、撮像画像を用いて監視対象Ｐの状態変化を検知する。また、監視システム１は、監視対象Ｐの火災も検知できる。監視用撮像装置１０は、監視対象Ｐからの出火または監視対象Ｐに発生した煙を撮像すると、撮像画像を用いて監視対象Ｐの状態変化を検知する。
【００３０】
監視システム１が、例えばビル内の各監視対象Ｐを監視するシステムであるときには、センタ装置２０はビルの監視室に設置される。また、センタ装置２０が警備会社に設置されて、各監視用撮像装置１０と接続されてもよい。
【００３１】
監視システム１は、上記のような防犯・防災の目的で監視対象Ｐを監視するためのシステムに限られない。例えば、監視用撮像装置１０に相当する装置を家庭の玄関先に設置して、センタ装置２０に相当する装置を家の中に設置してもよい。これにより、玄関先の来客を検知するシステムが構成される。
【００３２】
図１は、監視用撮像装置１０の構成を示すブロック図である。監視用撮像装置１０は、撮像部１１、デジタル変換部１２、ＪＰＥＧエンコード部１３、送受信部１４および監視装置５０を備えている。撮像部１１は、レンズ１１０、開口部１１１及び撮像素子１１２を備えている。被写体である監視対象からの光は、レンズ１１０を通過し、開口部１１１の開口の大きさに応じた光量だけ撮像素子１１２に入射する。撮像素子１１２は、ＲＧＢの各色のフィルタを備え、入射光を光量に応じたＲＧＢの電気信号に変換する。撮像部１１は、図示しない制御部の制御により、所定の間隔で監視対象を撮像する。撮像部１１は、例えば１秒間隔で監視対象を撮像する。
【００３３】
デジタル変換部１２は、撮像素子１１２にて得られたＲＧＢの各色の電気信号をデジタルデータに変換する。デジタル変換部１２の変換処理によってＲＧＢの画素値を示す非圧縮かつデジタルの画像データが生成される。この撮像部１１およびデジタル変換部１２によって、本発明の撮像手段が構成される。
【００３４】
ＪＰＥＧエンコード部１３は、デジタル変換部１２にて得られた画像データをＪＰＥＧ形式の画像データに圧縮符号化する。ＪＰＥＧエンコード部１３は、まず、ＲＧＢの画像データをＹＵＶの画像データに変換する。Ｙは画素の輝度である。ＵおよびＶはそれぞれ画素の色差であって、Ｕ＝Ｂ−Ｙ、Ｖ＝Ｒ−Ｙである。以下では、色差をＵとＶとで区別するときは、それぞれ「Ｕ色差」および「Ｖ色差」と表記する。
【００３５】
ＹＵＶ形式に変換された画像データは、Ｙ、ＵおよびＶの画像データごとにＤＣＴ変換（離散コサイン変換）される。ＤＣＴ変換では、輝度画像データは、８画素×８画素のＭＣＵ（ＭｉｎｉｍｕｍＣｏｄｅＵｎｉｔ）ごとのデータに分割される。また、Ｕ色差画像データおよびＶ色差画像データは１６画素×１６画素の領域ごとに分割され、この１６画素×１６画素の色差画像データが間引きされて、８画素×８画素のＭＣＵごとのデータに分割される。本実施例の１６画素×１６画素からなる領域は、本発明のブロックに相当する。
【００３６】
ＭＣＵ内の画像データをＳｙｘ（ｙ，ｘ＝０，１，…，７）とし、ＤＣＴ変換係数をＳｖｕ（ｖ，ｕ＝０，１，…，７）とすると、各ＭＣＵは、式（１）によってＤＣＴ変換される。
【数１】

ここで、ｖ＝ｕ＝０のときのＤＣＴ変換係数Ｓ００は、ＤＣ成分（直流成分）である。また、ｖ＝ｕ＝０以外のときのＤＣＴ変換係数Ｓｖｕは、ＡＣ成分（交流成分）である。式（１）からも明らかな通り、ＤＣ成分であるＳ００は、ＭＣＵ内での画像データの平均値を表す。したがって、輝度画像データのＤＣ成分はＭＣＵごとの輝度の平均値を表し、色差画像データのＤＣ成分はＭＣＵごとの色差の平均値を表す。ただし、色差画像データのＤＣ成分は、画素を間引きしたうえでの平均値を表す。
【００３７】
ＪＰＥＧエンコード部１３は、上記のようにＤＣＴ変換された画像データに対して、さらに量子化処理およびエントロピー符号化処理を施し、ＪＰＥＧ形式の画像データを生成する。ＪＰＥＧエンコード部１３は、本発明の符号化手段に相当する。
【００３８】
送受信部１４は、ネットワークを介してセンタ装置２０との間で通信を行なう。送受信部１４は、ＪＰＥＧエンコード部１３にて圧縮符号化された撮像画像をセンタ装置２０に送信する。また、送受信部１４は、後述の通知信号をセンタ装置２０に送信し、センタ装置２０から後述の閾値設定信号、重み係数設定信号、更新間隔設定信号および判定領域設定信号を受信する。
【００３９】
監視装置５０は、監視対象の画像データを用いた画像処理により監視対象の状態変化を検知する。上述のように、デジタル変換部１２からは非圧縮の撮像画像の画像データが出力されるので、この画像データをあらかじめ用意した参照画像の画像データと比較すれば、監視対象の状態変化を検知できる。しかしながら、撮像画像と参照画像とを画素単位で比較すると、画素単位で発生するノイズの影響を受け易く、かつ画像処理の演算量が大きくなる。そこで、本実施の形態では、ＪＰＥＧエンコード部１３にて画像データを圧縮符号化する過程でブロックごとの画像の特徴的パラメータが算出されることに着目して、この特徴的パラメータを有効に活用して監視対象の状態変化を検知する。
【００４０】
ここで、「特徴的パラメータ」とは、ブロック全体の平均的な特徴を示すパラメータを意味する。上述のように、ＪＰＥＧエンコード部１３は、ＲＧＢの画像データを変換して、輝度画像データと２種類の色差画像データを生成する。そして、ＪＰＥＧエンコード部１３は、それぞれの画像データをＪＰＥＧ形式に圧縮符号化する際のＤＣＴ変換の過程でＭＣＵごとのＤＣ成分を算出する。輝度画像データのＤＣ成分値は、８画素×８画素のブロックに含まれる画素の輝度の平均値であり、色差画像データのＤＣ成分値は、１６画素×１６画素のブロックに含まれる、間引き後に残った画素の色差の平均値である。
【００４１】
本実施の形態の監視装置５０は、４つの輝度ＤＣ成分値の平均値、すなわち１６画素×１６画素のブロックに含まれる画素の輝度の平均値、および１６画素×１６画素のブロックから得られる色差ＤＣ成分値を特徴的パラメータとして用いる。このように、ブロックに含まれる画素値の平均値を特徴パラメータとして用いれば、参照画像に対して撮像画像が多少ずれたとしても、輝度平均値および色差平均値には大きく影響しないので、撮像手段が監視対象に対して多少ずれただけでは、監視対象の状態変化が検知されない。したがって、監視対象の状態変化を誤検知の可能性が軽減される。
【００４２】
なお、本発明の特徴的パラメータは、上記のＪＰＥＧのＤＣＴ変換にて得られるＤＣ成分に限らず、画像データを符号化する過程で算出されるブロックごとのパラメータであって、ブロック全体の平均的な特徴を示すパラメータであれば、他のパラメータでもよい。
【００４３】
上記のように画像の特徴的パラメータであるＤＣ成分値を用いて監視対象の状態変化を監視装置５０で検知するために、ＪＰＥＧエンコード部１３は、上述した通常の圧縮符号化処理に加えて、ＤＣＴ変換処理の過程で算出されるＭＣＵごとのＤＣ成分値を出力する処理を行なう。
【００４４】
図４および図５は、画像データをブロックに分割する処理を説明する図である。図４の例では、輝度画像データ、Ｕ色差画像データおよびＶ色差画像データは、それぞれ３２画素×４８画素の大きさを有する。上述したように、ＪＰＥＧエンコード部１３のＤＣＴ変換処理では、輝度画像データは８画素×８画素の大きさのＭＣＵに分割される。そして、Ｕ色差画像データおよびＶ色差画像データからは、１６画素×１６画素の領域ごとに８画素×８画素のＭＣＵが生成される。
【００４５】
この処理によって、例えば図４に示す１６画素×１６画素のブロック４１からは、図５（ａ）に示すように８画素×８画素の輝度画像データのＭＵＣが４つ得られ、８画素×８画素のＵ色差画像データのＭＣＵおよび８画素×８画素のＶ色差画像データのＭＣＵがそれぞれ１つずつ得られる。そして、ＪＰＥＧエンコード部１３は、４つの輝度画像データのＭＣＵのそれぞれのＤＣ成分値の平均を算出する。以下では、輝度画像データについては、４つのＭＣＵのＤＣ成分値の平均値を「輝度ＤＣ成分値」という。また、Ｕ色差画像データおよびＶ色差画像データのＤＣ成分値をそれぞれ「Ｕ色差ＤＣ成分値」および「Ｖ色差ＤＣ成分値」という。ただし、「Ｕ色差ＤＣ成分値」と「Ｖ色差ＤＣ成分値」との区別が特に必要でないときは、両者を単に「色差ＤＣ成分値」という。
【００４６】
ブロック４１からは、輝度ＤＣ成分値、Ｕ色差ＤＣ成分値およびＶ色差成分値がそれぞれ１つずつ得られる。そして、３２画素×４８画素からなる画像データ全体からは、輝度ＤＣ成分値、Ｕ色差ＤＣ成分値およびＶ色差ＤＣ成分値がそれぞれ６個ずつ得られ、合計１８個のＤＣ成分値が得られる。なお、「輝度ＤＣ成分値」、「Ｕ色差ＤＣ成分値」および「Ｖ色差ＤＣ成分値」は、いずれも１６画素×１６画素のブロックに含まれる画素の平均的な値であり、本発明の特徴的パラメータに相当する。
【００４７】
ＪＰＥＧエンコード部１３は、一枚の画像データを圧縮符号化するごとに、監視装置５０に上記の１８個のＤＣ成分値を出力する。
【００４８】
図１に戻って、監視装置５０は、ＤＣ成分保持部５１、参照ＤＣ成分保持部５２、ＤＣ成分差分演算部５３、閾値保持部５４、判定通知部５５、判定エリア情報保持部５６および判定条件設定部５７を備えている。ＤＣ成分保持部５１は、ＪＰＥＧエンコード部１３から出力されるＤＣ成分値を取得して保持する。ＤＣ成分保持部５１は、本発明の特徴的パラメータ取得手段に相当する。
【００４９】
参照ＤＣ成分保持部５２は、ＤＣ成分保持部５１に記憶されているＤＣ成分値を取り込んで参照ＤＣ成分値として保持する。参照ＤＣ成分値は、撮像画像のＤＣ成分値の参照値として用いられる値であり、後からＤＣ成分保持部５１にて取得される撮像画像の状態変化を検知するために用いられる。この参照ＤＣ成分値は、本発明の参照パラメータに相当する。
【００５０】
ＤＣ成分値を取り込んで参照ＤＣ成分値を更新するための更新間隔は、参照ＤＣ成分保持部５２に設定されている。この更新間隔は可変である。撮像部１１が上述のように１秒間隔で監視対象を撮像するときには、参照ＤＣ成分保持部５２は、例えば１０秒間隔、すなわち１０枚の画像ごとに１枚の画像のＤＣ成分値を取得する。なお、上述の説明からも明らかな通り、参照ＤＣ成分保持部５２は、１６画素×１６画素のブロックごとに参照ＤＣ成分値を保持している。これらの参照ＤＣ成分値は、ＤＣ成分保持部５１に保持されるＤＣ成分値と対応している。参照ＤＣ成分保持部５２は、本発明の参照パラメータ保持手段に相当する。
【００５１】
なお、本発明の参照パラメータは、監視用撮像装置１０の撮像にて得られた画像から生成されるＤＣ成分値には限られない。参照パラメータは、監視対象の状態変化を検知するために特徴的パラメータの参照値となるパラメータであれば、どのように生成されてもよい。
【００５２】
ＤＣ成分差分演算部５３は、対応するＭＣＵごとに、ＤＣ成分保持部５１に保持されている撮像画像のＤＣ成分値と、参照ＤＣ成分保持部５２に保持されている参照ＤＣ成分値との差分を演算する。このＤＣ成分差分演算部５３は、本発明の差分演算手段に相当する。上述のように、ＤＣ成分値には、輝度ＤＣ成分値および色差ＤＣ成分値があるので、以下では、輝度ＤＣ成分値の差分を「輝度差分」、色差ＤＣ成分値の差分を「色差差分」という。
【００５３】
閾値保持部５４は、閾値Ｔ、輝度差分の重み係数Ｗ１および色差差分の重み係数Ｗ２を保持している。閾値Ｔは、監視対象の状態変化を検知するために用いられる。重み係数Ｗ１およびＷ２は、輝度差分と色差差分とを重み付け加算するために用いられる。閾値保持部５４に保持される閾値Ｔおよび重み係数Ｗ１およびＷ２は、ブロックごとに定義されている。そして、閾値Ｔおよび重み係数Ｗ１およびＷ２は可変である。
【００５４】
判定エリア情報保持部５６は、判定領域の情報を保持している。判定領域は、撮像にて得られる画像の領域中の状態変化を検知すべき領域である。判定領域は、ＤＣ成分差分演算部５３での差分演算の対象となるブロックを最小単位として設定されている。本実施の形態では、１６画素×１６画素で１ブロックが構成されるので、この１６画素×１６画素の大きさを最小単位として判定領域が設定される。判定領域は、可変である。
【００５５】
判定条件設定部５７は、送受信部１４から、閾値設定信号、重み係数設定信号、更新間隔設定信号および判定領域設定信号を取り込む。閾値設定信号は、閾値保持部５４に保持された閾値Ｔを所定の値に設定するための制御信号である。重み係数設定信号は、閾値保持部５４に保持された重み係数Ｗ１、Ｗ２を所定の値に設定するための制御信号である。更新間隔設定信号は、参照ＤＣ成分保持部５２がＤＣ成分保持部５１からＤＣ成分値を取り込む間隔（更新間隔）を設定するための制御信号である。判定領域設定信号は、判定エリア情報保持部５６に保持される判定領域を設定するための制御信号である。判定条件設定部５７は、これらの制御信号に基づいて、閾値、重み係数、更新間隔および判定領域を設定する。この判定条件設定部５７は、本発明の係数設定手段に相当する。
【００５６】
判定通知部５５は、ＤＣ成分差分演算部５３にて算出された輝度差分および色差差分に基づいて、監視対象に状態変化があったか否かを判定する。判定通知部５５は、監視対象に状態変化があったと判定したときに、送受信部１４に通知信号を出力し、警報装置３０に警報を鳴らさせるための信号を出力する。送受信部１４は、ネットワークを介して通知信号をセンタ装置２０に送信する。警報装置３０は、信号を受けると、警報を鳴らす。判定通知部５５は、本発明の変化検知手段を構成する。
【００５７】
次に、監視対象の状態変化を検知するための監視装置５０の動作を説明する。以下では、図４に示した画像のＤＣ成分値が参照ＤＣ成分保持部５２に保持されている例、すなわち図４の画像を参照画像とする例を説明する。
【００５８】
図６は、監視対象を撮像して得られた撮像画像を示す図である。図６に示す撮像画像には、図４に示す参照画像には存在しない被写体４２が存在している。この被写体４２は、例えば、立ち入り禁止である監視対象に立ち入った人物または監視対象にて火災が発生したときの炎である。
【００５９】
ＤＣ成分差分演算部５３は、ＤＣ成分保持部５１から撮像画像（図６）のＤＣ成分値を取得し、参照ＤＣ成分保持部５２から参照画像（図４）の参照ＤＣ成分値を取得する。そして、ＤＣ成分差分演算部５３は、対応するＭＣＵごとに、撮像画像のＤＣ成分値と参照ＤＣ成分値との差分を算出する。ここで、ＤＣ成分値の差分とは、両ＤＣ成分値の差の絶対値を意味する。以下では、ブロック４１の差分算出処理を説明する。ブロック４１と同様の１６画素×１６画素の他のブロックもブロック４１と同様にして差分が算出される。
【００６０】
以下の説明では、参照ＤＣ成分保持部５２に保持された参照画像の輝度参照ＤＣ成分値、Ｕ色差参照ＤＣ成分値およびＶ色差参照ＤＣ成分値をそれぞれＹ_ｎ−１、Ｃｂ_ｎ−１およびＣｒ_ｎ−１と表記し、ＤＣ成分保持部５１に保持された撮像画像の輝度ＤＣ成分値、Ｕ色差ＤＣ成分値およびＶ色差ＤＣ成分値をそれぞれＹ_ｎ、Ｃｂ_ｎおよびＣｒ_ｎと表記する。また、輝度差分、Ｕ色差差分およびＶ色差差分をそれぞれ、ＤＹ、ＤＣｂおよびＤＣｒと表記する。輝度差分ＤＹ、Ｕ色差差分ＤＣｂおよびＶ色差差分ＤＣｒは、それぞれＤＹ＝｜Ｙ_ｎ−Ｙ_ｎ−１｜、ＤＣｂ＝｜Ｃｂ_ｎ−Ｃｂ_ｎ−１｜およびＤＣｒ＝｜Ｃｒ_ｎ−Ｃｒ_ｎ−１｜である。
【００６１】
図７は、ブロック４１のＤＣ成分値を示す図である。図７（ａ）は、参照ＤＣ成分保持部５２に保持された参照画像の輝度参照ＤＣ成分値Ｙ_ｎ−１、Ｕ色差参照ＤＣ成分値Ｃｂ_ｎ−１およびＶ色差参照ＤＣ成分値Ｃｒ_ｎ−１を示しており、図７（ｂ）は、ＤＣ成分保持部５１に保持された撮像画像の輝度ＤＣ成分値Ｙ_ｎ、Ｕ色差ＤＣ成分値Ｃｂ_ｎおよびＶ色差ＤＣ成分値Ｃｒ_ｎを示している。図７に示すように、本実施の形態では、Ｙ_ｎ−１＝−２００、Ｃｂ_ｎ−１＝１２０およびＣｒ_ｎ−１＝−８０であり、Ｙ_ｎ＝−３００、Ｃｂ_ｎ＝１０およびＣｒ_ｎ＝４０である。したがって、ブロック４１の輝度差分ＤＹ、Ｕ色差差分ＤＣｂおよびＶ色差差分ＤＣｒは、それぞれＤＹ＝｜−３００−（−２００）｜＝１００、ＤＣｂ＝｜１０−１２０｜＝１１０およびＤＣｒ＝｜−４０−８０｜＝１２０である。ＤＣ成分差分演算部５３は、ブロック４１以外の領域についても、上記と同様にして、１６画素×１６画素のブロックごとに差分ＤＹ、ＤＣｂおよびＤＣｒを出力する。
【００６２】
判定通知部５５は、ＤＣ成分差分演算部５３より出力された差分ＤＹ、ＤＣｂおよびＤＣｒを取得すると、ブロックごとに式（２）を用いて判定値Ｏｕｔを算出する。
【数２】

ここで、上述したように、Ｗ１は輝度差分に対する重み係数であり、Ｗ２は色差差分に対する重み係数である。重み係数Ｗ１およびＷ２は、いずれも０以上１以下の値である。また、Ｔは閾値である。重み係数Ｗ１およびＷ２は、監視対象の状態変化を検知する際の輝度と色差との影響度の大きさである。したがって、例えば、監視対象の輝度変化を軽視してもよい場合（例えば、監視対象に日光が当たっていて１日を通して輝度が変化する場合）には、輝度の重み係数Ｗ１を色差の重み係数Ｗ２に比べて小さく設定すればよい。また、閾値Ｔは、撮像画像が参照画像に対してどの程度相違しているときに、撮像対象の状態変化が発生したとするかを決定する値である。
【００６３】
本実施の形態では、Ｗ１＝０．５、Ｗ２＝１．０、Ｔ＝１００である。各値を式（２）に代入すると、
【数３】

となる。
【００６４】
判定通知部５５は、ブロック４１以外のブロックについても、上記と同様の処理により判定値Ｏｕｔを演算する。ただし、判定部通知部５５は、判定エリア情報保持部５６に保持された判定領域の情報に基づいて、判定処理を行なうべきブロックについてのみ上記の演算を行なう。また、重み係数Ｗ１、Ｗ２および閾値Ｔは、閾値保持部５４に保持された値を用いる。このとき、重み係数Ｗ１、Ｗ２および閾値Ｔがブロックごとに異なる値であるときには、判定通知部５５は、式（２）により判定値Ｏｕｔを算出する処理を行なうごとに閾値保持部５４を参照する。判定通知部５５によって、本発明の領域判定手段が構成される。
【００６５】
判定通知部５５は、判定値Ｏｕｔが１より大きいとき、すなわち、輝度差分と色差差分との重み付け加算値が閾値Ｔを上回るときに、撮像画像と参照画像とが異なると判定して、監視対象に状態変化が生じたことを検知する。そして、判定通知部５５は、監視対象に状態変化があったことを示す通知信号を送受信部１４に出力し、警報装置３０に警報を鳴らせるための信号を出力する。通知信号は、送受信部１４からセンタ装置２０に送信される。また、警報装置３０は、信号を受けると、警報を鳴らす。
【００６６】
次に、センタ装置２０の構成を説明する。
【００６７】
図２は、センタ装置２０の構成を示すブロック図である。センタ装置２０は、送受信部２１、記憶部２２、モニタ２３、ＪＰＥＧデコード部２４、スピーカ２５および制御部２６を備えている。センタ装置２０は、典型的にはパーソナルコンピュータで構成される。そして、制御部２６は、ＣＰＵで構成される。制御部２６が所定のプログラムを実行することにより、報知部２６１および設定信号生成部２６２が構成される。
【００６８】
送受信部２１は、撮像装置１０との間で通信を行なう。送受信部２１は、撮像装置１０に閾値設定信号、重み係数設定信号、更新間隔設定信号および判定領域設定信号を送信し、また、撮像装置１０から圧縮符号化された撮像画像および通知信号を受信する。記憶部２２は、送受信部２１にて受信した撮像画像を記憶する。モニタ２３は、送受信部２１にて受信した撮像画像および記憶部２２に記憶された撮像画像を表示する。また、モニタ２３は、監視対象の状態変化があったことを示す報知画像を表示する。ＪＰＥＧデコード部２４は、撮像画像をモニタ２３にて表示するときに、ＪＰＥＧ形式のデータに圧縮符号化されている画像データをデコードしてＲＧＢの信号を生成する。スピーカ２５は、監視対象の状態変化があったことを示す報知音を出力する。
【００６９】
制御部２６の報知部２６１は、送受信部２１にて通知信号を受信すると、モニタ２３に報知画像を表示させ、スピーカ２５に報知音を出力させる。制御部２６の設定信号生成部２６２は、図示しない入力部からの入力に基づいて、閾値設定信号、重み係数設定信号、更新間隔設定信号および判定領域設定信号を生成する。上述のように、参照ＤＣ成分値の更新間隔、判定領域、重み係数Ｗ１、Ｗ２および閾値Ｔは、可変である。
【００７０】
例えば、撮像部１１での撮像領域中で画像に変化があっても無視してよい領域がある場合には、その領域を除く領域を判定領域として設定とすればよい。また、輝度の変化を重要視しない場合には、判定値Ｏｕｔの算出の際に輝度差分の重みを小さくするために、輝度の重み係数Ｗ１を小さく設定すればよい。さらに、多少の変化を許容する場合には、判定値Ｏｕｔが１を越えにくいように閾値Ｔを大きく設定すればよい。逆に、多少の画像の変化も監視対象の状態変化として検知する必要があるときには、判定値Ｏｕｔが１を越え易いように閾値Ｔを小さく設定すればよい。
【００７１】
センタ装置２０の操作者は、上記のように、状況に応じて参照ＤＣ成分値の更新間隔、判定領域、重み係数Ｗ１、Ｗ２または閾値Ｔを設定するために、設定信号生成部２６２を用いて設定信号を生成する。設定信号生成部２６２は、生成した設定信号を送受信部２１に出力する。送受信部２１は、各設定信号を監視用撮像装置１０に送信する。なお、各設定信号は、時刻または監視対象の状況に応じて監視用撮像装置１０またはセンタ装置２０にて自動生成されてもよい。
【００７２】
次に、本実施の形態の監視システム１を用いた監視方法を説明する。
【００７３】
図８は、本実施の形態の監視方法のフローチャートである。監視用撮像装置１０の撮像部１１は、所定の時間間隔で監視対象を撮像する。撮像部１１が監視対象を撮像すると（ステップＳ８０）、ＪＰＥＧエンコード部１３は、撮像画像をＪＰＥＧ形式の画像データに圧縮符号化する（ステップＳ８１）。ＤＣ成分保持部５１は、撮像画像の圧縮符号化過程で算出されたブロックごとの特徴的パラメータ、すなわちブロックごとの輝度ＤＣ成分値および色差ＤＣ成分値を取得する（ステップＳ８２）。
【００７４】
次に、ＤＣ成分差分演算部５３が、特徴的パラメータとその参照値である参照パラメータ、すなわち参照ＤＣ成分値との差分を算出する（ステップＳ８３）。そして、判定通知部５５が、上記の式（２）を用いて、ブロックごとに判定値Ｏｕｔを算出する（ステップＳ８４）。そして、判定値Ｏｕｔが１を越えるか否かを判断する（ステップＳ８５）。判定値Ｏｕｔが１を越えるときは（ステップＳ８５にてＹｅｓ）ステップＳ８６に進み、判定値Ｏｕｔが１を越えないときは（ステップＳ８５にてＮｏ）ステップＳ８８に進む。なお、判定値Ｏｕｔは判定領域に含まれるブロックごとに算出されるので、１枚の画像が６つの１６画素×１６画素のブロックからなるとき、最大で６つの判定値Ｏｕｔが算出される。それらの判定値Ｏｕｔのうちの１つでも１を越えるときは、ステップＳ８６に進み、すべての判定値Ｏｕｔが１を越えないときにステップＳ８８に進む。
【００７５】
ステップＳ８５にて判定値Ｏｕｔが１を越えると判断されると（ステップＳ８５にてＹｅｓ）、監視用撮像装置１０は、判定通知部５５にて通知信号を生成して送受信部１４からセンタ装置２０に通知信号を送信する（ステップＳ８６）。また、このとき、判定通知部５５は、警報装置３０にて警報音を鳴らせるための信号を出力する。センタ装置２０では、通知信号に基づいてモニタ２３に報知画像が表示されるとともにスピーカ２５から報知音が出力され、また、警報装置３０からは警報音が出力される（ステップＳ８７）。
【００７６】
一方、ステップＳ８５にて判定値Ｏｕｔが１を越えないと判断されると（ステップＳ８５にてＮｏ）、参照ＤＣ成分保持部５２にて設定されている参照パラメータの更新間隔に基づいて、参照パラメータを更新するか否かを判断する（ステップＳ８８）。参照パラメータを更新するときは（ステップＳ８８にてＹｅｓ）、参照ＤＣ成分保持部５２は、ＤＣ成分保持部５１からその時の特徴的パラメータを取り込んで参照パラメータとする。参照パラメータを更新しないときは（ステップＳ８８にてＮｏ）、ステップＳ８０に戻って再び監視対象を撮像する。
【００７７】
（変形例）
上記の実施の形態の監視システム１では、撮像装置１０が監視装置５０を備えることにより、撮像装置側で監視対象の状態変化を検知したが、監視装置５０は撮像装置１０以外に設けられていてもよい。例えば、監視装置５０は、センタ装置２０に備えられていてもよい。この場合には、ＪＰＥＧエンコード部１３は、上記の実施の形態と同様に、画像データを圧縮符号化する一方で、その過程で算出された特徴的パラメータを送受信部１４に出力する。送受信部１４は、ネットワークを介して特徴的パラメータをセンタ装置２０に送信する。センタ装置２０に設けられた監視装置５０は、上記の実施の形態と同様にして、監視対象の状態変化を検知して通知信号を生成する。
【００７８】
また、監視装置５０を備えた撮像装置１０がネットワークに接続されておらず、単体で機能する装置であってもよい。この場合、撮像装置１０には撮像された監視対象の画像を記録するための記録部が設けられる。そして、記録部は、ＪＰＥＧエンコード部１３にて圧縮符号化された画像データを記録する。このように撮像装置１０が単体で用いられるときにも、撮像装置１０に警報装置３０が接続されていれば、監視対象の状態変化があったときに監視対象の周囲の者は警報装置３０の警報音を聞くことで監視対象に状態変化があったことを認識できる。
【００７９】
記録部は、判定通知部５５にて生成された通知信号を画像データに関連付けて記憶してもよい。監視対象の状態変化が検知された後に、通知信号と関連付けられた画像データを記録部から読み出して再生すれば、どのような状態変化が起こったかを事後的に確認できる。
【００８０】
また、上記の実施の形態の監視システム１は、撮像装置１０が監視対象を撮像して画像データすなわちスチル画像のデータを生成したが、撮像装置１０が撮像対象の動画像を撮像してもよい。この場合には、撮像装置１０には、上記の実施の形態のＪＰＥＧエンコード部１３に代えて、例えばＭＰＥＧエンコード部などの符号化された動画データを生成する処理ブロックが設けられる。すなわち、本発明の符号化手段は、圧縮符号化された動画データを生成する処理ブロックであってもよい。
【００８１】
撮像部１１が動画像を撮像する場合には、撮像部１１は例えば１／３０秒ごとに被写体を撮像する。デジタル変換部１２は、上記の実施の形態と同様にして、画像データを生成する。ＭＰＥＧエンコード部は、デジタル変換部１２から出力される画像データ（フレーム）に対してフレーム間符号化処理またはフレーム内符号化処理を施す。フレーム間符号化処理およびフレーム内符号化処理は、いずれもＤＣＴ変換を含む。ＭＰＥＧエンコード部は、ＤＣＴ変換にて算出されるブロックごとのＤＣ成分をブロックの特徴的パラメータとして出力する。監視装置５０は、ＭＰＥＧエンコード部より出力されるＤＣ成分を用いて上記同様に撮像対象の状態変化を検知する。
【００８２】
また、上記の実施の形態では、カラー画像を用いて監視対象の状態変化を検知したが、モノクロ画像を用いてもよいことは勿論である。
【００８３】
【発明の効果】
以上説明したように、本発明は、撮像画像の画像データを符号化する処理で算出されるブロックごとの画像の特徴的パラメータを用いて、監視対象の撮像画像を用いて監視対象の状態変化を検知することにより、ノイズの影響による誤検知の可能性を低減でき、かつ、監視対象の状態変化を検知するための画像処理に要する演算量を削減できるというすぐれた効果を有する監視用撮像装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の監視用撮像装置の構成を示すブロック図
【図２】本発明の実施の形態のセンタ装置の構成を示すブロック図
【図３】本発明の実施の形態の監視システムを示す図
【図４】本発明の実施の形態のＪＰＥＧエンコード部にて処理される画像を示す図
【図５】本発明の実施の形態のＪＰＥＧエンコード部の処理を示す図
【図６】本発明の実施の形態のＪＰＥＧエンコード部にて処理される画像（監視対象に状態変化が生じた場合）を示す図
【図７】本発明の実施の形態の参照パラメータおよび特徴的パラメータを説明する図
【図８】本発明の実施の形態の監視方法を示すフローチャート
【符号の説明】
１監視システム
１０監視用撮像装置
１１撮像部
１２デジタル変換部
１３ＪＰＥＧエンコード部
２０センタ装置
３０警報装置
４１ブロック
５０監視装置
５１ＤＣ成分保持部
５２参照ＤＣ成分保持部
５３ＤＣ成分差分演算部
５５判定通知部
２６２判定条件設定部

Claims

監視対象を撮像して画像データを生成する撮像手段と、
複数の画素からなるブロックごとの画像の特徴的パラメータを算出する演算を含む符号化処理によって、前記撮像手段にて生成された画像データを符号化する符号化手段と、
前記特徴的パラメータのブロックごとの参照パラメータを保持する参照パラメータ保持手段と、
前記特徴的パラメータと前記参照パラメータとに基づいて、前記監視対象の状態変化を検知する変化検知手段と、
を備えたことを特徴とする監視用撮像装置。
前記ブロックごとに、前記特徴的パラメータと前記参照パラメータとの差分を算出する差分演算手段を備え、
前記変化検知手段は、前記差分演算手段にて算出された差分に基づいて、前記監視対象の状態変化を検知することを特徴とする請求項１に記載の監視用撮像装置。
前記符号化手段は、前記画像データを符号化する過程でＤＣＴ変換を行ない、
前記特徴的パラメータは、前記ＤＣＴ変換にて算出されるＭＣＵごとのＤＣ成分値に基づく値であることを特徴とする請求項１または２に記載の監視用撮像装置。
前記特徴的パラメータは、前記ブロックごとの輝度平均値および前記ブロックごとの色差平均値を含み、
前記参照パラメータは、前記ブロックごとの輝度参照値および前記ブロックごとの色差参照値を含み、
前記差分演算手段は、前記ブロックごとに、前記輝度平均値と前記輝度参照値との輝度差分、および前記色差平均値と色差参照値との色差差分を算出し、
前記変化検知手段は、前記輝度差分と前記色差差分との重み付け加算値を閾値と比較することにより、前記監視対象の状態変化を検知することを特徴とする請求項１乃至３のいずれかに記載の監視用撮像装置。
前記輝度差分と前記色差差分との重み付け加算に用いる重み係数を可変に設定する係数設定手段を備えたことを特徴とする請求項４に記載の監視用撮像装置。
前記係数設定手段は、前記ブロックごとに前記重み係数を設定することを特徴とする請求項５に記載の監視用撮像装置。
画像領域の中で状態変化の検知を行なうべき領域を判定する領域判定手段を備え、
前記変化検知手段は、前記領域判定手段にて状態変化の検知を行なうべきであると判定された領域内の監視対象の状態変化を検知することを特徴とする請求項１乃至６のいずれかに記載の監視用撮像装置。
監視対象を撮像して得られた画像データを符号化する符号化処理の過程で算出された前記画像データの複数の画素からなるブロックごとの画像の特徴的パラメータを取得する特徴的パラメータ取得手段と、
前記特徴的パラメータのブロックごとの参照パラメータを保持する参照パラメータ保持手段と、
前記特徴的パラメータと前記参照パラメータとに基づいて、前記監視対象の状態変化を検知する変化検知手段と、
を備えたことを特徴とする監視装置。
監視対象を撮像して画像データを生成する撮像ステップと、
複数の画素からなるブロックごとの画像の特徴的パラメータを算出する演算を含む符号化処理によって、前記撮像ステップにて生成された画像データを符号化する符号化ステップと、
前記ブロックごとに、前記特徴的パラメータと前記特徴的パラメータのブロックごとの参照パラメータとに基づいて、前記監視対象の状態変化を検知する変化検知ステップと、
を有することを特徴とする監視方法。
監視対象を撮像して得られた画像データを符号化する符号化処理の過程で算出された、前記画像データの複数の画素からなるブロックごとの画像の特徴的パラメータを取得する特徴的パラメータ取得ステップと、
前記ブロックごとに、前記特徴的パラメータと前記特徴的パラメータのブロックごとの参照パラメータとに基づいて、前記監視対象の状態変化を検知する変化検知ステップと、
を有することを特徴とする監視方法。
請求項９または１０に記載の監視方法をコンピュータに実行させるプログラム。
請求項１１に記載のプログラムを記憶した、コンピュータにて読取り可能な記憶媒体。