JP2010009422A - 画像処理装置、撮像装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】監視者の負荷の軽減、記録資源の圧縮、ネットワーク負荷の軽減等を図ることができる画像処理装置、撮像装置、画像処理方法、およびプログラムを提供する。
【解決手段】少なくとも、外部からの制御に基づき画像の入力を行う撮像部１０１と、画像から画面内の動領域を検出し検出情報を出力する検出部１０２と、検出部１０２が出力した過去の検出情報を蓄積する蓄積部１０３と、蓄積部１０３に蓄積された過去の検出情報に基づいて定常的に動きが発生している領域と動きがない領域に分離する領域分離部１０４と、領域分離部１０４の分離情報と動き検出部１０２からの検出情報から特定の制御を施す発報管理部１０５とを有する。
【選択図】図７

Description

本発明は、監視カメラなど適用される画像処理装置、撮像装置、画像処理方法、およびプログラムに関するものである。

カメラの入力画像を解析し画面内に発生した動きを精度よく検出する技術が知られている（たとえば特許文献１参照）。

特許文献１に開示された技術によれば、分割されたマクロブロックごとに、Ｎフレーム前の画像との比較を行い、動きベクトルを算出し動きベクトルごとに時間的な一様性をそれぞれ判定し、該当動きベクトルが移動物体のものであるか否かを判定する。これにより、動き検出情報の精度を上げている。

また、検出された動き情報を用いて、以下に示すような、監視システムの負荷の軽減等を図った技術が提案されている。
たとえば、監視者に警告を促すことにより、監視者の負荷を軽減する技術が知られている。
また、動きのないとき、換言すれば監視する必要のないときには送信する画像の解像度を落とすことで、ネットワークの負荷を下げる技術が提案されている（たとえば特許文献２参照）。
また、動きのないとき、すなわち監視する必要のないときには画像録画を行わないことで、記録資源の低減を図る技術が知られている。

このように、近年種々のものが提案されており、一部では既に実用化されていて、たとえば監視カメラ等の分野において用いられている。

特許文献２には、必要な品質の映像を取得することができる、映像配信サーバおよび映像受信クライアントシステムが提案されている。
このシステムは、撮像装置による撮影対象にかかわる領域に生じる異変を検出し、圧縮率を制御することでユーザの負担を軽減しながら、伝送路の帯域を効率的に利用して、必要な品質の映像を取得することができるように構成されている。

これらの技術において共通するのは、監視カメラで撮像する領域が、全て撮影時に動きがないことが期待できることを前提とする点である。この場合、たとえば少しでも動きがあった場合は異常と判定してもいい。

たとえば、通常動きがないことが期待できる無人の金庫内や私有地の監視であれば上記手法やシステムは有効な技術といえる。
特開２００６‐７９５９４号公報 特開２００３‐２７４３９０号公報

しかしながら、監視カメラで撮像する領域が、全て撮影時に動きがないことが期待できる領域とは限らない。
図１のように定常的に動きがある領域を撮像領域に入れるように監視カメラ１を設定しなければならない状況もある。図１において、ＩＭＡＲは撮像領域を示し、ＭＴＡＲは監視対象領域を示し、ＮＭＴＡＲは非監視対象領域を示す、ＧＴは入場門を示している。
この図１のようなケースに上記のシステムを適用することは難しい。

図２は、図１の視点から撮像した画像を示す図である。
図３は、発報したい異常事態（動きあり）の例を示す図である。
図４は、発報したくない状態を示す図である。

仮に図１の視点から撮像した図２に示すような画像のようなシーンにおいて、既存の手法では、次の用に対応する。
すなわち、本来図３のように監視対象領域ＭＴＡＲにおいてのみ発生した異常事態（動きあり）を発報したいのにもかかわらず、既存手法では図４のように非監視対象領域ＮＭＴＡＲにおいて発生した動きにも反応することになる。

このような問題に対して従来は以下のような対策がとられていた。
Ａ）赤外線センサーなどのカメラ以外の装置をもちいて、アラームを発報する。
Ｂ）図５に示すように、あらかじめ検出したくない領域を設定し、設定された領域に対しては検出処理を行わない。

上記Ａ）では監視カメラ以外の装置を設置するコストがかかるという問題を含む。上記Ｂ）ではユーザの負荷がかかるだけではなく、図６に示すように現在の監視カメラ１は固定アングルとは限らない。
この場合、アングルが変わるたびにマスク領域を設定していたのでは、既存技術のもつ、ユーザの負荷を軽減するという効果をも損なわれることになるといった問題を抱えていた。

本発明は、監視者の負荷の軽減、記録資源の圧縮、ネットワーク負荷の軽減等を図ることができる画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することにある。

本発明の第１の観点の画像処理装置は、撮像された画像から画面内の動領域を検出し、検出情報を出力する検出部と、前記検出部が出力した過去の検出情報を蓄積する蓄積部と、前記蓄積部に蓄積された過去の検出情報に基づいて定常的に動きが発生している領域と動きがない領域に分離する領域分離部と、前記領域分離部の領域情報と前記検出部からの検出情報から特定の制御を施す発報管理部とを有する。

本発明の第２の観点の撮像装置は、少なくとも、外部からの制御に基づき画像の撮像を行う撮像部と、前記撮像部で撮像された画像から画面内の動領域を検出し、検出情報を出力する検出部と、前記検出部が出力した過去の検出情報を蓄積する蓄積部と、前記蓄積部に蓄積された過去の検出情報に基づいて定常的に動きが発生している領域と動きがない領域に分離する領域分離部と、前記領域分離部の領域情報と前記検出部からの検出情報から特定の制御を施す発報管理部とを有する。

好適には、前記発報管理部は、対象領域が、定常的に動きが発生している領域と判定した場合には、検出情報をマスクして最終出力とし、対象領域が、定常的に動きが発生している領域ではないと判定した場合には、検出情報を最終出力とする。

好適には、前記蓄積部に蓄積されている過去の検出情報の一部または全部を所定の条件において消去する消去部を含む。

好適には、前記所定の条件が、前回の消去から所定時間経過していることである。

好適には、前記撮像部は、撮影アングルを変更して撮像可能であり、現在のアングル情報を前記消去部に出力し、前記消去部は、アングル情報から撮影アングルの変化を検出すると消去信号を前記蓄積部に出力し、前記蓄積部は、前記消去信号を受けて、前記蓄積された過去の検出情報の少なくとも一部を破棄する。

好適には、アングル情報に応じて切り替え処理を行う切替部を有し、前記撮像部は、撮影アングルを変更して撮像可能であり、現在のアングル情報を前記切替部に出力し、前記蓄積部は、前記Ｎ種（Ｎは自然数）のアングルに対応する独立したＮ個の蓄積部を含み、前記切替部は、前記アングル情報に応じた蓄積部に切り替えて、対応する検出情報の蓄積および検出情報履歴の前記領域分離部への入力を行わせる。

本発明の第３の観点の画像処理方法は、撮像された画像から画面内の動領域を検出し、検出情報を得る検出ステップと、前記検出ステップで得られた過去の検出情報を蓄積する蓄積ステップと、前記蓄積ステップで蓄積された過去の検出情報に基づいて定常的に動きが発生している領域と動きがない領域に分離する領域分離ステップと、前記領域分離ステップの領域情報と前記検出ステップからの検出情報から特定の制御を施す発報管理ステップとを有する。

本発明の第４の観点は、撮像された画像から画面内の動領域を検出し、検出情報を得る検出処理と、前記検出処理で得られた過去の検出情報を蓄積する蓄積処理と、前記蓄積処理で蓄積された過去の検出情報に基づいて定常的に動きが発生している領域と動きがない領域に分離する領域分離処理と、前記領域分離処理の領域情報と前記検出処理の検出情報から特定の制御を施す発報管理処理とを含む画像処理をコンピュータに実行させるプログラムである。

本発明によれば、検出部において、撮像された画像から画面内の動領域が検出され、検出情報が蓄積部および発報管理部に出力される。
蓄積部においては、検出部が出力した過去の検出情報が蓄積される。領域分離部においては、蓄積部に蓄積された過去の検出情報に基づいて定常的に動きが発生している領域と動きがない領域に分離され、その領域情報が発報管理部に出力される。
そして、発報管理部において、領域分離部の領域情報と検出部からの検出情報から特定の制御が施される。

本発明によれば、監視者の負荷の軽減、記録資源の圧縮、ネットワーク負荷の軽減等を図ることができる。

以下、本発明の実施形態を図面に関連付けて説明する。

本実施形態においては、監視カメラなどによる定点撮影または準定点撮影において、監視カメラから映像データを解析し、精度のよい動き検出結果を提供する画像処理装置を有する撮像装置（カメラ装置）について説明する。

本実施形態においては、まず、本発明の背景および概要を説明した後、具体的な構成例について説明する。

監視カメラなどは、定点撮影、または、プリセットされたアングルを手動あるいは自動で切り替える準定点撮像を行い、その撮像時間は１日２４時間、1年３６５日以上連続することがすくなくない。

それら全ての情報を監視するには監視者の負荷が増加する。
それら全ての情報を記録するには、膨大な記録資源が必要となる。
そのような背景のため、監視カメラシステムにおいては“異常発生時のみ”を精度よく検出したいというニーズがある。

そこで、装置が発する異常情報時のみ監視することにより、監視者の負荷が軽減される。
装置が発する異常情報時のみ監視することにより、ＨＤＤやビデオテープなどの物理資源の圧縮が図られる。

一般的に用いられる手法としては、異常時を“画面内において輝度（または色信号）に差分が発生した時”と定義して検出および発報処理を行っている。
しかし、監視カメラで撮像する領域が、全て撮影時に動きがないことが期待できる領域とは限らない。
図１のように定常的に動きがある領域を撮像領域に入れるように監視カメラを設定しなければならない状況もある。定常的に存在する動きを逐一“異常状態”と検出したのでは、上記のニーズには対応できない。

このような問題に対して以下のような対策がとられている。
Ａ）赤外線センサーなどのカメラ以外の装置をもちいて、アラームを発報する。
Ｂ）あらかじめ検出したくない領域を設定し、設定された領域に対しては検出処理を行わない。

これらＡ），Ｂ）には以下のような課題がある。
Ａ） 監視カメラ以外の装置を設置するコストがかかる、
B-1) 監視者の負荷をともなう、
B-2) 定点撮像のみを行うとは限らない。
準定点撮像時にはその負荷は増加する。
また、任意点観測時には設定領域とマスク領域の対応がとれない。

そこで、本発明に係る実施形態では、動き情報を蓄積する蓄積部で蓄積された動き情報から、“定常的に動きが発生している領域”と“動きがない領域”に分離する領域分離部で領域を分離し、発報管理部で自動的に動きをキャンセルする。これにより、監視カメラシステムにおける動き情報の精度を向上させる。
また、本実施形態においては、アングル情報と連動し、更新するマップを切り替えることによりB-2）に対する問題も解決する。
本機能はカメラとは別の装置で実現してもいいし、カメラ内部に取り込んでも良い。

次に、本発明の具体的な実施形態について説明する。

＜第１の実施形態＞
まず、以下に本発明の第１の実施形態について図を用いて説明する。なお、本第１の実施形態においては、定点撮影、つまり常に一定のアングルで撮影されることを想定している

図７は、本発明の第１の実施形態に係る画像処理装置を適用した撮像装置（カメラ装置）の構成の一例を示すブロック図である。

本撮像装置１００は、図７に示すように、撮像部１０１、動き検出部１０２、蓄積部１０３、領域分離部１０４、および発報管理部１０５を有する。
これらに構成要素のうち、動き検出部１０２、蓄積部１０３、領域分離部１０４、および発報管理部１０５により画像処理装置が形成される。

撮像部１０１は、被写体からの反射光などで形成される光波を入力し、画像に変換し、後段の動き検出部１０２に出力する。

図８は、本実施形態に係る撮像部１０１の詳細な構成の一例を示すブロック図である。

撮像部１０１は、少なくとも、レンズ１０１１、絞り１０１２、ＣＣＤやＣＭＯＳセンサからなる撮像素子１０１３、およびアナログ‐デジタル（ＡＤ）コンバータ１０１４、により構成される。

撮像部１０１において、入力された光波は、レンズ１０１１を通して撮像素子１０１３上に被写体を結像する。撮像素子１０１３は、被写体からの光をアナログ電気信号に変換し、ＡＤコンバータ１０１４はさらにアナログ電気信号をデジタル信号に変換し、最終的にデジタルの画像データ（ＩＭ）として出力する。

また、撮像部１０１は、必要に応じてさらに、絞り１０１２、電子シャッタ・メカニカルシャッタ、可変ゲインアンプなどを内包する。そして、撮像部１０１は、たとえば外部からの制御情報に基づいて絞り１０１２の開口、シャッタの開放時間、ゲイン量などを変化させることで、出力画像の露光量を適正に調節できる。

図８に示す撮像部１０１では、簡単のため絞り１０１２のみを配している。外部からの制御情報に基づき、絞り１０１２の開口を大きくしたり、小さくしたりすることで、撮像素子１０１３に照射される光の量、ひいては、露光量を調節できる。

動き検出部１０２は画像を入力し、入力画像中から任意などの手法を用いて画像内における動物体を検出し、動き検出結果を検出情報ＤＴＣとして出力する。
動き検出部１０２の動物体の検出方法については、種々の方法が適用可能である。たとえば特許文献１に開示されている方法等を適用することが可能である。
この場合、動き検出部１０２は、入力画像から動きベクトルを算出した後、各動きベクトルを個別に時間的に積算し、動きベクトル毎の積算値および積算回数をそれぞれ算出する。動き検出部１０２は、各動きベクトルについて、個別に時間的な一様性をそれぞれ算出する。そして、動き検出部１０２は、動きベクトル毎の積算値および積算回数、並びに時間的な一様性に基づいて、各動きベクトルについて、その動きベクトルが移動物体のものであるか否かを判断する。
なお、検出結果（検出情報）とは、具体的には画面内において発生した動きの位置やサイズである。これは、マクロブロック（ＭＢ）ごとに動きの有無を知らせる２値の信号であってもよい。また検出率が低くても構わないが、誤検出や失報率は低いことが望ましい。

蓄積部１０３は、動き検出部１０２の検出結果を入力し、所定の形式に変換して、蓄積する。
なお、以下では、蓄積部１０３に蓄積された検出情報のことを「検出情報履歴」と呼ぶこととする。

領域分離部１０４は、蓄積部１０３による検出情報履歴ＤＴＣＨを入力とし、これに基づいて画面内を“定常的に動きが発生している領域”と“動きがない領域”に分離し、これを領域情報ＡＲＡとして発報管理部１０５に出力する。

発報管理部１０５は、動き検出部１０２による検出結果ＤＴＣと領域分離部１０４による領域情報ＡＲＡを入力とし、これらに基づいて最終的な動き情報を出力する。
発報管理部１０５は、各マクロブロックについて領域情報ＡＲＡをもとに、検出結果をマスク（キャンセル）するかしないかの判定を行い、全マクロブロックの判定が終了すれば処理を完了する。

図９は、光波を入力し、発報管理部１０５で最終的な動き検出情報を出力するまでの動作フローの一例を示すフローチャートである。

処理開始後、ステップＳＴ１において、撮像部１０１が、入力された光波を画像データに変換し、動き検出部１０２に出力する。
次に、ステップＳＴ２において、動き検出部１０２が画像データにおける動き領域を検出し、その結果を検出情報ＤＴＣとして蓄積部１０３および発報管理部１０５に出力する。
ステップＳＴ３において、蓄積部１０３が検出情報ＤＴＣにより検出情報履歴ＤＴＣＨを更新し、この検出情報履歴ＤＴＣＨを領域分離部１０４に出力する。
次に、ステップＳＴ４において、領域分離部１０４が検出情報履歴ＤＴＣＨを解析し、定常的に動きがある領域と、動きがない領域に切り分け、その結果を領域情報ＡＲＡとして発報管理部１０５出力する。
最後に、ステップＳＴ５において、発報管理部１０５が、動き検出部１０２から出力された検出情報ＤＴＣから定常的に動きがある領域における動きをマスクし、最終的な動き情報を出力する。

図１０は、検出結果と領域情報をもとに最終的な発報を出力するまでの動作フローの一例を示すフローチャートである。

まず、ステップＳＴ１１において、発報管理部１０５は、対象ブロックを次に進め、ステップＳＴ１２において、対象ブロックが定常的に動きがある領域か否かの判定を行う。
発報管理部１０５は、ステップＳＴ１２において、対象ブロックが定常的に動きがある領域であると判定した場合、検出情報をマスク（キャンセル）し、最終出力とする。
発報管理部１０５は、ステップＳＴ１２において、対象ブロックが定常的に動きがある領域ではないと判定した場合、検出情報を最終出力とする。
そして、発報管理部１０５は、ステップＳＴ１５において、全マクロブロック（全領域）の判定が終了したか否かを判定し、終了していれば処理を完了する。
ステップＳＴ１５において、全領域の判定が終了していないと判定した場合、ステップＳＴ１１の処理に戻り、上述した一例の処理を繰り返す。

図１１（ａ）および（ｂ）は、本実施形態における動き検出の状況および検出情報履歴の形式の一例を示す図である。

図１１（ａ）は、一連の画像における動き検出の状況の一例を示す図である。
図１１（ａ）において、各画像Ｆ０１〜Ｆ０６は、縦横５ｘ５の領域に分割され、動きが検出された領域にはハッチングが施され、それ以外の領域にはハッチングは施されていないものとする。

図１１（ｂ）は、蓄積部１０３内の検出情報履歴の形式の一例を示す図である。
ここで、図１１（ｂ）は、図１１（ａ）に示す６枚の画像についての検出結果を蓄積している様子を示している。
図１１（ｂ）において、動きが検出された画像を特定する情報と、前記画像における動き領域の座標とのセットを１つのエントリとし、過去の一定期間についての検出情報がいわゆるキューの形で保持されている。
図１１（ｂ）においては、検出情報ＤＴＣとして、フレームＦ０１の第１の動き領域座標（１，１）、フレームＦ０１の第２の動き領域座標（３，１）、フレームＦ０２の第１の動き領域座標（１，０）、フレームＦ０４の第１の動き領域座標（０，１）が例示されている。
さらに、図１１（ｂ）においては、検出情報ＤＴＣとして、フレームＦ０５の第１の動き領域座標（２，０）、フレームＦ０６の第１の動き領域座標（１，０）、フレームＦ０６の第２の動き領域座標（０，１）が例示されている。
なお、キューが一杯になると、基本的に古い検出情報ＤＴＣから順に破棄されるものとする。

図１２（ａ）および（ｂ）は、本実施形態における動き検出の状況および検出情報履歴の形式の別の一例を示す図である。

図１２（ａ）は、一連の画像における動き検出の状況の別の一例を示す図である。
図１２（ａ）において、図１１（ａ）と同様に、各画像Ｆ１１〜Ｆ１６は、縦横５ｘ５の領域に分割され、動きが検出された領域はハッチングが施され、それ以外の領域にはハッチングは施されていないものとする。

図１２（ｂ）は、蓄積部１０３内の検出情報履歴の形式の別の一例を示す図である。
図１２（ｂ）の例では、図１１（ｂ）に示す形式とは異なり、過去の検出情報を画像の各領域における動き検出の度数マップの形で保持する。
なお、前記度数の取りうる値には所定の上限が存在し、この上限値を超える度数は、上限値でクリップされるものとする。
たとえば、所定の領域において過去に一度でも動きが検出されたか否かだけ区別できればよいなら、度数の取りうる値は０と１だけであり、既に過去に一度動きが検出された領域（すなわち、度数１の領域）において再び動きが検出された場合でも、度数は１のままとなる。
この場合、蓄積部１０３は、過去の検出情報を、画像の各領域における過去の検出の有無を示す二値情報の形式で蓄積することになる。
また、図１２（ｂ）において、検出情報履歴は縦横５ｘ５のマップ形式を採っているが、画面の領域分割方法はこれに限るものではない。

図１３（ａ）〜（ｆ）は、図１２（ａ）に示す６枚の画像Ｆ１１〜Ｆ１６の検出結果により、蓄積部１０３において図１２（ｂ）に示す形式の検出情報履歴が順次更新されていく様子を示す図である。５ｘ５の各領域に書かれた数字は、度数を意味する。
なお、図１３（ａ）〜（ｆ）においては、度数の取りうる上限値を３としているため、４回以上動きが検出された領域に対応する度数は３のまま更新されない。
この場合、蓄積部１０３は、過去の検出情報を、画像の各領域における過去の検出頻度を示す多値情報の形式で蓄積することになる。

上記実施形態のマップ更新は、結果蓄積型であるが、ＩＩＲフィルタを用いたり、キューから削除される領域を減算する形で更新してもよい。

領域分離部１０４では、あらかじめ設定された閾値をもとに、履歴情報を２値に切り分け、発報管理部１０５へ出力する。

＜第２の実施形態＞
本第２の実施形態および後で説明する第３の実施形態においては、準定点撮影、つまり、時間帯などにより異なるアングルで撮影されるケースに対して本発明を応用する場合を例に説明する。

図１４は、本発明の第２の実施形態に係る画像処理装置を適用した撮像装置（カメラ装置）の構成の一例を示すブロック図である。
なお、本第２の実施形態において、上述した第１の実施形態の撮像装置（画像処理装置）と同一構成のブロックについては同一符号を付して表し、その詳細な説明を省略する。

本第２の実施形態の撮像装置１００Ａは、図１４に示すように、撮像部１０１Ａ、動き検出部１０２、蓄積部１０３Ａ、領域分割部１０４、発報管理部１０５、および消去部１０６を有する。

撮像部１０１Ａは、被写体からの反射光などで構成される光波を入力し、画像に変換して、後段の動き検出部１０２に出力する。
この構成は本発明の第１の実施形態の撮像装置１００における撮像部１０１とほぼ同等である。本第２の実施形態の撮像部１０１Ａは、撮影アングルを変更するためのモータを備え、現在の撮影アングルの情報であるアングル情報ＡＮＧＬを出力する点が、第１の実施形態の撮像部１０１と異なる。
撮像部１０１Ａは、アングル情報ＡＮＧＬを消去部１０６に出力する。

蓄積部１０３Ａは、動き検出部１０２による検出情報ＤＴＣを入力し、所定の形式に変換して、蓄積する。
この構成は本発明の第１の実施形態の撮像装置１００における蓄積部１０３とほぼ同等である。本第２の実施形態の蓄積部１０３Ａは、外部より消去信号ＥＲＳを受け取ると、検出情報履歴ＤＴＣＨの全部または一部を破棄する点が、第１の実施形態の蓄積部１０３と異なる。

消去部１０６は、撮像部１０１Ａによるアングル情報ＡＮＧＬを入力し、撮影アングルの変化を検出すると、蓄積部１０３Ａの消去信号（あるいは初期化コマンド）ＥＲＳを出力する。

図１５は、内蔵モータにより撮影アングルを変えることができるドーム型監視カメラのイメージ図である。
このドーム型監視カメラ２００は、本第２の実施形態における撮像装置の応用の一例である。
図１５において、ＩＭＡＲａ，ＩＭＡＲｂは撮像領域を示し、ＭＴＡＲは監視対象領域を示し、ＮＭＴＡＲは非監視対象領域を示す、ＧＴは入場門を示している。

図１６（ａ−１）〜（ｃ）は、図１５に示すようなシーンを撮像したときのイメージ図および検出情報履歴の一例を示す図である。

図１６（ａ−１）は、図１５における左向き矢印ＬＡの方向（アングルＡ）に撮影アングルが設定されているときの撮影画像の一例を示すイメージ図である。
図１６（ａ−２）は、図１５における右向き矢印ＲＡの方向（アングルＢ）に撮影アングルが設定されているときの撮影画像の一例を示すイメージ図である。

図１６（ａ−１）および（ａ−２）に示すように、２つ（以上）の撮影アングルを時間帯などで切り替えて撮影する場合、第１の実施形態の撮像装置を用いると不都合が生じるおそれがある。

図１６（ｂ−１）および（ｂ−２）は、それぞれ、アングルＡ、アングルＢに撮影アングルが固定された状況で、本発明の第１の実施形態に記載の画像処理装置を用いて長時間撮影を行った場合の検出情報履歴の一例を示す図である。
撮影アングルにより、画面において動きが存在しうる領域はそれぞれ異なる。

図１６（ｃ）は、前記２つの撮影アングルを適宜切り替えて本発明の第１の実施形態の撮像装置１００を用いて長時間撮影を行った場合の検出情報履歴の一例を示す図である。
図１６（ｃ）に示す検出情報履歴は、図１６（ｂ−１）および（ｂ−２）に示す検出情報履歴を合成したものと等価である。
そのため、アングルＡでは動きが存在しえない領域や、逆にアングルＢでは動きが存在しえない領域にも動きが検出されたものとして領域判定制御がなされてしまう。これは期待する制御ではない。

このような課題を解決すべく、本第２の実施形態においては、第１の実施形態の構成に加えて、さらに消去部１０６を備える。
以下では、消去部１０６の動作を中心に説明を行う。

図１７は、消去部１０６が蓄積部１０３Ａ内の検出情報履歴を破棄する動作フローを示すフローチャートである。

処理開始後、消去部１０６は、ステップＳＴ２１において、撮像部１０１Ａが出力するアングル情報ＡＮＧＬを参照し、前回参照した際の撮影アングルから変化があったか否かを判定する。
消去部１０６は、ステップＳＴ２１において撮影アングルが変化していないと判定した場合、何もせずに処理を終了する。
他方、消去部１０６は、ステップＳＴ２１において撮影アングルが変化したと判定した場合、ステップＳＴ２２において蓄積部１０３Ａ内の検出情報履歴ＤＴＣＨを全て破棄し、処理を終了する。

たとえば、１日２４時間のうち、午前の１２時間はアングルＡに固定し、午後の１２時間はアングルＢに固定して撮影を行うとする。
また、撮影アングルの切り替えが発生しないときは、図９に示す動作フローで逐次蓄積部１０３Ａ内の検出情報履歴の更新を行うものとする。
すると、アングルの切り替え直後は、消去部１０６により、一旦蓄積部１０３Ａ内の検出情報履歴が破棄される。
アングルの切り替え後、十分な時間が経過すると、蓄積部１０３Ａ内の検出情報履歴は、午前は図１６（ｂ−１）に示すものに、午後は図１６（ｂ−２）に示すものに漸近していくが、図１６（ｃ）に示すものになることはない。
ただし、本第２の実施形態においても、前述した第１の実施形態の説明と同様、検出情報履歴の形式は図１２（ｂ）に示す形式を採用するものとする。
つまり、本発明の第１の実施形態に係る撮像置を応用する場合の課題が解決する。

なお、撮像部１０１Ａの撮影アングルが時間帯によって決まる場合、消去部１０６は、アングル情報の変化ではなく、午前から午後、午後から午前、といった時刻変化をトリガーに検出情報履歴を破棄するよう動作しても、同等の効果が得られる。
また、撮影アングルを完全に固定する場合であっても、時間帯によって動きが存在しうる領域が異なる場合などは、本発明の第１の実施形態に係る撮像装置に消去部を追加し、所定の時刻になると蓄積部内の検出情報履歴を破棄するようにしてもよい。

なお、固定アングルでの撮影に応用する場合、消去部１０６は必ずしも検出情報履歴を全て破棄する必要はない。
たとえば、検出情報履歴の形式として図１１（ｂ）に示す形式を用いるならば、消去を行う際、検出情報履歴のうち、時間的に古い検出情報だけを破棄する。
これにより、破棄による検出情報履歴の内容の急激な変化を回避し、破棄の前後で画像の明るさが大きく変化することを防ぐことができる。
あるいは、現在から所定時間Ｔ前までについての新しい検出情報履歴は図１１（ｂ）に示す形式で、所定時間Ｔより前の古い検出情報履歴は図１２（ｂ）に示す形式にて保持しても構わない。
このようなハイブリッド形式にて検出情報履歴を保持することで、蓄積部１０３Ａの容量が限られた状況であっても長時間に亘る検出情報履歴を保持でき、検出情報履歴のうち新しい検出情報は残してそれより古い検出情報は破棄するということが可能となる。

＜第３の実施形態＞
本第３の実施形態に係る撮像装置１００Ｂは、上述した第２の実施形態に係る撮像装置１００Ａと同様、複数の撮影アングルを時間などで切り替えて撮影するケースを想定している。
説明の簡単のため、ここでは、第２の実施形態におけるアングルＡ、アングルＢの２種類の撮影アングルを切り替えて検出情報を蓄積するものとして説明する。

図１８は、本発明の第３の実施形態に係る画像処理装置を適用した撮像装置（カメラ装置）の構成の一例を示すブロック図である。
なお、第３の実施形態において、上述した第１および第２の実施形態に記載の撮像装置（画像処理装置）と同一構成のブロックについては同一符号を付して表し、その詳細な説明を省略する。

本第３の実施形態の撮像装置１００Ｂは、図１８に示すように、撮像部２０１、動き検出部１０２、蓄積部１０３Ｂ−１，１０３Ｂ−２、領域分離部１０４、発報管理部１０５、スイッチ１０７−１，１０７−２、および切替部１０８を有する。

蓄積部１０３Ｂ−１はアングルＡに対応する検出情報ＤＴＣ−Ａを、蓄積部１０３Ｂ−２はアングルＢに対応する検出情報ＤＴＣ−Ｂをそれぞれ蓄積するものとする。
蓄積部１０３Ｂ−１，１０３Ｂ−２は、説明の便宜上異なる符号を付しているが、蓄積部１０３と同一のブロックである。

スイッチ１０７−１は、動き検出部１０２が出力する検出情報ＤＴＣを、蓄積部１０３Ｂ−１、蓄積部１０３Ｂ−２のいずれに蓄積するかを、切替部１０８の出力する切替信号ＳＳＷを元に選択する。
スイッチ１０７−１は、端子ａが動き検出部１０２の検出情報ＤＴＣの出力ラインに接続され、端子ｂが蓄積部１０３Ｂ−１の入力部に接続され、端子ｃが蓄積部１０３Ｂ−２の入力部に接続されている。
スイッチ１０７−１は、切替信号ＳＳＷに応じて端子ａを端子ｂまたは端子ｃと選択的に接続する。

スイッチ１０７−２は、領域分離部１０４に入力する検出情報履歴ＤＴＣＨを、蓄積部１０３Ｂ−１または蓄積部１０３Ｂ−２のいずれから取得するかを、切替部１０８の出力する切替信号ＳＳＷを元に選択する。
スイッチ１０７−２は、端子ａが領域分離部１０４の検出情報履歴の入力部に接続され、端子ｂが蓄積部１０３Ｂ−１の出力部に接続され、端子ｃが蓄積部１０３Ｂ−２の出力部に接続されている。
スイッチ１０７−２は、切替信号ＳＳＷに応じて端子ａを端子ｂまたは端子ｃと選択的に接続する。

切替部１０８は、撮像部１０１Ａからのアングル情報ＡＮＧＬを入力し、撮影アングルの変化を検出すると、現在の撮影アングルに応じた切替信号ＳＳＷをスイッチ１０７−１，１０７−２に出力する。

図１９は、切替部１０８がスイッチ１０７−１およびスイッチ１０７−２を切り替える切替信号を出力する動作フローを示すフローチャートである。

処理開始後、切替部１０８は、ステップＳＴ３１において、撮像部１０１Ａが出力するアングル情報ＡＮＧＬを参照し、現在の撮影アングルが、アングルＡであるか否かを判定する。
切替部１０８は、ステップＳＴ３１においてアングルＡであると判定した場合、ステップＳＴ４２において、アングルＡに対応する蓄積部１０３Ｂ−１に接続すべくスイッチ１０７−１，１０７−２に対し切替信号ＳＳＷを出力し、処理を終了する。
他方、切替部１０８は、ステップＳＴ３１においてアングルＡではないと判定した場合、すなわちアングルＢであると判定した場合、アングルＢに対応する蓄積部１０３Ｂ−２に接続すべくスイッチ１０７−１，１０７−２に対し切替信号ＳＳＷを出力し、処理を終了する。

第２の実施形態においては、アングルの切り替えを行う際、唯一の蓄積部１０３Ａ内の検出情報履歴を一旦破棄していた。
そのため、アングル切り替えの時間間隔が短いケースでは、検出情報が十分蓄積されず、効果を十分に発揮できないおそれがある。
しかし、本第３の実施形態においては、蓄積部をアングルの数だけ持たせることで、アングルの切り替えの際に蓄積された検出情報の破棄を行わないため、前記課題を解決することができる。

なお、本第３の実施形態の説明においては、簡単のため、撮影アングルをアングルＡ、アングルＢの２種類に限定したが、蓄積部をアングルの数だけ持たせ、切替部でアングルに対応した蓄積部に切り替えるようスイッチを制御すれば、３種類以上のアングルに対応することも可能であることは言うまでもない。

以上説明したように、本実施形態によれば、以下の効果を得ることができる。
監視者の負荷の軽減、記録資源の圧縮、ネットワーク負荷の軽減等を図ることができる。
そして、マップが収束しきった後は、動きを監視したい領域のみに対して動き検出を行っても画面全体に対して検出を行う場合と等価な結果が得られる。
これにより、検出にかかる演算負荷を軽減、すなわち消費電力を抑えることが可能となる。

なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。

定常的に動きがある領域を撮像領域に入れるように監視カメラを設定した一例を示す図である。 図１の視点から撮像した画像を示す図である。 発報したい異常事態（動きあり）の例を示す図である。 発報したくない状態を示す図である。 あらかじめ検出したくない領域を設定し、設定された領域に対しては検出処理を行わない場合を説明するための図である。 監視カメラは固定アングルとは限らないことを説明するための図である。 本発明の第１の実施形態に係る画像処理装置を適用した撮像装置（カメラ装置）の構成の一例を示すブロック図である。 本実施形態に係る撮像部の構成の一例を示すブロック図である。 光波を入力し、発報管理部で最終的な動き検出情報を出力するまでの動作フローの一例を示すフローチャートである。 検出結果と領域情報をもとに最終的な発報を出力するまでの動作フローの一例を示すフローチャートである。 本実施形態における動き検出の状況および検出情報履歴の形式の一例を示す図である。 本実施形態における動き検出の状況および検出情報履歴の形式の別の一例を示す図である。 図１２（ａ）に示す６枚の画像の検出結果により、蓄積部において図１２（ｂ）に示す形式の検出情報履歴が順次更新されていく様子を示す図である。 本発明の第２の実施形態に係る画像処理装置を適用した撮像装置（カメラ装置）の構成の一例を示すブロック図である。 内蔵モータにより撮影アングルを変えることができるドーム型監視カメラのイメージ図である。 図１５に示すようなシーンを撮像したときのイメージ図および検出情報履歴の一例を示す図である。 消去部が蓄積部内の検出情報履歴を破棄する動作フローを示すフローチャートである。 本発明の第３の実施形態に係る画像処理装置を適用した撮像装置（カメラ装置）の構成の一例を示すブロック図である。 切替部がスイッチを切り替える切替信号を出力する動作フローを示すフローチャートである。

符号の説明

１００，１００Ａ，１００Ｂ・・・撮像装置（カメラ装置）、１０１，１０１Ａ・・・撮像部、１０２・・・動き検出部、１０３，１０３Ａ，１０３Ｂ−１，１０３Ｂ−２・・・蓄積部、１０４・・・領域分離部、１０５・・・発報管理部、１０６・・・消去部、１０７−１，１０７−２・・・スイッチ、１０８・・・切替部。

Claims (14)

1. 撮像された画像から画面内の動領域を検出し、検出情報を出力する検出部と、
   前記検出部が出力した過去の検出情報を蓄積する蓄積部と、
   前記蓄積部に蓄積された過去の検出情報に基づいて定常的に動きが発生している領域と動きがない領域に分離する領域分離部と、
   前記領域分離部の領域情報と前記検出部からの検出情報から特定の制御を施す発報管理部と
   を有する画像処理装置。
2. 前記発報管理部は、
   対象領域が、定常的に動きが発生している領域と判定した場合には、検出情報をマスクして最終出力とし、
   対象領域が、定常的に動きが発生している領域ではないと判定した場合には、検出情報を最終出力とする
   請求項１記載の画像処理装置。
3. 前記蓄積部に蓄積されている過去の検出情報の一部または全部を所定の条件において消去する消去部を含む
   請求項１または２記載の画像処理装置。
4. 前記所定の条件が、
   前回の消去から所定時間経過していることである
   請求項３記載の画像処理装置。
5. 前記画像には、
   撮影アングルを変更して撮像した画像を含み、
   前記消去部は、
   アングル情報から撮影アングルの変化を検出すると消去信号を前記蓄積部に出力し、
   前記蓄積部は、
   前記消去信号を受けて、前記蓄積された過去の検出情報の少なくとも一部を破棄する
   請求項３記載の画像処理装置。
6. アングル情報に応じて切り替え処理を行う切替部を有し、
   前記画像には、
   撮影アングルを変更して撮像した画像を含み、
   前記蓄積部は、
   前記Ｎ種（Ｎは自然数）のアングルに対応する独立したＮ個の蓄積部を含み、
   前記切替部は、
   前記アングル情報に応じた蓄積部に切り替えて、対応する検出情報の蓄積および検出情報履歴の前記領域分離部への入力を行わせる
   請求項１または２記載の画像処理装置。
7. 少なくとも、外部からの制御に基づき画像の撮像を行う撮像部と、
   前記撮像部で撮像された画像から画面内の動領域を検出し、検出情報を出力する検出部と、
   前記検出部が出力した過去の検出情報を蓄積する蓄積部と、
   前記蓄積部に蓄積された過去の検出情報に基づいて定常的に動きが発生している領域と動きがない領域に分離する領域分離部と、
   前記領域分離部の領域情報と前記検出部からの検出情報から特定の制御を施す発報管理部と
   を有する撮像装置。
8. 前記発報管理部は、
   対象領域が、定常的に動きが発生している領域と判定した場合には、検出情報をマスクして最終出力とし、
   対象領域が、定常的に動きが発生している領域ではないと判定した場合には、検出情報を最終出力とする
   請求項７記載の撮像装置。
9. 前記蓄積部に蓄積されている過去の検出情報の一部または全部を所定の条件において消去する消去部を含む
   請求項７または８記載の撮像装置。
10. 前記所定の条件が、
    前回の消去から所定時間経過していることである
    請求項９記載の撮像装置。
11. 前記撮像部は、
    撮影アングルを変更して撮像可能であり、現在のアングル情報を前記消去部に出力し、
    前記消去部は、
    アングル情報から撮影アングルの変化を検出すると消去信号を前記蓄積部に出力し、
    前記蓄積部は、
    前記消去信号を受けて、前記蓄積された過去の検出情報の少なくとも一部を破棄する
    請求項９記載の撮像装置。
12. アングル情報に応じて切り替え処理を行う切替部を有し、
    前記撮像部は、
    撮影アングルを変更して撮像可能であり、現在のアングル情報を前記切替部に出力し、
    前記蓄積部は、
    前記Ｎ種（Ｎは自然数）のアングルに対応する独立したＮ個の蓄積部を含み、
    前記切替部は、
    前記アングル情報に応じた蓄積部に切り替えて、対応する検出情報の蓄積および検出情報履歴の前記領域分離部への入力を行わせる
    請求項７または８記載の撮像装置。
13. 撮像された画像から画面内の動領域を検出し、検出情報を得る検出ステップと、
    前記検出ステップで得られた過去の検出情報を蓄積する蓄積ステップと、
    前記蓄積ステップで蓄積された過去の検出情報に基づいて定常的に動きが発生している領域と動きがない領域に分離する領域分離ステップと、
    前記領域分離ステップの領域情報と前記検出ステップからの検出情報から特定の制御を施す発報管理ステップと
    を有する画像処理方法。
14. 撮像された画像から画面内の動領域を検出し、検出情報を得る検出処理と、
    前記検出処理で得られた過去の検出情報を蓄積する蓄積処理と、
    前記蓄積処理で蓄積された過去の検出情報に基づいて定常的に動きが発生している領域と動きがない領域に分離する領域分離処理と、
    前記領域分離処理の領域情報と前記検出ステップからの検出情報から特定の制御を施す発報管理処理と
    を含む画像処理をコンピュータに実行させるプログラム。

Images