JP2020022097A - 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム - Google Patents

Abstract

【課題】固定領域の隠蔽を確実に実現するための技術を提供する。【解決手段】撮像画像に含まれる動体を検出し、検出された動体に基づき、前記動体を隠すように第１のマスクを描画し、前記第１のマスクが描画された撮像画像に対し所定の位置に第２のマスクを重畳して描画し、前記第１のマスクと前記第２のマスクとが描画された撮像画像を表示装置に出力し、前記撮像画像が前記表示装置に表示される場合に、前記第２のマスクが描画された領域内では前記第１のマスクが前記表示装置に表示されないように前記撮像画像を出力する。【選択図】 図１

Description

本発明は、画像処理装置、画像処理装置の制御方法、システム、及び、プログラムに関する。

監視カメラ等で撮像した画像内の特定の領域に対するセキュリティやプライバシーを確保するため、当該特定の領域に固定的にマスクを重畳する技術が知られている。本明細書では、これ以降、特定の領域に固定的に重畳されるマスクのことを固定マスクという。また、画像内に動体が含まれる場合に、当該動体のプライバシーを考慮するため、画像中で動体が含まれる領域（動体領域）にマスクを重畳する技術が知られている。本明細書では、これ以降、動体領域に重畳されるマスクのことを動体マスクという。

特許文献１は、物流センターにおいて搬送される荷物に動体マスクが重畳表示されることを防止するため、ユーザによる設定領域の外にある動体に対してのみ、動体マスクを重畳する方法を開示する。

特開２０１６−１５８１５６号公報

上述の特許文献１に開示された技術では、画像中で動体マスクが描画される可能性のある領域が固定領域に含まれる場合、固定領域に描画される固定マスクの上に更に動体マスクが重畳されると、固定領域における動体の存在が通知されることになりかねない。このような場合、意図している固定マスクによる固定領域の隠蔽が不十分になってしまうおそれがある。

そこで本発明は、固定領域の隠蔽を確実に実現するための技術を提供する。

上記課題を解決するための発明は、画像処理装置であって、
撮像画像を取得する取得手段と、
前記撮像画像に含まれる動体を検出する検出手段と、
検出された前記動体に基づき前記撮像画像に対し、前記動体を隠すように第１のマスクを描画し、前記第１のマスクが描画された撮像画像に対し所定の位置に第２のマスクを重畳して描画する描画手段と、
前記第１のマスクと前記第２のマスクとが描画された撮像画像を表示装置に出力する出力手段と
を備え、
前記出力手段が出力した前記撮像画像が前記表示装置に表示される場合に、前記第２のマスクが描画された領域内では前記第１のマスクが前記表示装置に表示されないように前記出力手段が前記撮像画像を出力することを特徴とする。

本発明によれば、固定領域の隠蔽を確実に実現するための技術を提供できる。

発明の実施形態に対応するシステムの構成の一例を示す図。 発明の実施形態に対応する撮像装置１１０のハードウェア構成例、及び、クライアント装置１２０のハードウェア構成例を示すブロック図。 発明の実施形態に対応する撮像装置１１０の機能構成の一例、及び、クライアント装置１２０の機能構成のいくつかの例を示すブロック図。 発明の実施形態１に対応するクライアント装置１２０が行う処理の一例を示すフローチャート。 発明の実施形態１に対応する撮像画像に対する画像処理を説明するための図。 発明の実施形態に対応するシステムにおける出力画像の一例を示す図。 発明の実施形態２に対応するクライアント装置１２０が行う処理の一例を示すフローチャート。 発明の実施形態２に対応する撮像画像に対応する画像処理を説明するための図。 発明の実施形態３に対応するクライアント装置１２０が行う処理の一例を示すフローチャート。

＜実施形態１＞
以下、添付図面を参照し、発明の実施形態について説明する。本実施形態に対応するシステムでは、所定の実空間を撮像して得られた画像において動体を検出し、検出された動体の上に第１のマスクである動体マスクを重畳する。さらに、動体マスクが重畳された画像に対し、撮像画像に対して予め設定された固定領域の情報に基づいて第２のマスクである固定マスクを更に重畳する。このようにして得られた、動体マスク及び固定マスクという２種類のマスクが重畳された画像を出力（表示）する。

本実施形態において、動体には、例えば人物や車両の他、任意のものが含まれる。動体は、それが存在しない実空間を撮像した画像等に基づいて作成される背景画像と、撮像画像との差分に基づいて検出可能な被写体であれば任意のものを含むことができる。また、物体は、撮像対象の実空間内を移動していてもよいし、実空間内の所定の場所に留まっていたり、静止していたりしてもよい。

図１は、発明の実施形態に対応するシステム構成の一例を示す図である。図1に示すように、本実施形態のシステム１００は、撮像装置１１０、クライアント装置１２０、入力装置１３０、表示装置１４０、ネットワーク１５０を含むように構成される。図１に示すシステム１００の構成は、あくまで一例であって、これら以外の構成要素が更に追加されてもよい。以下、各構成要素について説明する。

撮像装置１１０は、ネットワークカメラなどの撮像装置であり、クライアント装置１２０において設定された姿勢や画角などの撮像パラメータに従って、実空間を撮像して撮像画像を生成し、ネットワーク１５０を通して撮像画像をクライアント装置１２０に対して送信する。撮像装置１１０は、１台のネットワークカメラだけでなく、複数台のネットワークカメラから構成されてもよい。
クライアント装置１２０は、撮像装置１１０からネットワーク１５０を通して撮像画像を受信する。クライアント装置１２０は、受信した撮像画像から動体を検出し、検出した動体に基づき撮像画像内に動体領域を設定する。また、動体領域に動体マスクを重畳した後、撮像画像に予め設定されている固定領域に固定マスクを重畳する。クライアント装置１２０は、動体マスクと固定マスクを重畳した撮像画像を表示装置１４０に出力して表示する。

入力装置１３０は、キーボードやマウス、タッチパネルなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をクライアント装置１２０に対して入力することができる。表示装置１４０は、ＣＲＴや液晶画面などにより構成されており、クライアント装置１２０による処理結果を画像や文字などを用いて表示することができる。

なお、図１では、クライアント装置１２０、入力装置１３０、表示装置１４０はそれぞれ別個の装置としているが、このような構成に限らない。例えば、これらの装置を一体化させて１つの装置としても良いし、クライアント装置１２０と表示装置１４０とを一体化させても良いし、入力装置１３０と表示装置１４０とを一体化させても良い。また、クライアント装置１２０と撮像装置１１０とを一体化させても良い。

ネットワーク１５０は、撮像装置１１０とクライアント装置１２０とを相互に通信可能な状態で接続する通信網である。ネットワーク１５０は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。本実施形態では、ネットワーク１５０は、撮像装置１１０とクライアント装置１２０との間の通信を行うことができるものであればよく、その通信規格、規模、構成を問わない。例えば、ネットワーク１５０は、インターネットや有線ＬＡＮ（Local Area Network）、無線ＬＡＮ（Wireless Lan）、ＷＡＮ（Wide Area Network）等により構成されてもよい。

次に、図２を参照して、撮像装置１１０とクライアント装置１２０のハードウェア構成を説明する。まず、撮像装置１１０のハードウェア構成例について、図２（ａ）のブロック図を用いて説明する。図２（ａ）に示すように、撮像装置１１０は、ＣＰＵ２１１、主記憶装置２１２、補助記憶装置２１３、駆動部２１４、撮像部２１５を含んで構成することができる。なお、図２（ａ）に示した構成は、撮像装置１１０に適用可能な構成の一例に過ぎず、適宜変形／変更が可能である。

ＣＰＵ２１１は、主記憶装置２１２に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりＣＰＵ２１１は、撮像装置１１０全体の動作制御を行うと共に、撮像装置１１０が実行する後述の各処理を実行若しくは制御する。例えばＣＰＵ２１１は、主記憶装置２１２に格納されているコンピュータプログラムやデータを用いて処理を実行することで、図３（ａ）に示した各機能部の機能を実現する。これら各機能部の詳細については後述する。

主記憶装置２１２は、ＲＡＭ(Random Access Memory)等の記憶装置である。主記憶装置２１２は、補助記憶装置２１３からロードされたコンピュータプログラムやデータ、撮像部２１５による撮像画像、ネットワークＩ／Ｆ２１６を通してクライアント装置１２０から受信した各種のデータ、を格納するためのエリアを有する。さらに主記憶装置２１２は、ＣＰＵ２１１が各種の処理を実行する際に用いるワークエリアを有する。このように主記憶装置２１２は、各種のエリアを適宜提供することができる。

補助記憶装置２１３は、ハードディスクドライブ（ＨＤＤ）、ＲＯＭ(Read Only Memory)、ＳＳＤ(Solid State Drive)等の大容量情報記憶装置である。補助記憶装置２１３には、ＯＳ（オペレーティングシステム）や、撮像装置１１０が行うものとして後述する各処理をＣＰＵ２１１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。また補助記憶装置２１３には、ネットワークＩ／Ｆ２１６を通してクライアント装置１２０から受信したデータ（例えば上記の撮像パラメータ）も保存される。補助記憶装置２１３に保存されているコンピュータプログラムやデータは、ＣＰＵ２１１による制御に従って適宜主記憶装置２１２にロードされ、ＣＰＵ２１１による処理対象となる。

駆動部２１４は、クライアント装置１２０から受信した撮像パラメータに基づいて撮像部２１５を駆動して、該撮像部２１５の姿勢（撮像方向）や画角等を制御する。駆動部２１４による制御対象は特定の対象に限らず、撮像部２１５の姿勢及び画角であっても良いし、何れか一方のみであっても良いし、その他の対象（例えば撮像部２１５の位置）であっても良い。また、撮像部２１５の位置や姿勢、画角などは固定しても良く、その場合は、駆動部２１４は設けなくても良い。

撮像部２１５は、撮像素子と光学系とを有し、光学系の光軸と撮像素子との交点を撮像中心として被写体の像を撮像素子上に結像する。撮像素子には、ＣＭＯＳ（Complementary metal-Oxide Semiconductor）、ＣＣＤ（Charged Coupled Device）等がある。ネットワークＩ／Ｆ２１６は、撮像装置１１０がネットワーク１５０を通してクライアント装置１２０との間のデータ通信を行うために利用するインターフェースである。

図２（ｂ）は、クライアント装置１２０のハードウェア構成の一例を示す図である。図２（ｂ）に示すように、クライアント装置１２０は、ＣＰＵ２２１、主記憶装置２２２、補助記憶装置２２３、入力Ｉ／Ｆ２２４、出力Ｉ／Ｆ２２５、ネットワークＩ／Ｆ２２６を有する。

ＣＰＵ２２１は、主記憶装置２２２に格納されているコンピュータプログラムやデータを用いて処理を実行することで、クライアント装置１２０全体の動作制御を行うと共に、クライアント装置１２０が行うものとして後述する各処理を実行若しくは制御する。例えばＣＰＵ２２１は、主記憶装置２２２に格納されているコンピュータプログラムやデータを用いて処理を実行することで、図３（ｂ）の各機能部の機能を実現する。図３（ｂ）の各機能部については後述する。

主記憶装置２２２は、ＲＡＭ（Random Access Memory）等の記憶装置である。主記憶装置２２２は、補助記憶装置２２３からロードされたコンピュータプログラムやデータ、ネットワークＩ／Ｆ２２６を通して撮像装置１１０から受信した各種のデータ（例えば、撮像画像）、を格納するためのエリアを有する。さらに主記憶装置２２２は、ＣＰＵ２２１が各種の処理を実行する際に用いるワークエリアを有する。このように主記憶装置２２２は、各種のエリアを適宜提供することができる。

補助記憶装置２２３は、ハードディスクドライブ（ＨＤＤ）、ＲＯＭ(Read Only Memory)、ＳＳＤ(Solid State Drive)等の大容量情報記憶装置である。補助記憶装置２２３には、ＯＳ（オペレーティングシステム）や、クライアント装置１２０が行うものとして後述する各処理をＣＰＵ２２１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。また補助記憶装置２２３には、ネットワークＩ／Ｆ２２６を通して撮像装置１１０から受信した各種のデータ（例えば、撮像画像）や動体検出に使用する背景画像も保存される。補助記憶装置２２３に保存されているコンピュータプログラムやデータは、ＣＰＵ２２１による制御に従って適宜主記憶装置２２２にロードされ、ＣＰＵ２２１による処理対象となる。

入力Ｉ／Ｆ２２４は、入力装置１３０をクライアント装置１２０に接続するためのインターフェースである。出力Ｉ／Ｆ２２５は、表示装置１４０をクライアント装置１２０に接続するためのインターフェースである。ネットワークＩ／Ｆ２２６は、クライアント装置１２０がネットワーク１５０を通して撮像装置１１０との間のデータ通信を行うために利用するインターフェースである。

次に、図３を参照して、撮像装置１１０とクライアント装置１２０の機能構成を説明する。まず、図３（ａ）は、発明の実施形態に対応する撮像装置１１０の機能構成の一例を示す図である。図３（ａ）に示した各機能部はハードウェアとして実装しても良いし、ソフトウェア（コンピュータプログラム）として実装しても良い。後者の場合、コンピュータプログラムは補助記憶装置２１３に保存される。ＣＰＵ２１１はコンピュータプログラムを必要に応じて主記憶装置２１２にロードして実行することで、対応する機能部の機能を実現する。

図３（ａ）に示すように、撮像装置１１０の機能構成には、撮像制御部３１１、信号処理部３１２、駆動制御部３１３、通信制御部３１４を含むことができる。撮像制御部３１１は、撮像部２１５の撮像動作を制御し、撮像部２１５によって撮像された画像を撮像画像として取得する。信号処理部３１２は、撮像制御部３１１が取得した撮像画像に対して所定の画像処理を行う。当該画像処理には、例えば、現像処理や符号化処理を含むことができる。なお、撮像装置１１０による撮像画像に対する符号化は必須ではなく、信号処理部３１２は、撮像画像に対して符号化処理を行わなくてもよい。

駆動制御部３１３は、クライアント装置１２０から受信した撮像パラメータに基づいて撮像部２１５を駆動して、該撮像部２１５の姿勢（撮像方向）や画角等を制御する。上記の通り、撮像部２１５の姿勢（撮像方向）や画角等は固定であっても良い。通信制御部３１４は、信号処理部３１２により処理された撮像画像を、ネットワークＩ／Ｆ２１６を通してクライアント装置１２０に対して送信する。また通信制御部３１４は、ネットワークＩ／Ｆ２１６を通して、クライアント装置１２０から送信された撮像装置１１０に対する制御命令（撮像パラメータを含む）等を受信する。

次に、本実施形態に対応するクライアント装置１２０の機能構成例について図３（ｂ）のブロック図を用いて説明する。図３（ｂ）に示した各機能部はハードウェアとして実装しても良いし、ソフトウェア（コンピュータプログラム）として実装しても良い。後者の場合、コンピュータプログラムは補助記憶装置２２３に保存される。ＣＰＵ２２１はコンピュータプログラムを必要に応じて主記憶装置２２２にロードして実行することで、対応する機能部の機能を実現する。クライアント装置１２０の機能構成には、設定判定部３２１、通信制御部３２２、画像取得部３２３、検出部３２４、描画部３２５、表示部３２６を含むことができる。

設定判定部３２１は、補助記憶装置２２３に保存された固定領域の設定情報を取得して固定領域の設定（あるいは、固定マスクの描画）に関する種々の判定を行う。当該判定には、例えば、固定領域が設定されているか否か（あるいは、固定マスクを描画する設定であるか否か）、設定されている場合には固定領域の位置、大きさ（あるいは、固定マスクを描画する位置、大きさ）についての判定を含むことができる。また、設定された固定領域（あるいは、描画する固定マスク）が変更されたか否か、固定領域（あるいは、固定マスクを描画する）の設定が解除されたかどうか等を含むこともできる。固定領域の設定方法は特定の設定方法に限らない。例えば、予めユーザが入力装置１３０を操作して撮像画像上に固定領域を設定し、当該固定領域の設定情報を補助記憶装置２２３に保存しておいても良い。また、他の形態として、本システムを適用する現場において、撮像画像において隠したい物体があらかじめ決まっていたとする。このとき、システム１００を稼働させて撮像画像を取得し、該撮像画像に対して隠したい物体の検出処理を行い、検出した物体が隠れるような領域を固定領域に定め、その情報を補助記憶装置２２３に保存しても良い。固定領域の設定情報には様々な情報が考えられる。例えば、固定領域の左上隅の位置及び右下隅の位置の情報としても良いし、固定領域の左上隅の位置と固定領域の縦及び横のサイズの情報としても良い。

通信制御部３２２は、撮像装置１１０から送信された画像（符号化済み）をネットワークＩ／Ｆ２２６を介して取得する。また通信制御部３２２は、撮像装置１１０への制御命令を、ネットワークＩ／Ｆ２２６を介して撮像装置１１０に対して送信する。画像取得部３２３は、通信制御部３２２が撮像装置１１０から受信した撮像画像を取得して復号する。なお、撮像装置１１０が符号化することなく撮像画像をクライアント装置１２０に対して送信する場合、画像取得部３２３は通信制御部３２２が撮像装置１１０から受信した画像を復号することなく取得する。

検出部３２４は、画像取得部３２３が取得した撮像画像に対して動体検出処理を行い、検出した動体と関連付けられる領域を動体領域とする。本実施形態の動体検出処理においては、撮像画像から動体を検出するために背景差分法を用いることができる。具体的には、予め取得しておいた背景画像と撮像画像とを比較し、対応する位置にある画素同士で輝度値の差分を計算する。背景画像は補助記憶装置２２３に保存しておくことができる。そして、得られた差分が閾値を超えた画素からなる領域を動体領域と判断する。ただし、動体検出処理の実現方法は背景差分法に限定されるものではなく、他の公知の方法を使用してもよい。例えば、本実施形態では輝度値の差分を用いたが、ＲＧＢ値を三次元の座標として扱い、差分として背景画像のＲＧＢ値と撮像画像のＲＧＢ値の距離を測っても良い。また、背景差分に限らず、例えばオプティカルフローのように画像内の各座標の移動方向を計算して動体を検出してもよい。本実施形態では、あらかじめ用意しておく背景画像には、固定マスクは重畳されていないものとする。

描画部３２５は、撮像画像上の動体領域に動体マスクを描画し、撮像画像上の固定領域に固定マスクを描画する。表示部３２６は、描画部３２５による描画処理済みの撮像画像を表示装置１４０に表示させる。なお、図３（ｃ）に示すクライアント装置１２０の機能構成については、後述する実施形態２及び３で説明する。

次に、図４を参照して、発明の実施形態に対応するクライアント装置１２０における画像の出力処理の一例を説明する。ここでは特に、クライアント装置１２０が動体マスクを重畳した画像に固定マスクを重畳した画像を出力する処理を説明する。図４のフローチャートに従った処理は、撮像装置１１０による１枚の撮像画像についての処理である。したがって、撮像装置１１０から複数の撮像画像がクライアント装置１２０に対して送信される場合、クライアント装置１２０は、それぞれの撮像画像について図４のフローチャートに従った処理を行う。以下では説明を簡単にするために、撮像装置１１０からは画像を符号化せずに送信したものとする。

Ｓ４００では、画像取得部３２３が、通信制御部３２２がネットワークＩ／Ｆ２２６を介して撮像装置１１０から受信した撮像画像を主記憶装置２２２に記憶させる。ここで取得される撮像画像の一例を図５（ａ）、（ｂ）を参照して説明する。図５（ａ）の撮像画像５００は、動体である作業員５０１、５０２、５０３が含まれている撮像画像の一例を示す。図５（ｂ）の撮像画像５１０は、作業員５０１等の動体を含んでいない撮像画像の一例を示す。

続くＳ４０１では、検出部３２４が、Ｓ４００で主記憶装置２２２に記憶された撮像画像から、上記の背景差分法により動体を検出し、検出した動体に基づき動体領域を設定する。例えば、図５（ａ）の撮像画像５００を取得した場合、検出部３２４は作業員５０１、５０２、５０３を検出することになるので、検出された作業員５０１、５０２、５０３のそれぞれについて動体領域が設定される。このとき設定される動体領域の一例を図５（ｃ）に示す。図５（ｃ）では、画像５００において検出された作業員５０１から５０３のそれぞれの位置に対して、動体領域５２１から５２３が設定されている。一方、図５（ｂ）の撮像画像５００を取得した場合、検出部３２４は動体を検出しないので動体領域は設定されない。また、図５（ｄ）は、動体検出に使用される背景画像の一例を示した図である。

続くＳ４０２では、描画部３２５が、撮像画像のＳ４０１で設定した動体領域に動体マスクを描画する。このとき、Ｓ４０１において撮像画像から動体が検出されなかった場合には、動体マスクは描画されない。続くＳ４０３では、設定判定部３２１が固定領域の設定についての判定を行う。本実施形態では、図５（ａ）中の領域５０４が固定領域として設定されたと判定される。図５（ｃ）に示されるように、固定領域５０４は、作業員５０３を動体として検出することで設定された動体領域５２３と重なることになる。続くＳ４０４では、描画部３２５は、撮像画像における固定領域に固定マスクを描画する。但し、Ｓ４０３において固定領域が設定されていないと判定された場合には固定マスクは描画されない。続くＳ４０５では、上記処理によって得られた撮像画像を、出力Ｉ／Ｆ２２５を通して表示装置１４０に対して出力する。

上記処理の結果として得られる出力画像について図６を参照して説明する。図６は、撮像画像が図５（ａ）、（ｂ）の場合に、表示装置１４０に表示される撮影画像の一例を示す。図６（ａ）は、撮像画像が図５（ａ）の撮像画像５００であった場合の表示画像の一例を示している。図６（ａ）に示す表示画像６００では、画像５００で作業員５０１、５０２のそれぞれに対して設定された動体領域５２１、５２２に対して、動体マスク６０１、６０２が描画されている。また、撮像画像５００の固定領域５０４の領域に対して、固定マスク６０３が描画されている。

このとき、図４の処理の順序では、Ｓ４０２において先に動体領域５２３に対して動体マスクが描画され、その後のＳ４０４において動体領域５２３を含めた固定領域５０４に固定マスク６０３を重畳するよう描画が行われる。従って、動体領域５２３に先に描画された動体マスクは、固定マスク６０３により上書きされ、画像６００の固定マスク６０３が描画された固定領域５０４内には動体マスクが視認可能に描画されることがなくなる。よって、固定領域５０４内の作業員５０３の存在を処理結果の画像６００からは判別できないことになり、固定領域５０４の隠蔽を確実に実現することができる。

ここで、動体マスクは、動体領域の形状に対応する画像であってもよいし、また、動体領域を包含する任意の形状を有する画像であってもよい。また、固定マスクは、固定領域を包含する形状を有する画像である。しかし、これらのマスクに適用可能な画像は特定の画像に限らない。例えば、一定のパターンで塗りつぶされた画像、ドット柄やボーダ、一色で塗りつぶされた画像を動体マスク、固定マスクとして使用しても良い。また、例えば、特定のタイミングで取得された撮像画像、あらかじめ補助記憶装置２２３に登録されている画像を動体マスク、固定マスクとして使用しても良い。また、撮像画像と動体マスク、固定マスクとのアルファブレンドを用いて、撮像画像に動体マスク、固定マスクを描画するようにしても良い。また、動体マスクと固定マスクとは同じマスクでなくても良いし、描画方法も同じでなくても良い。なお、固定マスクを設定しているときに動体マスクを有効化した場合、固定マスクの設定を削除するようにユーザに通知してもよい。

また、図６（ｂ）は、撮像画像が図５（ｂ）の撮像画像５１０であった場合の表示画像の一例を示す。図６（ｂ）に示す撮像画像６１０では、撮像画像５１０に動体が存在していなかったので動体マスクは描画されず、固定領域５０４に固定マスク６１３だけが描画されている。

以上説明したように、本実施形態によれば、撮像画像中に動体が含まれる場合であって、かつ、固定領域が設定されている場合に、先に描画された動体マスクの上に固定マスクを重畳する。これにより、表示出力される画像の固定マスク領域内には動体マスクが視認可能に残存することが無くなるので、固定領域を確実に隠蔽することができる。

＜実施形態２＞
上述の実施形態１では、固定領域が設定された場合に、固定領域を確実に隠蔽する方法について記述した。実施形態１では、あらかじめ用意しておく背景画像には固定マスクが重畳されていなかったので、固定領域の設定が解除（削除）された場合でも、表示装置１４０における表示結果に影響を与えることはなかった。しかし、背景画像に固定マスクが重畳されている場合に固定領域の設定が解除、あるいは、設定されていた固定領域の数が減少すると、表示装置１４０が表示する画像において固定マスクと同色の動体の一部の領域が露出してしまうおそれがある。

例えば、撮像画像が図８（ａ）の撮像画像８００であり、背景画像が図８（ｂ）の背景画像８１０であった場合を考える。撮像画像８００には、作業員８０１から８０３の３人が動体として含まれる。一方、背景画像８１０では、固定マスク８１３が設定されている。この２つの画像に基づき背景差分法を適用すると、作業員８０１から８０３が動体として検出される。そして、動体領域に対して動体マスクが描画された後、固定マスクがさらに重畳される。この処理の過程において、作業員８０３は動体として検出されるが、作業員８０３の衣服の色が固定マスク８１３の色と同色、あるいは、類似しているために、衣服部分（動体の一部）は動体として検出されず、結果として衣服部分には動体マスクが描画されなくなってしまう。しかし、固定領域が設定されている限りは、固定領域に対して固定マスクが描画されるので、最終的に得られる画像において作業員８０３に対して描画される動体マスクの範囲は問題とならない。

しかし、固定領域の設定が解除された場合、動体マスクの上に固定マスクが重畳されなくなるため、動体マスクが適切に描画されていない場合には、動体を適切に隠蔽することができないおそれがある。図８（ｃ）に、そのような場合の一例として、撮像画像８００に動体マスクを描画した結果の画像８２０を示す。図８（ａ）に示した撮像画像８００では、作業員８０３の衣服の色が灰色であり、背景画像８１０の固定マスク８１３の色と同色である。このような場合に、衣服部分で背景差分の値が有意値を示さないと判定されると、設定される動体領域は図８（ｃ）に示すようになる。図８（ｃ）において、ハッチング領域８２１、８２２、８２３が動体領域であるが、動体領域８２３においては、矩形領域の全部にハッチングがかけられておらず、作業員８０３の衣服の部分８２４が元々の衣服の色のまま残存している。

このような事態は、例えば固定領域の設定が解除された後、背景画像が再作成され更新されるまでの間に起こりえる。背景画像が固定マスクを含んでいる場合、固定領域の設定解除により当該固定マスクが除去された新たな背景画像により更新されなければならない。しかし、設定解除の直後においては当該更新が間に合わないために、固定マスクが残存したままの背景画像が使用されることがなる。

そこで本実施形態では、背景画像が更新されるまでの間において、検出された動体を適切に隠蔽できなくなるという問題を解決する方法を提供する。以下の説明において、実施形態１と共通の内容については説明を省略する。本実施形態において、クライアント装置１２０の機能構成は図３（ｃ）に示すようになる。本実施形態のクライアント装置１２０は、図３（ｂ）に示す機能構成に追加して背景作成部３２７及び背景判定部３２８を有することができる。背景作成部３２７は背景画像の作成及び更新を行う。背景作成部３２７は、設定判定部３２１における固定領域が設定されているかどうかの判定結果に従って、設定された固定領域に対応する固定マスクを重畳した背景画像を作成する。また、設定判定部３２１による判定結果に従って、背景画像の更新を随時行う。作成した背景画像は補助記憶装置２２３に保存する。背景判定部３２８は、動体検出に用いられていた背景画像に固定マスクが含まれているかどうかを判定する。

次に、図７を参照して、本実施形態に対応するクライアント装置１２０における画像の出力処理の一例を説明する。ここでは特に、クライアント装置１２０が、動体マスクと固定マスクが重畳された画像を出力するために行う処理を説明する。図７（ａ）及び（ｂ）のフローチャートに従った処理は、撮像装置１１０による１枚の撮像画像についての処理である。したがって、撮像装置１１０から複数の撮像画像がクライアント装置１２０に対して送信される場合、クライアント装置１２０は、それぞれの撮像画像について図７（ａ）及び（ｂ）のフローチャートに従った処理を行う。

まず、図７（ａ）においてＳ７００からＳ７０２までの処理は図４のＳ４００からＳ４０２までの処理と同様であるので詳細な説明を省略する。続くＳ７０３では、背景判定部３２８は、補助記憶装置２２３に保存され動体検出に用いられた背景に固定マスクの画像が含まれているかどうかを判定する。当該判定は、例えば、動体検出に用いた背景画像に固定マスクの画像が残存しているかどうかを、背景画像を画像解析することにより行うことができる。判定の結果、動体検出に用いる背景に固定マスクの画像が含まれている場合、処理はＳ７０４に進む。一方、背景画像に固定マスクの画像が含まれていない場合、処理はＳ７０５に進む。Ｓ７０４では、描画部３２５は、Ｓ７００で取得した撮像画像における固定領域に固定マスクを描画する。Ｓ７０５では、表示部３２６が、Ｓ７０２及びＳ７０４によるマスクの描画処理によってマスクが重畳された撮像画像を、出力Ｉ／Ｆ２２５を通して表示装置１４０に対して出力する。これにより、設定が解除された固定マスクを含む背景画像が、当該固定マスクを含まない新たな背景画像に更新されるまでの間、固定マスクを重畳する処理を継続することが可能となる。

次に図７（ｂ）を参照して、背景画像の更新処理について説明する。当該更新処理は、図７（ａ）のフローチャートに対応する処理と並列に実行することができる。以下では、固定領域が１つのみ設定されていた場合を想定し、１つの固定領域が設定されている状態から、設定が解除された状態に変化したかどうかを判定する場合を説明する。但し、発明の実施形態はこれに限定されるものではなく、設定された固定領域が複数あった場合に、その数が減少した場合も含みうる。

まず、Ｓ７１０では、設定判定部３２１が固定領域の設定情報を補助記憶装置２２３から取得する。続くＳ７１１において設定判定部３２１は、取得した設定情報に基づいて、固定領域の設定が解除されたか否かを判定する。設定が解除されたと判定された場合、処理はＳ７１２に進む。一方、設定が解除されていないと判定された場合、処理はＳ７１０に戻る。Ｓ７１２において、背景作成部３２７が、解除された固定領域に対応する固定マスクを含まない背景画像を再作成する。続くＳ７１３において、背景作成部３２７が再作成した背景画像を補助記憶装置２２３に保存することにより、背景画像を更新する。

上記では背景画像の更新を自動的に行なう場合を説明したが、システムのユーザからの指示に応じて実行されてもよい。また、上述の処理では、背景判定部３２７は、背景画像を画像解析して固定マスク画像が含まれているかどうかを判定した。しかし、判定方法はこれに限らず、例えば背景判定部３２７が固定領域が削除された日時を主記憶装置２２２に保存しておき、保存しておいた日時から経過した期間が所定期間未満の場合に背景画像に固定マスクが含まれていると判定し、所定期間以上の場合に背景画像に固定マスクが含まれていないと判定してもよい。当該所定期間の長さは、固定マスクが重畳された背景画像から固定マスクが除去された背景画像に、背景作成部３２７により更新される平均的な時間的長さに基づいて設定することができる。

さらに、図７（ａ）のフローチャートでは、図４のＳ４０３に対応するような固定領域が設定されているかどうかの判定処理を省略したが、当該判定処理を実行してもよい。その場合、判定処理において、固定領域が設定されていないと判定された場合、あるいは、設定されている固定領域の数が減少したと判定された場合にＳ７０３の処理を実行することができる。更に、固定領域が設定されていると判定された場合、あるいは、設定されている固定領域の数が減少していないと判定された場合にはＳ７０３の処理をスキップしてＳ７０４の処理を実行してもよい。

ここで、Ｓ７００で取得した撮像画像が図８の撮像画像８００であった場合、上記の処理によりＳ７０５において表示装置１４０に出力されて表示される撮像画像は、例えば図８（ｄ）に示すようになる。作業員５０１、５０２のそれぞれの領域には動体マスク８３１、８３２が描画され、撮像画像８００の固定領域には固定マスク８３３が描画される。このような処理によって得られる画像が撮像画像８３０である。

以上説明したように、本実施形態によれば、背景画像に固定マスクが描画されている場合に、固定領域の設定が解除された場合、あるいは、設定されている固定領域の数が減少した場合であっても、撮像画像中で検出された動体を確実に隠蔽することができる。

＜実施形態３＞
実施形態２では、背景画像に固定マスクが描画されている場合に固定領域の設定が解除、あるいは、設定された固定領域の数が減少した場合の処理について説明した。これに対し本実施形態では、新たな固定領域の設定が行われた、あるいは、固定領域の数が増加した場合の処理について説明する。

以下の説明において、実施形態１と共通の内容については説明を省略する。本実施形態において、クライアント装置１２０の機能構成は図３（ｃ）に示すようになる。但し、本実施形態においてクライアント装置１２０は背景判定部３２８を有していなくてもよい。

本実施形態において設定判定部３２１は、固定領域の設定が変更されて新しい固定領域が設定されたか否かを判定する。背景作成部３２７は、設定判定部３２１における判定結果に応じて、動体検出に用いる背景画像を再作成する。例えば、背景作成部３２７は、単一もしくは複数の撮像画像を用いてに、背景画像を作成してもよい。

次に、図９を参照して、本実施形態に対応するクライアント装置１２０における画像の出力処理の一例を説明する。ここでは特に、クライアント装置１２０が、新たな固定領域の設定、あるいは、固定領域の増加に応じて背景画像を再作成しつつ、動体マスクや固定マスクが重畳された画像を出力するために行う処理を説明する。図９のフローチャートに従った処理は、撮像装置１１０による１枚の撮像画像についての処理である。したがって、撮像装置１１０から複数の撮像画像がクライアント装置１２０に対して送信される場合、クライアント装置１２０は、それぞれの撮像画像について図１１のフローチャートに従った処理を行う。

Ｓ９００からＳ９０４までの処理は、図４のＳ４００からＳ４０４までの処理と同様であるので詳細な説明は省略する。Ｓ９０５では、設定判定部３２１が、Ｓ９０３で取得された固定領域の設定に基づき、固定領域が新しく設定されたか否かを判定する。設定判定部３２１は、前回判定時の固定領域の設定情報を主記憶装置２２２に保持しておき、Ｓ９０３で取得した固定領域の設定情報と比較することにより判定を行うことができる。この判定の結果、固定領域が新しく設定されていた場合、処理はＳ９０６に進む。一方、固定領域が新しく設定されていなかった場合、処理はＳ９０７に進む。Ｓ９０６では、背景作成部３２７が新たな背景画像を再作成する。背景作成部３２７は、当該新たな背景画像を補助記憶装置２２３に保存することにより、Ｓ９０１における動体検出に用いられた背景画像を更新する。Ｓ９０７では、Ｓ９０２及びステップＳ９０４による描画処理によって得られた撮像画像を、出力Ｉ／Ｆ２２５を通して表示装置１４０に対して出力する。

以上によれば、本実施形態では新たな固定領域が設定されている、あるいは、固定領域が増加したと判定された場合に、それまで使用していた背景画像を破棄して、新しい背景画像を再生成し、固定領域を確実に隠蔽することができる。また、以上では発明の各実施形態について詳述したが、発明は記載に係る個々の実施形態に限定されるものではなく、上述した各実施形態を任意に組み合わせてもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０：撮像装置、１２０：クライアント装置、１３０：入力装置、１４０：表示装置、１５０：ネットワーク

Claims (13)

1. 撮像画像を取得する取得手段と、
   前記撮像画像に含まれる動体を検出する検出手段と、
   検出された前記動体に基づき前記撮像画像に対し、前記動体を隠すように第１のマスクを描画し、前記第１のマスクが描画された撮像画像に対し所定の位置に第２のマスクを重畳して描画する描画手段と、
   前記第１のマスクと前記第２のマスクとが描画された撮像画像を表示装置に出力する出力手段と
   を備え、
   前記出力手段が出力した前記撮像画像が前記表示装置に表示される場合に、前記第２のマスクが描画された領域内では前記第１のマスクが前記表示装置に表示されないように前記出力手段が前記撮像画像を出力することを特徴とする画像処理装置。
2. 前記検出手段は、背景画像と前記撮像画像との差分に基づき前記動体を検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像画像に対する前記第２のマスクの描画に関する設定について判定する第１の判定手段を更に備え、
   前記描画手段は、前記第１の判定手段により前記撮像画像に前記第２のマスクを描画する設定であると判定された場合に、前記第１のマスクが描画された撮像画像に対し前記第２のマスクを重畳して描画することを特徴とする請求項２に記載の画像処理装置。
4. 前記背景画像に、前記所定の位置に対応する前記背景画像の位置に描画された前記第２のマスクが含まれている場合、前記描画手段は、前記第１の判定手段が前記撮像画像に前記第２のマスクを描画する設定が解除されたと判定した場合であっても、前記背景画像に前記描画された前記第２のマスクが含まれている間は、前記第１のマスクが描画された撮像画像に対し前記第２のマスクを重畳して描画することを特徴とする請求項３に記載の画像処理装置。
5. 前記背景画像を作成する作成手段を更に備え、
   前記作成手段は、前記第１の判定手段が前記撮像画像に前記第２のマスクを描画する設定が解除されたと判定した場合に、前記第２のマスクを含まない新たな背景画像を作成して、前記検出手段が前記動体を検出するために用いた背景画像を該新たな背景画像により更新し、
   前記描画手段は、前記作成手段が前記新たな背景画像により前記更新を行うまで、前記第１のマスクが描画された撮像画像に対し前記第２のマスクを重畳して描画することを特徴とする請求項４に記載の画像処理装置。
6. 前記背景画像に、前記所定の位置に対応する前記背景画像の位置に描画された前記第２のマスクが含まれている場合、前記描画手段は、前記第１の判定手段が前記撮像画像に前記第２のマスクを描画する設定が解除されたと判定した場合であっても、前記設定が解除されてから所定期間が経過するまで、前記第１のマスクが描画された撮像画像に対し前記第２のマスクを重畳して描画することを特徴とする請求項３に記載の画像処理装置。
7. 前記背景画像を作成する作成手段を更に備え、
   前記作成手段は、前記第１の判定手段が前記第２のマスクを描画する設定が解除されたと判定した場合に、前記第２のマスクを含まない新たな背景画像を作成して、前記検出手段が前記動体を検出するために用いた背景画像を該新たな背景画像により更新し、
   前記所定の期間は、前記作成手段が前記新たな背景画像により前記更新を行うまでの期間に基づいて定められることを特徴とする請求項６に記載の画像処理装置。
8. 前記背景画像に前記第２のマスクが描画されているかどうかを判定する第２の判定手段を更に備え、
   前記描画手段は、前記第２の判定手段が前記背景画像に前記第２のマスクが描画されていると判定した場合に、前記第２のマスクを前記第１のマスクが描画された撮像画像に重畳して描画することを特徴とする請求項２に記載の画像処理装置。
9. 前記撮像画像に新たな第２のマスクを描画する設定がなされたかどうかを判定する第３の判定手段を更に備え、
   前記第３の判定手段が、前記新たな第２のマスクを描画する設定がなされたと判定し、かつ、前記検出手段が前記新たな第２のマスクが含まれない背景画像と前記撮像画像との差分に基づき前記動体を検出した場合に、前記描画手段は、前記第１のマスクが描画された撮像画像に対し前記新たな第２のマスクを更に重畳して描画することを特徴とする請求項２に記載の画像処理装置。
10. 前記背景画像を作成する作成手段を更に備え、
    前記作成手段は、前記第３の判定手段が前記新たな第２のマスクを描画する設定がなされたと判定した場合に、前記新たな第２のマスクを含む新たな背景画像を作成して、前記検出手段が前記動体を検出するために用いた背景画像を該新たな背景画像により更新することを特徴とする請求項９に記載の画像処理装置。
11. 所定の空間を撮像して撮像画像を生成する撮像手段と、
    前記撮像画像を画像処理して出力する請求項１から１０のいずれか1項に記載の画像処理装置と、を備えるシステム。
12. 画像処理装置の制御方法であって、
    取得手段が、撮像画像を取得する取得工程と、
    検出手段が、前記撮像画像に含まれる動体を検出する検出工程と、
    描画手段が、検出された前記動体に基づき前記撮像画像に対し第１のマスクを描画する工程と、
    前記描画手段が、前記第１のマスクが描画された撮像画像に対し所定の位置に第２のマスクを重畳して描画する工程と、
    出力手段が、前記第１のマスクと前記第２のマスクとが描画された撮像画像を表示装置に出力する出力工程と
    を含み、
    前記出力工程において出力された前記撮像画像が前記表示装置に表示される場合、前記第２のマスクが描画された領域内では前記第１のマスクが前記表示装置に表示されないように前記出力工程において前記撮像画像を出力することを特徴とする画像処理装置の制御方法。
13. コンピュータを請求項１から１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。