JP2019050553A - 画像処理装置、画像提供装置、それらの制御方法及びプログラム - Google Patents

Abstract

【課題】記録された撮影画像に対して柔軟にマスク処理を行う技術を提供する。【解決手段】画像処理装置は、撮影画像を取得する画像取得部と、撮影画像に対応して記録された、撮影画像に存在する物体がマスク対象であるか否かを示すフラグ情報を含む解析データを取得する情報取得部と、撮影画像から物体を検出する検出部と、撮影画像から検出された物体のうち、フラグ情報によってマスク対象であることが示されている物体をマスクした画像を生成するマスク処理部と、を備える。【選択図】 図４

Description

本発明は、画像処理装置、画像提供装置、それらの制御方法及びプログラムに関する。

近年、監視カメラが広く設置されており、監視カメラが撮影した画像に映る個人のプライバシーを保護する技術が提案されている。

例えば、特許文献１では、画像中の人体領域を背景画像により抽出し、ぼかし処理を行う技術が開示されている。また、特許文献２では、画像中の顔領域を顔検出処理によって抽出し、予め登録しておいた顔画像との照合を行うことによって特定人物のみ表示する技術が開示されている。

特開２００８−１９１８８４号公報 特開２００４−０６２５６０号公報

監視カメラの画像を録画する機能を備えた録画管理システムにおいて、録画画像に映る個々の物体や視聴するユーザに応じてマスク処理を施すか否かを個別に設定して、プライバシーを保護したいというニーズがある。上述した従来技術では、予め指定された対象について、撮影画像にプライバシー保護処理を施すことはできるものの、録画画像の個々の物体に対してプライバシー保護の設定を柔軟に行うことは困難であった。

本発明は、撮影画像に対して柔軟にマスク処理を行うことを可能とすることを目的とする。

本発明の一態様による画像処理装置は、
撮影画像を取得する画像取得手段と、
前記撮影画像に対応して記録された、前記撮影画像に存在する物体がマスク対象であるか否かを示すフラグ情報を含む解析データを取得する情報取得手段と、
前記撮影画像から物体を検出する検出手段と、
前記撮影画像から検出された物体のうち、前記フラグ情報によってマスク対象であることが示されている物体をマスクした画像を生成するマスク処理手段と、を備える。

本発明によれば、記録された撮影画像に対して柔軟にマスク処理を行うことができる。

監視カメラシステム１０を示した構成図。 監視カメラシステム１０のうちネットワークカメラ１００およびネットワークストレージ装置３００を示したブロック図。 画像ファイルと解析データファイルとの関係を示す図。 監視カメラシステム１０のうち画像表示装置４００を示したブロック図。 画像表示装置４００の動作を示すフローチャート。 あるフレームにおける画像とメタデータとの対応付けを示した図。 プライバシー保護画像の生成を説明する図である。 クライアント端末における動作状況を示した図。 あるフレームにおける画像とメタデータとの対応付けを示した図。 クライアント端末における動作状況を示した図。 画像表示装置４００のハードウェア構成の一例を示すブロック図。

以下、図面に従って本発明に係る実施形態を詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施の形態１＞
図１は、監視カメラシステム１０を示した構成図である。監視カメラシステム１０は、画像処理システムの例であり、ネットワークカメラ１００と、管理サーバ２００と、ネットワークストレージ装置３００と、画像表示装置４００と、ネットワーク回線であるＬＡＮ５００と、を含んで構成される。

ネットワークカメラ１００は、所定領域を撮影する撮影装置であり、例えば、小売店舗などに設置されて店内を撮影する。また、ネットワークカメラ１００は、撮影した画像（動画及び静止画）に対して画像解析処理を施し、解析データを生成する機能を有し、例えば、動体検出、動体追尾、人体検出、顔認識、物体検出などを行う。

管理サーバ２００は、所定領域内の全体に設置された複数のネットワークカメラ１００が撮影した画像や解析データを収集する。また、管理サーバ２００は、後述するネットワークストレージ装置３００に記録された過去の画像や解析データも収集する。管理サーバ２００は、こうして収集されたデータを利用することによって、所定領域内の全体に渡る画像情報の管理を行う。なお、管理サーバ２００には、画像解析処理機能が実装されていてもよい。この場合、ネットワークカメラ１００における解析データを生成する機能が省略されてもよい。また、例えば、ネットワークカメラ１００による画像解析処理では解析できなかった画像に対し、管理サーバ２００がより高度な画像解析処理を行い、解析データを生成するようにしてもよい。

ネットワークストレージ装置３００は、記録装置である。ネットワークカメラ１００で撮影した画像や、画像解析処理された解析データが、ＬＡＮ５００を介してネットワークストレージ装置３００に記録される。管理サーバ２００は、ネットワークカメラ１００およびネットワークストレージ装置３００と協働して、画像表示装置４００へ画像データと解析データを提供する画像提供装置として機能する。

画像処理装置としての画像表示装置４００は、ネットワークストレージ装置３００に記録された画像や解析データに基づいた表示を行う。また、画像表示装置４００は、管理サーバ２００で所定領域内全体に渡って管理されている画像情報の表示も行う。さらに、画像表示装置４００は、画像解析処理により得られた解析データから、イベントシーンなどの画像検索の操作を行うための入力装置の機能を有する。画像表示装置４００としては、例えば、パーソナルコンピュータ（ＰＣ）などを想定している。また、各装置のＬＡＮ５００への物理的な接続形態は、有線でも無線でもよく、プロトコル的に接続されていれば、物理的な形態に制限はない。例えば、画像表示装置４００としてＬＡＮ５００に無線で接続されたタブレット端末が用いられてもよい。

また、ネットワークカメラ１００の台数は、１台以上であればよく、上限はない。さらに、ＬＡＮ５００に接続される管理サーバ２００、ネットワークストレージ装置３００、画像表示装置４００の台数は、図１で示したような例に限定されるものではなく、アドレスなどで識別できればそれぞれ複数台が存在してもかまわない。

図２は、監視カメラシステム１０におけるネットワークカメラ１００およびネットワークストレージ装置３００の機能構成例を示したブロック図である。ネットワークカメラ１００は、撮像センサ部１０１と、現像処理部１０２と、画像符号化部１０３と、画像解析部１０４と、ＬＡＮ Ｉ／Ｆ部１０５とを含む。

撮像センサ部１０１は、撮像面に結像された光像を光電変換によりデジタル電気信号に変換するＣＭＯＳなどの撮像素子である。現像処理部１０２は、撮像センサ部１０１から光電変換により得られたデジタル電気信号に対して、所定の画素補間や色変換処理を行い、ＲＧＢあるいはＹＵＶなどのデジタル画像（以下、「画像」は、デジタル画像の概念も含む。）を生成する。また、現像処理部１０２では、現像を施した後の画像を用いて所定の演算処理を行い、得られた演算結果に基づいてホワイトバランス、シャープネス、コントラスト、色変換などの画像処理を行っている。

画像符号化部１０３は、現像処理部１０２からの画像に対して、圧縮符号化、フレームレート設定などを施し、配信用の画像を生成する。ここでの圧縮方式は、例えば、ＭＰＥＧ４、Ｈ．２６４、ＭＪＰＥＧまたはＪＰＥＧなどの規格に基づく。さらに、ｍｐ４やｍｏｖ形式などの画像のファイル化も行う。

画像解析部１０４は、現像処理部１０２からの画像に対して、物体の検出、認識処理を行い、検出、認識された物体のフレーム間での位置関係から同定した物体に固有のＩＤを付与することで物体の追尾処理を行う。以下、物体をオブジェクトとも称する。画像解析部１０４は、オブジェクトに対して、それぞれ形状の特徴および行動特徴のパターンから、人（男性、女性）、動物、不動体、その他、などの属性を判別する。さらに、オブジェクトごとに、マスク対象（匿名化対象 object for anonymization）であるか否か、すなわち、プライバシー保護をするかどうかのフラグ情報も付与する。そして、オブジェクトごとの位置情報、属性、フラグ情報などが記述されたメタデータを解析データとしてフレームごとに作成する。なお、本実施の形態において、マスク対象とは、画像上で特定の個人や物が識別できないように加工する処理の対象のことをいう。

また、オブジェクトの位置情報とは、オブジェクトの存在する位置が特定できる情報である。例えば、オブジェクトの位置情報は、画像におけるオブジェクトの中心座標の情報を含む。また、オブジェクトの属性の判別方法は、上記に限定されるものではなく、エッジ特徴を用いた特定物体検出処理により属性を判別するなど、属性が判別できるものであればどのような方法であってもよい。

また、画像解析部１０４において、プライバシー保護についてのフラグ情報は、デフォルトではＯＮ、またはＯＦＦのいずれかの状態に設定されるようにしてもよい。あるいは、例えば、属性が「人」であればフラグ情報がＯＮに、それ以外の属性であればフラグ情報がＯＦＦに設定されるというように、オブジェクトの属性に応じてフラグ情報が自動的に設定されるように構成してもよい。いずれにおいても、フラグ情報の状態は、管理サーバ２００において、ユーザの指示により更新可能である。例えば、管理サーバ２００において画像を再生し、表示しているオブジェクトに対してユーザがプライバシー保護の対象とするか否かを個別に指定することで、以後、そのオブジェクトのフラグ情報がＯＦＦまたはＯＮの状態となるように構成される。あるいは、特定の画像表示装置４００からフラグ情報の状態を変更できるようにしてもよい。このように、本実施の形態によれば、フラグ情報の管理によりプライバシー保護の対象を設定することができるので、撮影画像に対する柔軟なプライバシー保護を実現できる。

ＬＡＮ Ｉ／Ｆ部１０５は、ネットワークストレージ装置３００のＬＡＮ Ｉ／Ｆ部３０１と連携して、例えば、ＮＦＳやＣＩＦＳなどのネットワークファイルシステムを構築する。

ネットワークストレージ装置３００は、ＬＡＮ Ｉ／Ｆ部３０１と、画像蓄積部３０２と、解析データ蓄積部３０３とを含む。

ＬＡＮ Ｉ／Ｆ部３０１は、ネットワークカメラ１００のＬＡＮ Ｉ／Ｆ部１０５または画像表示装置４００のＬＡＮ Ｉ／Ｆ部４０１と連携してネットワークファイルシステムを構築する。

画像蓄積部３０２は、ネットワークカメラ１００の画像符号化部１０３で符号化されファイル化された画像ファイルをネットワークファイルシステムによって記録する。解析データ蓄積部３０３は、ネットワークカメラ１００の画像解析部１０４で画像解析処理が行われファイル化された解析データファイルをネットワークファイルシステムによって記録する。

図３は、画像ファイルと解析データファイルとの関係を示す図である。画像ファイルは、画像がネットワークカメラ１００の画像符号化部１０３で符号化されファイル化されたものである。解析データファイルは、ネットワークカメラ１００の画像解析部１０４において、画像解析処理により得られた解析データがファイル化されたものである。上述したように、各フレームに対して、検出、認識されたオブジェクトの位置情報、属性、プライバシー保護についてのフラグ情報を含む解析データが生成される。解析データは、例えばＸＭＬなどの記述形式のメタデータであり、解析データファイルとして保持される。

図３において、例えば、固有のＩＤが付与されたオブジェクトＩＤ１（人物）とＩＤ２（車）が映っている画像（Frame[M]）に対応するメタデータ（Metadata[M]）には、各オブジェクトの位置情報（例えば中心座標）、属性(Human、car)が記述されている。さらに、メタデータには、各オブジェクトのプライバシー保護についてのフラグ情報（図示の例では、ＩＤ１についてプライバシー保護することを意味する「Privacy(ON)」、ＩＤ２についてプライバシー保護をしないことを意味する「Privacy(OFF)」）が記述されている。

図４は、監視カメラシステム１０における画像表示装置４００の機能構成例を示したブロック図である。画像表示装置４００は、ＬＡＮ Ｉ／Ｆ部４０１と、画像復号化部４０２と、解析データ取得部４０３と、オブジェクト抽出部４０４と、背景画像更新部４０５と、画像比較部４０６と、画像合成部４０７と、出力部４０８とを含む。

ＬＡＮ Ｉ／Ｆ部４０１は、ネットワークストレージ装置３００のＬＡＮ Ｉ／Ｆ部３０１と連携してネットワークファイルシステムを構築する。

画像復号化部４０２は、ネットワークストレージ装置３００の画像蓄積部３０２からネットワークファイルシステムによって取得した画像ファイルを、伸張し復号化して、オブジェクト抽出部４０４、背景画像更新部４０５、画像比較部４０６に出力する。このように、本実施形態のＬＡＮ Ｉ／Ｆ部４０１、画像復号化部４０２は、ネットワークカメラ１００による撮影画像を取得する撮影画像取得部の一構成例である。

解析データ取得部４０３は、ネットワークストレージ装置３００の解析データ蓄積部３０３に記録されている解析データファイルをネットワークファイルシステムによって取得し、オブジェクト抽出部４０４に出力する。上述したように、解析データはフラグ情報を含でおり、本実施形態の解析データ取得部４０３は、撮影画像に存在する物体（オブジェクト）がマスク対象であるか否かを示すフラグ情報を取得する情報取得部の一構成例である。

オブジェクト抽出部４０４は、画像復号化部４０２が生成した画像（復号画像ともいう）に対して、オブジェクトの抽出を行う。オブジェクト抽出部４０４は、背景差分法を用いた動体の検出、パターンマッチングによる人等の検出により、復号画像中に存在する物体を抽出する。そして、オブジェクト抽出部４０４は、解析データ取得部４０３から入力された解析データに基づき、検出された物体がプライバシーの保護対象のオブジェクトであるか否かを識別する。プライバシー保護の対象であるオブジェクトの識別は、画像（フレーム）に対応するメタデータに記述されたオブジェクトの位置情報とフラグ情報に基づいて行われる。オブジェクト抽出部４０４は、画像を処理するごとにオブジェクト情報を背景画像更新部４０５に出力する。なお、オブジェクト情報は、抽出したオブジェクトの位置情報と形状情報を含む。

背景画像更新部４０５は、画像復号化部４０２からの復号画像と、オブジェクト抽出部４０４からのオブジェクト情報と、画像比較部４０６からの保護領域割合情報（後述）とから、プライバシー保護対象のオブジェクトが消された背景画像を作成する。そして、作成した背景画像を、画像比較部４０６と画像合成部４０７とに出力する。

画像比較部４０６は、画像復号化部４０２からの復号画像と、背景画像更新部４０５から出力された背景画像を比較して差分画像を求め、当該差分画像に基づいて保護画像を作成する。例えば、復号画像と背景画像について画素単位で輝度差（または色差）を求め、その輝度差を特定の閾値で２値化し抽出した領域を保護領域とする。保護領域は、プライバシーの保護対象となるオブジェクトが存在すると想定される領域である。そして、保護領域を所定の色（例えば黒色）に塗りつぶした画像（シルエット画像）等の保護画像を作成する。なお、シルエット画像の代わりに、プライバシーの保護対象となるオブジェクトを隠すような、オブジェクトの外接矩形領域を所定の色（例えば黒色）に塗りつぶした画像を作成してもよいし、オブジェクトが識別できないようなモザイク処理した画像を作成してもよい。

また、画像比較部４０６は、画像の面積に対する保護領域の面積の割合を示す保護領域割合情報を作成して背景画像更新部４０５に出力する。背景画像更新部４０５は、この情報に基づき、照明の状況が急激に変化した場合や、パン、チルト、ズーム等の制御により撮像部の撮影範囲が変化した場合等を判定し、効率的に背景画像の更新処理を行うことができる。

画像合成部４０７は、画像比較部４０６が作成した保護画像と、背景画像更新部４０５から出力された背景画像とを合成し、得られた合成画像を出力部４０８に提供する。以上のように、本実施形態のオブジェクト抽出部４０４、背景画像更新部４０５、画像比較部４０６、画像合成部４０７は、フラグ情報に基づいて撮影画像におけるマスク対象の物体をマスクするマスク処理を行う画像処理部として機能する。出力部４０８は、画像合成部４０７で作成した合成画像を表示部に表示する。これにより、マスク処理された撮影画像をユーザに提供できる。

図１０は、画像表示装置４００のハードウェア構成の一例を示すブロック図である。なお、ネットワークカメラ１００、管理サーバ２００、ネットワークストレージ装置３００などの装置も、図１０のハードウェア構成となりうる。

画像表示装置４００は、ＣＰＵ１００１と、ＲＯＭ１００２と、ＲＡＭ１００３と、補助記憶装置１００４と、表示部１００５と、操作部１００６と、通信部１００７と、バス１００８とを有する。

ＣＰＵ１００１は、ＲＯＭ１００２やＲＡＭ１００３に格納されているコンピュータプログラムやデータを用いて画像表示装置４００の全体を制御する。すなわち、ＣＰＵ１００１が、ＲＯＭ１００２等に格納されているプログラムに従って動作することで、図４で述べたような画像表示装置４００の機能が実現される。同様に、ネットワークカメラ１００、管理サーバ２００、ネットワークストレージ装置３００などの機能についても、プログラムに従って動作するＣＰＵによって実現される。

ＲＯＭ１００２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ１００３は、補助記憶装置１００４から供給されるプログラムやデータ、及び通信部１００７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１００４は、例えばハードディスクドライブ等で構成される。

表示部１００５は、例えば、液晶ディスプレイ等で構成され、画像表示装置４００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部１００６は、例えば、キーボードやマウス等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１００１に入力する。通信部１００７は、ネットワークカメラ１００や管理サーバ２００などの外部の装置と通信を行う。バス１００８は、画像表示装置４００の各構成部を繋いで情報を伝達する。

次に、上記の構成で、本実施の形態１に係る監視カメラシステム１０の動作の詳細を説明する。

図５は、画像表示装置４００の動作を示すフローチャートである。監視カメラシステム１０において、ネットワークカメラ１００で撮影された画像は、画像解析処理され、図３で説明した画像ファイルと解析データファイルとしてネットワークストレージ装置３００に記録される。画像表示装置４００は、ネットワークストレージ装置３００から画像ファイルと解析データファイルを読み出して画像の再生を行う。本実施形態では、ネットワークストレージ装置３００に対する画像ファイルおよび解析データファイルの記録（蓄積）と読み出しは、管理サーバ２００を介して行われる。なお、以下の動作は、画像表示装置４００のＲＯＭ１００２に格納されたプログラムに従って、ＣＰＵ１００１によって実行される。

ステップＳ１において、画像復号化部４０２は、ネットワークストレージ装置３００の画像蓄積部３０２から読み出した画像を復号して復号画像５０１を生成する。また、解析データ取得部４０３は、解析データ蓄積部３０３から、解析データファイルを画像ファイルの読み出しと同期を取りながら読み出し、解析データ５０２を取得する。

ステップＳ２において、オブジェクト抽出部４０４は、例えば、背景差分法とパターンマッチング法などを用いて復号画像５０１から物体を検出する。オブジェクト抽出部４０４は、解析データ５０２に基づき、フレームごとにプライバシーの保護対象であるオブジェクト、保護対象ではないオブジェクトを識別してオブジェクト情報５０３を生成する。オブジェクト抽出部４０４は、生成したオブジェクト情報を背景画像更新部４０５に出力する。

ステップＳ３において、背景画像更新部４０５は、復号画像５０１、オブジェクト情報５０３に基づき、背景画像の更新処理を行い、プライバシーの保護対象であるオブジェクトが入力画像から消去された画像を、背景画像５０４として生成する。

ステップＳ４において、画像比較部４０６は、画像復号化部４０２から入力された復号画像５０１と、背景画像更新部４０５で更新された背景画像５０４とを比較して差分画像５０５を得る。そして、差分画像５０５に基づいて保護画像としてシルエット画像５０６を作成する。このシルエット画像５０６は、プライバシー保護のフラグ情報がＯＮとなっているオブジェクトを示すものである。

ステップＳ５において、画像合成部４０７は、ステップＳ３で背景画像更新部４０５が生成した背景画像５０４と、ステップＳ４で画像比較部４０６が生成したシルエット画像５０６とを合成して合成画像５０７を作成し、出力部４０８へ出力する。以上のように、撮影画像である復号画像５０１と、プライバシー保護対象のオブジェクトが消去された背景画像５０４との差分画像５０５に基づいて決定される保護領域をシルエット化することにより保護画像（シルエット画像５０６）が生成される。そして、保護画像と背景画像が合成されて、プライバシー保護対象のオブジェクトがマスクされた合成画像５０７が得られる。

ステップＳ６において、画像表示装置４００の全体を制御する制御部（不図示）は、上記処理を終了するか否かを判定する。終了しないと判定した場合（ステップＳ６において、ＮＯ）、処理はステップＳ１に戻る。読み込んだ画像ファイルの全てのフレームについて処理が終わっているなど、制御部が終了すると判定した場合（ステップＳ６において、ＹＥＳ）、処理は終了する。

図６Ａは、あるフレームｎにおける画像（図６Ａ（ａ））とメタデータ（図６Ａ（ｂ））との対応付けを示した図である。図６Ａ（ａ）は、フレームＮの画像でありオブジェクトＩＤ１〜４が映っている。図６Ａ（ｂ）は、ネットワークカメラ１００の画像解析部１０４がフレームｎの画像を解析して作成したメタデータである。ここで、オブジェクトＩＤ１に対しては、プライバシー保護についてのフラグ情報がＯＮ（すなわち、プライバシーを保護する）になっているが、それ以外のオブジェクトに対してはフラグ情報がＯＦＦになっている。

図６Ｂは、本実施形態によるプライバシー保護画像の生成の具体例を説明する図である。図６Ｂ（ａ）は、画像復号化部４０２が復号したフレームＮの復号画像５０１である。オブジェクト抽出部４０４は、背景差分法およびパターンマッチング法などにより復号画像５０１から物体を検出する。そして、解析データに含まれる位置情報に基づいて、復号画像５０１から検出された物体にフラグ情報を適用し、オブジェクト情報５０３を得る。この様子を図６Ｂ（ｂ）に示す。図６Ｂ（ｂ）では、抽出した４つのオブジェクトについて、識別情報、位置情報、形状情報、フラグ情報を含むオブジェクト情報が得られている。なお、形状情報は、各オブジェクトを囲む矩形となっているが、これに限られるものではない。例えば、背景差分法によりオブジェクトが抽出された場合は、その抽出されたオブジェクト内の画素の集合により形状情報が構成されてもよい。

図６Ｂ（ｃ）は、背景画像更新部４０５が画像復号化部４０２から時系列に順次に取得される復号画像とオブジェクト抽出部４０４によるオブジェクトの検出結果に基づいて生成した背景画像である。例えば、背景画像更新部４０５は、画像を複数のブロックに分割し、ブロックごとに変化が発生しなかった時間（安定背景時間）を計測する。各ブロックの安定背景時間を計測する間、抽出されたオブジェクトの領域を含むブロックは安定背景時間がゼロにリセットされる。背景画像更新部４０５は、安定背景時間が所定値を超えたブロック内の画像を、画像復号化部４０２から取得された復号画像５０１（図６Ｂ（ａ））の対応するブロックの画像を用いて更新することで、背景画像を更新する。更新には、画像背景画像中のブロックの画像を復号画像５０１の対応するブロックの画像で置換する、両ブロックの画像の加算平均あるいは重みづけ平均などを用いる、ことができる。

本実施形態では、背景画像更新部４０５が、さらに、オブジェクト抽出部４０４が抽出したオブジェクトのうち、フラグ情報がＯＦＦになっているオブジェクトを図６Ｂ（ｃ）の背景画像上に配置する。図６Ｂ（ｂ）の例では、ＩＤ２〜ＩＤ４はフラグ情報がＯＦＦとなっており、これらの画像を図６Ｂ（ｃ）に示される背景画像に配置する。図６Ｂ（ｄ）にその結果である背景画像５０４を示す。こうして、背景画像更新部４０５は、プライバシーの保護対象であるオブジェクトが入力画像から消去された背景画像５０４（図６Ｂ（ｄ））を得る。

画像比較部４０６は、画像復号化部４０２が生成した復号画像５０１（図６Ｂ（ａ））と背景画像更新部４０５が生成した背景画像５０４（図６Ｂ（ｄ））との差分をとることにより、差分画像５０５（図６Ｂ（ｅ））を取得し、これをシルエット化してシルエット画像５０６（図６Ｂ（ｆ））を得る。画像合成部４０７は、シルエット画像５０６（図６Ｂ（ｆ））と背景画像更新部４０５が生成した背景画像５０４（図６Ｂ（ｄ））を合成して、合成画像５０７（図６Ｂ（ｇ））を生成する。こうして、プライバシー保護を示すフラグ情報がＯＮになっているオブジェクト（すなわち、マスク対象のオブジェクト）がシルエット化された画像が得られる。

図７は、図６Ａ（ｂ）に示したようなメタデータが付与された場合の監視カメラシステム１０の動作状況を示した図である。図６Ａ（ｂ）において、オブジェクトＩＤ１の人物についてのみプライバシー保護するというフラグが付与されている。このため、クライアント端末（画像表示装置４００）で録画画像を再生する場合、全てのクライアント端末において、オブジェクトＩＤ１はシルエット化して表示される。解析データに含まれるフラグ情報をオブジェクトごとに設定することができるので、プライバシー保護設定（マスク設定）を柔軟に行うことができる。

本実施の形態１では、画像合成部４０７において、背景画像とシルエット画像とを合成したが、シルエット画像の合成は背景画像に限定されるものではない。一面黒の画像や、あらかじめ用意した固定の背景画像など、どのような画像でもよい。なお、出力部４０８の出力先は表示装置に限定されるものではなく、別のネットワークや記憶装置などその他装置でもよい。

＜実施の形態２＞
実施の形態１では、撮影画像に存在する物体ごとに、プライバシー保護するか否か（マスク対象とするか否か）を示すフラグ情報を含むオブジェクト情報を設定した。実施の形態１では、オブジェクト情報に１つのフラグ情報が含まれるようにしたが、これに限られるものではなく、オブジェクト情報に２つ以上のフラグ情報を含ませてもよい。実施の形態２では、解析データファイルのメタデータに記述するプライバシー保護のフラグ情報を、画像の再生（視聴）操作を行うユーザのユーザグループごとに設定する。これにより、ユーザグループごとに、異なるプライバシー保護処理機能を実装することが可能となる。

図８は、あるフレームＮにおける画像（図８（ａ））とメタデータ（図８（ｂ））との対応付けを示した図である。図８（ｂ）に示されるメタデータに記述されているプライバシー保護のフラグ情報が、図６Ａ（ｂ）と異なっている。

ここでは、各オブジェクトについて、ユーザグループＡ(Ｇｒ．Ａ)とユーザグループＢ(Ｇｒ．Ｂ)に対して、プライバシー保護をするか否かのフラグが付与されている。例えば、オブジェクトＩＤ１の人物は、ユーザグループＡに対してはプライバシー保護しない(ＯＦＦ)、ユーザグループＢに対してはプライバシー保護する(ＯＮ)、というフラグが付与されている。その一方、オブジェクトＩＤ３の人物は、ユーザグループＡ及びＢ共にプライバシー保護する(ＯＮ)というフラグが付与されている。

図９は、図８（ａ），図８（ｂ）に対応する動作状況を示した図である。ユーザグループＡに属している画像表示装置４００ａでは、オブジェクトＩＤ３の人物についてはシルエット化してプライバシー保護するものの、オブジェクトＩＤ１の人物についてはシルエット化せずそのまま表示する。一方、ユーザグループＢに属している画像表示装置４００ｂでは、オブジェクトＩＤ１及びＩＤ３の人物の双方をシルエット化して表示する。このように、実施の形態２では、ユーザあるいはユーザグループごとにプライバシー保護の対象を異ならせて、画像を再生することができる。

なお、上記ではプライバシー保護のフラグをユーザグループ毎に設定するようにしたが、これに限られるものではない。例えば、ユーザ毎に、画像を再生する端末毎に、あるいは、端末の場所毎にプライバシー保護のフラグを設定するようにしてもよい。これにより、端末の設置場所、例えばクリーンルーム、警察機構、警備、などセキュリティーの高いところから、一般の場所など、画像を再生する端末の様々な設置場所に応じたプライバシー保護表示の制御が可能となる。

＜その他の実施の形態＞
以上、実施の形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０ 監視カメラシステム、１００ ネットワークカメラ、１０１ 撮像センサ部、１０２ 現像処理部、１０３ 画像符号化部、１０４ 画像解析処理部、１０５，３０１，４０１ ＬＡＮ Ｉ／Ｆ部、２００ 監視カメラシステム管理サーバ、３００ ネットワークストレージ装置、３０２ 画像蓄積部、３０３ 解析データ蓄積部、４００ 画像情報表示装置、４０２ 画像復号化部、４０３ 解析データ取得部、４０４ オブジェクト抽出部、４０５ 背景画像更新部、４０６ 画像比較部、４０７ 画像合成部、４０８ 出力部、５００ ＬＡＮ

Claims (16)

1. 撮影画像を取得する画像取得手段と、
   前記撮影画像に対応して記録された、前記撮影画像に存在する物体がマスク対象であるか否かを示すフラグ情報を含む解析データを取得する情報取得手段と、
   前記撮影画像から物体を検出する検出手段と、
   前記撮影画像から検出された物体のうち、前記フラグ情報によってマスク対象であることが示されている物体をマスクした画像を生成するマスク処理手段と、を備えることを特徴とする画像処理装置。
2. 前記解析データは、前記撮影画像における物体の位置を示す位置情報を含み、
   前記マスク処理手段は、前記検出手段により検出され、その位置が前記位置情報に対応している物体に前記フラグ情報を適用することを特徴とする請求項１に記載の画像処理装置。
3. 前記マスク処理手段は、
   前記検出手段により検出された物体のうちマスク対象の物体が存在しない第１の背景画像を生成する生成手段と、
   前記マスク対象の物体についてマスク処理した画像を前記第１の背景画像に合成する合成手段と、を備えることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記生成手段は、順次に取得される撮影画像と前記検出手段による検出結果に基づいて生成される第２の背景画像に、前記検出手段が検出した物体のうち前記マスク対象となっていない物体を配置することにより前記第１の背景画像を生成することを特徴とする請求項３に記載の画像処理装置。
5. 前記合成手段は、前記撮影画像と前記第１の背景画像との差分画像に基づいて決定される前記マスク対象の物体の領域をマスクすることにより保護画像を生成し、前記保護画像と前記第１の背景画像を合成することを特徴とする請求項３または４に記載の画像処理装置。
6. 前記保護画像において、前記マスク対象の物体の領域がシルエット化またはモザイク処理されていることを特徴とする請求項５に記載の画像処理装置。
7. 前記保護画像において、前記マスク対象の物体の領域を囲む矩形の領域がシルエット化またはモザイク処理されていることを特徴とする請求項５に記載の画像処理装置。
8. 前記画像取得手段は、動画を構成するフレームごとの撮影画像を取得し、
   前記情報取得手段は、前記フレームと同期して前記解析データを取得することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記フラグ情報は、前記撮影画像に存在する物体ごとに付与されることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記フラグ情報は、前記撮影画像を視聴するユーザごとに、前記撮影画像を視聴するユーザのユーザグループごとに、前記撮影画像を表示する画像表示装置ごとに、または、前記撮影画像を表示する画像表示装置の設置場所ごとに、付与されることを特徴とする請求項９に記載の画像処理装置。
11. 撮影手段が撮影した撮影画像を取得する取得手段と、
    前記取得手段が取得した撮影画像から検出された物体について、マスク対象であるか否かを示すフラグ情報を含むオブジェクト情報を作成する作成手段と、
    前記撮影画像を符号化した画像ファイルと前記オブジェクト情報を含む解析データファイルを外部装置に提供する提供手段と、を備えることを特徴とする画像提供装置。
12. 前記作成手段は、前記検出した物体の属性に基づいてマスク対象であるか否かを決定することを特徴とする請求項１１に記載の画像提供装置。
13. 前記作成手段は、ユーザからの指示に応じて、前記検出した物体がマスク対象であるか否かを決定することを特徴とする請求項１１に記載の画像提供装置。
14. 撮影画像を取得する画像取得工程と、
    前記撮影画像に対応して記録された、前記撮影画像に存在する物体がマスク対象であるか否かを示すフラグ情報を含む解析データを取得する情報取得工程と、
    前記撮影画像から物体を検出する検出工程と、
    前記撮影画像から検出された物体のうち、前記フラグ情報によってマスク対象であることが示されている物体をマスクした画像を生成するマスク処理工程と、を備えることを特徴とする画像処理装置の制御方法。
15. 撮影手段が撮影した撮影画像を取得する取得工程と、
    前記取得工程で取得された撮影画像から検出された物体について、マスク対象であるか否かを示すフラグ情報を含むオブジェクト情報を作成する作成工程と、
    前記撮影画像を符号化した画像ファイルと前記オブジェクト情報を含む解析データファイルを外部装置に提供する提供工程と、を備えることを特徴とする画像提供装置の制御方法。
16. コンピュータに、請求項１４または１５に記載された制御方法を実行させるためのプログラム。

Images