JP2019071050A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】適切な秘匿処理を実現可能にすることを課題とする。【解決手段】画像取得部（２０１）は画像を取得する。人数・人流推定部（２０５）は、画像取得部（２０１）にて取得された画像を入力として、その画像に含まれる群衆の頭部位置に対応した密度分布と当該密度分布に基づく群衆を構成する人数とを推定する。プライバシーレベル設定部（２０２）は、複数の被写体のプライバシーを保護するために行う画像加工の度合いを表すプライバシーレベルを設定する。画像加工部（２０７）は、画像取得部（２０１）により取得された画像を入力として、人数・人流推定部（２０５）および頭部検出部（２０６）による推定の結果を基に、プライバシーレベルに応じた加工処理を行う。【選択図】図２

Description

本発明は、防犯カメラなどで取得した画像を処理する技術に関する。

近年、防犯カメラなどの撮像装置で撮影された画像に対して、人数や人流の推定（群衆解析処理）を行うシステムが提案されている。例えば、入力画像と背景画像とから求めた差分画像の面積から人数を推定する方法が特許文献１に開示されている。このようなシステムの活用により、公共の空間での混雑の検知および混雑時の人の流れの把握が可能となり、イベント時の混雑解消や災害時の適切な避難誘導の実現が期待されている。

一方、防犯カメラ映像に映る被写体のプライバシー保護の重要性が高まっており、したがって、群衆を構成する被写体のプライバシーを適切に保護する必要がある。特許文献２には、背景画像を更新し、更新した背景画像と、シルエット化（隠蔽化）した前景画像を重畳する方法が開示されている。これにより、人物のプライバシー情報は露出しないが、人物の所作は分かるようになり、マーケティング分析やサービス向上を目的とした撮影映像を利用することが可能となる。また、特許文献３には、人物の両目を検出し、目の部分に矩形状のマスク処理を施す方法が開示されている。

特開２００５−２４２６４６号公報 特開２０１６−１１５２１４号公報 特開２００９−２７８３２５号公報

前述した従来手法の場合、プライバシー保護を実現するための秘匿処理（例えばぼかし処理や透かし処理）が各被写体に対して一様に施される。このため、秘匿処理が不十分になってプライバシーを適切に保護できなくなる場合や、逆に、秘匿処理が過剰になり過ぎて例えばマーケティング分析等の使用に適さなくなる場合などがあり、適切なプライバシー保護が必ずしも実現できないことがある。

また例えば、特許文献３の技術では、先ず目、顔、頭部などの特定物体が検出されるが、特定物体を検出する検出器を実現する際には機械学習などの統計的な手法に基づく学習が行われる。しかしながら、特定物体の検出器は、例えば複数の被写体同士が高い密度で重なり合って存在するような場合に検出精度が落ちることが多い。検出精度が下がり被写体の検出に失敗すると秘匿処理の実行がなされないため、被写体のプライバシーが適切に保護されない、という問題が生ずる。

そこで、本発明は、適切な秘匿処理を実現可能にすることを目的とする。

本発明は、画像を取得する取得手段と、前記取得手段により取得された画像を入力として、前記画像に含まれる複数の特定の被写体の所定の領域に対応した密度分布と前記密度分布に基づく前記複数の被写体の少なくとも数とを、推定する推定手段と、前記複数の被写体を秘匿するために行う画像加工の度合いを設定する設定手段と、前記取得手段により取得された画像を入力として、前記推定手段による推定の結果を基に、前記設定された画像加工の度合いに応じた加工処理を行う処理手段と、を有することを特徴とする。

本発明によれば、適切な秘匿処理を実現可能となる。

実施形態の画像処理装置のハードウェア構成の一例を示す図である。 実施形態の画像処理装置の機能構成の一例を示す図である。 画像処理装置による画像処理の流れを示すフローチャートである。 プライバシーレベルの設定例を示す図である。 入力画像を分割した小画像の一例を示す図である。 密度分布と移動ベクトル分布を推定する推定器の説明図である。 推定器における移動ベクトルの取得例の説明図である。 プライバシーレベルが「最大」の場合の画像加工の一例を示す図である。 プライバシーレベルが「大」の場合の画像加工の一例を示す図である。 プライバシーレベルが「中」の場合の画像加工の一例を示す図である。 プライバシーレベルが「小」の場合の画像加工の一例を示す図である。 プライバシーレベルが「最小」の場合の画像加工の一例を示す図である。 プライバシーレベル設定の他の例を示す図である。 監視者の閲覧権限別に許可された操作の定義例を示す図である。

以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
＜第１実施形態＞
図１は、第１実施形態の画像処理装置１００の概略的なハードウェア構成の一例を示す図である。
画像処理装置１００は、ハードウェア構成として、ＣＰＵ１０と、メモリ１１と、ネットワークＩ／Ｆ１２と、表示装置１３と、入力装置１４とを有している。ＣＰＵ１０は、画像処理装置１００の全体の制御を司る。メモリ１１は、ＣＰＵ１０が処理に利用するデータ、プログラム等を記憶する。ネットワークＩ／Ｆ１２は、画像処理装置１００をネットワークに接続するインタフェースである。表示装置１３は、液晶表示装置等であり、ＣＰＵ１０による処理の結果等を表示する。入力装置１４は、マウスやボタン等であり、ユーザーの操作を画像処理装置１００に入力する。ＣＰＵ１０がメモリ１１に記憶されたプログラムに基づく画像処理や制御を実行することにより、後述する図２に示す画像処理装置１００の各機能、および、後述する図３のフローチャートの処理が実現される。

以下、図２を参照して、本実施形態の画像処理装置１００における各機能について説明する。本実施形態の画像処理装置１００は、画像取得部２０１、プライバシーレベル設定部２０２、背景生成部２０３、動体抽出部２０４、人数・人流推定部２０５、頭部検出部２０６、画像加工部２０７、画像出力部２０８を含む。

画像取得部２０１には、防犯カメラ等により撮影された画像が入力される。画像取得部２０１が取得する入力画像は、防犯カメラ等により撮影されている画像でもよいし、ハードディスクなどの記憶装置に記録されている画像でも、また、インターネット等のネットワークを介して受信された画像でもよい。本実施形態の画像処理装置１００では、画像取得部２０１にて取得された入力画像に対して特定の被写体の秘匿処理（本実施形態で人物の被写体に対するプライバシー保護）のための画像処理が施される。また、画像取得部２０１で取得された入力画像は、群衆解析の対象としても使用される。画像取得部２０１からの入力画像は、背景生成部２０３、人数・人流推定部２０５および頭部検出部２０６に送られる。

背景生成部２０３は、画像取得部２０１で取得された入力画像を基に、背景画像を生成する。ここで、背景画像とは、被写体の写っていない背景のみの画像データを指す。背景生成部２０３は、生成した背景画像と画像取得部２０１からの入力画像を、動体抽出部２０４に出力する。
動体抽出部２０４は、画像取得部２０１で取得された入力画像から、動体が存在する部分を人物領域として抽出する。動体抽出部２０４は、動体抽出の結果と、画像取得部２０１で取得された入力画像を、画像加工部２０７に出力する。
人数・人流推定部２０５は、画像取得部２０１で取得された入力画像を用いて、群衆解析処理を行い、入力画像中の人数および人流を推定する。人数・人流推定部２０５は、人数および人流の推定結果を、画像加工部２０７に出力する。
頭部検出部２０６は、画像取得部２０１で取得された入力画像を用いて、頭部検出処理を行い、入力画像中の人の頭部の位置およびサイズを推定する。頭部検出部２０６は、頭部検出の結果を、画像加工部２０７に出力する。

プライバシーレベル設定部２０２は、被写体のプライバシーを保護するために行う画像加工の度合い（プライバシーレベル）を設定する。プライバシーレベルの設定例については後述する。プライバシーレベル設定部２０２にて設定されたプライバシーレベルの情報は、画像加工部２０７に送られる。
画像加工部２０７は、プライバシーレベル設定部２０２により設定されたプライバシーレベルに従い、画像取得部２０１で取得された入力画像、または、背景生成部２０３が生成した背景画像に対し、所定の加工処理（画像加工）を行う。所定の加工処理の詳細については後述する。画像加工部２０７にて所定の加工処理が施された画像は、画像出力部２０８へ送られる。
画像出力部２０８は、画像加工部２０７で加工された画像を出力する。この画像出力部２０８から出力された画像は、図１の表示装置１３に送られ、表示装置１３に表示される監視者用ビューワーなどを通じて、監視者等により閲覧される。表示装置１３の表示例については後述する。

図３は、本実施形態の画像処理装置１００による画像処理の一例を示すフローチャートである。以下の説明では、図３のフローチャートの各処理ステップＳ３０１〜ステップＳ３０８をＳ３０１〜Ｓ３０８と略記する。この図３のフローチャートの処理は、ハードウェア構成により実行されてもよいし、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。ソフトウェア構成により処理が実行される場合、例えばメモリ１１のＲＯＭ等に記憶されている本実施形態に係る画像処理のプログラムをＣＰＵ１０等が実行することにより実現される。本実施形態に係るプログラムは、ＲＯＭ等に予め用意されていてもよく、また着脱可能な半導体メモリ等から読み出されたり、不図示のインターネット等のネットワークからダウンロードされたりしてもよい。

Ｓ３０１において、画像取得部２０１は、前述したように入力画像を取得する。
また、Ｓ３０２において、プライバシーレベル設定部２０２は、プライバシーレベルを設定する。プライバシーレベルは、例えば、表示装置１３に表示される監視者用ビューワーに設置されたユーザーインターフェースを介して監視者が設定する。

図４には、監視者用ビューワーのウィンドウ４００の一例を示す。図４に例示した監視者用ビューワーのウィンドウ４００には、画像取得部２０１にて取得された入力画像に対してプライバシーレベルに応じたプライバシー保護の処理が施された画像と、スライダー４０１および指示子であるノブ４０２が表示される。監視者（ユーザー）が入力装置１４を介して、スライダー４０１のノブ４０２を動かすと、プライバシーレベル設定部２０２は、そのノブ４０２の位置に応じたプライバシーレベルを設定する。スライダー４０１の近傍には、プライバシーレベルを例えば５段階で表す、「最小」、「小」、「中」、「大」、「最大」等の文字が表示されている。監視者は、スライダー４０１のノブ４０２を動かすことにより、プライバシーレベルを段階的に変化させることができ、また所望のレベルに設定することができる。プライバシーレベルは、通常は（例えば初期設定では）高いレベルに設定されているが、本実施形態の場合、例えば事件や事故等が起こったときのみ、プライバシーレベルを低く設定するような運用も可能となされている。

また、監視者用ビューワーは、ユーザー認証を備える構成となされていてもよい。そして、例えば高い閲覧権限を持つ監視者が、ユーザー認証を行ったときのみ、プライバシーレベルを低く設定できるようになされていてもよい。また、事件や事故の起こったときは、監視者の閲覧権限にかかわらず、すべての監視者が任意のプライバシーレベルを設定できる構成になされていてもよい。

図３に説明を戻す。Ｓ３０３において、背景生成部２０３は、画像取得部２０１で取得された入力画像を基に、背景画像を生成する。背景画像は、いくつかの生成手法により生成することができる。一例の生成手法としては、画像取得部２０１が異なる時刻に取得した複数枚の入力画像の平均値や中央値をとって背景画像とする手法を挙げることができる。他の生成手法としては、動体が存在していないと考えられるタイミングに画像取得部２０１が取得した入力画像を背景画像とする手法を挙げることができる。背景画像の生成手法は、これらの手法に限定されるものではなく、また、複数の手法が組み合わされてもよい。また、背景生成部２０３は、時間経過により背景が変化することに追随するため、背景画像を更新するようにしてもよい。背景画像の更新は、定期的に背景画像を新たに生成し直したり、背景画像のうち動体が存在していないと考えられる部分のみを、最新の入力画像で置換したりすることで行える。

次に、Ｓ３０４において、動体抽出部２０４は、画像取得部２０１が取得した入力画像のうち、動体が存在する領域を人物の領域として抽出する。動体の抽出はいくつかの抽出手法により行うことができる。一例の抽出手法としては、背景生成部２０３により生成された背景画像と、画像取得部２０１が取得した入力画像との差分をとる背景差分法により、動体（前景物体）を抽出する手法を挙げることができる。他の抽出手法としては、画像取得部２０１が異なる時刻に取得した複数枚の入力画像に対してフレーム間差分法や動きベクトル検出法を行うことにより、動体（前景物体）を抽出する手法を挙げることができる。動体の抽出手法は、これらの手法に限定されるものではなく、また、複数の手法が組み合わされてもよい。

次に、Ｓ３０５において、人数・人流推定部２０５は、画像取得部２０１が取得した入力画像に対して、群衆解析処理を行い、画像中の人数および人流を推定する。人数および人流の推定手法としては、幾つかの手法を挙げることができる。以下に一例の推定手法を挙げて説明する。

先ず、人数・人流推定部２０５は、画像取得部２０１が取得した入力画像を、複数の小画像に分割する。図５は、入力画像５００を小画像に分割する一つの手法を例示した図である。図５は、各小画像の大きさと、各小画像内に映る１つの人体の大きさの比率がほぼ一定となるよう、入力画像５００を分割した例を示している。

次いで、人数・人流推定部２０５は、時間的に連続する複数の小画像を入力として群衆の密度分布と移動ベクトルの分布を出力する推定器を用いて、小画像ごとに人数および人流を推定する。画像中の人物の密度分布および移動ベクトルの分布を推定する方法としては、例えば、文献「Walach E., Wolf L. (2016) Learning to Count with CNN Boosting. In: Leibe B., Matas J., Sebe N., Welling M. (eds) Computer Vision - ECCV 2016. Lecture Notes in Computer Science, vol 9906. Springer, Cham」に記載されている方法を用いる。文献では事前に機械学習によって得たニューラルネットワークを用いて、画像から人物の密度分布を求める。本実施形態ではこの方法を用い、連続する２フレームの画像を入力して画像中の人物の密度分布および移動ベクトルの分布を同時推定するニューラルネットワークを事前に学習し、推定する。

図６は人数・人流推定部２０５における推定器の機能を説明する図である。図６中のニューラルネット６１０には連続する２フレームの小画像として時刻ｔ₁の画像６０１と時刻ｔ₂の画像６０２が入力される。ニューラルネット６１０は、それら連続する２フレームの小画像中の人数密度分布６２１と横方向の移動ベクトルの分布６２２および縦方向の移動ベクトルの分布６２３を同時推定する。図６の例において、ニューラルネット６１０の出力のうち、人数密度分布６２１では、図中の濃淡の濃い部分が人物と推定される所定の領域、具体的には人物の頭部の領域を表している。なお、頭部位置の表示に関して、頭部らしいと推定される度合いに応じて頭部の位置を示す領域を濃く示したり、大きく示したりしてもよい。移動ベクトルの分布６２２，６２３では、図中の濃淡の濃い部分ほど移動量が大きいことを表している。図６の例では、群衆が横方向へ移動している例を表しており、このため、横方向の移動ベクトルの分布６２２では移動ベクトルの値が大きく、縦方向の移動ベクトルの分布６２３では移動ベクトルの値が小さい値となっている。また、人数密度分布６２１は、ある範囲における密度分布の値の和をとると、その範囲に存在する人物の人数とほぼ等しくなるように設計しておく。

図７には、人数・人流推定部２０５により推定された、ある小画像における人数密度分布７０１と横方向の移動ベクトルの分布７０２および縦方向の移動ベクトルの分布７０３の一例を示す。横方向の移動ベクトルの分布７０２と、縦方向の移動ベクトルの分布７０３とを合成することで、移動ベクトルを抽出することができる。移動ベクトルの分布７０２，７０３は、人数密度分布７０１の値と等しい重みをもつとする。図７の例では、小画像中に、７本の重み付き移動ベクトルが得られた例を示している。そして、人数・人流推定部２０５では、この移動ベクトルに対して、クラスタリングなどの処理を行うことで、人流を求める。

図３に説明を戻す。Ｓ３０６において、頭部検出部２０６は、画像取得部２０１で取得された入力画像を用いて、頭部検出処理を行い、入力画像中の人の頭部の位置およびサイズを推定する。頭部検出処理には、既知のパターン認識や機械学習の各種手法を利用する。ここで、頭部検出は、人体における頭部の位置を特定する処理を指す。頭部検出部２０６は、例えば、画像の大きさを変更しながら照合パターンを画像全域に用いて複数の局所パターンを抽出し、それぞれの局所特徴量を算出する。そして、頭部検出部２０６は、局所特徴量に重み付けを行った結果の総和から頭部であるかを判定する。

Ｓ３０７において、画像加工部２０７は、プライバシーレベル設定部２０２により設定されたプライバシーレベルに従い、画像取得部２０１が取得した入力画像、または、背景生成部２０３が生成した背景画像に対し、所定の加工処理を行う。
以下、図４に例示したようにプライバシーレベルを高い順から「最大」，「大」，「中」，「小」，「最小」の５段階設けた場合の画像加工方法の一例について説明する。

図８は、プライバシーレベルを「最大」とした場合の画像加工の例を示した図である。図８では、Ｓ３０３において生成された背景画像８００の上に、Ｓ３０５において生成された人数および人流に関する情報を重畳する画像加工を施した結果の例を示している。図８のそれぞれの枠８０２は、Ｓ３０５において人数および人流の推定単位となった小画像に対応する領域を表している。人数情報８０３は、各小画像において推定された人数に関する情報を表している。人数情報８０３の数値（例えば０．８や１．１等）は、小画像中の推定人数を表す。人流情報８０４は、各小画像において推定された人流に関する情報を表している。人流情報８０４の矢印は、主要な人流の向きが右下に向かっていることを表している。テキスト８０５は、Ｓ３０５において推定された画像内全体の人数を表している。図８の例では、背景画像８００に人数・人流の解析処理結果のみが重畳されているため、監視者は画像内に存在するはずの被写体の位置や動きさえ知ることができないことになる。図８に示したような画像加工が施されることで、被写体のプライバシーを最大限保護しつつ、監視者が群衆解析結果を得ることができる。

図９は、プライバシーレベルを「大」とした場合の画像加工の例を示した図である。図９は、Ｓ３０３において生成された背景画像９００の上に、Ｓ３０５において生成された人数密度分布を示す図形９０１をアルファブレンド処理により頭部位置に重畳する画像加工を施した結果の例を示している。この処理における人数密度分布は、図６の人数密度分布６２１に示すように人物頭部に対応して出現するので、背景画像９００に人数密度分布を示す図形９０１を重ねる加工を施すことで、群衆の位置と動きのみを表す画像が生成されることになる。図９では省略したが、図８と同様、枠８０２、人数情報８０３、および人流情報８０４を重畳するようにしてもよい。このことは後述する図１０から図１２でも同様である。図９に示した画像加工によれば、監視者による被写体の位置と動きの目視確認を可能にする一方、監視者による被写体の個人識別を困難にする効果が得られる。

図１０は、プライバシーレベルを「中」とした場合の画像加工の例を示した図である。図１０は、Ｓ３０３において生成された背景画像１０００の上に、Ｓ３０４において抽出された人物全体１００１の領域をアルファブレンド処理により重畳する画像加工が施された結果の例を示している。この画像加工により、群衆を構成する人のシルエットを表す画像を生成できる。図１０に示した画像加工によれば、監視者による被写体の位置・動き・所作の目視確認を可能にする一方、監視者による被写体の個人識別を困難にする効果が得られる。

図１１は、プライバシーレベルを「小」とした場合の画像加工の例を示した図である。図１１（ａ）は、Ｓ３０１において取得された入力画像１１００の上に、Ｓ３０５において生成された人数密度分布を示す図形９０１をアルファブレンド処理により頭部位置に重畳する画像加工を施した結果の例を示している。この画像加工により、被写体の頭部領域のみに秘匿処理が加えられることになる。図１０に示した画像加工によれば、監視者は被写体の位置・動き・所作に加え、被写体の服装を目視確認でき、一方、個人識別性の最も高い部位である頭部のみは監視者が閲覧できないよう秘匿処理される効果が得られる。

なお、Ｓ３０５において用いられる人数・人流推定部２０５の推定器は、人同士が大きく重なるような混雑した画像を含む学習データを用いて学習される。よって、人数・人流推定部２０５の推定器は、頭部検出部２０６の頭部検出器に比べて、混雑状況下における頭部の検出漏れが少ない。したがって、混雑状況下においては、人数・人流推定部２０５の推定器の結果を用いることで、頭部検出部２０６の頭部検出器の結果を用いる場合に比べて、被写体の秘匿処理をより確実に行うことが可能となる。

また、人数密度分布は頭部の中心付近で大きな値をとり、その中心から距離が離れるほど小さな値をとる。よって、単に入力画像１１００の上に人数密度分布を示す図形９０１をアルファブレンドしたのみでは、頭部の外周部に秘匿処理が十分に行われない虞がある。このため、より確実に被写体の頭部を秘匿するために以下のようないくつかの方法を行ってもよい。例えば、一つ目の方法は、アルファブレンドの実施時に人数密度分布の重みを重くする方法である。この方法により、密度分布による秘匿処理の度合いを大きくできる。二つ目の方法は、人数密度分布を示す図形９０１に二値化処理を行った上で、アルファブレンドを行う方法である。この方法により、頭部の外周部にも頭部の中心付近と同等の秘匿処理を行うことができる。三つ目の方法は、人数密度分布を示す図形９０１に膨張処理を加えた上で、アルファブレンドを行う方法である。これにより、頭部を中心としたより広い領域に対して秘匿処理をかけることができる。これらの方法はそれぞれ組み合わせて行われてもよい。

また、画像加工の方法は、アルファブレンド処理に限定されるものではない。画像加工の他の方法として、人数密度分布にて密度が閾値以上である領域に対して、入力画像にモザイク処理やぼかし処理などの加工を行うようにしてもよい。

一方、人がまばらに存在するような非混雑状況下や、人が所定の大きさより大きく映る場合においては、人数・人流推定部２０５の推定器は、頭部検出部２０６の検出器よりも、頭部の検出漏れが多い傾向にある。よって、混雑度合いや人の大きさに応じて、人数・人流推定部２０５の推定器の結果に加えて、頭部検出部２０６の検出器の結果を併用することで、被写体の秘匿処理をより確実に行うことが可能となる。

図１１（ｂ）は、Ｓ３０１において取得された入力画像１１００の上に、Ｓ３０５において生成された人数密度分布を示す図形９０１、および、Ｓ３０６において生成された頭部検出結果を表す図形１１０４をアルファブレンド処理により頭部位置に重畳する画像加工を施した結果の例を示している。

領域１１０２は、カメラの俯角が小さく、したがって人の頭部同士が重なりやすい領域であるため、人数・人流推定部２０５による頭部の検出漏れは頭部検出部２０６による頭部の検出漏れより少ない傾向にある。一方、領域１１０３は、カメラの俯角が大きく、したがって人の頭部同士が重なりにくい領域であるため、頭部検出部２０６による頭部の検出漏れは人数・人流推定部２０５による頭部の検出漏れより少ない傾向にある。

したがって、領域１１０２においては、Ｓ３０５において生成された人数密度分布を示す図形９０１をアルファブレンド処理により重畳する画像加工を施す。一方、領域１１０３においては、Ｓ３０６において生成された頭部検出結果を示す図形１１０４をアルファブレンド処理により重畳する画像加工を施す。

領域１１０２および領域１１０３の決定には、任意の方法をとってよい。
一つ目の方法は、領域１１０２および領域１１０３を、ユーザーが手動で明示的に設定する方法である。図１１（ｂ）は領域１１０２と領域１１０３とが重複しないように設定する例を表している。一方、領域１１０２と領域１１０３とが重複するように領域を設定することで、重複領域における頭部の秘匿漏れのリスクを低減させるようにしてもよい。
二つ目の方法は、領域１１０２と領域１１０３とを自動で設定する方法である。例えば、頭部が第一の所定の大きさ以上で映る領域を、領域１１０３とし、頭部が第二の所定の大きさ以下で映る領域を、領域１１０２とできる。

画像上の頭部の大きさは、ユーザーがマウスなどの入力装置を用いて明示的に与えてもよい。例えば、ユーザーが、画像上の複数の地点における頭部の平均的な大きさを教示することで、画像加工部２０７は、画面上の任意の地点における頭部の平均的な大きさを補間により推定することが可能となる。

また、画像上の頭部の大きさは、統計処理により自動で推定してもよい。例えば、所定の学習画像群に対して画面全体に頭部検出処理を行い、頭部の位置を示す頭部枠の集合を取得する。画面上の座標（ｘ，ｙ）における頭部枠の大きさをｓとしたとき、ｓは、ｘ、ｙおよび未知の１個以上のパラメータによって表せると仮定する。例えば、ｓ＝ａｘ＋ｂｙ＋ｃと仮定する。この例では、未知のパラメータはａ，ｂおよびｃである。所定の学習画像群から取得した頭部枠の集合を用いて、未知のパラメータを、例えば最小二乗法などの統計処理により求めることができる。

三つ目の方法は、頭部の密集度に従って領域１１０２と領域１１０３とを自動で設定する方法である。例えば、頭部の密集度が所定の値以下である領域を領域１１０３とし、頭部の密集度が所定の値以上である領域を領域１１０２とできる。頭部の密集度は任意の方法で推定することができる。例えば、背景差分によって求めた動体領域に対して、動体が存在すると判定されたピクセル数の割合に従って密集度を推定できる。また、例えば、動きベクトル検出を所定の範囲に施し、動きベクトルの長さの和に従って密集度を推定できる。

図１２は、プライバシーレベルを「最小」とした場合の画像加工の例を示した図である。プライバシーレベルを「最小」とした場合、図１２に示すように、Ｓ３０１において取得された入力画像１２００をそのまま表示する。したがって、図１２の例の場合、監視者は被写体１２０１の個人を識別することが可能となる。

図３に説明を戻す。Ｓ３０８において、画像出力部２０８は、画像加工部２０７により加工された画像を出力する。出力された画像は、表示装置１３に表示される図４に示したような監視者用ビューワーなどを通じて、監視者により閲覧される。

＜第２実施形態＞
以下、第２実施形態について説明する。第２実施形態では、プライバシーレベル設定部２０２がプライバシーレベルをより詳細に設定することが可能な場合について説明する。第２実施形態の画像処理装置１００の構成は前述した図１、図２と同様であるため、その図示は省略する。また、第２実施形態において第１実施形態と同じ機能の説明は省略し、第１の実施形態と異なる点のみについて説明する。
第２実施形態の場合も前述同様に、図３のＳ３０２において、プライバシーレベル設定部２０２はプライバシーレベルを取得する。プライバシーレベルは、例えば、監視者用ビューワーに設置されたユーザーインターフェースを介して監視者が設定する。

図１３は、第２実施形態の場合の監視者用ビューワーのウィンドウ１３００の一例を示す。図１３において、枠１３１４は前述した図８の枠８０２と同様であり、人数情報１３１５は図８の人数情報８０３、人流情報１３１６は図８の人流情報８０４、テキスト１３１３は図８のテキスト８０５と同様に画像全体の人数の推定結果を示す情報である。また、人数密度分布を示す図形１３１２は図１１の人数密度分布を示す図形９０１と同様である。図１３の例では、監視者用ビューワーの下部に、ラジオボタン１３０１〜１３０６が設定されている。監視者は、入力装置１４を介して、これらラジオボタン１３０１〜１３０６に対する入力を行うことにより、監視者用ビューワーに表示する内容を細かく設定することが可能である。

ラジオボタン１３０１は、監視者用ビューワーのウィンドウ１３００に表示する画像を選択するボタンである。ラジオボタン１３０１が「なし」に設定された場合、画像は表示されない。ラジオボタン１３０１が「背景画像」に設定された場合、背景生成部２０３によって生成された背景画像が、ウィンドウ１３００に表示される。ラジオボタン１３０１が「入力画像」に設定された場合、画像取得部２０１が取得した画像が、ウィンドウ１３００に表示される。

ラジオボタン１３０２は、監視者用ビューワーのウィンドウ１３００に表示される画像に施す処理を選択するボタンである。ラジオボタン１３０２が「頭部」に設定された場合、人数・人流推定部２０５により推定された人数密度分布を示す図形をウィンドウ１３００に表示される画像に重畳する処理が行われる。ラジオボタン１３０２が「人物全体」に設定された場合、動体抽出部２０４により抽出された動体を人物とみなし、その人物全体の領域を加工した画像をウィンドウ１３００に表示される画像に重畳する処理が行われる。ラジオボタン１３０２が「頭部」に設定された場合、人数密度分布を示す図形１３１２が重畳処理される。

ラジオボタン１３０３は、画面全体の推定人数を表示するか否かを設定するボタンである。ラジオボタン１３０３が「あり」に設定された場合、テキスト１３１３が表示される。
ラジオボタン１３０４は、人数・人流推定部２０５により分割された各小画像に対応する枠を重畳表示するか否かを設定するボタンである。ラジオボタン１３０４が「あり」に設定された場合、枠１３１４が表示される。

ラジオボタン１３０５は、人数・人流推定部２０５が小画像ごとに推定した人数を重畳表示するか否かを設定するボタンである。ラジオボタン１３０５が「あり」に設定された場合、人数情報１３１５が表示される。
ラジオボタン１３０６は、人数・人流推定部２０５が小画像ごとに推定した人流を重畳表示するか否かを設定するボタンである。ラジオボタン１３０６が「あり」に設定された場合、人流情報１３１６が表示される。
これらラジオボタン１３０１〜１３０６の操作には、監視者の持つ閲覧権限により制限が加えられてもよい。

図１４は、第２実施形態において、図１３に例示した監視者の閲覧権限を高い順から「最大」，「大」，「中」，「小」，「最小」の５段階設けた場合に、それぞれの監視者に対して許可された操作を定義したテーブルの一例である。プライバシーレベル設定部２０２は、これら監視者の閲覧権限に応じたプライバシーレベルを設定する。
図１４に示したテーブル例の場合、例えば閲覧権限「最大」を持つ監視者は、前述の図８〜図１２で示した各プライバシーレベルに相当する画像を全て閲覧することが可能となる。また例えば閲覧権限「大」を持つ監視者は、図８〜図１１で示した各プライバシーレベルに相当する画像を閲覧可能であるが、図１２で示したプライバシーレベル「最小」に相当する画像は閲覧できない。以下、閲覧権限「中」を持つ監視者は、図８〜図１０で示した各プライバシーレベルに相当する画像を閲覧できるが、図１１と図１２で示したプライバシーレベルに相当する画像は閲覧できない。閲覧権限「小」を持つ監視者は、図８と図９で示した各プライバシーレベルに相当する画像を閲覧できるが、図１０〜図１２で示したプライバシーレベルに相当する画像は閲覧できない。そして、閲覧権限「最小」を持つ監視者は、図８で示したプライバシーレベル「最大」に相当する画像のみ閲覧でき、図９〜図１２で示したプライバシーレベルに相当する画像は閲覧できない。

なお、第２実施形態において、図１２にはユーザーインターフェースとしてラジオボタンを用いる場合の例であるが、使用できるユーザーインターフェースはこれに限らない。例えば、ラジオボタンの代わりにプッシュボタンを配置し、プッシュボタンをクリックするごとに表示内容をトグルするようにしてもよい。

以上説明したように、第１，第２実施形態の画像処理装置１００によれば、群衆を映した画像を用いて群衆解析を行った結果を監視者に表示する際、その監視者の持つ閲覧権限に応じた被写体のプライバシー保護のための適切な処理を施すことが可能である。例えば、小さな閲覧権限を持つ監視者に対しては被写体の全身をシルエット化した画像を生成し、大きな閲覧権限を持つ監視者に対しては被写体の頭部領域のみに秘匿処理を加えたような画像を生成でき、閲覧権限に応じた多様な画像処理を行える。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

前述した実施形態では、特定の被写体として人物を例に挙げ、所定の領域として頭部を例に挙げたが、これらに限定されるものではない。特定の被写体は人物以外、例えば自動車等の乗り物でもよく、所定の領域としては例えばナンバープレートや自動車等に乗っている人物等であってもよく、車両のタイプを特定できる車両形状等が含まれてもよい。

本発明に係る信号処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサーにより読出し実行されることで実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０：ＣＰＵ、１１：メモリ、１３：表示装置、１４：入力装置、１００：画像処理装置、２０１：画像取得部、２０２：プライバシーレベル設定部、２０３：背景生成部、２０４：動体抽出部、２０５：人数・人流推定部、２０６：頭部検出部、２０７：画像加工部、２０８：画像出力部

Claims (12)

1. 画像を取得する取得手段と、
   前記取得手段により取得された画像を入力として、前記画像に含まれる複数の特定の被写体の所定の領域に対応した密度分布と前記密度分布に基づく前記複数の被写体の少なくとも数とを、推定する推定手段と、
   前記複数の被写体を秘匿するために行う画像加工の度合いを設定する設定手段と、
   前記取得手段により取得された画像を入力として、前記推定手段による推定の結果を基に、前記設定された画像加工の度合いに応じた加工処理を行う処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記推定手段は、前記複数の特定の被写体としての複数の人物よりなる群衆を含む画像から、前記所定の領域としての前記群衆の頭部位置に対応した前記密度分布を推定し、さらに前記密度分布を基に前記群衆を構成する人数を推定し、
   前記設定手段は、前記群衆のプライバシーを保護するために行う前記画像加工の度合いを表すプライバシーレベルを設定し、
   前記処理手段は、前記取得手段により取得された画像に含まれる前記群衆について前記プライバシーレベルに応じた前記加工処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記処理手段は、前記プライバシーレベルに基づき、前記推定手段により推定された前記密度分布を、前記取得手段により取得された画像に重畳する前記加工処理を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記取得手段により取得された画像を入力として、特定の被写体の検出処理を行う検出手段をさらに備え、
   前記処理手段は、前記プライバシーレベルに基づき、
   前記推定手段により推定された前記密度分布を、前記取得手段により取得された画像のうち第一の領域に重畳する加工処理を行い、
   前記検出手段による検出結果を、前記取得手段により取得された画像のうち第二の領域に重畳する加工処理を行うことを特徴とする請求項３に記載の画像処理装置。
5. 前記処理手段は、前記第一の領域および前記第二の領域の少なくとも一方を、
   画像内の被写体の大きさに基づいて決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記取得手段が取得した画像を基に、前記人物の写っていない背景画像を生成する生成手段を有し、
   前記処理手段は、前記プライバシーレベルに基づき、前記推定手段により推定された密度分布を、前記背景画像に重畳する前記加工処理を行うことを特徴とする請求項２に記載の画像処理装置。
7. 前記処理手段は、前記プライバシーレベルに基づき、前記推定手段により推定された密度分布に対して、二値化処理または膨張処理の少なくとも一つの処理を行った後に、前記重畳する前記加工処理を行うことを特徴とする請求項３から６のいずれか１項に記載の画像処理装置。
8. 前記処理手段は、前記プライバシーレベルに基づき、前記推定手段により推定された密度分布の密度が閾値以上の領域に対して、モザイク処理またはぼかし処理の少なくとも一つの処理を施す前記加工処理を行うことを特徴とする請求項３から６のいずれか１項に記載の画像処理装置。
9. 前記設定手段は、所定のユーザーインターフェースに対する操作に基づいて、前記プライバシーレベルを設定することを特徴とする請求項２から８のいずれか１項に記載の画像処理装置。
10. 前記所定のユーザーインターフェースは、前記プライバシーレベルを複数の段階に分けた何れかの段階を設定するユーザーインターフェース、または、前記加工処理の後に表示される内容を設定するユーザーインターフェースであることを特徴とする請求項９に記載の画像処理装置。
11. 画像処理装置が実行する画像処理方法であって、
    画像を取得する取得工程と、
    前記取得工程により取得された画像を入力として、前記画像に含まれる複数の特定の被写体の所定の領域に対応した密度分布と前記密度分布に基づく前記複数の被写体の少なくとも数とを、推定する推定工程と、
    前記複数の被写体を秘匿するために行う画像加工の度合いを設定する設定工程と、
    前記取得工程により取得された画像を入力として、前記推定工程による推定の結果を基に、前記設定された画像加工の度合いに応じた加工処理を行う処理工程と、
    を有することを特徴とする画像処理方法。
12. コンピュータを、請求項１から１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images