JP2011130271A5 - - Google Patents

Description

撮像装置および映像処理装置

本発明は、映像監視システムに用いられる撮像装置や映像処理装置に関し、特に撮像により得られた映像の一部にマスク処理を行う装置に関する。

店舗、集合住宅、道路、商店街等に設けられる映像監視システムは、監視カメラによる撮像により得られた映像をモニタリングしたり記録したりすることで、非常時の速やかな対処を可能としたり、事後の問題解決を容易にしたりする。ただし、監視カメラによる撮像範囲（監視範囲）内には、プライバシーを保護すべき被写体が存在する場合があり、そのような被写体の映像を除外する必要がある。

特許文献１には、監視カメラからの映像にプライバシー保護領域を設定し、該プライバシー保護領域をマスク処理して表示されないようにする一方、該保護領域内に監視対象の被写体が入り込んだ場合にはマスク処理を解除する映像監視システムが開示されている。また、特許文献２には、マスク処理を行った後の映像上で動き領域を検出することに応じて、該マスク処理を解除する映像処理装置が開示されている。

特開２００３−６１０７６号公報 特開２００６−３０４２５０号公報

しかしながら、特許文献１にて開示されたシステムでは、保護領域内の映像は、たとえ該保護領域内に保護すべきではない又は保護する必要のない被写体が存在していてもすべてマスクされてしまう。このため、保護領域内に監視が必要な不審者が入り込んだときに、この不審者の映像までがマスクされてしまい、監視カメラとして役に立たなくなる。

また、特許文献２の映像処理装置のように動き領域の検出に応じてマスク処理を解除すると、頻繁に人や車が行き交う場所を監視する場合に、必要なマスク処理を維持することができない。

本発明は、撮像により得られた映像において、プライバシー保護領域でのマスク処理を維持しつつ、該保護領域内に入った監視対象の被写体がマスクされないようにすることができる映像処理装置を提供する。

本発明の一側面としての映像処理装置は、撮像装置による第１の被写体を含むシーンの撮像により生成された映像のうち該第１の被写体が写った第１の領域にマスク処理を行うマスク処理手段と、撮像装置から被写体までの距離に関する情報を用いて、映像における第１の領域内に第１の被写体よりも近い距離に位置する第２の被写体が写ったことを検出する検出手段とを有する。そして、マスク処理手段は、第１の領域のうち、第２の被写体が写っている第２の領域でのマスク処理を解除し、該第２の領域以外の領域でのマスク処理を維持した出力映像を生成することを特徴とする。

本発明によれば、プライバシー保護領域等の第１の領域においてマスクをすべき第１の被写体に対するマスク処理は維持しつつ、該第１の領域内に入ったより近い距離の第２の被写体（例えば、監視対象の被写体）に対するマスク処理を解除することができる。第２の被写体に対するマスク処理を解除する条件を、該第２の被写体が第１の領域内に入った被写体であって、該第１の被写体よりも近い距離の被写体である場合に制限することで、マスク処理を解除する領域と維持する領域とを適切に切り分けることができる。

本発明の実施例１であるネットワークカメラの構成を示すブロック図。 実施例１のネットワークカメラの動作を説明するフローチャート。 本発明の実施例２であるネットワークカメラの動作を説明するフローチャート。 実施例１のネットワークカメラにより生成される映像の例を示す図。 従来および実施例１のネットワークカメラにより生成される映像の例を示す図。 実施例１のネットワークカメラにより生成される映像の他の例を示す図。 実施例１のネットワークカメラを含むネットワークカメラシステムの構成を示すブロック図。 本発明の実施例２であるネットワークカメラシステムの動作を示すフローチャート。 実施例３のネットワークカメラシステムの動作を示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。

図７には、本発明の実施例１であるネットワークカメラおよびクライアントコンピュータにより構成されるネットワークカメラシステムの構成を示す。図７において、７０１は様々な被写体を含むシーン（撮像範囲）７０２を撮像して映像データを生成するネットワークカメラ（映像サーバ）である。ネットワークカメラ７０１は生成した映像データを出力（送信）する。ネットワークカメラ７０１は、本発明にいう映像処理装置として機能する撮像装置である。

７０５は利用者及び管理者がネットワークカメラ７０１から転送された映像データを受信して表示するとともに、ネットワークカメラ７０１を制御するパーソナルコンピュータ（ＰＣ）等のクライアント端末である。７０３はインターネット等のネットワークであり、該ネットワーク７０３を介してネットワークカメラ７０１とクライアント端末７０５は映像データやカメラ制御信号等を送受信することができる。

撮像された映像データ７０４は、予め設定されたマスキング処理が施され、ネットワーク７０３を介して、クライアント端末７０５に伝送される。

図１には、ネットワークカメラ（以下、単にカメラという）７０１の構成を示している。１０１は固定の前玉レンズ（第１レンズ）である。１０２はズームレンズ（第２レンズ）であり、ステッピングモータ１１７によって光軸方向に移動されてズーム動作を行う。１０３はアイリス（絞り）であり、１０４は固定の第３レンズである。１０５はフォーカスレンズ（第４レンズ）であり、ステッピングモータ１１９によって光軸方向に移動されて焦点調節を行う。前玉レンズ１０１〜フォーカスレンズ１０５により撮影光学系が構成される。

１０６はＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、撮影光学系により形成された被写体像を光電変換する撮像素子である。１０９は同期信号発生部（ＴＧ）、１０７は自動利得制御部（ＣＤＳ／ＡＧＣ）、１０８はＡ／Ｄ変換部、１１０は信号処理部、１２４は撮像に必要な各種データやプログラムが記憶されたメモリである。

１２２は撮影光学系からの光の中の不要な赤外成分を除去する赤外カットフィルタであり、１２１はダミーガラスである。ダミーガラス１２１は、シーンの輝度が低く、赤外カットフィルタ１２２を用いると十分な明るさの映像が得られない場合に赤外カットフィルタ１２２に置き換えられる。

１２３はカメラ７０１の動作の制御を司るマイクロコンピュータ（コントローラ）である。

１２５はカメラ７０１のパンニングおよびチルティングを行って撮影方向を変更する雲台である。１１６はＡＥ（自動露出）／ＡＷＢ（オートホワイトバランス）の評価値を検出するＡＥ／ＡＷＢ処理部である。１１５はＡＦ（オートフォーカス）の評価値を検出するＡＦ処理部である。

シーン７０１中の被写体からの光は、撮影光学系を通って撮像素子１０６の撮像面上に被写体像を形成する。被写体像は撮像素子１０６によって電気信号（アナログ信号）に変換され、該アナログ信号はＡＧＣ部１０７に入力される。ＡＧＣ部１０７で信号増幅が行われたアナログ信号は、Ａ／Ｄ変換部１０８でデジタル信号に変換される。

Ａ／Ｄ変換部１０８からのデジタル信号に対して、信号処理部１１０にて色分離、ホワイトバランス、ガンマ補正等の映像処理が施されることで映像データ（映像信号）が生成される。撮像素子１０６、ＡＧＣ部１０７、Ａ／Ｄ変換部１０８および信号処理部１１０により撮像系が構成される。

信号処理部１１０から出力された映像データには、撮影情報付加部１１１にて、シャッタースピード等の撮影情報が付加される。そして、この映像データは、画像圧縮部１１２で圧縮される。

圧縮された映像データは、ネットワークインターフェース１１３およびネットワーク７０３を介して、図１に示したクライアント端末（以下、クライアントＰＣという）７０５に伝送される。

ＡＦ処理部１１５は、全画面の映像信号のうち所定のＡＦ枠内の映像信号から高周波成分を抽出して該映像信号の鮮鋭度を示すＡＦ評価値を生成する。ＡＦ評価値は、コントローラ１２３に供給され、コントローラ１２３はＡＦ評価値が最大となるようにフォーカスレンズ１０５を移動させ、合焦対象の被写体にピントを合わせる。

映像データ上にてマスク処理が行われるプライバシー保護領域（第１の領域）は、例えばクライアントＰＣ７０５上のアプリケーションを使用して設定され、カメラ７０１に転送される。また、パンニング、チルティング、ズーミング操作を行った場合でも、適切にプライバシー保護領域をマスキングできるように、映像データに対して随時補正が行われる。

図４（ａ）には、本実施例のカメラ７０１による撮像により得られる映像の例を示している。ここでは、カメラ７０１によって建物の玄関フロア（シーン）の内部を撮像する。この場合に、玄関ドアを通して建物の外に存在する自動車（第１の被写体）６０１を含む領域をプライバシー保護領域６０２として設定すると、図４（ｂ）に示すようにプライバシー保護領域６０２にマスク処理が施された（マスクがかかった）出力映像が得られる。

ここで、映像中に玄関フロア内のカメラ７０１と玄関ドアとの間を横切る人物（第２の被写体）６０３が表れた場合、従来のマスク処理では以下のような問題があった。すなわち、プライバシー保護領域６０２が建物の外の自動車６０１に対して設定されているにもかかわらず、それよりも近い距離に位置する人物６０３にも、図５（ａ）に示すようにマスクがかかってしまい、人物６０３の一部（又は全体）を表示することができない。

このため、本実施例では、プライバシー保護対象に後述する距離に関する情報を付加することで、プライバシー保護領域６０２内（第１の領域内）に自動車６０１よりも近い距離に位置する人物６０３が写ったことを検出する。人物６０３はカメラ７０１を通じた監視対象である。したがって、図５（ｂ）に示すように、自動車６０１に対するマスク処理を維持しつつ、人物６０３に対するマスク処理を解除する。これにより、人物６０３の全体を表示しながら自動車６０１にマスクがかかった出力映像が得られる。

映像中に人物６０３が写ったことを検出するための方法の例を以下に説明する。本実施例では、まず映像中の動きを検出する。具体的には、カメラ７０１からの映像データを構成するフレーム画像を複数（多数）の小領域に分割し、該分割された１つ１つの小領域の平均輝度を求める。そして、第１の時刻で求めた平均輝度と、第１の時刻から所定時間が経過した後の第２の時刻で求めた同じ小領域の平均輝度とを比較し、これらの間に所定の変化が生じたか否かを判定する。そして、このような変化があった小領域がひとかたまりの群を成している場合に、その群の領域で人物等の被写体が動いていると判定する。さらに、本実施例では、該動いている被写体までの距離が所定の近距離範囲に入っているかも判定する。これにより、図５に示すように、自動車６０１よりも近い距離に位置する人物６０３がプライバシー保護領域６０２内に入った（写った）ことを検出することができる。

次に、図２のフローチャートを用いて本実施例のカメラ７０１（主としてコントローラ１２３）の動作について説明する。この動作は、コントローラ１２３内に格納されたコンピュータプログラムに従って実行される。コントローラ１２３は、距離情報取得手段と、マスク処理手段と、被写体検出手段の機能を有する。

ステップ２０１では、コントローラ１２３は、マスク領域の設定データを読み出す。撮像により生成された映像データにおいてマスク処理を行う領域としてのマスク領域（図４および図５に示したプライバシー保護領域６０２）は、ユーザがクライアントＰＣ７０５において任意に設定することができる。マスク領域の設定データは、クライアントＰＣ７０５からネットワーク７０３を介してカメラ７０１に送信され、コントローラ１２３は、受信したマスク領域の設定データを読み出す。なお、マスク領域の設定は、カメラ７０１において行うことも可能である。

ステップ２０２では、コントローラ１２３は、マスクをかける第１の被写体（図４中の自動車６０１）に対してＡＦによるピント合わせを行う。そして、ピントが合った状態でのズームレンズ１０２およびフォーカスレンズ１０５の位置から、カメラ７０１から第１の被写体までの距離に関する情報を算出する。なお、ここにいう距離に関する情報とは、１つの数値としての距離であってもよいし、ある幅を持った距離範囲であってもよい。また、必ずしも直接、距離を示す情報でなくてもよく、距離に対応した情報であればよい。以下の説明においては、距離に関する情報が１つの数値としての距離を示すものとし、第１の被写体までの距離を、マスク領域距離という。

ステップ２０３では、コントローラ１２３は、雲台１２５におけるパン角度とチルト角度およびカメラ７０１のズーム位置（画角）を読み出す。

ステップ２０４では、コントローラ１２３は、ステップ２０１で読み出したマスク領域の設定データとステップ２０３で読み出したパン角度、チルト角度およびズーム位置とに基づいて、映像データ上にマスク領域を設定し、該マスク領域に対してマスク処理を行う。これにより、例えば図４（ｂ）に示した映像が得られる。

次にステップ２０５では、コントローラ１２３は、前述した方法によって映像中（ただし、マスク領域中）の動きを検出する。

ステップ２０６では、コントローラ１２３は、マスク領域中において動き、つまりは動く第２の被写体（図５中の人物６０３）が検出された動き領域（第２の領域）を設定する。

ステップ２０７では、コントローラ１２３は、ＡＦによって第２の被写体にピント合わせを行う。そして、ピントが合った状態でのズームレンズ１０２およびフォーカスレンズ１０５の位置から、カメラ７０１から第２の被写体までの距離情報（距離に関する情報）を算出する。ここでの距離情報も、第１の被写体までの距離情報と同様に、１つの数値としての距離であってもよいし、ある幅を持った距離範囲であってもよい。また、必ずしも直接、距離を示す情報でなくてもよく、距離に対応した情報であればよい。

以下の説明においては、距離に関する情報が１つの数値としての距離を示すものとし、第２の被写体までの距離を、動き領域距離という。

ステップ２０８では、コントローラ１２３は、動き領域距離が、ステップ２０２で得られたマスク領域距離よりも所定値以上近い距離範囲内の距離か否かを判定する。図４および図５の例では、マスク領域距離（自動車６０１までの距離）が５ｍを示し、所定値を１ｍ（玄関ドアを含む距離範囲）とする場合、動き領域距離情報（人物７０３までの距離）が４ｍ以下の近距離範囲内の距離を示すか否かを判定する。動き領域距離がマスク領域距離よりも所定値以上近い距離範囲内の距離であればステップ２１０に進み、そうでなければステップ２０９に進む。

ステップ２０９では、コントローラ１２３は、マスク領域全体のマスク処理を維持した出力映像を生成する。そして、ステップ２１１に進む。

ステップ２１０では、コントローラ１２３は、マスク領域のうち動き領域ではマスク処理を解除し、動き領域以外（第２の領域以外）の領域（人物７０３が存在せずに自動車６０１のみが存在している領域）ではマスク処理を維持した出力映像を生成する。そして、ステップ２１１に進む。

ステップ２１１では、コントローラ１２３は、生成した出力映像をネットワーク７０３を介してクライアントＰＣ７０５に配信する。

以上説明したように、本実施例によれば、プライバシー保護領域に距離情報を付加することにより、プライバシー保護対象と監視対象との判別が容易となる。このため、プライバシー保護対象についてはマスクをかけ、監視対象についてはマスクをかけることなく表示する出力映像を生成することができる。

また、前述したように、本実施例では、動き領域距離がマスク領域距離よりも所定値以上近い距離範囲内の距離である場合に限って動き領域のマスク処理を解除する。これにより、図６に示すように、建物の外であるが自動車６０１よりも手前（近い距離の位置）に人物６０４が表れた場合に、この人物６０４に対するマスク処理が解除されてしまうことを回避できる。すなわち、人物６０４が表れた場合でも、図５（ｂ）に示すような出力映像が得られる。

なお、本実施例では、ズームレンズ１０２およびフォーカスレンズ１０５の位置から被写体までの距離情報を算出（取得）する場合について説明したが、不図示の外部測距センサを用いて被写体までの距離情報を取得するようにしてもよい。

図３のフローチャートには、本発明の実施例２であるネットワークカメラの動作を示している。本実施例のネットワークカメラおよびこれを含むネットワークカメラシステムの構成は実施例１と基本的に同じであるので、ここでの説明は省略する。また、実施例１と共通する又は同様の機能を有する構成要素には、実施例１と同じ符号を付す。

本実施例では、マスク領域を複数のブロックに細分化し、マスク領域距離よりも近い距離の範囲において動き検出がなされていない状態のフレーム画像をブロック単位で基準情報（言い換えれば、基準画像）として設定し、不図示の画像メモリに保存する。そして、ブロックごとに、順次得られるフレーム画像の輝度、色相およびＡＦ評価値（鮮鋭度）を基準情報のそれらと比較し、差が発生した場合にマスク領域中に新たな被写体（第２の被写体）が表れた（写った）と判定する。この新たな被写体は、静止した被写体であってもよい。

ステップ３０１からステップ３０５での処理は、実施例１（図２）にて説明したステップ２０１からステップ２０５での処理と同じである。

ステップ３０６では、コントローラ１２３は、実施例１のステップ２０６〜２０８と同様にして、マスク領域距離よりも近距離範囲において動きが検出されたか否かを判定する。動きが検出された場合はステップ３０８に進み、検出されない場合はステップ３０７に進む。

ステップ３０７では、コントローラ１２３は、上述した基準情報を画像メモリに取り込む（更新する）。

ステップ３０８では、コントローラ１２３は、現在のフレーム画像の輝度、色相およびＡＦ評価値を基準情報のそれらと比較する。すなわち、映像の輝度、色相およびＡＦ評価値における変化を検出する。

ステップ３０９では、コントローラ１２３は、映像の変化がマスク領域内で発生したか否かを判定する。マスク領域内で映像の変化が発生した場合はステップ３１１に進み、マスク領域外で映像の変化が発生した場合はステップ３１０に進む。

ステップ３１０では、コントローラ１２３は、マスク領域全体のマスク処理を維持した出力映像を生成する。そして、ステップ３１２に進む。

ステップ３１１では、コントローラ１２３は、マスク領域のうち映像の変化が発生した領域（第２の領域）についてはマスク処理を解除し、動き領域以外の領域についてはマスク処理を維持した出力映像を生成する。そして、ステップ３１２に進む。

ステップ３１２では、コントローラ１２３は、生成した出力映像をネットワーク７０３を介してクライアントＰＣ７０５に配信する。

本実施例によれば、マスク領域中に基準画像に対して相違する部分が発生した場合にはその相違部分のマスク処理を解除するので、マスク領域内に危険物（静止物）が置き去りにされたような場合でもこれを検出することが可能となる。

なお、基準画像に対する各フレーム画像中の相違部分の発生の有無は、前述した輝度、色相およびＡＦ評価値だけでなく、被写体までの距離情報や画像の高調波成分の評価によっても検出が可能である。

本発明の実施例３であるネットワークカメラシステムについて説明する。本実施例のネットワークカメラシステムの構成は実施例１（図７）と同じである。また、ネットワークカメラの構成も基本的には実施例１（図１）と同じである。

図７において、クライアントＰＣ７０５は、利用者及び管理者がネットワークカメラ７０１から転送された映像データを受信して記録する録画サーバとして機能する。また、クライアントＰＣ７０５は、該映像データを表示するとともに、ネットワークカメラ７０１を制御する。録画サーバは、監視映像、マスキング設定領域およびマスキングデータの送信を行う。録画サーバ上でも、通常再生時には、マスク処理を施した上で表示を行う。

プライバシー保護領域での監視対象の被写体に対するマスキングの解除処理は、クライアントＰＣ７０５、つまりは録画サーバ上でも可能である。これにより、映像情報がマスキングによって欠落することなく伝送でき、かつ暗号化を施すことで、画像の流出等も防止できる。また、必要であれば、マスク設定を解除することで、映像を欠落することなく精査可能となる。

図８のフローチャートには、本実施例のネットワークカメラ７０１の動作を示している。

ステップ４０１からステップ４０９での処理は、実施例２（図３）にて説明したステップ３０１からステップ３０９での処理と同じである。

ステップ４０９において映像の変化がマスク領域内で発生したと判定した場合は、コントローラ１２３はステップ４１１に進み、マスク領域外で映像の変化が発生したと判定した場合はステップ４１０に進む。

ステップ４１０では、コントローラ１２３は、マスク領域全体のマスク処理を維持した出力映像を生成する。そして、ステップ４１２に進む。

ステップ４１１では、コントローラ１２３は、マスク領域のうち映像の変化が発生した領域（第２の領域）についてはマスク処理を解除し、動き領域以外の領域についてはマスク処理を維持した出力映像を生成する。そして、ステップ４１２に進む。

ステップ４１２では、コントローラ１２３は、ステップ４１０，４１１におけるマスク処理（またはその解除処理）に関する情報（以下、マスク処理情報という）を付加した出力映像を暗号化する。

そして、ステップ４１２では、コントローラ１２３は、暗号化した出力映像とマスク処理情報をネットワーク７０３を介してクライアントＰＣ７０５に配信する。

図９のフローチャートには、本実施例のクライアントＰＣ７０５の動作を示している。

ステップ５０１では、クライアントＰＣ７０５は、ネットワークカメラ７０１から転送された、暗号化された映像データおよびマスク処理情報を受信する。本実施例では、コントローラ１２３およびクライアントＰＣ７０５がマスク処理手段として機能する。

ステップ５０２では、クライアントＰＣ７０５は、映像データの暗号を解除する。

そして、ステップ５０３では、クライアントＰＣ７０５は、マスク処理情報を読み出す。

ステップ５０４では、クライアントＰＣ７０５は、マスク処理を行わないことを示すマスク解除コードが入力されたか否かを判定する。該マスク解除コードが入力されない場合はステップ５０５に進み、該マスク解除コードが入力された場合はステップ５０６に進む。

ステップ５０５では、クライアントＰＣ７０５は、マスク処理情報に従って、映像データに対するマスク処理を行う。そして、ステップ５０６に進む。

ステップ５０６では、マスク処理がなされた又はマスク処理がなされていない映像データをモニタに表示する。そして、本処理を終了する。

このように、ネットワークを前提としたネットワークカメラシステムでは、ネットワークカメラとクライアントとの間での暗号化通信が可能であり、保存した映像データにもセキュリティを施すことが可能である。そして、再生時に常にマスキングした画像を表示さすることが可能である。

また、アクセス権のレベルを設定することにより、プライバシー保護領域を解除した映像の再生も可能となる。

プライバシー保護領域に距離情報を加えることで、動き検出された監視対象の測距により、プライバシー保護領域内での動体か、監視対象の動きかを見分けることが可能となり、より正確なマスク解除が可能となる。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

撮像により得られた映像においてプライバシー保護領域でのマスク処理を維持しつつ、該保護領域内に入った監視対象の被写体がマスクされない映像処理装置を提供できる。

１２３ コントローラ
６０１，６０３ 被写体
６０２ マスク領域（プライバシー保護領域）
７０１ ネットワークカメラ
７０５ クライアント端末（ＰＣ）