JP2009124618A - カメラ装置、画像処理装置 - Google Patents

Abstract

【課題】
任意のマスク領域と不特定の監視対象物との三次元の相互位置関係に基づくマスク処理を行う。
【解決手段】
カメラ１にて撮影された映像信号ａは、動き検知回路２に送られて映像信号ａに含まれる動きを検知して、その領域を空間動き領域として設定した後、距離判定回路５に入力する。距離判定回路５では、監視カメラ内に設けたステレオカメラの視差信号ｂを用いて前記動き領域と監視カメラの距離を算出して、空間動き領域情報とその距離情報をマスク判定回路６に入力する。
マスク判定回路６では、入力された監視対象物の動き領域情報とその距離情報を対して、メモリに記憶されている空間マスク領域の情報とその距離情報を用いて、空間動き領域情報と空間マスク領域情報、空間動き領域の距離情報とマスク領域の距離情報をそれぞれ比較することにより、検出される動きとマスク間の三次元位置比較判定を行う。
【選択図】図１

Description

本発明は、マスク処理を行う撮像装置、及び画像処理装置に関する。

近年、銀行等の店舗、集合住宅、道路、商店街等において、監視カメラを用いた映像監視システムの普及が進んでおり、監視領域内の映像情報の表示及び記録に際し、監視領域内に含まれる個人情報に対してプライバシーマスクの設定が必須となっている。

一方、プライバシーマスク領域内に監視が必要な不審者の画像が入った場合、この不審者の画像がマスクされて見えなくなるという不具合がある。このような不具合に対し、例えば、特許文献１には、課題として、「監視カメラを用いた映像監視システムにおいて、プライバシー保護のためのマスク処理(マスキング)によって監視機能が損なわれることのない画像処理装置を提供する。」と記載されており、解決手段として、「監視カメラの映像信号から動き領域を検出し、動き領域とプライバシー保護のためのマスク領域との相対位置関係を判定し、動き領域が無いか、または動き領域がマスク領域外のとき、若しくは動き領域が全部マスク領域内のときは、そのままマスク領域をマスク処理(マスキング)するようにし、動き領域の一部がマスク領域に入っている場合には、その一部の領域をマスクから除くようにマスク処理することで動き領域の全部の画像が表示可能となる。」と記載されている。

また、近年、車両にカメラを搭載して各道路の交通状況を実況提供するプローブカーシステムが検討されている。このプローブカーシステムにおいても、公共の場所を撮影した画像を発信することから個人情報保護を的確に行う必要がある。例えば、特許文献２には、課題として「カメラを搭載したプローブカーを用いて不特定多数の地点の道路状況を撮影し、配信するプローブシステムにおいて、撮影した画像のプライバシーを保ちつつ、画像のクオリティを確保することができるプローブシステムを提供する。」と記載されており、第４実施形態には、「複数のカメラで撮影した視差画像を利用して、前方の対象物と距離を測定する。そして、その距離が画像のプライバシー情報が写ると予測される距離を超えると、その部分のみを画像処理する」と記載されている。

特開２００６−３０４２５０号公報 特開２００６−１７８８２５号公報

上述のように、特許文献１記載のプライバシーマスク設定は、動き領域とマスク領域の２次元のプライバシーマスクと２次元の相互位置関係に基づいてマスク設定を行っている。しかし、２次元の相互位置関係を利用しても、適切にマスク設定を行えない場合がある。

例えば、特許文献１にマスク設定では、動き領域とマスク領域が一部重複している場合に動き領域をマスク領域から除外するようにしているが、例えば、マスク領域が撮像画像の端にかかっている場合、その端の部分では動く物体にマスク処理を行うべきか否かの判別を行うことができない。このように、画像上にマスク領域を設定できる範囲が制限される。

一方、特許文献２記載のプライバシーマスク設定は、プローブカーに搭載された２台のカメラを用いて前方を行く車との距離を計測して、所定の車間距離に入った場合にプライバシー保護のマスクを行うもので、前後の距離、つまり一次元の相互位置関係に基づくマスク処理に限定されている。

本発明では、マスク領域と監視対象物との三次元の相互位置関係に基づくマスク処理を行うことを課題とする。

上記目的を達成する為、本発明は、例えば、特許請求の範囲に記載の構成とする。

本発明の画像処理装置、マスク領域と監視対象物との、三次元の相互位置関係に基づくマスク処理を行うことが可能となる。

以下、本発明を実施するための最良の形態について図面と共に説明する。

撮像装置とは、例えば、監視カメラ等のモニタリング機器や、デジタルカメラやカムコーダー等のカメラ装置、その他カメラモジュールを含む情報端末のことである。また、画像処理装置とは、例えば、PCやサーバその他、外部から入力された映像信号の処理を行うチップ等、画像処理を行う情報処理装置のことをいう。また、以下述べる撮像装置では、マスク領域や、動き領域に奥行きを示す情報を含めることにより、マスクの保護対象と動く物体との前後関係の判定を可能とする。また、以下述べる撮像装置では、前後関係に基づいてマスク領域をくりぬく処理を行うか否かを決定する構成を採る。

また、以下の説明において空間マスク領域は、撮像空間内でマスクをかける領域とする。空間マスク領域は、撮像空間内におけるマスク保護を行う対象までの距離と、撮影した画像上でその領域が占める座標とによって示される。また、空間動き領域とは、撮像空間内において動く物体が存在する領域とする。また、空間動き領域は、動く物体までの距離と、撮影した画像上でその動く物体が占める座標とによって示される。また、マスク処理とは、映像の一部あるいは全部を、塗りつぶすあるいはモザイクをかける等の処理を行うこととする。以下、撮像装置を監視カメラ、または監視システムとして適用する例について述べる。

図１は、撮像装置の構成例を示す図である。

カメラ１は図示しない撮影用としての機能と、モニタに映る対象物の距離を測定及び判定できる機能を担う。本実施例においては、カメラ１をステレオカメラとして説明する。カメラ１は、撮影用として画像信号ａと距離を判定できるものとして視差信号ｂを用いて監視動作を行う。

動き検知回路２は、例えばＭＰＵ、ＡＳＩＣ等の信号処理装置で構成する。動き検知回路２は、例えば入力される映像情報の時系列上の差分より、撮像対象の差分を求めることにより、動きのある部分を検知する。

マスク領域入力手段３は、例えばボタンやカーソルキー等の入力装置等で構成される。ユーザは、カメラ１の入力信号にて監視動作を行う前に、モニタ８等の出力信号に映し出されるカメラ１の画像信号ａに対して、マスク領域入力手段３を用いて空間マスク領域を指定する初期設定を行う。

マスク領域設定回路４は、例えばＭＰＵ、ＡＳＩＣ等の信号処理装置で構成する。マスク領域設定回路４は、マスク領域入力手段３によって入力された信号を、映像信号に重畳可能、投影可能な座標等のマスク領域設定情報に変換した後、距離判定回路５に送る。

上記初期設定終了後、カメラ１にて監視動作を開始する。カメラ１にて撮影された映像信号ａは、動き検知回路２に送られて映像信号ａに含まれる動きを検知して、撮像空間内において、動く物体の存在する領域を示す情報を、マスク判定回路６に出力する。

マスク判定回路６は、例えばＭＰＵ、ＡＳＩＣ等の信号処理装置で構成する。マスク判定回路６は、空間マスク領域と空間動き領域との重なり具合を判定する。具体的には、例えば、設定した空間マスク領域と、動く物体とが、それらを投影または撮像した２次元の画像中で重複しているか判定する。ここで、動く物体の存在する領域と空間マスク領域が重なっていると判定した場合、距離判定回路５に動く物体の画像上での位置を示す情報を出力する。

距離判定回路５は、例えばＭＰＵ、ＡＳＩＣ等の信号処理装置で構成する。距離判定回路５では、カメラ１内に設けたステレオカメラの視差信号ｂを用いて監視対象である動く物体の、３次元の空間内において位置を特定する。具体的には、距離判定回路５は、撮像の対象となる空間におけるプライバシーマスクの対象となる物体あるいは領域と撮像装置との距離を算出してマスク判定回路６に出力する。また、距離判定回路５は、撮像空間における動きのある物体とカメラ１との距離を算出してマスク判定回路６に出力する。

マスク判定回路６は、入力される空間マスク領域を示す情報と、空間動き領域を示す情報から、マスク処理を行う領域を示す情報を算出して、マスク処理回路７に出力する。具体的には、マスク判定回路６は、マスク処理を行っている部分のうち、後述する繰りぬき処理を行うか否かを示す情報を出力する。

マスク処理回路７は例えばＭＰＵ、ＡＳＩＣ等の信号処理装置で構成する。マスク処理回路７は、入力される映像信号と後述するマスク判定回路６から出力される情報に基づいて、映像信号にマスク処理を行う。

モニタ８は、例えば液晶ディスプレイ、有機ＥＬ等の表示装置で構成される。マスク処理回路７にてマスク処理をされた画像を表示する。

また、マスク情報を重畳した監視映像信号をモニタ８に送るとともに、ビデオテープレコーダ、デジタルレコーダ等の記録再生装置９に記録保存する。

なお、動き検知回路２、マスク領域設定回路４、距離判定回路５、マスク判定回路６、およびマスク処理回路７は、単一のＣＰＵ等により実装してもよい。また、上記複数の回路を任意のものを組み合わせて、ＣＰＵにより実装してもよい。

次に、カメラ１から空間マスク領域に対応する保護対象までの距離、あるいはカメラ１から空間動き領域に対応する動く物体までの距離の算出に用いるステレオカメラの原理について、図２を用いて説明する。ステレオカメラは、例えばステレオカメラ自身を構成する２つのカメラ間の距離と、その撮像対象に焦点を合わせた場合の焦点距離とを算出し、三角比を用いて距離を算出する。

図２(ａ)では動き検知として、画面上の表示として人物１０３が家と重なった場合の図である。このとき、画面上では人物１０３を保護する必要のない図として、人物１０３を対象としてくりぬいている。

図２(ｂ)は、人物１０３を焦点対象とした場合における、２つのステレオカメラに写る画像を合成した図である。ここで、人物１０３が家の手前におり、かつ、人物１０３と家との距離が小さい場合には、右・左の画像のずれはそれほど大きくはない。一方、人物１０３と家との距離が離れている場合では人物１０３よりも家のずれが大きい。保護対象である家と人物１０３の、相対距離を測定するには、カメラ装置１から家までの距離と、カメラ装置１から人物１０３までの距離をそれぞれ測定する方法があるが、図２（ｂ）によっても、このずれ度合いによっても距離を判定することが出来る。

なお、距離の判定は数値化として出力することも可能とする。

次に、図３を用いて、空間マスク領域を設定する具体例を説明する。

図３(a)は、空間マスク領域を設定する場合の画面の表示例である。カメラ１の初期設定の際、モニタ８上のマスク領域設定のメニュー表示画面において、マスクの位置を、Ｘ軸は例えば０から１２０までの数値、Ｙ軸は例えば０から９０までの数値で入力可能としている。ここでは、プライバシーを保護する対象である家の窓１０１に対してプライバシーマスクを設定する場合について説明する。

まず、監視対象のうちプライバシーを保護する対象である家の窓までの距離をステレオカメラで算出し、空間マスク領域に含める奥行きを示すの距離情報を決定する。その後、パーソナルコンピュータのキーボードから、マスクの位置座標として、Ｘ軸は開始位置の２０と終了位置の６０を入力、Ｙ軸は開始位置の０と終了位置の９０を入力する。この設定操作により、空間マスク領域が２次元の画像中に占める座標情報、及び奥行きを示す距離情報が決定される。そして、これらの情報で撮像空間内の所定の領域を表現することができる。

図３(ｂ)は、図３(a)の撮像対象を上から見た様子を示す概念図である。空間マスク領域１０２が、撮像空間内の所定の領域に投影されている様子を示している。なお、図３（ｂ）において、便宜的にマスク領域１０２に奥行きの厚みがあるように記載しているが、厚さを持たない平面として設定されるものであってもよい。

また、この設定は、位置座標を先に決定し、その後に空間マスク領域の奥行きを決定する方法も可能とする。また、このマスク処理をする方法は座標指定に限らず、Ｘ軸・Ｙ軸に関して１画面を３２分割や６４分割にした状態から必要なブロックのみをマスクする方法もある。

また、空間マスク領域に含まれる、奥行きを示す距離情報を決定する際、プライバシー保護のためにマスクしたい対象物の距離との相対的な位置により決定可能とする。例えば、窓１０１ギリギリの位置ではなく、２ｍ前にする場合は、ステレオカメラで算出した監視対象の家の窓１０１までの距離に２ｍ手前分の補正を加えることで可能となる。

さらに、奥行きを示す距離情報は、上述したように相対的な位置で決定せずとも任意の数値で設定することも可能とする。例えば、画面いっぱいに透明な窓１０１が映り、この窓１０１の焦点を合わせにくく、ステレオカメラにより自動的に奥行きを設定することが困難な場合があるが、この場合に奥行きも任意に設定できることが有用となる。

また、他の空間マスク領域の設定方法として、マウスを用いてドラッグ＆ドロップでマスク領域の設定を行う方法や、タッチパネルを用いてマスク領域の設定が出来るものとしてもよい。

このように、マスク領域設定手段４は、ユーザの操作により、マスク保護を行う対象物を直接設定することや、撮像対象となる空間の一部を指定することにより、空間マスク領域を設定する。

次に図４を用い、図１のブロック構成に基づく撮像装置による動作例を具体的に説明する。

図４(ｅ)は、マスク処理をしない場合で、カメラ１が撮像して得た映像信号ａをモニタ８にそのまま表示した画面である。この図において、窓１０１の画像部分がプライバシーを保護する領域である。人物１０３は動きを伴っており、空間マスク領域よりカメラ１に近い位置に存在する限り、常に表示したい画像とする。また、ここでは、人物１０３が撮像空間内において存在する領域を空間動き領域とする。

ここで、マスク判定回路６は、空間マスク領域と空間動き領域に基づいて、表示する画像のどの範囲にマスク処理を行うかを判定する。具体的には、マスク判定回路６は、空間マスク領域と空間動き領域が、２次元の撮像画像内にて重なって映っているか否かを判定する処理を行う。たとえば、マスク判定回路６は、空間マスク領域が平面画像に占める２次元の座標情報と、空間動き情報が平面画像に占める２次元の座標情報を比較することにより、判定処理を行う。

また、マスク判定回路６は、２次元の画像内において、空間マスク領域と空間動き領域が重なって写っている場合、空間マスク領域に含まれる距離情報と、空間動き領域に含まれる距離情報を比較し、どちらがカメラ１に近いかを判定する。なお、空間マスク領域と空間動き領域の重複の有無を判定する段階では、奥行きを示す距離情報は用いなくてもよい。

図４(ｆ)は、図３で説明した空間マスク領域の設定を行い、保護対象である前記窓１０１をマスク１０２で隠した表示画像である。人物１０３は、カメラ１にて撮像された映像信号ａから動き検知回路２にて検知される。また、撮像対象となる空間内において、動く物体を検知する動き検知回路２は、人物１０３が画像内に写る位置を示す情報をマスク判定回路６に送り、マスク１０２との重なりを判定した後、距離判定回路５に送る。距離判定回路５では、カメラ１に内蔵されたステレオカメラの焦点を人物１０３に合わせ、視差信号ｂを用いて人物１０３までの距離を測定する。その後、距離判定回路５は、人物１０３に対応する空間動き領域を示す情報をマスク判定回路６に出力する。

マスク判定回路６は、人物１０３の空間動き領域と空間マスク領域が２次元の画像上で重複しないことを判定した場合に、保護対象である空間マスク領域の全体にマスクを設定することを示す情報を出力する。その結果、図４(ｆ)のように、モニタ８の画面には人物１０３とマスク１０２の両方が表示される。なお、本実施例でいう重複とは、カメラ１により撮影した２次元の映像上で、マスク領域と動き領域が重なっていることをいう。

図４(ｇ)は、人物１０３が移動してきてマスク１０２に重なった場合のモニタ８の画像である。図４(ｇ’)に、監視対象を上からみた想定図であり、人物１０３がマスク１０２の手前にいる様子を表している。

この時、人物１０３の動き領域とその距離情報が、動き検知回路２及び距離判定回路５にて検知される。マスク判定回路６では、人物１０３の空間動き領域と空間マスク領域が重複するものの、人物１０３の距離情報がマスク領域の距離情報よりカメラ１に近い位置にあると判定された場合は、マスク処理回路７が人物１０３の動き領域を除いたマスク処理をおこなう。つまり、空間マスク領域が画像上に表示される範囲にマスク処理を行い、さらに空間マスク領域と空間動き領域が２次元の画像上で重複している部分を除いてマスク処理を行う。その結果、図４(ｇ)のように、モニタ８の画面には人物１０３がマスク１０２上に浮かぶように表示される。

ここで、人物１０３がマスク１０２の手前で歩くのを止めて立ち止まり、人物１０３を動き検知回路２で検知することは不可能となった場合、動き検知回路２は、空間動き領域が検出不可能であることを示すフラグ情報を距離判定回路５に送る。距離判定回路５は、空間動き領域が検出不可能であることを示すフラグ情報を受信した場合、記憶している直前の監視対象の位置を示す情報を用いて、カメラ１に内蔵されたステレオカメラの焦点を前記記憶している直前の監視対象の位置に合わせ、視差信号ｂを用いて人物１０３の動き領域の距離判定を行い、記憶している空間動き領域をマスク判定回路６に送る。

マスク判定回路６は、空間動き領域の検出不可能のフラグではあるが距離情報を入力する。この場合、マスク判定回路６は、空間動き領域に含まれる距離情報が空間マスク領域に含まれる距離情報より小さいと判定された場合は、マスク処理回路７にて直前の人物１０３の空間動き領域を除いた範囲にマスク処理を行う旨の情報を出力する。その結果、モニタ８の画面には人物１０３がマスク１０２上に浮かぶように表示される。

図４(ｈ)は、人物１０３が手前から空間マスク領域１０２を越えて住宅の窓に侵入した場合のモニタ８の画像であり、図４(ｈ’)に、監視対象を上からみた想定図を追加し、人物１０３が住宅に侵入した様子を表している。

この時、人物１０３は、動き検知回路２と距離判定回路５にて検知される。また、人物１０３の空間動き領域、及びそれに含まれる距離情報がマスク判定回路６に送る。マスク判定回路６にて、人物１０３の距離情報が空間マスク領域１０２の距離情報より大きいと判定された場合は、マスク処理回路７にてマスク領域１０２のみをマスク処理することにより、モニタ８の画面にはマスク領域１０２が表示される。

このように、動き検知回路５、マスク判定回路６により、マスク処理を行う領域を決定することが可能となる。

以上、説明した通り、実施例１によれば、撮像装置に奥行きを含めた動き検知処理機能と、検知した空間動き領域に対する距離判定機能を設けることにより、任意のマスク領域と不特定の監視対象物を対象とする三次元の相互位置関係に基づくプライバシーマスク処理を実現する撮像装置が可能となる。

次に、実施例２では、実施例１の図１のブロック図で示した機能の他に、滞留検知や顔検知等の画像処理機能を盛り込み、更に警報装置等を組み合わせた監視システムについて説明する。

図５は、実施例２における撮像装置のブロック図であり、図１におけるブロック図の動き検知回路２の後に、一定時間動かない状態に対応する滞留検知回路１０と、動き検知の対象が人間であるかそれ以外かを判定する顔検知回路１１を設けて高度な判定を実現している。なお、以下の説明において、図１の説明と重複する部分は省略する。

滞留検知回路１０は、人や物が一定時間動かない状態にあることを異常とみなし、検出する回路である。滞留検知回路１０は、例えばＡＳＩＣ等によって実装する。

顔検知回路１１は、例えば、人物が各々備える顔の輪郭、色の分布や、明暗を示す情報を登録し、動く物体と比較することにより、動く物体についてマスク処理を行うか否かを示す情報を出力する。顔検知回路１１は、ＡＳＩＣ等によって実装する。

次に図６を用い、第２の実施例における、撮像装置の処理の例について説明する。

図６は、本撮像装置を用いた美術館におけるプライバシー保護のマスク処理方法の例であり、絵を盗まれないように、美術品の手前に設けた進入禁止領域の境界を空間マスク領域とし、進入禁止領域に侵入した場合に警報等を鳴らす例である。

図６ (ｉ) は、保護すべき絵１０４とその絵を鑑賞する人物１０３の間に目に見えない空間マスク領域１０２を設定している様子を示しており、図６(ｉ’)は、監視対象を上からみた想定図で、人物１０３と保護すべき絵１０４の間に空間マスク領域１０２を設けている様子を表している。

図６ (ｊ)及び図６ (ｊ’)は、人物１０３が保護すべき絵１０４に接近していくが、空間マスク領域１０２には到達していない様子を示している。この時、人物１０３の動きは、動き検知回路２、滞留検知回路１０、顔検知回路１１で詳細に分析検知される。その後、距離判定回路５が距離検知を行い、マスク判定回路６にて人物１０３が空間マスク領域１０２の手前にいると判定して、マスク処理回路にてモニタ８に人物１０３と保護すべき絵１０４の両方が映るように処理している。

図６ (ｋ)及び図６ (ｋ’)は、人物１０３が空間マスク領域１０２を越えて保護すべき絵１０４に接近している様子を示している。この時、マスク判定回路６にて、人物１０３が空間マスク領域１０２と３次元の空間内で重なるか、空間マスク領域１０２を越えたと判定する。空間マスク領域１０２を超えた場合、顔検知回路１１は、人物１０３の顔が、予め登録された顔か否かを判定する。そして、人物１０３の顔が予め登録されていない場合、発報装置９が備えるサイレンを利用したアラーム、点滅して通知するアラーム、音声で警告等の案内や通知を行う。それとともに、マスク処理回路６は、人物１０３の存在する領域のマスクを解除する。一方、人物１０３の顔が予め登録された顔、例えば、美術館員等の顔である場合、マスクを解除しないで、美術館員等による作業を行うことが出来る。

このように、本実施例の撮像装置においては、顔検知回路１１にその顔が登録されていない人物の映像を保護する必要のない画像としてマスクの位置よりも手前でも奥でも、マスクを解除している。

この他、例えば、撮像装置は、人物１０３が空間マスク領域１０２よりも手前であれば人物１０３にマスク処理を行ったままで、空間マスク領域１０２の位置よりも奥に移動したときには、マスクを保護する必要のない画像に対してマスクを解除できることも可能である。例えば、絵画の手前の領域を空間マスク領域とした上で、その空間マスク領域の手前で絵画を鑑賞している人物には、マスク処理を行うとともに、絵画に近づいて接触する可能性がある人物が写っている画像上のマスクをくりぬいてマスク処理を行うことが可能となる。この方法によると、絵画に近づく人間が少ないほどマスク領域をくりぬく処理が軽減すされ、無駄な処理を低減することが可能となる。

この他、空間マスク領域１０２よりも奥に移動した人物１０３についてマスク処理を行い、さらに滞留検知回路１０により、一定時間以上、奥に滞留している人物１０３についてマスク処理を解除する構成としてもよい。

このように、プライバシー保護のためのマスク処理によって監視機能が損なわれることのない監視が可能となり、マスクする必要のない対象物がマスク領域を乗り越えて移動した場合、マスクを警告ラインとしてみなすこともできるため、異常検知して発報機能としてみなすことも出来る。

なお、本実施例の撮像装置は、動き検知回路２に代えて、あるいは動き検知回路２に加えて、人物の頭部に着目し、頭部の輪郭、形状から人物を検出する人物頭部検知や、動きの変化を動体の輪郭の変化と輝度変化によって検出する動作検知などを行う人物検知回路を備えてもよい。そして、人物検知回路によって、検知された人物を監視対象として設定してもよい。

次に、実施例３では、実施例２の図５のブロック図で示した機能を基に、空間マスク領域の扱い方を変えた監視システムについて説明する。図７は、銀行のフロア内にカメラ装置１を設置し、銀行のフロア内からフロア外までを撮影している場合において、本実施例のマスク処理を行う例を示す図である。本実施例では、銀行の外壁である窓の手前あるいは自動扉の手前に設けた銀行内部領域の境界に空間マスク領域１０２を設定する。

図７ (ｌ) は、保護すべき外部の風景１０５と人物１０３の間に目に見えない空間マスク領域１０２を設定している様子を示している。図７(ｌ’)は、監視対象を上からみた想定図で、人物１０３と保護すべき外部の風景１０５との間に空間マスク領域１０２を設けている様子を表している。

図７ (ｍ)及び図７ (ｍ’)は、人物１０３が銀行の外側となる保護すべき外部の建物１０５の方へ向かって外へ出ていくが、空間マスク領域１０２には到達していない様子を示している。この時、人物１０３の動きは、動き検知回路２、滞留検知回路１０、顔検知回路１１で詳細に分析検知される。その後、距離判定回路５が距離検知を行い、マスク判定回路６にて人物１０３が空間マスク領域１０２の手前にいると判定して、マスク処理回路７にてモニタ８に人物１０３を映し出すとともに、保護すべき外部の建物１０５は建物によって場所が判明しないよう、プライバシーマスクで保護するように処理している。

図７ (ｎ)及び図７ (ｎ’)は、人物１０３が空間マスク領域１０２を越えて保護すべき外部の建物１０５の方へ接近している様子を示している。

ここでは、例えば顔検知回路１１に、銀行員や頻繁に訪れる近所の人物等の顔を登録しておくことにより、空間マスク領域を解除しないで、人物１０３の移動等によってプライバシーを損なうことなく映すことが出来る。

一方、マスク判定回路６にて、例えば指名手配犯等の顔を顔検知回路１１に登録することも可能である。そして、人物１０３が指名手配犯である可能性が高いと判定できる人物である場合、その人物１０３が空間マスク領域１０２と重なるか、空間マスク領域１０２を奥から手前に越えたと判定したら、発報装置１２が備えるサイレンを利用したアラーム、点滅して通知するアラーム、音声で警告等の案内や通知を行う。また、自動ドアを空かないようにするシステムと連動してもよいとする。

また、逆に、撮像装置は、人物１０３が空間マスク領域よりも手前であればマスク処理はそのままで、人物１０３がマスクの位置よりも奥に移動したときには空間マスク領域を保護する必要のない画像に対して空間マスク領域を解除できることも可能である。この場合、例えば、銀行の入口手前の領域を空間マスク領域とした上で、その空間マスク領域の手前にいる人物１０３には、通常のマスク処理を行う。また、銀行の出口に近づく人物１０３が指名手配犯である可能性が高いと判定であると判定できる場合、写っているマスク処理上の領域をくりぬいてマスク処理を行うことが可能となる。そして、空間マスク領域の手間でも奥に移動しても、そのまま人物が写っているマスク処理上の領域をくりぬいたまま、マスク処理を行うことも可能とする。

図８は、実施例２における、監視を開始してからマスク処理を行うまでの動作の流れの例を示すフローチャートである。

監視を開始すると、まず、マスク処理されたモニタ上で対象物を検知する(ステップＳ１００)。

モニタに人物等の対象物が映ったら、異物検知もしくは、顔検知等のセンサーで対象物を認識する(ステップＳ１０１)。

次に対象物がマスク処理されている領域と撮像した２次元の画像上で重複しているか判定し、重複していなければ、通常の状態に戻る(ステップＳ１００へ)。重複していれば対象物の距離を検知する(ステップＳ１０３)。

対象物の距離を検知した後、対象物が空間マスク領域より手前か判定し(ステップＳ１０４)、手前でなければ、随時距離を検知する(ステップＳ１０３)。空間マスク領域より手前であれば動きに対してマスク領域を可変させる(ステップＳ１０５)。ここで、マスク領域を可変させるとは、画像上でプライバシー保護のためにマスクをかけられた領域のうち、対象物が写っている領域のマスク処理を解除することをいう。

その次に、対象物が空間マスク領域よりも奥に移動したか判定し(ステップＳ１０６)、奥に移動した場合は、異常検知として発報機能開始する(ステップＳ１０７)。奥に移動していない場合は、空間マスク領域を通過したかを判定し(ステップＳ１０８)、通過していなければまた動きに対してマスク処理を行う領域を可変させる(ステップＳ１０５へ)。通過したら通常の状態に戻る(ステップＳ１０９からステップＳ１００へ)。

このような順序で、マスク処理を行う。本フローチャートによると、例えば、空間マスク領域が画面の一部であるとき、距離検知を開始するタイミングが、空間マスク領域と対象物とが重複すると判定された後であるために、常に距離検知を行う場合に比べて、処理の負荷を軽減できる。

上述した各実施例によると、動く物体とマスク保護対象が、画像上で重なっているか、およびカメラ装置から動く物体とマスク保護対象とで、いずれが近いかによってマスク処理を行う。つまり、プライバシーの保護対象と動く物体の３次元の位置関係に基づいたマスク処理を行うことができる。例えば、動く物体が設定した空間マスク領域の手前にいるかいないかで、動く物体にマスク設定を行うか否かを設定することができる。このため、例えば、対象物が保護対象の前で長時間滞留し、再び動きだした場合にも適切にマスク設定が行うことが可能となる。

また、上述した各実施例のカメラ装置によると、以下述べる問題点を克服することが可能となる。その問題点とは、例えば、マスク処理を行うか否かの処理を２次元の画像上での位置関係のみで行うと、動き領域が２次元の画像上でマスク領域に包含され、かつ、監視の必要な対象物がマスク領域を前後にまたぐ動きをした場合には、対象物をマスク領域から除外するか否かの判定が困難であるという問題点である。具体的には、窓をプライバシーマスクの保護対象とし、動きがある人物が窓のある領域を前後に移動する場合には、２次元の位置関係のみでは、人物に対してマスク処理を行うか行わないか判断することが困難であるという問題である。これに対して、本実施例の撮像装置によると、３次元の位置関係に応じてマスク処理を行う領域を決定するため、動く物体が前述のような動作をした場合においても、マスク処理を行う領域を適切に決定することができる。

なお、図１及び図５では、撮像装置について説明したが、このうち、例えばカメラ１、モニタ８、発報装置は別の装置で構成してもよい。そして、例えば、マスク処理回路７、動き検知回路２、マスク判定回路６、距離判定回路５、マスク領域設定回路４によって、監視システム用の画像処理装置１３を構成してもよい。

また 以上説明した実施の形態は、それぞれ単独で実施されてもよく、もしくは適宜組み合わされて実施されてもよい。

撮像装置の構成を示すブロック図 空間動き領域、あるいは、空間マスク領域の距離算出に用いるステレオカメラの原理を示す図 マスク領域設定例として画面上の座標領域とマスク処理する座標とを示した図 第１の実施例の動作を説明する画面表示例を示したイメージ図 撮像装置の第２の構成例を示す図 本撮像装置を用いた美術館におけるプライバシー保護のマスク処理方法の例を示す図 本撮像装置を用いた銀行におけるプライバシー保護のマスク処理方法の例を示す図 マスク処理の１例を示すフローチャート

符号の説明

１・・・ 入力信号、２・・・ マスク処理回路、３・・・ マスク領域入力手段、４・・・ マスク領域設定回路、５・・・ 距離判定回路、６・・・ マスク判定回路、７・・・ マスク処理回路、８・・・モニタ、９・・・ 記録再生装置、１０・・・ 滞留検知回路、１１・・・ 顔検知回路、１２・・・ 発報装置、１３・・・ 画像処理装置、１０１・・・ 窓、１０２・・・ 空間マスク領域、１０３・・・ 人物、１０３ａ・・・ マスクより手前にいた人物、１０３ｂ・・・ マスク領域を通過してマスクより奥に移動した人物、１０４・・・ 窓、１０５・・・ 保護すべき外部の建物。

Claims (10)

1. 画像に対してマスク処理を行う画像処理装置であって、
   カメラ装置から出力される画像信号を入力する入力手段と、
   マスク処理の対象となるマスク保護対象を設定する設定手段と、
   前記カメラ装置から前記マスク保護対象までの距離を示す第１の距離情報を入力する入力手段と、
   前記画像信号に含まれる監視対象物を検知する検知手段と、
   前記カメラ装置から前記監視対象物までの第２の距離を算出する算出手段と、
   前記マスク保護対象と前記監視対象物との、前記カメラ装置で撮像された画像上での位置関係、及び、前記第１の距離情報と前記第２の距離情報との比較結果に基づいて、マスク処理を行う領域を決定する決定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記検知手段は、撮像空間内で動く物体を検知する動き検知手段であり、
   前記監視対象物は、前記動く物体であること特徴とする請求項１に記載の画像処理装置。
3. 前記検知手段は、撮像空間内で人物を検知する人物検知手段であり、
   前記監視対象物は、前記人物であること特徴とする請求項１に記載の画像処理装置。
4. 前記画像処理装置は、人物の顔を検出する顔検出手段を備え、
   前記監視対象物は、前記顔検出手段によって顔を検出された人物であることを特徴とする１ないし３のいずれか１項に記載の画像処理装置。
5. 前記画像処理装置は、前記マスク保護対象と前記監視対象が撮像された画像上で重なり、かつ、前記第１の距離情報よりも前記第２の距離情報が大きい場合に、前記マスク保護対象と前記監視対象とが画像上で重なっている部分を除いてマスク処理を行うことを請求項１ないし４のいずれか１項に記載の画像処理装置。
6. 前記画像処理装置は、前記マスク保護対象と前記監視対象が、撮像された画像上で重なり、かつ、前記第１の距離情報よりも前記第２の距離情報が小さい場合に、前記マスク保護対象と前記監視対象とが画像上で重なっている部分を除いてマスク処理を行うことを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
7. 前記画像処理装置は、
   前記マスク保護対象と前記監視対象が、撮像された画像上で重なり、かつ、前記第１の距離情報よりも前記第２の距離情報が大きい場合に、発報装置が警告あるいは通知を行うよう指示信号を送出することを特徴とする請求項１ないし５項のいずれか１項に記載の画像処理装置。
8. 請求項１ないし７のいずれか１項に記載の画像処理装置を備える撮像装置。
9. 画像情報にマスク処理を行う画像処理装置であって、
   カメラ装置から出力される画像信号を入力する入力手段と、
   撮像空間内に、マスク処理を行うマスク保護対象を決定する決定手段と、
   前記画像信号に含まれる監視対象を検知する検知手段と、
   前記マスク保護対象及び前記監視対象の撮像空間内の位置関係を測定する位置関係測定手段と、
   画像信号で示される画像信号内前記マスク対象と前記監視対象の３次元の位置関係に応じて、前記監視対象にマスク処理を行うか否かを判定するマスク判定手段と、
   を備えることを特徴とする画像処理装置。
10. 画像に対してマスク処理を行う画像処理装置であって、
    カメラ装置から出力される画像信号を入力する入力手段と、
    撮像対象となる空間内の一部の領域を示す空間マスク領域を設定する空間マスク領域設定手段と、
    前記カメラ装置から前記空間マスク領域に示される場所への距離を示す第１の距離情報を入力する入力手段と、
    前記画像信号に含まれる監視対象物を検知する検知手段と、
    前記カメラ装置から前記監視対象物までの第２の距離を算出する算出手段と、
    前記空間マスク領域と前記監視対象物との、前記カメラ装置で撮像された画像上での位置関係、及び、前記第１の距離情報と前記第２の距離情報との比較結果に基づいて、マスク処理を行う領域を決定する決定手段と、
    を備えることを特徴とする画像処理装置。

Images