JP2004241945A

JP2004241945A - 画像監視装置、画像監視方法、画像監視プログラム及びそのプログラムを記録した記録媒体

Info

Publication number: JP2004241945A
Application number: JP2003027712A
Authority: JP
Inventors: Satoshi Sakuma; 聡佐久間; Hiroko Takahashi; 裕子高橋; Kyoko Sudo; 恭子数藤; Kenichi Arakawa; 賢一荒川
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2003-02-05
Filing date: 2003-02-05
Publication date: 2004-08-26

Abstract

【課題】本発明は、通行人や近隣住人などのプライバシーを考慮した画像監視技術の提供を目的とする。
【解決手段】静止観測点にあるカメラを用いて撮影した画像を監視するときにあって、入力画像やそれの暗号化されたものを蓄積する手段と、入力画像の変化領域を抽出する手段と、蓄積画像と対応をとる形で変化領域の情報を蓄積する手段と、変化領域又はそれ以外の領域のどちらか一方の領域を別の画像に変換することで入力画像を抽象化する手段と、抽象化された画像をネットワークを通じて配信する手段とを備える。この構成に従って、不特定多数の人物が映っている部分の画像やそれ以外の部分の画像が抽象化されることから、通行人や近隣住人のプライバシーを保護しながら、公衆端末を使って画像を監視できるようになるとともに、自宅に戻るときには撮影画像を見ることができるようになる。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、屋外画像の監視に好適な画像監視装置及びその方法と、その画像監視方法の実現に用いられる画像監視プログラム及びそのプログラムを記録した記録媒体とに関し、特に、通行人や近隣住人などのプライバシーを考慮した画像監視装置及びその方法と、その画像監視方法の実現に用いられる画像監視プログラム及びそのプログラムを記録した記録媒体とに関する。
【０００２】
【従来の技術】
従来、個人のプライバシーを考慮して画像を蓄積及び配信する方法として、居住空間で人物行動（特に老人）を監視する方法（例えば、特許文献１参照）や、テレビ電話やテレビ会議などで被撮影者の意思でその被写体を含まない画像を入力する方法（例えば、特許文献２や特許文献３参照）がある。
【０００３】
これらの従来技術では、いずれも、予め登録された人物のプライバシーを保護するようにしている。
【０００４】
【特許文献１】
特開２０００−２１６
【特許文献２】
特開２０００−２７８５８４
【特許文献３】
特開２０００−２６１７８９
【０００５】
【発明が解決しようとする課題】
しかしながら、屋外での使用を考えた場合、従来技術のような予め登録された人物のプライバシーを保護する方法では、他人が容易に見ることができるネットワーク端末で撮影画像が閲覧される場合に、屋外を通過する不特定多数の通行人のプライバシーや、その場所を撮影されることによって侵害されるプライバシーを保護することができないという問題がある。
【０００６】
また、インターネットを用いた画像転送では画像全体を暗号化することが行われているが、転送された画像を閲覧する場合には全て復号化されることになることから、上記と同様の問題が発生する。
【０００７】
本発明はかかる事情に鑑みてなされたものであって、通行人や近隣住人などのプライバシーを考慮した新たな画像監視技術の提供を目的とする。
【０００８】
【課題を解決するための手段】
この目的を達成するために、本発明の画像監視装置は、静止観測点にあるカメラを用いて撮影した画像を監視する処理を行うために、（イ）入力画像又はそれの暗号化されたものを蓄積する画像蓄積手段と、（ロ）入力画像の変化領域を抽出する変化領域抽出手段と、（ハ）画像蓄積手段に蓄積される画像と対応をとる形で、抽出された変化領域の情報を蓄積する変化領域情報蓄積手段と、（ニ）抽出された変化領域又はそれ以外の領域のどちらか一方の領域を別の画像に変換することで入力画像を抽象化する画像抽象化手段と、（ホ）抽象化された画像をネットワークを通じて配信する抽象化画像配信手段とを備えるように構成する。
【０００９】
この構成を採るときに、変化領域抽出手段は、（ａ）現時点の入力画像とその１つ前の入力画像とを局所領域に分割するか、現時点の入力画像と背景画像とを局所領域に分割するか、その双方を使って局所領域に分割して局所領域毎の画像変化量を求める画像変化量計算手段と、（ｂ）その求められた画像変化量に対する閾値処理によって変化領域か否かを判定する変化領域判定手段とを備えるように構成することがある。
【００１０】
このとき、変化領域抽出手段は、さらに、（ｃ）現時点の入力画像とその１つ前の入力画像との間の画素毎の画素値変化量を求めるか、現時点の入力画像と背景画像との間の画素毎の画素値変化量を求めるか、その双方を使って画素毎の画素値変化量を求める画素値変化量計算手段と、（ｄ）その求められた画素値変化量に対する閾値処理によって変化領域を構成することになる画素であるのか否かを判定するもう１つの変化領域判定手段と、（ｅ）２つの変化領域判定手段の判定結果に基づいて、最終的な変化領域を確定する変化領域確定手段とを備えるように構成することがある。
【００１１】
このように構成されるときにあって、本発明の画像監視装置は、画像変化量に代えて移動ベクトル量を使い、変化領域に代えて移動領域を使って処理を行うように構成されることがある。
【００１２】
このとき、対数変換又は微分変換又は平滑化処理のいずれか１つ以上の前処理を施した相関法又は正規化相関法を用いた画像類似度計算により局所領域の対応付けを行うことで局所領域毎の移動ベクトル量を求めるように構成されることがある。
【００１３】
以上の各処理手段により実現される本発明の画像監視方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供したり、ネットワークを介して提供することができる。
【００１４】
このように構成される本発明の画像監視装置では、静止観測点にあるカメラを用いて撮影した画像を入力して、その入力画像をそのまま画像蓄積手段に蓄積したり、その入力画像を暗号化して画像蓄積手段に蓄積する。
【００１５】
一方、その入力画像とそれよりも１つ前に入力した入力画像とを局所領域に分割するか、その入力画像と背景画像とを局所領域に分割するか、その双方を使って局所領域に分割して局所領域毎の画像変化量を求めて、それを所定の閾値と比較することにより局所領域毎に変化領域であるのか否かを判定することで、入力画像の変化領域を抽出する。
【００１６】
このとき、局所領域に分割することで本来の変化領域の形状がスムーズに抽出できないことを考慮し、画素毎の画素値変化量を求めて、それを所定の閾値と比較することにより変化領域を構成することになる画素であるのか否かを判定して、例えば、その２つの判定結果でともに変化領域であると判定された領域を最終的な変化領域として確定することで、入力画像の変化領域を抽出することがある。
【００１７】
ここで、局所領域毎の画像変化量を求める場合に、対数変換又は微分変換又は平滑化処理のいずれか１つ以上の前処理を施した相関法又は正規化相関法を用いた画像類似度計算により局所領域毎の画像変化量を求めることがある。
【００１８】
このようにして、入力画像の変化領域を抽出すると、画像蓄積手段に蓄積される画像と対応をとる形で、その変化領域の情報を変化領域情報蓄積手段に蓄積する。
【００１９】
このとき、変化領域の情報として、変化領域の位置の情報の他に、画素値又は大きさ又は画像変化量又は変化領域の有無又は撮影時間のいずれか１つ以上を含む情報を変化領域情報蓄積手段に蓄積することがある。
【００２０】
そして、抽出した変化領域又はそれ以外の領域のどちらか一方の領域を別の画像に変換することで入力画像を抽象化して、その抽象化した画像をネットワークを通じて配信する。
【００２１】
このとき、変化領域の平滑化処理又はモザイク処理又は色変換処理又は予め用意されている画像との置換処理のいずれか１つ以上を含む処理を実行することで、入力画像を抽象化することがある。
【００２２】
このようにして、本発明では、例えば、個人宅の玄関ドア付近で撮影された屋外画像を対象として、不特定多数の人物が映っている部分の画像やそれ以外の部分の画像を抽象化するように処理することから、通行人や近隣住人のプライバシーを保護しながら、ネットワーク接続された公衆端末を使って、その撮影された屋外画像を監視できるようになる。
【００２３】
そして、抽象化する前の画像と変化領域の情報とを蓄積していることから、カメラの設置されている個人宅内では、抽象化する前の不特定多数の通行人や近隣住人の映像を検索したり閲覧できるようになる。
【００２４】
この構成を採るときにあって、来訪者については静止画状態にあることでネットワーク接続された公衆端末で確認できることになるので、このプライバシーの保護の実現にあたって本来の監視機能を低下させてしまうというような不都合は起こらない。
【００２５】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【００２６】
図１に、本発明を具備する画像監視装置１の装置構成の一実施形態例を図示する。
【００２７】
この図に示すように、本発明の画像監視装置１は、静止観測点にあるＣＣＤカメラ２から入力される画像を蓄積する画像蓄積手段１０と、現時点の入力画像と１つ前の入力画像とを局所領域に分割して局所領域毎の画像変化量を求める画像変化量計算手段１１と、画像変化量計算手段１１により求められた局所領域毎の画像変化量に対する閾値処理によって変化領域か否かを判定する変化領域判定手段１２と、画像蓄積手段に蓄積される画像と対応をとる形で、変化領域判定手段１２により抽出された変化領域の情報を蓄積する変化領域情報蓄積手段１３と、変化領域判定手段１２により抽出された変化領域又はそれ以外の領域のどちらか一方の領域を別の画像に変換することで入力画像を抽象化する画像抽象化手段１４と、画像抽象化手段１４により抽象化された画像をネットワークを通じて配信する抽象化画像配信手段１５と、変化領域情報蓄積手段１３に蓄積される変化領域情報を使って、画像蓄積手段１０に蓄積される画像を検索する画像検索手段１６とを備える。
【００２８】
ここで、ＣＣＤカメラ２は一般のビデオ映像を撮影できるカメラであって、カラーカメラが用いられることもあるし、モノクロカメラが用いられることもある。
【００２９】
図２に、本発明の画像監視装置１が用いられる撮影系の一例を図示する。
【００３０】
この図に示す撮影系では、個人宅の玄関ドア付近に設置されるＣＣＤカメラ２が監視処理を行うことを想定しており、このとき、ＣＣＤカメラ２の撮影範囲２００に入る通行人１００を撮影してしまうことで通行人１００のプライバシーが侵害されることになる。
【００３１】
そこで、本発明の画像監視装置１は、通行人１００のプライバシーの保護を図りつつ監視処理を行って、その監視画像をネットワークを介して外出先のユーザなどに配信する処理を行う。
【００３２】
図３に、このような撮影系で用いられるときに、本発明の画像監視装置１が実行する監視処理のフローチャートを図示する。次に、このフローチャートに従って、本発明の画像監視装置１が実行する監視処理について詳細に説明する。
【００３３】
本発明の画像監視装置１は、図３のフローチャートに示すように、先ず最初に、ステップ１０で、規定周期に従ってＣＣＤカメラ２の撮影する画像を入力し、続くステップ１１で、その入力した画像を画像蓄積手段１０に保存する。
【００３４】
このとき入力する画像は、例えば、１秒あたり３０枚撮影されるビデオ映像等の動画の各フレーム画像の集合を意味する。
【００３５】
図４に、ＣＣＤカメラ２から取得した入力画像の一例を図示する。ここでは、時間経過とともに撮影された入力画像Ａ、入力画像Ｂ、入力画像Ｃを示しており、これらの入力画像は、入力画像Ａ→入力画像Ｂ→入力画像Ｃという順に撮影されたものであって、通行人１００は左から右に歩いていることを示している。
【００３６】
ここで、ステップ１１では、入力画像をそのまま画像蓄積手段１０に保存するようにしているが、装置固有のＩＤ（例えば、ＬＡＮカードのＭＡＣアドレスや固定ＩＰアドレスなど）をキーにして入力画像を暗号化（例えば、「データ保護と暗号化の研究」日本経済新聞社，１９８３年）して、それを保存するようにすると、抽象化前の入力画像の閲覧を容易にできなくすることが可能になる。
【００３７】
ステップ１１で、入力した画像を画像蓄積手段１０に保存すると、続いて、ステップ１２で、入力画像を局所領域に分割する。
【００３８】
例えば、図５に示すように、入力画像をマトリックスのような形態で局所領域に分割するのである。なお、この図５では、図４に示す入力画像Ｂを局所領域に分割した例を示してある。
【００３９】
続いて、ステップ１３で、前フレームの入力画像を現フレームの入力画像と同様の分割形態に従って局所領域に分割する。
【００４０】
ここで、前フレームの入力画像については、画像蓄積手段１０が入力画像をそのまま蓄積する場合には、画像蓄積手段１０から読み出すようにしてもよいし、画像蓄積手段１０とは別に一時的に保持しておくようにしてもよい。一方、画像蓄積手段１０が入力画像の暗号化されたものを蓄積する場合には、画像蓄積手段１０とは別に一時的に保持しておく必要がある。以下、説明の便宜上、前フレームの入力画像については、画像蓄積手段１０とは別に一時的に保持しておくことで説明する。
【００４１】
続いて、ステップ１４で、局所領域毎に、現フレームの入力画像と前フレームの入力画像との間の画像変化量を計算する。このとき、前フレームの入力画像が存在しない場合には、現フレームの入力画像を前フレームの入力画像と見なして処理を行う。
【００４２】
ここでは、現フレームの入力画像を図４に示す入力画像Ｂとし、前フレームの入力画像を図４に示す入力画像Ａとして、図５に示した局所領域毎に画像変化量を求めることにする。
【００４３】
画像変化量は、例えば、入力画像Ａ及び入力画像Ｂの同位置における局所領域間の相関係数を計算することにより求めることができる。この処理において、相関係数を求める方法として、相互相関係数による方法（「画像ハンドブック」東京大学出版会，１９９１年）や、対数微分と平滑化とを用いた相関法（ＬＤＭ法）（照明変動及びノイズ耐久性を持つパターンマッチング法」２０００年映像情報メディア学会年次大会論文集や、特開２０００−５６３８６）などがあるが、その一例としてＬＤＭ法を用いることで説明する。
【００４４】
このＬＤＭ法は、屋外で発生する問題（急激な照明変動や影の発生、コントラストが低い場合等）を解決できる手法である。ＣＣＤカメラ２がカラーカメラの場合には、例えば、ＹＩＱ表色系のＹ信号を選択してもよい（例えば、「画像解析ハンドブック」東京大学出版会，１９９１年）。
【００４５】
ＬＤＭ法では、現フレームの入力画像Ｂの局所領域の画素値を示す関数をｇ_１、前フレームの入力画像Ａの局所領域の画素値の示す関数をｇ_２とすると、相関係数Ｃｇは、下記の算出式に従って求めることができる。
【００４６】
【数１】

【００４７】
ここで、“∇Ｇσ”はガウス関数を微分したもの、“‖ ‖_２”はノルム、“＊”は畳み込み、“○”は合成関数を表す記号であり、例えば、“ｌｏｇ○ｆ（ｘ）＝ｌｏｇ｛ｆ（ｘ）｝”を示している。
【００４８】
この算出式により求められる相関係数Ｃｇは−１から１までの値をとり、１に近づくほど相関が高いことを示す。
【００４９】
ここでは、相関係数を計算する方法として、対数微分と平滑化とを用いた相関法を用いたが、上述した「画像解析ハンドブック」（東京大学出版会，１９９１年）に記載されている下記に示す相互相関係数Ｃを用いても構わない。
【００５０】
【数２】

【００５１】
また、カラー画像を対象とする場合には、カラー画像のＹ信号のみを用いて上述の相関係数を求めたり、色相関演算（「映像カット自動検出方式の検討」テレビジョン学会技術報告，Ｖｏｌ．１６，Ｎｏ．４３）により相関係数を求めても構わない。
【００５２】
なお、上述しなかったが、相関係数を算出する際に、局所領域に含まれる画素値の分散で除算するという処理が入る場合には、ステップ１２，１３で入力画像を局所領域に分割するときに、その分割した各局所領域に含まれる画素値がほぼ同じ値であるのか否かを判断して、画素値がほぼ同じ値となる局所領域については、その局所領域と、その局所領域に対応付けられるもう一方の画像の持つ局所領域とを拡大するように処理することになる。
【００５３】
ステップ１４で、局所領域毎に画像変化量を計算すると、続いて、ステップ１５で、その計算した画像変化量に対して閾値処理を施すことで変化領域となる局所領域を抽出する。具体的には、画像変化量である相関係数が閾値よりも小さい局所領域を変化領域として抽出するのである。
【００５４】
この変化領域の抽出処理により、図６に示すように、入力画像Ｂ内の変化領域が抽出されることになる。ここで、図中に示す黒領域は変化のなかった局所領域を示し、白領域は変化のあった局所領域を示している。
【００５５】
このようにして、通行人１００の移動によって画像が変化した領域の位置を求めることが可能になるのである。
【００５６】
続いて、ステップ１６で、この抽出した変化領域の検索キーを構成することになる情報を取得する。
【００５７】
既に変化領域の位置が求められているので、その位置情報を元にして、例えば、変化領域の画素値、大きさ、画像変化量、変化領域の有無、撮影時間などを変化領域の検索キーとなる情報として取得するのである。
【００５８】
続いて、ステップ１７で、抽出した変化領域の位置情報とステップ１６で取得した情報とを変化領域の検索キーとなる情報として、画像蓄積手段１０に保存した入力画像とリンクを張りつつ、それらの情報を変化領域情報蓄積手段１３に保存する。
【００５９】
続いて、ステップ１８で、画像蓄積手段１０とは別に一時的に保持してある前フレームの入力画像を現フレームの入力画像に置き換えることで更新する。
【００６０】
続いて、ステップ１９で、抽出した変化領域に基づいて入力画像を抽象化する。具体的には、図６に示すように、変化領域の位置が求められているので、例えば、その変化領域を予め決められた画素値に置き換えることにより入力画像を抽象化したり、その変化領域以外の領域（変化しない領域）を予め決められた画素値に置き換えることにより入力画像を抽象化する。
【００６１】
図７（ａ）は、変化領域を予め決められた画素値に置き換えることにより入力画像を抽象化した例であり、通行人１００によって画像が変化したところのみを抽象化することにより、通行人１００のプライバシーを保護できるようになる。一方、図７（ｂ）は、変化しない領域を予め決められた画素値に置き換えることにより入力画像を抽象化した例であり、不特定多数の第三者が見ても撮影場所の特定が困難であることから、この場合にも通行人１００のプライバシーを保護できるようになる。
【００６２】
ここで、ステップ１９では、画素値を置換することで入力画像を抽象化するようにしたが、平滑化処理やモザイク処理や色変換処理を用いてもよいし、コンピュータグラフィックで作成したキャラクターのような予め用意してある画像に置き換えるようにしてもよい。
【００６３】
続いて、ステップ２０で、抽象化した入力画像をネットワーク経由で遠隔端末に配信し、続くステップ２１で、ユーザから監視処理の終了要求が発行されたのか否かを判断して、終了要求が発行されない場合にはステップ１０に戻り、終了要求が発行された場合には、処理を終了する。
【００６４】
ここで、このネットワークは、ＬＡＮやＷＡＮやその他の通信手段を用いて遠隔端末に情報を送信できるものである。また、この遠隔端末とは、画像を表示可能な携帯電話や計算機やＰＤＡなどである。
【００６５】
このようにして、本発明の画像監視装置１では、個人宅の玄関ドア付近に設置されるＣＣＤカメラ２の撮影した画像を抽象化して遠隔端末に配信するように処理し、これにより、遠隔端末では、通行人１００が抽象化された画像あるいは背景が抽象化された画像しか見ることができないことで、通行人１００のプライバシーの保護が図れるようになるのである。
【００６６】
本発明の画像監視装置１では、図３のフローチャートで説明したように、画像蓄積手段１０に入力画像の時系列データを保存しておくとともに、その蓄積される入力画像と対応をとる形で、変化領域情報蓄積手段１３に変化領域の検索キーとなる情報を保存するようにしている。
【００６７】
これから、自宅に戻ったユーザは、画像蓄積手段１０に蓄積される入力画像を検索することが可能となる。
【００６８】
すなわち、本発明の画像監視装置１は、ユーザから検索キーを指定して検索要求が発行されると、図８のフローチャートに示すように、その検索キーを入力して、変化領域情報蓄積手段１３を検索することで、その入力した検索キーの指す変化領域情報を特定し、そして、画像蓄積手段１０から、その特定した変化領域情報に対応付けられる入力画像を読み出してディスプレイに表示するという処理を行う。
【００６９】
ここで、画像蓄積手段１０が入力画像の暗号化したものを蓄積している場合には、指定される復号鍵を使って、画像蓄積手段１０から読み出したデータを復号することで入力画像を得るように処理することになる。
【００７０】
図９は検索結果の表示の一例であり、例えば、検索対象時間と画像変化有りとを検索キーとすることで、蓄積画像中の対象となる画像のみを表示することが可能になる。さらに、結果画像を選択した際に、その画像の前後の画像を動画像として表示することにより、通行人１００の状況を把握することが可能となる。
【００７１】
以上に説明した実施形態例では、画像の変化量に基づいて入力画像を抽象化するようにしているが、画像の移動ベクトル量に基づいて入力画像を抽象化するようにしてもよい。
【００７２】
図１０に、画像の移動ベクトル量に基づいて入力画像を抽象化して監視する場合のフローチャートを図示する。
【００７３】
このフローチャートと図３のフローチャートとの違いは、図３のフローチャートではステップ１４で画像変化量を計算するのに対して、このフローチャートではステップ４４で移動ベクトル量を計算する点である。
【００７４】
そして、図３のフローチャートではステップ１５で変化領域となる局所領域を抽出するのに対して、このフローチャートではステップ４５で移動領域となる局所領域を抽出する点である。さらに、これに合わせて、図３のフローチャートのステップ１６に相当するステップ４６で、移動領域の情報を取得するとともに、図３のフローチャートのステップ１７に相当するステップ４７で、移動領域の検索キーとなる情報を保存する点が相違する。
【００７５】
図１０のフローチャートに従う場合には、ステップ４４で、局所領域毎に、現フレームの入力画像と前フレームの入力画像との間での移動ベクトル量を計算する。
【００７６】
ここでは、現フレームの入力画像を図４に示す入力画像Ｂとし、前フレームの入力画像を図４に示す入力画像Ａとして、局所領域毎に移動ベクトル量を求めることにする。
【００７７】
移動ベクトル量は、例えば、入力画像Ｂの局所領域をテンプレートとして、相関係数に基づいて入力画像Ａ上で対応する局所領域を求めて、その移動量を計算することにより求めることができる。この処理において、相関係数を求める方法としては、上述したように、相互相関係数による方法（「画像解析ハンドブック」東京大学出版会，１９９１年）や、対数微分と平滑化とを用いた相関法（ＬＤＭ法）などがある。
【００７８】
上述したように、相関係数Ｃｇは−１から１までの値をとり、１に近づくほど相関が高くなることを示しているので、入力画像Ｂの各局所領域毎に、前フレームの入力画像Ａ中の全ての局所領域に対する相関係数を求めて、その中から最大値を持つ局所領域を選択することにより、入力画像Ｂの局所領域に対応する入力画像Ａの局所領域を求めることができる。
【００７９】
従って、入力画像Ｂ中の局所領域の中心座標を（ｘ_ｂ，ｙ_ｂ）、前フレームの入力画像Ａ中の対応する局所領域の中心座標を（ｘ_ａ，ｙ_ａ）とするならば、局所領域の移動ベクトル量ｄは、
ｄ＝（（ｘ_ａ−ｘ_ｂ）^２＋（ｙ_ａ−ｙ_ｂ）^２）^１／２
と求めることができる。
【００８０】
ただし、入力画像Ｂの局所領域が前フレームの入力画像Ａのどこにも存在しない場合には、相関係数の最大値が小さな値を示すことになる。そこで、相関係数の最大値が閾値以下の場合には、移動ベクトル量ｄが求められないことになることから、例えば、その局所領域は移動していないものとして扱うことにする。
【００８１】
そして、図１０のフローチャートに従う場合には、ステップ４５で、ステップ４４で計算した移動ベクトル量に対して閾値処理を施すことで移動領域となる局所領域を抽出する。具体的には、移動ベクトル量が閾値よりも大きい局所領域を移動領域として抽出するのである。
【００８２】
この移動領域の抽出処理により、図１１に示すように、入力画像Ｂ内の移動領域が抽出されることになる。ここで、図中に示す黒領域は移動ベクトル量ｄがほぼ０の値を示す移動していない領域を示し、白領域は移動ベクトル量ｄが０でない値を示す移動している領域を示している。
【００８３】
図１０のフローチャートに従う場合には、続くステップ４６で、抽出した移動領域の検索キーを構成することになる情報を取得し、続くステップ４７で、抽出した移動領域の位置情報とステップ４６で取得した情報とを検索キーとなる情報として、画像蓄積手段１０に保存した入力画像とリンクを張りつつ変化領域情報蓄積手段１３に保存する。
【００８４】
例えば、移動領域の有無、移動領域の大きさや位置、移動ベクトル量、撮影時間などを移動領域の検索キーとなる情報として取得して、移動領域の位置情報とともに、画像蓄積手段１０に保存した入力画像とリンクを張りつつ変化領域情報蓄積手段１３に保存するのである。
【００８５】
そして、図１０のフローチャートに従う場合には、ステップ４９で、例えば、図１２に示すように、その移動領域を予め決められた画素値に置き換えることなどにより抽象化したり、その移動領域以外の領域（移動しない領域）を予め決められた画素値に置き換えることなどにより抽象化することで、入力画像を抽象化する処理を行う。
【００８６】
このようにして、画像の移動ベクトル量を用いて処理を行う場合にも、通行人１００の存在する領域の位置を求めることが可能になるのである。
【００８７】
以上に説明した実施形態例では、前フレームの入力画像を使って局所領域毎に画像変化量や移動ベクトル量を求めて、それに基づいて入力画像の変化領域や移動領域を抽出するようにしているが、前フレームの入力画像の代わりに背景画像を使って局所領域毎に画像変化量や移動ベクトル量を求めて、それに基づいて入力画像の変化領域や移動領域を抽出するようにしてもよい。
【００８８】
この場合、背景画像としては予め撮影したものを用いることも可能であるが、背景画像は時々刻々と変化することを考慮して、最新の背景画像を取得して更新していくことが好ましい。
【００８９】
すなわち、背景画像を用いる場合には、本発明の画像監視装置１は、図１３のフローチャートに示すように、先ず最初に、ステップ６０で、予め撮影した背景画像を初期背景画像として設定する。
【００９０】
続いて、ステップ６１で、監視処理に入って、規定周期に従ってＣＣＤカメラ２の撮影する画像を入力し、続くステップ６２で、上述したＬＤＭ法などに従って、その入力した画像と背景画像との間の相関係数を算出する。
【００９１】
続いて、ステップ６３で、その算出した相関係数が規定の閾値よりも大きいのか否かを判断して、規定の閾値よりも大きいことを判断するときには、２つの画像に違いがないことで入力画像が背景画像であることを判断して、ステップ６４に進んで、入力画像に従って背景画像を更新してから、ステップ６１に戻る。
【００９２】
一方、ステップ６３で、算出した相関係数が規定の閾値よりも小さいことを判断するときには、ステップ６５に進んで、前フレームの入力画像の代わりに背景画像を使って、図３のフローチャートのステップ１１〜ステップ２０（ただし、ステップ１８の処理は行わない）を実行することで監視処理を実行する。
【００９３】
そして、続くステップ６６で、ユーザから監視処理の終了要求が発行されたのか否かを判断して、終了要求が発行されない場合にはステップ６１に戻り、終了要求が発行された場合には、処理を終了する。
【００９４】
このようにして、本発明の画像監視装置１は、前フレームの入力画像の代わりに背景画像を使って局所領域毎に画像変化量や移動ベクトル量を求めることで監視処理を実行するようにしてもよいのである。
【００９５】
ここで、図１３のフローチャートでは、画像全体で背景画像との間に画像変化がない場合には入力画像を背景画像と判断して、入力画像に従って背景画像を更新するようにしたが、局所領域に分割して相関係数を算出することで局所領域毎に画像変化したのかどうかを判断して、画像の一部分で変化している場合には、変化していない領域のみを使って背景画像を更新するようにしてもよい。このとき、画像変化のない領域について既に存在する背景画像と重み付け平均を計算して、その値に従って背景画像を更新するようにしてもよい。
【００９６】
また、以上に説明した実施形態例では、局所領域毎に画像変化量を計算するようにしたが、画素毎に画素値変化量（画像変化量）を計算するようにしてもよい。例えば、画素毎に色ベクトルのユークリッド距離や輝度値の差分値を計算して、その差分値に基づいて変化領域を構成する画素であるのか否かを判断するようにしてもよいのである。
【００９７】
例えば、図１４（ａ）に示すような画像が入力される場合、局所領域毎に変化領域を求めるようにしていると、図１４（ｂ）に示すような形で変化領域が求められることになるが、画素毎に変化領域を構成する画素であるのか否かを判断して、その判断結果を考慮した形で最終的な変化領域を決定するようにすると、図１４（ｃ）に示すように、本来の形状を変化領域として抽出することができるようになる。
【００９８】
ここで、画素毎に変化領域を構成する画素であるのか否かを判断するという構成を採る場合に、局所領域毎に変化領域を求める方法により求められた変化領域の判断結果と組み合わせる必要はなく、画素毎に変化領域を構成する画素であるのか否かを判断するという方法により求められた変化領域の判断結果をそのまま使って上述の監視処理を行うようにしてもよいし、ラベリングを施すことで変化領域を特定する形で上述の監視処理を行うようにしてもよい。
【００９９】
【発明の効果】
以上説明したように、本発明によれば、通行人やカメラに映り込む近隣住人のプライバシーを保護しつつ監視ができるようになる。
【０１００】
この監視にあたって、変化領域や移動領域を抽象化する場合には、自宅前で静止する来訪者については抽象化されないことになるので、遠隔端末からその確認を行うことができるようになる。
【０１０１】
また、この監視にあたって、変化領域や移動領域以外の領域を抽象化する場合には、第三者が見ても撮影場所を特定できないことから、通行人だけでなく特にカメラに映り込む近隣住人のプライバシーを保護できるようになる。
【０１０２】
そして、蓄積画像を運搬容易な外部蓄積装置に保存する場合でも、画像が暗号化されていれば他の装置で画像を見ることができないので、画像に映っている通行人や近隣住人のプライバシーを第三者から保護できるようになる。
【図面の簡単な説明】
【図１】本発明の画像監視装置の装置構成の一実施形態例である。
【図２】本発明の画像監視装置が用いられる撮影系の一例を示す図である。
【図３】本発明の画像監視装置が実行する監視処理のフローチャートである。
【図４】入力画像の一例を示す図である。
【図５】入力画像に対する分割処理の説明図である。
【図６】入力画像内に含まれる変化領域の一例を示す図である。
【図７】入力画像に対する抽象化処理の説明図である。
【図８】本発明の画像監視装置が実行する検索処理のフローチャートである。
【図９】画像検索結果の表示の一例を示す図である。
【図１０】本発明の画像監視装置が実行する監視処理のフローチャートである。
【図１１】入力画像内に含まれる移動領域の一例を示す図である。
【図１２】入力画像に対する抽象化処理の説明図である。
【図１３】本発明の画像監視装置が実行する監視処理のフローチャートである。
【図１４】変化領域の抽出処理の説明図である。
【符号の説明】
１画像監視装置
２ＣＣＤカメラ
１０画像蓄積手段
１１画像変化量計算手段
１２変化領域判定手段
１３変化領域情報蓄積手段
１４画像抽象化手段
１５抽象化画像配信手段
１６画像検索手段

Claims

静止観測点にあるカメラを用いて撮影した画像を監視する画像監視装置であって、
入力画像又はそれの暗号化されたものを蓄積する画像蓄積手段と、
入力画像の変化領域を抽出する変化領域抽出手段と、
前記蓄積画像と対応をとる形で前記変化領域の情報を蓄積する変化領域情報蓄積手段と、
前記変化領域又はそれ以外の領域のどちらか一方の領域を別の画像に変換することで入力画像を抽象化する画像抽象化手段と、
前記抽象化された画像をネットワークを通じて配信する抽象化画像配信手段とを有することを、
特徴とする画像監視装置。
請求項１記載の画像監視装置において、
前記変化領域抽出手段は、
現時点の入力画像とその１つ前の入力画像とを局所領域に分割するか、現時点の入力画像と背景画像とを局所領域に分割するか、その双方を使って局所領域に分割して局所領域毎の画像変化量を求める画像変化量計算手段と、
前記画像変化量に対する閾値処理によって変化領域か否かを判定する変化領域判定手段とを有することを、
特徴とする画像監視装置。
請求項１記載の画像監視装置において、
前記変化領域抽出手段は、
現時点の入力画像とその１つ前の入力画像とを局所領域に分割するか、現時点の入力画像と背景画像とを局所領域に分割するか、その双方を使って局所領域に分割して局所領域毎の画像変化量を求める画像変化量計算手段と、
前記画像変化量に対する閾値処理によって変化領域か否かを判定する第１の変化領域判定手段と、
現時点の入力画像とその１つ前の入力画像との間の画素毎の画素値変化量を求めるか、現時点の入力画像と背景画像との間の画素毎の画素値変化量を求めるか、その双方を使って画素毎の画素値変化量を求める画素値変化量計算手段と、
前記画素値変化量に対する閾値処理によって変化領域を構成することになる画素であるのか否かを判定する第２の変化領域判定手段と、
前記第１の変化領域判定手段の判定結果と前記第２の変化領域判定手段の判定結果とに基づいて、最終的な変化領域を確定する変化領域確定手段とを有することを、
特徴とする画像監視装置。
請求項２又は３記載の画像監視装置において、
前記画像変化量計算手段は、対数変換又は微分変換又は平滑化処理のいずれか１つ以上の前処理を施した相関法又は正規化相関法を用いた画像類似度計算により局所領域毎の画像変化量を求めることを、
特徴とする画像監視装置。
請求項１ないし４のいずれか１項に記載の画像監視装置において、
前記変化領域の情報は、変化領域の位置の情報の他に、画素値又は大きさ又は画像変化量又は変化領域の有無又は撮影時間のいずれか１つ以上を含む情報であることを、
特徴とする画像監視装置。
請求項１ないし５のいずれか１項に記載の画像監視装置において、
前記画像抽象化手段は、前記変化領域の平滑化処理又はモザイク処理又は色変換処理又は予め用意されている画像との置換処理のいずれか１つ以上を含む処理を実行することを、
特徴とする画像監視装置。
請求項１ないし６のいずれか１項に記載の画像監視装置において、
画像変化量に代えて移動ベクトル量を使い、変化領域に代えて移動領域を使って処理を行うように構成されることを、
特徴とする画像監視装置。
請求項７記載の画像監視装置において、
対数変換又は微分変換又は平滑化処理のいずれか１つ以上の前処理を施した相関法又は正規化相関法を用いた画像類似度計算により局所領域の対応付けを行うことで局所領域毎の移動ベクトル量を求めるように構成されることを、
特徴とする画像監視装置。
請求項１記載の画像監視装置において、
前記変化領域抽出手段は、
現時点の入力画像とその１つ前の入力画像との間の画素毎の画素値変化量を求めるか、現時点の入力画像と背景画像との間の画素毎の画素値変化量を求めるか、その双方を使って画素毎の画素値変化量を求める画素値変化量計算手段と、
前記画素値変化量に対する閾値処理によって変化領域を構成することになる画素であるのか否かを判定する変化領域判定手段とを有することを、
特徴とする画像監視装置。
静止観測点にあるカメラを用いて撮影した画像を監視する画像監視方法であって、
入力画像をそのまま画像蓄積手段に蓄積するか、入力画像を暗号化して画像蓄積手段に蓄積する画像蓄積手順と、
入力画像の変化領域を抽出する変化領域抽出手順と、
前記蓄積画像と対応をとる形で前記変化領域の情報を変化領域情報蓄積手段に蓄積する変化領域情報蓄積手順と、
前記変化領域又はそれ以外の領域のどちらか一方の領域を別の画像に変換することで入力画像を抽象化する画像抽象化手順と、
前記抽象化された画像をネットワークを通じて配信する抽象化画像配信手順とを有することを、
特徴とする画像監視方法。
請求項１０記載の画像監視方法において、
前記変化領域抽出手順は、
現時点の入力画像とその１つ前の入力画像とを局所領域に分割するか、現時点の入力画像と背景画像とを局所領域に分割するか、その双方を使って局所領域に分割して局所領域毎の画像変化量を求める画像変化量計算手順と、
前記画像変化量に対する閾値処理によって変化領域か否かを判定する変化領域判定手順とを有することを、
特徴とする画像監視方法。
請求項１０記載の画像監視方法において、
前記変化領域抽出手順は、
現時点の入力画像とその１つ前の入力画像とを局所領域に分割するか、現時点の入力画像と背景画像とを局所領域に分割するか、その双方を使って局所領域に分割して局所領域毎の画像変化量を求める画像変化量計算手順と、
前記画像変化量に対する閾値処理によって変化領域か否かを判定する第１の変化領域判定手順と、
現時点の入力画像とその１つ前の入力画像との間の画素毎の画素値変化量を求めるか、現時点の入力画像と背景画像との間の画素毎の画素値変化量を求めるか、その双方を使って画素毎の画素値変化量を求める画素値変化量計算手順と、
前記画素値変化量に対する閾値処理によって変化領域を構成することになる画素であるのか否かを判定する第２の変化領域判定手順と、
前記第１の変化領域判定手順の判定結果と前記第２の変化領域判定手順の判定結果とに基づいて、最終的な変化領域を確定する変化領域確定手順とを有することを、
特徴とする画像監視方法。
請求項１１又は１２記載の画像監視方法において、
前記画像変化量計算手順では、対数変換又は微分変換又は平滑化処理のいずれか１つ以上の前処理を施した相関法又は正規化相関法を用いた画像類似度計算により局所領域毎の画像変化量を求めることを、
特徴とする画像監視方法。
請求項１０ないし１３のいずれか１項に記載の画像監視方法において、
前記変化領域の情報は、変化領域の位置の情報の他に、画素値又は大きさ又は画像変化量又は変化領域の有無又は撮影時間のいずれか１つ以上を含む情報であることを、
特徴とする画像監視方法。
請求項１０ないし１４のいずれか１項に記載の画像監視方法において、
前記画像抽象化手順では、前記変化領域の平滑化処理又はモザイク処理又は色変換処理又は予め用意されている画像との置換処理のいずれか１つ以上を含む処理を実行することを、
特徴とする画像監視方法。
請求項１０ないし１５のいずれか１項に記載の画像監視方法において、
画像変化量に代えて移動ベクトル量を使い、変化領域に代えて移動領域を使って処理を行うように構成されることを、
特徴とする画像監視方法。
請求項１６記載の画像監視方法において、
対数変換又は微分変換又は平滑化処理のいずれか１つ以上の前処理を施した相関法又は正規化相関法を用いた画像類似度計算により局所領域の対応付けを行うことで局所領域毎の移動ベクトル量を求めるように構成されることを、
特徴とする画像監視方法。
請求項１０記載の画像監視方法において、
前記変化領域抽出手順は、
現時点の入力画像とその１つ前の入力画像との間の画素毎の画素値変化量を求めるか、現時点の入力画像と背景画像との間の画素毎の画素値変化量を求めるか、その双方を使って画素毎の画素値変化量を求める画素値変化量計算手順と、
前記画素値変化量に対する閾値処理によって変化領域を構成することになる画素であるのか否かを判定する変化領域判定手順とを有することを、
特徴とする画像監視方法。
請求項１０ないし１８のいずれか１項に記載の画像監視方法の実現に用いられる処理をコンピュータに実行させるための画像監視プログラム。
請求項１０ないし１８のいずれか１項に記載の画像監視方法の実現に用いられる処理をコンピュータに実行させるための画像監視プログラムを記録した記録媒体。