JP2008191884A - 画像処理方法、画像処理装置、画像処理プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】本発明は、固定された撮像装置によって撮影された画像中の被写体のプライバシーを保護するときに、照明状況が変化し、被写体が一時静止する場合にも精度良く被写体を検出できるようにすることで、その保護を確実に実現する技術の提供を目的とする。
【解決手段】背景画像の推定画像を記憶する第１の記憶手段を備えて、入力画像と推定背景画像との差異を評価することで被写体の画像部分を抽出する。被写体画像部分を抽出できない場合には、入力画像を基準背景画像として第２の記憶手段に登録し、抽出できた場合には、入力画像と第１の記憶手段に記憶される推定背景画像と第２の記憶手段に記憶される基準背景画像とに基づいて、第１の記憶手段に記憶される推定背景画像を更新することで、第１の記憶手段に記憶される背景画像が現時点のものになるようにする。そして、抽出した被写体画像部分に対してプライバシー保護のための画像変換を施す。
【選択図】図２

Description

本発明は、撮像装置によって撮影される被写体のプライバシーの保護を実現する画像処理方法及びその装置と、その画像処理方法の実現に用いられる画像処理プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

人物や車両などの移動物体は、映像中でプライバシーを保護すべき被写体として重要である。映像中においてこのような移動物体を検出できれば、ぼかしなどの画像変換処理を施すことにより、その被写体のプライバシーを保護することができる。これを実現するにあたり、映像中から移動物体を検出する技術が重要となる。

画像処理の分野では、移動物体を検出する従来技術が多くある。

例えば、あらかじめ移動物体が存在しないときの基準となる画像を取得し、この画像を背景画像として記憶しておき、背景画像と現時点の入力画像との差分を取ることにより移動物体を検出する方法がある（例えば、特許文献１参照）。

また、逐次取得された最近の数フレームの画像の加重平均算出や最頻値算出などの統計処理により、動的に作成した背景画像と現時点の入力画像との差分を取ることにより移動物体を検出する方法もよく利用されている。この方法では、照明の変化に応じて背景画像も更新されていくため、照明の変化に対して比較的安定して移動物体を検出することができる。

また、異なる時刻に撮影された画像と現時点の入力画像との差分を取ることにより移動物体を検出する方法（いわゆるフレーム間差分法）もよく利用されている。
特開平７−３０２３２８号公報

しかしながら、あらかじめ移動物体が存在しないときの基準となる画像を取得し、この画像を背景画像として記憶しておき、背景画像と現時点の入力画像との差分を取ることにより移動物体を検出するという方法では、撮影場所の照明状況が変化した際に安定して移動物体を検出することが難しくなるという問題がある。

また、逐次取得された最近の数フレームの画像の加重平均算出や最頻値算出などの統計処理により、動的に作成した背景画像と現時点の入力画像との差分を取ることにより移動物体を検出するという方法では、照明の変化に応じて背景画像も更新されていくため、照明の変化に対して比較的安定して移動物体を検出することができるものの、移動物体が一定時間以上停止した場合に、移動物体が背景画像の中に入り込むことで差分が検出されなくなり、その結果として移動物体が検出されなくなるという問題がある。

また、異なる時刻に撮影された画像と現時点の入力画像との差分を取ることにより移動物体を検出するという方法では、照明の変化に対して比較的安定であるものの、移動物体が一時静止した場合に検出ができなくなるという問題がある。

このように、従来の移動物体検出方法では、照明状況が変化する場合で、さらに、一時静止するような移動物体がある場合に、安定に検出することができず、被写体のプライバシーを保護する処理の精度が低くなるという問題があった。

本発明はかかる事情に鑑みてなされたものであって、照明状況が変化する場合で、かつ、一時静止するような被写体がある場合にも精度良く被写体を検出し、安定に被写体のプライバシーを保護することを実現する新たな画像処理技術の提供を目的とする。

この目的を達成するために、本発明の画像処理装置は、固定された撮像装置によって撮影される画像を入力として、その入力画像に含まれる被写体のプライバシーを保護するために、（１）被写体の背景となる画像についての現時点における推定画像である推定背景画像を記憶する第１の記憶手段と、（２）入力画像と第１の記憶手段に記憶される推定背景画像との差異を評価することで、被写体の画像部分を抽出する抽出手段と、（３）抽出手段が被写体画像部分を抽出できない場合に、入力画像を基準背景画像として第２の記憶手段に登録する登録手段と、（４）入力画像と第１の記憶手段に記憶される推定背景画像と第２の記憶手段に記憶される基準背景画像とに基づいて、第１の記憶手段に記憶される推定背景画像を更新する更新手段と、（５）抽出手段の抽出した被写体画像部分に対して、プライバシー保護のための画像変換を施す変換手段とを備えるように構成する。

以上の各処理手段が動作することで実現される本発明の画像処理方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の画像処理装置では、初期設定として、撮像装置により撮影された被写体の含まれていない背景画像を第１及び第２の記憶手段に登録する。ここで、撮像装置により撮影されることになる被写体については、移動していることもあるし、一時静止していることもある。

この後、撮像装置により撮影された被写体のプライバシー保護のための画像処理の実行に入って、撮像装置により撮影された画像を入力すると、第１の記憶手段から推定背景画像を読み出して、入力画像とその読み出した推定背景画像との差分などを算出することで、被写体の画像部分を抽出する。

ここで、この抽出処理では、入力画像と推定背景画像との差分などにより被写体の画像部分を抽出することから、被写体が一時静止している場合にも、被写体の画像部分を抽出できることになる。

この抽出処理で被写体の画像部分を抽出できない場合には、入力画像を基準背景画像として第２の記憶手段に登録する。さらに、このとき、第２の記憶手段に登録する基準背景画像に基づいて、第１の記憶手段に記憶される推定背景画像を更新することもある。

このようにして、第２の記憶手段には、被写体の含まれない入力画像が撮影されるときに、その入力画像が基準背景画像として登録されることになることで、時間経過とともに明るさが変化するような場合にも、それに合わせる形態で、基準背景画像が記憶されることになる。

一方、入力画像と推定背景画像との差分などに基づく抽出処理において、被写体の画像部分を抽出できる場合には、入力画像と第１の記憶手段に記憶される推定背景画像と第２の記憶手段に記憶される基準背景画像とに基づいて、第１の記憶手段に記憶される推定背景画像を更新する。

例えば、図１（ａ）に示すように、（ｉ）被写体画像部分以外の画像部分に対応付けられる推定背景画像の画像部分については、同一位置に係る入力画像の画素値に基づいて更新画像を算出して、その画像部分の更新を行い、（ii）被写体画像部分に対応付けられる推定背景画像の画像部分については、被写体画像部分以外の画像部分に対応付けられる基準背景画像の画素値と被写体画像部分以外の画像部分に対応付けられる推定背景画像の画素値とに基づいて対応関係式（図１（ａ）中に示す関数ｆ）を導出して、その導出した対応関係式と被写体画像部分に対応付けられる基準背景画像の画素値とに基づいて更新画像を算出して、その画像部分の更新を行う。

このとき、被写体画像部分の抽出位置の履歴情報に基づいて、これまでに被写体が位置しなかった画像部分を特定して、その特定した画像部分の画素値を使って対応関係式を導出することがある。

また、例えば、図１（ｂ）に示すように、（ｉ）被写体画像部分以外の画像部分に対応付けられる推定背景画像の画像部分については、同一位置に係る入力画像の画素値に基づいて更新画像を算出して、その画像部分の更新を行い、（ii）被写体画像部分に対応付けられる推定背景画像の画像部分については、被写体画像部分以外の画像部分に対応付けられる基準背景画像の画素値と被写体画像部分に対応付けられる基準背景画像の画素値とに基づいて対応関係式（図１（ｂ）中に示す関数ｆ）を導出して、その導出した対応関係式と被写体画像部分以外に対応付けられる推定背景画像の画素値とに基づいて更新画像を算出して、その画像部分の更新を行う。

また、例えば、図１（ｃ）に示すように、抽出した被写体が一時静止している場合には、（ｉ）被写体画像部分以外の画像部分に対応付けられる推定背景画像の画像部分については、同一位置に係る入力画像の画素値に基づいて更新画像を算出して、その画像部分の更新を行い、（ii）被写体画像部分に対応付けられる推定背景画像の画像部分については、被写体画像部分に対応付けられる入力画像の画素値と被写体画像部分に対応付けられる一時静止状態発生時の入力画像の画素値とに基づいて対応関係式（図１（ｃ）中に示す関数ｆ）を導出して、その導出した対応関係式と被写体画像部分に対応付けられる基準背景画像の画素値とに基づいて更新画像を算出して、その画像部分の更新を行う。

このとき、抽出した被写体の画像部分の画素値に代えて、抽出した被写体の周囲の画像部分の画素値を用いて対応関係式を導出することがある。

このようにして、第１の記憶手段には、現時点における推定背景画像（背景画像を推定したもの）が記憶されることになる。

これから、入力画像と推定背景画像との差分などに基づく抽出処理において、被写体の画像部分を正確に抽出できることになる。

このようにして、被写体の画像部分を抽出すると、続いて、その抽出した被写体画像部分に対して、ぼかし処理やモザイク処理などのようなプライバシー保護のための画像変換を施す。

以上説明したように、本発明によれば、照明が変化した場合にでも、さらに、移動したり一時静止する被写体が存在する場合にでも、現時点における背景画像を高精度に推定することができるようになり、これにより、被写体が移動したり、被写体が短い時間や長い時間の間一時静止する場合にも、被写体の画像部分を正確に抽出することができるようになる。

これから、本発明によれば、人間や車両などの被写体のプライバシーを確実に保護することができるようになる。

以下、実施の形態に従って本発明を詳細に説明する。

図２に、本発明を具備する画像処理装置１の一実施形態例を図示する。

本発明の画像処理装置１は、固定された撮像装置２を使って監視などの処理を行うときに、撮像装置２により撮影された映像中の被写体を自動的に検出し、その検出した被写体に対してぼかしの画像処理を施すことによりプライバシーを保護する処理を行うものであって、この処理を実現するために、画像入力部１０と、推定背景画像保存部１１と、背景画像差分部１２と、マスク画像保存部１３と、基準背景画像保存部１４と、背景画像生成部１５と、ぼかし処理部１６と、画像出力部１７とを備える。

ここで、本発明の画像処理装置１を実施するにあたり、ハードウェアとしては、カメラなどの撮像装置２、本発明に示す画像処理を行う計算機、画像処理結果を表示するモニタなどの画像表示装置を用いて実現することができる。なお、本発明は、なんらかの入力画像に対してプライバシーを保護した画像を生成し出力するまでのものであり、撮像装置２や入力画像の種類や画像表示装置については特に限定しない。また、画像処理を行うハードウェアについては、汎用の計算機、処理ロジックを実装したボード、チップなど様々なものが考えられるがここでは、それについて特に限定しない。

次に、本発明の画像処理装置１の備える各処理部について説明する。

画像入力部１０は、撮像装置２により撮影された画像（静止画系列や映像ストリームなど）を入力する。

推定背景画像保存部１１は、明るさが時々刻々と変化する背景画像の推定画像（推定背景画像）を保存する。

背景画像差分部１２は、画像入力部１０の入力した入力画像と推定背景画像保存部１１に保存される推定背景画像との差分を算出することで、被写体（移動していることもあるし、一時静止していることもある）の画像部分を抽出するとともに、その抽出した被写体の画像部分を１（０でもよい）とし、被写体以外の画像部分を０（１でもよい）とする画素値を持つマスク画像を生成してマスク画像保存部１３に登録する。さらに、被写体の画像部分を抽出できない場合には、画像入力部１０の入力した入力画像を基準背景画像として基準背景画像保存部１４に登録するとともに、画像入力部１０の入力した入力画像に基づいて、推定背景画像保存部１１に保存される推定背景画像を更新する。

背景画像生成部１５は、背景画像差分部１２が被写体の画像部分を抽出した場合に、マスク画像保存部１３に保存されるマスク画像を参照しつつ、画像入力部１０の入力した入力画像と、推定背景画像保存部１１に保存される推定背景画像と、基準背景画像保存部１４に保存される基準背景画像とに基づいて、現時点における推定背景画像を生成して、推定背景画像保存部１１に保存される推定背景画像をその生成したものに更新する。

ぼかし処理部１６は、背景画像差分部１２の抽出した被写体の画像部分に対して、ぼかしの画像処理を施す。

画像出力部１７は、マスク画像保存部１３に保存されるマスク画像を参照しつつ、画像入力部１０の入力した入力画像と、ぼかし処理部１６がぼかした画像部分とを合成して出力する。

図３及び図４に、このように構成される本発明の画像処理装置１の実行するフローチャートを図示する。

次に、このフローチャートに従って、このように構成される本発明の画像処理装置１の実行する処理について説明する。

本発明の画像処理装置１は、画像処理を開始すると、図３及び図４のフローチャートに示すように、先ず最初に、ステップＳ１００で、処理開始直後の被写体の存在しない状態で撮像装置２が撮影した画像を初期背景画像として、基準背景画像保存部１４及び推定背景画像保存部１１に登録する。

続いて、ステップＳ１０１で、撮像装置２の撮影した画像を入力する。続いて、ステップＳ１０２で、入力した画像の各画素について、その画素の画素値と、推定背景画像保存部１１に保存される推定背景画像の持つ該当する位置の画素の画素値との差分値を算出する。

続いて、ステップＳ１０３で、ステップＳ１０２で算出した差分値の絶対値があらかじ設定した閾値以上である画素が存在するのか否かを判断することで、入力画像中に被写体が存在するのか否かを判断する。

ここで、このとき用いる閾値については、実験に従って、明るさの変化に影響を受けない被写体のみが安定して検出される値を求めることで定めてもよい。以下の閾値設定についても同様である。

この判断処理に従って、入力画像中に被写体が存在することを判断するとき、すなわち、ステップＳ１０２で算出した差分値の絶対値の中にあらかじ設定した閾値以上である画素（これらの画素の集合が被写体の画像部分となる）が存在することを判断するときには、ステップＳ１０４に進んで、被写体の画像部分を１とし、被写体以外の画像部分を０とする画素値を持つマスク画像を生成して、それをマスク画像保存部１３に登録する。

ここで、被写体の一部が背景の画素値と近い値を持つ場合には、差分が小さくなり、部分的に被写体の検出結果が欠損してしまうケースが発生する。このような部分的な欠損を抑制する処理として、画像間の差分値を検出した後、その差分値の画像においてモルフォロジフィルタを施すことにより（例えば、膨張処理と収縮処理とをセットで行う closing処理など。ＣＧ−ＡＲＴＳ協会の「ディジタル画像処理」に詳細な記述がある）、部分的な欠損を抑制することができる。

また、入力画像の画素値と推定背景画像の画素値との差分をとることにより被写体部分を検出する処理は、画素値の差分の代わりに、画素値の比を算出し、実験により明るさの変化が入らないよう移動物体のみが安定して検出される範囲を求めておき、比がその範囲内に入っていることで被写体として算出するという方法を用いてもよい。

続いて、ステップＳ１０５で、ステップＳ１０２の差分処理により抽出した被写体の画像部分に対して、ぼかし処理を施す。

ここで、ぼかし処理としては、ガウシアンフィルタ、平均値フィルタなどの線形フィルタを用いてもよいし、画像を一定のサイズの矩形に分割し、分割されたブロック内の画素値をある画素値に置き換える処理でもよい。被写体を視認しにくくなるような処理であれば、ここでは、その方法は特に限定しない。

続いて、ステップＳ１０６で、マスク画像保存部１３に保存されるマスク画像を参照して、入力画像とぼかし処理を施した画像部分とを合成して出力することで、ぼかし処理を施した入力画像を出力する。

続いて、ステップＳ１０７で、マスク画像保存部１３に保存されるマスク画像を参照して、入力画像の持つ被写体以外の画像部分の画素値と、同じ位置にある推定背景画像の画像部分の画素値との加重平均をとり、その算出結果を、その画像部分についての新たな推定背景画像の画素値として推定背景画像保存部１１に保存することで、被写体以外の画像部分に対応付けられる推定背景画像の画像部分を更新する。

ここで、加重平均をとる際に、推定背景画像の加重値を０、入力画像の加重値を１とする、つまり、推定背景画像の被写体以外の画像部分の画素値を現時点の入力画像の画素値と置き換えるようにしてもよい。

続いて、ステップＳ１０８で、被写体以外の画像部分に対応付けられる基準背景画像の画像部分の画素値に対する統計量と、被写体以外の画像部分に対応付けられる推定背景画像の画像部分の画素値に対する統計量とを算出する。

ここで、画素値に対する統計量としては、画素値の平均、分散、再頻値、最大値、最小値など値として表現される統計量や、画素値のヒストグラムなどの分布として表現されるものがあるが、ここでは特に限定せず、画像の画素値の変化を反映することのできる統計量であれば、どのようなものでもよい。

続いて、ステップＳ１０９で、ステップＳ１０８で算出した２つの統計量の差異を評価して、その差異が大きい場合には、これから説明するステップＳ１１０，ステップＳ１１１の処理を行い、その差異が大きくない場合には、この処理を省略する。

続いて、ステップＳ１１０で、ステップＳ１０８で算出した２つの統計量同士を比較して、被写体以外の画像部分に対応付けられる基準背景画像の画像部分の画素値に画素値変換を施すことにより、それぞれの統計量の差異が最小となるような変換係数を算出することで、被写体以外の画像部分に対応付けられる基準背景画像の画像部分の画素値から、被写体以外の画像部分に対応付けられる推定背景画像の画像部分の画素値への変換式を導出する。

例えば、平均値を利用した場合では、ｙ＝ａｘ（ｘが変換前画素値、ｙが変換後画素値）のａのような画素値のスケーリングパラメータ（変換係数）を求めることができる。

このときには、
ａ＝（推定背景画像の画素値の平均値／基準背景画像の画素値の平均値）
として変換係数ａを算出すれば、基準背景画像の画素値に対して上記変換係数ａを掛けた変換画像の平均値は、推定背景画像の画素値の平均値と一致することになる。

また、平均値と分散が一致するような変換係数として、ｙ＝ａｘ＋ｂ（ｘが変換前画素値、ｙが変換後画素値）のａ（スケーリング），ｂ（オフセット）の値を求めることも可能である。ヒストグラムのような分布をマッチングする方法（ヒストグラムマッチング法）は、既に様々な方法が提案されており、これらを用いることで、このａ，ｂを求めることが実現可能である。

ヒストグラムマッチング法では、図５に示すように、２つのヒストグラムの中心と幅を合わせるように、変換係数ａ，ｂを推定することで、
ｌp ＝ａ×ｌr ＋ｂ
ｌp ：推定背景画像の画素値
ｌｒ：基準背景画像の画素値
というような変換式を導出することになる。

続いて、ステップＳ１１１で、ステップＳ１１０で導出した変換式に対して、被写体の画像部分に対応付けられる基準背景画像の画像部分の画素値を代入することで、被写体の画像部分に対応付けられる推定背景画像の画像部分の画素値を算出して、その算出結果を、その画像部分についての新たな推定背景画像の画素値として推定背景画像保存部１１に保存することで、被写体の画像部分に対応付けられる推定背景画像の画像部分を更新する。

このようにして、ステップＳ１０７，ステップＳ１１１の処理に従って、照明状況が変化する場合でも、さらに、移動したり一時静止する被写体が存在する場合にも、その時点における背景画像の推定画像となる推定背景画像が求められることになる。

続いて、ステップＳ１１２で、キー操作など所定のプログラムインタフェースから終了指示が出された場合や、実行時に指定された終了条件（指定時刻や指定処理枚数等）を満たした場合には、処理を終了し、そうでない場合には、ステップＳ１０１の処理に戻って、新たな入力画像を入力して処理を続行していく。

一方、ステップＳ１０３の判断処理に従って、入力画像中に被写体が存在しないことを判断するときには、ステップＳ１１３に進んで、入力画像を基準背景画像保存部１４に登録することで、基準背景画像保存部１４に保存される基準背景画像を更新する。

続いて、ステップＳ１１４で、入力画像の画素値と、同じ位置にある推定背景画像の画素値との加重平均をとり、その算出結果を、新たな推定背景画像の画素値として推定背景画像保存部１１に保存することで、推定背景画像を更新する。

ここで、加重平均をとる際に、推定背景画像の加重値を０、入力画像の加重値を１とする、つまり、推定背景画像の画素値を現時点の入力画像の画素値と置き換えるようにしてもよい。

そして、このステップＳ１１３，ステップＳ１１４の処理を終えると、ステップＳ１１２に進んで、キー操作など所定のプログラムインタフェースから終了指示が出された場合や、実行時に指定された終了条件（指定時刻や指定処理枚数等）を満たした場合には、処理を終了し、そうでない場合には、ステップＳ１０１の処理に戻って、新たな入力画像を入力して処理を続行していく。

このようにして、本発明の画像処理装置１によれば、図６に示すように、照明が変化した場合にでも、さらに、移動したり一時静止する被写体が存在する場合にでも、現時点における背景画像を高精度に推定することができるようになり、これにより、被写体が移動したり、被写体が短い時間や長い時間の間一時静止する場合にも、被写体の画像部分を正確に抽出することができるようになる。

これから、本発明の画像処理装置１によれば、人間や車両などの被写体のプライバシーを確実に保護することができるようになる。

図７及び図８に、図２のように構成される本発明の画像処理装置１の実行する他のフローチャートを図示する。

図７及び図８に示すフローチャートと、図３及び図４に示すフローチャートとの違いは、図３及び図４に示すフローチャートでは、ステップＳ１１０，ステップＳ１１１の処理に従って、図１（ａ）に示すような形で、被写体の画像部分に対応付けられる推定背景画像の画像部分を更新するのに対して、図７及び図８に示すフローチャートでは、図１（ｂ）に示すような形で、被写体の画像部分に対応付けられる推定背景画像の画像部分を更新するようにしている点である。

この処理を行うために、図７及び図８に示すフローチャートでは、図３及び図４に示すフローチャートのステップＳ１１０の処理に代えてステップＳ１１０αの処理を実行し、図３及び図４に示すフローチャートのステップＳ１１１の処理に代えてステップＳ１１１αの処理を実行する。

すなわち、図７及び図８に示すフローチャートを実行する場合には、ステップＳ１０９の判断処理を介してステップＳ１１０αの処理に入ると、被写体以外の画像部分に対応付けられる基準背景画像の画像部分の画素値から、被写体の画像部分に対応付けられる基準背景画像の画像部分の画素値への変換式を導出する。

続いて、ステップＳ１１１αで、ステップＳ１１０αで導出した変換式に対して、被写体以外の画像部分に対応付けられる推定背景画像の画像部分の画素値を代入することで、被写体の画像部分に対応付けられる推定背景画像の画像部分の画素値を算出して、その算出結果を、その画像部分についての新たな推定背景画像の画素値として推定背景画像保存部１１に保存することで、被写体の画像部分に対応付けられる推定背景画像の画像部分を更新する。

例えば、基準背景画像内の画素間の距離ｒ_i,k と、画素値の比（もしくは差）ｄ_i,k （＝｜ｌｏｇ（Ｉ_k ／Ｉ_i ）｜）との重みづけした指標Ｄ_i,k （＝ω₁ ×ｒ_i,k ＋ω₂ ×ｄ_i,k ）を用いて、図９に示すように、被写体の画像部分に位置する基準背景画像の画素Ｉ_k と、被写体以外の画像部分に位置する基準背景画像の画素Ｉ_i とについて最も相関の高い組み合わせ（最も指標Ｄ_i,k が小さくなる組み合わせ）を求めることで、画素Ｉ_i の画素値から画素Ｉ_k の画素値への変換式（例えば、Ｉ_k ＝ａ×Ｉ_i ）を導出する。このとき、基準背景画像内をブロック化し、ブロック内の平均といった統計量により、最も相関のブロック同士を求めて推定してもよい。

そして、この求めた画素Ｉ_i と画素Ｉ_k との組み合わせについて、この求めた変換式を使って、推定背景画像の画素値について変換を行うことで、被写体の画像部分に対応付けられる推定背景画像の画像部分を更新するのである。

このようにして、本発明の画像処理装置１では、図７及び図８に示すフローチャートを実行する場合には、図１（ｂ）に示すような形で、被写体の画像部分に対応付けられる推定背景画像の画像部分を更新するように処理するのである。

図１０に、本発明の画像処理装置１の他の実施形態例を図示する。ここで、図２に示すものと同一のものについては同一の記号で示してある。

図１０に示す本発明の画像処理装置１では、図２に示す本発明の画像処理装置１の備えるマスク画像保存部１３が、背景画像差分部１２の生成した最新のマスク画像をそのままの形で保存する最新マスク画像保存部１３０（図２に示すマスク画像保存部１３に相当するもの）と、これまでに背景画像差分部１２の生成したマスク画像を重畳する形で保存する重畳マスク画像保存部１３１とを備える。

さらに、図１０に示す本発明の画像処理装置１では、新たに、重畳マスク画像保存部１３１の保存する重畳マスク画像に基づいて、入力画像に含まれる被写体の通過しなかった画像部分を検出する非通過部分検出部２００を備える。

すなわち、マスク画像は、前述したように、被写体の画像部分を１とし、被写体以外の画像部分を０とする画素値を持つものであることから、これを重畳することで生成される重畳マスク画像は、これまでに被写体が存在した画像部分を１とし、これまでに被写体が存在しなかった画像部分を０とする画素値を持つことになる。

これから、非通過部分検出部２００は、重畳マスク画像保存部１３１に保存される重畳マスク画像の持つ画素値０の画像部分を特定することで、入力画像に含まれる被写体の通過しなかった画像部分を検出することになる。この検出結果の情報については、背景画像生成部１５に提供されることになる。

図１１及び図１２に、図１０のように構成される本発明の画像処理装置１の実行するフローチャートを図示する。

図１１及び図１２に示すフローチャートと、図３及び図４に示すフローチャートとの違いは、図１１及び図１２に示すフローチャートが、ステップＳ１０４とステップＳ１０５との間に新たにステップＳ２００の処理を実行するという点と、これに合わせて、図３及び図４に示すフローチャートのステップＳ１０８の処理に代えてステップＳ１０８βの処理を実行し、図３及び図４に示すフローチャートのステップＳ１１０の処理に代えてステップＳ１１０βの処理を実行するという点である。

すなわち、図１０のように構成される本発明の画像処理装置１では、ステップＳ１０４で、被写体の画像部分を１とし、被写体以外の画像部分を０とする画素値を持つマスク画像を生成して、それを最新マスク画像保存部１３０に登録すると、続くステップＳ２００で、その生成したマスク画像を重畳マスク画像保存部１３１の保存する重畳マスク画像に対して重畳する形で書き込む。

これに続けて、前述したステップＳ１０５〜ステップＳ１０７の処理を実行すると、ステップＳ１０８βの処理に入って、重畳マスク画像保存部１３１の保存する重畳マスク画像に従って被写体の非通過の画像部分を検出して、その非通過の画像部分に対応付けられる基準背景画像の画像部分の画素値に対する統計量と、その非通過の画像部分に対応付けられる推定背景画像の画像部分の画素値に対する統計量とを算出する。

続いて、ステップＳ１０９で、ステップＳ１０８βで算出した２つの統計量の差異を評価して、その差異が大きい場合には、これから説明するステップＳ１１０β，ステップＳ１１１の処理を行い、その差異が大きくない場合には、この処理を省略する。

続いて、ステップＳ１１０βで、ステップＳ１０８βで算出した２つの統計量同士を比較して、非通過の画像部分に対応付けられる基準背景画像の画像部分の画素値に画素値変換を施すことにより、それぞれの統計量の差異が最小となるような変換係数を算出することで、非通過の画像部分に対応付けられる基準背景画像の画像部分の画素値から、非通過の画像部分に対応付けられる推定背景画像の画像部分の画素値への変換式を導出する。

続いて、ステップＳ１１１で、ステップＳ１１０βで導出した変換式に対して、被写体の画像部分に対応付けられる基準背景画像の画像部分の画素値を代入することで、被写体の画像部分に対応付けられる推定背景画像の画像部分の画素値を算出して、その算出結果を、その画像部分についての新たな推定背景画像の画素値として推定背景画像保存部１１に保存することで、被写体の画像部分に対応付けられる推定背景画像の画像部分を更新する。

このようにして、図１０のように構成される本発明の画像処理装置１では、図１３に示すように、これまで被写体が通過しなかった画像部分を求めて、その非通過の画像部分を使って基準背景画像の画素値から推定背景画像の画素値への変換式を導出することで、被写体の画像部分に対応付けられる推定背景画像の画像部分を更新するように処理するのである。

推定背景画像に含まれる非通過の画像部分は推定により求めたものではないので、この構成を採ることで、被写体の画像部分に対応付けられる推定背景画像の画像部分をより正確に更新することができるようになる。

図１４に、本発明の画像処理装置１の他の実施形態例を図示する。ここで、図２に示すものと同じものについては同一の記号で示してある。

図１４に示す本発明の画像処理装置１では、図１（ｃ）に示すような形で、被写体の画像部分に対応付けられる推定背景画像の画像部分を更新することを実現する。

この形態による更新処理を実現するために、図１４に示す本発明の画像処理装置１では、図２に示す本発明の画像処理装置１の備える背景画像差分部１２が、新たに、これまでに生成した規定の枚数のマスク画像を蓄積するマスク画像蓄積部３００と、今回の入力画像に基づいて生成したマスク画像とマスク画像蓄積部３００に蓄積されるマスク画像とに基づいて、被写体が一時静止状態に入ったのか否かを検出する一時静止状態発生検出部３０１とを備える。

さらに、図１４に示す本発明の画像処理装置１では、新たに、一時静止状態発生検出部３０１が被写体の一時静止状態の発生を検出するときに、一時静止状態発生検出部３０１からの指示に従ってそのときの入力画像を保存することで、被写体の一時静止発生時の画像を保存する一時静止発生時画像保存部３０２を備える。この一時静止発生時画像保存部３０２の保存する一時静止発生時画像については、背景画像生成部１５に提供されることになる。

図１５及び図１６に、図１４のように構成される本発明の画像処理装置１の実行するフローチャートを図示する。

次に、このフローチャートに従って、図１４のように構成される本発明の画像処理装置１の実行する処理について説明する。

図１４のように構成される本発明の画像処理装置１は、画像処理を開始すると、図１５及び図１６のフローチャートに示すように、先ず最初に、ステップＳ３００で、処理開始直後の被写体の存在しない状態で撮像装置２が撮影した画像を初期背景画像として、基準背景画像保存部１４及び推定背景画像保存部１１に登録する。ここで、このステップＳ３００で実行する処理は、前述したステップＳ１００で実行する処理と同じである。

続いて、ステップＳ３０１で、撮像装置２の撮影した画像を入力する。ここで、このステップＳ３０１で実行する処理は、前述したステップＳ１０１で実行する処理と同じである。

続いて、ステップＳ３０２で、入力した画像の各画素について、その画素の画素値と、推定背景画像保存部１１に保存される推定背景画像の持つ該当する位置の画素の画素値との差分値を算出する。ここで、このステップＳ３０２で実行する処理は、前述したステップＳ１０２で実行する処理と同じである。

続いて、ステップＳ３０３で、ステップＳ３０２で算出した差分値の絶対値があらかじ設定した閾値以上である画素が存在するのか否かを判断することで、入力画像中に被写体が存在するのか否かを判断する。ここで、このステップＳ３０３で実行する処理は、前述したステップＳ１０３で実行する処理と同じである。

この判断処理に従って、入力画像中に被写体が存在しないことを判断するときには、ステップＳ３０４に進んで、入力画像を基準背景画像保存部１４に登録することで、基準背景画像保存部１４に保存される基準背景画像を更新する。ここで、このステップＳ３０４で実行する処理は、前述したステップＳ１１３で実行する処理と同じである。

続いて、ステップＳ３０５で、入力画像の画素値と、同じ位置にある推定背景画像の画素値との加重平均をとり、その算出結果を、新たな推定背景画像の画素値として推定背景画像保存部１１に保存することで、推定背景画像を更新する。ここで、このステップＳ３０５で実行する処理は、前述したステップＳ１１４で実行する処理と同じである。

続いて、ステップＳ３０６で、終了要求が発行されたのか否かを判断して、終了要求が発行された場合には、処理を終了し、そうでない場合には、ステップＳ３０１の処理に戻って、新たな入力画像を入力して処理を続行していく。ここで、このステップＳ３０６で実行する処理は、前述したステップＳ１１２で実行する処理と同じである。

一方、ステップＳ３０３の判断処理に従って、入力画像中に被写体が存在することを判断するときには、ステップＳ３０７に進んで、被写体の画像部分を１とし、被写体以外の画像部分を０とする画素値を持つマスク画像を生成して、それをマスク画像保存部１３に登録するとともに、マスク画像蓄積部３００に蓄積する。

続いて、ステップＳ３０８で、マスク画像蓄積部３００に蓄積されるマスク画像（今回の入力画像に基づいて生成したマスク画像も含まれる）の位置が変化しているのか否かを判断することで、被写体が一時静止状態に入ったのか否かを判断する。

この判断処理に従って、被写体が一時静止状態に入ったことを判断するときには、ステップＳ３０９に進んで、入力画像を被写体の一時静止発生時の画像として一時静止発生時画像保存部３０２に保存し、一方、被写体が一時静止状態に入っていないことを判断するときには、このステップＳ３０９の処理を行わない。

続いて、ステップＳ３１０で、ステップＳ３０２の差分処理により抽出した被写体の画像部分に対して、ぼかし処理を施す。ここで、このステップＳ３１０で実行する処理は、前述したステップＳ１０５で実行する処理と同じである。

続いて、ステップＳ３１１で、マスク画像保存部１３に保存されるマスク画像を参照して、入力画像とぼかし処理を施した画像部分とを合成して出力することで、ぼかし処理を施した入力画像を出力する。ここで、このステップＳ３１１で実行する処理は、前述したステップＳ１０６で実行する処理と同じである。

続いて、ステップＳ３１２で、マスク画像保存部１３に保存されるマスク画像を参照して、入力画像の持つ被写体以外の画像部分の画素値と、同じ位置にある推定背景画像の画像部分の画素値との加重平均をとり、その算出結果を、その画像部分についての新たな推定背景画像の画素値として推定背景画像保存部１１に保存することで、被写体以外の画像部分に対応付けられる推定背景画像の画像部分を更新する。ここで、このステップＳ３１２で実行する処理は、前述したステップＳ１０７で実行する処理と同じである。

続いて、ステップＳ３１３で、ステップＳ３０８の処理に従って被写体が一時静止状態に入ったという判断結果が得られたのかを確認して、被写体が一時静止状態に入ったという判断結果が得られなかったことを確認するときには、ステップＳ３１４に進んで、被写体以外の画像部分に対応付けられる基準背景画像の画像部分の画素値に対する統計量と、被写体以外の画像部分に対応付けられる推定背景画像の画像部分の画素値に対する統計量とを算出する。ここで、このステップＳ３１４で実行する処理は、前述したステップＳ１０８で実行する処理と同じである。

続いて、ステップＳ３１５で、ステップＳ３１４で算出した２つの統計量の差異を評価して、その差異が大きい場合には、これから説明するステップＳ３１６，ステップＳ３１７の処理を行い、その差異が大きくない場合には、この処理を省略する。ここで、このステップＳ３１５で実行する処理は、前述したステップＳ１０９で実行する処理と同じである。

続いて、ステップＳ３１６で、ステップＳ３１４で算出した２つの統計量同士を比較して、被写体以外の画像部分に対応付けられる基準背景画像の画像部分の画素値に画素値変換を施すことにより、それぞれの統計量の差異が最小となるような変換係数を算出することで、被写体以外の画像部分に対応付けられる基準背景画像の画像部分の画素値から、被写体以外の画像部分に対応付けられる推定背景画像の画像部分の画素値への変換式を導出する。ここで、このステップＳ３１６で実行する処理は、前述したステップＳ１１０で実行する処理と同じである。

続いて、ステップＳ３１７で、ステップＳ３１６で導出した変換式に対して、被写体の画像部分に対応付けられる基準背景画像の画像部分の画素値を代入することで、被写体の画像部分に対応付けられる推定背景画像の画像部分の画素値を算出して、その算出結果を、その画像部分についての新たな推定背景画像の画素値として推定背景画像保存部１１に保存することで、被写体の画像部分に対応付けられる推定背景画像の画像部分を更新する。ここで、このステップＳ３１７で実行する処理は、前述したステップＳ１１１で実行する処理と同じである。

続いて、ステップＳ３１８で、終了要求が発行されたのか否かを判断して、終了要求が発行された場合には、処理を終了し、そうでない場合には、ステップＳ３０１の処理に戻って、新たな入力画像を入力して処理を続行していく。ここで、このステップＳ３１８で実行する処理は、前述したステップＳ１１２で実行する処理と同じである。

一方、ステップＳ３１３で、被写体が一時静止状態に入ったという判断結果が得られたことを確認する場合には、ステップＳ３１９に進んで、一時静止発生時画像の持つ被写体の画像部分の画素値に対する統計量と、入力画像の持つ被写体の画像部分の画素値に対する統計量とを算出する。

続いて、ステップＳ３２０で、ステップＳ３１９で算出した２つの統計量の差異を評価して、その差異が大きい場合には、これから説明するステップＳ３２１，ステップＳ３２２の処理を行い、その差異が大きくない場合には、この処理を省略する。

続いて、ステップＳ３２１で、ステップＳ３１９で算出した２つの統計量同士を比較して、一時静止発生時画像の持つ被写体の画像部分の画素値に画素値変換を施すことにより、それぞれの統計量の差異が最小となるような変換係数を算出することで、一時静止発生時画像の持つ被写体の画像部分の画素値から、入力画像の持つ被写体の画像部分の画素値への変換式を導出する。

続いて、ステップＳ３２２で、ステップＳ３２１で導出した変換式に対して、被写体の画像部分に対応付けられる基準背景画像の画像部分の画素値を代入することで、被写体の画像部分に対応付けられる推定背景画像の画像部分の画素値を算出して、その算出結果を、その画像部分についての新たな推定背景画像の画素値として推定背景画像保存部１１に保存することで、被写体の画像部分に対応付けられる推定背景画像の画像部分を更新する。

続いて、ステップＳ３２３で、終了要求が発行されたのか否かを判断して、終了要求が発行された場合には、処理を終了し、そうでない場合には、ステップＳ３０１の処理に戻って、新たな入力画像を入力して処理を続行していく。ここで、このステップＳ３２３で実行する処理は、前述したステップＳ１１２で実行する処理と同じである。

このようにして、図１４のように構成される本発明の画像処理装置１では、被写体が一時静止する場合には、ステップＳ３２１，ステップＳ３２２の処理に従って、図１７（ａ）に示すように、被写体の画像部分を参照画像とする図１（ｃ）に示すような形で変換式を導出することで、被写体の画像部分に対応付けられる推定背景画像の画像部分を更新し、被写体が一時静止していない場合には、ステップＳ３１６，ステップＳ３１７の処理に従って、図１７（ｂ）に示すように、被写体以外の画像部分を参照画像とする図１（ａ）に示すような形で変換式を導出することで、被写体の画像部分に対応付けられる推定背景画像の画像部分を更新するように処理するのである。

図１８及び図１９に、図１４のように構成される本発明の画像処理装置１の実行する他のフローチャートを図示する。

図１８及び図１９に示すフローチャートと、図１５及び図１６に示すフローチャートとの違いは、図１５及び図１６に示すフローチャートでは、一時静止発生時画像の持つ被写体の画像部分の画素値と、入力画像の持つ被写体の画像部分の画素値とに基づいて、被写体の画像部分に対応付けられる推定背景画像の画像部分の更新に用いる変換式を導出するのに対して、図１８及び図１９に示すフローチャートでは、一時静止発生時画像の持つ被写体周辺の画像部分の画素値と、入力画像の持つ被写体周辺の画像部分の画素値とに基づいて、被写体の画像部分に対応付けられる推定背景画像の画像部分の更新に用いる変換式を導出するようにしている点である。

この処理を行うために、図１８及び図１９に示すフローチャートでは、図１５及び図１６に示すフローチャートのステップＳ３１９の処理に代えてステップＳ３１９γの処理を実行し、図１５及び図１６に示すフローチャートのステップＳ３２１の処理に代えてステップＳ３２１γの処理を実行する。

すなわち、図１８及び図１９に示すフローチャートを実行する場合には、ステップＳ３１３の判断処理を介してステップＳ３１９γの処理に入ると、一時静止発生時画像の持つ被写体周辺の画像部分の画素値に対する統計量と、入力画像の持つ被写体周辺の画像部分の画素値に対する統計量とを算出する。

続いて、ステップＳ３２０で、ステップＳ３１９γで算出した２つの統計量の差異を評価して、その差異が大きい場合には、これから説明するステップＳ３２１γ，ステップＳ３２２の処理を行い、その差異が大きくない場合には、この処理を省略する。

続いて、ステップＳ３２１γで、ステップＳ３１９γで算出した２つの統計量同士を比較して、一時静止発生時画像の持つ被写体周辺の画像部分の画素値に画素値変換を施すことにより、それぞれの統計量の差異が最小となるような変換係数を算出することで、一時静止発生時画像の持つ被写体周辺の画像部分の画素値から、入力画像の持つ被写体周辺の画像部分の画素値への変換式を導出する。

これから後の処理については、図１５及び図１６に示すフローチャートの処理と変わるところはない。

このようにして、図１４のように構成される本発明の画像処理装置１では、図１５及び図１６に示すフローチャートを実行する場合には、図２０（ａ）に示すように、一時静止発生時画像の持つ被写体の画像部分の画素値と、入力画像の持つ被写体の画像部分の画素値とに基づいて、被写体の画像部分に対応付けられる推定背景画像の画像部分の更新に用いる変換式を導出するのに対して、図１８及び図１９に示すフローチャートを実行する場合には、図２０（ｂ）に示すように、一時静止発生時画像の持つ被写体周辺の画像部分の画素値と、入力画像の持つ被写体周辺の画像部分の画素値とに基づいて、被写体の画像部分に対応付けられる推定背景画像の画像部分の更新に用いる変換式を導出するように処理するのである。

被写体の全体で見るよりも、被写体の周辺の方が被写体の明るさをより反映していることがあるので、この構成を採ることで、そのような場合に、被写体の画像部分に対応付けられる推定背景画像の画像部分をより正確に更新することができるようになる。

本発明は、固定された撮像装置によって撮影される画像を入力として、その入力画像に含まれる被写体のプライバシーを保護することを実現する場合に適用できるものであり、人間や車両などの被写体のプライバシーを確実に保護することができるようになる。

本発明の実行する処理の説明図である。 本発明の画像処理装置の一実施形態例である。 本発明の画像処理装置の実行するフローチャートである。 本発明の画像処理装置の実行するフローチャートである。 ヒストグラムマッチング法の説明図である。 本発明の画像処理装置の実行する処理の説明図である。 本発明の画像処理装置の実行するフローチャートである。 本発明の画像処理装置の実行するフローチャートである。 本発明の画像処理装置の実行する処理の説明図である。 本発明の画像処理装置の他の実施形態例である。 本発明の画像処理装置の実行するフローチャートである。 本発明の画像処理装置の実行するフローチャートである。 本発明の画像処理装置の実行する処理の説明図である。 本発明の画像処理装置の他の実施形態例である。 本発明の画像処理装置の実行するフローチャートである。 本発明の画像処理装置の実行するフローチャートである。 本発明の画像処理装置の実行する処理の説明図である。 本発明の画像処理装置の実行するフローチャートである。 本発明の画像処理装置の実行するフローチャートである。 本発明の画像処理装置の実行する処理の説明図である。

符号の説明

１ 画像処理装置
２ 撮像装置
１０ 画像入力部
１１ 推定背景画像保存部
１２ 背景画像差分部
１３ マスク画像保存部
１４ 基準背景画像保存部
１５ 背景画像生成部
１６ ぼかし処理部
１７ 画像出力部

Claims (10)

1. 固定された撮像装置によって撮影される画像を入力として、その入力画像に含まれる被写体の画像を処理する画像処理方法であって、
   被写体の背景となる画像についての現時点における推定画像である推定背景画像を記憶する第１の記憶手段から、その推定背景画像を読み出す過程と、
   入力画像と前記読み出した推定背景画像との差異を評価することで、被写体の画像部分を抽出する過程と、
   前記被写体画像部分を抽出できない場合に、入力画像を基準背景画像として第２の記憶手段に登録する過程と、
   入力画像と前記第１の記憶手段に記憶される推定背景画像と前記第２の記憶手段に記憶される基準背景画像とに基づいて、前記第１の記憶手段に記憶される推定背景画像を更新する過程と、
   前記抽出した被写体画像部分に対して、プライバシー保護のための画像変換を施す過程とを備えることを、
   特徴とする画像処理方法。
2. 請求項１に記載の画像処理方法において、
   前記更新する過程では、（ｉ）前記被写体画像部分以外の画像部分に対応付けられる前記推定背景画像の画像部分については、同一位置に係る入力画像の画素値に基づいて更新画像を算出し、（ii）前記被写体画像部分に対応付けられる前記推定背景画像の画像部分については、前記被写体画像部分以外の画像部分に対応付けられる前記基準背景画像の画素値と前記被写体画像部分以外の画像部分に対応付けられる前記推定背景画像の画素値とに基づいて対応関係式を導出して、その導出した対応関係式と前記被写体画像部分に対応付けられる前記基準背景画像の画素値とに基づいて更新画像を算出することを、
   特徴とする画像処理方法。
3. 請求項２に記載の画像処理方法において、
   前記被写体画像部分の抽出位置の履歴情報に基づいて、これまでに被写体が位置しなかった画像部分を特定する過程を備え、
   前記更新する過程では、前記特定した画像部分の画素値を使って前記対応関係式を導出することを、
   特徴とする画像処理方法。
4. 請求項１に記載の画像処理方法において、
   前記更新する過程では、（ｉ）前記被写体画像部分以外の画像部分に対応付けられる前記推定背景画像の画像部分については、同一位置に係る入力画像の画素値に基づいて更新画像を算出し、（ii）前記被写体画像部分に対応付けられる前記推定背景画像の画像部分については、前記被写体画像部分以外の画像部分に対応付けられる前記基準背景画像の画素値と前記被写体画像部分に対応付けられる前記基準背景画像の画素値とに基づいて対応関係式を導出して、その導出した対応関係式と前記被写体画像部分以外に対応付けられる前記推定背景画像の画素値とに基づいて更新画像を算出することを、
   特徴とする画像処理方法。
5. 請求項１に記載の画像処理方法において、
   前記更新する過程では、前記抽出した被写体が一時静止している場合には、（ｉ）前記被写体画像部分以外の画像部分に対応付けられる前記推定背景画像の画像部分については、同一位置に係る入力画像の画素値に基づいて更新画像を算出し、（ii）前記被写体画像部分に対応付けられる前記推定背景画像の画像部分については、前記被写体画像部分に対応付けられる入力画像の画素値と前記被写体画像部分に対応付けられる一時静止状態発生時の入力画像の画素値とに基づいて対応関係式を導出して、その導出した対応関係式と前記被写体画像部分に対応付けられる前記基準背景画像の画素値とに基づいて更新画像を算出することを、
   特徴とする画像処理方法。
6. 請求項５に記載の画像処理方法において、
   前記更新する過程では、前記抽出した被写体の画像部分の画素値に代えて、前記抽出した被写体の周囲の画像部分の画素値を用いて前記対応関係式を導出することを、
   特徴とする画像処理方法。
7. 請求項１ないし６のいずれか１項に記載の画像処理方法において、
   前記登録する過程では、前記第２の記憶手段に登録する前記基準背景画像に基づいて、前記第１の記憶手段に記憶される前記推定背景画像を更新することを、
   特徴とする画像処理方法。
8. 固定された撮像装置によって撮影される画像を入力として、その入力画像に含まれる被写体の画像を処理する画像処理装置であって、
   被写体の背景となる画像についての現時点における推定画像である推定背景画像を記憶する第１の記憶手段と、
   入力画像と前記第１の記憶手段に記憶される推定背景画像との差異を評価することで、被写体の画像部分を抽出する抽出手段と、
   前記抽出手段が被写体画像部分を抽出できない場合に、入力画像を基準背景画像として第２の記憶手段に登録する登録手段と、
   入力画像と前記第１の記憶手段に記憶される推定背景画像と前記第２の記憶手段に記憶される基準背景画像とに基づいて、前記第１の記憶手段に記憶される推定背景画像を更新する更新手段と、
   前記抽出手段の抽出した被写体画像部分に対して、プライバシー保護のための画像変換を施す変換手段とを備えることを、
   特徴とする画像処理装置。
9. 請求項１ないし７のいずれか１項に記載の画像処理方法の実現に用いられる処理をコンピュータに実行させるための画像処理プログラム。
10. 請求項１ないし７のいずれか１項に記載の画像処理方法の実現に用いられる処理をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images