JP2020504383A - 画像前景の検出装置、検出方法及び電子機器 - Google Patents

Abstract

画像前景の検出装置、方法及び電子機器を提供する。該装置及び方法は、背景モデルを更新する際に画素値の差分が最も大きいサンプル値を所定の確率で置き換えることで、背景モデルの正確度を効率的に向上させることができ、数が多く、且つ正確な完全な前景画像ブロックを迅速に取得することができる。【選択図】図１

Description

本発明は、情報技術の分野に関し、特に画像前景の検出装置、検出方法及び電子機器に関する。

ビデオ監視の分野では、画像の前景検出は多くのアプリケーションの基礎である。現在、前景検出の方法について大量の研究が行われている。既存の殆どの方法は、前景検出を行うために画素レベルの背景モデルを構築し、画像シーケンスの画素値が一定の規則に従って分布すると仮定し、履歴画像シーケンスの画素値の統計を分析することで、類似の推定背景値を取得する。画像全体を完全に分析した後に、背景モデルを取得できる。

現在よく使用されている前景検出方法は、フレーム差分法（ｆｒａｍｅ ｄｉｆｆｅｒｅｎｃｅ ｍｅｔｈｏｄ）、ガウス混合（ｍｉｘｔｕｒｅ ｏｆ Ｇａｕｓｓｉａｎ）モデル、単一ガウスモデル（ｓｉｎｇｌｅ Ｇａｕｓｓｉａｎ ｍｏｄｅｌ）、コードブック（ｃｏｄｅｂｏｏｋ）アルゴリズム等を含む。

フレーム差分法を用いて検出を行う場合は、画像シーケンスの２つの隣接するフレームの間の画素に基づく時間差分が閾値よりも大きいか否かを判断することで、背景と前景とを区別する。このアルゴリズムは、実装が簡単であり、照明の変化に敏感ではないが、複雑なシナリオを処理することができない。

単一ガウスモデル及びガウス混合モデルを用いて検出を行う場合は、画像における各画素について対応するガウス分布モデルを構築し、モデルにより取得された値が閾値よりも大きいか否かを判断することで、背景と前景とを区別する。しかし、単一ガウスモデルは、シナリオにノイズ干渉がある場合、抽出の正確度が低い。ガウス混合モデルは、計算量が大きく、照明の変化に敏感である。

コードブックアルゴリズムを用いて検出を行う場合は、現在の画像における各画素についてコードブック構造を構築し、各コードブック構造は複数のコードにより構成され、画像における各画素について、対応する背景モデルのコードブックにおける各コードを走査し、画素が所定の条件を満たすコードが存在するか否かに基づいて背景と前景とを区別する。しかし、このようなアルゴリズムは多くのメモリを占用する必要がある。

上記の検出方法は全て単一の画素について分析を行い、画素間の関係を無視している。既存の前景検出方法はビジュアル背景抽出（ＶＩＢＥ：Ｖｉｓｕａｌ ｂａｃｋｇｒｏｕｎｄ ｅｘｔｒａｃｔｏｒ）アルゴリズムをさらに含み、該アルゴリズムは、単一フレーム画像を用いて背景モデルを初期化し、画素点について、隣接画素が類似の画素値の空間分布特性を有すると仮定され、その隣接領域の画素点の画素値を背景モデルのサンプル値としてランダムに選択する。また、該アルゴリズムは、置き換えが必要なサンプルをランダムに選択し、隣接領域の画素をランダムに選択して背景モデルを更新する。この検出方法は、上記の他の既存の検出方法に比べて、検出精度が高く、検出速度が速い。

なお、上述した背景技術の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により周知されたものではない。

しかし、上記の既存のビジュアル背景抽出アルゴリズムは幾つかの欠点を有する。例えば、該アルゴリズムによる完全な前景画像ブロックの取得の効率が低く、取得された前景画像ブロックの数が少ない。また、リアルタイムで監視されるシナリオがぼやけている場合、ビジュアル背景抽出アルゴリズムは完全な前景画像ブロックを取得することができない。さらに、最初の画像フレームに移動物体が含まれている可能性はあるため、ゴースト（ｇｈｏｓｔ）が現れ、該ゴーストを迅速に除去することができない。

本発明の実施例は、背景モデルを更新する際に画素値の差分が最も大きいサンプル値を所定の確率で置き換えることで、背景モデルの正確度を効率的に向上させることができ、数が多く、且つ正確な完全な前景画像ブロックを迅速に取得することができる画像前景の検出装置、方法及び電子機器を提供する。

本発明の実施例の第１態様では、画像前景の検出装置であって、入力画像の各画素について前景検出を行う第１検出手段、を含み、前記第１検出手段は、該画素の画素値と、該画素が所在する位置に対応する背景モデルにおける各サンプル値との第１差分を算出する第１計算手段と、前記背景モデルにおける第１閾値以下の前記第１差分を有するサンプル値の数が第２閾値以上である場合、該画素が所在する位置の前記背景モデルを更新するように、前記背景モデルにおける前記第１差分が最も大きいサンプル値の画素値を該画素の画素値に所定の確率で置き換える第１更新手段と、前記背景モデルにおける第１閾値以下の前記第１差分を有するサンプル値の数が第２閾値よりも小さい場合、該画素を前景画素として決定する第１決定手段と、を含む、装置を提供する。

本発明の実施例の第２態様では、本発明の実施例の第１態様に記載の装置を含む、電子機器を提供する。

本発明の実施例の第３態様では、画像前景の検出方法であって、入力画像の各画素について前景検出を行うステップ、を含み、前記各画素について前景検出を行うステップは、該画素の画素値と、該画素が所在する位置に対応する背景モデルにおける各サンプル値との第１差分を算出するステップと、前記背景モデルにおける第１閾値以下の前記第１差分を有するサンプル値の数が第２閾値以上である場合、該画素が所在する位置の前記背景モデルを更新するように、前記背景モデルにおける前記第１差分が最も大きいサンプル値の画素値を該画素の画素値に所定の確率で置き換えるステップと、前記背景モデルにおける第１閾値以下の前記第１差分を有するサンプル値の数が第２閾値よりも小さい場合、該画素を前景画素として決定するステップと、を含む、方法を提供する。

本発明の実施例の効果としては、背景モデルを更新する際に画素値の差分が最も大きいサンプル値を所定の確率で置き換えることで、背景モデルの正確度を効率的に向上させることができ、数が多く、且つ正確な完全な前景画像ブロックを迅速に取得することができる。

本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び均等的なものが含まれる。

ある一つの実施形態に説明及び又は示されている特徴は、同一又は類似の方式で一つ又は多くの他の実施形態に使用されてもよく、他の実施形態における特徴と組み合わせてもよく、他の実施形態における特徴を代替してもよい。

なお、用語「包括／含む」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。

ここで含まれる図面は、本発明の実施例を理解させるためのものであり、本明細書の一部を構成し、本発明の実施例を例示するためのものであり、文言の記載と合わせて本発明の原理を説明する。なお、ここに説明される図面は、単なる本発明の実施例を説明するためのものであり、当業者にとって、これらの図面に基づいて他の図面を容易に得ることができる。
本発明の実施例１の画像前景の検出装置を示す図である。 本発明の実施例１の第１検出部１０１を示す図である。 本発明の実施例１の画素及びその周囲画素を示す図である。 本発明の実施例１の前景画素についてゴースト検出を行う方法を示す図である。 本発明の実施例２の電子機器を示す図である。 本発明の実施例２の電子機器のシステム構成を示すブロック図である。 本発明の実施例３の画像前景の検出方法を示す図である。 図７におけるステップ７０１の入力画像の各画素について前景検出を行う方法を示す図である。 図７におけるステップ７０１の入力画像の各画素について前景検出を行う方法を示す他の図である。

本発明の上記及びその他の特徴は、図面及び下記の説明により理解できるものである。明細書及び図面では、本発明の特定の実施形態、即ち本発明の原則に従う一部の実施形態を表すものを公開している。なお、本発明は説明される実施形態に限定されず、本発明は、特許請求の範囲内の全ての修正、変更されたもの、及び均等なものを含む。

＜実施例１＞
図１は本発明の実施例１の画像前景の検出装置を示す図である。図１に示すように、画像前景の検出装置１００は第１検出部１０１を含む。

第１検出部１０１は、入力画像の各画素について前景検出を行う。

図２は本発明の実施例１の第１検出部１０１を示す図である。図２に示すように、第１検出部１０１は、第１計算部２０１、第１更新部２０２、及び第１決定部２０３を含む。

第１計算部２０１は、該画素の画素値と、該画素が所在する位置に対応する背景モデルにおける各サンプル値との第１差分を算出する。

第１更新部２０２は、該背景モデルにおける第１閾値以下の該第１差分を有するサンプル値の数が第２閾値以上である場合、該画素が所在する位置の該背景モデルを更新するように、該背景モデルにおける該第１差分が最も大きいサンプル値の画素値を該画素の画素値に所定の確率で置き換える。

第１決定部２０３は、該背景モデルにおける第１閾値以下の該第１差分を有するサンプル値の数が第２閾値よりも小さい場合、該画素を前景画素として決定する。

本実施例によれば、背景モデルを更新する際に画素値の差分が最も大きいサンプル値を所定の確率で置き換えることで、背景モデルの正確度を効率的に向上させることができ、数が多く、且つ正確な完全な前景画像ブロックを迅速に取得することができる。

本実施例では、入力画像が監視画像であってもよく、従来方法に従って取得されてもよい。例えば、監視が必要な領域に設置されたカメラにより取得されてもよい。

本実施例では、入力画像は１つのフレームの画像を含んでもよいし、監視ビデオにおける複数のフレームの画像を含んでもよい。該入力画像が複数フレームの画像を含む場合、フレーム毎に検出を行ってもよい。

本実施例では、第１検出部１０１は、入力画像の各画素を１つずつ検出してもよい。

本実施例では、図２に示すように、第１検出部１０１は、取得部２０４及び第２決定部２０５をさらに含んでもよい。

取得部２０４は、該画素の第１数の周囲画素の画素値を取得する。

第２決定部２０５は、画素値が最も大きい少なくとも１つの周囲画素及び画素値が最も小さい少なくとも１つの周囲画素を除去し、第２数の周囲画素の画素値を取得し、第２数の周囲画素の画素値を、該画素が所在する位置の前記背景モデルにおける各サンプル値の初期値として決定する。

このように、周囲画素の画素値のうち最も大きい画素値及び最も小さい画素値を除去し、背景モデルを初期化することで、背景モデルの正確度をさらに向上させることができ、前景検出の正確度をさらに向上させることができる。

本実施例では、該画素の周囲画素は、該画素と隣接する画素、及び該画素と間隔を隔てて隣接する画素を意味し、該第１数は、実際の状況及び背景モデルにおけるサンプル値の数に関する要求に応じて決定されてもよく、該第２数は、背景モデルにおけるサンプル値の数であり、実際の要求に応じて設定されてもよい。例えば、該第１数は２４であり、該第２数は２０であり、即ち背景モデルにおけるサンプル値の数は２０個である。

図３は本発明の実施例１の画素及びその周囲画素を示す図である。図３に示すように、現在の検出目標とされている画素は、最中央の画素値が１５２の画素であり、２４個の周囲画素を有し、周囲画素のうち画素値が最も大きい２つの画素、即ち画素値が１６５及び１６０の２つの周囲画素、及び画素値が最も小さい２つの画素、即ち画素値が１０２及び１０５の２つの周囲画素を除去し、除去後に残った２０個の周囲画素の画素値を、現在の検出目標とされている画素が所在する位置の背景モデルにおける各サンプル値の初期値とする。言い換えれば、初期化された背景モデルＬ_ｍ，ｔ＝｛１２５，１２０，１１０，１３０，１３２，１１２，１３５，１１２，１２３，１３２，１２５，１５４，１５０，１３２，１２５，１１３，１５２，１２４，１１１，１４５｝となり、ｍは現在の目標画素がｍ番目の画素であることを示し、ｔは現フレームの入力画像の時間がｔであることを示す。

本実施例では、第１計算部２０１は、該画素の画素値と、該画素が所在する位置に対応する背景モデルにおける各サンプル値との該差分を算出し、第１更新部２０２は、該背景モデルにおける第１閾値以下の該第１差分を有するサンプル値の数が第２閾値以上である場合、該画素が所在する位置の該背景モデルを更新するように、該背景モデルにおける該差分が最も大きいサンプル値の画素値を該画素の画素値に所定の確率で置き換える。本実施例では、他の差分と区別するために、該差分を第１差分と称し、本実施例における第２差分、第３差分も表現上区別するためのものである。

本実施例では、第１検出部１０１は、該背景モデルにおける第１閾値以下の該第１差分を有するサンプル値の数が第２閾値以上であるか否かを判断する判断部（図示せず）をさらに含んでもよい。例えば、該判断部は第１計算部２０１に設けられてもよい。

本実施例では、該第２閾値及び所定の確率は実際の状況に応じて設定されてもよい。

例えば、該第２閾値は該背景モデルにおける全てのサンプル値の所定の割合に応じて設定されてもよく、該所定の割合は例えば０．１であり、即ち背景モデルにおけるサンプル値の数が２０である場合、該第２閾値は２に設定されてもよい。

例えば、該所定の確率は例えば０．０５〜０．２の範囲内の値であってもよく、例えば０．１であってもよい。

本実施例では、該第１閾値は該入力画像の鮮明度に基づいて所定の周期で更新されてもよい。例えば、第１検出部１０１は第３更新部２０６をさらに含んでもよい。

第３更新部２０６は、該入力画像の鮮明度に基づいて所定の周期で該第１閾値を更新する。

このように、実際のシナリオが変化し、例えば雨、霧又は曇り等のシナリオ変化により入力画像がぼやけている場合、画像の鮮明度に基づいて第１閾値を調整することで、実際のシナリオの変化に効果的に対応することができ、様々なシナリオにおいても完全な前景画像ブロックを取得することができる。

本実施例では、該所定の周期は実際の状況に応じて設定されてもよく、例えば、該所定の周期は３０分間である。

本実施例では、例えば、第３更新部２０６は、以下の式（１）に従って、該第１閾値を更新してもよい。

ここで、ｒａｄｉｕｓは該第１閾値を表し、ｃｌａｒｉｔｙは該入力画像の鮮明度を表す。

本実施例では、以下の式（２）及び（３）に従って、該入力画像の鮮明度を算出してもよい。

ここで、ｃｌａｒｉｔｙは該入力画像の鮮明度を表し、ｗは該入力画像の幅を表し、ｈは該入力画像の高さを表し、ｐｉｘｅｌ＿ｎｕｍは該入力画像における画素点の数を表し、Ｉは画素値を表し、ｉ及びｊは画素点の横座標及び縦座標を表す。

以上は本実施例の第１閾値の更新方法を例示的に説明した。

本実施例では、図２に示すように、第１検出部１０１は、第２計算部２０７及び第２更新部２０８をさらに含んでもよい。

第２計算部２０７は、該背景モデルにおける第１閾値以下の該第１差分を有するサンプル値の数が第２閾値以上である場合、該画素の画素値と該画素の各隣接画素の画素値との第２差分を算出し、該第２差分が最も大きい隣接画素を決定する。

第２更新部２０８は、該第２差分が最も大きい該隣接画素の画素値と、該隣接画素が所在する位置に対応する背景モデルにおける各サンプル値の画素値との第３差分を算出し、該隣接画素が所在する位置の該背景モデルを更新するように、該背景モデルにおける該第３差分が最も大きいサンプル値の画素値を、該第２差分が最も大きい該隣接画素の画素値に所定の確率で置き換える。

本実施例では、該画素の隣接画素は、該画素と直接隣接する画素を意味する。例えば、図３に示す画素について、現在の検出目標とされている画素値が１５２の画素の隣接画素は、それと直接隣接する８個の画素、即ち画素値がそれぞれ１３５、１０２、１１２、１６０、１３２、１５４、１５０、１３２の８個の画素である。

本実施例では、第２更新部２０８により該画素の隣接画素の所在する位置の背景モデルを更新する方法は、第１更新部２０２により該画の所在する位置の背景モデルを更新する方法と同様であり、ここでその説明を省略する。

このように、該画素の差分が最も大きい隣接画素の背景モデルを更新することで、背景モデルの正確度をさらに向上させることができ、数が多く、且つ正確な完全な前景画像ブロックをさらに効果的に取得することができる。

本実施例では、第１決定部２０３は、該背景モデルにおける第１閾値以下の該第１差分を有するサンプル値の数が第２閾値よりも小さい場合、該画素を前景画素として決定する。例えば、該画素の画素値を２５５に設定する。

本実施例では、第１検出部１０１により入力画像の各画素について前景検出を行った後に、前景画素として決定された画素についてゴースト検出を行ってもよい。

例えば、該入力画像は連続する複数フレームの入力画像であり、図１に示すように、画像前景の検出装置１００は第２検出部１０２をさらに含んでもよい。

第２検出部１０２は、該入力画像における前景画素として決定された各画素についてゴースト検出を行う。ここで、各前景画素についてゴースト検出を行う際に、該前景画素の所在する位置の画素が連続する複数フレームの入力画像において前景画素として連続的に検出された回数が第３閾値よりも大きく、或いは連続した複数フレームの入力画像における該前景画素が所在する位置の画素の画素値と直前フレームの入力画像の対応位置の画素の画素値との差分が第４閾値よりも小さい回数が第５閾値よりも大きい場合、該前景画素がゴースト画素であると決定し、そうでない場合、該前景画素がゴースト画素ではないと決定する。

図４は本発明の実施例１の前景画素についてゴースト検出を行う方法を示す図である。図４に示すように、該方法は以下のステップを含む。

ステップ４０１：該前景画素が所在する位置の画素の画素値と直前フレームの入力画像の対応位置の画素の画素値との差分を算出する。

ステップ４０２：該画素値の差分が第４閾値よりも小さいか否かを判断し、判断結果がＹＥＳの場合、ステップ４０３に進み、判断結果がＮＯの場合、ステップ４０４に進む。

ステップ４０３：連続した複数フレームの入力画像における該前景画素が所在する位置の画素の画素値と直前フレームの入力画像の対応位置の画素の画素値との差分が第４閾値よりも小さい累積回数Ｄ_ｋ，ｔに１を加算する。ここで、ｋは現在の前景画素がｋ番目の前景画素であることを示し、ｔは現在のフレームの入力画像の時間がｔであることを示す。

ステップ４０４：該前景画素の所在する位置の画素が連続する複数フレームの入力画像において前景画素として連続的に検出された回数Ｎ_ｋ，ｔが第３閾値よりも大きく、或いは連続した複数フレームの入力画像における該前景画素が所在する位置の画素の画素値と直前フレームの入力画像の対応位置の画素の画素値との差分が第４閾値よりも小さい該回数Ｄ_ｋ，ｔが第５閾値よりも大きいか否かを判断し、判断結果がＮＯの場合、ステップ４０５に進み、判断結果がＹＥＳの場合、ステップ４０６に進む。ここで、ｋは現在の前景画素がｋ番目の前景画素であることを示し、ｔは現在のフレームの入力画像の時間がｔであることを示す。

ステップ４０５：該前景画素がゴースト画素ではないと決定する。

ステップ４０６：該前景画素がゴースト画素であると決定する。

本実施例では、第３閾値、第４閾値及び第５閾値は実際の状況に応じて設定されてもよく、例えば第３閾値は９０であってもよく、第４閾値は１０であってもよく、第５閾値は７０であってもよい。

本実施例では、該前景画素がゴースト画素であると決定された場合、該ゴースト画素が所在する位置の背景モデルを更新してもよい。例えば、第１検出部１０１の第１更新部２０２により、ゴースト画素として決定された該前景画素が所在する位置の背景モデルを更新する。ここで用いられる更新方法は、第１更新部２０２により該画素が所在する位置の背景モデルを更新する方法と同様であり、ここでその説明を省略する。

このように、該ゴースト画素の背景モデルを更新することで、ゴーストの影響を迅速に排除することができ、正確な完全な前景画像ブロックを取得することができる。

本実施例では、第１検出部１０１の第２更新部２０８により該ゴースト画素の隣接画素が所在する位置の背景モデルを更新してもよく、その更新方法は、第２更新部２０８の上記の説明内容と同様であり、ここでその説明を省略する。該ゴースト画素の隣接画素の背景モデルを更新することで、ゴーストの影響をさらに排除することができる。

本実施例によれば、背景モデルを更新する際に画素値の差分が最も大きいサンプル値を所定の確率で置き換えることで、背景モデルの正確度を効率的に向上させることができ、数が多く、且つ正確な完全な前景画像ブロックを迅速に取得することができる。

また、周囲画素の画素値のうち最も大きい画素値及び最も小さい画素値を除去し、背景モデルを初期化することで、背景モデルの正確度をさらに向上させることができ、前景検出の正確度をさらに向上させることができる。

また、実際のシナリオが変化し、例えば雨、霧又は曇り等のシナリオ変化により入力画像がぼやけている場合、画像の鮮明度に基づいて第１閾値を調整することで、実際のシナリオの変化に効果的に対応することができ、様々なシナリオにおいても完全な前景画像ブロックを取得することができる。

また、該画素の差分が最も大きい隣接画素の背景モデルを更新することで、背景モデルの正確度をさらに向上させることができ、数が多く、且つ正確な完全な前景画像ブロックをさらに効果的に取得することができる。

また、該ゴースト画素の背景モデルを更新することで、ゴーストの影響を迅速に排除することができ、正確な完全な前景画像ブロックを取得することができる。

＜実施例２＞
本発明の実施例は電子機器をさらに提供し、図５は本発明の実施例２の電子機器を示す図である。図５に示すように、電子機器５００は画像前景の検出装置５０１を含み、画像前景の検出装置５０１の構成及び機能は実施例１に記載されたものと同じであり、ここでその説明を省略する。

図６は本発明の実施例２の電子機器のシステム構成を示すブロック図である。図６に示すように、電子機器６００は、中央処理装置６０１及び記憶装置６０２を含んでもよく、記憶装置６０２は中央処理装置６０１に接続される。該図は単なる例示的なものであり、電気通信機能又は他の機能を実現するように、他の種類の構成を用いて、該構成を補充又は代替してもよい。

図６に示すように、電子機器６００は、入力部６０３、ディスプレイ６０４及び電源６０５をさらに含んでもよい。

１つの態様では、実施例１の画像前景の検出装置の機能は中央処理装置６０１に統合されてもよい。ここで、中央処理装置６０１は、入力画像の各画素について前景検出を行い、各画素について前景検出を行う際に、該画素の画素値と、該画素が所在する位置に対応する背景モデルにおける各サンプル値との第１差分を算出し、該背景モデルにおける第１閾値以下の該第１差分を有するサンプル値の数が第２閾値以上である場合、該画素が所在する位置の該背景モデルを更新するように、該背景モデルにおける該第１差分が最も大きいサンプル値の画素値を該画素の画素値に所定の確率で置き換え、該背景モデルにおける第１閾値以下の該第１差分を有するサンプル値の数が第２閾値よりも小さい場合、該画素を前景画素として決定するように構成されてもよい。

例えば、該各画素について前景検出を行うステップは、該背景モデルにおける第１閾値以下の該第１差分を有するサンプル値の数が第２閾値以上である場合、該画素の画素値と該画素の各隣接画素の画素値との第２差分を算出し、該第２差分が最も大きい隣接画素を決定するステップと、該第２差分が最も大きい該隣接画素の画素値と、該隣接画素が所在する位置に対応する背景モデルにおける各サンプル値の画素値との第３差分を算出し、該隣接画素が所在する位置の該背景モデルを更新するように、該背景モデルにおける該第３差分が最も大きいサンプル値の画素値を、該第２差分が最も大きい該隣接画素の画素値に所定の確率で置き換えるステップと、をさらに含む。

例えば、該各画素について前景検出を行うステップは、該画素の第１数の周囲画素の画素値を取得するステップと、画素値が最も大きい少なくとも１つの周囲画素及び画素値が最も小さい少なくとも１つの周囲画素を除去し、第２数の周囲画素の画素値を取得し、第２数の周囲画素の画素値を、該画素が所在する位置の該背景モデルにおける各サンプル値の初期値として決定するステップと、をさらに含む。

例えば、該各画素について前景検出を行うステップは、該入力画像の鮮明度に基づいて所定の周期で該第１閾値を更新するステップ、をさらに含む。

例えば、該入力画像は連続する複数フレームの入力画像であり、中央処理装置６０１は、該入力画像における前景画素として決定された各画素についてゴースト検出を行い、各前景画素についてゴースト検出を行う際に、該前景画素の所在する位置の画素が連続する複数フレームの入力画像において前景画素として連続的に検出された回数が第３閾値よりも大きく、或いは連続した複数フレームの入力画像における該前景画素が所在する位置の画素の画素値と直前フレームの入力画像の対応位置の画素の画素値との差分が第４閾値よりも小さい回数が第５閾値よりも大きい場合、該前景画素がゴースト画素であると決定し、そうでない場合、該前景画素がゴースト画素ではないと決定するように構成されてもよい。

例えば、中央処理装置６０１は、ゴースト画素として決定された該前景画素が所在する位置の背景モデルを更新するように構成されてもよい。

もう１つの態様では、実施例１の画像前景の検出装置は中央処理装置６０１とそれぞれ配置されてもよく、例えば、画像前景の検出装置は中央処理装置６０１に接続されたチップであり、中央処理装置６０１の制御により画像前景の検出装置の機能を実現するように構成されてもよい。

本実施例における電子機器６００は、図６に示されている全ての構成部を含まなくてもよい。

図６に示すように、中央処理装置６０１は、コントローラ又は操作制御部とも称され、マイクロプロセッサ又は他の処理装置及び／又は論理装置を含んでもよく、中央処理装置６０１は入力を受け付け、電子機器６００の各部の操作を制御する。

記憶装置６０２は、例えばバッファ、フラッシュメモリ、ハードディスク、移動可能な媒体、発揮性メモリ、不発揮性メモリ、又は他の適切な装置の１つ又は複数であってもよい。また、中央処理装置６０１は、記憶装置６０２に記憶されたプログラムを実行し、情報の記憶又は処理などを実現してもよい。他の部材は従来技術に類似するため、ここでその説明が省略される。電子機器６００の各部は、本発明の範囲から逸脱することなく、特定のハードウェア、ファームウェア、ソフトウェア又はその組み合わせによって実現されてもよい。

本実施例によれば、背景モデルを更新する際に画素値の差分が最も大きいサンプル値を所定の確率で置き換えることで、背景モデルの正確度を効率的に向上させることができ、数が多く、且つ正確な完全な前景画像ブロックを迅速に取得することができる。

＜実施例３＞
本発明の実施例は、実施例１の画像前景の検出装置に対応する画像前景の検出方法をさらに提供する。図７は本発明の実施例３の画像前景の検出方法を示す図である。図７に示すように、該方法は以下のステップを含む。

ステップ７０１：入力画像の各画素について前景検出を行う。

ステップ７０２：該入力画像における前景画素として決定された各画素についてゴースト検出を行う。

図８は図７におけるステップ７０１の入力画像の各画素について前景検出を行う方法を示す図である。図８に示すように、ステップ７０１は以下のステップを含む。

ステップ８０１：該画素の画素値と、該画素が所在する位置に対応する背景モデルにおける各サンプル値との第１差分を算出する。

ステップ８０２：該背景モデルにおける第１閾値以下の該第１差分を有するサンプル値の数が第２閾値以上である場合、該画素が所在する位置の該背景モデルを更新するように、該背景モデルにおける該第１差分が最も大きいサンプル値の画素値を該画素の画素値に所定の確率で置き換える。

ステップ８０３：該背景モデルにおける第１閾値以下の該第１差分を有するサンプル値の数が第２閾値よりも小さい場合、該画素を前景画素として決定する。

図９は図７におけるステップ７０１の入力画像の各画素について前景検出を行う方法を示す他の図である。図９に示すように、ステップ７０１は以下のステップを含む。

ステップ９０１：該画素の画素値と、該画素が所在する位置に対応する背景モデルにおける各サンプル値との第１差分を算出する。

ステップ９０２：該背景モデルにおける第１閾値以下の第１差分を有するサンプル値の数が第２閾値以上であるか否かを判断し、判断結果がＹＥＳの場合、ステップ９０３に進み、判断結果がＮＯの場合、ステップ９０６に進む。

ステップ９０３：該画素が所在する位置の該背景モデルを更新するように、該背景モデルにおける第１差分が最も大きいサンプル値の画素値を該画素の画素値に所定の確率で置き換える。

ステップ９０４：該画素の画素値と該画素の各隣接画素の画素値との第２差分を算出し、第２差分が最も大きい隣接画素を決定する。

ステップ９０５：第２差分が最も大きい該隣接画素の画素値と、該隣接画素が所在する位置に対応する背景モデルにおける各サンプル値の画素値との第３差分を算出し、該隣接画素が所在する位置の該背景モデルを更新するように、該背景モデルにおける第３差分が最も大きいサンプル値の画素値を、第２差分が最も大きい該隣接画素の画素値に所定の確率で置き換える。

ステップ９０６：該画素を前景画素として決定する。

本実施例では、上記各ステップの具体的な実現方法は実施例１に記載されたものと同じであり、ここでその説明を省略する。

本実施例によれば、背景モデルを更新する際に画素値の差分が最も大きいサンプル値を所定の確率で置き換えることで、背景モデルの正確度を効率的に向上させることができ、数が多く、且つ正確な完全な前景画像ブロックを迅速に取得することができる。

本発明の実施例は、画像前景の検出装置又は電子機器においてプログラムを実行する際に、コンピュータに、該画像前景の検出装置又は電子機器において上記実施例３に記載の画像前景の検出方法を実行させる、コンピュータ読み取り可能なプログラムをさらに提供する。

本発明の実施例は、コンピュータに、画像前景の検出装置又は電子機器において上記実施例３に記載の画像前景の検出方法を実行させるためのコンピュータ読み取り可能なプログラムを記憶する、記憶媒体をさらに提供する。

本発明の実施例を参照しながら説明した画像前景の検出装置において実行されている画像前景の検出方法は、ハードウェア、プロセッサにより実行されるソフトウェアモジュール、又は両者の組み合わせで実施されてもよい。例えば、図１、図２に示す機能的ブロック図における１つ若しくは複数、又は機能的ブロック図の１つ若しくは複数の組み合わせは、コンピュータプログラムフローの各ソフトウェアモジュールに対応してもよいし、各ハードウェアモジュールに対応してもよい。これらのソフトウェアモジュールは、図７、図８及び図９に示す各ステップにそれぞれ対応してもよい。これらのハードウェアモジュールは、例えばフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）を用いてこれらのソフトウェアモジュールをハードウェア化して実現されてもよい。

ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、モバイルハードディスク、ＣＤ−ＲＯＭ又は当業者にとって既知の任意の他の形の記憶媒体に位置してもよい。プロセッサが記憶媒体から情報を読み取ったり、記憶媒体に情報を書き込むように該記憶媒体をプロセッサに接続してもよいし、記憶媒体がプロセッサの構成部であってもよい。プロセッサ及び記憶媒体はＡＳＩＣに位置する。該ソフトウェアモジュールは移動端末のメモリに記憶されてもよいし、移動端末に挿入されたメモリカードに記憶されてもよい。例えば、機器（例えば移動端末）が比較的に大きい容量のＭＥＧＡ−ＳＩＭカード又は大容量のフラッシュメモリ装置を用いる場合、該ソフトウェアモジュールは該ＭＥＧＡ−ＳＩＭカード又は大容量のフラッシュメモリ装置に記憶されてもよい。

図１及び図２に記載されている一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、本願に記載されている機能を実行するための汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理装置、ディスクリートハードウェアコンポーネント、またはそれらの任意の適切な組み合わせで実現されてもよい。図１及び図２に記載されている一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、例えば、コンピューティング機器の組み合わせ、例えばＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰ通信と組み合わせた１つ又は複数のマイクロプロセッサ又は他の任意の構成で実現されてもよい。

以上は具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び変更を行ってもよく、これらの変形及び変更も本発明の範囲に属する。

Claims (15)

1. 画像前景の検出装置であって、
   入力画像の各画素について前景検出を行う第１検出手段、を含み、
   前記第１検出手段は、
   該画素の画素値と、該画素が所在する位置に対応する背景モデルにおける各サンプル値との第１差分を算出する第１計算手段と、
   前記背景モデルにおける第１閾値以下の前記第１差分を有するサンプル値の数が第２閾値以上である場合、該画素が所在する位置の前記背景モデルを更新するように、前記背景モデルにおける前記第１差分が最も大きいサンプル値の画素値を該画素の画素値に所定の確率で置き換える第１更新手段と、
   前記背景モデルにおける第１閾値以下の前記第１差分を有するサンプル値の数が第２閾値よりも小さい場合、該画素を前景画素として決定する第１決定手段と、を含む、装置。
2. 前記第１検出手段は、
   前記背景モデルにおける第１閾値以下の前記第１差分を有するサンプル値の数が第２閾値以上である場合、該画素の画素値と該画素の各隣接画素の画素値との第２差分を算出し、前記第２差分が最も大きい隣接画素を決定する第２計算手段と、
   前記第２差分が最も大きい該隣接画素の画素値と、該隣接画素が所在する位置に対応する背景モデルにおける各サンプル値の画素値との第３差分を算出し、該隣接画素が所在する位置の前記背景モデルを更新するように、前記背景モデルにおける前記第３差分が最も大きいサンプル値の画素値を、前記第２差分が最も大きい該隣接画素の画素値に所定の確率で置き換える第２更新手段と、をさらに含む、請求項１に記載の装置。
3. 前記第１検出手段は、
   該画素の第１数の周囲画素の画素値を取得する取得手段と、
   画素値が最も大きい少なくとも１つの周囲画素及び画素値が最も小さい少なくとも１つの周囲画素を除去し、第２数の周囲画素の画素値を取得し、第２数の周囲画素の画素値を、該画素が所在する位置の前記背景モデルにおける各サンプル値の初期値として決定する第２決定手段と、をさらに含む、請求項１に記載の装置。
4. 前記第１検出手段は、
   前記入力画像の鮮明度に基づいて所定の周期で前記第１閾値を更新する第３更新手段、をさらに含む、請求項１に記載の装置。
5. 前記第３更新手段は、以下の式（１）
   

   

   に従って、前記第１閾値を更新し、
   ｒａｄｉｕｓは前記第１閾値を表し、ｃｌａｒｉｔｙは前記入力画像の鮮明度を表す、請求項４に記載の装置。
6. 前記入力画像は、連続する複数フレームの入力画像であり、
   前記装置は、前記入力画像における前景画素として決定された各画素についてゴースト検出を行う第２検出手段、をさらに含み、
   各前景画素についてゴースト検出を行う際に、該前景画素の所在する位置の画素が連続する複数フレームの入力画像において前景画素として連続的に検出された回数が第３閾値よりも大きく、或いは連続した複数フレームの入力画像における該前景画素が所在する位置の画素の画素値と直前フレームの入力画像の対応位置の画素の画素値との差分が第４閾値よりも小さい回数が第５閾値よりも大きい場合、該前景画素がゴースト画素であると決定し、そうでない場合、該前景画素がゴースト画素ではないと決定する、請求項１に記載の装置。
7. 前記第１更新手段は、ゴースト画素として決定された該前景画素が所在する位置の背景モデルを更新する、請求項６に記載の装置。
8. 請求項１に記載の装置を含む電子機器。
9. 画像前景の検出方法であって、
   入力画像の各画素について前景検出を行うステップ、を含み、
   前記各画素について前景検出を行うステップは、
   該画素の画素値と、該画素が所在する位置に対応する背景モデルにおける各サンプル値との第１差分を算出するステップと、
   前記背景モデルにおける第１閾値以下の前記第１差分を有するサンプル値の数が第２閾値以上である場合、該画素が所在する位置の前記背景モデルを更新するように、前記背景モデルにおける前記第１差分が最も大きいサンプル値の画素値を該画素の画素値に所定の確率で置き換えるステップと、
   前記背景モデルにおける第１閾値以下の前記第１差分を有するサンプル値の数が第２閾値よりも小さい場合、該画素を前景画素として決定するステップと、を含む、方法。
10. 前記各画素について前景検出を行うステップは、
    前記背景モデルにおける第１閾値以下の前記第１差分を有するサンプル値の数が第２閾値以上である場合、該画素の画素値と該画素の各隣接画素の画素値との第２差分を算出し、前記第２差分が最も大きい隣接画素を決定するステップと、
    前記第２差分が最も大きい該隣接画素の画素値と、該隣接画素が所在する位置に対応する背景モデルにおける各サンプル値の画素値との第３差分を算出し、該隣接画素が所在する位置の前記背景モデルを更新するように、前記背景モデルにおける前記第３差分が最も大きいサンプル値の画素値を、前記第２差分が最も大きい該隣接画素の画素値に所定の確率で置き換えるステップと、をさらに含む、請求項９に記載の方法。
11. 前記各画素について前景検出を行うステップは、
    該画素の第１数の周囲画素の画素値を取得するステップと、
    画素値が最も大きい少なくとも１つの周囲画素及び画素値が最も小さい少なくとも１つの周囲画素を除去し、第２数の周囲画素の画素値を取得し、第２数の周囲画素の画素値を、該画素が所在する位置の前記背景モデルにおける各サンプル値の初期値として決定するステップと、をさらに含む、請求項９に記載の方法。
12. 前記各画素について前景検出を行うステップは、
    前記入力画像の鮮明度に基づいて所定の周期で前記第１閾値を更新するステップ、をさらに含む、請求項９に記載の方法。
13. 以下の式（１）
    

    

    に従って、前記第１閾値を更新し、
    ｒａｄｉｕｓは前記第１閾値を表し、ｃｌａｒｉｔｙは前記入力画像の鮮明度を表す、請求項１２に記載の方法。
14. 前記入力画像は、連続する複数フレームの入力画像であり、
    前記方法は、前記入力画像における前景画素として決定された各画素についてゴースト検出を行うステップ、をさらに含み、
    各前景画素についてゴースト検出を行うステップは、
    該前景画素の所在する位置の画素が連続する複数フレームの入力画像において前景画素として連続的に検出された回数が第３閾値よりも大きく、或いは連続した複数フレームの入力画像における該前景画素が所在する位置の画素の画素値と直前フレームの入力画像の対応位置の画素の画素値との差分が第４閾値よりも小さい回数が第５閾値よりも大きい場合、該前景画素がゴースト画素であると決定し、そうでない場合、該前景画素がゴースト画素ではないと決定するステップ、を含む、請求項９に記載の方法。
15. ゴースト画素として決定された該前景画素が所在する位置の背景モデルを更新するステップ、をさらに含む、請求項１４に記載の方法。

Images