JP2010200295A - 複数のガウス分布モデルを利用して映像の背景を維持する方法と装置 - Google Patents

複数のガウス分布モデルを利用して映像の背景を維持する方法と装置 Download PDF

Info

Publication number
JP2010200295A
JP2010200295A JP2009202606A JP2009202606A JP2010200295A JP 2010200295 A JP2010200295 A JP 2010200295A JP 2009202606 A JP2009202606 A JP 2009202606A JP 2009202606 A JP2009202606 A JP 2009202606A JP 2010200295 A JP2010200295 A JP 2010200295A
Authority
JP
Japan
Prior art keywords
gaussian distribution
sub
background
distribution model
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009202606A
Other languages
English (en)
Other versions
JP5352859B2 (ja
Inventor
Chih-Ping Wang
王志平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Micro Star International Co Ltd
Original Assignee
Micro Star International Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micro Star International Co Ltd filed Critical Micro Star International Co Ltd
Publication of JP2010200295A publication Critical patent/JP2010200295A/ja
Application granted granted Critical
Publication of JP5352859B2 publication Critical patent/JP5352859B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/143Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing

Abstract

【課題】複数のガウス分布モデルを利用して映像背景を維持する方法と装置の提供。
【解決手段】複数のガウス分布モデルを利用して映像の背景を維持する装置は、キャプチャモジュール、計算モジュール、保存モジュール、学習モジュールを含む。前記キャプチャモジュールは複数の画素を含む映像画面をキャプチャし、背景情報と連続映像画面の取得に用い、複数の画像情報を取得する。前記計算モジュールはメインガウス分布モデルと複数のサブガウス分布モデルの確立に用いる。前記保存モジュールは前記計算モジュールが確立したメインガウス分布モデルとサブガウス分布モデルを保存する。前記学習モジュールは2つのサブガウス分布モデルの比較に用いる。サブガウス分布モデルの対応する画像情報がすべて背景情報に属すると判断したとき、サブガウス分布モデルでメインガウス分布モデルの学習を更新する。サブガウス分布モデルの対応する画像情報の少なくとも1つが背景情報ではないとき、メインガウス分布モデルの学習を更新しない。
【選択図】図3

Description

本発明は映像の背景を維持する装置に関し、特に、複数のガウス分布モデルの照合を利用して映像の背景を維持する装置に関する。
現今の移動物検出技術において、背景が変化する状況下でも正確に移動物体を表示するため、適応的な背景の技術を使用して背景の変化に対し学習をさせることがよく行われている。入力された画素が前景または背景のどちらに属するかを直接判断することはできないため、一般に取得した画素をすべて背景モデル中に取り込み、対応する重み値を付与する。例えば、その画素またはその画素近くの画素が出現する確率がより頻繁であるとき、対応する重み値もより大きくなる。重み値は臨界値に基づいて判断を行い、画素を2種類に分類することができ、そのうちより大きなものを背景、より小さなものを前景とする。このように絶え間なく背景を更新し、前景を分割して移動物体を表示する。
しかしながら、前景は停留時間が長すぎて直接背景の中に学習されてしまったり、辺縁の色が背景に近すぎて背景の色を徐々に変化させてしまったりして前景の誤判定が生じることがある。この問題を改善するため、よく見受けられる移動物体の検出方法は背景差分法である。図1に示すように、まず画面中に物体の移動がないとき画面に対し1枚の画像をキャプチャして背景とし、続いて各画像すべてを背景と比較して差分を行い、その絶対値を取り、物体が画面に進入した場合、差分に基づき得られた映像から物体を取り出すことができる。
また、背景が光源、風、波等の外来の新しい背景による影響を受ける場合、背景を実際の状況に応じて変化させることができるようにするため、別途適応的な背景の技術を使用して背景の変化に対し学習をさせることが行われる。一般によく用いられる方式は、混合ガウス分布の学習法である。混合ガウス分布は、背景上の各画素をすべて数個のガウス分布で表示し、かつ1つの平均値と共分散を含む。RGB色彩方式で表示する場合、平均値は画素RGB値であり、共分散はそのガウス分布がカバーする範囲である。混合ガウス分布の学習方法において、各ガウス分布が1つの重み値に対応し、すべてのガウス分布が前景と背景を含む可能性があり、重み値の大きさを利用して両者を区分する。
図2のフローチャートに示すように、例えば、1つの新しい画像が入ってくると、まずガウスぼかしを一回実施し、一部のノイズの影響を簡単に除去する。続いて、新しく入ってきた映像の画素が背景上の数個のガウス分布に合致するか否かを判断する。合致する場合、その分布の重みを大きくすると共に、この画素でそのガウス分布を更新し、即ち平均値と共分散を更新する。合致しない場合、新しいガウス分布を背景モデル中で構築し、かつ重みが最も小さいガウス分布を代替し、新しい画素でこのガウス分布を初期化する。続いてすべての分布の重みに基づき閥値を決定し、背景に属する分布を区分すると共に、これらの背景に属すると認定された分布で入力画像を処理し、前景を分割して後続の移動物の表示を行う。
上述をまとめると、上述の2種類の方式を採用しても、背景映像の維持において、前景の存在時間が長すぎたり、前景の辺縁と背景色が接近しすぎたりして、背景学習の誤った判断を引き起こす問題を正確かつ効果的に解決することはできない。前景の存在時間が長すぎるために重みも大きくなり、背景と誤って判断される。また、背景と接近した辺縁の色彩が背景のガウス分布に属すると判定されると、ガウス分布の平均値が変化し、背景の色が前景と近くなり、誤った判断の発生を引き起こす。このため、背景をいかに維持して前景の侵入を回避し、上述の問題を防ぐかが本発明の発明者と関連産業の技術領域に従事する者が改善を図る課題である。
上述に鑑みて、本発明の目的は、メインガウス分布モデルを通して映像背景を確立かつ維持し、さらに2つのサブガウス分布モデルを利用して照合を行い、照合結果が背景情報に属するとき、このサブガウス分布モデルがメインガウス分布モデル中に学習され、映像背景が更新される、複数のガウス分布モデルを利用して映像背景を維持する方法と装置を提供することにある。
上述の目的を達するため、本発明の複数のガウス分布モデルを利用して映像背景を維持する方法は、次のステップを含む。a.複数の画素を含む映像画面をキャプチャし、背景情報の取得に用いる。b.背景情報を計算し、メインガウス分布モデルを確立する。c.一定時間内の複数の連続映像画面をキャプチャし、画像情報の取得に用いると共に、画像情報を計算してサブガウス分布モデルを確立する。d.ステップc.を繰り返し、複数のサブガウス分布モデルを確立する。e.2つのサブガウス分布モデルを比較し、2つのサブガウス分布モデルの対応する画像情報がすべて背景情報に属すると判断したとき、このサブガウス分布モデルでメインガウス分布モデルの学習が更新され、2つのサブガウス分布モデルの対応する画像情報の少なくとも1つが背景情報ではないと判断したとき、メインガウス分布モデルの学習は更新されず、メインガウス分布モデルの背景情報が維持される。
映像背景の精確度の維持を強化するため、複数のガウス分布モデルを利用して映像背景を維持する方法は、背景情報を計算してメインガウス分布モデルを確立した後に、フレーム間差分法を利用して移動物体の辺縁を取得し、この辺縁を記録する。メインガウス分布モデルが学習を行うとき、前記移動物体の辺縁を含めない。これにより辺縁と背景が近すぎるために学習上の判断を誤ることを回避する。
上述の目的を達するため、本発明の複数のガウス分布モデルを利用して映像背景を維持する装置は、キャプチャモジュール、計算モジュール、保存モジュール、学習モジュールを含む。そのうち、前記キャプチャモジュールは複数の画素を含む映像画面をキャプチャし、背景情報の取得に用いられると共に、一定時間内の複数の連続映像画面をキャプチャし、複数の画像情報を取得するために用いられる。前記計算モジュールは前記キャプチャモジュールに接続され、背景情報を計算し、メインガウス分布モデルを確立すると共に、前記画像情報を計算し、複数のサブガウス分布モデルを確立するために用いられる。前記保存モジュールは前記計算モジュールに接続され、確立されたメインガウス分布モデルとサブガウス分布モデルが保存される。前記学習モジュールは前記保存モジュールに接続され、前記保存モジュールとの間は双方向通信であり、2つのサブガウス分布モデルを比較し、2つのサブガウス分布モデルの対応する画像情報がすべて前記背景情報に属すると判断したとき、前記サブガウス分布モデルで前記メインガウス分布モデルの学習が更新され、更新された学習結果が前記保存モジュールに保存される。前記サブガウス分布モデルの対応する画像情報の少なくとも1つが背景情報ではないと判断したとき、前記メインガウス分布モデルの学習は更新されず、前記メインガウス分布モデルの背景情報が維持される。
本発明は先にメインガウス分布モデルの背景映像を確立した後、複数のサブガウス分布モデルの2つを照合し、サブガウス分布モデルの画像情報が背景情報であると確定されると、このサブガウス分布モデルをメインガウス分布モデルに学習し、先に学習して後で重みに基づき背景と前景を判断することによって引き起こされる誤差を回避することができる。
従来の背景差分法の原理を示す概略図である。 従来の混合ガウス分布学習方法のフローチャートである。 本発明の実施例1の方法のフローチャートである。 本発明のガウス分布モデル学習を示す概略図である。 フレーム差分法(Frame Difference)の原理を示す概略図である。 本発明の実施例2の装置を示すブロック図である。
本発明の最良の実施例とその効果について、以下図面を参照して説明する。
図3と図4を参照する。図3は本発明の実施例1の方法のフローチャートである。図4は本発明のガウス分布モデルの学習を示す概略図である。
より正確に映像背景を維持するため、本発明の複数のガウス分布モデルを利用して映像背景を維持する方法は、以下のステップを含む。
S10:複数の画素を含む映像画面をキャプチャする。映像画面のキャプチャは例えば監視装置システムに応用できる。監視装置をオンにした後、画面のキャプチャを開始する。この画面は実際には1枚ずつの画像から構成される。各画像は複数の画素から構成される。このため、監視装置をオンにした後に受信した画面からある開始時間を選択し、映像背景構築の初期点とすることができる。
例えば、監視装置が受信した画面が空白の壁面であり、かつその他いかなる移動物や固定物もない状態のときに背景映像の構築を開始すれば、背景映像は空白の壁面となる。背景映像を構築する前に、この壁面上に1枚の絵を掛け、その後背景映像の構築を開始すれば、この背景映像はその絵を含む壁面となる。
S12:背景情報を取得する。背景映像を確定した後、複数の画素から構成される映像背景情報を取得することができる。背景情報はいずれか一種類の色彩表示方式に限定されない。よく見受けられるのはRGBの方式で表示したものであり、このほかYUVやYCbCr方式で表示したものを採用することもできる。
RGBの利用は主に3種類の原色の光を異なる割合で組み合わせ、各色の光を形成するものであり、よく利用される色彩情報表示の方式である。例えば、24ビットのモード下では、各画素を24ビット(bpp)でエンコードしたRGB値が赤色、緑色、青色の強度を表す3つの8ビット符号なし整数(0〜255)を使用して指定される。
YUVは色のエンコード方法の一種である。true−colorの色空間(color space)をコンパイルする種類であり、Y‘UV、YUV、YCbCr、YPbPr等の用語はすべてYUVと呼ぶことができる。「Y」は輝度(Luminance、Luma)、「U」と「V」は色度、濃度(Chrominance、Chroma)を表す。同時に異なる色彩表示方法間は変換を行うこともでき、例えばYUV表示方式をRGB表示方式に変換することができる。
YCbCrは絶対色空間であり、YUVを圧縮かつ偏移させたバージョンである。YCbCrのYとYUVのYは意味が同じであり、CbとCrはUV同様に色彩を指しており、Cbは青色の色度、Crは赤色の色度を表す。上述と同じように、RGBとの間で変換することができる。
S14:背景情報を計算し、メインガウス分布モデルを確立する。ある1つの色彩表示方式を選択した後、各画素上の色彩情報を計算し、ガウス分布モデルを確立する。例えば、RGB表示方式では、背景上の各画素上のRGB情報を計算してガウス分布で表示し、そのうち平均値と共分散を含む。平均値は画素RGB値であり、共分散は前記ガウス分布がカバーする範囲である。各画素上のガウス分布により背景情報全体のメインガウス分布モデルが構成される。
S16:一定時間内の複数の連続映像画面をキャプチャし、画像情報を取得する。背景映像のメインガウス分布モデルを確定した後、このとき一定時間内の映像画面のキャプチャを開始し、画像情報を取得する。一定時間内の映像は、1枚ずつの画像から構成されており、各画像は複数の画素から構成されている。背景情報の取得と同じく、このとき一定時間内にキャプチャされた映像も色彩の表示方式を選択することができる。ただし、この情報は背景情報の確立されたメインガウス分布モデルの学習対象となる可能性があるため、背景情報の色彩表示方式を同じものを選択すると、異なる色彩表示方式間の変換ステップを省略することができる。
S18:画像情報を繰り返しキャプチャし、画像情報を計算して複数のサブガウス分布モデルを確立する。一定時間内にキャプチャされた画像情報を取得した後、この画像情報を計算し、複数のサブガウス分布モデルを確立することができる。メインガウス分布モデルと異なるのは、サブガウス分布モデルが時間に伴って絶え間なく生成される点である。例えば、一定の1秒内にキャプチャされた画像情報を計算してサブガウス分布モデルを得るとき、時間の変化に伴って、1分間に60個のサブガウス分布モデルが確立される。
S20:2つのサブガウス分布モデルを比較し、背景情報に属するか否かを判断する。2つ以上のサブガウス分布モデルを確立した後、2つのサブガウス分布モデルを比較し、両者が共に背景情報に属するか否かを判断することができる。判断方式はそのうち1つのサブガウス分布モデルに含まれる画像情報の平均値がもう1つの照合画像情報の共分散の一定比率中に入るか否かを利用することができる。入る場合、両者共に背景情報に属すると認定され、メインガウス分布モデルがこれに対して学習を行う。入らない場合、学習は行われない。
どの2つのサブガウス分布モデルを選択して比較を行うかは、新しい映像がどのくらい存在したかの認定を背景と認定する際に考慮すべきである。例えば、相隣する2つのサブガウス分布モデルを選択して比較するとき、両者が相隣関係にあるため、時間間隔が比較的短く、このため比較後共に背景情報に属すると認定され、メインガウス分布モデルがこのサブガウス分布モデルに対して学習を行う可能性がより高い。間隔をあけたサブガウス分布モデルを選択して比較すると、時間間隔が比較的長いため、新しい映像がより長い時間存在してはじめて背景情報に属すると判断される可能性があることを表す。
図4に2つの相互に間隔をあけたサブガウス分布モデルの比較を表す概略図を示す。サブガウス分布モデル(A)(B)(C)(D)はすべて、一定の同じ時間内にキャプチャされた連続映像からその画像情報を計算して取得されたものである。時間の変化に伴って確立したサブガウス分布モデル(A)〜(D)を1つの周期と仮定し、サブガウス分布モデル(A)とサブガウス分布モデル(C)を比較し、サブガウス分布モデル(B)とサブガウス分布モデル(D)を比較する。前の一周期のサブガウス分布モデル(C)は次の一周期のサブガウス分布モデル(A)と比較され、時間に伴って絶え間なく照合を行い、映像背景の更新が維持される。
S201:画像情報がすべて背景情報に属する。2つのサブガウス分布モデルを比較し、例えば図4に示すように、2つの相互に間隔をあけたサブガウス分布モデルを比較する。サブガウス分布モデル(C)の画像情報の平均値がサブガウス分布モデル(A)の共分散の一定比率中に入る、またはサブガウス分布モデル(A)の画像情報の平均値がサブガウス分布モデル(C)の共分散の一定比率中に入るとき、両者共に背景情報に属すると認定される。
S203:サブガウス分布モデルでメインガウス分布モデルの学習を更新する。例えば、図4に示すように、2つの相互に間隔をあけたサブガウス分布モデルを比較する。サブガウス分布モデル(A)とサブガウス分布モデル(C)の比較を行った後、背景情報に属すると認定されると、サブガウス分布モデル(A)が背景情報のメインガウス分布モデル中に更新される。サブガウス分布モデル(B)とサブガウス分布モデル(D)の比較を行った後、背景情報に属すると認定されると、サブガウス分布モデル(B)が背景情報のメインガウス分布モデル中に更新される。このように絶え間なく映像背景の更新と学習が維持される。
S205:学習済みのサブガウス分布モデルを削除する。サブガウス分布モデルの確立はメモリのキャッシュファイル中に存在し、メモリの容量不足を回避するため、連続して確立されるサブガウス分布モデルの保存は、学習が完了してメインガウス分布モデルを更新したサブガウス分布モデルがメモリから削除される。例えば、前のステップS203において、サブガウス分布モデル(A)とサブガウス分布モデル(C)の比較後、共に背景情報に属すると認定され、サブガウス分布モデル(A)が背景情報のメインガウス分布モデル中に更新された後、サブガウス分布モデル(A)が削除される。サブガウス分布モデル(C)は次の一周期のサブガウス分布モデル(A)と比較された後、メモリから削除される。
S202:少なくとも1つの画像情報が背景情報に属さない。ステップS20を受けて、2つのサブガウス分布モデルを比較し、そのうち1つのサブガウス分布モデルが含む画像情報の平均値がもう1つの照合画像情報の共分散の一定比率中に入らない場合、少なくとも1つの画像情報が背景情報に属さないと認定される。
S204:メインガウス分布モデルの学習を更新しない。前のステップS202を受けて、このときメインガウス分布モデルはいかなる更新動作も行わない。
S206:比較が完了したサブガウス分布モデルを削除する。例えば2つの相互に間隔をあけた2つのサブガウス分布モデルを比較し、サブガウス分布モデル(A)とサブガウス分布モデル(C)の比較を行った後、背景情報に属さないと認定されたとき、サブガウス分布モデル(A)がメモリから削除される。サブガウス分布モデル(C)は次の一周期のサブガウス分布モデル(A)と比較された後、メモリから削除される。
図3と図5を参照する。図3は本発明の実施例1の方法のフローチャートである。図5はフレーム間差分法(Frame Difference)の原理を示す概略図である。
複数のガウス分布モデルを利用して映像背景を維持する方法は、ステップS14においてメインガウス分布モデルを確立した後、さらにフレーム間差分法の利用を含むことができ、メインガウス分布モデルの学習時に移動物体の辺縁を含めず、誤った判断の発生を回避する。
この方法は上述の背景モデル確立と同時にFrame Differenceを行い、結果は図5の右図のようになり、移動物体の辺縁が得られ、このブロックを記録し、背景学習時にこの区域を含めないことで、前景の辺縁と背景が接近した色彩が侵入することによる背景更新のエラーを効果的に防止することができる。残りのステップは実施例1と同じであり、ここでは説明を省略する。
図6を参照する。図6は本発明の実施例2の装置を示すブロック図である。本発明の複数のガウス分布モデルを利用して映像の背景を維持する装置3は、キャプチャモジュール30、計算モジュール32、保存モジュール34、学習モジュール36を含む。
キャプチャモジュール30は複数の画素を含む映像画面をキャプチャし、背景情報の取得に用いると共に、一定時間内の複数の連続した前記映像画面をキャプチャし、複数の画像情報の取得に用いる。例えば、監視装置に応用した場合、キャプチャモジュール30を利用して映像画面をキャプチャする。キャプチャした映像画面を解析して始めに確立する背景情報と、新しい物体が進入した後の複数の画像情報を得ることができる。
背景情報と画像情報は実際には1枚ずつの画像から構成された映像であり、これらの画像は複数の画素から構成されている。各画素は色彩表示の方法を選択することができ、例えばよく見受けられるRGB色彩表示方法や、YUV、YCbCr等がある。これらの表示方法間は相互に変換することもでき、いずれか一種類の表示方式の選択に限定されない。
前記計算モジュール32は前記キャプチャモジュール30に接続され、前記キャプチャモジュール30が取得した情報が前記計算モジュール32に送信され、前記計算モジュール32により背景情報を計算し、メインガウス分布モデルを確立すると共に、前記画像情報を計算して複数のサブガウス分布モデルを確立する。例えば、RGB方式での表示を選択したとき、確立されるガウス分布モデル内のガウス分布は平均値と共分散情報を含む。
前記保存モジュール34は前記計算モジュール32に接続され、前記計算モジュール32が確立したメインガウス分布モデルと前記サブガウス分布モデルがその内部に保存される。
前記学習モジュール36は前記保存モジュール34に接続され、前記保存モジュール34との間は双方向通信とする。まず前記保存モジュール34から2つのサブガウス分布モデルを取り出し、その後前記学習モジュール36を通して比較を行い、この2つのサブガウス分布モデルの対応する画像情報がすべて背景情報に属すると判断したとき、前記サブガウス分布モデルで前記メインガウス分布モデルの学習を更新し、かつ更新学習結果を前記保存モジュール34に送信し、更新後のメインガウス分布モデルの対応する映像背景情報を保存する。2つのサブガウス分布モデルの対応する画像情報のすくなくとも1つが背景情報ではないと判断したときは、メインガウス分布モデルの学習を更新せず、前記メインガウス分布モデルの背景情報が維持される。
判断方法はそのうち1つのサブガウス分布モデルが含む画像情報の平均値がもう1つの照合画像情報の共分散の一定比率中に入るか否かである。入る場合、両者共に背景情報に属すると認定され、メインガウス分布モデルがこれに対して学習を行う。入らない場合、学習は行われない。
比較する2つのサブガウス分布モデルの選択は、相隣する2つまたは相互に間隔をあけた2つのサブガウス分布モデルを選択して比較を行うことができ、その考慮点は実施例1と同じであるため、ここでは説明を省略する。
従来の混合ガウスにおいて、画素が前景に属するか、背景に属するかを問わず、背景は各画像のすべての画素に対して学習が行われる。このため、存在時間が長すぎる前景は背景の更新学習に誤った判断を引き起こす。本発明が提示する方法と装置で学習を行えば、メインガウス分布の学習と前景を隔絶でき、背景の学習が前景の影響を受けにくくなるため、メインガウス分布モデルの背景に対する学習がより精確になり、前景の分割で誤った判断が発生する確率を減少することができる。
本発明の技術内容について最良の実施例を上記のように開示したが、これらの実施例は本発明を限定するものではなく、関連技術を熟知した人物が本発明の要旨を逸脱せずに実施する幾許かの変化や修飾はすべて本発明の範疇内に含まれる。このため、本発明の保護範囲は後付の特許請求の範囲に準じる。
3 装置本体
30 キャプチャモジュール
32 計算モジュール
34 保存モジュール
36 学習モジュール

Claims (19)

  1. 複数のガウス分布モデルを備えた映像の背景を維持する方法であって、
    a、複数の画素を含む映像画面をキャプチャし、背景情報を取得するステップ、
    b、前記背景情報を計算してメインガウス分布モデルを確立するステップ、
    c、一定時間内の複数の連続した前記映像画面をキャプチャし、画像情報の取得に用い、かつ前記画像情報を計算してサブガウス分布モデルを確立するステップ、
    d、ステップcを繰り返し、複数の前記サブガウス分布モデルを確立するステップ、
    e、2つの前記サブガウス分布モデルを比較して前記サブガウス分布モデルの対応する画像情報がすべて前記背景情報に属すると判断したとき、前記サブガウス分布モデルで前記メインガウス分布モデルの学習を更新し、前記サブガウス分布モデルの対応する画像情報の少なくとも1つが前記背景情報ではないと判断したとき、前記メインガウス分布モデルの学習を更新せず、前記メインガウス分布モデルの前記背景情報を維持するステップ、
    を含むことを特徴とする、
    複数のガウス分布モデルを備えた映像の背景を維持する方法。
  2. 前記背景情報と前記画像情報が、YUVガウス分布で表示されることを特徴とする、請求項1に記載の複数のガウス分布モデルを備えた映像の背景を維持する方法。
  3. 前記背景情報と前記画像情報が、YCbCrガウス分布で表示されることを特徴とする、請求項1に記載の複数のガウス分布モデルを備えた映像の背景を維持する方法。
  4. 前記背景情報と前記画像情報が、RGBガウス分布で表示されることを特徴とする、請求項1に記載の複数のガウス分布モデルを備えた映像の背景を維持する方法。
  5. 前記RGBガウス分布が、平均値と共分散を含み、前記平均値が前記画素のRGB値であり、前記共分散が前記画素の前記RGBガウス分布がカバーする範囲であることを特徴とする、請求項4に記載の複数のガウス分布モデルを備えた映像の背景を維持する方法。
  6. 前記サブガウス分布モデルの対応する画像情報がすべて前記背景情報に属するか否かの判断が、そのうち1つの前記画像情報の前記平均値がもう1つの画像情報の前記共分散の一定比率の中に入ることを指すことを特徴とする、請求項5に記載の複数のガウス分布モデルを備えた映像の背景を維持する方法。
  7. 前記2つのサブガウス分布モデルの比較が、相隣する前記サブガウス分布モデルの比較を指すことを特徴とする、請求項1に記載の複数のガウス分布モデルを備えた映像の背景を維持する方法。
  8. 前記2つのサブガウス分布モデルの比較が、相互に間隔をあけた前記サブガウス分布モデルの比較を指すことを特徴とする、請求項1に記載の複数のガウス分布モデルを備えた映像の背景を維持する方法。
  9. 前記ステップbの後に、フレーム間差分法(Frame Difference)を利用して移動物体の辺縁を取得し、前記移動物体の辺縁を記録した後、前記メインガウス分布モデルが学習を行うとき、前記移動物体の辺縁を含めないことを特徴とする、請求項1に記載の複数のガウス分布モデルを備えた映像の背景を維持する方法。
  10. 前記フレーム間差分法の利用が、前記映像画面中で現在のフレームと基準フレームを確立し、かつ二者間の前記画素の差分を計算することを特徴とする、請求項9に記載の複数のガウス分布モデルを備えた映像の背景を維持する方法。
  11. 前記サブガウス分布モデルで前記メインガウス分布モデルの学習を更新した後、前記サブガウス分布モデルを削除することを特徴とする、請求項1に記載の複数のガウス分布モデルを備えた映像の背景を維持する方法。
  12. 複数のガウス分布モデルを備えた映像の背景を維持する装置であって、キャプチャモジュール、計算モジュール、保存モジュール、学習モジュールを含み、
    前記キャプチャモジュールが、複数の画素を含む映像画面をキャプチャし、背景情報の取得に用いられると共に、一定時間内の複数の連続した前記映像画面をキャプチャし、複数の画像情報の取得に用いられ、
    前記計算モジュールが前記キャプチャモジュールに接続され、前記背景情報を計算してメインガウス分布モデルを確立すると共に、前記画像情報を計算して複数のサブガウス分布モデルを確立し、
    前記保存モジュールが前記計算モジュールに接続され、確立した前記メインガウス分布モデルと前記サブガウス分布モデルを保存し、
    前記学習モジュールが前記保存モジュールに接続され、前記保存モジュールとの間が双方向通信であり、2つの前記サブガウス分布モデルを比較して前記サブガウス分布モデルの対応する画像情報がすべて前記背景情報に属すると判断したとき、前記サブガウス分布モデルで前記メインガウス分布モデルの学習を更新して、更新した学習結果を前記保存モジュールに保存し、前記サブガウス分布モデルの対応する画像情報のすくなくとも1つが前記背景情報ではないと判断したとき、前記メインガウス分布モデルの学習を更新せず、前記メインガウス分布モデルの前記背景情報を維持することを特徴とする、複数のガウス分布モデルを備えた映像の背景を維持する装置。
  13. 前記背景情報と前記画像情報が、YUVガウス分布で表示されることを特徴とする、請求項12に記載の複数のガウス分布モデルを備えた映像の背景を維持する装置。
  14. 前記背景情報と前記画像情報が、YCbCrガウス分布で表示されることを特徴とする、請求項12に記載の複数のガウス分布モデルを備えた映像の背景を維持する装置。
  15. 前記背景情報と前記画像情報が、RGBガウス分布で表示されることを特徴とする、請求項12に記載の複数のガウス分布モデルを備えた映像の背景を維持する装置。
  16. 前記RGBガウス分布が、平均値と共分散を含み、前記平均値が前記画素のRGB値であり、前記共分散が前記画素の前記RGBガウス分布がカバーする範囲であることを特徴とする、請求項15に記載の複数のガウス分布モデルを備えた映像の背景を維持する装置。
  17. 前記サブガウス分布モデルの対応する画像情報がすべて前記背景情報に属するか否かの判断が、そのうち1つの前記画像情報の前記平均値がもう1つの画像情報の前記共分散の一定比率の中に入ることを指すことを特徴とする、請求項16に記載の複数のガウス分布モデルを備えた映像の背景を維持する装置。
  18. 前記2つのサブガウス分布モデルの比較が、相隣する前記サブガウス分布モデルの比較を指すことを特徴とする、請求項12に記載の複数のガウス分布モデルを備えた映像の背景を維持する装置。
  19. 前記2つのサブガウス分布モデルの比較が、相互に間隔をあけた前記サブガウス分布モデルの比較を指すことを特徴とする、請求項12に記載の複数のガウス分布モデルを備えた映像の背景を維持する装置。
JP2009202606A 2009-02-25 2009-09-02 複数のガウス分布モデルを利用して映像の背景を維持する方法と装置 Active JP5352859B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW098105948A TWI376648B (en) 2009-02-25 2009-02-25 Method and device for keeping image background by multiple gauss models
TW098105948 2009-02-25

Publications (2)

Publication Number Publication Date
JP2010200295A true JP2010200295A (ja) 2010-09-09
JP5352859B2 JP5352859B2 (ja) 2013-11-27

Family

ID=42356778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009202606A Active JP5352859B2 (ja) 2009-02-25 2009-09-02 複数のガウス分布モデルを利用して映像の背景を維持する方法と装置

Country Status (4)

Country Link
US (1) US8218864B2 (ja)
JP (1) JP5352859B2 (ja)
DE (1) DE102009028472A1 (ja)
TW (1) TWI376648B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130069953A1 (en) * 2011-09-20 2013-03-21 F-Secure Corporation User Interface Feature Generation
US9202116B2 (en) * 2013-10-29 2015-12-01 National Taipei University Of Technology Image processing method and image processing apparatus using the same
US9418426B1 (en) * 2015-01-27 2016-08-16 Xerox Corporation Model-less background estimation for foreground detection in video sequences
US9946951B2 (en) * 2015-08-12 2018-04-17 International Business Machines Corporation Self-optimized object detection using online detector selection
TWI569212B (zh) * 2015-12-10 2017-02-01 財團法人工業技術研究院 影像辨識方法
CN111401280A (zh) * 2020-03-23 2020-07-10 上海电力大学 一种基于灰度共生矩阵调整学习率的图像识别方法
CN111652414B (zh) * 2020-05-20 2023-05-05 浙江大学 基于高斯混合模型的滑窗pca高炉异常监测方法
CN112738476A (zh) * 2020-12-29 2021-04-30 上海应用技术大学 基于机器学习算法的城市风险监控网络系统和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0535874A (ja) * 1991-07-29 1993-02-12 Nippon Telegr & Teleph Corp <Ntt> 物体像の抽出処理方法
JP2008544334A (ja) * 2005-06-27 2008-12-04 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド シーンをモデル化する方法
JP2009031939A (ja) * 2007-07-25 2009-02-12 Advanced Telecommunication Research Institute International 画像処理装置、画像処理方法及び画像処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6999600B2 (en) * 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
US7418113B2 (en) * 2005-04-01 2008-08-26 Porikli Fatih M Tracking objects in low frame rate videos
US7664329B2 (en) * 2006-03-02 2010-02-16 Honeywell International Inc. Block-based Gaussian mixture model video motion detection
US7783075B2 (en) * 2006-06-07 2010-08-24 Microsoft Corp. Background blurring for video conferencing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0535874A (ja) * 1991-07-29 1993-02-12 Nippon Telegr & Teleph Corp <Ntt> 物体像の抽出処理方法
JP2008544334A (ja) * 2005-06-27 2008-12-04 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド シーンをモデル化する方法
JP2009031939A (ja) * 2007-07-25 2009-02-12 Advanced Telecommunication Research Institute International 画像処理装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
JP5352859B2 (ja) 2013-11-27
US8218864B2 (en) 2012-07-10
US20100215256A1 (en) 2010-08-26
TW201032180A (en) 2010-09-01
TWI376648B (en) 2012-11-11
DE102009028472A1 (de) 2010-08-26

Similar Documents

Publication Publication Date Title
JP5352859B2 (ja) 複数のガウス分布モデルを利用して映像の背景を維持する方法と装置
JP6445775B2 (ja) 画像処理装置、画像処理方法
US9105122B2 (en) Image processing apparatus and image processing method
US10025988B2 (en) Anomalous pixel detection
JP2008085996A (ja) 光源推定方法および装置
CN112788329A (zh) 视频静帧检测方法、装置、电视及存储介质
US9832395B2 (en) Information processing method applied to an electronic device and electronic device having at least two image capturing units that have the same image capturing direction
WO2020119454A1 (zh) 一种对图像进行颜色还原的方法和装置
KR101854432B1 (ko) 역광 프레임을 검출하고, 보정하는 방법 및 장치
CN109788290A (zh) 影像处理装置及利用帧内预测的无损影像压缩方法
US9092661B2 (en) Facial features detection
WO2009026966A1 (en) Method of estimating illumination change of images for object detection
US20140118622A1 (en) Dct based black frame detection using varying block size
WO2021008187A1 (zh) 显示界面切换功能的检测方法及系统
JP2016046701A (ja) 画像処理装置、画像処理方法、及び、プログラム
CN101833769B (zh) 利用多个高斯模型以维持图像背景的方法与装置
EP3979195B1 (en) Image processing method and program
KR101025651B1 (ko) 영상 객체 인식 장치 및 방법
JP6257292B2 (ja) 画像処理装置、その制御方法、および制御プログラム
CN115880236A (zh) 一种摄像头内部外部参数异常的检测方法
JP2005122571A (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP4282512B2 (ja) 画像処理装置、画像処理装置における2値化閾値管理方法及び画像処理プログラム
CN104702878B (zh) 基于HDMI协议下区分OSD和Video信号的方法
TWI462576B (zh) 固定圖案的邊緣偵測方法與電路
KR20190036486A (ko) 개선된 지역 방향 패턴 기반 비디오 샷 경계 검출 방법, 이를 이용한 셋톱박스 품질 검사 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130723

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130806

R150 Certificate of patent or registration of utility model

Ref document number: 5352859

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250