JP2001155163A - 移動物体切り出し装置 - Google Patents

移動物体切り出し装置

Info

Publication number
JP2001155163A
JP2001155163A JP33656599A JP33656599A JP2001155163A JP 2001155163 A JP2001155163 A JP 2001155163A JP 33656599 A JP33656599 A JP 33656599A JP 33656599 A JP33656599 A JP 33656599A JP 2001155163 A JP2001155163 A JP 2001155163A
Authority
JP
Japan
Prior art keywords
image
difference
moving object
frame
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP33656599A
Other languages
English (en)
Inventor
Akimichi Tanaka
明通 田中
Yasushi Kitani
靖 木谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Communications Corp
Original Assignee
NTT Communications Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Communications Corp filed Critical NTT Communications Corp
Priority to JP33656599A priority Critical patent/JP2001155163A/ja
Publication of JP2001155163A publication Critical patent/JP2001155163A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 移動物体のゆっくりした移動や一時的な停止
の影響、ノイズによる小刻みな画素値の変動の影響など
を受けずに安定に背景画像を生成し、移動物体の画像の
みを適確に切り出すことができる移動物体切り出し装置
を提供する。 【解決手段】 平均値からのずれが大きい画素値を特異
データ除去手段3で特異データとして除去し、残りの画
素値の変動を近似する近似式を算出して求めた近似式表
現パラメータとフレーム番号から背景画像を合成し、こ
の背景画像との差分画像を背景差分算出手段9で算出
し、差分画像の画素値を分析して差分主成分ベクトルを
差分主成分算出手段11で求め、差分画像から差分主成
分ベクトル方向の成分を除去し、残りの成分が大きい個
所を残すマスクを入力映像の各フレームに適用して移動
物体映像のみを切り出す。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、固定背景中に移動
物体が写された映像を入力とし、この入力映像から移動
物体の映像のみを残し、それ以外の映像を消去して生成
される移動物体の映像のみを切り出して出力する移動物
体切り出し装置に関する。
【0002】
【従来の技術】従来、固定背景中に移動物体が写された
映像の中から移動物体の映像のみを切り出す処理は、入
力映像中のフレーム間の差分を求めることにより行われ
ている(例えば、安居院猛、中嶋正之:画像情報処理、
pp.146-148、森北出版(1991)参照)。
【0003】また、自動車の映像を対象とするものであ
って、初期背景画像を生成し、この初期背景画像をもと
に背景画像を更新しつつ、背景画像と入力画像の差分お
よび入力画像のエッジを用いて、移動物体である自動車
の領域を切り出す方法も提案されている(高藤政雄、北
村忠明、小林芳樹:空間微分および差分処理を用いた車
両抽出法、電子情報通信学会論文誌、D-II Vol.J80-D-I
I,No.11,pp.2976-2985(1997年11月)参照)。
【0004】
【発明が解決しようとする課題】上述した従来技術のう
ち、最初に記載した方法では、移動物体がゆっくり動い
たり停止したりすると、移動物体の領域が分離したり、
抽出できなくなるという問題がある。
【0005】また、背景画像との差分を用いる後者の方
法では、最初の方法で生じた問題は生じないが、初期背
景画像が先頭の短時間の映像から生成され、背景画像更
新の際には1つのフレームの画素値を用いて更新を行う
ので、画素値の変動をフレーム順に追いかけてノイズに
よる小刻みな画素値の変動の影響を取り除くということ
は行われていないため、作成される背景画像が不安定に
なるという問題がある。
【0006】更に、背景画像画素値のフレーム毎の変動
の大きさは画像上の場所により異なり、移動物体上の点
であるのかまたは背景上の点であるのかを判断するため
のしきい値を設定することが困難であるという問題があ
る。
【0007】本発明は、上記に鑑みてなされたもので、
その目的とするところは、移動物体のゆっくりした移動
や一時的な停止の影響、ノイズによる小刻みな画素値の
変動の影響などを受けずに安定に背景画像を生成し、移
動物体の画像のみを適確に切り出すことができる移動物
体切り出し装置を提供することにある。
【0008】
【課題を解決するための手段】上記目的を達成するた
め、請求項1記載の本発明は、固定背景中に移動物体が
写されたカラー映像を入力とし、この入力映像から移動
物体の映像のみを残し、それ以外の映像を消去して移動
物体の映像のみを切り出す移動物体切り出し装置であっ
て、前記入力映像を構成する複数のフレームを複数の区
間に分割する区間分割手段と、各区間に属するフレーム
に対して同一位置の点の画素値をフレーム順に追いかけ
て、平均値からのずれが大きい画素値を特異データとし
て除去する特異データ除去手段と、各区間毎に画像上の
各位置に対して前記特異データを除去した残りの画素値
の変動を近似する近似式を算出し、近似式表現パラメー
タを出力する画素値変動近似式算出手段と、前記近似式
表現パラメータとフレーム番号から背景画像を合成する
背景画像合成手段と、入力映像中の各フレームと該フレ
ームに対応する前記合成された背景画像との差分画像を
算出する背景差分算出手段と、この算出された差分画像
の画素値を分析し、差分の主成分を算出して、差分主成
分ベクトルを出力する差分主成分算出手段と、前記差分
画像から前記差分主成分ベクトル方向の成分を除去し、
残りの成分が所定の値より大きい個所のみを残すための
マスクを作成し、このマスクを入力映像の各フレームに
適用して移動物体切り出し映像を出力する移動物体マス
ク手段とを有することを要旨とする。
【0009】請求項1記載の本発明にあっては、平均値
からのずれが大きい画素値を特異データとして除去し、
特異データを除去した残りの画素値の変動を近似する近
似式を算出して近似式表現パラメータを求め、近似式表
現パラメータとフレーム番号から背景画像を合成し、各
フレームと対応する背景画像との差分画像を算出し、こ
の差分画像の画素値を分析し、差分の主成分を算出して
差分主成分ベクトルを求め、差分画像から差分主成分ベ
クトル方向の成分を除去し、残りの成分が大きい個所を
残すマスクを作成し、このマスクを入力映像の各フレー
ムに適用して移動物体映像のみを切り出しているため、
移動物体がゆっくり移動したり一時的に停止してもその
領域を適確に切り出すことができ、またノイズによる小
刻みな画素値の影響をできるだけ受けずに安定して背景
画像を生成でき、更に背景画像と入力画像の差分画像か
ら移動物体領域を切り出す際に画像上の位置による特性
の違いの影響をできるだけ受けずに移動物体の領域を切
り出すことができる。
【0010】また、請求項2記載の本発明は、固定背景
中に移動物体が写されたカラー映像を入力とし、この入
力映像から移動物体の映像のみを残し、それ以外の映像
を消去して移動物体の映像のみを切り出す移動物体切り
出し装置であって、入力映像を構成するフレームとして
1フレームずつ順に入力されるフレームを所定数蓄積す
る入力フレーム蓄積手段と、この蓄積された複数のフレ
ームに対して同一位置の点の画素値をフレーム順に追い
かけて、平均値からのずれが大きい画素値を特異データ
として除去する特異データ除去手段と、画像上の各位置
に対して前記特異データを除去した残りの画素値の変動
を近似する近似式を算出し、近似式表現パラメータを出
力する画素値変動近似式算出手段と、前記近似式表現パ
ラメータとフレーム番号から背景画像を合成する背景画
像合成手段と、入力映像中の各フレームと該フレームに
対応する前記合成された背景画像との差分画像を算出す
る背景差分算出手段と、この算出された差分画像の画素
値を分析し、差分の主成分を算出して、差分主成分ベク
トルを出力する差分主成分算出手段と、前記差分画像か
ら前記差分主成分ベクトル方向の成分を除去し、残りの
成分が所定の値より大きい個所のみを残すためのマスク
を作成し、このマスクを入力映像の各フレームに適用し
て移動物体切り出し映像を出力する移動物体マスク手段
と、前記移動物体マスク手段によって前記差分主成分ベ
クトル方向の成分の除去された残りの成分が小さく、背
景上の点と判断される点の画素値を用いて、前記近似式
表現パラメータを更新する近似式更新手段とを有するこ
とを要旨とする。
【0011】請求項2記載の本発明にあっては、平均値
からのずれが大きい画素値を特異データとして除去し、
特異データを除去した残りの画素値の変動を近似する近
似式を算出して近似式表現パラメータを求め、近似式表
現パラメータとフレーム番号から背景画像を合成し、各
フレームと対応する背景画像との差分画像を算出し、こ
の差分画像の画素値を分析し、差分の主成分を算出して
差分主成分ベクトルを求め、差分画像から差分主成分ベ
クトル方向の成分を除去し、残りの成分が大きい個所を
残すマスクを作成し、このマスクを入力映像の各フレー
ムに適用して移動物体映像のみを切り出している場合に
おいて差分主成分ベクトル方向の成分の除去された残り
の成分が小さく、背景上の点と判断される点の画素値を
用いて、近似式表現パラメータを更新するため、フレー
ムの変化に応じて変化する背景画像を作成することがで
き、ノイズによる画像値の細かな変動による影響を低減
することができるとともに、またノイズによる画像値の
細かな変動の大きさが画像上の位置によって異なる影響
を低減することができる。
【0012】
【発明の実施の形態】以下、図面を用いて本発明の実施
の形態を説明する。図1は、本発明の第1の実施形態に
係る移動物体切り出し装置の構成を示すブロック図であ
る。同図に示す移動物体切り出し装置は、フレーム0か
らフレームN−1からなるカラー映像を入力され、この
入力映像から移動物体のみを切り出した映像を出力する
装置であって、区間分割手段1、特異データ除去手段
3、画素値変動近似式算出手段5、背景画像合成手段
7、背景差分算出手段9、差分主成分算出手段11およ
び移動物体マスク手段から構成されている。
【0013】図2は、図1に示した移動物体切り出し装
置の要部の構成を更に詳しく示したブロック図である
が、図2に示すように、特異データ除去手段3は、区間
内平均値・分散算出手段3a、偏差算出手段3b、特異
度評価手段3cから構成され、画素値変動近似式算出手
段5は、画素値データ蓄積手段5a、近似パラメータ算
出手段5bから構成され、差分主成分算出手段11は、
差分共分散行列算出手段11a、共分散行列固有値計算
手段11bから構成され、また移動物体マスク手段は、
差分主成分方向除去手段13a、移動物体領域決定手段
13bから構成されている。
【0014】区間分割手段1は、入力映像のフレーム0
からN−1を一括して与えられると、これらのフレーム
を複数の区間に分割する。一例として区間分割数を3と
すると、区間分割手段1は、フレーム0からN−1を次
のように区間1,2,3に分割する。
【0015】
【数1】 区間1:フレーム0,1,…,i1 区間3:フレームi1 +1,i1 +2,…,i2 区間4:フレームi2 +1,i2 +2,…,N−1 今、画像上の2つの異なる点(x1 ,y1 ),(x2
2 )の画素値R,G,Bをフレーム順に追いかける
と、図3(a),(b)にそれぞれ示すようなグラフに
なる。この中でP1 ,P2 ,…,P12のように値が大幅
に変化している点は、この画像上の位置を移動物体が通
過したことを示していることになる。また、画素値は全
体として緩やかに変化しており、この緩やかな変化は日
光等の照明条件の変化によるものである。変化の仕方は
RGBによって異なり、図3(a),(b)を比較する
とわかるように、画像上の位置によっても異なる。更
に、ノイズによる小刻みな画素値の変動が生じている。
変動の大きさは、画像上の位置によって異なっている。
【0016】特異データ除去手段3は、値が大幅に変化
しているデータを除去する。すなわち、特異データ除去
手段3は、各区間に属するフレームに対して同一位置の
点の画素値をフレーム順に追いかけて、平均値からのず
れが大きい画素値を特異データとして除去する。例え
ば、区間において画像上の点(x,y)毎にR,G,B
値の平均値mR ,mG ,mB と分散vR ,vG ,vB
区間内平均値・分散算出手段3aで計算する。画素値x
(x=R,G,B)が(x−mx 2 >k・vxとなる
場合に特異度評価手段3cで特異データと判断して除去
する。
【0017】更に詳しくは、図4にフローチャートとし
て示すように、各区間i内に属するフレームに対して、
画像上の点(x,y)毎に次の処理を繰り返し行う(ス
テップS41,S42)。すなわち、画像上の点(x,
y)毎にR,G,B値の平均値mR ,mG ,mB と分散
R ,vG ,vB を区間内平均値・分散算出手段3aで
計算する(ステップS45)。また、偏差算出手段3b
で偏差を計算する。ここで、画像の解像度をw×hとす
ると、x=0,1,…,w−1、およびy=0,1,
…,h−1である。そして、特異度評価手段3cにおい
て、各画素値R,G,Bに対して次式を計算する。
【0018】 そして、これらの式のいずれかが成り立つ場合には、点
(x,y)でのデータは特異データとして判断して除去
する(ステップS46)。なお、ここでkはある定数で
ある。そして、この処理を、除去するデータがなくなる
まで繰り返し行う(ステップS43)。
【0019】次に、画素値変動近似式算出手段5におい
ては、区間毎に特異データ除去手段3によって値が大幅
に変化しているデータが取り除かれた残りのデータに対
して、それらのデータに対してできるだけ当てはまる近
似式を算出し、近似式表現パラメータを保存する。な
お、近似式の算出方法には例えば一次式による近似、二
次式による近似などが考えられる。一次式による近似を
行った場合を図5(a),(b)に示す。
【0020】更に詳細には、図6にフローチャートとし
て示すように、各区間i内に属するフレームに対して、
画像上の点(x,y)毎に次の処理を繰り返し行う(ス
テップS61,S62)。すなわち、特異データ除去手
段3により特異データの除去された残りのデータに対し
て、画素値データ蓄積手段5aにより画像上の点(x,
y)毎にフレーム番号iと画素値R,G,Bの対応を蓄
積する(ステップS63)。
【0021】次に、一次式を用いた近似を行うこととす
ると、近似パラメータ算出手段5bは、まず次に示す和
を算出する(ステップS64)。
【0022】 次に
【数2】 を計算し、近似式表現パラメータaR ,bR ,aG ,b
G ,aB ,bB を保存する(ステップS65)。ここ
で、nは特異データを除いた残りのサンプル数である。
近似式は一次式で表され、 となる。
【0023】次に、背景画像合成手段7では、フレーム
番号が与えられると、画素値変動近似式算出手段5で算
出した近似式表現パラメータを用いて、与えられたフレ
ーム番号に対応する背景画像を生成する。
【0024】図7に示すフローチャートを参照して、背
景画像合成手段7の詳細な処理について説明する。背景
画像合成手段7では、対象とするフレーム番号iが与え
られると、このフレームが属する区間pを決定する(ス
テップS71)。それから、画像上の点(x,y)(x
=0,1,…,w−1;y=0,1,…,h−1)毎に
以下の処理を繰り返し行う(ステップS72)。すなわ
ち、画像上の点(x,y)毎に区間pに対応した近似式
表現パラメータaR ,bR ,aG ,bG ,aB,bB
取得し(ステップS73)、上述した近似式(4)によ
り背景画像上の画素値R,G,Bを決定し、背景画像i
を作成する(ステップS74)。
【0025】次に、背景差分算出手段9においては、入
力映像の各フレームiに対して対応する背景画像iとの
差分を算出して、差分画像iを作成する。差分画像の画
素値ΔR,ΔG,ΔBの二乗和をフレーム順にプロット
すると、図8(a),(b)に示すようになり、背景上
の点であってもノイズの影響で小刻みに変動している。
ここで、図8(a),(b)は、画像上の2つの異なる
点(x1 ,y1 ),(x2 ,y2 )に対する結果を示し
ている。同図からわかるように、変動の大きさは、画像
上の点によって異なり、二乗和が大きい点を移動物体上
の点と判断するためのしきい値の設定が困難になってい
る。
【0026】ここで、差分画像の画素値ΔR,ΔG,Δ
Bの値をプロットすると、図9に示すように、一定方向
に大きな広がりを持った分布となる。そこで、差分主成
分算出手段11では、この広がりが大きくなる方向を求
め、差分主成分ベクトルとして保存する。すなわち、差
分主成分算出手段11は、背景差分算出手段9で作成し
た差分画像の画素値を解析し、差分の主成分を算出し
て、差分主成分ベクトルを出力する。
【0027】更に詳しくは、図10にフローチャートと
して示すように、差分主成分算出手段11の差分共分散
行列算出手段11aでは、差分画像iに対して各画像上
の点(x,y)について以下の処理を繰り返し行う(ス
テップS101,S103)。すなわち、差分共分散行
列算出手段11aにおいて差分画像i(i=0,1,
…,N−1)の各画素ΔR,ΔG,ΔBに対して特異デ
ータを除いた残りのデータについて次式の和を計算す
る。
【0028】 それから、この計算した和をもとに共分散行列Covを次
式のように計算する(ステップS107)。
【0029】
【数3】 ここで、mは、特異データを除いた残りのデータ数であ
る。共分散行列固有値計算手段11bでは、共分散行列
Covの固有値および固有ベクトルを計算し(ステップS
109)、最大の固有値に対応する固有ベクトルを差分
主成分ベクトルとする(ステップS111)。
【0030】次に、移動物体マスク手段13では、背景
差分算出手段9で作成された差分画像に対して前記差分
主成分ベクトル方向の成分を除去し、残りの成分が大き
い個所のみを残すためのマスクを作成し、このマスクを
各フレームに適用して移動物体切り出し映像を出力す
る。
【0031】すなわち、移動物体マスク手段13は、ま
ず差分画像の画素値ベクトルd=(ΔR,ΔG,ΔB)
T から差分主成分ベクトル方向の成分を取り除く。この
処理を行った後のベクトルd’の絶対値をプロットする
と、図11に示すようになり、点(x1 ,y1 )と(x
2 ,y2 )による変動の違いが低減される。
【0032】そこで、移動物体マスク手段13では、ベ
クトルd’の絶対値が一定値以上の個所を残すマスクを
作成し、このマスクを入力映像の各フレームに適用する
ことにより移動物体切り出し映像を作成することができ
る。
【0033】更に詳しくは、移動物体マスク手段13
は、図12にフローチャートとして示すように、入力映
像の各フレームiに対して画像上の点(x,y)につい
て下記の処理を繰り返し行う(ステップS121,S1
23)。すなわち、移動物体マスク手段13は、まず点
(x,y)における差分画素値ベクトルをd=(ΔR,
ΔG,ΔB)t と表す。それから、主成分方向ベクトル
をpとし、|p|=1のように正規化されているものと
する。差分主成分方向除去手段13aでは、 d’=d−(d,p)p を計算して、差分主成分方向を除去する(ステップS1
25)。
【0034】次に、移動物体領域決定手段13bでは、
上述したように差分主成分ベクトル方向の成分を除去し
た差分画素値ベクトルd’を所定のしきい値θと比較
し、|d’|≧θが成り立つか否かを判定して、成り立
つ場合には、移動物体切り出しマスクの(x,y)の画
素値を1とし、|d’|<θである場合には、画素値を
0とする(ステップS127)。そして、このマスクを
フレームiに対して適用し、移動物体切り出し画像iを
作成する(ステップS129)。
【0035】次に、上述したように構成され作用する本
実施形態の移動物体切り出し装置の動作を図13〜図1
5に示すフローチャートを参照して全体的に説明する。
【0036】本実施形態の移動物体切り出し装置は、入
力映像のフレーム0からN−1を入力されると(ステッ
プS131)、区間分割手段1はこれらのフレームを複
数の区間1,2,…に分割する(ステップS133)。
そして、以下の処理を各区間i(i=1,2,…)に対
して繰り返し行う(ステップS135)。
【0037】すなわち、特異データ除去手段3において
は、画素値が大幅に変化しているデータを除去するため
に、区間毎に画素値R,G,Bの平均値mR ,mG ,m
B と分散vR ,vG ,vB を区間内平均値・分散算出手
段3aで計算し、画素値x(x=R,G,B)が(x−
x 2 >k・vx となる場合、すなわち画素値R,
G,Bが所定値より大きい場合を特異度評価手段3cで
特異データと判断して除去する(ステップS137)。
【0038】次に、画素値変動近似式算出手段5では、
上述したように画素値が大幅に変化している特異データ
を除去した残りのデータに対してできるだけ当てはまる
近似式を算出し、近似式表現パラメータを保存する(ス
テップS139)。
【0039】一方、背景画像合成手段7では、入力映像
のフレーム番号i(i=0,1,…,N−1)が与えら
れると、各フレームiに対して下記の処理を繰り返し行
う(ステップS141)。すなわち、背景画像合成手段
7は、画素値変動近似式算出手段5で算出した近似式表
現パラメータを用いて、与えられたフレーム番号iに対
応する背景画像iを生成する(ステップS143)。
【0040】このように背景画像が生成されると、次に
背景差分算出手段9は、入力映像の各フレームiに対し
て対応する背景画像iとの差分を算出して、差分画像i
を作成して蓄積する(ステップS145)。
【0041】次に、差分主成分算出手段11において、
背景差分算出手段9で蓄積された差分画像における画素
値ΔR,ΔG,ΔBの広がりが大きくなる方向を差分主
成分ベクトルとして算出して保存する(ステップS14
7)。
【0042】次に、移動物体マスク手段13では、差分
画像の画素値ベクトルd=(ΔR,ΔG,ΔB)T から
差分主成分ベクトル方向の成分を除去し、この除去した
残りの画素値ベクトルの絶対値が大きい部分を残すマス
ク、すなわち前記差分主成分ベクトル方向の成分を除去
したベクトルd’の絶対値が一定値以上の個所を残すマ
スクを作成し、このマスクを入力映像の各フレームiに
適用し、これにより移動物体切り出し映像を作成する
(ステップS157)。
【0043】図16は、本発明の第2の実施形態に係る
移動物体切り出し装置の構成を示すブロック図である。
同図に示す第2の実施形態の移動物体切り出し装置は、
入力映像として1フレームずつフレーム0からN−1の
ように順番に与えられるフレームを蓄積し、一定数nの
フレームが蓄積されると、図1に示した第1の実施形態
と同様の処理を行うが、フレームが一定数n以上になっ
て、背景上の点の新たな画素値が得られると、この新た
な画素値で近似式表現パラメータを更新しようとするも
のであり、図1の実施形態の区間分割手段1および差分
主成分算出手段11の代わりに入力フレーム蓄積手段2
1および差分主成分算出・更新手段25がそれぞれ設け
られるとともに、新たに近似式更新手段23を有するよ
うに構成されている点が異なるのみであり、その他の構
成および作用は第1の実施形態と同じであり、同じ構成
要素には同じ符号を付している。
【0044】また、図17は、図16に示す第2の実施
形態の移動物体切り出し装置の要部の構成を更に詳しく
示したブロック図であるが、図17に示すように、近似
式更新手段23は、背景画素値獲得手段23a、画素値
データ更新手段23b、パラメータ更新手段23cから
構成され、また差分主成分算出・更新手段25は、差分
共分散行列算出・更新手段25a、共分散行列固有値計
算手段25bから構成されている。
【0045】このように構成される移動物体切り出し装
置において、入力フレーム蓄積手段21は、入力映像と
してフレーム0からN−1のように1フレームずつ順番
に与えられるものを一定数nのフレームになるまで逐次
蓄積し、この蓄積したフレーム0,1,…,n−1を特
異データ除去手段3に供給する。特異データ除去手段3
以降の処理では、このn個のフレーム0,1,…,n−
1を第1の実施形態における各区間に対して行うと同様
に処理する。
【0046】すなわち、特異データ除去手段3は、入力
フレーム蓄積手段21に蓄積されたフレーム0,1,
…,n−1内で同一位置の点の画素値をフレーム順に追
いかけて、画素値が大幅に変化して平均値からのずれが
大きい画素値を特異データとして除去する。画素値変動
近似式算出手段5においては、特異データ除去手段3に
よって値が大幅に変化しているデータが取り除かれた残
りのデータに対して、それらのデータに対してできるだ
け当てはまる近似式を算出し、近似式表現パラメータを
保存する。
【0047】また、背景画像合成手段7では、画素値変
動近似式算出手段5で算出した近似式表現パラメータを
用いて、与えられたフレーム番号に対応する背景画像を
生成する。次に、背景差分算出手段9においては、入力
映像の各フレームiに対して対応する背景画像iとの差
分を算出して、差分画像iを作成する。それから、差分
主成分算出・更新手段25は、背景差分算出手段9で作
成した差分画像の画素値を解析し、差分の主成分を算出
して、差分主成分ベクトルを出力する。
【0048】次に、移動物体マスク手段13は、背景差
分算出手段9で作成された差分画像に対して前記差分主
成分ベクトル方向の成分を除去し、残りの成分が大きい
個所のみを残すためのマスクを作成し、このマスクを各
フレームに適用して移動物体切り出し映像を出力する。
【0049】上述したように、入力フレーム蓄積手段2
1に蓄積されたフレーム0からフレームn−1に対して
移動物体の映像の切り出し処理が行われた後、フレーム
n以降が入力されると、近似式更新手段23において近
似式表現パラメータの構成が行われ、また差分主成分算
出・更新手段25において差分主成分ベクトルが更新さ
れる。
【0050】すなわち、近似式更新手段23における近
似式表現パラメータの更新では、移動物体マスク手段1
3で移動物体上でない背景上の点の新たな画素値が得ら
れると、最も古い画素値を取り除き、新たに得られた画
素値を追加して、近似式表現パラメータの値を更新す
る。なお、この処理は新たな画素値が得られる度に行っ
てもよいし、または一定数の新たな画素値が蓄積されて
から行ってもよい。図23は、新たなデータが3点蓄積
される毎に更新する場合の方法を示しているものであ
る。
【0051】この近似式更新手段23による近似式表現
パラメータの更新について図18に示すフローチャート
を参照して説明する。近似式更新手段23では、蓄積す
べきフレーム数をnとすると、差分画像i(i=n,n
+1,…)が与えられた時、画像上の点(x,y)につ
いて以下の処理を繰り返し行って、近似式表現パラメー
タを更新する(ステップS181,S183)。
【0052】すなわち、近似式更新手段23の背景画素
値獲得手段23aによって画像上の点(x,y)が移動
物体マスク手段13で移動物体上の点でないと判断され
ている場合には、すなわち点(x,y)が背景上の点で
あると判断されている場合には、その画素値を新たなデ
ータとして獲得する(ステップS185)。次に、画素
値データ更新手段23bにおいて、フレーム番号・RG
B画素値テーブルから最もフレーム番号が小さいデータ
を除去し、新たなデータを加える(ステップS18
6)。それから、新たなデータが一定数蓄積されたら、
これらのデータを用いて、パラメータ更新手段23cに
より近似式表現パラメータを計算し直す(ステップS1
87)。なお、近似式表現パラメータの算出方法は第1
の実施形態の場合と同じである。
【0053】次に、差分主成分算出・更新手段25によ
る差分主成分ベクトルの更新処理について図19に示す
フローチャートを参照して説明する。差分主成分算出・
更新手段25は、フレームn以降となって、差分画像i
(i=n,n+1,…)が与えられると、画像上の点
(x,y)について以下の処理を繰り返し行って、差分
主成分ベクトルを更新する(ステップS191,S19
2)。
【0054】すなわち、差分共分散行列算出・更新手段
25aにおいては、差分画像iの各画素ΔR,ΔG,Δ
Bに対して特異データを除いた残りのデータについて式
(5)の和を計算する。それから、この計算した和をも
とに共分散行列Covを式(6)のように計算する(ステ
ップS194)。次に、共分散行列固有値計算手段25
bにおいて、共分散行列Covの固有値および固有ベクト
ルを更新し(ステップS195)、最大の固有値に対応
する固有ベクトルを差分主成分ベクトルとして更新する
(ステップS196)。
【0055】次に、図20〜図22に示すフローチャー
トを参照して、以上のように構成される第2の実施形態
の移動物体切り出し装置の作用について全体的に説明す
る。
【0056】本実施形態の移動物体切り出し装置では、
入力フレーム0,1,…,n−1が入力フレーム蓄積手
段21に順次蓄積されると(ステップS201)、特異
データ除去手段3において、画素値が平均値から大幅に
変化しているデータを特異データとして除去する(ステ
ップS203)。次に、画素値変動近似式算出手段5で
は、画素値が大幅に変化している特異データを除去した
残りのデータに対して変動を近似する近似式を算出し、
近似式表現パラメータを保存する(ステップS20
5)。
【0057】一方、背景画像合成手段7では、入力映像
のフレーム番号i(i=0,1,…,n−1)が与えら
れると、各フレームiに対して下記の処理を繰り返し行
う(ステップS211)。すなわち、背景画像合成手段
7は、画素値変動近似式算出手段5で算出した近似式表
現パラメータを用いて、与えられたフレーム番号iに対
応する背景画像iを生成する(ステップS212)。背
景画像が生成されると、次に背景差分算出手段9は、フ
レームiに対して対応する背景画像iとの差分を算出し
て、差分画像iを作成して蓄積する(ステップS21
3)。
【0058】次に、差分主成分算出・更新手段25にお
いて、背景差分算出手段9で蓄積された差分画像におけ
る画素値ΔR,ΔG,ΔBの広がりが大きくなる方向を
差分主成分ベクトルとして算出して保存する(ステップ
S214)。
【0059】以降は入力映像のフレーム番号i(n,n
+1,…)に対して同様の処理を繰り返し行う(ステッ
プS215)。そして、この処理でフレームiに対応す
る背景画像iを背景画像合成手段7で作成し(ステップ
S216)、背景差分算出手段9でフレームiと背景画
像iとの差分画像を算出して蓄積データを更新する(ス
テップS217)。そして、この更新された差分画像に
対して差分主成分算出・更新手段25の差分主成分ベク
トルを算出して更新する(ステップS218)。
【0060】更に、入力映像のフレーム番号i(n,n
+1,…)に対して同様の処理を繰り返し行って、背景
画像合成手段7、背景差分算出手段9、移動物体マスク
手段13により背景上の新たな画素値を得ると(ステッ
プS221,S222)、この新たに得られた画素値を
用いて、近似式更新手段23において近似式表現パラメ
ータを更新する(ステップS223)。
【0061】
【発明の効果】以上説明したように、本発明によれば、
平均値からのずれが大きい画素値を除去し、残りの画素
値の変動を近似する近似式を算出して近似式表現パラメ
ータを求め、近似式表現パラメータとフレーム番号から
背景画像を合成し、各フレームと背景画像との差分画像
を算出し、この差分画像の画素値を分析し、差分の主成
分を算出して差分主成分ベクトルを求め、差分画像から
差分主成分ベクトル方向の成分を除去し、残りの成分が
大きい個所を残すマスクを作成し、このマスクを入力映
像の各フレームに適用して移動物体映像のみを切り出し
ているので、移動物体がゆっくり移動したり一時的に停
止してもその領域を適確に切り出すことができ、またノ
イズによる小刻みな画素値の影響をできるだけ受けずに
安定して背景画像を生成でき、更に背景画像と入力画像
の差分画像から移動物体領域を切り出す際に画像上の位
置による特性の違いの影響をできるだけ受けずに移動物
体の領域を切り出すことができる。
【0062】また、本発明によれば、平均値からのずれ
が大きい画素値を除去し、残りの画素値の変動を近似す
る近似式を算出して近似式表現パラメータを求めるとと
もに、差分主成分ベクトル方向の成分の除去された残り
の成分が小さく、背景上の点と判断される点の画素値を
用いて、近似式表現パラメータを更新するので、フレー
ムの変化に応じて変化する背景画像を作成することがで
き、ノイズによる画像値の細かな変動による影響を低減
することができるとともに、またノイズによる画像値の
細かな変動の大きさが画像上の位置によって異なる影響
を低減することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る移動物体切り出
し装置の構成を示すブロック図である。
【図2】図1に示した移動物体切り出し装置の要部の構
成を更に詳しく示したブロック図である。
【図3】図1に示す移動物体切り出し装置において画像
上の2つの異なる点(x1 ,y1 ),(x2 ,y2 )の
画像値R,G,Bをフレーム順に追いかけて作成される
フレームに対する画素値を示すグラフである。
【図4】図1に示す移動物体切り出し装置に使用されて
いる特異データ除去手段の作用を示すフローチャートで
ある。
【図5】図1に示す移動物体切り出し装置において画像
上の2つの異なる点(x1 ,y1 ),(x2 ,y2 )の
変動に対して一次式による近似を行った場合のフレーム
に対する画素値を示すグラフである。
【図6】図1に示す移動物体切り出し装置に使用されて
いる画素値変動近似式算出手段の作用を示すフローチャ
ートである。
【図7】図1に示す移動物体切り出し装置に使用されて
いる背景画像合成手段の作用を示すフローチャートであ
る。
【図8】図1に示す移動物体切り出し装置に使用されて
いる背景差分算出手段による画像上の2つの異なる点
(x1 ,y1 ),(x2 ,y2 )に対する結果である差
分画素値ベクトルの絶対値のフレームに対する変動を示
すグラフである。
【図9】図1に示す移動物体切り出し装置において差分
画像の画素値ΔR,ΔG,ΔBの値をプロットした図で
ある。
【図10】図1に示す移動物体切り出し装置に使用され
ている差分主成分算出手段の作用を示すフローチャート
である。
【図11】図1に示す移動物体切り出し装置に使用され
ている移動物体マスク手段による画像上の2つの異なる
点(x1 ,y1 ),(x2 ,y2 )に対する結果である
差分画素値ベクトルd’の絶対値のフレームに対する変
動を示すグラフである。
【図12】図1に示す移動物体切り出し装置に使用され
ている移動物体マスク手段の作用を示すフローチャート
である。
【図13】図1に示す移動物体切り出し装置に使用され
ている区間分割手段、特異データ除去手段、画素値変動
近似式算出手段の部分による作用を示すフローチャート
である。
【図14】図1に示す移動物体切り出し装置に使用され
ている背景画像合成手段、背景差分算出手段、差分主成
分算出手段の部分による作用を示すフローチャートであ
る。
【図15】図1に示す移動物体切り出し装置に使用され
ている背景画像合成手段、背景差分算出手段、移動物体
マスク手段の部分による作用を示すフローチャートであ
る。
【図16】本発明の第2の実施形態に係る移動物体切り
出し装置の構成を示すブロック図である。
【図17】図16に示す第2の実施形態の移動物体切り
出し装置の要部の構成を更に詳しく示したブロック図で
ある。
【図18】図16に示す移動物体切り出し装置に使用さ
れている近似式更新手段による近似式表現パラメータの
更新処理を示すフローチャートである。
【図19】図16に示す移動物体切り出し装置に使用さ
れている差分主成分算出・更新手段による差分主成分ベ
クトルの更新処理を示すフローチャートである。
【図20】図16に示す移動物体切り出し装置の入力フ
レーム蓄積手段、特異データ除去手段、画素値変動近似
式算出手段の部分の作用を示すフローチャートである。
【図21】図16に示す移動物体切り出し装置の背景画
像合成手段、背景差分算出手段、差分主成分算出・更新
手段の部分の作用を示すフローチャートである。
【図22】図16に示す移動物体切り出し装置の背景画
像合成手段、背景差分算出手段、移動物体マスク手段、
近似式更新手段の部分の作用を示すフローチャートであ
る。
【図23】図16に示す移動物体切り出し装置における
更新処理を説明するための図である。
【符号の説明】
1 区間分割手段 3 特異データ除去手段 5 画素値変動近似式算出手段 7 背景画像合成手段 9 背景差分算出手段 11 差分主成分算出手段 13 移動物体マスク手段 21 入力フレーム蓄積手段 23 近似式更新手段 25 差分主成分算出・更新手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 木谷 靖 東京都千代田区内幸町一丁目1番6号 エ ヌ・ティ・ティ・コミュニケーションズ株 式会社内 Fターム(参考) 5L096 AA02 AA06 BA08 DA01 EA05 FA32 FA33 FA70 GA08 GA10 GA19 HA03

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 固定背景中に移動物体が写されたカラー
    映像を入力とし、この入力映像から移動物体の映像のみ
    を残し、それ以外の映像を消去して移動物体の映像のみ
    を切り出す移動物体切り出し装置であって、 前記入力映像を構成する複数のフレームを複数の区間に
    分割する区間分割手段と、 各区間に属するフレームに対して同一位置の点の画素値
    をフレーム順に追いかけて、平均値からのずれが大きい
    画素値を特異データとして除去する特異データ除去手段
    と、 各区間毎に画像上の各位置に対して前記特異データを除
    去した残りの画素値の変動を近似する近似式を算出し、
    近似式表現パラメータを出力する画素値変動近似式算出
    手段と、 前記近似式表現パラメータとフレーム番号から背景画像
    を合成する背景画像合成手段と、 入力映像中の各フレームと該フレームに対応する前記合
    成された背景画像との差分画像を算出する背景差分算出
    手段と、 この算出された差分画像の画素値を分析し、差分の主成
    分を算出して、差分主成分ベクトルを出力する差分主成
    分算出手段と、 前記差分画像から前記差分主成分ベクトル方向の成分を
    除去し、残りの成分が所定の値より大きい個所のみを残
    すためのマスクを作成し、このマスクを入力映像の各フ
    レームに適用して移動物体切り出し映像を出力する移動
    物体マスク手段とを有することを特徴とする移動物体切
    り出し装置。
  2. 【請求項2】 固定背景中に移動物体が写されたカラー
    映像を入力とし、この入力映像から移動物体の映像のみ
    を残し、それ以外の映像を消去して移動物体の映像のみ
    を切り出す移動物体切り出し装置であって、 入力映像を構成するフレームとして1フレームずつ順に
    入力されるフレームを所定数蓄積する入力フレーム蓄積
    手段と、 この蓄積された複数のフレームに対して同一位置の点の
    画素値をフレーム順に追いかけて、平均値からのずれが
    大きい画素値を特異データとして除去する特異データ除
    去手段と、 画像上の各位置に対して前記特異データを除去した残り
    の画素値の変動を近似する近似式を算出し、近似式表現
    パラメータを出力する画素値変動近似式算出手段と、 前記近似式表現パラメータとフレーム番号から背景画像
    を合成する背景画像合成手段と、 入力映像中の各フレームと該フレームに対応する前記合
    成された背景画像との差分画像を算出する背景差分算出
    手段と、 この算出された差分画像の画素値を分析し、差分の主成
    分を算出して、差分主成分ベクトルを出力する差分主成
    分算出手段と、 前記差分画像から前記差分主成分ベクトル方向の成分を
    除去し、残りの成分が所定の値より大きい個所のみを残
    すためのマスクを作成し、このマスクを入力映像の各フ
    レームに適用して移動物体切り出し映像を出力する移動
    物体マスク手段と、 前記移動物体マスク手段によって前記差分主成分ベクト
    ル方向の成分の除去された残りの成分が小さく、背景上
    の点と判断される点の画素値を用いて、前記近似式表現
    パラメータを更新する近似式更新手段とを有することを
    特徴とする移動物体切り出し装置。
JP33656599A 1999-11-26 1999-11-26 移動物体切り出し装置 Withdrawn JP2001155163A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP33656599A JP2001155163A (ja) 1999-11-26 1999-11-26 移動物体切り出し装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33656599A JP2001155163A (ja) 1999-11-26 1999-11-26 移動物体切り出し装置

Publications (1)

Publication Number Publication Date
JP2001155163A true JP2001155163A (ja) 2001-06-08

Family

ID=18300465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33656599A Withdrawn JP2001155163A (ja) 1999-11-26 1999-11-26 移動物体切り出し装置

Country Status (1)

Country Link
JP (1) JP2001155163A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011070572A (ja) * 2009-09-28 2011-04-07 Saxa Inc 画像処理装置及び画像処理装置用プログラム
JP2011076311A (ja) * 2009-09-30 2011-04-14 Dainippon Printing Co Ltd 移動物体検出装置および画素の類否判定方法
JP5390636B2 (ja) * 2009-12-16 2014-01-15 パイオニア株式会社 信号認識装置、信号認識方法、及び信号認識プログラム
JP2015008412A (ja) * 2013-06-25 2015-01-15 グローリー株式会社 動体画像抽出方法及び動体画像抽出装置
JP2015187759A (ja) * 2014-03-26 2015-10-29 キヤノン株式会社 画像検索装置、画像検索方法
US9236090B2 (en) 2012-07-20 2016-01-12 Panasonic Intellectual Property Management Co., Ltd. Video generating apparatus and video generating method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011070572A (ja) * 2009-09-28 2011-04-07 Saxa Inc 画像処理装置及び画像処理装置用プログラム
JP2011076311A (ja) * 2009-09-30 2011-04-14 Dainippon Printing Co Ltd 移動物体検出装置および画素の類否判定方法
JP5390636B2 (ja) * 2009-12-16 2014-01-15 パイオニア株式会社 信号認識装置、信号認識方法、及び信号認識プログラム
US9236090B2 (en) 2012-07-20 2016-01-12 Panasonic Intellectual Property Management Co., Ltd. Video generating apparatus and video generating method
JP2015008412A (ja) * 2013-06-25 2015-01-15 グローリー株式会社 動体画像抽出方法及び動体画像抽出装置
JP2015187759A (ja) * 2014-03-26 2015-10-29 キヤノン株式会社 画像検索装置、画像検索方法

Similar Documents

Publication Publication Date Title
EP1722331B1 (en) Image similarity calculation system, image search system, image similarity calculation method, and image similarity calculation program
US20020118195A1 (en) Method and system for generating facial animation values based on a combination of visual and audio information
KR20080066671A (ko) 궤적 구간 분석을 사용한 양방향 추적
JP3006338B2 (ja) 運動領域輪郭検出装置
JP2001155163A (ja) 移動物体切り出し装置
JP4224882B2 (ja) データ処理装置およびデータ処理方法
Roy et al. Removal of ‘salt & pepper’noise from color images using adaptive fuzzy technique based on histogram estimation
CN107085839B (zh) 基于纹理增强与稀疏编码的sar图像降斑方法
KR102386930B1 (ko) 도로 영상의 경계선 검출 장치 및 그 방법
JPH10111946A (ja) 画像追跡装置
JPH07121703A (ja) 画像処理方法
US9230301B2 (en) Method and apparatus for reconstructing an image
WO2022123684A1 (ja) 物体検出装置、物体検出方法、及び物体検出プログラム
JP7427398B2 (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
CN112188113B (zh) 一种视频分解方法及装置、终端
JP2001126056A (ja) 複数の形態で動作するシステムをモデリングするための方法および多様な形態で動作する動的システムをモデリングするための装置
Xin et al. Face image restoration based on statistical prior and image blur measure
JP3351460B2 (ja) 移動体の挙動解析予測装置およびそのうねり対応づけ処理方法
JP2003316381A (ja) 雑音抑圧方法及び雑音抑圧プログラム
JP4396328B2 (ja) 画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラム
KR101999338B1 (ko) 실시간 객체 트래킹 방법 및 장치
JP3508250B2 (ja) 動画像処理装置
US5410618A (en) Method for lofargram image enhancement
KR101631023B1 (ko) 이웃 기반의 강도 보정 장치, 백그라운드 획득 장치 및 그 방법
CN110751673A (zh) 一种基于集成学习的目标跟踪方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20070206