JP2002032760A - 動物体抽出方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 動物体を正確に抽出できなかった。 【解決手段】 動物体の含まれていない背景を所定時間
撮像した背景画像系列の各背景画像を予め定められた複
数の小領域に分割するとともに、前記各小領域に含まれ
る各画素間の輝度値の時間に対する相関関係を計算する
第１のステップと、前記第１のステップにより計算した
相関関係を記憶する第2のステップと、前記背景を含み
動物体領域の抽出の対象となる抽出対象画像を前記予め
定められた複数の小領域に分割するとともに、各抽出対
象画像の各小領域に含まれる各画素の輝度値と前記第2
のステップにより記憶された相関関係とを用いて動物体
領域有無の判断を各小領域毎に行うことにより前記抽出
対象画像系列から動物体物の抽出を行う第3のステップ
とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、観測された画像
に含まれる動物体領域を抽出する動物体領域抽出法に関
するものであり、特に背景画像とともに取り込まれる監
視対象となる人や車などの動物体を抽出する動物体抽出
装置および方法に関するものであり、更に詳しくは背景
画像が時間とともに変化するような場合であっても動物
体を正確に抽出する動物体抽出方法および装置に関する
ものである。

【０００２】

【従来の技術】観測された画像系列から動物体領域を抽
出する方法として背景差分法がある。最も一般的な背景
差分法は、動物体の抽出において、撮像したときに含ま
れる背景を動物体が存在しない状態で予め撮像し、この
予め撮像した画像(以下背景画像と呼ぶ)と動物体の抽出
の処理対象となる画像（抽出対象画像と称す）とを画素
ごとに差分処理することで簡便に動物体領域を抽出する
方法である。しかしながらこの方法は、背景が静止して
いる（つまり、時間とともに変化しない）という仮定の
もとで処理がなされている。それに対して、現実には、
背景に存在する木々や旗が揺れていたり、日光など天候
により照明条件が刻々と変化するため、背景が静止して
いるといったことはない。

【０００３】このように、背景が時間とともに動的に変
化する場合でも背景差分を実現するために、種々の方法
が提案されている。図５、図６は従来の動物体抽出装置
および方法を説明するための図であり、具体的には「動
的環境における頑健な背景差分の実現法」(波部、大
矢、松山著、画像の認識・理解シンポジウム、１９９８
年、４６７頁〜４７２頁)に記載された動物体抽出装置
および方法を説明するための図である。

【０００４】図において、１は背景画像を一定の時間撮
像する背景画像入力手段である。背景画像入力手段１と
しては、例えばカメラなどの撮像装置がある。背景画像
入力手段１より一定の時間背景を撮像することにより背
景画像を時系列に得ることができる（以後、この時系列
の背景画像を背景画像系列と称す）。また、背景画像系
列において、ある時刻ｔに撮像された抽出対象画像をＢ
（ｔ）（ｔ＝１，２，・・・，Ｔ_B）とする。

【０００５】２は背景画像入力手段１より得られた背景
画像系列において、各背景画像を予め定められた複数の
小領域に分割するとともに、小領域の各画素の輝度値の
時間的な平均値、または中央値（メジアン）を計算し、
各小領域毎に計算されるこれらの値を基準画像Ｒとして
記憶する基準画像記憶手段である。基準画像記憶手段２
は例えば基準画像ＲをＮ×Ｎの画素を有するブロック
（小領域）に分割し、各小領域に含まれる画素の輝度値
を成分とするベクトル（基準画像ベクトルと称す）を各
小領域毎に記憶するものである。各小領域がＮ×Ｎの画
素を有するものであれば、基準画像ベクトルを構成する
成分の数はＮ×Ｎ個になる。基準画像Ｒを複数個の小領
域に分割し、それぞれそ小領域に対応する番号を割り当
てたとき、ｉ番目の小領域に対応する基準画像ベクトル
をｒ_iとする。

【０００６】３は背景画像系列の各背景画像の小領域
と、これに対応する基準画像Ｒの小領域との差分の絶対
値の総和を計算し、この値（正規化距離と称す）から背
景画像系列の背景画像の各小領域における統計的な特徴
を得る距離算出手段である。距離算出手段３は例えば、
背景画像の小領域に含まれる画素の輝度値を成分とした
ベクトル（背景画像ベクトルと称す）において、その大
きさが１となるように正規化したベクトルと、この小領
域に対応する基準画像の小領域の基準画像ベクトルにお
いて、その大きさが１となるように正規化したベクトル
との差の絶対値を計算するものであり、より具体的に
は、下式（１）に示すものである。

【０００７】

【数１】

【０００８】式（１）において、ここで、|・|はベクト
ルの大きさを表すものであり、ｂ_i（ｔ）は時刻ｔにお
ける背景画像のｉ番目の小領域に対応する背景画像ベク
トル、ｒ_iは基準画像におけるｉ番目の小領域に対応す
る基準画像ベクトルであることを表すものである。な
お、ｂ_i（ｔ）とｒ_iとにおいて、同一の位置の成分はそ
れぞれ同一の画素に対応するものである。式（１）にお
いて算出したＤ（ｂ_i（ｔ），ｒ_i）はｂ_i（ｔ）とｒ_iと
の近さの度合いを数値で表現したものである（以後この
値を正規化距離と称する）。

【０００９】４は距離算出手段３により各小領域毎に得
られる正規化距離を総和し、時間的に平均した平均値、
この平均値を用いて算出した分散値を算出する背景変動
算出手段である。なお、この平均値は下式（２）に示し
た式を用いて算出する。

【００１０】

【数２】

【００１１】更に、分散値は下式（３）に示した式を用
いて算出する。

【００１２】

【数３】

【００１３】５は背景変動算出手段４により算出した各
小領域の平均値、分散値を記憶する背景変動記憶手段で
ある。背景変動記憶手段５は各小領域毎の時間的な平均
値、分散値を記憶することにより、背景画像の動的な変
動に対する統計的な特徴を得ることが可能となる。

【００１４】６は動物体を抽出する対象となる画像Ｉ
（抽出対象画像Ｉと称す）を入力する抽出対象画像入力
手段であり、抽出対象画像入力手段６としては、例えば
カメラなどの撮像装置がある。抽出対象画像入力手段６
はある時点での抽出対象画像Ｉを入力してもよいし、一
定時間撮像することにより得られる時系列の抽出対象画
像（抽出対象画像系列）を入力してもよい。

【００１５】７は背景画像の分割と同様に抽出対象画像
ＩをＮ×Ｎの画素を有するブロック（小領域）に分割
し、各小領域に含まれる画素の輝度値を成分とするベク
トル（抽出対象画像ベクトルと称す）を生成し、この抽
出対象画像ベクトルの大きさが１となるように正規化し
たベクトルと、このベクトルに対応する基準画像Ｒの小
領域の基準画像ベクトルの大きさが１となるように正規
化したベクトルとの差の絶対値Ｄ（ｉ_i，ｒ_i）を算出す
る距離算出手段である。距離算出手段７において、Ｄ
（ｉ_i，ｒ_i）は具体的には下式（４）を実行するもので
ある。式（４）にて算出されたＤ（ｉ_i，ｒ_i）は式
（１）と同様に正規化距離である。

【００１６】

【数４】

【００１７】式（４）においてｉ_iは抽出対象画像ベク
トルであり、添字のｉは背景画像と同様にして複数ある
小領域に対応する番号を付したときのｉ番目に相当する
ものであることを示す。なお、ｉ_iとｒ_iとにおいて、同
一の位置の成分はそれぞれ同一の画素に対応するもので
ある。

【００１８】８は距離算出手段７にて算出された正規化
距離Ｄ（ｉ_i，ｒ_i）と、背景変動記憶手段５に記憶され
ている背景変動モデル（平均値と分散値）とを用いて、
小領域に動物体が存在するか否かを判定する判定手段で
ある。判定手段８は具体的には下式（５）に示すよう
に、距離算出手段７にて算出された正規化距離Ｄ
（ｉ_i，ｒ_i）と、背景変動記憶手段５に記憶されている
背景変動モデルとを用いて、確率密度を算出し、算出し
た値と予め用意された閾値とを比較し、比較結果に応じ
て、この小領域に動物体が存在するか否かを判定するも
のである。

【００１９】

【数５】

【００２０】図６は図５の動物体抽出方法を説明するた
めの図であり、より具体的には図５に示す動物体抽出装
置の動作を説明するためのフローチャート図である。ま
ず、動物体が存在しない背景画像に関し、時間に対する
統計的な特徴を得るために動物体が存在しない背景画像
のみを一定時間撮像することにより、背景画像系列を得
る（ＳＴ１）。次に、ＳＴ１より得られた背景画像系列
より、各背景画像を予め定められた小領域に分割すると
ともに、小領域毎に時間的な変化に対する統計的な特徴
量を算出する（ＳＴ２）。ＳＴ２における特徴量とは各
小領域に対応する基準画像ベクトルである。次に、ＳＴ
１より得られた背景画像系列と、ＳＴ２で得られた基準
画像ベクトルとを用いて背景画像の小領域毎に時間的な
変動に対する統計的な特徴量として正規化距離、正規化
距離の平均値、この平均値を用いた分散値を算出する
（ＳＴ３）。ＳＴ３において算出する正規化距離、正規
化距離の平均値、この平均値を用いた分散値は式（１）
〜式（３）に示した通りである。次にＳＴ３で算出した
正規化距離の平均値、この平均値を用いて算出した分散
値を記憶する（ＳＴ４）。ＳＴ１〜ＳＴ４のステップに
より、動物体が存在しない背景画像おいて小領域毎の統
計的な特徴量を得ることが可能となる。

【００２１】次に動物体を抽出する対象となる画像であ
る抽出対象画像を撮像手段より入力する（ＳＴ５）。次
に抽出対象画像を背景画像と同様にして予め定められた
小領域に分割するとともに分割した小領域毎に生成され
る抽出対象画像ベクトルを正規化したものと、基準画像
ベクトルを正規化したものとの差の絶対値である正規化
距離を算出する（ＳＴ６）。ＳＴ６において算出する正
規化距離は式（４）に示した通りである。

【００２２】次にＳＴ４において記憶された背景画像に
おける各小領域の正規化距離の平均値、この平均値を用
いた分散値およびＳＴ６により算出された正規化距離を
用いて確率密度を算出するとともに、算出された確率密
度と予め用意された閾値を比較し、比較結果に応じて動
物体が存在するか否かを小領域毎に判定する（ＳＴ
７）。ＳＴ７において算出する確率密度は式（５）に示
した通りである。

【００２３】このように構成することにより、背景画像
が時間的に変動した場合においても、動物体を抽出する
ことが可能となる。

【００２４】

【発明が解決しようとする課題】従来の動物体抽出装置
は上述のように構成されており、背景変動（すなわち、
多次元ベクトルｂ_i（t）の分布）を正規化距離という尺
度の１次元のスカラー空間において平均、分散の値だけ
で扱っているため、情報の損失が大きく、様々な背景変
動を十分に表現することができない。これでは、動物体
と背景変動とを厳密に区別することもできない。そのた
め、背景が変動している場合、背景領域の誤抽出や動物
体領域の抽出失敗が多々発生する。

【００２５】この発明は上記のような課題を解決するた
めになされたもので、背景変動に対する統計的な情報を
より多く得ることにより、動物体の抽出をより正確に行
うことが可能な動物体抽出方法、および装置を得ること
を目的とする。

【００２６】

【課題を解決するための手段】この発明に係る動物体抽
出方法は、画像から背景像以外の動物体を抽出するため
の方法であって、動物体の含まれていない背景を所定時
間撮像した背景画像系列の各背景画像を予め定められた
複数の小領域に分割するとともに、前記各小領域に含ま
れる各画素間の輝度値の時間に対する相関関係を計算す
る第１のステップと、前記第１のステップにより計算し
た相関関係を記憶する第2のステップと、前記背景を含
み動物体領域の抽出の対象となる抽出対象画像を前記予
め定められた複数の小領域に分割するとともに、各抽出
対象画像の各小領域に含まれる各画素の輝度値と前記第
2のステップにより記憶された相関関係とを用いて動物
体領域有無の判断を各小領域毎に行うことにより前記抽
出対象画像系列から動物体物の抽出を行う第3のステッ
プとを有する。

【００２７】この発明に係る動物体抽出方法は、前記第
１のステップにより計算した前記各小領域に含まれる各
画素の輝度値の相関関係の主成分分析を行う第３のステ
ップを有し、第２のステップは第３の主成分分析の結果
を記憶する。

【００２８】この発明に係る動物体抽出方法は、第１の
ステップにおいて、小領域の各画素の輝度値を成分とす
るベクトルであって、その大きさが１となるように正規
化した画像ベクトルを用いて相関関係を算出する。

【００２９】この発明に係る動物体抽出装置は、画像か
ら背景像以外の動物体を抽出するためのものであって、
動物体の含まれていない背景を所定時間撮像した背景画
像系列の各背景画像を予め定められた複数の小領域に分
割するとともに、前記各小領域に含まれる各画素間の輝
度値の相関関係を計算する手段と、前記計算した相関関
係を記憶する手段と、前記背景を含み動物体領域の抽出
の対象となる抽出対象画像を前記予め定められた複数の
小領域に分割するとともに、各抽出対象画像の各小領域
に含まれる各画素の輝度値と前記相関関係とを用いて動
物体領域有無の判断を各小領域毎に行うことにより前記
抽出対象画像系列から動物体物の抽出を行う手段とを有
するものである。

【００３０】

【発明の実施の形態】以下、この発明の実施の形態を説
明する。 実施の形態１．図１はこの発明の実施の形態１による動
物体領域抽出法を実現する装置の構成を示すブロック図
である。また、図２は実施の形態１による動物体領域抽
出法の動作を示すフローチャート図である。図におい
て、図５、図６と同一の符号を付したものは、同一また
はこれに相当するものである。

【００３１】図において、４ａは各小領域に含まれる画
素間の輝度値の時間に対する相関関係を計算する背景変
動算出手段であり、背景変動算出手段４ａは相関関係を
計算することにより、背景画像の時間的な変動に対する
統計的な特徴を算出するものである。背景変動算出手段
４ａは、例えば下式（６）に示す計算を行うことにより
小領域に含まれる画素間の輝度値の時間に対する相関関
係である共分散行列Ｓ_iを計算するものである。

【００３２】

【数６】

【００３３】５ａは背景変動算出手段４ａより算出した
各小領域に対する共分散行列を背景変動モデルとして記
憶する背景変動記憶手段である。７ａは基準画像入力手
段２に入力された基準画像Ｒ（または各小領域に対応す
る基準画像ベクトル）、背景変動記憶手段５ａに記憶さ
れた背景変動モデル（または各小領域に対応する共分散
行列）、抽出対象画像入力手段６より入力された抽出対
象画像を用いて抽出対象画像の各小領域とこの小領域に
対応する基準画像の小領域との近さを、背景変動モデル
を考慮して計算する距離算出手段である。距離算出手段
７ａは、抽出対象画像における小領域の抽出対象画像ベ
クトルｉ _iの大きさが１となるように正規化したもの
と、これに対応する基準画像ベクトルのｒ_iの大きさが
１となるように正規化したものとの差、背景変動記憶手
段５ａに記憶された対応する小領域の共分散行列Ｓ_iを
用いて下式（７）を計算することにより、抽出対象画像
の各小領域とこの小領域に対応する基準画像の小領域と
の近さを、背景変動モデルを考慮して計算するものであ
る。式（７）より算出された値はマハラノビス(Mahalan
obis)距離と呼ばれるものである。

【００３４】

【数７】

【００３５】７ａは各小領域毎に算出されるＤＭ
（ｉ_i、ｒ_i、Ｓ_i）²と予め記憶された閾値との比較を行
い比較の結果に応じて各小領域に動物体が存在するか否
かを判定する判定手段である。判定手段７ａにおいて、
予め用意された閾値は各小領域毎に設定してもよいし、
全ての小領域に対し一律の値を設定してもよい。なお、
閾値は例えば定数であり、この値を変えることによって
抽出対象画像における動物体領域の抽出の精度を変える
ことができる。判定手段７ａは例えば、ＤＭ（ｉ_i、
ｒ_i、Ｓ_i）²が閾値以下である場合には判定の対象であ
る小領域が背景であるとみなし、閾値以上である場合に
は当該小領域が動物体の存在する動物体領域であるとみ
なす。判定手段７ａは上述の判定を各小領域毎に行うこ
とにより、抽出対象画像における動物体の抽出を行う。
また、判定手段７ａは抽出対象画像の全ての小領域に対
する判定が終了したら、処理を終了するかもしくは次の
新たな抽出対象画像が入力されるまで処理を停止する。

【００３６】このように実施の形態１の動物体抽出装置
は上述のように構成されているので、より正確に動物体
の抽出を行うことができる。つまり、背景画像系列から
背景画像中の各小領域毎に含まれる各画素間の輝度値の
時間に対する相関関係を共分散行列として記憶するとと
もに、抽出対象画像を分割した小領域の各画素をベクト
ル形式で表現した抽出対象画像ベクトルとこの小領域に
対応する基準画像の小領域の基準画像ベクトルとの差、
および共分散行列を用いてマハラノビス距離を算出する
ように構成したので、抽出対象画像の小領域と、この小
領域に対応する背景画像の小領域との近さの度合いをよ
り正確に算出することができるため、動物体領域の抽出
をより正確に行うことが可能となる。

【００３７】図２は実施の形態１の動物体抽出方法を説
明するための図であり、具体的には実施の形態１の動物
体抽出装置の動作を説明するための図である。ＳＴ１、
ＳＴ２、Ｓ５は図６と同一であるため説明は省略する。
ＳＴ３ａにおいて、動物体の含まれていない背景を所定
時間撮像した背景画像系列の各背景画像を予め定められ
た複数の小領域に分割するとともにＳＴ１より得られた
背景画像系列と、ＳＴ２で得られた基準画像ベクトルと
を用いて、背景画像の各小領域に含まれる各画素間の輝
度値の時間的な相関関係である共分散行列Ｓ_iを計算す
る。共分散行列Ｓ_iは式（６）に示した通りである。

【００３８】次に、ＳＴ３ａで算出された背景画像の各
小領域における画素間の輝度値の時間に対する相関関係
である共分散行列Ｓ_iを当該小領域の背景変動モデルと
して記憶する（ＳＴ４ａ）。以上ＳＴ１、ＳＴ２、ＳＴ
３ａ、ＳＴ４ａにより、背景画像の時間に対する変動に
関する統計的な特徴を予め得ることができる。なお、Ｓ
Ｔ１、ＳＴ２、ＳＴ３ａ、ＳＴ４ａにおける処理は抽出
対象画像から動物体の抽出を行うまでに実行されていれ
ばよく、動物体抽出装置を動作させる度に実行する必要
は必ずしもない。

【００３９】ＳＴ６ａおいて、ＳＴ５で撮像した背景を
含み動物体領域の抽出の対象となる抽出対象画像を前記
予め定められた複数の小領域に分割するとともに、ＳＴ
２で算出された基準画像ベクトル、ＳＴ４ａに記憶され
た共分散行列、ＳＴ５により入力された抽出対象画像の
抽出対象画像ベクトルとを用いてマハラノビス距離を計
算する。マハラノビス距離は式（６）に示した通りであ
る。

【００４０】次に、ＳＴ６ａにより算出されるＤＭ（ｉ
_i、ｒ_i、Ｓ_i）²と予め記憶された閾値との比較を行い比
較の結果に応じて各小領域に動物体が存在するか否かを
各小領域毎に判定する（ＳＴ７ａ）。ＳＴ７ａにより抽
出対象画像における全ての小領域に対する判定が終了す
ると、ＳＴ５に戻り新たな処理画像が入力されるのを待
つ。

【００４１】このように構成することにより、抽出対象
画像入力手段６より取り込まれた抽出対象画像から動物
体領域を小領域単位でより正確に抽出することが可能と
なる。つまり、背景画像系列から背景画像中の各小領域
毎に含まれる各画素間の輝度値の時間に対する相関関係
を共分散行列として記憶するとともに、抽出対象画像を
分割した小領域に含まれる各画素をベクトル形式で表現
した抽出対象画像ベクトルとこの小領域に対応する基準
画像の小領域の基準画像ベクトルとの差、および共分散
行列を用いてマハラノビス距離を算出するように構成し
たので、抽出対象画像の小領域と、この小領域に対応す
る背景画像の小領域との近さの度合いをより正確に算出
することができるため、動物体領域の抽出をより正確に
行うことが可能となる。

【００４２】更に、抽出対象画像入力手段６より抽出対
象画像を連続して入力し、これに応じて逐次動物体の抽
出をするように構成することにより動物体の動きを認識
できるようになる。更に、上式（６）、（７）において
背景画像ベクトル、基準画像ベクトル、抽出対象画像ベ
クトルのそれぞれに対し、その大きさが１となるように
正規化しているため、小領域における画素の輝度値が一
様な変化をしたとき（例えば日照条件の変化など）の影
響を取り除いて、上述のベクトルの各成分（輝度値）の
空間的分布の変動だけに着目することができるという効
果が得られる。

【００４３】しかし、この実施の形態１では、この正規
化を必ず行うことに限定するものではない。正規化を行
わなくても、十分な抽出感度が得られる。

【００４４】また、この実施の形態１では、統計学的距
離としてマハラノビス距離を用いたが、これにこだわる
ものではない。

【００４５】また、本実施の形態では、距離算出手段７
ａはマハラノビス距離を算出し、判定手段８ａは各小領
域に対応するマハラノビス距離とこれに対応する閾値と
を比較するようにしたが、従来技術のように、確率密度
を計算するようにしてもよい。

【００４６】また図１では背景画像入力手段１と抽出対
象画像入力手段６とが別体としたが、同一の撮像装置を
用いるように構成すると、装置の構成がより簡単にな
る。

【００４７】実施の形態２．図３はこの発明の実施の形
態２による動物体領域抽出法を実現する装置の構成を示
すブロック図である。また、図４は実施の形態２による
動物体領域抽出法の動作を示すフローチャート図であ
る。

【００４８】図において、図１、図２、図５、図６と同
一の符号を付したものは同一、またはこれに相当するも
のである。図において４ｂは背景変動手段４ａにより算
出された共分散行列の主成分を分析する主成分分析手段
であり、主成分分析手段４ｂは例えば背景変動手段４ａ
により算出された共分散行列を固有値分解することによ
り、共分散行列に対応する固有値、この固有値に対応す
る固有ベクトルを算出することにより共分散行列の主成
分を分析するものである。具体的には主成分分析手段４
ｂは、各小領域に対応する共分散行列Ｓ_iを固有値分解
し、下式（８）を満足する固有値λ_i（ｋ）（ｋ＝１，
２，・・・，Ｎ×Ｎ）、固有ベクトルν_i（ｋ）を求める。

【００４９】

【数８】

【００５０】５ｂは主成分分析手段４ｂからの出力から
算出された各小領域に対応する固有値λ_i（ｋ）（ｋ＝
１，２，・・・，Ｎ×Ｎ）、固有ベクトルν_i（ｋ）を背景
変動モデルとして記憶する背景変動記憶手段である。背
景変動記憶手段５ｂは、例えばＫ_i個の大きい固有値と
それに対応する固有ベクトルを選択し、該固有ベクトル
を基底ベクトルとする固有空間Ｖ_i＝｛ν_i（１），ν_i
（２），・・・，ν_i（Ｋ_i）｝へ対応づけ、固有値Λ_i＝
｛λ_i（１），λ _i（２），・・・，λ_i（Ｋ_i）｝とともに
背景変動モデルとして記憶する。このときの固有空間の
次元数Ｋ_iは、下式（９）で表される累積寄与率Ｑ_iを用
いて決定する。例えば、Ｑ_i＞０．９９とする。

【００５１】

【数９】

【００５２】 ７ｂは基準画像入力手段２に入力された
基準画像Ｒ（または各小領域に対応する基準画像ベクト
ル）、背景変動記憶手段５ｂに記憶された背景変動モデ
ル（または各小領域に対応する固有値であって式（９）
により選択された固有値、およびこの固有値に対応する
固有値ベクトル）、抽出対象画像入力手段６より入力さ
れた抽出対象画像を用いて抽出対象画像の各小領域とこ
の小領域に対応する基準画像の小領域との近さを、背景
変動モデルを考慮して計算する距離算出手段である。距
離算出手段７ｂは、各小領域毎に、基準画像ベクトルｒ
_iと背景変動モデルとして保持している固有空間Ｖ_iと固
有値群Λ_iを用いて、下式（１０）を計算することによ
り、抽出対象画像の各小領域とこの小領域に対応する基
準画像の小領域との近さを、背景変動モデルを考慮して
計算する

【００５３】

【数１０】

【００５４】ただし、

【００５５】

【数１１】

【００５６】である。８ｂは各小領域毎に算出されるＤ
Ｅ（ｉ_i，ｒ_i，Ｖ_i，Λ_i）²と予め記憶された閾値との
比較を行い比較の結果に応じて各小領域に動物体が存在
するか否かを判定する判定手段である。判定手段８ｂに
おいて、予め用意された閾値は各小領域毎に設定しても
よいし、全ての小領域に対し一律の値を設定してもよ
い。なお、閾値は例えば定数であり、この値を変えるこ
とによって抽出対象画像における動物体領域の抽出の精
度を変えることができる。判定手段８ｂは例えば、ＤＥ
（ｉ_i，ｒ_i，Ｖ_i，Λ_i）²が閾値以下である場合には判
定の対象である小領域が背景であるとみなし、閾値以上
である場合には当該小領域が動物体の存在する動物体領
域であるとみなす。判定手段８ｂは上述の判定を各小領
域毎に行うことにより、抽出対象画像における動物体の
抽出を行う。また、判定手段８ｂは抽出対象画像の全て
の小領域に対する判定が終了したら、処理を終了するか
もしくは次の新たな抽出対象画像が入力されるまで処理
を停止する。

【００５７】図４は、本実施の形態の動物体抽出方法を
説明するための図であり、具体的には図３の動物体抽出
装置の動作を説明するための図である。図において、Ｓ
Ｔ１、ＳＴ２、ＳＴ３ａ、ＳＴ５については従来例、上
述の実施の形態において説明をしたので、ここではその
説明は省略する。ＳＴ３ｂにおいて、ＳＴ３ａにより算
出した各小領域に対する共分散行列を固有値分解するこ
とにより、各小領域の共分散行列の固有値、この固有値
に対応する固有値ベクトルを求める。次に各小領域毎に
算出した固有値、これに対応する固有値ベクトルにおい
てＫ _i個の大きい固有値とそれに対応する固有ベクトル
を選択し、該固有ベクトルを基底ベクトルとする固有空
間Ｖ_i＝｛ν_i（１），ν_i（２），・・・，ν_i（Ｋ_i）｝へ
対応づけ、固有値Λ_i＝｛λ_i（１），λ_i（２），・・・，
λ_i（Ｋ_i）｝とともに当該小領域の背景変動モデルとし
て記憶する（ＳＴ４ｂ）。以上ＳＴ１、ＳＴ２、ＳＴ３
ａ、ＳＴ３ｂ、ＳＴ４ｂにより、背景画像の時間に対す
る変動に関する統計的な特徴を予め得ることができる。
なお、ＳＴ１、ＳＴ２、ＳＴ３ａ、ＳＴ３ｂ、ＳＴ４ｂ
における処理は抽出対象画像から動物体の抽出を行うま
でに実行されていればよく、動物体抽出装置を動作させ
る度に実行する必要は必ずしもない。

【００５８】ＳＴ６ｂにおいて、ＳＴ５で撮像した背景
を含み動物体領域の抽出の対象となる抽出対象画像を前
記予め定められた複数の小領域に分割するとともに、Ｓ
Ｔ２で算出された基準画像ベクトル、ＳＴ４ｂに記憶さ
れた小領域において選択された固有値、これに対する固
有値ベクトル、ＳＴ５により入力された抽出対象画像の
抽出対象画像ベクトルとを用いて距離ＤＥ（ｉ_i，ｒ_i，
Ｖ_i，Λ_i）²を計算する。距離ＤＥ（ｉ_i，ｒ_i，Ｖ_i，Λ
_i）²は式（１０）に示した通りである。

【００５９】次に、ＳＴ６ｂにより算出される距離ＤＥ
（ｉ_i，ｒ_i，Ｖ_i，Λ_i）²と予め記憶された閾値との比
較を行い比較の結果に応じて各小領域に動物体が存在す
るか否かを各小領域毎に判定する（ＳＴ７ｂ）。ＳＴ７
ｂにより抽出対象画像における全ての小領域に対する判
定が終了すると、ＳＴ５に戻り新たな処理画像が入力さ
れるのを待つ。

【００６０】以上のように、構成することにより、共分
散行列を主成分分析し、寄与率の高い固有ベクトルで張
られた多次元の固有空間において固有値群で表現し、抽
出対象画像の各小領域の抽出対象画像ベクトルとこれに
対応する基準画像における基準画像ベクトルの距離を固
有空間内で算出するように構成したので、実施の形態１
と同様の効果を得ることができるばかりか、計算量を少
なくし、効率よく動物体領域を抽出することができると
いう効果がある。

【００６１】また、上式(１１)においてベクトルを正規
化したので、一様な輝度変化成分を取り除いて、輝度の
空間的分布形状の変動だけに着目することができるとい
う効果が得られる。しかし、この実施の形態２では、こ
の正規化を必ず行うことに限定するものではない。正規
化を行わなくても、十分な抽出感度が得られる。

【００６２】また、統計学的距離として上式(１０)で定
義される距離を用いたが、これにこだわるものではな
い。

【００６３】また、統計学的距離を直接閾値処理した
が、従来技術のように、確率密度を計算するようにして
もよい。

【００６４】

【発明の効果】この発明に係る動物体抽出方法は、画像
から背景像以外の動物体を抽出するための方法であっ
て、動物体の含まれていない背景を所定時間撮像した背
景画像系列の各背景画像を予め定められた複数の小領域
に分割するとともに、前記各小領域に含まれる各画素間
の輝度値の時間に対する相関関係を計算する第１のステ
ップと、前記第１のステップにより計算した相関関係を
記憶する第2のステップと、前記背景を含み動物体領域
の抽出の対象となる抽出対象画像を前記予め定められた
複数の小領域に分割するとともに、各抽出対象画像の各
小領域に含まれる各画素の輝度値と前記第2のステップ
により記憶された相関関係とを用いて動物体領域有無の
判断を各小領域毎に行うことにより前記抽出対象画像系
列から動物体物の抽出を行う第3のステップとを有する
ので、動物体領域の抽出をより正確に行うことが可能と
なる。

【００６５】この発明に係る動物体抽出方法は、前記第
１のステップにより計算した前記各小領域に含まれる各
画素の輝度値の相関関係の主成分分析を行う第３のステ
ップを有し、第２のステップは第３の主成分分析の結果
を記憶するので、動物体領域の抽出をより正確に行うこ
とが可能となる。

【００６６】この発明に係る動物体抽出方法は、第１の
ステップにおいて、小領域の各画素の輝度値を成分とす
るベクトルであって、その大きさが１となるように正規
化した画像ベクトルを用いて相関関係を算出するので、
小領域に含まれる画素の輝度値が時間とともに一様に変
化する場合であっても動物体を抽出することが可能とな
る。

【００６７】この発明に係る動物体抽出装置は、画像か
ら背景像以外の動物体を抽出するためのものであって、
動物体の含まれていない背景を所定時間撮像した背景画
像系列の各背景画像を予め定められた複数の小領域に分
割するとともに、前記各小領域に含まれる各画素間の輝
度値の相関関係を計算する手段と、前記計算した相関関
係を記憶する手段と、前記背景を含み動物体領域の抽出
の対象となる抽出対象画像を前記予め定められた複数の
小領域に分割するとともに、各抽出対象画像の各小領域
に含まれる各画素の輝度値と前記相関関係とを用いて動
物体領域有無の判断を各小領域毎に行うことにより前記
抽出対象画像系列から動物体物の抽出を行う手段とを有
するので、動物体領域の抽出をより正確に行うことが可
能となる。

【図面の簡単な説明】

【図１】 この発明の実施の形態１における動物体領域
抽出装置を説明するためのブロック図である。

【図２】 この発明の実施の形態１における動物体領域
抽出方法を説明するためのフローチャート図である。

【図３】 この発明の実施の形態２における動物体領域
抽出装置を説明するためのブロック図である。

【図４】 この発明の実施の形態２における動物体領域
抽出方法を説明するためのフローチャート図である。

【図５】 従来の動物体抽出装置を説明するためのブロ
ック図である。

【図６】 従来の動物体領域抽出方法を説明するための
フローチャート図である。

【符号の説明】

１ 背景画像入力手段 ２ 基準画像記憶手段
３ 距離算出手段 ４、４ａ、４ｂ 背景変動算出手段 ５、５ａ、５ｂ
背景変動記憶手段 ６ 抽出対象画像入力手段 ７、７ａ、７ｂ 距離算出手段 ８、８ａ、８ｂ
判定手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 鷲見 和彦 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 Ｆターム(参考） 5C054 FC03 FC13 FC16 FE13 HA05 HA37 5L096 BA02 CA02 FA34 FA81 GA19 GA51 HA03 JA28

Claims (4)

【特許請求の範囲】
1. 【請求項１】 画像から背景像以外の動物体を抽出する
   ための方法であって、 動物体の含まれていない背景を所定時間撮像した背景画
   像系列の各背景画像を予め定められた複数の小領域に分
   割するとともに、前記各小領域に含まれる各画素間の輝
   度値の時間に対する相関関係を計算する第１のステップ
   と、 前記第１のステップにより計算した相関関係を記憶する
   第2のステップと、 前記背景を含み動物体領域の抽出の対象となる抽出対象
   画像を前記予め定められた複数の小領域に分割するとと
   もに、各抽出対象画像の各小領域に含まれる各画素の輝
   度値と前記第2のステップにより記憶された相関関係と
   を用いて動物体領域有無の判断を各小領域毎に行うこと
   により前記抽出対象画像系列から動物体物の抽出を行う
   第3のステップとを有する動物体抽出方法。
2. 【請求項２】 前記第１のステップにより計算した前記
   各小領域に含まれる各画素の輝度値の相関関係の主成分
   分析を行う第３のステップを有し、 第２のステップは第３の主成分分析の結果を記憶するこ
   とを特徴とする請求項１に記載の動物体抽出方法。
3. 【請求項３】 第１のステップにおいて、小領域の各画
   素の輝度値を成分とするベクトルであって、その大きさ
   が１となるように正規化した画像ベクトルを用いて相関
   関係を算出するようにしたことを特徴とする請求項１ま
   たは２のいずれかに記載の動物体抽出法。
4. 【請求項４】 画像から背景像以外の動物体を抽出する
   ためのものであって、 動物体の含まれていない背景を所定時間撮像した背景画
   像系列の各背景画像を予め定められた複数の小領域に分
   割するとともに、前記各小領域に含まれる各画素間の輝
   度値の相関関係を計算する手段と、 前記計算した相関関係を記憶する手段と、 前記背景を含み動物体領域の抽出の対象となる抽出対象
   画像を前記予め定められた複数の小領域に分割するとと
   もに、各抽出対象画像の各小領域に含まれる各画素の輝
   度値と前記記憶された相関関係とを用いて動物体領域有
   無の判断を各小領域毎に行うことにより前記抽出対象画
   像系列から動物体物の抽出を行う手段とを有する動物体
   抽出装置。