JP2002312795A - 画像処理装置および画像処理方法、記録媒体、並びにプログラム - Google Patents

Abstract

(57)【要約】 【課題】 ベイズ推定を用いて，被写体の抽出精度を向
上させる。 【解決手段】 背景条件確率検出部６１は、背景を条件
として入力画像の画素値Ｉ（ｉ，ｊ）の出現確率を算出
し、ヒストグラム生成部６２は、２値画像の画素値Ｂ
（ｉ，ｊ）が１となる画素値Ｉ（ｉ，ｊ）のヒストグラ
ムを生成し、被写体条件確率検出部６３は、被写体を条
件として画素値Ｉ（ｉ，ｊ）の出現確率を算出する。多
値マスク生成部６４は、画素値Ｂ（ｉ，ｊ）を平滑化
し、画素値Ｍ（ｉ，ｊ）の多値画像を生成し、被写体／
背景確率検出部６５は被写体である確率と背景である確
率とを算出し、ベイズ推定演算部６６は、画素値Ｉ
（ｉ，ｊ）が被写体領域に属する確率を演算し、被写体
領域か背景領域かを示す２値画像を生成する。論理和演
算部６７は、論理和を演算し、画素値Ｏ（ｉ，ｊ）を出
力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、記録媒体、並びにプログラムに関し、
特に、背景領域と被写体領域とからなる画像から被写体
領域のみを抽出する場合に用いて好適な、画像処理装置
および画像処理方法、記録媒体、並びにプログラムに関
する。

【０００２】

【従来の技術】例えば、背景と被写体からなる画像デー
タから被写体を抽出する場合など、画像の領域を分割す
る領域分割法として、従来、主に３つの方法が提案され
ている。

【０００３】第１の方法は、画像データの画素値のみを
利用するものであり、代表的なものとして、例えば、画
素値の類似度を定義して、領域統合を繰り返す方法や、
特徴空間におけるクラスタリングなどがある。

【０００４】第２の方法は、画素値と他の付加情報を併
用することによって、被写体領域を背景領域から分離し
て抽出するものであり、例えば、抽出すべき被写体領域
の大まかな境界線を予め与え、その境界線近傍のみを画
像処理することにより、正確に被写体領域を抽出するよ
うな方法である。この方法を動画像に適用する場合に
は、第１フレームにおいて抽出した領域に対して、動き
検出やフレーム間差分、あるいは、Snakes（動的輪郭モ
デル）を用いることにより領域の変化を追跡したり、第
１フレームと最終フレームにおいて、被写体領域を予め
抽出しておき、その間の画像に対しては、これら２つの
フレームにおいて抽出された被写体領域を基に補間を行
う方法などが提案されている。

【０００５】第２の方法において、抽出すべき被写体領
域の大まかな境界線の入力などの手動操作の介入を避け
る方法としては、例えば、被写体を含まない背景のみの
画像を予め撮像しておき、被写体を含む画像を、背景の
みの画像と比較して、その差分を演算することにより被
写体を抽出する背景差分法がある。

【０００６】また、撮像時に被写体以外の背景領域を一
定の色のスクリーンで覆い、この色情報を用いて対象物
を抽出するクロマキーという手法は、例えば、映像制作
などに現在最も頻繁に用いられている手法である。

【０００７】第３の方法は、特殊な撮像装置を用いて距
離情報などを算出し、それに基づいて被写体を抽出する
方法であり、例えば、視点の異なる複数のカメラによっ
て得られた画像間の視差情報を用いる方法が多く提案さ
れている。また、複数のカメラを用いずに、一台のカメ
ラの撮像面位置を変化させ、そのときに画像上に生じる
ぼけの変化を利用して距離を算出する方法も提案されて
いる。

【０００８】

【発明が解決しようとする課題】被写体を背景から切り
取り抽出するために、以上説明したような、様々な方法
が用いられている。

【０００９】しかしながら、第１の方法は、物理的に一
様な局所領域（例えば、ある一定の色情報を有する領域
や、境界線など）を抽出するための手段としては優れて
いるが、意味のある被写体を１つの領域として抽出する
ためには、充分な方法ではない。

【００１０】また、第３の方法として説明した視差情報
を用いる方法では、複数のカメラが必要となる（もしく
は、ひとつのカメラで複数の画像を撮像する必要がある
ため、撮像に時間がかかる）上に、画像間の対応を演算
するための演算量が非常に多い。また、ぼけ情報を用い
る場合、撮像装置における実現可能な被写界深度が問題
となる。近年の撮像装置、特に民生用途の撮像装置は、
小型化される傾向にある。そのため、被写界深度が深く
なる場合が多く、撮像面位置の変化によるぼけの差が検
出し難い場合が殆どである。

【００１１】第２の方法において、手動操作に依存する
方法を取る場合、柔軟なインターフェースが求められる
ため、アプリケーションとして実現するのが非常に困難
である。また、時間的に領域を追跡している方法を採用
する場合、動き検出などのエラーが蓄積されていく可能
性が大きく、長時間のシーケンスを処理するのには向か
ない。更に、動き検出やSnakesは、演算量が多いため、
リアルタイムに画像を処理するアプリケーションに導入
するのは非常に困難である。

【００１２】これらに対して、背景差分法は、演算が比
較的簡単であるとともに、背景領域が変化しない限り、
差分値が大きい画素は、非常に高い確率で被写体領域と
して抽出されることが期待できる上に、時間的なエラー
の蓄積の恐れもない。

【００１３】しかしながら、背景差分法においても、差
分値が小さい場合（例えば、被写体が背景に近い色の部
分を有する場合など）は、必ずしも正しい領域分割がで
きていると保証することはできず、このような場合は、
被写体領域が背景領域として誤判定されやすい。差分値
を統計的に処理することにより、被写体の抽出精度を向
上させるような試みもなされているが、従来の方法で
は、必ずしも満足できる領域分割が実現できているとは
いえない。

【００１４】本発明はこのような状況に鑑みてなされた
ものであり、背景差分法の簡便さを利用しつつ、簡単な
装置を用いて、簡単な演算によって、正確に被写体領域
を抽出することができるようにするものである。

【００１５】

【課題を解決するための手段】本発明の画像処理装置
は、撮像された画像データの入力を受ける入力手段と、
入力手段により入力された背景領域からなる背景画像か
ら、背景領域の情報を抽出する第１の抽出手段と、入力
手段により入力された背景領域および被写体領域からな
る第１の対象画像から、被写体領域を抽出する第２の抽
出手段とを備え、第２の抽出手段は、ベイズ推定を用い
て、第１の対象画像から、被写体領域を抽出することを
特徴とする。

【００１６】入力手段には、複数の背景画像の入力を受
けさせるようにすることができ、第１の抽出手段には、
背景画像から特徴画像を生成する第１の生成手段を備え
させるようにすることができる。

【００１７】第１の生成手段により生成された特徴画像
には、複数の背景画像の同一座標における最大の画素値
から構成された画像が含まれるものとすることができ
る。

【００１８】第１の生成手段により生成された特徴画像
には、複数の背景画像の同一座標における最小の画素値
から構成された画像が含まれるものとすることができ
る。

【００１９】第１の生成手段により生成された特徴画像
には、複数の背景画像の同一座標の画素値の平均値から
構成された画像が含まれるものとすることができる。

【００２０】第１の生成手段により生成された特徴画像
には、複数の背景画像の同一座標の画素値の標準偏差を
算出することにより生成された偏差画像が含まれるもの
とすることができる。

【００２１】第１の生成手段により生成された特徴画像
には、複数の背景画像の同一座標における最大の画素値
から構成された第１の画像、および、複数の背景画像の
同一座標における最小の画素値から構成された第２の画
像が含まれものとすることができ、第２の抽出手段に
は、入力手段により入力された第１の対象画像の所定の
座標の画素値が、第１の画像の対応する座標の画素値よ
りも大きいか、もしくは第２の画像の対応する座標の画
素値よりも小さい場合、第１の対象画像の所定の座標の
画素を被写体領域内の画素の候補として検出する被写体
候補検出手段を備えさせるようにすることができる。

【００２２】第１の生成手段により生成された特徴画像
には、複数の背景画像の同一座標における最大の画素値
から構成された第１の画像、および、複数の背景画像の
同一座標における最小の画素値から構成された第２の画
像が含まれるようにすることができ、第２の抽出手段に
は、第１の画像の各画素値に所定の第１の値を積算して
第３の画像を生成する第２の生成手段と、第２の画像の
各画素値に所定の第２の値を積算して第４の画像を生成
する第３の生成手段と、入力手段により入力された第１
の対象画像の所定の座標の画素値が、第２の生成手段に
より生成された第３の画像の対応する座標の画素値より
も大きいか、もしくは、第３の生成手段により生成され
た第４の画像の対応する座標の画素値よりも小さい場
合、第１の対象画像の所定の座標の画素を被写体領域内
の画素の候補として検出する被写体候補検出手段とを備
えさせるようにすることができる。

【００２３】第１の生成手段により生成された特徴画像
には、複数の背景画像の同一座標の画素値の平均値から
構成された第１の画像、および、複数の背景画像の同一
座標の画素値の標準偏差を算出することにより生成され
た偏差画像である第２の画像が含まれるようにすること
ができ、第２の抽出手段には、第２の画像の各画素値に
所定の第１の値を積算して、第１の画像の対応する座標
の画素値から減算することにより第３の画像を生成する
第２の生成手段と、第２の画像の各画素値に所定の第２
の値を積算して、第１の画像の対応する座標の画素値に
加算することにより第４の画像を生成する第３の生成手
段と、入力手段により入力された第１の対象画像の所定
の座標の画素値が、第２の生成手段により生成された第
３の画像の対応する座標の画素値よりも小さいか、もし
くは、第３の生成手段により生成された第４の画像の対
応する座標の画素値よりも大きい場合、第１の対象画像
の所定の座標の画素を被写体領域内の画素の候補として
検出する被写体候補検出手段とを備えさせるようにする
ことができる。

【００２４】画素値を補正する補正手段を更に備えるよ
うにすることができ、補正手段には、第１の対象画像と
背景画像との撮像条件が異なる場合に、撮像条件が等し
い場合に対応するように補正を行わせるようにすること
ができる。

【００２５】撮像条件とは、照明光の強度であるものと
することができる。

【００２６】撮像条件とは、画像データの撮像における
カメラパラメータであるものとすることができる。

【００２７】入力手段には、複数の背景画像の入力を受
けさせるようにすることができ、第１の抽出手段には、
背景画像から特徴画像を生成する生成手段を備えさせる
ようにすることができ、生成手段により生成された特徴
画像には、複数の背景画像の同一座標の画素値の平均値
から構成された平均値画像が含まれるものとすることが
でき、補正手段には、第１の対象画像と平均値画像とを
基に、補正係数を算出することにより補正を行わせるよ
うにすることができる。

【００２８】第２の抽出手段には、被写体領域内に存在
している可能性のある被写体画素候補を検出する検出手
段と、検出手段による検出結果をベイズ推定を用いて補
正することにより、前記第１の対象画像から、被写体領
域を抽出するベイズ推定補正手段とを備えさせるように
することができる。

【００２９】ベイズ推定補正手段による補正は、検出手
段により被写体画素候補として検出された画素以外の画
素に対して行われるものとすることができる。

【００３０】ベイズ推定補正手段には、画素毎に、画素
が被写体である第１の確率、画素が背景である第２の確
率、被写体領域であるという条件の基でその画素値が出
現する第３の確率、および背景領域であるという条件の
基でその画素値が出現する第４の確率を算出する第１の
算出手段と、第１の算出手段により算出された確率を用
いて、ベイズ推定法に基づいて、現在の画素値が与えら
れたという条件のもとでその画素値が被写体である第５
の確率を算出する第２の算出手段と、第２の算出手段に
より算出された第５の確率と所定の閾値を比較する比較
手段とを備えさせるようにすることができる。

【００３１】第２の抽出手段には、検出手段により検出
された被写体画素候補のヒストグラムを生成する生成手
段を更に備えさせるようにすることができ、第１の算出
手段には、ヒストグラムを基に、第３の確率を算出させ
るようにすることができる。

【００３２】第１の算出手段には、第１の抽出手段によ
り抽出された背景領域の情報に基づいて第４の確率を算
出させるようにすることができる。

【００３３】第２の抽出手段には、被写体領域内に存在
している可能性のある被写体画素候補を検出する検出手
段と、検出手段により検出された被写体画素候補と対象
画素との空間的な配置関係から、対象画素が被写体であ
る確率および背景である確率を算出する算出手段と、算
出手段による算出結果をベイズ推定を用いて補正するこ
とにより、前記第１の対象画像から、被写体領域を抽出
するベイズ推定補正手段とを備えさせるようにすること
ができる。

【００３４】第２の抽出手段には、被写体領域の候補画
素および背景領域の候補画素を検出し、被写体領域の候
補画素と背景領域の候補画素とで異なる値を有する２値
画像を生成する生成手段と、生成手段により生成された
２値画像を平滑化する平滑化手段と備えさせるようにす
ることができる。

【００３５】入力手段により第１の対象画像と異なる時
刻に入力され、背景領域および被写体領域からなる第２
の対象画像のうちの所定の画素が被写体領域である確率
を推定する推定手段を更に備えさせるようにすることが
でき、第２の抽出手段には、推定手段により推定された
第２の対象画像のうちの所定の画素が被写体領域である
確率を用いて、ベイズ推定により、第１の対象画像か
ら、被写体領域を抽出させるようにすることができる。

【００３６】第２の抽出手段による抽出結果を記憶する
記憶手段を更に備えさせるようにすることができ、第２
の抽出手段には、記憶手段に記憶されている１つ前の時
刻の抽出結果を用いて、ベイズ推定により、第１の対象
画像から、被写体領域を抽出させるようにすることがで
きる。

【００３７】第２の抽出手段による抽出結果を記憶する
記憶手段と、記憶手段により記憶されている抽出結果に
基づいて、抽出された被写体領域に存在する画素の画素
値のヒストグラムを生成する生成手段とを更に備えさせ
るようにすることができ、第２の抽出手段には、生成手
段により生成されたヒストグラムを用いて、ベイズ推定
により、第１の対象画像から、被写体領域を抽出させる
ようにすることができる。

【００３８】入力手段により入力された画像データが色
情報を含む場合、第１の抽出手段には、色情報の成分毎
に背景領域の情報を抽出させるようにすることができ
る。

【００３９】入力手段により入力された画像データが色
情報を含む場合、補正手段には、色情報の成分毎に補正
を実行させるようにすることができる。

【００４０】入力手段により入力された画像データが色
情報を含む場合、検出手段には、色情報の成分毎に被写
体領域内に存在している可能性のある被写体画素候補を
検出させるようにすることができる。

【００４１】本発明の画像処理方法は、撮像された画像
データの入力を制御する入力制御ステップと、入力制御
ステップの処理により入力が制御された背景領域からな
る背景画像から、背景領域の情報を抽出する第１の抽出
ステップと、入力制御ステップの処理により入力が制御
された背景領域および被写体領域からなる対象画像か
ら、被写体領域を抽出する第２の抽出ステップとを含
み、第２の抽出ステップの処理では、ベイズ推定を用い
て、対象画像から、被写体領域を抽出することを特徴と
する。

【００４２】本発明の記録媒体に記録されているプログ
ラムは、撮像された画像データの入力を制御する入力制
御ステップと、入力制御ステップの処理により入力が制
御された背景領域からなる背景画像から、背景領域の情
報を抽出する第１の抽出ステップと、入力制御ステップ
の処理により入力が制御された背景領域および被写体領
域からなる対象画像から、被写体領域を抽出する第２の
抽出ステップとを含み、第２の抽出ステップの処理で
は、ベイズ推定を用いて、対象画像から、被写体領域を
抽出することを特徴とする。

【００４３】本発明のプログラムは、撮像された画像デ
ータの入力を制御する入力制御ステップと、入力制御ス
テップの処理により入力が制御された背景領域からなる
背景画像から、背景領域の情報を抽出する第１の抽出ス
テップと、入力制御ステップの処理により入力が制御さ
れた背景領域および被写体領域からなる対象画像から、
被写体領域を抽出する第２の抽出ステップとを含み、第
２の抽出ステップの処理では、ベイズ推定を用いて、対
象画像から、被写体領域を抽出することを特徴とする処
理をコンピュータに実行させる。

【００４４】本発明の画像処理装置および画像処理方
法、並びにプログラムにおいては、撮像された画像デー
タが入力され、入力された背景領域からなる背景画像か
ら、背景領域の情報が抽出され、入力された背景領域お
よび被写体領域からなる対象画像から、ベイズ推定を用
いて、被写体領域が抽出される。

【００４５】

【発明の実施の形態】以下、図を参照して、本発明の実
施の形態について説明する。

【００４６】まず、本発明の第１の実施の形態について
説明する。図１は、本発明を適応した画像処理装置１の
構成を示すブロック図である。

【００４７】画像処理装置１は、動作モードとして、背
景情報抽出モードと被写体抽出モードとの、２つのモー
ドを有しており、ユーザは、図示しない操作部を操作す
ることによって、背景情報抽出モードと被写体抽出モー
ドを切り替えることができる。背景情報抽出モードで
は、背景のみからなる画像の入力を受けて背景領域に関
する情報を抽出する処理が実行される。一方、被写体抽
出モードでは、背景情報抽出モードにおいて抽出された
背景情報を基に、被写体と背景から構成された画像から
被写体領域のみを抽出する処理が実行される。

【００４８】撮像部１１は、例えばCCD（Charge Couple
d Devices）カメラなどから構成されている。撮像部１
１は、制御部１３の制御に従って画像を撮像し、画素値
Ｉ（ｉ，ｊ）からなる画像データを被写体領域検出部１
２に出力する。ここで、画素値Ｉ（ｉ，ｊ）は、撮像さ
れた画像データの二次元座標（ｉ，ｊ）上の画素値を表
す。

【００４９】被写体領域検出部１２は、スイッチ２１、
背景情報抽出部２２、メモリ２３、被写体候補検出部２
４、および被写体判定部２５で構成され、制御部１３の
処理に従って、撮像部１１から入力された画像データを
処理し、被写体領域を検出する処理を実行する。

【００５０】スイッチ２１は、制御部１３から入力され
る信号を基に、背景情報抽出モードの場合、背景のみで
構成される背景画像の画像データを背景情報抽出部２２
に供給し、被写体抽出モードの場合、被写体を含む画像
データを被写体候補検出部２４および被写体判定部２５
に供給する。

【００５１】制御部１３は、画像処理装置１の動作を制
御するものであり、例えば、図示しない操作部から入力
された信号を基に背景情報抽出モードか被写体抽出モー
ドかを判断し、撮像部１１で撮像された画像データを被
写体領域検出部１２の適する部分に供給するようにスイ
ッチ２１を切り替えさせる。また、制御部１３にはドラ
イブ１４も接続されている。ドライブ１４には、必要に
応じて磁気ディスク３１、光ディスク３２、光磁気ディ
スク３３、および半導体メモリ３４が装着され、データ
の授受を行うようになされている。

【００５２】背景情報抽出部２２の更に詳細な構成を示
すブロック図を図２に示す。

【００５３】背景抽出モードにおいて、スイッチ２１を
介して入力された背景画像データは、最大値画像生成部
４１、最小値画像生成部４２、および平均値画像生成部
４３に供給される。最大値画像生成部４１は、入力され
た複数の画像の座標（ｉ，ｊ）毎の画素の最大値を、式
（１）により算出し、それぞれの座標における最大の画
素値Ｍａｘ（ｉ，ｊ）からなる最大値画像を背景情報と
して生成し、メモリ２３に出力して保存させる。

【数１】 ・・・（１）

【００５４】ここで、Ｉｋ（ｉ，ｊ）は、ｋ番目の画像
の、座標（ｉ，ｊ）における画素値を示す。また、ＭＡ
Ｘ（・）は、括弧内に示される複数の数値の最大値を算
出する演算を示す。

【００５５】最小値画像生成部４２は、入力された複数
の画像の座標（ｉ，ｊ）毎の画素の最小値を、式（２）
により算出し、それぞれの座標における最小の画素値Ｍ
ｉｎ（ｉ，ｊ）からなる最小値画像を背景情報として生
成し、メモリ２３に出力して保存させる。平均値画像生
成部４３は、入力された複数の画像の座標（ｉ，ｊ）毎
の画素の平均値を、式（３）により算出し、それぞれの
座標における平均の画素値Ａｖｅ（ｉ，ｊ）からなる平
均値画像を背景情報として生成し、メモリ２３に出力し
て保存させる。

【数２】 ・・・（２）

【数３】 ・・・（３）

【００５６】ここで、ＭＩＮ（・）は、括弧内に示され
る複数の数値の最小値を算出する演算を示す。また、Ｎ
は、背景情報抽出部２２に供給された画像の枚数を示
す。

【００５７】メモリ２３は、背景情報抽出部２２が抽出
した背景情報の入力を受け、背景情報を保存するととも
に、保存している背景情報を、被写体候補検出部２４お
よび被写体判定部２５に供給する。

【００５８】被写体候補検出部２４の更に詳細な構成を
示すブロック図を図３に示す。

【００５９】被写体候補検出部２４の２値化処理部５２
は、スイッチ２１を介して入力画像データの画素値Ｉ
（ｉ，ｊ）の供給を受ける。閾値算出部５１は、メモリ
２３に記録されている背景情報から必要な情報（ここで
は、最大値画像の画素値Ｍａｘ（ｉ，ｊ）および最小値
画像の画素値Ｍｉｎ（ｉ，ｊ））を読み込み、背景領域
か被写体かを判断するための、画素値の上限の閾値Ｔｍ
ａｘおよび画素値の下限の閾値Ｔｍｉｎを算出する。

【００６０】背景領域か被写体かを判断するための、画
素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔ
ｍｉｎの算出方法は、いかなる方法であってもかまわな
いが、この例においては、式（４）および式（５）を用
いて画素値の上限の閾値Ｔｍａｘおよび画素値の下限の
閾値Ｔｍｉｎを算出し、算出結果を２値化処理部５２に
出力する。

【数４】 ・・・（４）

【数５】 ・・・（５）

【００６１】式（４）の係数ａおよび式（５）の係数ｂ
は、それぞれ予め設定された係数であり、例えば、照明
光の変動などによる画素値のゆらぎを吸収するために、
通常、ａ＞１．０、ｂ＜１．０で、実験などにより、も
しくは、経験的に求められる。

【００６２】２値化処理部５２は、閾値算出部５１によ
り算出された閾値の入力を受け、図示しない内部のメモ
リに保存する。２値化処理部５２は、スイッチ２１を介
して画素値Ｉ（ｉ，ｊ）の入力を受け、内部のメモリに
保存している閾値を用いて、次の式（６）に基づいて、
２値化された画素値Ｂ（ｉ，ｊ）からなる２値画像を生
成し、被写体判定部２５に出力する。

【数６】 ・・・（６）

【００６３】すなわち、２値化処理部５２は、入力され
た画素値Ｉ（ｉ，ｊ）のうち、閾値の範囲内の画素値に
対応する画素には背景候補であることを示す値として
０、閾値の範囲外の画素値に対応する画素は被写体候補
であることを示す値として１を設定した２値画像の画素
値Ｂ（ｉ，ｊ）を生成する。

【００６４】図３においては、閾値算出部５１におい
て、式（４）および式（５）を用いて最大値画像の画素
値Ｍａｘ（ｉ，ｊ）および最小値画像の画素値Ｍｉｎ
（ｉ，ｊ）に所定の係数を積算することにより、例え
ば、照明光の変動などによる画素値のゆらぎを吸収する
ようになされているが、閾値算出部５１を省略し、最大
値画像の画素値Ｍａｘ（ｉ，ｊ）および最小値画像の画
素値Ｍｉｎ（ｉ，ｊ）を直接２値化処理部５２に入力す
ることにより、ゆらぎは吸収することができないが、そ
の代わりに演算量を削減するようにしても良い。

【００６５】被写体判定部２５には、被写体抽出モード
において、スイッチ２１から画素値Ｉ（ｉ，ｊ）が入力
され、被写体候補検出部２４から２値画像の画素値Ｂ
（ｉ，ｊ）が入力されるとともに、メモリ２３から最大
値画像の画素値Ｍａｘ（ｉ，ｊ）、最小値画像の画素値
Ｍｉｎ（ｉ，ｊ）、および平均値画像の画素値Ａｖｅ
（ｉ，ｊ）が読み込まれる。被写体判定部２５の更に詳
細な構成を示すブロック図を図４に示す。

【００６６】背景条件確率検出部６１は、メモリ２３か
ら背景情報（ここでは、最大値画像の画素値Ｍａｘ
（ｉ，ｊ）、最小値画像の画素値Ｍｉｎ（ｉ，ｊ）、お
よび平均値画像の画素値Ａｖｅ（ｉ，ｊ））を読み込
み、式（７）を用いて、ガウス分布により、背景である
という条件の基で画素値Ｉ（ｉ，ｊ）が出現する確率Ｐ
（Ｉ（ｉ，ｊ）｜ｂｇ）を算出し、ベイズ推定演算部６
６に出力する。

【数７】 ・・・（７）

【００６７】ここで、確率Ｐ（Ａ｜Ｂ）とは、事象Ｂで
あるという条件の基で、事象Ａが発生する確率のことで
ある。

【００６８】式（７）の係数ｓは、ガウス分布の標準偏
差であり、この例においては、最大値画像の画素値Ｍａ
ｘ（ｉ，ｊ）、最小値画像の画素値Ｍｉｎ（ｉ，ｊ）、
および平均値画像の画素値Ａｖｅ（ｉ，ｊ）を用いて、
次の式（８）によって算出される。

【数８】 ・・・（８）

【００６９】すなわち、式（７）は、背景情報抽出モー
ドにおいて、背景として出現した画素値に近い画素値で
あるほど、背景領域である確率が高いことを示してい
る。

【００７０】ヒストグラム生成部６２は、入力画像デー
タの画素値Ｉ（ｉ，ｊ）および２値画像の画素値Ｂ
（ｉ，ｊ）の入力を受け、２値画像の画素値Ｂ（ｉ，
ｊ）が１である座標（すなわち、被写体候補検出部２４
において被写体候補とみなされた画素の座標）に対応す
る画素値Ｉ（ｉ，ｊ）に対応するヒストグラムＨ（Ｉ
（ｉ，ｊ））を生成し、被写体条件確率検出部６３に出
力する。

【００７１】被写体条件確率検出部６３は、入力画像デ
ータの画素値Ｉ（ｉ，ｊ）、およびヒストグラムＨ（Ｉ
（ｉ，ｊ））の入力を受け、被写体であるという条件の
基で画素値Ｉ（ｉ，ｊ）が出現する確率Ｐ（Ｉ（ｉ，
ｊ）｜ｏｂｊ）を式（９）によって算出する。 Ｐ（Ｉ（ｉ，ｊ）｜ｏｂｊ）＝Ｈ（Ｉ（ｉ，ｊ））／obj_count・・・（９）

【００７２】ここで、obj_countは、被写体候補の画素
の総数（すなわち、２値画像の画素値Ｂ（ｉ，ｊ）のう
ち、画素値が１である画素の総数）である。

【００７３】被写体候補検出部２４において、背景差分
法により得られた被写体候補（すなわち、被写体候補と
背景候補で異なる値を持つ画素値Ｂ（ｉ，ｊ）からなる
２値画像）が得られる。この被写体候補は、背景情報抽
出モードにおいて抽出された画素値の情報との差が小さ
い画素は必ずしも背景領域に属するとはいえないが、そ
の差が大きい画素に関してはかなり高い確率で被写体領
域に属するといえるという性質を利用して抽出される。
式（９）における確率Ｐ（Ｉ（ｉ，ｊ）｜ｏｂｊ）の定
義は、この性質に基づいたものであり、被写体候補検出
部２４において検出された被写体候補に対応する画素の
うち出現頻度が高い画素値（すなわち、ヒストグラムで
高い数値を得ている画素値）ほど、被写体領域に出現す
る確率が高いことを示している。

【００７４】多値マスク生成部６４は、入力された２値
画像の画素値Ｂ（ｉ，ｊ）に対して、例えば、式（１
０）で示されるような平滑化処理を施し、平滑化された
画素値Ｍ（ｉ，ｊ）からなる帯域の狭い多値画像を生成
し、被写体／背景確率検出部６５に出力する。 Ｍ（ｉ，ｊ）＝ＬＰＦ（Ｂ（ｉ，ｊ）×Ｃ）・・・（１０）

【００７５】ここで、式（１０）において、画素値Ｂ
（ｉ，ｊ）に乗算されている係数Ｃは、予め設定された
定数であり、後述する被写体／背景確率検出部６５が実
行する計算における、確率の値の精度を定めるものであ
る。また、ＬＰＦとしては、例えば、平均値フィルタな
どを用いることができる。

【００７６】被写体／背景確率検出部６５は、多値マス
ク生成部６４から入力された多値画像の画素値Ｍ（ｉ，
ｊ）を基に、次の式（１１）で示される被写体である確
率Ｐ（ｏｂｊ）および式（１２）で示される背景である
確率Ｐ（ｂｇ）を算出し、ベイズ推定演算部６６に出力
する。 Ｐ（ｏｂｊ）＝Ｍ（ｉ，ｊ）／Ｃ・・・（１１） Ｐ（ｂｇ）＝１．０−Ｐ（ｏｂｊ）・・・（１２）

【００７７】ここで、式（１１）の係数Ｃは、式（１
０）の係数Ｃと同一の値である。多値マスク生成部６４
で生成された多値画像の画素値Ｍ（ｉ，ｊ）は、被写体
候補検出部２４において被写体候補とされた画素（画素
値１に設定された画素）に空間的に近いほど大きな画素
値（１に近い画素値）となる。すなわち、式（１１）お
よび式（１２）は、背景差分法によって抽出された被写
体候補の空間的な分布によって被写体である確率、およ
び背景である確率を定義するものであり、被写体候補の
画素に近いほど被写体である確率が高いといえる。

【００７８】ベイズ推定演算部６６は、入力された情報
を基に、ベイズの定理に従って、画素値Ｉ（ｉ，ｊ）が
被写体領域に属する確率Ｐ（ｏｂｊ｜Ｉ（ｉ，ｊ））を
演算する。

【００７９】２つの事象ＡおよびＢがあるとき、事象Ａ
であるという条件の基で、事象Ｂが発生する確率は、次
の式（１３）で表わされる。これをベイズの定理とい
う。

【数９】 ・・・（１３）

【００８０】すなわち、ベイズ推定演算部６６は、背景
条件確率検出部６１から入力された、背景であるという
条件の基で画素値Ｉ（ｉ，ｊ）が出現する確率Ｐ（Ｉ
（ｉ，ｊ）｜ｂｇ）、被写体条件確率検出部６３から入
力された被写体であるという条件の基で画素値Ｉ（ｉ，
ｊ）が出現する確率Ｐ（Ｉ（ｉ，ｊ）｜ｏｂｊ）、並び
に、被写体／背景確率検出部６５から入力された被写体
である確率Ｐ（ｏｂｊ）および背景である確率Ｐ（ｂ
ｇ）を用いて、次の式（１４）により、画素値Ｉ（ｉ，
ｊ）が被写体領域に属する確率Ｐ（ｏｂｊ｜Ｉ（ｉ，
ｊ））を演算する。

【数１０】 ・・・（１４）

【００８１】そして、ベイズ推定演算部６６は、式（１
４）によって求められた画素値Ｉ（ｉ，ｊ）が被写体領
域に属する確率Ｐ（ｏｂｊ｜Ｉ（ｉ，ｊ））が、予め設
定された閾値Ｔより大きい場合には、対応する画素
（ｉ，ｊ）は被写体領域であると判定し、閾値Ｔより小
さい場合には、背景領域と判定し、次の式（１５）に従
って、２値化された画素値Ｏ´（ｉ，ｊ）からなる２値
画像を生成し、論理和演算部６７に出力する。

【数１１】 ・・・（１５）

【００８２】論理和演算部６７は、被写体候補検出部２
４において背景の候補とされた画素についてのみベイズ
推定による補正を反映させるため、被写体候補検出部２
４から入力された２値画像の画素値Ｂ（ｉ，ｊ）と、ベ
イズ推定演算部６６から入力された２値画像の画素値Ｏ
´（ｉ，ｊ）の座標毎の論理和を演算し、その結果得ら
れた画素値Ｏ（ｉ，ｊ）からなる２値画像を出力する。

【００８３】また、被写体候補検出部２４から入力され
た２値画像の画素値Ｂ（ｉ，ｊ）と、ベイズ推定演算部
６６から入力された２値画像の画素値Ｏ´（ｉ，ｊ）の
論理を逆（すなわち、背景であると判断された場合は
１、被写体であると判断された場合は０）とし、論理和
演算部６７に代わって、入力された２値画像の座標毎の
論理積を演算する論理積演算部を備えるようにしても良
い。

【００８４】図１を用いて説明した画像処理装置１にお
いては、メモリ２３に最大値画像の画素値Ｍａｘ（ｉ，
ｊ）、最小値画像の画素値Ｍｉｎ（ｉ，ｊ）、および平
均値画像の画素値Ａｖｅ（ｉ，ｊ）を保存させ、被写体
候補検出部２４の閾値算出部５１に最大値画像の画素値
Ｍａｘ（ｉ，ｊ）および最小値画像の画素値Ｍｉｎ
（ｉ，ｊ）を読み込ませ、背景領域か被写体かを判断す
るための画素値の上限の閾値Ｔｍａｘおよび画素値の下
限の閾値Ｔｍｉｎを、式（４）および式（５）を用いて
算出させるようにしているが、背景情報抽出モード時
に、背景情報抽出部２２に、式（４）および式（５）の
演算を予め実行させ、メモリ２３に、画素値の上限の閾
値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎを保存さ
せるようにしても良い。その場合、閾値算出部５１を省
略することができ、被写体抽出モードにおける演算時間
を削減することが可能となる。

【００８５】また、式（８）を用いて説明した標準偏差
ｓも、背景情報抽出モード時に、背景情報抽出部２２に
より予め演算させるようにし、メモリ２３に保存させる
ようにしても良い。

【００８６】また、被写体判定部２５において、背景で
あるという条件の基で画素値Ｉ（ｉ，ｊ）が出現する確
率Ｐ（Ｉ（ｉ，ｊ）｜ｂｇ）を、式（８）によって算出
される標準偏差ｓのガウス分布で近似しているが、標準
偏差の算出に他の式を用いたり、あるいは、背景画像の
性質に応じた他の分布関数を用いても良いことは言うま
でもない。

【００８７】また、被写体である確率Ｐ（ｏｂｊ）は、
式（１１）以外にも、例えば、次の式（１６）に示され
るような非線形関数を用いて求める（被写体領域、もし
くは背景領域に重み付けを施す）ようにしても良い。

【数１２】 ・・・（１６） ここで、ｇは重み付けを行うのに適当な、予め定められ
た定数である。

【００８８】次に、本発明の第２の実施の形態について
説明する。図５は、本発明を適応した画像処理装置７１
の構成を示すブロック図である。なお、図１における場
合と対応する部分には同一の符号を付してあり、その説
明は適宜省略する。

【００８９】すなわち、図５の画像処理装置７１は、被
写体領域検出部１２に代わって、被写体領域検出部８１
が設けられている以外は、図１の画像処理装置１と基本
的に同様の構成を有しており、被写体領域検出部８１
は、背景情報抽出部２２に代わって、背景情報抽出部９
１が設けられている以外は、図１の被写体領域検出部１
２と基本的に同様の構成を有している。

【００９０】図６は、背景情報抽出部９１の更に詳細な
構成を示すブロック図である。

【００９１】平均値画像生成部４３は、図２を用いて説
明したので、ここではその説明を省略する。

【００９２】偏差画像生成部１０１は、入力された複数
の画像データの画素値Ｉ（ｉ，ｊ）から、それぞれの座
標毎に、次の式（１７）を用いて標準偏差を算出し、そ
の値を画素値Ｓｄｖ１（ｉ，ｊ）とする偏差画像を背景
情報として生成し、メモリ２３に出力する。

【数１３】 ・・・（１７）

【００９３】また、偏差画像生成部１０１における演算
量の削減のために、式（１７）の演算において、平方根
を省略し、分散値をメモリ２３に保存するようにしても
良い。

【００９４】被写体候補検出部２４は、メモリ２３か
ら、背景情報（ここでは、平均値画像の画素値Ａｖｅ
（ｉ，ｊ）および偏差画像の画素値Ｓｄｖ１（ｉ，
ｊ））を読み出す。閾値算出部５１は、式（１８）およ
び式（１９）を用いて、画素値の上限の閾値Ｔｍａｘお
よび画素値の下限の閾値Ｔｍｉｎを算出し、算出結果を
２値化処理部５２に出力する。２値化処理部５２は、第
１の実施の形態と同様にして、２値画像の画素値Ｂ
（ｉ，ｊ）を算出して出力する。

【数１４】 ・・・（１８）

【数１５】 ・・・（１９） ここで、係数ｃおよび係数ｃ’は、予め設定された定数
である。

【００９５】そして、被写体判定部２５の背景条件確率
検出部６１において、上述した式（７）を用いて背景で
あるという条件の基で画素値Ｉ（ｉ，ｊ）が出現する確
率Ｐ（Ｉ（ｉ，ｊ）｜ｂｇ）が算出されるが、この場
合、ガウス分布の標準偏差ｓには、式（８）を用いず
に、メモリ２３に保存されている偏差画像の画素値Ｓｄ
ｖ１（Ｉ，ｊ）の各画素値を用いることができる。

【００９６】また、照明光や撮像部１１の撮像パラメー
タの変動などを考慮して、例えば、偏差画像の画素値Ｓ
ｄｖ１（Ｉ，ｊ）の各画素値に、予め設定された係数を
積算しておき、積算結果をガウス分布の標準偏差として
用いるようにしても良い。

【００９７】そして、第１の実施の形態と同様にして、
被写体判定部２５において背景であると判定された場合
は０、被写体であると判定された場合は１の画素値を有
する２値画像の画素値Ｏ（ｉ，ｊ）が生成され、出力さ
れる。

【００９８】第２の実施の形態によれば、メモリ２３に
おいて保存される情報が、平均値画像の画素値Ａｖｅ
（ｉ，ｊ）および偏差画像の画素値Ｓｄｖ１（ｉ，ｊ）
の２種類であるので、メモリ２３の容量を削減すること
が可能である。

【００９９】次に、本発明の第３の実施の形態について
説明する。図７は、本発明を適応した画像処理装置１１
１の構成を示すブロック図である。なお、図１における
場合と対応する部分には同一の符号を付してあり、その
説明は適宜省略する。

【０１００】すなわち、図７の画像処理装置１１１は、
被写体領域検出部１２に代わって、被写体領域検出部１
２１が設けられている以外は、基本的に、図１を用いて
説明した画像処理装置１と基本的に同様の構成を有し、
被写体領域検出部１２１は、補正係数算出部１３１、メ
モリ１３２、および画素値補正部１３３が新たに設けら
れている以外は、図１を用いて説明した被写体領域検出
部１２と基本的に同様の構成を有している。

【０１０１】被写体抽出モードにおいて、撮像部１１に
おいて撮像された画像データは、被写体候補検出部２４
および被写体判定部２５に入力される前に、補正係数算
出部１３１、メモリ１３２、および画素値補正部１３３
において、照明光や撮像部１１の撮像パラメータの変動
成分の補正が実行される。撮像部１１において撮像され
た画像データの画素値Ｉ（ｉ，ｊ）は、スイッチ２１を
介して、補正係数算出部１３１およびメモリ１３２に出
力される。

【０１０２】補正係数算出部１３１は、入力された画素
値Ｉ（ｉ，ｊ）とメモリ２３から読み出した平均値画像
の画素値Ａｖｅ（ｉ，ｊ）から、式（２０）を用いて補
正係数ｐを算出し、画素値補正部１３３に出力する。

【数１６】 ・・・（２０） ここで、式（２０）中のdifは、入力された画素値Ｉ
（ｉ，ｊ）と、平均値画像の画素値Ａｖｅ（ｉ，ｊ）と
の差の絶対値であり、次の式（２１）で示される。

【数１７】 ・・・（２１）

【０１０３】また、式（２０）のＬは、被写体領域以外
の部分を示すが、実際には、この領域を事前に知ること
はできないため、例えば、図８に示される画像の４すみ
などのように、被写体が入り込みにくいと思われる領域
が予め設定される。

【０１０４】式（２０）のＴは、閾値であり、式（２
１）で示される入力された画素値Ｉ（ｉ，ｊ）と、平均
値画像の画素値Ａｖｅ（ｉ，ｊ）との差の絶対値がこの
閾値を越える場合には、領域Ｌに含まれる座標（ｉ，
ｊ）には被写体が撮像されているものとみなされ、補正
係数の算出から除外されるようになされている。

【０１０５】また、ＶｍｉｎおよびＶｍａｘは予め設定
された定数であり、入力された画素値Ｉ（ｉ，ｊ）と、
平均値画像の画素値Ａｖｅ（ｉ，ｊ）とが、いずれもＶ
ｍｉｎ以上Ｖｍａｘ以下である場合にのみ、その値が補
正係数の算出に用いられる。これは、画素の値が非常に
大きい場合は、飽和している可能性が高く、逆に非常に
小さい場合は、ノイズの影響を強く受けてしまうため、
いずれも補正係数の算出に用いるのが好ましくないから
である。

【０１０６】メモリ１３２は、スイッチ２１を介して入
力された画素値Ｉ（ｉ，ｊ）を、補正係数算出部１３１
の補正係数算出処理の実行時間に合わせて一時保存す
る。

【０１０７】画素値補正部１３３は、補正係数算出部１
３１が算出した補正係数ｐの入力を受け、メモリ１３２
から入力画像データの画素値Ｉ（ｉ，ｊ）を読み出し、
次の式（２２）により、各画素値の補正を実行する。 Ｉ’（ｉ，ｊ）＝Ｉ（ｉ，ｊ）／ｐ・・・（２２）

【０１０８】補正後の画素値Ｉ’（ｉ，ｊ）からなる補
正画像は、被写体候補検出部２４および被写体判定部２
５に供給され、図１を用いて説明した場合と同様にし
て、被写体領域が検出され、画素値Ｏ（ｉ，ｊ）からな
る２値画像が出力される。

【０１０９】図７を用いて説明した画像処理装置１１１
においては、例えば、式（２０）を用いて説明した補正
係数ｐの算出式において、分母と分子を入れ替えた算出
式を用いて補正係数ｐを算出し、画素値補正部１３３に
おいて、メモリ１３２から読み出した入力画像データの
画素値Ｉ（ｉ，ｊ）に、補正係数を積算するようにして
も良い。

【０１１０】また、図７の画像処理装置１１１において
は、第１の実施の形態と同様に、背景情報抽出部２２を
用いて背景情報を抽出し、その背景情報を用いて被写体
領域を検出しているものとして説明しているが、背景情
報抽出部２２に代わって、背景情報抽出部９１を設ける
ようにし、第２の実施の形態と同様に、背景情報９１を
用いて背景情報を抽出し、その背景情報を用いて被写体
領域を検出するようにしても良い。

【０１１１】次に、本発明の第４の実施の形態について
説明する。図９は、本発明を適応した画像処理装置１４
１の構成を示すブロック図である。画像処理装置１４１
は、特に、動画像から被写体領域を抽出する場合に適し
ている。なお、図１における場合と対応する部分には同
一の符号を付してあり、その説明は適宜省略する。

【０１１２】すなわち、図９の画像処理装置１４１は、
被写体領域検出部１２に代わって、被写体領域検出部１
５１が設けられている以外は、基本的に、図１を用いて
説明した画像処理装置１と基本的に同様の構成を有し、
被写体領域検出部１５１は、被写体判定部２５に代わっ
て、被写体判定部１６１が設けられている以外は、図１
を用いて説明した被写体領域検出部１２と基本的に同様
の構成を有している。

【０１１３】図１０は、被写体判定部１６１の更に詳細
な構成を示すブロック図である。なお、図４における場
合と対応する部分には同一の符号を付してあり、その説
明は適宜省略する。

【０１１４】まず、１枚目の画像データに対応する画素
値Ｉ（ｉ，ｊ）および背景情報（ここでは、最大値画像
の画素値Ｍａｘ（ｉ，ｊ）、最小値画像の画素値Ｍｉｎ
（ｉ，ｊ）、および平均値画像の画素値Ａｖｅ（ｉ，
ｊ））が被写体判定部１６１に入力される。

【０１１５】１枚目の画像データに対してのみ、被写体
候補検出部２４から出力される２値画像の画素値Ｂ
（ｉ，ｊ）は、論理和演算部６７およびメモリ１７２を
介して、ヒストグラム生成部６２および多値マスク生成
部６４に直接供給される。また、メモリ１７１に供給さ
れる入力画像データの画素値Ｉ（ｉ，ｊ）は、すぐにヒ
ストグラム生成部６２に入力されるが、１枚目の入力画
像データの画素値Ｉ（ｉ，ｊ）は、まだ、メモリ１７１
に保存されたままであるものとする。

【０１１６】ヒストグラム生成部６２は、メモリ１７１
を介して入力された画素値Ｂ（ｉ，ｊ）およびメモリ１
７１を介して入力された画素値Ｉ（ｉ，ｊ）を用いて、
図４を用いて説明した方法と同様にしてヒストグラムＨ
（Ｉ（ｉ，ｊ））を生成し、メモリ１７３を介して、被
写体条件確率検出部６３に出力する。

【０１１７】背景条件確率検出部６１、被写体条件確率
検出部６３、多値マスク生成部６４、被写体／背景確率
検出部６５、ベイズ推定演算部６６、および論理和演算
部６７は、図４を用いて説明した処理と同様の処理を実
行し、１枚目の画像データに対応する画素値Ｏ（ｉ，
ｊ）からなる２値画像を生成する。生成された画素値Ｏ
（ｉ，ｊ）からなる２値画像は、出力されるとともに、
メモリ１７２に供給される。

【０１１８】ヒストグラム生成部６２は、メモリ１７１
から、１枚目の画像データに対応する画素値Ｉ（ｉ，
ｊ）を読み込むとともに、メモリ１７２から、１枚目の
画像データに対応する２値画像の画素値Ｏ（ｉ，ｊ）を
読み込み、２値画像の画素値Ｏ（ｉ，ｊ）が１となる座
標、すなわち、１枚目の画像データにおいて被写体候補
とみなされた座標の画素値に関するヒストグラムＨ（Ｉ
（ｉ，ｊ））を生成し、メモリ１７３に出力する。

【０１１９】次に、２枚目の画像データに対応する画素
値Ｉ（ｉ，ｊ）が被写体判定部１６１に入力される。

【０１２０】メモリ１７１には、２枚目の画像データに
対応する画素値Ｉ（ｉ，ｊ）が入力され、保存（１枚目
の画像データに対応する画素値Ｉ（ｉ，ｊ）に上書き）
される。

【０１２１】背景条件確率検出部６１は、図４を用いて
説明した処理と同様の処理を実行し、２枚目の画像デー
タに対して、背景であるという条件の基で画素値Ｉ
（ｉ，ｊ）が出現する確率Ｐ（Ｉ（ｉ，ｊ）｜ｂｇ）を
算出し、ベイズ推定演算部６６に出力する。

【０１２２】被写体条件確率検出部６３は、２枚目の画
像データに対応する画素値Ｉ（ｉ，ｊ）の入力を受ける
とともに、メモリ１７３から、１枚目の画像データにお
いて被写体候補とみなされた座標に対応するヒストグラ
ムＨ（Ｉ（ｉ，ｊ））を読み込み、式（９）を用いて、
被写体であるという条件の基で画素値Ｉ（ｉ，ｊ）が出
現する確率Ｐ（Ｉ（ｉ，ｊ）｜ｏｂｊ）を算出し、ベイ
ズ推定演算部６６に出力する。

【０１２３】多値マスク生成部６４は、メモリ１７２か
ら、１枚目の画像データにおいて被写体候補とみなされ
た座標を示す２値画像の画素値Ｏ（ｉ，ｊ）を読み込
み、例えば、式（１０）で示されるような平滑化処理を
施し、平滑化された画素値Ｍ（ｉ，ｊ）からなる帯域の
狭い多値画像生成し、被写体／背景確率検出部６５に出
力する。

【０１２４】被写体／背景確率検出部６５は、図４を用
いて説明した処理（式（１１）および式（１２）を用い
て説明した演算処理）と同様の処理を実行し、対応する
画素が被写体である確率Ｐ（ｏｂｊ）および背景である
確率Ｐ（ｂｇ）を算出し、ベイズ推定演算部６６に出力
する。

【０１２５】ベイズ推定演算部６６、および論理和演算
部６７は、図４を用いて説明した処理と同様の処理を実
行し、２枚目の画像データに対応する画素値Ｏ（ｉ，
ｊ）からなる２値画像を生成する。生成された画素値Ｏ
（ｉ，ｊ）からなる２値画像は、出力されるとともに、
メモリ１７２に供給（上書き）される。

【０１２６】ヒストグラム生成部６２は、メモリ１７１
から、２枚目の画像データに対応する画素値Ｉ（ｉ，
ｊ）を読み込むとともに、メモリ１７２から、２枚目の
画像データに対応する２値画像の画素値Ｏ（ｉ，ｊ）を
読み込み、２値画像の画素値Ｏ（ｉ，ｊ）が１となる座
標、すなわち、２枚目の画像データにおいて被写体候補
とみなされた座標の画素値に関するヒストグラムＨ（Ｉ
（ｉ，ｊ））を生成し、メモリ１７３に出力する。

【０１２７】そして、３枚目以降の画像データに対応す
る画素値Ｉ（ｉ，ｊ）および背景情報が被写体判定部１
６１に入力され、同様の処理が繰り返されることによ
り、複数の連続した画像データからなる動画像データに
おける被写体領域を、一つ前の画像データにおいて被写
体領域であると推定された領域の情報を基に、精度よく
検出することができる。

【０１２８】また、図１０においては、１枚目の画像デ
ータに関して、被写体候補検出部２４から供給される２
値画像の画素値Ｂ（ｉ，ｊ）を直接メモリ１７２に入力
させ、１枚目の画像データに対するベイズ推定に必要な
情報を生成する場合について説明したが、例えば、１枚
目の画像データを表示させないものとし、１枚目の画像
データは、２枚目の画像データに対するベイズ推定に必
要な情報を生成するためのみに利用するようにしても良
い。

【０１２９】なお、図１０においては、１つ前の入力画
像に対するヒストグラムおよび多値マスクを利用する場
合について説明したが、ヒストグラム生成部６２、もし
くは多値マスク生成部６４のうちのいずれか一方に、被
写体候補検出部２４から供給される２値画像の画素値Ｂ
（ｉ，ｊ）を直接供給して、現在処理中の画像データに
対するヒストグラム、もしくは多値マスクを生成させ
て、ベイズ推論に用いるようにしても良い。

【０１３０】また、図９の画像処理装置１４１において
は、第１の実施の形態と同様に、背景情報抽出部２２を
用いて背景情報を抽出し、その背景情報を用いて、補正
係数の算出を行わずに、被写体領域を検出しているもの
として説明しているが、背景情報抽出部２２に代わっ
て、背景情報抽出部９１を設けるようにし、第２の実施
の形態と同様に、背景情報９１を用いて背景情報を抽出
し、その背景情報を用いて被写体領域を検出するように
しても良いし、第３の実施の形態と同様に、図７を用い
て説明した補正係数算出部１３１、メモリ１３２、およ
び画素値補正部１３３を設け、補正係数を算出するよう
にしても良い。

【０１３１】以上説明した実施の形態１乃至実施の形態
４においては、画素値が単独の値である場合について説
明したが、次に、第５の実施の形態として、図１の画像
処理装置１でカラー画像を処理する場合について説明す
る。

【０１３２】撮像部１１から入力される画像データの画
素Ｉ（ｉ，ｊ）には、例えば、輝度信号Ｙ（ｉ，ｊ）、
色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）など
の、色を表す複数の成分が含まれている。

【０１３３】輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，
ｊ）および色差信号Ｖ（ｉ，ｊ）は、背景情報抽出モー
ドにおいては、スイッチ２１を介して背景情報抽出部２
２に、被写体抽出モードにおいては、被写体候補検出部
２４および被写体判定部２５に供給される。

【０１３４】背景抽出モードにおいて、スイッチ２１を
介して、図２を用いて説明した背景情報抽出部２２に入
力された背景画像データは、最大値画像生成部４１、最
小値画像生成部４２、および平均値画像生成部４３に供
給される。最大値画像生成部４１、最小値画像生成部４
２、および平均値画像生成部４３は、それぞれの画像デ
ータの輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）お
よび色差信号Ｖ（ｉ，ｊ）の成分毎に、画素値の最大値
からなる最大値画像、画素値の最小値からなる最小値画
像、および画素値の平均値からなる平均値画像をそれぞ
れ生成し、メモリ２３に出力する。

【０１３５】最大値画像生成部４１は、次の式（２３）
乃至式（２５）を用いて、輝度信号Ｙ（ｉ，ｊ）、色差
信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の成分毎
に、画素値の最大値ＭａｘＹ（ｉ，ｊ）、ＭａｘＵ
（ｉ，ｊ）、およびＭａｘＶ（ｉ，ｊ）、からなる最大
値画像を生成する。

【数１８】 ・・・（２３）

【数１９】 ・・・（２４）

【数２０】 ・・・（２５）

【０１３６】ここで、Ｙｋ（ｉ，ｊ）は、ｋ番目の画像
の、座標（ｉ，ｊ）における輝度信号の値を、Ｕｋ
（ｉ，ｊ）およびＶｋ（ｉ，ｊ）は、ｋ番目の画像の、
座標（ｉ，ｊ）におけるそれぞれの要素の色差信号の値
を示す。また、ＭＡＸ（・）は、括弧内に示される複数
の数値の最大値を算出する演算を示す。

【０１３７】最小値画像生成部４２は、次の式（２６）
乃至式（２８）を用いて、輝度信号Ｙ（ｉ，ｊ）、色差
信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の成分毎
に、画素値の最小値ＭｉｎＹ（ｉ，ｊ）、ＭｉｎＵ
（ｉ，ｊ）、およびＭｉｎＶ（ｉ，ｊ）、からなる最小
値画像を生成する。

【数２１】 ・・・（２６）

【数２２】 ・・・（２７）

【数２３】 ・・・（２８）

【０１３８】ここで、ＭＩＮ（・）は、括弧内に示され
る複数の数値の最小値を算出する演算を示す。

【０１３９】平均値画像生成部４３は、次の式（２９）
乃至式（３１）を用いて、輝度信号Ｙ（ｉ，ｊ）、色差
信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の成分毎
に、画素値の平均値ＡｖｅＹ（ｉ，ｊ）、ＡｖｅＵ
（ｉ，ｊ）、およびＡｖｅＶ（ｉ，ｊ）からなる平均値
画像を生成する。

【数２４】 ・・・（２９）

【数２５】 ・・・（３０）

【数２６】 ・・・（３１） ここで、Ｎは、背景情報抽出部２２に供給された画像の
枚数を示す。

【０１４０】図３を用いて説明した被写体候補検出部２
４は、被写体抽出モードにおいて、スイッチ２１を介し
て入力画像データの画素値Ｉ（ｉ，ｊ）を供給されると
ともに、メモリ２３に記録されている背景情報から必要
な情報（ここでは、最大値画像の画素値Ｍａｘ（ｉ，
ｊ）および最小値画像の画素値Ｍｉｎ（ｉ，ｊ））を読
み込む。

【０１４１】閾値算出部５１は、背景領域か被写体かを
判断するために用いられる閾値を算出する。閾値算出部
５１は、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）
および色差信号Ｖ（ｉ，ｊ）の成分毎に、式（３２）乃
至式（３４）を用いて画素値の上限の閾値Ｔｍａｘを算
出し、式（３５）乃至式（３７）を用いて、画素値の下
限の閾値Ｔｍｉｎを算出して、２値化処理部５２に出力
する。

【０１４２】

【数２７】 ・・・（３２）

【数２８】 ・・・（３３）

【数２９】 ・・・（３４）

【数３０】 ・・・（３５）

【数３１】 ・・・（３６）

【数３２】 ・・・（３７）

【０１４３】ここで、ａｙ，ａｕ，ａｖ，ｂｙ，ｂｕ，
およびｂｖは、それぞれ予め設定された係数であり、照
明光などによる画素値のゆらぎなどを吸収するために、
通常、それぞれａｙ，ａｕ，ａｖ＞１．０、ｂｙ，ｂ
ｕ，ｂｖ＜１．０となる値が設定される。

【０１４４】２値化処理部５２は、スイッチ２１を介し
て入力画像データの画素値Ｉ（ｉ，ｊ）の入力を受け、
式（３２）乃至式（３７）によって表わされる閾値Ｔｍ
ａｘおよび閾値Ｔｍｉｎを用いて、次の式（３８）によ
り、画素値Ｂ（ｉ，ｊ）によって構成される２値画像を
生成し、被写体判定部２５に出力する。

【数３３】 ・・・（３８）

【０１４５】すなわち、２値化処理部５２は、入力され
た画像データの画素値Ｉ（ｉ，ｊ）の輝度信号Ｙ（ｉ，
ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，
ｊ）の全ての成分が、閾値Ｔｍａｘと閾値Ｔｍｉｎとの
範囲内である場合、対応する画素は背景候補であること
を示す値として０を設定し、輝度信号Ｙ（ｉ，ｊ）、色
差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）のうち
のいずれかの成分が閾値の範囲外である場合，対応する
画素は被写体候補であることを示す値として１を設定し
た２値画像の画素値Ｂ（ｉ，ｊ）を生成する。

【０１４６】図４を用いて説明した被写体判定部２５の
背景条件確率検出部６１は、入力画像データの画素値Ｉ
（ｉ，ｊ）の入力を受けるとともに、メモリ２３から式
（２３）乃至式（３１）で示される背景情報を読み出
し、背景であるという条件のもとで、色成分の組み合わ
せであるＩ（ｉ，ｊ）＝（Ｙ（ｉ，ｊ），Ｕ（ｉ，
ｊ），Ｖ（ｉ，ｊ））が出現する確率であるＰ（Ｉ，
（ｉ，ｊ）｜ｂｇ）を、次の式（３９）を用いて算出
し、ベイズ推論演算部に出力する。

【数３４】 ・・・（３９）

【０１４７】ここで、Ｐ（Ｙ（ｉ，ｊ）｜ｂｇ）、Ｐ
（Ｕ（ｉ，ｊ）｜ｂｇ）、およびＰ（Ｖ（ｉ，ｊ）｜ｂ
ｇ）は、背景であるという条件のもとで、それぞれの成
分が出現する確率であり、メモリ２３から式（２３）乃
至式（３１）で示される背景情報を読み出し、式（７）
および式（８）の画素値Ｉ（ｉ，ｊ）に代わって代入す
ることによって、それぞれ算出することができる。

【０１４８】ヒストグラム生成部６２は、入力画像デー
タの画素値Ｉ（ｉ，ｊ）および２値画像の画素値Ｂ
（ｉ，ｊ）の入力を受け、２値画像の画素値Ｂ（ｉ，
ｊ）が１となる座標（ｉ，ｊ）、すなわち、被写体候補
検出部２４が被写体候補とみなした画素の色成分に関す
る３次元ヒストグラムＨ（Ｙ（ｉ，ｊ），Ｕ（ｉ，
ｊ），Ｖ（ｉ，ｊ））を生成し、被写体条件確率検出部
６３に出力する。

【０１４９】被写体条件確率検出部６３は、ヒストグラ
ム生成部６２より入力された３次元ヒストグラムＨ（Ｙ
（ｉ，ｊ），Ｕ（ｉ，ｊ），Ｖ（ｉ，ｊ））を用いて、
被写体であるという条件のもとで、色成分の組み合わせ
であるＩ（ｉ，ｊ）＝（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ），
Ｖ（ｉ，ｊ））が出現する確率であるＰ（Ｉ，（ｉ，
ｊ）｜ｏｂｊ）を、次の式（４０）を用いて算出し、ベ
イズ推論演算部に出力する。

【数３５】 ・・・（４０） ここで、obj_countは、式（９）の場合と同様に、被写
体候補の画素の総数（すなわち、２値画像の画素値Ｂ
（ｉ，ｊ）のうち、画素値が１である画素の総数）であ
る。

【０１５０】そして、多値マスク生成部６４、被写体／
背景確率検出部６５、ベイズ推定演算部６６、および論
理和演算部６７においては、第１の実施の形態において
説明した処理と同様の処理が実行され、背景であると判
断された座標には０、被写体であると判断された座標に
は１の値を有する２値画像Ｏ（ｉ，ｊ）が、入力された
カラー画像の色情報を効果的に利用して生成され、出力
されるので、より正確な被写体領域の抽出が可能とな
る。

【０１５１】ここでは、図１の画像処理装置１でカラー
画像を処理する場合について説明したが、図５、図７、
および図９を用いて説明した画像処理装置においても、
同様にしてカラー画像を処理することができるのはもち
ろんである。

【０１５２】例えば、図５を用いて説明した画像処理装
置７１においてカラー画像を処理する場合、背景情報抽
出部９１の偏差画像生成部１０１で、式（１５）を用い
て生成される偏差画像の画素値Ｓｄｖ１（ｉ，ｊ）を、
輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色
差信号Ｖ（ｉ，ｊ）の全ての成分についてそれぞれ生成
させ、閾値算出部５１で、各色成分毎の画素値の上限の
閾値Ｔｍａｘ、および画素値の下限の閾値Ｔｍｉｎを算
出させるようにすればよい。このとき、上限の閾値Ｔｍ
ａｘ、および画素値の下限の閾値Ｔｍｉｎを算出するた
めに乗算される係数は、色成分毎に異なる定数を用いる
ようにしても良い。

【０１５３】また、図７を用いて説明した画像処理装置
７１においてカラー画像を処理する場合、補正係数算出
部１３１で、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，
ｊ）および色差信号Ｖ（ｉ，ｊ）の全ての成分について
それぞれの補正係数を算出させ、画素値補正部１３３
で、それぞれの成分の補正係数を用いて、輝度信号Ｙ
（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ
（ｉ，ｊ）の全ての成分について補正を行うようにすれ
ばよい。

【０１５４】これ以降の実施の形態においては、入力さ
れた画像データがカラー画像であるものとして説明する
が、入力された画像に色情報が含まれていない場合につ
いても、入力される情報が複数の色成分から成立してい
ないだけで、基本的に同様の処理を実行するので、その
説明については省略する。

【０１５５】次に、本発明の第６の実施の形態について
説明する。図１１は、本発明を適応した画像処理装置１
８１の構成を示すブロック図である。なお、図１におけ
る場合と対応する部分には同一の符号を付してあり、そ
の説明は適宜省略する。

【０１５６】すなわち、図１１の画像処理装置１８１
は、被写体領域検出部１２に代わって、被写体領域検出
部１９１が設けられている以外は、図１を用いて説明し
た場合と、基本的に同様の構成を有している。

【０１５７】撮像部１１から入力される画像データの画
素Ｉ（ｉ，ｊ）には、例えば、輝度信号Ｙ（ｉ，ｊ）、
色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）など
の、色を表す複数の成分が含まれている。輝度信号Ｙ
（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ
（ｉ，ｊ）は、背景情報抽出モードにおいては、スイッ
チ２１を介して背景情報抽出部２０１に、被写体抽出モ
ードにおいては、背景差分算出部２０２、背景補正部２
０６、およびメモリ２０５に供給される。

【０１５８】背景情報抽出部２０１は、図２を用いて説
明した平均値画像生成部４３から構成され、背景情報抽
出モードにおいて、式（２９）乃至式（３１）を用い
て、画素値の平均値ＡｖｅＹ（ｉ，ｊ）、ＡｖｅＵ
（ｉ，ｊ）、およびＡｖｅＶ（ｉ，ｊ）からなる平均値
画像を生成し、メモリ２３に出力して保存させるととも
に、照明光などの変動要素を考慮して、次の式（４１）
乃至式（４３）を用いて、分散画像の画素値Ｓａｖ２
（Ｉ，ｊ）＝（Ｓａｖ２Ｙ（Ｉ，ｊ），Ｓａｖ２Ｕ
（Ｉ，ｊ），ＳａｖＶ（Ｉ，２ｊ））を生成し、この分
散画像の画素値Ｓａｖ２（Ｉ，ｊ）をメモリ２３に出力
して保存させる。

【数３６】 ・・・（４１）

【数３７】 ・・・（４２）

【数３８】 ・・・（４３）

【０１５９】背景差分算出部２０２は、被写体抽出モー
ドにおいて、スイッチ２１を介して、入力画像データの
画素値Ｉ（ｉ，ｊ）の入力を受けるとともに、メモリ２
３から背景情報を読み出して、次の式（４４）に従っ
て、平均値画像と入力画像データの画素値を比較するこ
とにより、対応する座標の画素が被写体候補であるか背
景候補であるかを判断し、対応する画素が被写体候補で
あれば１、背景候補であれば０である画素Ｂ（ｉ，ｊ）
で構成される２値画像を生成して被写体確率算出部２０
３に出力する。

【数３９】 ・・・（４４）

【０１６０】また、背景差分算出部２０２は、被写体確
率算出部２０３が上述したベイズ推論を用いて被写体確
率を算出する場合、画素Ｂ（ｉ，ｊ）で構成される２値
画像とともに、スイッチ２１を介して入力された入力画
像データの画素値Ｉ（ｉ，ｊ）を被写体確率算出部２０
３に出力する。

【０１６１】ここで、式（４４）に用いられている各成
分の閾値Ｔｙ，ＴｕおよびＴｖは、例えば、背景情報抽
出部２０１において算出された分散画像の画素値Ｓａｖ
２（Ｉ，ｊ）を用いて、次の式（４５）乃至式（４７）
によって算出することができる。

【数４０】 ・・・（４５）

【数４１】 ・・・（４６）

【数４２】 ・・・（４７） ここで、ａｙ，ａｕ，およびａｖは、予め設定された係
数である。

【０１６２】被写体確率算出部２０３は、各座標が被写
体領域に含まれる確率Ｐｏｂｊ（ｉ，ｊ）を算出する。
各座標が被写体領域に含まれる確率Ｐｏｂｊ（ｉ，ｊ）
を求める方法は、第１の実施の形態において説明したよ
うなベイズ推定理論を用いた方法でも良いし、他の方法
であっても良い。例えば、背景差分法の性質上、背景差
分算出部２０２において被写体候補とされた画素は、実
際に被写体である確率が高いので、入力された２値画像
の画素値Ｂ（ｉ，ｊ）が１である画素に対しては、被写
体確率Ｐｏｂｊ（ｉ，ｊ）を１．０とし、それ以外の画
素については、経験的、もしくは実験的に領域毎の被写
体確率を設定するようにしても良い。

【０１６３】例えば、被写体領域が画像の中央に位置す
る確率が高い場合、画像上の座標による被写体確率を、
図１２に示されるように予め設定されるようにしてもよ
い。このような場合、被写体確率算出部２０３に、座標
によって被写体確率を参照するためのテーブルが予め用
意され、画素の位置に応じてテーブルが参照されて、被
写体確率Ｐｏｂｊ（ｉ，ｊ）が算出される。被写体確率
Ｐｏｂｊ（ｉ，ｊ）は、メモリ２０４に出力されて保存
される。

【０１６４】また、被写体確率算出部２０３が、上述し
たベイズ推論を用いて被写体確率Ｐｏｂｊ（ｉ，ｊ）を
求めるようになされている場合、被写体確率算出部２０
３は、実質的に、図４の被写体判定部２５もしくは図１
０の被写体判定部１６１と同様の構成を有して、同様の
処理を実行する。そして、被写体確率算出部２０３は、
図４および図１０を用いて説明した場合の画素Ｏ（Ｉ，
ｊ）を被写体確率Ｐｏｂｊ（ｉ，ｊ）として出力する。

【０１６５】また、被写体確率算出部２０３において
は、必要に応じて、入力された２値画像の画素値Ｂ
（ｉ，ｊ）を補正することもできる。例えば、被写体確
率Ｐｏｂｊ（ｉ，ｊ）の閾値を予め設定しておき、画素
値Ｂ（ｉ，ｊ）＝０である画素に対して、対応する被写
体確率Ｐｏｂｊ（ｉ，ｊ）が閾値よりも大きい場合は、
対応する画素を被写体とみなして、画素値Ｂ’（ｉ，
ｊ）＝１とする。必要に応じて補正された画素値Ｂ’
（ｉ，ｊ）は、被写体確率Ｐｏｂｊ（ｉ，ｊ）ととも
に、背景補正部２０６に出力される。

【０１６６】メモリ２０４は、被写体確率算出部２０３
から現在処理中の画像の被写体確率Ｐｏｂｊ（ｉ，ｊ）
の入力を受け、保存するとともに、１つ前の画像の被写
体確率をＰｐｒｖ（ｉ，ｊ）として、背景補正部２０６
に出力する。

【０１６７】メモリ２０５は、被写体確率算出部２０３
から現在処理中の画像の画素値Ｉ（ｉ，ｊ）の入力を受
け、保存するとともに、１つ前の画像の画素値を画素値
Ｉｐｒｖ（ｉ，ｊ）として、背景補正部２０６に出力す
る。

【０１６８】背景補正部２０６は、被写体確率算出部２
０３から入力された２値画像の画素値Ｂ’（ｉ，ｊ）に
おいて、その値が０である画素、すなわち、背景候補と
みなされている画素についてのみ補正を実行する。

【０１６９】背景補正部２０６が、座標（ｉ，ｊ）で示
される画素が背景であるか、被写体であるかを判断する
ためには、対応する座標の画素が、背景であると仮定し
た場合に適当であると考えられる画素と、被写体である
と仮定した場合に適当であると考えられる画素とを算出
し、実際に入力された画素値Ｉ（ｉ，ｊ）が、どちらに
近いかを比較することによって行われる。

【０１７０】背景候補とみなされている画素に対して、
座標（ｉ，ｊ）の画素が背景であると仮定した場合に適
当であると考えられる画素値Ｉ’ｂｇ＝（Ｙ’ｂｇ，
Ｕ’ｂｇ，Ｖ’ｂｇ）、および被写体であると仮定した
場合に適当であると考えられる画素値Ｉ’ｏｂｊ＝
（Ｙ’ｏｂｊ，Ｕ’ｏｂｊ，Ｖ’ｏｂｊ）それぞれの値
と、入力された画素値との三次元的な距離Ｄｂｇおよび
距離Ｄｏｂｊは、次の式（４８）および式（４９）によ
って示される。

【数４３】 ・・・（４８）

【数４４】 ・・・（４９）

【０１７１】そして、背景補正部２０６は、式（４８）
を用いて算出した距離Ｄｂｇおよび距離Ｄｏｂｊを比較
し、Ｄｏｂｊの方が小さい場合には、座標（ｉ，ｊ）で
示される画素を被写体であると判定し、Ｄｂｇの方が小
さい場合には、座標（ｉ，ｊ）で示される画素を背景で
あると判定する。

【０１７２】背景の推定画素値Ｉ’ｂｇ（ｉ，ｊ）は、
メモリ２３に保存されている背景画像データの平均値画
像の画素値Ａｖｅ（ｉ，ｊ）を読み出して利用すること
ができるので、式（２９）乃至式（３１）で示される、
画素値の平均値ＡｖｅＹ（ｉ，ｊ）、ＡｖｅＵ（ｉ，
ｊ）、およびＡｖｅＶ（ｉ，ｊ）を、上述した式（４
８）に代入することにより、距離Ｄｂｇは算出可能であ
る。

【０１７３】しかしながら、被写体の推定画素値Ｉ’ｏ
ｂｊ（ｉ，ｊ）は、対応する画素値が与えられていない
ため、背景補正部２０６は、メモリ２０４およびメモリ
２０５に保存されている１つ前の入力画像の画素値Ｉｐ
ｒｖ（ｉ，ｊ）およびその画像の各座標の被写体確率Ｐ
ｐｒｖ（Ｉ，ｊ）を利用して、被写体の推定画素値Ｉ’
ｏｂｊ（ｉ，ｊ）を算出する。

【０１７４】図１３は、背景補正部２０６の更に詳細な
構成を示すブロック図である。

【０１７５】背景距離算出部２１１は、現在処理中の画
像データの画素値Ｉ（ｉ，ｊ）および平均値画像の画素
値Ａｖｅ（ｉ，ｊ）の入力を受け、上述した式（４８）
に、画素値の平均値ＡｖｅＹ（ｉ，ｊ）、ＡｖｅＵ
（ｉ，ｊ）、およびＡｖｅＶ（ｉ，ｊ）を代入した次の
式（５０）を用いて、距離Ｄｂｇを算出し、補正部２１
５に出力する。

【数４５】 ・・・（５０）

【０１７６】前画像距離算出部２１２は、現在処理中の
画像データの画素値Ｉ（ｉ，ｊ）およびメモリ２０５に
保存されている１つ前の入力画像の画素値Ｉｐｒｖ
（ｉ，ｊ）の入力を受け、上述した式（４９）に、１つ
前の入力画像の画素値ＩｐｒｖＹ（ｉ，ｊ）、Ｉｐｒｖ
Ｕ（ｉ，ｊ）、およびＩｐｒｖＶ（ｉ，ｊ）を代入した
次の式（５１）を用いて、距離Ｄｐｒｖを求め、被写体
距離算出部２１４に出力する。

【数４６】 ・・・（５１）

【０１７７】重み算出部２１３は、１つ前の画像の各座
標の被写体確率Ｐｐｒｖ（Ｉ，ｊ）の入力を受け、被写
体距離算出部２１４において、前画像距離算出部２１２
で算出された距離Ｄｐｒｖを補正し、距離Ｄｏｂｊを算
出するための補正値ｗを、次の式（５２）を用いて算出
し、被写体距離算出部２１４に出力する。

【数４７】 ・・・（５２）

【０１７８】被写体距離算出部２１４は、前画像距離算
出部２１２から式（５１）に示される距離Ｄｐｒｖの入
力を受けるとともに、重み算出部２１３から式（５２）
に示される補正値ｗの入力を受け、次の式（５３）に示
されるように、距離Ｄｐｒｖに補正値wを積算すること
により補正を行い、距離Ｄｏｂｊを算出して補正部２１
５に出力する。 Ｄｏｂｊ＝ｗ×Ｄｐｒｖ ・・・（５３）

【０１７９】すなわち、被写体距離算出部２１４におい
ては、１つ前の画像の各座標の被写体確率Ｐｐｒｖ
（Ｉ，ｊ）が１のとき、距離Ｄｏｂｊ＝距離Ｄｐｒｖと
なり、被写体確率Ｐｐｒｖ（Ｉ，ｊ）が小さくなるほ
ど、距離Ｄｏｂｊが大きな値となるように補正される。

【０１８０】補正部２１５は、被写体確率算出部２０３
から２値画像の画素値Ｂ’（ｉ，ｊ）の入力を受けると
ともに、背景距離算出部２１１から式（５０）に示され
る距離Ｄｂｇを、被写体距離算出部２１４から式（５
３）に示される距離Ｄｏｂｊの入力を受ける。補正部２
１５は、まず、初めに２値画像の画素値Ｂ’（ｉ，ｊ）
を参照し、画素値Ｂ’（ｉ，ｊ）＝１である場合には、
補正を行わず、対応する座標（ｉ，ｊ）の画素は被写体
であると判定し、画素値Ｏ（Ｉ，ｊ）＝１を出力する。

【０１８１】それに対して、画素値Ｂ’（ｉ，ｊ）＝０
である場合、補正部２１５は、距離Ｄｂｇと距離Ｄｏｂ
ｊとを比較し、距離Ｄｏｂｊが距離Ｄｂｇよりも小さか
った場合、対応する座標（ｉ，ｊ）の画素は被写体であ
ると判定し、画素値Ｏ（Ｉ，ｊ）＝１を出力し、距離Ｄ
ｏｂｊが距離Ｄｂｇよりも大きかった場合、対応する座
標（ｉ，ｊ）の画素は背景であると判定し、画素値Ｏ
（Ｉ，ｊ）＝０を出力する。

【０１８２】なお、図１１を用いて説明した画像処理装
置１８１においては、背景情報抽出モードにおいて、背
景情報抽出部２０１が式（４１）乃至式（４３）を用い
て説明した背景情報を抽出し、メモリ２３に出力して保
存させるものとして説明したが、例えば、背景情報抽出
部２０１に代わって、図２を用いて説明した背景情報抽
出部２２を用いて背景情報を抽出し、式（２３）乃至式
（３１）に示される画素値を算出させるとともに、背景
差分算出部２０２に代わって、図２を用いて説明した被
写体候補検出部２４を用いて、式（４４）の演算に代わ
って式（３２）乃至式（３８）の演算を実行することに
より、画素値Ｂ（Ｉ，ｊ）からなる２値画像を得るよう
にしても良い。

【０１８３】また、第６の実施の形態においては、被写
体確率Ｐｏｂｊ（ｉ，ｊ）を算出するための先見的知識
として、図１２を用いて説明した、画面上で被写体が存
在する確率が高い位置の情報を用いたが、例えば、被写
体領域に出現する可能正の高い色情報など、被写体領域
に関する他の上方を反映して被写体確率Ｐｏｂｊ（ｉ，
ｊ）を算出するようにしても良い。

【０１８４】次に、本発明の第７の実施の形態について
説明する。第７の実施の形態は、上述した第６の実施の
形態における画像処理に、図４および図１０を用いて説
明した多値マスク生成部６４が実行したのと同様の平滑
化処理を加えたものである。

【０１８５】図１４は、本発明を適応した画像処理装置
２２１の構成を示すブロック図である。なお、図１１に
おける場合と対応する部分には同一の符号を付してあ
り、その説明は適宜省略する。

【０１８６】すなわち、図１４の画像処理装置２２１
は、被写体領域検出部１９１に代わって、被写体領域検
出部２３１が設けられている以外は、図１１を用いて説
明した場合と、基本的に同様の構成を有している。

【０１８７】そして、被写体領域検出部２３１は、被写
体確率算出部２０３に代わって被写体確率算出部２４１
が設けられ、更に、メモリ２４２が新たに設けられてい
る以外は、図１１を用いて説明した被写体領域検出部１
９１と、基本的に同様の構成を有している。

【０１８８】ここで、背景情報抽出部２０１、メモリ２
３、および背景差分算出部２０２の処理は、第６の実施
の形態における場合と同様であるので、その説明は省略
する。

【０１８９】被写体抽出モードの１枚目の画像データに
対して、背景差分算出部２０２、被写体確率算出部２４
１、背景補正部２０６、メモリ２０４、およびメモリ２
０５は、第６の実施の形態における背景差分算出部２０
２乃至背景補正部２０６と同様の処理を実行して、１枚
目の画像データに対応する２値画像の画素値Ｏ（ｉ，
ｊ）を生成して出力する。そして、メモリ２４２に、１
枚目の画像データに対応する２値画像の画素値Ｏ（ｉ，
ｊ）が入力されて、次の画像データの被写体領域を検出
するために用いられる、一つ前の画像データに対応する
２値画像の画素値Ｏｐｒｖ（ｉ，ｊ）として保存され
る。

【０１９０】２枚目の画像データに対応する２値画像の
画素値Ｂ（ｉ，ｊ）の入力を受けた被写体確率算出部２
４１は、メモリ２４２から一つ前の画像データに対応す
る２値画像の画素値Ｏｐｒｖ（ｉ，ｊ）を読み込む。そ
して、被写体確率算出部２４１は、例えば、上述した式
（１０）を用いて、２値画像の画素値Ｏｐｒｖ（ｉ，
ｊ）を平滑化し、画素値Ｍ（ｉ，ｊ）からなる多値画像
を生成する。例えば、２値画像の画素値Ｏｐｒｖ（ｉ，
ｊ）が、図１５に示されるように平滑化された場合、画
素値Ｍ（ｉ，ｊ）は、一つ前の画像データに対応する２
値画像の画素値Ｏｐｒｖ（ｉ，ｊ）において、被写体領
域であると判断されていた部分の中心点に近い位置ほ
ど、１に近い数値になる（すなわち、被写体である確率
が高いと判断される）。

【０１９１】そして、被写体確率算出部２４１は、上述
した式（１１）を用いて、画素値Ｍ（ｉ，ｊ）を正規化
して被写体確率Ｐｏｂｊ（ｉ，ｊ）を生成し、メモリ２
０４に出力する。すなわち、被写体確率Ｐｏｂｊ（ｉ，
ｊ）は、一つ前の画像データに対応する２値画像の画素
値Ｏｐｒｖ（ｉ，ｊ）において、被写体領域であると判
断されていた部分の中心点に近い位置ほど、高い確率で
あるとされる。

【０１９２】なお、第７の実施の形態においても、背景
情報の抽出方法、および被写体確率Ｐｏｂｊ（ｉ，ｊ）
の算出方法は、第６の実施の形態において説明したいず
れの方法を用いても良いし、更に、被写体確率Ｐｏｂｊ
（ｉ，ｊ）の算出に、１つ前の画像データに対応する２
値画像の画素値Ｏｐｒｖ（ｉ，ｊ）において、被写体領
域であると判断されていた画素に対応する入力画像の画
素値のヒストグラムや背景画像のヒストグラムを生成し
て、これらのヒストグラムを比較することにより、ある
色が被写体領域に現れる可能性を評価し、被写体確率を
算出するようにしてもよい。

【０１９３】次に、本発明の第８の実施の形態について
説明する。

【０１９４】図１６は、本発明を適応した画像処理装置
２５１の構成を示すブロック図である。なお、図１１に
おける場合と対応する部分には同一の符号を付してあ
り、その説明は適宜省略する。

【０１９５】すなわち、図１６の画像処理装置２５１
は、被写体領域検出部１９１に代わって、被写体領域検
出部２６１が設けられている以外は、図１１を用いて説
明した場合と、基本的に同様の構成を有している。

【０１９６】そして、被写体領域検出部２６１は、背景
補正部２０６に代わって背景補正部２７２が設けられ、
更にメモリ２７１が新たに設けられている以外は、図１
１の被写体領域検出部１９１と基本的に同様の構成を有
するので、その説明は省略する。

【０１９７】また、背景情報抽出部２０１、メモリ２
３、背景差分算出部２０２、および被写体確率算出部２
０３の処理は、第６の実施の形態における場合と同様で
あるので、その説明は省略する。

【０１９８】被写体確率算出部２０３は、上述した処理
により各座標が被写体領域に含まれる確率Ｐｏｂｊ
（ｉ，ｊ）を算出し、メモリ２０４に出力するととも
に、必要に応じて、背景差分算出部２０２から入力され
た２値画像の画素値Ｂ（ｉ，ｊ）を補正し、補正後の２
値画像の画素値Ｂ’（ｉ，ｊ）をメモリ２７１に出力す
る。

【０１９９】背景補正部２７２は、後述する補正処理に
おいて、２値画像の画素値Ｂ’（ｉ，ｊ）のうち、補正
対象の座標（ｉ，ｊ）の近傍の領域の画素値を必要とす
る。メモリ２７１は、全画面分の２値画像の画素値Ｂ’
（ｉ，ｊ）を保存し、背景補正部２７２の処理のタイミ
ングにあわせて、補正に必要となる２値画像の画素値Ｒ
（ｉ，ｊ）を出力するか、もしくは、背景補正部２７２
が、メモリ２７１から、画素値Ｒ（ｉ，ｊ）を読み出
す。

【０２００】補正対象の座標に対する近傍領域は、例え
ば、補正対象の座標（ｉ，ｊ）から所定の距離内の画素
（すなわち、補正対象の座標（ｉ，ｊ）を中心とした所
定の半径の円内の画素）であっても良いし、次の式（５
４）に示されるように、予め設定された定数ｍで決めら
れる正方形の形状の領域内の画素であっても良いし、ほ
かの方法で設定された領域内の画素であってもよい。

【数４８】 ・・・（５４）

【０２０１】以下、近傍領域内の座標を座標（ｉ’，
ｊ’）とする。

【０２０２】背景補正部２７２は、背景補正部２０６と
同様に、メモリ２７１を介して被写体確率算出部２０３
から入力された２値画像の画素値Ｂ’（ｉ，ｊ）におい
て、その値が０である画素、すなわち、背景候補とみな
されている画素についてのみ補正を実行する。

【０２０３】また、背景補正部２７２が、座標（ｉ，
ｊ）で示される画素が背景であるか、被写体であるかを
判断する方法も、背景補正部２０６と同様であり、上述
した式（４８）および式（４９）を用いて、対応する座
標の画素が、背景であると仮定した場合に適当であると
考えられる画素と、被写体であると仮定した場合に適当
であると考えられる画素とを算出し、実際に入力された
画素値Ｉ（ｉ，ｊ）が、どちらに近いかを比較すること
によって行われる。

【０２０４】従って、この場合においても、第７の実施
の形態と同様に、距離Ｄｂｇは算出可能であるが、被写
体の推定画素値Ｉ’ｏｂｊ（ｉ，ｊ）に対応する画素値
は与えられていない。従って、背景補正部２７２は、メ
モリ２７１、メモリ２０４およびメモリ２０５に保存さ
れている対応する座標の近傍の情報を利用して、被写体
の推定画素値Ｉ’ｏｂｊ（ｉ，ｊ）を算出する。

【０２０５】図１７は、背景補正部２７２の更に詳細な
構成を示すブロック図である。なお、図１３における場
合と対応する部分には同一の符号を付してあり、その説
明は適宜省略する。

【０２０６】背景距離算出部２１１は、図１３を用いて
説明した場合と同様に、現在処理中の画像データの画素
値Ｉ（ｉ，ｊ）および平均値画像の画素値Ａｖｅ（ｉ，
ｊ）の入力を受け、式（５０）を用いて、距離Ｄｂｇを
算出し、補正部２１５に出力する。

【０２０７】被写体距離算出部２８１は、メモリ２７１
から供給される画素値Ｒ（ｉ，ｊ）、メモリ２０４から
供給される、上述した近傍領域（例えば、式（５４）で
示される領域）の被写体確率Ｐｏｂｊ（ｉ’，ｊ’）、
およびメモリ２０５から供給される、上述した近傍領域
の画素値Ｉ（ｉ’，ｊ’）を用いて、次の式（５５）乃
至式（５７）より、背景の推定画素値Ｉ’ｂｇ（ｉ，
ｊ）を求める。

【数４９】 ・・・（５５）

【数５０】 ・・・（５６）

【数５１】 ・・・（５７）

【０２０８】ここで、被写体距離算出部２８１は、必要
な領域の座標に対応する被写体確率Ｐｏｂｊ（ｉ’，
ｊ’）および画素値Ｉ（ｉ’，ｊ’）を、選択的にメモ
リ２０４およびメモリ２０５から読み出すようにしても
良い。

【０２０９】式（５５）乃至式（５７）は、座標（ｉ，
ｊ）の画素の近傍領域内において、背景差分算出部２０
２もしくは被写体確率算出部２０３において被写体であ
ると判断された画素のみを選択して、選択された画素値
を、対応する被写体確率で重み付けしたのち平均するも
のである。

【０２１０】補正部２１５は、背景距離算出部２１１か
ら供給された距離Ｄｂｇおよび被写体距離算出部２８１
から供給された距離Ｄｏｂｊを用いて、図１３を用いて
説明した場合と同様の処理により補正を実行し、生成さ
れた２値画像の画素Ｏ（ｉ，ｊ）を出力する。

【０２１１】なお、第８の実施の形態においても、背景
情報の抽出方法、および被写体確率Ｐｏｂｊ（ｉ，ｊ）
の算出方法は、第６の実施の形態、もしくは第７の実施
の形態において説明したいずれの方法を用いても良い。

【０２１２】次に、本発明の第９の実施の形態について
説明する。

【０２１３】図１８は、本発明を適応した画像処理装置
２９１の構成を示すブロック図である。なお、図１６に
おける場合と対応する部分には同一の符号を付してあ
り、その説明は適宜省略する。

【０２１４】すなわち、図１８の画像処理装置２９１
は、被写体領域検出部２６１に代わって、被写体領域検
出部３０１が設けられている以外は、図１６を用いて説
明した場合と、基本的に同様の構成を有している。

【０２１５】そして、被写体領域検出部３０１は、被写
体確率算出部２０３に代わって、被写体確率算出部３１
１が設けられ、新たにメモリ３１２が設けられている以
外は、図１６を用いて説明した場合と、基本的に同様の
構成を有している。被写体確率算出部３１１およびメモ
リ３１２以外については、第８の実施の形態と同様の処
理が実行されるので、その説明は省略する。

【０２１６】メモリ１３２には、背景差分算出部２０２
で算出された２値画像の画素値Ｂ（ｉ，ｊ）が供給さ
れ、保存される。メモリ３１２は、被写体確率算出部３
１１が実行する処理に合わせたタイミングで、保存して
いる２値画像の画素値Ｂ（ｉ，ｊ）を被写体確率算出部
３１１に出力するか、もしくは、被写体確率算出部３１
１によって２値画像の画素値Ｂ（ｉ，ｊ）を読み出され
る。

【０２１７】被写体確率算出部３１１は、メモリ３１２
から必要な情報の入力を受け、もしくは、必要な情報を
読み出し、次の式（５８）に示されるような非線形平滑
化処理を施して、多値画像Ｍ（ｉ，ｊ）を生成する。

【数５２】 ・・・（５８）

【０２１８】ここで、Ｃ’は予め定められた定数であ
り、被写体である確率Ｐｏｂｊ（ｉ，ｊ）の値の精度を
定めるものである。また、ｄｍｉｎは、図１９に示され
るように、対応する座標の近傍においてＢ（ｉ’，
ｊ’）＝１である最も近い画素（ｉ’，ｊ’）までの距
離であり、次の式（５９）および式（６０）によって算
出される。

【数５３】 ・・・（５９）

【数５４】 ・・・（６０）ここで、係数Ｄは、ｄｍｉｎが取り得る
最大の値として予め設定された値である。

【０２１９】式（５８）によって生成された多値画像Ｍ
（ｉ，ｊ）は、次の式（６１）によって正規化され、被
写体確率Ｐｏｂｊ（ｉ，ｊ）としてメモリ２０４に出力
される。 Ｐｏｂｊ（ｉ，ｊ）＝Ｍ（ｉ，ｊ）／Ｃ’・・・（６１）

【０２２０】その他の処理については、第８の実施の形
態を用いて説明した場合と同じであるので、その説明は
省略する。

【０２２１】なお、第９の実施の形態においては、背景
情報の抽出方法、および被写体確率Ｐｏｂｊ（ｉ，ｊ）
の算出方法は、第６の実施の形態乃至第８の実施の形態
において説明したいずれの方法を用いても良い。

【０２２２】以上説明した第１乃至第９の実施の形態に
おいて、背景情報抽出モードと被写体抽出モードとで実
行されている処理は、それぞれ異なる組み合わせにより
実行するようにしても良いことは言うまでもない。

【０２２３】また、以上説明した全ての処理において
は、背景情報抽出モードにおいて、背景画像を複数枚撮
像して、背景情報を抽出するものとして説明したが、背
景画像を１枚だけ撮像して、その背景画像の各座標の画
素値を用いるようにすることにより、背景情報抽出モー
ドの処理を簡略化するようにしても良い。

【０２２４】上述した一連の処理は、ソフトウェアによ
り実行することもできる。そのソフトウェアは、そのソ
フトウェアを構成するプログラムが、専用のハードウェ
アに組み込まれているコンピュータ、または、各種のプ
ログラムをインストールすることで、各種の機能を実行
することが可能な、例えば汎用のパーソナルコンピュー
タなどに、記録媒体からインストールされる。

【０２２５】この記録媒体は、図１などに示すように、
コンピュータとは別に、ユーザにプログラムを提供する
ために配布される、プログラムが記録されている磁気デ
ィスク３１（フロッピー（登録商標）ディスクを含
む）、光ディスク３２（CD-ROM（Compact Disk-Read On
ly Memory），DVD（Digital Versatile Disk)を含む)、
光磁気ディスク３３（ＭＤ(Mini-Disk)を含む）、もし
くは半導体メモリ３４などよりなるパッケージメディア
などにより構成される。

【０２２６】また、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に沿って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。

【０２２７】

【発明の効果】本発明の画像処理装置および画像処理方
法、並びにプログラムによれば、撮像された画像データ
の入力を受け、入力された背景領域からなる背景画像か
ら、背景領域の情報を抽出し、入力された背景領域およ
び被写体領域からなる対象画像から、ベイズ推定を用い
て、被写体領域を抽出するようにしたので、背景差分法
の簡便さを利用しつつ、ベイズ推定を用いることによ
り、正確に被写体領域を抽出することができる。

【図面の簡単な説明】

【図１】本発明を適応した画像処理装置の構成を示すブ
ロック図である。

【図２】図１の背景情報抽出部の更に詳細な構成を示す
ブロック図である。

【図３】図１の被写体候補検出部の更に詳細な構成を示
すブロック図である。

【図４】図１の被写体判定部の更に詳細な構成を示すブ
ロック図である。

【図５】本発明を適応した画像処理装置の構成を示すブ
ロック図である。

【図６】図５の背景情報抽出部の更に詳細な構成を示す
ブロック図である。

【図７】本発明を適応した画像処理装置の構成を示すブ
ロック図である。

【図８】被写体領域以外の部分として選択する領域の例
について説明するための図である。

【図９】本発明を適応した画像処理装置の構成を示すブ
ロック図である。

【図１０】図９の被写体判定部の更に詳細な構成を示す
ブロック図である。

【図１１】本発明を適応した画像処理装置の構成を示す
ブロック図である。

【図１２】被写体確率の設定例について説明するための
ブロック図である。

【図１３】図１１の背景補正部の更に詳細な構成を示す
ブロック図である。

【図１４】本発明を適応した画像処理装置の構成を示す
ブロック図である。

【図１５】平滑化の例について説明するための図であ
る。

【図１６】本発明を適応した画像処理装置の構成を示す
ブロック図である。

【図１７】図１６の背景補正部の更に詳細な構成を示す
ブロック図である。

【図１８】本発明を適応した画像処理装置の構成を示す
ブロック図である。

【図１９】非線形平滑化処理について説明するための図
である。

【図２０】２値画像と被写体確率の関係について説明す
るための図である。

【符号の説明】

１ 画像処理装置， １１ 撮像部， １２ 被写体領
域検出部， １３ 制御部， ２１ スイッチ， ２２
背景情報抽出部， ２３ メモリ， ２４被写体候補
検出部， ２５ 被写体判定部， ４１ 最大値画像生
成部， ４２最小値画像生成部， ４３ 平均値画像生
成部， ５１ 閾値算出部， ５２２値化処理部， ６
１ 背景条件確率検出部， ６２ ヒストグラム生成
部，６３ 被写体条件確率検出部， ６４ 多値マスク
生成部， ６５ 被写体／背景確率検出部， ６６ ベ
イズ推定演算部， ６７ 論理和演算部， ７１画像処
理装置， ８１ 被写体領域検出部， ９１ 背景情報
抽出部， １０１偏差画像生成部， １１１ 画像処理
装置， １２１ 被写体領域検出部，１３１ 補正係数
算出部， １３２ メモリ， １３３ 画素値補正部，
１４１ 画像処理装置， １５１ 被写体領域検出
部， １６１ 被写体判定部，１７１乃至１７３ メモ
リ， １８１ 画像処理装置， １９１ 被写体領域検
出部， ２０１ 背景情報抽出部， ２０２ 背景差分
算出部， ２０３ 被写体確率算出部， ２０４，２０
５ メモリ， ２０６ 背景補正部， ２１１背景距離
算出部， ２１２ 前画像距離算出部， ２１３ 重み
算出部， ２１４ 被写体距離算出部， ２１５ 補正
部， ２２１ 画像処理装置， ２３１被写体領域検出
部， ２４１ 被写体確率算出部， ２４２ メモリ，
２５１ 画像処理装置， ２６１ 被写体領域検出
部， ２７１ メモリ， ２７２背景補正部， ２８１
被写体距離算出部， ２９１ 画像処理装置， ３０
１ 被写体領域検出部， ３１１ 被写体確率算出部，
３１２ メモリ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｋ Ｆターム(参考） 5B057 AA01 BA02 BA30 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CE06 CE09 CH08 CH18 DA08 DB02 DB06 DB09 DC23 DC32 5C054 AA01 CC02 EA01 EA05 FC00 FC01 FC12 FC13 HA00 5C076 AA02 BA06 CA10 5L096 AA02 AA06 CA02 CA14 EA43 FA32 FA37 FA46 GA08 GA30 GA51 JA16 JA18

Claims (29)

【特許請求の範囲】
1. 【請求項１】 撮像された画像データの入力を受ける入
   力手段と、 前記入力手段により入力された背景領域からなる背景画
   像から、前記背景領域の情報を抽出する第１の抽出手段
   と、 前記入力手段により入力された前記背景領域および被写
   体領域からなる第１の対象画像から、前記被写体領域を
   抽出する第２の抽出手段とを備え、 前記第２の抽出手段は、ベイズ推定を用いて、前記第１
   の対象画像から、前記被写体領域を抽出することを特徴
   とする画像処理装置。
2. 【請求項２】 前記入力手段は、複数の前記背景画像の
   入力を受け、 前記第１の抽出手段は、前記背景画像から特徴画像を生
   成する第１の生成手段を備えることを特徴とする請求項
   １に記載の画像処理装置。
3. 【請求項３】 前記第１の生成手段により生成された前
   記特徴画像には、複数の前記背景画像の同一座標におけ
   る最大の画素値から構成された画像が含まれることを特
   徴とする請求項２に記載の画像処理装置。
4. 【請求項４】 前記第１の生成手段により生成された前
   記特徴画像には、複数の前記背景画像の同一座標におけ
   る最小の画素値から構成された画像が含まれることを特
   徴とする請求項２に記載の画像処理装置。
5. 【請求項５】 前記第１の生成手段により生成された前
   記特徴画像には、複数の前記背景画像の同一座標の画素
   値の平均値から構成された画像が含まれることを特徴と
   する請求項２に記載の画像処理装置。
6. 【請求項６】 前記第１の生成手段により生成された前
   記特徴画像には、複数の前記背景画像の同一座標の画素
   値の標準偏差を算出することにより生成された偏差画像
   が含まれることを特徴とする請求項２に記載の画像処理
   装置。
7. 【請求項７】 前記第１の生成手段により生成された前
   記特徴画像には、複数の前記背景画像の同一座標におけ
   る最大の画素値から構成された第１の画像、および、複
   数の前記背景画像の同一座標における最小の画素値から
   構成された第２の画像が含まれ、 第２の抽出手段は、前記入力手段により入力された前記
   第１の対象画像の所定の座標の画素値が、前記第１の画
   像の対応する座標の画素値よりも大きいか、もしくは前
   記第２の画像の対応する座標の画素値よりも小さい場
   合、前記第１の対象画像の前記所定の座標の画素を前記
   被写体領域内の画素の候補として検出する被写体候補検
   出手段を備えることを特徴とする請求項２に記載の画像
   処理装置。
8. 【請求項８】 前記第１の生成手段により生成された前
   記特徴画像には、複数の前記背景画像の同一座標におけ
   る最大の画素値から構成された第１の画像、および、複
   数の前記背景画像の同一座標における最小の画素値から
   構成された第２の画像が含まれ、 第２の抽出手段は、 前記第１の画像の各画素値に所定の第１の値を積算して
   第３の画像を生成する第２の生成手段と、 前記第２の画像の各画素値に所定の第２の値を積算して
   第４の画像を生成する第３の生成手段と、 前記入力手段により入力された前記第１の対象画像の所
   定の座標の画素値が、 前記第２の生成手段により生成された前記第３の画像の
   対応する座標の画素値よりも大きいか、もしくは、前記
   第３の生成手段により生成された前記第４の画像の対応
   する座標の画素値よりも小さい場合、前記第１の対象画
   像の前記所定の座標の画素を前記被写体領域内の画素の
   候補として検出する被写体候補検出手段とを備えること
   を特徴とする請求項２に記載の画像処理装置。
9. 【請求項９】 前記第１の生成手段により生成された前
   記特徴画像には、複数の前記背景画像の同一座標の画素
   値の平均値から構成された第１の画像、および、複数の
   前記背景画像の同一座標の画素値の標準偏差を算出する
   ことにより生成された偏差画像である第２の画像が含ま
   れ、 第２の抽出手段は、 前記第２の画像の各画素値に所定の第１の値を積算し
   て、前記第１の画像の対応する座標の画素値から減算す
   ることにより第３の画像を生成する第２の生成手段と、 前記第２の画像の各画素値に所定の第２の値を積算し
   て、前記第１の画像の対応する座標の画素値に加算する
   ことにより第４の画像を生成する第３の生成手段と、 前記入力手段により入力された前記第１の対象画像の所
   定の座標の画素値が、 前記第２の生成手段により生成された前記第３の画像の
   対応する座標の画素値よりも小さいか、もしくは、前記
   第３の生成手段により生成された前記第４の画像の対応
   する座標の画素値よりも大きい場合、前記第１の対象画
   像の前記所定の座標の画素を前記被写体領域内の画素の
   候補として検出する被写体候補検出手段とを備えること
   を特徴とする請求項２に記載の画像処理装置。
10. 【請求項１０】 画素値を補正する補正手段を更に備
    え、 前記補正手段は、前記第１の対象画像と前記背景画像と
    の撮像条件が異なる場合に、前記撮像条件が等しい場合
    に対応するように補正を行うことを特徴とする請求項１
    に記載の画像処理装置。
11. 【請求項１１】 前記撮像条件とは、照明光の強度であ
    ることを特徴とする請求項１０に記載の画像処理装置。
12. 【請求項１２】 前記撮像条件とは、前記画像データの
    撮像におけるカメラパラメータであることを特徴とする
    請求項１０に記載の画像処理装置。
13. 【請求項１３】 前記入力手段は、複数の前記背景画像
    の入力を受け、 前記第１の抽出手段は、前記背景画像から特徴画像を生
    成する生成手段を備え、 前記生成手段により生成された前記特徴画像には、複数
    の前記背景画像の同一座標の画素値の平均値から構成さ
    れた平均値画像が含まれ、 前記補正手段は、前記第１の対象画像と前記平均値画像
    とを基に、補正係数を算出することにより補正を行うこ
    とを特徴とする請求項１０に記載の画像処理装置。
14. 【請求項１４】 前記第２の抽出手段は、 前記被写体領域内に存在している可能性のある被写体画
    素候補を検出する検出手段と、 前記検出手段による検出結果をベイズ推定を用いて補正
    することにより、前記第１の対象画像から、前記被写体
    領域を抽出するベイズ推定補正手段とを備えることを特
    徴とする請求項１に記載の画像処理装置。
15. 【請求項１５】 前記ベイズ推定補正手段による補正
    は、前記検出手段により前記被写体画素候補として検出
    された画素以外の画素に対して行われることを特徴とす
    る請求項１４に記載の画像処理装置。
16. 【請求項１６】 前記ベイズ推定補正手段は、 画素毎に、前記画素が被写体である第１の確率、前記画
    素が背景である第２の確率、前記被写体領域であるとい
    う条件の基でその画素値が出現する第３の確率、および
    前記背景領域であるという条件の基でその画素値が出現
    する第４の確率を算出する第１の算出手段と、 前記第１の算出手段により算出された前記確率を用い
    て、ベイズ推定法に基づいて、現在の画素値が与えられ
    たという条件のもとでその画素値が被写体である第５の
    確率を算出する第２の算出手段と、 前記第２の算出手段により算出された前記第５の確率と
    所定の閾値を比較する比較手段とを備えることを特徴と
    する請求項１４に記載の画像処理装置。
17. 【請求項１７】 前記第２の抽出手段は、前記検出手段
    により検出された前記被写体画素候補のヒストグラムを
    生成する生成手段を更に備え、 前記第１の算出手段は、前記ヒストグラムを基に、前記
    第３の確率を算出することを特徴とする請求項１６に記
    載の画像処理装置。
18. 【請求項１８】 前記第１の算出手段は、前記第１の抽
    出手段により抽出された前記背景領域の情報に基づいて
    前記第４の確率を算出することを特徴とする請求項１６
    に記載の画像処理装置。
19. 【請求項１９】 前記第２の抽出手段は、 前記被写体領域内に存在している可能性のある被写体画
    素候補を検出する検出手段と、 前記検出手段により検出された前記被写体画素候補と対
    象画素との空間的な配置関係から、前記対象画素が前記
    被写体である確率および前記背景である確率を算出する
    算出手段と、 前記算出手段による算出結果をベイズ推定を用いて補正
    することにより、前記第１の対象画像から、前記被写体
    領域を抽出するベイズ推定補正手段とを備えることを特
    徴とする請求項１に記載の画像処理装置。
20. 【請求項２０】 前記第２の抽出手段は、 前記被写体領域の候補画素および前記背景領域の候補画
    素を検出し、前記被写体領域の候補画素と前記背景領域
    の候補画素とで異なる値を有する２値画像を生成する生
    成手段と、 前記生成手段により生成された前記２値画像を平滑化す
    る平滑化手段とを備えることを特徴とする請求項１に記
    載の画像処理装置。
21. 【請求項２１】 前記入力手段により前記第１の対象画
    像と異なる時刻に入力され、前記背景領域および被写体
    領域からなる第２の対象画像のうちの所定の画素が前記
    被写体領域である確率を推定する推定手段を更に備え、 前記第２の抽出手段は、前記推定手段により推定された
    前記第２の対象画像のうちの前記所定の画素が前記被写
    体領域である確率を用いて、ベイズ推定により、前記第
    １の対象画像から、前記被写体領域を抽出することを特
    徴とする請求項１に記載の画像処理装置。
22. 【請求項２２】 前記第２の抽出手段による抽出結果を
    記憶する記憶手段を更に備え、 前記第２の抽出手段は、前記記憶手段に記憶されている
    １つ前の時刻の抽出結果を用いて、ベイズ推定により、
    前記第１の対象画像から、前記被写体領域を抽出するこ
    とを特徴とする請求項１に記載の画像処理装置。
23. 【請求項２３】 前記第２の抽出手段による抽出結果を
    記憶する記憶手段と、 前記記憶手段により記憶されている前記抽出結果に基づ
    いて、抽出された前記被写体領域に存在する画素の画素
    値のヒストグラムを生成する生成手段とを更に備え、 前記第２の抽出手段は、前記生成手段により生成された
    前記ヒストグラムを用いて、ベイズ推定により、前記第
    １の対象画像から、前記被写体領域を抽出することを特
    徴とする請求項１に記載の画像処理装置。
24. 【請求項２４】 前記入力手段により入力された前記画
    像データが色情報を含む場合、前記第１の抽出手段は、
    前記色情報の成分毎に前記背景領域の情報を抽出するこ
    とを特徴とする請求項１に記載の画像処理装置。
25. 【請求項２５】 前記入力手段により入力された前記画
    像データが色情報を含む場合、前記補正手段は、前記色
    情報の成分毎に補正を実行することを特徴とする請求項
    １０に記載の画像処理装置。
26. 【請求項２６】 前記入力手段により入力された前記画
    像データが色情報を含む場合、前記検出手段は、前記色
    情報の成分毎に前記被写体領域内に存在している可能性
    のある被写体画素候補を検出することを特徴とする請求
    項１４に記載の画像処理装置。
27. 【請求項２７】 撮像された画像データの入力を制御す
    る入力制御ステップと、 前記入力制御ステップの処理により入力が制御された背
    景領域からなる背景画像から、前記背景領域の情報を抽
    出する第１の抽出ステップと、 前記入力制御ステップの処理により入力が制御された前
    記背景領域および被写体領域からなる対象画像から、前
    記被写体領域を抽出する第２の抽出ステップとを含み、 前記第２の抽出ステップの処理では、ベイズ推定を用い
    て、前記対象画像から、前記被写体領域を抽出すること
    を特徴とする画像処理方法。
28. 【請求項２８】 撮像された画像データの入力を制御す
    る入力制御ステップと、 前記入力制御ステップの処理により入力が制御された背
    景領域からなる背景画像から、前記背景領域の情報を抽
    出する第１の抽出ステップと、 前記入力制御ステップの処理により入力が制御された前
    記背景領域および被写体領域からなる対象画像から、前
    記被写体領域を抽出する第２の抽出ステップとを含み、 前記第２の抽出ステップの処理では、ベイズ推定を用い
    て、前記対象画像から、前記被写体領域を抽出すること
    を特徴とするコンピュータが読み取り可能なプログラム
    が記録されている記録媒体。
29. 【請求項２９】 撮像された画像データの入力を制御す
    る入力制御ステップと、 前記入力制御ステップの処理により入力が制御された背
    景領域からなる背景画像から、前記背景領域の情報を抽
    出する第１の抽出ステップと、 前記入力制御ステップの処理により入力が制御された前
    記背景領域および被写体領域からなる対象画像から、前
    記被写体領域を抽出する第２の抽出ステップとを含み、 前記第２の抽出ステップの処理では、ベイズ推定を用い
    て、前記対象画像から、前記被写体領域を抽出すること
    を特徴とする処理をコンピュータに実行させるためのプ
    ログラム。