JP2000251079A - 動画像オブジェクト抽出装置 - Google Patents

Abstract

(57)【要約】 【課題】 従来、作成した背景画像をもとに自然画像か
ら動画像オブジェクトを抽出する場合、作成した背景画
像に照明条件などの時間的方向の変動があるため、精度
良く動画像オブジェクトを抽出することは困難であっ
た。 【解決手段】 動画像の各画素の時間方向輝度ヒストグ
ラムを生成する輝度ヒストグラム生成回路１と、その回
路によって生成された各画素の時間方向輝度ヒストグラ
ムの最頻値近傍の輝度レベル分布範囲を拡大させた範囲
の補集合部分の輝度レベル分布範囲を、その画素におけ
る動画像オブジェクトの輝度レベル分布範囲として決定
する動画像オブジェクト輝度レベル範囲決定回路３と、
各フレーム画像の画素のうち上記決定した動画像オブジ
ェクトの輝度レベル分布範囲に含まれる画素の集合領域
を各フレーム画像の動画像オブジェクトの画像領域とし
て抽出する動画像オブジェクト画像領域抽出回路６とを
少なくとも具えて構成した。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像信号処理装置
に係り、特に動画像から動画像オブジェクトを抽出する
動画像オブジェクト抽出装置に関する。

【０００２】

【従来の技術】動画像から動いている部分、すなわち動
画像オブジェクトを抽出する方法は、画像の連続するフ
レーム間の差分を利用する方法と、背景となる画像を準
備し入力される動画像との比較をする方法とに大別され
る（例えば、安居院、長尾、「画像の処理と認識」、p
p. １６０−１６４、昭晃堂より１９９４年初版第３刷
発行を参照のこと）。

【０００３】画像の連続するフレーム間の差分を利用す
る方法は、動いている部分の差分値が大きく、静止部分
の差分値は小さくなるため、適当なしきい値を設けるこ
とで動画像オブジェクトを抽出することが可能である。
しかし、動いている部分の速度が遅かったり、その表面
の模様が少ないと差分の画像が必ずしも動いている部分
を表さなくなることがある。

【０００４】一方、背景となる画像を準備し入力される
動画像との比較をする方法では、上述したフレーム間の
差分を利用する方法での問題点は解決される。しかし、
抽出する動画像オブジェクトを含まない画像を背景画像
として準備しなければならない。一つの方法として、動
画像オブジェクトが無い条件であらかじめ画像を撮影し
蓄えておく方法がある。ただし、これは工業部品の検査
や監視システムなどの限られた用途で、かつ照明などの
撮影条件が制約されている場合に限られ、一般の自然画
像に対する汎用的な方法とは言えない。

【０００５】上記２つの方法とは別に、自然画像やすで
に撮影済みの画像など、予め背景画像を準備できない場
合に、処理対象の動画像から背景画像を作成する方法が
ある（塩、スクランスキー、「動画像からの歩行者検出
法」、情処研報、Vol.９１，No. １０１、９１−ＣＶ−
７５−５，１９９１を参照のこと）。この方法は、長時
間にわたる動画像を時間方向に統計処理して背景画像を
生成するもので、背景に相当する静止部分においては、
時間方向輝度ヒストグラムの頻度が最も高くなることを
利用している。しかし、撮影時の照明条件の時間変動に
より、必ずしも輝度ヒストグラムの最頻値のみが背景に
なるという保証はない。

【０００６】また、１枚のフレーム画像、すなわち静止
画像内でのオブジェクト抽出手法に用いられる方法に
は、watershed 法に代表される領域成長法がある。特
に、マーカ付きwatershed 法は、単純なwatershed 法に
比べて計算量を削減できるため利用されることが多い。
文献（苗村、水谷、和泉、「スポーツ番組における事前
知識情報を用いたモルフォロジカルセグメンテーショ
ン」、映像メディア処理シンポジウム、Ｉ−３．１５，
１９９７）では、watershed のためのマーカ選択方法を
提案している。これは、スポーツシーンの場合のグラウ
ンドの芝の色や選手のユニフォームの色を代表領域とし
て予め手動により抽出して、その色範囲をヒストグラム
に利用してマーカを決定する方法である。

【０００７】

【発明が解決しようとする課題】上述したように、作成
した背景画像をもとに自然画像から動画像オブジェクト
を抽出しようとしても、作成した背景画像に照明条件な
どの時間方向の変動があるため、精度良く動画像オブジ
ェクトを抽出することは困難であった。

【０００８】本発明の目的は、上記照明条件などの時間
方向の変動を考慮した動画像オブジェクト抽出装置を提
供することにある。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に、本発明動画像オブジェクト抽出装置は、動画像の各
画素の時間方向輝度ヒストグラムを生成する輝度ヒスト
グラム生成回路と、該回路によって生成された各画素の
時間方向輝度ヒストグラムの最頻値近傍の輝度レベル分
布範囲を拡大させた範囲の補集合部分の輝度レベル分布
範囲を、その画素における動画像オブジェクトの輝度レ
ベル分布範囲として決定する動画像オブジェクト輝度レ
ベル範囲決定回路と、各フレーム画像の画素のうち前記
決定した動画像オブジェクトの輝度レベル分布範囲に含
まれる画素の集合領域を各フレーム画像の動画像オブジ
ェクトの画像領域として抽出する動画像オブジェクト画
像領域抽出回路とを少なくとも具えてなることを特徴と
するものである。

【００１０】また、本発明動画像オブジェクト抽出装置
は、さらに、前記各画素の時間方向輝度ヒストグラムの
最頻値近傍の輝度レベル分布範囲を、その画素における
背景の輝度レベル分布範囲として決定する背景画像輝度
レベル範囲決定回路と、各フレーム画像の画素のうち前
記決定した背景の輝度レベル分布範囲に含まれる画素の
集合領域を各フレーム画像の背景画像領域として抽出す
る背景画像領域抽出回路と、該背景画像領域抽出回路の
出力と前記動画像オブジェクト画像領域抽出回路の出力
のそれぞれに対して数画素からなる小領域を除去する小
領域除去回路と、前記背景画像領域および前記動画像オ
ブジェクト画像領域のいずれの画像領域でもない未決定
の画像領域を、フレーム画像内でエッジ画像抽出回路の
信号を利用してwatershed アルゴリズムを用いて前記背
景画像領域および前記動画像オブジェクト画像領域を成
長させることにより、前記背景画像領域または前記動画
像オブジェクト画像領域のいずれかの画像領域に属させ
る画像領域成長回路とを具えてなることを特徴とするも
のである。

【００１１】

【発明の実施の形態】以下に添付図面を参照し、発明の
実施の形態に基づいて本発明を詳細に説明する。図１は
本発明動画像オブジェクト抽出装置の一実施形態をブロ
ック図にて示している。なお、本実施形態においては、
動画像撮影時のカメラないしレンズの移動（ドリー、パ
ン、チルト、ズームなど）は無いか、または予め補償さ
れているものとする。

【００１２】図１において、１は輝度ヒストグラム生成
回路、２は背景画像輝度レベル範囲決定回路、３は動画
像オブジェクト輝度レベル範囲決定回路、４はメモリ、
５は背景画像領域抽出回路、６は動画像オブジェクト画
像領域抽出回路、７−１，７−２は小領域除去回路、８
は未決定画像領域抽出回路、９はエッジ画像抽出回路、
および１０は画像領域成長回路である。

【００１３】動作につき説明する。Ｎ（例えば３００）
フレーム分の動画像信号は時間方向輝度ヒストグラムを
生成する輝度ヒストグラム生成回路１に供給され、動画
像の各画素毎に輝度ヒストグラムを生成する。具体的に
は、動画像中のある位置の注目画素について、Ｎフレー
ム全部にわたってその輝度レベルを測定し、その分布を
輝度ヒストグラムに生成する。図２（Ａ），（Ｂ）は、
時間方向輝度ヒストグラム生成の説明図である。また、
図２（Ｂ）に、図２（Ａ）に示す動画像内のその注目画
素の時間方向輝度ヒストグラムの例が示されている。輝
度レベルが８ビットで表せる場合、図２（Ｂ）に示すよ
うに、２５６レベルの輝度レベルに対してそれぞれの出
現頻度をプロットすることができる。これを画像中の全
画素について行うと、例えば、画像サイズがＸ画素（横
方向）×Ｙライン（縦方向）であれば、Ｘ×Ｙ個の時間
方向の輝度ヒストグラムが生成される。この生成された
ヒストグラムは、背景画像輝度レベル範囲決定回路２と
動画像オブジェクト輝度レベル範囲決定回路３に供給さ
れる。

【００１４】背景画像輝度レベル範囲決定回路２では、
輝度ヒストグラムの最頻値となる画像の輝度レベルを、
その画素位置の背景画像の輝度レベルとみなす。もし、
この画素位置が動画像のＮフレームの全部にわたって背
景であるならば、輝度ヒストグラムはある１つの輝度レ
ベル値のみに集中する筈である。しかし、実際にはその
画素位置の照明の変動などにより、同じ背景であっても
輝度レベルは多少の変動をする。輝度ヒストグラム上で
は、最頻値の近傍の範囲にも分布が生ずる。そこで、そ
の画素位置の時間方向の照明などの変動を考慮するため
に、最頻値近傍の輝度レベル分布範囲（図２（Ｂ）で、
ａの範囲）を背景画像の輝度レベル分布範囲として決定
する。

【００１５】ここで最頻値近傍の輝度レベル分布範囲
は、以下のようにして決定する。すなわち、輝度ヒスト
グラム生成回路１で生成された輝度ヒストグラムにおい
て、最頻値の輝度レベルの上下方向に存在するそれぞれ
の輝度レベルを、輝度ヒストグラム値がゼロになるまで
探索し、ゼロになったレベルの手前のレベルまで（特許
請求の範囲において、最頻値近傍の輝度レベル分布範囲
と称している）を背景画像となる輝度レベル分布範囲で
あると決定する。

【００１６】次に、動画像オブジェクト輝度レベル範囲
決定回路３では、背景画像レベル範囲決定回路２におけ
ると同様、輝度ヒストグラム生成回路１から輝度ヒスト
グラムの供給を受けて動画像オブジェクトの輝度レベル
の分布範囲を決定する。ここでも、上述した背景画像の
決定方法と同様、動画像オブジェクトに対して輝度ヒス
トグラム上で対応する輝度レベルにピーク値が存在する
と仮定して範囲を定めることがまず考えられる。しか
し、この場合には背景画像と異なり、その画素位置に動
画像オブジェクトが存在するかどうかは不明であり、そ
のため背景画像とは別のレベルにピーク値が必ず存在す
るという保証はない。また動画像オブジェクトが１つの
動画像中に複数存在し、同じ画素位置に時間的に複数回
現れる可能性もある。この場合には、背景画像以外のピ
ーク値が複数存在することになる。

【００１７】さらに、動画像オブジェクトの画像が一様
な輝度レベルを有していない場合、オブジェクトが動く
ことによって、ある画素位置での１つの動画像オブジェ
クトに対する輝度ヒストグラムは様々な輝度レベルに分
散する可能性もある。以上述べたことから、動画像オブ
ジェクト輝度レベル範囲の決定に、背景画像の場合と全
く同じ処理を適用することはできない。

【００１８】そこで、本発明では、動画像オブジェクト
の輝度レベル分布範囲は背景画像の輝度レベル分布範囲
外に存在するということを利用する。すなわち、上述の
背景画像輝度レベル範囲決定回路２で決定した輝度ヒス
トグラム上の背景画像の輝度レベル分布範囲外の輝度レ
ベル分布範囲を動画像オブジェクトの画像の輝度レベル
分布範囲候補と考えることができる。ただし、図２
（Ｂ）に示すように、背景画像輝度レベル範囲決定回路
２で定めた背景画像の輝度レベル分布範囲（図２（Ｂ）
で、ａの範囲）の近傍にも輝度ヒストグラムの分布があ
り、これらの輝度レベル（上記分布範囲外とした輝度レ
ベル）に対応する画素は背景である可能性も残っている
ので、これら画素をすべて動画像オブジェクトと決定す
ることは危険である。そこで、まず、輝度ヒストグラム
の背景画像の輝度レベル分布範囲を拡大する（図２
（Ｂ）で、ｂの範囲）。そして、この拡大率は背景画像
の輝度レベル分布範囲を基準としてその何倍とするかを
予め定めておく。この範囲外の輝度レベル分布範囲、す
なわち、図２（Ｂ）にｂで示される範囲（特許請求の範
囲において、最頻値近傍の輝度レベル分布範囲を拡大さ
せた範囲と称している）の補集合部分（図２（Ｂ）で、
ｃの範囲）を背景ではない画像、すなわち、動画像オブ
ジェクト画像の輝度レベル分布範囲として決定する。

【００１９】一方、本発明装置の入力信号である動画像
信号は、メモリ４にも供給される。メモリ４はＮフレー
ム全部の動画像を蓄えておき、後の処理のために、１枚
１枚の各フレーム毎に出力ができるように構成されてい
る。

【００２０】上述したようにして、画素ごとに決定され
た背景画像の輝度レベル分布範囲（背景画像輝度レベル
範囲決定回路２の出力）は、メモリ４から出力されるＮ
フレーム分の動画像のうちの１枚１枚の各フレームの画
像信号とともに背景画像領域抽出回路５に供給される。
背景画像領域抽出回路５では、各画素に対応した背景画
像の輝度レベル分布範囲ａ（図２（Ｂ）参照）内に入っ
ている輝度値を有するすべての画素に対して背景画像の
画像領域であるとのラベルを付ける。

【００２１】同様に、画素ごとに決定された動画像オブ
ジェクトの輝度レベル分布範囲（動画像オブジェクト輝
度レベル範囲決定回路３の出力）は、メモリ４から出力
されるＮフレーム分の動画像のうちの１枚１枚の各フレ
ームの画像信号とともに動画像オブジェクト画像領域抽
出回路６に供給される。動画像オブジェクト画像領域抽
出回路６では、各画素に対応した動画像オブジェクトの
輝度レベル分布範囲ｃ（図２（Ｂ）参照）内に入ってい
る輝度値を有するすべての画素に対して動画像オブジェ
クトの画像領域であるとのラベルを付ける。

【００２２】背景画像領域抽出回路５および動画像オブ
ジェクト画像領域抽出回路６からの各出力は、フレーム
内での小領域を除去するためそれぞれ小領域除去回路７
−１，７−２に供給される。これら小領域除去回路は、
多数決フィルタのようにモルフォロジカル処理により予
め定められた大きさを有する小領域を除去するように動
作する（「画像解析ハンドブック」、pp. ６７６−６７
７、東京大学出版会より１９９１年第２刷発行を参照の
こと）。この小領域除去の効果を本発明による画像処理
の中で説明すると、例えば、本発明の動作を実際の画像
での例で示す図３において、（ａ）は原画像、（ｂ）は
背景決定画像、（ｃ）は動画像オブジェクト決定画像、
（ｄ）は未決定画像、（ｅ）はエッジ画像、および
（ｆ）は抽出結果をそれぞれ示しているが、小領域除去
の施された背景信号と動画像オブジェクト信号は、図３
（ｂ）と（ｃ）（ともに、白色の部分）に示されてい
る。

【００２３】小領域除去回路７−１および７−２からの
各出力は、それぞれ図１に示すように、未決定画像領域
抽出回路８と画像領域成長回路１０に供給される。未決
定画像領域抽出回路８では、それぞれ回路７−１および
７−２の出力である背景画像信号および動画像オブジェ
クト信号中の背景画像の画像領域であるとも、また動画
像オブジェクトの画像領域であるともいずれのラベルも
付けられていない画像領域に新たなラベルを付ける。こ
れら新たにラベルが付けられた分布範囲は未決定画像領
域として扱う。実際の画像での例は、図３（ｄ）であ
る。

【００２４】未決定画像領域抽出回路８の出力は、上記
回路７−１および７−２の出力とともに画像領域成長回
路１０に供給されるが、同成長回路１０には、メモリ４
から読み出された１枚のフレーム画像からエッジ画像
（図３（ｅ）参照）を抽出するエッジ画像抽出回路９の
出力（エッジ画像信号）も供給される。

【００２５】画像領域成長回路１０では、それぞれ回路
７−１，７−２の出力である背景画像信号と動画像オブ
ジェクト信号以外の未決定画像領域信号（未決定画像領
域抽出回路８の出力）を背景画像または動画像オブジェ
クトに属させる処理を施す。この処理にはマーカ付きwa
tershed 法に関する上述の文献（苗村、水谷、和泉、
「スポーツ番組における事前知識情報を用いたモルフォ
ロジカルセグメンテーション」、映像メディア処理シン
ポジウム、Ｉ−３．１５，１９９７）を使用する。この
文献におけるマーカの選択方法は、ヒストグラムに利用
する点で本発明における背景画像および動画像オブジェ
クトの範囲決定処理と類似しているが、以下の点で異な
っている。

【００２６】すなわち、苗村、水谷、和泉の文献におい
ては、スポーツシーンにおけるオブジェクトの抽出を行
うために、抽出対象となるオブジェクトであるグラウン
ドの芝の色と選手のユニフォームの色の２種類の色範囲
を代表値として手動で予め抽出しておき、その色範囲を
１フレーム内のカラーヒストグラムを参照してオブジェ
クトを抽出するようにしている。これに対し、本発明で
は、輝度ヒストグラムを各画素位置ごとに時間方向に計
算し、そして背景に該当する輝度レベル分布範囲を自動
的に決定する。さらに、動画像オブジェクトの範囲につ
いては背景として決定した範囲も利用している。そのた
め背景と前景（動画像オブジェクト）のそれぞれに対し
て輝度レベル分布範囲を別々に設定する必要はない。

【００２７】また、同文献の方法では、芝あるいは選手
のユニフォームの色について、２段階のしきい値を設け
ているが、これは、ノイズの影響で余分な画素が含まれ
ることを避けるために用いているのであって、本発明が
時間方向輝度ヒストグラムを２回にわたって範囲を決定
し、背景と前景（動画像オブジェクト）を決定している
のとはその目的が異なる。本発明では、背景画像の照明
などによる時間変動を考慮するために背景画像用に最頻
値近傍の輝度レベル分布範囲を決定し、動画像オブジェ
クトを背景輝度レベル分布範囲以外とする際に、背景画
像の不確定性を考慮するために２回範囲を定めているの
である。

【００２８】このように、本発明は同文献の方法に対し
て、手動で輝度レベル分布範囲の代表値を設定する必要
がないこと、抽出対象となる背景と前景（動画像オブジ
ェクト）のそれぞれに輝度レベル分布範囲を設定する必
要が無いこと、およびヒストグラムに２段階のしきい値
を設ける目的が別であることにおいて異なっている。

【００２９】watershed 法は、画像を地形的な構造と見
なして、その地形の標高の低い部分から水を注入してい
き、盆地を区切る分水嶺（watershed)にダムを仮想的に
築いて領域を分ける方法である。図４にwatershed 法の
例を示す。マーカ付きwatershed 法は処理の対象となる
部分にマーカを設けて、その部分にのみ水を注入するこ
とで全ての画像に対して処理をするより計算時間を短縮
することができる方法である。本発明では、地形的構造
と見なす画像には画像の空間内輝度勾配であるエッジ画
像（図３（ｅ）参照）をエッジ画像抽出回路９により生
成し利用する。

【００３０】本発明においては、このwatershed 法を使
用することによって、未決定画像の領域内の画素をエッ
ジ画像を参照して背景と動画像オブジェクトのいずれか
に振り分けることができる。以上の処理によって、画像
領域成長回路１０（図１参照）の出力側から、最終的に
図３（ｆ）に示す動画像オブジェクト信号が抽出される
ことになる。

【００３１】最後に、本発明動画像オブジェクト抽出装
置は、図１を参照して説明した実施形態のものに限られ
るものでないことを説明する。すなわち、本発明は、入
力動画像信号から生成された輝度ヒストグラムの最頻値
近傍の輝度レベル分布範囲を拡大させた範囲（図２
（Ｂ）で、ｂの範囲）の補集合部分が動画像オブジェク
トの輝度レベル分布範囲であるという原理に基づいてい
るため、本発明動画像オブジェクト抽出装置は、最小
限、図１に示す輝度ヒストグラム生成回路１、動画像オ
ブジェクト輝度レベル範囲決定回路３および動画像オブ
ジェクト画像領域抽出回路６によって構成することがで
き、これら３つの回路１，３，６の最終段である回路６
の出力として本発明の目的とする動画像オブジェクトを
抽出することができる。

【００３２】

【発明の効果】本発明によれば、動画像からの動画像オ
ブジェクト抽出を背景画像との差分をもとに行うに際し
て、背景画像の輝度に時間方向の変動がある場合にも、
その変動を考慮して背景画像を決定することができる。
その結果、動画像オブジェクトを従来の手法より精度良
く抽出することが可能になる。

【図面の簡単な説明】

【図１】 本発明動画像オブジェクト抽出装置の一実施
形態をブロック図にて示している。

【図２】 時間方向輝度ヒストグラム生成の説明図であ
る。

【図３】 本発明の動作を実際の画像での例で示してい
る。

【図４】 watershed 法の例を示している。

【符号の説明】

１ 輝度ヒストグラム生成回路 ２ 背景画像輝度レベル範囲決定回路 ３ 動画像オブジェクト輝度レベル範囲決定回路 ４ メモリ ５ 背景画像領域抽出回路 ６ 動画像オブジェクト画像領域抽出回路 ７−１，７−２ 小領域除去回路 ８ 未決定画像領域抽出回路 ９ エッジ画像抽出回路 10 画像領域成長回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 金次 保明 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 Ｆターム(参考） 5L096 BA02 CA04 DA01 EA05 FA06 FA19 FA37 GA34 GA43 GA55 HA03 JA11 9A001 HH30

Claims (2)

【特許請求の範囲】
1. 【請求項１】 動画像の各画素の時間方向輝度ヒストグ
   ラムを生成する輝度ヒストグラム生成回路と、 該回路によって生成された各画素の時間方向輝度ヒスト
   グラムの最頻値近傍の輝度レベル分布範囲を拡大させた
   範囲の補集合部分の輝度レベル分布範囲を、その画素に
   おける動画像オブジェクトの輝度レベル分布範囲として
   決定する動画像オブジェクト輝度レベル範囲決定回路
   と、 各フレーム画像の画素のうち前記決定した動画像オブジ
   ェクトの輝度レベル分布範囲に含まれる画素の集合領域
   を各フレーム画像の動画像オブジェクトの画像領域とし
   て抽出する動画像オブジェクト画像領域抽出回路とを少
   なくとも具えてなることを特徴とする動画像オブジェク
   ト抽出装置。
2. 【請求項２】 請求項１記載の動画像オブジェクト抽出
   装置において、該装置はさらに、 前記各画素の時間方向輝度ヒストグラムの最頻値近傍の
   輝度レベル分布範囲を、その画素における背景の輝度レ
   ベル分布範囲として決定する背景画像輝度レベル範囲決
   定回路と、 各フレーム画像の画素のうち前記決定した背景の輝度レ
   ベル分布範囲に含まれる画素の集合領域を各フレーム画
   像の背景画像領域として抽出する背景画像領域抽出回路
   と、 該背景画像領域抽出回路の出力と前記動画像オブジェク
   ト画像領域抽出回路の出力のそれぞれに対して数画素か
   らなる小領域を除去する小領域除去回路と、 前記背景画像領域および前記動画像オブジェクト画像領
   域のいずれの画像領域でもない未決定の画像領域を、フ
   レーム画像内でエッジ画像抽出回路の信号を利用してwa
   tershed アルゴリズムを用いて前記背景画像領域および
   前記動画像オブジェクト画像領域を成長させることによ
   り、前記背景画像領域または前記動画像オブジェクト画
   像領域のいずれかの画像領域に属させる画像領域成長回
   路とを具えてなることを特徴とする動画像オブジェクト
   抽出装置。