JP2001094976A - 画像抽出装置 - Google Patents

Abstract

(57)【要約】 【課題】 撮影対象が多人数でも、また、腕をあげたよ
うな状態でも正確に人物を抽出すること。 【解決手段】現フレームと前フレームとのフレーム間差
分を算出して２値化し、２値化した画像を縦のブロック
に分割し、各ブロック内の２値化データの個数をカウン
トして閾値と比較して動きのあるブロックを検出し、動
きのあるブロックとそれに隣接するブロックで上、また
は上下から２値化データの位置を走査し、走査データか
ら動き領域を抽出して、その動き領域を動き領域記憶手
段１１１に記憶させ、動きのあるブロックとそれに隣接
するブロックでは、動き領域抽出手段１１０の抽出デー
タを出力し、それ以外のブロックでは動き領域記憶手段
１１１からのデータを出力することにより人物を抽出す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像中の動いてい
る物体、主に人物を抽出する画像抽出装置に関し、特に
抽出精度の向上を図ったものに関するものである。

【０００２】

【従来の技術】従来の人物等の画像を抽出する方法とし
て大きく２つの方法がある。１つは背景画像と入力画像
との差分データにより、人物を抽出する背景差分法であ
る。この方法では、正確に人物形状を抽出できるという
長所がある反面、あらかじめ対象となる人物がいない状
態を撮影しておく必要があり、用途が制限されていた。
一方、もう一つの抽出方法は、例えば、特開昭６３−１
５７５９３号公報に示されるように、前画面データと現
画面データとのフレーム間差分データを算出し、動いた
人物を抽出するフレーム間差分法である。以下、後者の
従来例について詳細に説明を行う。

【０００３】図１５は、従来のフレーム間差分法を用い
た自動追尾撮像装置の一例を示すブロック図である。図
１５において、１５０３は画素差分演算回路であり、ま
ずこれによって、フレーム間差分データを抽出する。次
に２値化回路１５０４において、差分データを２値化
し、得られた２値化差分信号は有効ブロック判定回路１
５０５において、ｎ１×ｎ２の撮像領域を（ｎ１／ｌ）
×（ｎ２／ｌ）のブロック（ｌはｎ１，ｎ２の公約数）
に分割され、各ブロック毎に２値化データの個数をカウ
ントして、その総数があらかじめ定められている数値以
上のブロックを有効ブロックと判定する。その結果は例
えば、図１６に示すようになる。

【０００４】図１６において、黒のブロックが有効ブロ
ックである。その判定された有効ブロックの位置、及び
連続性にもとづいて、人物の顔面領域が顔面領域判定回
路１５０６にて抽出される。人物の場合、有効ブロック
の最上部のｙ座標（ｙａ）は、人物の頭頂部で、その下
の部分が顔面である。このｙ座標（ｙａ）の次の行か
ら、ｘ方向の左から右に走査した時に最初に現れる有効
ブロックのｘ座標（Ｐｉ）と、右から左に走査した時に
現れる有効ブロックのｘ座標（Ｑｉ）とを求め、各ブロ
ックライン毎にｘ方向の有効ブロック幅Ｗｊ＝Ｑｉ−Ｐ
ｉを求める。

【０００５】以上のようにして、順次ブロックライン毎
に走査して、有効ブロック幅Ｗｉを求めていき、連続す
る行の有効ブロック幅Ｗｉの値が、あらかじめ定められ
ているブロック行数にわたり一定値を示した場合に、そ
の値を顔面部の幅Ｗと判定する。顔面部の幅Ｗと判定し
た最終ブロックラインのｘ座標（Ｐｉ，Ｑｉ）をＸｐ，
Ｘｑとし、顔面部の縦方向の長さＴを統計的性質によ
り、幅Ｗ＝Ｘｑ−Ｘｐをもとにして、Ｔ＝Ｗ＊ｔ（ｔは
正の実数）により求め、これらのデータをもとに顔面部
を抽出している。

【０００６】

【発明が解決しようとする課題】従来の画像抽出装置は
以上のように構成されており、前画面データと現画面デ
ータとのフレーム間差分データを算出し、動いた人物を
抽出することにより、予め背景となる画像を撮影してお
くなどの下準備を要せずに容易に所望とする画像（主に
人物）を抽出することができるものであったが、図１７
に示すように、撮影する人数が複数の場合には左右から
人物の位置を走査して人物形状の幅を決定する構成とな
っているために、人物Ａが動いていて、人物Ｂが静止し
ている場合には、人物Ａしか抽出できず、逆に人物Ｂが
動いて、人物Ａが静止している場合には人物Ｂしか抽出
できないというように、人物を個別に抽出することがで
きないものであった。また、人物１人を撮影する場合で
も、人物が手をあげている場合などは、やはりうまく人
物を抽出することができないという問題点があった。

【０００７】この発明は以上のような問題点を解消する
ためになされたもので、人数が複数である場合や、腕を
あげているような状態でも、人物を正確に抽出すること
のできる画像抽出装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】この発明の請求項１にか
かる画像抽出装置は、現フレームと前フレームとの画像
データの差分値を演算するフレーム間差分抽出手段と、
上記フレーム間差分抽出手段より抽出した信号を２値化
する２値化手段と、２値化した画像を画像の動きに対し
て垂直方向のブロックに分割するブロック分割手段と、
分割された各ブロック内の２値化データの個数をカウン
トして、これを所定の閾値と比較することで動きのある
ブロックを検出する動きブロック検出手段と、上記動き
のあるブロックについて、画像の動きに対して垂直上方
向から下方向に向けて、または、画像の動きに対してそ
れぞれ垂直上方向と下方向から２値化データの位置を走
査する動きブロック走査手段と、上記動きのあるブロッ
クに隣接するブロックで、画像の動きに対して垂直上方
向から下方向に向けて、または、画像の動きに対してそ
れぞれ垂直上方向と下方向から２値化データの位置を走
査する隣接ブロック走査手段と、上記各走査手段によっ
て走査された走査データから、動き領域を抽出する動き
領域抽出手段と、上記抽出された動き領域を記憶する動
き領域記憶手段と、動きのあるブロックとそれに隣接す
るブロックについては上記動き領域抽出手段の抽出デー
タを出力し、それ以外のブロックについては前回の動き
領域を記憶した動き領域記憶手段からの抽出データを出
力するように、出力を切り替える動き領域出力手段とを
備えたものである。

【０００９】また、この発明の請求項２にかかる画像抽
出装置は、上記請求項１記載の画像抽出装置において、
上記動き領域を記憶する動き領域記憶手段と、上記動き
ブロック記憶手段に記憶されている前回の動きブロック
列内における、現在の動きブロックの数を算出し、その
比率を算出する動きブロック比率算出手段を備え、上記
動き領域出力手段は、前回動きがあったブロックにおい
て、動きブロック比率算出手段の算出する比率と所定の
閾値とを比較し、その比較結果が閾値以下の場合に、前
回の動き領域を記憶した動き領域記憶手段からデータを
出力するものである。

【００１０】また、この発明の請求項３にかかる画像抽
出装置は、上記請求項１記載の画像抽出装置において、
上記動き領域出力手段から出力した動き領域以外の領域
を背景領域として抽出する背景領域抽出手段と、上記抽
出された背景領域の背景画像データを記憶する背景画像
メモリ手段と、上記背景画像メモリ手段に記憶された時
間的に過去の画像データと、現在の画像データの差分デ
ータを算出する背景差分抽出手段と、背景画像データが
存在する領域では、上記背景差分抽出手段からのデータ
を出力する一方、背景画像データが存在しない領域で
は、上記動き領域出力手段からのデータを出力する出力
切り替え手段とを備えたものである。

【００１１】また、この発明の請求項４にかかる画像抽
出装置は、上記請求項３記載の画像抽出装置において、
上記背景領域抽出手段は背景領域の有無を示す背景画像
有無通知情報を出力するものであり、上記出力切り替え
手段は、上記背景画像有無通知情報を受けて、上記背景
差分抽出手段のデータ出力と動き領域出力手段からのデ
ータ出力を切り替えるものとしたものである。

【００１２】

【発明の実施の形態】(実施の形態1)以下に、本発明の
実施の形態1による画像抽出装置について、図を参照し
ながら説明する。図１は本実施の形態１にかかる画像抽
出装置の構成を示すブロック図である。図１において、
１０１は画像入力手段、１０２は画像入力手段１０１の
出力を受けて現在の画像データを蓄積する現画像メモリ
部、１０３は画像入力手段１０１の出力を受けて、１フ
レーム前の画像データを蓄積する前画像メモリ部、１０
４は現画像メモリ１０２と前画像メモリ１０３の出力を
受け、フレーム間の画像の差分データを出力するフレー
ム間差分抽出手段、１０５はフレーム間差分抽出手段１
０４の出力を受ける２値化手段、１０６は２値化手段１
０５の出力を受けるブロック分割手段、１０７はブロッ
ク分割手段１０６の出力を受ける動きブロック検出手
段、１０８は動きブロック検出手段１０７の出力を受け
る動きブロック走査手段、１０９は動きブロック走査手
段１０８の出力を受ける隣接ブロック走査手段、１１０
は隣接ブロック走査手段１０９の出力を受ける動き領域
抽出手段、１１１は動き領域抽出手段１１０の出力を受
ける動き領域記憶手段、１１２は動きブロック検出手段
１０７の出力を受けて、上記動き領域抽出手段１１０と
動き領域記憶手段１１１のいずれかの出力を選択して出
力する動き領域出力手段である。

【００１３】次に動作について説明する。撮像された現
在の入力画像データは、現画像メモリ部１０２に記憶さ
れる。現画像の１フレーム前の画像である前画像は、前
画像メモリ部１０３に記憶されている。この現画像デー
タと前画像データとの差分データをフレーム間差分抽出
手段１０４にて算出する。ここで、差分データは、画素
毎に前画像と現画像との差分をとり、その絶対値を算出
することにより求められる。

【００１４】次に算出された差分データを２値化手段１
０５にてあらかじめ定められた閾値により２値化する。
この閾値としては、人物の動きのみを正しく抽出できる
値を選択するのがよい。そして、２値化した結果は、例
えば、図２に示すようになる。図２において、黒線で描
画されている部分が上記設定した閾値を超えた差分デー
タである。

【００１５】次に、ブロック分割手段１０６にて２値化
された差分データを図３に示すように紙面縦方向に分割
する。そして動きブロック検出手段１０７では、分割さ
れたブロック内の２値化データの数をブロック毎にカウ
ントし、ブロック内の２値化データ数があらかじめ定め
られた閾値より大きい場合には、動きがあるブロックと
してそのブロックを検出する。動きブロック走査手段１
０８では、上記動きブロック検出手段１０７で動きがあ
ると判定されたブロック内を上、又は上下から走査して
動き領域を抽出する。

【００１６】隣接ブロック走査手段１０９では、上記動
きブロック検出手段１０７で動きがあると判定されたブ
ロックに隣接するブロックについて、上記動きブロック
走査手段１０８と同様の走査を行う。隣接ブロックを走
査するのは、後述するように、動いた領域が次々と記憶
されて残ってしまうことにより、人物以外の領域までも
が抽出されるのを防止するためである。

【００１７】次に動きブロック走査手段１０８、および
隣接ブロック走査手段１０９でのブロック走査の方法に
ついて図４を用いて説明する。図４は図３のブロックＡ
部分を拡大したものである。まず、ブロック内の紙面左
端から１ライン毎に上から下へ走査したときに現れる差
分データの位置Ｙ１（ｘ）と、下から上へ走査したとき
に現れる差分データの位置Ｙ２（ｘ）とを算出する。同
様に紙面右方向に向かって順次走査してブロックＡ部分
の差分データの位置を算出する。走査により差分データ
が検出できなかった場合は、Ｙ１（ｘ）＝０，Ｙ２
（ｘ）＝０として記憶する。

【００１８】走査結果から動き領域を、動き領域抽出手
段１１０にて抽出し、その結果を動き領域記憶手段１１
１に記憶する。上記動き領域抽出手段１１０では、走査
結果から動き領域を抽出するが、その方法として最も簡
単で誤検出のない方法は、走査するブロック内で最も高
いＹ座標と最も低いＹ座標とをそのブロックの動き領域
として抽出する方法である。ただしＹ１（ｘ）＝０，Ｙ
２（ｘ）＝０の場合のデータは除く。図４の場合は、デ
ータＤ１とＤ２との間が動き領域として抽出される。こ
のようにすると差分データがうまく検出されずに、図４
のポイントｐに示す画素のように、エッジ線がきれてし
まう場合でも、それに影響されることなく正確に動き領
域を抽出することができる。この処理により、差分を２
値化された入力データが図３で示したような形状の場
合、動き領域の抽出結果は図５のようになる。走査結果
から動き領域を抽出する方法としては、ここで述べた方
法の他に、走査データをライン毎に抽出する方法でもよ
く、この場合は隣接する３画素、あるいはさらに多くの
画素で平均化処理、または中間値をとる処理等でエッジ
の切れている部分を補間し、１ライン毎に上から走査し
たＹ座標と、下から走査したＹ座標との間を動き領域と
して抽出することになる。

【００１９】このようにして動き領域を抽出した後、動
き領域を平滑化する。平滑化では検出したブロックが滑
らかになるように演算をおこなう。例えば、図５のブロ
ックＢとブロックＣを例にとってこの演算について説明
する。図６はブロックＢとブロックＣを拡大したもので
ある。ブロックＢでは、動き領域抽出結果は０からＴ１
までの斜線部であり、ブロックＣでは０からＴ２までの
斜線部である。ブロックＢとＣの関係から、座標ｘ１と
ｘ２との間を平滑化する。座標ｘ１とｘ２の間の座標ｘ
における動き領域の上側の座標Ｔは、

【００２０】 Ｔ＝（Ｔ２−Ｔ１）＊ｘ／（ｘ２−ｘ１）＋Ｔ１ にて算出される。このように動きがある隣接するブロッ
クどうしで平滑化を行うことにより、図５の動き領域は
図７に示すように平滑化処理される。

【００２１】このようにして抽出した動き領域の算出結
果は、動き領域記憶手段１１１に記憶される。なお、本
実施の形態では、差分データの走査を紙面上下方向から
行ったが、撮影対象が上半身の場合などは胴体の下側の
差分データが検出しにくい場合がある。このような場合
には走査を上からのみ行うことにより誤検出を防止する
ことができる。

【００２２】上記動き領域出力手段１１２では、動きが
あるブロックおよびその隣接ブロックについては動き領
域抽出手段１１０からの抽出結果を出力し、それ以外の
ブロックについては動き領域記憶手段１１１から前（前
のフレーム）の抽出結果を出力する。このように、動き
がないブロックについては、既に記憶してある前のフレ
ームの抽出結果を出力することで、動きが止まった場合
でも前の動きがあったときの抽出結果を出力するため正
確に人物を抽出することができる。

【００２３】この時、上述したように、動きがあるブロ
ックに隣接するブロックを走査して動き領域を抽出して
いる。これは動きがあるブロックの動き領域が次々と記
憶され残ってしまい、人物以外の領域までもが抽出され
るのを防止するためである。例えば、図８に示すよう
に、人物が図８（ａ）から図８（ｂ）,（ｃ）へと紙面
に対して右方向に移動する場合、動きがあるブロックの
みを走査して動き領域を抽出すると、動き領域はそれぞ
れ図８（ｅ），（ｆ）,（ｇ）の斜線部の領域となる
が、一度動きがあったブロックは、その動きが記憶され
るため、図８（ｅ），（ｆ）の黒く塗りつぶした領域が
人物のいない領域であるにもかかわらず残ってしまう。
そこで、現在動きがあるブロックとそれに隣接するブロ
ックとを走査して動き領域を検出することにより、動き
領域が残るのを防止する。例えば、図８に示したように
図８（ａ）から図８（ｂ）へと人物が移動した場合、現
在の動きブロックは図９の斜線部となり、それに隣接す
るブロックＢ１とＢ２を走査する。ブロックＢ１では前
回の動き領域が記憶されているが、現在の差分データを
走査することにより、黒く塗りつぶした領域を消去でき
る。このようにして、動きがあるブロックに隣接するブ
ロックを走査して動き領域を抽出することで、人物がい
ない領域までもが誤って抽出されるのを防止することが
できる。

【００２４】なお、この例では隣接するブロックを１ブ
ロックのみ走査するようにしたが、動きが大きい場合に
は、さらにブロック数を増やして走査するようにしても
よい。

【００２５】このように本実施の形態１によれば、ブロ
ック分割手段１０６によって２値化した画像を縦方向の
ブロックに分割して動きブロック検出手段１０７によっ
て動きを検出し、動きがない場合には前回の動き領域を
記憶した動き領域記憶手段１１１のデータを出力するよ
うにしたので、動きがあったときの状態を保持すること
ができ、撮影対象が多人数であっても、静止した場合で
も正確に人物を抽出できる。

【００２６】(実施の形態２)以下に、本発明の実施の形
態２にかかる画像抽出装置について、図を参照しながら
説明する。図１０は実施の形態２にかかる画像抽出装置
の構成を示すブロック図である。図１０において、図１
と同一符号は同一、または相当部分を示し、１１３は動
きブロック検出手段１０７で検出された動きのあるブロ
ックを記憶する動きブロック記憶手段、１１４は現在の
動きブロックの数と、上記動きブロック記憶手段１１３
に記憶された前回の動きブロックの数とを比較してその
比率を算出する動きブロック比率算出手段である。

【００２７】次に動作について説明する。基本的な動作
は上述した実施の形態１と同じであるが、本実施の形態
２では動きブロックに隣接するブロックについての走査
は行わずに、動きブロック比率算出手段１１４によっ
て、動きブロック記憶手段１１３に記憶されている前回
の動きブロック列内において、現在の動きブロックの数
を算出して、その比率を算出し、その比率があらかじめ
定めた閾値以下であり、かつ、現在の動きブロックがな
いブロックにおいては、動き領域出力手段１１２ａが前
回の動き領域を記憶した動き領域記憶手段１１１からの
データを出力し、それ以外のブロックでは動き領域抽出
手段１１０の抽出データを出力する動作を行う点が異な
る。

【００２８】以下、図１１を用いて本実施の形態２の画
像抽出装置の特徴的な動作を中心とした説明をする。図
１１の（ａ）は前回抽出した動き領域を現しており、斜
線部が動き領域である。図１１（ｂ）は現在の処理で抽
出した動き領域を現している。図１１（ａ）において、
動きブロックはブロック４からブロック９までの６ブロ
ックである。動きブロック比率算出手段１１４は、前回
動きがあったブロック４から９のブロック列内で、現在
動きがあるブロック数を算出する。すなわち、図１１
（ｂ）において、ブロック５からブロック９までの５ブ
ロックが該当する。従って比率は８３％（５／６）とな
る。

【００２９】このように前の動きブロック列内に占める
現在の動きブロック数の比率が高いブロック、例えば、
その比率が８０％以上の場合には、動き領域抽出手段１
１０から出力された現在の動き領域を、動き領域出力手
段１１２にて出力するように設定する。

【００３０】上記図１１（ｂ）の場合は、前の動きブロ
ック列内に占める現在の動きブロック数の比率が８０％
をこえるので、動き領域は図１１（ｃ）のように抽出さ
れることになる。このように動きが大きい場合には、前
の動き領域を使用せずに、現在の動き領域のみを使用す
るため、人物が存在しない領域までもが誤って抽出され
ることがない。

【００３１】反対に、図１１（ｄ）のように、現在の動
き領域の動きが小さいために、動き領域がうまく抽出さ
れない場合、前回抽出した動きブロックに占める現在の
動きブロック数の比率が低くなる。図１１（ｄ）の場合
は２ブロックしか該当しないため比率が３３％にしかな
らない。従って、このような場合には、動き領域記憶手
段１１１に記憶してある前回の動き領域を、動き領域出
力手段１１２ａにて出力する。この場合、前回の動き領
域は図１１（ａ）の斜線部に示す領域である。このとき
図１１（ｄ）のブロック４，５は動きがあるため、ブロ
ック４，５についてはそのまま現在の動き領域を抽出す
る。そして図１１（ａ）のブロック６からブロック９ま
での動き領域が動き領域記憶手段１１１から呼び出さ
れ、動き領域出力手段１１２ａにて出力することによ
り、図１１（ａ）の動き領域の一部を図１１（ｄ）に示
す動き領域で置換され、動き領域抽出結果は図１１
（ｅ）に示すようになる。

【００３２】このように前回動きがあった領域を調べ、
閾値と比較して、現在もその領域に大きな動きがある場
合には現在の動き領域を出力し、動きがない場合には前
回の動き領域の抽出結果を主に使用し、これに今回動き
があった部分を付加して出力することにより、撮影対象
が多人数であっても、また静止した場合でも、上記実施
の形態１に比べて、より正確に人物を抽出することがで
きる。

【００３３】(実施の形態３)以下に、本発明の実施の形
態３にかかる画像抽出装置について、図を参照しながら
説明する。図１２は実施の形態３にかかる画像処理装置
の構成を示すブロック図である。図１２において、図１
と同一符号は同一、または相当部分を示し、１１５は人
物以外の領域を記憶する背景画像メモリ部、１１６は現
在の画像データと背景画像メモリ部１１５に記憶された
背景画像とを比較して差分データを出力する背景差分抽
出手段、１１７は背景差分抽出手段１１６の出力を２値
化する２値化手段、１１８は２値化したデータからノイ
ズを除去するためのノイズ除去手段、１１９は動き領域
から背景領域を抽出するための背景領域抽出手段、１２
０は動き領域出力手段１１１とノイズ除去手段１１８の
出力とを切り替えて出力するための切り替え手段、１２
１は切り替え手段１２０の出力端子である。

【００３４】本実施の形態３では，上記実施の形態１ま
たは実施の形態２で説明したフレーム間差分法により人
物の領域を算出し、人物以外の領域を背景画像データと
して記憶し、背景画像データが存在する領域では背景画
像と入力した現画像とから背景差分法により人物を抽出
し、背景画像データがない領域では上記実施の形態１ま
たは実施の形態２で説明したフレーム間差分法により人
物を抽出するものである。以下、本実施の形態３の画像
抽出装置の特徴的な動作を中心とした説明をする。

【００３５】まず、最初は、背景領域が抽出されていな
いため、切り替え手段１２０によりフレーム差分による
動き領域、すなわち、動き領域出力手段１１１の出力が
出力される。そして次にデータが入力されると、前画像
メモリ部１０２と現画像メモリ部１０３とからフレーム
差分抽出手段１０４により、差分データを抽出し、その
差分データをもとに、上述した実施の形態１または実施
の形態２で説明した方法により、動き領域を抽出し、そ
の結果が動き領域抽出手段１０９から出力される。

【００３６】図１２では、上記実施の形態１で説明した
方法により抽出を行っている。抽出結果は、例えば、図
１４（ａ）のように、フレーム間差分データが抽出され
た場合、抽出結果は図１４（ｂ）の白色で囲まれた領域
となる。背景領域抽出手段１１９では、抽出した動き領
域以外の領域を背景領域として抽出し記憶する。この場
合、図１４（ｂ）の斜線部が背景領域となる。そして抽
出した背景領域の画像データを背景画像メモリ部１１５
に記憶させる。

【００３７】次に、画像データが入力された場合、背景
データが存在する背景領域では切り替え手段１２０によ
り、背景差分法により出力された人物領域を抽出し、出
力端子１２１に出力する。背景差分法では、現画像メモ
リ１０３と背景画像メモリ部１１５との差分を背景差分
抽出手段１１６で抽出し、２値化処理、並びにノイズ除
去処理を行ってから人物を抽出する。

【００３８】２値化手段１１７では、背景差分データを
あらかじめ定められた閾値により２値化する。この閾値
は入力画像のノイズの多さやコントラストの強さに応じ
て、最適な値を選択する。次に、２値化されたデータの
ノイズ除去をノイズ除去手段１１８で行う。これは背景
差分法で人物を抽出した場合、通常、図１３に示すよう
に、人物領域内に抽出されなかった領域が残るのを補正
するために行う。このノイズ除去はメジアンフィルタ
や、膨張・収縮処理等を施すことにより実現することが
できる。

【００３９】このようにして背景画像データが存在する
領域では背景差分法により人物を抽出する。例えば、図
１４において、図１４（ａ）に示した人物が図１４
（ｃ）に示ように頭を動かした場合、図１４（ｂ）の斜
線部が背景領域として抽出されるため、図１４（ｃ）の
斜線部は背景画像が存在する領域となることから、この
領域では背景差分法により人物が抽出される。また、背
景画像データが存在しない領域は、フレーム間差分法に
より抽出した動き領域出力手段からのデータが出力され
る。従って人物の抽出結果は図１４（ｄ）の斜線部で示
すようになる。図１４（ｂ）では人物の頭の形が抽出で
きていないが、図１４（ｄ）では左側の頭の形きれいに
抽出されている。

【００４０】なお、撮影対象が多人数の場合には、ある
程度時間が経過してから背景領域の抽出作業を行うよう
にする。これは撮像開始からすぐに背景領域を抽出する
と、動かない人物がいた場合、その領域が背景データと
して記憶され、人物がうまく抽出されない場合があるた
めである。

【００４１】そのため、撮像対象の全員に動きが生じる
時間まで背景領域の抽出作業を行わないようにする。ま
た、背景画像を記憶する場合、毎回記憶を更新すれば照
明変化等の環境変化にも影響することなく正確に人物を
抽出できるようになる。また毎回記憶の更新を行うので
なく、背景データを時間的に平均化して記憶させること
により、ノイズに強い抽出方法を実現することもでき
る。

【００４２】このように、本実施の形態３によれば、フ
レーム間差分法と背景差分法とを併用するようにしたこ
とにより、あらかじめ人物の入っていない背景画像を撮
影することなく、また撮影対象が多人数であっても、さ
らに、静止しても、正確に人物を抽出することができ
る。

【００４３】

【発明の効果】以上のように、この発明の請求項１にか
かる画像抽出装置によれば、現フレームと前フレームと
の画像データの差分値を演算するフレーム間差分抽出手
段と、上記フレーム間差分抽出手段より抽出した信号を
２値化する２値化手段と、２値化した画像を画像の動き
に対して垂直方向のブロックに分割するブロック分割手
段と、分割された各ブロック内の２値化データの個数を
カウントして、これを所定の閾値と比較することで動き
のあるブロックを検出する動きブロック検出手段と、上
記動きのあるブロックについて、画像の動きに対して垂
直上方向から下方向に向けて、または、画像の動きに対
してそれぞれ垂直上方向と下方向から２値化データの位
置を走査する動きブロック走査手段と、上記動きのある
ブロックに隣接するブロックで、画像の動きに対して垂
直上方向から下方向に向けて、または、画像の動きに対
してそれぞれ垂直上方向と下方向から２値化データの位
置を走査する隣接ブロック走査手段と、上記各走査手段
によって走査された走査データから、動き領域を抽出す
る動き領域抽出手段と、上記抽出された動き領域を記憶
する動き領域記憶手段と、動きのあるブロックとそれに
隣接するブロックについては上記動き領域抽出手段の抽
出データを出力し、それ以外のブロックについては前回
の動き領域を記憶した動き領域記憶手段からの抽出デー
タを出力するように、出力を切り替える動き領域出力手
段とを備えたものとしたから、動きがない場合には動き
があったときの状態を保持できるため、撮影対象が多人
数であってもまた静止した場合でも、正確に人物を抽出
することができるという効果がある。

【００４４】また、この発明の請求項２にかかる画像抽
出装置によれば、上記請求項１記載の画像抽出装置にお
いて、上記動き領域を記憶する動き領域記憶手段と、上
記動きブロック記憶手段に記憶されている前回の動きブ
ロック列内における、現在の動きブロックの数を算出
し、その比率を算出する動きブロック比率算出手段を備
え、上記動き領域出力手段は、前回動きがあったブロッ
クにおいて、動きブロック比率算出手段の算出する比率
と所定の閾値とを比較し、その比較結果が閾値以下の場
合に、前回の動き領域を記憶した動き領域記憶手段から
データを出力するものとしたので、撮影対象が多人数で
あっても、また、静止した場合でもより効果的に正確に
人物を抽出することができるという効果がある。

【００４５】また、この発明の請求項３にかかる画像抽
出装置は、上記請求項１記載の画像抽出装置において、
上記動き領域出力手段から出力した動き領域以外の領域
を背景領域として抽出する背景領域抽出手段と、上記抽
出された背景領域の背景画像データを記憶する背景画像
メモリ手段と、上記背景画像メモリ手段に記憶された時
間的に過去の画像データと、現在の画像データの差分デ
ータを算出する背景差分抽出手段と、背景画像データが
存在する領域では、上記背景差分抽出手段からのデータ
を出力する一方、背景画像データが存在しない領域で
は、上記動き領域出力手段からのデータを出力する出力
切り替え手段とを備えたものとしたので、あらかじめ人
物の入っていない背景画像を撮影することなく、また、
撮影対象が多人数であっても、静止した場合でも、正確
に人物を抽出できるという効果がある。

【００４６】また、この発明の請求項４にかかる画像抽
出装置は、上記請求項３記載の画像抽出装置において、
上記背景領域抽出手段は背景領域の有無を示す背景画像
有無通知情報を出力するものであり、上記出力切り替え
手段は、上記背景画像有無通知情報を受けて、上記背景
差分抽出手段のデータ出力と動き領域出力手段からのデ
ータ出力を切り替えるものとしたので、背景画像データ
が存在しない領域では、上記動き領域出力手段からのデ
ータが出力されるようになり、人物の形状をより正確に
抽出することができるという効果がある。

【図面の簡単な説明】

【図１】本発明の実施の形態1における画像抽出装置の
構成を示すブロック図である。

【図２】上記実施の形態1における画像抽出装置による
フレーム間差分２値化画像図の例を示す図である。

【図３】上記実施の形態１における画像抽出装置による
ブロック分割手段によるブロック分割の例を示す図であ
る。

【図４】上記実施の形態1における画像抽出装置の動き
ブロック走査手段の動作を説明するための図である。

【図５】上記実施の形態１における画像抽出装置のによ
る人物領域の抽出結果の一例を示す図である。

【図６】上記実施の形態1における画像抽出装置による
抽出領域の平滑化処理を説明するための図である。

【図７】上記実施の形態１における画像抽出装置による
抽出領域の平滑化処理の結果を説明するための図であ
る。

【図８】上記実施の形態１における動き領域抽出方法の
説明をするための図である。

【図９】上記実施の形態１における動き領域抽出方法に
よる動きブロックの抽出結果を示す図である。

【図１０】本発明の実施の形態２における画像抽出装置
の構成を示すブロック図である。

【図１１】上記実施の形態２における画像抽出装置の動
き領域抽出方法を説明するための図である。

【図１２】本発明の実施の形態３による画像抽出装置の
構成を示すブロック図である。

【図１３】上記実施の形態３における画像抽出装置の背
景差分法でのノイズの発生状態を説明するための図であ
る。

【図１４】上記実施の形態３における画像抽出装置の人
物抽出方法を説明するための図である。

【図１５】従来の画像抽出装置の概要的な構成を示すブ
ロック図である。

【図１６】上記従来の画像抽出装置による人物抽出方法
を説明するための図である。

【図１７】上記従来の画像抽出装置による人物抽出方法
を説明するためのさらなる図である。

【符号の説明】

１０１，１００１，１２０１ 画像入力手段 １０２，１００２，１２０３ 現画像メモリ部 １０３，１００３，１２０２ 前画像メモリ部 １０４，１００４，１２０４ フレーム間差分抽出手段 １０５，１００５，１２０５，１２１４ ２値化手段 １０６，１００６，１２０６ ブロック分割手段 １０７，１００７，１２０７ 動きブロック検出手段 １０８，１００９，１２０８ 動きブロック走査手段 １０９ 隣接ブロック走査手段 １１０，１０１０，１２０９ 動き領域抽出手段 １１１，１０１１，１２１０ 動き領域記憶手段 １１２，１０１３，１２１１ 動き領域出力手段 １００８ 動きブロック記憶手段 １０１２ 動きブロック比率算出手段 １２１３ 背景差分抽出手段 １２１５ ノイズ除去手段 １２１６ 背景領域抽出手段 １２１７ 切り替え手段 １２１８ 出力端子

Claims (4)

【特許請求の範囲】
1. 【請求項１】 現フレームと前フレームとの画像データ
   の差分値を演算するフレーム間差分抽出手段と、 上記フレーム間差分抽出手段より抽出した信号を２値化
   する２値化手段と、 ２値化した画像を画像の動きに対して垂直方向のブロッ
   クに分割するブロック分割手段と、 分割された各ブロック内の２値化データの個数をカウン
   トして、これを所定の閾値と比較することで動きのある
   ブロックを検出する動きブロック検出手段と、 上記動きのあるブロックについて、画像の動きに対して
   垂直上方向から下方向に向けて、または、画像の動きに
   対してそれぞれ垂直上方向と下方向から２値化データの
   位置を走査する動きブロック走査手段と、 上記動きのあるブロックに隣接するブロックで、画像の
   動きに対して垂直上方向から下方向に向けて、または、
   画像の動きに対してそれぞれ垂直上方向と下方向から２
   値化データの位置を走査する隣接ブロック走査手段と、 上記各走査手段によって走査された走査データから、動
   き領域を抽出する動き領域抽出手段と、 上記抽出された動き領域を記憶する動き領域記憶手段
   と、 動きのあるブロックとそれに隣接するブロックについて
   は上記動き領域抽出手段の抽出データを出力し、それ以
   外のブロックについては前回の動き領域を記憶した動き
   領域記憶手段からの抽出データを出力するように、出力
   を切り替える動き領域出力手段とを備えたことを特徴と
   する画像抽出装置。
2. 【請求項２】 請求項１記載の画像抽出装置において、 上記動き領域を記憶する動き領域記憶手段と、 上記動きブロック記憶手段に記憶されている前回の動き
   ブロック列内における、現在の動きブロックの数を算出
   し、その比率を算出する動きブロック比率算出手段を備
   え、 上記動き領域出力手段は、前回動きがあったブロックに
   おいて、動きブロック比率算出手段の算出する比率と所
   定の閾値とを比較し、その比較結果が閾値以下の場合
   に、前回の動き領域を記憶した動き領域記憶手段からデ
   ータを出力することを特徴とする画像抽出装置。
3. 【請求項３】 請求項１記載の画像抽出装置において、 上記動き領域出力手段から出力した動き領域以外の領域
   を背景領域として抽出する背景領域抽出手段と、 上記抽出された背景領域の背景画像データを記憶する背
   景画像メモリ手段と、上記背景画像メモリ手段に記憶さ
   れた時間的に過去の画像データと、現在の画像データの
   差分データを算出する背景差分抽出手段と、 背景画像データが存在する領域では、上記背景差分抽出
   手段からのデータを出力する一方、背景画像データが存
   在しない領域では、上記動き領域出力手段からのデータ
   を出力する出力切り替え手段とを備えたことを特徴とす
   る画像抽出装置。
4. 【請求項４】 請求項３記載の画像抽出装置において、 上記背景領域抽出手段は背景領域の有無を示す背景画像
   有無通知情報を出力するものであり、 上記出力切り替え手段は、上記背景画像有無通知情報を
   受けて、上記背景差分抽出手段のデータ出力と動き領域
   出力手段からのデータ出力を切り替えることを特徴とす
   る画像抽出装置。