JP2003150964A

JP2003150964A - 画像処理装置及び画像処理方法

Info

Publication number: JP2003150964A
Application number: JP2001350610A
Authority: JP
Inventors: Mitsuru Maeda; 充前田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-11-15
Filing date: 2001-11-15
Publication date: 2003-05-23

Abstract

(57)【要約】【課題】焦点の自動調節機能を有するカメラで撮影さ
れた焦点が背景から対象にずれた場合であっても、適切
に対象を抽出することができる画像処理装置及び画像処
理方法を提供する。【解決手段】固定された撮像方向のシーンを撮像した
撮像手段で得られた、時間軸方向に連続するフレーム画
像が入力部１から入力される。入力されたフレーム画像
は、フィルタ部２で平滑化される。次に、背景画像生成
部３の作動により、平滑化された所定枚数のフレーム画
像の平均画像が背景画像として生成される。そして、平
滑化された所定のフレーム画像と背景画像との差分画像
が画像差分部５で生成される。さらに、差分画像に基づ
いて所定の対象物が撮像された対象物領域が対象抽出部
で抽出される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像を構成する
フレーム画像の差分画像から特定の領域を抽出する画像
処理装置及び画像処理方法に関する。

【０００２】

【従来の技術】近年、動画像の符号化方式として、ＭＰ
ＥＧ−４符号化方式による国際標準化作業が進んでい
る。従来のＭＰＥＧ−２符号化方式に代表される動画像
符号化方式においては、符号化は、矩形のフレームある
いはフィールドを単位として行われていた。これに対し
て、ＭＰＥＧ−４符号化方式では、任意の形状をした画
像データをオブジェクトとして符号化を行うことが可能
である。その詳細については、三木弼一編著「ＭＰＥＧ
−４のすべて」（工業調査会）や国際標準ＩＳＯ／ＩＥ
Ｃ１４４９６−２等に記載されている。すなわち、近年
の動画像の符号化においては、任意の形状をした対象領
域を抽出するための技術が不可欠となってきている。

【０００３】対象領域の抽出方法としては、記憶された
背景画像と入力画像との差分から対象領域を抽出する方
法が知られている。例えば、特開平５−３３４４４１の
「移動物体抽出装置」等にその具体的な方法が示されて
いる。図１０は、記憶された背景画像と入力画像との差
分から対象領域を抽出する従来の画像処理装置の構成を
示すブロック図である。

【０００４】図１０において、入力部１００１は、対象
の物体を含むシーン等を撮像するカメラ等の撮像装置で
ある。対象がない状態で撮像された動画像は、入力部１
００１から背景画像生成部１００２に入力され、動画像
を構成する複数枚のフレーム画像の平均を求めることに
よって背景画像が生成される。生成された背景画像は、
背景画像記憶部１００３に記憶される。

【０００５】さらに、画像差分部１００４では、入力部
１００１で撮像された画像と背景画像記憶部１００３に
記憶された背景画像との差分が画素単位で求められる。
そして、生成された差分画像の各画素値と任意のしきい
値Ｔとが比較され、差分画像の画素値の絶対値がしきい
値Ｔより大きかった場合は当該画素を１とし、そうでな
ければ０とする。このようにして、作成された画像にお
ける画素値が１の領域が対象領域を表すマスク情報にな
る。このマスク情報に従って、対象抽出部１００５で
は、撮影された画像から対象を抽出することができる。

【０００６】

【発明が解決しようとする課題】しかしながら、動画像
の画質向上等のために、入力部１００１に対して自動の
焦点調整機能を搭載させた場合、対象がカメラ近くに位
置すると、背景部分だけの撮像時と対象を含むときに撮
像時では焦点が異なってしまうため、図１０に示した従
来の画像処理装置では正しく対象を抽出することができ
ないという問題が生じる。

【０００７】図１１は、自動の焦点調節機能を搭載した
カメラによる背景部分の撮像時と対象の撮像時における
撮影画像の一例を示す図である。図１１（ａ）は、背景
部分だけを撮影して背景画像として生成された画像であ
り、この場合のカメラの焦点は中央部の器材に合致して
いる。一方、図１１（ｂ）は、図１１（ａ）に示す画像
を撮影した状態において人がカメラ近くに位置するシー
ンになった状態を表す。この場合、カメラの焦点は人に
合致するようになるので、背景に対する焦点が合わなく
なってしまう。

【０００８】図１２は、図１１の２枚の画像から生成さ
れる差分画像である。図１２では、黒成分が両画像間の
差分が０であることを示し、白成分ほど両画像間に大き
な差分が生じていることを示す。図１２の差分画像で
は、人以外の背景部分に対するカメラの焦点が合わなく
なることで、画像の全体に差分が生じている。従って、
このままでは対象だけを抽出することが困難である。

【０００９】本発明は、このような事情を考慮してなさ
れたものであり、焦点の自動調節機能を有するカメラで
撮影された時間的に連続するフレーム画像において、カ
メラの焦点が背景に合致した画像と、対象に合致した画
像を用いて、適切に対象を抽出することができる画像処
理装置及び画像処理方法を提供することを目的とする。

【００１０】

【課題を解決するための手段】上記課題を解決するため
に、本発明は、固定された撮像方向のシーンを所定の撮
像手段で撮像させ、該撮像手段で得られた画像中の対象
物を抽出する画像処理装置であって、前記撮像手段で撮
像され、時間軸方向に連続するフレーム画像を順に入力
する画像入力手段と、入力されたフレーム画像を平滑化
する平滑化手段と、平滑化されたフレーム画像を背景画
像として決定する背景画像決定手段と、平滑化された所
定のフレーム画像と前記背景画像との差分画像を生成す
る差分画像生成手段と、前記差分画像に基づいて所定の
対象物が撮像された対象物領域を抽出する対象物領域抽
出手段とを備えることを特徴とする。

【００１１】

【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態について説明する。

【００１２】＜第１の実施形態＞図１は、本発明の一実
施形態による画像処理装置の構成を示すブロック図であ
る。図１において、入力部１は、固定された撮像方向の
シーンを撮像したカメラ等の撮像装置で得られた、時間
軸方向に連続するフレーム画像を順に入力する装置であ
る。ここで、当該撮像装置は、焦点の自動調節機能を具
備しており、対象物のないシーンを撮像した場合はその
シーン全体に焦点が合っているが、対象物を含むシーン
を撮像した場合は、その対象物に焦点が合い、背景の焦
点は合わなくなるものとする。入力部１は、フィルタ部
２と対象抽出部７とに接続している。フィルタ部２で
は、入力された動画像の各フレーム画像を平滑化フィル
タを用いて平滑化処理が行われる。フィルタ部２は、さ
らに背景画像生成部３と画像差分部５とに接続してい
る。

【００１３】背景画像生成部３では、複数枚のフレーム
画像の平均画像が背景画像として生成される。背景画像
生成部３は、さらに背景画像記憶部４に接続している。
背景画像記憶部４では、生成された背景画像が記憶され
る。背景画像記憶部４は、さらに画像差分部５に接続し
ている。画像差分部５では、対象を抽出するフレーム画
像に平滑化処理を行った画像と、背景画像記憶部４に記
憶された背景画像との差分を画素単位で求めた差分画像
が生成される。

【００１４】画像差分部５は、さらにしきい値比較部６
に接続している。しきい値比較部６では、生成された差
分画像の各画素値と任意のしきい値とが比較されて、対
象のマスク情報が生成される。しきい値比較部６は、さ
らに対象抽出部７に接続している。対象抽出部７では、
生成された対象のマスク情報に基づいて、対象を抽出す
るフレーム画像から対象が切り出される。

【００１５】すなわち、本発明は、固定された撮像方向
のシーンを所定の撮像手段で撮像させ、撮像手段で得ら
れた画像中の対象物を抽出する画像処理装置であって、
撮像手段で撮像され、時間軸方向に連続するフレーム画
像を入力する画像入力手段（入力部１）と、入力された
フレーム画像を平滑化する平滑化手段（フィルタ部２）
と、平滑化されたフレーム画像を背景画像として決定す
る背景画像決定手段（背景画像生成部３）と、平滑化さ
れた所定のフレーム画像と背景画像との差分画像を生成
する差分画像生成手段（画像差分部５）と、差分画像に
基づいて所定の対象物が撮像された対象物領域を抽出す
る対象物領域抽出手段（対象抽出部７）とを備えること
を特徴とする。また、本発明は、背景画像決定手段（背
景画像生成部３）が、平滑化された所定枚数のフレーム
画像の平均画像を背景画像として生成することを特徴と
する。

【００１６】さらに、本発明は、撮像手段が、焦点の自
動調節機能を具備し、背景画像生成手段（背景画像生成
部３）が、対象物のないシーンを撮像した所定枚数の平
滑化されたフレーム画像を用いて背景画像を生成し、差
分画像生成手段（画像差分部５）において背景画像との
差分画像を生成するための所定のフレーム画像が、対象
物を含むシーンを撮像したフレーム画像であることを特
徴とする。

【００１７】さらにまた、本発明は、対象物領域抽出手
段が、差分画像の画素値と所定のしきい値とを比較する
比較手段（しきい値比較部６）と、しきい値との比較結
果に基づいて、設定された対象物領域に相当する前記所
定のフレーム画像中の領域を対象物領域として抽出する
抽出手段（対象抽出部７）とから構成されることを特徴
とする。

【００１８】次に、図面を参照して、上述した構成の画
像処理装置の動作手順について説明する。図２は、図１
に示す画像処理装置の動作手順を説明するためのフロー
チャートである。本実施形態では、入力された動画像の
第１フレームから第１０フレームまでが対象を含まない
フレームであって、この１０フレームで背景画像を生成
する。そして、第１１フレーム以降が対象を含むフレー
ム画像とする。

【００１９】まず、入力部１から最後に入力されたフレ
ームが第１０フレームであるか否かが判断される（ステ
ップＳ２１）。その結果、第１０フレームであると判断
された場合（Ｙｅｓ）、ステップＳ２４に進む。本処理
の開始時点では、まだ、入力部１からは１枚のフレーム
画像も入力されていないので、Ｎｏと判断されてステッ
プＳ２２に進む。

【００２０】そして、入力部１から対象を含まないシー
ンの画像（第１フレーム）が入力される（ステップＳ２
２）。図３は、本実施形態において対象の切り出し処理
が行われる画像の一例を示す。ここで、図３（ａ）の画
像が第１フレームとして入力部１から入力されたとす
る。入力されたフレーム画像は、フィルタ部２において
平滑化処理が行われる（ステップＳ２３）。フィルタ部
２における平滑化処理の一例について述べる。フィルタ
部２では、注目画素をｘ（０，０）とした場合、当該画
素の周囲の８画素の画素値を利用して、平滑化値ｘ'
（０，０）を次式に従って求める。

【００２１】ｘ’（０，０）＝（ｘ（−１，−１）＋ｘ（１，−１）＋ｘ（−１，１）＋ｘ（１，１）＋２×（ｘ（０，−１）＋ｘ（−１，０）＋ｘ（１，０）＋ｘ（０，１））＋４×ｘ（０，０））／１６（１）上述した手順に従って、フレーム画像の入力及び平滑化
処理を１０フレーム分の処理が終了するまで繰り返す。
１０フレーム分の平滑化処理が終了した場合、ステップ
Ｓ２１で１０フレームが入力済なのでＹｅｓと判断さ
れ、１０枚の平滑化されたフレーム画像は背景画像生成
部３に入力される。背景画像生成部３では入力された１
０枚の平滑化されたフレーム画像の画素毎に平均を求め
て１枚の背景画像を生成する。生成された背景画像は、
背景画像記憶部４に格納される（ステップＳ２４）。

【００２２】次に、最後に入力されたフレームが動画像
における最終フレームの場合（Ｙｅｓ）、対象の切り出
し処理を終了する。一方、最後に入力されたフレームが
最終フレームでない場合（Ｎｏ）、ステップＳ２６に進
む。

【００２３】次に、ステップＳ２６では、カメラ１から
次のフレーム画像（第１１フレーム）が入力される。こ
こで、入力された第１１フレームは、画面内に人が含ま
れており、カメラの焦点調節機能が自動的に働いて当該
人に焦点が合うことによって背景部分の焦点が合わない
ものになる。図３（ｂ）は、第１１フレームの入力画像
例であり、人には焦点が合っている一方で背景部分は焦
点が合っていない。尚、入力された第１１フレームの画
像は、対象抽出部７にも入力される。

【００２４】入力された画像は、フィルタ部２において
上述した式（１）に従って、第１フレームから第１０フ
レームまでと同様に平滑化処理が施される（ステップＳ
２７）。図３（ｃ）は、第１１フレームの平滑化処理後
の画像を示す。フィルタ部２において平滑化された画像
は、画像差分部５に入力される。画像差分部５では、画
素毎に記憶されている背景画像との差分の絶対値が求め
られ、差分画像として出力される（ステップＳ２８）。
差分画像の一例を図３（ｄ）に示す。図３（ｄ）におい
て、より白い部分の画素は大きな差分値であることを示
している。

【００２５】出力された差分画像は、しきい値比較部６
に入力され、あらかじめ決められたしきい値Ｔと比較さ
れ、差分画像の画素値がしきい値Ｔよりも大きい場合は
１を与え、小さい場合は０を与えることによって画像を
生成する（ステップＳ２９）。生成された画像の一例を
図３（ｅ）に示す。図３（ｅ）に示された画像では、白
い部分がしきい値Ｔよりも大きいと判断された部分であ
る。この画像において、１（白）で表された画像領域
は、対象の形状を表すマスク情報になる。従って、当該
画像に対象が含まれない場合はすべて０（黒）となるの
で対象は抽出されない。

【００２６】生成されたマスク情報は、対象抽出部７に
入力される。対象抽出部７では、マスク情報に従って入
力部１から入力された図３（ｂ）で示される第１１フレ
ームの画像から対象部分を切り出して出力する（ステッ
プＳ３０）。第１１フレームの対象領域が切り出された
一例を図３（ｆ）に示す。

【００２７】ステップＳ３０において対象が切り出され
た後、ステップＳ２５に戻って、再び当該フレーム（第
１１フレーム）が動画像の最終フレームか否かが判断さ
れる。そして、以下同様にして第１２フレーム以降のフ
レーム画像から対象を切り出すことができる。

【００２８】上述した一連の処理手順によって、自動の
焦点調整機能を有する撮影装置によって入力された動画
像において、背景画像に焦点が合わなくなった場合であ
っても好適に差分画像から対象領域を抽出することが可
能になる。尚、上述した実施形態においては、背景画像
の生成を複数のフレーム画像の平均としたが本発明はこ
れに限定されるものではない。例えば、焦点を複数段階
に変化させた画像の平均でもよく、また、１枚のフレー
ム画像を背景画像としてもよい。また、上述した実施形
態においては、平滑化処理のためのフィルタ処理を式
（１）に示す方法で求めたが、平滑化処理の方法として
はこれに限定されるものではない。例えば、光学系の計
測結果から得られるデータに基づいて平滑化を行うもの
でもよく、メディアンフィルタ等の他の平滑化フィルタ
であってもよい。

【００２９】さらに、上述した実施形態では、背景画像
を第１フレームから第１０フレームまでのフレームを用
いて、第１１フレーム以降のフレームから対象を抽出し
ているが、対象切り出し対象であるフレームの直前のフ
レーム画像の平滑化画像、あるいは直前の複数フレーム
画像の平滑化画像の平均画像を背景画像としてもよい。

【００３０】＜第２の実施形態＞図４は、本発明の第２
の実施形態による画像処理装置の構成を示すブロック図
である。尚、図１に示す第１の実施形態と同様の機能を
有する構成要素については同一番号を付して、その詳細
な説明は省略する。

【００３１】図４において、サブサンプリング部１０１
は、フィルタ部２に接続され、平滑化されたフレーム画
像の大きさを縦横それぞれ１／２の大きさに縮小するよ
うにサブサンプリングする装置である。サブサンプリン
グ部１０１は、さらに背景画像生成部３と画像差分部５
とに接続している。このサブサンプリング部２は、独立
した装置、あるいは、フィルタ部２または背景画像生成
部３の一部であってもよい。また、拡大部１０２は、し
きい値比較部６に接続され、画像の大きさを縦横それぞ
れ２倍に拡大することによって、もとの大きさに戻すた
めの装置である。拡大部１０２は、さらに対象抽出部７
に接続している。

【００３２】すなわち、本発明は、平滑化されたフレー
ム画像の画素数を所定数に間引くサブサンプリング手段
（サブサンプリング部１０１）と、画素数が間引かれた
フレーム画像において設定された対象物領域をもとの大
きさに拡大する拡大手段（拡大部１０２）とをさらに備
えることを特徴とする。また、本発明は、背景画像生成
手段（背景画像生成部３）が、平滑化されたフレーム画
像の画素数を所定数に間引くサブサンプリング手段（サ
ブサンプリング部１０１）をさらに備えることを特徴と
する。また、本発明は、平滑化手段（フィルタ部２）
が、フレーム画像の画素数を所定数に間引くサブサンプ
リング手段（サブサンプリング部１０１）をさらに備え
ることを特徴とする。

【００３３】上述した構成を有する第２の実施形態によ
る画像処理装置の動作手順について図面を参照して説明
する。図５は、本発明の第２の実施形態による画像処理
装置の動作手順を説明するためのフローチャートであ
る。尚、本実施形態においても、背景画像は第１フレー
ムから第１０フレームまでの１０枚のフレーム画像の平
均から生成するものとする。

【００３４】まず、入力部１から動画像の第１０フレー
ムが入力されたか否かが判定される（ステップＳ５
１）。その結果、第１０フレームまでの画像を入力した
場合（Ｙｅｓ）、ステップＳ５５に進む。一方、まだ第
１０フレームまで入力されていな場合（Ｎｏ）、ステッ
プＳ５２に進む。これによって、入力部１から第１フレ
ームの画像が入力される（ステップＳ５２）。次に、入
力されたフレーム画像に対しては、フィルタ部２におい
て、第１の実施形態と同様に式（１）を用いた平滑化処
理が行われる（ステップＳ５３）。フィルタ部２におい
て平滑化処理がされたフレーム画像は、サブサンプリン
グ部１０１において、４画素単位に平均値が求められて
１つの画素とし、画素数を縦横１／２に縮小される（ス
テップＳ５４）。そして、ステップＳ５１に戻って第１
０フレームまで入力されたか否かが判断される。

【００３５】ステップＳ５１〜Ｓ５４の手順で第１０フ
レームまでの１０枚のフレーム画像が同様に処理された
場合、ステップＳ５１において、１０枚の画像の入力が
終了したとしてステップＳ５５に進む。背景画像生成部
３では、サブサンプリングされた１０枚の平滑化処理さ
れた画像に対して第１の実施形態と同様に画素毎に平均
が求められて背景画像が生成される。そして、この背景
画像は、背景画像記憶部４に格納される（ステップＳ５
５）。

【００３６】次に、当該フレーム（第１０フレーム）が
最終フレームであるか否かが判断される（ステップＳ５
６）。その結果、最終フレームと判断された場合（Ｙｅ
ｓ）、抽出処理を終了する。一方、最終フレームではな
いと判断された場合（Ｎｏ）、次のフレーム画像（第１
１フレーム）が入力部１から入力される（ステップＳ５
７）。尚、入力部１から入力された第１１フレームの画
像は、フィルタ部２の他に対象抽出部７にも入力され
る。入力された第１１フレームの画像に対しては、フィ
ルタ部２において上述した平滑化方法と同様にして平滑
化処理が行われる（ステップＳ５８）。

【００３７】さらに、サブサンプリング部１０１では、
上述した１０フレームと同様に、平滑化処理された第１
１フレームの画像を縦横１／２の大きさにサブサンプリ
ングされる（ステップＳ５９）。さらに、画像差分部５
において、サブサンプリングされた第１１フレームの画
像と背景画像記憶部４に記憶されている背景画像との差
分画像が生成される（ステップＳ６０）。

【００３８】次いで、生成された差分画像の各画素は、
しきい値比較部６に入力され、あらかじめ設定されたし
きい値Ｔと比較される（ステップＳ６１）。ここで、差
分画像の画素値が、しきい値Ｔよりも大きければ１を与
え、しきい値Ｔよりも小さければ０を与えた画像を作成
する。この画像は、対象の形状を表すマスク情報として
用いられる。

【００３９】マスク情報を表すこの画像は、拡大部１０
２に入力され、画像の大きさを縦横２倍に拡大する（ス
テップＳ６２）。この場合、拡大例として、サブサンプ
リング部１０１での処理とは逆に、各画素を縦横２倍ず
つ拡大させる方法がある。そして、対象抽出部７では、
拡大されたマスク情報を表す画像と、入力部１から入力
された第１１フレームの画像とが比較され、マスク情報
を表す部分（画素値１で与えられた部分）に相当する画
像領域が第１１フレームから切り出され、対象として出
力される（ステップＳ６３）。そして、ステップＳ５６
に戻って、最後に入力された第１１フレームが最終フレ
ームか否かが判断され、以下同様にして対象を切り出す
ことが可能である。

【００４０】このような一連の処理により、画素数を制
限することで、焦点調整によって背景画像が変化した場
合であっても、好適に、かつ高速に対象を抽出すること
が可能になる。尚、第２の実施形態においては、サブサ
ンプリングの比率を縦横１／２としたが本発明はこれに
限定されるものではなく、他の比率であってもよい。ま
た、第２の実施形態においては、サブサンプリング処理
とフィルタ処理を個別に実施したが本発明はこれに限定
されるものではなく、フィルタ処理とサブサンプリング
処理とを同時に行ってもよい。

【００４１】＜第３の実施形態＞図６は、本発明の第３
の実施形態による画像処理装置の構成を示すブロック図
である。本実施形態では、動画像から抽出された抽出結
果を符号化して出力する場合について説明する。尚、こ
こではＭＰＥＧ−４符号化方式を例にとって説明する。
また、図１に示される第１の実施形態による画像処理装
置と同様の機能を有する構成要素については同一番号を
付して、その詳細な説明は省略する。

【００４２】図６において、パディング処理部２０１
は、入力部１としきい値比較部６とに接続され、しきい
値比較部６で作成されたマスク情報を形状情報として、
入力部１から入力された画像のパディング（padding）
処理を行うものである。これによって、物体境界部分の
平滑化処理が行われる。また、パディング処理部２０１
は、テクスチャ符号化部２０２にも接続している。テク
スチャ符号化部２０２は、パディング処理部２０１から
の出力をＭＰＥＧ−４符号化方式に従ってＤＣＴ変換
し、量子化を行ってエントロピー符号化を行い、整形部
２０５に出力する。

【００４３】算術符号化部２０３は、しきい値比較部６
に接続され、生成されたマスク情報を算術符号化する。
算術符号化部２０３は、さらに整形部２０５に接続して
いる。また、ヘッダ処理部２０４は、ＭＰＥＧ−４の各
階層のヘッダ情報を生成し、整形部２０５へ出力する。
ここで、ヘッダ処理部２０４は、各階層、例えばvisual
object sequenceレイヤ、visual objectレイヤ、video
object layerレイヤ、visual object planeレイヤのヘ
ッダ情報が生成され、整形部２０５に出力される。尚、
これらのヘッダを構成するために必要な情報は、あらか
じめ決められているものとする。本実施形態では、全て
のフレームをＩ−ＶＯＰモードで符号化する場合につい
て説明するが、動き補償を行ってもよい。

【００４４】整形部２０５は、ヘッダ処理部２０４、テ
クスチャ符号化部２０２、算術符号化部２０３からの出
力をＭＰＥＧ−４符号化方式に従って整形する。

【００４５】本実施形態による画像処理装置の動作につ
いては、第１の実施形態と同様に、入力部１から入力さ
れるフレーム画像をフィルタ部２で平滑化して、画像差
分部５において背景画像との差分画像を生成し、しきい
値比較部６によってあらかじめ決められたしきい値を用
いて対象の形状を表すマスク情報を生成する。生成され
たマスク情報は、パディング処理部２０１と算術符号化
部２０３に入力される。パディング処理部２０１では、
入力された画像とマスク情報とから、形状情報の境界が
掛かるマクロブロックや領域外のマクロブロックに対し
て、ＭＰＥＧ−４符号化方式で決められたパディング処
理が行われる。

【００４６】そして、パディング処理された画像データ
は、テクスチャ符号化部２０２に入力され、そこでＤＣ
Ｔ変換されて量子化が行われることによってエントロピ
ー符号化され、得られた符号化データを整形部２０５に
出力する。

【００４７】算術符号化部２０３に入力されたマスク情
報はＭＰＥＧ−４符号化方式で決められた算術符号化が
施され、整形部２０５に出力される。このようにして、
整形部２０５は、テクスチャ符号化部２０２及び算術符
号化部２０３から入力されるマスク情報と、ヘッダ処理
部２０４から入力されるヘッダ情報とを用いて、ＭＰＥ
Ｇ−４符号化方式の書式に従って整形して出力する。

【００４８】すなわち、本発明は、抽出された対象物領
域のデータを算術符号化する算術符号化手段（算術符号
化部２０３）と、抽出された対象物領域のパディング処
理を行うパディング処理手段（パディング処理部２０
１）と、パディング処理された対象物領域のデータをエ
ントロピー符号化するテクスチャ符号化手段（テクスチ
ャ符号化部２０２）と、所定のヘッダ情報を入力するヘ
ッダ入力手段（ヘッダ処理部２０４）と、算術符号化さ
れた対象物領域のデータと、エントリピー符号化された
対象物領域のデータと、ヘッダ情報とを用いて、抽出さ
れた対象物領域のデータを所定の符号化方式で符号化す
る整形手段（整形部２０５）とをさらに備えることを特
徴とする。

【００４９】このような一連の処理により、焦点調整に
よって焦点が合っていない背景画像から、好適にかつ高
速に対象を抽出して符号化することが可能になる。尚、
第３の実施形態においては、ＭＰＥＧ−４符号化方式を
用いて説明したが本発明はこれに限定されるものではな
く、例えば、ＪＰＥＧ２０００符号化方式のＲＯＩを用
いて対象を注目領域として符号化するように、他の符号
化方式を用いてもよい。

【００５０】＜第４の実施形態＞図７は、第４の実施形
態による画像処理装置を実現するための電気的構成を示
す図である。図７において、中央演算装置（ＣＰＵ）５
００は、動画像を構成するフレーム画像間の差分画像か
ら対象を抽出する画像処理装置全体の制御及び種々の処
理の制御を行う。メモリ５０１は、本画像処理装置の制
御に必要なオペレーティングシステム（ＯＳ）や動作さ
せるソフトウェアを格納するエリア、画像データを格納
する画像エリア、生成した背景画像を格納する背景画像
エリア、各種演算のパラメータ等を格納するワーキング
エリアが存在する。

【００５１】操作部５０３は、本画像処理装置を起動さ
せ、各種条件を設定するためのオペレータとのインタフ
ェースである。記憶装置５０４には、ソフトウェアが蓄
積される。また、記憶装置５０５には、画像データが蓄
積される。カメラ５０６は、本画像処理装置で処理する
動画像を撮像する。モニタ５０７は撮像された動画像等
を表示する。バス５０２には、上述した各装置が接続さ
れており、データや制御信号をやり取りが行われる。ま
た、通信回路５０８は、ＬＡＮ、公衆回線、無線回線、
放送電波等で構成されており、バス５０２に接続された
通信Ｉ／Ｆ５０９を介して画像データ等を他の画像処理
装置との間で送受信するものである。

【００５２】このような電気的構成をした画像処理装置
において、操作部５０３から装置全体に対して起動が指
示されると、対象領域の抽出処理に先立って、まず各部
が初期化される。これによって、記憶装置５０４に格納
されているソフトウェアがバス５０２を介してメモリ５
０１に展開され、ソフトウェアが起動される。図８は、
図７に示す第４の実施形態による画像処理装置における
ＣＰＵ５００の制御によってカメラ５０６から入力され
た動画像から対象を抽出して記憶装置５０５に格納し、
これと同時にモニタ５０７に表示する処理動作を説明す
るためのフローチャートである。

【００５３】尚、本実施形態においても、上述した実施
形態と同様に、１０枚の画像から背景画像を生成するこ
ととする。まず、１０枚のフレーム画像が既に入力され
平滑化処理されたか否かが判定される（ステップＳ２０
１）。その結果、１０枚のフレーム画像に対して平滑化
処理が行われている場合（Ｙｅｓ）、ステップＳ２０４
に進む。一方、まだ１０枚のフレーム画像を処理してい
ない場合（Ｎｏ）。ステップＳ２０２に進む。ステップ
Ｓ２０２では、カメラ５０６から１フレームごとに画像
が入力され、メモリ５０１の画像エリアに格納される。

【００５４】次に、メモリ５０１の画像エリアに格納さ
れた入力画像の各画素に対して、第１の実施形態におけ
る式（１）で示される平滑化処理によって画像の平滑化
処理を行い、平滑化処理後の画像をメモリ５０１の画像
エリアに格納するとともに、平滑化処理前の画像を破棄
する（ステップＳ２０３）。そして、再びステップＳ２
０１に戻る。このような処理手順を１０枚のフレーム画
像が平滑化されるまで続けられ、ステップＳ２０１にお
いて１０枚の画像の入力及び平滑化が終了したと判断さ
れた場合（Ｙｅｓ）、ステップＳ２０４に進む。

【００５５】ステップＳ２０４では、メモリ５０１の画
像エリアに格納された１０枚の平滑化された画像から画
素毎に平均が算出され、１枚の背景画像が生成されてメ
モリ５０１の背景画像エリアに格納される。背景画像を
格納した後、平滑化された１０枚のフレーム画像は破棄
する。次に、最後に入力されたフレーム画像が、動画像
の最終フレームであるか否かが判断される（ステップＳ
２０５）。その結果、最終フレームと判断された場合
（Ｙｅｓ）、対象領域の切り出し処理を終了する。一
方、最終フレームでないと判断された場合（Ｎｏ）、次
のフレーム画像がカメラ５０６から入力され（ステップ
Ｓ２０６）、メモリ５０１の画像エリアに格納される。

【００５６】次に、入力され、メモリ５０１の画像エリ
アに格納されたフレーム画像の各画素に対して、上述し
た式（１）で示される平滑化処理が行われ、メモリ５０
１の画像エリアに格納される（ステップＳ２０７）。さ
らに、平滑化された当該フレーム画像と生成された背景
画像との画素毎の差分の絶対値が求められて差分画像が
生成され、メモリ５０１の画像エリアに格納される（ス
テップＳ２０８）。

【００５７】また、メモリ５０１の画像エリアに格納さ
れた差分画像の各画素値をあらかじめ設定されたしきい
値Ｔとが比較され、しきい値以上の部分を抽出対象の領
域であるマスク情報として生成し、メモリ５０１の画像
エリアに格納する（ステップＳ２０９）。次に、カメラ
５０６から入力されメモリ５０１の画像エリアに格納さ
れている当該フレーム画像について、メモリ５０１の画
像エリアに格納されたマスク情報の境界線から内側の数
画素の幅の範囲に含まれる画素についてエッジ抽出が行
われ、その結果をメモリ５０１のワーキングエリアに格
納される（ステップＳ２１０）。

【００５８】このように、メモリ５０１のワーキングエ
リアに格納されたエッジの連続性を考慮して、マスク情
報の境界をエッジに適応させて、メモリ５０１の画像エ
リアに格納されたマスク情報を修正したマスク情報をメ
モリ５０１の画像エリアに格納する（ステップＳ２１
１）。さらに、メモリ５０１の画像エリアに格納された
マスク情報に従って、メモリ５０１の画像エリアに格納
されたフレーム画像から対象を切り出し、記憶装置５０
５の所定の領域に書き込むと同時にモニタ５０７にその
様子を表示する（ステップＳ２１２）。この際、メモリ
５０１の画像エリアに格納されたフレーム画像、領域情
報、マスク情報及びワーキングエリアのエッジ情報はメ
モリ５０１から破棄し、ステップＳ２０４に進み、以下
同様にして他のフレーム画像の処理が行われる。図９
は、図８のフローチャートに基づいて処理することによ
って生成された対象の画像の一例である。図９では、黒
色部分以外の領域が対象であるとみなされる。図９に示
すように、対象の境界線がより自然に抽出されている。

【００５９】すなわち、本発明は、上述した３つの実施
形態における対象物抽出手段（対象抽出部７）が、設定
された対象領域内の背景領域との境界画素を含む所定幅
の輪郭領域を設定する輪郭領域設定手段と、所定のフレ
ーム画像中の前記輪郭領域内に含まれるエッジを抽出す
るエッジ抽出手段と、前記対象物領域の輪郭を抽出され
たエッジの形状に基づいて修正する輪郭修正手段とをさ
らに備えることを特徴とする。

【００６０】上述した一連の処理により、焦点調整によ
って背景画像に焦点が合わなくなっても、好適かつ正確
に差分画像から対象を抽出することが可能になる。尚、
第４の実施形態においては、全てをソフトウェアによる
処理を行ったが本発明はこれに限定されるものではな
く、一部またはすべての処理の機能をハードウェアで実
現してもよい。また、第４の実施形態においては、カメ
ラ５０６からの入力から対象を抽出したが、記憶装置５
０４に格納されている画像データや通信回線５０８から
通信インタフェース５０９を介して入力した画像データ
について処理を行ってもよい。

【００６１】尚、第４の実施形態においては、マスク情
報を修正するためにエッジの抽出を行ったが、この方法
に限定されず、スネークス（Ｓｎａｋｅｓ）と呼ばれる
動的輪郭モデルのエネルギー最小化（例えば、Micheal
Kass, Andrew Witkin, and Demetri Terzopoulos, "Sna
kes: Active Contour Models", International Journal
of Computer Vision, Vol. 1, No. 3, pp.321-331, 19
88）を用いてもよい。スネークスは、輪郭線が抽出され
たときに最小となるエネルギー関数を定義し、適当な初
期値からその極小解を反復計算により求めるものであ
る。エネルギー関数は、エッジ点を通る制約の外部エネ
ルギーと滑らかさの制約である内部エネルギーの線形和
で定義される。

【００６２】尚、上述した第２の実施形態から第４の実
施形態においては、背景画像の生成を複数のフレーム画
像の平均としたが、第１の実施形態と同様に、本発明は
これに限定されるものではない。例えば、焦点を複数段
階に変化させた画像の平均でもよく、また、１枚のフレ
ーム画像を背景画像としてもよい。また、上述した実施
形態においては、平滑化処理のためのフィルタ処理を式
（１）に示す方法で求めたが、平滑化処理の方法として
はこれに限定されるものではない。例えば、光学系の計
測結果から得られるデータに基づいて平滑化を行うもの
でもよく、メディアンフィルタ等の他の平滑化フィルタ
であってもよい。

【００６３】さらに、上述した実施形態では、背景画像
を第１フレームから第１０フレームまでのフレームを用
いて、第１１フレーム以降のフレームから対象を抽出し
ているが、対象切り出し対象であるフレームの直前のフ
レーム画像の平滑化画像、あるいは直前の複数フレーム
画像の平滑化画像の平均画像を背景画像としてもよい。
さらにまた、第１の実施形態から第３の実施形態による
画像処理装置の電気的構成も第４の実施形態で説明した
図７の電気的構成と同様のもので実現することが可能で
ある。

【００６４】尚、本発明は、複数の機器（例えば、ホス
トコンピュータ、インタフェース機器、リーダ、プリン
タ等）から構成されるシステムに適用しても、一つの機
器からなる装置（例えば、複写機、ファクシミリ装置
等）に適用してもよい。

【００６５】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記録媒体（または記憶媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはＣＰＵやＭＰＵ）が記録媒体に格納された
プログラムコードを読み出し実行することによっても、
達成されることは言うまでもない。この場合、記録媒体
から読み出されたプログラムコード自体が前述した実施
形態の機能を実現することになり、そのプログラムコー
ドを記録した記録媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実
行することにより、前述した実施形態の機能が実現され
るだけでなく、そのプログラムコードの指示に基づき、
コンピュータ上で稼働しているオペレーティングシステ
ム（ＯＳ）などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。

【００６６】さらに、記録媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書き込まれた後、そのプログラムコードの指
示に基づき、その機能拡張カードや機能拡張ユニットに
備わるＣＰＵなどが実際の処理の一部または全部を行
い、その処理によって前述した実施形態の機能が実現さ
れる場合も含まれることは言うまでもない。

【００６７】本発明を上記記録媒体に適用する場合、そ
の記録媒体には、先に説明したフローチャートに対応す
るプログラムコードが格納されることになる。

【００６８】

【発明の効果】以上説明したように、本発明によれば、
焦点の自動調節機能を有するカメラで撮影された焦点が
背景から対象にずれた場合であっても、適切に対象を抽
出することができる。

【図面の簡単な説明】

【図１】本発明の一実施形態による画像処理装置の構成
を示すブロック図である。

【図２】図１に示す画像処理装置の動作手順を説明する
ためのフローチャートである。

【図３】本実施形態において対象の切り出し処理が行わ
れる画像の一例を示す。

【図４】本発明の第２の実施形態による画像処理装置の
構成を示すブロック図である。

【図５】本発明の第２の実施形態による画像処理装置の
動作手順を説明するためのフローチャートである。

【図６】本発明の第３の実施形態による画像処理装置の
構成を示すブロック図である。

【図７】第４の実施形態による画像処理装置を実現する
ための電気的構成を示す図である。

【図８】図７に示す第４の実施形態による画像処理装置
におけるＣＰＵ５００の制御によってカメラ５０６から
入力された動画像から対象を抽出して記憶装置５０５に
格納し、これと同時にモニタ５０７に表示する処理動作
を説明するためのフローチャートである。

【図９】図８のフローチャートに基づいて処理すること
によって生成された対象の画像の一例である。

【図１０】記憶された背景画像と入力画像との差分から
対象を抽出する従来の画像処理装置の構成を示すブロッ
ク図である。

【図１１】自動の焦点調節機能を搭載したカメラによる
背景部分の撮像時と対象の撮像時における撮影画像の一
例を示す図である。

【図１２】図１１の２枚の画像から生成される差分画像
である。

【符号の説明】

１入力部２フィルタ部３背景画像生成部４背景画像記憶部５画像差分部６閾値比較部７対象抽出部１０１サブサンプリング部１０２拡大部２０１パディング処理部２０２テクスチャ符号化部２０３算術符号化部２０４ヘッダ処理部２０５整形部

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B057 BA02 BA24 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CD09 CE05 CG02 CG03 DA08 DB02 DB06 DB09 DC16 DC34 DC36 DC39 5C021 PA31 PA51 RA02 XB06 5C059 LB05 LB15 MA00 MA05 MB03 MB22 MB26 MB27 ME11 PP04 PP28 PP29 SS06 SS20 UA02 UA12 UA38 UA39 5L096 CA04 CA06 EA03 EA06 EA35 FA06 FA32 GA08 GA12 GA17 GA51 GA55 HA01

Claims

【特許請求の範囲】

【請求項１】固定された撮像方向のシーンを所定の撮
像手段で撮像させ、該撮像手段で得られた画像中の対象
物を抽出する画像処理装置であって、前記撮像手段で撮像され、時間軸方向に連続するフレー
ム画像を順に入力する画像入力手段と、入力されたフレーム画像を平滑化する平滑化手段と、平滑化されたフレーム画像を背景画像として決定する背
景画像決定手段と、平滑化された所定のフレーム画像と前記背景画像との差
分画像を生成する差分画像生成手段と、前記差分画像に基づいて所定の対象物が撮像された対象
物領域を抽出する対象物領域抽出手段とを備えることを
特徴とする画像処理装置。
【請求項２】前記背景画像決定手段が、平滑化された
所定枚数のフレーム画像の平均画像を背景画像として生
成することを特徴とする請求項１記載の画像処理装置。
【請求項３】前記撮像手段が、焦点の自動調節機能を
具備し、前記背景画像生成手段が、前記対象物のないシーンを撮
像した所定枚数の平滑化されたフレーム画像を用いて背
景画像を生成し、前記差分画像生成手段において前記背景画像との差分画
像を生成するための所定のフレーム画像が、前記対象物
を含むシーンを撮像したフレーム画像であることを特徴
とする請求項１または２に記載の画像処理装置。
【請求項４】前記対象物領域抽出手段が、前記差分画像の画素値と所定のしきい値とを比較する比
較手段と、前記しきい値との比較結果に基づいて、設定された対象
物領域に相当する前記所定のフレーム画像中の領域を対
象物領域として抽出する抽出手段とから構成されること
を特徴とする請求項１から３までのいずれか１項に記載
の画像処理装置。
【請求項５】前記対象物抽出手段が、設定された対象領域内の背景領域との境界画素を含む所
定幅の輪郭領域を設定する輪郭領域設定手段と、所定のフレーム画像中の前記輪郭領域内に含まれるエッ
ジを抽出するエッジ抽出手段と、前記対象物領域の輪郭を抽出されたエッジの形状に基づ
いて修正する輪郭修正手段とをさらに備えることを特徴
とする請求項４記載の画像処理装置。
【請求項６】平滑化された前記フレーム画像の画素数
を所定数に間引くサブサンプリング手段と、画素数が間引かれたフレーム画像において設定された対
象物領域をもとの大きさに拡大する拡大手段とをさらに
備えることを特徴とする請求項１から５までのいずれか
１項に記載の画像処理装置。
【請求項７】前記背景画像生成手段が、平滑化された
前記フレーム画像の画素数を所定数に間引くサブサンプ
リング手段をさらに備えることを特徴とする請求項６記
載の画像処理装置。
【請求項８】前記平滑化手段が、前記フレーム画像の
画素数を所定数に間引くサブサンプリング手段をさらに
備えることを特徴とする請求項６記載の画像処理装置。
【請求項９】抽出された対象物領域のデータを算術符
号化する算術符号化手段と、抽出された対象物領域のパディング処理を行うパディン
グ処理手段と、パディング処理された対象物領域のデータをエントロピ
ー符号化するテクスチャ符号化手段と、所定のヘッダ情報を入力するヘッダ入力手段と、算術符号化された対象物領域のデータと、エントリピー
符号化された対象物領域のデータと、前記ヘッダ情報と
を用いて、抽出された対象物領域のデータを所定の符号
化方式で符号化する整形手段とをさらに備えることを特
徴とする請求項１から８までのいずれか１項に記載の画
像処理装置。
【請求項１０】固定された撮像方向のシーンを所定の
撮像手段で撮像させ、該撮像手段で得られた画像中の対
象物を抽出する画像処理装置を用いた画像処理方法であ
って、前記撮像手段で撮像され、時間軸方向に連続するフレー
ム画像を順に入力する画像入力工程と、入力されたフレーム画像を平滑化する平滑化工程と、平滑化されたフレーム画像を背景画像として決定する背
景画像決定工程と、平滑化された所定のフレーム画像と前記背景画像との差
分画像を生成する差分画像生成工程と、前記差分画像に基づいて所定の対象物が撮像された対象
物領域を抽出する対象物領域抽出工程とを有することを
特徴とする画像処理方法。
【請求項１１】前記背景画像決定工程が、平滑化され
た所定枚数のフレーム画像の平均画像を背景画像として
生成することを特徴とする請求項１０記載の画像処理方
法。
【請求項１２】前記画像入力手段が、焦点の自動調節
機能を具備し、前記背景画像生成工程が、前記対象物のないシーンを撮
像した所定枚数の平滑化されたフレーム画像を用いて背
景画像を生成し、前記差分画像生成工程において前記背景画像との差分画
像を生成するための所定のフレーム画像が、前記対象物
を含むシーンを撮像したフレーム画像であることを特徴
とする請求項１０または１１に記載の画像処理方法。
【請求項１３】前記対象物領域抽出工程が、前記差分画像の画素値と所定のしきい値とを比較する比
較工程と、前記しきい値との比較結果に基づいて、設定された対象
物領域に相当する前記所定のフレーム画像中の領域を対
象物領域として抽出する抽出工程とを有することを特徴
とする請求項１０から１２までのいずれか１項に記載の
画像処理方法。
【請求項１４】前記対象物抽出工程が、設定された対象領域内の背景領域との境界画素を含む所
定幅の輪郭領域を設定する輪郭領域設定工程と、所定のフレーム画像中の前記輪郭領域内に含まれるエッ
ジを抽出するエッジ抽出工程と、前記対象物領域の輪郭を抽出されたエッジの形状に基づ
いて修正する輪郭修正工程とをさらに有することを特徴
とする請求項１３記載の画像処理方法。
【請求項１５】平滑化された前記フレーム画像の画素
数を所定数に間引くサブサンプリング工程と、画素数が間引かれたフレーム画像において設定された対
象物領域をもとの大きさに拡大する拡大工程とをさらに
備えることを特徴とする請求項１０から１４までのいず
れか１項に記載の画像処理方法。
【請求項１６】前記背景画像生成工程が、平滑化され
た前記フレーム画像の画素数を所定数に間引くサブサン
プリング工程をさらに備えることを特徴とする請求項１
５記載の画像処理方法。
【請求項１７】前記平滑化工程が、前記フレーム画像
の画素数を所定数に間引くサブサンプリング工程をさら
に備えることを特徴とする請求項１５記載の画像処理方
法。
【請求項１８】抽出された対象物領域のデータを算術
符号化する算術符号化工程と、抽出された対象物領域のパディング処理を行うパディン
グ処理工程と、パディング処理された対象物領域のデータをエントロピ
ー符号化するテクスチャ符号化工程と、所定のヘッダ情報を入力するヘッダ入力工程と、算術符号化された対象物領域のデータと、エントリピー
符号化された対象物領域のデータと、前記ヘッダ情報と
を用いて、抽出された対象物領域のデータを所定の符号
化方式で符号化する整形工程とをさらに有することを特
徴とする請求項１０から１７までのいずれか１項に記載
の画像処理方法。
【請求項１９】固定された撮像方向のシーンを所定の
撮像手段で撮像させ、該撮像手段で得られた画像中の対
象物を抽出する画像処理装置を制御するためのコンピュ
ータプログラムであって、前記撮像手段で撮像され、時間軸方向に連続するフレー
ム画像を順に入力する画像入力工程のプログラムコード
と、入力されたフレーム画像を平滑化する平滑化工程のプロ
グラムコードと、平滑化されたフレーム画像を背景画像として決定する背
景画像決定工程のプログラムコードと、平滑化された所定のフレーム画像と前記背景画像との差
分画像を生成する差分画像生成工程のプログラムコード
と、前記差分画像に基づいて所定の対象物が撮像された対象
物領域を抽出する対象物領域抽出工程のプログラムコー
ドとを有することを特徴とするコンピュータプログラ
ム。
【請求項２０】請求項１９記載のコンピュータプログ
ラムを格納するための記録媒体。