JP2005122571A - 画像処理装置、画像処理方法、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】 動画像から背景差分方式を用いて形状データを抽出する際に、閾値近傍のデータを好適に取り扱うことにより、動画像の視覚的な劣化を抑えるとともに、高能率な符号化を行うことができる画像処理装置、画像処理方法、プログラム及び記憶媒体を提供する。
【解決手段】 差分データ生成部１０１が、取得した動画像の各フレーム画像とその背景画像との差分成分を生成し、低・高閾値設定部１０３、１０４がフレーム画像に基づいてそれぞれ閾値を設定する。ここで、判定結果保存部１０５に保存されている前フレーム画像に関する判定結果に関する情報を取得し、判定部１０２は、判定結果を参照して、差分値とそれぞれの閾値とを比較して、各画素ごとに背景又は対象物のいずれに属するかを判定し、判定結果に基づいて生成された形状データを符号化部２１０４に出力して可変長符号化する。
【選択図】 図１

Description

本発明は、動画像の中から対象物を背景差分方式を用いて検出し符号化する画像処理装置、画像処置方法、プログラム及び記憶媒体に関する。

近年、デジタル技術を利用して画像を対象物（オブジェクト）毎に分離、合成する処理が注目されている。特に、動画像の符号化においては、国際標準としてＭＰＥＧ−４符号化方式が規格化されている。ＭＰＥＧ−４符号化方式では、オブジェクト毎の符号化／復号化が可能となり、符号化効率の向上、伝送路に応じたデータ配分、画像の再加工等の従来は困難であったさまざまな応用が期待されている。

また、動画像処理における対象物（オブジェクト）の抽出方法としては、背景差分方式という手法が知られている。この手法は、予め撮影した背景画像と実際の入力画像（動画像を構成する各フレーム画像）とを比較することにより、変化点を検出するものである。以下、簡単にその原理について説明する。

画像平面上の座標（ｘ，ｙ）における点の入力画像の画素値をＰｃ（ｘ，ｙ）、背景画像の画素値をＰｂ（ｘ，ｙ）とする。このとき、Ｐｃ（ｘ，ｙ）とＰｂ（ｘ，ｙ）との差分を算出し、その絶対値を所定の閾値Ｔｈと比較する。

当該判定式の一例を示すと次の通りである。
｜Ｐｃ（ｘ，ｙ）−Ｐｂ（ｘ，ｙ）｜ ≦ Ｔｈ … （１）
上記式（１）において差分絶対値が閾値Ｔｈ以下の場合、当該画素については変化なしとみなされて、入力画像の当該画素Ｐｃ（ｘ，ｙ）は「背景」であると判定される。また、差分絶対値が閾値Ｔｈを超えている場合は、当該画素について値が変化したとみなされ、入力画像の当該画素Ｐｃ（ｘ，ｙ）は対象物（オブジェクト）であると判定される。

差分絶対値をｄ、判定結果をｓとすると、これらの関係は図１９に示すようなグラフになる。図１９は、従来例における閾値判定処理を説明するためのグラフである。すなわち、差分絶対値ｄが閾値Ｔｈ以下の場合は「背景」であると判定して出力値ｓ＝０となり、それ以外では「オブジェクト」であると判定して出力値ｓ＝２５５となる。尚、判定結果は２値であるので、例えば「０」と「１」でも示すことができるが、図１９では、後に説明するＭＰＥＧ−４符号化の形式に合わせて０と２５５で表現している。

また、図２０は、従来例における背景差分処理手順を説明するためのフローチャートである。まず、差分絶対値ｄ（ｔ）を算出し（ステップＳ２００１）、閾値Ｔｈとの比較を行う（ステップＳ２００２）。その結果、差分絶対値ｄ（ｔ）が閾値Ｔｈ以下の場合（Ｙｅｓ）、当該画素は「背景」に属すると判定する（ステップＳ２００３）。一方、差分絶対値ｄ（ｔ）が閾値Ｔｈよりも大きい場合（Ｎｏ）は、当該画素は「オブジェクト」に属すると判定する（ステップＳ２００４）。尚、閾値Ｔｈ上の点を背景にするか、或いはオブジェクトにするかは任意である。そして、画面上のすべての画素において上記閾値判定を行うことで、入力される１フレーム分の抽出が完了する。

図２１は、背景差分方式とＭＰＥＧ−４符号化方式とを組み合わせた従来の画像処理システムの一例を示すブロック図である。尚、図２１において、（ａ）は、画像処理システムの全体構成を示すブロック図である。画像入力部２１０１は、例えばカメラの撮像部で実現されるような動画像の入力部である。また、背景差分方式では参照する背景画像が必要となるため、背景画像生成部２１０２において背景画像を用意する。これは、予め対象物（オブジェクト）が映っていない状態で１フレーム分の画像を取り込んでおくのが、最も簡単な方法である。背景差分処理部２１０３では、画像入力部２１０１からの入力画像（動画像の各フレーム画像）と背景生成部２１０２からの参照画像（背景画像）から差分成分を算出して形状データを生成し、符号化部２１０４に出力する。符号化部２１０４では、画像入力部２１０１からの入力画像と背景差分処理部２１０３から出力されてきた形状データをフレーム単位で入力し、符号化処理を行う。

また、図２１において（ｂ）は、背景差分処理部２１０３の細部構成を示すブロック図である。差分データ生成部２１０５では、背景画像と入力画像の差分絶対値を算出する。判定部２１０７では、閾値設定部２１０６で設定した閾値と差分絶対値データを比較し、当該画素がオブジェクトであるか背景であるかを判定する。そして判定結果から２値化されたデータが生成され、当該２値化データを形状データとして符号化部２１０４に出力する（例えば、特許文献１参照。）。

以下、符号化部２１０４における符号化処理をＭＰＥＧ−４符号化方式として説明する。

オブジェクト（対象物）を符号化する場合には、オブジェクトの形と位置の情報を符号化する必要がある。そのために、まず、オブジェクトを内包する矩形領域を設定し、この矩形の左上位置の座標と矩形領域の大きさを符号化する。この矩形領域は「バウンディングボックス」と呼ばれる。また、画像信号、形状信号により表現されるオブジェクト内部の領域を「ＶＯＰ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）」と呼ぶ。

図２２は、従来例におけるＶＯＰ符号化を行う符号化部２１０４の細部構成を示すブロック図である。符号化部２１０４に入力される信号は、画像の輝度・色差信号と形状信号であり、マクロブロック単位で処理される。

イントラモードでは、各ブロックをＤＣＴ部２２０１において離散コサイン変換（ＤＣＴ）し、量子化部２２０２において量子化する。量子化されたＤＣＴ係数と量子化幅は、可変長符号化部２２１２で可変長符号化される。

一方、インターモードでは、動き検出部２２０７において時間的に隣接する別のＶＯＰの中からブロックマッチングをはじめとする動き検出方法により動きを検出し、動きベクトル予測部２２０８で対象マクロブロックに対して誤差の最も小さい予測マクロブロックを検出する。誤差の最も小さい予測マクロブロックへの動きを示す信号が、「動きベクトル」である。また、予測マクロブロックを生成するために参照する画像を「参照ＶＯＰ」と呼ぶ。そして、検出された動きベクトルに基づいて、参照ＶＯＰを動き補償部２２０６において動き補償して、最適な予測マクロブロックを取得する。次に、対象となるマクロブロックと対応する予測マクロブロックとの差分を求め、この差分信号に対してＤＣＴ部２２０１でＤＣＴを施し、ＤＣＴ変換係数を量子化部２２０２で量子化する。

一方、形状データは、形状符号化ＣＡＥ部２２０９で符号化される。但し、ここで実際にＣＡＥ符号化が行われるのは境界ブロックのみであり、ＶＯＰ内のブロック（ブロック内全てのデータがオブジェクト内）やＶＯＰ外のブロック（ブロック内全てのデータがオブジェクト外）はヘッダ情報のみが可変長符号化部２２１２に送られる。また、ＣＡＥ符号化が施される境界ブロックは、画像データと同様に、インターモードにおいては、動き検出部２２０７による動き検出を行い、動きベクトル予測部２２０８動きベクトルの予測を行う。そして、動き補償した形状データと前フレームの形状データとの差分値に対してＣＡＥ符号化が行われる。

しかし、背景差分方式には、誤判定を伴う場合があるという問題がある。一つは、背景をオブジェクトと誤判定してしまう場合であり、もう一つは、オブジェクトを背景と誤判定してしまう場合である。

一つ目の誤判定は、入力画像の背景位置の画素値が参照する画像の画素値と大きく異なってしまう場合に発生する。この問題は、照明条件の変化等が原因となる。この問題の対応策としては、背景画像の変化を統計的な手法により検出し、適宜背景画像を更新するという方法が知られている（例えば、特許文献２参照。）。

もう一つの誤判定は、入力した画像のオブジェクトの画素値が参照する画像の画素値と近い場合に発生する。抽出したオブジェクトを別の背景画像と合成する等の用途では、オブジェクトの一部が欠けたり、オブジェクト内部に穴が開いたりするといった視覚的にさまざまな問題を生じる。但し、背景とオブジェクトを別々に送り、同じ背景とまた合成するといった用途では、誤判定を生じていてもオブジェクトと背景の画素値がほぼ同じであることから、視覚的な問題はそれほど大きくはないと考えられる。
特開２００３−１９９０９９号公報 特開平７−３０２３２８号公報

しかしながら、オブジェクトの画素値と背景の画素値との差分絶対値が閾値近傍にある場合は、わずかなノイズによって判定がオブジェクトになったり背景になったりすることがある。例えば、同じ位置の画素やそれらから構成される同じ位置の領域について、オブジェクトであるという判定と背景であるという判定が非常に短い周期で繰り返される場合、それはちらつきと知覚され、周期がやや長いときには、点滅として知覚される。このような状態が発生するような場合、符号化効率的にも、形状データが頻繁に変化するため、図２２で説明したようなフレーム間相関を使う符号化方式では、圧縮率を高めることができないという問題が生じる。

この問題について、図２３から図３０を用いてさらに詳しく説明する。

図２３（ａ）は、画面上のある位置における差分絶対値の時間変化を表す図である。図２３（ａ）において、Ｔｈはオブジェクトか背景かを判定するための閾値であり、差分絶対値が閾値近傍で変動していることがわかる。図２３（ｂ）は、閾値Ｔｈを用いた判定結果を示す図である。図２３（ｂ）では、差分絶対値が閾値Ｔｈ以下の場合がは「０」、それ以外の場合は「２５５」と判定している。すなわち、ｔ＝０からｔ＝２までは閾値Ｔｈ未満であるため０、ｔ＝３、ｔ＝５では２５５、ｔ＝４、ｔ＝６では０、ｔ＝７以降は２５５となる。

図２４は、従来例における閾値判定結果を説明するための図である。図２４には、閾値判定結果を形状データとして示した例が示されている。図２４では、各画面右下の部分が閾値近傍のデータを有していることを示しており、ｔ＝３、ｔ＝５及びｔ＝７以降でこの部分はオブジェクトと判定され、それ以外の時間に関するフレーム画像では背景と判定されている。このように、ｔ＝３からｔ＝７までの範囲では、オブジェクトと判定されたり、背景と判定とされたりといった状態が交互に続くので、視覚的にはちらつきとして知覚されてしまう。また、ｔ＝３における形状データをｔ＝２の形状データからパターンマッチングで探そうとする場合、左側の人物は容易に検出することができるが、右下の部分はｔ＝２に形状データが存在しないため、検出することができない。このようにフレーム間の形状が異なってしまうと、高能率な符号化の実現が困難となってしまう。

図２５（ａ）は、画面上のある位置における差分絶対値の時間変化を表す第２の図であり、（ｂ）は、閾値Ｔｈを用いた判定結果を示す第２の図である。図２５では、ｔ＝０からｔ＝３までは２５５、ｔ＝４、ｔ＝６では０、ｔ＝５、ｔ＝７では２５５となった後、ｔ＝８以降で再び０となる。図２６は、従来例における閾値判定結果を説明するための第２の図である。すなわち、ｔ＝４からｔ＝８までの間で、オブジェクトと背景の判定を繰り返すため、右下の部分はちらついて見えることとなる。

図２７（ａ）は、画面上のある位置における差分絶対値の時間変化を表す第３の図であり、（ｂ）は、閾値Ｔｈを用いた判定結果を示す第３の図である。図２７では、ｔ＝０、ｔ＝１で背景、ｔ＝２、ｔ＝３でオブジェクト、ｔ＝４、ｔ＝５で背景、ｔ＝６からｔ＝９でオブジェクトと判定する。図２８は、従来例における閾値判定結果を説明するための第３の図である。すなわち、ｔ＝２、ｔ＝３でオブジェクトが現れ、ｔ＝４、ｔ＝５で消え、ｔ＝６以降でまた現れる、といった見え方となる。すなわち、この例の見え方は、点滅として知覚される。

図２９（ａ）は、画面上のある位置における差分絶対値の時間変化を表す第４の図であり、（ｂ）は、閾値Ｔｈを用いた判定結果を示す第４の図である。図２９では、ｔ＝０、ｔ＝１でオブジェクト、ｔ＝２、ｔ＝３で背景、ｔ＝４、ｔ＝５でオブジェクト、ｔ＝６からｔ＝９で背景、と判定する。図３０は、従来例における閾値判定結果を説明するための第４の図である。すなわち、ｔ＝２、ｔ＝３でオブジェクトが消え、ｔ＝４、ｔ＝５でオブジェクトが現れた後、ｔ＝６以降で再度消える、といった見え方となり、これも点滅として知覚される。点滅の場合も、オブジェクト又は背景としての存在時間がフレーム間処理を行う処理間隔よりも短い場合には、前述したちらつき時と同様に符号化効率の低下を招くこととなる。

本発明は、このような事情を考慮してなされたものであり、動画像から背景差分方式を用いて形状データを抽出する際に、閾値近傍のデータを好適に取り扱うことにより、動画像の視覚的な劣化を抑えるとともに、高能率な符号化を行うことができる画像処理装置、画像処理方法、プログラム及び記憶媒体を提供することを目的とする。

上記課題を解決するために、本発明は、動画像を取得する動画像取得手段と、
前記動画像を構成する各フレーム画像に対する背景画像を取得する背景画像取得手段と、
前記動画像の各フレーム画像と前記背景画像との差分成分を、それぞれのフレーム画像に含まれる対象物の形状データとして抽出する背景差分処理手段と、
各フレーム画像ごとに、該フレーム画像と前記形状データとを可変長符号化する符号化手段とを備える画像処理装置であって、
前記背景差分処理手段が、
前記フレーム画像と前記背景画像との差分値を生成する生成手段と、
前記フレーム画像に基づいて複数の閾値を設定する閾値設定手段と、
前記フレーム画像の前フレーム画像に関する判定結果に関する情報を取得する判定結果取得手段と、
前記判定結果を参照して、前記差分値と前記複数の閾値とを比較して、前記フレーム画像を構成する各画素が背景又は対象物のいずれに属するかを判定する判定手段と、
判定結果に基づいて生成された形状データを出力する出力手段と
を備えることを特徴とする。

また、本発明は、動画像を取得する動画像取得工程と、
前記動画像を構成する各フレーム画像に対する背景画像を取得する背景画像取得工程と、
前記動画像の各フレーム画像と前記背景画像との差分成分を、それぞれのフレーム画像に含まれる対象物の形状データとして抽出する背景差分処理工程と、
各フレーム画像ごとに、該フレーム画像と前記形状データとを可変長符号化する符号化工程とを有する画像処理方法であって、
前記背景差分処理工程が、
前記フレーム画像と前記背景画像との差分値を生成する生成工程と、
前記フレーム画像に基づいて複数の閾値を設定する閾値設定工程と、
所定の保存部に保存されている前記フレーム画像の前フレーム画像に関する判定結果に関する情報を取得する判定結果取得工程と、
前記判定結果を参照して、前記差分値と前記複数の閾値とを比較して、前記フレーム画像を構成する各画素が背景又は対象物のいずれに属するかを判定する判定工程と、
判定結果に基づいて生成された形状データを出力する出力工程と
を有することを特徴とする。

さらに、本発明は、コンピュータに、
動画像を取得する動画像取得手順と、
前記動画像を構成する各フレーム画像に対する背景画像を取得する背景画像取得手順と、
前記動画像の各フレーム画像と前記背景画像との差分成分を、それぞれのフレーム画像に含まれる対象物の形状データとして抽出する背景差分処理手順と、
各フレーム画像ごとに、該フレーム画像と前記形状データとを可変長符号化する符号化手順とを実行させるためのプログラムであって、
前記背景差分処理手順が、
前記フレーム画像と前記背景画像との差分値を生成する生成手順と、
前記フレーム画像に基づいて複数の閾値を設定する閾値設定手順と、
所定の保存部に保存されている前記フレーム画像の前フレーム画像に関する判定結果に関する情報を取得する判定結果取得手順と、
前記判定結果を参照して、前記差分値と前記複数の閾値とを比較して、前記フレーム画像を構成する各画素が背景又は対象物のいずれに属するかを判定する判定手順と、
判定結果に基づいて生成された形状データを出力する出力手順と
を実行させることを特徴とする。

さらにまた、本発明に係る記憶媒体は、上記特徴を有するプログラムを格納したことを特徴とする。

さらにまた、本発明は、動画像を取得する動画像取得手段と、
前記動画像を構成する各フレーム画像に対する背景画像を取得する背景画像取得手段と、
前記動画像の各フレーム画像と前記背景画像との差分成分を、それぞれのフレーム画像に含まれる対象物の形状データとして抽出する背景差分処理手段と、
各フレーム画像ごとに、該フレーム画像と前記形状データとを可変長符号化する符号化手段とを備える画像処理装置であって、
前記背景差分処理手段が、
前記フレーム画像と前記背景画像との差分値を生成する生成手段と、
前記フレーム画像の前フレーム画像に関する判定結果に関する情報を取得する判定結果取得手段と、
前記判定結果と前記差分値とに応じて前記フレーム画像を構成する各画素が背景又は対象物のいずれに属するかを判定する判定手段と、
判定結果に基づいて生成された形状データを出力する出力手段と
を備えることを特徴とする。

さらにまた、本発明は、動画像を取得する動画像取得工程と、
前記動画像を構成する各フレーム画像に対する背景画像を取得する背景画像取得工程と、
前記動画像の各フレーム画像と前記背景画像との差分成分を、それぞれのフレーム画像に含まれる対象物の形状データとして抽出する背景差分処理工程と、
各フレーム画像ごとに、該フレーム画像と前記形状データとを可変長符号化する符号化工程とを有する画像処理方法であって、
前記背景差分処理工程が、
前記フレーム画像と前記背景画像との差分値を生成する生成工程と、
所定の保存部に保存されている前記フレーム画像の前フレーム画像に関する判定結果に関する情報を取得する判定結果取得工程と、
前記判定結果と前記差分値とに応じて前記フレーム画像を構成する各画素が背景又は対象物のいずれに属するかを判定する判定工程と、
判定結果に基づいて生成された形状データを出力する出力工程と
を有することを特徴とする

本発明によれば、動画像から背景差分方式を用いて形状データを抽出する際に、閾値近傍のデータを好適に取り扱うことにより、動画像の視覚的な劣化を抑えるとともに、高能率な符号化を行うことができる。すなわち、複数の閾値を設定して背景又は形状データの判定結果を修正することにより、動画像中における形状データの頻繁な変化を抑制し、視覚的にも符号化効率的にも優れた画像符号化を行うことができる。

以下、図面を参照して、本発明の一実施形態に係る画像処理システムについて詳細に説明する。尚、以下で説明する本発明の一実施形態に係る画像処理システムの全体のシステム構成は、背景差分処理部２１０３の細部構成を除いて、図２１（ａ）において説明したブロック図と同じで構成である。以下では、本発明に係る特徴的な構成を有して動作する背景差分処理部の実施形態について詳細に説明する。

＜第１の実施形態＞
本発明の第１の実施例について、図１から図７を参照して説明する。

図１は、本発明の第１の実施形態における背景差分処理部の細部構成を示すブロック図である。尚、以下では画素毎の処理が基本単位となるが、いくつかの画素をまとめたブロック単位の処理でも、１画面分をまとめたフレーム単位の処理であってもよい。

図１において、差分データ生成部１０１は、入力画像（動画像）と背景画像を入力し、差分絶対値を生成する。この処理は図２１（ｂ）における差分データ生成部２１０５と同様の処理である。また、判定部１０２では、低閾値設定部１０３で設定した閾値と、高閾値設定部１０４で設定した閾値の２つの閾値と、判定結果保存部１０５で保存されている前フレームの同じ位置における判定結果とに基づいて判定を行い、その判定結果を出力する。

尚、各閾値設定部で設定されるそれぞれの閾値は、あらかじめ定められた固定値であっても、入力画像のノイズ分布の解析結果等から求めた値であってもよい。例えば、前述した従来例における閾値設定部２１０６で設定される閾値Ｔｈに相当する値に一定の値ａを加算した値Ｔｈ＋ａを第１の閾値である高閾値として高閾値設定部１０４で設定するようにし、閾値Ｔｈに相当する値に一定の値ｂを減算した値Ｔｈ−ｂを第２の閾値である低閾値として低閾値設定部１０３で設定するようにしてもよい。尚、上記定数ａとｂは同一であっても異なっていてもよい。また、判定部１０２における詳細な判定方法については後述する。

図２は、本発明の第１の実施形態に係る背景差分処理部における処理動作を説明するためのフローチャートである。尚、ここでは、画面上のある位置における画素単位の処理について説明する。

まず、差分データ生成部１０１において、時刻ｔにおける入力画像の画素値と背景画像の画素値の差分と求め、その絶対値を算出することによって差分絶対値ｄ（ｔ）を算出する（ステップＳ２０１）。次に、判定部１０２において、前フレーム画像における同じ位置の判定結果による処理の分岐を行う。そこで、本実施形態では、判定結果保存部１０５に保存されている前フレーム画像における判定結果を取得して当該結果を参照し、前フレーム画像での同一位置の画素の判定が背景であるか否かを判定する（ステップＳ２０２）。その結果、前フレーム画像で背景である場合（Ｙｅｓ）、差分絶対値ｄ（ｔ）と高閾値設定部１０４で設定された高閾値Ｔｈ＿ｈｉｇｈとの比較を行う（ステップＳ２０３）。その結果、差分絶対値ｄ（ｔ）が高閾値Ｔｈ＿ｈｉｇｈより大きい場合（Ｙｅｓ）、当該画素をオブジェクトと判定する（ステップＳ２０４）。一方、差分絶対値ｄ（ｔ）が高閾値Ｔｈ＿ｈｉｇｈ以下の場合（Ｎｏ）、当該画素を背景と判定する（ステップＳ２０５）。

一方、ステップＳ２０２において、前フレーム画像の当該画素の判定がオブジェクトである場合（Ｎｏ）、差分絶対値ｄ（ｔ）と低閾値設定部１０３で設定された低閾値Ｔｈ＿ｌｏｗとの比較を行う（ステップＳ２０６）。その結果、差分絶対値ｄ（ｔ）が低閾値Ｔｈ＿ｌｏｗより小さい場合（Ｙｅｓ）、当該画素を背景と判定する（ステップＳ２０７）。一方、差分絶対値ｄ（ｔ）が低閾値Ｔｈ＿ｌｏｗ以上の場合（Ｎｏ）、当該画素をオブジェクトと判定する（ステップＳ２０８）。

上記第１の実施形態における判定方法を図３を用いて説明する。図３は、第１の実施形態における閾値判定処理を説明するためのグラフである。図３のグラフは、横軸を差分絶対値ｄ、縦軸を判定結果ｓとしている。ここで、図３において、（ａ）は判定結果が背景からオブジェクトに変化するときの様子を示している。例えば、前フレーム画像の判定結果が背景である場合に現フレーム画像をオブジェクトと判定するためには、差分絶対値がＴｈ＿ｈｉｇｈより大きくなければならない。また、図３において、（ｂ）は判定結果がオブジェクトから背景に変化するときの様子を示している。例えば、前フレーム画像の判定結果がオブジェクトである場合に現フレーム画像を背景と判定するためには、差分絶対値がＴｈ＿ｌｏｗより小さくなければならない。

図４は、第１の実施形態における画面上のある位置における差分絶対値の時間変化と低閾値及び高閾値を用いた判定結果を示す図である。図４（ａ）の差分絶対値は、図２３（ａ）で説明したものと同じ値を示している。図４において、低閾値はＴｈ＿ｌｏｗ、高閾値はＴｈ＿ｈｉｇｈで示しており、比較のために図２３（ａ）の閾値Ｔｈを破線で示している。

ここで、初期値として、ｔ＝０の時の判定結果は背景であるとする。そこで、まず、ｔ＝１の時は、ｔ＝０における判定結果が背景であり、この差分絶対値はＴｈ＿ｈｉｇｈより小さいため、図２のステップＳ２０５により、この画素は背景と判定される。また、ｔ＝２からｔ＝７の時は、ｔ＝１の時と同様に差分絶対値がＴｈ＿ｈｉｇｈより小さいため、この画素は背景と判定される。さらに、ｔ＝８の時は、ｔ＝７における判定結果が背景であり、この差分絶対値はＴｈ＿ｈｉｇｈより大きいため、図２のステップＳ２０４により、この画素はオブジェクトと判定される。さらにまた、ｔ＝９の時は、ｔ＝８における判定結果がオブジェクトであり、この差分絶対値はＴｈ＿ｌｏｗより大きいため、図２のステップＳ２０８により、この画素はオブジェクトと判定される。さらにまた、ｔ＝１０の時は、ｔ＝９の時と同様に、オブジェクトと判定される。

図６（ａ）は、従来例（図２３）における閾値Ｔｈを用いた閾値判定結果の形状データを示す図であり、図６（ｂ）は第１の実施形態における低閾値Ｔｈ＿ｌｏｗ及び高閾値Ｔｈ＿ｈｉｇｈを用いた閾値判定結果の形状データを示す図である。図６（ｂ）に示すように、ｔ＝３、ｔ＝５、ｔ＝７の右下部分がオブジェクトから背景に変更されたため、この間のフレーム画像の再生時にちらついたように見える現象が解消していることが分かる。

図５は、第１の実施形態における画面上のある位置における差分絶対値の時間変化と低閾値及び高閾値を用いた判定結果を示す第２の図である。尚、図５（ａ）の差分絶対値データは、図２５（ａ）で説明したものと同じ値を示している。また、高閾値Ｔｈ＿ｈｉｇｈ、低閾値Ｔｈ＿ｌｏｗ、閾値に関しては図４と同様である。

尚、初期値として、ｔ＝０の時の判定結果はオブジェクトであるとする。まず、ｔ＝１の時は、ｔ＝０における判定結果がオブジェクトであり、この差分絶対値はＴｈ＿ｌｏｗより大きいため、図２のステップＳ２０８によりこの画素はオブジェクトと判定される。また、ｔ＝２からｔ＝８の時は、ｔ＝１の時と同様に差分絶対値がＴｈ＿ｌｏｗより大きいため、この画素はオブジェクトと判定される。さらに、ｔ＝９の時は、ｔ＝８における判定結果がオブジェクトであり、この差分絶対値はＴｈ＿ｌｏｗより小さいため、図２のステップＳ２０７によりこの画素は背景と判定される。さらにまた、ｔ＝１０の時は、ｔ＝９における判定結果が背景であり、この差分絶対値はＴｈ＿ｈｉｇｈより小さいため、図２のステップＳ２０５によりこの画素は背景と判定される。

図７は、（ａ）は、従来例（図２６）における閾値Ｔｈを用いた閾値判定結果の形状データを示す図であり、（ｂ）は第１の実施形態における低閾値Ｔｈ＿ｌｏｗ及び高閾値Ｔｈ＿ｈｉｇｈを用いた閾値判定結果の形状データを示す第２の図である。図７（ｂ）のｔ＝４、ｔ＝６、ｔ＝８の右下部分が背景からオブジェクトに変更されたため、ちらついたように見える現象が解消していることが分かる。

上述したように、第１の実施形態によれば、複数の閾値と前フレームの判定結果を用いた判定処理により、形状データのフレーム間における連続性を保ち、視覚的にも符号化効率的にも、従来よりも良好な画像データの符号化を行う画像処理システムを実現することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について、図８から図１３を参照して説明する。

図８は、本発明の第２の実施形態における背景差分処理部の細部構成を示すブロック図である。差分データ生成部８０１は、入力画像と背景画像を入力し、差分絶対値を生成する。この処理は図２１（ｂ）におけるで説明した差分データ生成部２１０５と同様の処理である。また、判定部８０２では、低閾値設定部８０３で設定した低閾値Ｔｈ＿ｌｏｗと、標準閾値設定部８０４で設定した標準閾値Ｔｈ＿ｍｉｄと、高閾値設定部８０５で設定した高閾値Ｔｈ＿ｈｉｇｈの計３つの閾値と、判定結果保存部８０７で保持されている前フレーム画像の同じ位置の画素についての判定結果と、差分絶対値保存部８０６で保持されている次フレーム画像の差分絶対値とに基づいて判定を行い、結果を出力する。ここで、標準閾値としては、高閾値と低閾値との中間値としたり、或いは前述した従来例における閾値設定部２１０６で設定される閾値Ｔｈに相当する値であってもよい。尚、判定に次フレーム画像を用いる場合には、そのフレーム分だけ別にデータの保存領域が必要となり、出力もそのフレーム分の遅延を生じることとなる。この判定方法の詳細については後述する。

図９は、本発明の第２の実施形態における背景差分処理部の処理動作を説明するためのフローチャートである。ここでは、画面上のある位置における画素単位の処理について説明する。まず、差分データ生成部８０１において、時刻ｔにおける入力画像の画素値と背景画像の画素値からその差分絶対値ｄ（ｔ）を求める（ステップＳ９０１）。次に、判定部８０２において、前フレーム画像における同じ位置の画素についての判定結果による処理の分岐を行う（ステップＳ９０２）。すなわち、前フレーム画像の判定が背景である場合（Ｙｅｓ）、差分絶対値ｄ（ｔ）と高閾値Ｔｈ＿ｈｉｇｈとの比較を行う（ステップＳ９０３）。そして、差分絶対値ｄ（ｔ）が高閾値Ｔｈ＿ｈｉｇｈより大きいと判定された場合（Ｙｅｓ）、当該画素をオブジェクトと判定する（ステップＳ９０４）。一方、差分絶対値ｄ（ｔ）が高閾値Ｔｈ＿ｈｉｇｈ以下の場合（Ｎｏ）、次いで差分絶対値ｄ（ｔ）と標準閾値Ｔｈ＿ｍｉｄとの比較を行う（ステップＳ９０５）。その結果、差分絶対値ｄ（ｔ）が標準閾値Ｔｈ＿ｍｉｄより大きい場合（Ｙｅｓ）、Ｔｈ＿ｍｉｄ＜ｄ（ｔ）≦Ｔｈ＿ｈｉｇｈということになる。本実施形態では、差分絶対値がこの範囲にある場合は、次フレーム画像の状態によって判定結果を変えるようにする。

すなわち、次フレーム画像の差分絶対値ｄ（ｔ＋１）が標準閾値Ｔｈ＿ｍｉｄより大きいかどうかを比較する（ステップＳ９０６）。その結果、大きいと判定された場合（Ｙｅｓ）、当該画素をオブジェクトと判定する（ステップＳ９０４）。一方、次フレーム画像の差分絶対値ｄ（ｔ＋１）が標準閾値Ｔｈ＿ｍｉｄ以下の場合（Ｎｏ）は背景と判定する（ステップＳ９０７）。尚、ステップＳ９０５において、差分絶対値ｄ（ｔ）が標準閾値Ｔｈ＿ｍｉｄ以下と判定された場合（Ｎｏ）も、ステップＳ９０７において背景と判定する。

一方、ステップＳ９０２において、前フレーム画像の判定がオブジェクトの場合（Ｎｏ）、差分絶対値ｄ（ｔ）と低閾値Ｔｈ＿ｌｏｗとの比較を行う（ステップＳ９０８）。そこで、差分絶対値ｄ（ｔ）が低閾値Ｔｈ＿ｌｏｗより小さい場合（Ｙｅｓ）、当該画素を背景と判定する（ステップＳ９０９）。一方、差分絶対値ｄ（ｔ）が低閾値Ｔｈ＿ｌｏｗ以上の場合（Ｎｏ）、差分絶対値ｄ（ｔ）と標準閾値Ｔｈ＿ｍｉｄとの比較を行う（ステップＳ９１０）。そして、差分絶対値ｄ（ｔ）が標準閾値Ｔｈ＿ｍｉｄより小さい場合（Ｙｅｓ）、Ｔｈ＿ｌｏｗ≦ｄ（ｔ）＜Ｔｈ＿ｍｉｄということになる。そこで、本実施形態では、差分絶対値がこの範囲にある場合は、次のフレームの状態によって、判定結果を変えるようにする。

すなわちで、次フレーム画像の差分絶対値ｄ（ｔ＋１）が標準閾値Ｔｈ＿ｍｉｄより小さいか否かを判定する（ステップＳ９１１）。その結果、ステップＳ９１１で小さいと判定された場合（Ｙｅｓ）、当該画素は背景と判定される（ステップＳ９０９）。一方、次フレーム画像の差分絶対値ｄ（ｔ＋１）がＴｈ＿ｍｉｄ以上の場合（Ｎｏ）、当該画素をオブジェクトと判定する（ステップＳ９１２）。また、ステップＳ９１０において、差分絶対値ｄ（ｔ）が標準閾値Ｔｈ＿ｍｉｄ以上と判定された場合（Ｎｏ）も、当該画素をオブジェクトと判定する（ステップＳ９１２）。

図１０は、第２の実施形態における画面上のある位置における差分絶対値の時間変化と低閾値及び高閾値を用いた判定結果を示す図である。尚、図１０では、低閾値をＴｈ＿ｌｏｗ、高閾値をＴｈ＿ｈｉｇｈ、従来の閾値Ｔｈを標準閾値Ｔｈ＿ｍｉｄとして示している。

図１０において、初期値として、ｔ＝０の時の判定結果は背景であるとする。まず、ｔ＝１の時は、ｔ＝０における判定結果が背景であり、この差分絶対値ｄ（１）は高閾値Ｔｈ＿ｈｉｇｈより小さく、標準閾値Ｔｈ＿ｍｉｄよりも小さいため、図９のステップＳ９０７によりこの画素は背景と判定する。また、ｔ＝２の時は、ｔ＝１の時と同様で、この画素は背景と判定する。さらに、ｔ＝３の時は、ｔ＝２における判定結果が背景であり、この差分絶対値ｄ（３）は高閾値Ｔｈ＿ｈｉｇｈより小さく、標準閾値Ｔｈ＿ｍｉｄよりも大きいため、次のフレーム（ｔ＝４）の状態を見て判定する。そして、、次のフレームの差分絶対値ｄ（４）は標準閾値Ｔｈ＿ｍｉｄより小さいので、図９のステップＳ９０７によりこの画素は背景と判定する。

さらにまた、ｔ＝４、ｔ＝６の時は、ｔ＝２の時と同様で、この画素は背景と判定する。さらにまた、ｔ＝５の時は、ｔ＝３の時と同様で、この画素は背景と判定する。さらにまた、ｔ＝７の時は、ｔ＝６における判定結果が背景であり、この差分絶対値ｄ（７）は高閾値Ｔｈ＿ｈｉｇｈより小さく、標準閾値Ｔｈ＿ｍｉｄよりも大きいため、次のフレーム（ｔ＝８）の状態を見て判定する。そして、次のフレームの差分絶対値ｄ（８）は標準閾値Ｔｈ＿ｍｉｄより大きいので、ステップＳ９０４によりこの画素はオブジェクトと判定する。さらにまた、ｔ＝８の時は、ｔ＝７における判定結果がオブジェクトであり、この差分絶対値ｄ（８）は低閾値Ｔｈ＿ｌｏｗより大きく、標準閾値Ｔｈ＿ｍｉｄよりも大きいため、図９のステップＳ９１２によりこの画素はオブジェクトと判定する。

さらにまた、ｔ＝９の時は、ｔ＝８における判定結果がオブジェクトであり、この差分絶対値ｄ（９）は高閾値Ｔｈ＿ｈｉｇｈより小さく、標準閾値Ｔｈ＿ｍｉｄよりも大きいため、次のフレーム（ｔ＝１０）の状態を見て判定する。そして、次のフレームの差分絶対値ｄ（１０）は標準閾値Ｔｈ＿ｍｉｄより大きいので、図９のステップＳ９１２によりこの画素はオブジェクトと判定する。

図１２（ａ）は、従来例（図２４）における閾値Ｔｈを用いた閾値判定結果の形状データを示す図であり、（ｂ）は第２の実施形態における低閾値Ｔｈ＿ｌｏｗ及び高閾値Ｔｈ＿ｈｉｇｈを用いた閾値判定結果の形状データを示す図である。図１２（ｂ）において、ｔ＝３、ｔ＝５の右下部分がオブジェクトから背景に変更されたため、ちらついたように見える現象が解決することがわかる。

図１１は、第２の実施形態における画面上のある位置における差分絶対値の時間変化と低閾値及び高閾値を用いた判定結果を示す第２の図である。図１１（ａ）の差分絶対値は、図２５（ａ）で説明したものと同じ値を示している。ここで、Ｔｈ＿ｌｏｗ、Ｔｈ＿ｈｉｇｈ、Ｔｈ＿ｍｉｄについては、図１０の場合と同様に、それぞれ低閾値、高閾値、従来の閾値である。

図１１において、初期値として、ｔ＝０の時の判定結果はオブジェクトであるとする。まず、ｔ＝１の時は、ｔ＝０における判定結果がオブジェクトであり、この差分絶対値ｄ（１）は低閾値Ｔｈ＿ｌｏｗより大きく、標準閾値Ｔｈ＿ｍｉｄよりも大きいので、図９のステップＳ９１２により、この画素はオブジェクトと判定される。また、ｔ＝２、ｔ＝３の時は、ｔ＝１の時と同様で、この画素はオブジェクトと判定される。さらに、ｔ＝４の時は、ｔ＝３における判定結果がオブジェクトであり、この差分絶対値ｄ（４）は低閾値Ｔｈ＿ｌｏｗより大きく、標準閾値Ｔｈ＿ｍｉｄよりも小さいため、次のフレーム（ｔ＝５）の状態を見て判定する。そして、次のフレームの差分絶対値ｄ（５）は、標準閾値Ｔｈ＿ｍｉｄより大きいので、図９のステップＳ９０９によりこの画素はオブジェクトと判定される。

さらにまた、ｔ＝５、ｔ＝７の時は、ｔ＝３の時と同様で、この画素はオブジェクトと判定される。さらにまた、ｔ＝６の時は、ｔ＝４の時と同様であり、この画素はオブジェクトと判定される。さらにまた、ｔ＝８の時は、ｔ＝７における判定結果がオブジェクトであり、この差分絶対値ｄ（８）は低閾値Ｔｈ＿ｌｏｗより大きく、標準閾値Ｔｈ＿ｍｉｄよりも小さいため、次のフレーム（ｔ＝９）の状態を見て判定する。そして、次のフレームの差分絶対値ｄ（９）は標準閾値Ｔｈ＿ｍｉｄより小さいので、図９のステップＳ９０９によりこの画素は背景と判定される。さらにまた、ｔ＝９の時は、ｔ＝８における判定結果が背景であり、この差分絶対値ｄ（９）は高閾値Ｔｈ＿ｈｉｇｈより小さく、標準閾値Ｔｈ＿ｍｉｄよりも小さいため、図９のステップＳ９０７によりこの画素は背景と判定される。

図１３（ａ）は、従来例（図２６）における閾値Ｔｈを用いた閾値判定結果の形状データを示す図であり、（ｂ）は第２の実施形態における低閾値Ｔｈ＿ｌｏｗ及び高閾値Ｔｈ＿ｈｉｇｈを用いた閾値判定結果の形状データを示す第２の図である。図１３（ｂ）に示すように、ｔ＝４、ｔ＝６の右下部分が背景からオブジェクトに変更されたため、ちらついたように見える現象が解決することが分かる。

上述したように、第２の実施形態によれば、複数の閾値と前フレームの判定結果および後フレームの差分絶対値を用いた判定処理により、形状データのフレーム間における連続性を保ち、視覚的にも符号化効率的にも従来よりも良好な符号化システムを実現することができる。

＜第３の実施形態＞
次いで、本発明の第３の実施形態について、図１４Ａ、Ｂから図１８を参照して説明する。尚、本発明の第３の実施形態における背景差分処理部の細部構成を示すブロック図は図８と同じである。第２の実施形態においては、後フレーム画像の差分絶対値を１フレーム分のみ使用していたが、ここでは複数フレーム画像分に拡張した例について説明する。尚、判定に次フレーム画像以降の複数フレーム画像を用いる場合には、そのフレーム数分だけ別にデータの保存領域が必要となり、出力もそのフレーム数分の遅延を生じることとなる。

図１４Ａ、図１４Ｂは、本発明の第３の実施形態に係る背景差分処理部の処理動作を説明するためのフローチャートである。図１４Ａ、Ｂのフローチャートにおいては、図９において説明したステップＳ９０２までの処理は共通であるため、ここでは省略している。すなわち、図１４Ａは、前フレームにおける同じ位置の判定が背景であった場合の処理を示し、図１４Ｂは、前フレームにおける同じ位置の判定がオブジェクトであった場合の処理を示す。

まず、図１４Ａに示すように、差分絶対値ｄ（ｔ）と高閾値Ｔｈ＿ｈｉｇｈとの比較を行う（ステップＳ１４０１）。その結果、差分絶対値ｄ（ｔ）が高閾値Ｔｈ＿ｈｉｇｈより大きい場合（Ｙｅｓ）、当該画素はオブジェクトと判定される（ステップＳ１４０２）。一方、差分絶対値ｄ（ｔ）が高閾値Ｔｈ＿ｈｉｇｈ以下の場合（Ｎｏ）、差分絶対値ｄ（ｔ）と標準閾値Ｔｈ＿ｍｉｄとの比較を行う（ステップＳ１４０３）。この場合、差分絶対値ｄ（ｔ）が標準閾値Ｔｈ＿ｍｉｄより大きければ、Ｔｈ＿ｍｉｄ＜ｄ（ｔ）≦Ｔｈ＿ｈｉｇｈということになる。そこで、差分絶対値がこの範囲にある場合は、以後の複数フレーム画像の状態によって、判定結果を変える。従って、差分絶対値が標準閾値以下の場合（Ｎｏ）、当該画素を背景と判定する（ステップＳ１４０４）。

一方、ステップＳ１４０３で、差分絶対値ｄ（ｔ）が標準閾値Ｔｈ＿ｍｉｄよりも大きい場合（Ｙｅｓ）、複数フレームをカウントするための初期化処理のための初期値をｉ＝１とする（ステップＳ１４０５）。そして、次のフレーム画像の差分絶対値ｄ（ｔ＋１）と高閾値Ｔｈ＿ｈｉｇｈとの比較を行う（ステップＳ１４０６）。

その結果、差分絶対値ｄ（ｔ＋１）がＴｈ＿ｈｉｇｈ以上の場合（Ｎｏ）、当該画素をオブジェクトと判定する（ステップＳ１４０２）。一方、差分絶対値ｄ（ｔ＋１）がＴｈ＿ｈｉｇｈより小さい場合（Ｙｅｓ）、さらに標準閾値Ｔｈ＿ｍｉｄとの比較を行う（ステップＳ１４０７）。その結果、差分絶対値ｄ（ｔ＋１）がＴｈ＿ｍｉｄより大きい場合（Ｙｅｓ）、Ｔｈ＿ｍｉｄ＜ｄ（ｔ＋１）＜Ｔｈ＿ｈｉｇｈということになる。ここで、差分絶対値がこの範囲にある場合は、このフレーム画像における判定を保留し、次のフレーム画像の状態によって判定する。そこで、現フレーム画像のカウントｉが最大カウント数ｍａｘに達していないかどうかを判断する（ステップＳ１４０８）。

その結果、カウントｉが最大カウント数ｍａｘに達していない場合（Ｙｅｓ）、カウントを１つ増やして（ステップＳ１４０９）、ステップＳ１４０６からの処理を繰り返す。

尚、ステップＳ１４０７において、差分絶対値ｄ（ｔ＋１）がＴｈ＿ｍｉｄ以下の場合（Ｎｏ）、当該画素を背景と判定する（ステップＳ１４０４）。また、ステップＳ１４０８において、カウント数ｉが最大値ｍａｘに達してもなお判定保留の場合（Ｎｏ）、当該画素をオブジェクトと判定する（ステップＳ１４０２）。上述した一連の処理により、差分絶対値がＴｈ＿ｍｉｄ＜ｄ（ｔ＋ｉ）＜Ｔｈ＿ｈｉｇｈの範囲内にある場合、あらかじめ設定した最大カウント数ｍａｘ値以下の時間間隔で、状態変化が起こらないことになる。

一方、図１４Ｂに示すように、ステップＳ１４１１では、差分絶対値ｄ（ｔ）と低閾値Ｔｈ＿ｌｏｗとの比較を行う。その結果、差分絶対値ｄ（ｔ）が低閾値Ｔｈ＿ｌｏｗより小さい場合（Ｙｅｓ）、当該画素を背景と判定する（ステップＳ１４１２）。一方、差分絶対値ｄ（ｔ）が低閾値Ｔｈ＿ｌｏｗ以上の場合（Ｎｏ）、次いで、差分絶対値ｄ（ｔ）と標準閾値Ｔｈ＿ｍｉｄとの比較を行う（ステップＳ１４１３）。

その結果、差分絶対値ｄ（ｔ）が標準閾値Ｔｈ＿ｍｉｄより小さければ、Ｔｈ＿ｍｉｄ＜ｄ（ｔ）≦Ｔｈ＿ｈｉｇｈということになる。すなわち、差分絶対値がこの範囲にある場合は、以後の複数フレーム画像の状態によって、判定結果を変える。そこで、差分絶対値が標準閾値Ｔｈ＿ｍｉｄ以上の場合（Ｎｏ）、当該画素をオブジェクトと判定する（ステップＳ１４１４）。一方、差分絶対値ｄ（ｔ）が標準閾値Ｔｈ＿ｍｉｄよりも小さい場合（Ｙｅｓ）、ステップＳ１４１５に進む。

ステップＳ１４１５は、複数フレームをカウントするための初期化処理であり、初期値ｉ＝１とする。そして、次のフレーム画像の差分絶対値ｄ（ｔ＋１）と低閾値Ｔｈ＿ｌｏｗとの比較を行う（ステップＳ１４１６）。その結果、差分絶対値ｄ（ｔ＋１）がＴｈ＿ｌｏｗ以下の場合（Ｎｏ）、当該画素を背景と判定する（ステップＳ１４１２）。一方、差分絶対値ｄ（ｔ＋１）がＴｈ＿ｌｏｗより大きい場合（Ｙｅｓ）、さらに標準閾値Ｔｈ＿ｍｉｄとの比較を行う（ステップＳ１４１７）。

その結果、差分絶対値ｄ（ｔ＋１）がＴｈ＿ｍｉｄより小さい場合（Ｙｅｓ）、Ｔｈ＿ｍｉｄ＜ｄ（ｔ＋１）＜Ｔｈ＿ｈｉｇｈということになる。そこで、差分絶対値がこの範囲にある場合は、このフレーム画像における判定を保留し、次のフレーム画像の状態によって判定する。そして、現フレーム画像のカウントｉが最大カウント数ｍａｘに達していないかどうかを判断する（ステップＳ１４１８）。その結果、カウントｉがまだ最大カウント数ｍａｘに達していない場合（Ｙｅｓ）、当該カウントを１つ増やして（ステップＳ１４１９）、ステップＳ１４１６からの処理を繰り返す。

一方、ステップＳ１４１７において、差分絶対値ｄ（ｔ＋１）がＴｈ＿ｍｉｄ以上の場合（Ｎｏ）、当該画素をオブジェクトと判定する（ステップＳ１４１４）。また、ステップＳ１４１８でカウント数ｉが最大値ｍａｘに達してもなお判定保留の場合（Ｎｏ）、当該画素を背景と判定する（ステップＳ１４１２）。

上述した一連の処理により、差分絶対値がＴｈ＿ｍｉｄ＜ｄ（ｔ＋ｉ）＜Ｔｈ＿ｈｉｇｈの範囲内にある場合、あらかじめ設定したｍａｘ値以下の時間間隔で、状態変化が起こらないことになる。

図１５は、第３の実施形態における画面上のある位置における差分絶対値の時間変化と低閾値及び高閾値を用いた判定結果を示す図である。図１５（ａ）の差分絶対値は、図２７（ａ）で説明したものと同じ値を示している。ここで、低閾値がＴｈ＿ｌｏｗ、高閾値がＴｈ＿ｈｉｇｈであり、従来の閾値Ｔｈを標準閾値Ｔｈ＿ｍｉｄとして示している。

図１５では、初期値として、ｔ＝０の時の判定結果は背景であるとする。まず、ｔ＝１の時は、ｔ＝０における判定結果が背景であり、この差分絶対値ｄ（１）は高閾値Ｔｈ＿ｈｉｇｈより小さいく、標準閾値Ｔｈ＿ｍｉｄよりも小さいため、ステップＳ１４０４によりこの画素は背景と判定する。また、ｔ＝２の時は、ｔ＝１における判定結果が背景であり、この差分絶対値ｄ（２）は高閾値Ｔｈ＿ｈｉｇｈより小さく、標準閾値Ｔｈ＿ｍｉｄよりも大きいため、次のフレーム画像（ｔ＝３）の状態を見て判定する。そこで、次のフレームの差分絶対値ｄ（３）は高閾値Ｔｈ＿ｈｉｇｈより小さく、標準閾値Ｔｈ＿ｍｉｄより大きいので、このフレーム画像の状態では判定せず、さらに次のフレーム画像（ｔ＝４）の状態を見て判定する。そして、このフレーム画像の差分絶対値ｄ（４）は高閾値Ｔｈ＿ｈｉｇｈより小さく、標準閾値Ｔｈ＿ｍｉｄよりも小さいので、ループを抜け、ステップＳ１４０４にて、背景と判定する。

さらに、ｔ＝３の時は、ｔ＝２における判定と同様、ｔ＝４の状態を見て、ステップＳ１４０４に進み、背景と判定する。さらにまた、ｔ＝４の時は、ｔ＝３における判定結果が背景であり、この差分絶対値ｄ（４）は高閾値Ｔｈ＿ｈｉｇｈより小さいく、標準閾値Ｔｈ＿ｍｉｄよりも小さいため、図１４ＡのステップＳ１４０４によりこの画素は背景と判定する。さらにまた、ｔ＝５の時は、ｔ＝４の時と同様で、この画素は背景と判定する。

さらにまた、ｔ＝６の時は、ｔ＝５における判定結果が背景であり、この差分絶対値ｄ（６）は高閾値Ｔｈ＿ｈｉｇｈより小さく、標準閾値Ｔｈ＿ｍｉｄよりも大きいため、次のフレーム画像（ｔ＝７）の状態を見て判定する。そこで、次のフレーム画像の差分絶対値ｄ（７）は高閾値Ｔｈ＿ｈｉｇｈより小さく、標準閾値Ｔｈ＿ｍｉｄより大きいので、このフレーム画像の状態では判定せず、さらに次のフレーム画像（ｔ＝８）の状態を見て判定する。そして、本実施例では、ｔ＝９まで同じ状態が続いている。ここで、ｍａｘの設定値が３であるとすると、図１４ＡのステップＳ１４０８の終了判定により、ステップＳ１４０２に進み、オブジェクトと判定する。

さらにまた、ｔ＝７の時は、ｔ＝６における判定結果がオブジェクトであり、この差分絶対値ｄ（７）は、低閾値Ｔｈ＿ｌｏｗより大きく、標準閾値Ｔｈ＿ｍｉｄよりも大きいため、図１４ＢのステップＳ１４１４によりこの画素はオブジェクトと判定する。さらにまた、ｔ＝８、ｔ＝９の時は、ｔ＝７の時と同様であり、この画素はオブジェクトと判定する。さらにまた、ｔ＝１０の時は、ｔ＝９における判定結果がオブジェクトであり、この差分絶対値ｄ（１０）は、低閾値Ｔｈ＿ｌｏｗより大きく、標準閾値Ｔｈ＿ｍｉｄよりも小さいため、次のフレーム画像（ｔ＝１１）の状態を見て判定する。そこで、次のフレーム画像の差分絶対値ｄ（１１）は低閾値Ｔｈ＿ｌｏｗより小さいため、Ｓ１４１２によりこの画素は背景と判定する。

図１７（ａ）は、従来例（図２８）における閾値Ｔｈを用いた閾値判定結果の形状データを示す図であり、（ｂ）は第３の実施形態における低閾値Ｔｈ＿ｌｏｗ及び高閾値Ｔｈ＿ｈｉｇｈを用いた閾値判定結果の形状データを示す図である。図１７に示すように、ｔ＝２、ｔ＝３の右下部分がオブジェクトから背景に変更されたため、点滅しているように見える現象が解決することが分かる。

図１６は、第３の実施形態における画面上のある位置における差分絶対値の時間変化と低閾値及び高閾値を用いた判定結果を示す第２の図である。図１６（ａ）の差分絶対値は、図２９（ａ）で説明したものと同じ値を示している。ここで、Ｔｈ＿ｌｏｗ、Ｔｈ＿ｈｉｇｈ、Ｔｈ＿ｍｉｄは、それぞれ図１５における低閾値、高閾値、標準閾値と同じである。

図１６において、初期値として、ｔ＝０の時の判定結果はオブジェクトであるとする。まず、ｔ＝１の時は、ｔ＝０における判定結果がオブジェクトであり、この差分絶対値ｄ（１）は低閾値Ｔｈ＿ｌｏｗより大きく、標準閾値Ｔｈ＿ｍｉｄよりも大きいため、図１４ＢのステップＳ１４１４によりこの画素はオブジェクトと判定する。また、ｔ＝２の時は、ｔ＝１における判定結果がオブジェクトであり、この差分絶対値ｄ（２）は低閾値Ｔｈ＿ｌｏｗより大きく、標準閾値Ｔｈ＿ｍｉｄよりも小さいため、次のフレーム画像（ｔ＝３）の状態を見て判定する。そこで、次のフレーム画像の差分絶対値ｄ（３）は低閾値Ｔｈ＿ｌｏｗより大きく、標準閾値Ｔｈ＿ｍｉｄよりも小さいので、このフレーム画像の状態では判定せず、さらに次のフレーム画像（ｔ＝４）の状態を見て判定する。そして、このフレーム画像の差分絶対値ｄ（４）は低閾値Ｔｈ＿ｌｏｗより大きく、標準閾値Ｔｈ＿ｍｉｄよりも大きいので、ループを抜け、図１４ＢのステップＳ１４１４において、オブジェクトと判定する。

さらに、ｔ＝３の時は、ｔ＝２における判定と同様、ｔ＝４の状態を見て、図１４ＢのステップＳ１４１４に進み、オブジェクトと判定する。さらにまた、ｔ＝４の時は、ｔ＝３における判定結果がオブジェクトであり、この差分絶対値ｄ（４）は低閾値Ｔｈ＿ｌｏｗより大きく、標準閾値Ｔｈ＿ｍｉｄよりも大きいため、図１４ＢのステップＳ１４１４によりこの画素はオブジェクトと判定する。さらにまた、ｔ＝５の時は、ｔ＝４の時と同様で、この画素はオブジェクトと判定する。

さらにまた、ｔ＝６の時は、ｔ＝５における判定結果がオブジェクトであり、この差分絶対値ｄ（６）は低閾値Ｔｈ＿ｌｏｗより大きく、標準閾値Ｔｈ＿ｍｉｄよりも小さいため、次のフレーム画像（ｔ＝７）の状態を見て判定する。そこで、次のフレーム画像の差分絶対値ｄ（７）は低閾値Ｔｈ＿ｌｏｗより大きく、標準閾値Ｔｈ＿ｍｉｄより小さいので、このフレーム画像の状態では判定せず、さらに次のフレーム画像（ｔ＝８）の状態を見て判定する。尚、本実施例では、ｔ＝９まで同じ状態が続いている。そこで、ｍａｘの設定値が３であるとすると、図１４ＢのステップＳ１４１８の終了判定により、ステップＳ１４１２に進み、背景と判定する。

さらにまた、ｔ＝７の時は、ｔ＝６における判定結果が背景であり、この差分絶対値ｄ（７）は、高閾値Ｔｈ＿ｈｉｇｈより小さく、標準閾値Ｔｈ＿ｍｉｄよりも小さいため、図１４ＢのステップＳ１４０４によりこの画素は背景と判定する。さらにまた、ｔ＝８、ｔ＝９の時は、ｔ＝７の時と同様で、この画素は背景と判定する。さらにまた、ｔ＝１０の時は、ｔ＝９における判定結果が背景であり、この差分絶対値ｄ（１０）は、高閾値Ｔｈ＿ｈｉｇｈより小さく、標準閾値Ｔｈ＿ｍｉｄよりも大きいため、次のフレーム画像（ｔ＝１１）の状態を見て判定する。そこで、次のフレーム画像の差分絶対値ｄ（１１）は高閾値Ｔｈ＿ｈｉｇｈより大きいため、図１４ＡのＳ１４０２によりこの画素はオブジェクトと判定する。

図１８（ａ）は、従来例（図３０）における閾値Ｔｈを用いた閾値判定結果の形状データを示す図であり、（ｂ）は第３の実施形態における低閾値Ｔｈ＿ｌｏｗ及び高閾値Ｔｈ＿ｈｉｇｈを用いた閾値判定結果の形状データを示す第２の図である。図１８（ｂ）に示すように、ｔ＝２、ｔ＝３の右下部分が背景からオブジェクトに変更されたため、点滅しているように見える現象が解決することが分かる。

上述したように、第３の実施形態によれば、複数の閾値と前フレーム画像の判定結果および複数の後フレーム画像の差分絶対値を用いた判定処理により、形状データのフレーム間における連続性を保ち、視覚的にも符号化効率的にも従来よりも良好な符号化システムを実現することができる。

＜他の実施形態＞
尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（又は記憶媒体）を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の第１の実施形態における背景差分処理部の構成を示すブロック図である。 本発明の第１の実施形態に係る背景差分処理部における処理動作を説明するためのフローチャートである。 第１の実施形態における閾値判定処理を説明するためのグラフである。 第１の実施形態における画面上のある位置における差分絶対値の時間変化と低閾値及び高閾値を用いた判定結果を示す図である。 第１の実施形態における画面上のある位置における差分絶対値の時間変化と低閾値及び高閾値を用いた判定結果を示す第２の図である。 （ａ）は、従来例（図２３）における閾値Ｔｈを用いた閾値判定結果の形状データを示す図であり、（ｂ）は第１の実施形態における低閾値Ｔｈ＿ｌｏｗ及び高閾値Ｔｈ＿ｈｉｇｈを用いた閾値判定結果の形状データを示す図である。 （ａ）は、従来例（図２６）における閾値Ｔｈを用いた閾値判定結果の形状データを示す図であり、（ｂ）は第１の実施形態における低閾値Ｔｈ＿ｌｏｗ及び高閾値Ｔｈ＿ｈｉｇｈを用いた閾値判定結果の形状データを示す第２の図である。 本発明の第２の実施形態における背景差分処理部の細部構成を示すブロック図である。 本発明の第２の実施形態における背景差分処理部の処理動作を説明するためのフローチャートである。 第２の実施形態における画面上のある位置における差分絶対値の時間変化と低閾値及び高閾値を用いた判定結果を示す図である。 第２の実施形態における画面上のある位置における差分絶対値の時間変化と低閾値及び高閾値を用いた判定結果を示す第２の図である。 （ａ）は、従来例（図２４）における閾値Ｔｈを用いた閾値判定結果の形状データを示す図であり、（ｂ）は第２の実施形態における低閾値Ｔｈ＿ｌｏｗ及び高閾値Ｔｈ＿ｈｉｇｈを用いた閾値判定結果の形状データを示す図である。 （ａ）は、従来例（図２６）における閾値Ｔｈを用いた閾値判定結果の形状データを示す図であり、（ｂ）は第２の実施形態における低閾値Ｔｈ＿ｌｏｗ及び高閾値Ｔｈ＿ｈｉｇｈを用いた閾値判定結果の形状データを示す第２の図である。 本発明の第３の実施形態に係る背景差分処理部の処理動作を説明するためのフローチャートである。 本発明の第３の実施形態に係る背景差分処理部の処理動作を説明するためのフローチャートである。 第３の実施形態における画面上のある位置における差分絶対値の時間変化と低閾値及び高閾値を用いた判定結果を示す図である。 第３の実施形態における画面上のある位置における差分絶対値の時間変化と低閾値及び高閾値を用いた判定結果を示す第２の図である。 （ａ）は、従来例（図２８）における閾値Ｔｈを用いた閾値判定結果の形状データを示す図であり、（ｂ）は第３の実施形態における低閾値Ｔｈ＿ｌｏｗ及び高閾値Ｔｈ＿ｈｉｇｈを用いた閾値判定結果の形状データを示す図である。 （ａ）は、従来例（図３０）における閾値Ｔｈを用いた閾値判定結果の形状データを示す図であり、（ｂ）は第３の実施形態における低閾値Ｔｈ＿ｌｏｗ及び高閾値Ｔｈ＿ｈｉｇｈを用いた閾値判定結果の形状データを示す第２の図である。 従来例における閾値判定処理を説明するためのグラフである。 従来例における背景差分処理手順を説明するためのフローチャートである。 背景差分方式とＭＰＥＧ−４符号化方式とを組み合わせた従来の画像処理システムの一例を示すブロック図である。 従来例におけるＶＯＰ符号化を行う符号化部２１０４の細部構成を示すブロック図である。 （ａ）は、画面上のある位置における差分絶対値の時間変化を表す図であり、（ｂ）は、閾値Ｔｈを用いた判定結果を示す図である。 従来例における閾値判定結果を説明するための図である。 （ａ）は、画面上のある位置における差分絶対値の時間変化を表す第２の図であり、（ｂ）は、閾値Ｔｈを用いた判定結果を示す第２の図である。 従来例における閾値判定結果を説明するための第２の図である。 （ａ）は、画面上のある位置における差分絶対値の時間変化を表す第３の図であり、（ｂ）は、閾値Ｔｈを用いた判定結果を示す第３の図である。 従来例における閾値判定結果を説明するための第３の図である。 （ａ）は、画面上のある位置における差分絶対値の時間変化を表す第４の図であり、（ｂ）は、閾値Ｔｈを用いた判定結果を示す第４の図である。 従来例における閾値判定結果を説明するための第４の図である。

符号の説明

１０１、８０１ 差分データ生成部
１０２、８０２ 判定部
１０３、８０３ 低閾値設定部
１０４、８０５ 高閾値設定部
１０５、８０７ 判定結果保存部
８０４ 標準閾値設定部
８０６ 差分絶対値保存部
２１０１ 画像入力部
２１０２ 背景画像生成部
２１０３ 背景差分処理部
２１０４ 符号化部

Claims (14)

1. 動画像を取得する動画像取得手段と、
   前記動画像を構成する各フレーム画像に対する背景画像を取得する背景画像取得手段と、
   前記動画像の各フレーム画像と前記背景画像との差分成分を、それぞれのフレーム画像に含まれる対象物の形状データとして抽出する背景差分処理手段と、
   各フレーム画像ごとに、該フレーム画像と前記形状データとを可変長符号化する符号化手段とを備える画像処理装置であって、
   前記背景差分処理手段が、
   前記フレーム画像と前記背景画像との差分値を生成する生成手段と、
   前記フレーム画像に基づいて複数の閾値を設定する閾値設定手段と、
   前記フレーム画像の前フレーム画像に関する判定結果に関する情報を取得する判定結果取得手段と、
   前記判定結果を参照して、前記差分値と前記複数の閾値とを比較して、前記フレーム画像を構成する各画素が背景又は対象物のいずれに属するかを判定する判定手段と、
   判定結果に基づいて生成された形状データを出力する出力手段と
   を備えることを特徴とする画像処理装置。
2. 前記差分値が、差分絶対値であって、
   前記閾値設定手段が、前記複数の閾値として、第１の閾値と、該第１の閾値よりも低い値を有する第２の閾値とを設定し、
   前記判定手段が、
   前フレーム画像に関する判定結果が背景の場合、前記第１の閾値と前記差分絶対値との比較を行って、該差分絶対値の方が高い場合は対象物と判定し、該差分絶対値の方が低い場合は背景と判定し、
   前フレーム画像に関する判定結果が対象物の場合、前記第２の閾値と前記差分絶対値との比較を行って、該差分絶対値の方が高い場合は背景と判定し、該差分絶対値の方が低い場合は対象物と判定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記背景差分処理手段が、前記フレーム画像の少なくとも１フレーム後の後フレーム画像に関する差分絶対値を保存する差分絶対値保存手段とをさらに備え、
   前記閾値設定手段が、前記第１の閾値と前記第２の閾値との間の値を有する標準閾値を設定し、
   前記判定手段が、前記判定結果又は前記後フレーム画像に関する差分絶対値を参照して、前記フレーム画像の差分絶対値と前記標準閾値、前記第１の閾値又は前記第２の閾値とを比較して、各画素ごとに背景又は対象物のいずれに属するかを判定する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記判定手段が、
   前フレーム画像に関する判定結果が背景であって、前記差分絶対値が前記第１の閾値と前記標準閾値との間にある場合、前記後フレーム画像の差分絶対値を参照して、該後フレーム画像の差分絶対値の方が前記標準閾値よりも高い場合は対象物と判定し、該差分絶対値の方が低い場合は背景と判定し、
   前フレーム画像に関する判定結果が対象物であって、前記差分絶対値が、前記第２の閾値と前記標準閾値との間にある場合、前記後フレーム画像の差分絶対値を参照して、該後フレーム画像の差分絶対値の方が前記標準閾値よりも高い場合は対象物と判定し、該差分絶対値の方が低い場合は背景と判定する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記判定手段が、
   前記前フレーム画像に関する判定結果が背景であって、前記差分絶対値がさらに前記標準閾値よりも低い場合は背景と判定し、
   前記前フレーム画像に関する判定結果が対象物であって、前記差分絶対値がさらに前記標準閾値よりも高い場合は対象物と判定する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記差分絶対値保存手段が、前記フレーム画像の次フレーム画像から所定フレーム画像までの複数の後フレーム画像に関する差分絶対値を保存し、
   前記判定手段が、
   前フレーム画像に関する判定結果が背景であって、前記差分絶対値が前記第１の閾値と前記標準閾値との間にある場合、前記複数の後フレーム画像のすべてに対して、それぞれの後フレーム画像の差分絶対値を参照して、該後フレーム画像の差分絶対値の方が前記標準閾値よりも高い場合は対象物と判定し、いずれかの後フレーム画像の差分絶対値の方が低くなる場合は背景と判定し、
   前フレーム画像に関する判定結果が対象物であって、前記差分絶対値が前記第２の閾値と前記標準閾値との間にある場合、前記複数の後フレーム画像のすべてに対して、それぞれの後フレーム画像の差分絶対値を参照して、該後フレーム画像の差分絶対値の方が前記標準閾値よりも低い場合は背景と判定し、いずれかの後フレーム画像の差分絶対値の方が高くなる場合は対象物と判定する
   ことを特徴とする請求項３に記載の画像処理装置。
7. 前記判定手段が、前記複数の後フレーム画像の最大フレーム数を設定する最大フレーム数設定手段をさらに備え、
   前記判定手段は、前記最大フレーム数の範囲内で前記差分絶対値の判定を行う
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記符号化手段が、ＭＰＥＧ−４ビジュアル符号化方式に準じた符号化処理を行うことを特徴とする請求項１から７までのいずれか１項に記載の画像処理装置。
9. 前記閾値設定手段が、前記動画像を構成するフレーム画像のノイズ分布の解析結果に基づいてそれぞれの閾値を設定することを特徴とする請求項１から８までのいずれか１項に記載の画像処理装置。
10. 動画像を取得する動画像取得工程と、
    前記動画像を構成する各フレーム画像に対する背景画像を取得する背景画像取得工程と、
    前記動画像の各フレーム画像と前記背景画像との差分成分を、それぞれのフレーム画像に含まれる対象物の形状データとして抽出する背景差分処理工程と、
    各フレーム画像ごとに、該フレーム画像と前記形状データとを可変長符号化する符号化工程とを有する画像処理方法であって、
    前記背景差分処理工程が、
    前記フレーム画像と前記背景画像との差分値を生成する生成工程と、
    前記フレーム画像に基づいて複数の閾値を設定する閾値設定工程と、
    所定の保存部に保存されている前記フレーム画像の前フレーム画像に関する判定結果に関する情報を取得する判定結果取得工程と、
    前記判定結果を参照して、前記差分値と前記複数の閾値とを比較して、前記フレーム画像を構成する各画素が背景又は対象物のいずれに属するかを判定する判定工程と、
    判定結果に基づいて生成された形状データを出力する出力工程と
    を有することを特徴とする画像処理方法。
11. コンピュータに、
    動画像を取得する動画像取得手順と、
    前記動画像を構成する各フレーム画像に対する背景画像を取得する背景画像取得手順と、
    前記動画像の各フレーム画像と前記背景画像との差分成分を、それぞれのフレーム画像に含まれる対象物の形状データとして抽出する背景差分処理手順と、
    各フレーム画像ごとに、該フレーム画像と前記形状データとを可変長符号化する符号化手順とを実行させるためのプログラムであって、
    前記背景差分処理手順が、
    前記フレーム画像と前記背景画像との差分値を生成する生成手順と、
    前記フレーム画像に基づいて複数の閾値を設定する閾値設定手順と、
    所定の保存部に保存されている前記フレーム画像の前フレーム画像に関する判定結果に関する情報を取得する判定結果取得手順と、
    前記判定結果を参照して、前記差分値と前記複数の閾値とを比較して、前記フレーム画像を構成する各画素が背景又は対象物のいずれに属するかを判定する判定手順と、
    判定結果に基づいて生成された形状データを出力する出力手順と
    を実行させることを特徴とするプログラム。
12. 請求項１１に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
13. 動画像を取得する動画像取得手段と、
    前記動画像を構成する各フレーム画像に対する背景画像を取得する背景画像取得手段と、
    前記動画像の各フレーム画像と前記背景画像との差分成分を、それぞれのフレーム画像に含まれる対象物の形状データとして抽出する背景差分処理手段と、
    各フレーム画像ごとに、該フレーム画像と前記形状データとを可変長符号化する符号化手段とを備える画像処理装置であって、
    前記背景差分処理手段が、
    前記フレーム画像と前記背景画像との差分値を生成する生成手段と、
    前記フレーム画像の前フレーム画像に関する判定結果に関する情報を取得する判定結果取得手段と、
    前記判定結果と前記差分値とに応じて前記フレーム画像を構成する各画素が背景又は対象物のいずれに属するかを判定する判定手段と、
    判定結果に基づいて生成された形状データを出力する出力手段と
    を備えることを特徴とする画像処理装置。
14. 動画像を取得する動画像取得工程と、
    前記動画像を構成する各フレーム画像に対する背景画像を取得する背景画像取得工程と、
    前記動画像の各フレーム画像と前記背景画像との差分成分を、それぞれのフレーム画像に含まれる対象物の形状データとして抽出する背景差分処理工程と、
    各フレーム画像ごとに、該フレーム画像と前記形状データとを可変長符号化する符号化工程とを有する画像処理方法であって、
    前記背景差分処理工程が、
    前記フレーム画像と前記背景画像との差分値を生成する生成工程と、
    所定の保存部に保存されている前記フレーム画像の前フレーム画像に関する判定結果に関する情報を取得する判定結果取得工程と、
    前記判定結果と前記差分値とに応じて前記フレーム画像を構成する各画素が背景又は対象物のいずれに属するかを判定する判定工程と、
    判定結果に基づいて生成された形状データを出力する出力工程と
    を有することを特徴とする画像処理方法。

Images