JP2005175943A - 画像処理装置、画像処理方法、コンピュータプログラム及び記録媒体 - Google Patents

Abstract

【課題】 事前処理を必要とせずに、矩形の動画像符号化システムとの単純な置き換えが可能である汎用性の高い高能率符号化を行なうことができるようにする。
【解決手段】 複数のフレームから構成される動画像を入力する動画像入力手段と、前記入力した動画像の中から背景画像とするフレームと、任意形状画像とするフレームとを選択する画像選択手段と、前記入力した複数の動画像における背景画像からオブジェクト切り出しを行なうフレームを選択するフレーム選択手段と、前記選択したフレームを送出する選択フレーム送出手段とを設け、前記連続して入力するフレームの中から背景画像と任意形状画像とを選択するようにして、シーンに限定されない汎用的な高能率符号化を実現できるようにする。
【選択図】 図１

Description

本発明は画像処理装置、画像処理方法、コンピュータプログラム及び記録媒体に関し、特に、動画像データを高能率に符号化・復号化するための画像処理装置及び画像処理方法に関する。

近年、デジタル技術を利用して画像を対象物（オブジェクト）毎に分離したり、合成したりする処理が注目されている。特に、動画像の符号化においては、国際標準としてMPEG-4符号化方式が規格化されている。

前記MPEG-4符号化方式では、任意形状の画像データが扱え、オブジェクト毎の符号化／復号化を行なうことにより、符号化効率の向上、伝送路に応じたデータ配分、画像の再加工等、従来は困難であったさまざまな応用が期待されている。

ところで、動画像処理においては、背景差分方式という手法が知られている。これは、予め撮影した背景画像と実際の入力画像とを比較することにより、変化点を検出する方法である。

上述した背景差分方式においては、あらかじめ背景画像を用意しておかなければならないという欠点があった。また、入力画像と背景画像の間に相対的な位置のずれが生じると、正しくオブジェクトが抽出できない、という問題もあった。カメラの動く範囲が予めわかっている場合は、特許文献１に開示されているように、スプライトと呼ばれる広範囲の画像を用意しておくことで、ある程度の対策は可能である。

特開２００２−１１８８４３号公報

しかしながら、前記特許文献１に開示されているように、スプライトと呼ばれる広範囲の画像を用意しておいても、前準備が必要であることには変わりがなかった。さらには、背景画像を定期的に送る場合にあっても、時間的に前の背景画像を用いて任意形状を抽出しようとすると、シーンチェンジ等が発生した場合、背景が大きく異なるため、オブジェクトを正しく抽出できないという問題が同様に発生する。

つまり、従来技術の場合には、適応範囲が限定されてしまうため、矩形の動画像符号化システムから任意形状の動画像符号化システムへ単純に置き換えることができないという問題があった。

本発明は、このような事情を考慮してなされたものであり、事前処理を必要とせずに、矩形の動画像符号化システムとの単純な置き換えが可能である汎用性の高い高能率符号化を行なうことができるようにすることを目的とする。

本発明の画像処理装置は、複数のフレームから構成される動画像データを入力する動画像入力手段と、前記動画像入力手段により入力した動画像データの中から背景画像とするフレームと、任意形状画像とするフレームとを選択する画像選択手段と、前記画像選択手段により選択された背景画像のフレームから入力画像のフレームと比較する背景画像のフレームを選択する背景選択手段と、前記背景選択手段により選択された背景画像と、入力画像とを比較し、これらの画像の差分値から形状データを生成する形状データ生成手段と、 前記動画像入力手段により入力した入力画像を形状データと共に任意形状画像として符号化する画像符号化手段と、前記背景選択手段の選択状況を示すデータを符号化する背景選択符号化手段とを有することを特徴とする。
また、本発明の画像処理装置は、入力された動画像データの中から背景画像とするフレームと任意形状画像とするフレームとを区別し、前記区別された背景画像のフレームから入力画像のフレームと比較する背景画像のフレームを選択し、前記選択された背景画像と入力画像とを比較し、これらの画像の差分値から形状データを生成し、前記入力された動画像データを形状データと共に任意形状画像として符号化して得られた符号化された動画像データと前記選択された背景画像の選択状況を示すデータを符号化して得られた情報データとを入力する入力手段と、前記情報データに基づいて前記符号化された動画像データを復号化する復号化手段とを有することを特徴とする。

また、本発明の画像処理方法は、複数のフレームから構成される動画像データを入力する動画像入力工程と、前記動画像入力工程で入力した動画像データの中から背景画像とするフレームと、任意形状画像とするフレームとを選択する画像選択工程と、前記画像選択工程で選択された背景画像のフレームから入力画像のフレームと比較する背景画像のフレームを選択する背景選択工程と、前記背景選択工程で選択された背景画像と、入力画像とを比較し、これらの画像の差分値から形状データを生成する形状データ生成工程と、前記動画像入力工程で入力した入力画像を形状データと共に任意形状画像として符号化する画像符号化工程と、前記背景選択工程の選択状況を示すデータを符号化する背景選択符号化工程とを有することを特徴とする。
また、本発明の画像処理方法は、入力された動画像データの中から背景画像とするフレームと任意形状画像とするフレームとを区別し、前記区別された背景画像のフレームから入力画像のフレームと比較する背景画像のフレームを選択し、前記選択された背景画像と入力画像とを比較し、これらの画像の差分値から形状データを生成し、前記入力された動画像データを形状データと共に任意形状画像として符号化して得られた符号化された動画像データと前記選択された背景画像の選択状況を示すデータを符号化して得られた情報データとを入力する入力工程と、前記情報データに基づいて前記符号化された動画像データを復号化する復号化工程とを有することを特徴とする。

また、本発明のコンピュータプログラムは、複数のフレームから構成される動画像データを入力する動画像入力工程と、前記動画像入力工程で入力した動画像データの中から背景画像とするフレームと、任意形状画像とするフレームとを選択する画像選択工程と、前記画像選択工程で選択された背景画像のフレームから入力画像のフレームと比較する背景画像のフレームを選択する背景選択工程と、前記背景選択工程で選択された背景画像と、入力画像とを比較し、これらの画像の差分値から形状データを生成する形状データ生成工程と、前記動画像入力工程で入力した入力画像を形状データと共に任意形状画像として符号化する画像符号化工程と、前記背景選択工程の選択状況を示すデータを符号化する背景選択符号化工程とを有する画像処理方法をコンピュータに実行させることを特徴とする。
また、本発明のコンピュータプログラムは、入力された動画像データの中から背景画像とするフレームと任意形状画像とするフレームとを区別し、前記区別された背景画像のフレームから入力画像のフレームと比較する背景画像のフレームを選択し、前記選択された背景画像と入力画像とを比較し、これらの画像の差分値から形状データを生成し、前記入力された動画像データを形状データと共に任意形状画像として符号化して得られた符号化された動画像データと前記選択された背景画像の選択状況を示すデータを符号化して得られた情報データとを入力する入力工程と、前記情報データに基づいて前記符号化された動画像データを復号化する復号化工程とを有する画像処理方法をコンピュータに実行させることを特徴とする。

本発明の記録媒体は、前記に記載のコンピュータプログラムを記録したことを特徴としている。

本発明によれば、連続して入力するフレームの中から背景画像と任意形状画像を選択し、分離・合成するようにしたので、あらかじめ背景画像を用意するように構成しなくても済むようにすることができ、シーンに限定されない汎用的な高能率符号化・復号化システムを実現することができる。

本発明の実施の形態を説明する前に、本発明で実現する動画像処理における対象物の抽出方法の技術を説明する。
一般に、動画像処理においては、背景差分方式という手法が知られている。これは、予め撮影した背景画像と実際の入力画像とを比較することにより、変化点を検出する方法である。以下、簡単にその原理について説明する。

まず、画像平面上の座標（ｘ，ｙ）における点の入力画像の画素値をＰｃ（ｘ，ｙ）、背景画像の画素値をＰｂ（ｘ，ｙ）とする。この時、Ｐｃ（ｘ，ｙ）とＰｂ（ｘ，ｙ）との差分をとり、その絶対値をある閾値Ｔｈと比較する。

判定式の例を示すと次の通りである。
ｉｆ（｜Ｐｃ（ｘ，ｙ）−Ｐｂ（ｘ，ｙ）｜ ≦ Ｔｈ） Ｓ（ｘ，ｙ）＝０；
ｅｌｓｅ Ｓ（ｘ，ｙ）＝１； ・・・（１）

差分絶対値が閾値Ｔｈ以下の場合、この点（ｘ，ｙ）は変化なしということで、Ｐｃ（ｘ，ｙ）は背景と判定され、Ｓ（ｘ，ｙ）＝０となる。

一方、差分絶対値が閾値Ｔｈを超えている場合は、値が変化したということで抽出対象とみなされＳ（ｘ、ｙ）＝１となる。画面上のすべての点において前記の判定を行なうことで、１フレーム分の抽出が完了する。

図１４は、背景差分方式とMPEG-4符号化方式を組み合わせた従来のシステムの構成を示すブロック図である。
図１４において、画像入力部２１０１は、例えばカメラの撮像部であり、動画像を入力する部分である。画像分離部２１０２は、背景画像として処理するフレームと任意形状画像として処理するフレームとを切り替えるスイッチ回路である。背景画像に設定したフレームは、矩形画像符号化部２１０４で、１フレーム分符号化される。形状データ生成部２１０３では、先の背景画像と現在入力された画像との比較により、形状データを生成する。

一般に、形状データは、オブジェクトであるか否かの２値データである。任意形状画像符号化部２１０５では、画像データと形状データを入力とし、符号化した結果をビットストリームとして出力する。

多重化部２１０６では、図示した矩形画像と任意形状画像の２種類のビットストリームの他に、オーディオのビットストリームなどを１本のデータにまとめるべく、多重化処理を行なう。

図１５は、図１４のブロック図をより具体的に説明するための図である。図１５において、２３０１から２３１８は、画像入力部２１０１から入力されたフレームのデータ列であり、先頭の２３０１のフレームが背景のみが映っている画像、２３１１以降が抽出対象も映っている画像である。画像分離部２１０２では、２３０１を背景画像に、２３１１以降を任意形状画像に切り替えている。この切替えの最も簡単な方法は、入力画像を見ながら、手動で操作するのが確実である。

次に、実際のデータ処理の流れを、図１６を用いて説明する。
図１６において、２５００が、背景画像２３０１、２５０１が任意形状画像２３１１に対応しているものとする。この時、差分処理部２３５１では、２５００と２５０１の画像が入力され、先に説明した背景差分法により、対応する画素間の差が閾値以下か否かで２値化したデータを出力する。

２５１１は、２値化された形状データであり、黒い部分が背景、白い部分がオブジェクトを示している。同様に、２５０２、２５０３がそれぞれ２３１２、２３１３に対応しているとすると、生成される形状データは、背景画像２５００との差分閾値処理をした結果、２５１２、２５１３となる。

図１５では、任意形状画像符号化にMPEG-4のCore Profileのエンコーダ２３５３を用いている。以下、この符号化方式について説明する。
オブジェクト（対象物）を符号化する場合には、オブジェクトの形と位置の情報を符号化する必要がある。

そのために、まず、オブジェクトを内包する矩形領域を設定し、この矩形の左上位置の座標と矩形領域の大きさを符号化する。この矩形領域はバウンディングボックスと呼ばれる。また、画像データ、形状データにより表現されるオブジェクト内部の領域をＶＯＰ（Video Object Plane）と呼ぶ。

図１７は、図１５のエンコーダ２３５３の細部構成を示すブロック図である。尚、入力されるデータは画像の輝度・色差データと形状データであり、それらはマクロブロック単位で処理される。

まず、イントラモードでは、各ブロックをＤＣＴ部２７０１において離散コサイン変換（ＤＣＴ）し、量子化部２７０２で量子化する。量子化されたＤＣＴ係数と量子化幅は、可変長符号化部２７１２で可変長符号化される。また、インターモードで利用する参照画像を生成するため、一旦量子化されたデータは、逆量子化部２７０３、逆ＤＣＴ部２７０４を経て、画像データに戻される。これはローカルデコードの画像とも呼ばれる。この画像はメモリ部２７０５に保存される。

一方、インターモードでは、動き検出部２７０７においてメモリ部２７０５に保存されている時間的に隣接する別のＶＯＰの中からブロックマッチングをはじめとする動き検出方法により動きを検出し、動きベクトル予測部２７０８で対象マクロブロックに対して誤差のもっとも小さい予測マクロブロックを検出する。誤差の最も小さい予測マクロブロックへの動きを示すデータが動きベクトルである。尚、予測マクロブロックを生成するために参照する画像を参照ＶＯＰと呼ぶ。

検出された動きベクトルに基づいて、参照ＶＯＰを動き補償部２７０６において動き補償し、最適な予測マクロブロックを取得する。次に対象となるマクロブロックと対応する予測マクロブロックとの差分を求め、この差分画像に対してＤＣＴ部２７０１でＤＣＴを施し、ＤＣＴ変換係数を量子化部２７０２で量子化する。この時も量子化されたデータは、逆量子化部２７０３、逆ＤＣＴ部２７０４を経て、画像データに戻される。この時の逆ＤＣＴ部２７０４の出力は差分画像となるので、前の画像に加算した後、メモリ部２７０５に保存される。

一方、形状データは、形状符号化ＣＡＥ部２７０９で符号化される。但し、ここで実際にＣＡＥ符号化が行われるのは境界ブロックのみであり、ＶＯＰ内のブロック（ブロック内全てのデータがオブジェクト内）やＶＯＰ外のブロック（ブロック内全てのデータがオブジェクト外）はヘッダ情報のみが可変長符号化部２７１２に送られる。

また、ＣＡＥ符号化が施される境界ブロックは、画像データと同様に、インターモードにおいては、動き検出部２７０７による動き検出を行い、動きベクトル予測部２７０８で動きベクトルの予測を行なう。そして、動き補償した形状データと前フレームの形状データとの差分値に対しＣＡＥ符号化を行なう。

また、図１５では、矩形画像符号化にMPEG-4のSimple Profileのエンコーダ２３５２を用いている。以下、この符号化方式について説明する。Simple Profileのエンコーダは、Core Profileのエンコーダと下位互換がある。

図１７において、任意形状に関する処理、すなわち形状符号化ＣＡＥ部２７０９、メモリ部２７１０、動き補償部２７１１を除いたものがSimple Profileのエンコーダとなる。画像データの処理手順は、Core Profileの画像データの処理と同じである。背景画像は１フレーム分符号化すればよいので、必ずしも動画像の符号化方式を用いなくてもよく、静止画符号化方式でもよい。

次に復号側の処理について説明する。
図１８が、全体の概略構成ブロック図である。符号化側で１本にまとめられたビットストリームは、分離部２２０１で各デコーダが入力できるビットストリームに分離処理される。このうち、符号化された背景画像は、矩形画像復号化部２２０２により１フレームの画像データに復号される。任意形状画像復号化部２２０３では、形状データと形状データに対応した画像データを復号する。画像合成部２２０４では、形状データの値から、背景画像と任意形状画像を画素単位で切り替え、合成画像を生成する。画像出力部２２０５は、一般的にはモニタ等の画像表示装置である。

次に、図１８のブロック図をより具体的に説明する。図１８における分離部２２０１、矩形画像復号化部２２０２、任意形状復号化部２２０３、画像合成部２２０４がそれぞれ、図１９におけるＤＥＭＵＸ処理２４５１、MPEG-4 Simple Profileのデコーダ２４５２、MPEG-4 Core Profileのデコーダ２４５３、合成処理２４５４に対応している。２４１１から２４１８は、画像出力部２２０５において表示されるフレームのデータ列であり、図１５における入力画像２３１１から２３１８に対応している。

ここで、MPEG-4 Core Profileデコーダ２４５３の詳細を、図２０を用いて説明する。基本的には図１７の逆の動作であり、マクロブロック単位で、画像の輝度・色差データと形状データが復号される。

まず、イントラモードでは、可変長復号化部２８０１が、量子化されたＤＣＴ係数の復号化を行い、それを逆量子化部２８０２に入力する。逆量子化部２８０２の出力は、復号したＤＣＴ係数となり、逆ＤＣＴ部２８０３の入力となる。逆ＤＣＴ部２８０３では、逆ＤＣＴ処理を行なうことにより、復号画像を出力する。この時の画像は、インターモードで利用する参照画像とするため、メモリ部２８０４に保存される。

一方、インターモードでは、逆量子化部２８０２、逆ＤＣＴ部２８０３を経て復号される画像は、フレーム間の差分画像である。また、動きベクトル復号部２８０６においては、動きベクトルを復号する。動き補償部２８０５では、復号した動きベクトルを用いてメモリ部２８０４に保存されている前フレームの画像から動き補償した画像を生成する。この画像と先の差分画像を合成することにより、イントラモードにおける画像の復号が行われる。

また、形状データは、可変長復号化部２８０１から形状復号化ＣＡＥ部２８０７を経て復号される。イントラモードの場合は、そのままメモリ２８０８に保存される。インターモードの場合は、メモリ部２８０８に保存しておいた前フレームの形状データを動きベクトル復号化部２８０６によって復号した動きベクトルを用いて、動き補償部２８０９で動き補償した後、形状復号化ＣＡＥ部２８０７にて復号され、メモリ２８０８に保存される。

図１９では、矩形画像復号化にMPEG-4のSimple Profileのデコーダ２４５２を用いている。以下、この符号化方式について説明する。Simple Profileのデコーダは、Core Profileのデコーダと下位互換がある。

図２０において、任意形状に関する処理、すなわち形状復号化ＣＡＥ部２８０７、メモリ部２８０８、動き補償部２８０９を除いたものがSimple Profileのデコーダとなる。画像データの処理手順は、Core Profileの画像データの処理と同じである。背景画像は１フレーム分復号化すればよいので、必ずしも動画像の復号化方式を用いなくてもよく、静止画復号化方式でもよい。

以下、図面を参照して、本発明の画像処理装置、画像処理方法、コンピュータプログラム及び記録媒体の好適な実施の形態について詳細に説明する。
＜第１の実施の形態＞
先ず、本発明の画像処理装置の第１の実施の形態について説明する。
図１は、符号化側の全体構成を示すブロック図である。前記の一般技術で説明した図１４との大きな違いは、背景画像と任意形状画像の選択方法が異なる（画像選択部１０１）ことと、順序変換部１０２を設けていること、矩形形状符号化部２１０４が不要であること、などである。

さらに、背景選択部１０４と背景選択符号化部１０５を設けている。図１５における２３０１に相当する背景画像というものをあらかじめ用意しておかないで済むことが、本実施の形態の大きな特徴である。本実施の形態の画像処理装置では、フレーム列の中から背景画像を選択して符号化する。

画像入力部２１０１から入力されたフレーム列は、画像選択部１０１によって、背景とするフレームとそれ以外のフレームに選択される。順序変換部１０２では、複数の背景画像が選択できるようにフレームの処理順序を変更する。背景選択部１０４では、画像選択部１０１で背景画像とされた背景画像を蓄積し、入力画像に適した背景画像を選択して出力する。

図２は、背景選択部１０４の詳細な構成例を示すブロック図である。
図２に示したように、入力された背景画像は最初、第１の背景メモリ２９０１に格納される。この時、既に第１の背景メモリ２９０１に格納されていた背景画像は第２の背景メモリ２９０２に転送される。

第１の差分器２９０３は、入力画像と第１の背景メモリ２９０１との内容を画素単位で差分を求める。同様に、第２の差分器２９０４は入力画像と第２の背景メモリ２９０２との内容を画素単位で差分を求める。

絶対値加算器２９０５は第１の差分器２９０３で算出された差分の絶対値和を、絶対値加算器２９０６は第２の差分器２９０４で算出された差分の絶対値和をそれぞれ１フレーム分求める。比較器２９０７は第１の絶対値加算器２９０５、第２の絶対値加算器２９０６の出力を比較し、その小さいほうを背景画像として選択する。セレクタ２９０８は比較器２９０７で小さいと判定された背景画像を第１の背景メモリ２９０１または２９０２から選択して形状データ生成部１０３に出力する。

形状データ生成部１０３では、順序変換されたフレームを入力し、背景選択部１０４で選択された背景とのフレーム差分により生成したデータを二値化して任意形状符号化用の形状データを生成する。

任意形状画像符号化部２１０５では、先に生成した形状データと順序変換部からの出力である画像データを同じフレームのタイミングで入力し、符号化を行なう。画像データの符号化及び形状データの符号化の詳細は、背景技術で説明したとおりである。

背景選択符号化部１０５は、選択された背景の相対位置を符号化（背景選択符号）する。例えば、入力画像よりも選択された背景画像のフレームが時間的に前であれば"０１"、後ろであれば"１０"の２ビットを出力する。この時、自分が背景であれば、"００"を付与しても構わない。ここでは"１１"は使用しない。

多重化部２１０６は、背景選択符号を各フレームの符号化データに付与して、複数のエンコードしたビットストリームの多重化を行なう。ビデオの他にオーディオのビットストリームなども多重化する部分であるが、ここでは特に本実施の形態の固有の処理がないため、説明を省略する。

ここで、画像選択部１０１での背景画像の選択方法は後に詳しく説明するが、ここではまず、その後の処理である、順序変換と形状データの生成について説明する。
図３は形状データ生成までの手順を説明するフローチャートである。
先ず、ステップＳ１００１で、初期設定として、フレーム数を数えるカウンタ値ｉを１にセットする。

次に、ステップＳ１００２で、画像を入力し、ステップＳ１００３にて、このフレームが背景フレームかどうかの判定を行なう。背景フレームでなければ、ステップＳ１００４にてこのフレームを一時保存し、次のフレームの処理に移る。

次に、ステップＳ１００５にて、カウンタ値を１つ増やし、再度画像入力（ステップＳ１００２）を行なう。ステップＳ１００３にて背景フレームと判定されるフレームが現れるまでこの処理は繰り返し、各フレームを一時保存しておく。背景フレームを検出した時点で、ステップＳ１００６にて、背景データの出力を行なう。この時のデータは、画像データと全画素をオブジェクトとする形状データである。また、この背景データは蓄積される。蓄積される背景画像が新しいほうから最大２フレームである。

次に、ステップＳ１００７で設定するＮは、背景フレームが現れるまでのフレーム数で、ステップＳ１００８以降、ステップＳ１００９の判定で「ｉ≧Ｎ」となるまで、つまり、
ｉ＝１からＮまでの繰り返し処理を行なう。

この繰り返し処理は、背景フレームを検出した時点で、それまで一時保存しておいたフレームとの差分処理を行なうものである。まずステップＳ１０１０にて、ステップＳ１００６で蓄積された背景フレームと入力画像の画素単位での差分絶対値和を求め、小さいほうを背景画像とし、選択した情報を符号化する。

次に、ステップＳ１０１１にて、選択された背景フレームと１番目のフレームとの差分を検出し、ステップＳ１０１２にて、このフレームの形状データを生成する。さらにステップＳ１０１３にて、このフレームの画像データと形状データを出力する。これらの出力は、任意形状画像符号化の入力となる。

このフレームの処理はこれで終わり、次に、ステップＳ１０１４にて、カウンタを１つ増やし、その後、ステップＳ１００９に戻り、２番目のフレームの処理を１番目と同様に行なう。この処理をＮ−１番目まで行った段階で、繰り返し処理を抜け、終了判定ステップＳ１０１５に移る。この時最終フレームの処理まで終わっていない場合は、ステップＳ１００１に戻り、前述の処理を繰り返し行なう。

図４は、図３のフローチャートに従って処理した場合の画面の説明である。
図４に示したように、入力したフレーム列が５０１、５０２、５０３、５０４の順であり、フレーム列５０１と５０４が背景フレームであるとする。フレーム列５０２及び５０３の画像は、フレーム列５０４の背景フレームが入力されるまで、一時保存される。そして、フレーム列５０４が入力されると、フレーム列５０１、フレーム列５０４、フレーム列５０２、フレーム列５０３の順に順序変換される。

背景フレームの形状データは全画素がオブジェクトであるとするので、フレーム列５１１及び５１２のようになる。フレーム列５０２の形状データは、フレーム列５０１と５０４とを比較した結果、フレーム列５０１との類似度が高いので、フレーム列５０１との差分より求める結果、フレーム列５１３のようになる。

同様に、フレーム列５０３の形状データは、フレーム列５０４との類似度が高いのでフレーム列５０４との差分により、フレーム列５１４のようになる。複数の背景画像から類似度の高い背景画像を選択することにより、フレーム列５０３についてはフレーム列５０１から抽出するより、明らかに精度の高いオブジェクトを抽出できる。

先に説明したように、MPEG-4任意形状画像符号化方式では、フレーム内の処理を行なうイントラモードと、フレーム間の処理を行なうインターモードがある。符号化の処理モードをどのように選ぶかという問題は、背景に設定するフレームをどう決めるかという問と直接の関連はなく、自由に設定可能である。

ただし、背景に設定したフレームをイントラモードにすると、効率のよい符号化が可能となる。フレーム列５１１、フレーム列５１２のフレームをイントラモードとして、フレーム列５１３、フレーム列５１４のフレームをインターモードとすると、フレーム列５１３のオブジェクト画像は、フレーム列５１１の画像の中からサーチして、差分を符号化することになる。

また、フレーム列５１４のオブジェクト画像は、フレーム列５１２のオブジェクト画像の中からサーチして、差分を符号化する。このように背景画像をより類似したものとすることで抽出の精度が高まり、符号化効率は向上することになる。

ここで、背景フレームの設定方法について、図５を用いて説明する。
図５は、シーンの内容とは無関係に周期的に背景を選択する方法である。周期的に背景を更新することにより、画像の内容が変化しても発生符号量を抑えることができる。まずステップＳ１２０１にて現フレームが周期Ｔの倍数かどうかの判定を行なう。周期Ｔの倍数ならば、ステップＳ１２０２にて背景フレームに設定する。周期Ｔの倍数でなければ、ステップＳ１２０３にて最終フレームかどうかの判定を行なう。最終フレームでなければ、ステップＳ１２０１からの処理を繰り返す。最終フレームの場合は、ステップＳ１２０４にて、このフレームを背景フレームに設定する。

図６は、周期Ｔ＝５の場合の例である。シーケンスの先頭のフレームはイントラモード（Ｉ）で最初に符号化する。２番目のフレームから４番目のフレームは一時保存し、５番目のフレームが入力された時点で、このフレームをイントラモード（Ｉ）で符号化する。次に、１番目のフレームまたは５番目のフレームとの背景差分データで小さい方をインターモード（Ｐ）で符号化する。ここでは１番目の背景画像との背景差分データを符号化する。

さらに、３番目のフレームと１番目のフレームまたは５番目のフレームとの背景差分データで小さい方をインターモード（Ｐ）で符号化する。ここでは１番目の背景画像との背景差分データを符号化する。

さらに以下、４番目のフレームと１番目のフレームまたは５番目のフレームとの背景差分データで小さい方をインターモード（Ｐ）で符号化する。ここでは５番目の背景画像との背景差分データを符号化する。この処理の繰り返しとなる。

上述したように、第１の実施の形態に係る画像処理装置によれば、あらかじめ背景画像を用意するような構成にしなくても、連続して入力するフレームの中から背景画像と任意形状画像を選択することにより、シーンに限定されない汎用的な高能率符号化システムを実現することができる。また、シーンチェンジが背景画像のフレーム間隔の間で発生しても、適宜、背景画像を選択できることから、特にシーンチェンジ等の機構を設けずとも効率の良い任意形状の生成と符号化が行なえる。

なお、背景画像の選択を画像全体の差分値の絶対値和を用いて判定したが、これに限定されず、抽出したオブジェクトの大きさや、符号化後の符号長を判定に用いてももちろん構わない。

＜第２の実施の形態＞
本発明の第２の実施の形態について説明する。本発明の実施の形態は、第１の実施の形態で説明した符号化側の処理に対応する復号化側の処理である。
図７は、復号化側の全体構成を示すブロック図である。背景技術で説明した図１８との大きな違いは、所望のタイミングでシーケンスの中に背景画像が挿入されることにある。

分離部２２０１では、複数のビットストリームをデコーダ毎のビットストリームに分離する。
前記ビットストリームの種類としては、ビデオの他にオーディオなどもあるが、ここでは本実施の形態固有の処理であるビデオのビットストリームについてのみ図示している。任意形状画像復号化部２２０３では、分離されたビデオのビットストリームを入力し、画像データと形状データを復号画像として出力する。

これは、背景技術で説明したMPEG-4 Core Profileのデコーダを用いるのがよい。背景選択復号化部２０３では、背景画像選択符号を復号し、背景選択信号を生成する。背景選択部２０４では、任意形状復号化部２２０３で復号された画像から背景画像を選択し、蓄積すると共に、背景選択復号化部２０３で復号された背景選択信号によって背景を選択して出力する。画像合成部２０１では、選択された背景画像と現フレームの画像データ及び形状データから合成画像を生成し、順序逆変換部２０２へ出力する。順序逆変換部２０２では、符号化時に順序変換したフレームを元の順序に戻す処理を行なう。画像出力部２２０５は、ディスプレイのような画像表示装置が代表的なものであり、入力したフレームを所望のタイミングで順次表示する。

次に、背景選択部２０４、画像合成部２０１、順序逆変換部２０２の処理手順を、図８のフローチャートを用いて説明する。
先ず、ステップＳ１１０１にて、デコードデータの入力を行なう。そしてステップＳ１１０２にて、このフレームが背景かどうかの判定を行なう。背景フレームの判定は背景選択符号が"００"であったり、形状が矩形であったりすることから判定できる。先頭フレームの場合は、背景に設定されているので、ＹＥＳとなるのでステップＳ１１０７に進む。

ステップＳ１１０７では、最初の背景フレームかどうかの判定を行なう。最初の背景フレームなら、ステップＳ１１０９に進み、ステップＳ１１０９にて終了判定を行ない、終了でなければ、ステップＳ１１１０にて現背景フレームを一時保存する。

一方、ステップＳ１１０２の判定の結果、入力したデコードデータが背景フレームでなかった場合は、ステップＳ１１０３に進んで、背景選択信号に基づき、現背景フレームか、前背景フレームのいずれかを選択する。

次に、ステップＳ１１０４では、選択された背景フレームと、現フレームの画像データ及び形状データから合成画像を生成する。
次に、ステップＳ１１０５にて、合成画像フレームを出力する。ステップＳ１１０６の終了判定にて、最終フレームか否かの判定を行い、ＮＯならば、ステップＳ１１０１からの処理を繰り返す。ステップＳ１１０２の判定にて、次の背景フレームが見つかると、ステップＳ１１０８にて、それまでの合成処理に用いていた前背景フレームを出力し、ステップＳ１１１０にて現フレームを背景として新たに保存する。この時、前々背景フレームは破棄される。またステップＳ１１０６またはＳ１１０９の終了判定にて、終了の場合は、ステップＳ１１１１にて、この背景フレームを出力し、一連の処理を終える。

次に、図９を用いて、図８の処理の流れをさらに詳しく説明する。ここでは「周期Ｔ＝４」であるとする。
図８におけるステップＳ１１０１では、最初のデコードデータ６０１及び６１１を入力する。形状データが全画素オブジェクトであるので、このフレームは背景と判定される。

次に、ステップＳ１１０２はＹＥＳとなり、ステップＳ１１０７に進む。これは最初のフレームなので、ステップＳ１１０７はＹＥＳとなり、ステップＳ１１０９に進む。このフレームは最終フレームではないので、ステップＳ１１１０にて６１１を一時保存する。

次に、ステップＳ１１０１でデコードデータ６０２及び６１２を入力する。このフレームも背景画像と判定されるので、次のステップＳ１１０７に進んで最初の背景フレームか否かを判定する。この判定の結果、この場合は最初の背景フレームではないので、ＮＯとなり、ステップＳ１１０８に進んで前背景フレーム６１１を出力する。

次に、ステップＳ１１０９の終了判定を行なうが、この場合はＮＯであり、ステップＳ１１１０にて新たな背景フレーム６１２を追加して一時保存し、次のデコードデータの入力に移る。この時、前々背景フレームがあればこれを廃棄する。この場合は存在しない。

続いてステップＳ１１０１でデコードデータ６０３及び６１３を入力する。このフレームは背景ではないので、次のステップＳ１１０２の判定結果はＮＯとなり、ステップＳ１１０３に進む。ステップＳ１１０３では、復号された背景選択信号に基づき、背景を選択する。６１３の場合は選択された背景は６１１である。

次に、ステップＳ１１０４で、背景画像６１１と任意形状画像６１３を形状データ６０３に基づいて合成する。その後、ステップＳ１１０５にて生成した合成画像フレーム６２３を出力する。

次に、ステップS１１０６で終了判定を行なうが、このフレームは最終フレームではないので、ステップＳ１１０１に戻り、次のデコードデータ６０４及び６１４を入力する。このフレームは背景ではないので、ステップＳ１１０２はＮＯとなり、ステップＳ１１０３に進む。ステップＳ１１０３では、復号された背景選択信号に基づき、背景を選択する。デコードデータ６１４の場合は選択された背景はデコードデータ６１２である。

次に、ステップＳ１１０４で背景画像６１１と任意形状画像６１４を形状データ６０４に基づいて合成する。その後、ステップＳ１１０５にて生成した合成画像フレーム６２４を出力する。その後、ステップＳ１１０６で終了判定を行なうが、このフレームは最終フレームではないので、ステップＳ１１０１に戻り、次のデコードデータを入力する。

背景の周期Ｔ＝４であると、次のフレームは背景であるのでステップＳ１１０２の判断の結果はＹＥＳとなり、ステップＳ１１０７に進んで最初の背景か否かを判定する。このフレームは最初の背景ではないなので、ステップＳ１１０７の判定はＮＯとなり、ステップＳ１１０８に進んで前背景フレーム６１２を出力する。

次に、ステップＳ１１０９で終了判定を行なうが、この終了判定はＮＯであり、この場合はステップＳ１１１０にて新たな背景フレームを一時保存し、次のデコードデータの入力に移る。このように、順序逆変換後の出力は、デコードデータ６２１、デコードデータ６２３、デコードデータ６２４、デコードデータ６２２の順になり、正しい出力順序に戻ることになる。

この関係を、図１０でさらに説明する。
図１０の処理は、図６の逆の処理となる。図６で説明したように、背景に設定したフレームをイントラモードとし、背景の周期Ｔ＝５とする。１番目にイントラモード（Ｉ）でデコードし、これを背景画像として一時保存する。

２番目もイントラモード（Ｉ）でデコードし、これを背景画像として一時保存する。この時、１番目を出力する。３番目にインターモード（Ｐ）でデコードし、背景選択信号も復号する。デコードした任意形状画像と先の背景画像から背景選択信号に基づき、このフレームの合成画像を生成・出力する。４番目と５番目も同様に、インターモード（Ｐ）でデコードし、デコードした任意形状画像と先の背景画像から背景選択信号に基づき、このフレームの合成画像を生成・出力する。

６番目がイントラモードであるために、この時に直前の背景フレームを出力する。その後、前々の背景画像（この場合は１番目の背景画像）を廃棄し、現背景画像を前背景画像とし、復号した背景画像を現背景画像とする。以下この繰り返しとなる。この順序逆変換により、正しい出力順序が得られることになる。

したがって、復号後の画像６２１、６２２、６２３、６２４が図４のフレーム列（５０１、５０２、５０３、５０４）に対応し、図７の復号側と図１の符号化側の処理とが完全に対応することとなる。

上述したように、第２の実施の形態に係る画像処理装置によれば、あらかじめ背景画像を用意するような構成を採らなくても、一連のシーケンスの中から背景画像と任意形状画像を復号・合成することにより、シーンに限定されない汎用的な高能率復号化システムを実現することができる。また、シーンチェンジが生じても背景画像を選択できるので符号化効率の損失は発生しない。

＜第３の実施の形態＞
次に、本発明の第３の実施の形態について、説明する。
図１１は、第１の実施の形態の図２に記した背景画像選択部１０４の詳細を表した別なブロック図である。図１１において、図２の機能と同じ機能を果たすものについては同番号を付して、詳細な説明を省略する。

図１１において、入力された背景画像が第１の実施の形態同様に第１の背景メモリ２９０１、第２の背景メモリ２９０２に格納される。平均器３００１は第１の背景メモリ２９０１と第２の背景メモリ２９０２から画素データを読み出し、平均画像を生成する。第１の背景メモリ２９０１の（ｘ、ｙ）位置の画素データをＡ（ｘ，ｙ）、第２の背景メモリ２９０２の（ｘ、ｙ）位置の画素データをＢ（ｘ，ｙ）としたとき、下記の（１）式に従って平均画像の（ｘ、ｙ）位置の画素データをＣ（ｘ，ｙ）を算出する。
Ｃ（ｘ，ｙ）＝（Ａ（ｘ，ｙ）＋Ｂ（ｘ，ｙ））／２ … （１）

第１の実施の形態と同様に、第１の差分器２９０３、第２の差分器２９０２は入力画像と第１の背景メモリ２９０１、２９０２との内容を画素単位で差分を求める。絶対値加算器２９０５、２９０６はそれぞれ算出された差分の絶対値和を1フレーム分求める。差分器３００２は平均器３００１で生成された平均画像と入力画像とで画素単位で差分を求める。絶対値加算器３００３は算出された差分の絶対値和を1フレーム分求める。

比較器３００４は絶対値加算器２９０５、２９０６、３００３の出力を比較し、最小のものを背景画像として選択する。セレクタ３００５は比較器３００４で最小と判定された背景画像を第１の背景メモリ２９０１、２９０２または平均器３００１から選択して形状データ生成部１０３に出力する。また、背景選択符号化部１０５は第1の実施の形態の背景選択符号で未使用の"１１"を用い、この符号が平均画像を背景画像とすることを表すものとする。

図１２は、形状データ生成までの処理手順を説明するフローチャートである。第１の実施の形態における図３と同じ機能を果たすものは同番号を付し、説明を省略する。
図３との違いは、ステップＳ１００９とステップＳ１０１０の間にステップＳ３２１０が入り、ステップＳ３２０１で、前後の背景画像から平均の背景画像を算出することが異なる。ステップＳ１０１０でも前後の背景画像との差分に加え、背景の平均画像もその選択の対象となる。

図１３に、その様子を表す。図１３において３１０１と３１０３を背景画像とすると、背景が徐々に変化しているとする。この時、３１０２の背景はその中間の値である。入力したフレーム列が３１０１、３１０２、３１０３の順であり、３１０１と３１０３が背景フレームであるとする。３１０２の画像は３１０３の背景フレームが入力されるまで、一時保存される。

フレーム列３１０３が入力されると、フレーム列（３１０１、３１０３、３１０２）の順に順序変換される。背景フレームの形状データは全画素がオブジェクトであるとするので、フレーム列３１１１及び３１１４のようになる。フレーム列３１０２の形状データは、フレーム列３１０１、フレーム列３１０３、及びフレーム列３１０１とフレーム列３１０３の画素毎の平均で構成される平均画像とを比較した結果、平均画像との類似度が高い。

このため、平均画像との差分より求めるので、フレーム列３１１２のようになる。それ以外だと全面がオブジェクトとされてしまい、背景画像と同じ符号化を行なうことになる。複数の背景画像及び背景の平均画像から類似度の高い背景画像を選択することにより、精度の高いオブジェクトを抽出できる。

復号においても、第２の実施の形態と同様であるが、背景選択復号化部２０３は"１１"を復号したとき、平均画像を生成することを背景選択部２０４に伝え、背景選択部２０４は前後の背景から平均画像を生成して画像合成部２０１に入力する。これによって、合成される背景も変化し、好適な合成画像を再生することができる。

上述したように、第３の実施の形態に係る画像処理装置によれば、あらかじめ背景画像を用意するような構成を採らなくても、一連のシーケンスの中から背景画像と任意形状画像を復号・合成することにより、シーンに限定されない汎用的な高能率復号化システムを実現することができる。また、符号化効率の損失を生じることなく背景画像の時間的な変化にも対応できる。

なお、本実施の形態で平均画像の生成を（１）式のように平均で求めたが、これに限定されず、入力画像と各背景画像との時間的な差分を重みとして平均を行なっても構わない。すなわち、前の背景画像の時刻をｔ１、後の背景画像の時刻をｔ３とし、入力画像の時刻をｔ２とした時、（２）式のように平均画像を求めることができる。
Ｃ（ｘ，ｙ）＝（Ａ（ｘ，ｙ）／（ｔ２−ｔ１））＋（Ｂ（ｘ，ｙ）／（ｔ３−ｔ２）） …（２）
これにより、背景画像の変化をより的確に算出することが可能になる。

＜他の実施の形態＞
尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、カメラ、ディスプレイ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、カムコーダ、ビデオテープレコーダ、等）に適用してもよい。

また、本発明の目的は、前述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

本発明を前記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の第１の実施の形態における画像処理装置の構成を示すブロック図である。 背景選択部の構成を示すブロック図である。 本発明の第１の実施の形態に係る形状データの生成手順を説明するためのフローチャートである。 本発明の第１の実施の形態における形状データと画像データの処理について説明するための図である。 本発明の実施の形態に係る背景フレームの設定手順を説明するためのフローチャートである。 本発明の第１の実施の形態における順序変換処理について説明するための図である。 本発明の第２の実施の形態における画像処理装置の構成を示すブロック図である。 本発明の第２の実施の形態に係る画像データの合成手順を説明するためのフローチャートである。 本発明の第２の実施の形態における形状データと画像データの処理について説明するための図である。 本発明の第２の実施の形態における順序逆変換処理について説明するための図である。 第３の実施の形態を示し、背景画像選択部の詳細を表したブロック図である。 第３の実施の形態を示し、形状データ生成までの処理手順を説明するフローチャートである。 第３の実施の形態において、前後の背景画像から平均の背景画像を算出する様子を示す図である。 従来例に係る符号化側の画像処理装置の構成を示すブロック図である。 従来例に係る符号化側の画像処理装置の構成を示すブロック図であり、特に画像分離部の処理について説明するための図である。 従来例に係る符号化側の形状データと画像データの処理について説明するための図である。 任意形状符号化部の構成を示すブロック図である。 従来例に係る復号化側の画像処理装置の構成を示すブロック図である。 従来例に係る復号化側の画像処理装置の構成を示すブロック図であり、特に画像表示部の処理について説明するための図である。 任意形状復号化部の構成を示すブロック図である。

符号の説明

１０１ 画像選択部
１０２ 順序変換部
１０３ 形状データ生成部
１０４、２０４ 背景選択部
１０５ 背景選択符号化部
２０１ 画像合成部
２０２ 順序逆変換部
２０３ 背景選択復号化部
２１０１ 画像入力部
２１０５ 任意形状符号化部
２１０６ 多重化部
２２０１ 分離部
２２０５ 画像出力部

Claims (15)

1. 複数のフレームから構成される動画像データを入力する動画像入力手段と、
   前記動画像入力手段により入力した動画像データの中から背景画像とするフレームと、任意形状画像とするフレームとを選択する画像選択手段と、
   前記画像選択手段により選択された背景画像のフレームから入力画像のフレームと比較する背景画像のフレームを選択する背景選択手段と、
   前記背景選択手段により選択された背景画像と、入力画像とを比較し、これらの画像の差分値から形状データを生成する形状データ生成手段と、
   前記動画像入力手段により入力した入力画像を形状データと共に任意形状画像として符号化する画像符号化手段と、
   前記背景選択手段の選択状況を示すデータを符号化する背景選択符号化手段とを有することを特徴とする画像処理装置。
2. 前記画像符号化手段は、前記画像選択手段によるフレームの選択状態に基づきフレームの順序を入れ換えて符号化することを特徴とする請求項１に記載の画像処理装置。
3. 前記形状データ生成手段は、前記背景画像を入力し、前記背景画像に対して形状データを全画素オブジェクトとして出力することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像選択手段は、一定の周期で背景画像とするフレームを設定することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記背景選択手段は、任意形状画像のフレームにおける前後の背景画像のフレームから選択することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
6. 前記背景選択手段は、前後の背景画像におけるフレームの平均画像を新たな背景画像フレームとして生成する平均背景画像生成手段を備えることを特徴とする請求項５に記載の画像処理装置。
7. 前記平均背景画像生成手段は、任意形状画像からの距離に応じて加重平均を用いて背景画像フレームを生成することを特徴とする請求項６に記載の画像処理装置。
8. 入力された動画像データの中から背景画像とするフレームと任意形状画像とするフレームとを区別し、前記区別された背景画像のフレームから入力画像のフレームと比較する背景画像のフレームを選択し、前記選択された背景画像と入力画像とを比較し、これらの画像の差分値から形状データを生成し、前記入力された動画像データを形状データと共に任意形状画像として符号化して得られた符号化された動画像データと前記選択された背景画像の選択状況を示すデータを符号化して得られた情報データとを入力する入力手段と、
   前記情報データに基づいて前記符号化された動画像データを復号化する復号化手段とを有することを特徴とする画像処理装置。
9. 前記入力画像と比較された背景画像は、前記区別された複数の背景画像のフレームの平均画像であることを特徴とする請求項８に記載の画像処理装置。
10. 前記平均画像は、前記区別された複数の背景画像を比較対象の入力画像からの距離に応じて加重平均を用いて生成されたこと特徴とする請求項９に記載の画像処理装置。
11. 複数のフレームから構成される動画像データを入力する動画像入力工程と、
    前記動画像入力工程で入力した動画像データの中から背景画像とするフレームと、任意形状画像とするフレームとを選択する画像選択工程と、
    前記画像選択工程で選択された背景画像のフレームから入力画像のフレームと比較する背景画像のフレームを選択する背景選択工程と、
    前記背景選択工程で選択された背景画像と、入力画像とを比較し、これらの画像の差分値から形状データを生成する形状データ生成工程と、
    前記動画像入力工程で入力した入力画像を形状データと共に任意形状画像として符号化する画像符号化工程と、
    前記背景選択工程の選択状況を示すデータを符号化する背景選択符号化工程とを有することを特徴とする画像処理方法。
12. 入力された動画像データの中から背景画像とするフレームと任意形状画像とするフレームとを区別し、前記区別された背景画像のフレームから入力画像のフレームと比較する背景画像のフレームを選択し、前記選択された背景画像と入力画像とを比較し、これらの画像の差分値から形状データを生成し、前記入力された動画像データを形状データと共に任意形状画像として符号化して得られた符号化された動画像データと前記選択された背景画像の選択状況を示すデータを符号化して得られた情報データとを入力する入力工程と、
    前記情報データに基づいて前記符号化された動画像データを復号化する復号化工程とを有することを特徴とする画像処理方法。
13. 複数のフレームから構成される動画像データを入力する動画像入力工程と、
    前記動画像入力工程で入力した動画像データの中から背景画像とするフレームと、任意形状画像とするフレームとを選択する画像選択工程と、
    前記画像選択工程で選択された背景画像のフレームから入力画像のフレームと比較する背景画像のフレームを選択する背景選択工程と、
    前記背景選択工程で選択された背景画像と、入力画像とを比較し、これらの画像の差分値から形状データを生成する形状データ生成工程と、
    前記動画像入力工程で入力した入力画像を形状データと共に任意形状画像として符号化する画像符号化工程と、
    前記背景選択工程の選択状況を示すデータを符号化する背景選択符号化工程とを有する画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
14. 入力された動画像データの中から背景画像とするフレームと任意形状画像とするフレームとを区別し、前記区別された背景画像のフレームから入力画像のフレームと比較する背景画像のフレームを選択し、前記選択された背景画像と入力画像とを比較し、これらの画像の差分値から形状データを生成し、前記入力された動画像データを形状データと共に任意形状画像として符号化して得られた符号化された動画像データと前記選択された背景画像の選択状況を示すデータを符号化して得られた情報データとを入力する入力工程と、
    前記情報データに基づいて前記符号化された動画像データを復号化する復号化工程とを有する画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
15. 前記請求項１３または１４に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images