JP2004289284A - 画像処理方法および画像処理装置ならびに画像処理プログラム - Google Patents
画像処理方法および画像処理装置ならびに画像処理プログラム Download PDFInfo
- Publication number
- JP2004289284A JP2004289284A JP2003076243A JP2003076243A JP2004289284A JP 2004289284 A JP2004289284 A JP 2004289284A JP 2003076243 A JP2003076243 A JP 2003076243A JP 2003076243 A JP2003076243 A JP 2003076243A JP 2004289284 A JP2004289284 A JP 2004289284A
- Authority
- JP
- Japan
- Prior art keywords
- data
- encoded data
- triangular
- frame
- coded data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】動画の符号化を少ない計算量、メモリ量で実現する。
【解決手段】画像入力手段１に入力された画像を１つ以上の正方形領域に分割する正方形領域分割手段２と、分割されたぞれぞれの正方形領域を再帰的に三角形領域に分割する再帰的三角形領域分割手段３と、分割された三角形領域を符号化する符号化データ生成ステップ５と、生成された個々のフレーム対応の符号化データに対しフレーム間相関を用い、現フレームに対する符号化データを前フレームの符号化データで置換できるか否かを判定し、前フレームの符号化データで置換できると判定された場合は、それを示す情報を出力する符号化データ差分化手段２０（符号化データ記憶手段７、前フレーム符号化データ記憶手段８、符号化データ比較手段９、符号化データ選択手段１０からなる）と、この符号化データ差分化手段２０により生成された符号化データを出力する符号化データ出力手段６とを有する。
【選択図】 図３５
【解決手段】画像入力手段１に入力された画像を１つ以上の正方形領域に分割する正方形領域分割手段２と、分割されたぞれぞれの正方形領域を再帰的に三角形領域に分割する再帰的三角形領域分割手段３と、分割された三角形領域を符号化する符号化データ生成ステップ５と、生成された個々のフレーム対応の符号化データに対しフレーム間相関を用い、現フレームに対する符号化データを前フレームの符号化データで置換できるか否かを判定し、前フレームの符号化データで置換できると判定された場合は、それを示す情報を出力する符号化データ差分化手段２０（符号化データ記憶手段７、前フレーム符号化データ記憶手段８、符号化データ比較手段９、符号化データ選択手段１０からなる）と、この符号化データ差分化手段２０により生成された符号化データを出力する符号化データ出力手段６とを有する。
【選択図】 図３５
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理方法及び画像処理装置並びに画像処理プログラムに関する。特に、画像を正方形領域とし、その正方形領域を三角形領域に分割し、分割された三角形領域に対し画像処理行う画像処理技術を用い、動画データを符号化し、それを復号化する画像処理方法および画像処理装置ならびに画像処理プログラムに関する。
【０００２】
【従来の技術】
動画信号を高い効率で圧縮、伸張する動画符号化技術は、携帯電話機やインタネットの普及、およびそれらの上でのマルチメディア通信に対する要求とともにその必要性が高まっている。
【０００３】
この動画符号化技術においては、小型の携帯機器での処理を可能とするために、低いビットレートを実現できるように符号化効率が高いこと、その処理の際の計算量、メモリ量が少ないことが求められている。さらに、符号化処理が専用機ではなく、汎用機器上で実行される場合、その機器で並行に処理される他の処理の負荷変動に対する柔軟な対応が可能であることなどが要求される。
【０００４】
動画を符号化する方法として、それぞれのフレームのデータをフレームごとに独立した静止画データとして符号化する方法がある。この例としては、モーションＪＰＥＧなどがある。この方法は、符号化された個々のフレームが独立しているために、編集時や早送り、巻き戻し操作が容易であるなどの特徴がある。
【０００５】
また、画像入力が可能である機器の多くが静止画処理のためのハードウエアを持っていることが多く、それを利用できるという利点がある。しかし、動画としての符号化効率は高いとはいえない。
【０００６】
動画の符号化効率を高めるための符号化方法として、前フレームデータとの差分のみを符号化する方法がある。これは、動画データにおいて、それぞれのフレーム間のデータの相関が大きいということを利用したものである。さらに、この方法には、前フレームデータと現フレームデータとの間で、対象物の動きを考慮して差分を求める場合と、動きを考慮しないで差分を求める場合とに分けることができる。
【０００７】
対象物の動きを考慮した差分とは、動き補償処理とも呼ばれ、前フレームのある範囲のデータが、現フレームの異なる位置にあるか否かを考慮するものである。たとえば、前フレームデータの一部が、現フレームデータ上においては、ある方向へ移動しているということは動画においては頻繁に現れる状況である。このような場合、動き補償処理では、前フレームデータのどの領域が、どの方向へどれだけ動いたという動きベクトルと呼ばれる情報が符号化される。これは、動きを考慮しない差分と比較すると、符号化するデータ量を少なくすることができる特徴がある。この具体例としては、Ｈ．２６１などの符号化ある。
【０００８】
一方、対象物の動きを考慮しない差分とは、単純に前フレームデータと現フレームデータとの間で、対応する位置のデータにどれだけの差分があるかということである。この差分が小さいとされた領域は、前フレームデータをそのまま用いることで処理され、前フレームデータを用いるという情報のみが符号化される。この処理は、動き補償処理において、動きベクトルが０である特殊な場合と考えることもできる。その意味で、動き補償を含む処理のほうがより一般的なものであるが、このように仮定することにより、処理を非常に軽くすることができる特徴がある。
【０００９】
上述したそれぞれの符号化方法はリアルタイムの動画を符号化する場合を想定したものであるが、蓄積された動画符号化においては、参照するフレームデータは直前のフレームデータのみではなく、過去の複数のフレームデータ、さらに、未来の複数のフレームデータとの差分を求める方法もある。この具体例としては、ＭＰＥＧにおける動画符号化などがある。
【００１０】
ここで、従来の一般的な符号化方法について説明する。図５４はＨ．２６１の符号化方式を説明する図であり、概略的には、画像データ入力手段２０１、動き補償手段２０２、データ選択手段２０３、ＤＣＴ（離散コサイン変換）手段２０４、量子化手段２０５、逆量子化手段２０６、逆ＤＣＴ手段２０７、データ記憶手段２０８、符号化手段２０９、符号化データ出力手段２１０などを有した構成となっている。
【００１１】
このような構成において、画像データ入力手段２０１に入力された１フレーム分の画像データは、それが差分モードで符号化される場合は動き補償手段２０２で処理される。
【００１２】
データ選択手段２０３は、差分モードで符号化される場合においては、動き補償手段２０２による動き補償後のデータを選択し、差分モードではない場合においては、画像データ入力手段２０１により与えられるデータそのものを選択する。
【００１３】
このデータ選択手段２０３で選択されたデータは、ＤＣＴ手段２０４によって周波数データへ変換され、得られたＤＣＴ係数を量子化手段２０５によって量子化し、符号化手段２０９で符号化することによりデータが圧縮される。
【００１４】
また、量子化されたデータを逆量子化手段２０６によって逆量子化し、逆ＤＣＴ手段２０７によって逆量子化することによって得られたデータは、データ記憶手段２０８に記憶され、次のフレームのデータでの差分化処理のための前フレームデータとして用いられる。これは、復号処理側で参照可能な前フレームデータは、符号化されたデータから復号されたデータのみであることに対応する。
【００１５】
ここで、動き補償処理は任意の大きさの領域で行われるものではなく、マクロブロックと呼ばれる１６画素×１６画素の正方形領域を単位として行われる。また、ＤＣＴ処理などの空間周波数への変換処理は、位置に対する情報を分散させてしまうために、動き補償処理は入力された画像に対するＤＣＴ処理、量子化処理などが施される前に実行される必要がある。
【００１６】
この符号化処理において、ＤＣＴ処理なども大きな計算量が必要な処理であるが、動き補償処理もまた大きな計算量を必要とする処理である。つまり、動きベクトルを求める処理は、各々のブロックに対し、
【００１７】
【数１】
【００１８】
により与えられる誤差Ｅｒｒ（ｉ，ｊ）が最小となり、かつ、それが、所定の値よりも小さくなるようなｉとｊを求めるような処理である。
【００１９】
上述の（１）式においては、二乗誤差を評価基準として用いることを想定しており、Ｄ（ｘ，ｙ）は、ある座標（ｘ、ｙ）におけるデータ（画素）値を示すものとする。同様に、Ｐ（ｘ＋ｉ，ｙ＋ｊ）における前フレームのデータ（画素）値を示すものとする。ここで、値（ｉ，ｊ）が動きベクトルを表す。また、Ｌは処理対象とする正方形ブロックの大きさを表す。この演算処理の結果、ある動きベクトル（ｉ，ｊ）に対する差異Ｅｒｒ（ｉ，ｊ）が求められる。
【００２０】
Ｈ．２６１の符号化方式においては、Ｌ＝１６である。また、１組のｉとｊの範囲としては、−１５から＋１５の範囲の計算を行う。そのため、単純に実行すれば、（１）式を９００回以上の行うことが必要となる。
【００２１】
また、この動き補償処理は、マクロブロックという正方形領域を用いた処理であるため、その中の小さな部分において動きがあった場合でも、そのブロック全体の処理が必要となる。また、動き補償においてブロックをコピーする場合、そのブロックの境界に不連続が生じる可能性がある。
【００２２】
この演算量の多さや不連続性の改善を図る技術の例として、特開平８−３７６６４号公報に記載の技術「動画像符号化／復号化装置」や特開平１０−３４１４４１号公報に記載の技術「二次元三角パッチ線格子モデルを用いた動画像の動き推定方法」などがある。
【００２３】
特開平８−３７６６４号公報に記載の技術は、その公報に記載された図２に見られるように、入力データから代表点を求め、それらを結ぶ三角形領域を設定し、この代表点の移動より、フレーム間での動きベクトルを求めるものである。この代表点およびそれらを結ぶ三角形領域は、対象となるデータに依存し、任意の位置、任意の大きさに取ることができる。これにより、動き補償の演算量を削減し、かつ、前フレームからの、より滑らかな動きや変形を可能とすることができる。
【００２４】
一方、特開平１０−３４１４４１号公報に記載の技術は、上述の特開平８−３７６６４号公報に記載の技術とは異なり、その公報に記載された図３に示されるように、入力データ全体に対し、マクロブロックを対角線で２分割した二次元三角パッチ線格子モデルと呼ぶ小さな二次元三角形よりなる格子を当てはめる。その後、その公報に記載された図２に示されるように、その三角形領域の頂点を基準に、動きベクトルを計算する。そして、求められた動きベクトルをもとに、その公報に記載された図５（ｃ）に示されるように、三角パッチ線格子が変形させせられる。これにより、最終的には特開平８−３７６６４号公報に記載の技術と同様に、演算量を削減し、前フレームからの、より滑らかな動きや変形を可能とすることができる。
【００２５】
【特許文献１】
特開平８−３７６６４号公報
【特許文献２】
特開平１０−３４１４４１号公報
【００２６】
【発明が解決しようとする課題】
しかしながら、特開平８−３７６６４号公報に記載の技術においては、代表点を求めること自体に多くの計算量を必要とし、また、代表点が誤検出された場合は、非常に大きな画質劣化を招くといった問題がある。また、特開平１０−３４１４４１号公報においても、動きベクトルを求めるに多くの計算量が必要となる。
【００２７】
動き補償処理は、動画の圧縮効率を大きく改善するものである。しかし、さまざまな改善手段はあるものの、動き補償処理には依然として非常に大きな計算量、メモリ量を必要とし、たとえば、携帯型情報機器のようなハードウエア能力、電源能力などに大きな制約のある状況下での使用は困難である場合が多い。また、専用ハードウエア化は、それらの課題を改善するものであるが、汎用性、コストの面での新たな問題点が出てくる。
【００２８】
また、動画符号化処理が、汎用機器の上で他の処理と並行して行われる場合、他の処理の負荷変動に依存して、動画符号化処理に割り当てられる計算能力を柔軟に変化させることができる方がより好都合である。
【００２９】
しかし、従来例のように、動き補償処理が処理の最前段に存在する場合（図５４参照）、動き補償処理は符号化処理と一体化しており、負荷変動に対応することは困難であった。また、動き補償処理が処理の最前段に存在するということは、得られた符号化データ量が目標とする符号化データ量ではなく、リトライを行う場合、動き補償処理にまで遡って、多くの処理をやり直す必要があるため、リトライ時の演算量が多くなるという問題もある。
【００３０】
そこで本発明は、動画の符号化および復号化を少ない計算量、少ないメモリ量で実現できる画像処理方法および画像処理装置ならびに画像処理プログラムを提供することを目的としている。
【００３１】
【課題を解決するための手段】
本発明は、動画データの符号化および復号化を行うものであるが、その符号化および復号化を行うに際して、処理対象となる画像を正方形とすることが前提である。この画像の正方形化を行う際、処理対象画像を１つ以上の正方形領域に分割する方法、もう１つは処理対象画像を正方形に変形させることで１つの正方形領域を生成する方法が考えられるが、本発明では前者、すなわち、処理対象画像を１つ以上の正方形領域に分割する方法を採用する。
【００３２】
まず、本発明の画像処理方法について言えば、この画像処理方法の符号化側は、動画を構成する連続した個々のフレーム対応の画像データをフレーム間相関を用いて符号化する画像処理方法であって、その画像処理手順として、フレーム対応の画像データを入力する画像入力ステップと、入力されたフレーム対応の画像データを１つ以上の正方形領域に分割する正方形領域分割ステップと、分割されたぞれぞれの正方形領域を再帰的に三角形領域に分割する再帰的三角形領域分割ステップと、分割された三角形領域を符号化する符号化データ生成ステップと、この符号化データ生成ステップによって生成された個々のフレーム対応の符号化データに対しフレーム間相関を用い、現フレームに対する符号化データを前フレームの符号化データで置換できるか否かを判定し、前フレームの符号化データで置換できると判定された場合は、それを示す情報を出力する符号化データ差分化ステップと、この符号化データ差分化ステップの判定結果に基づいた符号化データを出力する符号化データ出力ステップとを含むことを特徴としている。
【００３３】
このような画像処理方法において、前記符号化データ差分化ステップは、前記個々のフレーム対応の符号化データを現フレーム符号化データとし、この現フレーム符号化データと前フレーム符号化データとをそれぞれの対応する三角形領域で比較し、その差異の大きさが所定値未満であるか否かを判定し、差異が所定値未満である場合には、当該三角形領域における現フレーム符号化データを前フレーム符号化データで置換することを示す情報を出力し、差異が所定値以上である場合には、当該三角形領域は現フレームの符号化データを出力するようにしている。
【００３４】
また、この画像処理方法において、前記再帰的に分割されたそれぞれの三角形領域を、その元となる正方形領域を根とする２分木で表現し、前記符号化データ差分化ステップは、前記前フレーム符号化データに対応する２分木の最終階層の三角形領域と現フレーム符号化データに対応する２分木の最終階層の三角形領域について、両者の差異を求め、その差異の大きさに基づいて当該三角形領域が前フレームの同じ領域の符号化データで置換できるか否かを判定し、それよりも上位の階層の三角形領域においては、自身を２分割して得られた２つの三角形領域がともに前フレームの同じ領域の符号化データで置換できる場合に、自身の三角形領域も前フレームの同じ領域の符号化データで置換できると判定するようにしている。
【００３５】
また、この画像処理方法において、前記前フレーム符号化データで置換することを示す情報は、当該前フレーム符号化データで置換するとされた最上位の三角形領域のみに付されるようにしている。
【００３６】
また、本発明の画像処理方法の復号化側は、動画を構成する連続した個々のフレーム対応の画像データが、１つ以上の正方形領域に分割され、そのそれぞれの正方形領域が再帰的三角形領域分割処理されたのち、その分割された三角形領域が符号化され、かつ、当該処理対象となるフレーム対応の画像データがフレーム間相関を用いて符号化されてなり、この符号化データを復号化する画像処理方法であって、その画像処理手順として、符号化データを入力する符号化データ入力ステップと、この符号化データ入力ステップに入力された符号化データを解析する符号化データ解析ステップと、この符号化データ解析ステップによる解析結果に基づいて、前フレーム符号化データを選択するか現フレーム符号化データを選択するかを判定する符号化データ選択判定ステップと、この符号化データ選択判定ステップの判定結果に基づいて、再帰的に三角形領域を合成する再帰的三角形領域合成ステップと、合成された三角形領域により正方形領域を合成する正方形領域合成ステップと、合成された正方形領域から画像データを復元して出力する画像データ出力ステップとを含むことを特徴としている。
【００３７】
このような画像処理方法において、前記符号化データ選択判定ステップが行う前フレーム符号化データを選択するか現フレーム符号化データを選択するかの判定は、前フレームデータで置換することを示す情報に基づいて行い、ある三角形領域に前フレームデータで置換することを示す情報が与えられている場合には、当該三角形領域より下の階層の三角形領域全体を、前フレームの同じ領域の符号化データを用いて復号化するようにしている。
【００３８】
また、本発明の画像処理装置の符号化側は、動画を構成する連続した個々のフレーム対応の画像データをフレーム間相関を用いて符号化する画像処理装置であって、その構成要素として、画像データを入力する画像入力手段と、入力された画像データを１つ以上の正方形領域に分割する正方形領域分割手段と、分割されたぞれぞれの正方形領域を再帰的に三角形領域に分割する再帰的三角形領域分割手段と、分割された三角形領域を符号化する符号化データ生成手段と、この符号化データ生成手段によって生成された個々のフレーム対応の符号化データに対しフレーム間相関を用い、現フレームに対する符号化データを前フレームの符号化データで置換できるか否かを判定し、前フレームの符号化データで置換できると判定された場合は、それを示す情報を出力する符号化データ差分化手段と、この符号化データ差分化手段の判定結果に基づいた符号化データを出力する符号化データ出力手段とを含むことを特徴としている。
【００３９】
このような画像処理装置において、前記符号化データ差分化手段は、前記個々のフレーム対応の符号化データを現フレーム符号化データとし、この現フレーム符号化データと前フレーム符号化データとをそれぞれの対応する三角形領域で比較し、その差異の大きさが所定値未満であるか否かを判定し、差異が所定値未満である場合には、当該三角形領域における現フレーム符号化データを前フレーム符号化データで置換することを示す情報を出力し、差異が所定値以上である場合には、当該三角形領域は現フレームの符号化データを出力するようにしている。
【００４０】
また、この画像処理装置において、前記再帰的に分割されたそれぞれの三角形領域を、その元となる正方形領域を根とする２分木で表現し、前記符号化データ差分化手段は、前フレーム符号化データに対応する２分木の最終階層の三角形領域と現フレーム符号化データに対応する２分木の最終階層の三角形領域について、両者の差異を求め、その差異の大きさに基づいて当該三角形領域が前フレームの同じ領域の符号化データで置換できるか否かを判定し、それよりも上位の階層の三角形領域においては、自身を２分割して得られた２つの三角形領域がともに前フレームの同じ領域の符号化データで置換できる場合に、自身の三角形領域も前フレームの同じ領域の符号化データで置換できると判定するようにしている。
【００４１】
また、この画像処理装置において、前記前フレーム符号化データで置換することを示す情報は、当該前フレーム符号化データで置換するとされた最上位の三角形領域のみに付されるようにしている。
【００４２】
また、本発明の画像処理装置の復号化側は、動画を構成する連続した個々のフレーム対応の画像データが１つ以上の正方形領域に分割され、そのそれぞれの正方形領域が再帰的三角形領域分割処理されたのち、その分割された三角形領域が符号化され、かつ、当該処理対象となるフレーム対応の画像データがフレーム間相関を用いて符号化されてなり、この符号化データを復号化する画像処理装置であって、その構成要素として、符号化データを入力する符号化データ入力手段と、この符号化データ入力手段に入力された符号化データを解析する符号化データ解析手段と、この符号化データ解析手段による解析結果に基づいて、前フレーム符号化データを選択するか現フレーム符号化データを選択するかを判定する符号化データ選択判定手段と、この符号化データ選択判定手段の判定結果に基づいて、再帰的に三角形領域を合成する再帰的三角形領域合成手段と、合成された三角形領域により正方形領域を合成する正方形領域合成手段と、合成された正方形領域から画像データを復元して出力する画像データ出力手段とを含むことを特徴としている。
【００４３】
このような画像処理装置において、前記符号化データ選択判定手段が行う前フレーム符号化データを選択するか現フレーム符号化データを選択するかの判定は、前フレーム符号化データで置換することを示す情報に基づいて行い、ある三角形領域に前フレーム符号化データで置換することを示す情報が与えられている場合には、当該三角形領域より下の階層の三角形領域全体を、前フレームの同じ領域の符号化データを用いて復号化するようにしている。
【００４４】
また、本発明の画像処理プログラムの符号化側は、動画を構成する連続した個々のフレーム対応の画像データをフレーム間相関を用いて符号化する画像処理方法であって、その画像処理手順として、フレーム対応の画像データを入力する画像入力ステップと、入力されたフレーム対応の画像データを１つ以上の正方形領域に分割する正方形領域分割ステップと、分割されたぞれぞれの正方形領域を再帰的に三角形領域に分割する再帰的三角形領域分割ステップと、分割された三角形領域を符号化する符号化データ生成ステップと、この符号化データ生成ステップによって生成された個々のフレーム対応の符号化データに対しフレーム間相関を用い、現フレームに対する符号化データを前フレームの符号化データで置換できるか否かを判定し、前フレームの符号化データで置換できると判定された場合は、それを示す情報を出力する符号化データ差分化ステップと、この符号化データ差分化ステップの判定結果に基づいた符号化データを出力する符号化データ出力ステップとを含むことを特徴としている。
【００４５】
このような画像処理プログラムにおいて、前記符号化データ差分化ステップは、前記個々のフレーム対応の符号化データを現フレーム符号化データとし、この現フレーム符号化データと前フレーム符号化データとをそれぞれの対応する三角形領域で比較し、その差異の大きさが所定値未満であるか否かを判定し、差異が所定値未満である場合には、当該三角形領域における現フレーム符号化データを前フレーム符号化データで置換することを示す情報を出力し、差異が所定値以上である場合には、当該三角形領域は現フレームの符号化データを出力するようにしている。
【００４６】
また、この画像処理プログラムにおいて、前記再帰的に分割されたそれぞれの三角形領域を、その元となる正方形領域を根とする２分木で表現し、前記符号化データ差分化ステップは、前記前フレーム符号化データに対応する２分木の最終階層の三角形領域と現フレーム符号化データに対応する２分木の最終階層の三角形領域について、両者の差異を求め、その差異の大きさに基づいて当該三角形領域が前フレームの同じ領域の符号化データで置換できるか否かを判定し、それよりも上位の階層の三角形領域においては、自身を２分割して得られた２つの三角形領域がともに前フレームの同じ領域の符号化データで置換できる場合に、自身の三角形領域も前フレームの同じ領域の符号化データで置換できると判定するようにしている。
【００４７】
また、この画像処理プログラムにおいて、前記前フレーム符号化データで置換することを示す情報は、当該前フレーム符号化データで置換するとされた最上位の三角形領域のみに付されるようにしている。
【００４８】
また、本発明の画像処理プログラムの復号化側は、動画を構成する連続した個々のフレーム対応の画像データが、１つ以上の正方形領域に分割され、そのそれぞれの正方形領域が再帰的三角形領域分割処理されたのち、その分割された三角形領域が符号化され、かつ、当該処理対象となるフレーム対応の画像データがフレーム間相関を用いて符号化されてなり、この符号化データを復号化する画像処理方法であって、その画像処理手順として、符号化データを入力する符号化データ入力ステップと、この符号化データ入力ステップに入力された符号化データを解析する符号化データ解析ステップと、この符号化データ解析ステップによる解析結果に基づいて、前フレーム符号化データを選択するか現フレーム符号化データを選択するかを判定する符号化データ選択判定ステップと、この符号化データ選択判定ステップの判定結果に基づいて、再帰的に三角形領域を合成する再帰的三角形領域合成ステップと、合成された三角形領域により正方形領域を合成する正方形領域合成ステップと、合成された正方形領域から画像データを復元して出力する画像データ出力ステップとを含むことを特徴としている。
【００４９】
このような画像処理プログラムにおいて、前記符号化データ選択判定ステップが行う前フレーム符号化データを選択するか現フレーム符号化データを選択するかの判定は、前フレームデータで置換することを示す情報に基づいて行い、ある三角形領域に前フレームデータで置換することを示す情報が与えられている場合には、当該三角形領域より下の階層の三角形領域全体を、前フレームの同じ領域の符号化データを用いて復号化するようにしている。
【００５０】
このように本発明は、画像を正方形領域とした上で処理を行うものであり、その符号化側では、処理対象となる画像データを符号化するに際して、処理対象の画像データを１つ以上の正方形領域に分割し、取り出された正方形を再帰的に三角形領域に分割し、得られたそれぞれの三角形領域の３頂点の画素情報（以下では画素値という）と斜辺中点の画素値を得るようにしている。このとき、再帰的分割処理によって得られるそれぞれの三角形の型は、元の正方形に対する分割の仕方を決めておけば、あとは分割順にしたがって自動的に決めることができる。また、それぞれの三角形の頂点の画素値は正方形の持っている画素値をそのまま継承でき、斜辺中点の画素値も元の正方形から求めることができる。そして、このような再帰的三角形分割処理による三角形の型と保持すべき画素値（斜辺中点画素値）を２分木で表現でき、その２分木に基づいて１次元化された符号化データとして出力することができる。
【００５１】
これによれば、処理対象となる画像データを符号化する際、符号化を行う際に保持あるいは伝送すべきデータはごく少量ですみ、それによって、演算を大幅に簡略化することができるとともにメモリの使用量を大幅に減らすことができる。
【００５２】
また、本発明ではこの画像処理技術を用いて動画の符号化およびその復号化を行うものであり、その動画符号化は、処理対象となるフレーム対応の画像をフレーム間相関を用いるが動き補償処理は行わずに符号化するものである。このように本発明は、動き補償処理を用いないので、動きベクトルを求めるために多くの計算量、メモリ量を必要としていた従来技術に比べると、計算量やメモリ量を大幅に削減できる効果がある。
【００５３】
また、符号化したあとのデータのみを用いてフレーム間の差分を計算するので、これによっても、計算量やメモリ量を削減できる。なお、動き補償を行わないことによる符号化効率の劣化は、本発明の基礎となる画像処理技術である正方形領域を再帰的三角形領域分割することによって得られた２分木のデータ構造により、差異のある部分をそれに最も適したサイズの領域として表現することを可能とすることによって改善できる。
【００５４】
つまり、従来例においては、前述したように、処理の単位が１６画素×１６画素のマクロブックという固定された大きさであったが、本発明においては、可能である限り、大きな領域を前フレームの符号化データで置換できるというような符号化を行う。逆に言うと、差異のある部分をできるだけ小さな領域で表現することによって、トータルとしての符号化効率を改善する効果がある。
【００５５】
また、上述したように、本発明の動画符号化で用いられる符号データ差分化処理は、符号化したあとのデータを用いて行われるので、本発明の基礎となる画像処理技術による符号化や、それを基にした個々のフレームのデータ省略処理とは独立して行うことができる。そのため、たとえば、本発明で用いられる符号データ差分化処理を行っている最中に、他の処理負荷が増加して、本発明で用いられる符号データ差分化処理に割り当てられる演算処理量が少なくなった場合、その符号化データ差分化処理を中断し、それまでに処理された結果を直接に符号化出力とすることが可能である。また、他の処理負荷が始めから大きい場合には本発明の符号化データ差分化処理を全く行わないようにすることもできる。このように、システムの処理負荷の大きさに応じて、柔軟に対応することができる。また、符号化したあとのデータを用いて符号化データ差分化処理を行うことは、上述したような種々の効果の他に、最終的に得られた符号化データが目標とするデータと異なるような場合のリトライ処理を行う際の演算量を少なくすることができるという効果も得られる。
【００５６】
つまり、従来の技術では、入力された画像データに対して動き補償を行った後に、符号化してその符号化データを出力するという方式では、リトライを行う場合、動き補償処理にまで遡って、再度、動き補償処理を行った後に符号化するというように複数段階の処理をやり直す必要があるが、本発明では、符号化データ差分化処理だけをやり直すだけですむので、リトライを行う場合の演算量を少なくすることができる。
【００５７】
また、符号化側からの符号化データを復号する際は、符号化側からの符号化データを解析し、その符号化データが現フレーム対する差分データであるのか、それとも、データ置換の要求されたデータであるのかを判定して、その判定結果に基づいて、三角形領域の合成をおこなうようにしている。このとき、データ置換の要求されたデータであるのか否かの判定は、データ置換の可能な最上位の三角形領域に付されたデータ置換が可能であることを示す情報に基づいて行い、ある三角形領域に対してデータ置換が可能であることを示す情報が与えられている場合には、当該三角形領域より下の階層の三角形領域全体を、そのデータ置換が可能であることを示す情報の付加された三角形領域の符号化データを用いて復号化するようにしているので、効率的な三角形領域の合成が行える。
【００５８】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。まず、本発明の基礎となる技術として、処理対象となる画像を１つ以上の正方形領域に分割し、それぞれの正方形領域を再帰的に三角形領域に分割して、分割された三角形領域を符号化する画像処理と、それによって符号化された符号化データを復号化する画像処理について説明し、そのあとで、本発明の動画符号化処理とそれを復号する復号化処理について説明する。
【００５９】
図１は本発明に係る画像処理装置の符号化、すなわち、処理対象となる画像を１つ以上の正方形領域に分割し、それぞれの正方形領域を再帰的に三角形領域に分割して、分割された三角形領域を符号化する符号化側の構成を示すブロック図である。その構成を大きく分けると、画像データ入力手段１、正方形領域分割手段２、再帰的三角形領域分割手段３、三角形領域分割制御手段４、符号化データ生成手段５、符号化データ出力手段６を有した構成となっている。
【００６０】
画像データ入力手段１は、図２に示すように、個々の画素データを入力する画素データ入力手段１０１と、入力された画素の色データを各色成分へ分離する色成分分離手段１０２と、分離された色データに基づき、たとえば、ＲＧＢからＹＵＶデータへ変換する色変換手段１０３と、必要であるならばデータの間引きを行うデータ間引き手段１０４を有している。なお、この画像データ入力手段１に入力される画像データは、たとえば、カメラからの画像データ、ファイルからの画像データ、何らかの通信手段からの画像データなどが考えられる。
【００６１】
再帰的三角形領域分割手段３は、少なくとも、複数種類の三角形型（これについては後述する）を記憶する形状型記憶手段３１と、三角形の３つの頂点の画素値および斜辺中点画素値を記憶する頂点画素値記憶手段３２と、三角形の斜辺中点の画素値を補う斜辺中点画素値取得手段３３と、後述する規則（図１１参照）を用いて三角形型を更新する形状型更新手段３４と、三角形の３つの頂点の画素値および斜辺中点の画素値を更新する頂点画素値更新手段３５とを有している。
【００６２】
以下に図１で示した各構成要素の動作について詳細に説明する。
【００６３】
本発明は、処理すべき画像データを正方形とし、それを再帰的に三角形領域へ分割してその三角形領域に対して画像処理を行う。たとえば、画像データ入力手段１から得られた画像データのある１つの色成分が図３（ａ）のようであるとする。本発明は、これを、図３（ｂ）のように三角形領域の集合として表現する。
【００６４】
このように、本発明では処理すべき画像データが正方形であることを前提に処理を行うが、画像データ入力手段１から得られる画像データは必ずしも正方形であるとは限らない。そこで、画像データが正方形ではない場合の処理について説明する。
【００６５】
入力された画像データが正方形ではない場合、正方形領域分割手段２によって入力された画像データを１つ以上の正方形領域へ分割する。たとえば、入力された画像データが、図４（ａ）のような横長の長方形画像である場合、これを図４（ｂ）で示すような複数の正方形領域へ分割する。この時、分割される正方形の１辺に含まれる画素数をＬとすると、Ｌは２のＮ剰＋１であることが望ましい。この理由は後述する。なお、Ｎは自然数である。
【００６６】
このように、もともと正方形でない画像を正方形領域分割手段２によって正方形領域へ分割すると、図４（ｂ）に示すように、画像の端部に重なる正方形部分には画像の存在しない空白部が生じる。また、一般的には、画像データの幅と高さは、Ｌの整数倍とはならない。この空白部に対する処理と画像データの幅と高さが、Ｌの整数倍とはならない場合の処理について図５のフローチャートと図６の画像例を参照しながら説明する。
【００６７】
図５は正方形領域分割処理手段２が行う正方形領域分割処理手順を説明するフローチャートであり、まず、分割すべき正方形領域の１辺値としてＬを入力する（ステップＳ１）。ただし、上述したように、Ｌは２のＮ剰＋１とする（Ｎは自然数）とする。ここで、当該画像の幅ＷがＬの整数倍ではないとき、当該画像の幅がＬの整数倍となるまで０を挿入する（ステップＳ２）。また、同様に、当該画像の高さＨがＬの整数倍ではないとき、当該画像の高さＨがＬの整数倍となるまで０を挿入する（ステップＳ３）。
【００６８】
図６は、ある横長の画像に対し、図５で説明した正方形領域分割処理を施した例である。この図６からもわかるように、当該画像の幅ＷはＬの整数倍ではないので、当該画像の幅がＬの整数倍であるとして、その余白部に０を補填している。同様に、当該画像の高さＨはＬの整数倍ではないので、当該画像の高さＨがＬの整数倍であるとして、その余白部に０を補填している。
【００６９】
この図５および図６で説明した例は、画像の幅方向および高さ方向をＬの整数倍として、それによって生じる余白部に０を補填するようにした例について説明したが、それ以外にも、たとえば、ＪＰＥＧなどの処理に見られるように、幅方向においては、当該画像における最も右側の列の画素値を繰り返し、また高さ方向においては、当該画像における最も下側の行の画素値を繰り返すと言うようなものであってもよい。また、ＪＰＥＧ２０００などに見られるように、幅方向においては、当該画像における最も右側の列で画像値を折り返す、また高さ方向においては、当該画像における最も下側の行で画像値を折り返すと言うようなものであってもよい。
【００７０】
なお、これ以降の処理は、ＪＰＥＧなどと同様に、この分割された正方形領域のそれぞれにおいて独立した処理となるので、一般性を損なうことなく、画像データは正方形であるとして説明を続ける。
【００７１】
次に上述したように正方形領域に分割されたそれぞれの正方形を三角形に分割する処理について説明する。この三角形に分割する処理は、再帰的三角形領域分割手段３によって行われる。この再帰的三角形領域分割手段３は、それぞれの正方形領域を再帰的に三角形領域へ分割するもので、たとえば、図７（ａ），（ｂ）に示すように、ある１つの正方形領域は、２つの三角形に分割される。そして、この図７（ａ），（ｂ）では図示されていないが、分割された三角形はさらにそれぞれ三角形に分割される。
【００７２】
この正方形を三角形に分割する方法は二通りあり、その第１の方法としては図７（ａ）示すような分割の仕方であり、第２の方法としては図７（ｂ）に示すような分割の仕方である。
【００７３】
すなわち、正方形の４つの角部の画素値をａ，ｂ，ｃ，ｄとしたとき、図７（ａ）は第１の方法によって２つの三角形に分割し、図７（ｂ）は第２の方法によって２つの三角形に分割した例であり、これら第１および第２の方法を用いて分割されることによって生成される三角形の型を、それぞれの図中で示したように、＃１、＃２、＃３、＃４と表すことにする。
【００７４】
ところで、この図７（ａ），（ｂ）のように分割された三角形を再帰的に分割して得られる三角形は合計で８種あり、その８種類のそれぞれを図８に示すように、＃１、＃２、＃３、＃４、＃５、＃６、＃７、＃８の型番号を付す。なお、この図８に示される各三角形のそれぞれの頂点に付されたａ，ｂ，ｃはそれぞれその位置における画素値を表しており、また、それぞれの斜辺に付されたｄは、その斜辺中点位置における画素値を表すが、これについては後に説明する。
【００７５】
このような再帰的三角形領域分割されたそれぞれの三角形の型（三角形型）は相互に関連つけることができる。たとえば、図９に示すように、＃６の型の三角形を分割すると、＃１と＃４の型の三角形が生成される。つまり、本発明の再帰的三角形領域分割処理において、分割処理後の３角形の型は、その元となる三角形の型から自動的に定まるので、出力データの中に三角形の型を保存する必要はない。
【００７６】
ところで、上述した図７により正方形を三角形に分割する方法（第１の方法および第２の方法）について説明をしたが、このとき、正方形の４頂点の位置の画素値がどのようにして三角形に継承されるのかを説明する。
【００７７】
ここで、正方形の４頂点の画素値がａ，ｂ，ｃ，ｄであったとすると、この正方形の４頂点の画素値ａ，ｂ，ｃ，ｄの継承パタンとしては図７（ａ），（ｂ）で説明した分割の仕方によって２種類がある。
【００７８】
図１０はこの継承規則を示したものである。たとえば、正方形が図７（ａ）のような方法（第１の方法）で三角形に分割されたとすると、図１０の上段に示すように、分割前（正方形）の型をここでは＃０と表すものとすると、この正方形の４頂点の画素値（ａ，ｂ，ｃ，ｄ）は、三角形分割において得られた＃１型の三角形の画素値として（ａ，ｂ，ｃ，−）が継承され、＃２型の三角形の画素値として（ｂ，ｃ，ｄ，−）が継承される。
【００７９】
一方、正方形が図７（ｂ）のような方法（第２の方法）で三角形分割されたとすると、図１０の下段に示すように、分割前（正方形）の型をここでも＃０と表すものとすると、この正方形の４頂点の画素値（ａ，ｂ，ｃ，ｄ）は、三角形分割において得られた＃３型の三角形の画素値として（ａ，ｃ，ｄ，）が継承され、＃４型の三角形の画素値として（ａ，ｂ，ｄ，−）が継承される。
【００８０】
なお、本発明においては、それぞれの三角形の３頂点の画素値に加え、三角形の斜辺中点の画素情報も加えた４つの画素値を考慮するが、図１０の中で、ハイフン「−」で示した部分が斜辺中点の画素値であり、このハイフンはそれが不明であること、あるいは、その画素値の設定を必要とすることを示している。
【００８１】
図１１は図８で示した８種類の三角形をさらに分割したときの画素値の継承規則を示すものであり、この図１１に示されるように、分割前にある型（＃１から＃８）であった三角形は、それを分割すると、それぞれ２つの型の三角形となるが、そのときの画素値はこの図１１に示すように継承される。なお、この図１１においても、ハイフン「−」で示した部分が斜辺中点の画素値であり、このハイフンはそれが不明であること、あるいは、その画素値の設定を必要とすることを示している。
【００８２】
この図１１によれば、たとえば、頂点の画素値がａ，ｂ，ｃ、斜辺中点の画素値がｄである＃６型の三角形を分割すると、＃１型と＃４型の２つの三角形に分割され（図９参照）、＃１型の三角形の画素値は（ａ，ｄ，ｃ，−）、＃４型の三角形の画素値は（ｃ，ｄ，ｂ，−）となる。
【００８３】
以上の再帰的三角形分割処理のまとめを図１２により説明する。ある１つの正方形を、たとえば、＃１と＃２の型の三角形に分割するものとする。この、＃１と＃２の型の三角形は、＃１型についてはさらに＃５型と＃６型に分割され、＃２型についてはさらに＃７型と＃８型に分割される。この分割された三角形は、さらに、より小さな三角形に分割される。なお、この再帰的な分割処理は、斜辺中点に画素が存在する限りは次々と分割可能であるが、分割限界に達しなくても所定の段階で分割処理を終了することも可能である。どの段階まで分割するかは予め設定しておくことができる。
【００８４】
上述した再帰的三角形分割処理は、図１３に示すような２分木で表現することができる。図１３において、○の中の数字は三角形の型を示す。最も上部の内部に数字の無い○を正方形とし、これをルート（根）Ｒとした２分木が生成される。
【００８５】
ルートＲから生成される２つのノード（節）Ｎ１１，Ｎ１２の三角形型は、図７（ａ），（ｂ）の２つの分割方法（第１の方法または第２の方法）に対応しているが、これが決定されてしまえば、それぞれのノードを２分割してできる三角形は、図１１に示すような継承規則により一意に定まる。たとえば、＃１型を持つ三角形は、図１１からわかるように、＃５型と＃６型の三角形に２分される。同様に、＃５型を持つ三角形は、図１１からわかるように、＃１型と＃３型の三角形に２分される。
【００８６】
以降、記述の簡略化のため、三角形型がＴ、３頂点の画素値がａ，ｂ，ｃであって、斜辺中点の画素値がｄである三角形を、Ｔ（ａ，ｂ，ｃ，ｄ）と表す。たとえば、三角形型が＃６でその３頂点の画素値がａ，ｂ，ｃであって、斜辺中点の画素値がｄである三角形は、＃６（ａ，ｂ，ｃ，ｄ）で表され、それは、＃１（ｄ，ｂ，ｃ，−）と＃４（ａ，ｄ，ｃ，−）へ分割されるというように表される。
【００８７】
この例から明らかなように、このそれぞれの三角形を分割した後の三角形において、ハイフンで示した不定である斜辺中点の画素値を補うことにより、図１１の継承規則を用いて三角形領域分割を再帰的に行うことができる。
【００８８】
これは、前述の従来技術の項で引用した特開平９−１９１４０９号公報に記載された技術のように、一つの三角形を表現するために、３つの頂点のＸ座標値が３個、Ｙ座標値が３個、３つの頂点の画素値として３個の合計９個の画素情報を必要としそれを保持する必要のあるものに比較して、ワーストケースにおいて、１／９のデータ量である。
【００８９】
以上より、図１に示した再帰的三角形領域分割手段３は、少なくとも、＃１型１から＃８型の８通りの三角形型を記憶する形状型記憶手段３１と、三角形の３つの頂点の画素値および斜辺中点の画素値を記憶する頂点画素値記憶手段３２と、三角形の斜辺中点画素値を補う斜辺中点画素値取得手段３３と、図１１に示す継承規則用いて三角形型を更新する形状型更新手段３４と、三角形の３つの頂点の画素値および斜辺中点の画素値を更新する頂点画素値更新手段３５により、再帰的に三角形領域を分割することができる。
【００９０】
以上の再帰的三角形領域分割処理を具体的な数値例を用いて説明する。説明を簡単にするために、図１４に示すように、１辺の画素数ＬがＬ＝３（この場合は、Ｌが２のＮ乗＋１であるという条件において、Ｎ＝１とした場合である）の正方形を例にとる。なお、図１４において、それぞれの画素を黒丸で表し、それぞれの画素に付された数値はその画素における画素値を表している。
【００９１】
このような正方形に対し、図７（ａ）で示したような方法（第１の方法）で２分割したとすると、図１５（ａ）に示すように、２つの三角形に分割される。この左上の三角形は、＃１型の三角形であり、その頂点の画素値は（３，９，１）であるので、＃１（３，９，１，−）と表され、これに斜辺中点の画素値７を補うことにより、＃１（３，９，１，７）という情報を生成することができる。
【００９２】
このような情報が生成されたら、この情報を用い、図１６のフローチャートに示す手順で分割後の三角形を得る。すなわち、現在の型情報を用いて図１１で示した継承規則の検索を行い、分割後の２つの三角形の情報を求める（ステップＳ２１）。そして、図１１で示した継承規則の情報に基づき、現三角形の４つの画素値の並べ替えを行い、２つの新三角形を得る（ステップＳ２２）。
【００９３】
つまり、この例では、図１７に示すように、＃１（３，９，１，７）の情報を有する三角形は、＃５（３，７，１，−）と、＃６（３，９，７，−）に分割されることになる。これを示したものが、図１５（ａ），（ｂ）であり、＃１（３，９，１，−）の情報を有する三角形は、その斜辺中点に７の画素値を補填し、それを２分割すると、＃５（３，７，１，−）の情報を有する三角形と＃６（３，９，７，−）の情報を有する三角形が得られる。以降、これら三角形のそれぞれの斜辺中点の画素値として、図１５（ｃ）に示すように、＃５型の三角形については５を補填し、＃６型の三角形Ｔ１２については４を補填するという処理を行うことにより再帰的三角形領域分割を行う。
【００９４】
以上の図１４から図１７で説明した処理は、図１８に示すような２分木で表現できる。この図１８の２分木表現も図１３で示した２分木表現と同様に、２分木の○の中に示した三角形型は、その上位の型から一意に定まるために、データとして出力する必要はなく、その○の下に示した斜辺中点の画素値のみを補うことにより、より下位の三角形領域分割を行うことができる。
【００９５】
この図１８は、図１４で示した正方形を三角形領域分割する場合の２分木表現であり、ルートＲに相当する正方形は図１４からもわかるように、その４頂点の画素値は（３，９，１，８）であって、このような正方形を図１５（ａ），（ｂ），（ｃ）で説明したような三角形領域分割処理を行ったものである。
【００９６】
このように、処理対象となる画像データに対し、最初の正方形の４頂点の画素値、それを最初に３角形分割したときの三角形の型、分割された三角形の斜辺中点の画素値の連鎖の３種のデータによって、正方形領域の画像を表現することができる。
【００９７】
なお、このデータのうち、正方形を最初に三角形に分割する際、図７（ａ），（ｂ）の第１の方法または第２の方法のいずれかで行うかを固定することは可能である。また、正方形領域の１辺に含まれる画素数Ｌは、２のＮ剰＋１（Ｎは自然数）となるような条件を満たすようにすると、分割された三角形の斜辺中点には必ず画素が存在する。このため、処理を容易にするためには、正方形領域の１辺に含まれる画素数Ｌが２のＮ剰＋１（Ｎは自然数）であることが望ましい。
【００９８】
以上のような処理の結果、たとえば図１９に示すように、ある画像が複数の正方形領域に分割されている場合、そのそれぞれの正方形領域は、図２０に示されるような複数の２分木に変換されることになる。
【００９９】
ところで、２分木として表現された画像データを、伝送、記録するためには、それを１次元のデータ列に変換する必要がある。その順序には幾つもの方法が考えられるが、たとえば、以下のような２種の方法も可能である。
【０１００】
図２１は、２分木の幅方向優先の出力方法を示したものである。これは数字の下にアルファベットＡ，Ｂ，Ｃ，・・・で示した順番（アルファベット順）にデータが１次元化される。たとえば、最初に、ルートＲとして正方形のデータ（４頂点の画素値）Ａが出力され、その後、このルートＲの下位の同じ深さのノードＮ１１、Ｎ１２のデータ（斜辺中点の画素値）Ｂ，Ｃが出力され、さらに、その後、ノードＮ１１，Ｎ１２の下位の同じ深さのノードＮ２１，Ｎ２２，Ｎ２３，Ｎ２４のデータ（斜辺中点の画素値）Ｄ，Ｅ，Ｆ，Ｇが出力される。
【０１０１】
図２２は、この方法により１次元化されたデータの結果を示すものであり、アルファベットＡ，Ｂ，Ｃ，・・・の順に、それぞれのアルファベットＡ，Ｂ，Ｃ，・・・に対応した画素値が出力される。
【０１０２】
図２３は、２分木の深さ方向優先の出力方法を示したものである。これも図２１と同様にアルファベットＡ，Ｂ，Ｃ，・・・で出力の順番を示してある。この場合、ルートＲのデータＡを出力したあと、ノードＮ１１のデータＢを出力し、その後は、それの下位にあたるノードＮ２１のデータＣの出力が行われる。このように、２分木の底に到達するまでの出力が行われると、ノードＮ２２のデータＤの出力が行われる。そして、今度は、ノードＮ１２のデータＥの出力が行われ、続いて、そのノードＮ１２の下位にあたるノードルＮ２３のデータＦを出力するというようなデータ出力順序となる。
【０１０３】
図２４は、この方法により１次元化されたデータの結果を示すものであり、アルファベットＡ，Ｂ，Ｃ，・・・の順に、それぞれのアルファベットＡ，Ｂ，Ｃ，・・・に対応した画素値が出力される。
【０１０４】
以上のようにして、処理対象となる画像データの符号化処理が終了する。これによって符号化されたデータは、たとえば、図２１または図２３示されるような２分木のデータ構造となっており、その２分木に基づいて、図２２または図２４のようなデータ形式で出力される。
【０１０５】
以上説明した符号化処理をフローチャートにまとめたものが図２５である。各部の詳細については説明済みであるので、ここでは概略を説明する。
【０１０６】
図２５において、まず、正方形領域分割処理を行う（ステップＳ３１）。これは、図３から図６で説明したように、処理対象となる画像データを１つ以上の正方形領域へ分割する処理であり、この正方形領域分割処理によって得られたそれぞれの正方形について符号化処理を行うが、すべての正方形領域を符号化したか否かを判断し（ステップＳ３２）、すべての正方形に対してすでに符号化されていれば処理が終了したものとするが、符号化されていなければ、その正方形の４頂点画素値を出力する（ステップＳ３３）。
【０１０７】
そして、三角形分割処理が終了したか否かを判断し（ステップＳ３４）、終了していれば、ステップＳ３２に戻り、終了していなければ、すべての三角形を符号化したかを判断する（ステップＳ３５）。ここで、すべての三角形の符号化が終了していなければ、斜辺中点の画素値を出力し（ステップＳ３６）、三角形領域更新処理を行い（ステップＳ３７）、ステップＳ３５に戻る。
【０１０８】
そして、すべての三角形の符号化が終了し、かつ、三角形分割処理が終了し、さらに、すべての正方形領域の符号化が終了していれば、その画像に対する符号化処理を終了する。
【０１０９】
以上の説明は処理対象となる画像データを符号化する処理についての説明であるが、そのおおまかな処理としては、処理対象の画像データを正方形領域として取り出し、取り出された正方形を再帰的に三角形領域に分割し、得られたそれぞれの三角形領域の３頂点の画素値と斜辺中点の画素値を得るようにしている。このとき、再帰的分割処理によって得られるそれぞれの三角形の型は、元の正方形を２分割の仕方を決めておけば、以降は分割順に従って自動的に決めることができる。また、それぞれの三角形の頂点の画素値は正方形の持っている画素値をそのまま継承できるので、斜辺中点の画素値を元の正方形から求めれば、画像全体を図１８に示すような２分木で表現でき、それを図２１と図２２または図２３と図２４に示すように１次元化して出力することができる。
【０１１０】
このような処理を行うことにより、処理対象となる画像データを表現するために保持すべきデータはごく少量ですみ、それによって、演算を大幅に簡略化することができるとともにメモリの使用量を大幅に減らすことができる。
【０１１１】
次に、符号化されたデータを復号化する処理について説明する。図２６は本発明の基礎となる画像処理装置の復号化側の構成を示すブロック図である。この復号化側の構成としては、大きく分けると、符号化データ入力手段１１、符号化データ解析手段１２、再帰的三角形領域合成手段１３、三角形領域合成制御手段１４、正方形領域合成手段１５、画像データ出力手段１６を有している。
【０１１２】
再帰的三角形領域合成手段１３は、少なくとも、分割された三角形の型（前述の符号化の説明においては＃１型から＃８型の８種類としているので、ここでも＃１型から＃８型の８種類とする）の三角形型を記憶する形状型記憶手段１３１と、三角形の３つの頂点の画素値および斜辺中点画素値を記憶する頂点画素値記憶手段１３２と、三角形の斜辺中点の画素値を補う斜辺中点画素値取得手段１３３と、前述の図１１の継承規則を用いて三角形型を更新する形状型更新手段１３４と、三角形の３つの頂点の画素値および斜辺中点の画素値を更新する頂点画素値更新手段１３５とを有している。
【０１１３】
また、符号化データ入力手段１１は、図１で示した符号化データ出力手段６からの符号化データ（たとえば、図２２や図２４に示したような符号化データ）を、伝送路や記憶媒体から入力する。この符号化データ入力手段１１に入力される符号化データとしては、図２７（ａ）に示されるように、最初に、正方形の４頂点の画素値が入力される。たとえば、符号化データとして図２４を例にとれば、まず、図２４で示す符号化データにおける下線部Ａの部分が読み込まれ、正方形の４頂点の画素値（３、９、１、８）が復元される。その後、図２４の下線部Ｂに対応する画素値（７）が読み込まれ、図２７（ａ）に示すような２分木の太線の部分が復元される。またそれは、正方形領域の太線部分に対応する。以降、次々にデータ（画素値）が読み込まれ、図２７（ｂ），（ｃ）のように、データの２分木の太線部分が復元され、それによって、正方形領域の太線部分が復元される。
【０１１４】
図２８は、図２７の処理内容をプログレッシブな復元の立場から説明したものである。図２２で示す符号化データフォーマットによれば、最初に図２８（ａ）のように２分木の上位層のみが復元され、続いて、同図（ｂ）のように２分木の次の階層が復元され、さらに、同図（ｃ）のように２分木のさらに次の階層が復元されというように、２分木の階層ごとに順次復元され、最終的には同図（ｄ）に示すように、２分木の底までの復元がなされる。
【０１１５】
これによって、処理対象となる画像は、２分木の階層ごとの復元に伴って、順次、大きく、あるいは、解像度が上がったものとなる。
【０１１６】
なお、たとえば、図２８（ａ）のようなデータ量が少なく小さい画像をそのまま最終画像と同じように拡大しようとすると、解像度の小さい画像となる。すなわち、これは、画像の見え方と言う観点で言えば、画像全体を縮小表示したものであると考えることができる。あるいは、画像サイズを元データと同じとした場合は、それを低い解像度で示したものであると考えることもできる。
【０１１７】
仮に、画像全体を低い解像度で表現したものであると考える場合、各々の三角形領域は拡大されることになる。この時、三角形領域の内部は、その３頂点の画素値を用いて平面として内挿することにより求めることもできる。勿論、その周辺の三角形領域のデータを用いて、より高次の推定を行うことも可能である。
【０１１８】
３頂点の画素値を用いて平面として内挿する場合は、図２９のような方法を用いることが可能である。この図２９について簡単に説明する。三角形の３頂点への位置ベクトルをａ，ｂ，ｃ（ａ，ｂ，ｃそれぞれの上に→が付される）とし、その頂点における画素値をＡ，Ｂ，Ｃとする。ここで、画素値を求めるべき位置（ｐとする）の位置ベクトルをｐ（ｐの上に→が付される）とし、この位置ベクトルｐ（ｐの上に→が付される）が、
【０１１９】
【数２】
【０１２０】
で与えられるものとする。なお、画素値を求めるべき位置ｐがその三角形領域の内部であるためには、ｘ、ｙ、ｚは０以上の実数または重み係数であり、かつ、
ｘ＋ｙ＋ｚ＝１ （３）
の条件を満たす必要がある。このｘ，ｙ，ｚを用い、位置ｐにおける画素値Ｐは、
Ｐ＝ｘＡ＋ｙＢ＋ｚＣ （４）
により求められる。
【０１２１】
ところで、前述の実施形態１における図２１、図２２または図２３、図２４で示したデータの１次元化方法は、画像データの内容とは無関係なものである。しかし、符号化方法あるいは記憶媒体からのデータの読み出し方法を変えることにより、関心領域あるいはＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を優先的に高画質化することができる。
【０１２２】
たとえば、図３０に示すように、２分木の中の斜線を施した部分を優先的に伝送あるいは読み出すとする。仮に、この２分木の階層の深い部分が、図３１に示すように、本発明の実施形態１および実施形態２の説明で用いている画像例としての猿の顔画像の目の部分であるとする。そうすると、図３０の２分木の浅い階層の復元処理では図３２（ａ）のように、画像全体が低解像度で復元されたものが、階層が深くなるに連れ、図３２（ｂ）のように、先ず目の部分から高解像度化が進行し、最終的に、図３２（ｃ）のように全体が高解像度化されるというような表示が可能である。勿論、このような表示は途中の段階で中止することもできる。
【０１２３】
このように、２分木で表されるデータの伝送あるいは読み出し順に、関心領域あるいはＲＯＩに基づいて優先度を設定することによって、画像全体の中のある特定部分のみをいち早く高解像度で表示させることができる。
【０１２４】
これによって、多数の画像データの中から所望とする画像データを検索したり画像データの分類を行うような場合、個々の画像の特徴的な部分のみをいち早く高解像度で表示させることができるので、検索や分類を効率よく行うことができる。また、このとき、個々の画像の内容がわかった段階で表示処理を中止し、それ以降の表示処理を行わないようにすることもできる。
【０１２５】
以上説明した復号化処理をフローチャートにまとめたものが図３３である。各部の詳細については説明済みであるので、ここでは概略を説明する。
【０１２６】
図３３において、まず、すべての正方形領域を復号化したか否かを判断し（ステップＳ４１）、すべての正方形領域の復号化が終了していなければ、その正方形の４頂点画素値を復号する（ステップＳ４２）。そして、三角形合成処理が終了かを判断し（ステップＳ４３）、終了していれば、ステップＳ４１に戻り、終了していなければ、すべての三角形を合成したかを判断する（ステップＳ４４）。そして、すべての三角形の合成が終了していなければ、斜辺中点の画素値を復号し（ステップＳ４５）、三角形領域合成処理を行い（ステップＳ４６）、ステップＳ４４に戻る。
【０１２７】
そして、すべての正方形領域の復号化が終了していれば（ステップＳ４１）、正方形領域合成処理を行い（ステップＳ４７）、復号化処理を終了する。
【０１２８】
このステップＳ４７による正方形領域合成処理された画像データは、図２６で示した画像データ出力手段１６によって出力処理される。この画像データ出力手段１６は、図３４に示すように、色データ入力手段１６１、間引きデータ復元手段１６２、色変換手段１６３、画素データ復元手段１６４を有した構成となっており、復元された画像データから、画像幅、画像高さを正方形の１辺の整数倍にするために補填されたデータを取り除き、元の画像を出力する。なお、この画像データ出力手段１６が行う画像データ出力処理には、ノイズ低減処理であるとか、何らかの後処理などが含まれても良い。
【０１２９】
次にこれまで説明した画像処技術を基に、本発明の画像処理方法および画像処理装置ならびに画像処理プログラムについて説明する。
【０１３０】
本発明では、上述したような画像処理技術において用いた２分木のデータ構造をもとに、フレーム間相関を用いることで動画符号化およびその復号化を行うものである。なお、本発明は、フレーム間相関を用いるが動き補償は行わないのが特徴であり、また、動画符号化処理はこれまで説明した本発明の基礎となる画像処理技術における符号化の後処理として実行されるものである。以下、詳細に説明する。
【０１３１】
図３５は本発明の画像処理装置の符号化側の構成を示すもので、その構成を大きく分けると、画像データ入力手段１、正方形領域分割手段２、再帰的三角形領域分割手段３、三角形領域分割制御手段４、符号化データ生成手段５、符号化データ出力手段６、符号化データ差分化手段２０（符号化データ記憶手段７、前フレーム符号化データ記憶手段８、符号化データ比較手段９、符号化データ選択手段１０からなる）を有した構成となっている。
【０１３２】
この図３５の構成は図１で示した構成に対して、符号化データ生成手段５と符号化データ出力手段６との間に、符号化データ差分化手段２０としての符号化データ記憶手段７、前フレーム符号化データ記憶手段８、符号化データ比較手段９、符号化データ選択手段１０が設けられている点が異なるだけで、その他は図１と同じ構成であるので、同一構成要素についての説明はここでは省略する。
【０１３３】
符号化データ記憶手段７は符号化データ生成手段５からの符号化データ、つまり、本発明の基礎となる画像処理技術において符号化された符号化データを一時的に記憶するものである。
【０１３４】
前フレーム符号化データ記憶手段８は、符号化データ出力手段６から出力された前フレームの符号化データを記憶するものである。この前フレーム符号化データ記憶手段８に記憶される前フレーム符号化データは、符号化データ記憶手段７に記憶されている前フレームに対応する符号化データそのものではなく、たとえば、符号化データ選択手段１０で現フレームデータが選択された場合は、その現フレームデータによって前フレーム符号化データ記憶手段８の内容が更新され、それによって、その更新データが前フレームの符号化データとなる。
【０１３５】
符号化データ比較手段９は、符号化データ記憶手段７に記憶された現フレーム符号化データと前フレーム符号化データ記憶手段８に記憶された前フレーム符号化データとを比較し、その差異が所定値未満であるか否かを判定し、所定値未満であると判断された場合は、現フレームの符号化データを前フレームの符号化データで置換する。
【０１３６】
符号化データ選択手段１０は、現フレーム符号化データか前フレーム符号化データのいずれかを選択するもので、符号化データ比較手段９の比較判定結果に基づき、差異が所定値未満の場合は、置換された符号化データ（前フレームの符号化データ）を選択し、差異が所定値以上である場合は現フレーム符号化データを選択する。
【０１３７】
符号化データ出力手段６は、符号化データ選択手段１０で選択結果を当該フレームの符号化データ（１次元配列化されたデータ）として出力する。
【０１３８】
図３６は画像を１つ以上の正方形領域に分割して、分割されたそれぞれの正方形領域の符号化を行う処理手順を示すもので、図３７は分割されたある１つの正方形領域内における符号化手順を示すものであり、これらのフローチャートは、先に説明した本発明の基礎となる画像処理技術における符号化処理の説明に用いた図２５のフローチャートを、画像を１つ以上の正方形領域に分割して、それぞれの正方形領域の符号化を行う処理手順と、分割されたある１つの正方形領域内における符号化を行う処理手順とに分けて示すものである。
【０１３９】
この図３６および図３７の処理手順は基本的には図２５と同じであるが、図３６および図３７においては、切り出されたある１つの正方形領域内を符号化する処理が終了したあと、前フレームの符号化データとの差異を出力する処理が追加されている。なお、この処理についての詳細は後述する。
【０１４０】
図３６において、まず、正方形領域分割処理を行う（ステップＳ５１）。これは、図３から図６で説明したように、処理対象となる画像データを１つ以上の正方形領域へ分割する処理であり、この正方形領域分割処理によって得られたそれぞれの正方形について符号化処理を行うが、すべての正方形領域を符号化したか否かを判断し（ステップＳ５２）、すべての正方形に対してすでに符号化されていれば符号化処理が終了したものとするが、すべての正方形領域の符号化がなされていなければ、その正方形領域の４頂点画素値を符号化データ記憶手段７に出力（ステップＳ５３）するとともに、その正方形領域内の符号化処理（図３７参照）を行う（ステップＳ５４）。そして、その正方形領域内の符号化処理が終了すると、前フレームの符号化データとの差異を符号化する処理を行う（ステップＳ５５）。なお、この前フレームの符号化データとの差異を符号化する処理の具体例については図４４から図４７を参照して後に説明する。
【０１４１】
図３７は図３６におけるステップＳ５４の処理、つまり、ある１つの正方形領域内の符号化処理手順であり、まず、ある１つの正方形領域における２分木の全階層について符号化したかを判断し（ステップＳ６１）、全階層の符号化が終了していれば符号化処理を終了し、全階層の符号化が終了していなければ、その階層のすべての三角形領域を符号化したかを判断する（ステップＳ６２）。
【０１４２】
ここで、その階層のすべての三角形領域の符号化が終了していれば、ステップＳ６１に戻る。また、その階層のすべての三角形領域の符号化が終了していなければ、その三角形領域の斜辺中点画素値を取得する（ステップＳ６３）。そして、その取得した斜辺中点画素値を符号化し、符号化データ記憶手段７に出力し（ステップＳ６４）、ステップＳ６２に戻り、その階層のすべての三角形の符号化が終了していなければ、ステップＳ６２以降の処理を繰り返し、その階層のすべての三角形領域の符号化が終了していれば、ステップＳ６１に戻って、全階層の符号化を終了したか否かを判断し、全階層の符号化を終了していれば、符号化処理を終了し、全階層の符号化を終了していなければ、ステップＳ６２以降の処理を繰り返す。
【０１４３】
ここで、図３５に示した符号化データ差分化手段２０の処理、つまり、符号化データ生成手段５によって生成された個々のフレーム対応の符号化データに対し、フレーム間相関を用い、現フレームに対する符号化データを前フレーム符号化データで置換できるか否かを判定し、前フレーム符号化データで置換できると判定された場合は、それを示す情報を出力する処理について説明する。
【０１４４】
この処理は、前フレーム符号化データ記憶手段８に記憶された前フレーム符号化データと、符号化データ記憶手段７に一時的に記憶された現フレーム符号化データとの比較を符号化データ比較手段９が行って、その比較結果に基づいた符号化データを符号化データ選択手段１０が選択して出力するもので、これは、前述した２分木で示すデータ構造の最終階層から、上位の階層に向かって行われる。
【０１４５】
この２分木における最終階層の三角形領域は、それ以上分割できない三角形領域であり、斜辺中点画素値を考慮する必要がないので、３つの頂点の画素値で構成される。したがって、この最終階層の三角形領域の前フレームと現フレームとの比較は、それぞれの３頂点画素値の比較で済むため、下記の（５）式のような単純な計算式で両者の差異Ｅｒｒを求めることができる。
【０１４６】
【数３】
【０１４７】
この（５）式において、Ｄｉは現フレームのある三角形領域の画素値（ｉは３つの頂点の位置を表すので１から３の値をとる）、Ｐｉは前フレームの同じ三角形領域の画素値であり、ｉは同じく１から３の値をとる。この（５）式を前述した従来技術の説明で用いた（４）式と比べると、計算が単純であり計算量が大幅に少ないことがわかる。
【０１４８】
ここで、具体例を参照しながら説明する。この具体例の説明で用いる２分木を図３８に示す。この図３８に示す２分木は、ある１つの正方形領域について図３９の（ａ）〜（ｄ）に示すような三角形領域分割処理を行った場合に生成されるものであり、ここでは、説明の都合上、２分木を構成するそれぞれの三角形領域に付される符号（型番号）は、これまでの説明で用いた２分木（たとえば、図１３など）とは異なった符号が付されている。
【０１４９】
この場合、正方形を２分割して得られた第１階層の２つの三角形領域に＃１０，＃１１の型番号を付し、この第１階層の三角形領域＃１０，＃１１をそれぞれ２分割して得られた第２階層の４つの三角形領域に＃２０，＃２１，＃２２，＃２３の型番号を付し、この第２階層の三角形領域＃２０，＃２１，＃２２，＃２３＃をそれぞれ２分割して得られた第３階層の８つの三角形領域に＃３０，＃３１，＃３２，＃３３，＃３４，＃３５，＃３６，＃３７の型番号を付し、この第３階層の８つの三角形領域＃３０，＃３１，＃３２，＃３３，＃３４，＃３５，＃３６，＃３７をそれぞれ２分割して得られた第４階層の１６個の三角形領域に＃４０，＃４１，＃４２，・・・，＃４９，＃４ａ，＃４ｂ，＃４ｃ，＃４ｄ，＃４ｅ，＃４ｆの型番号を付すことにする。
【０１５０】
このような第１階層から第４階層の４つの階層で構成される２分木として表現された画像データを、１次元のデータ列に変換する。ここでは、図４０で示すように２分木の幅方向優先の出力方法によって、データ（各三角形領域の斜辺中点画素値）を出力、すなわち、第１階から第４階層において、それぞれの階層ごとに太線で示す矢印方向に沿ってデータ（各三角形領域の斜辺中点画素値）を出力すると、図４１のような１次元のデータ列が得られる。
【０１５１】
図４２はここで用いられる画像例を示すもので、（ａ）はある１つの正方形領域における前フレーム画像、（ｂ）はその現フレーム画像である。この図４２からもわかるように、現フレーム画像が前フレーム画像と異なるのは、画像の左下部分に人間が存在している点だけであり、その他は何ら変化していない。
【０１５２】
この図４２に示す画像例の正方形領域を再帰的三角形領域分割したものが図４３（ａ）、（ｂ）である。この図４３（ａ）、（ｂ）の再帰的三角形領域分割は、図３９に対応するものであるので、図４３（ａ）の前フレーム画像および（ｂ）の現フレーム画像は、それぞれ図３８のような２分木のデータ構造として表される。
【０１５３】
ここで、図４３（ａ）、（ｂ）における最終階層（第４階層）の三角形領域、つまり、図３８の２分木における第４階層の１６個の三角形領域＃４０，＃４１，＃４２，・・・，＃４９，＃４ａ，＃４ｂ，＃４ｃ，＃４ｄ，＃４ｅ，＃４ｆそれぞれについて、上述の（５）式を用いて、前フレームとデータと現フレームデータとの差異Ｅｒｒを求め、求められたそれぞれの差異Ｅｒｒが所定値未満であるか否かを判定する。
【０１５４】
この判定の結果、この場合、＃４２，＃４３，＃４８，＃４９の４つの三角形領域だけが前フレーム画像の対応する三角形領域と差異Ｅｒｒが所定値以上であると判定される。これを２分木で表したものが図４４である。この場合、図４４における破線枠で囲った第４階層の三角形領域のうち、＃４２，＃４３，＃４８，＃４９の４つの三角形領域（斜線が施されている）だけが前フレーム画像の対応する三角形領域と差異が所定値以上異なっていると判定される。
【０１５５】
これによって、＃４２，＃４３，＃４８，＃４９の４つの三角形領域は前フレームの符号化データを用いることはできない（前フレームの符号化データで置換することはできない）と判定され、それ以外の三角形領域は、前フレームの符号化データで置換できると判定される。
【０１５６】
このようにして、最終階層（第４階層）のそれぞれの三角形領域において（５）式を計算して、求められた差異Ｅｒｒが所定値以上か否かの判定を行えば、それより上位の階層については、（５）式を用いた比較計算を行う必要はなく、自身を２分割して得られた三角形領域（自身から下位に伸びる２つの枝の三角形領域）の結果に基づいて、前フレーム符号化データで置換できるか否かの判断が行える。これについて、図４５、図４６、図４７を用いて説明する。
【０１５７】
図４５は第３階層に対して第４階層の結果を用いて前フレーム符号化データで置換できるか否かの判断を行った結果を示すものである。この場合、自身の三角形領域＃３０，＃３１，・・・，＃３７の三角形領域を表すノードから下に伸びる２つの枝で示される２つの三角形領域が前フレーム符号化データで置換可能であれば、自身も置換可能であると判定され、２つの枝で示される２つの三角形領域の一方が置換可能でなければ、自身も置換可能ではないと判定される。
【０１５８】
すなわち、この第３階層においては、＃３０の三角形領域は、それよりも下位の＃４０、＃４１の２つの三角形領域がともに置換可能であるので、自身（＃３０の三角形領域）も置換可能であると判定され、同様に、＃３２、＃３３、＃３３、＃３５、＃３６、＃３７の三角形領域も、自身よりも下位の２つの三角形領域がそれぞれともに置換可能であるので、自身も置換可能であると判定される。
【０１５９】
これに対して、＃３１の三角形領域は、それよりも下位の＃４２、＃４３の２つの三角形領域がともに置換可能ではないので、自身（＃３１の三角形領域）も置換可能ではないと判定される。同様に、＃３４の三角形領域は、それよりも下位の＃４８、＃４９の２つの三角形領域がともに置換可能ではないので、自身（＃３４の三角形領域）も置換可能ではないと判定される。
【０１６０】
続いて、第２階層について同様の判定を行う（図４６参照）。この第２階層においては、＃２０の三角形領域は、それよりも下位の＃３０、＃３１の２つの三角形領域のうち、＃３１の三角形領域が置換可能でないので、自身（＃２０の三角形領域）も置換可能でないと判定され、同様に、＃２２の三角形領域も、自身よりも下位の＃３４、＃３５の２つの三角形領域のうち、＃３４の三角形領域が置換可能でないので、自身（＃２２の三角形領域）も置換可能でないと判定される。
【０１６１】
これに対して、＃２１の三角形領域は、それよりも下位の＃３２、＃３３の２つの三角形領域がともに置換可能であるので、自身（＃２１の三角形領域）も置換可能であると判定され、同様に、＃２３の三角形領域は、それよりも下位の＃３６、＃３７の２つの三角形領域がともに置換可能であるので、自身（＃２３の三角形領域）も置換可能であると判定される。
【０１６２】
続いて、第１階層について同様の判定を行う（図４７参照）。この第１階層においては、＃１０の三角形領域は、それよりも下位の＃２０、＃２１の２つの三角形領域のうち、＃２０の三角形領域が置換可能でないので、自身（＃１０の三角形領域）も置換可能でないと判定され、同様に、＃１１の三角形領域も、自身よりも下位の＃２２、＃２３の２つの三角形領域のうち、＃２２の三角形領域が置換可能でないので、自身（＃１１の三角形領域）も置換可能でないと判定される。
【０１６３】
以上の処理がなされることによって、処理対象となっているある１つの正方形領域の現フレーム符号化データは、その一部が前フレーム符号化データで置き換えることができる。以上のような処理がなされたあとの現フレーム符号化データを２分木で表したものが図４８である。
【０１６４】
この図４８において、四角で示したノードで示される三角形領域は、それ以下の階層すべてを前フレーム符号化データの２分木の同じ位置の符号化データで置換できることを示している。この例では、＃２１、＃２３、＃３０、＃３５の三角形領域は、前フレーム符号化データの２分木の同じ位置の符号化データで置換できる。
【０１６５】
この図４８に示される２分木構造の符号化データに対し、図４０と同様のデータ読み出しが行われることによって、１次元のデータ配列を生成することができる。
【０１６６】
図４９は図４８に示した２分木を第１階層から第４階層までそれぞれの階層ごとに図示の太線矢印で示すような方向にデータ読み出しを行う例を説明する図であり、これを縦に並べて示したものが図５０である。
【０１６７】
この図５０は先に説明した図４１の１次元化されたデータ配列に対応するものである。この図５０の右端に示される四角で囲った“０”または“１”の１ビットのデータは、符号化データの置換がなされているか否かを示すもので、“０”が与えられた三角形領域はデータ置換がなされていないことを示し、“１” が与えられた三角形領域はそれ以降において符号化データ置換がなされていることを示している。
【０１６８】
この例では、＃１０、＃１１，＃２０、＃２２、＃３１、＃３４、＃４２、＃４３、＃４８、＃４９の三角形領域はそれぞれ“０”が与えられ、＃２１、＃２３、＃３０、＃３５の三角形領域はそれぞれ“１”が与えられている。
【０１６９】
これは、＃２１、＃２３、＃３０、＃３５の三角形領域はその符号化データが前フレームの同じ領域の符号化データで置換されていることを示し、＃２１の三角形領域は、前フレームにおける＃２１の三角形領域の符号化データが用いられる。同様に、＃２３の三角形領域は、前フレームにおける＃２３の三角形領域の符号化データが用いられる。同様に、＃３０の三角形領域は、前フレームにおける＃３０の三角形領域の符号化データが用いられる。同様に、＃３５の三角形領域は、前フレームにおける＃３５の三角形領域の符号化データが用いられる。
【０１７０】
この図５０で示す１次元化されたデータ配列を図４１で示した１次元化されたデータ配列と比較すると、より多くのデータが省略されていることがわかり（省略されている三角形領域は破線枠で示されている）、データ圧縮率がより高いものとなっている。
【０１７１】
また、この図５０からもわかるように、ある三角形領域（たとえば、＃２１，＃２３，＃３０，＃３５の三角形領域）において符号化データ置換がなされている場合、それよりも下位の三角形領域においては、符号化データ置換がなされていることを明示的に示す必要がないことも特徴の１つである。これは、本発明においては、それぞれの三角形領域の位置関係が自明であるため、上位の三角形領域において符号化データ置換がなされた場合、それより下位のどの三角形領域が符号化データ置換対象であるかが自明となるためであり、それによって、下位の三角形領域において、データ置換を示す符号の付加は不要となる。そして、この図５１で示す符号化データは復号化側に送られて復号化される。
【０１７２】
図５１は本発明に係る画像処理装置の復号化側の構成を示すブロック図である。この復号化側の構成としては、大きく分けると、符号化データ入力手段１１、符号化データ解析手段１２、再帰的三角形領域合成手段１３、三角形領域合成制御手段１４、正方形領域合成手段１５、画像データ出力手段１６、符号化データ選択判定手段３０（前フレーム符号化データ記憶手段１７、符号化データ選択手段１８からなる）を有している。
【０１７３】
符号化データ解析手段１２は、符号化データ入力手段１１に入力された符号化データを解析し、符号化データに与えられた１ビットの情報（図５０に示す符号化データ置換の有無を示す情報）に基づいて、その符号化データが現フレームに対する差分データであるのか、それとも、前フレーム符号化データを用いることを要求したデータ（データ置換の要求されたデータ）であるのかを判定する。
【０１７４】
前フレーム符号化データ記憶手段１７は、前フレーム符号化データを記憶するものであるが、この前フレーム符号化データ記憶手段１７に記憶される前フレーム符号化データは、符号化データ入力手段１１が入力した前フレームに対応する符号化データそのものではなく、たとえば、符号化データ選択手段１８によって選択されたデータによってデータ更新がなされた場合は、その更新されたデータが前フレームの符号化データとして記憶される。
【０１７５】
符号化データ選択手段１８は、符号化データ解析手段１２の解析結果に基づき、現フレームの差分データか、あるいは、前フレーム符号化データ記憶手段１７に記憶されたデータのいずれかを選択する。そして、選択されたデータが現フレームに対する差分データであった場合には、それを用いて、前フレーム符号化データ記憶手段１７の内容を更新する。
【０１７６】
このように、図５１の構成は本発明の基礎となる画像処理技術で説明した復号化側の構成（図２６参照）に対して、符号化データ解析手段１２と三角形領域合成制御手段１４との間に、前フレーム符号化データ記憶手段１７と符号化データ選択手段１８が設けられている点が異なるだけで、あとは、図２６と同じであるので、同一構成要素については同一符号を付すことでその詳細な説明はここでは省略する。
【０１７７】
図５２および図５３は本発明の復号化処理手順を説明するためのフローチャートであり、図５２は分割されたすべての正方形領域の復号化を行う処理手順を示すもので、図５３はある１つの正方形領域における復号化手順を示すものである。
【０１７８】
なお、これら図５２および図５３のフローチャートは、先に説明した本発明の基礎となる画像処理技術における復号化処理の説明に用いた図３３のフローチャートを、分割されたすべての正方形領域の復号化を行う処理手順と、ある１つの正方形領域内における復号化を行う処理手順とに分けて示すものであり、基本的な処理は図３３と同じであるが、図５３に示すある１つの正方形領域内を復号化する処理において、現在処理対象となっている三角形領域に対して前フレームの符号化データが選択されたか否か判定する処理と、その判定結果に対応した処理が追加されている。
【０１７９】
図５２において、まず、すべての正方形領域を復号化したか否かを判断し（ステップＳ７１）、すべての正方形領域の復号化が終了していれば、正方形領域合成処理を行って（ステップＳ７２）、復号化処理を終了し、すべての正方形領域の復号化が終了していなければ、その正方形の４頂点画素値を復号し（ステップＳ７３）、その正方形領域内の合成処理（図５３参照）を行う（ステップＳ７４）。
【０１８０】
図５３はある１つの正方形領域の復号化処理を示すもので、まず、全階層を復号化したかを判断し（ステップＳ８１）、全階層の復号化が終了していれば復号化処理を終了し、全階層の復号化が終了していなければ、その階層（現在処理対象となっている階層）のすべての三角形を合成したかを判断する（ステップＳ８２）。
【０１８１】
そして、その階層のすべての三角形の合成が終了していなければ、その三角形領域（現在、符号化処理対象となっている三角形領域）に対し、前フレームの符号化データを選択か否かを判定し（ステップＳ８３）、前フレームの符号化データを選択すると判定された場合は前フレームの符号化データを取得し（ステップＳ８４）、ステップＳ８２に戻る。また、前フレームの符号化データを選択しないと判定された場合は、現フレームの斜辺中点画素値を復号し（ステップＳ８５）、前フレーム符号化データを更新して（ステップＳ８６）、ステップＳ８２に戻る。
【０１８２】
そして、ステップＳ８２において、その階層（現在処理対象となっている階層）のすべての三角形を合成したかを判断し、当該階層のすべての三角形について処理を終了していれば、その階層の三角形領域合成処理を行い（ステップＳ８７）、ステップＳ８１に戻る。
【０１８３】
このように、この復号化処理では、前フレーム符号化データを選択か否か、つまり、この場合、図５０で示したデータ置換を行うか否かを示す情報（“０”または“１”）を調べ、現在、復号化対象の三角形領域の上位の三角形領域でデータ置換が可能でないことを示す“０”が与えられていれば、その三角形領域については斜辺中点画素値を復号化し、かつ、前フレーム符号化データ記憶手段１７に記憶されている前フレーム符号化データの更新を行う。一方、上位の三角形領域でデータ置換を行うことを示す“１”が与えられていれば、当該三角形領域以降の階層の三角形領域全体を、前フレーム符号化データを用いて復号化する。
【０１８４】
なお、本発明は上述の各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、上述した符号化データ（図５０で示す１次元化されたデータ）を所定の暗号化鍵を用いて暗号化してそれを復号化側に送信し、復号化側ではその暗号化された符号化データを所定の復号化鍵を用いて復号化するということもできる。
【０１８５】
たとえば、この暗号化として、２分木の各階層ごとの符号化データを階層に対応して用意された暗号化鍵を用いて暗号化する。これによって、各階層ごとのそれぞれの三角形領域のデータ（斜辺中点画素値）がその階層に用意された暗号化鍵で暗号化されたデータとして出力することができる。そして、このような符号化側からの暗号化データを復号化する際は、２分木の各階層に対応して用意された復号化鍵を取得して各階層ごとに復号するようにする。これにより、各階層対応の復号化鍵によってそれぞれの階層に応じた解像度の画像が復元されるので、たとえば、第２階層までの復号化鍵しか取得できなかった場合には、第２階層に対応した解像度での画像しか得ることができず、また、第３階層までの復号化鍵を取得すれば、第３階層までの解像度の画像を得ることができるというように、どの階層までの復号化鍵を取得したかによって、その階層に応じた解像度の画像を得ることができる。
【０１８６】
これによって、たとえば、画像データの閲覧システムなどにおいて、ユーザが閲覧できる階層（解像度）を制限することができ、閲覧する解像度に応じた課金の設定などを行うことができる。また、著作権の保護の目的などにも適用することができるといった効果が得られる。
【０１８７】
また、本発明は個々のフレーム（静止画像）に対し、省略できるデータはそれを省略するデータ省略処理を行ったあとに、前述した本発明の処理を行うようにすることもできる。
【０１８８】
このデータ省略処理は、ある１つのフレーム、つまり、ある１つの静止画像データにおいて、それを幾つかの正方形領域に分割し、分割されたぞれぞれの正方形領域を再帰的に三角形領域に分割して、それによって得られた三角形領域を平面近似した画素値と当該三角形領域の実際の画素値との誤差を求め、その誤差に基づいて当該三角形領域のそれ以降の分割を省略することができるか否かを判定する。そして、この判定結果に基づいて符号化すべき三角形領域の符号化データを生成する。
【０１８９】
さらに具体的に説明すると、再帰的に分割されたそれぞれの三角形領域を、その元となる正方形領域を根とする２分木で表現する。そして、前述したデータ省略判定処理は、処理対象の三角形領域の斜辺両端を結ぶ直線上の中点画素値を近似的な画素値とし、その近似的な画素値と当該三角形領域の実際の斜辺中点画素値との誤差の大きさが所定値未満であるか否かを判定する処理と、当該三角形領域が分割可能であるか否かを判定する処理とを含む処理をデータ省略判定処理として行い、このデータ省略判定処理を、前記処理対象の三角形領域を基点に、当該三角形領域を再帰的分割して得られる個々の三角形領域について順次行い、自身の三角形領域の誤差の大きさが所定値未満であると判定され、かつ、２分割されて生成された双方の三角形領域の誤差の大きさが所定値未満であると判定され、それが最終段の三角形領域にまで到達した場合に、当該処理対象となる三角形領域のそれ以上の分割が省略可能であることを示す情報を出力する。
【０１９０】
このように、個々のフレームにおいてこのようなデータ省略処理を行ったあとに本発明の動画処理を行うことによって、演算量、メモリ量をより一層削減することができる。
【０１９１】
また、本発明はこのようなデータ省略処理を行ったのちに、これまで説明した本発明の動画の符号化処理を行い、さらにそのあとに上述した暗号化処理することもできる。
【０１９２】
また、本発明は以上説明した本発明を実現するための処理手順が記述された処理プログラムを作成し、その処理プログラムをフロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくこともでき、本発明は、その処理プログラムの記録された記録媒体をも含むものである。また、ネットワークから当該処理プログラムを得るようにしてもよい。
【０１９３】
【発明の効果】
以上説明したように本発明は、処理対象となるフレーム対応の画像をフレーム間相関を用いて符号化するものであるが、動き補償処理を行わないので、動きベクトルを求めるために多くの計算量、メモリ量を必要としていた従来技術に比べると、計算量やメモリ量を大幅に削減できる効果がある。なお、動き補償を行わないことによる符号化効率の劣化は、本発明の基礎となる画像処理技術である正方形領域を再帰的三角形領域分割することによって得られた２分木のデータ構造により、前フレームとの差異のある部分をそれに最も適したサイズの領域として表現することを可能とすることによって改善できる。つまり、従来例においては、前述したように、処理の単位が１６画素×１６画素のマクロブックという固定された大きさであったが、本発明においては、可能である限り、大きな領域を前フレームの符号化データで置換できるというような符号化を行う。逆に言うと、差異のある部分をできるだけ小さな領域で表現することによって、トータルとしての符号化効率を改善する効果がある。
【０１９４】
また、本発明の動画符号化で用いる符号化データ差分化処理は、個々のフレームデータ（静止画データ）の符号化を行ったあとのデータを用いて行われるので、これによっても、計算量やメモリ量を削減でき、さらに、本発明の基礎となる画像処理技術による符号化や、それを基にした個々のフレームのデータ省略処理とは独立して行うことができる。そのため、たとえば、本発明で用いる符号化データ差分化処理を行っている最中に、他の処理負荷が増加して、本発明の符号化データ差分化処理に割り当てられる演算処理量が少なくなった場合、その符号化データ差分化処理を中断し、それまでに処理された結果を直接に符号化出力とすることが可能である。また、他の処理負荷が始めから大きい場合には本発明の符号化データ差分化処理を全く行わないようにすることもできる。このように、システムの処理負荷の大きさに応じて、柔軟に対応することができる。
【０１９５】
また、符号化側からの符号化データを復号する際は、符号化側からの符号化データを解析し、その符号化データが現フレーム対する差分データであるのか、それとも、データ置換の要求されたデータであるのかを判定して、その判定結果に基づいて、三角形領域の合成を行うようにしている。このとき、データ置換の要求されたデータであるのか否かの判定は、データ置換の可能な最上位の三角形領域に付されたデータ置換が可能であることを示す情報に基づいて行い、ある三角形領域に対してデータ置換が可能であることを示す情報が与えられている場合には、当該三角形領域より下の階層の三角形領域全体を、そのデータ置換が可能であることを示す情報の付加された三角形領域の符号化データを用いて復号化するようにしているので、効率的な三角形領域の合成が行える。
【図面の簡単な説明】
【図１】本発明の基礎となる画像処理技術についての符号化側の構成図である。
【図２】図１で示した画像データ入力手段の構成を説明する図である。
【図３】処理対象画像が正方形である場合、その画像を三角形に分割した例を示す図である。
【図４】処理対象画像が正方形でない場合、その画像を複数の正方形領域に分割した例を示す図である。
【図５】画像を複数の正方形領域に分割する際の分割処理手順を説明するフローチャートである。
【図６】画像を複数の正方形領域に分割する際に生じる空白部分へ画素値０を補填する例を説明する図である。
【図７】ある１つの正方形を２つの三角形に分割する２つの方法（第１の方法と第２の方法）について説明する図である。
【図８】ある１つの正方形を２分割して２つの三角形を得て、さらに、その２つの三角形を再帰的に分割して得られた三角形の８種類の型を示す図である。
【図９】図８で示した三角形の型が相互に関連つけられることを説明する図である。
【図１０】図７で示した２つの分割方法によって分割された三角形と元の正方形との画素値の継承規則を示す図である。
【図１１】図８で示した８種類の型をそれぞれ２分割して得られた三角形の型とその画素値の継承規則を示す図である。
【図１２】ある１つの正方形を第１の方法で２分割して得られた２つの三角形をさらに２分割して得られる三角形の型を示す図である。
【図１３】ある１つの正方形を第１の方法で２分割して得られた２つの三角形をさらに２分割し、それをさらに２分割して得られる三角形の型を２分木で表現した図である。
【図１４】図１で示した符号側の具体的な処理を説明するために一辺の画素数が３で、それぞれの画素に具体的な数値（画素値）を与えた図である。
【図１５】図１４を用いて三角形領域の再帰的分割処理を行う例を説明する図である。
【図１６】図１５で示した三角形領域の再帰的分割処理手順を説明するフローチャートである。
【図１７】図１５で示した三角形領域の再帰的分割処理手順を行う際の求めるべき画素値を図１１に示す継承規則を参照して得る処理を説明する図である。
【図１８】図１５から図１７で示した処理を２分木で表現した図であり、図１３の２分木表現に斜辺中点の画素値を加えた図である。
【図１９】処理対象画像を複数の正方形領域に分割した例を示す図である。
【図２０】図１９で得られた正方形領域それぞれを２分木で表現した例を説明する図である。
【図２１】ある１つの２分木で表現される画像データを符号化する順序の一例を説明する図である。
【図２２】図２１で説明した符号化手順によって符号化されたデータ例を示す図である。
【図２３】ある１つの２分木で表現される画像データを符号化する順序の他の例を説明する図である。
【図２４】図２３で説明した符号化手順によって符号化されたデータ例を示す図である。
【図２５】本発明の基礎となる画像処理技術についての符号化処理手順を説明するフローチャートである。
【図２６】本発明の基礎となる画像処理技術についての復号化側の構成図である。
【図２７】図２２の符号化データを復号化する手順を説明する図である。
【図２８】図２７の復号化手順を実際の画像の復元を例にとって説明する図である。
【図２９】画像データを復号化する際の三角形内部にデータを補間する処理の一例を説明する図である。
【図３０】画像データを復号化する際、ある特定の領域（たとえば関心領域）を優先的に高解像度で複合する処理を説明する図である。
【図３１】図３０におけるある特定の領域を処理対象となる画像に対応させた例を示す図である。
【図３２】図３０による復号化手順によって復元される画像の復元度合い変化を示す図である。
【図３３】本発明の基礎となる画像処理技術についての復号化処理手順を説明するフローチャートである。
【図３４】図２６で示した画像データ出力手段の構成を説明する図である。
【図３５】本発明の画像処理装置の符号化側の実施形態を説明する構成図である。
【図３６】本発明の符号化側の処理手順を説明するフローチャートであり、正方形領域分割とその符号化手順を説明するフローチャートである。
【図３７】本発明の符号化側の処理手順を説明するフローチャートであり、分割されたある１つの正方形領域内の符号化手順を説明するフローチャートである。
【図３８】本発明の実施形態の具体例を説明するための２分木の例を示す図である。
【図３９】図３８に示す２分木に対応する再帰的三角形領域分割例を示す図である。
【図４０】図３９の２分木で表現される画像データを符号化する順序を説明する図である。
【図４１】図４０に示す順序で符号化されたデータを縦方向に並べたデータ配列を示す図である。
【図４２】本発明の実施形態で用いる画像例であり、（ａ）は前フレームデータ、（ｂ）は現フレームデータを示す図である。
【図４３】図４２の画像例を再帰的三角形領域分割した図である。
【図４４】前フレーム符号化データと現フレーム符号化データとの差分に基づいて個々の三角形領域がデータ置換可能か否かを判定する例を説明する図であり、最終階層の三角形領域における処理例を説明する図である。
【図４５】前フレーム符号化データと現フレーム符号化データとの差分に基づいて個々の三角形領域がデータ置換可能か否かを判定する例を説明する図であり、第３階層の三角形領域における処理例を説明する図である。
【図４６】前フレーム符号化データと現フレーム符号化データとの差分に基づいて個々の三角形領域がデータ置換可能か否かを判定する例を説明する図であり、第２階層の三角形領域における処理例を説明する図である。
【図４７】前フレーム符号化データと現フレーム符号化データとの差分に基づいて個々の三角形領域がデータ置換可能か否かを判定する例を説明する図であり、第１階層の三角形領域における処理例を説明する図である。
【図４８】図３８の２分木において図４４から図４７の処理を行った結果の２分木を示す図である。
【図４９】図４８に示す２分木において符号化データ出力例を説明する図である。
【図５０】図４９による符号化データを縦に並べたデータ配列を示す図である。
【図５１】本発明の画像処理装置の復号化側の実施形態を説明する構成図である。
【図５２】本発明の復号化側の処理手順を説明するフローチャートであり、それぞれの正方形領域の復号化と正方形領域の合成処理手順を説明するフローチャートである。
【図５３】本発明の復号化側の処理手順を説明するフローチャートであり、分割されたある１つの正方形領域内の復号化手順を説明するフローチャートである。
【図５４】従来の動画符号化の一例としてのＨ．２６１の構成を示す図である。
【符号の説明】
１ 画像データ入力手段
２ 正方形領域分割手段
３ 再帰的三角形領域分割手段
４ 三角形領域分割制御手段
５ 符号化データ生成手段
６ 符号化データ出力手段
７ 符号化データ記憶手段
８ 前フレーム符号化データ記憶手段
９ 符号化データ比較手段
１０ 符号化データ選択手段
１１ 符号化データ入力手段
１２ 符号化データ解析手段
１３ 再帰的三角形領域合成手段
１４ 三角形領域合成制御手段
１５ 正方形領域合成手段
１６ 画像データ出力手段
１７ 前フレーム符号化データ記憶手段
１８ 符号化データ選択手段
２０ 符号化データ差分化手段
３０ 符号化データ選択判定手段
３１ 形状型記憶手段
３２ 頂点画素値記憶手段
３３ 斜辺中点画素値取得手段
３４ 形状型更新手段
３５ 頂点画素値更新手段
＃１〜＃８ 三角形型
【発明の属する技術分野】
本発明は画像処理方法及び画像処理装置並びに画像処理プログラムに関する。特に、画像を正方形領域とし、その正方形領域を三角形領域に分割し、分割された三角形領域に対し画像処理行う画像処理技術を用い、動画データを符号化し、それを復号化する画像処理方法および画像処理装置ならびに画像処理プログラムに関する。
【０００２】
【従来の技術】
動画信号を高い効率で圧縮、伸張する動画符号化技術は、携帯電話機やインタネットの普及、およびそれらの上でのマルチメディア通信に対する要求とともにその必要性が高まっている。
【０００３】
この動画符号化技術においては、小型の携帯機器での処理を可能とするために、低いビットレートを実現できるように符号化効率が高いこと、その処理の際の計算量、メモリ量が少ないことが求められている。さらに、符号化処理が専用機ではなく、汎用機器上で実行される場合、その機器で並行に処理される他の処理の負荷変動に対する柔軟な対応が可能であることなどが要求される。
【０００４】
動画を符号化する方法として、それぞれのフレームのデータをフレームごとに独立した静止画データとして符号化する方法がある。この例としては、モーションＪＰＥＧなどがある。この方法は、符号化された個々のフレームが独立しているために、編集時や早送り、巻き戻し操作が容易であるなどの特徴がある。
【０００５】
また、画像入力が可能である機器の多くが静止画処理のためのハードウエアを持っていることが多く、それを利用できるという利点がある。しかし、動画としての符号化効率は高いとはいえない。
【０００６】
動画の符号化効率を高めるための符号化方法として、前フレームデータとの差分のみを符号化する方法がある。これは、動画データにおいて、それぞれのフレーム間のデータの相関が大きいということを利用したものである。さらに、この方法には、前フレームデータと現フレームデータとの間で、対象物の動きを考慮して差分を求める場合と、動きを考慮しないで差分を求める場合とに分けることができる。
【０００７】
対象物の動きを考慮した差分とは、動き補償処理とも呼ばれ、前フレームのある範囲のデータが、現フレームの異なる位置にあるか否かを考慮するものである。たとえば、前フレームデータの一部が、現フレームデータ上においては、ある方向へ移動しているということは動画においては頻繁に現れる状況である。このような場合、動き補償処理では、前フレームデータのどの領域が、どの方向へどれだけ動いたという動きベクトルと呼ばれる情報が符号化される。これは、動きを考慮しない差分と比較すると、符号化するデータ量を少なくすることができる特徴がある。この具体例としては、Ｈ．２６１などの符号化ある。
【０００８】
一方、対象物の動きを考慮しない差分とは、単純に前フレームデータと現フレームデータとの間で、対応する位置のデータにどれだけの差分があるかということである。この差分が小さいとされた領域は、前フレームデータをそのまま用いることで処理され、前フレームデータを用いるという情報のみが符号化される。この処理は、動き補償処理において、動きベクトルが０である特殊な場合と考えることもできる。その意味で、動き補償を含む処理のほうがより一般的なものであるが、このように仮定することにより、処理を非常に軽くすることができる特徴がある。
【０００９】
上述したそれぞれの符号化方法はリアルタイムの動画を符号化する場合を想定したものであるが、蓄積された動画符号化においては、参照するフレームデータは直前のフレームデータのみではなく、過去の複数のフレームデータ、さらに、未来の複数のフレームデータとの差分を求める方法もある。この具体例としては、ＭＰＥＧにおける動画符号化などがある。
【００１０】
ここで、従来の一般的な符号化方法について説明する。図５４はＨ．２６１の符号化方式を説明する図であり、概略的には、画像データ入力手段２０１、動き補償手段２０２、データ選択手段２０３、ＤＣＴ（離散コサイン変換）手段２０４、量子化手段２０５、逆量子化手段２０６、逆ＤＣＴ手段２０７、データ記憶手段２０８、符号化手段２０９、符号化データ出力手段２１０などを有した構成となっている。
【００１１】
このような構成において、画像データ入力手段２０１に入力された１フレーム分の画像データは、それが差分モードで符号化される場合は動き補償手段２０２で処理される。
【００１２】
データ選択手段２０３は、差分モードで符号化される場合においては、動き補償手段２０２による動き補償後のデータを選択し、差分モードではない場合においては、画像データ入力手段２０１により与えられるデータそのものを選択する。
【００１３】
このデータ選択手段２０３で選択されたデータは、ＤＣＴ手段２０４によって周波数データへ変換され、得られたＤＣＴ係数を量子化手段２０５によって量子化し、符号化手段２０９で符号化することによりデータが圧縮される。
【００１４】
また、量子化されたデータを逆量子化手段２０６によって逆量子化し、逆ＤＣＴ手段２０７によって逆量子化することによって得られたデータは、データ記憶手段２０８に記憶され、次のフレームのデータでの差分化処理のための前フレームデータとして用いられる。これは、復号処理側で参照可能な前フレームデータは、符号化されたデータから復号されたデータのみであることに対応する。
【００１５】
ここで、動き補償処理は任意の大きさの領域で行われるものではなく、マクロブロックと呼ばれる１６画素×１６画素の正方形領域を単位として行われる。また、ＤＣＴ処理などの空間周波数への変換処理は、位置に対する情報を分散させてしまうために、動き補償処理は入力された画像に対するＤＣＴ処理、量子化処理などが施される前に実行される必要がある。
【００１６】
この符号化処理において、ＤＣＴ処理なども大きな計算量が必要な処理であるが、動き補償処理もまた大きな計算量を必要とする処理である。つまり、動きベクトルを求める処理は、各々のブロックに対し、
【００１７】
【数１】
により与えられる誤差Ｅｒｒ（ｉ，ｊ）が最小となり、かつ、それが、所定の値よりも小さくなるようなｉとｊを求めるような処理である。
【００１９】
上述の（１）式においては、二乗誤差を評価基準として用いることを想定しており、Ｄ（ｘ，ｙ）は、ある座標（ｘ、ｙ）におけるデータ（画素）値を示すものとする。同様に、Ｐ（ｘ＋ｉ，ｙ＋ｊ）における前フレームのデータ（画素）値を示すものとする。ここで、値（ｉ，ｊ）が動きベクトルを表す。また、Ｌは処理対象とする正方形ブロックの大きさを表す。この演算処理の結果、ある動きベクトル（ｉ，ｊ）に対する差異Ｅｒｒ（ｉ，ｊ）が求められる。
【００２０】
Ｈ．２６１の符号化方式においては、Ｌ＝１６である。また、１組のｉとｊの範囲としては、−１５から＋１５の範囲の計算を行う。そのため、単純に実行すれば、（１）式を９００回以上の行うことが必要となる。
【００２１】
また、この動き補償処理は、マクロブロックという正方形領域を用いた処理であるため、その中の小さな部分において動きがあった場合でも、そのブロック全体の処理が必要となる。また、動き補償においてブロックをコピーする場合、そのブロックの境界に不連続が生じる可能性がある。
【００２２】
この演算量の多さや不連続性の改善を図る技術の例として、特開平８−３７６６４号公報に記載の技術「動画像符号化／復号化装置」や特開平１０−３４１４４１号公報に記載の技術「二次元三角パッチ線格子モデルを用いた動画像の動き推定方法」などがある。
【００２３】
特開平８−３７６６４号公報に記載の技術は、その公報に記載された図２に見られるように、入力データから代表点を求め、それらを結ぶ三角形領域を設定し、この代表点の移動より、フレーム間での動きベクトルを求めるものである。この代表点およびそれらを結ぶ三角形領域は、対象となるデータに依存し、任意の位置、任意の大きさに取ることができる。これにより、動き補償の演算量を削減し、かつ、前フレームからの、より滑らかな動きや変形を可能とすることができる。
【００２４】
一方、特開平１０−３４１４４１号公報に記載の技術は、上述の特開平８−３７６６４号公報に記載の技術とは異なり、その公報に記載された図３に示されるように、入力データ全体に対し、マクロブロックを対角線で２分割した二次元三角パッチ線格子モデルと呼ぶ小さな二次元三角形よりなる格子を当てはめる。その後、その公報に記載された図２に示されるように、その三角形領域の頂点を基準に、動きベクトルを計算する。そして、求められた動きベクトルをもとに、その公報に記載された図５（ｃ）に示されるように、三角パッチ線格子が変形させせられる。これにより、最終的には特開平８−３７６６４号公報に記載の技術と同様に、演算量を削減し、前フレームからの、より滑らかな動きや変形を可能とすることができる。
【００２５】
【特許文献１】
特開平８−３７６６４号公報
【特許文献２】
特開平１０−３４１４４１号公報
【００２６】
【発明が解決しようとする課題】
しかしながら、特開平８−３７６６４号公報に記載の技術においては、代表点を求めること自体に多くの計算量を必要とし、また、代表点が誤検出された場合は、非常に大きな画質劣化を招くといった問題がある。また、特開平１０−３４１４４１号公報においても、動きベクトルを求めるに多くの計算量が必要となる。
【００２７】
動き補償処理は、動画の圧縮効率を大きく改善するものである。しかし、さまざまな改善手段はあるものの、動き補償処理には依然として非常に大きな計算量、メモリ量を必要とし、たとえば、携帯型情報機器のようなハードウエア能力、電源能力などに大きな制約のある状況下での使用は困難である場合が多い。また、専用ハードウエア化は、それらの課題を改善するものであるが、汎用性、コストの面での新たな問題点が出てくる。
【００２８】
また、動画符号化処理が、汎用機器の上で他の処理と並行して行われる場合、他の処理の負荷変動に依存して、動画符号化処理に割り当てられる計算能力を柔軟に変化させることができる方がより好都合である。
【００２９】
しかし、従来例のように、動き補償処理が処理の最前段に存在する場合（図５４参照）、動き補償処理は符号化処理と一体化しており、負荷変動に対応することは困難であった。また、動き補償処理が処理の最前段に存在するということは、得られた符号化データ量が目標とする符号化データ量ではなく、リトライを行う場合、動き補償処理にまで遡って、多くの処理をやり直す必要があるため、リトライ時の演算量が多くなるという問題もある。
【００３０】
そこで本発明は、動画の符号化および復号化を少ない計算量、少ないメモリ量で実現できる画像処理方法および画像処理装置ならびに画像処理プログラムを提供することを目的としている。
【００３１】
【課題を解決するための手段】
本発明は、動画データの符号化および復号化を行うものであるが、その符号化および復号化を行うに際して、処理対象となる画像を正方形とすることが前提である。この画像の正方形化を行う際、処理対象画像を１つ以上の正方形領域に分割する方法、もう１つは処理対象画像を正方形に変形させることで１つの正方形領域を生成する方法が考えられるが、本発明では前者、すなわち、処理対象画像を１つ以上の正方形領域に分割する方法を採用する。
【００３２】
まず、本発明の画像処理方法について言えば、この画像処理方法の符号化側は、動画を構成する連続した個々のフレーム対応の画像データをフレーム間相関を用いて符号化する画像処理方法であって、その画像処理手順として、フレーム対応の画像データを入力する画像入力ステップと、入力されたフレーム対応の画像データを１つ以上の正方形領域に分割する正方形領域分割ステップと、分割されたぞれぞれの正方形領域を再帰的に三角形領域に分割する再帰的三角形領域分割ステップと、分割された三角形領域を符号化する符号化データ生成ステップと、この符号化データ生成ステップによって生成された個々のフレーム対応の符号化データに対しフレーム間相関を用い、現フレームに対する符号化データを前フレームの符号化データで置換できるか否かを判定し、前フレームの符号化データで置換できると判定された場合は、それを示す情報を出力する符号化データ差分化ステップと、この符号化データ差分化ステップの判定結果に基づいた符号化データを出力する符号化データ出力ステップとを含むことを特徴としている。
【００３３】
このような画像処理方法において、前記符号化データ差分化ステップは、前記個々のフレーム対応の符号化データを現フレーム符号化データとし、この現フレーム符号化データと前フレーム符号化データとをそれぞれの対応する三角形領域で比較し、その差異の大きさが所定値未満であるか否かを判定し、差異が所定値未満である場合には、当該三角形領域における現フレーム符号化データを前フレーム符号化データで置換することを示す情報を出力し、差異が所定値以上である場合には、当該三角形領域は現フレームの符号化データを出力するようにしている。
【００３４】
また、この画像処理方法において、前記再帰的に分割されたそれぞれの三角形領域を、その元となる正方形領域を根とする２分木で表現し、前記符号化データ差分化ステップは、前記前フレーム符号化データに対応する２分木の最終階層の三角形領域と現フレーム符号化データに対応する２分木の最終階層の三角形領域について、両者の差異を求め、その差異の大きさに基づいて当該三角形領域が前フレームの同じ領域の符号化データで置換できるか否かを判定し、それよりも上位の階層の三角形領域においては、自身を２分割して得られた２つの三角形領域がともに前フレームの同じ領域の符号化データで置換できる場合に、自身の三角形領域も前フレームの同じ領域の符号化データで置換できると判定するようにしている。
【００３５】
また、この画像処理方法において、前記前フレーム符号化データで置換することを示す情報は、当該前フレーム符号化データで置換するとされた最上位の三角形領域のみに付されるようにしている。
【００３６】
また、本発明の画像処理方法の復号化側は、動画を構成する連続した個々のフレーム対応の画像データが、１つ以上の正方形領域に分割され、そのそれぞれの正方形領域が再帰的三角形領域分割処理されたのち、その分割された三角形領域が符号化され、かつ、当該処理対象となるフレーム対応の画像データがフレーム間相関を用いて符号化されてなり、この符号化データを復号化する画像処理方法であって、その画像処理手順として、符号化データを入力する符号化データ入力ステップと、この符号化データ入力ステップに入力された符号化データを解析する符号化データ解析ステップと、この符号化データ解析ステップによる解析結果に基づいて、前フレーム符号化データを選択するか現フレーム符号化データを選択するかを判定する符号化データ選択判定ステップと、この符号化データ選択判定ステップの判定結果に基づいて、再帰的に三角形領域を合成する再帰的三角形領域合成ステップと、合成された三角形領域により正方形領域を合成する正方形領域合成ステップと、合成された正方形領域から画像データを復元して出力する画像データ出力ステップとを含むことを特徴としている。
【００３７】
このような画像処理方法において、前記符号化データ選択判定ステップが行う前フレーム符号化データを選択するか現フレーム符号化データを選択するかの判定は、前フレームデータで置換することを示す情報に基づいて行い、ある三角形領域に前フレームデータで置換することを示す情報が与えられている場合には、当該三角形領域より下の階層の三角形領域全体を、前フレームの同じ領域の符号化データを用いて復号化するようにしている。
【００３８】
また、本発明の画像処理装置の符号化側は、動画を構成する連続した個々のフレーム対応の画像データをフレーム間相関を用いて符号化する画像処理装置であって、その構成要素として、画像データを入力する画像入力手段と、入力された画像データを１つ以上の正方形領域に分割する正方形領域分割手段と、分割されたぞれぞれの正方形領域を再帰的に三角形領域に分割する再帰的三角形領域分割手段と、分割された三角形領域を符号化する符号化データ生成手段と、この符号化データ生成手段によって生成された個々のフレーム対応の符号化データに対しフレーム間相関を用い、現フレームに対する符号化データを前フレームの符号化データで置換できるか否かを判定し、前フレームの符号化データで置換できると判定された場合は、それを示す情報を出力する符号化データ差分化手段と、この符号化データ差分化手段の判定結果に基づいた符号化データを出力する符号化データ出力手段とを含むことを特徴としている。
【００３９】
このような画像処理装置において、前記符号化データ差分化手段は、前記個々のフレーム対応の符号化データを現フレーム符号化データとし、この現フレーム符号化データと前フレーム符号化データとをそれぞれの対応する三角形領域で比較し、その差異の大きさが所定値未満であるか否かを判定し、差異が所定値未満である場合には、当該三角形領域における現フレーム符号化データを前フレーム符号化データで置換することを示す情報を出力し、差異が所定値以上である場合には、当該三角形領域は現フレームの符号化データを出力するようにしている。
【００４０】
また、この画像処理装置において、前記再帰的に分割されたそれぞれの三角形領域を、その元となる正方形領域を根とする２分木で表現し、前記符号化データ差分化手段は、前フレーム符号化データに対応する２分木の最終階層の三角形領域と現フレーム符号化データに対応する２分木の最終階層の三角形領域について、両者の差異を求め、その差異の大きさに基づいて当該三角形領域が前フレームの同じ領域の符号化データで置換できるか否かを判定し、それよりも上位の階層の三角形領域においては、自身を２分割して得られた２つの三角形領域がともに前フレームの同じ領域の符号化データで置換できる場合に、自身の三角形領域も前フレームの同じ領域の符号化データで置換できると判定するようにしている。
【００４１】
また、この画像処理装置において、前記前フレーム符号化データで置換することを示す情報は、当該前フレーム符号化データで置換するとされた最上位の三角形領域のみに付されるようにしている。
【００４２】
また、本発明の画像処理装置の復号化側は、動画を構成する連続した個々のフレーム対応の画像データが１つ以上の正方形領域に分割され、そのそれぞれの正方形領域が再帰的三角形領域分割処理されたのち、その分割された三角形領域が符号化され、かつ、当該処理対象となるフレーム対応の画像データがフレーム間相関を用いて符号化されてなり、この符号化データを復号化する画像処理装置であって、その構成要素として、符号化データを入力する符号化データ入力手段と、この符号化データ入力手段に入力された符号化データを解析する符号化データ解析手段と、この符号化データ解析手段による解析結果に基づいて、前フレーム符号化データを選択するか現フレーム符号化データを選択するかを判定する符号化データ選択判定手段と、この符号化データ選択判定手段の判定結果に基づいて、再帰的に三角形領域を合成する再帰的三角形領域合成手段と、合成された三角形領域により正方形領域を合成する正方形領域合成手段と、合成された正方形領域から画像データを復元して出力する画像データ出力手段とを含むことを特徴としている。
【００４３】
このような画像処理装置において、前記符号化データ選択判定手段が行う前フレーム符号化データを選択するか現フレーム符号化データを選択するかの判定は、前フレーム符号化データで置換することを示す情報に基づいて行い、ある三角形領域に前フレーム符号化データで置換することを示す情報が与えられている場合には、当該三角形領域より下の階層の三角形領域全体を、前フレームの同じ領域の符号化データを用いて復号化するようにしている。
【００４４】
また、本発明の画像処理プログラムの符号化側は、動画を構成する連続した個々のフレーム対応の画像データをフレーム間相関を用いて符号化する画像処理方法であって、その画像処理手順として、フレーム対応の画像データを入力する画像入力ステップと、入力されたフレーム対応の画像データを１つ以上の正方形領域に分割する正方形領域分割ステップと、分割されたぞれぞれの正方形領域を再帰的に三角形領域に分割する再帰的三角形領域分割ステップと、分割された三角形領域を符号化する符号化データ生成ステップと、この符号化データ生成ステップによって生成された個々のフレーム対応の符号化データに対しフレーム間相関を用い、現フレームに対する符号化データを前フレームの符号化データで置換できるか否かを判定し、前フレームの符号化データで置換できると判定された場合は、それを示す情報を出力する符号化データ差分化ステップと、この符号化データ差分化ステップの判定結果に基づいた符号化データを出力する符号化データ出力ステップとを含むことを特徴としている。
【００４５】
このような画像処理プログラムにおいて、前記符号化データ差分化ステップは、前記個々のフレーム対応の符号化データを現フレーム符号化データとし、この現フレーム符号化データと前フレーム符号化データとをそれぞれの対応する三角形領域で比較し、その差異の大きさが所定値未満であるか否かを判定し、差異が所定値未満である場合には、当該三角形領域における現フレーム符号化データを前フレーム符号化データで置換することを示す情報を出力し、差異が所定値以上である場合には、当該三角形領域は現フレームの符号化データを出力するようにしている。
【００４６】
また、この画像処理プログラムにおいて、前記再帰的に分割されたそれぞれの三角形領域を、その元となる正方形領域を根とする２分木で表現し、前記符号化データ差分化ステップは、前記前フレーム符号化データに対応する２分木の最終階層の三角形領域と現フレーム符号化データに対応する２分木の最終階層の三角形領域について、両者の差異を求め、その差異の大きさに基づいて当該三角形領域が前フレームの同じ領域の符号化データで置換できるか否かを判定し、それよりも上位の階層の三角形領域においては、自身を２分割して得られた２つの三角形領域がともに前フレームの同じ領域の符号化データで置換できる場合に、自身の三角形領域も前フレームの同じ領域の符号化データで置換できると判定するようにしている。
【００４７】
また、この画像処理プログラムにおいて、前記前フレーム符号化データで置換することを示す情報は、当該前フレーム符号化データで置換するとされた最上位の三角形領域のみに付されるようにしている。
【００４８】
また、本発明の画像処理プログラムの復号化側は、動画を構成する連続した個々のフレーム対応の画像データが、１つ以上の正方形領域に分割され、そのそれぞれの正方形領域が再帰的三角形領域分割処理されたのち、その分割された三角形領域が符号化され、かつ、当該処理対象となるフレーム対応の画像データがフレーム間相関を用いて符号化されてなり、この符号化データを復号化する画像処理方法であって、その画像処理手順として、符号化データを入力する符号化データ入力ステップと、この符号化データ入力ステップに入力された符号化データを解析する符号化データ解析ステップと、この符号化データ解析ステップによる解析結果に基づいて、前フレーム符号化データを選択するか現フレーム符号化データを選択するかを判定する符号化データ選択判定ステップと、この符号化データ選択判定ステップの判定結果に基づいて、再帰的に三角形領域を合成する再帰的三角形領域合成ステップと、合成された三角形領域により正方形領域を合成する正方形領域合成ステップと、合成された正方形領域から画像データを復元して出力する画像データ出力ステップとを含むことを特徴としている。
【００４９】
このような画像処理プログラムにおいて、前記符号化データ選択判定ステップが行う前フレーム符号化データを選択するか現フレーム符号化データを選択するかの判定は、前フレームデータで置換することを示す情報に基づいて行い、ある三角形領域に前フレームデータで置換することを示す情報が与えられている場合には、当該三角形領域より下の階層の三角形領域全体を、前フレームの同じ領域の符号化データを用いて復号化するようにしている。
【００５０】
このように本発明は、画像を正方形領域とした上で処理を行うものであり、その符号化側では、処理対象となる画像データを符号化するに際して、処理対象の画像データを１つ以上の正方形領域に分割し、取り出された正方形を再帰的に三角形領域に分割し、得られたそれぞれの三角形領域の３頂点の画素情報（以下では画素値という）と斜辺中点の画素値を得るようにしている。このとき、再帰的分割処理によって得られるそれぞれの三角形の型は、元の正方形に対する分割の仕方を決めておけば、あとは分割順にしたがって自動的に決めることができる。また、それぞれの三角形の頂点の画素値は正方形の持っている画素値をそのまま継承でき、斜辺中点の画素値も元の正方形から求めることができる。そして、このような再帰的三角形分割処理による三角形の型と保持すべき画素値（斜辺中点画素値）を２分木で表現でき、その２分木に基づいて１次元化された符号化データとして出力することができる。
【００５１】
これによれば、処理対象となる画像データを符号化する際、符号化を行う際に保持あるいは伝送すべきデータはごく少量ですみ、それによって、演算を大幅に簡略化することができるとともにメモリの使用量を大幅に減らすことができる。
【００５２】
また、本発明ではこの画像処理技術を用いて動画の符号化およびその復号化を行うものであり、その動画符号化は、処理対象となるフレーム対応の画像をフレーム間相関を用いるが動き補償処理は行わずに符号化するものである。このように本発明は、動き補償処理を用いないので、動きベクトルを求めるために多くの計算量、メモリ量を必要としていた従来技術に比べると、計算量やメモリ量を大幅に削減できる効果がある。
【００５３】
また、符号化したあとのデータのみを用いてフレーム間の差分を計算するので、これによっても、計算量やメモリ量を削減できる。なお、動き補償を行わないことによる符号化効率の劣化は、本発明の基礎となる画像処理技術である正方形領域を再帰的三角形領域分割することによって得られた２分木のデータ構造により、差異のある部分をそれに最も適したサイズの領域として表現することを可能とすることによって改善できる。
【００５４】
つまり、従来例においては、前述したように、処理の単位が１６画素×１６画素のマクロブックという固定された大きさであったが、本発明においては、可能である限り、大きな領域を前フレームの符号化データで置換できるというような符号化を行う。逆に言うと、差異のある部分をできるだけ小さな領域で表現することによって、トータルとしての符号化効率を改善する効果がある。
【００５５】
また、上述したように、本発明の動画符号化で用いられる符号データ差分化処理は、符号化したあとのデータを用いて行われるので、本発明の基礎となる画像処理技術による符号化や、それを基にした個々のフレームのデータ省略処理とは独立して行うことができる。そのため、たとえば、本発明で用いられる符号データ差分化処理を行っている最中に、他の処理負荷が増加して、本発明で用いられる符号データ差分化処理に割り当てられる演算処理量が少なくなった場合、その符号化データ差分化処理を中断し、それまでに処理された結果を直接に符号化出力とすることが可能である。また、他の処理負荷が始めから大きい場合には本発明の符号化データ差分化処理を全く行わないようにすることもできる。このように、システムの処理負荷の大きさに応じて、柔軟に対応することができる。また、符号化したあとのデータを用いて符号化データ差分化処理を行うことは、上述したような種々の効果の他に、最終的に得られた符号化データが目標とするデータと異なるような場合のリトライ処理を行う際の演算量を少なくすることができるという効果も得られる。
【００５６】
つまり、従来の技術では、入力された画像データに対して動き補償を行った後に、符号化してその符号化データを出力するという方式では、リトライを行う場合、動き補償処理にまで遡って、再度、動き補償処理を行った後に符号化するというように複数段階の処理をやり直す必要があるが、本発明では、符号化データ差分化処理だけをやり直すだけですむので、リトライを行う場合の演算量を少なくすることができる。
【００５７】
また、符号化側からの符号化データを復号する際は、符号化側からの符号化データを解析し、その符号化データが現フレーム対する差分データであるのか、それとも、データ置換の要求されたデータであるのかを判定して、その判定結果に基づいて、三角形領域の合成をおこなうようにしている。このとき、データ置換の要求されたデータであるのか否かの判定は、データ置換の可能な最上位の三角形領域に付されたデータ置換が可能であることを示す情報に基づいて行い、ある三角形領域に対してデータ置換が可能であることを示す情報が与えられている場合には、当該三角形領域より下の階層の三角形領域全体を、そのデータ置換が可能であることを示す情報の付加された三角形領域の符号化データを用いて復号化するようにしているので、効率的な三角形領域の合成が行える。
【００５８】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。まず、本発明の基礎となる技術として、処理対象となる画像を１つ以上の正方形領域に分割し、それぞれの正方形領域を再帰的に三角形領域に分割して、分割された三角形領域を符号化する画像処理と、それによって符号化された符号化データを復号化する画像処理について説明し、そのあとで、本発明の動画符号化処理とそれを復号する復号化処理について説明する。
【００５９】
図１は本発明に係る画像処理装置の符号化、すなわち、処理対象となる画像を１つ以上の正方形領域に分割し、それぞれの正方形領域を再帰的に三角形領域に分割して、分割された三角形領域を符号化する符号化側の構成を示すブロック図である。その構成を大きく分けると、画像データ入力手段１、正方形領域分割手段２、再帰的三角形領域分割手段３、三角形領域分割制御手段４、符号化データ生成手段５、符号化データ出力手段６を有した構成となっている。
【００６０】
画像データ入力手段１は、図２に示すように、個々の画素データを入力する画素データ入力手段１０１と、入力された画素の色データを各色成分へ分離する色成分分離手段１０２と、分離された色データに基づき、たとえば、ＲＧＢからＹＵＶデータへ変換する色変換手段１０３と、必要であるならばデータの間引きを行うデータ間引き手段１０４を有している。なお、この画像データ入力手段１に入力される画像データは、たとえば、カメラからの画像データ、ファイルからの画像データ、何らかの通信手段からの画像データなどが考えられる。
【００６１】
再帰的三角形領域分割手段３は、少なくとも、複数種類の三角形型（これについては後述する）を記憶する形状型記憶手段３１と、三角形の３つの頂点の画素値および斜辺中点画素値を記憶する頂点画素値記憶手段３２と、三角形の斜辺中点の画素値を補う斜辺中点画素値取得手段３３と、後述する規則（図１１参照）を用いて三角形型を更新する形状型更新手段３４と、三角形の３つの頂点の画素値および斜辺中点の画素値を更新する頂点画素値更新手段３５とを有している。
【００６２】
以下に図１で示した各構成要素の動作について詳細に説明する。
【００６３】
本発明は、処理すべき画像データを正方形とし、それを再帰的に三角形領域へ分割してその三角形領域に対して画像処理を行う。たとえば、画像データ入力手段１から得られた画像データのある１つの色成分が図３（ａ）のようであるとする。本発明は、これを、図３（ｂ）のように三角形領域の集合として表現する。
【００６４】
このように、本発明では処理すべき画像データが正方形であることを前提に処理を行うが、画像データ入力手段１から得られる画像データは必ずしも正方形であるとは限らない。そこで、画像データが正方形ではない場合の処理について説明する。
【００６５】
入力された画像データが正方形ではない場合、正方形領域分割手段２によって入力された画像データを１つ以上の正方形領域へ分割する。たとえば、入力された画像データが、図４（ａ）のような横長の長方形画像である場合、これを図４（ｂ）で示すような複数の正方形領域へ分割する。この時、分割される正方形の１辺に含まれる画素数をＬとすると、Ｌは２のＮ剰＋１であることが望ましい。この理由は後述する。なお、Ｎは自然数である。
【００６６】
このように、もともと正方形でない画像を正方形領域分割手段２によって正方形領域へ分割すると、図４（ｂ）に示すように、画像の端部に重なる正方形部分には画像の存在しない空白部が生じる。また、一般的には、画像データの幅と高さは、Ｌの整数倍とはならない。この空白部に対する処理と画像データの幅と高さが、Ｌの整数倍とはならない場合の処理について図５のフローチャートと図６の画像例を参照しながら説明する。
【００６７】
図５は正方形領域分割処理手段２が行う正方形領域分割処理手順を説明するフローチャートであり、まず、分割すべき正方形領域の１辺値としてＬを入力する（ステップＳ１）。ただし、上述したように、Ｌは２のＮ剰＋１とする（Ｎは自然数）とする。ここで、当該画像の幅ＷがＬの整数倍ではないとき、当該画像の幅がＬの整数倍となるまで０を挿入する（ステップＳ２）。また、同様に、当該画像の高さＨがＬの整数倍ではないとき、当該画像の高さＨがＬの整数倍となるまで０を挿入する（ステップＳ３）。
【００６８】
図６は、ある横長の画像に対し、図５で説明した正方形領域分割処理を施した例である。この図６からもわかるように、当該画像の幅ＷはＬの整数倍ではないので、当該画像の幅がＬの整数倍であるとして、その余白部に０を補填している。同様に、当該画像の高さＨはＬの整数倍ではないので、当該画像の高さＨがＬの整数倍であるとして、その余白部に０を補填している。
【００６９】
この図５および図６で説明した例は、画像の幅方向および高さ方向をＬの整数倍として、それによって生じる余白部に０を補填するようにした例について説明したが、それ以外にも、たとえば、ＪＰＥＧなどの処理に見られるように、幅方向においては、当該画像における最も右側の列の画素値を繰り返し、また高さ方向においては、当該画像における最も下側の行の画素値を繰り返すと言うようなものであってもよい。また、ＪＰＥＧ２０００などに見られるように、幅方向においては、当該画像における最も右側の列で画像値を折り返す、また高さ方向においては、当該画像における最も下側の行で画像値を折り返すと言うようなものであってもよい。
【００７０】
なお、これ以降の処理は、ＪＰＥＧなどと同様に、この分割された正方形領域のそれぞれにおいて独立した処理となるので、一般性を損なうことなく、画像データは正方形であるとして説明を続ける。
【００７１】
次に上述したように正方形領域に分割されたそれぞれの正方形を三角形に分割する処理について説明する。この三角形に分割する処理は、再帰的三角形領域分割手段３によって行われる。この再帰的三角形領域分割手段３は、それぞれの正方形領域を再帰的に三角形領域へ分割するもので、たとえば、図７（ａ），（ｂ）に示すように、ある１つの正方形領域は、２つの三角形に分割される。そして、この図７（ａ），（ｂ）では図示されていないが、分割された三角形はさらにそれぞれ三角形に分割される。
【００７２】
この正方形を三角形に分割する方法は二通りあり、その第１の方法としては図７（ａ）示すような分割の仕方であり、第２の方法としては図７（ｂ）に示すような分割の仕方である。
【００７３】
すなわち、正方形の４つの角部の画素値をａ，ｂ，ｃ，ｄとしたとき、図７（ａ）は第１の方法によって２つの三角形に分割し、図７（ｂ）は第２の方法によって２つの三角形に分割した例であり、これら第１および第２の方法を用いて分割されることによって生成される三角形の型を、それぞれの図中で示したように、＃１、＃２、＃３、＃４と表すことにする。
【００７４】
ところで、この図７（ａ），（ｂ）のように分割された三角形を再帰的に分割して得られる三角形は合計で８種あり、その８種類のそれぞれを図８に示すように、＃１、＃２、＃３、＃４、＃５、＃６、＃７、＃８の型番号を付す。なお、この図８に示される各三角形のそれぞれの頂点に付されたａ，ｂ，ｃはそれぞれその位置における画素値を表しており、また、それぞれの斜辺に付されたｄは、その斜辺中点位置における画素値を表すが、これについては後に説明する。
【００７５】
このような再帰的三角形領域分割されたそれぞれの三角形の型（三角形型）は相互に関連つけることができる。たとえば、図９に示すように、＃６の型の三角形を分割すると、＃１と＃４の型の三角形が生成される。つまり、本発明の再帰的三角形領域分割処理において、分割処理後の３角形の型は、その元となる三角形の型から自動的に定まるので、出力データの中に三角形の型を保存する必要はない。
【００７６】
ところで、上述した図７により正方形を三角形に分割する方法（第１の方法および第２の方法）について説明をしたが、このとき、正方形の４頂点の位置の画素値がどのようにして三角形に継承されるのかを説明する。
【００７７】
ここで、正方形の４頂点の画素値がａ，ｂ，ｃ，ｄであったとすると、この正方形の４頂点の画素値ａ，ｂ，ｃ，ｄの継承パタンとしては図７（ａ），（ｂ）で説明した分割の仕方によって２種類がある。
【００７８】
図１０はこの継承規則を示したものである。たとえば、正方形が図７（ａ）のような方法（第１の方法）で三角形に分割されたとすると、図１０の上段に示すように、分割前（正方形）の型をここでは＃０と表すものとすると、この正方形の４頂点の画素値（ａ，ｂ，ｃ，ｄ）は、三角形分割において得られた＃１型の三角形の画素値として（ａ，ｂ，ｃ，−）が継承され、＃２型の三角形の画素値として（ｂ，ｃ，ｄ，−）が継承される。
【００７９】
一方、正方形が図７（ｂ）のような方法（第２の方法）で三角形分割されたとすると、図１０の下段に示すように、分割前（正方形）の型をここでも＃０と表すものとすると、この正方形の４頂点の画素値（ａ，ｂ，ｃ，ｄ）は、三角形分割において得られた＃３型の三角形の画素値として（ａ，ｃ，ｄ，）が継承され、＃４型の三角形の画素値として（ａ，ｂ，ｄ，−）が継承される。
【００８０】
なお、本発明においては、それぞれの三角形の３頂点の画素値に加え、三角形の斜辺中点の画素情報も加えた４つの画素値を考慮するが、図１０の中で、ハイフン「−」で示した部分が斜辺中点の画素値であり、このハイフンはそれが不明であること、あるいは、その画素値の設定を必要とすることを示している。
【００８１】
図１１は図８で示した８種類の三角形をさらに分割したときの画素値の継承規則を示すものであり、この図１１に示されるように、分割前にある型（＃１から＃８）であった三角形は、それを分割すると、それぞれ２つの型の三角形となるが、そのときの画素値はこの図１１に示すように継承される。なお、この図１１においても、ハイフン「−」で示した部分が斜辺中点の画素値であり、このハイフンはそれが不明であること、あるいは、その画素値の設定を必要とすることを示している。
【００８２】
この図１１によれば、たとえば、頂点の画素値がａ，ｂ，ｃ、斜辺中点の画素値がｄである＃６型の三角形を分割すると、＃１型と＃４型の２つの三角形に分割され（図９参照）、＃１型の三角形の画素値は（ａ，ｄ，ｃ，−）、＃４型の三角形の画素値は（ｃ，ｄ，ｂ，−）となる。
【００８３】
以上の再帰的三角形分割処理のまとめを図１２により説明する。ある１つの正方形を、たとえば、＃１と＃２の型の三角形に分割するものとする。この、＃１と＃２の型の三角形は、＃１型についてはさらに＃５型と＃６型に分割され、＃２型についてはさらに＃７型と＃８型に分割される。この分割された三角形は、さらに、より小さな三角形に分割される。なお、この再帰的な分割処理は、斜辺中点に画素が存在する限りは次々と分割可能であるが、分割限界に達しなくても所定の段階で分割処理を終了することも可能である。どの段階まで分割するかは予め設定しておくことができる。
【００８４】
上述した再帰的三角形分割処理は、図１３に示すような２分木で表現することができる。図１３において、○の中の数字は三角形の型を示す。最も上部の内部に数字の無い○を正方形とし、これをルート（根）Ｒとした２分木が生成される。
【００８５】
ルートＲから生成される２つのノード（節）Ｎ１１，Ｎ１２の三角形型は、図７（ａ），（ｂ）の２つの分割方法（第１の方法または第２の方法）に対応しているが、これが決定されてしまえば、それぞれのノードを２分割してできる三角形は、図１１に示すような継承規則により一意に定まる。たとえば、＃１型を持つ三角形は、図１１からわかるように、＃５型と＃６型の三角形に２分される。同様に、＃５型を持つ三角形は、図１１からわかるように、＃１型と＃３型の三角形に２分される。
【００８６】
以降、記述の簡略化のため、三角形型がＴ、３頂点の画素値がａ，ｂ，ｃであって、斜辺中点の画素値がｄである三角形を、Ｔ（ａ，ｂ，ｃ，ｄ）と表す。たとえば、三角形型が＃６でその３頂点の画素値がａ，ｂ，ｃであって、斜辺中点の画素値がｄである三角形は、＃６（ａ，ｂ，ｃ，ｄ）で表され、それは、＃１（ｄ，ｂ，ｃ，−）と＃４（ａ，ｄ，ｃ，−）へ分割されるというように表される。
【００８７】
この例から明らかなように、このそれぞれの三角形を分割した後の三角形において、ハイフンで示した不定である斜辺中点の画素値を補うことにより、図１１の継承規則を用いて三角形領域分割を再帰的に行うことができる。
【００８８】
これは、前述の従来技術の項で引用した特開平９−１９１４０９号公報に記載された技術のように、一つの三角形を表現するために、３つの頂点のＸ座標値が３個、Ｙ座標値が３個、３つの頂点の画素値として３個の合計９個の画素情報を必要としそれを保持する必要のあるものに比較して、ワーストケースにおいて、１／９のデータ量である。
【００８９】
以上より、図１に示した再帰的三角形領域分割手段３は、少なくとも、＃１型１から＃８型の８通りの三角形型を記憶する形状型記憶手段３１と、三角形の３つの頂点の画素値および斜辺中点の画素値を記憶する頂点画素値記憶手段３２と、三角形の斜辺中点画素値を補う斜辺中点画素値取得手段３３と、図１１に示す継承規則用いて三角形型を更新する形状型更新手段３４と、三角形の３つの頂点の画素値および斜辺中点の画素値を更新する頂点画素値更新手段３５により、再帰的に三角形領域を分割することができる。
【００９０】
以上の再帰的三角形領域分割処理を具体的な数値例を用いて説明する。説明を簡単にするために、図１４に示すように、１辺の画素数ＬがＬ＝３（この場合は、Ｌが２のＮ乗＋１であるという条件において、Ｎ＝１とした場合である）の正方形を例にとる。なお、図１４において、それぞれの画素を黒丸で表し、それぞれの画素に付された数値はその画素における画素値を表している。
【００９１】
このような正方形に対し、図７（ａ）で示したような方法（第１の方法）で２分割したとすると、図１５（ａ）に示すように、２つの三角形に分割される。この左上の三角形は、＃１型の三角形であり、その頂点の画素値は（３，９，１）であるので、＃１（３，９，１，−）と表され、これに斜辺中点の画素値７を補うことにより、＃１（３，９，１，７）という情報を生成することができる。
【００９２】
このような情報が生成されたら、この情報を用い、図１６のフローチャートに示す手順で分割後の三角形を得る。すなわち、現在の型情報を用いて図１１で示した継承規則の検索を行い、分割後の２つの三角形の情報を求める（ステップＳ２１）。そして、図１１で示した継承規則の情報に基づき、現三角形の４つの画素値の並べ替えを行い、２つの新三角形を得る（ステップＳ２２）。
【００９３】
つまり、この例では、図１７に示すように、＃１（３，９，１，７）の情報を有する三角形は、＃５（３，７，１，−）と、＃６（３，９，７，−）に分割されることになる。これを示したものが、図１５（ａ），（ｂ）であり、＃１（３，９，１，−）の情報を有する三角形は、その斜辺中点に７の画素値を補填し、それを２分割すると、＃５（３，７，１，−）の情報を有する三角形と＃６（３，９，７，−）の情報を有する三角形が得られる。以降、これら三角形のそれぞれの斜辺中点の画素値として、図１５（ｃ）に示すように、＃５型の三角形については５を補填し、＃６型の三角形Ｔ１２については４を補填するという処理を行うことにより再帰的三角形領域分割を行う。
【００９４】
以上の図１４から図１７で説明した処理は、図１８に示すような２分木で表現できる。この図１８の２分木表現も図１３で示した２分木表現と同様に、２分木の○の中に示した三角形型は、その上位の型から一意に定まるために、データとして出力する必要はなく、その○の下に示した斜辺中点の画素値のみを補うことにより、より下位の三角形領域分割を行うことができる。
【００９５】
この図１８は、図１４で示した正方形を三角形領域分割する場合の２分木表現であり、ルートＲに相当する正方形は図１４からもわかるように、その４頂点の画素値は（３，９，１，８）であって、このような正方形を図１５（ａ），（ｂ），（ｃ）で説明したような三角形領域分割処理を行ったものである。
【００９６】
このように、処理対象となる画像データに対し、最初の正方形の４頂点の画素値、それを最初に３角形分割したときの三角形の型、分割された三角形の斜辺中点の画素値の連鎖の３種のデータによって、正方形領域の画像を表現することができる。
【００９７】
なお、このデータのうち、正方形を最初に三角形に分割する際、図７（ａ），（ｂ）の第１の方法または第２の方法のいずれかで行うかを固定することは可能である。また、正方形領域の１辺に含まれる画素数Ｌは、２のＮ剰＋１（Ｎは自然数）となるような条件を満たすようにすると、分割された三角形の斜辺中点には必ず画素が存在する。このため、処理を容易にするためには、正方形領域の１辺に含まれる画素数Ｌが２のＮ剰＋１（Ｎは自然数）であることが望ましい。
【００９８】
以上のような処理の結果、たとえば図１９に示すように、ある画像が複数の正方形領域に分割されている場合、そのそれぞれの正方形領域は、図２０に示されるような複数の２分木に変換されることになる。
【００９９】
ところで、２分木として表現された画像データを、伝送、記録するためには、それを１次元のデータ列に変換する必要がある。その順序には幾つもの方法が考えられるが、たとえば、以下のような２種の方法も可能である。
【０１００】
図２１は、２分木の幅方向優先の出力方法を示したものである。これは数字の下にアルファベットＡ，Ｂ，Ｃ，・・・で示した順番（アルファベット順）にデータが１次元化される。たとえば、最初に、ルートＲとして正方形のデータ（４頂点の画素値）Ａが出力され、その後、このルートＲの下位の同じ深さのノードＮ１１、Ｎ１２のデータ（斜辺中点の画素値）Ｂ，Ｃが出力され、さらに、その後、ノードＮ１１，Ｎ１２の下位の同じ深さのノードＮ２１，Ｎ２２，Ｎ２３，Ｎ２４のデータ（斜辺中点の画素値）Ｄ，Ｅ，Ｆ，Ｇが出力される。
【０１０１】
図２２は、この方法により１次元化されたデータの結果を示すものであり、アルファベットＡ，Ｂ，Ｃ，・・・の順に、それぞれのアルファベットＡ，Ｂ，Ｃ，・・・に対応した画素値が出力される。
【０１０２】
図２３は、２分木の深さ方向優先の出力方法を示したものである。これも図２１と同様にアルファベットＡ，Ｂ，Ｃ，・・・で出力の順番を示してある。この場合、ルートＲのデータＡを出力したあと、ノードＮ１１のデータＢを出力し、その後は、それの下位にあたるノードＮ２１のデータＣの出力が行われる。このように、２分木の底に到達するまでの出力が行われると、ノードＮ２２のデータＤの出力が行われる。そして、今度は、ノードＮ１２のデータＥの出力が行われ、続いて、そのノードＮ１２の下位にあたるノードルＮ２３のデータＦを出力するというようなデータ出力順序となる。
【０１０３】
図２４は、この方法により１次元化されたデータの結果を示すものであり、アルファベットＡ，Ｂ，Ｃ，・・・の順に、それぞれのアルファベットＡ，Ｂ，Ｃ，・・・に対応した画素値が出力される。
【０１０４】
以上のようにして、処理対象となる画像データの符号化処理が終了する。これによって符号化されたデータは、たとえば、図２１または図２３示されるような２分木のデータ構造となっており、その２分木に基づいて、図２２または図２４のようなデータ形式で出力される。
【０１０５】
以上説明した符号化処理をフローチャートにまとめたものが図２５である。各部の詳細については説明済みであるので、ここでは概略を説明する。
【０１０６】
図２５において、まず、正方形領域分割処理を行う（ステップＳ３１）。これは、図３から図６で説明したように、処理対象となる画像データを１つ以上の正方形領域へ分割する処理であり、この正方形領域分割処理によって得られたそれぞれの正方形について符号化処理を行うが、すべての正方形領域を符号化したか否かを判断し（ステップＳ３２）、すべての正方形に対してすでに符号化されていれば処理が終了したものとするが、符号化されていなければ、その正方形の４頂点画素値を出力する（ステップＳ３３）。
【０１０７】
そして、三角形分割処理が終了したか否かを判断し（ステップＳ３４）、終了していれば、ステップＳ３２に戻り、終了していなければ、すべての三角形を符号化したかを判断する（ステップＳ３５）。ここで、すべての三角形の符号化が終了していなければ、斜辺中点の画素値を出力し（ステップＳ３６）、三角形領域更新処理を行い（ステップＳ３７）、ステップＳ３５に戻る。
【０１０８】
そして、すべての三角形の符号化が終了し、かつ、三角形分割処理が終了し、さらに、すべての正方形領域の符号化が終了していれば、その画像に対する符号化処理を終了する。
【０１０９】
以上の説明は処理対象となる画像データを符号化する処理についての説明であるが、そのおおまかな処理としては、処理対象の画像データを正方形領域として取り出し、取り出された正方形を再帰的に三角形領域に分割し、得られたそれぞれの三角形領域の３頂点の画素値と斜辺中点の画素値を得るようにしている。このとき、再帰的分割処理によって得られるそれぞれの三角形の型は、元の正方形を２分割の仕方を決めておけば、以降は分割順に従って自動的に決めることができる。また、それぞれの三角形の頂点の画素値は正方形の持っている画素値をそのまま継承できるので、斜辺中点の画素値を元の正方形から求めれば、画像全体を図１８に示すような２分木で表現でき、それを図２１と図２２または図２３と図２４に示すように１次元化して出力することができる。
【０１１０】
このような処理を行うことにより、処理対象となる画像データを表現するために保持すべきデータはごく少量ですみ、それによって、演算を大幅に簡略化することができるとともにメモリの使用量を大幅に減らすことができる。
【０１１１】
次に、符号化されたデータを復号化する処理について説明する。図２６は本発明の基礎となる画像処理装置の復号化側の構成を示すブロック図である。この復号化側の構成としては、大きく分けると、符号化データ入力手段１１、符号化データ解析手段１２、再帰的三角形領域合成手段１３、三角形領域合成制御手段１４、正方形領域合成手段１５、画像データ出力手段１６を有している。
【０１１２】
再帰的三角形領域合成手段１３は、少なくとも、分割された三角形の型（前述の符号化の説明においては＃１型から＃８型の８種類としているので、ここでも＃１型から＃８型の８種類とする）の三角形型を記憶する形状型記憶手段１３１と、三角形の３つの頂点の画素値および斜辺中点画素値を記憶する頂点画素値記憶手段１３２と、三角形の斜辺中点の画素値を補う斜辺中点画素値取得手段１３３と、前述の図１１の継承規則を用いて三角形型を更新する形状型更新手段１３４と、三角形の３つの頂点の画素値および斜辺中点の画素値を更新する頂点画素値更新手段１３５とを有している。
【０１１３】
また、符号化データ入力手段１１は、図１で示した符号化データ出力手段６からの符号化データ（たとえば、図２２や図２４に示したような符号化データ）を、伝送路や記憶媒体から入力する。この符号化データ入力手段１１に入力される符号化データとしては、図２７（ａ）に示されるように、最初に、正方形の４頂点の画素値が入力される。たとえば、符号化データとして図２４を例にとれば、まず、図２４で示す符号化データにおける下線部Ａの部分が読み込まれ、正方形の４頂点の画素値（３、９、１、８）が復元される。その後、図２４の下線部Ｂに対応する画素値（７）が読み込まれ、図２７（ａ）に示すような２分木の太線の部分が復元される。またそれは、正方形領域の太線部分に対応する。以降、次々にデータ（画素値）が読み込まれ、図２７（ｂ），（ｃ）のように、データの２分木の太線部分が復元され、それによって、正方形領域の太線部分が復元される。
【０１１４】
図２８は、図２７の処理内容をプログレッシブな復元の立場から説明したものである。図２２で示す符号化データフォーマットによれば、最初に図２８（ａ）のように２分木の上位層のみが復元され、続いて、同図（ｂ）のように２分木の次の階層が復元され、さらに、同図（ｃ）のように２分木のさらに次の階層が復元されというように、２分木の階層ごとに順次復元され、最終的には同図（ｄ）に示すように、２分木の底までの復元がなされる。
【０１１５】
これによって、処理対象となる画像は、２分木の階層ごとの復元に伴って、順次、大きく、あるいは、解像度が上がったものとなる。
【０１１６】
なお、たとえば、図２８（ａ）のようなデータ量が少なく小さい画像をそのまま最終画像と同じように拡大しようとすると、解像度の小さい画像となる。すなわち、これは、画像の見え方と言う観点で言えば、画像全体を縮小表示したものであると考えることができる。あるいは、画像サイズを元データと同じとした場合は、それを低い解像度で示したものであると考えることもできる。
【０１１７】
仮に、画像全体を低い解像度で表現したものであると考える場合、各々の三角形領域は拡大されることになる。この時、三角形領域の内部は、その３頂点の画素値を用いて平面として内挿することにより求めることもできる。勿論、その周辺の三角形領域のデータを用いて、より高次の推定を行うことも可能である。
【０１１８】
３頂点の画素値を用いて平面として内挿する場合は、図２９のような方法を用いることが可能である。この図２９について簡単に説明する。三角形の３頂点への位置ベクトルをａ，ｂ，ｃ（ａ，ｂ，ｃそれぞれの上に→が付される）とし、その頂点における画素値をＡ，Ｂ，Ｃとする。ここで、画素値を求めるべき位置（ｐとする）の位置ベクトルをｐ（ｐの上に→が付される）とし、この位置ベクトルｐ（ｐの上に→が付される）が、
【０１１９】
【数２】
で与えられるものとする。なお、画素値を求めるべき位置ｐがその三角形領域の内部であるためには、ｘ、ｙ、ｚは０以上の実数または重み係数であり、かつ、
ｘ＋ｙ＋ｚ＝１ （３）
の条件を満たす必要がある。このｘ，ｙ，ｚを用い、位置ｐにおける画素値Ｐは、
Ｐ＝ｘＡ＋ｙＢ＋ｚＣ （４）
により求められる。
【０１２１】
ところで、前述の実施形態１における図２１、図２２または図２３、図２４で示したデータの１次元化方法は、画像データの内容とは無関係なものである。しかし、符号化方法あるいは記憶媒体からのデータの読み出し方法を変えることにより、関心領域あるいはＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を優先的に高画質化することができる。
【０１２２】
たとえば、図３０に示すように、２分木の中の斜線を施した部分を優先的に伝送あるいは読み出すとする。仮に、この２分木の階層の深い部分が、図３１に示すように、本発明の実施形態１および実施形態２の説明で用いている画像例としての猿の顔画像の目の部分であるとする。そうすると、図３０の２分木の浅い階層の復元処理では図３２（ａ）のように、画像全体が低解像度で復元されたものが、階層が深くなるに連れ、図３２（ｂ）のように、先ず目の部分から高解像度化が進行し、最終的に、図３２（ｃ）のように全体が高解像度化されるというような表示が可能である。勿論、このような表示は途中の段階で中止することもできる。
【０１２３】
このように、２分木で表されるデータの伝送あるいは読み出し順に、関心領域あるいはＲＯＩに基づいて優先度を設定することによって、画像全体の中のある特定部分のみをいち早く高解像度で表示させることができる。
【０１２４】
これによって、多数の画像データの中から所望とする画像データを検索したり画像データの分類を行うような場合、個々の画像の特徴的な部分のみをいち早く高解像度で表示させることができるので、検索や分類を効率よく行うことができる。また、このとき、個々の画像の内容がわかった段階で表示処理を中止し、それ以降の表示処理を行わないようにすることもできる。
【０１２５】
以上説明した復号化処理をフローチャートにまとめたものが図３３である。各部の詳細については説明済みであるので、ここでは概略を説明する。
【０１２６】
図３３において、まず、すべての正方形領域を復号化したか否かを判断し（ステップＳ４１）、すべての正方形領域の復号化が終了していなければ、その正方形の４頂点画素値を復号する（ステップＳ４２）。そして、三角形合成処理が終了かを判断し（ステップＳ４３）、終了していれば、ステップＳ４１に戻り、終了していなければ、すべての三角形を合成したかを判断する（ステップＳ４４）。そして、すべての三角形の合成が終了していなければ、斜辺中点の画素値を復号し（ステップＳ４５）、三角形領域合成処理を行い（ステップＳ４６）、ステップＳ４４に戻る。
【０１２７】
そして、すべての正方形領域の復号化が終了していれば（ステップＳ４１）、正方形領域合成処理を行い（ステップＳ４７）、復号化処理を終了する。
【０１２８】
このステップＳ４７による正方形領域合成処理された画像データは、図２６で示した画像データ出力手段１６によって出力処理される。この画像データ出力手段１６は、図３４に示すように、色データ入力手段１６１、間引きデータ復元手段１６２、色変換手段１６３、画素データ復元手段１６４を有した構成となっており、復元された画像データから、画像幅、画像高さを正方形の１辺の整数倍にするために補填されたデータを取り除き、元の画像を出力する。なお、この画像データ出力手段１６が行う画像データ出力処理には、ノイズ低減処理であるとか、何らかの後処理などが含まれても良い。
【０１２９】
次にこれまで説明した画像処技術を基に、本発明の画像処理方法および画像処理装置ならびに画像処理プログラムについて説明する。
【０１３０】
本発明では、上述したような画像処理技術において用いた２分木のデータ構造をもとに、フレーム間相関を用いることで動画符号化およびその復号化を行うものである。なお、本発明は、フレーム間相関を用いるが動き補償は行わないのが特徴であり、また、動画符号化処理はこれまで説明した本発明の基礎となる画像処理技術における符号化の後処理として実行されるものである。以下、詳細に説明する。
【０１３１】
図３５は本発明の画像処理装置の符号化側の構成を示すもので、その構成を大きく分けると、画像データ入力手段１、正方形領域分割手段２、再帰的三角形領域分割手段３、三角形領域分割制御手段４、符号化データ生成手段５、符号化データ出力手段６、符号化データ差分化手段２０（符号化データ記憶手段７、前フレーム符号化データ記憶手段８、符号化データ比較手段９、符号化データ選択手段１０からなる）を有した構成となっている。
【０１３２】
この図３５の構成は図１で示した構成に対して、符号化データ生成手段５と符号化データ出力手段６との間に、符号化データ差分化手段２０としての符号化データ記憶手段７、前フレーム符号化データ記憶手段８、符号化データ比較手段９、符号化データ選択手段１０が設けられている点が異なるだけで、その他は図１と同じ構成であるので、同一構成要素についての説明はここでは省略する。
【０１３３】
符号化データ記憶手段７は符号化データ生成手段５からの符号化データ、つまり、本発明の基礎となる画像処理技術において符号化された符号化データを一時的に記憶するものである。
【０１３４】
前フレーム符号化データ記憶手段８は、符号化データ出力手段６から出力された前フレームの符号化データを記憶するものである。この前フレーム符号化データ記憶手段８に記憶される前フレーム符号化データは、符号化データ記憶手段７に記憶されている前フレームに対応する符号化データそのものではなく、たとえば、符号化データ選択手段１０で現フレームデータが選択された場合は、その現フレームデータによって前フレーム符号化データ記憶手段８の内容が更新され、それによって、その更新データが前フレームの符号化データとなる。
【０１３５】
符号化データ比較手段９は、符号化データ記憶手段７に記憶された現フレーム符号化データと前フレーム符号化データ記憶手段８に記憶された前フレーム符号化データとを比較し、その差異が所定値未満であるか否かを判定し、所定値未満であると判断された場合は、現フレームの符号化データを前フレームの符号化データで置換する。
【０１３６】
符号化データ選択手段１０は、現フレーム符号化データか前フレーム符号化データのいずれかを選択するもので、符号化データ比較手段９の比較判定結果に基づき、差異が所定値未満の場合は、置換された符号化データ（前フレームの符号化データ）を選択し、差異が所定値以上である場合は現フレーム符号化データを選択する。
【０１３７】
符号化データ出力手段６は、符号化データ選択手段１０で選択結果を当該フレームの符号化データ（１次元配列化されたデータ）として出力する。
【０１３８】
図３６は画像を１つ以上の正方形領域に分割して、分割されたそれぞれの正方形領域の符号化を行う処理手順を示すもので、図３７は分割されたある１つの正方形領域内における符号化手順を示すものであり、これらのフローチャートは、先に説明した本発明の基礎となる画像処理技術における符号化処理の説明に用いた図２５のフローチャートを、画像を１つ以上の正方形領域に分割して、それぞれの正方形領域の符号化を行う処理手順と、分割されたある１つの正方形領域内における符号化を行う処理手順とに分けて示すものである。
【０１３９】
この図３６および図３７の処理手順は基本的には図２５と同じであるが、図３６および図３７においては、切り出されたある１つの正方形領域内を符号化する処理が終了したあと、前フレームの符号化データとの差異を出力する処理が追加されている。なお、この処理についての詳細は後述する。
【０１４０】
図３６において、まず、正方形領域分割処理を行う（ステップＳ５１）。これは、図３から図６で説明したように、処理対象となる画像データを１つ以上の正方形領域へ分割する処理であり、この正方形領域分割処理によって得られたそれぞれの正方形について符号化処理を行うが、すべての正方形領域を符号化したか否かを判断し（ステップＳ５２）、すべての正方形に対してすでに符号化されていれば符号化処理が終了したものとするが、すべての正方形領域の符号化がなされていなければ、その正方形領域の４頂点画素値を符号化データ記憶手段７に出力（ステップＳ５３）するとともに、その正方形領域内の符号化処理（図３７参照）を行う（ステップＳ５４）。そして、その正方形領域内の符号化処理が終了すると、前フレームの符号化データとの差異を符号化する処理を行う（ステップＳ５５）。なお、この前フレームの符号化データとの差異を符号化する処理の具体例については図４４から図４７を参照して後に説明する。
【０１４１】
図３７は図３６におけるステップＳ５４の処理、つまり、ある１つの正方形領域内の符号化処理手順であり、まず、ある１つの正方形領域における２分木の全階層について符号化したかを判断し（ステップＳ６１）、全階層の符号化が終了していれば符号化処理を終了し、全階層の符号化が終了していなければ、その階層のすべての三角形領域を符号化したかを判断する（ステップＳ６２）。
【０１４２】
ここで、その階層のすべての三角形領域の符号化が終了していれば、ステップＳ６１に戻る。また、その階層のすべての三角形領域の符号化が終了していなければ、その三角形領域の斜辺中点画素値を取得する（ステップＳ６３）。そして、その取得した斜辺中点画素値を符号化し、符号化データ記憶手段７に出力し（ステップＳ６４）、ステップＳ６２に戻り、その階層のすべての三角形の符号化が終了していなければ、ステップＳ６２以降の処理を繰り返し、その階層のすべての三角形領域の符号化が終了していれば、ステップＳ６１に戻って、全階層の符号化を終了したか否かを判断し、全階層の符号化を終了していれば、符号化処理を終了し、全階層の符号化を終了していなければ、ステップＳ６２以降の処理を繰り返す。
【０１４３】
ここで、図３５に示した符号化データ差分化手段２０の処理、つまり、符号化データ生成手段５によって生成された個々のフレーム対応の符号化データに対し、フレーム間相関を用い、現フレームに対する符号化データを前フレーム符号化データで置換できるか否かを判定し、前フレーム符号化データで置換できると判定された場合は、それを示す情報を出力する処理について説明する。
【０１４４】
この処理は、前フレーム符号化データ記憶手段８に記憶された前フレーム符号化データと、符号化データ記憶手段７に一時的に記憶された現フレーム符号化データとの比較を符号化データ比較手段９が行って、その比較結果に基づいた符号化データを符号化データ選択手段１０が選択して出力するもので、これは、前述した２分木で示すデータ構造の最終階層から、上位の階層に向かって行われる。
【０１４５】
この２分木における最終階層の三角形領域は、それ以上分割できない三角形領域であり、斜辺中点画素値を考慮する必要がないので、３つの頂点の画素値で構成される。したがって、この最終階層の三角形領域の前フレームと現フレームとの比較は、それぞれの３頂点画素値の比較で済むため、下記の（５）式のような単純な計算式で両者の差異Ｅｒｒを求めることができる。
【０１４６】
【数３】
この（５）式において、Ｄｉは現フレームのある三角形領域の画素値（ｉは３つの頂点の位置を表すので１から３の値をとる）、Ｐｉは前フレームの同じ三角形領域の画素値であり、ｉは同じく１から３の値をとる。この（５）式を前述した従来技術の説明で用いた（４）式と比べると、計算が単純であり計算量が大幅に少ないことがわかる。
【０１４８】
ここで、具体例を参照しながら説明する。この具体例の説明で用いる２分木を図３８に示す。この図３８に示す２分木は、ある１つの正方形領域について図３９の（ａ）〜（ｄ）に示すような三角形領域分割処理を行った場合に生成されるものであり、ここでは、説明の都合上、２分木を構成するそれぞれの三角形領域に付される符号（型番号）は、これまでの説明で用いた２分木（たとえば、図１３など）とは異なった符号が付されている。
【０１４９】
この場合、正方形を２分割して得られた第１階層の２つの三角形領域に＃１０，＃１１の型番号を付し、この第１階層の三角形領域＃１０，＃１１をそれぞれ２分割して得られた第２階層の４つの三角形領域に＃２０，＃２１，＃２２，＃２３の型番号を付し、この第２階層の三角形領域＃２０，＃２１，＃２２，＃２３＃をそれぞれ２分割して得られた第３階層の８つの三角形領域に＃３０，＃３１，＃３２，＃３３，＃３４，＃３５，＃３６，＃３７の型番号を付し、この第３階層の８つの三角形領域＃３０，＃３１，＃３２，＃３３，＃３４，＃３５，＃３６，＃３７をそれぞれ２分割して得られた第４階層の１６個の三角形領域に＃４０，＃４１，＃４２，・・・，＃４９，＃４ａ，＃４ｂ，＃４ｃ，＃４ｄ，＃４ｅ，＃４ｆの型番号を付すことにする。
【０１５０】
このような第１階層から第４階層の４つの階層で構成される２分木として表現された画像データを、１次元のデータ列に変換する。ここでは、図４０で示すように２分木の幅方向優先の出力方法によって、データ（各三角形領域の斜辺中点画素値）を出力、すなわち、第１階から第４階層において、それぞれの階層ごとに太線で示す矢印方向に沿ってデータ（各三角形領域の斜辺中点画素値）を出力すると、図４１のような１次元のデータ列が得られる。
【０１５１】
図４２はここで用いられる画像例を示すもので、（ａ）はある１つの正方形領域における前フレーム画像、（ｂ）はその現フレーム画像である。この図４２からもわかるように、現フレーム画像が前フレーム画像と異なるのは、画像の左下部分に人間が存在している点だけであり、その他は何ら変化していない。
【０１５２】
この図４２に示す画像例の正方形領域を再帰的三角形領域分割したものが図４３（ａ）、（ｂ）である。この図４３（ａ）、（ｂ）の再帰的三角形領域分割は、図３９に対応するものであるので、図４３（ａ）の前フレーム画像および（ｂ）の現フレーム画像は、それぞれ図３８のような２分木のデータ構造として表される。
【０１５３】
ここで、図４３（ａ）、（ｂ）における最終階層（第４階層）の三角形領域、つまり、図３８の２分木における第４階層の１６個の三角形領域＃４０，＃４１，＃４２，・・・，＃４９，＃４ａ，＃４ｂ，＃４ｃ，＃４ｄ，＃４ｅ，＃４ｆそれぞれについて、上述の（５）式を用いて、前フレームとデータと現フレームデータとの差異Ｅｒｒを求め、求められたそれぞれの差異Ｅｒｒが所定値未満であるか否かを判定する。
【０１５４】
この判定の結果、この場合、＃４２，＃４３，＃４８，＃４９の４つの三角形領域だけが前フレーム画像の対応する三角形領域と差異Ｅｒｒが所定値以上であると判定される。これを２分木で表したものが図４４である。この場合、図４４における破線枠で囲った第４階層の三角形領域のうち、＃４２，＃４３，＃４８，＃４９の４つの三角形領域（斜線が施されている）だけが前フレーム画像の対応する三角形領域と差異が所定値以上異なっていると判定される。
【０１５５】
これによって、＃４２，＃４３，＃４８，＃４９の４つの三角形領域は前フレームの符号化データを用いることはできない（前フレームの符号化データで置換することはできない）と判定され、それ以外の三角形領域は、前フレームの符号化データで置換できると判定される。
【０１５６】
このようにして、最終階層（第４階層）のそれぞれの三角形領域において（５）式を計算して、求められた差異Ｅｒｒが所定値以上か否かの判定を行えば、それより上位の階層については、（５）式を用いた比較計算を行う必要はなく、自身を２分割して得られた三角形領域（自身から下位に伸びる２つの枝の三角形領域）の結果に基づいて、前フレーム符号化データで置換できるか否かの判断が行える。これについて、図４５、図４６、図４７を用いて説明する。
【０１５７】
図４５は第３階層に対して第４階層の結果を用いて前フレーム符号化データで置換できるか否かの判断を行った結果を示すものである。この場合、自身の三角形領域＃３０，＃３１，・・・，＃３７の三角形領域を表すノードから下に伸びる２つの枝で示される２つの三角形領域が前フレーム符号化データで置換可能であれば、自身も置換可能であると判定され、２つの枝で示される２つの三角形領域の一方が置換可能でなければ、自身も置換可能ではないと判定される。
【０１５８】
すなわち、この第３階層においては、＃３０の三角形領域は、それよりも下位の＃４０、＃４１の２つの三角形領域がともに置換可能であるので、自身（＃３０の三角形領域）も置換可能であると判定され、同様に、＃３２、＃３３、＃３３、＃３５、＃３６、＃３７の三角形領域も、自身よりも下位の２つの三角形領域がそれぞれともに置換可能であるので、自身も置換可能であると判定される。
【０１５９】
これに対して、＃３１の三角形領域は、それよりも下位の＃４２、＃４３の２つの三角形領域がともに置換可能ではないので、自身（＃３１の三角形領域）も置換可能ではないと判定される。同様に、＃３４の三角形領域は、それよりも下位の＃４８、＃４９の２つの三角形領域がともに置換可能ではないので、自身（＃３４の三角形領域）も置換可能ではないと判定される。
【０１６０】
続いて、第２階層について同様の判定を行う（図４６参照）。この第２階層においては、＃２０の三角形領域は、それよりも下位の＃３０、＃３１の２つの三角形領域のうち、＃３１の三角形領域が置換可能でないので、自身（＃２０の三角形領域）も置換可能でないと判定され、同様に、＃２２の三角形領域も、自身よりも下位の＃３４、＃３５の２つの三角形領域のうち、＃３４の三角形領域が置換可能でないので、自身（＃２２の三角形領域）も置換可能でないと判定される。
【０１６１】
これに対して、＃２１の三角形領域は、それよりも下位の＃３２、＃３３の２つの三角形領域がともに置換可能であるので、自身（＃２１の三角形領域）も置換可能であると判定され、同様に、＃２３の三角形領域は、それよりも下位の＃３６、＃３７の２つの三角形領域がともに置換可能であるので、自身（＃２３の三角形領域）も置換可能であると判定される。
【０１６２】
続いて、第１階層について同様の判定を行う（図４７参照）。この第１階層においては、＃１０の三角形領域は、それよりも下位の＃２０、＃２１の２つの三角形領域のうち、＃２０の三角形領域が置換可能でないので、自身（＃１０の三角形領域）も置換可能でないと判定され、同様に、＃１１の三角形領域も、自身よりも下位の＃２２、＃２３の２つの三角形領域のうち、＃２２の三角形領域が置換可能でないので、自身（＃１１の三角形領域）も置換可能でないと判定される。
【０１６３】
以上の処理がなされることによって、処理対象となっているある１つの正方形領域の現フレーム符号化データは、その一部が前フレーム符号化データで置き換えることができる。以上のような処理がなされたあとの現フレーム符号化データを２分木で表したものが図４８である。
【０１６４】
この図４８において、四角で示したノードで示される三角形領域は、それ以下の階層すべてを前フレーム符号化データの２分木の同じ位置の符号化データで置換できることを示している。この例では、＃２１、＃２３、＃３０、＃３５の三角形領域は、前フレーム符号化データの２分木の同じ位置の符号化データで置換できる。
【０１６５】
この図４８に示される２分木構造の符号化データに対し、図４０と同様のデータ読み出しが行われることによって、１次元のデータ配列を生成することができる。
【０１６６】
図４９は図４８に示した２分木を第１階層から第４階層までそれぞれの階層ごとに図示の太線矢印で示すような方向にデータ読み出しを行う例を説明する図であり、これを縦に並べて示したものが図５０である。
【０１６７】
この図５０は先に説明した図４１の１次元化されたデータ配列に対応するものである。この図５０の右端に示される四角で囲った“０”または“１”の１ビットのデータは、符号化データの置換がなされているか否かを示すもので、“０”が与えられた三角形領域はデータ置換がなされていないことを示し、“１” が与えられた三角形領域はそれ以降において符号化データ置換がなされていることを示している。
【０１６８】
この例では、＃１０、＃１１，＃２０、＃２２、＃３１、＃３４、＃４２、＃４３、＃４８、＃４９の三角形領域はそれぞれ“０”が与えられ、＃２１、＃２３、＃３０、＃３５の三角形領域はそれぞれ“１”が与えられている。
【０１６９】
これは、＃２１、＃２３、＃３０、＃３５の三角形領域はその符号化データが前フレームの同じ領域の符号化データで置換されていることを示し、＃２１の三角形領域は、前フレームにおける＃２１の三角形領域の符号化データが用いられる。同様に、＃２３の三角形領域は、前フレームにおける＃２３の三角形領域の符号化データが用いられる。同様に、＃３０の三角形領域は、前フレームにおける＃３０の三角形領域の符号化データが用いられる。同様に、＃３５の三角形領域は、前フレームにおける＃３５の三角形領域の符号化データが用いられる。
【０１７０】
この図５０で示す１次元化されたデータ配列を図４１で示した１次元化されたデータ配列と比較すると、より多くのデータが省略されていることがわかり（省略されている三角形領域は破線枠で示されている）、データ圧縮率がより高いものとなっている。
【０１７１】
また、この図５０からもわかるように、ある三角形領域（たとえば、＃２１，＃２３，＃３０，＃３５の三角形領域）において符号化データ置換がなされている場合、それよりも下位の三角形領域においては、符号化データ置換がなされていることを明示的に示す必要がないことも特徴の１つである。これは、本発明においては、それぞれの三角形領域の位置関係が自明であるため、上位の三角形領域において符号化データ置換がなされた場合、それより下位のどの三角形領域が符号化データ置換対象であるかが自明となるためであり、それによって、下位の三角形領域において、データ置換を示す符号の付加は不要となる。そして、この図５１で示す符号化データは復号化側に送られて復号化される。
【０１７２】
図５１は本発明に係る画像処理装置の復号化側の構成を示すブロック図である。この復号化側の構成としては、大きく分けると、符号化データ入力手段１１、符号化データ解析手段１２、再帰的三角形領域合成手段１３、三角形領域合成制御手段１４、正方形領域合成手段１５、画像データ出力手段１６、符号化データ選択判定手段３０（前フレーム符号化データ記憶手段１７、符号化データ選択手段１８からなる）を有している。
【０１７３】
符号化データ解析手段１２は、符号化データ入力手段１１に入力された符号化データを解析し、符号化データに与えられた１ビットの情報（図５０に示す符号化データ置換の有無を示す情報）に基づいて、その符号化データが現フレームに対する差分データであるのか、それとも、前フレーム符号化データを用いることを要求したデータ（データ置換の要求されたデータ）であるのかを判定する。
【０１７４】
前フレーム符号化データ記憶手段１７は、前フレーム符号化データを記憶するものであるが、この前フレーム符号化データ記憶手段１７に記憶される前フレーム符号化データは、符号化データ入力手段１１が入力した前フレームに対応する符号化データそのものではなく、たとえば、符号化データ選択手段１８によって選択されたデータによってデータ更新がなされた場合は、その更新されたデータが前フレームの符号化データとして記憶される。
【０１７５】
符号化データ選択手段１８は、符号化データ解析手段１２の解析結果に基づき、現フレームの差分データか、あるいは、前フレーム符号化データ記憶手段１７に記憶されたデータのいずれかを選択する。そして、選択されたデータが現フレームに対する差分データであった場合には、それを用いて、前フレーム符号化データ記憶手段１７の内容を更新する。
【０１７６】
このように、図５１の構成は本発明の基礎となる画像処理技術で説明した復号化側の構成（図２６参照）に対して、符号化データ解析手段１２と三角形領域合成制御手段１４との間に、前フレーム符号化データ記憶手段１７と符号化データ選択手段１８が設けられている点が異なるだけで、あとは、図２６と同じであるので、同一構成要素については同一符号を付すことでその詳細な説明はここでは省略する。
【０１７７】
図５２および図５３は本発明の復号化処理手順を説明するためのフローチャートであり、図５２は分割されたすべての正方形領域の復号化を行う処理手順を示すもので、図５３はある１つの正方形領域における復号化手順を示すものである。
【０１７８】
なお、これら図５２および図５３のフローチャートは、先に説明した本発明の基礎となる画像処理技術における復号化処理の説明に用いた図３３のフローチャートを、分割されたすべての正方形領域の復号化を行う処理手順と、ある１つの正方形領域内における復号化を行う処理手順とに分けて示すものであり、基本的な処理は図３３と同じであるが、図５３に示すある１つの正方形領域内を復号化する処理において、現在処理対象となっている三角形領域に対して前フレームの符号化データが選択されたか否か判定する処理と、その判定結果に対応した処理が追加されている。
【０１７９】
図５２において、まず、すべての正方形領域を復号化したか否かを判断し（ステップＳ７１）、すべての正方形領域の復号化が終了していれば、正方形領域合成処理を行って（ステップＳ７２）、復号化処理を終了し、すべての正方形領域の復号化が終了していなければ、その正方形の４頂点画素値を復号し（ステップＳ７３）、その正方形領域内の合成処理（図５３参照）を行う（ステップＳ７４）。
【０１８０】
図５３はある１つの正方形領域の復号化処理を示すもので、まず、全階層を復号化したかを判断し（ステップＳ８１）、全階層の復号化が終了していれば復号化処理を終了し、全階層の復号化が終了していなければ、その階層（現在処理対象となっている階層）のすべての三角形を合成したかを判断する（ステップＳ８２）。
【０１８１】
そして、その階層のすべての三角形の合成が終了していなければ、その三角形領域（現在、符号化処理対象となっている三角形領域）に対し、前フレームの符号化データを選択か否かを判定し（ステップＳ８３）、前フレームの符号化データを選択すると判定された場合は前フレームの符号化データを取得し（ステップＳ８４）、ステップＳ８２に戻る。また、前フレームの符号化データを選択しないと判定された場合は、現フレームの斜辺中点画素値を復号し（ステップＳ８５）、前フレーム符号化データを更新して（ステップＳ８６）、ステップＳ８２に戻る。
【０１８２】
そして、ステップＳ８２において、その階層（現在処理対象となっている階層）のすべての三角形を合成したかを判断し、当該階層のすべての三角形について処理を終了していれば、その階層の三角形領域合成処理を行い（ステップＳ８７）、ステップＳ８１に戻る。
【０１８３】
このように、この復号化処理では、前フレーム符号化データを選択か否か、つまり、この場合、図５０で示したデータ置換を行うか否かを示す情報（“０”または“１”）を調べ、現在、復号化対象の三角形領域の上位の三角形領域でデータ置換が可能でないことを示す“０”が与えられていれば、その三角形領域については斜辺中点画素値を復号化し、かつ、前フレーム符号化データ記憶手段１７に記憶されている前フレーム符号化データの更新を行う。一方、上位の三角形領域でデータ置換を行うことを示す“１”が与えられていれば、当該三角形領域以降の階層の三角形領域全体を、前フレーム符号化データを用いて復号化する。
【０１８４】
なお、本発明は上述の各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、上述した符号化データ（図５０で示す１次元化されたデータ）を所定の暗号化鍵を用いて暗号化してそれを復号化側に送信し、復号化側ではその暗号化された符号化データを所定の復号化鍵を用いて復号化するということもできる。
【０１８５】
たとえば、この暗号化として、２分木の各階層ごとの符号化データを階層に対応して用意された暗号化鍵を用いて暗号化する。これによって、各階層ごとのそれぞれの三角形領域のデータ（斜辺中点画素値）がその階層に用意された暗号化鍵で暗号化されたデータとして出力することができる。そして、このような符号化側からの暗号化データを復号化する際は、２分木の各階層に対応して用意された復号化鍵を取得して各階層ごとに復号するようにする。これにより、各階層対応の復号化鍵によってそれぞれの階層に応じた解像度の画像が復元されるので、たとえば、第２階層までの復号化鍵しか取得できなかった場合には、第２階層に対応した解像度での画像しか得ることができず、また、第３階層までの復号化鍵を取得すれば、第３階層までの解像度の画像を得ることができるというように、どの階層までの復号化鍵を取得したかによって、その階層に応じた解像度の画像を得ることができる。
【０１８６】
これによって、たとえば、画像データの閲覧システムなどにおいて、ユーザが閲覧できる階層（解像度）を制限することができ、閲覧する解像度に応じた課金の設定などを行うことができる。また、著作権の保護の目的などにも適用することができるといった効果が得られる。
【０１８７】
また、本発明は個々のフレーム（静止画像）に対し、省略できるデータはそれを省略するデータ省略処理を行ったあとに、前述した本発明の処理を行うようにすることもできる。
【０１８８】
このデータ省略処理は、ある１つのフレーム、つまり、ある１つの静止画像データにおいて、それを幾つかの正方形領域に分割し、分割されたぞれぞれの正方形領域を再帰的に三角形領域に分割して、それによって得られた三角形領域を平面近似した画素値と当該三角形領域の実際の画素値との誤差を求め、その誤差に基づいて当該三角形領域のそれ以降の分割を省略することができるか否かを判定する。そして、この判定結果に基づいて符号化すべき三角形領域の符号化データを生成する。
【０１８９】
さらに具体的に説明すると、再帰的に分割されたそれぞれの三角形領域を、その元となる正方形領域を根とする２分木で表現する。そして、前述したデータ省略判定処理は、処理対象の三角形領域の斜辺両端を結ぶ直線上の中点画素値を近似的な画素値とし、その近似的な画素値と当該三角形領域の実際の斜辺中点画素値との誤差の大きさが所定値未満であるか否かを判定する処理と、当該三角形領域が分割可能であるか否かを判定する処理とを含む処理をデータ省略判定処理として行い、このデータ省略判定処理を、前記処理対象の三角形領域を基点に、当該三角形領域を再帰的分割して得られる個々の三角形領域について順次行い、自身の三角形領域の誤差の大きさが所定値未満であると判定され、かつ、２分割されて生成された双方の三角形領域の誤差の大きさが所定値未満であると判定され、それが最終段の三角形領域にまで到達した場合に、当該処理対象となる三角形領域のそれ以上の分割が省略可能であることを示す情報を出力する。
【０１９０】
このように、個々のフレームにおいてこのようなデータ省略処理を行ったあとに本発明の動画処理を行うことによって、演算量、メモリ量をより一層削減することができる。
【０１９１】
また、本発明はこのようなデータ省略処理を行ったのちに、これまで説明した本発明の動画の符号化処理を行い、さらにそのあとに上述した暗号化処理することもできる。
【０１９２】
また、本発明は以上説明した本発明を実現するための処理手順が記述された処理プログラムを作成し、その処理プログラムをフロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくこともでき、本発明は、その処理プログラムの記録された記録媒体をも含むものである。また、ネットワークから当該処理プログラムを得るようにしてもよい。
【０１９３】
【発明の効果】
以上説明したように本発明は、処理対象となるフレーム対応の画像をフレーム間相関を用いて符号化するものであるが、動き補償処理を行わないので、動きベクトルを求めるために多くの計算量、メモリ量を必要としていた従来技術に比べると、計算量やメモリ量を大幅に削減できる効果がある。なお、動き補償を行わないことによる符号化効率の劣化は、本発明の基礎となる画像処理技術である正方形領域を再帰的三角形領域分割することによって得られた２分木のデータ構造により、前フレームとの差異のある部分をそれに最も適したサイズの領域として表現することを可能とすることによって改善できる。つまり、従来例においては、前述したように、処理の単位が１６画素×１６画素のマクロブックという固定された大きさであったが、本発明においては、可能である限り、大きな領域を前フレームの符号化データで置換できるというような符号化を行う。逆に言うと、差異のある部分をできるだけ小さな領域で表現することによって、トータルとしての符号化効率を改善する効果がある。
【０１９４】
また、本発明の動画符号化で用いる符号化データ差分化処理は、個々のフレームデータ（静止画データ）の符号化を行ったあとのデータを用いて行われるので、これによっても、計算量やメモリ量を削減でき、さらに、本発明の基礎となる画像処理技術による符号化や、それを基にした個々のフレームのデータ省略処理とは独立して行うことができる。そのため、たとえば、本発明で用いる符号化データ差分化処理を行っている最中に、他の処理負荷が増加して、本発明の符号化データ差分化処理に割り当てられる演算処理量が少なくなった場合、その符号化データ差分化処理を中断し、それまでに処理された結果を直接に符号化出力とすることが可能である。また、他の処理負荷が始めから大きい場合には本発明の符号化データ差分化処理を全く行わないようにすることもできる。このように、システムの処理負荷の大きさに応じて、柔軟に対応することができる。
【０１９５】
また、符号化側からの符号化データを復号する際は、符号化側からの符号化データを解析し、その符号化データが現フレーム対する差分データであるのか、それとも、データ置換の要求されたデータであるのかを判定して、その判定結果に基づいて、三角形領域の合成を行うようにしている。このとき、データ置換の要求されたデータであるのか否かの判定は、データ置換の可能な最上位の三角形領域に付されたデータ置換が可能であることを示す情報に基づいて行い、ある三角形領域に対してデータ置換が可能であることを示す情報が与えられている場合には、当該三角形領域より下の階層の三角形領域全体を、そのデータ置換が可能であることを示す情報の付加された三角形領域の符号化データを用いて復号化するようにしているので、効率的な三角形領域の合成が行える。
【図面の簡単な説明】
【図１】本発明の基礎となる画像処理技術についての符号化側の構成図である。
【図２】図１で示した画像データ入力手段の構成を説明する図である。
【図３】処理対象画像が正方形である場合、その画像を三角形に分割した例を示す図である。
【図４】処理対象画像が正方形でない場合、その画像を複数の正方形領域に分割した例を示す図である。
【図５】画像を複数の正方形領域に分割する際の分割処理手順を説明するフローチャートである。
【図６】画像を複数の正方形領域に分割する際に生じる空白部分へ画素値０を補填する例を説明する図である。
【図７】ある１つの正方形を２つの三角形に分割する２つの方法（第１の方法と第２の方法）について説明する図である。
【図８】ある１つの正方形を２分割して２つの三角形を得て、さらに、その２つの三角形を再帰的に分割して得られた三角形の８種類の型を示す図である。
【図９】図８で示した三角形の型が相互に関連つけられることを説明する図である。
【図１０】図７で示した２つの分割方法によって分割された三角形と元の正方形との画素値の継承規則を示す図である。
【図１１】図８で示した８種類の型をそれぞれ２分割して得られた三角形の型とその画素値の継承規則を示す図である。
【図１２】ある１つの正方形を第１の方法で２分割して得られた２つの三角形をさらに２分割して得られる三角形の型を示す図である。
【図１３】ある１つの正方形を第１の方法で２分割して得られた２つの三角形をさらに２分割し、それをさらに２分割して得られる三角形の型を２分木で表現した図である。
【図１４】図１で示した符号側の具体的な処理を説明するために一辺の画素数が３で、それぞれの画素に具体的な数値（画素値）を与えた図である。
【図１５】図１４を用いて三角形領域の再帰的分割処理を行う例を説明する図である。
【図１６】図１５で示した三角形領域の再帰的分割処理手順を説明するフローチャートである。
【図１７】図１５で示した三角形領域の再帰的分割処理手順を行う際の求めるべき画素値を図１１に示す継承規則を参照して得る処理を説明する図である。
【図１８】図１５から図１７で示した処理を２分木で表現した図であり、図１３の２分木表現に斜辺中点の画素値を加えた図である。
【図１９】処理対象画像を複数の正方形領域に分割した例を示す図である。
【図２０】図１９で得られた正方形領域それぞれを２分木で表現した例を説明する図である。
【図２１】ある１つの２分木で表現される画像データを符号化する順序の一例を説明する図である。
【図２２】図２１で説明した符号化手順によって符号化されたデータ例を示す図である。
【図２３】ある１つの２分木で表現される画像データを符号化する順序の他の例を説明する図である。
【図２４】図２３で説明した符号化手順によって符号化されたデータ例を示す図である。
【図２５】本発明の基礎となる画像処理技術についての符号化処理手順を説明するフローチャートである。
【図２６】本発明の基礎となる画像処理技術についての復号化側の構成図である。
【図２７】図２２の符号化データを復号化する手順を説明する図である。
【図２８】図２７の復号化手順を実際の画像の復元を例にとって説明する図である。
【図２９】画像データを復号化する際の三角形内部にデータを補間する処理の一例を説明する図である。
【図３０】画像データを復号化する際、ある特定の領域（たとえば関心領域）を優先的に高解像度で複合する処理を説明する図である。
【図３１】図３０におけるある特定の領域を処理対象となる画像に対応させた例を示す図である。
【図３２】図３０による復号化手順によって復元される画像の復元度合い変化を示す図である。
【図３３】本発明の基礎となる画像処理技術についての復号化処理手順を説明するフローチャートである。
【図３４】図２６で示した画像データ出力手段の構成を説明する図である。
【図３５】本発明の画像処理装置の符号化側の実施形態を説明する構成図である。
【図３６】本発明の符号化側の処理手順を説明するフローチャートであり、正方形領域分割とその符号化手順を説明するフローチャートである。
【図３７】本発明の符号化側の処理手順を説明するフローチャートであり、分割されたある１つの正方形領域内の符号化手順を説明するフローチャートである。
【図３８】本発明の実施形態の具体例を説明するための２分木の例を示す図である。
【図３９】図３８に示す２分木に対応する再帰的三角形領域分割例を示す図である。
【図４０】図３９の２分木で表現される画像データを符号化する順序を説明する図である。
【図４１】図４０に示す順序で符号化されたデータを縦方向に並べたデータ配列を示す図である。
【図４２】本発明の実施形態で用いる画像例であり、（ａ）は前フレームデータ、（ｂ）は現フレームデータを示す図である。
【図４３】図４２の画像例を再帰的三角形領域分割した図である。
【図４４】前フレーム符号化データと現フレーム符号化データとの差分に基づいて個々の三角形領域がデータ置換可能か否かを判定する例を説明する図であり、最終階層の三角形領域における処理例を説明する図である。
【図４５】前フレーム符号化データと現フレーム符号化データとの差分に基づいて個々の三角形領域がデータ置換可能か否かを判定する例を説明する図であり、第３階層の三角形領域における処理例を説明する図である。
【図４６】前フレーム符号化データと現フレーム符号化データとの差分に基づいて個々の三角形領域がデータ置換可能か否かを判定する例を説明する図であり、第２階層の三角形領域における処理例を説明する図である。
【図４７】前フレーム符号化データと現フレーム符号化データとの差分に基づいて個々の三角形領域がデータ置換可能か否かを判定する例を説明する図であり、第１階層の三角形領域における処理例を説明する図である。
【図４８】図３８の２分木において図４４から図４７の処理を行った結果の２分木を示す図である。
【図４９】図４８に示す２分木において符号化データ出力例を説明する図である。
【図５０】図４９による符号化データを縦に並べたデータ配列を示す図である。
【図５１】本発明の画像処理装置の復号化側の実施形態を説明する構成図である。
【図５２】本発明の復号化側の処理手順を説明するフローチャートであり、それぞれの正方形領域の復号化と正方形領域の合成処理手順を説明するフローチャートである。
【図５３】本発明の復号化側の処理手順を説明するフローチャートであり、分割されたある１つの正方形領域内の復号化手順を説明するフローチャートである。
【図５４】従来の動画符号化の一例としてのＨ．２６１の構成を示す図である。
【符号の説明】
１ 画像データ入力手段
２ 正方形領域分割手段
３ 再帰的三角形領域分割手段
４ 三角形領域分割制御手段
５ 符号化データ生成手段
６ 符号化データ出力手段
７ 符号化データ記憶手段
８ 前フレーム符号化データ記憶手段
９ 符号化データ比較手段
１０ 符号化データ選択手段
１１ 符号化データ入力手段
１２ 符号化データ解析手段
１３ 再帰的三角形領域合成手段
１４ 三角形領域合成制御手段
１５ 正方形領域合成手段
１６ 画像データ出力手段
１７ 前フレーム符号化データ記憶手段
１８ 符号化データ選択手段
２０ 符号化データ差分化手段
３０ 符号化データ選択判定手段
３１ 形状型記憶手段
３２ 頂点画素値記憶手段
３３ 斜辺中点画素値取得手段
３４ 形状型更新手段
３５ 頂点画素値更新手段
＃１〜＃８ 三角形型
Claims (18)
- 動画を構成する連続した個々のフレーム対応の画像データをフレーム間相関を用いて符号化する画像処理方法であって、その画像処理手順として、
フレーム対応の画像データを入力する画像入力ステップと、
入力されたフレーム対応の画像データを１つ以上の正方形領域に分割する正方形領域分割ステップと、
分割されたぞれぞれの正方形領域を再帰的に三角形領域に分割する再帰的三角形領域分割ステップと、
分割された三角形領域を符号化する符号化データ生成ステップと、
この符号化データ生成ステップによって生成された個々のフレーム対応の符号化データに対しフレーム間相関を用い、現フレームに対する符号化データを前フレームの符号化データで置換できるか否かを判定し、前フレームの符号化データで置換できると判定された場合は、それを示す情報を出力する符号化データ差分化ステップと、
この符号化データ差分化ステップの判定結果に基づいた符号化データを出力する符号化データ出力ステップと、
を含むことを特徴とする画像処理方法。 - 前記符号化データ差分化ステップは、前記個々のフレーム対応の符号化データを現フレーム符号化データとし、この現フレーム符号化データと前フレーム符号化データとをそれぞれの対応する三角形領域で比較し、その差異の大きさが所定値未満であるか否かを判定し、差異が所定値未満である場合には、当該三角形領域における現フレーム符号化データを前フレーム符号化データで置換することを示す情報を出力し、差異が所定値以上である場合には、当該三角形領域は現フレームの符号化データを出力することを特徴とする請求項１記載の画像処理方法。
- 前記再帰的に分割されたそれぞれの三角形領域を、その元となる正方形領域を根とする２分木で表現し、前記符号化データ差分化ステップは、前記前フレーム符号化データに対応する２分木の最終階層の三角形領域と現フレーム符号化データに対応する２分木の最終階層の三角形領域について、両者の差異を求め、その差異の大きさに基づいて当該三角形領域が前フレームの同じ領域の符号化データで置換できるか否かを判定し、それよりも上位の階層の三角形領域においては、自身を２分割して得られた２つの三角形領域がともに前フレームの同じ領域の符号化データで置換できる場合に、自身の三角形領域も前フレームの同じ領域の符号化データで置換できると判定することを特徴とする請求項２記載の画像処理方法。
- 前記前フレーム符号化データで置換することを示す情報は、当該前フレーム符号化データで置換するとされた最上位の三角形領域のみに付されることを特徴とする請求項２または３記載の画像処理方法。
- 動画を構成する連続した個々のフレーム対応の画像データが、１つ以上の正方形領域に分割され、そのそれぞれの正方形領域が再帰的三角形領域分割処理されたのち、その分割された三角形領域が符号化され、かつ、当該処理対象となるフレーム対応の画像データがフレーム間相関を用いて符号化されてなり、この符号化データを復号化する画像処理方法であって、その画像処理手順として、
符号化データを入力する符号化データ入力ステップと、
この符号化データ入力ステップに入力された符号化データを解析する符号化データ解析ステップと、
この符号化データ解析ステップによる解析結果に基づいて、前フレーム符号化データを選択するか現フレーム符号化データを選択するかを判定する符号化データ選択判定ステップと、
この符号化データ選択判定ステップの判定結果に基づいて、再帰的に三角形領域を合成する再帰的三角形領域合成ステップと、
合成された三角形領域により正方形領域を合成する正方形領域合成ステップと、
合成された正方形領域から画像データを復元して出力する画像データ出力ステップと、
を含むことを特徴とする画像処理方法。 - 前記符号化データ選択判定ステップが行う前フレーム符号化データを選択するか現フレーム符号化データを選択するかの判定は、前フレームデータで置換することを示す情報に基づいて行い、ある三角形領域に前フレームデータで置換することを示す情報が与えられている場合には、当該三角形領域より下の階層の三角形領域全体を、前フレームの同じ領域の符号化データを用いて復号化することを特徴とする請求項５記載の画像処理方法。
- 動画を構成する連続した個々のフレーム対応の画像データをフレーム間相関を用いて符号化する画像処理装置であって、その構成要素として、
画像データを入力する画像入力手段と、
入力された画像データを１つ以上の正方形領域に分割する正方形領域分割手段と、
分割されたぞれぞれの正方形領域を再帰的に三角形領域に分割する再帰的三角形領域分割手段と、
分割された三角形領域を符号化する符号化データ生成手段と、
この符号化データ生成手段によって生成された個々のフレーム対応の符号化データに対しフレーム間相関を用い、現フレームに対する符号化データを前フレームの符号化データで置換できるか否かを判定し、前フレームの符号化データで置換できると判定された場合は、それを示す情報を出力する符号化データ差分化手段と、
この符号化データ差分化手段の判定結果に基づいた符号化データを出力する符号化データ出力手段と、
を含むことを特徴とする画像処理装置。 - 前記符号化データ差分化手段は、前記個々のフレーム対応の符号化データを現フレーム符号化データとし、この現フレーム符号化データと前フレーム符号化データとをそれぞれの対応する三角形領域で比較し、その差異の大きさが所定値未満であるか否かを判定し、差異が所定値未満である場合には、当該三角形領域における現フレーム符号化データを前フレーム符号化データで置換することを示す情報を出力し、差異が所定値以上である場合には、当該三角形領域は現フレームの符号化データを出力することを特徴とする請求項７記載の画像処理装置。
- 前記再帰的に分割されたそれぞれの三角形領域を、その元となる正方形領域を根とする２分木で表現し、前記符号化データ差分化手段は、前フレーム符号化データに対応する２分木の最終階層の三角形領域と現フレーム符号化データに対応する２分木の最終階層の三角形領域について、両者の差異を求め、その差異の大きさに基づいて当該三角形領域が前フレームの同じ領域の符号化データで置換できるか否かを判定し、それよりも上位の階層の三角形領域においては、自身を２分割して得られた２つの三角形領域がともに前フレームの同じ領域の符号化データで置換できる場合に、自身の三角形領域も前フレームの同じ領域の符号化データで置換できると判定することを特徴とする請求項８記載の画像処理装置。
- 前記前フレーム符号化データで置換することを示す情報は、当該前フレーム符号化データで置換するとされた最上位の三角形領域のみに付されることを特徴とする請求項８または９記載の画像処理装置。
- 動画を構成する連続した個々のフレーム対応の画像データが１つ以上の正方形領域に分割され、そのそれぞれの正方形領域が再帰的三角形領域分割処理されたのち、その分割された三角形領域が符号化され、かつ、当該処理対象となるフレーム対応の画像データがフレーム間相関を用いて符号化されてなり、この符号化データを復号化する画像処理装置であって、その構成要素として、
符号化データを入力する符号化データ入力手段と、
この符号化データ入力手段に入力された符号化データを解析する符号化データ解析手段と、
この符号化データ解析手段による解析結果に基づいて、前フレーム符号化データを選択するか現フレーム符号化データを選択するかを判定する符号化データ選択判定手段と、
この符号化データ選択判定手段の判定結果に基づいて、再帰的に三角形領域を合成する再帰的三角形領域合成手段と、
合成された三角形領域により正方形領域を合成する正方形領域合成手段と、
合成された正方形領域から画像データを復元して出力する画像データ出力手段と、
を含むことを特徴とする画像処理装置。 - 前記符号化データ選択判定手段が行う前フレーム符号化データを選択するか現フレーム符号化データを選択するかの判定は、前フレーム符号化データで置換することを示す情報に基づいて行い、ある三角形領域に前フレーム符号化データで置換することを示す情報が与えられている場合には、当該三角形領域より下の階層の三角形領域全体を、前フレームの同じ領域の符号化データを用いて復号化することを特徴とする請求項１１記載の画像処理装置。
- 動画を構成する連続した個々のフレーム対応の画像データをフレーム間相関を用いて符号化する画像処理プログラムあって、その画像処理プログラムは、
処理対象となるフレーム対応の画像データを入力する画像入力ステップと、
入力されたフレーム対応の画像データを１つ以上の正方形領域に分割する正方形領域分割ステップと、
分割されたぞれぞれの正方形領域を再帰的に三角形領域に分割する再帰的三角形領域分割ステップと、
分割された三角形領域を符号化する符号化データ生成ステップと、
この符号化データ生成ステップによって生成された個々のフレーム対応の符号化データに対しフレーム間相関を用い、現フレームに対する符号化データを前フレームの符号化データで置換できるか否かを判定し、前フレームの符号化データで置換できると判定された場合は、それを示す情報を出力する符号化データ差分化ステップと、
この符号化データ差分化ステップの判定結果に基づいた符号化データを出力する符号化データ出力ステップと、
を含むことを特徴とする画像処理プログラム。 - 前記符号化データ差分化ステップは、前記個々のフレーム対応の符号化データを一時的に記憶するとともに、前記符号化データ出力ステップからの符号化データを前フレーム符号化データとして記憶し、この前フレーム符号化データと現フレーム符号化データとをそれぞれの対応する三角形領域で比較し、その差異の大きさが所定値未満であるか否かを判定し、差異が所定値未満である場合には、当該三角形領域における現フレーム符号化データを前フレーム符号化データで置換することを示す情報を出力し、差異が所定値以上である場合には、当該三角形領域は現フレームの符号化データを出力することを特徴とする請求項１３記載の画像処理プログラム。
- 前記再帰的に分割されたそれぞれの三角形領域を、その元となる正方形領域を根とする２分木で表現し、前記符号化データ差分化ステップは、前記前フレーム符号化データに対応する２分木の最終階層の三角形領域と現フレーム符号化データに対応する２分木の最終階層の三角形領域について、両者の差異を求め、その差異の大きさに基づいて当該三角形領域が前フレームの同じ領域の符号化データで置換できるか否かを判定し、それよりも上位の階層の三角形領域においては、自身を２分割して得られた２つの三角形領域がともに前フレームの同じ領域の符号化データで置換できる場合に、自身の三角形領域も前フレームの同じ領域の符号化データで置換できると判定することを特徴とする請求項１４記載の画像処理プログラム。
- 前記前フレーム符号化データで置換することを示す情報は、当該前フレーム符号化データで置換するとされた最上位の三角形領域のみに付されることを特徴とする請求項１４または１５記載の画像処理プログラム。
- 動画を構成する連続した個々のフレーム対応の画像データが１つ以上の正方形領域に分割され、そのそれぞれの正方形領域が再帰的三角形領域分割処理されたのち、その分割された三角形領域が符号化され、かつ、当該処理対象となるフレーム対応の画像データをフレーム間相関を用いて符号化されてなり、この符号化データを復号化する画像処理プログラムであって、その画像処理プログラムは、
符号化データを入力する符号化データ入力ステップと、
この符号化データ入力ステップに入力された符号化データを解析する符号化データ解析ステップと、
この符号化データ解析ステップによる解析結果に基づいて、前フレーム符号化データを選択するか現フレーム符号化データを選択するかを判定する符号化データ選択判定ステップと、
この符号化データ選択判定ステップの判定結果に基づいて、再帰的に三角形領域を合成する再帰的三角形領域合成ステップと、
合成された三角形領域により正方形領域を合成する正方形領域合成ステップと、
合成された正方形領域から画像データを復元して出力する画像データ出力ステップと、
を含むことを特徴とする画像処理プログラム。 - 前記符号化データ選択判定ステップが行う前フレーム符号化データを選択するか現フレーム符号化データを選択するかの判定は、前フレーム符号化データで置換することを示す情報に基づいて行い、ある三角形領域に前フレーム符号化データで置換することを示す情報が与えられている場合には、当該三角形領域より下の階層の三角形領域全体を、前フレームの同じ領域の符号化データを用いて復号化することを特徴とする請求項１７記載の画像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003076243A JP4232496B2 (ja) | 2003-03-19 | 2003-03-19 | 画像処理方法および画像処理装置ならびに画像処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003076243A JP4232496B2 (ja) | 2003-03-19 | 2003-03-19 | 画像処理方法および画像処理装置ならびに画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004289284A true JP2004289284A (ja) | 2004-10-14 |
| JP4232496B2 JP4232496B2 (ja) | 2009-03-04 |
Family
ID=33291347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003076243A Expired - Fee Related JP4232496B2 (ja) | 2003-03-19 | 2003-03-19 | 画像処理方法および画像処理装置ならびに画像処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4232496B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7796835B2 (en) | 2004-11-18 | 2010-09-14 | Ziosoft, Inc. | Computer readable medium for image processing and image processing method |
| JP2014006900A (ja) * | 2012-06-22 | 2014-01-16 | Palo Alto Research Center Inc | 圧縮水平順序付けエッジシーケンス符号化のためのシステム及び方法 |
| CN110169060A (zh) * | 2017-01-09 | 2019-08-23 | Sk电信有限公司 | 用于对图像进行编码或解码的设备和方法 |
| WO2020259372A1 (zh) * | 2019-06-24 | 2020-12-30 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
| CN113362233A (zh) * | 2020-03-03 | 2021-09-07 | 浙江宇视科技有限公司 | 图片处理方法、装置、设备、系统及存储介质 |
| CN113438484A (zh) * | 2021-06-28 | 2021-09-24 | 遥聚信息服务(上海)有限公司 | 一种遥感图像的数据传输方法及系统 |
| RU2797353C1 (ru) * | 2019-06-24 | 2023-06-02 | Ханчжоу Хиквижен Диджитал Текнолоджи Ко., Лтд. | Способ, аппарат и устройство кодирования и декодирования |
-
2003
- 2003-03-19 JP JP2003076243A patent/JP4232496B2/ja not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7796835B2 (en) | 2004-11-18 | 2010-09-14 | Ziosoft, Inc. | Computer readable medium for image processing and image processing method |
| JP2014006900A (ja) * | 2012-06-22 | 2014-01-16 | Palo Alto Research Center Inc | 圧縮水平順序付けエッジシーケンス符号化のためのシステム及び方法 |
| US9876638B2 (en) | 2012-06-22 | 2018-01-23 | Palo Alto Research Center Incorporated | System and method for compressed level-ordered edge sequence encoding |
| CN110169060A (zh) * | 2017-01-09 | 2019-08-23 | Sk电信有限公司 | 用于对图像进行编码或解码的设备和方法 |
| WO2020259372A1 (zh) * | 2019-06-24 | 2020-12-30 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
| RU2797353C1 (ru) * | 2019-06-24 | 2023-06-02 | Ханчжоу Хиквижен Диджитал Текнолоджи Ко., Лтд. | Способ, аппарат и устройство кодирования и декодирования |
| US12041266B2 (en) | 2019-06-24 | 2024-07-16 | Hangzhou Hikvision Digital Technology Co., Ltd. | Encoding and decoding method, apparatus and device |
| CN113362233A (zh) * | 2020-03-03 | 2021-09-07 | 浙江宇视科技有限公司 | 图片处理方法、装置、设备、系统及存储介质 |
| CN113362233B (zh) * | 2020-03-03 | 2023-08-29 | 浙江宇视科技有限公司 | 图片处理方法、装置、设备、系统及存储介质 |
| CN113438484A (zh) * | 2021-06-28 | 2021-09-24 | 遥聚信息服务(上海)有限公司 | 一种遥感图像的数据传输方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4232496B2 (ja) | 2009-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101461209B1 (ko) | ２ｄ 매트릭스들에 인코딩 파라미터들을 저장하는 이미지 압축을 위한 방법 및 장치 | |
| US20240205431A1 (en) | Information processing apparatus and method | |
| KR20160114570A (ko) | 고정폭 가변길이의 화소 샘플값 문자열의 매칭이 강화된 영상 압축 방법 및 장치 | |
| KR100574702B1 (ko) | 화상부호／복호방법 및 그 프로그램을 기록한 기록매체 | |
| JP4656912B2 (ja) | 画像符号化装置 | |
| JP2013211908A (ja) | ビデオ圧縮方法 | |
| JP2006174415A (ja) | 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法 | |
| CN101595734A (zh) | 用于减轻图像中的伪影的系统和方法 | |
| CN114731455A (zh) | 使用与图像质量相关的ai元数据的设备和方法 | |
| KR20100016272A (ko) | Ｐｉｘｏｎ 방법을 사용한 이미지 압축 및 압축 해제 | |
| JP5689291B2 (ja) | 画像復号装置、画像復号方法、画像復号プログラム、画像符号化装置、画像符号化方法、及び画像符号化プログラム | |
| JP2003018602A (ja) | 画像データ符号化および復号のための方法および装置 | |
| CN117980914A (zh) | 用于以有损方式对图像或视频进行编码、传输和解码的方法及数据处理系统 | |
| JP4232496B2 (ja) | 画像処理方法および画像処理装置ならびに画像処理プログラム | |
| US8538175B1 (en) | System and method for representing and coding still and moving images | |
| JP4082194B2 (ja) | 画像処理方法および画像処理装置ならびに画像処理プログラム | |
| JP3932244B2 (ja) | 画像符号／復号方法及びその装置並びにそのプログラムを記録した記録媒体 | |
| JP5307681B2 (ja) | 画像符号化構造の自動生成方法，画像符号化構造の自動生成装置およびそのプログラム | |
| US20080260029A1 (en) | Statistical methods for prediction weights estimation in video coding | |
| JP4042594B2 (ja) | 画像処理方法および画像処理装置ならびに画像処理プログラム | |
| JP2002199401A (ja) | 画像符号化装置、画像復号化装置、電子カメラ、および記録媒体 | |
| JP4194472B2 (ja) | 画像処理方法及び装置 | |
| WO2024140849A1 (en) | Method, apparatus, and medium for visual data processing | |
| US20230110665A1 (en) | Image processing apparatus and method, and storage medium | |
| JP4344184B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060308 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070403 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080304 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080507 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080507 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081118 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081201 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |