JP2003153274A - 情報処理装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

(57)【要約】 【課題】 元画像データの符号化処理を高速化する。 【解決手段】 分離フィルタ３１は、フィルタ生成部１
０１により生成される。すなわち、フラクタル符号化部
１１１は、入力された元画像データをフラクタル符号化
処理し、さらに、フラクタル復号部１１２は、符号化さ
れた元画像データを復号して復号画像データを生成して
学習部１１３に出力する。学習部１１３は、複数の元画
像データと復号画像データの関係を学習することによ
り、元画像データを復号画像データに変換するためのフ
ィルタ係数を生成し、分離フィルタ３１を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、情報処理装置およ
び方法、記録媒体、並びにプログラムに関し、特に、フ
ラクタル符号化処理やMPEG（Moving Picture Experts G
roup）符号化処理により符号化された画像を、高画質で
復号できるようにし、処理に必要な計算量を抑制できる
ようにした情報処理装置および方法、記録媒体、並びに
プログラムに関する。

【０００２】

【従来の技術】画像を圧縮する技術が一般に普及しつつ
ある。画像を圧縮する技術として、画像の持つ特定部分
との自己相似性（部分的自己相似性）という冗長度を取
り除くことによって、画像圧縮を行うフラクタル符号化
が提案されている。部分的自己相似性とは、画像の一部
分の画像パターンに注目するとき、同じ画像内に良く似
た画像パターンが異なったスケールで存在する性質をい
う。フラクタル符号化は、符号化対象画像をｍ×ｎのレ
ンジブロックに分割して、各レンジブロックに対して変
換を求める。この変換は、それぞれ適当に決められるド
メインブロックの画素値を取り出し、縮小、回転等の簡
単な線形変換を画素値に施したもので、レンジブロック
内の画素を置き換える処理である。すなわち、フラクタ
ル符号化は、レンジブロックの画像パターンを正確に近
似する変換を決定する符号化手法である。

【０００３】より具体的には、例えば、１フレームの画
像を８×８画素のレンジブロックに分割し、また、１６
×１６画素のドメインブロックが設定されるとき、変換
要素としては、４種類のもの（縮小変換、回転変換、鏡
像変換、輝度変換）が設定され、また、これらの組合せ
の変換を含めて、合計８種類の変換が使用される。縮小
変換は、４画素の値の平均をとって、水平、垂直の長さ
をそれぞれ1/2 に縮小するものである。回転変換は、０
°、９０°、１８０°、２７０°の反時計方向の回転で
ある。鏡像変換は、左右を入れ替える処理である。輝度
変換は、平均値分離後ゲインを乗じ、振幅方向に縮小す
る処理である。

【０００４】ドメインブロックに対する上述の変換を行
った後、レンジブロックとの相似性をブロックマッチン
グによって見いだし、ドメインブロックの位置情報であ
る、ベクトルおよび上式のパラメータ（すなわち、サー
チ範囲内の位置、回転の角度、左右反転したかどうか）
の伝送を行うことによって、情報量の圧縮がなされる。

【０００５】復号側では、初期画像からドメインブロッ
クを切り出し、受信されたパラメータを用いて変換を行
った結果をレンジブロックとして初期画像に張りつけ、
それによって画像の更新を行う。この操作を繰り返し行
うことで、除々に解像度のある復元画像を生成する。

【０００６】このフラクタル符号化処理により入力画像
データを符号化し、さらに、フラクタル復号処理により
符号化された入力画像データから復号画像データを生成
するとき、その復号画像データの画質を向上させるため
に、図１で示すような画像転送システムが考えられてい
る。すなわち、フラクタル符号化部１は、入力された元
画像データをフラクタル符号化処理により符号化して符
号化画像データを生成し、フラクタル復号部２、およ
び、伝送フォーマット符号化部５に出力する。

【０００７】フラクタル復号部２は、入力された符号化
画像データを復号して、復号画像データを生成し加算器
３に出力する。加算器３は、元画像データから復号画像
データを減算し、残差成分を求め、量子化部４に出力す
る。量子化部４は、残差成分を量子化し、伝送フォーマ
ット符号化部５に出力する。伝送フォーマット符号化部
５は、符号化画像データと量子化された残差成分を伝送
フォーマット形式の伝送データに変換して出力する。

【０００８】一方復号側では、伝送パラメータ分離部６
が、伝送されてきた伝送データを受信し、符号化画像デ
ータと量子化された残差成分を分離し、符号化画像デー
タをフラクタル復号部７に、量子化された残差成分を逆
量子化部８に出力する。フラクタル復号部７は、入力さ
れた符号化画像データを復号して、残差成分を含まない
仮の復号画像データを生成し、加算器９に出力する。逆
量子化部８は、入力された量子化された残差成分を逆量
子化し、残差成分を求め、加算器９に出力する。加算器
９は、フラクタル復号部７より入力された仮の復号画像
データと、逆量子化部８より入力された残差成分を加算
し、復号画像データを生成して出力する。

【０００９】以上の処理により、予め復号時に生じる誤
差である残差成分が符号化画像データとは別に量子化さ
れて伝送され、復号されるので単にフラクタル符号化、
および、フラクタル復号処理を用いた処理よりも画質の
高い復号画像データを生成することができる。

【００１０】

【発明が解決しようとする課題】しかしながら、フラク
タル符号化による圧縮処理は、幾何変化やブロックの比
較などを繰り返すことにより推測できるようにする処理
であるため、上述のような構成では、元画像データを伝
送データに変換する際、元画像データをフラクタル符号
化部１により符号化処理した後、フラクタル復号部２に
より復号処理される構成であることにより、その演算量
と共に、処理時間が膨大なものとなってしまうと言う課
題があった。

【００１１】また、フラクタル符号化では、ブロックマ
ッチングの正否が画質を大きく左右するため、例えば、
細かい模様からなる画像などでは、比較するブロック間
のマッチングが失敗することにより、復号される画像の
画質が、大きく劣化してしまうという課題があった。

【００１２】本発明はこのような状況に鑑みてなされた
ものであり、画像データのフラクタル符号化による圧縮
処理により符号化された画像をより高画質で高速に復号
できるようにするものである。

【００１３】

【課題を解決するための手段】本発明の第1の情報処理
装置は、入力画像データを、学習により求められた係数
に基づく演算処理により、入力画像データが符号化され
た後、更に復号されたとき、生成されることが予測され
る予測画像データに変換する変換手段と、予測画像デー
タを符号化する符号化手段と、符号化手段により符号化
された予測画像データを符号化データとして出力する出
力手段とを備えることを特徴とする。

【００１４】前記係数は、予め複数の学習用画像データ
と、学習用画像データを符号化した後、更に復号するこ
とにより生成される復号画像データに基づいた学習によ
り求められた係数とするようにすることができる。

【００１５】前記係数は、予め複数の学習用画像データ
と、学習用画像データを符号化した後、更に復号するこ
とにより生成される復号画像データに基づいて、入力画
像データの特徴量毎に学習された、特徴量毎の複数の係
数とするようにすることができる。

【００１６】前記特徴量は、学習用画像データのアクテ
ィビティとするようにすることができる。

【００１７】前記符号化手段には、予測画像データに対
してフラクタル符号化処理を行うことで符号化させるよ
うにすることができる。

【００１８】本発明の第1の情報処理方法は、入力画像
データを、学習により求められた係数に基づく演算処理
により、入力画像データが符号化された後、更に復号さ
れたとき、生成されることが予測される予測画像データ
に変換する変換ステップと、予測画像データを符号化す
る符号化ステップと、符号化ステップの処理で符号化さ
れた予測画像データを符号化データとして出力する出力
ステップとを含むことを特徴とする。

【００１９】本発明の第1の記録媒体のプログラムは、
入力画像データの、学習により求められた係数に基づく
演算処理により、入力画像データが符号化された後、更
に復号されたとき、生成されることが予測される予測画
像データへの変換を制御する変換制御ステップと、予測
画像データの符号化を制御する符号化制御ステップと、
符号化制御ステップの処理で符号化された予測画像デー
タの符号化データとしての出力を制御する出力制御ステ
ップとを含むことを特徴とする。

【００２０】本発明の第1のプログラムは、入力画像デ
ータの、学習により求められた係数に基づく演算処理に
より、入力画像データが符号化された後、更に復号され
たとき、生成されることが予測される予測画像データへ
の変換を制御する変換制御ステップと、予測画像データ
の符号化を制御する符号化制御ステップと、符号化制御
ステップの処理で符号化された予測画像データの符号化
データとしての出力を制御する出力制御ステップとをコ
ンピュータに実行させることを特徴とする。

【００２１】本発明の第２の情報処理装置は、入力画像
データを、学習により求められた係数に基づく演算処理
により、入力画像データが符号化された後、更に復号さ
れたとき、生成されることが予測される予測画像データ
に変換する変換手段と、入力画像データと予測画像デー
タとの差分データを演算する差分演算手段と、差分演算
手段により演算された差分データと、予測画像データと
を入力画像データの符号化データとして出力する出力手
段とを備えることを特徴とする。

【００２２】前記差分データを量子化する量子化手段を
さらに設けるようにさせることができ、出力手段には、
量子化手段により量子化された差分データと、予測画像
データとを入力データの符号化データとして出力させる
ようにすることができる。

【００２３】前記係数は、予め学習用画像データと、学
習用画像データを符号化した後、更に復号することによ
り生成される復号画像データに基づいた学習により求め
られた係数とするようにすることができる。

【００２４】前記係数は、学習用画像データと、入力画
像データを符号化した後、復号することにより生成され
る復号画像データに基づいて、学習用画像データの特徴
量毎に学習された、特徴量毎の複数の係数とするように
することができる。

【００２５】前記特徴量は、入力画像データのアクティ
ビティとするようにすることができる。

【００２６】前記符号化手段には、予測画像データに対
してフラクタル符号化処理を実行することにより符号化
させるようにすることができる。

【００２７】本発明の第２の情報処理方法は、入力画像
データを、学習により求められた係数に基づく演算処理
により、入力画像データが符号化された後、更に復号さ
れたとき、生成されることが予測される予測画像データ
に変換する変換ステップと、入力画像データと予測画像
データとの差分データを演算する差分演算ステップと、
差分演算ステップの処理で演算された差分データと、予
測画像データとを入力画像データの符号化データとして
出力する出力ステップとを含むことを特徴とする。

【００２８】本発明の第２のプログラムは、入力画像デ
ータの、学習により求められた係数に基づく演算処理に
より、入力画像データが符号化された後、更に復号され
たとき、生成されることが予測される予測画像データへ
の変換を制御する変換制御ステップと、入力画像データ
と予測画像データとの差分データの演算を制御する差分
演算制御ステップと、差分演算制御ステップの処理で演
算された差分データと、予測画像データとの入力画像デ
ータの符号化データとしての出力を制御する出力制御ス
テップとを含むことを特徴とする。

【００２９】本発明の第２のプログラムは、入力画像デ
ータの、学習により求められた係数に基づく演算処理に
より、入力画像データが符号化された後、更に復号され
たとき、生成されることが予測される予測画像データへ
の変換を制御する変換制御ステップと、入力画像データ
と予測画像データとの差分データの演算を制御する差分
演算制御ステップと、差分演算制御ステップの処理で演
算された差分データと、予測画像データとの入力画像デ
ータの符号化データとしての出力を制御する出力制御ス
テップとをコンピュータに実行させることを特徴とす
る。

【００３０】本発明の第３の情報処理装置は、学習用画
像データを符号化する符号化手段と、符号化手段により
符号化された学習用画像データを復号画像データに復号
する復号手段と、学習用画像データと復号画像データの
関係を学習することにより、入力画像データを復号画像
データに変換する演算処理を施す際に使用される係数を
生成する係数生成手段とを備えることを特徴とする。

【００３１】前記符号化手段には、予測画像データに対
してフラクタル符号化処理を行うことで符号化させるよ
うにすることができ、前記復号手段には、予測画像デー
タ対してフラクタル復号処理を行うことにより、符号
化手段により符号化された学習用画像データを復号画像
データに復号させるようにすることができる。

【００３２】本発明の第３の情報処理方法学習用画像デ
ータを符号化する符号化ステップと、符号化ステップの
処理で符号化された学習用画像データを復号画像データ
に復号する復号ステップと、学習用画像データと復号画
像データの関係を学習することにより、入力画像データ
を復号画像データに変換する演算処理を施す際に使用さ
れる係数を生成する係数生成ステップとを含むことを特
徴とする。

【００３３】本発明の第３の記録媒体のプログラムは、
学習用画像データの符号化を制御する符号化制御ステッ
プと、符号化制御ステップの処理で符号化された学習用
画像データの復号画像データへの復号を制御する復号制
御ステップと、学習用画像データと復号画像データの関
係を学習することにより、入力画像データの復号画像デ
ータへの変換の演算処理を施す際に使用される係数の生
成を制御する係数生成制御ステップとを含むことを特徴
とする。

【００３４】本発明の第３のプログラムは、学習用画像
データの符号化を制御する符号化制御ステップと、符号
化制御ステップの処理で符号化された学習用画像データ
の復号画像データへの復号を制御する復号制御ステップ
と、学習用画像データと復号画像データの関係を学習す
ることにより、入力画像データの復号画像データへの変
換の演算処理を施す際に使用される係数の生成を制御す
る係数生成制御ステップとをコンピュータに実行させる
ことを特徴とする。

【００３５】本発明の第1の情報処理装置および方法、
並びにプログラムにおいては、入力画像データが、学習
により求められた係数に基づく演算処理により、入力画
像データが符号化された後、更に復号されたとき、生成
されることが予測される予測画像データに変換され、予
測画像データが符号化され、符号化された予測画像デー
タが符号化データとして出力される。

【００３６】本発明の第２の情報処理装置および方法、
並びにプログラムにおいては、入力画像データが、学習
により求められた係数に基づく演算処理により、入力画
像データが符号化された後、更に復号されたとき、生成
されることが予測される予測画像データに変換され、入
力画像データと予測画像データとの差分データが演算さ
れ、演算された差分データと、予測画像データとが入力
画像データの符号化データとして出力される。

【００３７】本発明の第３の情報処理装置および方法、
並びにプログラムにおいては、学習用画像データが符号
化され、符号化された学習用画像データが復号画像デー
タに復号され、学習用画像データと復号画像データの関
係を学習することにより、入力画像データを復号画像デ
ータに変換する演算処理を施す際に使用される係数が生
成される。

【００３８】

【発明の実施の形態】図２は、本発明に係る画像転送シ
ステム１１の一実施の形態の構成を示す図である。

【００３９】画像転送システム１１は、入力された元画
像データを伝送データに符号化する符号化部２１と、符
号化部２１により符号化された元画像データの伝送デー
タを復号して、復号画像データを生成する復号部２２か
ら構成される。

【００４０】画像転送システム１１の分離フィルタ３１
は、後述する学習処理により生成されるフィルタであ
り、入力された元画像データをROM（Read Only Memor
y）などの記憶装置に記憶された係数を用いて演算し、
予測画像データに変換して、簡易フラクタル符号化部３
２、加算器３３、および、量子化部３４に出力する。よ
り詳細には、分離フィルタ３１は、入力された元画像が
簡易フラクタル符号化部３２により符号化された後、さ
らに引き続いて、後述する復号部２２のフラクタル復号
部４２により復号されたとき、生成されることが予測さ
れる予測画像データに変換し、簡易フラクタル符号化部
３２、加算器３３、および、量子化部３４に出力する。

【００４１】簡易フラクタル符号化部３２は、分離フィ
ルタ３１により演算処理された元画像データをフラクタ
ル符号化により符号化し（圧縮し）、符号化画像データ
を伝送フォーマット符号化部３５に出力する。

【００４２】加算器３３は、入力された元画像データの
各画素値から、分離フィルタ３１によりフィルタ処理さ
れて、生成された予測画像データの画素値を減算し、そ
の差分を残差成分として求め、量子化部３４に出力す
る。

【００４３】量子化部３４は、加算器３３より入力され
た残差成分を分離フィルタ３１によりフィルタ処理され
た予測画像データを量子化し、伝送フォーマット部３５
に出力する。量子化方法は、通常の量子化や、ADRCを用
いた圧縮方法を使用しても良い。

【００４４】伝送フォーマット部３５は、簡易フラクタ
ル符号化部３２により符号化された符号化画像データ
と、量子化部３４により量子化された残差成分とを所定
の伝送フォーマットにして、伝送データとして出力す
る。

【００４５】復号部２２の伝送パラメータ分離部４１
は、入力された伝送データを符号化画像データと、量子
化された残差成分に分離し、符号化画像データをフラク
タル符号化部４２に出力し、量子化された残差成分を逆
量子化部４３に出力する。

【００４６】フラクタル復号部４２は、伝送パラメータ
分離部４１より入力された符号化側でのフラクタル符号
化処理により生成した予測画像データが符号化された符
号化画像データを復号し、加算器４４に出力すると共
に、復号した予測画像データのブロック毎のダイナミッ
クレンジの情報を逆量子化部４３に出力する。

【００４７】逆量子化部４３は、伝送パラメータ分離部
４１より入力された量子化されている残差成分を逆量子
化し、残差成分を生成して加算器４４に出力する。逆量
子化は、通常の逆量子化処理でもよいし、ADRCを用いた
逆量子化処理でもよい。加算器４４は、フラクタル復号
部４２より入力された予測画像データと残差成分を加算
することにより、元画像データに対応する復号画像デー
タを生成し、クリッピング処理部４５に出力する。

【００４８】クリッピング処理部４５は、復号画像デー
タの各画素の画素値が、定義されている範囲内であるか
否かを確認し、その画素値が定義された範囲の下限値未
満の場合、画素値を下限値に補正し、画素値が定義され
た範囲の上限値を超えている場合、画素値を上限値に補
正することにより画素値をクリッピング処理し、復号画
像データを補正して出力する。

【００４９】次に、図３を参照して、簡易フラクタル符
号化部３２の構成について説明する。

【００５０】元画像データがレンジブロック化回部６
１、および、サーチエリア切り出し部６５に供給され
る。レンジブロック化部６１は、元画像データを２次元
の（ｍ×ｎ）、例えば８×８画素の大きさのレンジブロ
ックに分割し、レンジブロック毎にADRCエンコーダ６２
に供給する。ADRCエンコーダ６２は、入力されたレンジ
ブロックをADRC符号化処理によりADRCエンコードして、
ブロックレンジ毎のダイナミックレンジと最小値MINを
伝送フォーマット符号化部３５に、エンコード結果を比
較部６３に出力する。ADRC符号化処理とは、ブロック毎
に画素値の最大値MAX、最小値MINを検出し、最大値MAX
および最小値MINの差である、ダイナミックレンジDRを
求め、ダイナミックレンジDRとビット数から決定される
量子化ステップ幅によって、最小値MINを減じた修正入
力画素値を元の量子化ビット数（８ビット）より少ない
固定のビット数（例えば４ビット）で再度量子化するも
のである。符号化の結果である、ダイナミックレンジD
R、最小値MINが伝送フォーマット符号化部３５に送ら
れ、各画素の量子化データQrが差分の２乗和を計算する
比較部７に送られる。ダイナミックレンジに関する情報
は、ダイナミックレンジDR、最大値MAX、最小値MINのう
ちの二つを伝送すれば良い。

【００５１】一方、サーチエリア切り出し部６５は、上
記レンジブロックに対応したサーチ範囲（計算時間を抑
えるために、例えば水平、垂直ともに−７乃至＋８画素
程度）の中から、２次元の（M×N）、例えば１６×１６
画素程度の大きさのドメインブロックを切り出し、ドメ
インブロック化部６６に出力する。ドメインブロック化
部６６は、切り出したドメインブロックをADRCエンコー
ダ６７により、ADRCエンコーダ６２と同様のADRC符号化
処理を行ない1/4縮小部６８に出力すると共に、変換パ
ラメータを比較部６３および最小値判定部６４に出力す
る。

【００５２】1/4縮小部６８は、ADRCエンコーダ６７か
らのドメインブロックの符号化出力の中の量子化データ
Qdに対して、縮小変換（縦横それぞれ１／２）処理を実
行して、回転鏡像処理部６９に出力する。回転鏡像処理
部６９は、縮小変換された量子化データQdに回転（０
°、９０°、１８０°、２７０°）、鏡像（左右反転）
などの操作を行い、比較部６３に出力する。

【００５３】1/4縮小部６８、および、回転鏡像処理部
６９においてなされる処理は、座標変換処理である。な
お、1/4縮小部６８、および、回転鏡像処理部６９にお
ける変換パラメータは、比較部６３、および、最小値判
定部６４に供給され、記憶される。

【００５４】評価部６３は、レンジブロックとドメイン
ブロックの画素単位の差分（Qr-Qd'）を計算し、この差
分の２乗値のブロック内での総和が計算され、計算され
た差分の２乗値の総和を評価値テーブルとして格納（記
憶）する。なお、評価値としては、差分の絶対値和等を
用いることができる。

【００５５】評価部６３は、1/4縮小部６８、および、
回転鏡像処理部６９において、パラメータが変更されて
変換処理が連続して実行されるとき、上述の差分の２乗
値の総和を求め、これを評価値テーブルとして格納（記
憶）する。評価部６３は、この動作を全てのパラメータ
に対して行ない、サーチ範囲内で１つのドメインブロッ
クの位置に対する計算を終了する。一例として、下記に
挙げる８種類のパラメータが使用される。

【００５６】第１のパラメータは、1/2の縮小処理によ
るものとし、第２のパラメータは、1/2の縮小および左
右反転処理によるものとし、第３のパラメータは、1/2
の縮小および９０°回転処理によるものとし、第４のパ
ラメータは、1/2の縮小および１８０°回転処理による
ものとし、第５のパラメータは、1/2の縮小および２７
０°回転処理によるものとし、第６のパラメータは、1/
2の縮小、９０°回転および左右反転処理によるものと
し、第７のパラメータは、1/2の縮小、１８０°回転お
よび左右反転によるものとし、第８のパラメータは、1/
2の縮小、２７０°回転および左右反転によるものとす
るといったものである。

【００５７】サーチエリア切り出し部６５乃至回転鏡像
処理部６９は、サーチ範囲内でドメインブロックの切り
出しを、例えば１画素分ずらして行ない、評価部６３
は、上記と同様な評価値の演算を全ての変換パラメータ
に対して行ない、サーチ範囲内で１画素ずつ動かした位
置のドメインブロックを切り出し、全ての演算を実行す
る。

【００５８】評価部６３が、全ての演算を実行すると、
最小値判定部６４は、評価部６３に評価値テーブルとし
て格納されている評価値の中から最小値を検出し、ドメ
インブロックの位置、変換パラメータ（回転角度、左右
反転の有無）を決定して、伝送フォーマット符号化部３
５に出力する。このようにして、ブロックマッチング法
によりレンジブロックと相似な画像が探し出される。伝
送フォーマット符号化部３５は、ADRCエンコーダ６２よ
り供給されたレンジブロックのダイナミックレンジDR、
最小値MINとともに、最小値判定部６４より入力された
評価値が最小値となる量子化データ、および、変換パラ
メータの情報を伝送用のフォーマットに変換して伝送デ
ータを生成する。

【００５９】簡易フラクタル符号化部３２は、以上の一
連の符号化動作を各レンジブロックについて実行し、画
像フレーム全体にわたって符号化動作を行う。伝送され
るデータは、各４ビットの位置情報ｘ、ｙと、変換パラ
メータの３ビット（回転に関する２ビットと反転に関す
る１ビット）と、ダイナミックレンジDRの８ビットと、
最小値MINの８ビットである。従って、１画素が８ビッ
トのデータの場合では、８×８×８＝５１２ビットの原
データが２７ビットに圧縮されることになる。

【００６０】制御部７０は、いわゆるマイクロコンピュ
ータなどから構成され、簡易フラクタル符号化部３２の
全体の動作を制御しており、各種の処理に必要なカウン
タを備える（図中、結線は省略されている）。

【００６１】次に、図４を参照して、フラクタル復号部
４２の構成について説明する。

【００６２】ドメインブロック切り出し部８１は、伝送
パラメータ分離部より供給されるドメインブロックの切
り出し情報（位置情報ｘ、ｙ）をもとにドメインブロッ
ク（１６×１６画素）を切り出して、ADRCエンコーダ８
２に供給する。ADRCエンコーダ８２は、ドメインブロッ
クのデータにADRC符号化処理を施し、量子化データを1/
4縮小部８３に出力する。1/4縮小部８３は、ADRCエンコ
ーダ８２より入力された量子化データを水平方向、およ
び、垂直方向にそれぞれ1/2だけ縮小処理し、回転鏡像
処理部８４に出力する。回転鏡像処理部８４は、伝送パ
ラメータ分離部４１より供給される変換パラメータによ
り、回転、鏡像処理などの線形変換を1/4縮小部８３よ
り供給されたドメインブロックの量子化データに対して
施し、ADRCデコーダ８５に供給する。ADRCでコーダ８５
は、伝送パラメータ分離部４１からのダイナミックレン
ジDR、最小値MINに基づいて、回転鏡像処理部８４から
の変換後の量子化データに復号処理を施し、もとの画素
情報に復元しメモリ８６に復号結果FM0として書き込
む。

【００６３】フラクタル復号部４２は、同様にして、次
のレンジブロックに対応する符号化データの復号動作を
実行し、１フレーム全体にわたって復号が終了した時点
で、再度復号動作を行なうよう、反復動作を実行する。
この反復動作を収束させるための判定は、前回の復号結
果をメモリ８６に例えば復号結果FM１として格納してお
き、復号結果FM0との画素単位の差分の２乗和を演算部
８７により計算し、これをある閾値TH0と比較すること
で実現する。すなわち、フレーム間差分の２乗和が閾値
TH0より大であるときは、未だ収束してないものとみな
し、復号動作を繰り返す。従って、メモリ８６には、何
らかの初期値が記憶されている必要がある。

【００６４】反復動作が続行されるとき、演算部８７
は、メモリ８６に記憶されている復号結果FM0のデータ
を復号結果FM1にコピーする。フレーム間差分の２乗和
が閾値TH0以下である場合、演算部８７は、演算が収束
したものとみなし、反復動作を終了し、演算結果FM0の
データを復号画像として外部に出力する。

【００６５】制御部８８は、いわゆるマイクロコンピュ
ータなどから構成され、フラクタル復号部４２の全体の
動作を制御しており、各種の処理に必要なカウンタを備
える（図中、結線は省略されている）。

【００６６】次に、分離フィルタ３１について説明す
る。

【００６７】分離フィルタ３１は、上述のように入力さ
れた元画像が簡易フラクタル符号化部３２により符号化
された後、さらに引き続いて、復号部２２のフラクタル
復号部４２により復号されたとき、生成されることが予
測される予測画像データに変換するものである。

【００６８】この分離フィルタ３１は、符号化時の計算
量を減少させるために用いられている。すなわち、ある
ブロックサイズのフラクタル符号化では復号画像がある
程度の画質までしか復号できないという点に着目した解
析により、復号画像と同程度の画像を符号化し、さらに
復号しても画質は変わらないことが経験的に知られてい
る。これは、フラクタル符号化、および、フラクタル復
号により元画像データの高周波成分が除去されるので、
ブロックマッチングの失敗率が減少することにより、結
果として、近似のブロックの探索を粗く行っても復号画
像データと元画像データのS/Nが減少しないことが起因
している。

【００６９】そこで、この分離フィルタ３１は、元画像
データをフラクタル符号化処理、および、フラクタル復
号処理により復号されることが予測される予測画像デー
タに変換する。

【００７０】この分離フィルタ３１は、複数の元画像デ
ータをフラクタル符号化して、さらに、フラクタル復号
することにより得られる復号画像データと元画像データ
との間の学習処理に基づいて形成されている。

【００７１】図５は、その学習処理を行うフィルタ生成
部１０１（分離フィルタで使用される係数を生成する学
習装置）の構成を示している。

【００７２】フラクタル符号化部１１１とフラクタル復
号部１１２は、簡易フラクタル符号化部３２とフラクタ
ル復号部４２と基本的な構成は同様であるので、その説
明は省略する。フラクタル符号化部１１１は、供給され
た元画像データをフラクタル符号化して、フラクタル復
号部１１２に出力する。さらに、フラクタル復号部１１
２は、フラクタル符号化された元画像データを復号し、
復号画像データを学習部１１３に供給する。

【００７３】学習部１１３は、供給された元画像データ
を高能率圧縮符号化、例えばADRC符号化処理により、各
画素のクラスコードを生成する。学習部１１３は、元画
像データ、復号画像データ、およびクラスコードを利用
して、最小自乗法等を用いてクラス毎に最適な予測係数
を算出し、算出した予測係数から、分離フィルタ３１を
形成する。

【００７４】ここで、図６のフローチャートを参照し
て、学習処理について説明する。

【００７５】ステップＳ１において、フラクタル符号化
部１１１が、入力された元画像データをフラクタル符号
化し、さらに、フラクタル符号化された元画像データを
フラクタル復号部１１２が、復号することにより復号画
像データを生成して、学習部１１３に供給する。

【００７６】ステップＳ２において、学習部１１３は、
元画像データと復号画像データに対応した学習データを
形成し、例えば、元画像データの画素に対応した復号画
像データの画素を中心として図７に示す（３×３）ブロ
ックの配列を学習データとして使用する。

【００７７】ステップＳ３において、学習部１１４は、
元画像データの１フレーム分の元画像データの入力が終
了しているか否かを判定し、入力された元画像データの
例えば１フレームのデータの処理が終了していないと判
定した場合、その処理は、ステップＳ４に進む。

【００７８】ステップ４において、学習部１１３は、入
力された学習データのクラス分割処理を実行する。これ
は上述のように、ADRC処理等によって、情報量が圧縮さ
れた元画像データの画素のデータが用いられる。ステッ
プＳ５において、学習部１１３は、後述する式（６）お
よび（７）の正規方程式を作成し、その処理は、ステッ
プＳ１に戻る。すなわち、クラス分割処理と、その処理
に伴う正規方程式が生成される処理が繰り返される。

【００７９】ステップ３において、元画像データの１フ
レーム分の処理が終了したと判定された場合、その処理
は、ステップＳ６に進む。ステップ６において、学習部
１１３は、後述する式（８）を行列解法を用いて解い
て、予測係数を決定し、ステップ７において、予測係数
を分離フィルタ３１に記憶し、学習処理を終了する。

【００８０】図６中のステップ５の処理（正規方程式を
生成する処理）およびステップ６の処理（予測係数を決
定する処理）をより詳細に説明する。注目画素の真値を
ｙとし、その推定値をｙ´とし、その周囲の画素の値を
ｘ1乃至ｘn としたとき、クラス毎に予測係数ｗ1乃至ｗ
nによるｎタップの線形１次結合を以下の式（１）のよ
うに設定する。

【００８１】 ｙ´＝ｗ1・ｘ1 ＋ｗ2・ｘ2 ＋‥‥＋ｗn・ｘn （１） 式（１）において、学習前は予測係数ｗiが未定係数で
ある。

【００８２】上述のように、学習はクラス毎になされ、
データ数がｍの場合、式（１）に従って、 ｙj´＝ｗ1・ｘj1＋ｗ2・ｘj2＋‥‥＋ｗn・ｘjn （２） （但し、ｊ＝１，２，‥‥ｍ） ｍ＞ｎの場合、ｗ1乃至ｗnは一意には決まらないので、
誤差ベクトルＥの要素を ｅj＝ｙj−（ｗ1・ｘj1＋ｗ2・ｘj2＋‥‥＋ｗn・ｘjn） （３） （但し、ｊ＝１，２，‥‥ｍ）とそれぞれ定義して、次
の式（４）を最小にする予測係数を求める。

【００８３】

【数１】

【００８４】いわゆる最小自乗法による解法である。こ
こで式（４）の予測係数ｗiによる偏微分係数を求め
る。

【００８５】

【数２】

【００８６】式（５）を０にするように各予測係数ｗi
を決めればよいから、

【数３】 として、行列を用いると

【数４】 となる。この方程式は一般に正規方程式と呼ばれてい
る。この方程式を掃き出し法等の一般的な行列解法を用
いて、予測係数ｗiについて解けば、予測係数ｗiが求ま
り、クラスコードをアドレスとして、この予測係数ｗi
を分離フィルタ３１に格納していくことにより、学習処
理が実行されていく。

【００８７】このように形成された分離フィルタ３１
は、元画像データを伝送データに変換する際、従来の手
法によりフラクタル符号化したのち、再びフラクタル復
号しなければ得られなかった、予測画像データをフィル
タ処理により得ることができるので、その処理に必要と
される演算量が抑制され、処理時間が短縮される。ま
た、分離フィルタ３１は、複数の元画像データから学習
により形成されるので、元画像データが簡易フラクタル
符号化部３２で符号化された後、再び、フラクタル復号
部４２により復号されるときの復号画像データに対して
高い精度の（S/Nの高い）予測画像データを生成するこ
とが可能となる。

【００８８】次に、図８のフローチャートを参照して、
符号化部２１により元画像データが伝送用符号に符号化
されるときの処理について説明する。

【００８９】ステップＳ１１において、分離フィルタ３
１は、元画像データをフィルタ処理して予測画像データ
を生成し、簡易フラクタル符号化部３２、量子化部３
４、および、加算器３３に供給する。

【００９０】ステップＳ１２において、加算器３３は、
元画像データから分離フィルタ３１により生成された予
測画像データを減算して、残差成分を抽出し、量子化部
３４に出力する。

【００９１】ステップＳ１３において、量子化部３４
は、残差成分を量子化して、量子化した残差成分を伝送
フォーマット符号化部３５に出力する。量子化は、元画
像データと予測画像データが、図９Ａで示すような関係
にあるとき、その後の差分である残差成分は、図９Ｂで
示すように表される。量子化部３４は、図９Ｂで示し
た、この残差成分を量子化する。

【００９２】ステップＳ１４において、簡易フラクタル
符号化部３２は、入力された予測画像データをフラクタ
ル符号化処理する。

【００９３】ここで、図１０のフローチャートを参照し
て、簡易フラクタル符号化部３２によるフラクタル符号
化処理について説明する。

【００９４】尚、フラクタル符号化処理の説明にあた
り、レンジブロックとドメインブロックは、図１１乃至
図１３で示すように定義するものとする。すなわち、図
１１で示すように、１枚（例えば１フレーム）の画像
は、図１２で示す８×８の大きさのレンジブロックへ分
割されるものとする。例えば７２０画素×４８０ライン
の有効画像がレンジブロックに分割されることによっ
て、９０×６０のレンジブロックが形成される。画像の
左上のコーナーから水平方向へ順次増加する番号ｉと、
垂直方向に順次増加する番号ｊとによって、各レンジブ
ロックの番号Ｂijが規定されるものとする。また、各レ
ンジブロックの画素は、図１２で示すように左上から順
次右方向にｐ０、ｐ１、ｐ２・・・・ｐ６２、および、
ｐ６３に配列されるものとする。

【００９５】ドメインブロックは、図１１に示すよう
に、１６×１６のサイズとされるものとする。ドメイン
ブロックの画素データをADRC符号化した量子化データQd
が線形変換され、線形変換で得られた量子化データQd'
がサーチ範囲内で１画素ステップで動かされるものとす
る。サーチ範囲は、一例として図１３に示すように、水
平および垂直方向のそれぞれで、（−８乃至＋７）の範
囲と規定される。このサーチ範囲の位置を水平方向で
は、ｋ（−８乃至＋７）の番号で規定し、垂直方向で
は、ｌ（−８乃至＋７）の番号で規定するものとする。
従って、サーチ範囲内のある位置のドメインブロック
は、Ｄklで規定されるものとなる。

【００９６】ステップＳ２１において、簡易フラクタル
符号化部３２の制御部７０は、レンジブロックの番号を
示すカウンタｉｊをそれぞれｉ＝０，ｊ＝０として初期
化する。ステップＳ２２において、制御部７０は、レン
ジブロックの番号のカウンタｉが９０以上である（ｉ≧
９０）か否か、すなわち、図９で示すレンジブロックの
１段分以上であるか否かを判定し、ｉ≧９０ではないと
判定した場合、その処理は、ステップＳ２３に進む。

【００９７】ステップＳ２３において、レンジブロック
化部６１は、入力された予測画像データのサーチエリア
をレンジブロック化し、ADRCエンコーダ６２に出力す
る。すなわち、ｊ＝０の９０個のレンジブロック化を最
初に実行する。ステップＳ２４において、ADRCエンコー
ダ６２は、レンジブロック化部６１より入力されたレン
ジブロックBijをADRCエンコード処理する。すなわち、
今の場合、ADRCエンコーダ６２は、最初のレンジブロッ
クＢ0000をADRC符号化する。

【００９８】ステップＳ２５において、制御部７０は、
ドメインブロックの番号のカウンタであるｋ，ｌを初期
化する。今の場合、図１１で示すように、カウンタｋ，
ｌは、ｋ＝ｌ＝−８に初期化される。

【００９９】ステップＳ２６において、制御部７０は、
カウンタｋが８以上である（ｋ≧８）か否か、すなわ
ち、図１１で示すドメインブロックの水平方向のサーチ
範囲内であるか否かを判定し、例えば、水平方向のサー
チ範囲内であると判定された場合、すなわち、ｋ≧８０
ではないと判定された場合、その処理は、ステップＳ２
７に進む。

【０１００】ステップＳ２７において、サーチエリア切
り出し部６５は、ドメインブロックを切り出し、同時
に、ドメインブロック化部６６がドメインブロック化処
理を実行し、ドメインブロック化された予測画像データ
をADRCエンコーダ６７に出力する。今の場合、ドメイン
ブロック化部６６は、最初のドメインブロック化の処理
により、ドメインブロックＤ-8-8を形成し、ADRCエンコ
ーダ６７に出力する。ステップＳ２８において、ADRCエ
ンコーダ６７は、ドメインブロックＤklをADRC符号化
し、1/4縮小部６８に出力する。

【０１０１】ステップＳ２９において、1/4縮小部６８
は、ADRCエンコーダ６７よる入力された量子化データQd
を縦横のブロックサイズをそれぞれ半分にして、８×８
のサイズ、すなわち、1/4のサイズに縮小する。この縮
小化されたドメインブロックはＤkl´と表すものとす
る。

【０１０２】ステップＳ３０において、回転鏡像処理部
６９は、回転操作の回転角度Ｒを０に設定する。すなわ
ち、縮小のみの変換操作がドメインブロックの量子化デ
ータQdに対してなされる。ステップＳ３１において、回
転鏡像処理部は、回転角度がＲ≧３６０°であるか否
か、すなわち、回転が1周したか否かを判定し、Ｒ≧３
６０ではない、すなわち、1周していないと判定された
場合、その処理は、ステップＳ３２に進む。

【０１０３】ステップＳ３２において、回転鏡像処理部
６９は、ドメインブロックDkl'を、角度Ｒだけ回転させ
る。今の場合、回転角度Ｒ＝０の場合、ドメインブロッ
クDkl'が回転されないことを示す。

【０１０４】ステップＳ３３において、回転鏡像処理部
６９は、回転されたドメインブロックDkl'とBijの画素
同士の差分の２乗和を求め、これを評価値として比較部
６３に評価値テーブルに格納させる。Ｒ＝０の場合で
は、縮小の操作がされたドメインブロックとレンジブロ
ックとの間の評価値が求められ、テーブルに格納され
る。

【０１０５】ステップＳ３４において、回転鏡像処理部
６９は、回転操作がなされたドメインブロックＤkl´を
左右反転させる。以下、この回転、および、反転された
ドメインブロックはＤkl´´と表すものとする。

【０１０６】ステップＳ３５において、回転鏡像処理部
６９は、回転反転されたドメインブロックＤkl´´とド
メインブロックＢijとの画素同士の差分の２乗和を演算
し、比較部６３に出力し、評価値として評価値テーブル
に格納させる。Ｒ＝０の場合では、縮小および反転の操
作がなされたドメインブロックとレンジブロックとの間
の評価値が求められ、テーブルに格納される。

【０１０７】ステップＳ３６において、回転鏡像処理部
６９は、回転角度Ｒに９０°を加算し（＋９０°）、そ
の処理は、ステップＳ３１に戻る。すなわち、回転処理
が１周された（ステップＳ３１においてＲ≧３６０°で
ある）と判定されるまで、ステップＳ３１乃至Ｓ３６の
処理が繰り返され、求められた評価値が比較部６３の評
価値テーブルに格納される。結果として、回転角度Ｒが
Ｒ＝０，９０°，１８０°，２７０°のそれぞれについ
て、上述と同様の処理がなされる。

【０１０８】一例として、ドメインブロックＤ-8-8につ
いて、前述したような８種類の変換パラメータについて
の評価値が求められる。すなわち、第１のパラメータ
（ 1/2の縮小）、第２のパラメータ（ 1/2の縮小および
左右反転）、第３のパラメータ（ 1/2の縮小および９０
°回転）、第４のパラメータ（ 1/2の縮小および１８０
°回転）、第５のパラメータ（ 1/2の縮小および２７０
°回転）、第６のパラメータ（ 1/2の縮小、９０°回転
および左右反転）、第７のパラメータ（ 1/2の縮小、１
８０°回転および左右反転）、および第８のパラメータ
（ 1/2の縮小、２７０°回転および左右反転）について
の評価値がそれぞれ求められる。

【０１０９】従って、ステップＳ３１において、回転角
度Ｒ≧３６０であると判定されるまでの間に、一つのド
メインブロックＤklについて、第１乃至第８のパラメー
タのそれぞれについての評価値が求められることにな
る。ステップＳ３１において、回転角度がＲ≧３６０で
ある、すなわち、ドメインブロックDklが1周したと判定
された場合、ステップＳ３７において、カウンタｋの値
が１だけインクリメントされる。換言すれば、ステップ
Ｓ３７の処理により、サーチ範囲内でドメインブロック
Dklの位置が水平方向で１画素シフトされる。そして、
その処理は、ステップＳ２６に戻り、上述したように、
シフトされた位置のドメインブロックについての縮小、
回転、左右反転の操作がなされ、８個の変換パラメータ
に関しての評価値が求められる。この評価値も評価値テ
ーブルに格納される。

【０１１０】サーチ範囲内で、ドメインブロックの位置
が水平方向に１画素ずつシフトされ、ステップＳ２６に
おいて、ｋ≧８であると判定された場合、ステップＳ３
８において、カウンタｌが８以上（ｌ≧８）であるか、
すなわち、ドメインブロックのサーチ範囲の下限値にま
で到達したかどうか否かが決定される。ステップＳ３８
において、カウンタｌが８以上ではない、すなわち、ド
メインブロックが下限値に到達していないと判定された
場合、ステップＳ３９において、ｌの値が１だけインク
リメントされ、カウンタｋがｋ＝−８に初期化され、そ
の処理は、ステップＳ２７（ドメインブロック化）に戻
る。

【０１１１】すなわち、ステップＳ３９の処理により、
サーチ範囲内のドメインブロックの垂直方向の位置が１
ライン下側にシフトされ、そのライン上でｋの値がイン
クリメントされることによって、水平方向にドメインブ
ロックの位置がシフトされ、各位置において評価値が計
算される。

【０１１２】ステップＳ３８において、ｌ≧８である、
すなわち、ドメインブロックがサーチ範囲の下限値に達
したと判定された場合、その処理は、ステップＳ４０に
進む。ステップＳ４０において、最小値判定部６４は、
比較部６３に格納されている評価値テーブルに記憶され
た複数の評価値（上述したように差分の２乗和）の中の
最小値を検出し、伝送フォーマット化符号化部３５に出
力する。

【０１１３】ステップＳ４１において、伝送フォーマッ
ト符号化部３５は、検出された最小値と対応して符号化
データを作成し、ドメインブロックのダイナミックレン
ジDRおよび最小値MINと、評価値の最小値を生じさせ
る、ドメインブロックの位置（ｋおよびｌの値）、パラ
メータ、さらに、適応量子化された残差成分を合成し、
伝送フォーマットに対応した伝送データに変換する。

【０１１４】ステップＳ４２において、伝送フォーマッ
ト符号化部３５は、伝送データを出力する。ステップＳ
４３において、制御部７０は、カウンタｉを１だけイン
クリメントし、その処理は、ステップＳ２２に戻る。す
なわち、カウンタｉが１だけインクリメントされること
により、次のレンジブロックについての符号化処理が、
ステップＳ２２から開始される。

【０１１５】ステップＳ２２において、ｉ≧９０であ
る、すなわち、図９で示す１段分のレンジブロックの処
理が終了したと判定された場合、ステップＳ４４におい
て、カウンタｊが６０以上（ｊ≧６０）であるか否か、
すなわち、垂直方向に全ての段のレンジブロックが符号
化されたか否かが判定され、例えば、カウンタｊがｊ≧
６０ではない、すなわち、垂直方向にまだ符号化されて
いない段があると判定された場合、その処理は、ステッ
プＳ４５に進む。

【０１１６】ステップＳ４５において、制御部７０は、
カウンタｊを１だけインクリメントし、カウンタｉをｉ
＝０に初期化して、その処理は、ステップＳ２３に戻
り、それ以降の処理が繰り返される。

【０１１７】ステップＳ４４において、カウンタｊがｊ
≧６０である、すなわち、１フレーム分の全ての画素が
符号化されたと判定された場合、１フレームの全レンジ
ブロックの処理が終了する。

【０１１８】ここで、図８のフローチャートの説明に戻
る。

【０１１９】以上の処理により、元画像データは、伝送
データに変換されて出力される。

【０１２０】次に、図１４のフローチャートを参照し
て、図１０のフローチャートを参照して説明した処理に
より生成された伝送データを復号して復号画像データを
生成するときの復号部２２の処理について説明する。

【０１２１】ステップＳ６１において、伝送パラメータ
分離部４１は、符号化された画像データからフラクタル
符号化された画像データと残差成分を分離して、フラク
タル符号化された画像データをフラクタル復号部４２に
出力し、量子化された残差成分を逆量子化部に出力す
る。

【０１２２】ステップＳ６２において、フラクタル復号
部４２は、伝送パラメータ分離部４１より入力されたフ
ラクタル符号化された画像データのフラクタル復号処理
を実行する。

【０１２３】ここで、図１５のフローチャートを参照し
て、フラクタル復号部４２によるフラクタル復号処理に
ついて説明する。

【０１２４】ステップＳ８１において、制御部８８は、
メモリ８６を制御して演算結果FM0、FM1を初期化する。
ステップＳ８２において、制御部８８は、レンジブロッ
クの番号のカウンタｉ，ｊを共に０として、初期化す
る。

【０１２５】ステップＳ８３において、ドメインブロッ
ク切り出し部８１は、受信したデータ中のドメインブロ
ックの位置情報に従ってドメインブロックを切り出し、
ADRCエンコーダ８２に出力する。ここで、復号しようと
するレンジブロックＢijと対応して切り出されたドメイ
ンブロックをＤijと表す。

【０１２６】ステップＳ８４において、ADRCエンコーダ
８２は、このドメインブロックＤijをADRC符号化し、1/
4縮小部８３に出力する。ステップＳ８５において、1/4
縮小部８３は、ADRCエンコーダにより生成された符号化
データ中の量子化データのみを縮小し、回転鏡像処理部
８４に出力する。

【０１２７】ステップＳ８６において、回転鏡像処理部
８４は、入力された縮小されたドメインブロックDijの
量子化データを回転させる。さらに、ステップＳ８７に
おいて、回転鏡像処理部８４は、回転させたドメインブ
ロックDijの量子化データを反転させ（鏡像処理さ
せ）、ADRCデコーダ８５に出力する。

【０１２８】ステップＳ８８において、ADRCデコーダ８
５は、変換操作後のドメインブロックのデータが受信さ
れており、変換パラメータを使用してADRCデコード処理
を実行し、レンジブロックＢijの復号データ、すなわ
ち、復号された予測画像データが得られる。ステップＳ
８９において、制御部８８は、この復号された予測画像
データをメモリ８６に出力し、演算結果FM0としてレン
ジブロックＢijの位置に格納する。

【０１２９】ステップＳ９０において、制御部８８は、
カウンタｉが９０以上（ｉ≧９０）であるか否か、すな
わち、図１１で示したように水平方向に設定された1段
分のレンジブロックの処理が終了したか否かを判定し、
カウンタｉが９０以上（ｉ≧９０）ではない、すなわ
ち、垂直方向に設定された1段分のレンジブロックの処
理が終了していないと判定された場合、ステップＳ９１
において、制御部８８は、カウンタｉの値を１だけイン
クリメントし、その処理は、ステップＳ８３に戻る。す
なわち、水平方向に設定された1段分のレンジブロック
の処理が終了されるまで、ステップＳ８３乃至Ｓ９１の
処理が繰り返される。

【０１３０】ステップＳ９０において、カウンタｉが９
０以上（ｉ≧９０）である、すなわち、垂直方向に設定
された1段分のレンジブロックの処理が終了したと判定
された場合、その処理は、ステップＳ９２に進む。

【０１３１】ステップＳ９２において、制御部８８は、
カウンタｊが６０以上（ｊ≧６０）であるか否か、すな
わち、垂直方向のレンジブロックの処理が終了したか
（1フレーム分の処理が終了したか）否かを判定し、例
えば、カウンタｊが６０以上（ｊ≧６０）ではない、す
なわち、垂直方向のレンジブロックの処理が終了してい
ないと判定された場合、その処理は、ステップＳ９３に
進む。

【０１３２】ステップＳ９３において、制御部８８は、
カウンタｊを1だけインクリメントし（ｊ＝ｊ＋１）、
カウンタｉを０に設定し、その処理は、ステップＳ９３
に進む。すなわち、1フレーム分の処理が終了するま
で、ステップＳ８３乃至Ｓ９３の処理が繰り返される。

【０１３３】ステップＳ９２において、カウンタｊが６
０以上（ｊ≧６０）である、すなわち、垂直方向のレン
ジブロックの処理が終了したと判定された場合、その処
理は、ステップＳ９４に進む。

【０１３４】ステップＳ９４において、演算部８７は、
メモリ８６に記憶されている演算結果FM0の復号された
予測画像画像データと、演算結果FM1の復号された予測
画像データとの差分の２乗和Ｓを演算する。

【０１３５】ステップＳ９５において、演算部８７は、
２乗和Ｓが、演算の収束を示す所定の閾値TH３より大き
いか否か、すなわち、演算が収束しているか否かを判定
し、２乗和Ｓが、演算の収束を示す所定の閾値TH３より
大きくない、すなわち、演算が収束していないと判定し
た場合、その処理は、ステップＳ９６に進む。ステップ
Ｓ９６において、演算部８７は、メモリ８６に記憶され
た演算結果FM0の復号された予測画像データをFM1にコピ
ーし、その処理は、ステップＳ８２に戻り、それ以降の
処理が繰り返される。

【０１３６】ステップＳ９５において、２乗和Ｓが、演
算の収束を示す所定の閾値TH３より大きい、すなわち、
演算が収束したと判定した場合、その処理は、ステップ
Ｓ９７に進む。

【０１３７】ステップＳ９７において、演算部８７は、
メモリ８６に記憶された、演算結果FM0を、復号された
予測画像データとして加算器４４に出力する。

【０１３８】以上の処理により、フラクタル符号化され
た予測画像データは、フラクタル復号される。

【０１３９】ここで、図１４のフローチャートの説明に
戻る。

【０１４０】ステップＳ６３において、逆量子化部４３
は、量子化された残差成分を逆量子化し、残差成分を生
成して、加算器４４に出力する。ステップＳ６４におい
て、加算器４４は、図１６で示すように逆量子化された
残差成分と、復号された予測画像データの画素値を加算
して復号画像データを生成し、クリッピング処理部４５
に出力し、クリッピングさせた後、生成された復号画像
データを出力して、その処理を終了する。

【０１４１】尚、レンジブロックとドメインブロックの
設定については、図１１乃至図１３で示したような設定
に限らず、これ以外の画素数のレンジブロック、およ
び、ドメインブロックでもよく、これ以外の数のレンジ
ブロック、および、ドメインブロックの数であってもよ
い。

【０１４２】以上においては、分離フィルタ３１により
元画像データを予測画像データに変換する例について説
明してきたが、図１７で示すように、分離フィルタ３１
の代わりに、適応分離フィルタ１２１を設けて、元画像
データの特徴量に応じた係数を用いた演算処理を実行す
るようにしてもよい。

【０１４３】図１８は、適応分離フィルタ１２１の構成
を示す図である。

【０１４４】アクティビティ検出部１３１は、元画像デ
ータの特徴量として、全画面の隣接画素間差分総和値、
または、隣接画素間差分標準偏差値などのアクティビテ
ィを検出し係数記憶部１３３に出力する。

【０１４５】係数記憶部１３３は、例えば、ROMなどの
記憶装置から構成されており、アクティビティの値に応
じた、複数のフィルタ係数が記憶されており、アクティ
ビティ検出部１３１より入力されたアクティビティに対
応するフィルタ係数を積和演算部１３３に出力する。

【０１４６】積和演算部１３３は、入力された元画像デ
ータを係数記憶部１３２より入力されたフィルタ係数に
より積和演算を実行し、予測画像データを生成する。す
なわち、係数記憶部１３２には、あたかも複数のアクテ
ィビティに対応する画像生成フィルタ３１のフィルタ係
数が記憶されている状態となり、元画像データの特徴量
に応じたフィルタ係数を用いて、予測画像データを生成
することができるので、予測画像データの演算を高速で
実行することができると共に、アクティビティに応じた
フィルタ処理により復号画像データの画質を向上させる
ことが可能となる。尚、係数記憶部１３２に記憶される
フィルタ係数は、図５を参照して、説明した構成と同様
のフィルタ生成部１０１により、アクティビティの値に
応じて、図６を参照して説明した学習処理と同様の処理
により生成することができるので、その説明は省略す
る。

【０１４７】また、フラクタル符号化の処理を実行する
際、元画像データのダイナミックレンジDRの大小により
ドメインブロックの切り出し方法を変えて、符号化の処
理を高速化させるようにしてもよい。すなわち、図１９
で示すように、ステップ幅設定部１５１を設けることに
より、ADRCエンコーダ６２より出力されるダイナミック
レンジDRを検出し、このダイナミックレンジDRに応じ
て、サーチエリア切り出し部６５のステップ幅を制御す
ると言うものである。

【０１４８】より詳細には、ダイナミックレンジが小さ
いと言うことは、元画像データは各画素値間に比較的変
化の少ない画像であることになるので、ブロックマッチ
ングに係る処理ではエラーが生じにくいことになるた
め、例えば、図１０のフローチャートにおける、ステッ
プＳ３７，Ｓ３９の処理におけるインクリメントの幅
を、ダイナミックレンジDRが大きいときは細かくし（例
えば、今の例のように１）、ダイナミックレンジDRが小
さいときは大きく（例えば、３や５など）することによ
り、適応的にドメインブロックの移動ステップを変える
事ができ、結果として、高速でフラクタル符号化処理を
実行することができる。

【０１４９】また、以上の例においては、符号化処理、
および、復号処理の手法としてフラクタル符号化処理、
および、フラクタル復号処理を例として説明してきた
が、符号化、および、復号化処理の手法はこれ以外のも
のであってもよく、例えば、JPEG（Joint Photographic
Experts Group）などを使用した符号化処理、および、
復号処理であっても良い。

【０１５０】上述した一連の処理は、ハードウェアによ
り実行させることもできるが、ソフトウェアにより実行
させることもできる。一連の処理をソフトウェアにより
実行させる場合には、そのソフトウェアを構成するプロ
グラムが、専用のハードウェアに組み込まれているコン
ピュータ、または、各種のプログラムをインストールす
ることで、各種の機能を実行させることが可能な、例え
ば汎用のパーソナルコンピュータなどに記録媒体からイ
ンストールされる。

【０１５１】図２０，図２１は、符号化部２１、およ
び、復号部２２をソフトウェアにより実現する場合のパ
ーソナルコンピュータの一実施の形態の構成を示してい
る。パーソナルコンピュータのCPU２０１，３０１は、
パーソナルコンピュータの動作の全体を制御する。ま
た、CPU２０１，３０１は、バス２０４，３０４および
入出力インタフェース２０５，３０５を介してユーザか
らキーボードやマウスなどからなる入力部２０６，３０
６から指令が入力されると、それに対応してROM(Read O
nly Memory)２０２，３０２に格納されているプログラ
ムを実行する。あるいはまた、CPU２０１，３０１は、
ドライブ２１０，３１０に接続された磁気ディスク２１
１，３１１、光ディスク２１２，３１２、光磁気ディス
ク２１３，３１３、または半導体メモリ２１４，３１４
から読み出され、記憶部２０８，３０８にインストール
されたプログラムを、RAM(Random Access Memory)２０
３，３０３にロードして実行する。これにより、上述し
た画像処理装置の機能が、ソフトウェアにより実現され
ている。さらに、CPU２０１，３０１は、通信部２０
９，３０９を制御して、外部と通信し、データの授受を
実行する。

【０１５２】プログラムが記録されている記録媒体は、
図２０，図２１に示すように、コンピュータとは別に、
ユーザにプログラムを提供するために配布される、プロ
グラムが記録されている磁気ディスク２１１，３１１
（フレキシブルディスクを含む）、光ディスク２１２，
３１２（CD-ROM(Compact Disc-Read Only Memory)，DVD
（Digital Versatile Disc）を含む）、光磁気ディスク
２１３，３１３（MD（Mini-Disc）を含む）、もしくは
半導体メモリ２１４，３１４などよりなるパッケージメ
ディアにより構成されるだけでなく、コンピュータに予
め組み込まれた状態でユーザに提供される、プログラム
が記録されているROM２０２，３０２や、記憶部２０
８，３０８に含まれるハードディスクなどで構成され
る。

【０１５３】尚、本明細書において、記録媒体に記録さ
れるプログラムを記述するステップは、記載された順序
に沿って時系列的に行われる処理は、もちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理を含むものである。

【０１５４】また、本明細書において、システムとは、
複数の装置により構成される装置全体を表すものであ
る。

【０１５５】

【発明の効果】本発明の第1の情報処理装置および方
法、並びにプログラムによれば、入力画像データを、学
習により求められた係数に基づく演算処理により、入力
画像データが符号化された後、更に復号されたとき、生
成されることが予測される予測画像データに変換し、予
測画像データを符号化し、符号化した予測画像データを
符号化データとして出力するようにした。

【０１５６】本発明の第２の情報処理装置および方法、
並びにプログラムによれば、入力画像データを、学習に
より求められた係数に基づく演算処理により、入力画像
データが符号化された後、更に復号されたとき、生成さ
れることが予測される予測画像データに変換し、入力画
像データと予測画像データとの差分データを演算し、演
算した差分データと、予測画像データとを入力画像デー
タの符号化データとして出力するようにした。

【０１５７】本発明の第３の情報処理装置および方法、
並びにプログラムによれば、学習用画像データを符号化
し、符号化した学習用画像データを復号画像データに復
号し、学習用画像データと復号画像データの関係を学習
することにより、入力画像データを復号画像データに変
換する演算処理を施す際に使用される係数を生成するよ
うにした。

【０１５８】いずれにおいても、結果として、画像デー
タの符号化処理、および、復号処理の高速化を実現する
ことが可能となり、符号化された画像データを高画質で
復号することが可能になる。

【図面の簡単な説明】

【図１】従来の画像転送システムの構成を示す図であ
る。

【図２】本発明を適用した画像転送システムの一実施の
形態の構成を示す図である。

【図３】図２の簡易フラクタル符号化部の構成を示すブ
ロック図である。

【図４】図２のフラクタル復号部の構成を示すブロック
図である。

【図５】分離フィルタ生成部を説明するブロック図であ
る。

【図６】分離フィルタを生成する学習処理を説明するフ
ローチャートである。

【図７】分離フィルタを生成する学習処理を説明する図
である。

【図８】符号化処理を説明するフローチャートである。

【図９】量子化処理を説明する図である。

【図１０】フラクタル符号化処理を説明するフローチャ
ートである。

【図１１】レンジブロックとドメインブロックを説明す
る図である。

【図１２】レンジブロックを説明する図である。

【図１３】ドメインブロックを説明する図である。

【図１４】復号処理を説明するフローチャートである。

【図１５】フラクタル復号処理を説明するフローチャー
トである。

【図１６】復号処理を説明する図である。

【図１７】符号化部の別の構成を示す図である。

【図１８】図１７の適応分離フィルタの構成を示す図で
ある。

【図１９】符号化部の別の構成を示す図である。

【図２０】媒体を説明する図である。

【図２１】媒体を説明する図である。

【符号の説明】

１１ 画像転送システム，２１ 符号化部，２２ 復号
部，３１ 分離フィルタ，３２ 簡易フラクタル符号化
部，３３ 加算器，３４ 残差成分適応量子化部，３５
伝送フォーマット符号化部，４１ 伝送パラメータ分
離部，４２ 逆量子化部４３ 逆量子化部，４４ 加算
器，４５ クリッピング処理部，６１レンジブロック化
部，６２ ADRCエンコーダ，６３ 比較部，６４ 最小
値判定部，６５ サーチエリア切り出し部，６６ ドメ
インブロック化部，６７ ADRCエンコーダ，６８ 1/4
縮小部，６９ 回転鏡像処理部，７０ 制御部，８１ド
メインブロック切り出し部，８２ ADRCエンコーダ，８
３ 1/4縮小部，８４回転鏡像処理部，８５ ADRCエン
コーダ，８６ メモリ，８７ 演算部，８８制御部，１
０１ フィルタ生成部，１１１ フラクタル符号化部，
１１２ フラクタル復号部，１１３ 学習部，１２１
適応分離フィルタ，１３１ アクティビティ検出部，１
３２ 係数記憶部，１３３ 積和演算部，１５１ ステ
ップ幅設定部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 吉川 和志 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 笠間 英雄 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 芳賀 継彦 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C059 KK11 KK23 MA28 MA43 MD02 RA01 SS20 TA69 TC01 TC10 UA02 UA05 UA11 UA39 5C078 AA04 BA32 BA53 CA31 DA01 DB12 5J064 AA03 BA01 BB03 BC01 BC02 BC03 BC08 BC11 BC16 BD03

Claims (22)

【特許請求の範囲】
1. 【請求項１】 入力画像データに基づいて符号化データ
   を出力する情報処理装置において、 前記入力画像データを、学習により求められた係数に基
   づく演算処理により、入力画像データが符号化された
   後、更に復号されたとき、生成されることが予測される
   予測画像データに変換する変換手段と、 前記予測画像データを符号化する符号化手段と、 前記符号化手段により符号化された前記予測画像データ
   を符号化データとして出力する出力手段とを備えること
   を特徴とする情報処理装置。
2. 【請求項２】 前記係数は、予め複数の学習用画像デー
   タと、前記学習用画像データを符号化した後、更に復号
   することにより生成される復号画像データに基づいた学
   習により求められた係数であることを特徴とする請求項
   １に記載の情報処理装置。
3. 【請求項３】 前記係数は、予め複数の学習用画像デー
   タと、前記学習用画像データを符号化した後、更に復号
   することにより生成される復号画像データに基づいて、
   前記入力画像データの特徴量毎に学習された、前記特徴
   量毎の複数の係数であることを特徴とする請求項２に記
   載の情報処理装置。
4. 【請求項４】 前記特徴量は、前記学習用画像データの
   アクティビティであることを特徴とする請求項３に記載
   の情報処理装置。
5. 【請求項５】 前記符号化手段は、前記予測画像データ
   に対してフラクタル符号化処理を行うことで符号化する
   ことを特徴とする請求項１に記載の情報処理装置。
6. 【請求項６】 入力画像データに基づいて符号化データ
   を出力する情報処理装置の情報処理方法において、 前記入力画像データを、学習により求められた係数に基
   づく演算処理により、入力画像データが符号化された
   後、更に復号されたとき、生成されることが予測される
   予測画像データに変換する変換ステップと、 前記予測画像データを符号化する符号化ステップと、 前記符号化ステップの処理で符号化された前記予測画像
   データを符号化データとして出力する出力ステップとを
   含むことを特徴とする情報処理方法。
7. 【請求項７】 入力画像データに基づいて符号化データ
   を出力する情報処理装置を制御するプログラムであっ
   て、 前記入力画像データの、学習により求められた係数に基
   づく演算処理により、入力画像データが符号化された
   後、更に復号されたとき、生成されることが予測される
   予測画像データへの変換を制御する変換制御ステップ
   と、 前記予測画像データの符号化を制御する符号化制御ステ
   ップと、 前記符号化制御ステップの処理で符号化された前記予測
   画像データの符号化データとしての出力を制御する出力
   制御ステップとを含むことを特徴とするコンピュータが
   読み取り可能なプログラムが記録されている記録媒体。
8. 【請求項８】 入力画像データに基づいて符号化データ
   を出力する情報処理装置を制御するコンピュータに、 前記入力画像データの、学習により求められた係数に基
   づく演算処理により、入力画像データが符号化された
   後、更に復号されたとき、生成されることが予測される
   予測画像データへの変換を制御する変換制御ステップ
   と、 前記予測画像データの符号化を制御する符号化制御ステ
   ップと、 前記符号化制御ステップの処理で符号化された前記予測
   画像データの符号化データとしての出力を制御する出力
   制御ステップとを実行させるプログラム。
9. 【請求項９】 入力画像データに基づいて符号化データ
   を出力する情報処理装置において、 前記入力画像データを、学習により求められた係数に基
   づく演算処理により、入力画像データが符号化された
   後、更に復号されたとき、生成されることが予測される
   予測画像データに変換する変換手段と、 前記入力画像データと前記予測画像データとの差分デー
   タを演算する差分演算手段と、 前記差分演算手段により演算された前記差分データと、
   前記予測画像データとを前記入力画像データの符号化デ
   ータとして出力する出力手段とを備えることを特徴とす
   る情報処理装置。
10. 【請求項１０】 前記差分データを量子化する量子化手
    段をさらに備え、 前記出力手段は、前記量子化手段により量子化された差
    分データと、前記予測画像データとを前記入力データの
    符号化データとして出力することを特徴とする請求項９
    に記載の情報処理装置。
11. 【請求項１１】 前記係数は、予め学習用画像データ
    と、前記学習用画像データを符号化した後、更に復号す
    ることにより生成される復号画像データに基づいた学習
    により求められた係数であることを特徴とする請求項９
    に記載の情報処理装置。
12. 【請求項１２】 前記係数は、学習用画像データと、前
    記入力画像データを符号化した後、復号することにより
    生成される復号画像データに基づいて、前記学習用画像
    データの特徴量毎に学習された、前記特徴量毎の複数の
    係数であることを特徴とする請求項１１に記載の情報処
    理装置。
13. 【請求項１３】 前記特徴量は、前記入力画像データの
    アクティビティであることを特徴とする請求項１２に記
    載の情報処理装置。
14. 【請求項１４】 前記符号化手段は、前記予測画像デー
    タに対してフラクタル符号化処理を実行することにより
    符号化することを特徴とする請求項９に記載の情報処理
    装置。
15. 【請求項１５】 入力画像データに基づいて符号化デー
    タを出力する情報処理装置の情報処理方法において、 前記入力画像データを、学習により求められた係数に基
    づく演算処理により、入力画像データが符号化された
    後、更に復号されたとき、生成されることが予測される
    予測画像データに変換する変換ステップと、 前記入力画像データと前記予測画像データとの差分デー
    タを演算する差分演算ステップと、 前記差分演算ステップの処理で演算された前記差分デー
    タと、前記予測画像データとを前記入力画像データの符
    号化データとして出力する出力ステップとを含むことを
    特徴とする情報処理方法。
16. 【請求項１６】 入力画像データに基づいて符号化デー
    タを出力する情報処理装置を制御するプログラムであっ
    て、 前記入力画像データの、学習により求められた係数に基
    づく演算処理により、入力画像データが符号化された
    後、更に復号されたとき、生成されることが予測される
    予測画像データへの変換を制御する変換制御ステップ
    と、 前記入力画像データと前記予測画像データとの差分デー
    タの演算を制御する差分演算制御ステップと、 前記差分演算制御ステップの処理で演算された前記差分
    データと、前記予測画像データとの前記入力画像データ
    の符号化データとしての出力を制御する出力制御ステッ
    プとを含むことを特徴とするコンピュータが読み取り可
    能なプログラムが記録されている記録媒体。
17. 【請求項１７】 入力画像データに基づいて符号化デー
    タを出力する情報処理装置を制御するコンピュータに、 前記入力画像データの、学習により求められた係数に基
    づく演算処理により、入力画像データが符号化された
    後、更に復号されたとき、生成されることが予測される
    予測画像データへの変換を制御する変換制御ステップ
    と、 前記入力画像データと前記予測画像データとの差分デー
    タの演算を制御する差分演算制御ステップと、 前記差分演算制御ステップの処理で演算された前記差分
    データと、前記予測画像データとの前記入力画像データ
    の符号化データとしての出力を制御する出力制御ステッ
    プとを実行させるプログラム。
18. 【請求項１８】 画像データに演算処理を施す際に使用
    される係数を生成する情報処理装置において、 学習用画像データを符号化する符号化手段と、 前記符号化手段により符号化された学習用画像データを
    復号画像データに復号する復号手段と、 前記学習用画像データと前記復号画像データの関係を学
    習することにより、前記入力画像データを前記復号画像
    データに変換する演算処理を施す際に使用される係数を
    生成する係数生成手段とを備えることを特徴とする情報
    処理装置。
19. 【請求項１９】 前記符号化手段は、前記予測画像デー
    タに対してフラクタル符号化処理を行うことで符号化
    し、 前記復号手段は、前記予測画像データに対してフラクタ
    ル復号処理を行うことにより、前記符号化手段により符
    号化された学習用画像データを復号画像データに復号す
    ることを特徴とする請求項１８に記載の情報処理装置。
20. 【請求項２０】 画像データに演算処理を施す際に使用
    される係数を生成する情報処理装置の情報処理方法にお
    いて、 学習用画像データを符号化する符号化ステップと、 前記符号化ステップの処理で符号化された学習用画像デ
    ータを復号画像データに復号する復号ステップと、 前記学習用画像データと前記復号画像データの関係を学
    習することにより、前記入力画像データを前記復号画像
    データに変換する演算処理を施す際に使用される係数を
    生成する係数生成ステップとを含むことを特徴とする情
    報処理方法。
21. 【請求項２１】 画像データに演算処理を施す際に使用
    される係数を生成する情報処理装置を制御するプログラ
    ムであって、 学習用画像データの符号化を制御する符号化制御ステッ
    プと、 前記符号化制御ステップの処理で符号化された学習用画
    像データの復号画像データへの復号を制御する復号制御
    ステップと、 前記学習用画像データと前記復号画像データの関係を学
    習することにより、前記入力画像データの前記復号画像
    データへの変換の演算処理を施す際に使用される係数の
    生成を制御する係数生成制御ステップとを含むことを特
    徴とするコンピュータが読み取り可能なプログラムが記
    録されている記録媒体。
22. 【請求項２２】 画像データに演算処理を施す際に使用
    される係数を生成する情報処理装置を制御するコンピュ
    ータに、 学習用画像データの符号化を制御する符号化制御ステッ
    プと、 前記符号化制御ステップの処理で符号化された学習用画
    像データの復号画像データへの復号を制御する復号制御
    ステップと、 前記学習用画像データと前記復号画像データの関係を学
    習することにより、前記入力画像データの前記復号画像
    データへの変換の演算処理を施す際に使用される係数の
    生成を制御する係数生成制御ステップとを実行させるプ
    ログラム。