JP2001285648A - 画像処理装置および画像処理方法、並びに記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 精度の良い予測値を求める。 【解決手段】 RGBの各成分を有する注目画素におい
て、最初は、R値(○印)が、予測対象として選択され
る。この時点では、注目画素の他の成分(G値、B値)の予
測値は、まだ求められていないから、R値の予測値は、
注目画素の左、左上、上、右上にそれぞれ隣接する4画
素の各成分から求められる(図4(A))。次に、G値(△印)
が、予測対象成分として選択される。この時点では、注
目画素のR値の予測値が、既に求められているので、G値
の予測値は、注目画素に隣接する4画素の各成分と、注
目画素のR値から求められる(図4(B))。最後に、B値(□
印)が、予測対象成分として選択される。この時点で
は、注目画素のR値およびG値の予測値が、既に求められ
られているから、B値の予測値は、注目画素に隣接する4
画素の各成分と、注目画素のR値およびG値から求められ
る(図4(C))。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、並びに記録媒体に関し、特に、例え
ば、画像を精度良く予測することができるようにする画
像処理装置および画像処理方法、並びに記録媒体に関す
る。

【０００２】

【従来の技術】例えば、画像を予測符号化する場合にお
いては、注目している注目画素の左隣の画素の画素値
や、あるいは注目画素の周辺の画素から求められる値等
が、注目画素の予測値として用いられる。

【０００３】

【発明が解決しようとする課題】ところで、カラー画像
の画素値は、例えば、Ｒ(Red)，Ｇ(Green)，Ｂ(Bule)等
の複数の成分で表されるが、従来の予測符号化では、Ｒ
値、Ｇ値、Ｂ値の予測値は、それぞれ同一の成分を用い
て求められていた。

【０００４】しかしながら、Ｒ値、Ｇ値、Ｂ値の間に
は、何らかの相関がある場合があり、従って、ある成分
の予測値は、その成分だけでなく、他の成分をも用いて
求めた方が、より精度の高い予測値、即ち、予測残差の
小さい予測値を求めることができることが予想される。

【０００５】本発明は、このような状況に鑑みてなされ
たものであり、より精度の高い予測値を求めることがで
きるようにするものである。

【０００６】

【課題を解決するための手段】本発明の第１の画像処理
装置は、注目している注目画素を含む１以上の画素の画
素値の各成分のうち、既に処理されたものを選択する選
択手段と、選択手段において選択された画素値の成分に
基づいて、注目画素の画素値の、まだ処理されていない
成分である未処理成分の予測値を求める予測手段とを備
えることを特徴とする。

【０００７】第１の画像処理装置には、予測値の予測残
差を求める残差演算手段をさらに設けることができる。

【０００８】また、第１の画像処理装置には、予測残差
を圧縮する圧縮手段をさらに設けることができる。

【０００９】第１の画像処理装置において、予測手段に
は、選択手段において選択された画素値の成分と、所定
の予測係数とに基づいて、未処理成分の予測値を求めさ
せることができる。

【００１０】第１の画像処理装置において、予測手段に
は、選択手段において選択された画素値の成分と、所定
の予測係数とを用いて線形１次予測を行うことにより、
未処理成分の予測値を求めさせることができる。

【００１１】第１の画像処理装置において、予測手段に
は、未処理成分を、複数のクラスのうちのいずれかにク
ラス分類するクラス分類手段を設け、選択手段において
選択された画素値の成分と、未処理成分のクラスに対応
する予測係数とに基づいて、未処理成分の予測値を求め
させることができる。

【００１２】第１の画像処理装置には、予測値の予測残
差を求める残差演算手段と、予測残差を圧縮する圧縮手
段とをさらに設けることができる。

【００１３】第１の画像処理装置において、圧縮手段に
は、予測残差の他、予測係数も圧縮させることができ
る。

【００１４】第１の画像処理装置には、予測係数を記憶
している記憶手段をさらに設けることができる。

【００１５】また、第１の画像処理装置には、画像を用
いて、予測係数を求める予測係数演算手段をさらに設け
ることができる。

【００１６】第１の画像処理装置において、予測手段に
は、注目画素の画素値の複数の成分それぞれの予測値
を、所定の順番で求めさせることができる。

【００１７】第１の画像処理装置において、予測手段に
は、注目画素の画素値の複数の成分それぞれの予測値
を、あらかじめ定められた固定の順番で求めさせること
ができる。

【００１８】第１の画像処理装置において、予測手段に
は、選択手段において選択された画素値の成分と、所定
の予測係数とに基づいて、注目画素の複数の成分それぞ
れの予測値を求めさせることができる。

【００１９】第１の画像処理装置には、注目画素の画素
値の複数の成分それぞれの予測値を、固定の順番で求め
るための予測係数を記憶している記憶手段をさらに設け
ることができる。

【００２０】第１の画像処理装置には、注目画素の画素
値の複数の成分それぞれの予測値を、固定の順番で求め
るための予測係数を、画像を用いて求める予測係数演算
手段をさらに設けることができる。

【００２１】第１の画像処理装置において、予測手段に
は、注目画素の画素値の複数の成分それぞれの予測値を
求める順番を、その予測値の予測残差に基づいて決定さ
せることができる。

【００２２】第１の画像処理装置において、予測手段に
は、注目画素の画素値の複数の成分それぞれの予測値を
求める順番を、その予測値の予測残差が小さくなるよう
に決定させることができる。

【００２３】第１の画像処理装置において、予測手段に
は、選択手段において選択された画素値の成分と、所定
の予測係数とに基づいて、注目画素の複数の成分それぞ
れの予測値を求めさせることができる。

【００２４】第１の画像処理装置には、注目画素の画素
値の複数の成分それぞれの予測値を、すべての順番で求
めるための予測係数を記憶している記憶手段をさらに設
けることができる。

【００２５】また、第１の画像処理装置には、注目画素
の画素値の複数の成分それぞれの予測値を、すべての順
番で求めるための予測係数を、画像を用いて求める予測
係数演算手段をさらに設けることができる。

【００２６】本発明の第１の画像処理方法は、注目して
いる注目画素を含む１以上の画素の画素値の各成分のう
ち、既に処理されたものを選択する選択ステップと、選
択ステップにおいて選択された画素値の成分に基づい
て、注目画素の画素値の、まだ処理されていない成分で
ある未処理成分の予測値を求める予測ステップとを備え
ることを特徴とする。

【００２７】本発明の第１の記録媒体は、注目している
注目画素を含む１以上の画素の画素値の各成分のうち、
既に処理されたものを選択する選択ステップと、選択ス
テップにおいて選択された画素値の成分に基づいて、注
目画素の画素値の、まだ処理されていない成分である未
処理成分の予測値を求める予測ステップとを備えるプロ
グラムが記録されていることを特徴とする。

【００２８】本発明の第２の画像処理装置は、注目して
いる注目画素を含む１以上の画素の画素値の各成分のう
ち、既に処理されたものを選択する選択手段と、選択手
段において選択された画素値の成分に基づいて、注目画
素の画素値の、まだ処理されていない成分である未処理
成分の予測値を求める予測手段と、未処理成分の予測値
と、その予測残差とから、元の成分を復号する復号手段
とを備えることを特徴とする。

【００２９】予測残差が圧縮されている場合において
は、第２の画像処理装置には、圧縮されている予測残差
を伸張する伸張手段をさらに設けることができる。

【００３０】第２の画像処理装置において、予測手段に
は、選択手段において選択された画素値の成分と、所定
の予測係数とに基づいて、未処理成分の予測値を求めさ
せることができる。

【００３１】第２の画像処理装置において、予測手段に
は、選択手段において選択された画素値の成分と、所定
の予測係数とを用いて線形１次予測を行うことにより、
未処理成分の予測値を求めさせることができる。

【００３２】第２の画像処理装置において、予測手段に
は、未処理成分を、複数のクラスのうちのいずれかにク
ラス分類するクラス分類手段を設け、選択手段において
選択された画素値の成分と、未処理成分のクラスに対応
する予測係数とに基づいて、未処理成分の予測値を求め
させることができる。

【００３３】予測残差と予測係数が、圧縮されている場
合においては、第２の画像処理装置には、圧縮されてい
る予測残差と予測係数を伸張する伸張手段をさらに設け
ることができる。

【００３４】第２の画像処理装置には、予測係数を記憶
している記憶手段をさらに設けることができる。

【００３５】また、第２の画像処理装置には、予測係数
を取得する取得手段をさらに設けることができる。

【００３６】第２の画像処理装置において、予測手段に
は、注目画素の画素値の複数の成分それぞれの予測値
を、所定の順番で求めさせることができる。

【００３７】第２の画像処理装置において、予測手段に
は、注目画素の画素値の複数の成分それぞれの予測値
を、あらかじめ定められた固定の順番で求めさせること
ができる。

【００３８】第２の画像処理装置において、予測手段に
は、選択手段において選択された画素値の成分と、所定
の予測係数とに基づいて、注目画素の複数の成分それぞ
れの予測値を求めさせることができる。

【００３９】第２の画像処理装置には、注目画素の画素
値の複数の成分それぞれの予測値を、固定の順番で求め
るための予測係数を記憶している記憶手段をさらに設け
ることができる。

【００４０】また、第２の画像処理装置には、注目画素
の画素値の複数の成分それぞれの予測値を、固定の順番
で求めるための予測係数を取得する取得手段をさらに設
けることができる。

【００４１】第２の画像処理装置において、予測手段に
は、注目画素の画素値の複数の成分それぞれの予測値を
求める順番を、注目画素の周辺の画素との相関に基づい
て決定させることができる。

【００４２】第２の画像処理装置において、予測手段に
は、選択手段において選択された画素値の成分と、所定
の予測係数とに基づいて、注目画素の複数の成分それぞ
れの予測値を求めさせることができる。

【００４３】第２の画像処理装置には、注目画素の画素
値の複数の成分それぞれの予測値を、すべての順番で求
めるための予測係数を記憶している記憶手段をさらに設
けることができる。

【００４４】また、第２の画像処理装置には、注目画素
の画素値の複数の成分それぞれの予測値を、すべての順
番で求めるための予測係数を取得する取得手段をさらに
設けることができる。

【００４５】本発明の第２の画像処理方法は、注目して
いる注目画素を含む１以上の画素の画素値の各成分のう
ち、既に処理されたものを選択する選択ステップと、選
択ステップにおいて選択された画素値の成分に基づい
て、注目画素の画素値の、まだ処理されていない成分で
ある未処理成分の予測値を求める予測ステップと、未処
理成分の予測値と、その予測残差とから、元の成分を復
号する復号手段とを備えることを特徴とする。

【００４６】本発明の第２の記録媒体は、注目している
注目画素を含む１以上の画素の画素値の各成分のうち、
既に処理されたものを選択する選択ステップと、選択ス
テップにおいて選択された画素値の成分に基づいて、注
目画素の画素値の、まだ処理されていない成分である未
処理成分の予測値を求める予測ステップと、未処理成分
の予測値と、その予測残差とから、元の成分を復号する
復号手段とを備えるプログラムが記録されていることを
特徴とする。

【００４７】本発明の第３の画像処理装置は、学習用の
画像から、注目している注目画素を含む１以上の画素の
画素値の各成分のうち、先に予測されるものを選択する
選択手段と、選択手段において選択された画素値の成分
と、後に予測される成分とに基づいて、予測係数を求め
る予測係数演算手段とを備えることを特徴とする。

【００４８】第３の画像処理装置において、予測係数演
算手段には、選択手段において選択された画素値の成分
から、後に予測される成分を線形１次予測するのに用い
られる予測係数を求めさせることができる。

【００４９】第３の画像処理装置には、後に予測される
成分を、複数のクラスのうちのいずれかにクラス分類す
るクラス分類手段をさらに設けることができ、この場
合、予測係数演算手段には、クラスごとの予測係数を求
めさせることができる。

【００５０】第３の画像処理装置において、予測係数演
算手段には、画素値の複数の成分それぞれの予測値を、
所定の順番で求めるための予測係数を求めさせることが
できる。

【００５１】第３の画像処理装置において、予測係数演
算手段には、画素値の複数の成分それぞれの予測値を、
あらかじめ定められた固定の順番で求めるための予測係
数を求めさせることができる。

【００５２】第３の画像処理装置において、予測係数演
算手段には、画素値の複数の成分それぞれの予測値を、
任意の順番で求めるための予測係数を求めさせることが
できる。

【００５３】第３の画像処理装置において、学習用の画
像としては、予測値を求める対象の画像を用いることが
できる。

【００５４】本発明の第３の画像処理方法は、学習用の
画像から、注目している注目画素を含む１以上の画素の
画素値の各成分のうち、先に予測されるものを選択する
選択ステップと、選択ステップにおいて選択された画素
値の成分と、後に予測される成分とに基づいて、予測係
数を求める予測係数演算ステップとを備えることを特徴
とする。

【００５５】本発明の第３の記録媒体は、学習用の画像
から、注目している注目画素を含む１以上の画素の画素
値の各成分のうち、先に予測されるものを選択する選択
ステップと、選択ステップにおいて選択された画素値の
成分と、後に予測される成分とに基づいて、予測係数を
求める予測係数演算ステップとを備えるプログラムが記
録されていることを特徴とする。

【００５６】本発明の第４の画像処理装置は、注目して
いる第１の注目画素を含む１以上の画素の画素値の各成
分のうち、既に予測残差が求められたものを選択する第
１の選択手段と、第１の選択手段において選択された画
素値の成分に基づいて、第１の注目画素の画素値の、ま
だ予測残差が求められていない成分である未処理成分の
予測値を求める第１の予測手段と、予測値の予測残差を
求める残差演算手段と、注目している第２の注目画素を
含む１以上の画素の画素値の各成分のうち、既に復号さ
れたものを選択する第２の選択手段と、第２の選択手段
において選択された画素値の成分に基づいて、第２の注
目画素の画素値の、まだ復号されていない成分である未
復号成分の予測値を求める第２の予測手段と、未復号成
分の予測値と、その予測残差とから、元の成分を復号す
る復号手段とを備えることを特徴とする。

【００５７】本発明の第１の画像処理装置および画像処
理方法、並びに記録媒体においては、注目している注目
画素を含む１以上の画素の画素値の各成分のうち、既に
処理されたものが選択され、その選択された画素値の成
分に基づいて、注目画素の画素値の、まだ処理されてい
ない成分である未処理成分の予測値が求められる。

【００５８】本発明の第２の画像処理装置および画像処
理方法、並びに記録媒体においては、注目している注目
画素を含む１以上の画素の画素値の各成分のうち、既に
処理されたものが選択され、その選択された画素値の成
分に基づいて、注目画素の画素値の、まだ処理されてい
ない成分である未処理成分の予測値が求められる。そし
て、その未処理成分の予測値と、その予測残差とから、
元の成分が復号される。

【００５９】本発明の第３の画像処理装置および画像処
理方法、並びに記録媒体においては、学習用の画像か
ら、注目している注目画素を含む１以上の画素の画素値
の各成分のうち、先に予測されるものが選択され、その
選択された画素値の成分と、後に予測される成分とに基
づいて、予測係数が求められる。

【００６０】本発明の第４の画像処理装置においては、
注目している第１の注目画素を含む１以上の画素の画素
値の各成分のうち、既に予測残差が求められたものが選
択され、その選択された画素値の成分に基づいて、第１
の注目画素の画素値の、まだ予測残差が求められていな
い成分である未処理成分の予測値が求められる。そし
て、その予測値の予測残差が求められる。一方、注目し
ている第２の注目画素を含む１以上の画素の画素値の各
成分のうち、既に復号されたものが選択され、その選択
された画素値の成分に基づいて、第２の注目画素の画素
値の、まだ復号されていない成分である未復号成分の予
測値が求められる。そして、その未復号成分の予測値
と、その予測残差とから、元の成分が復号される。

【００６１】

【発明の実施の形態】図１は、本発明を適用した画像伝
送システムの一実施の形態の構成例を示している。

【００６２】処理対象の画像データは、例えば、ＲＧＢ
のコンポーネント信号で、エンコーダ１に供給される。
エンコーダ１は、そこに供給される画像データを圧縮符
号化し、符号化データとして出力する。この符号化デー
タは、例えば、半導体メモリ、光磁気ディスク、磁気デ
ィスク、光ディスク、磁気テープ、相変化ディスクなど
でなる記録媒体３に記録され、あるいは、また、例え
ば、地上波、衛星回線、ＣＡＴＶ（Cable Television）
網、インターネット、公衆回線などでなる伝送媒体４を
介して伝送される。

【００６３】デコーダ２は、記録媒体３または伝送媒体
４を介して提供される符号化データを受信して、元の画
像データに復号する。この復号された画像データは、例
えば、図示せぬモニタに供給されて表示等される。

【００６４】次に、図２は、図１のエンコーダ１の構成
例を示している。

【００６５】画像データは、フレームメモリ１１に供給
されるようになっており、フレームメモリ１１は、そこ
に供給される画像データを、例えば、１フレーム単位で
順次記憶する。なお、フレームメモリ１１は、複数フレ
ームの画像データの記憶が可能となっている。

【００６６】予測部１２は、フレームメモリ１１に記憶
された画像データを構成する画素を、例えば、ラスタス
キャン順に、順次、注目画素とし、その注目画素の画素
値を構成する成分であるＲ値、Ｇ値、Ｂ値をそれぞれ予
測する。この画素値の予測値は、残差演算部１３に供給
される。

【００６７】残差演算部１３は、予測部１２からの注目
画素の画素値のＲ値、Ｇ値、Ｂ値の予測値を受信する
と、フレームメモリ１１から注目画素の画素値のＲ値、
Ｇ値、Ｂ値を読み出す。さらに、残差演算部１３は、Ｒ
値、Ｇ値、Ｂ値の予測値から、その、Ｒ値、Ｇ値、Ｂ値
（の真値）をそれぞれ減算することで、それぞれの予測
残差を求めて、可変長符号化部１４に出力する。

【００６８】可変長符号化部１４は、残差演算部１３か
ら、Ｒ値、Ｇ値、Ｂ値それぞれの予測残差を、例えば、
１フレーム分受信すると、その予測残差を、例えば、ハ
フマン符号化等の可変長符号化処理し、その処理結果
を、符号化データとして出力する。

【００６９】次に、図３のフローチャートを参照して、
図２のエンコーダ１の処理（エンコード処理）について
説明する。

【００７０】フレームメモリ１１には、処理対象の画像
データが順次供給され、フレームメモリ１１では、その
画像データが、例えば、１フレーム単位で順次記憶され
る。

【００７１】そして、予測部１２は、フレームメモリ１
１に記憶された画像データのうちの最も古いフレームを
注目フレームとして、ステップＳ１に進み、注目フレー
ムにおいて、ラスタスキャン順で、まだ注目画素として
いない画素を、注目画素として選択して、ステップＳ２
に進む。

【００７２】ステップＳ２では、予測部１２は、注目画
素の画素値の成分であるＲ値、Ｇ値、Ｂ値から、予測値
を求める予測対象成分とするものを選択する。

【００７３】ここで、注目画素について、Ｒ値、Ｇ値、
Ｂ値を、どのような順番で予測対象成分として選択する
かは、例えば、あらかじめ設定されており、従って、ス
テップＳ２では、そのように、あらかじめ設定されてい
る固定の順番で、予測対象成分が選択される。

【００７４】予測対象成分が選択されると、ステップＳ
２からＳ３に進み、予測部１２は、予測対象成分の予測
値を、注目画素を含む１以上の画素の画素値の各成分の
うち、既に予測値が求められているものに基づいて求め
る予測処理を行う。

【００７５】即ち、本実施の形態においては、画像を構
成する画素が、ラスタスキャン順で、注目画素として選
択されるようになっているから、注目画素よりも、ラス
タスキャン順で前にある画素の各成分については、既に
予測値が求められている。また、注目画素の各成分であ
っても、既に予測値が求められているものがある。ステ
ップＳ３では、そのような成分に基づいて、予測対象成
分の予測値が求められる。

【００７６】具体的には、予測対象成分の予測値は、例
えば、注目画素の左、左上、上、右上にそれぞれ隣接す
る４画素の各成分と、注目画素の各成分のうち、既に予
測値が求められているものとに基づいて求められる。

【００７７】従って、注目画素のＲ値、Ｇ値、Ｂ値が、
予測対象成分として選択される固定の順番を、例えば、
Ｒ→Ｇ→Ｂとすると、注目画素のＲ値、Ｇ値、Ｂ値それ
ぞれの予測値は、図４に示すような成分に基づいて求め
られる。

【００７８】即ち、図４において（後述する図１０およ
び図１９においても同様）、○印、△印、□印のセット
は、画素を表しており、○印、△印、□印は、それぞ
れ、画素のＲ値、Ｇ値、Ｂ値を表している。また、斜線
を付してある○印、△印、□印は、既に予測値が求めら
れているＲ値、Ｇ値、Ｂ値をそれぞれ示しており、黒で
塗りつぶしてある○印、△印、□印は、予測対象成分と
なっているＲ値、Ｇ値、Ｂ値をそれぞれ示している。さ
らに、点線の長方形で囲んである○印、△印、□印のセ
ットは、注目画素を表している。

【００７９】注目画素において、最初は、Ｒ値が、予測
対象成分として選択される。この時点では、注目画素の
他の成分（Ｇ値、Ｂ値）の予測値は、まだ求められてい
ないから、Ｒ値の予測値は、図４（Ａ）に示すように、
注目画素の左、左上、上、右上にそれぞれ隣接する４画
素の各成分に基づいて求められる。

【００８０】次に、Ｇ値が、予測対象成分として選択さ
れるが、この時点では、注目画素のＲ値の予測値が、既
に求められている。従って、Ｇ値の予測値は、図４
（Ｂ）に示すように、注目画素の左、左上、上、右上に
それぞれ隣接する４画素の各成分と、注目画素のＲ値に
基づいて求められる。

【００８１】最後に、Ｂ値が、予測対象成分として選択
されるが、この時点では、注目画素のＲ値およびＧ値の
予測値が、既に求められられている。従って、Ｂ値の予
測値は、図４（Ｃ）に示すように、注目画素の左、左
上、上、右上にそれぞれ隣接する４画素の各成分と、注
目画素のＲ値およびＧ値に基づいて求められる。

【００８２】なお、予測部１２が、予測値を求めるのに
用いる成分は、フレームメモリ１１から読み出される。

【００８３】また、予測対象成分の予測値を求めるのに
用いる成分は、図４で説明したものに限定されるもので
はない。即ち、予測対象成分の予測値を求めるには、そ
の予測対象成分が処理される前に予測値が求められてい
る任意の成分を用いることが可能である。

【００８４】図３に戻り、予測部１２は、ステップＳ３
において、予測対象成分の予測値を求めると、その予測
値を、残差演算部１３に出力して、ステップＳ４に進
む。

【００８５】ステップＳ４では、残差演算部１３は、予
測対象成分となっている成分（真値）を、フレームメモ
リ１１から読み出し、その成分を、予測対象成分の予測
値から減算することで、その予測残差を求める。この予
測残差は、残差演算部１３から可変長符号化部１４に供
給される。

【００８６】その後、ステップＳ５に進み、注目画素の
Ｒ値、Ｇ値、Ｂ値のすべての成分を、予測対象成分とし
て選択したかどうかが判定される。ステップＳ５におい
て、注目画素のＲ値、Ｇ値、Ｂ値のすべての成分を、ま
だ、予測対象成分として選択していないと判定された場
合、ステップＳ２に戻り、注目画素の成分のうち、ま
だ、上述の固定の順番で、予測対象成分として選択され
ていないものが、予測対象成分として新たに選択され、
以下、同様の処理が繰り返される。

【００８７】また、ステップＳ５において、注目画素の
Ｒ値、Ｇ値、Ｂ値のすべての成分を、予測対象成分とし
て選択したと判定された場合、ステップＳ６に進み、注
目フレームのすべての画素を、注目画素として選択した
かどうかが判定される。ステップＳ６において、注目フ
レームのすべての画素を、まだ、注目画素として選択し
ていないと判定された場合、ステップＳ１に戻り、ま
だ、ラスタスキャン順で、注目画素として選択されてい
ない画素が、注目画素として新たに選択され、以下、同
様の処理が繰り返される。

【００８８】一方、ステップＳ６において、注目フレー
ムのすべての画素を、注目画素として選択したと判定さ
れた場合、即ち、注目フレームのすべての画素につい
て、予測残差が求められた場合、ステップＳ７に進み、
可変長符号化部１４は、残差演算部１３から供給され
た、注目フレームの画素についての予測残差を可変長符
号化し、符号化データとして出力して、ステップＳ８に
進む。

【００８９】ステップＳ８では、注目フレームの次のフ
レームが、フレームメモリ１１に記憶されているかどう
かが判定され、記憶されていると判定された場合、そ
の、次のフレームが、新たに注目フレームとされる。そ
して、ステップＳ１に戻り、以下、同様の処理が繰り返
される。

【００９０】また、ステップＳ８において、注目フレー
ムの次のフレームが、フレームメモリ１１に記憶されて
いないと判定された場合、処理（エンコード処理）を終
了する。

【００９１】次に、エンコーダ１の予測部１２（図２）
における予測方法としては、例えば、本件出願人が先に
提案しているクラス分類適応処理を採用することができ
る。

【００９２】クラス分類適応処理は、クラス分類処理と
適応処理とからなり、クラス分類処理によって、データ
を、その性質に基づいてクラス分けし、各クラスごとに
適応処理を施すものであり、適応処理では、例えば、以
下のような線形一時予測によって、予測値が求められ
る。

【００９３】即ち、画像を構成する画素のうちの、ある
画素を注目画素として、その注目画素の画素値ｙの予測
値Ｅ［ｙ］を、その注目画素の周辺の幾つかの画素（以
下、適宜、周辺画素という）の画素値ｘ₁，ｘ₂，・・・
の集合と、所定の予測係数ｗ ₁，ｗ₂，・・・の線形結合
により規定される線形１次結合モデルにより求めること
を考えると、予測値Ｅ［ｙ］は、次式で表すことができ
る。

【００９４】 Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・・・・（１）

【００９５】式（１）を一般化するために、予測係数ｗ
_jの集合でなる行列Ｗ、周辺画素ｘ_{i j}の集合でなる行列
Ｘ、および予測値Ｅ［ｙ_j］の集合でなる行列Ｙ’を、

【数１】 で定義すると、次のような観測方程式が成立する。 ＸＷ＝Ｙ’・・・（２） ここで、行列Ｘの成分ｘ_ijは、ｉ件目の周辺画素の集合
（ｉ件目の注目画素ｙ_iの予測に用いる周辺画素の集
合）の中のｊ番目の周辺画素を意味し、行列Ｗの成分ｗ
_jは、周辺画素の集合の中のｊ番目の周辺画素との積が
演算される予測係数を表す。また、ｙ_iは、ｉ件目の注
目画素を表し、従って、Ｅ［ｙ_i］は、ｉ件目の注目画
素の予測値を表す。なお、式（１）の左辺におけるｙ
は、行列Ｙの成分ｙ_iのサフィックスｉを省略したもの
であり、また、式（１）の右辺におけるｘ₁，ｘ₂，・・
・も、行列Ｘの成分ｘ_ijのサフィックスｉを省略したも
のである。

【００９６】そして、この観測方程式に最小自乗法を適
用して、真値の画素値ｙに近い予測値Ｅ［ｙ］を求める
ことを考える。この場合、注目画素の真値の画素値ｙの
集合でなる行列Ｙ、および真値の画素値ｙに対する予測
値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、

【数２】 で定義すると、式（２）から、次のような残差方程式が
成立する。

【００９７】ＸＷ＝Ｙ＋Ｅ・・・（３）

【００９８】この場合、真値の画素値ｙに近い予測値Ｅ
［ｙ］を求めるための予測係数ｗ_jは、自乗誤差

【数３】 を最小にすることで求めることができる。

【００９９】従って、上述の自乗誤差を予測係数ｗ_jで
微分したものが０になる場合、即ち、次式を満たす予測
係数ｗ_jが、真値の画素値ｙに近い予測値Ｅ［ｙ］を求
めるため最適値ということになる。

【０１００】

【数４】 ・・・（４）

【０１０１】そこで、まず、式（３）を、予測係数ｗ_j
で微分することにより、次式が成立する。

【０１０２】

【数５】 ・・・（５）

【０１０３】式（４）および（５）より、式（６）が得
られる。

【０１０４】

【数６】 ・・・（６）

【０１０５】さらに、式（３）の残差方程式における周
辺画素ｘ_ij、予測係数ｗ_j、注目画素ｙ_i、および残差ｅ
_iの関係を考慮すると、式（６）から、次のような正規
方程式を得ることができる。

【０１０６】

【数７】 ・・・（７）

【０１０７】なお、式（７）に示した正規方程式は、行
列（共分散行列）Ａおよびベクトルｖを、

【数８】 で定義するとともに、ベクトルＷを、数１で示したよう
に定義すると、式 ＡＷ＝ｖ・・・（８） で表すことができる。

【０１０８】式（７）における各正規方程式は、周辺画
素ｘ_ijおよび注目画素ｙ_iのセットを、ある程度の数だ
け用意することで、求めるべき予測係数ｗ_jの数Ｊと同
じ数だけたてることができ、従って、式（８）を、ベク
トルＷについて解くことで（但し、式（８）を解くに
は、式（８）における行列Ａが正則である必要があ
る）、最適な予測係数ｗ_jを求めることができる。な
お、式（８）を解くにあたっては、例えば、掃き出し法
（Gauss-Jordanの消去法）などを用いることが可能であ
る。

【０１０９】以上のようにして、最適な予測係数ｗ_jを
求めておき、さらに、その予測係数ｗ_jを用い、式
（１）により、真値の画素値ｙに近い予測値Ｅ［ｙ］を
求めるのが適応処理である。

【０１１０】図５は、クラス分類適応処理によって、予
測対象成分の予測値を求める予測部１２の構成例を示し
ている。

【０１１１】予測タップ構成回路２２は、フレームメモ
リ１１（図２）に記憶された画像を構成する画素を、上
述したように、ラスタスキャン順で、順次、注目画素と
し、さらに、その注目画素の各成分を、上述の固定の順
番で、順次、予測対象成分として選択する。さらに、予
測タップ構成回路２２は、図４で説明したような、注目
画素の左、左上、上、右上にそれぞれ隣接する４画素の
各成分と、注目画素の各成分のうち、既に予測値が求め
られているものを、予測対象成分の予測値を求めるのに
用いる予測タップとして、フレームメモリ１１から読み
出し、予測演算回路２６に供給する。

【０１１２】クラスタップ構成回路２３は、予測対象成
分を、幾つかのクラスのうちのいずれかに分類するため
のクラス分類に用いる画素値の成分を、フレームメモリ
１１から読み出す。即ち、クラスタップ構成回路２３
は、例えば、予測対象成分の予測タップを構成する画素
値の成分と同一の成分を、フレームメモリ１１から読み
出し、クラス分類に用いるクラスタップとして、クラス
分類回路２４に供給する。

【０１１３】なお、ここでは、説明を簡単にするため
に、クラスタップを、予測タップと同一の成分で構成す
るようにしたが、クラスタップは、予測タップと異なる
成分で構成することが可能である。

【０１１４】クラス分類回路２４は、クラスタップ構成
回路２３からのクラスタップに基づき、予測対象成分を
クラス分類し、その結果得られるクラスに対応するクラ
スコードを、アドレスとして、メモリ２５に供給する。

【０１１５】ここで、クラス分類を行う方法としては、
例えば、ADRC(Adaptive Dynamic Range Coding)を用い
る方法等がある。

【０１１６】ADRCを用いる方法では、クラスタップを構
成する成分が、ADRC処理され、その結果得られるADRCコ
ードにしたがって、予測対象成分のクラスが決定され
る。

【０１１７】なお、KビットADRCにおいては、例えば、
クラスタップを構成する成分の最大値MAXと最小値MINが
検出され、DR=MAX-MINを、集合の局所的なダイナミック
レンジとし、このダイナミックレンジDRに基づいて、ク
ラスタップを構成する成分がKビットに再量子化され
る。即ち、クラスタップを構成する各成分から、最小値
MINが減算され、その減算値がDR/2^Kで除算（量子化）さ
れる。そして、以上のようにして得られる、クラスタッ
プを構成する各成分についてのKビットの値を、所定の
順番で並べたビット列が、ADRCコードとして出力され
る。従って、クラスタップが、例えば、１ビットADRC処
理された場合には、そのクラスタップを構成する各成分
は、最小値MINが減算された後に、最大値MAXと最小値MI
Nとの平均値で除算され、これにより、各成分が１ビッ
トとされる（２値化される）。そして、その１ビットの
各成分を所定の順番で並べたビット列が、ADRCコードと
して出力される。

【０１１８】ここで、ADRCによれば、クラスタップが、
Ｎ個の成分で構成され、そのクラスタップのＫビットAD
RC処理結果がクラスコードとされる場合には、予測対象
成分は、（２^N）^Kクラスのうちのいずれかのクラスにク
ラス分類されることになる。

【０１１９】メモリ２５は、後述する図１３の学習装置
において学習が行われることにより得られるクラスごと
の予測係数を、各クラスに対応するアドレスに記憶して
おり、クラス分類回路２４からのクラスコードに対応す
るアドレスに記憶されている予測係数を読み出して、予
測演算回路２６に供給する。

【０１２０】予測演算回路２６は、予測タップ構成回路
２２から供給される予測タップと、メモリ２５から供給
される予測係数とを用いて、式（１）に示した線形予測
演算（積和演算）を行い、その結果得られる値を、予測
対象成分の予測値として出力する。

【０１２１】次に、図６のフローチャートを参照して、
図５の予測部１２において行われる、図３のフローチャ
ートのステップＳ３における予測処理について説明す
る。

【０１２２】まず最初に、ステップＳ１１において、予
測対象成分の予測順序に基づいて、その予測対象成分に
ついて、予測タップおよびクラスタップが構成される。
即ち、ステップＳ１１では、予測タップ構成回路２２
は、予測対象成分が、注目画素の各成分のうち、何番目
に予測されるものであるかを認識し（本実施の形態で
は、画素の成分は、Ｒ値、Ｇ値、Ｂ値の３成分なので、
１乃至３番目のうちのいずれか）、その認識結果に基づ
いて、図４で説明したような成分を、フレームメモリ１
１から読み出して、予測タップとする。さらに、ステッ
プＳ１１では、クラスタップ構成回路２３も、予測タッ
プ構成回路２２における場合と同一の成分を、フレーム
メモリ１１から読み出して、クラスタップとする。そし
て、予測タップは、予測演算回路２６に供給され、クラ
スタップは、クラス分類回路２４に供給される。

【０１２３】クラス分類回路２４は、ステップＳ１２に
おいて、クラスタップ構成回路２３からのクラスタップ
に基づき、上述したようなADRC処理を行うことで、予測
対象成分をクラス分類し、その結果得られるクラスに対
応するクラスコードを、メモリ２５に対して、アドレス
として供給し、ステップＳ１３に進む。

【０１２４】なお、本実施の形態では、Ｒ値、Ｇ値、Ｂ
値の３成分が、予測対象成分となり得るため、予測対象
成分が、どの成分であるのかを区別するために、クラス
タップをADRC処理して得られるビット列の、例えば上位
ビットに、予測対象成分が、Ｒ値、Ｇ値、またはＢ値の
うちのいずれの成分であるのかを表すためのビット（最
低でも２ビットが必要）を付加して、クラスコードとす
ることにする。

【０１２５】さらに、本実施の形態では、クラスタップ
は、図４で説明したような成分から構成されるから、予
測対象成分が、Ｒ値、Ｇ値、またはＢ値のうちのいずれ
であるかによって、クラスタップを構成する成分の数が
異なる。即ち、図４においては、Ｒ値については、１２
個の成分から、Ｇ値については、１３個の成分から、Ｂ
値については、１４個の成分から、それぞれクラスタッ
プが構成される。従って、そのようなクラスタップをAD
RC処理して得られるビット列としてのクラスコードのビ
ット数も、予測対象成分が、Ｒ値、Ｇ値、またはＢ値の
うちのいずれであるかによって異なる。そこで、予測対
象成分が、Ｒ値、Ｇ値、Ｂ値のうちのいずれであるかに
かかわらず、クラスコードのビット数を同一にするため
に、クラスタップをADRC処理して得られるビット列の短
いものの、例えば下位ビットに、固定値のダミーのビッ
トを付加することにより、クラスタップをADRC処理して
得られるビット列の最も長いものに、そのビット数を統
一することにする。

【０１２６】クラス分類回路２４は、以上のようにし
て、予測対象成分が、Ｒ値、Ｇ値、Ｂ値のうちのいずれ
であるかにかかわらず、ビット数が同一で、かつ、予測
対象成分が、Ｒ値、Ｇ値、Ｂ値のうちのいずれであるか
を区別可能なクラスコードを生成し、メモリ２５に供給
する。

【０１２７】メモリ２５では、ステップＳ１３におい
て、そこに記憶されている各クラスごとの予測係数のう
ち、クラス分類回路２４からのクラスコードで表される
アドレスに記憶されているものが読み出され、予測演算
回路２６に供給される。

【０１２８】予測演算回路２６は、ステップＳ１４にお
いて、予測タップ構成回路２２から供給される予測タッ
プと、メモリ２５から供給される予測係数とを用いて、
式（１）に示した線形予測演算を行うことで、予測対象
成分の予測値を求め、残差演算部１３（図２）に出力し
て、処理を終了する。

【０１２９】以上のように、予測対象成分の予測値を、
注目画素を含む１以上の画素の画素値の各成分のうち、
既に予測値が求められているものに基づいて求めるよう
にしたので、予測対象成分の予測値を、その予測対象成
分と同一の成分のうち、既に予測値が求められているも
のに基づいて求める場合に比較して、予測精度を向上さ
せることができる。

【０１３０】即ち、図７は、自然画について、予測対象
成分の予測値を、上述したようにして、注目画素を含む
１以上の画素の画素値の各成分のうち、既に予測値が求
められているものに基づいて求めたシミュレーション結
果としての予測値のＳ／Ｎ(Signal to Noise ratio)
（図７の左側の棒グラフ）と、予測対象成分の予測値
を、その予測対象成分と同一の成分のうち、既に予測値
が求められているものに基づいて求めたシミュレーショ
ン結果としての予測値のＳ／Ｎ（図７の右側の棒グラ
フ）とを示している。

【０１３１】図７において、予測対象成分の予測値を、
その予測対象成分と同一の成分のうち、既に予測値が求
められているものに基づいて求めた場合の予測値のＳ／
Ｎが、約３５ｄＢ強であるのに対して、予測対象成分の
予測値を、注目画素を含む１以上の画素の画素値の各成
分のうち、既に予測値が求められているものに基づいて
求めた場合の予測値のＳ／Ｎは、約３８ｄＢ弱となって
おり、従って、前者の場合の方が、予測精度が向上して
いることが分かる。

【０１３２】なお、エンコーダ１において処理を行う場
合においては（デコーダ２において処理を行う場合も同
様）、１フレームの画像の最も上の画素のさらに上の画
素や、最も左の画素のさらに左の画素は存在しない。こ
のため、処理を行うにあたって、最も上の画素のさらに
上の画素や、最も左の画素のさらに左の画素が必要とな
るときには、例えば、最も上や左の画素と同一の画素
が、その上や左にも存在するものとして、あるいは、所
定の画素値（例えば、０など）の画素が存在するものと
して、処理を行うものとする。

【０１３３】次に、図８は、図１のデコーダ２の構成例
を示している。

【０１３４】デコーダ２に供給される符号化データは、
可変長復号部３１に供給されるようになっており、可変
長復号部３１は、そこに供給される符号化データを可変
長復号することにより、予測残差で構成される画像（以
下、適宜、残差画像という）に復号し、フレームメモリ
３２に供給する。

【０１３５】フレームメモリ３２は、可変長復号部３１
から供給される残差画像を、例えば、１フレーム単位で
順次記憶する。なお、フレームメモリ３２も、図２のフ
レームメモリ１１と同様に、複数フレームの画像データ
の記憶が可能となっている。

【０１３６】復号部３３は、予測部３５が出力する注目
画素についての予測対象成分の予測値を受信し、その注
目画素についての予測対象成分の予測残差を、フレーム
メモリ３２に記憶された残差画像から読み出す。さら
に、復号部３３は、予測部３５からの予測値と、フレー
ムメモリ３２からの予測残差を加算することで、予測対
象成分を復号し、フレームメモリ３４に供給する。

【０１３７】フレームメモリ３４は、復号部３３からの
注目画素についての予測対象成分の復号結果を、その注
目画素に対応するアドレスに記憶する。

【０１３８】予測部３５は、図２のエンコーダ１の予測
部１２と同様に構成され、フレームメモリ３４に記憶さ
れた既に復号された画素値の各成分を用いて、予測対象
成分の予測値を求め、復号部３３に供給する。従って、
予測部１２が、例えば、図５に示したように構成される
場合には、予測部３５も、図５に示したように構成され
る。

【０１３９】次に、図９のフローチャートを参照して、
図８のデコーダ２の処理（デコード処理）について説明
する。

【０１４０】符号化データは、可変長復号部３１に供給
されて一時記憶される。そして、可変長復号部３１は、
ステップＳ２１において、記憶した符号化データを可変
長復号し、予測残差でなる残差画像を得る。この残差画
像は、可変長復号部３１からフレームメモリ３２に供給
されて記憶される。

【０１４１】予測部３５は、フレームメモリ３２に残差
画像が記憶されたフレームを注目フレームとして、ステ
ップＳ２２に進み、注目フレームにおいて、ラスタスキ
ャン順で、まだ注目画素としていない画素を、注目画素
として選択して、ステップＳ２３に進む。

【０１４２】ステップＳ２３では、予測部３５は、注目
画素の画素値の成分であるＲ値、Ｇ値、Ｂ値から、予測
値を求める予測対象成分とするものを選択する。

【０１４３】ここで、注目画素のＲ値、Ｇ値、Ｂ値を、
予測対象成分として選択する順番は、例えば、上述のエ
ンコーダ１における場合と同一に、あらかじめ設定され
ており、従って、ステップＳ２３では、そのように、あ
らかじめ設定されている固定の順番で、予測対象成分が
選択される。即ち、本実施の形態では、Ｒ→Ｇ→Ｂの順
番で、予測対象成分とされる。

【０１４４】予測対象成分が選択されると、ステップＳ
２３からＳ２４に進み、予測部３５は、図２の予測部１
２と同様に、予測対象成分の予測値を、注目画素を含む
１以上の画素の画素値の各成分のうち、既に予測値が求
められているものに基づいて求める予測処理を行う。

【０１４５】即ち、予測部３５は、予測対象成分につい
て、フレームメモリ３４に記憶された、既に復号されて
いる画素の各成分から、図４で説明したものを読み出
し、その読み出した成分に基づいて、予測対象成分の予
測値を求める。従って、予測部３５では、予測対象成分
について、図２の予測部１２で求められる予測値と同一
の予測値が求められる。

【０１４６】予測部３５は、予測対象成分の予測値を求
めると、その予測値を、復号部３３に出力して、ステッ
プＳ２５に進む。

【０１４７】ステップＳ２５では、復号部３３は、予測
対象成分の予測値の予測残差を、フレームメモリ３２か
ら読み出し、その予測残差と、予測部３５からの予測値
とを加算することで、予測対象成分を復号する。この復
号された予測対象成分は、フレームメモリ３４に供給さ
れ、対応するアドレスに記憶される。

【０１４８】その後、ステップＳ２６に進み、注目画素
のＲ値、Ｇ値、Ｂ値のすべての成分を、予測対象成分と
して選択したかどうかが判定される。ステップＳ２６に
おいて、注目画素のＲ値、Ｇ値、Ｂ値のすべての成分
を、まだ、予測対象成分として選択していないと判定さ
れた場合、ステップＳ２３に戻り、注目画素の成分のう
ち、まだ、上述の固定の順番で、予測対象成分として選
択されていないものが、予測対象成分として新たに選択
され、以下、同様の処理が繰り返される。

【０１４９】また、ステップＳ２６において、注目画素
のＲ値、Ｇ値、Ｂ値のすべての成分を、予測対象成分と
して選択したと判定された場合、ステップＳ２７に進
み、注目フレームのすべての画素を、注目画素として選
択したかどうかが判定される。ステップＳ２７におい
て、注目フレームのすべての画素を、まだ、注目画素と
して選択していないと判定された場合、ステップＳ２２
に戻り、まだ、ラスタスキャン順で、注目画素として選
択されていない画素が、注目画素として新たに選択さ
れ、以下、同様の処理が繰り返される。

【０１５０】一方、ステップＳ２７において、注目フレ
ームのすべての画素を、注目画素として選択したと判定
された場合、即ち、注目フレームのすべての画素につい
て、元の画素値の各成分が復号され、フレームメモリ３
４に記憶された場合、ステップＳ２８に進み、そのフレ
ームメモリ３４に記憶された各成分の画素値で構成され
る復号画像が出力され、ステップＳ２９に進む。

【０１５１】ステップＳ２９では、注目フレームの次の
フレームについての符号化データが、可変長復号部３１
に記憶されているかどうかが判定され、記憶されている
と判定された場合、ステップＳ２１に戻り、可変長復号
部３１において、その、次のフレームについての符号化
データが可変長復号され、以下、同様の処理が繰り返さ
れる。

【０１５２】また、ステップＳ２９において、注目フレ
ームの次のフレームについての符号化データが、可変長
復号部３１に記憶されていないと判定された場合、処理
（デコード処理）を終了する。

【０１５３】次に、上述の場合においては、注目フレー
ムの注目画素について、そのＲ値、Ｇ値、Ｂ値の３成分
すべてを処理してから、ラスタスキャン順で、次の画素
を、新たに注目画素として処理するようにしたが、その
他、例えば、注目フレームのすべての画素について、あ
る成分を処理してから、他の成分を処理するようにする
ことも可能である。

【０１５４】即ち、例えば、上述のように、Ｒ→Ｇ→Ｂ
の順番で、予測対象成分を選択する場合には、まず最初
に、Ｒ値を、ラスタスキャン順に、予測対象成分とし、
その予測値を、注目画素を含む１以上の画素の画素値の
各成分のうち、既に予測値が求められているものに基づ
いて求める。

【０１５５】このように、Ｒ値が予測対象成分とされる
タイミングでは、図１０（Ａ）に示すように、他の成分
であるＧ値およびＢ値の予測値は、まだ求められておら
ず、予測値が求められているのは、注目画素よりも、ラ
スタスキャン順で前にある画素のＲ値だけである。従っ
て、最初に予測対象成分とされるＲ値の予測値を求める
のに用いることのできる成分は、そのようなＲ値だけと
なる。

【０１５６】即ち、Ｒ値に関しては、その予測値を求め
るのに用いることができるのは、既に処理されているＲ
値だけであり、他の成分（Ｇ値やＢ値）は用いることが
できない。

【０１５７】図１０（Ａ）の右側に示すように、注目フ
レームのすべての画素のＲ値について、予測値の算出が
終了すると、その後は、Ｇ値が、ラスタスキャン順に、
予測対象成分とされ、その予測値が、注目画素を含む１
以上の画素の画素値の各成分のうち、既に予測値が求め
られているものに基づいて求められる。

【０１５８】図１０（Ｂ）に示すように、Ｇ値が予測対
象成分とされるタイミングでは、Ｂ値の予測値は求めら
れておらず、従って、Ｇ値の予測値を求めるのに、Ｂ値
を用いることはできない。

【０１５９】しかしながら、Ｇ値が予測対象成分とされ
るタイミングでは、Ｒ値における場合と同様に、注目画
素よりも、ラスタスキャン順で前にある画素のＧ値の予
測値は既に求められているから、そのようなＧ値は、予
測値を求めるのに用いることができる。

【０１６０】さらに、Ｇ値が予測対象成分とされるタイ
ミングでは、上述したように、注目フレームのすべての
画素のＲ値について、予測値の算出が終了している。従
って、Ｇ値の予測値を求めるのに、注目画素のＲ値や、
注目画素よりもラスタスキャン順で前にある画素のＲ値
だけでなく、注目画素よりもラスタスキャン順で後にあ
る画素のＲ値も用いることができる。

【０１６１】そして、図１０（Ｂ）の右側に示すよう
に、注目フレームのすべての画素のＧ値について、予測
値の算出が終了すると、その後は、Ｂ値が、ラスタスキ
ャン順に、予測対象成分とされ、その予測値が、注目画
素を含む１以上の画素の画素値の各成分のうち、既に予
測値が求められているものに基づいて求められる。

【０１６２】図１０（Ｃ）に示すように、Ｂ値が予測対
象成分とされるタイミングでは、Ｒ値における場合と同
様に、注目画素よりも、ラスタスキャン順で前にある画
素のＧ値の予測値は既に求められているから、そのよう
なＧ値は、予測値を求めるのに用いることができる。

【０１６３】さらに、Ｇ値が予測対象成分とされるタイ
ミングでは、注目フレームのすべての画素のＲ値および
Ｇ値について、予測値の算出が終了している。従って、
Ｂ値の予測値を求めるのに、注目画素のＲ値およびＧ値
や、注目画素よりもラスタスキャン順で前にある画素の
Ｒ値およびＧ値だけでなく、注目画素よりもラスタスキ
ャン順で後にある画素のＲ値およびＧ値も用いることが
できる。

【０１６４】注目フレームの注目画素について、そのＲ
値、Ｇ値、Ｂ値の３成分すべてを処理してから、ラスタ
スキャン順で、次の画素を、新たに注目画素として処理
する場合には、図４に示したように、予測対象成分の予
測値を求めるにあたって、注目画素よりもラスタスキャ
ン順で後にある画素の成分を用いることはできないが、
注目フレームのすべての画素について、ある成分を処理
してから、他の成分を処理する場合には、図１０に示し
たように、予測対象成分の予測値を求めるにあたって、
注目画素よりもラスタスキャン順で後にある画素の成分
を用いることができることがある。

【０１６５】但し、注目フレームのすべての画素につい
て、ある成分を処理してから、他の成分を処理する場合
には、上述したように、まだ予測対象成分とされていな
い成分は、他の成分の予測値を求めるのにあたって用い
ることはできないのに対して、注目フレームの注目画素
について、そのＲ値、Ｇ値、Ｂ値の３成分すべてを処理
してから、ラスタスキャン順で、次の画素を、新たに注
目画素として処理する場合には、注目画素、および注目
画素よりもラスタスキャン順で前にある画素の、既に処
理された成分は、他の成分の予測値を求めるのにあたっ
て用いることができる。

【０１６６】次に、図１１のフローチャートを参照し
て、注目フレームのすべての画素について、ある成分を
処理してから、他の成分を処理する場合の、図２のエン
コーダ１によるエンコード処理について説明する。

【０１６７】フレームメモリ１１には、処理対象の画像
データが順次供給され、フレームメモリ１１では、その
画像データが、例えば、１フレーム単位で順次記憶され
る。

【０１６８】そして、予測部１２は、フレームメモリ１
１に記憶された画像データのうちの最も古いフレームを
注目フレームとして、ステップＳ３１に進み、予測部１
２は、画素値の成分であるＲ値、Ｇ値、Ｂ値から、予測
値を求める予測対象成分とするものを選択する。

【０１６９】ここで、上述したように、Ｒ値、Ｇ値、Ｂ
値を、どのような順番で予測対象成分として選択するか
は、例えば、あらかじめ設定されており、従って、ステ
ップＳ３１では、そのように、あらかじめ設定されてい
る固定の順番で、予測対象成分が選択される。

【０１７０】予測対象成分が選択されると、ステップＳ
３１からＳ３２に進み、予測部１２は、注目フレームに
おいて、ラスタスキャン順で、まだ注目画素としていな
い画素を、注目画素として選択して、ステップＳ３３に
進む。

【０１７１】ステップＳ３３では、予測部１２は、注目
画素の予測対象成分の予測値を、注目画素を含む１以上
の画素の画素値の各成分のうち、既に予測値が求められ
ているものに基づいて求める予測処理を行い、その結果
得られる予測値を、残差演算部１３に出力して、ステッ
プＳ３４に進む。

【０１７２】ステップＳ３４では、残差演算部１３は、
予測対象成分となっている成分（真値）を、フレームメ
モリ１１から読み出し、その成分を、予測対象成分の予
測値から減算することで、その予測残差を求める。この
予測残差は、残差演算部１３から可変長符号化部１４に
供給される。

【０１７３】そして、ステップＳ３５に進み、注目フレ
ームのすべての画素を、注目画素として選択したかどう
かが判定される。ステップＳ６において、注目フレーム
のすべての画素を、まだ、注目画素として選択していな
いと判定された場合、ステップＳ３２に戻り、まだ、ラ
スタスキャン順で、注目画素として選択されていない画
素が、注目画素として新たに選択され、以下、同様の処
理が繰り返される。

【０１７４】一方、ステップＳ３５において、注目フレ
ームのすべての画素を、注目画素として選択したと判定
された場合、ステップＳ３６に進み、Ｒ値、Ｇ値、Ｂ値
のすべての成分を、予測対象成分として選択したかどう
かが判定される。ステップＳ３６において、Ｒ値、Ｇ
値、Ｂ値のすべての成分を、まだ、予測対象成分として
選択していないと判定された場合、ステップＳ３１に戻
り、Ｒ値、Ｇ値、Ｂ値のうち、まだ、上述の固定の順番
で、予測対象成分として選択されていないものが、予測
対象成分として新たに選択され、以下、同様の処理が繰
り返される。

【０１７５】また、ステップＳ３６において、Ｒ値、Ｇ
値、Ｂ値のすべての成分を、予測対象成分として選択し
たと判定された場合、即ち、注目フレームのすべての画
素のすべての成分について、予測残差が求められた場
合、ステップＳ３７に進み、可変長符号化部１４は、残
差演算部１３から供給された、注目フレームの画素につ
いての予測残差を可変長符号化し、符号化データとして
出力して、ステップＳ３８に進む。

【０１７６】ステップＳ３８では、注目フレームの次の
フレームが、フレームメモリ１１に記憶されているかど
うかが判定され、記憶されていると判定された場合、そ
の、次のフレームが、新たに注目フレームとされる。そ
して、ステップＳ３１に戻り、以下、同様の処理が繰り
返される。

【０１７７】また、ステップＳ３８において、注目フレ
ームの次のフレームが、フレームメモリ１１に記憶され
ていないと判定された場合、処理（エンコード処理）を
終了する。

【０１７８】次に、図１２のフローチャートを参照し
て、エンコーダ１によるエンコード処理が図１１に示し
たように行われる場合の、図８のデコーダ２によるデコ
ード処理について説明する。

【０１７９】符号化データは、可変長復号部３１に供給
されて一時記憶される。そして、可変長復号部３１は、
ステップＳ４１において、記憶した符号化データを可変
長復号し、予測残差でなる残差画像を得る。この残差画
像は、可変長復号部３１からフレームメモリ３２に供給
されて記憶される。

【０１８０】予測部３５は、フレームメモリ３２に残差
画像が記憶されたフレームを注目フレームとして、ステ
ップＳ４２に進み、予測部３５は、画素値の成分である
Ｒ値、Ｇ値、Ｂ値から、予測値を求める予測対象成分と
するものを選択する。

【０１８１】ここで、注目画素のＲ値、Ｇ値、Ｂ値を、
予測対象成分として選択する順番は、例えば、上述のエ
ンコーダ１における場合と同一に、あらかじめ設定され
ており、ステップＳ４２では、そのように、あらかじめ
設定されている固定の順番で、予測対象成分が選択され
る。即ち、本実施の形態では、Ｒ→Ｇ→Ｂの順番で、予
測対象成分とされる。

【０１８２】予測対象成分の選択後は、ステップＳ４２
からステップＳ４３に進み、予測部３５は、注目フレー
ムにおいて、ラスタスキャン順で、まだ注目画素として
いない画素を、注目画素として選択して、ステップＳ４
４に進む。

【０１８３】ステップＳ４４では、予測部３５は、予測
対象成分の予測値を、注目画素を含む１以上の画素の画
素値の各成分のうち、既に予測値が求められているもの
に基づいて求める予測処理を行い、その結果得られる予
測値を、復号部３３に出力して、ステップＳ４５に進
む。

【０１８４】ステップＳ２４では、復号部３３は、予測
対象成分の予測値の予測残差を、フレームメモリ３２か
ら読み出し、その予測残差と、予測部３５からの予測値
とを加算することで、予測対象成分を復号する。この復
号された予測対象成分は、フレームメモリ３４に供給さ
れ、対応するアドレスに記憶される。

【０１８５】その後、ステップＳ４６に進み、注目フレ
ームのすべての画素を、注目画素として選択したかどう
かが判定される。ステップＳ４６において、注目フレー
ムのすべての画素を、まだ、注目画素として選択してい
ないと判定された場合、ステップＳ４３に戻り、まだ、
ラスタスキャン順で、注目画素として選択されていない
画素が、注目画素として新たに選択され、以下、同様の
処理が繰り返される。

【０１８６】一方、ステップＳ４６において、注目フレ
ームのすべての画素を、注目画素として選択したと判定
された場合、ステップＳ４７に進み、Ｒ値、Ｇ値、Ｂ値
のすべての成分を、予測対象成分として選択したかどう
かが判定される。ステップＳ４７において、Ｒ値、Ｇ
値、Ｂ値のすべての成分を、まだ、予測対象成分として
選択していないと判定された場合、ステップＳ４２に戻
り、Ｒ値、Ｇ値、Ｂ値のうち、まだ、上述の固定の順番
で、予測対象成分として選択されていないものが、予測
対象成分として新たに選択され、以下、同様の処理が繰
り返される。

【０１８７】また、ステップＳ４７において、Ｒ値、Ｇ
値、Ｂ値のすべての成分を、予測対象成分として選択し
たと判定された場合、即ち、注目フレームのすべての画
素のすべての成分が、元の成分に復号され、フレームメ
モリ３４に記憶された場合、ステップＳ４８に進み、そ
のフレームメモリ３４に記憶された各成分の画素値で構
成される復号画像が出力され、ステップＳ４９に進む。

【０１８８】ステップＳ４９では、注目フレームの次の
フレームについての符号化データが、可変長復号部３１
に記憶されているかどうかが判定され、記憶されている
と判定された場合、ステップＳ４１に戻り、可変長復号
部３１において、その、次のフレームについての符号化
データが可変長復号され、以下、同様の処理が繰り返さ
れる。

【０１８９】また、ステップＳ４９において、注目フレ
ームの次のフレームについての符号化データが、可変長
復号部３１に記憶されていないと判定された場合、処理
（デコード処理）を終了する。

【０１９０】次に、図１３は、図５の予測部１２（３
５）のメモリ２５に記憶させる予測係数を求める学習を
行う学習装置の一実施の形態の構成例を示している。

【０１９１】フレームメモリ４１には、予測係数の学習
に用いる画像である学習用画像が供給されるようになっ
ており、フレームメモリ４１は、その学習用画像を順次
記憶する。

【０１９２】予測タップ構成回路４２は、図５の予測タ
ップ構成回路２２と同様に、フレームメモリ４１に記憶
された学習用画像から、注目画素の予測対象成分の予測
値を求めるのに用いる各成分を読み出し、予測タップと
して、正規方程式加算回路４５に供給する。

【０１９３】クラスタップ構成回路４３は、図５のクラ
スタップ構成回路２３と同様に、フレームメモリ４１に
記憶された学習用画像から、注目画素の予測対象成分を
クラス分類するのに用いる各成分を読み出し、クラスタ
ップとして、クラス分類回路４４に供給する。

【０１９４】クラス分類回路４４は、クラスタップ構成
回路４３からのクラスタップに基づき、図５のクラス分
類回路２４における場合と同様のクラス分類を行い、そ
の結果得られるクラスコードを、正規方程式加算回路４
５に供給する。

【０１９５】正規方程式加算回路４５は、フレームメモ
リ４１から、注目画素の予測対象成分を読み出し、その
予測対象成分と、予測タップ構成回路４２からの予測タ
ップを構成する成分を対象とした足し込みを行う。

【０１９６】即ち、正規方程式加算回路４５は、クラス
分類回路４４から供給されるクラスコードに対応するク
ラスごとに、予測タップ（成分）を用い、式（８）の行
列Ａにおける各コンポーネントとなっている、予測タッ
プを構成する成分どうしの乗算（ｘ_inｘ_im）と、サメー
ション（Σ）に相当する演算を行う。

【０１９７】さらに、正規方程式加算回路４５は、やは
り、クラス分類回路４４から供給されるクラスコードに
対応するクラスごとに、予測タップ（成分）および予測
対象成分を用い、式（８）のベクトルｖにおける各コン
ポーネントとなっている、予測タップを構成する成分と
予測対象成分の乗算（ｘ_inｙ_i）と、サメーション
（Σ）に相当する演算を行う。

【０１９８】正規方程式加算回路４５は、以上の足し込
みを、フレームメモリ４１に記憶された学習用画像のす
べての画素のすべての成分を、予測対象成分として行
い、これにより、クラスごとに、式（８）に示した正規
方程式がたてられる。

【０１９９】予測係数決定回路４６は、正規方程式加算
回路４５においてクラスごとに生成された正規方程式を
解くことにより、クラスごとの予測係数を求め、メモリ
４７の、各クラスに対応するアドレスに供給する。メモ
リ４７は、予測係数決定回路４６から供給される予測係
数を記憶する。

【０２００】なお、学習用画像として用意する画像の数
（フレーム数）や、その学習用画像の内容等によって
は、正規方程式加算回路４５において、予測係数を求め
るのに必要な数の正規方程式が得られないクラスが生じ
る場合があり得るが、予測係数決定回路４６は、そのよ
うなクラスについては、例えば、デフォルトの予測係数
を出力する。

【０２０１】次に、図１４のフローチャートを参照し
て、図１３の学習装置により行われる、予測係数の学習
処理について説明する。

【０２０２】まず最初に、ステップＳ５１において、予
測係数の学習用にあらかじめ用意された分の学習用画像
がフレームメモリ４１に記憶され、ステップＳ５２に進
み、フレームメモリ４１に記憶された学習用画像のう
ち、まだ注目フレームとされていない、最も古いフレー
ムが、注目フレームとして選択され、ステップＳ５３に
進む。

【０２０３】ステップＳ５３では、予測タップ構成回路
４２は、注目フレームにおいて、ラスタスキャン順で、
まだ注目画素としていない画素を、注目画素として選択
して、ステップＳ５４に進む。ステップＳ５４では、予
測タップ構成回路４２は、注目画素の画素値の成分であ
るＲ値、Ｇ値、Ｂ値から、予測対象成分とするものを選
択する。

【０２０４】なお、上述したように、エンコーダ１およ
びデコーダ２において、Ｒ→Ｇ→Ｂの順番で、予測対象
成分が選択される場合には、学習装置においても、その
ような順番で、予測対象成分が選択される。

【０２０５】予測対象成分が選択されると、ステップＳ
５４からＳ５５に進み、予測タップ構成回路４２とクラ
スタップ構成回路４３において、フレームメモリ４１か
ら必要な成分が読み出されることにより、図６のステッ
プＳ１１における場合と同様にして、予測対象成分の予
測順序に基づいて、その予測対象成分について、予測タ
ップとクラスタップがそれぞれ構成される。そして、予
測タップは、正規方程式加算回路４５に供給され、クラ
スタップは、クラス分類回路４４に供給される。

【０２０６】クラス分類回路４４は、ステップＳ５６に
おいて、クラスタップ構成回路４３からのクラスタップ
に基づき、上述したようなADRC処理を行うことで、予測
対象成分をクラス分類し、その結果得られるクラスに対
応するクラスコードを、正規方程式加算回路４５に供給
して、ステップＳ５７に進む。

【０２０７】ステップＳ５７では、正規方程式加算回路
４５において、フレームメモリ３１から、注目画素の予
測対象成分となっている成分が読み出され、予測タップ
（を構成する成分）、および注目画素の予測対象成分を
用いて、式（８）の行列Ａとベクトルｖの、上述したよ
うな足し込みが、クラス分類回路４４からのクラスコー
ドごとに行われる。

【０２０８】そして、ステップＳ５８に進み、Ｒ値、Ｇ
値、Ｂ値のすべての成分を、予測対象成分として選択し
たかどうかが判定される。ステップＳ５８において、Ｒ
値、Ｇ値、Ｂ値のすべての成分を、まだ、予測対象成分
として選択していないと判定された場合、ステップＳ５
４に戻り、Ｒ値、Ｇ値、Ｂ値のうち、まだ、上述の固定
の順番で、予測対象成分として選択されていないもの
が、予測対象成分として新たに選択され、以下、同様の
処理が繰り返される。

【０２０９】また、ステップＳ５８において、Ｒ値、Ｇ
値、Ｂ値のすべての成分を、予測対象成分として選択し
たと判定された場合、ステップＳ５９に進み、注目フレ
ームのすべての画素を、注目画素として選択したかどう
かが判定される。ステップＳ５９おいて、注目フレーム
のすべての画素を、まだ、注目画素として選択していな
いと判定された場合、ステップＳ５３に戻り、まだ、ラ
スタスキャン順で、注目画素として選択されていない画
素が、注目画素として新たに選択され、以下、同様の処
理が繰り返される。

【０２１０】一方、ステップＳ５９において、注目フレ
ームのすべての画素を、注目画素として選択したと判定
された場合、ステップＳ６０に進み、注目フレームの次
のフレームの学習用画像が、フレームメモリ４１に記憶
されているかどうかが判定される。ステップＳ６０にお
いて、注目フレームの次のフレームが、フレームメモリ
４１に記憶されていると判定された場合、その、次のフ
レームが、新たに注目フレームとされる。そして、ステ
ップ５２に戻り、以下、同様の処理が繰り返される。

【０２１１】また、ステップＳ６０において、注目フレ
ームの次のフレームが、フレームメモリ４１に記憶され
ていないと判定された場合、即ち、フレームメモリ４１
に記憶された学習用画像を構成するすべての画素のすべ
ての成分を予測対象成分として、足し込みを行い、これ
により、正規方程式加算回路４５においてクラスごとの
正規方程式が得られた場合、ステップＳ６１に進み、予
測係数決定回路４６は、そのクラスごとに生成された正
規方程式を解くことにより、クラスごとの予測係数を求
め、メモリ４７の、各クラスに対応するアドレスに供給
する。メモリ４７は、予測係数決定回路４６から供給さ
れる予測係数を記憶し、学習処理を終了する。

【０２１２】ここで、図１４の学習処理によれば、注目
フレームの注目画素について、そのＲ値、Ｇ値、Ｂ値の
３成分すべてを処理してから、ラスタスキャン順で、次
の画素を、新たに注目画素として処理する場合に使用す
る予測係数が求められる。

【０２１３】なお、注目フレームのすべての画素につい
て、ある成分を処理してから、他の成分を処理する場合
に使用する予測係数は、図１４の学習処理において、ス
テップＳ５２とＳ５３の処理を入れ替えるとともに、ス
テップＳ５８とＳ５９の処理を入れ替えることで求める
ことができる。

【０２１４】次に、図１５は、エンコーダ１の他の構成
例を示している。なお、図中、図２における場合と対応
する部分については、同一の符号を付してあり、以下で
は、その説明は適宜省略する。即ち、図１５のエンコー
ダ１は、学習部５１、可変長符号化部５２、およびＭＵ
Ｘ（マルチプレクサ）５３が新たに設けられている他
は、図２における場合と基本的に同様に構成されてい
る。

【０２１５】学習部５１は、例えば、図１３の学習装置
と同様に構成され、フレームメモリ１１に記憶された画
像を学習用画像として、例えば、フレーム単位で、上述
したような学習処理を行うことで、フレームごとに予測
係数を求める。この予測係数は、予測部１２および可変
長符号化部５２に供給されるようになっている。

【０２１６】なお、学習部５１から予測部１２に供給さ
れる予測係数は、予測部１２において、そのメモリ２５
（図５）に記憶されてるようになっており、従って、予
測部１２では、学習部５１で求められた予測係数を用い
て、上述の予測処理が行われる。

【０２１７】可変長符号化部５２は、学習部５１から供
給される予測係数を可変長符号化し、ＭＵＸ５３に出力
する。ＭＵＸ５３は、可変長符号化部１４が出力する予
測残差の可変長符号化結果と、可変長符号化部５２が出
力する予測係数の可変長符号化結果とを多重化し、その
多重化結果を、符号化データとして出力する。

【０２１８】次に、図１６のフローチャートを参照し
て、図１５のエンコーダ１によるエンコード処理につい
て説明する。

【０２１９】フレームメモリ１１には、処理対象の画像
データが順次供給され、フレームメモリ１１では、その
画像データが、例えば、１フレーム単位で順次記憶され
る。

【０２２０】そして、学習部５１は、ステップＳ７１に
おいて、フレームメモリ１１に記憶された画像データの
うちの注目フレームを学習用画像として、学習処理を行
い、予測係数を求める。この予測係数は、予測部１２お
よび可変長符号化部５２に供給され、予測部１２では、
学習部５１からの予測係数が、メモリ２５（図５）にセ
ット（上書き）される。

【０２２１】そして、以下、ステップＳ７２乃至Ｓ７９
において、図３のステップＳ１乃至Ｓ８における場合と
それぞれ同様の処理が行われる。

【０２２２】但し、ステップＳ７４では、予測部１２に
おいて、学習部５１で求められた予測係数を用いて予測
処理が行われる。また、ステップＳ７８では、可変長符
号化部１４において、予測残差が可変長符号化される
他、可変長符号化部５２において、学習部５１で求めら
れた予測係数が可変長符号化される。さらに、ステップ
Ｓ７８では、ＭＵＸ５３において、可変長符号化部１４
が出力する予測残差の可変長符号化結果と、可変長符号
化部５２が出力する予測係数の可変長符号化結果とが多
重化され、その多重化結果が、符号化データとして出力
される。

【０２２３】従って、図１５のエンコーダ１において
は、符号化データのデータ量は、図２のエンコーダ１に
おける場合に比較して、予測係数の分だけ増加するが、
その予測係数は、実際に予測する画像を用いて求められ
るので、図２のエンコーダ１における場合に比較して、
予測部１２における予測精度を向上させることができ
る。

【０２２４】なお、上述の場合には、学習部５１におい
て、１フレームごとに、予測係数を求めるようにした
が、学習部５１では、その他、例えば、２フレーム等の
複数フレームごとに、予測係数を求めるようにすること
が可能である。

【０２２５】次に、図１７は、エンコーダ１が図１５に
示したように構成される場合のデコーダ２の構成例を示
している。なお、図中、図８における場合と対応する部
分については、同一の符号を付してあり、以下では、そ
の説明は、適宜省略する。即ち、図１７のデコーダ２
は、ＤＥＭＵＸ（デマルチプレクサ）６１および可変長
復号部６２が新たに設けられている他は、図８のデコー
ダ２と基本的に同様に構成されている。

【０２２６】ＤＥＭＵＸ６１は、符号化データを、予測
残差の可変長符号化結果と、予測係数の可変長符号化結
果とに分離し、予測残差の可変長符号化結果を可変長復
号部３１に供給するとともに、予測係数の可変長符号化
結果を可変長復号部６２に供給する。可変長復号部６２
は、ＤＥＭＵＸ６１からの予測係数の可変長符号化結果
を可変長復号することにより、元の予測係数に復号し、
予測部３５に供給する。

【０２２７】なお、可変長復号部６２から予測部３５に
供給される予測係数は、予測部３５において、そのメモ
リ２５（図５）に記憶されてるようになっており、従っ
て、予測部３５では、その予測係数を用いて、上述の予
測処理が行われる。

【０２２８】次に、図１８のフローチャートを参照し
て、図１７のデコーダ２によるデコード処理について説
明する。

【０２２９】図１７のデコーダ２では、ステップＳ８１
乃至Ｓ８９において、図９のステップＳ２１乃至Ｓ２９
における場合とそれぞれ同様の処理が行われる。

【０２３０】但し、ステップＳ８１では、可変長復号部
３１において、予測残差への可変長復号が行われる前
に、ＤＥＭＵＸ６１において、符号化データが、予測残
差の可変長符号化結果と、予測係数の可変長符号化結果
とに分離される。そして、可変長復号部３１において、
予測残差の可変長符号化結果が可変長復号される。さら
に、ステップＳ８１では、可変長復号部６２において、
ＤＥＭＵＸ６１からの予測係数の可変長符号化結果が可
変長復号され、その結果得られる予測係数が、予測部３
５に供給されて、メモリ２５（図５）に記憶（上書き）
される。

【０２３１】また、ステップＳ８４では、予測部３５に
おいて、上述したようにして可変長復号部６２から供給
される予測係数を用いて、予測処理が行われる。

【０２３２】次に、上述の場合においては、Ｒ値、Ｇ
値、Ｂ値を、固定の順番で処理（予測）するようにした
が、Ｒ値、Ｇ値、Ｂ値の予測順序は、例えば、画素ごと
等に動的に決めることが可能である。

【０２３３】即ち、例えば、注目フレームの注目画素に
ついて、そのＲ値、Ｇ値、Ｂ値の３成分すべてを処理し
てから、ラスタスキャン順で、次の画素を、新たに注目
画素として処理する場合についていえば、図４で説明し
たように、予測順序を、Ｒ→Ｇ→Ｂとすると、最初に予
測対象成分とされるＲ値については、その予測値を求め
るのに、注目画素の他の成分であるＧ値およびＢ値は用
いることができない。また、２番目に予測対象成分とさ
れるＧ値については、その予測値を求めるのに、注目画
素の他の成分であるＲ値とＢ値のうち、Ｂ値は用いるこ
とができないが、Ｒ値は用いることができる。さらに、
最後に予測対象成分とされるＢ値については、その予測
値を求めるのに、注目画素の他の成分であるＲ値および
Ｂ値の両方を用いることができる。

【０２３４】このように各成分の予測値を求めるのにあ
たって、予測順序により、注目画素の他の成分を、１つ
または２つ用いることができる成分（図４においては、
それぞれＧ値またはＢ値）と、まったく用いることので
きない成分（図４においては、Ｒ値）が生じる。

【０２３５】なお、注目フレームのすべての画素につい
て、ある成分を処理してから、他の成分を処理する場合
においても、図１０に示したように、各成分の予測値を
求めるのにあたって、予測順序により、他の１つまたは
２つの成分を用いることができる成分（図１０において
は、それぞれＧ値またはＢ値）と、他の成分をまったく
用いることのできない成分（図１０においては、Ｒ値）
が生じる。

【０２３６】しかしながら、画素によっては、Ｒ値の予
測値を注目画素の他の成分を用いずに求め、Ｇ値の予測
値を注目画素のＲ値を用いて求め、Ｂ値の予測値を注目
画素のＲ値およびＧ値を用いて求めるよりも、例えば、
Ｒ値の予測値を注目画素のＢ値およびＧ値を用いて求
め、Ｇ値の予測値を注目画素のＢ値を用いて求め、Ｂ値
の予測値を注目画素の他の成分を用いずに求めた方が、
画素のＲ値、Ｇ値、Ｂ値の予測値の全体の予測残差が小
さくなる場合がある。

【０２３７】そこで、予測順序を、例えば、画素ごと
に、その画素のＲ値、Ｇ値、Ｂ値の予測値の全体の予測
残差が最小になるように決定し、そのような予測順序で
予測を行うようにすることが可能である。

【０２３８】この場合、予測部１２（および３５）にお
いて、クラス分類適応処理により予測値を求めることと
すると、Ｒ値、Ｇ値、Ｂ値それぞれの予測に用いる予測
係数として、１２セットの予測係数が必要となる。

【０２３９】即ち、例えば、いま、図４に示したよう
に、注目画素の左、左上、上、右上にそれぞれ隣接する
４画素の各成分と、注目画素の各成分のうち、既に予測
値が求められているものとに基づいて、注目画素の予測
対象成分の予測値を求めることとすると、Ｒ値が、最初
の予測対象成分とされた場合には、図１９（Ａ）に示す
ように、注目画素の左、左上、上、右上にそれぞれ隣接
する４画素の各成分を用いて、予測対象成分であるＲ値
を予測するための予測係数が必要となる。

【０２４０】同様に、Ｇ値が、最初の予測対象成分とさ
れた場合には、図１９（Ｂ）に示すように、注目画素の
左、左上、上、右上にそれぞれ隣接する４画素の各成分
を用いて、予測対象成分であるＧ値を予測するための予
測係数が必要となり、また、Ｂ値が、最初の予測対象成
分とされた場合には、図１９（Ｃ）に示すように、注目
画素の左、左上、上、右上にそれぞれ隣接する４画素の
各成分を用いて、予測対象成分であるＢ値を予測するた
めの予測係数が必要となる。

【０２４１】さらに、Ｒ値が最初の予測対象成分とされ
た場合には、残りのＧ値またはＢ値のうちのいずれか
が、２番目の予測対象成分となる可能性がある。Ｒ値が
最初の予測対象成分と、Ｇ値が２番目の予測対象成分
と、それぞれされた場合には、図１９（Ｄ）に示すよう
に、注目画素の左、左上、上、右上にそれぞれ隣接する
４画素の各成分と、注目画素の各成分のうち、既に予測
値が求められているＲ値とを用いて、予測対象成分であ
るＧ値を予測するための予測係数が必要となる。また、
Ｒ値が最初の予測対象成分と、Ｂ値が２番目の予測対象
成分と、それぞれされた場合には、図１９（Ｇ）に示す
ように、注目画素の左、左上、上、右上にそれぞれ隣接
する４画素の各成分と、注目画素の各成分のうち、既に
予測値が求められているＲ値とを用いて、予測対象成分
であるＧ値を予測するための予測係数が必要となる。

【０２４２】Ｇ値が最初の予測対象成分とされた場合に
は、残りのＲ値またはＢ値のうちのいずれかが、２番目
の予測対象成分となる可能性がある。Ｇ値が最初の予測
対象成分と、Ｒ値が２番目の予測対象成分と、それぞれ
された場合には、図１９（Ｅ）に示すように、注目画素
の左、左上、上、右上にそれぞれ隣接する４画素の各成
分と、注目画素の各成分のうち、既に予測値が求められ
ているＧ値とを用いて、予測対象成分であるＲ値を予測
するための予測係数が必要となる。また、Ｇ値が最初の
予測対象成分と、Ｂ値が２番目の予測対象成分と、それ
ぞれされた場合には、図１９（Ｈ）に示すように、注目
画素の左、左上、上、右上にそれぞれ隣接する４画素の
各成分と、注目画素の各成分のうち、既に予測値が求め
られているＧ値とを用いて、予測対象成分であるＢ値を
予測するための予測係数が必要となる。

【０２４３】Ｂ値が最初の予測対象成分とされた場合に
は、残りのＲ値またはＧ値のうちのいずれかが、２番目
の予測対象成分となる可能性がある。Ｂ値が最初の予測
対象成分と、Ｒ値が２番目の予測対象成分と、それぞれ
された場合には、図１９（Ｆ）に示すように、注目画素
の左、左上、上、右上にそれぞれ隣接する４画素の各成
分と、注目画素の各成分のうち、既に予測値が求められ
ているＢ値とを用いて、予測対象成分であるＲ値を予測
するための予測係数が必要となる。また、Ｂ値が最初の
予測対象成分と、Ｇ値が２番目の予測対象成分と、それ
ぞれされた場合には、図１９（Ｉ）に示すように、注目
画素の左、左上、上、右上にそれぞれ隣接する４画素の
各成分と、注目画素の各成分のうち、既に予測値が求め
られているＢ値とを用いて、予測対象成分であるＧ値を
予測するための予測係数が必要となる。

【０２４４】そして、Ｒ値が最初の予測対象成分とさ
れ、Ｇ値が２番目の予測対象成分とされるか、または、
その逆に、Ｇ値が最初の予測対象成分とされ、Ｒ値が２
番目の予測対象成分とされた場合には、残りのＢ値が、
最後の予測対象成分となる。この場合には、図１９
（Ｈ）に示すように、注目画素の左、左上、上、右上に
それぞれ隣接する４画素の各成分と、注目画素の各成分
のうち、既に予測値が求められているＲ値およびＧ値を
用いて、予測対象成分であるＢ値を予測するための予測
係数が必要となる。

【０２４５】また、Ｒ値が最初の予測対象成分とされ、
Ｂ値が２番目の予測対象成分とされるか、または、その
逆に、Ｂ値が最初の予測対象成分とされ、Ｒ値が２番目
の予測対象成分とされた場合には、残りのＧ値が、最後
の予測対象成分となる。この場合には、図１９（Ｋ）に
示すように、注目画素の左、左上、上、右上にそれぞれ
隣接する４画素の各成分と、注目画素の各成分のうち、
既に予測値が求められているＲ値およびＢ値を用いて、
予測対象成分であるＧ値を予測するための予測係数が必
要となる。

【０２４６】さらに、Ｇ値が最初の予測対象成分とさ
れ、Ｂ値が２番目の予測対象成分とされるか、または、
その逆に、Ｂ値が最初の予測対象成分とされ、Ｇ値が２
番目の予測対象成分とされた場合には、残りのＲ値が、
最後の予測対象成分となる。この場合には、図１９
（Ｌ）に示すように、注目画素の左、左上、上、右上に
それぞれ隣接する４画素の各成分と、注目画素の各成分
のうち、既に予測値が求められているＧ値およびＢ値を
用いて、予測対象成分であるＲ値を予測するための予測
係数が必要となる。

【０２４７】以上のように、予測順序を、画素ごと等に
動的に決める場合には、最初の予測対象成分とされる成
分を予測するための３セットの予測係数（図１９（Ａ）
乃至図１９（Ｃ）、２番目に予測対象成分とされる成分
を予測するための６セットの予測係数（図１９（Ｄ）乃
至図１９（Ｉ））、および最後に予測対象成分とされる
成分を予測するための３セットの予測係数の、合計で１
２セットの予測係数が必要となる。

【０２４８】従って、図２のエンコーダ１および図８の
デコーダ２において、予測順序を、画素ごと等に動的に
決める場合には、図１３の学習装置において、上述の１
２セットの予測係数を、学習によってあらかじめ求めて
おき、予測部１２および３５（図５）のメモリ２５に、
その１２セットの予測係数を記憶させておく必要があ
る。

【０２４９】次に、図２０のフローチャートを参照し
て、予測順序を、画素ごとに動的に決める場合の図２の
エンコーダ１によるエンコード処理について説明する。

【０２５０】なお、ここでは、予測部１２は、図５に示
したように構成され、クラス分類適応処理によって、各
成分の予測値を求めることとする。また、予測部１２の
メモリ２５には、Ｒ値、Ｇ値、Ｂ値について、全通りの
予測順序、即ち、Ｒ→Ｇ→Ｂ，Ｒ→Ｂ→Ｇ，Ｇ→Ｒ→
Ｂ，Ｇ→Ｂ→Ｒ，Ｂ→Ｒ→Ｇ，Ｂ→Ｇ→Ｒの６通りの予
測順序すべてに対して、予測値を求めるための、上述し
た１２セットの予測係数が記憶されているものとする。

【０２５１】フレームメモリ１１には、処理対象の画像
データが順次供給され、フレームメモリ１１では、その
画像データが、例えば、１フレーム単位で順次記憶され
る。

【０２５２】そして、予測部１２は、フレームメモリ１
１に記憶された画像データのうちの最も古いフレームを
注目フレームとして、ステップＳ９１に進み、注目フレ
ームにおいて、ラスタスキャン順で、まだ注目画素とし
ていない画素を、注目画素として選択して、ステップＳ
９２に進む。

【０２５３】ステップＳ９２では、予測部１２は、注目
画素の画素値の成分であるＲ値、Ｇ値、Ｂ値の予測値
を、上述の１２セットの予測係数を用いることにより、
全通りの予測順序で求め、各予測順序のＲ値、Ｇ値、Ｂ
値の予測値を、残差演算部１３に出力して、ステップＳ
９３に進む。

【０２５４】ステップＳ９３では、残差演算部１３は、
注目画素の各成分の真値を、フレームメモリ１１から読
み出し、予測部１２からの予測値と比較することで、各
予測順序のＲ値、Ｇ値、Ｂ値の予測残差を求めて、ステ
ップＳ９４に進む。

【０２５５】ステップＳ９４では、残差演算部１３は、
各予測順序のＲ値、Ｇ値、Ｂ値の予測残差に基づいて、
各予測順序の総合的な残差を求める。即ち、残差演算部
１３は、例えば、各予測順序について、その予測順序で
求められたＲ値、Ｇ値、Ｂ値の予測残差の絶対値和を計
算し、それを、その予測順序の総合的な残差とする。

【０２５６】さらに、ステップＳ９４では、残差演算部
１３は、各予測順序について求められた総合的な残差の
うちの最小値を検出し、その最小値を与える予測順序で
求められたＲ値、Ｇ値、Ｂ値の予測残差を選択して、可
変長符号化部１４に供給する。

【０２５７】その後、ステップＳ９５に進み、注目フレ
ームのすべての画素を、注目画素として選択したかどう
かが判定される。ステップＳ９５において、注目フレー
ムのすべての画素を、まだ、注目画素として選択してい
ないと判定された場合、ステップＳ９１に戻り、まだ、
ラスタスキャン順で、注目画素として選択されていない
画素が、注目画素として新たに選択され、以下、同様の
処理が繰り返される。

【０２５８】一方、ステップＳ９５において、注目フレ
ームのすべての画素を、注目画素として選択したと判定
された場合、即ち、注目フレームのすべての画素のＲ
値、Ｇ値、Ｂ値について、上述の総合的な残差が最小と
なる予測残差が求められた場合、ステップＳ９６に進
み、可変長符号化部１４は、残差演算部１３から供給さ
れた、注目フレームの画素についての予測残差を可変長
符号化し、符号化データとして出力して、ステップＳ９
７に進む。

【０２５９】ステップＳ９７では、注目フレームの次の
フレームが、フレームメモリ１１に記憶されているかど
うかが判定され、記憶されていると判定された場合、そ
の、次のフレームが、新たに注目フレームとされる。そ
して、ステップＳ９１に戻り、以下、同様の処理が繰り
返される。

【０２６０】また、ステップＳ９７において、注目フレ
ームの次のフレームが、フレームメモリ１１に記憶され
ていないと判定された場合、処理（エンコード処理）を
終了する。

【０２６１】次に、図２１のフローチャートを参照し
て、図２のエンコーダ１において、図２０で説明したよ
うに、予測順序が、画素ごとに動的に決定されて予測が
行われる場合の図８のデコーダ２によるデコード処理に
ついて説明する。

【０２６２】なお、ここでは、予測部３５は、図５に示
したように構成され、クラス分類適応処理によって、各
成分の予測値を求めることとする。また、予測部３５の
メモリ２５には、Ｒ値、Ｇ値、Ｂ値について、全通りの
予測順序（上述のように６通り）に対して、予測値を求
めるための、上述した１２セットの予測係数が記憶され
ているものとする。

【０２６３】符号化データは、可変長復号部３１に供給
されて一時記憶される。そして、可変長復号部３１は、
ステップＳ１０１において、記憶した符号化データを可
変長復号し、予測残差でなる残差画像を得る。この残差
画像は、可変長復号部３１からフレームメモリ３２に供
給されて記憶される。

【０２６４】予測部３５は、フレームメモリ３２に残差
画像が記憶されたフレームを注目フレームとして、ステ
ップＳ１０２に進み、注目フレームにおいて、ラスタス
キャン順で、まだ注目画素としていない画素を、注目画
素として選択して、ステップＳ１０３に進む。

【０２６５】ステップＳ１０３では、予測部３５は、フ
レームメモリ３４に記憶された既に復号された画素値を
参照し、予測部１２における場合と同様に、注目画素の
画素値のＲ値、Ｇ値、Ｂ値の予測値を、上述の１２セッ
トの予測係数を用いることにより、全通りの予測順序で
求め、各予測順序のＲ値、Ｇ値、Ｂ値の予測値を、復号
部３３に出力して、ステップＳ１０４に進む。

【０２６６】ステップＳ１０４では、復号部３３は、注
目画素のＲ値、Ｇ値、Ｂ値の予測残差を、フレームメモ
リ３２から読み出し、その予測残差を、予測部３５から
の全通りの予測順序のＲ値、Ｇ値、Ｂ値の予測値に加算
することで、各予測順序について、Ｒ値、Ｇ値、Ｂ値の
復号値を得る。

【０２６７】そして、復号部３３は、ステップＳ１０５
に進み、注目画素の周辺の画素の、既に復号されている
画素値を、フレームメモリ３４から読み出し、各予測順
序について得られた注目画素のＲ値、Ｇ値、Ｂ値の復号
値との相関を演算する。さらに、復号部３３は、その相
関を最も高くする予測順序を、エンコーダ１において採
用された予測順序として検出し、その予測順序について
得られたＲ値、Ｇ値、Ｂ値の復号値を、注目画素の画素
値の最終的な復号結果として、フレームメモリ３４に供
給して記憶させる。

【０２６８】即ち、ここでは、復号部３３は、各予測順
序について得られた注目画素のＲ値、Ｇ値、Ｂ値の復号
値のうち、注目画素の周辺の画素との相関が最も高い予
測順序のＲ値、Ｇ値、Ｂ値の復号値を、注目画素の最終
的な復号結果とする。

【０２６９】そして、ステップＳ１０６に進み、注目フ
レームのすべての画素を、注目画素として選択したかど
うかが判定される。ステップＳ１０６において、注目フ
レームのすべての画素を、まだ、注目画素として選択し
ていないと判定された場合、ステップＳ１０２に戻り、
まだ、ラスタスキャン順で、注目画素として選択されて
いない画素が、注目画素として新たに選択され、以下、
同様の処理が繰り返される。

【０２７０】一方、ステップＳ１０６において、注目フ
レームのすべての画素を、注目画素として選択したと判
定された場合、即ち、注目フレームのすべての画素につ
いて、元の画素値の各成分が復号され、フレームメモリ
３４に記憶された場合、ステップＳ１０７に進み、その
フレームメモリ３４に記憶された各成分の画素値で構成
される復号画像が出力され、ステップＳ１０８に進む。

【０２７１】ステップＳ１０８では、注目フレームの次
のフレームについての符号化データが、可変長復号部３
１に記憶されているかどうかが判定され、記憶されてい
ると判定された場合、ステップＳ１０１に戻り、可変長
復号部３１において、その、次のフレームについての符
号化データが可変長復号され、以下、同様の処理が繰り
返される。

【０２７２】また、ステップＳ１０８において、注目フ
レームの次のフレームについての符号化データが、可変
長復号部３１に記憶されていないと判定された場合、処
理（デコード処理）を終了する。

【０２７３】次に、上述のように、予測順序を、画素ご
とに動的に決めて、予測値を求める方法は、図２のエン
コーダ１および図８のデコーダ２の他、図１５のエンコ
ーダ１および図１７のデコーダ２で採用することも可能
である。

【０２７４】そこで、図２２のフローチャートを参照し
て、予測順序を、画素ごとに動的に決める場合の図１５
のエンコーダ１によるエンコード処理について説明す
る。

【０２７５】フレームメモリ１１には、処理対象の画像
データが順次供給され、フレームメモリ１１では、その
画像データが、例えば、１フレーム単位で順次記憶され
る。

【０２７６】そして、学習部５１は、ステップＳ１１１
において、フレームメモリ１１に記憶された画像データ
のうちの注目フレームを学習用画像として、学習処理を
行い、Ｒ値、Ｇ値、Ｂ値について、全通りの予測順序
（ここでは、上述のように６通り）に対して予測値を求
めるための、上述した１２セットの予測係数を求める。
この１２セットの予測係数は、予測部１２および可変長
符号化部５２に供給され、予測部１２では、学習部５１
からの１２セットの予測係数が、メモリ２５（図５）に
セット（上書き）される。

【０２７７】そして、以下、ステップＳ１１２乃至Ｓ１
１８において、図２０のステップＳ９１乃至Ｓ９７にお
ける場合とそれぞれ同様の処理が行われる。

【０２７８】但し、ステップＳ１１７では、可変長符号
化部１４において、予測残差が可変長符号化される他、
可変長符号化部５２において、学習部５１で求められた
１２セットの予測係数のうち、ステップＳ１１５で、総
合的な残差の最小値を与える予測順序で予測を行うのに
必要なものだけが可変長符号化される。さらに、ステッ
プＳ１１７では、ＭＵＸ５３において、可変長符号化部
１４が出力する予測残差の可変長符号化結果と、可変長
符号化部５２が出力する予測係数の可変長符号化結果と
が多重化され、その多重化結果が、符号化データとして
出力される。

【０２７９】次に、図２３のフローチャートを参照し
て、図１５のエンコーダ１において、図２２で説明した
ように、予測順序が、画素ごとに動的に決定されて予測
が行われる場合の図１７のデコーダ２によるデコード処
理について説明する。

【０２８０】この場合、ステップＳ１２１乃至Ｓ１２８
において、図２１のステップＳ１０１乃至Ｓ１０８にお
ける場合とそれぞれ同様の処理が行われる。

【０２８１】但し、ステップＳ１２１では、可変長復号
部３１において、予測残差への可変長復号が行われる前
に、ＤＥＭＵＸ６１において、符号化データが、予測残
差の可変長符号化結果と、予測係数の可変長符号化結果
とに分離される。そして、可変長復号部３１において、
予測残差の可変長符号化結果が可変長復号される。さら
に、ステップＳ１２１では、可変長復号部６２におい
て、ＤＥＭＵＸ６１からの予測係数の可変長符号化結果
が可変長復号され、その結果得られる予測係数が、予測
部３５に供給されて、メモリ２５（図５）に記憶（上書
き）される。

【０２８２】なお、エンコーダ１で、予測順序を、画素
ごとに動的に決定し、予測を行う場合においては、デコ
ーダ２では、上述の６通りの予測順序のうち、いずれの
予測順序がエンコーダ１で採用されたかを認識すること
ができないため、すべての予測順序について、Ｒ値、Ｇ
値、Ｂ値の復号値を求め、そのすべての予測順序につい
てのＲ値、Ｇ値、Ｂ値の復号値のうち、注目画素の周辺
の画素との相関が最も高い予測順序のＲ値、Ｇ値、Ｂ値
の復号値を、注目画素の最終的な復号結果とするように
したが、エンコーダ１からデコーダ２に提供する符号化
データには、エンコーダ１で採用された予測順序を表す
予測順序情報を含めるようにすることが可能である。

【０２８３】この場合、デコーダ２では、符号化データ
に含まれる予測順序情報によって、エンコーダ１で採用
された予測順序を認識することができる。

【０２８４】但し、ここでは、予測順序は、６通りであ
るから、予測順序情報としては、少なくとも３ビットが
必要となる。従って、予測順序を、画素ごとに動的に決
定する場合には、各画素について、３ビットの予測順序
情報が必要となり、符号化データのデータ量が増加する
こととなる。そこで、予測順序の動的な決定は、幾つか
の画素で構成される画素ブロックごとに行うようにする
ことが可能である。この場合、予測順序情報は、画素ブ
ロックごとにあれば良く、符号化データのデータ量の増
加を低減することができる。

【０２８５】次に、上述した一連の処理は、ハードウェ
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
汎用のコンピュータ等にインストールされる。

【０２８６】そこで、図２４は、上述した一連の処理を
実行するプログラムがインストールされるコンピュータ
の一実施の形態の構成例を示している。

【０２８７】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク１０５やＲＯＭ１
０３に予め記録しておくことができる。

【０２８８】あるいはまた、プログラムは、フロッピー
（登録商標）ディスク、CD-ROM(Compact Disc Read Onl
y Memory)，MO(Magneto optical)ディスク，DVD(Digita
l Versatile Disc)、磁気ディスク、半導体メモリなど
のリムーバブル記録媒体１１１に、一時的あるいは永続
的に格納（記録）しておくことができる。このようなリ
ムーバブル記録媒体１１１は、いわゆるパッケージソフ
トウエアとして提供することができる。

【０２８９】なお、プログラムは、上述したようなリム
ーバブル記録媒体１１１からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN(Local Area Network)、インターネットとい
ったネットワークを介して、コンピュータに有線で転送
し、コンピュータでは、そのようにして転送されてくる
プログラムを、通信部１０８で受信し、内蔵するハード
ディスク１０５にインストールすることができる。

【０２９０】コンピュータは、CPU(Central Processing
Unit)１０２を内蔵している。CPU１０２には、バス１
０１を介して、入出力インタフェース１１０が接続され
ており、CPU１０２は、入出力インタフェース１１０を
介して、ユーザによって、キーボードや、マウス、マイ
ク等で構成される入力部１０７が操作等されることによ
り指令が入力されると、それにしたがって、ROM(Read O
nly Memory)１０３に格納されているプログラムを実行
する。あるいは、また、CPU１０２は、ハードディスク
１０５に格納されているプログラム、衛星若しくはネッ
トワークから転送され、通信部１０８で受信されてハー
ドディスク１０５にインストールされたプログラム、ま
たはドライブ１０９に装着されたリムーバブル記録媒体
１１１から読み出されてハードディスク１０５にインス
トールされたプログラムを、RAM(Random Access Memor
y)１０４にロードして実行する。これにより、CPU１０
２は、上述したフローチャートにしたがった処理、ある
いは上述したブロック図の構成により行われる処理を行
う。そして、CPU１０２は、その処理結果を、必要に応
じて、例えば、入出力インタフェース１１０を介して、
LCD(Liquid CryStal Display)やスピーカ等で構成され
る出力部１０６から出力、あるいは、通信部１０８から
送信、さらには、ハードディスク１０５に記録等させ
る。

【０２９１】ここで、本明細書において、コンピュータ
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理（例えば、並列処理あるい
はオブジェクトによる処理）も含むものである。

【０２９２】また、プログラムは、１のコンピュータに
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。

【０２９３】なお、本実施の形態においては、画素値の
各成分の予測を、クラス分類適応処理によって行うよう
にしたが、予測方法は、これに限定されるものではな
い。さらに、クラス分類適応処理においては、線形１次
予測ではなく、２次以上の高次の予測を行うことが可能
である。

【０２９４】また、本実施の形態では、ＲＧＢの画像を
対象とするようにしたが、本発明は、その他、例えば、
ＹＵＶや、Ｌａｂ等の複数の成分（コンポーネント）を
有する画像に適用可能である。

【０２９５】さらに、図４で説明したような、注目フレ
ームの注目画素について、そのＲ値、Ｇ値、Ｂ値の３成
分すべてを処理してから、ラスタスキャン順で、次の画
素を、新たに注目画素として処理する方法と、図１０で
説明したような、注目フレームのすべての画素につい
て、ある成分を処理してから、他の成分を処理する方法
とは、例えば、フレームごと等に動的に選択することが
可能である。但し、この場合、デコーダ２において、エ
ンコーダ１が図４と図１０のうちのいずれの方法を採用
したかを認識するための、少なくとも１ビットの情報
を、フレームごとの符号化データに含める必要がある。

【０２９６】また、図１の画像伝送システムを、例え
ば、記録再生装置などの、エンコーダ１とデコーダ２が
同一筐体中に設けられる装置に適用する場合には、エン
コーダ１の予測部１２と、デコーダ２の予測部３５と
は、兼用にすることが可能である。

【０２９７】

【発明の効果】本発明の第１の画像処理装置および画像
処理方法、並びに記録媒体によれば、注目している注目
画素を含む１以上の画素の画素値の各成分のうち、既に
処理されたものが選択され、その選択された画素値の成
分に基づいて、注目画素の画素値の、まだ処理されてい
ない成分である未処理成分の予測値が求められる。従っ
て、精度の良い予測値を求めることが可能となる。

【０２９８】本発明の第２の画像処理装置および画像処
理方法、並びに記録媒体によれば、注目している注目画
素を含む１以上の画素の画素値の各成分のうち、既に処
理されたものが選択され、その選択された画素値の成分
に基づいて、注目画素の画素値の、まだ処理されていな
い成分である未処理成分の予測値が求められる。そし
て、その未処理成分の予測値と、その予測残差とから、
元の成分が復号される。従って、精度の良い予測値を求
めて、元の成分を復号することが可能となる。

【０２９９】本発明の第３の画像処理装置および画像処
理方法、並びに記録媒体によれば、学習用の画像から、
注目している注目画素を含む１以上の画素の画素値の各
成分のうち、先に予測されるものが選択され、その選択
された画素値の成分と、後に予測される成分とに基づい
て、予測係数が求められる。従って、精度の良い予測値
を求めるための予測係数を得ることが可能となる。

【０３００】本発明の第４の画像処理装置においては、
注目している第１の注目画素を含む１以上の画素の画素
値の各成分のうち、既に予測残差が求められたものが選
択され、その選択された画素値の成分に基づいて、第１
の注目画素の画素値の、まだ予測残差が求められていな
い成分である未処理成分の予測値が求められる。そし
て、その予測値の予測残差が求められる。一方、注目し
ている第２の注目画素を含む１以上の画素の画素値の各
成分のうち、既に復号されたものが選択され、その選択
された画素値の成分に基づいて、第２の注目画素の画素
値の、まだ復号されていない成分である未復号成分の予
測値が求められる。そして、その未復号成分の予測値
と、その予測残差とから、元の成分が復号される。従っ
て、精度の良い予測値を求めて、処理を行うことが可能
となる。

【図面の簡単な説明】

【図１】本発明を適用した画像伝送システムの一実施の
形態の構成例を示すブロック図である。

【図２】エンコーダ１の構成例を示すブロック図であ
る。

【図３】エンコーダ１による第１のエンコード処理を説
明するためのフローチャートである。

【図４】画素値の各成分の予測順序と、その予測順序に
よって予測に用いることのできる成分を説明するための
図である。

【図５】予測部１２および３５の構成例を示すブロック
図である。

【図６】図５の予測部１２および３５による予測処理を
説明するためのフローチャートである。

【図７】シミュレーション結果を示す図である。

【図８】デコーダ２の構成例を示すブロック図である。

【図９】デコーダ２による第１のデコード処理を説明す
るためのフローチャートである。

【図１０】画素値の各成分の予測順序と、その予測順序
によって予測に用いることのできる成分を説明するため
の図である。

【図１１】エンコーダ１による第２のエンコード処理を
説明するためのフローチャートである。

【図１２】デコーダ２による第２のデコード処理を説明
するためのフローチャートである。

【図１３】予測係数を求める学習を行う学習装置の一実
施の形態の構成例を示すブロック図である。

【図１４】学習装置による学習処理を説明するためのフ
ローチャートである。

【図１５】エンコーダ１の他の構成例を示すブロック図
である。

【図１６】エンコーダ１による第３のエンコード処理を
説明するためのフローチャートである。

【図１７】デコーダ２の他の構成例を示すブロック図で
ある。

【図１８】デコーダ２による第３のデコード処理を説明
するためのフローチャートである。

【図１９】Ｒ，Ｇ，Ｂについて全通りの順序で予測を行
うときに必要となる予測係数を説明するための図であ
る。

【図２０】エンコーダ１による第４のエンコード処理を
説明するためのフローチャートである。

【図２１】デコーダ２による第４のデコード処理を説明
するためのフローチャートである。

【図２２】エンコーダ１による第５のエンコード処理を
説明するためのフローチャートである。

【図２３】デコーダ２による第５のデコード処理を説明
するためのフローチャートである。

【図２４】本発明を適用したコンピュータの一実施の形
態の構成例を示すブロック図である。

【符号の説明】

１ エンコーダ， ２ デコーダ， ３ 記録媒体，
４ 伝送媒体， １１フレームメモリ， １２ 予測
部， １３ 残差演算部， １４ 可変長符号化部，
２２ 予測タップ構成回路， ２３ クラスタップ構成
回路， ２４クラス分類回路， ２５ メモリ， ２６
予測演算回路， ３１ 可変長復号部， ３２ フレ
ームメモリ， ３３ 復号部， ３４ フレームメモ
リ， ３５ 予測部， ４１ フレームメモリ， ４２
予測タップ構成回路， ４３クラスタップ構成回路，
４４ クラス分類回路， ４５ 正規方程式加算回
路， ４６ 予測係数決定回路， ４７ メモリ， ５
１ 学習部， ５２ 可変長符号化部， ５３ ＭＵ
Ｘ， ６１ ＤＥＭＵＸ， ６２ 可変長復号部，１０
１ バス， １０２ CPU， １０３ ROM， １０４
RAM， １０５ ハードディスク， １０６ 出力部，
１０７ 入力部， １０８ 通信部， １０９ ドラ
イブ， １１０ 入出力インタフェース， １１１ リ
ムーバブル記録媒体

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C057 AA06 EA01 ED06 EL01 EM02 GG01 5C059 MA04 MA19 MC11 MC38 ME02 PP15 SS06 SS08 SS11 SS13 SS20 TA29 TB10 TC03 TD05 TD14 UA02 UA33 5C078 AA09 BA36 CA00 9A001 GG03 HH05 HH23 HH27 JZ25 KK12

Claims (51)

【特許請求の範囲】
1. 【請求項１】 複数の成分からなる画素値を有する画素
   で構成される画像を処理する画像処理装置であって、 注目している注目画素を含む１以上の画素の画素値の各
   成分のうち、既に処理されたものを選択する選択手段
   と、 前記選択手段において選択された画素値の成分に基づい
   て、前記注目画素の画素値の、まだ処理されていない成
   分である未処理成分の予測値を求める予測手段とを備え
   ることを特徴とする画像処理装置。
2. 【請求項２】 前記予測値の予測残差を求める残差演算
   手段をさらに備えることを特徴とする請求項１に記載の
   画像処理装置。
3. 【請求項３】 前記予測残差を圧縮する圧縮手段をさら
   に備えることを特徴とする請求項２に記載の画像処理装
   置。
4. 【請求項４】 前記予測手段は、前記選択手段において
   選択された画素値の成分と、所定の予測係数とに基づい
   て、前記未処理成分の予測値を求めることを特徴とする
   請求項１に記載の画像処理装置。
5. 【請求項５】 前記予測手段は、前記選択手段において
   選択された画素値の成分と、所定の予測係数とを用いて
   線形１次予測を行うことにより、前記未処理成分の予測
   値を求めることを特徴とする請求項４に記載の画像処理
   装置。
6. 【請求項６】 前記予測手段は、前記未処理成分を、複
   数のクラスのうちのいずれかにクラス分類するクラス分
   類手段を有し、 前記選択手段において選択された画素値の成分と、前記
   未処理成分のクラスに対応する前記予測係数とに基づい
   て、前記未処理成分の予測値を求めることを特徴とする
   請求項４に記載の画像処理装置。
7. 【請求項７】 前記予測値の予測残差を求める残差演算
   手段と、 前記予測残差を圧縮する圧縮手段とをさらに備えること
   を特徴とする請求項４に記載の画像処理装置。
8. 【請求項８】 前記圧縮手段は、前記予測残差の他、前
   記予測係数も圧縮することを特徴とする請求項７に記載
   の画像処理装置。
9. 【請求項９】 前記予測係数を記憶している記憶手段を
   さらに備えることを特徴とする請求項４に記載の画像処
   理装置。
10. 【請求項１０】 前記画像を用いて、前記予測係数を求
    める予測係数演算手段をさらに備えることを特徴とする
    請求項４に記載の画像処理装置。
11. 【請求項１１】 前記予測手段は、前記注目画素の画素
    値の複数の成分それぞれの予測値を、所定の順番で求め
    ることを特徴とする請求項１に記載の画像処理装置。
12. 【請求項１２】 前記予測手段は、前記注目画素の画素
    値の複数の成分それぞれの予測値を、あらかじめ定めら
    れた固定の順番で求めることを特徴とする請求項１１に
    記載の画像処理装置。
13. 【請求項１３】 前記予測手段は、前記選択手段におい
    て選択された画素値の成分と、所定の予測係数とに基づ
    いて、前記注目画素の複数の成分それぞれの予測値を求
    めることを特徴とする請求項１２に記載の画像処理装
    置。
14. 【請求項１４】 前記注目画素の画素値の複数の成分そ
    れぞれの予測値を、前記固定の順番で求めるための前記
    予測係数を記憶している記憶手段をさらに備えることを
    特徴とする請求項１３に記載の画像処理装置。
15. 【請求項１５】 前記注目画素の画素値の複数の成分そ
    れぞれの予測値を、前記固定の順番で求めるための前記
    予測係数を、前記画像を用いて求める予測係数演算手段
    をさらに備えることを特徴とする請求項１３に記載の画
    像処理装置。
16. 【請求項１６】 前記予測手段は、前記注目画素の画素
    値の複数の成分それぞれの予測値を求める順番を、その
    予測値の予測残差に基づいて決定することを特徴とする
    請求項１１に記載の画像処理装置。
17. 【請求項１７】 前記予測手段は、前記注目画素の画素
    値の複数の成分それぞれの予測値を求める順番を、その
    予測値の予測残差が小さくなるように決定することを特
    徴とする請求項１６に記載の画像処理装置。
18. 【請求項１８】 前記予測手段は、前記選択手段におい
    て選択された画素値の成分と、所定の予測係数とに基づ
    いて、前記注目画素の複数の成分それぞれの予測値を求
    めることを特徴とする請求項１６に記載の画像処理装
    置。
19. 【請求項１９】 前記注目画素の画素値の複数の成分そ
    れぞれの予測値を、すべての順番で求めるための前記予
    測係数を記憶している記憶手段をさらに備えることを特
    徴とする請求項１８に記載の画像処理装置。
20. 【請求項２０】 前記注目画素の画素値の複数の成分そ
    れぞれの予測値を、すべての順番で求めるための前記予
    測係数を、前記画像を用いて求める予測係数演算手段を
    さらに備えることを特徴とする請求項１８に記載の画像
    処理装置。
21. 【請求項２１】 複数の成分からなる画素値を有する画
    素で構成される画像を処理する画像処理方法であって、 注目している注目画素を含む１以上の画素の画素値の各
    成分のうち、既に処理されたものを選択する選択ステッ
    プと、 前記選択ステップにおいて選択された画素値の成分に基
    づいて、前記注目画素の画素値の、まだ処理されていな
    い成分である未処理成分の予測値を求める予測ステップ
    とを備えることを特徴とする画像処理方法。
22. 【請求項２２】 複数の成分からなる画素値を有する画
    素で構成される画像を処理する画像処理を、コンピュー
    タに行わせるプログラムが記録されている記録媒体であ
    って、 注目している注目画素を含む１以上の画素の画素値の各
    成分のうち、既に処理されたものを選択する選択ステッ
    プと、 前記選択ステップにおいて選択された画素値の成分に基
    づいて、前記注目画素の画素値の、まだ処理されていな
    い成分である未処理成分の予測値を求める予測ステップ
    とを備えるプログラムが記録されていることを特徴とす
    る記録媒体。
23. 【請求項２３】 複数の成分からなる画素値を有する画
    素で構成される画像から得られた前記複数の成分それぞ
    れの予測値の予測残差を処理する画像処理装置であっ
    て、 注目している注目画素を含む１以上の画素の画素値の各
    成分のうち、既に処理されたものを選択する選択手段
    と、 前記選択手段において選択された画素値の成分に基づい
    て、前記注目画素の画素値の、まだ処理されていない成
    分である未処理成分の予測値を求める予測手段と、 前記未処理成分の予測値と、その予測残差とから、元の
    成分を復号する復号手段とを備えることを特徴とする画
    像処理装置。
24. 【請求項２４】 前記予測残差が圧縮されており、 圧縮されている前記予測残差を伸張する伸張手段をさら
    に備えることを特徴とする請求項２３に記載の画像処理
    装置。
25. 【請求項２５】 前記予測手段は、前記選択手段におい
    て選択された画素値の成分と、所定の予測係数とに基づ
    いて、前記未処理成分の予測値を求めることを特徴とす
    る請求項２３に記載の画像処理装置。
26. 【請求項２６】 前記予測手段は、前記選択手段におい
    て選択された画素値の成分と、所定の予測係数とを用い
    て線形１次予測を行うことにより、前記未処理成分の予
    測値を求めることを特徴とする請求項２５に記載の画像
    処理装置。
27. 【請求項２７】 前記予測手段は、 前記未処理成分を、複数のクラスのうちのいずれかにク
    ラス分類するクラス分類手段を有し、 前記選択手段において選択された画素値の成分と、前記
    未処理成分のクラスに対応する前記予測係数とに基づい
    て、前記未処理成分の予測値を求めることを特徴とする
    請求項２５に記載の画像処理装置。
28. 【請求項２８】 前記予測残差と予測係数は、圧縮され
    ており、 圧縮されている前記予測残差と予測係数を伸張する伸張
    手段をさらに備えることを特徴とする請求項２５に記載
    の画像処理装置。
29. 【請求項２９】 前記予測係数を記憶している記憶手段
    をさらに備えることを特徴とする請求項２５に記載の画
    像処理装置。
30. 【請求項３０】 前記予測係数を取得する取得手段をさ
    らに備えることを特徴とする請求項２５に記載の画像処
    理装置。
31. 【請求項３１】 前記予測手段は、前記注目画素の画素
    値の複数の成分それぞれの予測値を、所定の順番で求め
    ることを特徴とする請求項２３に記載の画像処理装置。
32. 【請求項３２】 前記予測手段は、前記注目画素の画素
    値の複数の成分それぞれの予測値を、あらかじめ定めら
    れた固定の順番で求めることを特徴とする請求項３１に
    記載の画像処理装置。
33. 【請求項３３】 前記予測手段は、前記選択手段におい
    て選択された画素値の成分と、所定の予測係数とに基づ
    いて、前記注目画素の複数の成分それぞれの予測値を求
    めることを特徴とする請求項３２に記載の画像処理装
    置。
34. 【請求項３４】 前記注目画素の画素値の複数の成分そ
    れぞれの予測値を、前記固定の順番で求めるための前記
    予測係数を記憶している記憶手段をさらに備えることを
    特徴とする請求項３３に記載の画像処理装置。
35. 【請求項３５】 前記注目画素の画素値の複数の成分そ
    れぞれの予測値を、前記固定の順番で求めるための前記
    予測係数を取得する取得手段をさらに備えることを特徴
    とする請求項３３に記載の画像処理装置。
36. 【請求項３６】 前記予測手段は、前記注目画素の画素
    値の複数の成分それぞれの予測値を求める順番を、前記
    注目画素の周辺の画素との相関に基づいて決定すること
    を特徴とする請求項３１に記載の画像処理装置。
37. 【請求項３７】 前記予測手段は、前記選択手段におい
    て選択された画素値の成分と、所定の予測係数とに基づ
    いて、前記注目画素の複数の成分それぞれの予測値を求
    めることを特徴とする請求項３６に記載の画像処理装
    置。
38. 【請求項３８】 前記注目画素の画素値の複数の成分そ
    れぞれの予測値を、すべての順番で求めるための前記予
    測係数を記憶している記憶手段をさらに備えることを特
    徴とする請求項３７に記載の画像処理装置。
39. 【請求項３９】 前記注目画素の画素値の複数の成分そ
    れぞれの予測値を、すべての順番で求めるための前記予
    測係数を取得する取得手段をさらに備えることを特徴と
    する請求項３７に記載の画像処理装置。
40. 【請求項４０】 複数の成分からなる画素値を有する画
    素で構成される画像から得られた前記複数の成分それぞ
    れの予測値の予測残差を処理する画像処理方法であっ
    て、 注目している注目画素を含む１以上の画素の画素値の各
    成分のうち、既に処理されたものを選択する選択ステッ
    プと、 前記選択ステップにおいて選択された画素値の成分に基
    づいて、前記注目画素の画素値の、まだ処理されていな
    い成分である未処理成分の予測値を求める予測ステップ
    と、 前記未処理成分の予測値と、その予測残差とから、元の
    成分を復号する復号手段とを備えることを特徴とする画
    像処理方法。
41. 【請求項４１】 複数の成分からなる画素値を有する画
    素で構成される画像から得られた前記複数の成分それぞ
    れの予測値の予測残差を処理する画像処理を、コンピュ
    ータに行わせるプログラムが記録されている記録媒体で
    あって、 注目している注目画素を含む１以上の画素の画素値の各
    成分のうち、既に処理されたものを選択する選択ステッ
    プと、 前記選択ステップにおいて選択された画素値の成分に基
    づいて、前記注目画素の画素値の、まだ処理されていな
    い成分である未処理成分の予測値を求める予測ステップ
    と、 前記未処理成分の予測値と、その予測残差とから、元の
    成分を復号する復号手段とを備えるプログラムが記録さ
    れていることを特徴とする記録媒体。
42. 【請求項４２】 複数の成分からなる画素値を有する画
    素で構成される画像の前記複数の成分それぞれの予測値
    を予測するときに用いられる予測係数の学習を行う画像
    処理装置であって、 学習用の画像から、注目している注目画素を含む１以上
    の画素の画素値の各成分のうち、先に予測されるものを
    選択する選択手段と、 前記選択手段において選択された画素値の成分と、後に
    予測される成分とに基づいて、前記予測係数を求める予
    測係数演算手段とを備えることを特徴とする画像処理装
    置。
43. 【請求項４３】 前記予測係数演算手段は、前記選択手
    段において選択された画素値の成分から、後に予測され
    る成分を線形１次予測するのに用いられる前記予測係数
    を求めることを特徴とする請求項４２に記載の画像処理
    装置。
44. 【請求項４４】 後に予測される成分を、複数のクラス
    のうちのいずれかにクラス分類するクラス分類手段をさ
    らに備え、 前記予測係数演算手段は、前記クラスごとの予測係数を
    求めることを特徴とする請求項４２に記載の画像処理装
    置。
45. 【請求項４５】 前記予測係数演算手段は、画素値の複
    数の成分それぞれの予測値を、所定の順番で求めるため
    の前記予測係数を求めることを特徴とする請求項４２に
    記載の画像処理装置。
46. 【請求項４６】 前記予測係数演算手段は、画素値の複
    数の成分それぞれの予測値を、あらかじめ定められた固
    定の順番で求めるための前記予測係数を求めることを特
    徴とする請求項４５に記載の画像処理装置。
47. 【請求項４７】 前記予測係数演算手段は、画素値の複
    数の成分それぞれの予測値を、任意の順番で求めるため
    の前記予測係数を求めることを特徴とする請求項４５に
    記載の画像処理装置。
48. 【請求項４８】 前記学習用の画像として、予測値を求
    める対象の画像を用いることを特徴とする請求項４２に
    記載の画像処理装置。
49. 【請求項４９】 複数の成分からなる画素値を有する画
    素で構成される画像の前記複数の成分それぞれの予測値
    を予測するときに用いられる予測係数の学習を行う画像
    処理方法であって、 学習用の画像から、注目している注目画素を含む１以上
    の画素の画素値の各成分のうち、先に予測されるものを
    選択する選択ステップと、 前記選択ステップにおいて選択された画素値の成分と、
    後に予測される成分とに基づいて、前記予測係数を求め
    る予測係数演算ステップとを備えることを特徴とする画
    像処理方法。
50. 【請求項５０】 複数の成分からなる画素値を有する画
    素で構成される画像の前記複数の成分それぞれの予測値
    を予測するときに用いられる予測係数の学習を行う画像
    処理を、コンピュータに行わせるプログラムが記録され
    ている記録媒体であって、 学習用の画像から、注目している注目画素を含む１以上
    の画素の画素値の各成分のうち、先に予測されるものを
    選択する選択ステップと、 前記選択ステップにおいて選択された画素値の成分と、
    後に予測される成分とに基づいて、前記予測係数を求め
    る予測係数演算ステップとを備えるプログラムが記録さ
    れていることを特徴とする記録媒体。
51. 【請求項５１】 複数の成分からなる画素値を有する画
    素で構成される画像を処理する画像処理装置であって、 注目している第１の注目画素を含む１以上の画素の画素
    値の各成分のうち、既に予測残差が求められたものを選
    択する第１の選択手段と、 前記第１の選択手段において選択された画素値の成分に
    基づいて、前記第１の注目画素の画素値の、まだ予測残
    差が求められていない成分である未処理成分の予測値を
    求める第１の予測手段と、 前記予測値の予測残差を求める残差演算手段と、 注目している第２の注目画素を含む１以上の画素の画素
    値の各成分のうち、既に復号されたものを選択する第２
    の選択手段と、 前記第２の選択手段において選択された画素値の成分に
    基づいて、前記第２の注目画素の画素値の、まだ復号さ
    れていない成分である未復号成分の予測値を求める第２
    の予測手段と、 前記未復号成分の予測値と、その予測残差とから、元の
    成分を復号する復号手段とを備えることを特徴とする画
    像処理装置。