WO2000018132A1

WO2000018132A1 - Data converting device and method and recorded medium

Info

Publication number: WO2000018132A1
Application number: PCT/JP1999/005084
Authority: WO
Inventors: Tetsujiro Kondo; Kenji Takahashi; Naoki Kobayashi; Yoshinori Watanabe
Original assignee: Sony Corporation
Priority date: 1998-09-18
Filing date: 1999-09-17
Publication date: 2000-03-30
Also published as: JP4345231B2; KR20010032172A; DE69931597D1; DE69931597T2; US6385249B1; EP1033884A4; KR100716691B1; EP1033884A1; EP1033884B1

Description

明細書

データ変換装置および方法、並びに記録媒体

技術分野

この発明は、データ変換装置および方法、並びに記録媒体に関し、特に、原画像とほぼ同一の画像を復元できる圧縮画像を生成するデ_一夕変換装置および方法、並びに記録媒体に関する。

背景技術

本願発明者によって、特開平 1 0— 9 3 9 8 0号公報に開示されているように、低解像度の画像を用いて、高解像度の画像を生成する技術が提案されており、高解像度の原画像を縮小した低解像度画像を用いて原画像とほぼ同一の高解像度画像を復元することができるとされている。この提案においては、例えば第 1図に示すように、低解像度画像（上位階層画像）の注目画素 I に対応する位置の高解像度画像（復元画像）の画素 i を中心とする 3 X 3個の画素 a乃至 iの画素値を、その近傍に位置する低解像度画像の複数の画素（例えば、 3 X 3個の画素 A乃至 I ) と所定の予測係数との線形 1次結合等を演算することにより求めている。さらに、その復元画像の画素値と原画像の画素値との誤差を演算し、その結果に対応して低解像度画像の画素値、または予測係数の更新を繰り返している。

ところで、上述したように、低解像度画像の画素値、または予測係数の更新を繰り返す方法は、復元画像の画素値と原画像の画素値との誤差を徐々に小さくしているものの、その誤差の減少速度は遅く、誤差を所望の閾値よりも小さくするためには低解像度画像の画素値、または予測係数の更新を数多く繰り返さなければならない問題があつたしたがって、この発明の目的は、低解像度画像の画素値および予測 W /18132 係数の更新後、非線形処理を行うことにより、原画像に復元できる圧縮画像を少ない演算回数で生成できるようにするものである。

発明の開示

請求項 1の発明は、第 1の画像デ一夕を、第 1の画像デ一夕より低質な第 2の画像データに変換する画像データ変換装置において、第 1の画像データから第 2の画像データとほぼ同質な中間画像デ一夕を生成する中間画像データ生成部と、

中間画像データを記憶する記憶部と、

記憶部に記憶された中間画像データと予測係数とに基づいて第 1の画像データとほぼ同質な予測画像データを生成する予測画像データ生成部と、

第 1の画像データと予測画像データの誤差を検出する誤差検出部と誤差検出部で検出された誤差の変化量が第 1の閾値以上か否かを判定する第 1の判定部と、

誤差検出部で検出された誤差が第 2の閾値以上か否かを判定する第 2の判定部と、

第 1の判定部が、誤差の変化量が第 1の閾値以上であると判定した時に、記憶部に記憶されている中間画像データの画素値に対して第 1 の入力画像データに基づいて第 1の調整処理を行ない、

第 1の判定部が、誤差の変化量が閾値未満と判定し、第 2の判定部が誤差が第 2の閾値以上であると判定した時に、記憶部に記憶されている中間画像データの画素値に対して非線形な変化量での第 2の調整処理を行ない、

第 2の判定部が、誤差が第 2の閾値未満であると判定した時に、記憶部に記憶されている中間画像デ一夕を第 2の画像データとして決定する調整部と

を備えることを特徴とする画像データ変換装置である。

請求項 8の発明は、第 1の画像データを、第 1の画像データより低質な第 2の画像データに変換する画像デ一夕変換方法において、第 1の画像デ一夕から第 2の画像データとほぼ同質な中間画像デー夕を生成するステツプと、

中間画像データを記憶するステップと、

記憶された中間画像デ一夕と予測係数とに基づいて第 1の画像デー夕とほぼ同質な予測画像デ一夕を生成するステップと、

第 1の画像デ一夕と予測画像データの誤差を検出するステツプと、検出された誤差の変化量が第 1の閾値以上か否かを判定するステツプと、

検出された誤差が第 2の閾値以上か否かを判定するステップと、誤差の変化量が第 1の閾値以上であると判定された時に、記憶されている中間画像データの画素値に対して第 1の画像データに基づいて第 1の調整処理を行なうステップと、

誤差の変化量が閾値未満と判定され、誤差が第 2の閾値以上であると判定された時に、記憶されている中間画像デ一夕の画素値に対して非線形な変化量での第 2の調整処理を行なうステップと、

誤差が第 2の閾値未満であると判定された時に、記憶されている中間画像データを第 2の画像データとして決定するステツプとを備えることを特徴とする画像データ変換方法である。

請求項 1 5の発明は、第 1のデータを、第 1のデ一夕より低質な第 2のデータに変換するデ一夕変換装置において、

第 1のデータから第 2のデータとほぼ同質な中間デ一夕を生成する中間デ一夕生成部と、中間データを記憶する記憶部と、

記憶部に記憶された中間データと予測係数とに基づいて第 1のデ一夕とほぼ同質な予測データを生成する予測データ生成部と、

第 1のデータと予測データの誤差を検出する誤差検出部と、誤差検出部で検出された誤差の変化量が第 1の閾値以上か否かを判定する第 1の判定部と、

第 1の判定部が誤差の変化量が第 1の閾値以上であると判定した時に、記憶部に記憶されている中間デ一夕のデータ値に対して第 1のデ一夕に基づいて第 1の調整処理を行ない、

第 1の判定部が誤差の変化量が閾値未満と判定し、第 2の判定部が誤差が第 2の閾値未満であると判定した時に、記憶部に記憶されている中間データのデ一夕値に対して非線形な変化量での第 2の調整処理を行ない、

第 2の判定部が誤差が第 2の閾値未満であると判定した時に、記憶部に記憶されている中間デ一夕を第 2のデータとして決定する調整部と

を備えることを特徴とするデ一夕変換装置である。

請求項 2 2の発明は、第 1のデータを、第 1のデータより低質な第 2のデータに変換するデータ変換方法において、

第 1のデータから第 2のデータとほぼ同質な中間デ一夕を生成するステップと、

中間デ一夕を記憶するステツプと、

記憶された中間データと予測係数とに基づいて第 1のデータとほぼ同質な予測データを生成するステップと、第 1のデータと予測データの誤差を検出するステツプと、検出された誤差の変化量が第 1の閾値以上か否かを判定するステツプと、

検出された誤差が第 2の閾値以上か否かを判定するステップと、誤差の変化量が第 1の閾値以上であると判定された時に、記憶されている中間データのデータ値に対して第 1のデ一夕に基づいて第 1の調整処理を行なうステップと、

誤差の変化量が閾値未満と判定され、誤差が第 2の閾値以上であると判定された時に、記憶されている中間データのデータ値に対して非線形な変化量での第 2の調整処理を行なうステップと、

誤差が第 2の閾値未満であると判定された時に、記憶されている中間データを第 2のデータとして決定するステツプとを備えることを特徴とする画像データ変換方法である。

請求項 2 9の発明は、第 1の画像データを、第 1の画像データより低質な第 2の画像データに変換する画像データ変換するためのコンビュ一夕制御可能なプログラムが記録された記録媒体において、プログラムは、

第 1の画像デ一夕から第 2の画像デ一夕とほぼ同質な中間画像デー夕を生成するステップと、

中間画像データを記憶するステップと、

記憶された中間画像データと予測係数とに基づいて第 1の画像デー夕とほぼ同質な予測画像データを生成するステップと、

第 1の画像データと予測画像デ一夕の誤差を検出するステツプと、検出された誤差の変化量が第 1の閾値以上か否かを判定するステツプと、

検出された誤差が第 2の閾値以上か否かを判定するステップと、誤差の変化量が第 1の閾値以上であると判定された時に、記憶されている中間画像データの画素値に対して第 1の画像デ一夕に基づいて第 1の調整処理を行なうステップと、

誤差の変化量が閾値未満と判定され、誤差が第 2の閾値以上であると判定された時に、記憶されている中間画像デ一夕の画素値に対し非線形な変化量での第 2の調整処理を行なうステップと、

誤差が第 2の閾値未満であると判定された時に、記憶されている中間画像データを第 2の画像データとして決定するステップとを備えることを特徴とする記録媒体である。

請求項 3 0の発明は、第 1のデータを、第 1のデ一夕より低質な第 2のデ一夕に変換するデ一夕変換するためのコンピュー夕制御可能なプログラムが記録された記録媒体において、

プログラムは、

第 1のデータから第 2のデータとほぼ同質な中間データを生成するステップと、

中間デ一夕を記憶するステップと、

記憶された中間データと予測係数とに基づいて第 1のデ一夕とほぼ同質な予測デ一夕を生成するステップと、

第 1のデ一夕と予測データの誤差を検出するステツプと、検出された誤差の変化量が第 1の閾値以上か否かを判定するステツプと、

検出された誤差が第 2の閾値以上か否かを判定するステップと、誤差の変化量が第 1の閾値以上であると判定された時に、記憶されている中間デ一夕のデータ値に対して第 1のデ一夕に基づいて第 1の調整処理を行なうステップと、

誤差が第 2の閾値未満であると判定された時に、記憶されている中間デ一夕を第 2のデータとして決定するステップとを備えることを特徵とする記録媒体である。一請求項 3 1の発明は、第 1の画像データを、第 1の画像データより低質な第 2の画像データに変換する画像データ変換装置において、第 1の画像データから第 2の画像デ一夕とほぼ同質な中間画像デー夕を生成する中間画像データ生成部と、

中間画像デ一夕を記憶する記憶部と、

第 1の画像デ一夕と予測画像データの誤差を検出する誤差検出部と、

誤差検出部で検出された誤差が第 1の閾値以上か否かを判定し、第 1の閾値未満の時に、中間画像データを第 2の画像デ一夕として決定する第 1の判定部と、

第 1の判定部が、誤差が第 1の閾値以上と判定した時に、線形の調整が連続的に行なわれた回数が第 2の閾値以上か否かを判定する第 2 の判定部と、

第 2の判定部が、回数が、第 2の閾値未満と検出した時に、中間画像データの画素値を線形に調整する第 1の調整部と、

第 2の判定部が、回数が、第 2の閾値以上と検出した時に、中間画像デ一夕の画素値を非線形に調整する第 2の調整部と、

を備え、予測画像データ生成部は、第 1の調整部および第 2の調整部での調整が行われる毎に、予測係数を生成することを特徴とする画像デ一夕変換装置である。

請求項 3 6の発明は、第 1の画像データを、第 1の画像データより低質な第 2の画像データに変換する画像データ変換方法において、― 第 1の画像データから第 2の画像データとほぼ同質な中間画像デ一夕を生成するステップと、

中間画像デ一夕を記憶するステップと、

第 1の画像デ一夕と予測画像データの誤差を検出するステツプと、検出された誤差が第 1の閾値以上か否かを判定し、第 1の閾値未満の時に、中間画像データを第 2の画像デ一夕として決定するステップと、

誤差が第 1の閾値以上と判定した時に、線形の調整が連続的に行なわれた回数が第 2の閾値以上か否かを判定するステップと、

回数が、第 2の閾値未満と検出した時に、中間画像デ一夕の画素値を線形に調整するステップと、

回数が、第 2の閾値以上と検出した時に、中間画像データの画素値を非線形に調整するステップと、

を備え、

線形の調整および時非線形の調整が行われる毎に、予測係数を生成することを特徴とする画像データ変換方法である。

請求項 4 1の発明は、第 1のデ一夕を、第 1のデ一夕より低質な第 2のデータに変換するデータ変換装置において、

第 1のデータから第 2のデ一夕とほぼ同質な中間データを生成する中間データ生成部と、

中間データを記憶する記憶部と、

記憶部に記憶された中間データと予測係数とに基づいて第 1のデ一夕とほぼ同質な予測データを生成する予測デ一夕生成部と、

第 1のデータと予測データの誤差を検出する誤差検出部と、一誤差検出部で検出された誤差が第 1の閾値以上か否かを判定し、第 1の閾値未満の時に、中間データを第 2のデータとして決定する第 1 の判定部と、

第 2の判定部が、回数が、第 2の閾値未満と検出した時に、中間デ一夕の画素値を線形に調整する第 1の調整部と、

第 2の判定部が、回数が、第 2の閾値以上と検出した時に、中間デ —夕の画素値を非線形に調整する第 2の調整部と、

を備え、

予測データ生成部は、第 1の調整部および第 2の調整部での調整が行われる毎に、予測係数を生成することを特徴とするデ一夕変換装置である。

請求項 4 8の発明は、第 1のデータを、第 1のデータより低質な第 2のデータに変換するデータ変換方法において、

第 1のデータから第 2のデ一夕とほぼ同質な中間デ一夕を生成するステップこ、

中間データを記憶するステップと、

記憶された中間データと予測係数とに基づいて第 1のデ一夕とほぼ同質な予測データを生成するステップと、第 1のデータと予測データの誤差を検出するステップと、検出された誤差が第 1の閾値以上か否かを判定し、第 1の閾値未満の時に、中間データを第 2のデ一夕として決定するステップと、誤差が第 1の閾値以上と判定した時に、線形の調整が連続的に行なわれた回数が第 2の閾値以上か否かを判定するステップと、一回数が、第 2の閾値未満と検出した時に、中間デ一夕の画素値を線形に調整するステップと、

回数が、第 2の閾値以上と検出した時に、中間データの画素値を非線形に調整するステップと、

を備え、

線形の調整および時非線形の調整が行われる毎に、予測係数を生成することを特徴とするデータ変換方法である。

請求項 5 4の発明は、第 1の画像データを、第 1の画像データより低質な第 2の画像データに変換する画像データ変換するためのコンビユー夕制御可能なプログラムが記録された記録媒体において、プログラムは、

第 1の画像データから第 2の画像デ一夕とほぼ同質な中間画像デ一夕を生成するステツプと、

中間画像データを記憶するステップと、

記憶された中間画像データと予測係数とに基づいて第 1の画像デー夕とほぼ同質な予測画像デ一夕を生成するステップと、

第 1の画像データと予測画像デ一夕の誤差を検出するステップと、検出された誤差が第 1の閾値以上か否かを判定し、第 1の閾値未満の時に、中間画像デ一夕を第 2の画像データとして決定するステツプと、

誤差が第 1の閾値以上と判定した時に、線形の調整が連続的に行なわれた回数が第 2の閾値以上か否かを判定するステップと、回数が、第 2の閾値未満と検出した時に、中間画像データの画素値を線形に調整するステツプと、

回数が、第 2の閾値以上と検出した時に、中間画像データの画素値を非線形に調整するステップと、一を備え、

線形の調整および時非線形の調整が行われる毎に、予測係数を生成することを特徴とする記録媒体である。

請求項 5 5の発明は、第 1のデータを、第 1のデ一夕より低質な第 2のデータに変換するデータ変換するためのコンピュータ制御可能なプログラムが記録された記録媒体において、

プログラムは、

第 1のデータから第 2のデータとほぼ同質な中間データを生成するステッフと、

中間データを記憶するステップと、

記憶された中間データと予測係数とに基づいて第 1のデ一夕とほぼ同質な予測データを生成するステップと、

第 1のデータと予測デ一夕の誤差を検出するステップと、検出された誤差が第 1の閾値以上か否かを判定し、第 1の閾値未満の時に、中間データを第 2のデータとして決定するステップと、誤差が第 1の閾値以上と判定した時に、線形の調整が連続的に行なわれた回数が第 2の閾値以上か否かを判定するステップと、

回数が、第 2の閾値未満と検出した時に、中間データの画素値を線形に調整するステップと、

回数が、第 2の閾値以上と検出した時に、中間データの画素値を非線形に調整するステップと、を備え、

図面の簡単な説明

第 1図は、先に提案したエンコードを説明するための画素の配列を示す略線図である。

第 2図は、この発明を適用した画像データ変換装置の全体的構成を示すブロック図である。

第 3図は、第 2図中の送信装置の機能的構成例を示すブロック図である。

第 4図は、この発明を適用したエンコーダの構成例を示すプロック図である。

第 5図は、エンコーダの最適上位画像生成処理の一例を説明するフ口一チヤ一卜である。

第 6図は、第 5図のステップ S 8の非線形処理を説明するフローチャ一卜である。

第 7図は、非線形処理を説明する略線図である。

第 8図は、エンコーダの最適上位画像生成処理の他の例を説明するフローチヤ一トである。

第 9図は、非線形処理を説明する略線図である。

第 1 0図は、この発明を適用した画像データ変換装置のさらに他の例のエンコーダの構成を示すブロック図である。

第 1 1図は、この発明を適用した画像デ一夕変換装置のさらに他の例のデコーダの構成を示すブロック図である。

第 1 2図は、この発明を適用した画像データ変換装置のさらに他の例のエンコーダの最適上位画像生成処理を説明するフ口一チヤ一卜である。

発明を実施するための最良の形態

以下、この発明の実施の形態を説明する。第 2図は、この発明を適用した画像処理装置の一実施の形態の構成を示している。

送信装置 1 0 1には、ディジタル化された画像デ一夕が供給されるようになされている。送信装置 1 0 1は、入力された画像データを間引くことによって、データ量を圧縮し、その結果得られる符号化デ一夕を光ディスク、磁気テープ等の記録媒体 1 0 2に記録し、または放送回線（衛星放送等）、電話回線、インタ一ネット等の伝送路 1 0 3 を介して伝送する。

受信装置 1 04は、記録媒体 1 0 2に記録されている符号化データを再生し、または伝送路 1 0 3を介して伝送される符号化データを受信し、符号化データを復号する。すなわち、間引かれた画素の値が復元される。受信装置 1 04から得られる復号画像がディスプレイ（図示せず）に供給され、ディスプレイ上に表示される。

第 3図は、送信装置 1 0 1の一例を示す。 I ZF (インターフエ一ス） 1 1 1は、外部から供給される画像デ一夕の受信処理と、送信機 Z記録装置 1 1 6に対する符号化デ一夕の送信処理を行う。 ROM 1 1 2は、 I P L (Initial Program Loading) 用のプログラム等を記憶している。 RAM I 1 3は、外部記憶装置 1 1 5に記録されているシステムプログラム（0 S (Operating System)) やアプリケーションプログラムを記憶したり、また、 C PU 1 1 4の動作に必要なデータを feする。

CPU 1 1 4は、 ROM 1 1 2に記憶されている I P Lプログラムに従って外部記憶装置 1 1 5からシステムプログラムおよびアプリケーシヨンプログラムを RAM 1 3に展開し、そのシステムプログラムの制御の下でアプリケーションプログラムを実行する。すなわち、ィン夕一フェース 1 1 1から供給される画像データに対して、後述するような符号化処理を行う。

外部記憶装置 1 1 5は、例えばハードディスクであって、システムプログラム、アプリケーションプログラム、デ一夕を記憶する。送信機/記憶装置 1 1 6は、インターフェース 1 1 1から供給される符号化デ一夕を記録媒体 2に記録し、または伝送路 1 0 3を介して伝送する。インタ一フエ一ス 1 1 1、 ROM 1 1 2、 RAM I 1 3、 C PU 1 1 4、および外部記憶装置 1 1 5は、バスを介して互いに接続されている。

上述した構成を有する送信装置 1 0 1においては、イン夕一フエ一ス 1 1 1に画像データが供給されると、その画像デ一夕が C PU 1 1 4に供給される。 C PU 1 1 4は、画像データを符号化し、その結果得られる符号化デ一タをィンタ一フェース 1 1 1に供給する。インタ一フェース 1 1 1が符号化データを送信機/記録装置 1 1 6を介して記録媒体 1 0 2に記録し、または伝送路 1 0 3に送出する。

第 4図は、送信機 Z記録装置 1 1 6以外の第 3図の送信装置 1 0 1 、すなわち、エンコーダの機能的な構成を示すものである。ェンコ一ダは、ハードウェア、ソフトウェアまたは両者の組み合わせで実現することが可能である。例えば後述するフローチャートに示されるようなエンコード処理のプログラムが格納された記録媒体をドライブに装着することによって、このプログラムを外部記憶装置 1 1 5にインストールし、エンコーダとしての機能を実現できる。

なお、上述したような処理を行うコンピュータプログラムをュ一ザに提供する記録媒体としては、磁気ディスク、 CD— ROM、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用 W /18132 することができる。

第 4図に示すエンコーダにおいては、入力される原画像データが画像縮小回路 1、予測係数生成回路 5、および誤差演算回路 6に供給されるようになされている。

画像縮小回路 1は、供給された原画像（高解像度画像）を、例えば、 3画素 X 3画素からなる複数のブロックに分割し、各ブロック内の 9画素の画素値の平均値をブロックの中心に位置する上位階層画像（低解像度画像）の画素の画素値とした初期上位画像を生成して、上位画像メモリ 2と差分演算用の画像メモリ 1 1 とに出力するようになされている。したがって、上位階層画像（以下、上位画像と記述する）は、原画像の縦および横の画素数が 1 Z 3に縮小されたものとなる。なお、上位画像を形成する場合、平均値以外に、各ブロックの中心に位置する画素の値、各ブロックの複数の画素値の中間値、各ブロックの複数の画素値の最も多い値等を用いても良い。

上位画像メモリ 2は、画像縮小回路 1から入力された上位画像を記憶する。また、上位画像メモリ 2は、画素値更新回路 8から入力される更新上位画像、または非線形処理回路 9から入力される非線形処理上位画像によって、記憶している上位画像を更新するようになされている。さらに、上位画像メモリ 2は、記憶している上位画像データをスィッチ 1 0 aを介して図示せぬデコーダ（受信装置）に出力するようになされている。

また、予測係数生成回路 5で生成された最終的な予測係数がスィッチ 1 0 bを介して図示せぬデコーダ（受信装置）に出力するようになされている。スィッチ 1 0 aおよび 1 0 bは、比較判定回路 7によつて共通に制御される。

予測夕ップ抽出回路 3は、上位画像メモリ 2に記憶されている上位画像の各画素（第 1図中で黒丸で示す）を、順次、注目画素として、注目画素（例えば、第 1図の注目画素 I ) を中心とする 3画素 X 3画素（いまの例の場合、画素 A乃至 I ) からなる予測タップを上位画像メモリ 2から抽出し、マッピング回路 4、予測係数生成回路 5、および画素値更新回路 8に出力するようになされている。なお、ここで抽出される予測タップのサイズは、 3画素 X 3画素に限定されるものではなく、例えば、 5画素 X 5画素を予測タップのサイズとしてもよい予測係数生成回路 5は、予測夕ップ抽出回路 3から入力された 9個の予測タップと、原画像の対応する 9個の画素値とを用いて、最小自乗法により正規方程式を解いて予測係数を生成するようになされている。なお、ここでは、 1セットが 9個の予測係数からなる 9セットの予測係数が演算されて、マツビング回路 4に供給される。

マッピング回路 4は、次式（ 1 ) に示すように、予測タップ抽出回路 3から入力された予測タップの中心画素（例えば第 1図の画素 I ) に対応する位置の下位階層画像（以下、下位画像または予測画像と記述する）の画素（画素 i ) を中心とする 3画素 X 3画素（画素 a乃至画素 i ) の画素値 Yn (η = 0 , 1， 2, · · ·， 8) として、その予測タップ（画素 Α乃至 I ) の画素値 Xj ( j = 0 , 1， 2， · · · ， 8) と、予測係数生成回路 5から供給される予測係数 k (n, j) との線形 1次結合による演算を行い、その演算結果を誤差演算回路 6に出力するようになされている。

Yn =∑ k (n, j) Xj · · · ( 1 ) 誤差演算回路 6は、マツビング回路 4から入力された予測画像の画素値と、原画像の対応する画素値との誤差（S/N比）を演算する。画面全体で画素毎の誤差を積算したものを誤差としている。誤差と S 比の関係は、誤差が SZN比の逆数（= 1 (S/N) ) となる。誤差演算回路 6が SZN比を比較判定回路 7に出力する。

比較判定回路 7は、誤差演算回路 6から入力された誤差（S/N比 ) と、内蔵するメモリに記憶している、誤差演算回路 6から前回入力された誤差（S/N比）との差分を演算し、その差分が所定の閾値以下であるか（誤差の減少が収束しているか）否かを判定し、判定結果に基づいて、画素値更新回路 8、または非線形処理回路 9を制御する。さらに、比較判定回路 7は、入力された誤差（SZN比）が所定の閾値以上であるか否かを判定し、判定結果に基づいて、スィッチ 1 0 aおよび 1 0 bを制御するようになされている。

すなわち、 S ZN比が閾値以上であれば、スィッチ 1 0 aおよび 1 0 bがオンされて上位画像メモリ 2に記憶されている上位画像の画素と、予測係数とが出力される。 SZN比が閾値以上とならない限り、スィッチ 1 0 aおよび 1 0 bがオフであり、上位画像の画素が出力されない。

画素値更新回路 8は、予測画像と原画像の誤差が小さくなるように (S/N比が向上するように）、予測タップ抽出回路 3から入力された上位画像の画素値を最適化し、最適化した上位画像（更新上位画像 ) を上位画像メモリ 2に出力する。

差分演算用画像メモリ 1 1は、初期段階において、画像縮小回路 1 から初期上位画像を取得し、これを保持する。その後は、非線形処理を行う度に、その処理結果の画像を非線形処理回路 9から取得し、処理結果の画像を保持する。この画像メモリ 1 1の出力と、画素値更新回路 8からの更新した画素値とが差分演算回路 1 2に供給される。画像メモリ 1 1は、差分演算回路 1 2の求めに応じて、非線形処理を行う場合に差分を演算する基準として、保持している画像を差分演算回路 1 2に出力する。

差分演算回路 1 2は、非線形処理を行う場合に、画素値更新回路 8 と、差分演算用の画像メモリ 1 1から画像情報を取得し、両者の差分を演算し、差分を非線形処理回路 9に転送する。

非線形処理回路 9は、差分演算回路 1 2から入力された更新した画素値の変化に対応して、画素値更新回路 8で更新された上位画像の画素の画素値に所定の値を加算、または減算して上位画像メモリ 2および差分演算用画像メモリ 1 1に出力するようになされている。

次に、このエンコーダの最適上位画像生成処理について、第 5図のフローチャートを参照して説明する。ステップ S 1において、画像縮小回路 1は、供給された原画像（高解像度画像）を、例えば、 3画素 X 3画素からなるブロックに分割し、各ブロック内の 9画素の画素値の平均値をブロックの中心に位置する上位画像（低解像度画像）の画素の画素値とすることによって、初期上位画像を生成して、上位画像メモリ 2に出力する。上位画像メモリ 2は、画像縮小回路 1から入力された上位画像を記憶する。また、画像縮小回路 1が差分演算用画像メモリ 1 1に初期上位画像を出力し、初期上位画像を画像メモリ 1 1 が保持する。

ステップ S 2において、予測タップ抽出回路 3は、上位画像メモリ 2に記憶されている上位画像の画素を、順次、注目画素として、注目画素（例えば、第 1図の注目画素 I ) を中心とする 3画素 X 3画素（いまの例の場合、画素 A乃至 I ) からなる予測タップを上位画像メモリ 2から抽出し、マッピング回路 4、予測係数生成回路 5、および画素値更新回路 8に出力する。予測係数生成回路 5は、予測タップ抽出回路 3から入力された予測タップと、対応する原画像の画素値とを用いて正規方程式を生成し、最小自乗法により正規方程式を解いて 9セッ卜の予測係数を生成し、マツビング回路 4に供給する。

ステップ S 3において、マッピング回路 4は、式（ 1 ) に示すように、予測タップ抽出回路 3から入力された予測タップの中心画素（例えば第 1図の画素 I ) に対応する位置の下位画像（予測画像）の画素 (画素 i ) を中心とする 3画素 X 3画素（画素 a乃至画素 i ) の画素値 Yn (η = 0 , 1 , 2, · · ·， 8) として、その予測タップ（画素 Α乃至 I ) の画素値 Xj ( j = 0 , 1 , 2， · · ·， 8) と、予測係数生成回路 5から供給される予測係数 k (n, j) との線形 1次結合を演算し、その値を誤差演算回路 6に出力する。

ステップ S 4において、誤差演算回路 6は、マッピング回路 4から入力された予測画像の画素値と、原画像の対応する画素値との誤差（ SZN比）を演算し、その結果を比較判定回路 7に出力する。ステツプ S 5において、比較判定回路 7は、誤差演算回路 6から入力された誤差（S/N比）と、内蔵するメモリに記憶している、誤差演算回路 6から前回入力された誤差（SZN比）との差分を演算し、その差分は所定の閾値以下であるか（S/N 比の変化量が収束しているか）否かを判定し、差分は所定の閾値以下ではない（SZN比が収束していない）と判定した場合、ステップ S 6に進む。

ステップ S 6において、画素値更新回路 8は、比較判定回路 7からの制御により、予測画像と原画像の誤差が小さくなるように（SZN 比が向上するように）、予測タップ抽出回路 3から入力された上位画像の画素値を最適化し（更新し）、更新した上位画像（更新上位画像 ) を上位画像メモリ 2に出力する。

その後、ステップ S 5で、誤差の差分が所定の閾値以下である（S /N比が収束した）と判定されるまで、ステップ S 2乃至 S 6の処理が繰り返され、誤差の差分が所定の閾値以下である（SZN比が収束した）と判定された場合、ステップ S 7に進む。

ステップ S 7において、比較判定回路 7は、誤差演算回路 6から入力された誤差（S Z N 比）が所定の閾値（誤差の差分の閾値とは異なる値）以上であるか否かを判定し、誤差（S / N比）は所定の閾値以上ではないと判定した場合、ステップ S 8に進む。 ― ステップ S 8において、非線形処理回路 9は、比較判定回路 7からの制御により、画素値更新回路 8で更新された上位画像の画素値に所定の値を加算、または減算して上位画像メモリ 2に出力する。この非線形処理の詳細について、第 6図のフローチャートを参照して説明する。

ステップ S 1 1において、差分演算回路 1 2は、画素値更新回路 8 から更新した画素値、すなわち、最適化して上位画像メモリ 2に出力した更新上位画像の画素値から、差分演算用画像メモリ 1 1上に保存してある対応する画素値を画素毎に減算し、非線形処理回路 9に対して出力する。

ステップ S 1 2において、非線形処理回路 9は、ステップ S 1 1で差分演算回路 1 2から入力された減算結果が正である場合、更新上位画像の画素値に所定の値を加算し、減算結果が負である場合、更新上位画像の画素値から所定の値を減算して、得られた非線形処理上位画像（第 7図 C ) を上位画像メモリ 2に出力する。上位画像メモリ 2は、入力された非線形処理画像により、記憶している上位画像を更新する。さらに、非線形処理回路 9は、非線形処理画像を差分演算用画像メモリ 1 1に対して出力する。

第 7図 Aは、予測タップ抽出回路 3から入力された予測タップ（最適化前の画素値）の一例を示し、第 7図 Bは、画素値更新回路 8が上位画像メモリ 2に出力した更新上位画像の一例を示す。例えば、画素値更新回路 8で最適化された更新上位画像の画素値が 1 9であり、予測タップ抽出回路 3から入力された予測タップの対応する画素値が 1 8である場合、減算結果である 1 ( = 1 9 一 1 8 ) は正であるので、所定値（例えば、 2 ) が加算されて、上位画像メモリ 2に出力される画像の対応する画素値は、 2 1 ( = 1 9 + 2 ) とな。また、画素値更新回路 8で最適化された更新上位画像の画素値が 2 2であり、予測夕ップ抽出回路 3から入力された予測夕ップの対応する画素値が 2 6である場合、減算結果である一 4 ( = 2 2 - 2 6 ) は負であるので、所定値が減算されて、上位画像メモリ 2に出力される画像の対応する画素値は、 2 0 ( = 2 2 - 2 ) となる。

第 5図の説明に戻る。その後、ステップ S 7で、誤差（S Z N比）は所定の閾値以上であると判定されるまで、ステップ S 2乃至 S 8の処理が繰り返され、ステップ S 7で誤差（S / N比）は所定の閾値以上であると判定された場合、ステップ S 9に進む。ステップ S 9において、比較判定回路 7は、スィッチ 1 0 aおよび 1 0 bをオンとして、上位画像メモリ 2が記憶している上位画像デ一夕と予測係数とを図示せぬ記録媒体または伝送路に出力させる。

このステップ S 9で、上位画像デ一夕および予測係数を出力せずに、画面全体の最終的な上位画像データおよび予測係数が得られた段階で、これらを出力するようにしても良い。また、上位画像デ一夕と予測係数を多重化して伝送することも可能である。

なお、本実施の形態においては、誤差減少の度合い（S Z N比向上の度合い）が収束したとき、非線形処理を実行するようにしたが、例えば、画素値および予測係数の更新の所定回数毎に非線形処理を実行するようにしてもよい。

第 8図は、このように所定回数毎に非線形処理を実行する例の処理の流れを示す。以下に説明する制御は、外部からインストールされ、または第 3図中の ROM 1 1 2に格納されているソフトウェアプログラムに従って C P U 1 14が行うものである。すなわち、特に表記しないが、各ステップの処理は、ソフトウェアプログラムに従って C P U 1 1 4の制御の下でなされる。 ― ステップ S 2 1において、線形処理回数の初期化がなされる。次に、ステップ S 2 2において、初期上位画像を生成する。ステップ S 2 3において、上位画像の画素を、順次、注目画素として、注目画素を中心とする 3画素 X 3画素からなる予測タップを抽出する。抽出された予測タップと、対応する原画像の画素値とを用いて正規方程式を生成し、最小自乗法により正規方程式を解いて 9セットの予測係数を生成する。

ステップ S 24において、式（ 1 ) に示すように、予測タップの中心画素（例えば第 1図の画素 I ) に対応する位置の下位画像（予測画像）の画素（画素 i ) を中心とする 3画素 X 3画素（画素 a乃至画素 i ) の画素値 Yn (η = 0 , 1 , 2, · · · , 8) として、その予測夕ップ（画素 Α乃至 I ) の画素値 Xj ( j = 0 , 1 , 2， · · ·， 8 ) と、生成された予測係数 k (n, j) との線形 1次結合を演算する。ステップ S 24において、予測画像の画素値と、原画像の対応する画素値との誤差（SZN比）を演算する。ステップ S 2 5において、誤差（SZN比）が閾値以上かどうかが決定される。若し、 SZN比が閾値以上であれば、ステップ S 2 6において、その予測画像の画素値が出力される。

ステツプ S 2 5において、 S ZN比が閾値以上ではないと決定されると、ステップ S 2 7において、線形処理回数が閾値（すなわち、ステツプ S 2 1で設定された回数）以上かどうかが決定される。ステツプ S 2 7で閾値より線形処理回数が小と決定されると、ステップ S 2 8において、画素値が更新される（線形処理がなされる）。すなわち、予測画像と原画像の誤差が小さくなるように（S / N比が向上するように）、上位画像の画素値を最適化する。

次に、線形処理回数のカウント値を + 1 とする（ステップ S 2 9 ) 。そして、ステップ S 2 3 (予測係数の生成の処理）に戻り、ステツプ S 2 4以降の処理を繰り返す。ステップ S 2 5において、 S / N比が閾値以上とならないで、且つステップ S 2 7において、線形処理回数が閾値以上と決定されると、ステップ S 3 0において非線形処理がなされる。非線形処理は、上述した一例と同様に、更新された上位画像の画素値に所定の値を加算、または減算した画素値を上位画像メモリに出力する処理である。

ステツプ S 3 0で非線形処理がなされると、ステップ S 3 1において、線形処理回数の初期化がなされ、ステップ S 2 3に戻る。

第 9図は、第 8図に示す例において、画素値および予測係数の更新が 4回行われた毎に非線形処理が行われた場合のシミュレーション結果を示している。この図によれば、誤差減少の速度（S Z N比の変化量 Z計算回数）が収束していても、非線形処理を実行することで、単に画素値と予測係数の更新を繰り返すよりも少ない計算回数で S / N 比が向上していることがわかる。

上述したこの発明の一実施形態では、予測係数および上位画像の画素値の両方を最適化するようにしている。しかしながら、この発明においては、予め予測係数を求めておくことによって、画素値のみを最適化することも可能である。この場合、予測係数は、係数決定用のデイジタル画像を使用して、エンコーダにおける予測係数生成処理と同様の処理を行うことによって予め生成されている。また、この予測係数は、エンコーダおよびデコーダにおいて共用されるので、記録媒体への記録または伝送が不要である。

第 1 0図は、予測係数が予め決定されている場合のエンコーダの概略的構成を示し、第 1 1図は、エンコーダに対応するデコーダの概略的構成を示す。

第 1 0図において、 2 1が原画像入力部である。例えば画像メモリにより原画像入力部が構成される。 2 2が画素値最適化部である。画素値最適化部 2 2に対して、係数供給部 2 3から予測係数が供給される。係数供給部 2 3は、予め決定されている予測係数を記憶するメモリを備えている。画素値最適化部 2 2は、予測係数が予め決定されている点を除いては、上述した第 4図の構成と同様のものである。

すなわち、上位画像の注目画素を係数供給部 2 3からの予測係数と抽出された予測タップとの線形 1次結合によって予測値を生成し、予測値と注目画素の画素値との誤差（S / N比）を閾値より小とするように最適化された画素値を生成するものである。また、 S Z N比の変化が収束し、且つ S Z N比が閾値より小の場合に、または設定された回数、線形処理がなされ、且つ S Z N比が閾値より小の場合に、非線形処理が画素値最適化部 2 2においてなされる。画素値最適化部 2 2 からの最終処理画像が圧縮画像出力部 2 4を介して記録媒体に記録され、または伝送路に送出される。

デコーダの圧縮画像入力部 3 1は、エンコーダからの最適化された画素値で構成される圧縮画像を記録媒体から再生し、または伝送路から受信し、線形予測部 3 2に対して出力する。線形予測部 3 2には、係数供給部 3 3からエンコーダで使用されたのと同様の予測係数が供給される。

線形予測部 3 2は、予測係数と抽出された予測タップとの線形 1次結合の演算を行い、復元画像の画素値を演算する。線形予測部 3 2からの復元画像の画素値が復元画像出力部 3 4に出力される。復元画像出力部 3 4は、画像メモリを有し、復元画像を図示せぬディスプレイ等の出力装置に対して出力する。

第 1 2図は、第 1 0図に示すエンコーダ中の画素値最適化部 2 2の処理の流れを示す。第 5図を参照して上述した処理と対応するステツプに対しては同一の参照符号を符してその説明を省略する。第 5図と相違する点は、ステップ S 2 ' において、予測係数を生成する代わりに係数供給部 2 3から予測係数を取得している点である。

画素値最適化部 2 2における処理について以下に説明する。すなわち、ある予測係数群が決まっているときに圧縮画像の画素値を最適化する手法について述べる。最も簡単な例で、そのアルゴリズムを示す。条件は以下の通りとする。

タップ内の 1画素（通常は中心画素）のみを最適化

計算ではなく一度デコードしその結果比較によって最適解を求めるある原画像の画素の値 I を圧縮画像上の画素から予測する場合を考える。圧縮画像上の予測タップ内の画素値を X j とすると（この場合 j はタップ内の位置）タップ内の画素値にかかる係数は k i jと表現される。

このときの予測式は予測結果を Γ として，

となる。

タップ内の変化させる画素を x c とすると式は以下の様になる。

I = k i o X o + k i i X i + · · · + k ί_€χ c + · · * + k i„x _n ここで x _c を取りうる値全て（例えば 8ビットの場合には [0, 255] ) で値を変化させ、全ての場合について Γを計算する。

1 0 = k io o+kiix i + · · · +kic · 0 + · · · fkin _n i = k io X o+ki iX i + · · · +kic · 1 + · · · +kinX n

Γ 255 = k iox o +ki,x , + · · · Ikic · 225+ · · · +k_inx n ここで計算された Γ _m ： m = [0, 255] のうち、 I I - I' _x I = min となる（すなわち、誤差が最小となる） X が求まり、この値が最適値として出力される。

なお、上述した説明では、原画像より低質な上位画像の例として、所定間隔で画素を間引いたものを用いている。しかしながら、各画素の量子化ビット数を削減することによって、上位画像を形成するようにしても良い。例えば特開平 7— 8 5 2 6 7号公報に開示されているように、量子化ビット数を削減できる。

また、画像デ一夕の処理に対してこの発明を適用した例について説明したが、この発明は、オーディオデ一夕の処理に対しても適用することができる。オーディオデータの場合には、時間方向に連続する互いに相関を有する所定数のサンプル毎に処理がなされる。

以上のように、この発明によれば、予測画像の画素値と入力画像の画素値との誤差が最小となるように、画素値の最適化を行う時に、非線形処理を行うことによって、処理時間の短縮化を図ることができる

Claims

請求の範囲

1 . 第 1の画像データを、上記第 1の画像デ一夕より低質な第 2の画像データに変換する画像データ変換装置において、

上記第 1の画像データから上記第 2の画像データとほぼ同質な中間画像データを生成する中間画像デ一夕生成部と、一上記中間画像デ一夕を記憶する記憶部と、

上記記憶部に記憶された上記中間画像デ一夕と予測係数とに基づいて上記第 1の画像データとほぼ同質な予測画像データを生成する予測画像データ生成部と、

上記第 1の画像デ一夕と上記予測画像データの誤差を検出する誤差検出部と、

上記誤差検出部で検出された誤差の変化量が第 1の閾値以上か否かを判定する第 1の判定部と、

上記誤差検出部で検出された誤差が第 2の閾値以上か否かを判定する第 2の判定部と、

上記第 1の判定部が、上記誤差の変化量が上記第 1の閾値以上であると判定した時に、上記記憶部に記憶されている上記中間画像デ一夕の画素値に対して上記第 1の入力画像デ一夕に基づいて第 1の調整処理を行ない、

上記第 1の判定部が、上記誤差の変化量が上記閾値未満と判定し、上記第 2の判定部が上記誤差が上記第 2の閾値以上であると判定した時に、上記記憶部に記憶されている上記中間画像デ一夕の画素値に対して非線形な変化量での第 2の調整処理を行ない、

上記第 2の判定部が、上記誤差が上記第 2の閾値未満であると判定した時に、上記記憶部に記憶されている中間画像デ一夕を上記第 2の画像データとして決定する調整部とを備えることを特徴とする画像データ変換装置。

2 . 上記第 1の画像データは、上記第 2の画像データより画素数が多いことを特徴とする請求項 1に記載の画像デ一夕変換装置。

3 . 上記調整部によって上記中間画像データの画素値が調整される毎に、新たな上記予測係数を生成する予測係数生成部をさらに備える一ことを特徴とする請求項 1に記載の画像データ変換装置。

4 . 出力部をさらに備え、

出力画像データおよび上記予測係数を出力することを特徴とする請求項 3に記載の画像データ変換装置。

5 . 上記調整部は、上記記憶部に記憶されている上記中間画像デ一夕の画素値に、所定の値の加算または減算することで上記第 2の調整処理を行なうことを特徴とする請求項 1に記載の画像デ一夕変換装置。

6 . 上記調整部は、上記第 2の調整処理として、上記誤差検出部で検出された上記誤差の変化の方向に基づいて、上記中間画像データの画素値に、上記所定の値を加算又は減算することを特徴とする請求項 5 に記載の画像データ変換装置。

7 . 上記出力画像デ一夕を出力する出力部をさらに備え、

上記調整手段は、上記第 1の判定部が上記誤差の変化量が上記閾値未満と判定し、上記第 2の判定部が上記第 2の閾値未満であると判定した時に、上記記憶部に記憶されている中間画像データを出力画像デ一夕として決定し、上記出力画像データを上記出力部を介して出力させることを特徴とする請求項 1に記載の画像データ変換装置。

8 . 第 1の画像データを、上記第 1の画像データより低質な第 2の画像データに変換する画像データ変換方法において、

第 1の画像データから第 2の画像デ一夕とほぼ同質な中間画像デー夕を生成するステップと、上記中間画像デ一夕を記憶するステップと、

上記記憶された上記中間画像データと予測係数とに基づいて上記第

1の画像データとほぼ同質な予測画像デ一夕を生成するステップと、上記第 1の画像データと上記予測画像データの誤差を検出するステップと、

上記検出された誤差の変化量が第 1の閾値以上か否かを判定するステツプと、

上記検出された誤差が第 2の閾値以上か否かを判定するステップと上記誤差の変化量が上記第 1の閾値以上であると判定された時に、上記記憶されている上記中間画像データの画素値に対して上記第 1の画像デ一夕に基づいて第 1の調整処理を行なうステツプと、

上記誤差の変化量が上記閾値未満と判定され、上記誤差が上記第 2 の閾値以上であると判定された時に、上記記憶されている上記中間画像データの画素値に対して非線形な変化量での第 2の調整処理を行なうステップと、

上記誤差が上記第 2の閾値未満であると判定された時に、上記記憶されている中間画像データを第 2の画像データとして決定するステツプと

を備えることを特徴とする画像データ変換方法。

9 . 上記第 1の画像データは、上記第 2の画像データより画素数が多いことを特徴とする請求項 8に記載の画像データ変換方法。

1 0 . 上記中間画像データの画素値が調整される毎に、新たな上記予測係数を生成するステツプをさらに備えることを特徴とする請求項 8 に記載の画像データ変換方法。

1 1 . 上記出力画像データおよび上記予測係数を出力するステップをさらに備えることを特徴とする請求項 1 0に記載の画像デ一夕変換方法。

1 2 . 上記記憶されている上記中間画像データの画素値に所定の値を加算または減算することで上記第 2の調整処理を行なうことを特徴とする請求項 8に記載の画像データ変換方法。 ―

1 3 . 上記第 2の調整処理として、上記誤差を検出するステップで検出された上記誤差の変化の方向に基づいて、上記中間画像デ一夕の画素値に上記所定の値を加算又は減算することを特徴とする請求項 1 2 に記載の画像データ変換方法。

1 4 . 上記誤差の変化量が上記閾値未満と判定され、上記誤差が上記第 2の閾値未満であると判定された時に、上記記憶されている中間画像データを出力画像データとして決定し、上記出力画像デ一夕を出力するステツプをさらに備えることを特徴とする請求項 8に記載の画像データ変換方法。

1 5 . 第 1のデータを、上記第 1のデ一夕より低質な第 2のデータに変換するデータ変換装置において、

上記第 1のデータから上記第 2のデータとほぼ同質な中間データを生成する中間デ一夕生成部と、

上記中間データを記憶する記憶部と、

上記記憶部に記憶された上記中間データと予測係数とに基づいて上記第 1のデ一夕とほぼ同質な予測データを生成する予測データ生成部と、

上記第 1のデータと上記予測データの誤差を検出する誤差検出部と上記誤差検出部で検出された誤差の変化量が第 1の閾値以上か否かを判定する第 1の判定部と、上記誤差検出部で検出された誤差が第 2の閾値以上か否かを判定する第 2の判定部と、

上記第 1の判定部が上記誤差の変化量が上記第 1の閾値以上であると判定した時に、上記記憶部に記憶されている上記中間データのデー夕値に対して上記第 1のデータに基づいて第 1の調整処理を行ない _Λ 上記第 1の判定部が上記誤差の変化量が上記閾値未満と判定し、上記第 2の判定部が上記誤差が上記第 2の閾値未満であると判定した時に、上記記憶部に記憶されている上記中間データのデータ値に対して非線形な変化量での第 2の調整処理を行ない、

上記第 2の判定部が上記誤差が上記第 2の閾値未満であると判定した時に、上記記憶部に記憶されている中間デー夕を上記第 2のデータとして決定する調整部と

を備えることを特徴とするデータ変換装置。

1 6 . 上記第 1のデータは、上記第 2のデータよりサンプル数が多いことを特徴とする請求項 1 5に記載のデ一夕変換装置。

1 7 . 上記調整部によって上記中間データのデータ値が調整される毎に、新たな上記予測係数を生成する予測係数生成部をさらに備えることを特徴とする請求項 1 5に記載のデータ変換装置。

1 8 . 出力部をさらに備え、出力データおよび上記予測係数を出力することを特徴とする請求項 1 7に記載のデータ変換装置。

1 9 . 上記調整部は、上記記憶部に記憶されている上記中間データのデ一夕値に、所定の値を加算または減算することで上記第 2の調整処理を行なうことを特徴とする請求項 1 5に記載のデ一夕変換装置。

2 0 . 上記調整部は、上記第 2の調整処理として、上記誤差検出部で検出された上記誤差の変化の方向に基づいて、上記中間データのデ一夕値に、上記所定の値を加算又は減算することを特徴とする請求項 1 9に記載のデータ変換装置。

2 1 . 上記第 1のデータは、所定単位内の複数のデータが互いに相関を有することを特徴とする請求項 1 5に記載のデ一夕変換装置。 2 2 . 第 1のデータを、上記第 1のデ一夕より低質な第 2のデータに変換するデータ変換方法において、一上記第 1のデータから上記第 2のデータとほぼ同質な中間デ一夕を生成するステツプと、

上記中間データを記憶するステップと、

上記記憶された上記中間データと予測係数とに基づいて上記第 1のデータとほぼ同質な予測デ一夕を生成するステップと、

上記第 1のデータと上記予測データの誤差を検出するステップと、上記検出された誤差の変化量が第 1の閾値以上か否かを判定するステツプと、

上記検出された誤差が第 2の閾値以上か否かを判定するステップと、

上記誤差の変化量が上記第 1の閾値以上であると判定された時に、上記記憶されている上記中間デ一夕のデ一夕値に対して上記第 1のデ一夕に基づいて第 1の調整処理を行なうステップと、

上記誤差の変化量が上記閾値未満と判定され、上記誤差が上記第 2 の閾値以上であると判定された時に、上記記憶されている上記中間デ一夕のデ一夕値に対して非線形な変化量での第 2の調整処理を行なうステップと、

上記誤差が上記第 2の閾値未満であると判定された時に、上記記憶されている中間データを上記第 2のデータとして決定するステツプとを備えることを特徴とする画像データ変換方法。

2 3 . 上記第 1のデータは、上記第 2のデータより画素数が多いことを特徴とする請求項 2 2に記載のデータ変換方法。

2 4 . 上記中間データの画素値が調整される毎に、新たな上記予測係数を生成するステツプをさらに備えることを特徴とする請求項 2 2に記載のデータ変換方法。

2 5 . 出力データおよび上記予測係数を出力するステップをさらに備えることを特徴とする請求項 2 4に記載のデータ変換方法。

2 6 . 上記記憶されている上記中間データのデ一夕値に所定の値を加算または減算することで上記第 2の調整処理を行なうことを特徴とする請求項 2 2に記載のデ一夕変換方法。

2 7 . 上記第 2の調整処理として、上記誤差を検出するステップで検出された上記誤差の変化の方向に基づいて、上記中間デ一夕のデ一夕値に上記所定の値を加算又は減算することを特徴とする請求項 2 6に記載のデータ変換方法。

2 8 . 上記第 1のデータは、所定単位内の複数のデ一夕が互いに相関を有することを特徴とする請求項 2 2に記載のデータ変換方法。

2 9 . 第 1の画像デ一夕を、上記第 1の画像データより低質な第 2の画像データに変換する画像デ一夕変換するためのコンピュータ制御可能なプログラムが記録された記録媒体において、

上記プログラムは、

上記第 1の画像データから上記第 2の画像データとほぼ同質な中間画像デ一夕を生成するステップと、

上記中間画像データを記憶するステップと、

上記記憶された上記中間画像デ一夕と予測係数とに基づいて上記第 1の画像データとほぼ同質な予測画像データを生成するステツプと、上記第 1の画像データと上記予測画像データの誤差を検出するステップと、上記検出された誤差の変化量が第 1の閾値以上か否かを判定するステツプと、

上記誤差の変化量が上記閾値未満と判定され、上記誤差が上記第 2 の閾値以上であると判定された時に、上記記憶されている上記中間画像データの画素値に対して非線形な変化量での第 2の調整処理を行なっステツフと、

を備えることを特徴とする記録媒体。

3 0 . 第 1のデ一夕を、上記第 1のデ一夕より低質な第 2のデータに変換するデ一夕変換するためのコンピュータ制御可能なプログラムが記録された記録媒体において、

上記プログラムは、

上記第 1のデータから上記第 2のデータとほぼ同質な中間データを生成するステツプと、

上記中間データを記憶するステップと、

上記第 1のデータと上記予測デ一夕の誤差を検出するステップと、上記検出された誤差の変化量が第 1の閾値以上か否かを判定するステツプと、

上記検出された誤差が第 2の閾値以上か否かを判定するステップと上記誤差の変化量が上記第 1の閾値以上であると判定された時に、上記記憶されている上記中間データのデ一夕値に対して上記第 1のデ一夕に基づいて第 1の調整処理を行なうステツプと、

上記誤差の変化量が上記閾値未満と判定され、上記誤差が上記第 2 の閾値以上であると判定された時に、上記記憶されている上記中間デ一夕のデータ値に対して非線形な変化量での第 2の調整処理を行なうステップと、

上記誤差が上記第 2の閾値未満であると判定された時に、上記記憶されている中間デ一夕を上記第 2のデータとして決定するステツプとを備えることを特徴とする記録媒体。

3 1 . 第 1の画像データを、上記第 1の画像データより低質な第 2の画像データに変換する画像データ変換装置において、

上記第 1の画像データから上記第 2の画像データとほぼ同質な中間画像データを生成する中間画像データ生成部と、

上記中間画像データを記憶する記憶部と、

上記第 1の画像データと上記予測画像データの誤差を検出する誤差検出部と、

上記誤差検出部で検出された誤差が第 1の閾値以上か否かを判定し、上記第 1の閾値未満の時に、上記中間画像データを上記第 2の画像データとして決定する第 1の判定部と、上記第 1の判定部が、上記誤差が上記第 1の閾値以上と判定した時に、線形の調整が連続的に行なわれた回数が第 2の閾値以上か否かを判定する第 2の判定部と、

上記第 2の判定部が、上記回数が、上記第 2の閾値未満と検出した時に、上記中間画像データの画素値を線形に調整する第 1の調整部と上記第 2の判定部が、上記回数が、上記第 2の閾値以上と検出した時に、上記中間画像データの画素値を非線形に調整する第 2の調整部と、

を備え、

上記予測画像データ生成部は、上記第 1の調整部および上記第 2の調整部での調整が行われる毎に、上記予測係数を生成することを特徴とする画像データ変換装置。

3 2 . 上記第 1の画像デ一夕は、上記第 2の画像データより画素数が多いことを特徴とする請求項 3 1に記載の画像デ一夕変換装置。 3 3 . 出力部をさらに備え、

出力画像デ一夕および上記予測係数を出力することを特徴とする請求項 3 1に記載の画像データ変換装置。

3 4 . 上記第 2の調整部は、上記記憶部に記憶されている上記中間画像データの画素値に、所定の値の加算または減算することを特徴とする請求項 3 1に記載の画像データ変換装置。

3 5 . 上記第 2の調整部は、上記誤差検出部で検出された上記誤差の変化の方向に基づいて、上記中間画像データの画素値に、上記所定の値を加算又は減算することを特徴とする請求項 3 4に記載の画像デー夕変換装置。

3 6 . 第 1の画像データを、上記第 1の画像デ一夕より低質な第 2の画像データに変換する画像デ一夕変換方法において、

上記第 1の画像デ一夕から上記第 2の画像データとほぼ同質な中間画像データを生成するステップと、

上記中間画像データを記憶するステップと、

上記記憶された上記中間画像デ一夕と予測係数とに基づいて上記第 1の画像データとほぼ同質な予測画像データを生成するステツプと、上記第 1の画像データと上記予測画像デ一夕の誤差を検出するステップと、

上記検出された誤差が第 1の閾値以上か否かを判定し、上記第 1の閾値未満の時に、上記中間画像デ一夕を上記第 2の画像デ一夕として決定するステップと、

上記誤差が上記第 1の閾値以上と判定した時に、線形の調整が連続的に行なわれた回数が第 2の閾値以上か否かを判定するステップと、上記回数が、上記第 2の閾値未満と検出した時に、上記中間画像デ —夕の画素値を線形に調整するステップと、

上記回数が、上記第 2の閾値以上と検出した時に、上記中間画像デ —夕の画素値を非線形に調整するステツプと、

を備え、

上記線形の調整および時非線形の調整が行われる毎に、上記予測係数を生成することを特徴とする画像データ変換方法。

3 7 . 上記第 1の画像データは、上記第 2の画像データより画素数が多いことを特徴とする請求項 3 6に記載の画像デ一夕変換方法。

3 8 . 上記出力画像デ一夕および上記予測係数を出力するステップをさらに備えることを特徴とする請求項 3 7に記載の画像データ変換方法。

3 9 . 上記記憶されている上記中間画像デ一夕の画素値に所定の値を加算または減算することで、非線形の調整処理を行なうことを特徴とする請求項 3 6に記載の画像データ変換方法。

4 0 . 非線形の調整処理として、上記誤差を検出するステップで検出された上記誤差の変化の方向に基づいて、上記中間画像データの画素値に上記所定の値を加算又は減算することを特徴とする請求項 3 9に記載の画像データ変換方法。

4 1 . 第 1のデータを、上記第 1のデータより低質な第 2のデータに変換するデ一夕変換装置において、

上記第 1のデータから上記第 2のデ一夕とほぼ同質な中間デ一夕を生成する中間データ生成部と、

上記中間データを記憶する記憶部と、

上記記憶部に記憶された上記中間デ一夕と予測係数とに基づいて上記第 1のデータとほぼ同質な予測デ一夕を生成する予測データ生成部と、

上記第 1のデータと上記予測データの誤差を検出する誤差検出部と上記誤差検出部で検出された誤差が第 1の閾値以上か否かを判定し、上記第 1の閾値未満の時に、上記中間デ一夕を上記第 2のデータとして決定する第 1の判定部と、

上記第 1の判定部が、上記誤差が上記第 1の閾値以上と判定した時に、線形の調整が連続的に行なわれた回数が第 2の閾値以上か否かを判定する第 2の判定部と、

上記第 2の判定部が、上記回数が、上記第 2の閾値未満と検出した時に、上記中間デ一夕の画素値を線形に調整する第 1の調整部と、上記第 2の判定部が、上記回数が、上記第 2の閾値以上と検出した時に、上記中間データの画素値を非線形に調整する第 2の調整部と、を備え、

上記予測データ生成部は、上記第 1の調整部および上記第 2の調整部での調整が行われる毎に、上記予測係数を生成することを特徴とするデータ変換装置。

4 2 . 上記第 1のデータは、上記第 2のデータよりサンプル数が多いことを特徴とする請求項 4 1に記載のデ一夕変換装置。

4 3 . 上記調整部によって上記中間データのデータ値が調整される毎に、新たな上記予測係数を生成する予測係数生成部をさらに備えることを特徴とする請求項 4 1に記載のデ一夕変換装置。

4 4 . 出力部をさらに備え、出力デ一夕および上記予測係数を出力することを特徴とする請求項 4 3に記載のデータ変換装置。

4 5 . 上記調整部は、上記記憶部に記憶されている上記中間デ一夕のデ一夕値に、所定の値を加算または減算することで上記第 2の調整処理を行なうことを特徴とする請求項 4 1に記載のデータ変換装置。 4 6 . 上記調整部は、上記第 2の調整処理として、上記誤差検出部で検出された上記誤差の変化の方向に基づいて、上記中間デ一夕のデ一夕値に、上記所定の値を加算又は減算することを特徴とする請求項 4 5に記載のデータ変換装置。

4 7 . 上記第 1のデータは、所定単位内の複数のデータが互いに相関を有することを特徴とする請求項 4 1に記載のデータ変換装置。

4 8 . 第 1のデータを、上記第 1のデータより低質な第 2のデータに変換するデータ変換方法において、

上記中間データを記憶するステップと、

上記記憶された上記中間データと予測係数とに基づいて上記第 1のデ一夕とほぼ同質な予測データを生成するステップと、

上記第 1のデータと上記予測データの誤差を検出するステップと、上記検出された誤差が第 1の閾値以上か否かを判定し、上記第 1の閾値未満の時に、上記中間デ一夕を上記第 2のデータとして決定するステップと、

上記誤差が上記第 1の閾値以上と判定した時に、線形の調整が連続的に行なわれた回数が第 2の閾値以上か否かを判定するステップと、上記回数が、上記第 2の閾値未満と検出した時に、上記中間データの画素値を線形に調整するステップと、

上記回数が、上記第 2の閾値以上と検出した時に、上記中間データの画素値を非線形に調整するステップと、

を備え、

上記線形の調整および時非線形の調整が行われる毎に、上記予測係数を生成することを特徴とするデータ変換方法。

4 9 . 上記第 1のデータは、上記第 2のデ一夕よりサンプル数が多いことを特徴とする請求項 4 8に記載のデータ変換方法。

5 0 . 上記出力画像データおよび上記予測係数を出力するステップをさらに備えることを特徴とする請求項 4 9に記載のデータ変換方法。

5 1 . 上記記憶されている上記中間デ一夕の画素値に所定の値を加算または減算することで、非線形の調整処理を行なうことを特徴とする請求項 4 8に記載のデータ変換方法。

5 2 . 非線形の調整処理として、上記誤差を検出するステップで検出された上記誤差の変化の方向に基づいて、上記中間データの画素値に上記所定の値を加算又は減算することを特徴とする請求項 5 1に記載のデータ変換方法。

5 3 . 上記第 1のデータは、所定単位内の複数のデータが互いに相関を有することを特徴とする請求項 4 8に記載のデータ変換方法。 5 4 . 第 1の画像データを、上記第 1の画像デ一夕より低質な第 2の画像デ一夕に変換する画像データ変換するためのコンピュータ制御可能なプログラムが記録された記録媒体において、

上記プログラムは、

上記第 1の画像データから上記第 2の画像データとほぼ同質な中間画像データを生成するステツプと、

上記中間画像データを記憶するステップと、

上記記憶された上記中間画像データと予測係数とに基づいて上記第 1の画像デ一夕とほぼ同質な予測画像デ一夕を生成するステップと、上記第 1の画像データと上記予測画像デ一夕の誤差を検出するステップと、

上記検出された誤差が第 1の閾値以上か否かを判定し、上記第 1の閾値未満の時に、上記中間画像データを上記第 2の画像データとして決定するステップと、

上記誤差が上記第 1の閾値以上と判定した時に、線形の調整が連続的に行なわれた回数が第 2の閾値以上か否かを判定するステップと、上記回数が、上記第 2の閾値未満と検出した時に、上記中間画像デ —夕の画素値を線形に調整するステツプと、

上記回数が、上記第 2の閾値以上と検出した時に、上記中間画像デ —夕の画素値を非線形に調整するステップと、

を備え、

上記線形の調整および時非線形の調整が行われる毎に、上記予測係数を生成することを特徴とする記録媒体。

5 5 . 第 1のデータを、上記第 1のデータより低質な第 2のデータに変換するデータ変換するためのコンピュータ制御可能なプログラムが

4 記録された記録媒体において、

上記プログラムは、

上記第 1のデータから上記第 2のデータとほぼ同質な中間データを生成するステップと、

上記中間デ一夕を記憶するステップと、

上記第 1のデータと上記予測データの誤差を検出するステップと、上記検出された誤差が第 1の閾値以上か否かを判定し、上記第 1の閾値未満の時に、上記中間データを上記第 2のデ一夕として決定するステップと、

上記誤差が上記第 1の閾値以上と判定した時に、線形の調整が連続的に行なわれた回数が第 2の閾値以上か否かを判定するステップと、上記回数が、上記第 2の閾値未満と検出した時に、上記中間デ一夕の画素値を線形に調整するステップと、

上記回数が、上記第 2の閾値以上と検出した時に、上記中間デ一夕の画素値を非線形に調整するステツプと、

を備え、

補正書の請求の範囲

[2000年 2月 3日（03. 02. 00)国際事務局受理：出願当初の請求の範囲 22-24, 41, 48及び 50— 52は補正された；他の請求の範囲は変更なし。（8頁)]

9に記載のデータ変換装置。

2 1. 上記第 1のデータは、所定単位内の複数のデータが互いに相関を有することを特徴とする請求項 1 5に記載のデータ変換装置。一

22. (補正後）第 1のデータを、上記第 1のデータより低質な第 2 のデ一夕に変換するデータ変換方法において、

上記第 1のデ一夕から上記第 2のデ一夕とほぼ同質な中間デ一夕を生成するステップと、

上記中間デ一夕を記憶するステップと、

上記記憶された上記中間デ一夕と予測係数とに基づいて上記第 1のデータとほぼ同質な予測データを生成するステツプと、

上記誤差の変化量が上記第 1の閾値以上であると判定された時に、上記記憶されている上記中間デ一夕のデータ値に対して上記第 1のデ一夕に基づいて第 1の調整処理を行なうステップと、

上記誤差が上記第 2の閾値未満であると判定された時に、上記記憶されている中間データを上記第 2のデータとして決定するステップとを備えることを特徴とするデータ変換方法。

23. (補正後）上記第 1のデータは、上記第 2のデータよりサンプ

43

補正された用紙（条約第 19条）ル数が多いこと

44 捕正された用紙（条約第 19条）を特徴とする請求項 2 2に記載のデ一夕変換方法。

2 4 . (補正後）上記中間データのデータ値が調整される毎に、新たな上記予測係数を生成するステップをさらに備えることを特徴とする請求項 2 2に記載のデータ変換方法。

2 5 . 出力データおよび上記予測係数を出力するステップをさらに儼えることを特徴とする請求項 2 4に記載のデータ変換方法。

2 6 . 上記記憶されている上記中間データのデータ値に所定の値を加算または減算することで上記第 2の調整処理を行なうことを特徴とする請求項 2 2に記載のデータ変換方法。

2 7 . 上記第 2の調整処理として、上記誤差を検出するステップで検出された上記誤差の変化の方向に基づいて、上記中間デ一夕のデータ値に上記所定の値を加算又は減算することを特徴とする請求項 2 6に記載のデータ変換方法。

2 8 . 上記第 1のデータは、所定単位内の複数のデータが互いに相関を有することを特徴とする請求項 2 2に記載のデータ変換方法。

2 9 . 第 1の画像デ一夕を、上記第 1の画像データより低質な第 2の画像データに変換する画像データ変換するためのコンピュータ制御可能なプ口グラムが記録された記録媒体において、

上記プログラムは、

上記第 1の画像データから上記第 2の画像データとほぼ同質な中間画像デ一夕を生成するステツプと、

上記中間画像デー夕を記憶するステップと、

上記記憶された上記中間画像データと予測係数とに基づいて上記第 1の画像デ一夕とほぼ同質な予測画像データを生成するステツプと、上記第 1の画像データと上記予測画像データの誤差を検出するステップと、

45 補正された用紙（条約第 19条) 加算または減算することで、非線形の調整処理を行なうことを特徴とする請求項 3 6に記載の画像データ変換方法。

4 0 . 非線形の調整処理として、上記誤差を検出するステップで検出された上記誤差の変化の方向に基づいて、上記中間画像データの画素値に上記所定の値を加算又は減算することを特徴とする請求項 3 9 \Z 記載の画像データ変換方法。

4 1 . (補正後）第 1のデータを、上記第 1のデ一夕より低質な第 2 のデータに変換するデータ変換装置において、

上記第 1のデータから上記第 2のデ一夕とほぼ同質な中間データを生成する中間データ生成部と、

上記中間データを記憶する記憶部と、

上記第 1のデータと上記予測デ一夕の誤差を検出する誤差検出部と上記誤差検出部で検出された誤差が第 1の閾値以上か否かを判定し

、上記第 1の閾値未満の時に、上記中間デ一夕を上記第 2のデータとして決定する第 1の判定部と、

上記第 2の判定部が、上記回数が、上記第 2の閾値未満と検出した時に、上記中間データのデ一夕値を線形に調整する第 1の調整部と、上記第 2の判定部が、上記回数が、上記第 2の閾値以上と検出した時に、上記中間データのデータ値を非線形に調整する第 2の調整部と

46 捕正された用紙（条約第 19条）

捕正された用紙（条約第 19条）を備え、

上記予測データ生成部は、上記第 1の調整部および上記第 2の調整部での調整が行われる毎に、上記予測係数を生成することを特徴とするデ一夕変換装置。

4 2 . 上記第 1のデ一夕は、上記第 2のデ一夕よりサンプル数が多ことを特徴とする請求項 4 1に記載のデ一夕変換装置。

4 3 . 上記調整部によって上記中間データのデ一夕値が調整される毎に、新たな上記予測係数を生成する予測係数生成部をさらに備えることを特徴とする請求項 4 1に記載のデータ変換装置。

4 5 . 上記調整部は、上記記憶部に記憶されている上記中間デ一夕のデータ値に、所定の値を加算または減算することで上記第 2の調整処理を行なうことを特徴とする請求項 4 1に記載のデータ変換装置。 4 6 . 上記調整部は、上記第 2の調整処理として、上記誤差検出部で検出された上記誤差の変化の方向に基づいて、上記中間デ一夕のデー夕値に、上記所定の値を加算又は減算することを特徴とする請求項 4 5に記載のデータ変換装置。

4 7 . 上記第 1のデータは、所定単位内の複数のデ一夕が互いに相関を有することを特徴とする請求項 4 1に記載のデ一夕変換装置。

4 8 . (補正後）第 1のデータを、上記第 1のデータより低質な第 2 のデータに変換するデ一夕変換方法において、

上記第 1のデ一夕から上記第 2のデ一夕とほぼ同質な中間デ一夕を生成するステツプと、

上記中間データを記憶するステップと、

上記記憶された上記中間データと予測係数とに基づいて上記第 1の

48 捕正された用紙（条約第 19条）データとほぼ同質な予測デ一夕を生成するステップと、

上記第 1のデータと上記予測データの誤差を検出するステツプと、上記検出された誤差が第 1の閾値以上か否かを判定し、上記第 1の閾値未満の時に、上記中間データを上記第 2のデータとして決定するステップと、 ― 上記誤差が上記第 1の閾値以上と判定した時に、線形の調整が連続的に行なわれた回数が第 2の閾値以上か否かを判定するステップと、上記回数が、上記第 2の閾値未満と検出した時に、上記中間データのデ一夕値を線形に調整するステップと、

上記回数が、上記第 2の閾値以上と検出した時に、上記中間デ一夕のデ一夕値を非線形に調整するステツプと、

を備え、

4 9 . 上記第 1のデータは、上記第 2のデータよりサンプル数が多いことを特徴とする請求項 4 8に記載のデータ変換方法。

5 0 . (補正後）上記第 2の画像データおよび上記予測係数を出力するステップをさらに備えることを特徴とする請求項 4 9に記載のデ一夕変換方法。

5 1 . (補正後）上記記憶されている上記中間デ一夕のデータ値に所定の値を加算または減算することで、非線形の調整処理を行なうことを特徴とする請求項 4 8に記載のデータ変換方法。

5 2 . (補正後）非線形の調整処理として、上記誤差を検出するステップで検出された上記誤差の変化の方向に基づいて、上記中間データのデータ値に上記所定の値を加算又は減算することを特徴とする請求項 5 1に記載のデータ変換方法。

49 捕正された用紙（条約第 19条）

5 3 . 上記第 1のデータは、所定単位内の複数のデ一夕が互いに相関

50 捕正された用紙（条約第 19条）