JP2006238375A - 符号化装置および方法、復号装置および方法、画像処理システムおよび方法、記録媒体、並びにプログラム - Google Patents

Abstract

【課題】アナログ信号を利用した不正コピーを防止する
【解決手段】
復号部１２１により出力された画像データは、D/A変換部１２２およびA/D変換部１３１によりD/A変換およびA/D変換される過程において、位相ずれによる歪みが付加される。符号化部１３２は、歪みが付加された画像データを基準フレームデータと中間フレームデータに分離し、基準フレームデータを高周波成分を除去するようにDCT処理し、中間フレームデータと１つ前のフレームデータとの差分をとった差分画像データを中間周波数成分を多く残すようにDCT処理することにより、画像データを符号化する。本発明は、画像データを再生および記録する画像処理システムに適用することができる。
【選択図】図２

Description

本発明は、符号化装置および方法、復号装置および方法、画像処理システムおよび方法、記録媒体、並びにプログラムに関し、特に、アナログ信号を利用した不正コピーを防止する符号化装置および方法、復号装置および方法、画像処理システムおよび画像処理方法、記録媒体、並びにプログラムに関する。

近年、テレビ番組などのコンテンツをデジタル信号でHD（ハードディスク）やDVD(Digital Versatile Disk)などの記録媒体に記録するデジタル記録再生装置が急速に普及してきている。

HDやDVDを記録媒体とするデジタル記録再生装置の普及により、視聴者であるユーザが、テレビ番組などを高品質に記録媒体に記録することが容易にできるようになった。

一方で、デジタル記録再生装置の普及により、DVDなどで販売されている、テレビ番組や映画などのコンテンツを不正にコピーすることが容易になるという側面もある。

図１は、記録媒体に記録されたコンテンツを再生し、ディスプレイに表示させるとともに、再生されたコンテンツを他の記録媒体に記録する画像処理システムの構成の一例を示している。

図１において、画像処理システム１は、DVDなどの光ディスク等の記録媒体に記録されたコンテンツの画像データを再生し、その結果得られるアナログの画像データVanを出力する再生装置１１、再生装置１１が出力する画像データVanに基づく画像を表示するディスプレイ１２、および、再生装置１１が出力する画像データVanを利用して、光ディスク等の記録媒体にデジタルの画像データを記録する記録装置１３により構成されている。

再生装置１１は、復号部２１とD/A（Digital-to-Analog）変換部２２とから構成されている。復号部２１は、図示せぬ記録媒体から読み出した符号化されたデジタルの画像データを復号し、その結果得られるデジタルの画像データをD/A変換部２２に供給する。D/A変換部２２は、復号部２１から供給されたデジタルの画像データをアナログ信号に変換し、その結果得られるアナログの画像データVanを出力する。

ディスプレイ１２は、例えばCRT(Cathode-Ray Tube)やLCD(Liquid Crystal Display)等で構成され、D/A変換部２２からの画像データVanに基づく画像を表示する。これにより、ユーザは、記録媒体に記録されている画像データに対応する画像を見ることができる。

また、再生装置１１から出力された画像データVanは、記録装置１３にも供給(入力)される。

記録装置１３は、A/D（Analog-to-Digital）変換部３１、符号化部３２、および記録部３３により構成され、入力される画像データVanを光ディスク等の図示せぬ記録媒体に記録する。

A/D変換部３１には、再生装置１１が出力する画像データVanが入力される。A/D変換部３１は、入力された画像データVanをデジタル信号に変換し、その結果得られるデジタルの画像データVdgを符号化部３２に供給する。符号化部３２は、A/D変換部３１からの画像データVdgを符号化し、その結果得られる符号化されたデジタルの画像データVcdを記録部３３に供給する。記録部３３は、画像データVcdを記録媒体に記録する。

以上のように構成される画像処理システム１では、再生装置１１から出力されたアナログの画像データVanを利用して、再生された記録媒体と異なる記録媒体に画像データを記録することができる。すなわち、再生装置１１が出力するアナログの画像データVanを利用して、コンテンツ（の画像データ）が、不正にコピーされるおそれがある。

従来、このようなアナログの画像データVanを利用した不正コピーを防止するために、著作権保護がなされている場合には、画像データVanをスクランブル処理して出力する、あるいは画像データVanの出力を禁止することが提案されている（例えば、特許文献１参照）。

しかしながら、特許文献１のように画像データVanをスクランブル処理して出力する、あるいは画像データVanの出力を禁止する方法では、不正コピーを防止することはできるが、ディスプレイ１２に正常な画像を表示することもできなくなるという問題が発生する。

そこで、画像が表示されなくなること等の不都合を発生することなく、アナログの画像データを利用した不正コピーを防止する手法が、本出願人により提案されている（例えば、特許文献２参照）。

特開２００１−２４５２７０号公報 特開２００４−２８９６８５号公報

特許文献２に記載の手法では、アナログの画像データをA/D変換することにより得られるデジタルの画像データの位相ずれなどのアナログノイズに着目し、そのデジタルの画像データに対してアナログノイズを考慮した符号化を行うことによって、コピー前の画像の質を落とさずに、良好な質を維持したままでのコピーを不可能とし、これによりアナログの画像データを利用した不正コピーを防止するが、デジタルコンテンツの流通が一般的になっている近年においては、上述のように不正コピーを防止するための別の手法の提案が要請されている。

本発明は、このような状況に鑑みてなされたものであり、アナログ信号を利用した不正コピーを防止することができるようにするものである。

本発明の符号化装置は、第１のフレームと第２のフレームとを含む動画像データを符号化する符号化装置であって、第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、第１の画像データの高周波成分に対応するDCT係数を第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化する第１の符号化手段と、第１の画像データと第２のフレームの画像データである第２の画像データとの差分をとった差分データを生成する差分データ生成手段と、差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、差分データの高周波成分に対応するDCT係数を差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、差分データの低周波成分に対応するDCT係数と差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化する第２の符号化手段とを含むことを特徴とする。

動画像データにノイズを付加するノイズ付加手段をさらに含むようにすることができる。

第２の符号化手段による量子化に用いられる第１の量子化テーブルにおいて、差分データの低周波成分に対応するDCT係数の量子化に用いる要素の値が、第１の符号化手段による量子化に用いられる第２の量子化テーブルの第１の画像データの低周波成分に対応するDCT係数の量子化に用いる要素の値より大きく、差分データの中間周波成分に対応するDCT係数の量子化に用いる要素の値が、第２の量子化テーブルの第１の画像データの中間周波成分に対応するDCT係数の量子化に用いる要素の値より小さいようにすることができる。

本発明の符号化方法は、第１のフレームと第２のフレームとを含む動画像データを符号化する符号化方法であって、第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、第１の画像データの高周波成分に対応するDCT係数を第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化する第１の符号化ステップと、第１の画像データと第２のフレームの画像データである第２の画像データとの差分をとった差分データを生成する差分データ生成ステップと、差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、差分データの高周波成分に対応するDCT係数を差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、差分データの低周波成分に対応するDCT係数と差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化する第２の符号化ステップとを含むことを特徴とする。

本発明の第１の記録媒体に記録されているプログラムは、第１のフレームと第２のフレームとを含む動画像データを符号化する符号化処理用のプログラムであって、第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、第１の画像データの高周波成分に対応するDCT係数を第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化する第１の符号化ステップと、第１の画像データと第２のフレームの画像データである第２の画像データとの差分をとった差分データを生成する差分データ生成ステップと、差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、差分データの高周波成分に対応するDCT係数を差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、差分データの低周波成分に対応するDCT係数と差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化する第２の符号化ステップとを含むことを特徴とする。

本発明の第１のプログラムは、第１のフレームと第２のフレームとを含む動画像データを符号化する符号化処理用のコンピュータに、符号化処理を行わせるプログラムであって、第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、第１の画像データの高周波成分に対応するDCT係数を第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化する第１の符号化ステップと、第１の画像データと第２のフレームの画像データである第２の画像データとの差分をとった差分データを生成する差分データ生成ステップと、差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、差分データの高周波成分に対応するDCT係数を差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、差分データの低周波成分に対応するDCT係数と差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化する第２の符号化ステップとを含むことを特徴とする。

本発明の復号装置は、第１のフレームと第２のフレームとを含む動画像データを符号化した符号化動画像データを復号する復号装置であって、第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、第１の画像データの高周波成分に対応するDCT係数を第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化することにより符号化された第１の画像データに対して、逆量子化および逆DCTを行うことにより第１の画像データを復号する第１の復号手段と、第１の画像データと第２のフレームの画像データである第２の画像データとの差分をとった差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、差分データの高周波成分に対応するDCT係数を差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、差分データの低周波成分に対応するDCT係数と差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化することにより符号化された差分データに対して、逆量子化および逆DCTを行うことにより差分データを復号する第２の復号手段と、復号された第１の画像データと、復号された差分データとを加算することにより、第２の画像データを復号する第３の復号手段とを含むことを特徴とする。

本発明の復号方法は、第１のフレームと第２のフレームとを含む動画像データを符号化した符号化動画像データを復号する復号方法であって、第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、第１の画像データの高周波成分に対応するDCT係数を第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化することにより符号化された第１の画像データに対して、逆量子化および逆DCTを行うことにより第１の画像データを復号する第１の復号ステップと、第１の画像データと第２のフレームの画像データである第２の画像データとの差分をとった差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、差分データの高周波成分に対応するDCT係数を差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、差分データの低周波成分に対応するDCT係数と差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化することにより符号化された差分データに対して、逆量子化および逆DCTを行うことにより差分データを復号する第２の復号ステップと、復号された第１の画像データと、復号された差分データとを加算することにより、第２の画像データを復号する第３の復号ステップとを含むことを特徴とする。

本発明の第２の記録媒体に記録されているプログラムは、第１のフレームと第２のフレームとを含む動画像データを符号化した符号化動画像データを復号する復号処理用のプログラムであって、第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、第１の画像データの高周波成分に対応するDCT係数を第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化することにより符号化された第１の画像データに対して、逆量子化および逆DCTを行うことにより第１の画像データを復号する第１の復号ステップと、第１の画像データと第２のフレームの画像データである第２の画像データとの差分をとった差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、差分データの高周波成分に対応するDCT係数を差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、差分データの低周波成分に対応するDCT係数と差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化することにより符号化された差分データに対して、逆量子化および逆DCTを行うことにより差分データを復号する第２の復号ステップと、復号された第１の画像データと、復号された差分データとを加算することにより、第２の画像データを復号する第３の復号ステップとを含むことを特徴とする。

本発明の第２のプログラムは、第１のフレームと第２のフレームとを含む動画像データを符号化した符号化動画像データを復号する復号処理用のコンピュータに、復号処理を行わせるプログラムであって、第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、第１の画像データの高周波成分に対応するDCT係数を第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化することにより符号化された第１の画像データに対して、逆量子化および逆DCTを行うことにより第１の画像データを復号する第１の復号ステップと、第１の画像データと第２のフレームの画像データである第２の画像データとの差分をとった差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、差分データの高周波成分に対応するDCT係数を差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、差分データの低周波成分に対応するDCT係数と差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化することにより符号化された差分データに対して、逆量子化および逆DCTを行うことにより差分データを復号する第２の復号ステップと、復号された第１の画像データと、復号された差分データとを加算することにより、第２の画像データを復号する第３の復号ステップとを含むことを特徴とする。

本発明の第１の画像処理システムは、符号化部と、復号部とを含み、第１のフレームと第２のフレームとを含む動画像データを画像処理する画像処理システムであって、符号化部は、第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、第１の画像データの高周波成分に対応するDCT係数を第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化する第１の符号化手段と、第１の画像データと第２のフレームの画像データである第２の画像データとの差分をとった差分データを生成する差分データ生成手段と、差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、差分データの高周波成分に対応するDCT係数を差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、差分データの低周波成分に対応するDCT係数と差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化する第２の符号化手段とを含むことを特徴とする。

復号部から符号化部に供給される動画像データにノイズを付加するノイズ付加部をさらに含むようにすることができる。

本発明の第１の画像処理方法は、符号化部と、復号部とを含み、第１のフレームと第２のフレームとを含む動画像データを画像処理する画像処理システムの画像処理方法であって、符号化部により実行される、第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、第１の画像データの高周波成分に対応するDCT係数を第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化する第１の符号化ステップと、第１の画像データと第２のフレームの画像データである第２の画像データとの差分をとった差分データを生成する差分データ生成ステップと、差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、差分データの高周波成分に対応するDCT係数を差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、差分データの低周波成分に対応するDCT係数と差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化する第２の符号化ステップとを含むことを特徴とする。

画像処理システムは、ノイズ付加部をさらに含み、ノイズ付加部により実行される、復号部から符号化部に供給される動画像データにノイズを付加するノイズ付加ステップをさらに含むようにすることができる。

本発明の第２の画像処理システムは、符号化部と、復号部とを含み、第１のフレームと第２のフレームとを含む動画像データを画像処理する画像処理システムであって、復号部は、第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、第１の画像データの高周波成分に対応するDCT係数を第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化することにより符号化された第１の画像データに対して、逆量子化および逆DCTを行うことにより第１の画像データを復号する第１の復号手段と、第１の画像データと第２のフレームの画像データである第２の画像データとの差分をとった差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、差分データの高周波成分に対応するDCT係数を差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、差分データの低周波成分に対応するDCT係数と差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化することにより符号化された差分データに対して、逆量子化および逆DCTを行うことにより差分データを復号する第２の復号手段と、復号された第１の画像データと、復号された差分データとを加算することにより、第２の画像データを復号する第３の復号手段とを含むことを特徴とする。

復号部から符号化部に供給される動画像データにノイズを付加するノイズ付加部をさらに含むようにすることができる。

本発明の第２の画像処理方法は、符号化部と、復号部とを含み、第１のフレームと第２のフレームとを含む動画像データを画像処理する画像処理システムの画像処理方法であって、復号部により実行される、第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、第１の画像データの高周波成分に対応するDCT係数を第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化することにより符号化された第１の画像データに対して、逆量子化および逆DCTを行うことにより第１の画像データを復号する第１の復号ステップと、第１の画像データと第２のフレームの画像データである第２の画像データとの差分をとった差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、差分データの高周波成分に対応するDCT係数を差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、差分データの低周波成分に対応するDCT係数と差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化することにより符号化された差分データに対して、逆量子化および逆DCTを行うことにより差分データを復号する第２の復号ステップと、復号された第１の画像データと、復号された差分データとを加算することにより、第２の画像データを復号する第３の復号ステップとを含むことを特徴とする。

画像処理システムは、ノイズ付加部をさらに含み、ノイズ付加部により実行される、復号部から符号化部に供給される動画像データにノイズを付加するノイズ付加ステップをさらに含むようにすることができる。

本発明の符号化装置、符号化方法、第１の記録媒体、第１のプログラム、第１の画像処理システム、および、第１の画像処理方法においては、第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、第１の画像データの高周波成分に対応するDCT係数が第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化され、第１の画像データと第２のフレームの画像データである第２の画像データとの差分をとった差分データが生成され、差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、差分データの高周波成分に対応するDCT係数が差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化され、差分データの低周波成分に対応するDCT係数と差分データの中間周波成分に対応するDCT係数とがほぼ同じ細かさで量子化される。

本発明の復号装置、復号方法、第２の記録媒体、第２のプログラム、第２の画像処理システム、および、第２の画像処理方法においては、第１のフレームと第２のフレームとを含む動画像データを符号化した符号化動画像データを復号する復号処理用のコンピュータに、復号処理を行わせるプログラムであって、第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、第１の画像データの高周波成分に対応するDCT係数を第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化することにより符号化された第１の画像データに対して、逆量子化および逆DCTを行うことにより第１の画像データが復号され、第１の画像データと第２のフレームの画像データである第２の画像データとの差分をとった差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、差分データの高周波成分に対応するDCT係数を差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、差分データの低周波成分に対応するDCT係数と差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化することにより符号化された差分データに対して、逆量子化および逆DCTを行うことにより差分データが復号され、復号された第１の画像データと、復号された差分データとを加算することにより、第２の画像データが復号される。

本発明によれば、画像データを符号化または復号することができる。また、本発明によれば、アナログ信号に基づいて表示される画像の画質を落とさずに、アナログ信号を利用した不正コピーを防止することができる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

請求項１に記載の符号化装置（例えば、図２に記載の記録装置１１３）は、第１のフレーム（例えば、基準フレーム）と第２のフレーム（例えば、中間フレーム）とを含む動画像データを符号化する符号化装置であって、前記第１のフレームの画像データである第１の画像データ（例えば、基準フレームデータ）に対してDCTを行うことにより生成されたDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化する第１の符号化手段（例えば、図４の基準フレーム符号化部２０３）と、前記第１の画像データと前記第２のフレームの画像データである第２の画像データ（例えば、中間フレームデータ）との差分をとった差分データ（例えば、差分画像データ）を生成する差分データ生成手段（例えば、図４の差分画像生成部２０５）と、前記差分データに対してDCTを行うことにより生成されたDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化する第２の符号化手段（例えば、図４の差分画像符号化部２０７）とを含むことを特徴とする。

請求項２に記載の符号化装置（例えば、図２に記載の記録装置１１３）においては、前記動画像データにノイズを付加するノイズ付加手段（例えば、図２のA/D変換部１３１）をさらに含むことを特徴とする。

請求項３に記載の符号化装置（例えば、図２に記載の記録装置１１３）においては、前記第２の符号化手段による量子化に用いられる第１の量子化テーブル（例えば、量子化テーブルQ２）において、前記差分データの低周波成分に対応するDCT係数の量子化に用いる要素の値を、前記第１の符号化手段による量子化に用いられる第２の量子化テーブル（例えば、量子化テーブルQ1）の前記第１の画像データの低周波成分に対応するDCT係数の量子化に用いる要素の値より大きくし、前記差分データの中間周波成分に対応するDCT係数の量子化に用いる要素の値を、前記第２の量子化テーブルの前記第１の画像データの中間周波成分に対応するDCT係数の量子化に用いる要素の値より小さくすることを特徴とする。

請求項４に記載の符号化方法は、第１のフレーム（例えば、基準フレーム）と第２のフレーム（例えば、中間フレーム）とを含む動画像データを符号化する符号化方法であって、前記第１のフレームの画像データである第１の画像データ（例えば、基準フレームデータ）に対してDCTを行うことにより生成されたDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化する第１の符号化ステップ（例えば、図１２のステップＳ６）と、前記第１の画像データと前記第２のフレームの画像データである第２の画像データ（例えば、中間フレームデータ）との差分をとった差分データ（例えば、差分画像データ）を生成する差分データ生成ステップ（例えば、図１３のステップＳ１３）と、前記差分データに対してDCTを行うことにより生成されたDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化する第２の符号化ステップ（例えば、図１３のステップＳ１５）とを含むことを特徴とする。

請求項５に記載の記録媒体（例えば、図１９のリムーバブルメディア７１１）に記録されているプログラムは、第１のフレーム（例えば、基準フレーム）と第２のフレーム（例えば、中間フレーム）とを含む動画像データを符号化する符号化処理用のプログラムであって、前記第１のフレームの画像データである第１の画像データ（例えば、基準フレームデータ）に対してDCTを行うことにより生成されたDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化する第１の符号化ステップ（例えば、図１２のステップＳ６）と、前記第１の画像データと前記第２のフレームの画像データである第２の画像データ（例えば、中間フレームデータ）との差分をとった差分データ（例えば、差分画像データ）を生成する差分データ生成ステップ（例えば、図１３のステップＳ１３）と、前記差分データに対してDCTを行うことにより生成されたDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化する第２の符号化ステップ（例えば、図１３のステップＳ１５）とを含むことを特徴とする。

請求項６に記載のプログラムは、第１のフレーム（例えば、基準フレーム）と第２のフレーム（例えば、中間フレーム）とを含む動画像データを符号化する符号化処理用のコンピュータに、符号化処理を行わせるプログラムであって、前記第１のフレームの画像データである第１の画像データ（例えば、基準フレームデータ）に対してDCTを行うことにより生成されたDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化する第１の符号化ステップ（例えば、図１２のステップＳ６）と、前記第１の画像データと前記第２のフレームの画像データである第２の画像データ（例えば、中間フレームデータ）との差分をとった差分データ（例えば、差分画像データ）を生成する差分データ生成ステップ（例えば、図１３のステップＳ１３）と、前記差分データに対してDCTを行うことにより生成されたDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化する第２の符号化ステップ（例えば、図１３のステップＳ１５）とを含むことを特徴とする。

請求項７に記載の復号装置（例えば、図２に記載の復号部１２１または復号部１３４）は、第１のフレーム（例えば、基準フレーム）と第２のフレーム（例えば、中間フレーム）とを含む動画像データを符号化した符号化動画像データを復号する復号装置であって、前記第１のフレームの画像データである第１の画像データ（例えば、基準フレームデータ）に対してDCTを行うことにより生成されたDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化することにより符号化された前記第１の画像データに対して、逆量子化および逆DCTを行うことにより前記第１の画像データを復号する第１の復号手段（例えば、図７の基準フレーム復号部３０３）と、前記第１の画像データと前記第２のフレームの画像データである第２の画像データ（例えば、中間フレームデータ）との差分をとった差分データ（例えば、差分画像データ）に対してDCTを行うことにより生成されたDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化することにより符号化された前記差分データに対して、逆量子化および逆DCTを行うことにより前記差分データを復号する第２の復号手段（例えば、図７の差分画像復号部３０４）と、復号された前記第１の画像データと、復号された前記差分データとを加算することにより、前記第２の画像データを復号する第３の復号手段（例えば、図７の加算部３０５）とを含むことを特徴とする。

請求項８に記載の復号方法は、第１のフレーム（例えば、基準フレーム）と第２のフレーム（例えば、中間フレーム）とを含む動画像データを符号化した符号化動画像データを復号する復号方法であって、前記第１のフレームの画像データである第１の画像データ（例えば、基準フレームデータ）に対してDCTを行うことにより生成されたDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化することにより符号化された前記第１の画像データに対して、逆量子化および逆DCTを行うことにより前記第１の画像データを復号する第１の復号ステップ（例えば、図１５のステップＳ５５）と、前記第１の画像データと前記第２のフレームの画像データである第２の画像データ（例えば、中間フレームデータ）との差分をとった差分データ（例えば、差分画像データ）に対してDCTを行うことにより生成されたDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化することにより符号化された前記差分データに対して、逆量子化および逆DCTを行うことにより前記差分データを復号する第２の復号ステップ（例えば、図１５のステップＳ５８）と、復号された前記第１の画像データと、復号された前記差分データとを加算することにより、前記第２の画像データを復号する第３の復号ステップ（例えば、図１５のステップＳ６０）とを含むことを特徴とする。

請求項９に記載の記録媒体（例えば、図１９のリムーバブルメディア７１１）に記録されているプログラムは、第１のフレーム（例えば、基準フレーム）と第２のフレーム（例えば、中間フレーム）とを含む動画像データを符号化した符号化動画像データを復号する復号処理用のプログラムであって、前記第１のフレームの画像データである第１の画像データ（例えば、基準フレームデータ）に対してDCTを行うことにより生成されたDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化することにより符号化された前記第１の画像データに対して、逆量子化および逆DCTを行うことにより前記第１の画像データを復号する第１の復号ステップ（例えば、図１５のステップＳ５５）と、前記第１の画像データと前記第２のフレームの画像データである第２の画像データ（例えば、中間フレームデータ）との差分をとった差分データ（例えば、差分画像データ）に対してDCTを行うことにより生成されたDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化することにより符号化された前記差分データに対して、逆量子化および逆DCTを行うことにより前記差分データを復号する第２の復号ステップ（例えば、図１５のステップＳ５８）と、復号された前記第１の画像データと、復号された前記差分データとを加算することにより、前記第２の画像データを復号する第３の復号ステップ（例えば、図１５のステップＳ６０）とを含むことを特徴とする。

請求項１０に記載のプログラムは、第１のフレーム（例えば、基準フレーム）と第２のフレーム（例えば、中間フレーム）とを含む動画像データを符号化した符号化動画像データを復号する復号処理用のコンピュータに、復号処理を行わせるプログラムであって、前記第１のフレームの画像データである第１の画像データ（例えば、基準フレームデータ）に対してDCTを行うことにより生成されたDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化することにより符号化された前記第１の画像データに対して、逆量子化および逆DCTを行うことにより前記第１の画像データを復号する第１の復号ステップ（例えば、図１５のステップＳ５５）と、前記第１の画像データと前記第２のフレームの画像データである第２の画像データ（例えば、中間フレームデータ）との差分をとった差分データ（例えば、差分画像データ）に対してDCTを行うことにより生成されたDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化することにより符号化された前記差分データに対して、逆量子化および逆DCTを行うことにより前記差分データを復号する第２の復号ステップ（例えば、図１５のステップＳ５８）と、復号された前記第１の画像データと、復号された前記差分データとを加算することにより、前記第２の画像データを復号する第３の復号ステップ（例えば、図１５のステップＳ６０）とを含むことを特徴とする。

請求項１１に記載の画像処理システム（例えば、図２の画像処理システム１０１）は、符号化部（例えば、図２の符号化部１３２）と、復号部（例えば、図２の復号部１２１）を含み、第１のフレーム（例えば、基準フレーム）と第２のフレーム（例えば、中間フレーム）とを含む動画像データを画像処理する画像処理システムであって、前記符号化部は、第１のフレーム（例えば、基準フレーム）と第２のフレーム（例えば、中間フレーム）とを含む前記動画像データが入力される入力手段（例えば、図４の入力部２０１）と、前記第１のフレームの画像データである第１の画像データ（例えば、基準フレームデータ）に対してDCTを行うことにより生成されたDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化する第１の符号化手段（例えば、図４の基準フレーム符号化部２０３）と、前記第１の画像データと前記第２のフレームの画像データである第２の画像データ（例えば、中間フレームデータ）との差分をとった差分データ（例えば、差分画像データ）を生成する差分データ生成手段（例えば、図４の差分画像生成部２０５）と、前記差分データに対してDCTを行うことにより生成されたDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化する第２の符号化手段（例えば、図４の差分画像符号化部２０７）とを含むことを特徴とする。

請求項１２に記載の画像処理システム（例えば、図２の画像処理システム１０１）は、前記復号部から前記符号化部に供給される前記動画像データにノイズを付加するノイズ付加部ノイズ付加部（例えば、図２のD/A変換部１２２またはA/D変換部１３１）をさらに含むことを特徴とする。

請求項１３に記載の画像処理方法は、符号化部（例えば、図２の符号化部１３２）と、復号部（例えば、図２の復号部１２１）を含み、含む動画像データを画像処理する画像処理システム（例えば、図２の画像処理システム１０１）の画像処理方法であって、前記符号化部により実行される、第１のフレーム（例えば、基準フレーム）と第２のフレーム（例えば、中間フレーム）とを含む前記動画像データの入力を制御する入力制御ステップ（例えば、図１２のステップＳ１）と、前記第１のフレームの画像データである第１の画像データ（例えば、基準フレームデータ）に対してDCTを行うことにより生成されたDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化する第１の符号化ステップ（例えば、図１２のステップＳ６）と、前記第１の画像データと前記第２のフレームの画像データである第２の画像データ（例えば、中間フレームデータ）との差分をとった差分データ（例えば、差分画像データ）を生成する差分データ生成ステップ（例えば、図１３のステップＳ１３）と、前記差分データに対してDCTを行うことにより生成されたDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化する第２の符号化ステップ（例えば、図１３のステップＳ１５）とを含むことを特徴とする。

請求項１４に記載の画像処理方法においては、前記画像処理システムは、ノイズ付加部（例えば、図２のD/A変換部１２２またはA/D変換部１３１）をさらに含み、前記ノイズ付加部により実行される、前記復号部から前記符号化部に供給される前記動画像データにノイズを付加するノイズ付加ステップ（例えば、図１５のステップＳ５５またはＳ６０）をさらに含むことを特徴とする

請求項１５に記載の画像処理システム（例えば、図２の画像処理システム１０１）は、符号化部（例えば、図２の符号化部１３２）と復号部（例えば、図２の復号部１２１）を含み、第１のフレーム（例えば、基準フレーム）と第２のフレーム（例えば、中間フレーム）とを含む動画像データを画像処理する画像処理システムであって、前記復号部は、第１のフレーム（例えば、基準フレーム）と第２のフレーム（例えば、中間フレーム）とを含む前記動画像データを符号化した符号化動画像データが入力される入力手段（例えば、図７の入力部３０１）と、前記第１のフレームの画像データである第１の画像データ（例えば、基準フレームデータ）に対してDCTを行うことにより生成されたDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化することにより符号化された前記第１の画像データに対して、逆量子化および逆DCTを行うことにより前記第１の画像データを復号する第１の復号手段（例えば、図７の基準フレーム復号部３０３）と、前記第１の画像データと前記第２のフレームの画像データである第２の画像データ（例えば、中間フレームデータ）との差分をとった差分データ（例えば、差分画像データ）に対してDCTを行うことにより生成されたDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化することにより符号化された前記差分データに対して、逆量子化および逆DCTを行うことにより前記差分データを復号する第２の復号手段（例えば、図７の差分画像復号部３０４）と、復号された前記第１の画像データと、復号された前記差分データとを加算することにより、前記第２の画像データを復号する第３の復号手段（例えば、図７の加算部３０５）とを含むことを特徴とする。

請求項１６に記載の画像処理システム（例えば、図２の画像処理システム１０１）は、前記復号部から前記符号化部に供給される前記動画像データにノイズを付加するノイズ付加部ノイズ付加部（例えば、図２のD/A変換部１２２またはA/D変換部１３１）をさらに含むことを特徴とする。

請求項１７に記載の画像処理方法は、符号化部（例えば、図２の符号化部１３２）と復号部（例えば、図２の復号部１２１）を含み、含む動画像データを画像処理する画像処理システム（例えば、図２の画像処理システム１０１）の画像処理方法であって、前記復号部により実行される、第１のフレーム（例えば、基準フレーム）と第２のフレーム（例えば、中間フレーム）とを含む前記動画像データを符号化した符号化動画像データの入力を制御する入力制御ステップ（例えば、図１５のステップＳ５１）と、前記第１のフレームの画像データである第１の画像データ（例えば、基準フレームデータ）に対してDCTを行うことにより生成されたDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化することにより符号化された前記第１の画像データに対して、逆量子化および逆DCTを行うことにより前記第１の画像データを復号する第１の復号ステップ（例えば、図１５のステップＳ５５）と、前記第１の画像データと前記第２のフレームの画像データである第２の画像データ（例えば、中間フレームデータ）との差分をとった差分データ（例えば、差分画像データ）に対してDCTを行うことにより生成されたDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化することにより符号化された前記差分データに対して、逆量子化および逆DCTを行うことにより前記差分データを復号する第２の復号ステップ（例えば、図１５のステップＳ５８）と、復号された前記第１の画像データと、復号された前記差分データとを加算することにより、前記第２の画像データを復号する第３の復号ステップ（例えば、図１５のステップＳ６０）とを含むことを特徴とする。

請求項１８に記載の画像処理方法においては、前記画像処理システムは、ノイズ付加部（例えば、図２のD/A変換部１２２またはA/D変換部１３１）をさらに含み、前記ノイズ付加部により実行される、前記復号部から前記符号化部に供給される前記動画像データにノイズを付加するノイズ付加ステップ（例えば、図１５のステップＳ５５またはＳ６０）をさらに含むことを特徴とする

以下、図を参照して、本発明の実施の形態について説明する。

図２は、本発明を適用した画像処理システム１０１の一実施の形態を示すブロック図である。画像処理システム１０１は、DVDなどの光ディスク等の記録媒体に記録されたコンテンツの画像データを再生し、その結果得られるアナログの画像データVan1を出力する再生装置１１１、再生装置１１１が出力する画像データVanに基づく画像を表示するディスプレイ１１２、および、再生装置１１１が出力する画像データVanを利用して、光ディスク等の記録媒体にデジタルの画像データを記録する記録装置１１３により構成されている。

再生装置１１１は、復号部１２１およびD/A変換部１２２を含むように構成される。

復号部１２１は、例えば、図示せぬ磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなる記録媒体から読み出された、符号化されたデジタルの画像データを画像データVdg0に復号し、画像データVdg0をD/A変換部１２２に供給する。

D/A変換部１２２は、デジタルの画像データVdg0をアナログの画像データVan1にD/A変換し、画像データVan1をディスプレイ１１２および記録装置１１３に出力する。

ディスプレイ１１２は、例えば、CRTディスプレイ、LCD等で構成され、画像データVan1に基づく画像を表示する。これにより、ユーザは、記録媒体に記録されている画像データに対応する画像を見ることができる。

記録装置１１３は、A/D変換部１３１、符号化部１３２、記録部１３３、復号部１３４、D/A変換部１３５、およびディスプレイ１３６を含むように構成される。

A/D変換部１３１は、再生装置１１１から入力されるアナログの画像データVan1をデジタルの画像データVdg1にA/D変換し、画像データVdg1を符号化部１３２に供給する。

符号化部１３２は、図１２および図１３を参照して後述するように、上述した再生装置１１１により再生される記録媒体に記録されているデジタルの画像データと同様の方式に基づいて、画像データVdg1を画像データVcd1に符号化する。符号化部１３２は、画像データVcd1を記録部１３３および復号部１３４に供給する。

記録部１３３は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなる記録媒体に画像データVcd1を記録させる。すなわち、記録部１３３は、アナログの画像データVan1を符号化したデジタルの画像データVcd1を記録媒体に記録（コピー）する。これにより、再生装置１１１から出力されたアナログの画像データVanを利用して、再生された記録媒体と異なる記録媒体に画像データVcd1を記録する。

復号部１３４は、図１５を参照して後述するように、画像データVcd1を画像データVdg2に復号し、画像データVdg2をD/A変換部１３５に供給する。

D/A変換部１３５は、デジタルの画像データVdg2をアナログの画像データVan2にD/A変換し、画像データVan2をディスプレイ１３６に供給する。

ディスプレイ１３６は、例えば、CRTディスプレイ、LCD等により構成され、画像データVan2に基づく画像を表示する。これにより、ユーザは、符号化部１３２により符号化された画像データVcd1に基づく画像を見ることができる。

ところで、D/A変換部１２２においてデジタルの画像データVdg0をD/A変換するとき、A/D変換部１３１においてアナログの画像データVan1をA/D変換するとき、および、D/A変換部１３５においてデジタルの画像データVdg2をD/A変換するとき、その変換処理において、画像データの高周波（空間周波数が高い）成分の歪み、および、画像データの位相がずれることによる歪み（以下、位相ずれと称する）などが生じる。すなわち、高周波成分の歪みや位相ずれなどが画像データに付加される。この高周波成分の歪みや位相ずれなどは、アナログノイズとも称される。なお、このアナログノイズのうち、高周波成分の歪みは、主にホワイトノイズと呼ばれるノイズに起因するものである。

ここで、図３を参照して位相ずれについて説明する。図内の白い丸印は、画像データVdg0の画素の位置を示しており、図内の黒い丸印は、画像データVdg0をD/A変換するときに位相ずれが発生し、位相ずれによる歪みが付加された画像データVan1をA/D変換した場合の画像データVdg1の画素の位置の例を示している。この例の場合、位相ずれによる歪みが付加されることにより、画像データVdg2の画素の位置は、本来の画像データVdg0の画素の位置と比べて、水平方向にφhおよび垂直方向にφvだけずれてしまっている。なお、水平方向の位相ずれの幅φhは、水平方向の画素間隔より小さくなったり大きくなったりする一方、垂直方向の位相ずれの幅φvは、垂直方向の画素間隔の整数倍となる。また、位相ずれは、水平方向または垂直方向の一方向のみ生じる場合がある。なお、位相がずれて空いてしまった画素には、例えば、本来の画像データの画素の画素値ではない、同期信号などに基づく値が設定される。

この位相ずれが発生することにより、位相ずれの幅だけ画像の表示位置がずれ、ずれた部分に、画素値以外の同期信号などに基づく画像が表示されてしまうことになるが、表示位置のずれはわずかであり、ユーザが視認することができるレベルにおける画像の画質にはほとんど影響を及ぼさない。

なお、D/A変換部１２２、および、D/A変換部１３５は、それぞれ、デジタルの画像データがアナログの画像データに変換される過程において、上述した位相ずれを必ず発生させるようにしてもよい。

また、D/A変換部１２２は復号部１２１と、D/A変換部１３５は復号部１３４と、それぞれ、１つの構成要素として構成とするようにしても良い。

さらに、図２の再生装置１１１および記録装置１１３を構成する各部は、それぞれ、独立した装置として構成するようにしても良い。すなわち、例えば、D/A変換部１２２と復号部１２１とをそれぞれ独立した装置として構成したり、２つの構成要素を持つ１つの装置として構成しても良い。また、符号化部１３２や復号部１３４をそれぞれ独立した装置として構成したり、A/D変換部１３１と符号化部１３２との２つの構成要素を持つ１つの装置として構成したり、D/A変換部１３５と復号部１３４との２つの構成要素を持つ１つの装置として構成するようにしてもよい。

なお、上述したアナログノイズは、D/A変換部１２２、A/D変換部１３１、および、D/A変換部１３５において実行される変換処理時以外にも、D/A変換部１２２からA/D変換部１３１へアナログの画像データVan1を伝送する際に、画像データVan1に付加される場合もある。

図４は、図２の記録装置１１３の符号化部１３２の機能の構成例を示すブロック図である。符号化部１３２は、入力部２０１、基準フレーム導出部２０２、基準フレーム符号化部２０３、基準フレーム復号部２０４、差分画像生成部２０５、復号画像記憶部２０６、差分画像符号化部２０７、差分画像復号部２０８、および出力部２０９を含むように構成される。

入力部２０１は、A/D変換部１３１から供給される画像データVdg1を基準フレーム導出部２０２に供給する。

基準フレーム導出部２０２は、画像データVdg1を構成する複数のフレームを基準フレームと中間フレームに分離する。図５は、画像データVdg1のフレームの構成の例を示す図である。基準フレーム導出部２０２は、画像データVdg1を構成する各フレームのうち、一定の間隔または任意の間隔のフレームを基準フレームに設定し、基準フレーム以外のフレームを中間フレームに設定する。なお、以下、各フレームの画像データをフレームデータと称し、特に、基準フレームの画像データを基準フレームデータとも称し、中間フレームの画像データを中間フレームデータとも称する。

基準フレーム導出部２０２は、画像データVdg1を構成するフレームデータのうち、基準フレームデータを基準フレーム符号化部２０３に供給し、中間フレームデータを差分画像生成部２０５に供給する。

基準フレーム符号化部２０３は、基準フレームデータの各画素の画素値に対してDCT（Discrete Cosine Transform、離散コサイン変換）および量子化（以下、まとめてDCT処理とも称する）を行うことにより、基準フレームデータを符号化する。基準フレーム符号化部２０３は、符号化した基準フレームデータ（以下、符号化基準フレームデータとも称する。）を基準フレーム復号部２０４および出力部２０９に供給する。

基準フレーム復号部２０４は、基準フレーム符号化部２０３と逆の手順により、符号化基準フレームデータに対して逆量子化および逆DCT（以下、まとめて逆DCT処理とも称する）を行うことにより、符号化基準フレームデータを復号する。基準フレーム復号部２０４は、復号した基準フレームデータ（以下、復号基準フレームデータとも称する）を差分画像生成部２０５に供給する。

差分画像生成部２０５は、各中間フレームデータについて、その中間フレームデータ（以下、差分元フレームデータとも称する）の各画素の画素値と、時間軸上で１フレーム前のフレームデータ（以下、直前フレームデータとも称する）の各画素の画素値との差分をとったデータ（以下、差分画像データとも称する）を生成する。差分画像生成部２０５は、差分画像データを差分画像符号化部２０７に供給する。

復号画像記憶部２０６は、差分画像生成部２０５の処理において必要となる復号されたフレームデータを記憶する。

差分画像符号化部２０７は、差分画像データの各画素の画素値に対して、DCT処理を行うことにより、差分画像データを符号化する。差分画像符号化部２０７は、符号化した差分画像データ（以下、符号化差分画像データとも称する）を差分画像復号部２０８および出力部２０９に供給する。

差分画像復号部２０８は、差分画像符号化部２０７と逆の手順により、符号化差分画像データに対して逆DCT処理を行うことにより、符号化差分画像データを復号する。差分画像復号部２０８は、復号した差分画像データ（以下、復号差分画像データとも称する）を差分画像生成部２０５に供給する。

ここで、図６を参照して、時間軸上において基準フレームデータ２５１の後に連続して配置される中間フレームデータ２５２−１乃至２５２−３に対応する差分画像データ２５４−１乃至２５４−３を生成する例を挙げて、差分画像生成部２０５、差分画像符号化部２０７、および差分画像復号部２０８の間で行なわれる処理をさらに詳細に説明する。

差分画像生成部２０５は、基準フレームデータ２５１を符号化および復号した復号基準フレームデータ２５３を基準フレーム復号部２０４から取得し、復号基準フレームデータ２５３を復号画像記憶部２０６に記憶させる。差分画像生成部２０５は、中間フレームデータ２５２−１を基準フレーム導出部２０２から取得し、差分元フレームデータである中間フレームデータ２５２−１の各画素の画素値と直前フレームデータである復号基準フレームデータ２５３の各画素の画素値との差分をとることにより、中間フレームデータ２５２−１に対応する差分画像データ２５４−１を生成する。差分画像生成部２０５は、差分画像データ２５４−１を差分画像符号化部２０７に供給する。

差分画像符号化部２０７は、差分画像データ２５４−１を符号化し、差分画像データ２５４−１を符号化した符号化差分画像データを差分画像復号部２０８および出力部２０９に供給する。

差分画像復号部２０８は、差分画像データ２５４−１を符号化した符号化差分画像データを復号差分画像データ２５５−１に復号し、復号差分画像データ２５５−１を差分画像生成部２０５に供給する。

差分画像生成部２０５は、復号画像記憶部２０６に記憶されている復号基準フレームデータ２５３の各画素の画素値と復号差分画像データ２５５−１の各画素の画素値とを足し合わせることにより中間フレームデータ２５２−１を復号した画像データ（以下、復号中間フレームデータとも称する）である復号中間フレームデータ２５６−１を生成し、復号中間フレームデータ２５６−１を復号画像記憶部２０６に記憶させる。差分画像生成部２０５は、中間フレームデータ２５２−２を基準フレーム導出部２０２から取得し、差分元フレームデータである中間フレームデータ２５２−２の各画素の画素値と直前フレームデータである復号中間フレームデータ２５６−１の各画素の画素値との差分をとることにより、中間フレームデータ２５２−２に対応する差分画像データ２５４−２を生成する。差分画像生成部２０５は、差分画像データ２５４−２を差分画像符号化部２０７に供給する。

差分画像符号化部２０７は、差分画像データ２５４−２を符号化し、差分画像データ２５４−２を符号化した符号化差分画像データを差分画像復号部２０８および出力部２０９に供給する。

差分画像復号部２０８は、差分画像データ２５４−２を符号化した符号化差分画像データを復号差分画像データ２５５−２に復号し、復号差分画像データ２５５−２を差分画像生成部２０５に供給する。

差分画像生成部２０５は、復号画像記憶部２０６に記憶されている復号中間フレームデータ２５６−１の各画素の画素値と復号差分画像データ２５５−２の各画素の画素値とを足し合わせることにより中間フレームデータ２５２−２を復号した復号中間フレームデータ２５６−２を生成し、復号中間フレームデータ２５６−２を復号画像記憶部２０６に記憶させる。差分画像生成部２０５は、中間フレームデータ２５２−３を基準フレーム導出部２０２から取得し、差分元フレームデータである中間フレームデータ２５２−３の各画素の画素値と直前フレームデータである復号中間フレームデータ２５６−２の各画素の画素値との差分をとることにより、中間フレームデータ２５２−３に対応する差分画像データ２５４−３を生成する。差分画像生成部２０５は、差分画像データ２５４−３を差分画像符号化部２０７に供給する。

差分画像符号化部２０７は、差分画像データ２５４−３を符号化し、差分画像データ２５４−３を符号化した符号化差分画像データを差分画像復号部２０８に供給する。

差分画像復号部２０８は、差分画像データ２５４−３を符号化した符号化差分画像データを復号差分画像データ２５５−３に復号し、復号差分画像データ２５５−３を差分画像生成部２０５に供給する。

このように、差分画像生成部２０５は、差分元フレームデータである中間フレームデータの各画素の画素値と、直前フレームデータである復号基準フレームデータまたは復号中間フレームデータの各画素の画素値との差分をとることにより、各中間フレームデータに対応する差分画像データを生成し、差分画像符号化部２０７は、差分画像データを符号化し、差分画像復号部２０８は、差分画像データを復号する。

出力部２０９は、符号化基準フレームデータおよび符号化差分画像データを含む画像データ（画像データVcd1）を記録部１３３および復号部１３４に供給する。

図７は、図２の再生装置１１１の復号部１２１、および、記録装置１１３の復号部１３４の機能の構成例を示すブロック図である。復号部１２１および復号部１３４は、同様の機能の構成を有しており、入力部３０１、データ分離部３０２、基準フレーム復号部３０３、差分画像復号部３０４、加算部３０５、復号画像記憶部３０６、および出力部３０７を含むように構成される。

入力部３０１は、外部から入力される画像データ（例えば、画像データVcd1）を取得し、画像データをデータ分離部３０２に供給する。

データ分離部３０２は、入力部３０１から供給される画像データ（例えば、画像データVcd1）に含まれる符号化基準フレームデータと符号化差分画像データを分離する。データ分離部３０２は、符号化基準フレームデータを基準フレーム復号部３０３に供給し、符号化差分画像データを差分画像復号部３０４に供給する。

基準フレーム復号部３０３は、図４の符号化部１３２の基準フレーム復号部２０４と同様の機能を有し、符号化基準フレームデータを復号基準フレームデータに復号する。基準フレーム復号部３０３は、復号基準フレームデータを加算部３０５および出力部３０７に供給する。

差分画像復号部３０４は、図４の符号化部１３２の差分画像復号部２０８と同様の機能を有し、符号化差分画像データを復号差分画像データに復号する。差分画像復号部３０４は、復号差分画像データを加算部３０５に供給する。

加算部３０５は、各中間フレームデータについて、その中間フレームデータに対応する復号差分画像データの各画素の画素値と、１フレーム前の復号基準フレームデータまたは復号中間フレームデータの各画素の画素値とを足しあわせることにより、中間フレームデータを復号する。加算部３０５は、復号した中間フレームデータ（復号中間フレームデータ）を出力部３０７に供給するとともに、復号画像記憶部３０６に記憶させる。

ここで、再び図６を参照して、加算部３０５の処理をさらに詳細に説明する。

加算部３０５は、基準フレームデータ２５１に対応する復号基準フレームデータ２５３を、基準フレーム復号部３０３から取得し、復号画像記憶部３０６に記憶させる。また、加算部３０５は、中間フレームデータ２５２−１に対応する復号差分画像データ２５５−１を差分画像復号部３０４から取得する。加算部３０５は、復号画像記憶部３０６に記憶されている復号基準フレームデータ２５３の各画素の画素値と復号差分画像データ２５５−１の各画素の画素値とを足し合わせることにより中間フレームデータ２５２−１を復号した復号中間フレームデータ２５６−１を生成する。加算部３０５は、復号中間フレームデータ２５６−１を、出力部３０７に供給するとともに、復号画像記憶部３０６に記憶させる。

次に、加算部３０５は、中間フレームデータ２５２−２に対応する復号差分画像データ２５５−２を差分画像復号部３０４から取得する。加算部３０５は、復号画像記憶部３０６に記憶されている復号中間フレームデータ２５６−１の各画素の画素値と復号差分画像データ２５５−２の各画素の画素値とを足し合わせることにより中間フレームデータ２５２−２を復号した復号中間フレームデータ２５６−２を生成する。加算部３０５は、復号中間フレームデータ２５６−２を、出力部３０７に供給するとともに、復号画像記憶部３０６に記憶させる。

このように、加算部３０５は、各中間フレームデータについて、その中間フレームデータに対応する復号差分画像データの各画素の画素値と、１フレーム前のフレームデータに対応する復号基準フレームデータまたは復号中間フレームデータの各画素の画素値とを足し合わせることにより、各中間フレームデータを復号した復号中間フレームデータを生成する。

出力部３０７は、復号基準フレームデータおよび復号中間フレームデータを含む画像データ（画像データVdg0またはVdg2）をD/A変換部１２２またはD/A変換部１３５に供給する。

図８は、図４の符号化部１３２の基準フレーム符号化部２０３の機能の構成例を示す図である。基準フレーム符号化部２０３は、ブロック分割部４０１、DCT処理部４０２、および量子化テーブル記憶部４０３を含むように構成される。

ブロック分割部４０１は、外部から入力される基準フレームデータを所定の大きさ（例えば、８画素×８画素）のブロックに分割して、基準フレームデータの各画素の画素値をブロック単位でDCT処理部４０２に供給する。

DCT処理部４０２は、基準フレームデータの各画素の画素値に対して、ブロックごとにDCTを行い、さらに量子化テーブル記憶部４０３に記憶されている量子化テーブルを用いて量子化を行う。DCT処理部４０２は、DCT処理（DCTおよび量子化）を行うことにより符号化した画像データ、すなわち、符号化基準フレームデータに、基準フレームデータであることを示す基準フレームフラグを付加する。DCT処理部４０２は、基準フレームフラグを付加した基準フレームデータを外部に出力する。

図９は、図４の符号化部１３２の差分画像符号化部２０７の機能の構成例を示す図である。差分画像符号化部２０７は、ブロック分割部４１１、DCT処理部４１２、および量子化テーブル記憶部４１３を含むように構成される。

ブロック分割部４１１は、外部から入力される差分画像データを所定の大きさ（例えば、８画素×８画素）のブロックに分割して、差分画像データの各画素の画素値をブロック単位でDCT処理部４１２に供給する。

DCT処理部４１２は、差分画像データの各画素の画素値に対して、ブロックごとにDCTを行い、さらに量子化テーブル記憶部４１３に記憶されている量子化テーブルを用いて量子化を行う。DCT処理部４１２は、DCT処理（DCTおよび量子化）を行うことにより符号化した画像データ、すなわち、符号化差分画像データを外部に出力する。

図１０は、図４の符号化部１３２の基準フレーム復号部２０４および図７の復号部１３４の基準フレーム復号部３０３の機能の構成例を示す図である。基準フレーム復号部２０４および基準フレーム復号部３０３は、同様の機能の構成を有しており、逆DCT処理部４５１および量子化テーブル記憶部４５２を含むように構成される。

逆DCT処理部４５１は、外部から入力される符号化基準フレームデータを所定の大きさ（例えば、８画素×８画素）のブロックに分割して、符号化基準フレームデータに対して、ブロックごとに量子化テーブル記憶部４５２に記憶されている量子化テーブルを用いて逆量子化を行い、さらに逆DCTを行う。逆DCT処理部４５１は、逆DCT処理（逆DCTおよび逆量子化）を行うことにより復号した画像データ、すなわち復号基準フレームデータを外部に出力する。

図１１は、図４の符号化部１３２の差分画像復号部２０８および図７の復号部１３４の差分画像復号部３０４の機能の構成例を示す図である。差分画像復号部２０８および差分画像復号部３０４は、同様の機能の構成を有しており、逆DCT処理部４６１および量子化テーブル記憶部４６２を含むように構成される。

逆DCT処理部４６１は、外部から入力される符号化差分画像データを所定の大きさ（例えば、８画素×８画素）のブロックに分割して、符号化差分画像データに対して、ブロックごとに量子化テーブル記憶部４６２に記憶されている量子化テーブルを用いて逆量子化を行い、さらに逆DCTを行う。逆DCT処理部４６１は、逆DCT処理（逆DCTおよび逆量子化）を行うことにより復号した画像データ、すなわち復号差分画像データを外部に出力する。

次に、図１２乃至図１５を参照して、画像処理システム１０１の処理を説明する。

まず、図１２および図１３のフローチャートを参照して、図２の記録装置１１３の符号化部１３２により実行される符号化処理を説明する。なお、この処理は、例えば、A/D変換部１３１からの画像データVdg1の入力が開始されたとき開始される。

ステップＳ１において、基準フレーム導出部２０２は、A/D変換部１３１から入力された画像データVdg1を、入力部２０１を介して取得する。

ステップＳ２において、基準フレーム導出部２０２は、画像データVdg1を基準フレームデータと中間フレームデータに分離する。

ステップＳ３において、基準フレーム導出部２０２は、次に符号化するフレームデータが基準フレームデータであるか否かを判定する。具体的には、基準フレーム導出部２０２は、ステップＳ１において取得した画像データVdg1を構成するフレームデータのうち、まだ符号化されていないフレームデータの時間軸上における先頭のフレームデータ、すなわち次に符号化するフレームデータの種類を確認する。次に符号化するフレームデータが基準フレームデータであると判定された場合、処理はステップＳ４に進む。

ステップＳ４において、基準フレーム導出部２０２は、次に符号化するフレームデータである基準フレームデータを基準フレーム符号化部２０３のブロック分割部４０１に供給する。

ステップＳ５において、ブロック分割部４０１は、基準フレームデータを所定の大きさのブロックに分割する。ブロック分割部４０１は、基準フレームデータ各画素の画素値をブロック単位でDCT処理部４０２に供給する。

ステップＳ６において、DCT処理部４０２は、基準フレームデータに対してDCT処理を行う。具体的には、DCT処理部４０２は、基準フレームデータの各画素の画素値に対して、ブロックごとにDCTを行う。さらに、DCT処理部４０２は、量子化テーブル記憶部４０３に記憶されている量子化テーブルを読出し、DCTを行うことにより生成されたDCT係数に対して、読出した量子化テーブルを用いてブロックごとに量子化を行う。

式（１）は、DCT処理部４０２が量子化に用いる量子化テーブルの一例である量子化テーブルQ1を示している。

量子化テーブルQ1は、例えば、DCT処理の量子化に一般的に用いられる量子化テーブルとされる。量子化テーブルQ2は、DCT処理を行うブロックを構成する複数のDCT係数のうち、DCTを行う前のブロック内の画素の画素値の低周波（空間周波数の低い）成分に対応するDCT係数の量子化に用いられる要素ほど小さな値とされ、高周波（空間周波数の高い）成分に対応するDCT係数の量子化に用いられる要素ほど大きな値とされる。従って、各ブロック内の画素の画素値は、低周波成分ほど狭い量子化ステップ幅で細かく量子化され、高周波成分ほど広い量子化ステップ幅で粗く量子化される。すなわち、各ブロック内の画素値の低周波成分ほど多く残され、高周波成分ほど多く除去されるように量子化される。

ここで、図１４を参照して、画像データの画素値の周波数成分の分類の一例について説明する。図１４は、画像データ内の８画素×８画素の大きさのブロック内の画素の画素値に対して直行変換としてのDCTを行い、周波数成分に分解した後のブロックを示している。ブロック内の要素a11乃至a88はDCT係数を示しており、DCT係数はジグザグ・スキャン順で配列されているものとする。

例えば、DCT係数a11乃至a13，a21乃至a23，a31，およびa32がブロック内の画素値の低周波成分に対応する低周波項、DCT係数a18，a28，a38，a47，a48，a57，a58，a66乃至a68，a74乃至a78，およびa81およびa88をブロック内の画素値の高周波成分に対応する高周波項、それ以外のDCT係数をブロック内の画素値の低周波成分および高周波成分以外の中間周波成分に対応する中間周波数項として分類する。

なお、以上は周波数成分の分類の一例であり、処理する画像データの周波数成分の分布などに基づいて、図１４と異なる比率で周波数成分を分類するようにしてもよい。また、ブロックの大きさが８画素×８画素と異なる大きさの場合、例えば、図１４に示される比率に応じて、周波数成分を分類するようにすればよい。

ステップＳ７において、DCT処理部４０２は、符号化した基準フレームデータを供給する。具体的には、DCT処理部４０２は、DCT処理を行うことにより符号化した画像データ、すなわち、符号化基準フレームデータに基準フレームフラグを付加する。DCT処理部４０２は、基準フレームフラグを付加した符号化基準フレームデータを基準フレーム復号部２０４の逆DCT処理部４５１および出力部２０９に供給する。出力部２０９は、符号化基準フレームデータを記録部１３３および復号部１３４に出力する。

ステップＳ８において、基準フレーム復号部２０４の逆DCT処理部４５１は、基準フレームデータを復号する。具体的には、逆DCT処理部４５１は、基準フレーム符号化部２０３のDCT処理部４０２から供給された符号化基準フレームデータを、所定の大きさのブロックに分割する。逆DCT処理部４５１は、量子化テーブル記憶部４５２に記憶されている量子化テーブルを読出し、符号化基準フレームデータに対して、ブロックごとに逆量子化を行う。この逆量子化に用いられる量子化テーブルは、ステップＳ６の処理において量子化に用いられる量子化テーブルと同じものとされる。さらに、逆DCT処理部４５１は、逆量子化を行った符号化基準フレームデータに対して、ブロックごとに逆DCTを行う。

ステップＳ９において、逆DCT処理部４５１は、復号した基準フレームデータを供給する。具体的には、逆DCT処理部４５１は、逆DCT処理を行うことにより復号した画像データ、すなわち復号基準フレームデータを差分画像生成部２０５に供給する。差分画像生成部２０５は、復号基準フレームデータを復号画像記憶部２０６に記憶させる。この復号基準フレームデータは、後述するステップＳ１２において、中間フレームデータを復号するときに用いられる。その後、処理はステップＳ１９に進む。

ステップＳ３において、次に符号化するフレームデータが中間フレームデータであると判定された場合、処理はステップＳ１０に進む。

ステップＳ１０において、基準フレーム導出部２０２は、次に符号化するフレームデータである中間フレームデータを差分画像生成部２０５に供給する。

ステップＳ１１において、差分画像生成部２０５は、基準フレーム導出部２０２から供給された中間フレームデータの１フレーム前のフレームデータが中間フレームデータであるか否かを判定する。１フレーム前のフレームデータが中間フレームデータであると判定された場合、処理はステップＳ１２に進む。

ステップＳ１２において、差分画像生成部２０５は、１フレーム前の中間フレームデータを復号する。具体的には、１フレーム前の中間フレームデータのさらに１フレーム前のフレームデータが基準フレームデータの場合、差分画像生成部２０５は、上述したステップＳ９において、復号画像記憶部２０６に記憶されている、その基準フレームデータに対応する復号基準フレームデータ、および、これ以前に行なわれた後述するステップＳ１８において、復号画像記憶部２０６に記憶されている、１フレーム前の中間フレームデータに対応する復号差分画像データを読み出す。差分画像生成部２０５は、読み出した復号基準フレームデータの各画素の画素値と復号差分画像データの各画素の画素値とを足し合わせることにより１フレーム前の中間フレームデータを復号する。これは、図６を参照して上述した例において、中間フレームデータ２５２−２に対応する差分画像データ２５４−２を生成する場合に、復号中間フレームデータ２５６−１を生成するときの処理に相当する。

また、１フレーム前の中間フレームデータのさらに１フレーム前のフレームデータが中間フレームデータの場合、差分画像生成部２０５は、これ以前に行なわれたステップＳ１２の処理において、復号画像記憶部２０６に記憶されている、２フレーム前の中間フレームデータに対応する復号中間フレームデータ、および、これ以前に行なわれた後述するステップＳ１８において、復号画像記憶部２０６に記憶されている、１フレーム前の中間フレームデータに対応する復号差分画像データを読み出す。差分画像生成部２０５は、読み出した復号中間フレームデータの各画素の画素値と復号差分画像データの各画素の画素値とを足し合わせることにより１フレーム前の中間フレームデータを復号する。これは、図６を参照して上述した例において、中間フレームデータ２５２−３に対応する差分画像データ２５４−３を生成する場合に、復号中間フレームデータ２５６−２を生成するときの処理に相当する。

差分画像生成部２０５は、生成した復号中間フレームデータを復号画像記憶部２０６に記憶させる。

ステップＳ１１において、１フレーム前のフレームデータが基準フレームデータであると判定された場合、ステップＳ１２の処理はスキップされ、処理はステップＳ１３に進む。

ステップＳ１３において、差分画像生成部２０５は、差分画像データを生成する。具体的には、差分画像データを生成する中間フレームデータ（差分元フレームデータ）の１フレーム前が基準フレームデータである場合、差分画像生成部２０５は、直前フレームデータである復号基準フレームデータを復号画像記憶部２０６から読み出す。差分画像生成部２０５は、ステップＳ１０において供給された差分元フレームデータである中間フレームデータの各画素の画素値と、直前フレームデータである復号基準フレームデータの各画素の画素値との差分をとることにより、差分元フレームデータである中間フレームデータに対応する差分画像データを生成する。これは、図６を参照して上述した例において、中間フレームデータ２５２−１に対応する差分画像データ２５４−１を生成する場合の処理に相当する。

差分画像データを生成する中間フレームデータ（差分元フレームデータ）の１フレーム前が中間フレームデータの場合、差分画像生成部２０５は、ステップＳ１０において供給された差分元フレームデータである中間フレームデータの各画素の画素値と、ステップＳ１２において生成された直前フレームデータである復号中間フレームデータの各画素の画素値との差分をとることにより、差分元フレームデータである中間フレームデータに対応する差分画像データを生成する。これは、図６を参照して上述した例において、中間フレームデータ２５２−２に対応する差分画像データ２５４−２、または、中間フレームデータ２５２−３に対応する差分画像データ２５４−３を生成する場合の処理に相当する。

差分画像生成部２０５は、生成した差分画像データを差分画像符号化部２０７のブロック分割部４１１に供給する。

ステップＳ１４において、ブロック分割部４１１は、差分画像データを所定の大きさのブロックに分割する。ブロック分割部４１１は、差分画像データの各画素の画素値をブロック単位でDCT処理部４１２に供給する。

ステップＳ１５において、DCT処理部４１２は、差分画像データに対してDCT処理を行う。具体的には、DCT処理部４１２は、差分画像データの各画素の画素値に対して、ブロックごとにDCTを行う。さらに、DCT処理部４１２は、量子化テーブル記憶部４１３に記憶されている量子化テーブルを読出し、DCTを行うことにより生成されたDCT係数に対して、読出した量子化テーブルを用いてブロックごとに量子化を行う。

式（２）は、DCT処理部４１２が量子化に用いる量子化テーブルの一例である量子化テーブルQ2を示している。

量子化テーブルQ2は、DCT処理を行うブロックを構成する複数のDCT係数のうち、DCTを行う前のブロック内の画素の画素値の低周波成分および中間周波数成分に対応するDCT係数の量子化に用いられる要素の値が、高周波成分に対応するDCT係数の量子化に用いられる要素の値より小さな値とされる。また、低周波成分および中間周波数成分に対応するDCT係数の量子化に用いられる要素の値は、ほぼ同じ値とされる。従って、各ブロック内の画素の画素値は、低周波成分および中間周波数成分が狭い量子化ステップ幅で細かく量子化され、高周波成分が広い量子化ステップ幅で粗く量子化される。また、各ブロック内の画素の画素値は、低周波成分および中間周波数成分がほぼ同じ量子化ステップ幅（細かさ）で量子化される。すなわち、各ブロック内の画素値の低周波成分および中間周波数が多く残され、高周波成分が除去されるように量子化される。

なお、２フレーム間の差分画像データは、中間周波数成分が多く含まれることが確認されている。従って、量子化テーブルQ2を用いて、中間周波数成分を多く残すように差分画像データを符号化（量子化）することにより、差分画像データの情報を多く残したまま量子化することができる。

また、基準フレームデータの量子化に用いられる量子化テーブルQ１と比較して、低周波成分に対応するDCT係数の量子化に用いられる要素が大きな値とされ、中間周波数成分に対応するに対応するDCT係数の量子化に用いられる要素が小さな値とされる。これは、中間周波数成分を多く残すようにすることによるデータ量の増大を防ぐために、低周波成分の量子化ステップ幅を大きくして、低周波成分のデータ量を削減するためである。従って、データ量に制限がない場合、低周波成分に対応するDCT係数の量子化に用いられる要素を、量子化テーブルQ１と同程度の値とするようにしてもよい。

ステップＳ１６において、DCT処理部４１２は、符号化した差分画像データを供給する。具体的には、DCT処理部４１２は、DCT処理を行うことにより符号化した画像データ、すなわち、符号化差分画像データを差分画像復号部２０８の逆DCT処理部４６１および出力部２０９に供給する。出力部２０９は、符号化差分画像データを記録部１３３および復号部１３４に出力する。

ステップＳ１７において、差分画像復号部３０４の逆DCT処理部４６１は、差分画像データを復号する。具体的には、逆DCT処理部４６１は、差分画像符号化部２０７のDCT処理部４１２から供給された符号化差分画像データを、所定の大きさのブロックに分割する。逆DCT処理部４６１は、量子化テーブル記憶部４６２に記憶されている量子化テーブルを読出し、符号化差分画像データに対して、ブロックごとに逆量子化を行う。この逆量子化に用いられる量子化テーブルは、ステップＳ１５の処理において量子化に用いられる量子化テーブルと同じものとされる。さらに、逆DCT処理部４６１は、逆量子化を行った符号化差分画像データに対して、ブロックごとに逆DCTを行う。

ステップＳ１８において、逆DCT処理部４６１は、復号した差分画像データを供給する。具体的には、逆DCT処理部４６１は、逆DCT処理を行うことにより復号した画像データ、すなわち復号差分画像データを差分画像生成部２０５に供給する。差分画像生成部２０５は、復号差分画像データを復号画像記憶部２０６に記憶させる。この復号差分画像データは、上述したステップＳ１２において、１フレーム前の中間フレームデータを復号するときに用いられる。

ステップＳ１９において、基準フレーム導出部２０２は、ステップＳ１において取得した画像データVdg1の全てのフレームデータの符号化が終了したか否かを判定する。全てのフレームデータの符号化が終了していないと判定された場合、処理はステップＳ３に戻り、ステップＳ１９において、全てのフレームデータの符号化が終了したと判定されるまで、ステップＳ３以降の処理が繰り返し実行され、残りのフレームデータが符号化される。

ステップＳ１９において、全てのフレームデータの符号化が終了したと判定された場合、処理はステップＳ２０に進む。

ステップＳ２０において、入力部２０１は、新たな画像データが入力されたか否かを判定する。新たな画像データが入力されたと判定された場合、すなわち、A/D変換部１３１から新たな画像データVdg1が入力部２０１に入力された場合、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。

ステップＳ２０において、新たな画像データが入力されていないと判定された場合、符号化処理は終了する。

次に、図１５のフローチャートを参照して、図２の再生装置１１１の復号部１２１および記録装置１１３の復号部１３４により実行される復号処理を説明する。なお、この処理は、例えば、図示せぬ磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなる記録媒体から読み出された、符号化されているデジタルの画像データの復号部１２１への入力が開始されたとき、または、符号化部１３２からの画像データVcd1の復号部１３４への入力が開始されたとき開始される。

ステップＳ５１において、データ分離部３０２は、外部から入力された画像データ（例えば、画像データVcd1）を、入力部３０１を介して取得する。

ステップＳ５２において、データ分離部３０２は、ステップＳ５１において取得した画像データを基準フレームデータ（符号化基準フレームデータ）と差分画像データ（符号化差分画像データ）に分離する。

ステップＳ５３において、データ分離部３０２は、次に復号するフレームデータが基準フレームデータであるか否かを判定する。具体的には、データ分離部３０２は、ステップＳ５１において取得した画像データを構成するフレームデータのうち、まだ復号されていないフレームデータの先頭のフレームデータ、すなわち、次に復号するフレームデータの種類を確認する。次に復号するフレームデータが基準フレームデータであると判定された場合、処理はステップＳ５４に進む。

ステップＳ５４において、データ分離部３０２は、次に復号するフレームデータである基準フレームデータ（符号化基準フレームデータ）を基準フレーム復号部３０３の逆DCT処理部４５１に供給する。

ステップＳ５５において、基準フレーム復号部３０３の逆DCT処理部４５１は、上述した図１２のステップＳ８における基準フレーム復号部２０４の逆DCT処理部４５１による処理と同様に、基準フレームデータを復号する。なお、ステップＳ５５の処理において用いられる量子化テーブルは、上述した図１２のステップＳ６において量子化に用いられる量子化テーブルと同じものとされる。

ステップＳ５６において、逆DCT処理部４５１は、復号した基準フレームデータを供給する。具体的には、逆DCT処理部４５１は、逆DCT処理を行うことにより復号した画像データ、すなわち復号基準フレームデータを加算部３０５および出力部３０７に供給する。

出力部３０７は、復号基準フレームデータ、すなわち、デジタルの画像データVdg0または画像データVdg2を外部（例えば、図２の再生装置１１１のD/A変換部１２２、または、記録装置１１３のD/A変換部１３５）に出力する。

例えば、復号部１２１の出力部３０７から復号基準フレームデータが出力される場合、出力された復号基準フレームデータは、D/A変換部１２２およびA/D変換部１３１を介して、符号化部１３２に供給される。この復号部１２１から符号化部１３２に復号基準フレームデータが供給されるとき、復号基準フレームデータがD/A変換およびA/D変換される過程において、上述したように、高周波成分の歪みや位相ずれなどのアナログノイズが復号基準フレームデータに付加される。

その後、処理はステップＳ６２に進む。

ステップＳ５３において、次に復号するフレームデータが中間フレームデータであると判定された場合、処理はステップＳ５７に進む。

ステップＳ５７において、データ分離部３０２は、次に復号する中間フレームデータに対応する差分画像データ（符号化差分画像データ）を差分画像復号部３０４の逆DCT処理部４６１に供給する。

ステップＳ５８において、差分画像復号部３０４の逆DCT処理部４６１は、上述した図１３のステップＳ１７における差分画像復号部２０８の逆DCT処理部４６１の処理と同様に、差分画像データを復号する。なお、ステップＳ５８の処理において用いられる量子化テーブルは、上述した図１３のステップＳ１５において量子化に用いられた量子化テーブルと同じものとされる。

ステップＳ５９において、差分画像復号部３０４の逆DCT処理部４６１は、復号した差分画像データを供給する。具体的には、逆DCT処理部４６１は、逆DCT処理を行うことにより復号した画像データ、すなわち復号差分画像データを加算部３０５に供給する。

ステップＳ６０において、加算部３０５は、中間フレームデータを復号する。具体的には、復号する中間フレームデータの１フレーム前のフレームデータが基準フレームデータの場合、加算部３０５は、上述したステップＳ５６において、復号画像記憶部３０６に記憶されている、その基準フレームデータに対応する復号基準フレームデータを読み出す。加算部３０５は、読み出した復号基準フレームデータの各画素の画素値と、ステップＳ５９において取得した復号差分画像データの各画素の画素値とを足し合わせることにより中間フレームデータを復号する。これは、図６を参照して上述した例において、中間フレームデータ２５２−１に対応する復号中間フレームデータ２５６−１を生成する場合の処理に相当する。

また、復号する中間フレームデータの１フレーム前のフレームデータが中間フレームデータの場合、加算部３０５は、前回のステップＳ６０において、復号画像記憶部３０６に記憶されている１フレーム前の中間フレームデータに対応する復号中間フレームデータを読み出す。加算部３０５は、読み出した復号中間フレームデータの各画素の画素値と、ステップＳ５９において取得した復号差分画像データの各画素の画素値とを足し合わせることにより中間フレームデータを復号する。これは、図６を参照して上述した例において、中間フレームデータ２５２−２に対応する復号中間フレームデータ２５６−２を生成する場合の処理に相当する。

加算部３０５は、生成（復号）した復号中間フレームデータを復号画像記憶部３０６に記憶させる。この復号中間フレームデータは、次回のステップＳ６０の処理において、１フレーム後の中間フレームデータに対応する復号中間フレームデータを生成するときに用いられる。

ステップＳ６１において、加算部３０５は、復号した中間フレームデータを供給する。具体的には、加算部３０５は、復号した中間フレームデータ、すなわち、復号中間フレームデータを出力部３０７に供給する。

出力部３０７は、復号中間フレームデータ、すなわち、デジタルの画像データVdg0または画像データVdg2を外部（例えば、図２の再生装置１１１のD/A変換部１２２、または、記録装置１１３のD/A変換部１３５）に出力する。

例えば、復号部１２１の出力部３０７から復号中間フレームデータが出力される場合、出力された復号中間フレームデータは、D/A変換部１２２およびA/D変換部１３１を介して、符号化部１３２に供給される。この復号部１２１から符号化部１３２に復号中間フレームデータが供給されるとき、復号中間フレームデータがD/A変換およびA/D変換される過程において、上述したように、高周波成分の歪みや位相ずれなどのアナログノイズが復号中間フレームデータに付加される。

ステップＳ６２において、データ分離部３０２は、ステップＳ５１において取得した画像データの全てのフレームデータの復号が終了したか否かを判定する。全てのフレームデータの復号が終了していないと判定された場合、処理はステップＳ５３に戻り、ステップＳ６２において、全てのフレームデータの復号が終了したと判定されるまで、ステップＳ５３以降の処理が繰り返し実行され、残りのフレームデータが復号される。

ステップＳ６２において、全てのフレームデータの復号が終了したと判定された場合、処理はステップＳ６３に進む。

ステップＳ６３において、入力部３０１は、外部から新たな画像データが入力されたか否かを判定する。新たな画像データが入力されたと判定された場合、処理はステップＳ５１に戻り、ステップＳ５１以降の処理が実行される。

ステップＳ６３において、新たな画像データが入力されていないと判定された場合、復号処理は終了する。

なお、以上の説明では、基準フレームデータまたは中間フレームデータを復号するたびに出力するようにしたが、複数のフレームデータをバッファなどに蓄積して、まとめて出力するようにしてもよい。

次に、図１６乃至図１８を参照して、画像処理システム１０１を用いて画像データをコピーした場合の画質の変化について説明する。

なお、以下の説明において、図１６に示される画像データ５０１乃至５０４を以下のとおりに定義する。すなわち、例えば、撮像装置などにより撮像した原画像の符号化する前の画像データ（以下、原画像データとも称する）を画像データ５０１とする。また、記録装置１１３と同様の方式により画像データ５０１を符号化した画像データを再生装置１１１により再生するときに、復号部１２１により復号された画像データを画像データ５０２とする。すなわち、画像データ５０２は、画像データ５０１に対して、１回目の符号化および復号を行った後の画像データである。

さらに、画像データ５０２を再生装置１１１のD/A変換部１２２によりD/A変換し、さらに記録装置１１３のA/D変換部１３１によりA/D変換された画像データであって、D/A変換するときに、高周波成分の歪みや位相ずれなどが発生した画像データを画像データ５０３とする。すなわち、画像データ５０３は、高周波成分の歪みや位相ずれなどのアナログノイズが画像データ５０２に付加された画像データである。また、画像データ５０３を記録装置１１３により符号化して記録媒体に記録し、記録された画像データ（以下、1回目のコピー画像データと称する）を再生装置１１１により再生するときに、復号部１２１により復号された画像データを画像データ５０４とする。すなわち、画像データ５０４は、画像データ５０１に対して、２回目の符号化および復号を行った後の画像データである。

図１８は、図１７に示される差分画像データ５１１乃至５１４のブロック内の画素の画素値の波形を示している。

なお、差分画像データ５１１は、記録装置１１３と同様の方式により画像データ５０１を符号化するときに生成される符号化前の差分画像データであって、画像データ５０１を構成する中間フレームデータのうちの１つに対応する差分画像データである。差分画像データ５１２は、符号化された画像データ５０１を画像データ５０２に復号するときに、符号化された画像データ５０１に含まれる符号化された差分画像データ５１１を復号することにより得られる差分画像データである。すなわち、差分画像データ５１２は、差分画像データ５１１に対して、１回目の符号化および復号を行った後の差分画像データである。

差分画像データ５１３は、記録装置１１３の符号化部１３２により画像データ５０３をするときに生成される符号化前の差分画像データであって、差分画像データ５１１と同じ中間フレームデータに対応する差分画像データである。すなわち、差分画像データ５１３は、差分画像データ５１２に図１７Ｃに示される方向の位相ずれを含むアナログノイズを付加した差分画像データである。差分画像データ５１４は、符号化された画像データ５０３を画像データ５０４に復号するときに、符号化された画像データ５０３に含まれる符号化された差分画像データ５１３を復号することにより得られる差分画像データである。すなわち、差分画像データ５１４は、差分画像データ５１１に対して、２回目の符号化および復号を行った後の差分画像データである。

また、図１８の各グラフの横軸は差分画像データにおける画素の位置を示しており、縦軸はその位置の画素の画素値を示している。また、図１８の各グラフに示される差分画像データの画素値の波形は、説明を簡単にするために一次元の波形として表している。

図１８Ａは、図１７Ａに示される各差分画像データ５１１のブロック５２１−１Ａ乃至５２１−３Ａ内の画素の画素値の波形を示している。図１８Ａの縦軸に平行で、横軸に垂直な点線は、ブロック５２１−１Ａ乃至５２１−３Ａの縦方向の境界線の位置を示している。線５２２−１Ａ乃至５２２−３Ａは、それぞれブロック５２１−１Ａ乃至５２１−３Ａ内の画素の画素値の波形を示している。図１８Ｂは、図１７Ｂに示される差分画像データ５１２のブロック５２１−１Ｂ乃至５２１−３Ｂ内の画素値の波形を示している。図１８Ｂの縦軸に平行で、横軸に垂直な直線は、ブロック５２１−１Ｂ乃至５２１−３Ｂの縦方向の境界線の位置を示している。線５２２−１Ｂ乃至５２２−３Ｂは、それぞれブロック５２１−１Ｂ乃至５２１−３Ｂ内の画素の画素値の波形を示している。

図１８Ｃは、図１７Ｃに示される差分画像データ５１３のブロック５２１−１Ｃ乃至５２１−３Ｃ内の画素値の波形を示している。図１８Ｃの縦軸に平行で、横軸に垂直な直線は、ブロック５２１−１Ｃ乃至５２１−３Ｃの縦方向の境界線の位置を示している。線５２２−１Ｃ乃至５２２−３Ｃは、それぞれブロック５２１−１Ｃ乃至５２１−３Ｃ内の画素の画素値の波形を示している。図１８Ｄは、図１７Ｄに示される差分画像データ５１４のブロック５２１−１Ｄ乃至５２１−３Ｄ内の画素値の波形を示している。図１８Ｄの縦軸に平行で、横軸に垂直な直線は、ブロック５２１−１Ｄ乃至５２１−３Ｄの縦方向の境界線の位置を示している。線５２２−１Ｄ乃至５２２−３Ｄは、それぞれブロック５２１−１Ｄ乃至５２１−３Ｄ内の画素の画素値の波形を示している。

上述したように、記録装置１１３の符号化方式では、低周波成分および中間周波数成分を多く残し、高周波成分を除去するように差分画像データの画素値が量子化される。差分画像データは、低周波成分および中間周波数成分を多く含み、高周波成分をほとんど含まないため、差分画像データ５１１の画素値を符号化（量子化）しても、その情報はほとんど失われない。すなわち、図１８Ｂに示されるように、差分画像データ５１２の画素値の波形は、図１８Ａに示される差分画像データ５１１の画素値の波形に近い波形となる。従って、差分画像データ５１２を用いて復号した中間フレームデータの画像の画質は、原画像からほとんど劣化しない。また、差分画像データの符号化および復号はブロック単位で行われるため、図１８Ｂに示されるように、差分画像データ５１２の各ブロックの境界において画素値が急激に変化することによる高周波成分が発生する。

また、画像データ５０３では、位相ずれによる歪みが付加され、画像データ５０２と比較して、各画素の位置がずれることにより、例えば、図１７Ｃ内の矢印に示される方向に各ブロックに含まれる画素が移動する。それに伴い、差分画像データ５１３の画素値の波形も、差分画像データ５１２の画素値の波形と比べて、画素の位置が移動した分だけ移動する。これにより、領域５２３−１および５２３−２内に示されるように、差分画像データ５１２の各ブロックの境界で発生していた画素値の高周波成分が、差分画像データ５１３では、各ブロック内に含まれるようになる。

そして、画像データ５０３を符号化（量子化）するときに、画像データ５０３の画素値の高周波成分が除去されるのに伴い、差分画像データ５１３の領域５２３−１および５２３−２内に発生していた画素値の高周波成分が除去される。すなわち、画像データ５０３（差分画像データ５１２）を符号化する場合、画像データ５０１（差分画像データ５１１）を符号化する場合に比べて、画像データから失われる情報量が増加する。従って、図１８Ｄに示されるように、差分画像データ５１４の画素値の波形は、図１８Ｃに示される差分画像データ５１３の画素値の波形から大きく変化し、当然、図１８Ａに示される差分画像データ５１１の画素値の波形からも大きく変化する。すなわち、差分画像データ５１４に基づいて復号した中間フレームデータの画像の画質は、原画像から大きく劣化する。

以上をまとめると、原画像データを符号化した画像データを再生装置１１１により再生する場合に、再生装置１１１から出力される画像データVan1に付加されるアナログノイズは、主にD/A変換部１２２の性能に起因するものであり、画像データVan1には一切の加工が加えられない。従って、画像データVan1に基づいて表示されるディスプレイ１１２に表示される画像の画質は、原画像からほとんど劣化しない。より厳密に言えば、ディスプレイ１１２に表示される画像の画質は、再生装置１１１の性能に依存する。

一方、１回目のコピー画像データを再生装置１１１により再生する場合、再生装置１１１の復号部１２１により差分画像データ５１４を用いて復号される画像データ５０４は、差分画像データ５１４が原画像データの差分画像データ５１１から大きく劣化したものなので、当然、原画像の画像データ５０１から大きく劣化したものとなる。従って、画像データ５０４をD/A変換した画像データVan1に基づいてディスプレイ１１２に表示される画像の画質は、原画像から大きく劣化したものとなる。同様の理由により、２回目以降のコピー画像データを再生装置１１１により再生する場合、コピーの回数が増えるほど、ディスプレイ１１２に表示される画像の画質はさらに劣化する。

また、同様に、原画像データを符号化した画像データを再生装置１１１により再生する場合、記録装置１１３の復号部１３４から出力される画像データVdg2は、原画像データに対して、２回目の符号化および復号を行った画像データである。従って、画像データVdg2をD/A変換した画像データVan2に基づいて、ディスプレイ１３６に表示される画像の画質は、１回目のコピー画像データを再生装置１１１により再生する場合にディスプレイ１１２に表示される画像の画質とほぼ同等であり、原画像から大きく劣化したものとなる。同様の理由により、１回目以降のコピー画像データを再生装置１１１により再生する場合、コピーの回数が増えるほど、ディスプレイ１３６に表示される画像データの画質はさらに劣化する。

このように、アナログ信号（アナログの画像データ）に基づいて表示される画像の画質を落とさずに、アナログ信号を利用した不正コピーを防止することができる。換言すれば、コピー前のアナログの画像データに基づいて表示される画像の画質を落とさずに、画質を維持したまま画像データをコピーすることを不可能にすることができる。

以上のように、第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、第１の画像データの高周波成分に対応するDCT係数を第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化し、第１の画像データと第２のフレームの画像データである第２の画像データとの差分をとった差分データを生成し、差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、差分データの高周波成分に対応するDCT係数を差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、差分データの低周波成分に対応するDCT係数と差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化する場合には、画像データを符号化または復号することができる。また、アナログ信号に基づいて表示される画像の画質を落とさずに、アナログ信号を利用した不正コピーを防止することができる。

また、第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、第１の画像データの高周波成分に対応するDCT係数を第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化し、第１の画像データと第２のフレームの画像データである第２の画像データとの差分をとった差分データを生成し、差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、差分データの高周波成分に対応するDCT係数を差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、差分データの低周波成分に対応するDCT係数と差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化する場合には、画像データを符号化または復号することができる。また、アナログ信号に基づいて表示される画像の画質を落とさずに、アナログ信号を利用した不正コピーを防止することができる。

なお、以上の説明においては、差分画像データを生成する場合、中間フレームデータと、１フレーム前のフレームデータを１回符号化および復号した後のフレームデータ（復号基準フレームデータ、または、復号中間フレームデータ）との差分をとるようにしたが、符号化および復号する前の１フレーム前のフレームデータをそのまま用いるようにしてもよい。

また、本発明では、より大きな位相ずれが発生するD/A変換部１２２を用いた方が、記録装置１１３の記録部１３３により記録媒体に記録される画像データの画質がより大きく劣化するようになり、より効果が大きくなる。

さらに、記録装置１１３のA/D変換部１３１に入力されるアナログの画像データVan1に位相ずれを含むアナログノイズを付加する手段を設けるようにしてもよい。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

図１９は、汎用のパーソナルコンピュータ７００の内部の構成例を示す図である。CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記録部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。

入出力インタフェース７０５には、ボタン、スイッチ、キーボードあるいはマウスなどで構成される入力部７０６、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などのディスプレイ、並びにスピーカなどで構成される出力部７０７、ハードディスクなどで構成される記録部７０８、およびモデムやターミナルアダプタなどで構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介して通信処理を行う。

入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなるリムーバブルメディア７１１が適宜装着され、そこから読み出されたコンピュータプログラムが、記録部７０８にインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図１９に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory）、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（MD(Mini-Disc)（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるだけでなく、装置本体にあらかじめ組み込まれた状態でユーザに提供される、プログラムが記録されているROM７０３または記録部７０８に含まれるハードディスクなどで構成される。

なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムの用語は、複数の装置、手段などにより構成される全体的な装置を意味するものである。

従来の画像処理システムの構成を示すブロック図である。 本発明の画像処理システムの一実施の形態を示すブロック図である。 画像データに付加される位相ずれによる歪みを説明する図である。 図２の符号化部の機能の構成例を示す図である。 画像データのフレームの構成例を示す図である。 画像データの符号化および復号の過程を説明する図である。 図２の復号部の機能の構成例を示す図である。 図４の基準フレーム符号化部の機能の構成例を示す図である。 図４の差分画像符号化部の機能の構成例を示す図である。 図７の基準フレーム復号部の機能の構成例を示す図である。 図７の差分画像復号部の機能の構成例を示す図である。 図２の記録装置により実行される符号化処理を説明するフローチャートである。 図２の記録装置により実行される符号化処理を説明するフローチャートである。 画像データの画素値の周波数成分の分類について説明する図である。 図２の再生装置および記録装置により実行される復号処理を説明するフローチャートである。 画像データの遷移を示す図である。 差分画像データのブロックの位置を示す図である。 図１７の差分画像データの画素値の波形の例を示す図である。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１０１ 画像処理システム， １１１ 再生装置， １１３ 記録装置， １２１ 復号部， １２２ D/A変換部， １３１ A/D変換部， １３２ 符号化部， １３４ 復号部， １３５ D/A変換部， ２０３ 基準フレーム符号化部， ２０４ 基準フレーム復号部， ２０５ 差分画像生成部， ２０７ 差分画像符号化部， ２０８ 差分画像復号部， ３０３ 基準フレーム復号部， ３０４ 差分画像復号部， ３０５ 加算部， ４０２ DCT処理部， ４０３ 量子化テーブル記憶部， ４１２ DCT処理部， ４１３ 量子化テーブル記憶部， ４５１ 逆DCT処理部， ４５２ 量子化テーブル記憶部， ４６１ 逆DCT処理部， ４６２ 量子化テーブル記憶部， ７０１ CPU， ７０２ ROM， ７０３ RAM， ７０８ 記録部， ７１０ ドライブ， ７２１ リムーバブルメディア

Claims (18)

1. 第１のフレームと第２のフレームとを含む動画像データを符号化する符号化装置において、
   前記第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化する第１の符号化手段と、
   前記第１の画像データと前記第２のフレームの画像データである第２の画像データとの差分をとった差分データを生成する差分データ生成手段と、
   前記差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化する第２の符号化手段と
   を含むことを特徴とする符号化装置。
2. 前記動画像データにノイズを付加するノイズ付加手段をさらに含む
   ことを特徴とする請求項１に記載の符号化装置。
3. 前記第２の符号化手段による量子化に用いられる第１の量子化テーブルにおいて、前記差分データの低周波成分に対応するDCT係数の量子化に用いる要素の値が、前記第１の符号化手段による量子化に用いられる第２の量子化テーブルの前記第１の画像データの低周波成分に対応するDCT係数の量子化に用いる要素の値より大きく、前記差分データの中間周波成分に対応するDCT係数の量子化に用いる要素の値が、前記第２の量子化テーブルの前記第１の画像データの中間周波成分に対応するDCT係数の量子化に用いる要素の値より小さい
   ことを特徴とする請求項１に記載の符号化装置。
4. 第１のフレームと第２のフレームとを含む動画像データを符号化する符号化方法において、
   前記第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化する第１の符号化ステップと、
   前記第１の画像データと前記第２のフレームの画像データである第２の画像データとの差分をとった差分データを生成する差分データ生成ステップと、
   前記差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化する第２の符号化ステップと
   を含むことを特徴とする符号化方法。
5. 第１のフレームと第２のフレームとを含む動画像データを符号化する符号化処理用のプログラムであって、
   前記第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化する第１の符号化ステップと、
   前記第１の画像データと前記第２のフレームの画像データである第２の画像データとの差分をとった差分データを生成する差分データ生成ステップと、
   前記差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化する第２の符号化ステップと
   を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
6. 第１のフレームと第２のフレームとを含む動画像データを符号化する符号化処理用のコンピュータに、符号化処理を行わせるプログラムであって、
   前記第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化する第１の符号化ステップと、
   前記第１の画像データと前記第２のフレームの画像データである第２の画像データとの差分をとった差分データを生成する差分データ生成ステップと、
   前記差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化する第２の符号化ステップと
   を含むことを特徴とするプログラム。
7. 第１のフレームと第２のフレームとを含む動画像データを符号化した符号化動画像データを復号する復号装置において、
   前記第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化することにより符号化された前記第１の画像データに対して、逆量子化および逆DCTを行うことにより前記第１の画像データを復号する第１の復号手段と、
   前記第１の画像データと前記第２のフレームの画像データである第２の画像データとの差分をとった差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化することにより符号化された前記差分データに対して、逆量子化および逆DCTを行うことにより前記差分データを復号する第２の復号手段と、
   復号された前記第１の画像データと、復号された前記差分データとを加算することにより、前記第２の画像データを復号する第３の復号手段と
   を含むことを特徴とする復号装置。
8. 第１のフレームと第２のフレームとを含む動画像データを符号化した符号化動画像データを復号する復号方法において、
   前記第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化することにより符号化された前記第１の画像データに対して、逆量子化および逆DCTを行うことにより前記第１の画像データを復号する第１の復号ステップと、
   前記第１の画像データと前記第２のフレームの画像データである第２の画像データとの差分をとった差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化することにより符号化された前記差分データに対して、逆量子化および逆DCTを行うことにより前記差分データを復号する第２の復号ステップと、
   復号された前記第１の画像データと、復号された前記差分データとを加算することにより、前記第２の画像データを復号する第３の復号ステップと
   を含むことを特徴とする復号方法。
9. 第１のフレームと第２のフレームとを含む動画像データを符号化した符号化動画像データを復号する復号処理用のプログラムであって、
   前記第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化することにより符号化された前記第１の画像データに対して、逆量子化および逆DCTを行うことにより前記第１の画像データを復号する第１の復号ステップと、
   前記第１の画像データと前記第２のフレームの画像データである第２の画像データとの差分をとった差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化することにより符号化された前記差分データに対して、逆量子化および逆DCTを行うことにより前記差分データを復号する第２の復号ステップと、
   復号された前記第１の画像データと、復号された前記差分データとを加算することにより、前記第２の画像データを復号する第３の復号ステップと
   を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
10. 第１のフレームと第２のフレームとを含む動画像データを符号化した符号化動画像データを復号する復号処理用のコンピュータに、復号処理を行わせるプログラムであって、
    前記第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化することにより符号化された前記第１の画像データに対して、逆量子化および逆DCTを行うことにより前記第１の画像データを復号する第１の復号ステップと、
    前記第１の画像データと前記第２のフレームの画像データである第２の画像データとの差分をとった差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化することにより符号化された前記差分データに対して、逆量子化および逆DCTを行うことにより前記差分データを復号する第２の復号ステップと、
    復号された前記第１の画像データと、復号された前記差分データとを加算することにより、前記第２の画像データを復号する第３の復号ステップと
    を含むことを特徴とするプログラム。
11. 符号化部と、復号部とを含み、第１のフレームと第２のフレームとを含む動画像データを画像処理する画像処理システムにおいて、
    前記符号化部は、
    前記第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化する第１の符号化手段と、
    前記第１の画像データと前記第２のフレームの画像データである第２の画像データとの差分をとった差分データを生成する差分データ生成手段と、
    前記差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化する第２の符号化手段と
    を含むことを特徴とする画像処理システム。
12. 前記復号部から前記符号化部に供給される前記動画像データにノイズを付加するノイズ付加部をさらに含む
    ことを特徴とする請求項１１に記載の画像処理システム。
13. 符号化部と、復号部とを含み、第１のフレームと第２のフレームとを含む動画像データを画像処理する画像処理システムの画像処理方法において、
    前記符号化部により実行される、
    前記第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化する第１の符号化ステップと、
    前記第１の画像データと前記第２のフレームの画像データである第２の画像データとの差分をとった差分データを生成する差分データ生成ステップと、
    前記差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化する第２の符号化ステップと
    を含むことを特徴とする画像処理方法。
14. 前記画像処理システムは、
    ノイズ付加部を
    さらに含み、
    前記ノイズ付加部により実行される、
    前記復号部から前記符号化部に供給される前記動画像データにノイズを付加するノイズ付加ステップをさらに含む
    ことを特徴とする請求項１３に記載の画像処理方法。
15. 符号化部と、復号部とを含み、第１のフレームと第２のフレームとを含む動画像データを画像処理する画像処理システムにおいて、
    前記復号部は、
    前記第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化することにより符号化された前記第１の画像データに対して、逆量子化および逆DCTを行うことにより前記第１の画像データを復号する第１の復号手段と、
    前記第１の画像データと前記第２のフレームの画像データである第２の画像データとの差分をとった差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化することにより符号化された前記差分データに対して、逆量子化および逆DCTを行うことにより前記差分データを復号する第２の復号手段と、
    復号された前記第１の画像データと、復号された前記差分データとを加算することにより、前記第２の画像データを復号する第３の復号手段と
    を含むことを特徴とする画像処理システム。
16. 前記復号部から前記符号化部に供給される前記動画像データにノイズを付加するノイズ付加部をさらに含む
    ことを特徴とする請求項１５に記載の画像処理システム。
17. 符号化部と、復号部とを含み、第１のフレームと第２のフレームとを含む動画像データを画像処理する画像処理システムの画像処理方法において、
    前記復号部により実行される、
    前記第１のフレームの画像データである第１の画像データに対してDCTを行うことにより生成された複数のDCT係数により構成される第１のDCT係数セットに対して、前記第１の画像データの高周波成分に対応するDCT係数を前記第１の画像データの低周波成分に対応するDCT係数に比べて粗く量子化することにより符号化された前記第１の画像データに対して、逆量子化および逆DCTを行うことにより前記第１の画像データを復号する第１の復号ステップと、
    前記第１の画像データと前記第２のフレームの画像データである第２の画像データとの差分をとった差分データに対してDCTを行うことにより生成された複数のDCT係数により構成される第２のDCT係数セットに対して、前記差分データの高周波成分に対応するDCT係数を前記差分データの低周波成分、および、低周波成分と高周波成分の間の中間周波数成分に対応するDCT係数に比べて粗く量子化し、前記差分データの低周波成分に対応するDCT係数と前記差分データの中間周波成分に対応するDCT係数とをほぼ同じ細かさで量子化することにより符号化された前記差分データに対して、逆量子化および逆DCTを行うことにより前記差分データを復号する第２の復号ステップと、
    復号された前記第１の画像データと、復号された前記差分データとを加算することにより、前記第２の画像データを復号する第３の復号ステップと
    を含むことを特徴とする画像処理方法。
18. 前記画像処理システムは、
    ノイズ付加部を
    さらに含み、
    前記ノイズ付加部により実行される、
    前記復号部から前記符号化部に供給される前記動画像データにノイズを付加するノイズ付加ステップをさらに含む
    ことを特徴とする請求項１７に記載の画像処理方法。

Images