JP2006217340A - 符号化装置および方法、復号装置および方法、画像処理システムおよび画像処理方法、記録媒体、並びにプログラム - Google Patents

符号化装置および方法、復号装置および方法、画像処理システムおよび画像処理方法、記録媒体、並びにプログラム Download PDF

Info

Publication number
JP2006217340A
JP2006217340A JP2005028911A JP2005028911A JP2006217340A JP 2006217340 A JP2006217340 A JP 2006217340A JP 2005028911 A JP2005028911 A JP 2005028911A JP 2005028911 A JP2005028911 A JP 2005028911A JP 2006217340 A JP2006217340 A JP 2006217340A
Authority
JP
Japan
Prior art keywords
block
pixel
inter
image
difference data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005028911A
Other languages
English (en)
Other versions
JP2006217340A5 (ja
JP4556124B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Sakon Yamamoto
左近 山元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005028911A priority Critical patent/JP4556124B2/ja
Priority to US11/338,643 priority patent/US7957471B2/en
Priority to CNB2006100840029A priority patent/CN100531348C/zh
Priority to KR20060010869A priority patent/KR20060089678A/ko
Publication of JP2006217340A publication Critical patent/JP2006217340A/ja
Publication of JP2006217340A5 publication Critical patent/JP2006217340A5/ja
Application granted granted Critical
Publication of JP4556124B2 publication Critical patent/JP4556124B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】 アナログ信号を利用した不正コピーを防止することができるようにする。
【解決手段】 記録装置113では、再生装置111からのアナログ画像信号Van1を利用して、符号化デジタル画像信号Vcd1を記録媒体122に記録するとともに、その記録媒体122に記録された符号化デジタル画像信号Vcd1が、例えば、再生装置111などの所定の再生装置において再生されてディスプレイ112に表示されたときの画像をディスプレイ143に表示する。記録媒体122を再生装置111で再生したときにディスプレイ112に表示される画像の画質は、コピー元の記録媒体121を再生装置111で再生したときにディスプレイ112に表示される画像の画質よりも、著しく劣化したものとなる。本発明は、例えば、画像信号を符号化または復号する符号化装置または復号装置に適用できる。
【選択図】図2

Description

本発明は、符号化装置および方法、復号装置および方法、画像処理システムおよび画像処理方法、記録媒体、並びにプログラムに関し、特に、アナログ信号を利用した不正コピーを防止する符号化装置および方法、復号装置および方法、画像処理システムおよび画像処理方法、記録媒体、並びにプログラムに関する。
近年、テレビ番組などのコンテンツをデジタル信号でHD(ハードディスク)やDVD(Digital Versatile Disk)などの記録媒体に記録するデジタル記録再生装置が急速に普及してきている。
HDやDVDを記録媒体とするデジタル記録再生装置の普及により、視聴者であるユーザが、テレビ番組などを高品質に記録媒体に記録することが容易にできるようになった。
一方で、デジタル記録再生装置の普及により、DVDなどで販売されている、テレビ番組や映画などのコンテンツを不正にコピーすることが容易になるという側面もある。
図1は、記録媒体に記録されたコンテンツを再生し、ディスプレイに表示させるとともに、再生されたコンテンツを他の記録媒体に記録する画像処理システムの構成の一例を示している。
図1において、画像処理システム1は、DVDなどの光ディスク等の記録媒体に記録されたコンテンツの画像信号を再生し、その結果得られるアナログ画像信号Vanを出力する再生装置11、再生装置11が出力するアナログ画像信号Vanを画像として表示するディスプレイ12、および、再生装置11が出力するアナログ画像信号Vanを利用して、光ディスク等の記録媒体に記録する記録装置13により構成されている。
再生装置11は、復号化部21とD/A(Digital-to-Analog)変換部22とから構成されている。復号化部21は、図示せぬ記録媒体から読み出した符号化デジタル画像信号を復号化し、その結果得られるデジタル画像信号をD/A変換部22に供給する。D/A変換部22は、復号化部21から供給されたデジタル画像信号をアナログ信号に変換し、その結果得られるアナログ画像信号Vanを出力する。
ディスプレイ12は、例えばCRT(Cathode-Ray Tube)やLCD(Liquid Crystal Display)等で構成され、D/A変換部22からのアナログ画像信号Vanを画像として表示する。これにより、ユーザは、記録媒体に記録されている画像信号に対応する画像を見ることができる。
また、再生装置11から出力されたアナログ画像信号Vanは、記録装置13にも供給(入力)される。
記録装置13は、A/D(Analog-to-Digital)変換部31、符号化部32、および記録部33により構成され、入力されるアナログ画像信号Vanを光ディスク等の図示せぬ記録媒体に記録する。
A/D変換部31には、再生装置11が出力するアナログ画像信号Vanが入力される。A/D変換部31は、入力されたアナログ画像信号Vanをデジタル信号に変換し、その結果得られるデジタル画像信号Vdgを符号化部32に供給する。符号化部32は、A/D変換部31からのデジタル画像信号Vdgを符号化し、その結果得られる符号化デジタル画像信号Vcdを記録部33に供給する。記録部33は、符号化デジタル画像信号Vcdを記録媒体に記録する。
以上のように構成される画像処理システム1では、再生装置11から出力されたアナログ画像信号Vanを利用して、再生された記録媒体と異なる記録媒体に画像信号を記録することができる。即ち、再生装置11が出力するアナログ画像信号Vanを利用して、コンテンツ(の画像信号)が、不正にコピーされるおそれがある。
従来、このようなアナログ画像信号Vanを利用した不正コピーを防止するために、著作権保護がなされている場合には、アナログ画像信号Vanをスクランブル処理して出力する、あるいはアナログ画像信号Vanの出力を禁止することが提案されている(例えば、特許文献1参照)。
また、再生側の圧縮復号部または記録側の圧縮符号化部のいずれか一方もしくは両方に雑音情報発生部を設け、デジタルビデオデータに1回の処理では画像再生時に識別できない程度の雑音情報を埋め込むことにより、コピー自体は可能であるが、複数回繰り返すと画像が著しく劣化し、これによって実質的にコピーの回数を制限するデジタルビデオ装置が提案されている(例えば、特許文献2参照)。
しかしながら、特許文献1のようにアナログ画像信号Vanをスクランブル処理して出力する、あるいはアナログ画像信号Vanの出力を禁止する方法では、不正コピーを防止することはできるが、ディスプレイ12に正常な画像を表示することもできなくなるという問題が発生する。
また、特許文献2のように、再生側の圧縮復号部または記録側の圧縮符号化部で雑音情報を埋め込む方法では、雑音情報発生部とこれを埋め込むための回路が必要となり、回路規模が増大するという問題がある。
そこで、画像が表示されなくなることや回路規模の増大を招くこと等の不都合を発生することなく、アナログ画像信号を利用した不正コピーを防止する手法が、本出願人により提案されている(例えば、特許文献3参照)。
特開2001−245270号公報 特開平10−289522号公報 特開2004−289685号公報
特許文献3に記載の手法では、アナログ画像信号をA/D変換することにより得られるデジタル画像信号の位相ズレ等のアナログノイズに着目し、そのデジタル画像信号に対してアナログノイズに着目した符号化を行うことによってコピー前の画像の質を落とさずに、良好な質を維持したままでのコピーを不可能とし、これによりアナログ画像信号を利用した不正コピーを防止するが、デジタルコンテンツの流通が一般的になっている近年においては、上述のように不正コピーを防止するための別の手法の提案が要請されている。
本発明は、このような状況に鑑みてなされたものであり、アナログ信号を利用した不正コピーを防止することができるようにするものである。
本発明の符号化装置は、第1の画像を複数のブロックに分割するブロック分割手段と、複数のブロックのうちの1のブロックである第1のブロックに対応する第2のブロックを、第2の画像から検出する対応ブロック検出手段と、第1および第2のブロックを構成する各画素を、画素値に応じた順番でソートするソート手段と、画素値に応じた順番でソートされた第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データを算出する差分データ算出手段と、ブロック間差分データを符号化する符号化手段とを備えることを特徴とする。
この符号化装置には、入力画像データにノイズを付加するノイズ付加手段をさらに設けることができる。
符号化手段には、ブロック間差分データに対してDST(Discrete Sine Transform)変換を施し、その結果得られるDST係数を量子化することにより、ブロック間差分データを符号化させることができる。
対応ブロック検出手段は、第2の画像から、第2のブロックの候補となる複数の候補ブロックを抽出する候補ブロック抽出手段と、複数の候補ブロックのそれぞれについて、候補ブロックを構成する画素の特徴量を表すパラメータを算出するパラメータ算出手段と、パラメータに基づいて、複数の候補ブロックのなかから、第1のブロックに対応する第2のブロックを検出するブロック検出手段とを有することができる。
パラメータは、候補ブロックを構成する画素の画素値のダイナミックレンジを少なくとも含み、ブロック検出手段には、第1のブロックのダイナミックレンジと一致するダイナミックレンジの候補ブロックを、第2のブロックとして検出させることができる。
差分データ算出手段には、第1と第2のブロックそれぞれを構成する各画素について、画素値と、ブロックを構成する画素の画素値の最小値との差分である画素差分を算出し、画素差分の第1と第2のブロック間の差分をブロック間差分データとして算出させることができる。
第2の画像中から第2のブロックを特定するブロック情報、第1のブロックを構成する各画素をソートしたときのソート結果を表すソート順情報、および、符号化手段により符号化されたブロック間差分データを出力する出力手段をさらに設けることができる。
本発明符号化方法は、第1の画像を複数のブロックに分割するブロック分割ステップと、複数のブロックのうちの1のブロックである第1のブロックに対応する第2のブロックを、第2の画像から検出する対応ブロック検出ステップと、第1および第2のブロックを構成する各画素を、画素値に応じた順番でソートするソートステップと、画素値に応じた順番でソートされた第1と第2のブロック間の、各画素の画素値の変化量を表すブロック間差分データを算出する差分データ算出ステップと、ブロック間差分データを符号化する符号化ステップとを含むことを特徴とする。
この符号化方法には、入力画像データにノイズを付加するノイズ付加ステップをさらに含むことができる。
符号化ステップの処理には、ブロック間差分データに対してDST(Discrete Sine Transform)変換を施し、その結果得られるDST係数を量子化することにより、ブロック間差分データを符号化させることができる。
対応ブロック検出ステップの処理は、第2の画像から、第2のブロックの候補となる複数の候補ブロックを抽出する候補ブロック抽出ステップと、複数の候補ブロックのそれぞれについて、候補ブロックを構成する画素の特徴量を表すパラメータを算出するパラメータ算出ステップと、パラメータに基づいて、複数の候補ブロックのなかから、第1のブロックに対応する第2のブロックを検出するブロック検出ステップとを含むことができる。
パラメータは、候補ブロックを構成する画素の画素値のダイナミックレンジを少なくとも含み、ブロック検出ステップの処理には、第1のブロックのダイナミックレンジと一致するダイナミックレンジの候補ブロックを、第2のブロックとして検出させることができる。
差分データ算出ステップの処理には、第1と第2のブロックそれぞれを構成する各画素について、画素値と、ブロックを構成する画素の画素値の最小値との差分である画素差分を算出させ、画素差分の第1と第2のブロック間の差分をブロック間差分データとして算出させることができる。
第2の画像中から第2のブロックを特定するブロック情報、第1のブロックを構成する各画素をソートしたときのソート結果を表すソート順情報、および、符号化ステップの処理により符号化されたブロック間差分データを出力する出力ステップをさらに含むことができる。
本発明の第1の記録媒体に記録されているプログラムは、第1の画像を複数のブロックに分割するブロック分割ステップと、複数のブロックのうちの1のブロックである第1のブロックに対応する第2のブロックを、第2の画像から検出する対応ブロック検出ステップと、第1および第2のブロックを構成する各画素を、画素値に応じた順番でソートするソートステップと、画素値に応じた順番でソートされた第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データを算出する差分データ算出ステップと、ブロック間差分データを符号化する符号化ステップとを含むことを特徴とする。
本発明の第1のプログラムは、第1の画像を複数のブロックに分割するブロック分割ステップと、複数のブロックのうちの1のブロックである第1のブロックに対応する第2のブロックを、第2の画像から検出する対応ブロック検出ステップと、第1および第2のブロックを構成する各画素を、画素値に応じた順番でソートするソートステップと、画素値に応じた順番でソートされた第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データを算出する差分データ算出ステップと、ブロック間差分データを符号化する符号化ステップとを含む処理をコンピュータに実行させることを特徴とする。
本発明の符号化装置および方法、第1の記録媒体、並びに第1のプログラムにおいては、第1の画像が複数のブロックに分割され、複数のブロックのうちの1のブロックである第1のブロックに対応する第2のブロックが、第2の画像から検出される。さらに、第1および第2のブロックを構成する各画素が、画素値に応じた順番でソートされ、画素値に応じた順番でソートされた第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データが算出され、符号化される。
本発明の第1の復号装置は、第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックを構成する画素の画素値の第1の最小値、第1の画像と異なる第2の画像における第1のブロックに対応するブロックである第2のブロックを特定するブロック情報、第1のブロックを構成する各画素を、画素値とブロックを構成する画素の画素値の最小値との差分である画素差分に応じた順番でソートしたときのソート結果を表すソート順情報、および、画素差分に応じた順番でソートされた第1と第2のブロック間の各画素の、画素差分の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得手段と、符号化ブロック間差分データをブロック間差分データに復号するブロック間差分データ復号手段と、ブロック間差分データ復号手段により復号されたブロック間差分データ、ブロック情報によって特定される第2のブロックを構成する各画素の画素差分、および第1の最小値を用いて、第1のブロックを構成する各画素の画素値を生成する生成手段と、ソート順情報に基づいて、生成手段により生成された第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソート手段とを備えることを特徴とする。
この復号装置には、逆ソート手段の出力にノイズを付加するノイズ付加手段をさらに設けることができる。
ブロック間差分データ復号手段には、符号化ブロック間差分データを逆量子化し、逆量子化された符号化ブロック間差分データに対し、逆DST(Discrete Sine Transform)変換を施すことにより、符号化ブロック間差分データをブロック間差分データに復号させることができる。
生成手段には、第2のブロックを構成する各画素について、画素値と、ブロックを構成する画素の画素値の第2の最小値との差分である画素差分を算出し、算出された画素差分に、ブロック間差分データおよび第1の最小値を加算することにより、第1のブロックを構成する各画素の画素値を生成させることができる。
ブロック情報によって特定される第2のブロックを構成する画素の画素値のダイナミックレンジは、第1のブロックを構成する画素の画素値のダイナミックレンジと一致することができる。
本発明の第1の復号方法は、第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックを構成する画素の画素値の第1の最小値、第1の画像と異なる第2の画像における第1のブロックに対応するブロックである第2のブロックを特定するブロック情報、第1のブロックを構成する各画素を、画素値とブロックを構成する画素の画素値の最小値との差分である画素差分に応じた順番でソートしたときのソート結果を表すソート順情報、および、画素差分に応じた順番でソートされた第1と第2のブロック間の各画素の、画素差分の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得ステップと、符号化ブロック間差分データをブロック間差分データに復号するブロック間差分データ復号ステップと、ブロック間差分データステップの処理により復号されたブロック間差分データ、ブロック情報によって特定される第2のブロックを構成する各画素の画素差分、および第1の最小値を用いて、第1のブロックを構成する各画素の画素値を生成する生成ステップと、ソート順情報に基づいて、生成ステップの処理により生成された第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソートステップとを含むことを特徴とする。
この復号方法には、逆ソートステップの処理による出力にノイズを付加するノイズ付加ステップを含むことができる。
ブロック間差分データ復号ステップの処理には、符号化ブロック間差分データを逆量子化し、逆量子化された符号化ブロック間差分データに対し、逆DST(Discrete Sine Transform)変換を施すことにより、符号化ブロック間差分データをブロック間差分データに復号させることができる。
生成ステップの処理には、第2のブロックを構成する各画素について、画素値と、ブロックを構成する画素の画素値の第2の最小値との差分である画素差分を算出し、算出された画素差分に、ブロック間差分データおよび第1の最小値を加算することにより、第1のブロックを構成する各画素の画素値を生成させることができる。
ブロック情報によって特定される第2のブロックを構成する画素の画素値のダイナミックレンジは、第1のブロックを構成する画素の画素値のダイナミックレンジと一致することができる。
本発明の第2の記録媒体に記録されているプログラムは、第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックを構成する画素の画素値の第1の最小値、第1の画像と異なる第2の画像における第1のブロックに対応するブロックである第2のブロックを特定するブロック情報、第1のブロックを構成する各画素を、画素値とブロックを構成する画素の画素値の最小値との差分である画素差分に応じた順番でソートしたときのソート結果を表すソート順情報、および、画素差分に応じた順番でソートされた第1と第2のブロック間の各画素の、画素差分の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得ステップと、符号化ブロック間差分データをブロック間差分データに復号するブロック間差分データ復号ステップと、ブロック間差分データステップの処理により復号されたブロック間差分データ、ブロック情報によって特定される第2のブロックを構成する各画素の画素差分、および第1の最小値を用いて、第1のブロックを構成する各画素の画素値を生成する生成ステップと、ソート順情報に基づいて、生成ステップの処理により生成された第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソートステップとを含むことを特徴とする。
本発明の第2のプログラムは、第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックを構成する画素の画素値の第1の最小値、第1の画像と異なる第2の画像における第1のブロックに対応するブロックである第2のブロックを特定するブロック情報、第1のブロックを構成する各画素を、画素値とブロックを構成する画素の画素値の最小値との差分である画素差分に応じた順番でソートしたときのソート結果を表すソート順情報、および、画素差分に応じた順番でソートされた第1と第2のブロック間の各画素の、画素差分の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得ステップと、符号化ブロック間差分データをブロック間差分データに復号するブロック間差分データ復号ステップと、ブロック間差分データステップの処理により復号されたブロック間差分データ、ブロック情報によって特定される第2のブロックを構成する各画素の画素差分、および第1の最小値を用いて、第1のブロックを構成する各画素の画素値を生成する生成ステップと、ソート順情報に基づいて、生成ステップの処理により生成された第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソートステップとを含む処理をコンピュータに実行させることを特徴とする。
本発明の第1の復号装置および方法、第2の記録媒体、並びに第2のプログラムにおいては、第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックを構成する画素の画素値の第1の最小値、第1の画像と異なる第2の画像における第1のブロックに対応するブロックである第2のブロックを特定するブロック情報、第1のブロックを構成する各画素を、画素値とブロックを構成する画素の画素値の最小値との差分である画素差分に応じた順番でソートしたときのソート結果を表すソート順情報、および、画素差分に応じた順番でソートされた第1と第2のブロック間の各画素の、画素差分の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データが取得される。そして、符号化ブロック間差分データがブロック間差分データに復号され、復号されたブロック間差分データ、ブロック情報によって特定される第2のブロックを構成する各画素の画素差分、および第1の最小値を用いて、第1のブロックを構成する各画素の画素値が生成され、さらに、ソート順情報に基づいて、生成された第1のブロックを構成する各画素の画素値が、ソートされる前の空間位相に逆ソートされる。
本発明の第1の情報処理システムの符号化部は、第1の画像を複数のブロックに分割するブロック分割手段と、複数のブロックのうちの1のブロックである第1のブロックに対応する第2のブロックを、第2の画像から検出する対応ブロック検出手段と、第1および第2のブロックを構成する各画素を、画素値に応じた順番でソートするソート手段と、画素値に応じた順番でソートされた第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データを算出する差分データ算出手段と、ブロック間差分データを符号化する符号化手段とを有することを特徴とする。
この第1の情報処理システムには、入力画像データにノイズを付加するノイズ付加手段をさらに設けることができる。
本発明の第1の情報処理方法は、符号化部による符号化方法において、第1の画像を複数のブロックに分割するブロック分割ステップと、複数のブロックのうちの1のブロックである第1のブロックに対応する第2のブロックを、第2の画像から検出する対応ブロック検出ステップと、第1および第2のブロックを構成する各画素を、画素値に応じた順番でソートするソートステップと、画素値に応じた順番でソートされた第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データを算出する差分データ算出ステップと、ブロック間差分データを符号化する符号化ステップとを含むことを特徴とする。
本発明の第1の情報処理システムおよび方法においては、第1の画像が複数のブロックに分割され、複数のブロックのうちの1のブロックである第1のブロックに対応する第2のブロックが、第2の画像から検出され、第1および第2のブロックを構成する各画素が、画素値に応じた順番でソートされる。そして、画素値に応じた順番でソートされた第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データが算出され、符号化される。
本発明の第2の情報処理システムの復号部は、第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックを構成する画素の画素値の第1の最小値、第1の画像と異なる第2の画像における第1のブロックに対応するブロックである第2のブロックを特定するブロック情報、第1のブロックを構成する各画素を、画素値とブロックを構成する画素の画素値の最小値との差分である画素差分に応じた順番でソートしたときのソート結果を表すソート順情報、および、画素差分に応じた順番でソートされた第1と第2のブロック間の各画素の、画素差分の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得手段と、符号化ブロック間差分データをブロック間差分データに復号するブロック間差分データ復号手段と、ブロック間差分データ復号手段により復号されたブロック間差分データ、ブロック情報によって特定される第2のブロックを構成する各画素の画素差分、および第1の最小値を用いて、第1のブロックを構成する各画素の画素値を生成する生成手段と、ソート順情報に基づいて、生成手段により生成された第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソート手段とを有することを特徴とする。
この第2の情報処理システムには、逆ソート手段の出力にノイズを付加するノイズ付加手段をさらに設け、ノイズ付加手段を介して、復号部から符号化部に入力画像データが出力されるようにすることができる。
本発明の第2の情報処理方法は、復号部の復号方法において、第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックを構成する画素の画素値の第1の最小値、第1の画像と異なる第2の画像における第1のブロックに対応するブロックである第2のブロックを特定するブロック情報、第1のブロックを構成する各画素を、画素値とブロックを構成する画素の画素値の最小値との差分である画素差分に応じた順番でソートしたときのソート結果を表すソート順情報、および、画素差分に応じた順番でソートされた第1と第2のブロック間の各画素の、画素差分の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得ステップと、符号化ブロック間差分データをブロック間差分データに復号するブロック間差分データ復号ステップと、ブロック間差分データステップの処理により復号されたブロック間差分データ、ブロック情報によって特定される第2のブロックを構成する各画素の画素差分、および第1の最小値を用いて、第1のブロックを構成する各画素の画素値を生成する生成ステップと、ソート順情報に基づいて、生成ステップの処理により生成された第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソートステップとを含むことを特徴とする。
本発明の第2の情報処理システムおよび方法においては、第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックを構成する画素の画素値の第1の最小値、第1の画像と異なる第2の画像における第1のブロックに対応するブロックである第2のブロックを特定するブロック情報、第1のブロックを構成する各画素を、画素値とブロックを構成する画素の画素値の最小値との差分である画素差分に応じた順番でソートしたときのソート結果を表すソート順情報、および、画素差分に応じた順番でソートされた第1と第2のブロック間の各画素の、画素差分の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データが取得される。そして、符号化ブロック間差分データがブロック間差分データに復号され、復号されたブロック間差分データ、ブロック情報によって特定される第2のブロックを構成する各画素の画素差分、および第1の最小値を用いて、第1のブロックを構成する各画素の画素値が生成される。さらに、ソート順情報に基づいて、生成された第1のブロックを構成する各画素の画素値が、ソートされる前の空間位相に逆ソートされる。
本発明の第2の復号装置は、第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックに対応するブロックを、第1の画像と異なる第2の画像から、第2のブロックとして特定するブロック情報、第1のブロックを構成する各画素を、画素値に応じた順番でソートしたときのソート結果を表すソート順情報、および、画素値に応じた順番でソートされた第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得手段と、符号化ブロック間差分データをブロック間差分データに復号するブロック間差分データ復号手段と、ブロック間差分データ復号手段により復号されたブロック間差分データ、およびブロック情報によって特定される第2のブロックを構成する各画素の画素値を用いて、第1のブロックを構成する各画素の画素値を生成する生成手段と、ソート順情報に基づいて、生成手段により生成された第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソート手段とを備えることを特徴とする。
本発明の第2の復号方法は、第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックに対応するブロックを、第1の画像と異なる第2の画像から、第2のブロックとして特定するブロック情報、第1のブロックを構成する各画素を、画素値に応じた順番でソートしたときのソート結果を表すソート順情報、および、画素値に応じた順番でソートされた第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得ステップと、符号化ブロック間差分データをブロック間差分データに復号するブロック間差分データ復号ステップと、ブロック間差分データ復号ステップの処理により復号されたブロック間差分データ、およびブロック情報によって特定される第2のブロックを構成する各画素の画素値を用いて、第1のブロックを構成する各画素の画素値を生成する生成ステップと、ソート順情報に基づいて、生成ステップの処理により生成された第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソートステップとを含むことを特徴とする。
本発明の第3の記録媒体に記録されているプログラムは、第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックに対応するブロックを、第1の画像と異なる第2の画像から、第2のブロックとして特定するブロック情報、第1のブロックを構成する各画素を、画素値に応じた順番でソートしたときのソート結果を表すソート順情報、および、画素値に応じた順番でソートされた第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得ステップと、符号化ブロック間差分データをブロック間差分データに復号するブロック間差分データ復号ステップと、ブロック間差分データ復号ステップの処理により復号されたブロック間差分データ、およびブロック情報によって特定される第2のブロックを構成する各画素の画素値を用いて、第1のブロックを構成する各画素の画素値を生成する生成ステップと、ソート順情報に基づいて、生成ステップの処理により生成された第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソートステップとを含むことを特徴とする。
本発明の第3のプログラムは、第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックに対応するブロックを、第1の画像と異なる第2の画像から、第2のブロックとして特定するブロック情報、第1のブロックを構成する各画素を、画素値に応じた順番でソートしたときのソート結果を表すソート順情報、および、画素値に応じた順番でソートされた第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得ステップと、符号化ブロック間差分データをブロック間差分データに復号するブロック間差分データ復号ステップと、ブロック間差分データ復号ステップの処理により復号されたブロック間差分データ、およびブロック情報によって特定される第2のブロックを構成する各画素の画素値を用いて、第1のブロックを構成する各画素の画素値を生成する生成ステップと、ソート順情報に基づいて、生成ステップの処理により生成された第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソートステップとを含む処理を、コンピュータに実行させることを特徴とする。
本発明の第2の復号装置および方法、第3の記録媒体、並びに第3のプログラムにおいては、第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックに対応するブロックを、第1の画像と異なる第2の画像から、第2のブロックとして特定するブロック情報、第1のブロックを構成する各画素を、画素値に応じた順番でソートしたときのソート結果を表すソート順情報、および、画素値に応じた順番でソートされた第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データが取得される。そして、符号化ブロック間差分データがブロック間差分データに復号され、復号されたブロック間差分データ、およびブロック情報によって特定される第2のブロックを構成する各画素の画素値を用いて、第1のブロックを構成する各画素の画素値が生成され、さらに、ソート順情報に基づいて、生成された第1のブロックを構成する各画素の画素値が、ソートされる前の空間位相に逆ソートされる。
本発明の第3の画像処理システムは、第1の画像と第2の画像を少なくとも有する入力画像データを符号化する符号化部および符号化された入力画像データを復号する復号部を備え、入力画像データに対して符号化および復号を繰り返すと入力画像データに対応する画像の画質が劣化する画像処理システムにおいて、復号部は、第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックに対応するブロックを、第1の画像と異なる第2の画像から、第2のブロックとして特定するブロック情報、第1のブロックを構成する各画素を、画素値に応じた順番でソートしたときのソート結果を表すソート順情報、および、画素値に応じた順番でソートされた第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得手段と、符号化ブロック間差分データをブロック間差分データに復号するブロック間差分データ復号手段と、ブロック間差分データ復号手段により復号されたブロック間差分データ、およびブロック情報によって特定される第2のブロックを構成する各画素の画素値を用いて、第1のブロックを構成する各画素の画素値を生成する生成手段と、ソート順情報に基づいて、生成手段により生成された第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソート手段とを有することを特徴とする。
この第3の情報処理システムには、逆ソート手段の出力にノイズを付加するノイズ付加手段をさらに設け、ノイズ付加手段を介して、復号部から符号化部に入力画像データが出力されるようにすることができる。
本発明の第3の画像処理方法は、第1の画像と第2の画像を少なくとも有する入力画像データを符号化する符号化部および符号化された入力画像データを復号する復号部を備え、入力画像データに対して符号化および復号を繰り返すと入力画像データに対応する画像の画質が劣化する画像処理システムの画像処理方法において、復号部の復号方法は、第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックに対応するブロックを、第1の画像と異なる第2の画像から、第2のブロックとして特定するブロック情報、第1のブロックを構成する各画素を、画素値に応じた順番でソートしたときのソート結果を表すソート順情報、および、画素値に応じた順番でソートされた第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得ステップと、符号化ブロック間差分データをブロック間差分データに復号するブロック間差分データ復号ステップと、ブロック間差分データ復号ステップの処理により復号されたブロック間差分データ、およびブロック情報によって特定される第2のブロックを構成する各画素の画素値を用いて、第1のブロックを構成する各画素の画素値を生成する生成ステップと、ソート順情報に基づいて、生成ステップの処理により生成された第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソートステップとを含むことを特徴とする。
本発明の第3の情報処理システムおよび方法においては、第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックに対応するブロックを、第1の画像と異なる第2の画像から、第2のブロックとして特定するブロック情報、第1のブロックを構成する各画素を、画素値に応じた順番でソートしたときのソート結果を表すソート順情報、および、画素値に応じた順番でソートされた第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データが取得される。そして、符号化ブロック間差分データがブロック間差分データに復号され、復号されたブロック間差分データ、およびブロック情報によって特定される第2のブロックを構成する各画素の画素値を用いて、第1のブロックを構成する各画素の画素値が生成され、さらに、ソート順情報に基づいて、生成された第1のブロックを構成する各画素の画素値が、ソートされる前の空間位相に逆ソートされる。
本発明によれば、アナログ信号を利用した不正コピーを防止することができる。
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加されたりする発明の存在を否定するものではない。
請求項1に記載の符号化装置は、
第1の画像と第2の画像を少なくとも有する入力画像データを符号化する符号化装置(例えば、図2の記録部141)において、
前記第1の画像を複数のブロックに分割するブロック分割手段(例えば、図3のブロック化回路221)と、
前記複数のブロックのうちの1のブロックである第1のブロックに対応する第2のブロックを、前記第2の画像から検出する対応ブロック検出手段(例えば、図3の対応ブロック検出回路213)と、
前記第1および第2のブロックを構成する各画素を、画素値に応じた順番でソートするソート手段(例えば、図3のソート回路214)と、
前記画素値に応じた順番でソートされた前記第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データを算出する差分データ算出手段(例えば、図3の差分回路215)と、
前記ブロック間差分データを符号化する符号化手段(例えば、図3のブロック符号化回路216)と
を備えることを特徴とする。
請求項2に記載の符号化装置は、
前記入力画像データにノイズを付加するノイズ付加手段(例えば、図2のA/D変換部151または図19のノイズ付加部291)をさらに備える
ことを特徴とする。
請求項4に記載の符号化装置は、
前記対応ブロック検出手段は、
前記第2の画像から、前記第2のブロックの候補となる複数の候補ブロックを抽出する候補ブロック抽出手段(例えば、図3のサーチ範囲ブロック化回路233)と、
複数の前記候補ブロックのそれぞれについて、前記候補ブロックを構成する画素の特徴量を表すパラメータを算出するパラメータ算出手段(例えば、図3のパラメータ算出回路234)と、
前記パラメータに基づいて、複数の前記候補ブロックのなかから、前記第1のブロックに対応する前記第2のブロックを検出するブロック検出手段(例えば、図3の対応ブロック抽出回路237)と
を有する
ことを特徴とする。
請求項7に記載の符号化装置は、
前記第2の画像中から前記第2のブロックを特定するブロック情報、前記第1のブロックを構成する各画素をソートしたときのソート結果を表すソート順情報、および、前記符号化手段により符号化された前記ブロック間差分データを出力する出力手段(例えば、図3のデータ合成回路217)をさらに備える
ことを特徴とする。
請求項8に記載の符号化方法は、
第1の画像と第2の画像を少なくとも有する入力画像データを符号化する符号化装置の符号化方法において、
前記第1の画像を複数のブロックに分割するブロック分割ステップ(例えば、図13のステップS1の処理)と、
前記複数のブロックのうちの1のブロックである第1のブロックに対応する第2のブロックを、前記第2の画像から検出する対応ブロック検出ステップ(例えば、図13のステップS11の処理)と、
前記第1および第2のブロックを構成する各画素を、画素値に応じた順番でソートするソートステップ(例えば、図13のステップS5およびS13の処理)と、
前記画素値に応じた順番でソートされた前記第1と第2のブロック間の、各画素の画素値の変化量を表すブロック間差分データを算出する差分データ算出ステップ(例えば、図13のステップS15の処理)と、
前記ブロック間差分データを符号化する符号化ステップ(例えば、図13のステップS16の処理)と
を含むことを特徴とする。
請求項15に記載の記録媒体のプログラム、請求項16に記載のプログラムの各ステップの具体例も、請求項8に記載の符号化方法の各ステップの発明の実施の形態における具体例と同様である。
請求項17に記載の復号装置は、
第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックを構成する画素の画素値の第1の最小値、
前記第1の画像と異なる第2の画像における前記第1のブロックに対応するブロックである前記第2のブロックを特定するブロック情報、
前記第1のブロックを構成する各画素を、画素値とブロックを構成する画素の画素値の最小値との差分である画素差分に応じた順番でソートしたときのソート結果を表すソート順情報、
および、前記画素差分に応じた順番でソートされた前記第1と第2のブロック間の各画素の、画素差分の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得手段(例えば、図14のデータ分解回路262)と、
前記符号化ブロック間差分データを前記ブロック間差分データに復号するブロック間差分データ復号手段(例えば、図14のブロック復号化回路267)と、
前記ブロック間差分データ復号手段により復号された前記ブロック間差分データ、前記ブロック情報によって特定される前記第2のブロックを構成する各画素の画素差分、および前記第1の最小値を用いて、前記第1のブロックを構成する各画素の画素値を生成する生成手段(例えば、図14の減算器266、加算器268および269など)と、
前記ソート順情報に基づいて、前記生成手段により生成された前記第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソート手段(例えば、図14の逆ソート回路270)と
を備えることを特徴とする。
請求項18に記載の復号装置は、
前記逆ソート手段の出力にノイズを付加するノイズ付加手段(例えば、図2のD/A変換部156または図21のノイズ付加部293)をさらに備える
ことを特徴とする。
請求項22に記載の復号方法は、
第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックを構成する画素の画素値の第1の最小値、
前記第1の画像と異なる第2の画像における前記第1のブロックに対応するブロックである前記第2のブロックを特定するブロック情報、
前記第1のブロックを構成する各画素を、画素値とブロックを構成する画素の画素値の最小値との差分である画素差分に応じた順番でソートしたときのソート結果を表すソート順情報、
および、前記画素差分に応じた順番でソートされた前記第1と第2のブロック間の各画素の、画素差分の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得ステップ(例えば、図15のステップS41の処理)と、
前記符号化ブロック間差分データを前記ブロック間差分データに復号するブロック間差分データ復号ステップ(例えば、図15のステップS46の処理)と、
前記ブロック間差分データステップの処理により復号された前記ブロック間差分データ、前記ブロック情報によって特定される前記第2のブロックを構成する各画素の画素差分、および前記第1の最小値を用いて、前記第1のブロックを構成する各画素の画素値を生成する生成ステップ(例えば、図15のステップS42乃至S47の処理)と、
前記ソート順情報に基づいて、前記生成ステップの処理により生成された前記第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソートステップ(例えば、図15のステップS48の処理)と
ことを特徴とする。
請求項27に記載の記録媒体のプログラム、請求項28に記載のプログラムの各ステップの具体例も、請求項22に記載の復号方法の各ステップの発明の実施の形態における具体例と同様である。
以下、図を参照して、本発明の実施の形態について説明する。
図2は、本発明を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
図2において、画像処理システム101は、DVDなどの光ディスク等の記録媒体121に記録された画像信号を再生し、その結果得られるアナログ画像信号Van1を出力する再生装置111、再生装置111が出力するアナログ画像信号Van1を画像として表示するディスプレイ112、および、再生装置111が出力するアナログ画像信号Van1を利用して、光ディスク等の記録媒体122に画像信号を記録する記録装置113により構成されている。
再生装置111は、復号化部131とD/A(Digital-to-Analog)変換部132とから構成されている。復号化部131は、記録媒体121から読み出した符号化デジタル画像信号を復号化し(復号し)、その結果得られる復号化デジタル画像信号Vdg0をD/A変換部132に供給する。D/A変換部132は、復号化部131から供給された復号化デジタル画像信号Vdg0をアナログ信号に変換し、その結果得られるアナログ画像信号Van1を出力する。
ここで、再生装置111(のD/A変換部132)から出力されるアナログ画像信号Van1は、復号化デジタル画像信号Vdg0をアナログ信号に変換したときに自然に生じる信号の歪み(以下、アナログ歪みと称する)を伴うものとなっている。例えば、アナログ歪みには、D/A変換器132でアナログ信号に変換する際に高周波成分が除去されることで生じる歪み、D/A変換器132でアナログ信号に変換する際に信号の位相がずれることで生じる歪み等がある。なお、このアナログ歪みによる画像の劣化(画質)を評価する方法としては、S/N(Signal-to-Noise)評価、視覚評価(視覚的劣化の評価)等がある。
ディスプレイ112は、例えばCRT(Cathode-Ray Tube)やLCD(Liquid Crystal Display)等で構成され、D/A変換部132からのアナログ画像信号Van1に対応する画像を表示する。これにより、ユーザは、記録媒体121に記録された画像信号に対応する画像を見ることができる。
また、再生装置111から出力されたアナログ画像信号Van1(入力画像データ)は、記録装置113にも供給(入力)される。
記録装置113は、再生装置111からのアナログ画像信号Van1を符号化デジタル画像信号Vcd1に符号化して、記録媒体122に記録する記録部141(符号化装置)、記録媒体122に記録された符号化デジタル画像信号Vcd1が復号化されてディスプレイに表示されたときの画像を確認するために、符号化デジタル画像信号Vcd1を再生する再生部142(復号装置)、および、再生部142が再生した画像を表示するディスプレイ143により構成されている。
記録部141は、A/D(Analog-to-Digital)変換部151、符号化部152、および媒体記録部153により構成され、入力されるアナログ画像信号Van1をデジタル信号に変換して符号化した符号化デジタル画像信号Vcd1を記録媒体122に記録する。これにより、再生装置111からのアナログ画像信号Van1を利用したコピーが行われることとなる。
A/D変換部151には、再生装置111が出力するアナログ画像信号Van1が入力される。A/D変換部151は、入力されたアナログ画像信号Van1をデジタル信号に変換し、その結果得られるデジタル画像信号Vdg1を符号化部152に供給する。
符号化部152は、A/D変換部151からのデジタル画像信号Vdg1を符号化し、その結果得られる符号化デジタル画像信号Vcd1を媒体記録部153および再生部142(の復号化部155)に供給する。媒体記録部153は、符号化部152からの符号化デジタル画像信号Vcd1を記録媒体122に記録する。
再生部142は、上述したように、記録媒体122に記録された符号化デジタル画像信号Vcd1が(例えば、再生装置111などの)所定の再生装置において、復号化されてディスプレイに表示されたときの画像を確認するためのものである。従って、再生部142は、再生装置111の復号化部131およびD/A変換部132それぞれと同様の構成を有する、復号化部155およびD/A変換部156により構成されている。
復号化部155は、符号化部152からの符号化デジタル画像信号Vcd1を復号化し(復号し)、その結果得られる復号化デジタル画像信号Vdg2をD/A変換部156に供給する。D/A変換部156は、復号化部155から供給された復号化デジタル画像信号Vdg2をアナログ信号に変換し、その結果得られるアナログ画像信号Van2をディスプレイ143に出力する。
ディスプレイ143は、例えばCRT(Cathode-Ray Tube)やLCD(Liquid Crystal Display)等で構成され、D/A変換部156からのアナログ画像信号Van2に対応する画像を表示する。これにより、ユーザは、記録媒体122に記録された符号化デジタル画像信号Vcd1が再生されたときの画像を確認する(見る)ことができる。
以上のように構成される記録装置113では、再生装置111からのアナログ画像信号Van1を利用して、符号化デジタル画像信号Vcd1を記録媒体122に記録するとともに、その記録媒体122に記録された符号化デジタル画像信号Vcd1が、(例えば、再生装置111などの)所定の再生装置において再生されてディスプレイ112に表示されたときの画像を確認することができる。なお、符号化部152または復号化部155では、それぞれに入力されるデジタル画像信号Vdg1または符号化デジタル画像信号Vcd1を、フレーム単位で処理するものとする。
図2の画像処理システム101において、記録装置113で記録された(コピーされた)記録媒体122を再生装置111で再生したときにディスプレイ112に表示される(再生部142から出力されるアナログ画像信号Van2と同一のアナログ画像信号による)画像の画質(例えば、S/N比など)は、コピー元の記録媒体121を再生装置111で再生したときにディスプレイ112に表示される(アナログ画像Van1による)画像の画質よりも、著しく劣化したものとなる。
そこで、以下では、再生装置111から出力されるアナログ画像信号Van1を利用して画像信号をコピーした場合に、コピーされた画像信号を再生した画像の画質が劣化するような符号化および復号化を行う符号化部152および復号化部155について詳しく説明する。
図3は、図2の記録装置113の、符号化部152の詳細な構成例を示すブロック図である。
図3の符号化部152は、入力端子211、入力ブロック生成回路212、対応ブロック検出回路213、ソート回路214、差分回路215、ブロック符号化回路216、データ合成回路217、および出力端子218により構成されている。
入力端子211には、A/D変換部151(図2)からのデジタル画像信号Vdg1が入力され、入力ブロック生成回路212(のブロック化回路221)に供給される。
入力ブロック生成回路212は、ブロック化回路221、最大値検出回路222、最小値検出回路223、および減算器224により構成され、フレーム単位で入力される符号化デジタル画像信号Vcd1に対応する画像(以下、入力フレームとも称する)を複数のブロックBLに分割するとともに、各ブロックBLのダイナミックレンジDRを算出する。なお、符号化部152では、分割された複数のブロックBLのそれぞれが順次注目ブロックBLcとされ、注目ブロックBLcに対して処理が行われる。
ブロック化回路221は、入力フレームの画像を複数のブロックBLに分割し、最大値検出回路222、最小値検出回路223、およびソート回路214の入力ブロックソート回路251に供給する。なお、本実施の形態では、ブロックBLのサイズは、例えば、8×8画素(水平方向×垂直方向)であるとする。
最大値検出回路222は、注目ブロックBLcを構成する画素の画素値(入力画素値)の最大値Vcdmaxを検出し、減算器224に供給する。また、最小値検出回路223は、注目ブロックBLcを構成する画素の画素値(入力画素値)の最小値Vcdminを検出し、減算器224、差分回路215の減算器253、およびデータ合成回路217に供給する。
減算器224は、画素値の最大値Vcdmaxから最小値Vcdminを減算することにより、注目ブロックBLcの画素値のダイナミックレンジDR(=Vcdmax−Vcdmin)(以下、適宜、注目ブロックBLcのダイナミックレンジDRと称する)を算出し、対応ブロック検出回路213のDR一致検出回路235に供給する。
対応ブロック検出回路213は、ローカルデコード部231、フレームメモリ232、サーチ範囲ブロック化回路233、パラメータ算出回路234、DR一致検出回路235、インデックス分解回路236、および対応ブロック抽出回路237により構成され、入力ブロック生成回路212において生成された入力フレームの注目ブロックBLcに対応するブロックである対応ブロックBLTを、入力フレームの1つ前のフレーム(前フレーム)の画像から検出する。なお、パラメータ算出回路234は、最大値検出回路238、最小値検出回路239、減算器240、およびインデックスバッファ241により構成されている。
対応ブロック検出回路213のローカルデコード部231は、データ合成回路217から供給される符号化デジタル画像信号Vcd1をローカルデコードし(復号化し)、フレームメモリ232に供給する(フレームメモリ232を更新する)。ここで、ローカルデコード部231は、符号化デジタル画像信号Vcd1をローカルデコードする際、フレームメモリ232に記憶されている画像を参照画像とする。なお、ローカルデコード部231には、入力端子211から次の入力フレームが入力ブロック生成回路212に供給されるタイミングで、データ合成部217から現在の入力フレームの符号化デジタル画像信号Vcd1が供給される。従って、フレームメモリ232に供給する(記憶させる)ローカルデコードされた画像(参照画像)は、入力ブロック生成回路212で処理している画像の1フレーム前(前フレーム)の画像となる。
フレームメモリ232は、ローカルデコード部231から供給される前フレームの画像を記憶するとともに、サーチ範囲ブロック化回路233およびローカルデコード部231に供給する。
サーチ範囲ブロック化回路233は、入力ブロック生成回路212において生成された入力フレームの注目ブロックBLcに対応するブロックである対応ブロックBLTの候補となる複数の候補ブロックBPi(i=1,2,・・・)を、フレームメモリ232から供給される前フレームの画像の、所定のサーチ範囲から抽出する。ここで、インデックスiは、複数の候補ブロックBPを識別する番号を表す。
パラメータ算出回路234は、複数の候補ブロックBPiのそれぞれについて、候補ブロックBPiを構成する画素の特徴量を表すパラメータを算出する。
即ち、最大値検出回路238は、候補ブロックBPiを構成する画素の画素値の最大値を検出し、減算器240に供給する。また、最小値検出回路239は、候補ブロックBPiを構成する画素の画素値の最小値を検出し、減算器240およびインデックスバッファ241に供給する。減算器240は、候補ブロックBPiの画素値の最大値から最小値を減算して得られる画素値のダイナミックレンジDR'をインデックスバッファ241に供給する。インデックスバッファ241は、減算器240および最小値検出回路239からそれぞれ供給される、候補ブロックBPiの画素値のダイナミックレンジDR'および最小値をパラメータとしてテーブルに記憶する(以下、候補ブロックBPiの画素値のダイナミックレンジDR'または最小値を、それぞれ、単に候補ブロックBPiのダイナミックレンジDR'または最小値と称する)。
また、インデックスバッファ241は、前フレームの全ての候補ブロックBPiのダイナミックレンジDR'および最小値が記憶されると、それらをDR一致検出回路235に供給する。
DR一致検出回路235は、入力ブロック生成回路212の減算器224から供給される注目ブロックBLcのダイナミックレンジDRと一致する候補ブロックBPiを、インデックスバッファ241から供給される全ての候補ブロックBPiのダイナミックレンジDR'および最小値を参照して検出する。ここで検出された候補ブロックBPiが、入力フレームの注目ブロックBLcに対応する対応ブロックBLTとなる。
そして、DR一致検出回路235は、検出された候補ブロックBPi(対応ブロックBLT)のインデックスiと最小値i_minとを、インデックス分解回路236に供給する。なお、DR一致検出回路235において、注目ブロックBLcのダイナミックレンジDRと同一のダイナミックレンジを有する候補ブロックBPiがない場合には、注目ブロックBLcのダイナミックレンジDRと候補ブロックBPiのダイナミックレンジDR'との差分絶対値が最小となるダイナミックレンジDR'を有する候補ブロックBPiが、対応ブロックBLTとして検出される。また、複数の候補ブロックBPiが対応ブロックBLTとして検出された場合には、例えば、最初に検出された候補ブロックBPiを対応ブロックBLTとしても良いし、注目ブロックBLcと空間位相(フレーム内の位置)が一番近い候補ブロックBPiを対応ブロックBLTとしてもよい。
インデックス分解回路236は、DR一致検出回路235からの対応ブロックBLTのインデックスiと最小値i_minとを、それぞれに分解し、インデックスiをインデックス情報Vcdp(対応ブロックBLTを特定するブロック情報)として対応ブロック抽出回路237およびデータ合成回路217に供給し、最小値i_minを差分回路215の減算器254に供給する。
対応ブロック抽出回路237は、インデックス分解回路236からのインデックス情報Vcdpに基づいて、サーチ範囲ブロック化回路233から対応ブロックBLTを抽出(検出)し、ソート回路214の対応ブロックソート回路252に供給する。
ソート回路214は、入力ブロックソート回路251および対応ブロックソート回路252により構成され、注目ブロックBLcおよび対応ブロックBLTを構成する各画素を画素値に応じた順番でソートする。
即ち、入力ブロックソート回路251は、注目ブロックBLcを構成する各画素を画素値に応じた順番でソートして、差分回路215の減算器253に供給する。また、入力ブロックソート回路251は、ソート順に並び換えられた各画素が、並び換えられる前の空間位相(以下、適宜、元の空間位相という)では(ラスター順では)、どこに存在していたかを表すソート順情報Vcds(ソート結果を表すソート情報Vcds)を算出し、データ合成回路217に供給する。
対応ブロックソート回路252は、対応ブロックBLTを構成する各画素を画素値に応じた順番でソートして、差分回路215の減算器254に供給する。なお、対応ブロックソート回路252は、対応ブロックBLTのソート情報Vcdsは出力(算出)しない。
差分回路215は、減算器253および254と差分演算回路255とから構成され、画素値の順番で画素がソートされた注目ブロックBLcおよび対応ブロックBLTのブロック間の各画素の、画素差分の変化量を表すブロック間差分データを算出する。
即ち、減算器253または254は、注目ブロックBLcまたは対応ブロックBLTそれぞれを構成する各画素について、画素値と、ブロックを構成する画素の画素値の最小値との差分である画素差分を算出する。より具体的には、減算器253は、入力ブロックソート回路251から供給される、ソート後の注目ブロックBLcを構成する各画素の画素値から、最小値検出回路223から供給される、注目ブロックBLcの最小値Vcdminを減算し(注目ブロックBLcを構成する各画素の画素値から最小値Vcdmin分オフセットし)、画素差分として差分演算回路255に供給する。また、減算器254は、対応ブロックソート回路252から供給される、ソート後の対応ブロックBLTを構成する各画素の画素値から、インデックス分解回路236から供給される、対応ブロックBLTの最小値i_minを減算し(対応ブロックBLTを構成する各画素の画素値から最小値i_min分オフセットし)、画素差分として差分演算回路255に供給する。
そして、差分演算回路255は、減算器253からの注目ブロックBLcを構成する各画素の画素差分と減算器254からの対応ブロックBLTを構成する各画素の画素差分の、(ソート後の)対応する画素どうしの差分(画素差分の注目ブロックBLcと対応ブロックBLT間の差分)をブロック間差分データとして算出(演算)し、ブロック符号化回路216に供給する。
ブロック符号化回路216は、差分回路215で算出されたブロック間差分データを符号化し、その結果得られる符号化データVcdoをデータ合成回路217に供給する。
データ合成回路217は、1フレームを構成する複数のブロックBLそれぞれの、画素値の最小値Vcdmin、ソート順情報Vcds、インデックス情報Vcdp、および符号化データVcdoを合成し、符号化デジタル画像信号Vcd1としてローカルデコード部231および出力端子218に供給する。出力端子218は、符号化デジタル画像信号Vcd1を出力する。
図4乃至図12を参照して、符号化部152の処理についてさらに説明する。
図4は、ブロック化回路221が入力フレームの画像を複数のブロックBLに分割した例を示している。
ブロック化回路221では、例えば、640×480画素などの所定の画素数を有する入力フレームの画像が、図4に示すように、例えば、それぞれが8×8画素で構成される複数のブロックBLに分割される。この複数のブロックBLそれぞれが、注目ブロックBLcとされることになる。なお、図4における丸(○)は、画像を構成する各画素を表している。
図5は、複数の候補ブロックBPiを抽出するために、サーチ範囲ブロック化回路233において設定されるサーチ範囲SRを説明する図である。
サーチ範囲ブロック化回路233では、入力フレーム(現フレーム)上の注目ブロックBLcの位置と同一の前フレーム上の位置BLPを基準として、サーチ範囲SRを設定する。ここで、サーチ範囲SRは、例えば、図5に示すように、前フレームの位置BLPから、左右(水平)および上下(垂直)方向の両側にそれぞれ8画素だけ大きい範囲となされている。
従って、サーチ範囲SRは、図6に示すように、前フレーム上の位置BLPを中心として、水平方向に24画素、および垂直方向に24画素を有する領域となる。
サーチ範囲ブロック化回路233は、図6に示すサーチ範囲SRにおいて、注目ブロックBLcと同一のサイズを有するブロックであって、取り得るブロックの全ての画素の組合せを候補ブロックBPiとして抽出する。
即ち、サーチ範囲ブロック化回路233は、図7に示すように、サーチ範囲SRの一番左上の画素を含む8×8=64画素のブロックを候補ブロックBP1として抽出する。また、サーチ範囲ブロック化回路233は、候補ブロックBP1から右方向(水平方向)に1乃至16画素ずらすことにより、候補ブロックBP2乃至BP17を抽出し、さらに、候補ブロックBP1乃至BP17を下方向(垂直方向)に1乃至16画素ずらすことにより、候補ブロックBP18乃至BP289を抽出する
従って、サーチ範囲ブロック化回路233は、289個の候補ブロックBP1乃至BP289を抽出する。
そして、パラメータ算出回路234は、複数の候補ブロックBPi(i=1,2,・・・,289)のそれぞれについて、候補ブロックBPiを構成する画素の特徴量を表すパラメータ(画素値の最小値およびダイナミックレンジDR')を算出し、インデックスバッファ241に記憶する。
図8は、インデックスバッファ241に記憶されている、候補ブロックBPiのダイナミックレンジDR'および最小値のテーブルの例を示している。
インデックスバッファ241では、図8に示すように、候補ブロックBPiと、その候補ブロックBPiのダイナミックレンジDR'および最小値とが対応付けて記憶されている。そして、インデックスバッファ241は、図8に示す全ての候補ブロックBPiのダイナミックレンジDR'と最小値との組をDR一致検出回路235に供給する。
DR一致検出回路235は、インデックスバッファ241から供給される、全ての候補ブロックBPiのダイナミックレンジDR'および最小値のうちのダイナミックレンジDR'を参照し、注目ブロックBLcのダイナミックレンジDRと一致する候補ブロックBPiを検出し、検出された候補ブロックBPiのインデックスiと最小値i_minとを、インデックス分解回路236に供給する。
図9および図10は、入力ブロックソート回路251が算出するソート順情報Vcdsを説明する図である。
入力ブロックソート回路251には、各画素がラスター順に並んでいる注目ブロックBLcが、ブロック化回路221から供給される。そこで、横軸を、ラスター順の0乃至63の順番で表す各画素の位置、縦軸を、その画素の入力画素値として注目ブロックBLcを構成する各画素の画素値をプロットすると、例えば、図9左側に示すようになる。
入力ブロックソート回路251は、入力画素値の大きい順に注目ブロックBLcを構成する各画素を並び換える(ソートする)。この場合、図9右側に示すように、横軸が0乃至63のソート順を表し、ソート順の0番目の入力画素値が、入力ブロック生成回路212の最大値検出回路222で検出される値と同様の、注目ブロックBLcにおける入力画素値の最大値Vcdmaxとなり、ソート順の63番目の入力画素値が、入力ブロック生成回路212の最小値検出回路223で検出される値と同様の、注目ブロックBLcにおける入力画素値の最小値Vcdminとなる。
そして、入力ブロックソート回路251は、ソート順に並び換えられた各画素が、並び換えられる前の空間位相では(即ち、ラスター順では)、どこに存在していたかを表すソート順情報Vcdsを算出する。図9では、注目ブロックBLcを構成する各画素のラスター順の位置に、その画素のソート後の順番(ソート順)が記憶されるようにして、ソート順情報Vcdsが提供されるようになされている。
例えば、図9のソート順情報Vcdsにおいて四角で囲まれている、注目ブロックBLcの左上角の位置の画素には、「40」のソート順が対応付けられており、元の空間位相でその位置にあった画素のソート順が、40番目であることを表している。また、図9のソート順情報Vcdsにおいて丸で囲まれている、注目ブロックBLcの左上角の位置の画素から、右に4番目および下に2番目の位置の画素には、「0」のソート順が対応付けられており、元の空間位相において、その位置にあった画素のソート順が、0番目であることを表している。即ち、丸で囲まれている画素が、注目ブロックBLcを構成する画素の画素値の最大値Vcdmaxを有する画素であることを表している。
従って、ソート順に並べ換えられた注目ブロックBLcを構成する各画素は、図10に示すように、ソート順情報Vcdsを利用することにより、元の空間位相(ラスター順)に戻すことが可能となる。
図9右側に示すソート後の注目ブロックBLcの各画素が差分回路215の減算器253に供給され、減算器253において、注目ブロックBLcの最小値Vcdminが減算される。即ち、図9右側のソート後の波形から、最小値Vcdminだけ下方にオフセットされ、図11左上側に示すように、(オフセット後の)画素値の最小値が0となるような、注目ブロックBLcのソート後の画素差分波形が得られる。
また、差分回路215の減算器254では、上述した注目ブロックBLcと同様に、対応ブロックBLTに対しても、対応ブロックBLTのソート後の各画素から、対応ブロックBLTの最小値i_minがオフセットされ、図11右上側に示す、対応ブロックBLTのソート後の画素差分波形が得られる。
そして、差分演算回路255において、注目ブロックBLcの画素差分波形と対応ブロックBLTの画素差分波形の、(ソート後の)対応する画素どうしの差分が算出される。図11下側は、注目ブロックBLcの画素差分波形と対応ブロックBLTの画素差分波形の、対応する画素どうしの差分が演算された、ブロック間差分データ波形を示している。
なお、図11では、注目ブロックBLcのダイナミックレンジDRと、対応ブロックBLTのダイナミックレンジDR'とが一致している場合の画素差分波形の例を示している。注目ブロックBLcのダイナミックレンジDRと、対応ブロックBLTのダイナミックレンジDR'とが一致している場合、注目ブロックBLcおよび対応ブロックBLTの各画素の画素値から最小値Vcdminおよび最小値i_minをそれぞれオフセットしているので、注目ブロックBLcの画素差分波形と対応ブロックBLTの画素差分波形の、対応する画素どうしの差分であるブロック間差分データ波形は、ソート順の「0」番目と「63」番目の差分(の値)がともに「0」となる。
ブロック符号化回路216は、差分演算回路255から供給されるブロック間差分データ波形(図11下側)に対して、DST(Discrete Sine Transform)変換を施すことにより、DST係数を算出する。
ここで、DST変換は、ブロック間差分データ波形を、図12に示すような、sin基底関数(sin波形)fs_j(j=0,1,・・,63)の重ね合わせで表すようにする直交変換の一つである。このsin基底関数fs_jは、次式で表すことができる。
Figure 2006217340
・・・(1)
ここで、k(k=0,1,・・,63)はソート順の順番(ソート順に並べたときの注目ブロックBLcの位置)を表し、j(j=0,1,・・,63)は、基底関数fs_jを識別する基底番号を表す。また、Nは、注目ブロックBLcの画素数(=64)を表す。
sin基底関数fs_jは、図12に示すように、基底番号jが小さいものほど、低周波成分を表す関数となる。
なお、ブロック符号化回路216においては、ブロック間差分データ波形を、例えば、DCT変換などの、DST変換以外の直交変換を採用することも可能であるが、注目ブロックBLcと対応ブロックBLTのダイナミックレンジが一致する場合、図11に示したように、ソート順の「0」番目と「63」番目の両端の差分(の値)が0となるため、その特徴を表すことができるDST変換が望ましい。
そして、ブロック符号化回路216は、DST変換により得られるDST係数を量子化する。この場合、全てのDST係数を同一の値で除算してもよいし、高周波成分を除去するように、高周波成分のDST係数に対しては、低周波成分のDST係数より大きな値で除算するようにしてもよい。
さらに、ブロック符号化回路216は、量子化されたDST係数を、例えばハフマン符号などによるエントロピー符号化(可変長符号化)を行い、その結果得られる符号化データVcdoをデータ合成回路217に供給する。
次に、図13のフローチャートを参照して、図3の符号化部152の符号化処理について説明する。
初めに、ステップS1において、ブロック化回路221は、入力端子211を介してA/D変換部151から供給されるデジタル画像信号Vdg1に対応するフレーム単位の画像を、それぞれが8×8画素で構成される複数のブロックBLに分割し、最大値検出回路222、最小値検出回路223、および入力ブロックソート回路251に供給する。
ステップS2において、複数に分割されたブロックBLのうちの1のブロックBLが注目ブロックBLcとされる。また、ステップS2において、最大値検出回路222は、注目ブロックBLcを構成する画素の画素値の最大値Vcdmaxを検出し、減算器224に供給する。
ステップS3において、最小値検出回路223は、注目ブロックBLcを構成する画素の画素値の最小値Vcdminを検出し、減算器224、差分回路215の減算器253、およびデータ合成回路217に供給する。
ステップS4において、減算器224は、注目ブロックBLcのダイナミックレンジDRを算出し、対応ブロック検出回路213のDR一致検出回路235に供給する。
ステップS5において、入力ブロックソート回路251は、注目ブロックBLcを構成する各画素を画素値の大きい順にソートする。そして、入力ブロックソート回路251は、ソート後の注目ブロックBLcを構成する各画素を差分回路215の減算器253に供給するとともに、注目ブロックBLcのソート情報Vcdsをデータ合成回路217に供給する。
ステップS6において、差分回路215の減算器253は、注目ブロックBLcを構成する各画素の画素差分を算出する。即ち、減算器253は、ソート後の注目ブロックBLcを構成する各画素の画素値から、注目ブロックBLcの最小値Vcdminを減算し(注目ブロックBLcを構成する各画素の画素値から最小値Vcdmin分オフセットし)、差分演算回路255に供給する。
ステップS7において、サーチ範囲ブロック化回路233は、フレームメモリ232から供給される前フレームの画像の所定のサーチ範囲の中から、注目ブロックBLcに対応する対応ブロックBLTの候補となる全ての候補ブロックBPiを抽出する。
ステップS8において、パラメータ算出回路234の最大値検出回路238は、候補ブロックBPiそれぞれについて、候補ブロックBPiを構成する画素の画素値の最大値を検出し、減算器240に供給する。
ステップS9において、最小値検出回路239は、候補ブロックBPiそれぞれについて、候補ブロックBPiを構成する画素の画素値の最小値を検出し、減算器240およびインデックスバッファ241に供給する。
ステップS10において、減算器240は、候補ブロックBPiそれぞれについて、候補ブロックBPiのダイナミックレンジDR'を算出し、インデックスバッファ241に供給する。
ステップS11において、DR一致検出回路235は、入力ブロック生成回路212の減算器224から供給される注目ブロックBLcのダイナミックレンジDRと一致する候補ブロックBPi(対応ブロックBLT)を、インデックスバッファ241から供給される全ての候補ブロックBPiの中から検出する。ここで、複数の候補ブロックBPiが検出された場合には、例えば、最初に検出された候補ブロックBPiを対応ブロックBLTとする。
また、ステップS11において、DR一致検出回路235は、検出された対応ブロックBLTのインデックスiと最小値i_minとを、インデックス分解回路236に供給する。
そして、ステップS12において、対応ブロック抽出回路237は、インデックス分解回路236からのインデックス情報Vcdpに基づいて、サーチ範囲ブロック化回路233から対応ブロックBLTを抽出し、ソート回路214の対応ブロックソート回路252に供給する。
ステップS13において、対応ブロックソート回路252は、対応ブロックBLTを構成する各画素を、画素値の大きい順にソートして、差分回路215の減算器254に供給する。
ステップS14において、減算器254は、対応ブロックBLTを構成する各画素の画素差分を算出する。即ち、減算器254は、ソート後の対応ブロックBLTを構成する各画素の画素値から、対応ブロックBLTの最小値i_minを減算し(対応ブロックBLTを構成する各画素の画素値から最小値i_min分オフセットし)、差分演算回路255に供給する。
ステップS15において、差分演算回路255は、注目ブロックBLcと対応ブロックBLTとのブロック間差分データを算出し、ブロック符号化回路216に供給する。即ち、差分演算回路255は、減算器253からの注目ブロックBLcの画素差分と減算器254からの対応ブロックBLTの画素差分の、(ソート後の)対応する画素どうしの差分を算出し、ブロック符号化回路216に供給する。
ステップS16において、ブロック符号化回路216は、差分回路215で算出されたブロック間差分データを符号化し、その結果得られる符号化データVcdoをデータ合成回路217に供給する。
ステップS17において、データ合成回路217は、1フレームの画像を構成する全てのブロックBLについて処理したか、即ち、1フレームの画像の全てのブロックBLを注目ブロックBLcとして上述したステップS2乃至S16の処理を行ったか否かを判定する。
ステップS17で、全てのブロックBLについて処理していないと判定された場合、ステップS2に戻り、まだ処理していないブロックBLが注目ブロックBLcとされる。そして、その注目ブロックBLcに対して、ステップS2乃至S17の処理が繰り返される。
一方、ステップS17で、全てのブロックBLについて処理したと判定された場合、ステップS18に進み、データ合成回路217は、1フレームを構成する複数のブロックBLそれぞれの、画素値の最小値Vcdmin、ソート順情報Vcds、インデックス情報Vcdp、および符号化データVcdoを合成した符号化デジタル画像信号Vcd1をローカルデコード部231および出力端子218に供給(出力)する。
ステップS18の処理後、ステップS19に進み、符号化部152は、まだ処理するフレームの画像があるか、即ち、次に処理するフレームの画像がA/D変換部151から供給されたか否かを判定する。
ステップS19で、まだ処理するフレームの画像があると判定された場合、ステップS20に進み、ローカルデコード部231は、符号化デジタル画像信号Vcd1をローカルデコードして参照画像を生成する。そして、ステップS21に進み、ローカルデコード部231は、参照画像をフレームメモリ232に記憶させて、ステップS1に戻る。
一方、ステップS19で、処理するフレームの画像がないと判定された場合、即ち、次に処理するフレームの画像がA/D変換部151から供給されない場合、処理を終了する。
以上のように、符号化部152の符号化処理によれば、入力されたフレーム単位の画像が、複数のブロックBLに分割され、そのブロックBLそれぞれが注目ブロックBLcとされる。そして、入力ブロック生成回路212では、注目ブロックBLcのダイナミックレンジDRが算出される。また、対応ブロック検出回路213において、注目ブロックBLcに対応する対応ブロックBLTが、前フレームの画像から検出される。
そして、注目ブロックBLcと対応ブロックBLTのそれぞれについて、画素値に応じた順番で(画素値の大きい順に)ソートされ、注目ブロックBLcと対応ブロックBLTとのブロック間差分データが算出され、符号化される。
なお、入力されたデジタル画像信号Vdg1に対応するフレーム単位の画像が、先頭の(最初の)フレームの画像である場合には、符号化部152は、符号化歪みが生じないように符号化した符号化データVcdoをデータ合成回路217で合成し、符号化デジタル画像信号Vcd1として出力する。
図14は、図2の記録装置113の、復号化部155の詳細な構成例を示すブロック図である。
図14の復号化部155は、入力端子261、データ分解回路262、対応ブロック抽出回路263、最小値検出回路264、ソート回路265、減算器266、ブロック復号化回路267、加算器268および269、逆ソート回路270、ブロック分解回路271、フレームメモリ272、並びに出力端子273により構成される。
データ分解回路262には、符号化デジタル画像信号Vcd1が、入力端子261を介して符号化部152から供給(入力)される。
データ分解回路262は、符号化デジタル画像信号Vcd1を、1フレームを構成する複数のブロックBLそれぞれの、画素値の最小値Vcdmin、ソート順情報Vcds、対応ブロックBLTを特定するインデックス情報Vcdp、および符号化データVcdoに分解し、取得する。そして、データ分解回路262は、複数のブロックBLそれぞれの、インデックス情報Vcdp(ブロック情報)を対応ブロック抽出回路263に供給し、符号化データVcdoをブロック復号化回路267に供給する。また、データ分解回路262は、複数のブロックBLそれぞれの、画素値の最小値Vcdminを加算器269に供給し、ソート順情報Vcdsを逆ソート回路270に供給する。
これによりデータ分解回路262以降の、対応ブロック抽出回路263、最小値検出回路264、ソート回路265、減算器266、ブロック復号化回路267、加算器268および269、逆ソート回路270、並びにブロック分解回路271では、符号化部152と同様に、複数のブロックBLのそれぞれを注目ブロックBLcとする処理が行われる。
対応ブロック抽出回路263は、符号化部152の対応ブロック抽出回路237およびサーチ範囲ブロック化回路233と同様の機能を有し、データ分解回路262からのインデックス情報Vcdpに基づいて、フレームメモリ272から対応ブロックBLTを抽出し、最小値検出回路264およびソート回路265に供給する。
最小値検出回路264は、対応ブロックBLTを構成する画素の画素値の最小値i_minを検出し、減算器266に供給する。
ソート回路265は、符号化部152の対応ブロックソート回路214と同様に、対応ブロックBLTを構成する各画素を画素値に応じた順番でソートして、減算器266に供給する。
減算器266は、符号化部152の254と同様に、ソート回路265から供給される、ソート後の対応ブロックBLTを構成する各画素の画素値から、最小値検出回路264から供給される、対応ブロックBLTの最小値i_minを減算し(対応ブロックBLTを構成する各画素の画素値から最小値i_min分オフセットし)、加算器268に供給する。ここで、減算器266の出力となるソート後の対応ブロックBLTを構成する各画素の画素値と対応ブロックBLTの最小値i_minとの差分は、図11で上述した対応ブロックBLTを構成する各画素の画素差分(対応ブロックBLTの画素差分波形)に相当する。
ブロック復号化回路267は、データ分解回路262から供給される、注目ブロックBLcの符号化データVcdoを復号化し、その結果得られるブロック間差分データを加算器268に供給する。即ち、ブロック復号化回路267は、データ分解回路262からの符号化データVcdoをエントロピー復号化および逆量子化し、逆量子化された符号化データVcdoに対し、逆DST変換を施すことにより、注目ブロックBLcのブロック間差分データを算出し、加算器268に供給する。
加算器268は、注目ブロックBLcを構成する各画素について、ブロック復号化回路267からの注目ブロックBLcのブロック間差分データと、減算器266からの対応ブロックBLTの画素差分とを加算する。これにより、図11左上側に示した、注目ブロックBLcを構成する各画素の画素差分(注目ブロックBLcの画素差分波形)が算出される。
そして、加算器269は、注目ブロックBLcを構成する各画素について、画素差分と、データ分解回路262からの最小値Vcdmin(第1の最小値)とを加算する。この加算器269における加算結果が、注目ブロックBLcを構成する各画素の出力画素値であり、逆ソート回路270に供給される。
逆ソート回路270は、データ分解回路262からのソート順情報Vcdsに基づいて、注目ブロックBLcを構成する各画素の出力画素値を、元の空間位相(ラスター順)に並び換える(ソートされる前の空間位相に逆ソートする)。そして、逆ソート回路270は、元の空間位相に並び換えられた注目ブロックBLcを構成する各画素の出力画素値を、ブロック分解回路271に供給する。
ブロック分解回路271は、注目ブロックBLcを構成する各画素の出力画素値を、複数のブロックBLに分割する前のフレーム上の所定の位置に戻し、分割された複数のブロックBLから1フレームの画像を構成する。そして、ブロック分解回路186は、1フレーム分の画像としての復号化デジタル画像信号Vdg2を、フレームメモリ272および出力端子273に供給(出力)する。
出力端子273は、ブロック分解回路271からの復号化デジタル画像信号Vdg2を(D/A変換部156(図2)に)出力する。
なお、図3で上述したローカルデコード部231は、図14において点線で示されている、データ分解回路262、対応ブロック抽出回路263、最小値検出回路264、ソート回路265、減算器266、ブロック復号化回路267、加算器268および269、逆ソート回路270、並びにブロック分解回路271と同様の構成を有している。
次に、図15のフローチャートを参照して、図2の復号化155の復号化処理を説明する。
初めに、ステップS41において、データ分解回路262は、入力端子261を介して符号化部152から供給される1フレーム分の符号化デジタル画像信号Vcd1を、1フレームを構成する複数のブロックBLそれぞれの、画素値の最小値Vcdmin、ソート順情報Vcds、対応ブロックBLTを特定するインデックス情報Vcdp、および符号化データVcdoのに分解し、取得する。
また、ステップS41において、データ分解回路262は、1フレーム分の符号化デジタル画像信号Vcd1を分解して取得された、インデックス情報Vcdpを対応ブロック抽出回路263に供給し、符号化データVcdoをブロック復号化回路267に供給する。さらに、ステップS41において、データ分解回路262は、1フレーム分の符号化デジタル画像信号Vcd1を分解して取得された、画素値の最小値Vcdminを加算器269に供給し、ソート順情報Vcdsを逆ソート回路270に供給する。
ステップS42において、複数に分割されたブロックBLのうちの1のブロックBLが注目ブロックBLcとされる。また、ステップS42において、対応ブロック抽出回路263は、データ分解回路262からのインデックス情報Vcdpに基づいて、フレームメモリ272から対応ブロックBLTを抽出し、最小値検出回路264およびソート回路265に供給する。
ステップS43において、ソート回路265は、対応ブロックBLTを構成する各画素を、画素値の大きい順にソートして、減算器266に供給する。
ステップS44において、最小値検出回路264は、対応ブロックBLTの最小値i_minを検出し、減算器266に供給する。
ステップS45において、減算器266は、対応ブロックBLTを構成する各画素の画素差分を算出する。即ち、減算器266は、ソート後の対応ブロックBLTを構成する各画素の画素値から、対応ブロックBLTの最小値i_minを減算し(対応ブロックBLTを構成する各画素の画素値から最小値i_min分オフセットし)、加算器268に供給する。
ステップS46において、ブロック復号化回路267は、注目ブロックBLcの符号化データVcdoを復号化し、その結果得られるブロック間差分データを加算器268に供給する。
ステップS47において、加算器268は、注目ブロックBLcを構成する各画素について、ブロック復号化回路267からのブロック間差分データと、対応ブロックBLTの画素差分とを加算して、加算器269に供給する。
また、ステップS47において、加算器269は、注目ブロックBLcを構成する各画素について、画素差分と、データ分解回路262からの最小値Vcdminとを加算して、逆ソート回路270に供給する。
ステップS48において、逆ソート回路270は、データ分解回路262からのソート順情報Vcdsに基づいて、注目ブロックBLcを構成する各画素の出力画素値を逆ソートする。即ち、逆ソート回路270は、データ分解回路262からのソート順情報Vcdsに基づいて、注目ブロックBLcを構成する各画素の出力画素値を元の空間位相(ラスター順)に並び換えて、ブロック分解回路271に供給する。
ステップS49において、ブロック分解回路271は、注目ブロックBLcを構成する各画素の出力画素値を、複数のブロックBLに分割する前のフレーム上の所定の位置に戻し、分割された複数のブロックBLから1フレームの画像を構成する。
ステップS50において、復号化部155は、1フレームを構成する全てのブロックBLについて処理したか、即ち、1フレームの画像の全てのブロックBLそれぞれを注目ブロックBLcとしたか否かを判定する。ステップS50において、1フレームの画像の全てのブロックBLについて処理していないと判定された場合、ステップS42に戻り、まだ注目ブロックBLcとされていないブロックBLが注目ブロックBLcとされ、ステップS42乃至S50の処理が繰り返される。
一方、ステップS50で、1フレームの画像の全てのブロックBLについて処理したと判定された場合、ステップS51に進み、ブロック分解回路186は、1フレーム分の復号化デジタル画像信号Vdg2をフレームメモリ272および出力端子273に供給(出力)する。
ステップS52において、復号部155は、まだ処理するフレームの画像があるか、即ち、次に処理するフレームの画像が符号化部152から供給されたか否かを判定する。
ステップS52において、まだ処理するフレームの画像があると判定された場合、ステップS41に戻り、それ以降の処理が繰り返される。
一方、ステップS52において、処理するフレームの画像がない、即ち、次に処理するフレームの画像が符号化部152から供給されない場合、処理を終了する。
以上のように、復号化処理によれば、入力端子261を介して、フレーム単位で符号化デジタル画像信号Vcd1がデータ分解回路262に供給(入力)される。そして、1フレーム分の符号化デジタル画像信号Vcd1が、複数のブロックBLそれぞれの、画素値の最小値Vcdmin、ソート順情報Vcds、対応ブロックBLTを特定するインデックス情報Vcdp、および符号化データVcdoに分解される。
そして、ブロック復号化回路267において、注目ブロックBLcの符号化データVcdoが復号化され、ブロック間差分データが得られる。
また、ブロック間差分データ、インデックス情報Vcdpを用いて抽出された対応ブロックBLTを構成する各画素の画素値、および注目ブロックBLcの最小値Vcdminを用いて、注目ブロックBLcを構成する各画素の出力画素値が生成される。
即ち、対応ブロックBLTを構成する各画素の画素値と対応ブロックBLTの最小値との差分である、対応ブロックBLTの画素差分が算出され、復号化されたブロック間差分データと加算される。さらに、その加算結果に注目ブロックBLcの最小値Vcdminが加算され、注目ブロックBLcを構成する各画素の出力画素値が生成される。
そして、生成された注目ブロックBLcを構成する各画素の出力画素値が、ソート順情報Vcdsに基づいて、ソートされる前の空間位相に逆ソートされる。さらに、複数のブロックBLそれぞれを注目ブロックBLcとして上述の処理が繰り返され、分割された複数のブロックBLから1フレームの画像が構成されて、復号化デジタル画像信号Vdg2として出力される。
図16は、図2の記録装置113の、復号化部155のその他の詳細な構成例を示すブロック図である。
図16において、図14に示した復号化部155と対応する部分については同一の符号を付してあり、その説明を省略する。
即ち、図16の符号化部152においては、加算器269と逆ソート回路270との間に、ソート回路281が新たに設けられている他は、図14の復号化部155と同様に構成されている。
加算器269の出力である、注目ブロックBLcを構成する各画素の出力画素値は、基本的には、符号化部152(の入力ブロックソート回路251)でソートされたときの順番である、画素値の大きい順にソートされている。しかしながら、符号化部152の(量子化などによる)符号化歪みによってソート順が変わることが起こり得る。そこで、ソート回路281は、加算器269から供給される、注目ブロックBLcを構成する各画素の出力画素値を、画素値の大きい順に並び換える(ソートする)。そして、再度、画素値の大きい順にソートされた注目ブロックBLcを構成する各画素の出力画素値が、逆ソート回路270に供給される。
次に、図17のフローチャートを参照して、図16の復号化部155の復号化処理について説明する。
図17のステップS71乃至S77およびステップS79乃至S83は、上述した図15のステップS41乃至S52のそれぞれと同様の処理を行う。換言すれば、図17の復号化処理は、図17のステップS78の処理が、図15のステップS47とS48の間に追加されている。
ステップS78において、ソート回路281は、加算器269から供給される、注目ブロックBLcを構成する各画素の出力画素値を、画素値の大きい順に並び換える(ソートする)。そして、再度、画素値の大きい順にソートされた注目ブロックBLcを構成する各画素の出力画素値が、逆ソート回路270に供給される。
図17の復号化処理によれば、入力端子261を介して、フレーム単位で符号化デジタル画像信号Vcd1がデータ分解回路262に供給(入力)される。そして、1フレーム分の符号化デジタル画像信号Vcd1が、複数のブロックBLそれぞれの、画素値の最小値Vcdmin、ソート順情報Vcds、対応ブロックBLTを特定するインデックス情報Vcdp、および符号化データVcdoに分解される。
そして、ブロック復号化回路267において、注目ブロックBLcの符号化データVcdoが復号化され、ブロック間差分データが得られる。
また、ブロック間差分データ、インデックス情報Vcdpを用いて抽出された対応ブロックBLTを構成する各画素の画素値、および注目ブロックBLcの最小値Vcdminを用いて、注目ブロックBLcを構成する各画素の画素値が生成される。
さらに、生成された注目ブロックBLcを構成する各画素の出力画素値が、ソートされた後、ソート順情報Vcdsに基づいて、ソートされる前の空間位相に逆ソートされる。そして、複数のブロックBLそれぞれを注目ブロックBLcとして、上述の処理が繰り返され、分割された複数のブロックBLから1フレームの画像が構成されて、復号化デジタル画像信号Vdg2として出力される。
次に、図18のフローチャートを参照して、図2の記録装置113による、再生装置111から出力されるアナログ画像信号Van1を利用して、画像信号を記録媒体122に記録する(コピーする)とともに、記録媒体122に記録された符号化デジタル画像信号Vcd1が所定の再生装置において、復号化されてディスプレイに表示されるときの画像をディスプレイ143で確認する記録確認処理について説明する。
初めに、ステップS91において、A/D変換部151は、入力されたアナログ画像信号Van1をデジタル信号に変換し、その結果得られるデジタル画像信号Vdg1を符号化部152に供給する。
ステップS92において、符号化部152は、A/D変換部151からのデジタル画像信号Vdg1を符号化し、その結果得られる符号化デジタル画像信号Vcd1を媒体記録部153および再生部142(の復号化部155)に供給する。
ステップS93において、媒体記録部153は、符号化部152からの符号化デジタル画像信号Vcd1を記録媒体122に記録する。
ステップS94において、復号化部155は、符号化部152からの符号化デジタル画像信号Vcd1を復号化し、その結果得られる復号化デジタル画像信号Vdg2をD/A変換部156に供給する。なお、ステップS93およびS94の処理は、並行して実行することが可能である。
ステップS95において、D/A変換部156は、復号化部155から供給された復号化デジタル画像信号Vdg2をアナログ信号に変換し、その結果得られるアナログ画像信号Van2をディスプレイ143に出力する。
ステップS96において、ディスプレイ143は、D/A変換部156からのアナログ画像信号Van2に対応する画像を表示する。
以上のようにして、再生装置111で再生され、出力されたアナログ歪みを伴うアナログ画像信号Van1がデジタル画像信号Vdg1にA/D変換され、そのデジタル画像信号Vdg1が符号化されて、記録媒体122に記録される。即ち、アナログ歪みを伴うアナログ画像信号Van1に基づくコピーが行われる。
ここで、再生装置111から出力されるアナログ歪みを伴うアナログ画像信号Van1は、記録媒体121に記録されている符号化デジタル画像信号が復号化部131で復号化されて、出力される信号である。即ち、再生装置111から出力されるアナログ歪みを伴うアナログ画像信号Van1は、1回目の符号化および復号化が行われた信号である。
また、アナログ歪みを伴うアナログ画像信号Van1に基づいてコピーされ、記録媒体122に記録された符号化デジタル画像信号Vcd1が、再生装置111において再生(復号化)され、出力された場合、再生装置111から出力されるアナログ画像信号は、再生装置111と同様の構成とされる再生部142から出力されるアナログ画像信号Van2と同様の信号となる。このアナログ画像信号Van2は、アナログ画像信号Van1を符号化部152および復号化部155でそれぞれ符号化および復号化した信号であることから、2回目の符号化および復号化が行われた信号である。
この2回目の符号化および復号化が行われた復号化デジタル画像信号Vdg2は、コピー元の記録媒体121から再生された信号である、1回目の符号化および復号化が行われた復号化デジタル画像信号Vdg0に比べて、画質が大幅に劣化したものとなる。
例えば、アナログ画像信号Van1が、再生装置111のD/A変換部132においてアナログ信号に変換する際に混入するホワイトノイズによるアナログ歪みを伴うアナログ画像信号である場合、そのアナログ画像信号Van1が、記録装置113のA/D変換部151でデジタル信号に変換されるときに、画像を構成する各画素の画素値が、アナログ歪みによって僅かに変化する。
これにより、2回目の符号化となる符号化部152の符号化処理では、注目ブロックBLcのダイナミックレンジDRが、1回目の符号化のときのダイナミックレンジと異なってくる。そのため、注目ブロックBLcのダイナミックレンジDRに対応して抽出される対応ブロックBLTも1回目に抽出される対応ブロックと異なるブロックとなり、注目ブロックBLcと対応ブロックBLTとのブロック間差分データを符号化したときの符号化歪み(量子化歪み)は、1回目の符号化歪みと異なる歪みとなり、結果として大きな歪みが発生する。従って、2回目の符号化により符号化された符号化デジタル画像信号Vcd1を復号化して得られる復号化デジタル画像信号Vdg2の画質は大幅に劣化したものとなる。
また、例えば、アナログ画像信号Van1が、再生装置111のD/A変換部132においてアナログ信号に変換する際に位相がずれることによるアナログ歪みを伴うアナログ画像信号である場合、そのアナログ画像信号Van1が、記録装置113のA/D変換部151でデジタル信号に変換されるときのサンプリング位相のゆらぎのために、2回目の符号化となる符号化部152の符号化処理において処理単位となるブロックBLが、1回目の符号化のときのブロックBLと異なるものとなる。そのため、2回目の符号化における符号化歪みは、1回目の符号化歪みと異なる歪みとなり、結果として大きな歪みが発生する。従って、2回目の符号化により符号化された符号化デジタル画像信号Vcd1を復号化して得られる復号化デジタル画像信号Vdg2の画質は大幅に劣化したものとなる。
なお、復号化デジタル画像信号Vdg0がアナログ画像信号に変換されたアナログ画像信号Van1を用いずに、デジタル信号として入力される画像信号を符号化部152で符号化し、記録媒体122に記録する場合には、符号化部152では、アナログ歪みが発生しないため、画質の劣化は生じない。即ち、符号化部152および復号化部155(131)を用いてデジタル画像信号のままコピーする場合には、コピーされた画像信号に画質の劣化は発生しない(画質の劣化を防止することができる)。
また、再生装置111から出力されるアナログ画像信号Van1が2回目の符号化および復号化が行われた信号である場合には、次にコピーされた記録媒体122から再生される信号は、3回目の符号化および復号化が行われたアナログ画像信号Van2となり、その画像は、より一層劣化したものとなる。即ち、符号化および復号化を繰り返す度に、記録媒体122に記録される画像信号による画質が劣化していくことになる。
従って、記録再生装置113によれば、良好な画質を維持したままでのアナログ画像信号を利用したコピーは不可能となり、2回目以降の符号化および復号化された画像信号に対応する画像の画質を著しく劣化させることにより、アナログ画像信号を利用した不正コピーを防止することができる。
また、図2の画像処理システム101では、自然に生じるアナログ歪みを使って画質を劣化させて不正コピーを防止するため、アナログ画像信号Van1に対して(画質を劣化させる等の)特別の処理を行っていない。従って、不正コピーを防止するための特別の回路など(手段)を必要とせず構成が複雑となる(回路規模が増大する)というような問題も発生しない。なお、図2の画像処理システム101では、再生装置111のD/A変換部132において復号化デジタル画像信号Vdg0をアナログ信号に変換したときに生じるアナログ歪みを利用した例について説明したが、D/A変換部132からA/D変換部151までの伝送路において生じるアナログ歪み、またはA/D変換部151において生じるアナログ歪みについても同様の効果(復号化デジタル画像信号Vdg2の画質の大幅な劣化)となる。
さらに、図2の画像処理システム101では、自然に生じるアナログ歪みの他に、再生装置111から出力されるアナログ画像信号Van1に対して、意図的にアナログ歪みを生じさせるノイズ(アナログノイズ)を付加させるようにすることも可能である。
図19は、本発明を適用した画像処理システムのその他の実施の形態の構成例を示すブロック図である。
なお、図19において、図2の画像処理システム101と対応する部分については、同一の符号を付してあり、その説明を省略する。
即ち、図19の画像処理システム101では、記録装置113の記録部141において、ノイズ付加部291が新たに設けられている他は、図2の画像処理システム101と同様に構成されている。
再生装置111から出力されるアナログ画像信号Van1は、記録装置1のノイズ付加部291に入力される。ノイズ付加部291は、入力されるアナログ画像信号Van1にノイズを付加して、A/D変換部151に供給する。
図20のフローチャートを参照して、図19の記録装置113による記録確認処理について説明する。
初めに、ステップS101において、ノイズ付加部291は、再生装置111からのアナログ画像信号Van1にノイズを付加して、A/D変換部151に供給する。
ステップS102乃至S107では、図18のステップS81乃至S86と同様の処理が行われる。即ち、A/D変換部151において、ノイズが付加されることにより、さらに大きなアナログ歪みを伴うアナログ画像信号Van1がデジタル信号に変換され、符号化部152において、デジタル画像信号Vdg1が符号化デジタル画像信号Vcd1に符号化される。そして、その符号化デジタル画像信号Vcd1が記録媒体122に記録される。また、符号化デジタル画像信号Vcd1は、復号化デジタル画像信号Vdg2に復号化され、さらにアナログ信号(アナログ画像信号Van2)に変換され、ディスプレイ143に画像として表示される。
以上のように、図19の記録装置113では、自然に生じるアナログ歪みだけでなく、意図的にノイズを付加することによりアナログ歪みを生じさせた(アナログ歪みを伴う)アナログ画像信号Van1を符号化する。この場合、2回目以降の符号化および復号化によって、画質をさらに著しく劣化させることになり、アナログ画像信号を利用した不正コピーを防止することができる。
なお、アナログ画像信号にノイズを意図的に付加する場合、再生装置111がノイズを付加してからアナログ画像信号Van1を出力するようにしてもよい。
即ち、図21は、本発明を適用した画像処理システムのさらにその他の実施の形態の構成例を示すブロック図である。
なお、図21において、図2の画像処理システム101と対応する部分については、同一の符号を付してあり、その説明を省略する。
即ち、図21の画像処理システム101では、再生装置111において、ノイズ付加部292が新たに設けられており、それに対応して、再生装置111と同様の構成とされる記録装置113の再生部142においても、ノイズ付加部293が設けられている他は、図2の画像処理システム101と同様に構成されている。
再生装置111のノイズ付加部292には、記録媒体121から再生されたアナログ画像信号がD/A変換部132から供給される。ノイズ付加部292は、D/A変換部132からのアナログ画像信号にノイズを付加し、その結果得られるアナログ画像信号Van1をディスプレイ112および記録装置113に出力する。
記録装置113の再生部142においても同様に、アナログ画像信号がD/A変換部156からノイズ付加部293に供給される。ノイズ付加部293は、D/A変換部156からのアナログ画像信号にノイズを付加し、その結果得られるアナログ画像信号Van2をディスプレイ143に出力する。
図22のフローチャートを参照して、図21の記録装置113による記録確認処理について説明する。
ステップS121乃至S125では、図18のステップS81乃至S85と同様の処理が行われる。即ち、A/D変換部151において、再生装置111からのアナログ画像信号Van1がデジタル信号に変換され、符号化部152において、デジタル画像信号Vdg1が符号化デジタル画像信号Vcd1に符号化される。そして、その符号化デジタル画像信号Vcd1が記録媒体122に記録される。また、符号化デジタル画像信号Vcd1は、復号化デジタル画像信号Vdg2に復号化され、さらにアナログ信号に変換される。
そして、ステップS125の処理後、ステップS126に進み、ノイズ付加部293は、D/A変換部156からのアナログ画像信号にノイズを付加し、その結果得られるアナログ画像信号Van2をディスプレイ143に出力する。
ステップS127において、ディスプレイ143は、ノイズ付加部293からのアナログ画像信号Van2による画像を表示して、処理を終了する。
以上のように、アナログ画像信号Van1が、自然に生じるアナログ歪みだけでなく、意図的にノイズを付加したことにより、さらに大きなアナログノイズを伴う場合においても、良好な画質を維持したままでのアナログ画像信号を利用したコピーは不可能となる。即ち、2回目以降の符号化および復号化された画像信号に対応する画像の画質をさらに著しく劣化させることにより、アナログ画像信号(アナログ信号)を利用した不正コピーを防止することができる。
なお、上述した実施の形態では、1フレームを構成する複数のブロックBLそれぞれを順次処理するようにしたが、1フレームの全てのブロックBLを並行して処理するようにしてもよい。また、符号化部152および復号化部155は、フレーム単位で画像を処理するようにしたが、フレーム単位に限定されない。例えば、フィールド単位や複数フレーム単位で並行に処理するようにしてもよい。
また、上述した実施の形態では、符号化部152において、差分回路215によって算出される、注目ブロックBLcを構成する各画素の画素差分と減算器254からの対応ブロックBLTを構成する各画素の画素差分の、(ソート後の)対応する画素どうしの差分(画素差分の注目ブロックBLcと対応ブロックBLT間の差分)であるブロック間差分データを符号化するようにしたが、単に、注目ブロックBLcおよび対応ブロックBLTそれぞれを構成する画素の画素値の、(ソート後の)対応する画素どうしの差分(画素値の注目ブロックBLcと対応ブロックBLT間の差分)をブロック間差分データとして符号化してもよい。この場合、データ合成回路217から出力される符号化デジタル画像信号Vcd1には、画素値の最小値Vcdminを含む必要がない。
ブロック間差分データが、上述のように、単に、注目ブロックBLcおよび対応ブロックBLTそれぞれを構成する画素の画素値の、(ソート後の)対応する画素どうしの差分である場合、対応する復号化部155では、注目ブロックBLcの各画素について、符号化データVcdoを復号化して得られるブロック間差分データと対応ブロックBLTの画素値とが加算され、出力画素値とされる。そして、データ分解回路262からのソート順情報Vcdsに基づいて、注目ブロックBLcを構成する各画素の出力画素値が、ソートされる前の空間位相に逆ソートされる。
また、符号化部152では、注目ブロックBLcを構成する各画素を画素値に応じた順番でソートし、そのソート結果をソート順情報Vcdsとして出力した後で、ソート後の注目ブロックBLcを構成する各画素の画素値から、注目ブロックBLcの最小値Vcdminを減算し画素差分として出力したが、先に、注目ブロックBLcを構成する各画素の画素値から注目ブロックBLcの最小値Vcdminを減算し、その結果得られる注目ブロックBLcの各画素の画素差分を、画素差分に応じた順番でソートし、そのソート結果をソート順情報Vcdsとして出力するとともにソートされた画素差分を出力するようにしてもよい。この場合においても、画素値に応じた順番でソートしたときと同一のソート順情報Vcdsおよびソート後の注目ブロックBLcの各画素の画素差分が出力される。
上述した記録確認処理、符号化処理、復号化処理などの一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアによって行う場合、例えば、その一連の処理は、図23に示されるような(パーソナル)コンピュータにプログラムを実行させることにより実現することができる。
図23において、CPU(Central Processing Unit)301は、ROM(Read Only Memory)302に記憶されているプログラム、または記憶部308からRAM(Random Access Memory)303にロードされたプログラムに従って各種の処理を実行する。RAM303にはまた、CPU301が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU301、ROM302、およびRAM303は、バス304を介して相互に接続されている。このバス304にはまた、入出力インタフェース305も接続されている。
入出力インタフェース305には、キーボード、マウス、入力端子などよりなる入力部306、CRT(Cathode Ray Tube),LCD(Liquid Crystal display)などよりなるディスプレイ、出力端子、並びにスピーカなどよりなる出力部307、ハードディスクなどより構成される記憶部308、ターミナルアダプタ、ADSL(Asymmetric Digital Subscriber Line)モデムや、LAN (Local Area Network)カード等より構成される通信部309が接続されている。通信部309は、インターネットなどの各種のネットワークを介しての通信処理を行う。
入出力インタフェース305にはまた、ドライブ310が接続され、磁気ディスク(フロッピディスクを含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory) DVD Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)を含む)、或いは半導体メモリなどのリムーバブルメディア(記録媒体)321が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部308にインストールされる。
図23において、プログラムを実行するCPU301が、例えば、図2のA/D変換部151、符号化部152、復号化部155(復号化部131)、およびD/A変換部156(D/A変換部132)に対応し、ドライブ310が媒体記録部153に対応する。また、ディスプレイ143は、出力部307に対応する。
なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
従来の画像処理システムの構成の一例を示すブロック図である。 本発明を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。 図2の符号化部152の詳細な構成例を示すブロック図である。 符号化部152の処理を説明する図である。 符号化部152の処理を説明する図である。 符号化部152の処理を説明する図である。 符号化部152の処理を説明する図である。 符号化部152の処理を説明する図である。 符号化部152の処理を説明する図である。 符号化部152の処理を説明する図である。 符号化部152の処理を説明する図である。 符号化部152の処理を説明する図である。 符号化処理を説明するフローチャートである。 図2の復号化部155の詳細な構成例を示すブロック図である。 復号化処理を説明するフローチャートである。 復号化部155のその他の詳細な構成例を示すブロック図である。 復号化処理を説明するフローチャートである。 図2の記録装置113の記録確認処理を説明するフローチャートである。 本発明を適用した画像処理システムのその他の実施の形態の構成例を示すブロック図である。 図19の記録装置113による記録確認処理を説明するフローチャートである。 本発明を適用した画像処理システムのさらにその他の実施の形態の構成例を示すブロック図である。 図21の記録装置113による記録確認処理を説明するフローチャートである。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
符号の説明
101 画像処理システム, 113 記録装置, 141 記録部, 142 再生部, 152 符号化部, 155 復号化部, 211 入力端子, 212 入力ブロック生成回路, 213 対応ブロック検出回路, 214 ソート回路, 215 差分回路, 216 ブロック符号化回路, 217 データ合成回路, 218 出力端子, 221 ブロック化回路, 232 フレームメモリ, 233 サーチ範囲ブロック化回路, 234 パラメータ算出回路, 235 DR一致検出回路, 237 対応ブロック抽出回路, 251 入力ブロックソート回路, 252 対応ブロックソート回路, 253,254 減算器, 255 差分演算回路, 261 出力端子, 262 データ分解回路, 263 対応ブロック抽出回路, 267 ブロック復号化回路, 268,269 加算器, 270 逆ソート回路, 271 ブロック分解回路, 272 フレームメモリ, 273 出力端子, 281 ソート回路, 291乃至293 ノイズ付加部

Claims (41)

  1. 第1の画像と第2の画像を少なくとも有する入力画像データを符号化する符号化装置において、
    前記第1の画像を複数のブロックに分割するブロック分割手段と、
    前記複数のブロックのうちの1のブロックである第1のブロックに対応する第2のブロックを、前記第2の画像から検出する対応ブロック検出手段と、
    前記第1および第2のブロックを構成する各画素を、画素値に応じた順番でソートするソート手段と、
    前記画素値に応じた順番でソートされた前記第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データを算出する差分データ算出手段と、
    前記ブロック間差分データを符号化する符号化手段と
    を備えることを特徴とする符号化装置。
  2. 前記入力画像データにノイズを付加するノイズ付加手段をさらに備える
    ことを特徴とする請求項1に記載の符号化装置。
  3. 前記符号化手段は、前記ブロック間差分データに対してDST(Discrete Sine Transform)変換を施し、その結果得られるDST係数を量子化することにより、前記ブロック間差分データを符号化する
    ことを特徴とする請求項1に記載の符号化装置。
  4. 前記対応ブロック検出手段は、
    前記第2の画像から、前記第2のブロックの候補となる複数の候補ブロックを抽出する候補ブロック抽出手段と、
    複数の前記候補ブロックのそれぞれについて、前記候補ブロックを構成する画素の特徴量を表すパラメータを算出するパラメータ算出手段と、
    前記パラメータに基づいて、複数の前記候補ブロックのなかから、前記第1のブロックに対応する前記第2のブロックを検出するブロック検出手段と
    を有する
    ことを特徴とする請求項1に記載の符号化装置。
  5. 前記パラメータは、前記候補ブロックを構成する画素の画素値のダイナミックレンジを少なくとも含み、
    前記ブロック検出手段は、前記第1のブロックのダイナミックレンジと一致するダイナミックレンジの前記候補ブロックを、前記第2のブロックとして検出する
    ことを特徴とする請求項4に記載の符号化装置。
  6. 前記差分データ算出手段は、前記第1と第2のブロックそれぞれを構成する各画素について、画素値と、ブロックを構成する画素の画素値の最小値との差分である画素差分を算出し、前記画素差分の前記第1と第2のブロック間の差分を前記ブロック間差分データとして算出する
    ことを特徴とする請求項1に記載の符号化装置。
  7. 前記第2の画像中から前記第2のブロックを特定するブロック情報、前記第1のブロックを構成する各画素をソートしたときのソート結果を表すソート順情報、および、前記符号化手段により符号化された前記ブロック間差分データを出力する出力手段をさらに備える
    ことを特徴とする請求項1に記載の符号化装置。
  8. 第1の画像と第2の画像を少なくとも有する入力画像データを符号化する符号化装置の符号化方法において、
    前記第1の画像を複数のブロックに分割するブロック分割ステップと、
    前記複数のブロックのうちの1のブロックである第1のブロックに対応する第2のブロックを、前記第2の画像から検出する対応ブロック検出ステップと、
    前記第1および第2のブロックを構成する各画素を、画素値に応じた順番でソートするソートステップと、
    前記画素値に応じた順番でソートされた前記第1と第2のブロック間の、各画素の画素値の変化量を表すブロック間差分データを算出する差分データ算出ステップと、
    前記ブロック間差分データを符号化する符号化ステップと
    を含むことを特徴とする符号化方法。
  9. 前記入力画像データにノイズを付加するノイズ付加ステップをさらに含む
    ことを特徴とする請求項8に記載の符号化方法。
  10. 前記符号化ステップの処理は、前記ブロック間差分データに対してDST(Discrete Sine Transform)変換を施し、その結果得られるDST係数を量子化することにより、前記ブロック間差分データを符号化する
    ことを特徴とする請求項8に記載の符号化方法。
  11. 前記対応ブロック検出ステップの処理は、
    前記第2の画像から、前記第2のブロックの候補となる複数の候補ブロックを抽出する候補ブロック抽出ステップと、
    複数の前記候補ブロックのそれぞれについて、前記候補ブロックを構成する画素の特徴量を表すパラメータを算出するパラメータ算出ステップと、
    前記パラメータに基づいて、複数の前記候補ブロックのなかから、前記第1のブロックに対応する前記第2のブロックを検出するブロック検出ステップと
    を含む
    ことを特徴とする請求項8に記載の符号化方法。
  12. 前記パラメータは、前記候補ブロックを構成する画素の画素値のダイナミックレンジを少なくとも含み、
    前記ブロック検出ステップの処理は、前記第1のブロックのダイナミックレンジと一致するダイナミックレンジの前記候補ブロックを、前記第2のブロックとして検出する
    ことを特徴とする請求項11に記載の符号化方法。
  13. 前記差分データ算出ステップの処理は、前記第1と第2のブロックそれぞれを構成する各画素について、画素値と、ブロックを構成する画素の画素値の最小値との差分である画素差分を算出し、前記画素差分の前記第1と第2のブロック間の差分を前記ブロック間差分データとして算出する
    ことを特徴とする請求項8に記載の符号化方法。
  14. 前記第2の画像中から前記第2のブロックを特定するブロック情報、前記第1のブロックを構成する各画素をソートしたときのソート結果を表すソート順情報、および、前記符号化ステップの処理により符号化された前記ブロック間差分データを出力する出力ステップをさらに含む
    ことを特徴とする請求項8に記載の符号化方法。
  15. 第1の画像と第2の画像を少なくとも有する入力画像データを符号化する処理を、コンピュータに実行させるプログラムが記録されている記録媒体において、
    前記第1の画像を複数のブロックに分割するブロック分割ステップと、
    前記複数のブロックのうちの1のブロックである第1のブロックに対応する第2のブロックを、前記第2の画像から検出する対応ブロック検出ステップと、
    前記第1および第2のブロックを構成する各画素を、画素値に応じた順番でソートするソートステップと、
    前記画素値に応じた順番でソートされた前記第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データを算出する差分データ算出ステップと、
    前記ブロック間差分データを符号化する符号化ステップと
    を含むことを特徴とするプログラムが記録されている記録媒体。
  16. 第1の画像と第2の画像を少なくとも有する入力画像データを符号化する処理を、コンピュータに実行させるプログラムにおいて、
    前記第1の画像を複数のブロックに分割するブロック分割ステップと、
    前記複数のブロックのうちの1のブロックである第1のブロックに対応する第2のブロックを、前記第2の画像から検出する対応ブロック検出ステップと、
    前記第1および第2のブロックを構成する各画素を、画素値に応じた順番でソートするソートステップと、
    前記画素値に応じた順番でソートされた前記第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データを算出する差分データ算出ステップと、
    前記ブロック間差分データを符号化する符号化ステップと
    を含むことを特徴とするプログラム。
  17. 第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックを構成する画素の画素値の第1の最小値、
    前記第1の画像と異なる第2の画像における前記第1のブロックに対応するブロックである前記第2のブロックを特定するブロック情報、
    前記第1のブロックを構成する各画素を、画素値とブロックを構成する画素の画素値の最小値との差分である画素差分に応じた順番でソートしたときのソート結果を表すソート順情報、
    および、前記画素差分に応じた順番でソートされた前記第1と第2のブロック間の各画素の、画素差分の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得手段と、
    前記符号化ブロック間差分データを前記ブロック間差分データに復号するブロック間差分データ復号手段と、
    前記ブロック間差分データ復号手段により復号された前記ブロック間差分データ、前記ブロック情報によって特定される前記第2のブロックを構成する各画素の画素差分、および前記第1の最小値を用いて、前記第1のブロックを構成する各画素の画素値を生成する生成手段と、
    前記ソート順情報に基づいて、前記生成手段により生成された前記第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソート手段と
    を備えることを特徴とする復号装置。
  18. 前記逆ソート手段の出力にノイズを付加するノイズ付加手段をさらに備える
    ことを特徴とする請求項17に記載の復号装置。
  19. 前記ブロック間差分データ復号手段は、前記符号化ブロック間差分データを逆量子化し、逆量子化された符号化ブロック間差分データに対し、逆DST(Discrete Sine Transform)変換を施すことにより、前記符号化ブロック間差分データを前記ブロック間差分データに復号する
    ことを特徴とする請求項17に記載の復号装置。
  20. 前記生成手段は、前記第2のブロックを構成する各画素について、画素値と、ブロックを構成する画素の画素値の第2の最小値との差分である画素差分を算出し、算出された画素差分に、前記ブロック間差分データおよび前記第1の最小値を加算することにより、前記第1のブロックを構成する各画素の画素値を生成する
    ことを特徴とする請求項17に記載の復号装置。
  21. 前記ブロック情報によって特定される前記第2のブロックを構成する画素の画素値のダイナミックレンジは、前記第1のブロックを構成する画素の画素値のダイナミックレンジと一致する
    ことを特徴とする請求項17に記載の復号装置。
  22. 第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックを構成する画素の画素値の第1の最小値、
    前記第1の画像と異なる第2の画像における前記第1のブロックに対応するブロックである前記第2のブロックを特定するブロック情報、
    前記第1のブロックを構成する各画素を、画素値とブロックを構成する画素の画素値の最小値との差分である画素差分に応じた順番でソートしたときのソート結果を表すソート順情報、
    および、前記画素差分に応じた順番でソートされた前記第1と第2のブロック間の各画素の、画素差分の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得ステップと、
    前記符号化ブロック間差分データを前記ブロック間差分データに復号するブロック間差分データ復号ステップと、
    前記ブロック間差分データステップの処理により復号された前記ブロック間差分データ、前記ブロック情報によって特定される前記第2のブロックを構成する各画素の画素差分、および前記第1の最小値を用いて、前記第1のブロックを構成する各画素の画素値を生成する生成ステップと、
    前記ソート順情報に基づいて、前記生成ステップの処理により生成された前記第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソートステップと
    を含むことを特徴とする復号方法。
  23. 逆ソートステップの処理による出力にノイズを付加するノイズ付加ステップをさらに含む
    ことを特徴とする請求項22に記載の復号方法。
  24. 前記ブロック間差分データ復号ステップの処理は、前記符号化ブロック間差分データを逆量子化し、逆量子化された符号化ブロック間差分データに対し、逆DST(Discrete Sine Transform)変換を施すことにより、前記符号化ブロック間差分データを前記ブロック間差分データに復号する
    ことを特徴とする請求項22に記載の復号方法。
  25. 前記生成ステップの処理は、前記第2のブロックを構成する各画素について、画素値と、ブロックを構成する画素の画素値の第2の最小値との差分である画素差分を算出し、算出された画素差分に、前記ブロック間差分データおよび前記第1の最小値を加算することにより、前記第1のブロックを構成する各画素の画素値を生成する
    ことを特徴とする請求項22に記載の復号方法。
  26. 前記ブロック情報によって特定される前記第2のブロックを構成する画素の画素値のダイナミックレンジは、前記第1のブロックを構成する画素の画素値のダイナミックレンジと一致する
    ことを特徴とする請求項22に記載の復号方法。
  27. 第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックを構成する画素の画素値の第1の最小値、
    前記第1の画像と異なる第2の画像における前記第1のブロックに対応するブロックである前記第2のブロックを特定するブロック情報、
    前記第1のブロックを構成する各画素を、画素値とブロックを構成する画素の画素値の最小値との差分である画素差分に応じた順番でソートしたときのソート結果を表すソート順情報、
    および、前記画素差分に応じた順番でソートされた前記第1と第2のブロック間の各画素の、画素差分の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得ステップと、
    前記符号化ブロック間差分データを前記ブロック間差分データに復号するブロック間差分データ復号ステップと、
    前記ブロック間差分データステップの処理により復号された前記ブロック間差分データ、前記ブロック情報によって特定される前記第2のブロックを構成する各画素の画素差分、および前記第1の最小値を用いて、前記第1のブロックを構成する各画素の画素値を生成する生成ステップと、
    前記ソート順情報に基づいて、前記生成ステップの処理により生成された前記第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソートステップと
    を含む処理を、コンピュータに実行させるプログラムが記録されていることを特徴とする記録媒体。
  28. 第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックを構成する画素の画素値の第1の最小値、
    前記第1の画像と異なる第2の画像における前記第1のブロックに対応するブロックである前記第2のブロックを特定するブロック情報、
    前記第1のブロックを構成する各画素を、画素値とブロックを構成する画素の画素値の最小値との差分である画素差分に応じた順番でソートしたときのソート結果を表すソート順情報、
    および、前記画素差分に応じた順番でソートされた前記第1と第2のブロック間の各画素の、画素差分の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得ステップと、
    前記符号化ブロック間差分データを前記ブロック間差分データに復号するブロック間差分データ復号ステップと、
    前記ブロック間差分データステップの処理により復号された前記ブロック間差分データ、前記ブロック情報によって特定される前記第2のブロックを構成する各画素の画素差分、および前記第1の最小値を用いて、前記第1のブロックを構成する各画素の画素値を生成する生成ステップと、
    前記ソート順情報に基づいて、前記生成ステップの処理により生成された前記第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソートステップと
    を含む処理を、コンピュータに実行させることを特徴とするプログラム。
  29. 第1の画像と第2の画像を少なくとも有する入力画像データを符号化する符号化部および符号化された前記入力画像データを復号する復号部を備え、前記入力画像データに対して符号化および復号を繰り返すと前記入力画像データに対応する画像の画質が劣化する画像処理システムにおいて、
    前記符号化部は、
    前記第1の画像を複数のブロックに分割するブロック分割手段と、
    前記複数のブロックのうちの1のブロックである第1のブロックに対応する第2のブロックを、前記第2の画像から検出する対応ブロック検出手段と、
    前記第1および第2のブロックを構成する各画素を、画素値に応じた順番でソートするソート手段と、
    前記画素値に応じた順番でソートされた前記第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データを算出する差分データ算出手段と、
    前記ブロック間差分データを符号化する符号化手段と
    を有する
    ことを特徴とする画像処理システム。
  30. 前記入力画像データにノイズを付加するノイズ付加手段をさらに備え、
    前記ノイズ付加手段を介して、前記復号部から前記符号化部に前記入力画像データが出力される
    ことを特徴とする請求項29に記載の画像処理システム。
  31. 第1の画像と第2の画像を少なくとも有する入力画像データを符号化する符号化部および符号化された画像信号を復号する復号部を備え、前記入力画像データに対して符号化および復号を繰り返すと前記入力画像データに対応する画像の画質が劣化する画像処理システムの画像処理方法において、
    前記符号化部による符号化方法は、
    前記第1の画像を複数のブロックに分割するブロック分割ステップと、
    前記複数のブロックのうちの1のブロックである第1のブロックに対応する第2のブロックを、前記第2の画像から検出する対応ブロック検出ステップと、
    前記第1および第2のブロックを構成する各画素を、画素値に応じた順番でソートするソートステップと、
    前記画素値に応じた順番でソートされた前記第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データを算出する差分データ算出ステップと、
    前記ブロック間差分データを符号化する符号化ステップと
    を含む
    ことを特徴とする画像処理方法。
  32. 第1の画像と第2の画像を少なくとも有する入力画像データを符号化する符号化部および符号化された前記入力画像データを復号する復号部を備え、前記入力画像データに対して符号化および復号を繰り返すと前記入力画像データに対応する画像の画質が劣化する画像処理システムにおいて、
    前記復号部は、
    第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックを構成する画素の画素値の第1の最小値、
    前記第1の画像と異なる第2の画像における前記第1のブロックに対応するブロックである前記第2のブロックを特定するブロック情報、
    前記第1のブロックを構成する各画素を、画素値とブロックを構成する画素の画素値の最小値との差分である画素差分に応じた順番でソートしたときのソート結果を表すソート順情報、
    および、前記画素差分に応じた順番でソートされた前記第1と第2のブロック間の各画素の、画素差分の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得手段と、
    前記符号化ブロック間差分データを前記ブロック間差分データに復号するブロック間差分データ復号手段と、
    前記ブロック間差分データ復号手段により復号された前記ブロック間差分データ、前記ブロック情報によって特定される前記第2のブロックを構成する各画素の画素差分、および前記第1の最小値を用いて、前記第1のブロックを構成する各画素の画素値を生成する生成手段と、
    前記ソート順情報に基づいて、前記生成手段により生成された前記第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソート手段と
    を有する
    ことを特徴とする画像処理システム。
  33. 前記逆ソート手段の出力にノイズを付加するノイズ付加手段をさらに備え、
    前記ノイズ付加手段を介して、前記復号部から前記符号化部に前記入力画像データが出力される
    ことを特徴とする請求項32に記載の画像処理システム。
  34. 第1の画像と第2の画像を少なくとも有する入力画像データを符号化する符号化部および符号化された前記入力画像データを復号する復号部を備え、前記入力画像データに対して符号化および復号を繰り返すと前記入力画像データに対応する画像の画質が劣化する画像処理システムの画像処理方法において、
    前記復号部の復号方法は、
    第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックを構成する画素の画素値の第1の最小値、
    前記第1の画像と異なる第2の画像における前記第1のブロックに対応するブロックである前記第2のブロックを特定するブロック情報、
    前記第1のブロックを構成する各画素を、画素値とブロックを構成する画素の画素値の最小値との差分である画素差分に応じた順番でソートしたときのソート結果を表すソート順情報、
    および、前記画素差分に応じた順番でソートされた前記第1と第2のブロック間の各画素の、画素差分の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得ステップと、
    前記符号化ブロック間差分データを前記ブロック間差分データに復号するブロック間差分データ復号ステップと、
    前記ブロック間差分データステップの処理により復号された前記ブロック間差分データ、前記ブロック情報によって特定される前記第2のブロックを構成する各画素の画素差分、および前記第1の最小値を用いて、前記第1のブロックを構成する各画素の画素値を生成する生成ステップと、
    前記ソート順情報に基づいて、前記生成ステップの処理により生成された前記第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソートステップと
    を含むことを特徴とする画像処理方法。
  35. 第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックに対応するブロックを、前記第1の画像と異なる第2の画像から、第2のブロックとして特定するブロック情報、
    前記第1のブロックを構成する各画素を、画素値に応じた順番でソートしたときのソート結果を表すソート順情報、
    および、前記画素値に応じた順番でソートされた前記第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得手段と、
    前記符号化ブロック間差分データを前記ブロック間差分データに復号するブロック間差分データ復号手段と、
    前記ブロック間差分データ復号手段により復号された前記ブロック間差分データ、および前記ブロック情報によって特定される前記第2のブロックを構成する各画素の画素値を用いて、前記第1のブロックを構成する各画素の画素値を生成する生成手段と、
    前記ソート順情報に基づいて、前記生成手段により生成された前記第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソート手段と
    を備えることを特徴とする復号装置。
  36. 第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックに対応するブロックを、前記第1の画像と異なる第2の画像から、第2のブロックとして特定するブロック情報、
    前記第1のブロックを構成する各画素を、画素値に応じた順番でソートしたときのソート結果を表すソート順情報、
    および、前記画素値に応じた順番でソートされた前記第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得ステップと、
    前記符号化ブロック間差分データを前記ブロック間差分データに復号するブロック間差分データ復号ステップと、
    前記ブロック間差分データ復号ステップの処理により復号された前記ブロック間差分データ、および前記ブロック情報によって特定される前記第2のブロックを構成する各画素の画素値を用いて、前記第1のブロックを構成する各画素の画素値を生成する生成ステップと、
    前記ソート順情報に基づいて、前記生成ステップの処理により生成された前記第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソートステップと
    を含むことを特徴とする復号方法。
  37. 第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックに対応するブロックを、前記第1の画像と異なる第2の画像から、第2のブロックとして特定するブロック情報、
    前記第1のブロックを構成する各画素を、画素値に応じた順番でソートしたときのソート結果を表すソート順情報、
    および、前記画素値に応じた順番でソートされた前記第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得ステップと、
    前記符号化ブロック間差分データを前記ブロック間差分データに復号するブロック間差分データ復号ステップと、
    前記ブロック間差分データ復号ステップの処理により復号された前記ブロック間差分データ、および前記ブロック情報によって特定される前記第2のブロックを構成する各画素の画素値を用いて、前記第1のブロックを構成する各画素の画素値を生成する生成ステップと、
    前記ソート順情報に基づいて、前記生成ステップの処理により生成された前記第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソートステップと
    を含む処理を、コンピュータに実行させるプログラムが記録されていることを特徴とする記録媒体。
  38. 第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックに対応するブロックを、前記第1の画像と異なる第2の画像から、第2のブロックとして特定するブロック情報、
    前記第1のブロックを構成する各画素を、画素値に応じた順番でソートしたときのソート結果を表すソート順情報、
    および、前記画素値に応じた順番でソートされた前記第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得ステップと、
    前記符号化ブロック間差分データを前記ブロック間差分データに復号するブロック間差分データ復号ステップと、
    前記ブロック間差分データ復号ステップの処理により復号された前記ブロック間差分データ、および前記ブロック情報によって特定される前記第2のブロックを構成する各画素の画素値を用いて、前記第1のブロックを構成する各画素の画素値を生成する生成ステップと、
    前記ソート順情報に基づいて、前記生成ステップの処理により生成された前記第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソートステップと
    を含む処理を、コンピュータに実行させることを特徴とするプログラム。
  39. 第1の画像と第2の画像を少なくとも有する入力画像データを符号化する符号化部および符号化された前記入力画像データを復号する復号部を備え、前記入力画像データに対して符号化および復号を繰り返すと前記入力画像データに対応する画像の画質が劣化する画像処理システムにおいて、
    前記復号部は、
    第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックに対応するブロックを、前記第1の画像と異なる第2の画像から、第2のブロックとして特定するブロック情報、
    前記第1のブロックを構成する各画素を、画素値に応じた順番でソートしたときのソート結果を表すソート順情報、
    および、前記画素値に応じた順番でソートされた前記第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得手段と、
    前記符号化ブロック間差分データを前記ブロック間差分データに復号するブロック間差分データ復号手段と、
    前記ブロック間差分データ復号手段により復号された前記ブロック間差分データ、および前記ブロック情報によって特定される前記第2のブロックを構成する各画素の画素値を用いて、前記第1のブロックを構成する各画素の画素値を生成する生成手段と、
    前記ソート順情報に基づいて、前記生成手段により生成された前記第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソート手段と
    を有する
    ことを特徴とする画像処理システム。
  40. 前記逆ソート手段の出力にノイズを付加するノイズ付加手段をさらに備え、
    前記ノイズ付加手段を介して、前記復号部から前記符号化部に前記入力画像データが出力される
    ことを特徴とする請求項39に記載の画像処理システム。
  41. 第1の画像と第2の画像を少なくとも有する入力画像データを符号化する符号化部および符号化された前記入力画像データを復号する復号部を備え、前記入力画像データに対して符号化および復号を繰り返すと前記入力画像データに対応する画像の画質が劣化する画像処理システムの画像処理方法において、
    前記復号部の復号方法は、
    第1の画像を分割した複数のブロックのうちの1のブロックである第1のブロックに対応するブロックを、前記第1の画像と異なる第2の画像から、第2のブロックとして特定するブロック情報、
    前記第1のブロックを構成する各画素を、画素値に応じた順番でソートしたときのソート結果を表すソート順情報、
    および、前記画素値に応じた順番でソートされた前記第1と第2のブロック間の各画素の、画素値の変化量を表すブロック間差分データが符号化された符号化ブロック間差分データを取得する取得ステップと、
    前記符号化ブロック間差分データを前記ブロック間差分データに復号するブロック間差分データ復号ステップと、
    前記ブロック間差分データ復号ステップの処理により復号された前記ブロック間差分データ、および前記ブロック情報によって特定される前記第2のブロックを構成する各画素の画素値を用いて、前記第1のブロックを構成する各画素の画素値を生成する生成ステップと、
    前記ソート順情報に基づいて、前記生成ステップの処理により生成された前記第1のブロックを構成する各画素の画素値を、ソートされる前の空間位相に逆ソートする逆ソートステップと
    を含むことを特徴とする画像処理方法。
JP2005028911A 2005-02-04 2005-02-04 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム Expired - Fee Related JP4556124B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005028911A JP4556124B2 (ja) 2005-02-04 2005-02-04 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム
US11/338,643 US7957471B2 (en) 2005-02-04 2006-01-25 Encoding apparatus and method, decoding apparatus and method, image processing system and method, and recording medium
CNB2006100840029A CN100531348C (zh) 2005-02-04 2006-01-27 编码、解码设备和方法,图像处理系统和方法
KR20060010869A KR20060089678A (ko) 2005-02-04 2006-02-03 부호화 장치, 부호화 방법, 복호화 장치, 복호화 방법,화상 처리 시스템, 화상 처리 방법, 및 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005028911A JP4556124B2 (ja) 2005-02-04 2005-02-04 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2006217340A true JP2006217340A (ja) 2006-08-17
JP2006217340A5 JP2006217340A5 (ja) 2007-10-11
JP4556124B2 JP4556124B2 (ja) 2010-10-06

Family

ID=36815679

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005028911A Expired - Fee Related JP4556124B2 (ja) 2005-02-04 2005-02-04 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム

Country Status (4)

Country Link
US (1) US7957471B2 (ja)
JP (1) JP4556124B2 (ja)
KR (1) KR20060089678A (ja)
CN (1) CN100531348C (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4835554B2 (ja) * 2007-09-06 2011-12-14 ソニー株式会社 符号化装置及び方法、復号装置及び方法、並びにプログラム
CN101753147B (zh) * 2008-11-28 2013-10-30 义守大学 二次剩余码的解码演算法
US20120102035A1 (en) * 2009-03-27 2012-04-26 Te Li Data Embedding Methods, Embedded Data Extraction Methods, Truncation Methods, Data Embedding Devices, Embedded Data Extraction Devices And Truncation Devices
JP5801614B2 (ja) * 2011-06-09 2015-10-28 キヤノン株式会社 画像処理装置、画像処理方法
JP5839848B2 (ja) 2011-06-13 2016-01-06 キヤノン株式会社 画像処理装置、画像処理方法
WO2013123632A1 (en) * 2012-02-20 2013-08-29 Thomson Licensing Component sorting based encoding for 3d mesh compression
US10033922B1 (en) * 2012-05-25 2018-07-24 Altia Systems, Inc. Stitching for a multiple imager video system based on a non-linear seam
US9781418B1 (en) * 2012-06-12 2017-10-03 Google Inc. Adaptive deadzone and rate-distortion skip in video processing
US9179155B1 (en) 2012-06-14 2015-11-03 Google Inc. Skipped macroblock video encoding enhancements
FR3001600B1 (fr) * 2013-01-29 2016-05-06 Stmicroelectronics (Grenoble 2) Sas Procede et dispositif de compression d'un signal d'image et procede et dispositif correspondant de decompression
US20150350641A1 (en) * 2014-05-29 2015-12-03 Apple Inc. Dynamic range adaptive video coding system
FR3033116B1 (fr) * 2015-02-20 2017-03-24 Stmicroelectronics (Grenoble 2) Sas Procede de selection d’une solution de placement des pixels d’une image en fonction du rendu visuel

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11155143A (ja) * 1997-11-19 1999-06-08 Nippon Telegr & Teleph Corp <Ntt> 画像圧縮符号化・復号化方法、画像圧縮符号化・復号化装置、画像圧縮符号化伝送方法、画像圧縮符号化伝送システムおよび画像圧縮符号化・復号化プログラムを記録した記録媒体
JP2003259368A (ja) * 2002-02-28 2003-09-12 Sony Corp 符号化処理装置、復号処理装置、および方法、並びにコンピュータ・プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5613015A (en) * 1992-11-12 1997-03-18 Fuji Xerox Co., Ltd. Image signal analyzing system and coding system
US6301390B1 (en) * 1993-03-31 2001-10-09 Canon Kabushiki Kaisha Encoding image data in blocks read out in a predetermined order
KR0171143B1 (ko) * 1995-03-20 1999-03-20 배순훈 육각그리드에서의 삼각구조 형성 장치
JP3244629B2 (ja) * 1996-08-20 2002-01-07 株式会社日立製作所 シーン変化点検出方法
JPH10289522A (ja) 1997-04-11 1998-10-27 Nippon Telegr & Teleph Corp <Ntt> ディジタルビデオ装置
CN1190084C (zh) * 1997-11-14 2005-02-16 安特昂公司 压缩视频信息的装置及其方法
JP2001245270A (ja) 2000-02-29 2001-09-07 Sony Corp 信号伝送装置および信号伝送方法
FR2830143B1 (fr) * 2001-09-21 2004-02-27 St Microelectronics Sa Procede et dispositif de compression d'un signal d'image
JP3772846B2 (ja) 2003-03-24 2006-05-10 ソニー株式会社 データ符号化装置およびデータ符号化方法、並びにデータ出力装置およびデータ出力方法
CN100536573C (zh) * 2004-01-16 2009-09-02 北京工业大学 基于方向的dc预测方法及用于视频编码的帧内预测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11155143A (ja) * 1997-11-19 1999-06-08 Nippon Telegr & Teleph Corp <Ntt> 画像圧縮符号化・復号化方法、画像圧縮符号化・復号化装置、画像圧縮符号化伝送方法、画像圧縮符号化伝送システムおよび画像圧縮符号化・復号化プログラムを記録した記録媒体
JP2003259368A (ja) * 2002-02-28 2003-09-12 Sony Corp 符号化処理装置、復号処理装置、および方法、並びにコンピュータ・プログラム

Also Published As

Publication number Publication date
US20060182350A1 (en) 2006-08-17
KR20060089678A (ko) 2006-08-09
CN1893607A (zh) 2007-01-10
CN100531348C (zh) 2009-08-19
US7957471B2 (en) 2011-06-07
JP4556124B2 (ja) 2010-10-06

Similar Documents

Publication Publication Date Title
JP4556124B2 (ja) 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム
KR101168500B1 (ko) 멀티미디어 컨텐츠에 워터마크 정보를 동적으로 임베딩하는 방법, 장치 및 시스템
TWI250803B (en) Data encoding device and data encoding method, data output device and data output method, signal processing system, signal processing device and signal processing method and data decoding device and data decoding method
JP2013505627A (ja) スキップモードに基づいた映像を復号化する方法及びその装置
CN1713710B (zh) 图像处理装置和图像处理方法
JP2004289685A (ja) データ符号化装置およびデータ符号化方法、並びにデータ出力装置およびデータ出力方法
JP5139995B2 (ja) ストリームに透かしを入れる方法及び装置
JP2006238070A (ja) データ変換装置および方法、データ逆変換装置および方法、情報処理システムおよび方法、記録媒体、並びにプログラム
JP5080304B2 (ja) 秘匿データが挿入された画像データの表示方式
KR20000035571A (ko) 제 1 움직임 벡터를 따르는 데이터 스트림 수정 장치
JP4552677B2 (ja) 符号化装置および方法、復号装置および方法、情報処理システム、記録媒体、並びにプログラム
CN1822676B (zh) 编码设备和方法、解码设备和方法、图像处理系统和方法
JP4556125B2 (ja) 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム
JP4697519B2 (ja) 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム
JP2006217479A (ja) 符号化装置および方法、記録媒体、プログラム、画像処理システム、並びに画像処理方法
JP4715222B2 (ja) 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム
JP2006238373A (ja) 符号化装置および方法、復号装置および方法、画像処理システムおよび画像処理方法、記録媒体、並びにプログラム
JP4577043B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4581733B2 (ja) 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システム
JP4696577B2 (ja) 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システムおよび方法
JP4099600B2 (ja) 信号処理システム、信号処理装置および信号処理方法、符号化装置および符号化方法、並びに復号化装置および復号化方法
JP2006229460A (ja) 符号化装置および方法、記録媒体、プログラム、画像処理システム、並びに画像処理方法
JP3906822B2 (ja) 符号化装置と符号化方法
JP4730585B2 (ja) 符号化装置および方法、復号装置および方法、情報処理システム、記録媒体、並びにプログラム
JP2006217480A (ja) 符号化装置および方法、記録媒体、プログラム、画像処理システム、並びに画像処理方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091020

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100624

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100707

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130730

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees