JP4029758B2 - 画像データの符号化装置および符号化方法、並びに画像データの符号・復号化システムおよび符号・復号化方法 - Google Patents

画像データの符号化装置および符号化方法、並びに画像データの符号・復号化システムおよび符号・復号化方法 Download PDF

Info

Publication number
JP4029758B2
JP4029758B2 JP2003095948A JP2003095948A JP4029758B2 JP 4029758 B2 JP4029758 B2 JP 4029758B2 JP 2003095948 A JP2003095948 A JP 2003095948A JP 2003095948 A JP2003095948 A JP 2003095948A JP 4029758 B2 JP4029758 B2 JP 4029758B2
Authority
JP
Japan
Prior art keywords
block
high frequency
image data
coefficient
transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003095948A
Other languages
English (en)
Other versions
JP2004304575A (ja
Inventor
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2003095948A priority Critical patent/JP4029758B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to US10/550,731 priority patent/US7945102B2/en
Priority to CN200910002105XA priority patent/CN101510979B/zh
Priority to EP04722714A priority patent/EP1608164A1/en
Priority to PCT/JP2004/003990 priority patent/WO2004086758A1/ja
Priority to KR1020057017808A priority patent/KR101029396B1/ko
Priority to TW093107921A priority patent/TWI250803B/zh
Publication of JP2004304575A publication Critical patent/JP2004304575A/ja
Application granted granted Critical
Publication of JP4029758B2 publication Critical patent/JP4029758B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、画像データの符号化装置および符号化方法、並びに画像データの符号・復号化システムおよび符号・復号化方法に関する。詳しくは、この発明は、符号化の際には直交変換して得られる各ブロックの変換係数のうち、所定ブロックの高域周波数領域の変換係数を除去し、また復号化の際には、上述した所定ブロックの高域周波数領域の変換係数を、近傍に位置するブロックの高域周波数領域の変換係数を用いて補間することによって、2回目以降の符号化、復号化では画像データが著しく劣化し、符号化データが復号化されて得られたアナログの画像データを利用した不正コピーを良好に防止できるようにした画像データの符号化装置等に係るものである。
【0002】
【従来の技術】
図8は、従来周知の画像表示システム200の構成例を示している。この画像表示システム200は、アナログの画像データVanを出力する再生機210と、この再生機210から出力される画像データVanによる画像を表示するディスプレイ220とから構成されている。
【0003】
再生機210では、図示しない光ディスク等の記録媒体から再生された符号化された画像データを復号化部211で復号化し、さらに復号化されて得られたデジタルの画像データをD/A(Digital-to-Analog)変換器212でアナログデータに変換することでアナログの画像データVanが得られる。なお、ディスプレイ220は、例えばCRT(Cathode-Ray Tube)ディスプレイ、LCD(Liquid Crystal Display)等である。
【0004】
ところで、このような画像表示システム200の再生機210より出力されるアナログの画像データVanを利用して、デジタル的な不正コピーが行われるおそれがあった。
【0005】
すなわち、アナログの画像データVanはA/D(analog-to-digital)変換器231でデジタルデータVdgに変換されて符号化部232に供給される。符号化部232では、デジタルの画像データVdgが符号化されて、符号化された画像データVcdが得られる。そして、この符号化された画像データVcdは記録部233に供給され、光ディスク等の記録媒体に記録される。
【0006】
従来、このようなアナログの画像データVanを利用した不正コピーを防止するために、著作権保護がなされている場合には、アナログの画像データVanをスクランブル処理して出力したり、あるいはアナログの画像データVanの出力を禁止することが提案されている(例えば、特許文献1参照)。
【0007】
また従来、離散コサイン変換(DCT:Discrete Cosine Transform)等の直交変換を用いる符号化が知られている(例えば、特許文献2参照)。図9は、直交変換としてDCTを用いた符号化装置300の構成例を示している。
【0008】
入力端子301に入力されるデジタルの画像データVaはブロック化回路302に供給される。このブロック化回路302では、有効画面の画像データVaが、例えば(8×8)画素の大きさのブロックに分割される。
【0009】
ブロック化回路302でブロック化された画像データはDCT回路303に供給される。このDCT回路303では、ブロック化された画像データに対し、ブロック毎に、DCTが行われて、変換係数としての係数データが得られる。この係数データは量子化回路304に供給される。
【0010】
量子化回路304では、各ブロックの係数データが、図示しない量子化テーブルを用いて量子化され、各ブロックの量子化された係数データが順次得られる。この各ブロックの量子化された係数データはエントロピー符号化回路305に供給される。この符号化回路305では、量子化された各ブロックの係数データに対して、例えばハフマン符号化が行われる。この符号化回路305より出力される各ブロックのハフマン符号化データが、出力端子306に、符号化された画像データVbとして出力される。
【0011】
図10は、上述した符号化装置300に対応した復号化装置320の構成を示している。
【0012】
入力端子321に入力された符号化された画像データVbはエントロピー復号化回路322に供給される。この画像データVbは、エントロピー符号化データ、例えばハフマン符号化データである。復号化回路322では、画像データVbの復号化が行われ、各ブロックの量子化された係数データが得られる。
【0013】
この各ブロックの量子化された係数データは逆量子化回路323に供給される。逆量子化回路323では、各ブロックの量子化された係数データに対して逆量子化が行われ、各ブロックの係数データが得られる。この各ブロックの係数データは逆DCT回路324に供給される。逆DCT回路324では、各ブロックの係数データに対し、ブロック毎に逆DCTが行われて、各ブロックの画像データが得られる。
【0014】
このように逆DCT回路324で得られる各ブロックの画像データはブロック分解回路325に供給される。このブロック分解回路325では、データの順序がラスター走査の順序に戻される。これにより、ブロック分解回路325からは復号化された画像データVa′が得られ、この画像データVa′は出力端子326に出力される。
【0015】
【特許文献1】
特開2001−245270号公報
【特許文献2】
特開平07−123271号公報
【0016】
【発明が解決しようとする課題】
上述した特許文献1のようにアナログの画像データVanをスクランブル処理して出力したり、あるいはアナログの画像データVanの出力を禁止することで、不正コピーを防止できるが、ディスプレイ220に正常な画像が表示されなくなるという問題が発生する。
【0017】
また、上述した特許文献2のように直交変換を用いる符号化および復号化を行う場合、量子化、逆量子化を経ることになるため、画像データに劣化が発生する。しかしこの場合、2回目以降の符号化、復号化により、画像データが著しく劣化するということはなく、上述したアナログの画像データVanを利用した、デジタル的な不正コピーを防止することができなかった。
【0018】
この発明の目的は、2回目以降の符号化、復号化では画像データが著しく劣化するようにした画像データの符号化装置等を提供することにある。
【0019】
【課題を解決するための手段】
この発明に係る画像データ符号化装置は、画像データを2次元ブロックに分割して得られた各ブロックの画像データに対して直交変換をして変換係数を得る直交変換手段と、上記直交変換手段からの各ブロックの変換係数を量子化する量子化手段と、高域周波数領域の変換係数を除去するためのブロックであって、除去された当該高域周波数領域の変換係数が復号の際に補完されるブロックを示すブロック情報を発生するブロック情報発生手段と、上記高域周波数領域の範囲を示す範囲情報を発生する範囲情報発生手段と、上記量子化手段の入力側または出力側において、上記ブロック情報発生手段で発生されるブロック情報で示されるブロックにおける、上記範囲情報発生手段で発生される範囲情報で示される高域周波数領域の変換係数を除去する変換係数除去手段とを備えるものである。
【0020】
また、この発明に係る画像データ符号化方法は、画像データを2次元ブロックに分割して得られた各ブロックの画像データに対して直交変換をして変換係数を得る直交変換ステップと、上記直交変換ステップで得られた各ブロックの変換係数を量子化する量子化ステップと、高域周波数領域の変換係数を除去するためのブロックであって、除去された当該高域周波数領域の変換係数が復号の際に補完されるブロックを示すブロック情報を発生するブロック情報発生ステップと、上記高域周波数領域の範囲を示す範囲情報を発生する範囲情報発生ステップと、上記量子化ステップで量子化する前または後で、上記ブロック情報発生ステップで発生されるブロック情報で示されるブロックにおける、上記範囲情報発生ステップで発生される範囲情報で示される高域周波数領域の変換係数を除去する変換係数除去ステップとを備えるものである。
【0021】
また、この発明に係る画像データの符号・復号化システムは、画像データを2次元ブロックに分割して得られた各ブロックの画像データに対して直交変換をして変換係数を得る直交変換手段と、上記直交変換手段からの各ブロックの変換係数を量子化する量子化手段と、高域周波数領域の変換係数を除去すべきブロックを示すブロック情報を発生するブロック情報発生手段と、上記高域周波数領域の範囲を示す範囲情報を発生する範囲情報発生手段と、上記量子化手段の入力側または出力側において、上記ブロック情報発生手段で発生されるブロック情報で示されるブロックにおける、上記範囲情報発生手段で発生される範囲情報で示される高域周波数領域の変換係数を除去する変換係数除去手段とを有する画像データ符号化装置と、上記変換係数除去手段により高域周波数領域の変換係数が除去されて得られた符号化データを逆量子化する逆量子化手段と、上記逆量子化手段からの各ブロックの変換係数に対して逆直交変換をして画像データを得る逆直交変換手段と、上記逆量子化手段の入力側または出力側において、上記ブロック情報に係るブロックにおける高域周波数領域の変換係数を、当該ブロックの近傍に位置するブロックの高域周波数領域の変換係数を用いて補間する変換係数補間手段とを有する画像データ復号化装置とを備えるものである。
【0022】
また、この発明に係る画像データの符号・復号化方法は、画像データの符号化処理系では、画像データを2次元ブロックに分割して得られた各ブロックの画像データに対して直交変換をして変換係数を得る直交変換ステップと、上記直交変換ステップで得られた各ブロックの変換係数を量子化する量子化ステップと、高域周波数領域の変換係数を除去すべきブロックを示すブロック情報を発生するブロック情報発生ステップと、上記高域周波数領域の範囲を示す範囲情報を発生する範囲情報発生ステップと、上記量子化ステップで量子化する前または後で、上記ブロック情報発生ステップで発生されるブロック情報で示されるブロックにおける、上記範囲情報発生ステップで発生される範囲情報で示される高域周波数領域の変換係数を除去する変換係数除去ステップとを有し、画像データの復号化処理系では、上記変換係数除去ステップで高域周波数領域の変換係数が除去されて得られた符号化データを逆量子化する逆量子化ステップと、上記逆量子化ステップで逆量子化されて得られた各ブロックの変換係数に対して逆直交変換をして画像データを得る逆直交変換ステップと、上記逆量子化ステップで量子化する前または後で、上記ブロック情報に係るブロックにおける高域周波数領域の変換係数を、当該ブロックの近傍に位置するブロックの高域周波数領域の変換係数を用いて補間する変換係数補間ステップとを有するものである。
【0023】
符号化においては、画像データを2次元ブロックに分割して得られた各ブロックの画像データに対して直交変換が行われて変換係数が得られる。直交変換は、例えばDCT(離散コサイン変換)である。そして、各ブロックの変換係数が量子化されることで、符号化データが得られる。
【0024】
この場合、量子化する前または後で、所定ブロックにおける、高域周波数領域の変換係数が除去される。高域周波数領域の変換係数を除去すべきブロックはブロック情報で示され、また高域周波数領域の範囲は範囲情報で示される。例えば、高域周波数領域の変換係数を除去すべきブロックは、水平方向および垂直方向の少なくとも一つの方向に、一つおきに選択される。
【0025】
また、復号化においては、符号化データに対して逆量子化が行われる。そして、各ブロックの変換係数に対して逆直交変換が行われて画像データが得られる。この場合、逆量子化する前または後で、上述した所定ブロックにおける高域周波数領域の変換係数の補間が行われる。この補間は、当該ブロックの近傍に位置し、符号化の際に高域周波数領域の変換係数が除去されていないブロックの変換係数を用いて行われる。
【0026】
なお、符号化データが量子化データをさらに可変長符号化して得られたものである場合、復号化においては、逆量子化が行われる前に、符号化データに対して可変長復号化が行われる。
【0027】
上述したように、符号化の際には直交変換して得られる各ブロックの変換係数のうち、所定ブロックの高域周波数領域の変換係数を除去し、また復号化の際には、上述した所定ブロックの高域周波数領域の変換係数を、近傍に位置するブロックの高域周波数領域の変換係数を用いて補間するものである。
【0028】
この場合、符号化されたデータを、近傍に位置するブロックにおける劣化のない高域周波数領域の変換係数を用いて復号化するので、他の通常の復号化装置を使い高域周波数領域の変換係数がない符号化データそのままで復号化するよりも、1回目の符号化、復号化に関しては、エッジ部が改善されるため、画質が向上する。
【0029】
2回目以降の符号化、復号化にあっても、1回目の符号化、復号化と同様に、所定ブロックの高域周波数領域の変換係数が近傍に位置するブロックの高域周波数領域の変換係数を用いて補間される。しかしこの場合、アナログデータからデジタルデータに変換する際のサンプリング位相の揺らぎのために、ブロック位置が1回目の符号化、復号化の場合のブロック位置とはずれる。そのため、上述の近傍に位置するブロックの高域周波数領域の変換係数は1回目の符号化、復号化により劣化したものとなっており、従って所定ブロックの高域周波数領域の変換係数を近傍に位置するブロックの高域周波数領域の変換係数を用いて補間した場合、画像データに大きな劣化が発生する。
【0030】
なお、符号化の際に所定ブロックの変換係数から除去すべき高域周波数領域の範囲を可変できるようにしてもよい。その場合、当該所定ブロックの符号化データには、高域周波数領域の除去範囲を示す範囲情報が付加されて伝送されることになる。そして、復号化の際には、その範囲情報に基づいて、近傍に位置するブロックから高域周波数領域の変換係数が補間される。このように、所定ブロックの変換係数から除去すべき高域周波数領域の範囲を可変できるようにすることで、符号化、復号化を経ることによる画像データの劣化の強度を所望の値に設定できる。
【0031】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図1は、実施の形態としての画像表示システム100の構成を示している。
この画像表示システム100は、アナログの画像データVan1を出力する再生機110と、この再生機110から出力される画像データVan1による画像を表示するディスプレイ120とを有している。
【0032】
再生機110では、図示しない光ディスク等の記録媒体から再生された符号化された画像データを復号化部111で復号化し、さらに復号化されて得られたデジタルの画像データVdg0をD/A変換器112でアナログデータに変換することで、アナログの画像データVan1が得られる。なお、ディスプレイ120は、例えばCRTディスプレイ、LCD等である。
【0033】
また、この画像表示システム100は、アナログの画像データVan1を利用して、再び符号化処理を行い、符号化された画像データを光ディスク等の記録媒体に記録する符号化装置130を有している。
【0034】
この符号化装置130は、再生機110より出力されるアナログの画像データVan1をデジタルデータに変換するA/D変換器134と、このA/D変換器134より出力されるデジタルの画像データVdg1を符号化する符号化部135を有している。この符号化部135では、上述した再生機110で光ディスク等の記録媒体から再生されて得られる符号化された画像データと同様の符号化が行われる。
【0035】
図2は、符号化部135の構成を示している。この符号化部135は、デジタルの画像データVdg1を入力する入力端子141と、この入力端子141に入力された画像データVdg1をブロック(DCTブロック)に分割するブロック化回路142とを有している。ブロック化回路142では、有効画面の画像データVdg1が、例えば図3に実線で示すように、(8×8)画素の大きさの二次元ブロックに分割される。
【0036】
また、符号化部135は、ブロック化回路142でブロック化された画像データに対し、ブロック毎に、直交変換としてのDCTを行って、変換係数としての係数データを算出するDCT回路143と、このDCT回路143からの各ブロックの係数データを、図示しない量子化テーブルを用いて量子化する量子化回路144を有している。
【0037】
また、符号化部135は、量子化回路144で量子化された各ブロックの係数データDT1のうち、所定ブロックの高域周波数領域の係数データを除去する高域係数除去部145を有している。この場合、高域周波数領域の係数データを除去すべきブロックは、例えば水平方向および垂直方向の少なくとも一つの方向に一つおきに選択される。またこの場合、係数データを除去すべき高域周波数領域の範囲が可変できるようになっている。
【0038】
図4は、高域係数除去部145の具体的な構成を示している。この高域係数除去部145は、高域係数除去回路145aおよび制御部145bからなっている。量子化回路144からの各ブロックの係数データDT1は高域係数除去回路145aに供給される。
【0039】
制御部145bは、高域周波数領域の係数データを除去すべきブロックの情報を記憶したROM145cを内蔵している。制御部145bは、ROM145cに記憶されているブロック情報に基づいて、高域周波数領域の係数データを除去すべきブロックを示すブロック情報BIFを発生し、このブロック情報BIFを高域係数除去回路145aに供給する。
【0040】
また、制御部145bには、係数データを除去すべき高域周波数領域の範囲を設定するための設定信号SARが外部から入力される。この場合、設定信号SARを変更することで、係数データを除去すべき高域周波数領域の範囲が可変される。制御部145bは、設定信号SARに基づいて、係数データを除去すべき高域周波数領域の範囲を示す範囲情報AIFを発生し、この範囲情報AIFを高域係数除去回路145aに供給する。
【0041】
高域係数除去回路145aは、量子化回路144からの各ブロックの係数データDT1のうち、ブロック情報BIFで示されるブロック(所定ブロック)に関しては、高域係数の除去処理を行ったものを出力係数データDT2とする。この場合、範囲情報AIFで示される高域周波数領域の範囲の係数データが除去される。なおこの場合、当該ブロックの係数データDT2には範囲情報AIFが付加される。これは、後述する復号化時に、係数データを補間すべき高域周波数領域の範囲を、認識可能とするためである。
【0042】
また、高域係数除去回路145aは、量子化回路144からの各ブロックの係数データDT1のうち、ブロック情報BIFで示されるブロックでないブロック(所定ブロック以外のブロック)に関しては、高域係数の除去処理を行わずに、そのまま出力係数データDT2とする。このように高域係数除去回路145aから出力される各ブロックの係数データDT2は、高域係数除去部145の出力となる。
【0043】
図2に戻って、符号化部135は、高域係数除去部145からの各ブロックの係数データに対してエントロピー符号化、例えばハフマン符号化を行って符号化された画像データVcdを得る可変長符号化手段としてのエントロピー符号化回路146と、このエントロピー符号化回路146で得られる符号化された画像データVcdを出力する出力端子147とを有している。
【0044】
図2に示す符号化部135の動作を説明する。入力端子141には、デジタルの画像データVdg1が入力される。この画像データVdg1はブロック化回路142に供給される。このブロック化回路142では、有効画面の画像データVdg1が、例えば(8×8)画素の大きさの二次元ブロックに分割される。
【0045】
ブロック化回路142でブロック化された画像データはDCT回路143に供給される。このDCT回路143では、ブロック化された画像データに対し、ブロック毎に、DCTが行われて、変換係数としての係数データが算出される。この係数データは量子化回路144に供給される。
【0046】
量子化回路144では、各ブロックの係数データが、量子化テーブルを用いて量子化され、各ブロックの量子化された係数データが順次得られる。この各ブロックの量子化された係数データDT1は高域係数除去部145に供給される。
【0047】
この高域係数除去部145では、量子化回路144で量子化された各ブロックの係数データDT1のうち、所定ブロック(例えば水平方向および垂直方向の少なくとも一つの方向に一つおきのブロック)に関しては、高域係数の除去処理が行われて、出力係数データDT2が得られる。この場合、係数データを除去すべき高域周波数領域の範囲は、外部から入力される設定信号SARに対応したものとされる。そしてこの場合、当該ブロックの係数データDT2には範囲情報AIFが付加される。
【0048】
また、この高域係数除去部145では、量子化回路144で量子化された各ブロックの係数データDT1のうち、上述の所定ブロックを除くブロックに関しては、高域係数の除去処理は行われず、そのまま出力係数データDT2とされる。
【0049】
図5は、所定ブロックが水平方向に一つおきのブロックである場合を示しており、ハッチング部分は、除去された高域周波数領域の範囲を示している。また、「DC」は、各ブロックのDC係数を示している。
【0050】
高域係数除去部145から出力される係数データDT2はエントロピー符号化回路146に供給される。この符号化回路146では、量子化された各ブロックの係数データに対して、例えばハフマン符号化が行われる。これにより、符号化回路146からは符号化された画像データVcdが得られ、この画像データVcdは出力端子147に出力される。
【0051】
図1に戻って、また、符号化装置130は、符号化部135より出力される符号化された画像データVcdを光ディスク等の記録媒体に記録する記録部136を有している。この場合、記録部136では、アナログの画像データVan1に基づくコピーが行われることとなる。
【0052】
また、符号化装置130は、符号化部135より出力される符号化された画像データVcdを復号化する復号化部137と、この復号化部137で復号化されて得られたデジタルの画像データVdg2をアナログデータに変換するD/A変換器138と、このD/A変換器138より出力されるアナログの画像データVan2による画像を表示するディスプレイ139とを有している。ディスプレイ139は、例えばCRTディスプレイ、LCD等である。
【0053】
図6は、復号化部137の構成を示している。この復号化部137は、符号化された画像データVcdを入力する入力端子151と、この入力端子151に入力された画像データVcd(エントロピー符号化データ、例えばハフマン符号化データである)を復号化する可変長復号化手段としてのエントロピー復号化回路152とを有している。
【0054】
また、復号化部137は、復号化回路152から出力される各ブロックの量子化された係数データDT2のうち、上述したように符号化の際に、高域周波数領域の係数データが除去されているブロックに関して、当該高域周波数領域の係数データを補間する高域係数補間部153を有している。
【0055】
図7は、高域係数補間部153の具体的な構成を示している。この高域係数補間部153は、高域係数補間回路153a、メモリ153bおよび制御部153cからなっている。エントロピー復号化回路152からの各ブロックの量子化された係数データDT2は高域係数補間回路153aに供給される。
【0056】
制御部153cは、高域周波数領域の係数データを除去してあるブロックの情報を記憶したROM153dを内蔵している。このROM153dに記憶されているブロックの情報は、上述した高域係数除去部145の制御部145bに内蔵されているROM145cに記憶されているブロックの情報と同じものである。制御部153cは、ROM153dに記憶されているブロック情報に基づいて、高域周波数領域の係数データが除去されているブロックを示すブロック情報BIFを発生し、このブロック情報BIFを高域係数補間回路153aに供給する。
【0057】
高域係数補間回路153aは、復号化回路152からの各ブロックの量子化された係数データDT2のうち、ブロック情報BIFで示されるブロックでないブロックに関しては、高域係数の補間処理を行わずに、そのまま出力係数データDT1′とする。なおこの場合、当該ブロックの係数データDT2を、後述する補間処理で使用するためにメモリ153bに記憶しておく。
【0058】
一方、高域係数補間回路153aは、復号化回路152からの各ブロックの量子化された係数データDT2のうち、ブロック情報BIFで示されるブロックに関しては、高域係数の補間処理を行ったものを出力係数データDT1′とする。この場合、高域係数補間回路153aは、当該ブロックの係数データDT2に付加されている範囲情報AIFで示される高域周波数領域の係数データを、当該ブロックの近傍に位置し、ブロック情報BIFで示されるブロック以外の一個または複数個のブロックの高域周波数領域の係数データを用いて補間する。
【0059】
例えば、複数個のブロックの高域周波数領域の係数データを用いる場合には、単純に平均して、あるいは当該ブロックに近いブロックの係数データ程重みを大きくした重み付き平均をして用いることができる。なお、このように補間処理に用いる一個または複数個のブロックの高域周波数領域の係数データは、上述したようにメモリ153bに記憶されている。
【0060】
なお、当該ブロックの高域周波数領域の係数データを補間するために、当該ブロックより後に高域係数補間部153に入力されるブロックの高域周波数領域の係数データを用いる場合には、この高域係数補間部153で、遅延回路を用いた時間調整を行うことが必要となる。このように高域係数補間回路153aから出力される各ブロックの係数データDT1′は、高域係数補間部153の出力となる。
【0061】
図6に戻って、復号化部137は、高域係数補間部153より出力される量子化された係数データDT1′に対して逆量子化を行って係数データを得る逆量子化回路154と、この逆量子化回路154で逆量子化されて得られた各ブロックの係数データに対し、ブロック毎に、逆DCTを行って画像データを得る逆DCT回路155とを有している。
【0062】
また、復号化部137は、逆DCT回路155より得られる各ブロックの画像データをブロック化前の位置に戻し、復号化された画像データVdg2を得るブロック分解回路156と、このブロック分解回路156より出力される画像データVdg2を出力する出力端子157とを有している。ブロック分解回路156では、データの順序がラスター走査の順序に戻される。
【0063】
図6に示す復号化部137の動作を説明する。符号化された画像データVcdは入力端子151に入力される。この画像データVcdはエントロピー復号化回路152に供給される。この画像データVcdは、エントロピー符号化データ、例えばハフマン符号化データである。復号化回路152では、画像データVcdの復号化が行われ、各ブロックの量子化された係数データDT2が得られる。この各ブロックの量子化された係数データDT2は高域係数補間部153に供給される。
【0064】
この高域係数補間回路153では、復号化回路152からの各ブロックの量子化された係数データDT2のうち、所定ブロック、すなわち高域周波数領域の係数データが除去されているブロック(高域係数除去ブロック)でないブロックに関しては、高域係数の補間処理が行われず、そのまま出力係数データDT1′とされる。また、当該ブロックの係数データDT2はメモリ153bに供給され、補間処理のための係数データとされる。
【0065】
また、この高域係数補間回路153では、復号化回路152からの各ブロックの量子化された係数データDT2のうち、高域係数除去ブロックに関しては、高域係数の補間処理が行われて、出力係数データDT1′が得られる。この場合、高域係数補間回路153aでは、当該ブロックの係数データDT2に付加されている範囲情報AIFで示される高域周波数領域の係数データが、当該ブロックの近傍に位置し、高域係数除去ブロック以外の一個または複数個のブロックの高域周波数領域の係数データ(メモリ153bに記憶されている)を用いて補間される。
【0066】
例えば、図5に示すように、高域係数除去ブロックが水平方向に一つおきのブロックである場合、この高域係数除去ブロックの高域周波数領域の係数データは、矢印で示すように、当該ブロックの左側に隣接する一個のブロックの高域周波数領域の係数データをそのまま用いることで補間される。
【0067】
高域係数補間部153から出力される量子化された係数データDT1′は、逆量子化回路154に供給される。逆量子化回路154では、各ブロックの量子化された係数データDT1′に対して逆量子化が行われ、各ブロックの係数データが得られる。この各ブロックの係数データは逆DCT回路155に供給される。逆DCT回路155では、各ブロックの係数データに対し、ブロック毎に逆DCTが行われて、各ブロックの画像データが得られる。
【0068】
このように逆DCT回路155で得られる各ブロックの画像データはブロック分解回路156に供給される。このブロック分解回路156では、データの順序がラスター走査の順序に戻される。これにより、ブロック分解回路156からは復号化された画像データVdg2が得られ、この画像データVdg2は出力端子157に出力される。
【0069】
次に、符号化装置130の動作を説明する。再生機110より出力されるアナログの画像データVan1はA/D変換器134に供給され、デジタルデータに変換される。このA/D変換器134より出力されるデジタルの画像データVdg1は符号化部135に供給される。この符号化部135では、画像データVdg1が符号化されて、符号化された画像データVcdが得られる。この符号化部135では、上述したように直交変換としてのDCTを用いた符号化が行われるが、所定ブロックの高域周波数領域の係数データが除去されたものとされる。
【0070】
この符号化部135より出力される符号化された画像データVcdは記録部136に供給される。記録部136では、この画像データVcdが光ディスク等の記録媒体に記録され、アナログの画像データVan1に基づくコピーが行われる。このように記録媒体に記録される画像データVcdを、図6に示す復号化部137と同様の復号化部で復号化する場合、符号化部135で高域周波数領域の係数データが除去されているブロック(高域係数除去ブロック)に関しては、当該ブロックの近傍に位置し、高域係数除去ブロックでないブロックの高域周波数領域の係数データを用いて補間が行われる。
【0071】
この場合、再生機110より出力されるアナログの画像データVan1が1回目の符号化、復号化を経たものである場合、上述したように符号化部135で符号化され、さらに復号化されて得られる画像データは、2回目の符号化、復号化を経たものとなる。
【0072】
この場合、符号化されたデータを、近傍に位置するブロックにおける劣化のない高域周波数領域の係数データを用いて復号化するので、他の通常の復号化装置を使い高域周波数領域の係数データがない符号化データそのままで復号化するよりも、1回目の符号化、復号化に関しては、エッジ部が改善されるため、画質が向上する。
【0073】
しかし、2回目の符号化、復号化にあっては、A/D変換器134でアナログデータからデジタルデータに変換する際のサンプリング位相の揺らぎのために、ブロック位置(図3の破線位置参照)が、1回目の符号化、復号化におけるブロック位置(図3の実線位置参照)に対してずれたものとなる。
【0074】
そのため、上述の近傍に位置するブロックの高域周波数領域の係数データは1回目の符号化、復号化により劣化したものとなっており、従って高域係数除去ブロックの高域周波数領域の係数データを、近傍に位置するブロックの高域周波数領域の係数データを用いて補間した場合、画像データに大きな劣化が発生する。
【0075】
なお、再生機110より出力されるアナログの画像データVan1が2回目以降の符号化、復号化を経たものである場合、上述したように符号化部135で符号化され、さらに復号化されて得られる画像データは、3回目以降の符号化、復号化を経たものとなり、より一層劣化したものとなる。
【0076】
したがって、記録部136で記録媒体に記録された画像データVcdを再生して得られる画像の画質は、再生機110より出力されるアナログの画像信号Van1による画像に比べて大幅に劣化したものとなる。したがって、この符号化装置130では、良好な画質を維持したままでのコピーは不可能となる。
【0077】
また、符号化部135より出力される符号化された画像データVcdは復号化部137に供給されて復号化される。この復号化部137で復号化されて得られたデジタルの画像データVdg2はD/A変換器138でアナログの画像データVan2に変換される。そして、D/A変換器138より出力されるアナログの画像データVan2がディスプレイ139に供給される。ディスプレイ139には、画像データVan2による画像が表示される。
【0078】
この場合、再生機110より出力されるアナログの画像データVan1が1回目の符号化、復号化を経たものである場合、上述したように符号化部135で符号化され、さらに復号化部137で復号化されて得られた画像データVan2は、2回目の符号化、復号化を経たものとなり、上述したように大きな劣化が発生したものとなる。そのため、ディスプレイ139に表示される画像の画質は、再生機110より出力されるアナログの画像信号Van1による画像(ディスプレイ120に表示される)に比べて大幅に劣化したものとなる。
【0079】
また、図1に示す画像表示システム100の場合、符号化装置130で良好な画質を維持したままでのコピーを不可能とするために、再生機110より出力されるアナログの画像データVan1に何等加工するものではなく、このアナログの画像データVan1による画像の画質を落とすことはない。
【0080】
このように本実施の形態においては、符号化の際には直交変換して得られる各ブロックの係数データ(変換係数)のうち、所定ブロックの高域周波数領域の係数データが除去され、また復号化の際には、上述した所定ブロックの高域周波数領域の係数データが、近傍に位置するブロックの高域周波数領域の係数データを用いて補間されるものであり、2回目以降の符号化、復号化により、画像データが著しく劣化する。したがって、アナログ信号Van1を利用し、符号化装置130で再符号化して記録媒体に記録する場合、画像データに大幅な劣化が発生することから、良好な画質を維持したままでのコピーは不可能となる。
【0081】
また、符号化装置130の符号化部135では、所定ブロックの高域周波数領域の係数データを除去するものであるので、データ圧縮率を高めることができる。
【0082】
また、上述実施の形態においては、符号化部135の制御部145b(図4参照)には、係数データを除去すべき高域周波数領域の範囲を設定するための設定信号SARが外部から入力され、この設定信号SARを変更することで当該高域周波数領域の範囲を可変できる。符号化、復号化を経ることによる画像データの劣化の強度はこの高域周波数領域の範囲に関係している。したがって、上述実施の形態においては、符号化、復号化を経ることによる画像データの劣化の強度を所望の値に設定できる。
【0083】
なお、上述実施の形態においては、係数データを除去すべき高域周波数領域の範囲を可変できるものを示したが、その範囲は固定であってもよい。その場合には、高域周波数領域の係数データを除去したブロックの係数データDT2に範囲情報AIFを付加しなくてもよくなる。
【0084】
また、上述実施の形態において、高域係数補間部153の制御部153cは、ROM153dを内蔵しており、このROM153dの記憶内容から高域係数除去ブロックの情報を得、そのブロック情報BIFを、高域係数補間回路153aに供給するものである(図7参照)。しかし、符号化部135で、高域周波数領域の係数データを除去したブロックの係数データDT2に、当該ブロックが高域係数除去ブロックであることを示す識別情報を付加し、復号化部137の高域係数補間回路153aは、その識別情報から高域係数除去ブロックであることを認識するようにしてもよい。
【0085】
また、上述実施の形態においては、高域周波数領域の係数データを除去すべきブロックが固定であるものを示したが、当該ブロックを変更できるようにしてもよい。その場合、例えば、高域係数除去部135の制御部145bに内蔵しているROM145c(図4参照)に複数種類のブロック選択パターンを用意しておき、いずれかを選択可能としてもよい。
【0086】
また、上述実施の形態においては、符号化部135の高域係数除去部145は、量子化回路144の出力側に挿入されたものであるが、量子化回路144の入力側に挿入してもよい。また同様に、復号化部137の高域係数補間部153は、逆量子化回路154の入力側ではなく、逆量子化回路154の出力側に挿入してもよい。
【0087】
また、上述実施の形態においては、直交変換としてDCTを用いた符号化を示したが、この発明はそれに限定されるものではない。この発明は、その他の直交変換、例えばウォーブレット変換、離散サイン変換等を用いた符号化にも同様に適用できる。
【0088】
また、上述実施の形態においては、符号化装置130は記録部136およびディスプレイ139を有しているが、これらの一方または双方が符号化装置130に外付けされるものも考えられる。
【0089】
【発明の効果】
この発明によれば、符号化の際には直交変換して得られる各ブロックの変換係数のうち、所定ブロックの高域周波数領域の変換係数を除去し、また復号化の際には、上述した所定ブロックの高域周波数領域の変換係数を、近傍に位置するブロックの高域周波数領域の変換係数を用いて補間するものであり、2回目以降の符号化、復号化により画像データを著しく劣化させることができ、これにより符号化データが復号化されて得られたアナログの画像データを利用し、再符号化して記録媒体にデジタル的に記録する不正コピーを良好に防止できる。
【図面の簡単な説明】
【図1】実施の形態としての画像表示システムの構成を示すブロック図である。
【図2】符号化部の構成を示すブロック図である。
【図3】DCTのブロック化を説明するための図である。
【図4】高域係数除去部145の構成を示すブロック図である。
【図5】高域係数の除去と補間の一例を説明するための図である。
【図6】復号化部の構成を示すブロック図である。
【図7】高域係数補間部の構成を示すブロック図である。
【図8】従来の画像表示システムの構成を示すブロック図である。
【図9】従来の符号化装置の構成を示すブロック図である。
【図10】従来の復号化装置の構成を示すブロック図である。
【符号の説明】
100・・・画像表示システム、110・・・再生機、111・・・復号化部、112・・・D/A変換器、120,139・・・ディスプレイ、130・・・符号化装置、134・・・A/D変換器、135・・・符号化部、136・・・記録部、137・・・復号化部、138・・・D/A変換器、141・・・入力端子、142・・・ブロック化回路、143・・・DCT回路、144・・・量子化回路、145・・・高域係数除去部、145a・・・高域係数除去回路、145b・・・制御部、154c・・・ROM、146・・・エントロピー符号化回路、147・・・出力端子、151・・・入力端子、152・・・エントロピー復号化回路、153・・・高域係数補間部、153a・・・高域係数補間回路、153b・・・メモリ、153c・・・制御部、153d・・・ROM、154・・・逆量子化回路、155・・・逆DCT回路、156・・・ブロック分解回路、157・・・出力端子

Claims (7)

  1. 画像データを2次元ブロックに分割して得られた各ブロックの画像データに対して直交変換をして変換係数を得る直交変換手段と、
    上記直交変換手段からの各ブロックの変換係数を量子化する量子化手段と、
    高域周波数領域の変換係数を除去するためのブロックであって、除去された当該高域周波数領域の変換係数が復号の際に補完されるブロックを示すブロック情報を発生するブロック情報発生手段と、
    上記高域周波数領域の範囲を示す範囲情報を発生する範囲情報発生手段と、
    上記量子化手段の入力側または出力側において、上記ブロック情報発生手段で発生されるブロック情報で示されるブロックにおける、上記範囲情報発生手段で発生される範囲情報で示される高域周波数領域の変換係数を除去する変換係数除去手段と
    を備えることを特徴とする画像データ符号化装置。
  2. 上記範囲情報発生手段は、
    外部からの設定信号に基づいて、上記高域周波数領域の範囲を可変することを特徴とする請求項1に記載の画像データ符号化装置。
  3. 上記ブロック情報発生手段は、
    高域周波数領域の変換係数を除去すべきブロックであって、
    除去された上記高域周波数領域の変換係数が、復号の際に該ブロックの近傍に位置するブロックの高域周波数領域の変換係数を用いて補完されるブロックであるブロック情報を発生する
    ことを特徴とする請求項1に記載の画像データ符号化装置。
  4. 当該画像データ符号化装置と同様の画像データ符号化装置により符号化された画像データを復号することにより得られる画像デジタルデータをデジタル・アナログ変換することにより得られる画像アナログデータを、サンプリング位相の揺らぎを伴って画像デジタルデータに変換するアナログ・デジタル変換手段をさらに備え、
    上記2次元ブロックは、上記アナログ・デジタル変換処理手段により変換された画像デジタルデータに基づいて生成される
    ことを特徴とする請求項1に記載の画像データ符号化装置。
  5. 画像データを2次元ブロックに分割して得られた各ブロックの画像データに対して直交変換をして変換係数を得る直交変換ステップと、
    上記直交変換ステップで得られた各ブロックの変換係数を量子化する量子化ステップと、
    高域周波数領域の変換係数を除去するためのブロックであって、除去された当該高域周波数領域の変換係数が復号の際に補完されるブロックを示すブロック情報を発生するブロック情報発生ステップと、
    上記高域周波数領域の範囲を示す範囲情報を発生する範囲情報発生ステップと、
    上記量子化ステップで量子化する前または後で、上記ブロック情報発生ステップで発生されるブロック情報で示されるブロックにおける、上記範囲情報発生ステップで発生される範囲情報で示される高域周波数領域の変換係数を除去する変換係数除去ステップと
    を備えることを特徴とする画像データ符号化方法。
  6. 画像データを2次元ブロックに分割して得られた各ブロックの画像データに対して直交変換をして変換係数を得る直交変換手段と、上記直交変換手段からの各ブロックの変換係数を量子化する量子化手段と、高域周波数領域の変換係数を除去すべきブロックを示すブロック情報を発生するブロック情報発生手段と、上記高域周波数領域の範囲を示す範囲情 報を発生する範囲情報発生手段と、上記量子化手段の入力側または出力側において、上記ブロック情報発生手段で発生されるブロック情報で示されるブロックにおける、上記範囲情報発生手段で発生される範囲情報で示される高域周波数領域の変換係数を除去する変換係数除去手段とを有する画像データ符号化装置と、
    上記変換係数除去手段により高域周波数領域の変換係数が除去されて得られた符号化データを逆量子化する逆量子化手段と、上記逆量子化手段からの各ブロックの変換係数に対して逆直交変換をして画像データを得る逆直交変換手段と、上記逆量子化手段の入力側または出力側において、上記ブロック情報に係るブロックにおける高域周波数領域の変換係数を、当該ブロックの近傍に位置するブロックの高域周波数領域の変換係数を用いて補間する変換係数補間手段とを有する画像データ復号化装置と
    を備えることを特徴とする画像データの符号・復号化システム。
  7. 画像データの符号化処理系では、
    画像データを2次元ブロックに分割して得られた各ブロックの画像データに対して直交変換をして変換係数を得る直交変換ステップと、上記直交変換ステップで得られた各ブロックの変換係数を量子化する量子化ステップと、高域周波数領域の変換係数を除去すべきブロックを示すブロック情報を発生するブロック情報発生ステップと、上記高域周波数領域の範囲を示す範囲情報を発生する範囲情報発生ステップと、上記量子化ステップで量子化する前または後で、上記ブロック情報発生ステップで発生されるブロック情報で示されるブロックにおける、上記範囲情報発生ステップで発生される範囲情報で示される高域周波数領域の変換係数を除去する変換係数除去ステップとを有し、
    画像データの復号化処理系では、
    上記変換係数除去ステップで高域周波数領域の変換係数が除去されて得られた符号化データを逆量子化する逆量子化ステップと、上記逆量子化ステップで逆量子化されて得られた各ブロックの変換係数に対して逆直交変換をして画像データを得る逆直交変換ステップと、上記逆量子化ステップで量子化する前または後で、上記ブロック情報に係るブロックにおける高域周波数領域の変換係数を、当該ブロックの近傍に位置するブロックの高域周波数領域の変換係数を用いて補間する変換係数補間ステップとを有することを特徴とする画像データの符号・復号化方法。
JP2003095948A 2003-03-24 2003-03-31 画像データの符号化装置および符号化方法、並びに画像データの符号・復号化システムおよび符号・復号化方法 Expired - Fee Related JP4029758B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2003095948A JP4029758B2 (ja) 2003-03-31 2003-03-31 画像データの符号化装置および符号化方法、並びに画像データの符号・復号化システムおよび符号・復号化方法
CN200910002105XA CN101510979B (zh) 2003-03-24 2004-03-23 编码和译码数据的设备和方法以及处理信号的系统和方法
EP04722714A EP1608164A1 (en) 2003-03-24 2004-03-23 Data encoding apparatus, data encoding method, data output apparatus, data output method, signal processing system, signal processing apparatus, signal processing method, data decoding apparatus, and data decoding method
PCT/JP2004/003990 WO2004086758A1 (ja) 2003-03-24 2004-03-23 データ符号化装置およびデータ符号化方法、データ出力装置およびデータ出力方法、信号処理システム、信号処理装置および信号処理方法、並びにデータ復号化装置およびデータ復号化方法
US10/550,731 US7945102B2 (en) 2003-03-24 2004-03-23 Data encoding apparatus, data encoding method, data output apparatus, data output method, signal processing system, signal processing apparatus, signal processing method, data decoding apparatus, and data decoding method
KR1020057017808A KR101029396B1 (ko) 2003-03-24 2004-03-23 데이터 부호화 장치, 데이터 부호화 방법, 데이터 복호화 장치, 및 데이터 복호화 방법
TW093107921A TWI250803B (en) 2003-03-24 2004-03-24 Data encoding device and data encoding method, data output device and data output method, signal processing system, signal processing device and signal processing method and data decoding device and data decoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003095948A JP4029758B2 (ja) 2003-03-31 2003-03-31 画像データの符号化装置および符号化方法、並びに画像データの符号・復号化システムおよび符号・復号化方法

Publications (2)

Publication Number Publication Date
JP2004304575A JP2004304575A (ja) 2004-10-28
JP4029758B2 true JP4029758B2 (ja) 2008-01-09

Family

ID=33408152

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003095948A Expired - Fee Related JP4029758B2 (ja) 2003-03-24 2003-03-31 画像データの符号化装置および符号化方法、並びに画像データの符号・復号化システムおよび符号・復号化方法

Country Status (1)

Country Link
JP (1) JP4029758B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09115241A (ja) * 1995-06-30 1997-05-02 Sony Corp データ記録装置及び方法、データ再生装置及び方法、並びに記録媒体
US7412100B2 (en) * 2003-09-04 2008-08-12 Qualcomm Incorporated Apparatus and method for sub-sampling images in a transform domain
JP4656452B2 (ja) * 2008-05-20 2011-03-23 ソニー株式会社 画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラム

Also Published As

Publication number Publication date
JP2004304575A (ja) 2004-10-28

Similar Documents

Publication Publication Date Title
KR101029396B1 (ko) 데이터 부호화 장치, 데이터 부호화 방법, 데이터 복호화 장치, 및 데이터 복호화 방법
JP3933691B2 (ja) 画像信号のハイブリッド波形及びモデルベース符号化及び復号化
KR100993430B1 (ko) 화상 처리 장치, 화상 전송 장치, 정보 처리 단말기, 화상 처리 장치의 프로그램을 기록한 컴퓨터 판독 가능 기록 매체, 및 모자이크 처리 방법
JP3772846B2 (ja) データ符号化装置およびデータ符号化方法、並びにデータ出力装置およびデータ出力方法
US7787541B2 (en) Dynamic pre-filter control with subjective noise detector for video compression
JP2006246474A (ja) カラー成分間の単一符号化モードを利用して予測映像を生成する方法、およびその装置と、該単一符号化モードを利用して映像およびビデオを符号化/復号化する方法およびその装置
US8903196B2 (en) Video presentation at fractional speed factor using time domain interpolation
JP2001285867A (ja) Idctミスマッチについて補償するdctドメイン下方変換システム
JP4029758B2 (ja) 画像データの符号化装置および符号化方法、並びに画像データの符号・復号化システムおよび符号・復号化方法
EP1005229A2 (en) Apparatus and method for modifying a compressed video signal
JP2824222B2 (ja) 映像データ補償方法及び補償装置
JP4725127B2 (ja) 復号装置および方法、記録媒体、並びにプログラム
JP4001962B2 (ja) ブロック歪低減装置及び方法
JP3906822B2 (ja) 符号化装置と符号化方法
JP4099600B2 (ja) 信号処理システム、信号処理装置および信号処理方法、符号化装置および符号化方法、並びに復号化装置および復号化方法
WO2012090454A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
JP3208601B2 (ja) 高能率符号化装置
JP3716842B2 (ja) データ符号化装置およびデータ符号化方法、並びにプログラム
JP3856292B2 (ja) 画像符号のトランスコーダ及び画像符号のトランスコーディング方法
JP4581733B2 (ja) 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システム
JP2006238373A (ja) 符号化装置および方法、復号装置および方法、画像処理システムおよび画像処理方法、記録媒体、並びにプログラム
JP3275328B2 (ja) 符号化および復号化装置
JP3337699B2 (ja) 画像処理装置およびその方法
JP4696577B2 (ja) 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システムおよび方法
JP2006217341A (ja) 符号化装置および方法、復号装置および方法、画像処理システムおよび画像処理方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070626

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070925

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071008

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101026

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101026

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111026

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111026

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121026

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121026

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131026

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees