JP2006196968A - 符号処理装置、符号処理方法、プログラム及び情報記録媒体 - Google Patents

符号処理装置、符号処理方法、プログラム及び情報記録媒体 Download PDF

Info

Publication number
JP2006196968A
JP2006196968A JP2005003710A JP2005003710A JP2006196968A JP 2006196968 A JP2006196968 A JP 2006196968A JP 2005003710 A JP2005003710 A JP 2005003710A JP 2005003710 A JP2005003710 A JP 2005003710A JP 2006196968 A JP2006196968 A JP 2006196968A
Authority
JP
Japan
Prior art keywords
code
image quality
packet
layer
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005003710A
Other languages
English (en)
Other versions
JP4530274B2 (ja
Inventor
Hiroyuki Sakuyama
宏幸 作山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2005003710A priority Critical patent/JP4530274B2/ja
Priority to US11/331,369 priority patent/US7697767B2/en
Publication of JP2006196968A publication Critical patent/JP2006196968A/ja
Application granted granted Critical
Publication of JP4530274B2 publication Critical patent/JP4530274B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

【課題】JPEG2000の原符号から、クライアントより指定された画質要求に従って高精度に画質が制御された出力符号を生成するサーバ。
【解決手段】 サーバにおいて、原符号の圧縮率もしくは量子化誤差に応じた観察距離のVisual Weightを選択し(step101)、原符号の最上レイヤから最下位レイヤへ向かって、各レイヤのパケットに、選択されたVisual Weightに基づいて序列を付け(step102)、原符号より出力符号に含めるべきパケットを序列の順に選択し(step103)、選択されたパケットからなる出力符号を形成し(step104)、その出力符号をクライアントへ送信する(step105)。
【選択図】図10

Description

本発明は、画像を符号化した原符号から画質指定値に応じた画質を持つ別の符号を生成する符号処理装置及び符号処理方法に関し、JPIP等のサーバ・クライアントシステムに効果的に応用可能である。
JPEG(Joint Photographic Coding Experts Group)で採用されているDCT(離散コサイン変換)に代わる周波数変換として、近年ウェーブレット変換の採用が増加している。その代表例は、2001年に国際標準になったJPEG後継の画像圧縮伸長方式JPEG2000である。
JPEG2000の符号化処理は、概ね図1に示すような流れで行われる。まず、画像は矩形のタイルに分割され(分割数≧1)、各タイルは、輝度・色差等のコンポ−ネントへ色変換される。変換後のコンポ−ネント(タイルコンポ−ネントと呼ばれる)は、ウェーブレット変換によって、LL、HL、LH、HHと略称される4つのサブバンドに分割される。そしてLLサブバンドに対して再帰的にウェーブレット変換(デコンポジション)を繰返すと、最終的に1つのLLサブバンドと複数のHL、LH、HHサブバンドが生成される。
なお、JPEG2000では、9x7変換と呼ばれる非可逆ウェーブレット変換と5x3変換と呼ばれる可逆ウェーブレット変換が用いられる。また、色変換として、9x7変換用の非可逆色変換ICTと、5x3変換用の可逆色変換RCTが規定されている。
次に各サブバンドはプリシンクトとよばれる矩形に分割される。プリシンクトとは、サブバンドを矩形に分割したものをHL、LH、HHの3つのサブバンドについて集めたもので、プリシンクトは3つで1まとまりである(図2参照)。ただし、LLサブバンドを分割したプリシンクトは1つで1まとまりである。プリシンクトは大まかには画像中の場所(Position)を表すものである。プリシンクトはサブバンドと同じサイズにできる。プリシンクトをさらに矩形に分割したものがコードブロックである(図2参照)。よって、物理的な大きさの序列は、画像≧タイル>サブバンド≧プリシンクト≧コードブロックとなる。尚、後の説明のため、デコンポジションレベル(施すウェーブレット変換の回数)と解像度レベルの関係を図3に示す。
以上の分割の後、ウェーブレット係数のエントロピー符号化(ビットプレーン符号化)が、コードブロック毎かつビットプレーン順に成される。プリシンクトに含まれる全てのコードブロックから、ビットプレーンの符号の一部を取り出して集めたもの(例えば、全てのコードブロックのMSBから3枚目までのビットプレーンの符号を集めたもの)に、ヘッダをつけたものをパケットと呼ぶ。上記“一部”は“空”でもいいので、パケットの中身が符号的には“空(から)”ということもある。パケットヘッダには、当該パケットに含まれる符号に関する情報が含まれ、各パケットは独立に扱うことができる。いわばパケットは符号の単位である。
そして、全てのプリシンクト(=全てコードブロック=全てのサブバンド)のパケットを集めると、画像全域の符号の一部(例えば、.画像全域のウェーブレット係数の、MSBから3枚目までのビットプレーンの符号)ができるが、これをレイヤと呼ぶ。レイヤは、大まかには画像全体のビットプレーンの符号の一部であるから、復号されるレイヤ数が増えれば画質は上がることになる。すなわち。レイヤはビット深さ方向に形成された画質の単位である。すべてのレイヤーを集めると、画像全域の全てのビットプレーンの符号になる。
図4の上側の図はデコンポジションレベル数=2、プリシンクトサイズ=サブバンドサイズとしたときのレイヤの例を示す。図4の下側の図に、レイヤに含まれるパケットの一部を太線で囲んで示す。
さて、生成されたパケットやレイヤの区切りに従い、パケットを並べる作業を符号形成と呼ぶ。以上の様にJPEG2000の符号を構成する部分符号であるパケットは
どのコンポ−ネント(記号C)に属するか、
どの解像度レベル(記号R)に属するか、
どのプリシンクト(場所)(記号P)に属するか、
どのレイヤ(画質レベル)(記号L)に属するか
という4つの属性を有する。パケットの配列とは、どの属性の順に階層的に並べるかを意味する。この配列順をプログレッションオーダと呼び、図5に示すLRCP,RLCP,RPCL,PCRL,CPRLの5通りのプログレッションオーダが規定されている。
ここで、エンコーダがプログレッションオーダに従ってパケットを並べる様子、および、デコーダがプログレッションオーダに従ってパケットの属性を解釈する様子を、LRCPプログレッションを例に説明する。
LRCPプログレッションの場合、ネストされたforループ
for(レイヤ){
for(解像度){
for(コンポ−ネント){
for(プリシンクト){
エンコード時:パケットを配置
デコード時:パケットの属性を解釈




に従って、パケットの配列(エンコード時)、解釈(デコード時)がなされる。各パケットはパケットヘッダを有し、パケットヘッダには、
・そのパケットが空かどうか
・そのパケットにどのコードブロックが含まれるか
・そのパケットに含まれる各コードブロックのゼロビットプレーン数
・そのパケットに含まれる各コードブロック符号のコーディングパス数(ビットプレーン数)
・そのパケットに含まれる各コードブロックの符号長
が記載されている。しかし、パケットヘッダにはレイヤ番号や解像度レベル等の属性値それ自体は記載されていない。デコード時に、符号のメインヘッダ中のCODマーカに記載されたプログレッションオーダから上記のようなforループを形成し、そのパケットに含まれる各コードブロックの符号長の和からパケットの切れ目を判別し、各パケットがforループ内のどの位置でハンドリングされたかによって、各パケットがどのレイヤのどの解像度レベルのものであるかが分かる。これは、パケットヘッダ中の符号長さえ読み出せば、エントロピー符号自体をデコードしなくても次のパケットを検出できること、すなわち任意のパケットにアクセスできることを意味する。
図6はLRCPの様な、レイヤがforループの最も外側に位置するレイヤープログレッシブ符号の概念図であり、図7は画像サイズ100×100画素、2レイヤ、解像度レベル3(0〜2)、3コンポ−ネント、プリシンクトサイズ32×32、LRCPプログレッションの場合の36個のパケットの配列例である。
さて、以上の様にJPEG2000の符号はパケット単位でのアクセスが可能であり、これは、原符号から必要な部分符号すなわちパケットだけを抜き出して、新たな符号を生成できることを意味する。またこれは、必要に応じて原符号を部分的に復号できることをも意味する。例えば、サーバにある大きな画像をクライアント側で表示する場合に、必要な画質だけの符号、必要な解像度だけの符号、見たい場所だけの符号、見たいコンポ−ネントだけの符号をサーバから受信し、復号することができるのである。
この様に、サーバにあるJPEG2000の原符号から必要な一部符号だけを受信するためのプロトコルJPIP(JPEG2000 Interactive Protocol)が現在標準化の途上にある。JPIPにおけるキャッシュモデル等に関する公知文献としては例えば特許文献1がある。
同様の階層的な画像の部分的アクセスのためのプロトコルは、古くは、画像の多重解像度表現であるFlashPix(登録商標)と、それにアクセスするためのプロトコルIIP(Internet Imaging Protocol)に見ることができ、これに関する公知文献としては例えば特許文献2がある。
特開2003−23630号公報 特開平11-205786号公報 特開2001-298366号公報
さて、JPIPの場合、クライアントからサーバに、描画したい領域と画質を指定することが提案されている。領域が指定された場合、サーバは当該領域をカバーするプリシンクトのパケットを送信する。つまり
for(プリシンクト){
パケットを解釈

において、必要なプリシンクトのパケットのみを送信することができる。また、これと同時に画質が指定された場合、
for(レイヤ){
‥‥
for(プリシンク){
パケットを解釈

‥‥

において、必要なレイヤのパケットのみを送信することができる。
現在、画質指定(-qualityリクエスト)としては0から100の画質指定値を指定可能にすることが提案されており、この画質指定値が大きい程、送信する符号のレイヤ数を多くすることが想定可能である。例えば、サーバ内の符号が50レイヤで構成され、画質指定値が50である場合、25レイヤ分の符号を送信することができる。すなわち
for(レイヤ=0 to 24){
‥‥

としてパケットを送信することができる。レイヤは画質の単位だからである。
しかし、例えば、サーバ内の符号が1レイヤで構成されている場合に、画質指定値として50が指定されたときに、どのパケットを送信すべきかは検討すべき課題である。画質単位としては1つしかないからである。同様に、サーバ内の符号が例えば3レイヤで構成されている場合に、画質指定値として50が指定されたときに、最上位レイヤのパケットは当然に送信するとしても、次位レイヤについては、どのパケットを送信すべきかは検討すべき課題である。
本発明の直接的な目的は、JPIPにおける上述の如き課題を解決することにある。本発明のより一般的な目的は、JPEG2000の符号や、同様の画質属性と解像度属性を持つ部分符号の集合からなる符号から、画質指定値に対応した画質の出力符号を生成するための新規な装置及び方法を提供することにある。
JPIPに関連して述べたように、レイヤはビット深さ方向に形成された画質単位であるが、解像度レベルが複数ある場合、解像度も画質に密接に関係するので、画質単位であるレイヤによりパケットを選択するほかに、解像度的観点からパケットを選択することにより画質指定要求に応えることが可能である。より一般的には、画質属性と解像度属性を持つ部分符号からなる原符号から部分符号を選択する場合に、画質属性のみならず解像度属性をも考慮して部分符号を選択することにより、画質指定要求に対し、画質的観点に加え解像度的観点からも応えることが可能である。
請求項1記載の発明は、かかる考察に基づいたもので、画質属性及び解像度属性を持つ部分符号の集合からなる原符号から、画質指定値に対応した画質の出力符号を生成する符号処理装置であって、前記原符号の部分符号に対し、異なる画質レベルの画質属性を持つ部分符号間では低い画質レベルの画質属性を持つ部分符号を優先し、かつ、同一の画質レベルの画質属性を持つ部分符号間では低い解像度レベルの解像度属性を持つ部分符号を優先して序列を付ける序列付け手段と、前記原符号より、前記出力符号に含めるべき部分符号を前記序列付け手段により付けられた序列の順に選択する部分符号選択手段と、前記部分符号選択手段により選択された部分符号からなる前記出力符号を形成する符号形成手段とを有することを特徴とする符号処理装置である。
原符号が例えば2レイヤ構成のJPEG2000の符号で、画質指定値として指定可能範囲0〜100の中間値50よりやや高画質の60が指定された場合を想定する。この場合、請求項1記載の発明をそのまま適用することも可能であるが、例えば、最も低画質の最上位レイヤ(レイヤ0)のパケットを全て選択し、それより高画質側の次位レイヤ(レイヤ1)のパケットについて解像度レベルにより序列付けし、その序列の順序に従ってパケットを選択するような処理が効率的であろう。
かかる考察に基づき、請求項2記載の発明は、画質属性及び解像度属性を持つ部分符号の集合からなる原符号から、画質指定値に対応した画質の出力符号を生成する符号処理装置であって、前記原符号の、前記画質指定値により決まる特定の画質レベルの高画質側の次画質レベルの画質属性を持つ部分符号に対し、低い解像度レベルの解像度属性を持つ部分符号を優先して序列を付ける序列付け手段と、前記原符号より、前記出力符号に含めるべき部分符号として、前記特定の画質レベル以下の画質属性を持つ全ての部分符号を選択するとともに、前記次画質レベルの画質属性を持つ部分符号を前記序列付け手段により付けられた序列の順に選択する部分符号選択手段と、前記部分符号選択手段により選択された部分符号からなる前記出力符号を形成する符号形成手段とを有することを特徴とする符号処理装置である。
例えば、カラー画像のJPEG2000の符号は、通常、輝度成分Yと色差成分Cb,Crの3コンポーネントから構成されるが、人の視覚特性上、輝度成分の符号に比べ、色差成分(特に青成分Cb)の符号は低解像度でも復号画像の劣化は視認されにくい。
かかる考察に鑑み、請求項3記載の発明は、請求項1又は2記載の発明に係る符号処理装置であって、前記原符号が複数のコンポーネントで構成される場合、前記序列付け手段は、解像度属性による部分符号の序列付けに各コンポーネントの視覚周波数特性を反映させることを特徴とする符号処理装置である。
コンポ−ネント毎の視覚周波数特性の例として、JPEG2000ではVisual Weightという重みを定義している。この重みは、簡単に言えば、サブバンドごとの符号の重要度を意味するものである。そしてJPEG2000では、前記重みは観察距離の異なる3通りが例示されているが、これらを符号の圧縮率(=所望の符号量)もしくは符号に生じた量子化誤差に応じて使い分けると高画質が得られる(例えば特許文献3参照)。すなわち、例えば原符号がロスレスの場合、目的の出力符号の圧縮率もしくは量子化誤差に応じて、したがって画質指定値に応じて、重みを切り替えるのが望ましいことを意味する。このことはまた、画質指定値が同じ値であっても、原符号の圧縮率もしくは量子化誤差に応じて重みを切り替えるのが望ましいことを意味する。このような視覚周波数特性の切り替えを行うことにより、画質指定要求により精密に応えようとするのが請求項4,5,6記載の発明である。
すなわち、請求項4記載の発明は、請求項3記載の発明に係る符号処理装置であって、前記序列付け手段は、解像度属性による部分符号の序列付けに反映させる各コンポーネントの視覚周波数特性を前記原符号の圧縮率もしくは量子化誤差に応じて切り替えることを特徴とする符号処理装置である。請求項5記載の発明は、請求項3記載の発明に係る符号処理装置であって、前記序列付け手段は、解像度属性による部分符号の序列付けに反映させる各コンポーネントの視覚周波数特性を前記画質指定値に応じて切り替えることを特徴とする符号処理装置である。また、請求項6記載の発明は、請求項3記載の発明に係る符号処理装置であって、前記序列付け手段は、解像度属性による部分符号の序列付けに反映させる各コンポーネントの視覚周波数特性を前記画質指定値と前記原符号の圧縮率もしくは量子化誤差とに応じて切り替えることを特徴とする符号処理装置である。
請求項7〜12記載の発明は、JPEG2000の原符号を前提とした請求項1〜6記載の発明の下位発明である。
すなわち、請求項7記載の発明は、複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理装置であって、前記原符号の最上位レイヤより最下位レイヤへ向かって、各レイヤのパケットに、前記原符号の圧縮率もしくは量子化誤差に応じて選択したVisual Weightに基づいて序列を付ける序列付け手段と、前記原符号より、前記出力符号に含めるべきパケットを、前記序列付け手段により付けられた序列の順に選択するパケット選択手段と、前記パケット選択手段により選択されたパケットからなる前記出力符号を形成する符号形成手段とを有することを特徴とする符号処理装置である。
請求項8記載の発明は、複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理装置であって、前記原符号の最上位レイヤより最下位レイヤへ向かって、各レイヤのパケットに、前記画質指定値に応じて選択したVisual Weightに基づいて序列を付ける序列付け手段と、前記原符号より、前記出力符号に含めるべきパケットを、前記序列付け手段により付けられた序列の順に選択するパケット選択手段と、前記パケット選択手段により選択されたパケットからなる前記出力符号を形成する符号形成手段とを有することを特徴とする符号処理装置である。
請求項9記載の発明は、複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理装置であって、前記原符号の最上位レイヤより最下位レイヤへ向かって、各レイヤのパケットに、前記原符号の圧縮率もしくは量子化誤差と前記画質指定値とに応じて選択したVisual Weightに基づいて序列を付ける序列付け手段と、前記原符号より、前記出力符号に含めるべきパケットを前記序列付け手段により付けられた序列の順に選択するパケット選択手段と、前記パケット選択手段により選択されたパケットからなる前記出力符号を形成する符号形成手段とを有することを特徴とする符号処理装置である。
請求項10記載の発明は、複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理装置であって、前記画質指定値により決まる前記原符号の特定のレイヤの下位側の次位レイヤのパケットに、前記原符号の圧縮率もしくは量子化誤差に応じて選択したVisual Weightに基づき序列を付ける序列付け手段と、前記原符号より、前記出力符号に含めるべきパケットとして、前記特定レイヤ及びそれより上位のレイヤの全てのパケットを選択するとともに、前記次位レイヤのパケットを前記序列付け手段により付けられた序列の順に選択するパケット選択手段と、前記パケット選択手段により選択されたパケットからなる前記出力符号を形成する符号形成手段とを有することを特徴とする符号処理装置である。
請求項11記載の発明は、複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理装置であって、前記画質指定値により決まる前記原符号の特定のレイヤの下位側の次位レイヤのパケットに、前記画質指定値に応じて選択したVisual Weightに基づき序列を付ける序列付け手段と、前記原符号より、前記出力符号に含めるべきパケットとして、前記特定レイヤ及びそれより上位のレイヤの全てのパケットを選択するとともに、前記次位レイヤのパケットを前記序列付け手段により付けられた序列の順に選択するパケット選択手段と、前記パケット選択手段により選択されたパケットからなる前記出力符号を形成する符号形成手段とを有することを特徴とする符号処理装置である。
請求項12記載の発明は、複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理装置であって、前記画質指定値により決まる前記原符号の特定のレイヤの下位側の次位レイヤのパケットに、前記原符号の圧縮率もしくは量子化誤差と前記画質指定値とに応じて選択したVisual Weightに基づき序列を付ける序列付け手段と、前記原符号より、前記出力符号に含めるべきパケットとして、前記特定レイヤ及びそれより上位のレイヤの全てのパケットを選択するとともに、前記次位レイヤのパケットを前記序列付け手段により付けられた序列の順に選択するパケット選択手段と、前記パケット選択手段により選択されたパケットからなる前記出力符号を形成する符号形成手段とを有することを特徴とする符号処理装置である。
また、請求項13記載の発明は、例えばJPIPのサーバ・クライアントシステムのサーバを想定したものであり、請求項1乃至12のいずれか1項記載の発明に係る符号処理装置であって、外部装置より前記画質指定値を受信し、かつ、前記符号形成手段により形成された前記出力符号を前記外部装置へ送信する通信手段を有することを特徴とする符号処理装置である。
また、請求項14〜19記載の発明は、請求項7〜12記載の発明に対応する符号処理方法の発明である。
すなわち、請求項14記載の発明は、複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理方法であって、前記原符号の圧縮率もしくは量子化誤差に応じてVisual Weightを選択する第1の工程と、前記原符号の最上レイヤから最下位レイヤへ向かって、各レイヤのパケットに、前記第1の工程によって選択されたVisual Weightに基づいて序列を付ける第2の工程と、前記原符号より、前記出力符号に含めるべきパケットを前記第2の工程により付けられた序列の順に選択する第3の工程と、前記第3の工程により選択されたパケットからなる前記出力符号を形成する第4の工程とを有することを特徴とする符号処理方法である。
請求項15記載の発明は、複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理方法であって、前記画質指定値に応じてVisual Weightを選択する第1の工程と、前記原符号の最上位レイヤから最下位レイヤへ向かって、各レイヤのパケットに、前記第1の工程によって選択されたVisual Weightに基づいて序列を付ける第2の工程と、前記原符号より、前記出力符号に含めるべきパケットを前記第2の工程により付けられた序列の順に選択する第3の工程と、前記第3の工程により選択されたパケットからなる前記出力符号を形成する第4の工程とを有することを特徴とする符号処理方法である。
請求項16記載の発明は、複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理方法であって、前記原符号の圧縮率もしくは量子化誤差と前記画質指定値とに応じてVisual Weightを選択する第1の工程と、前記原符号の最上レイヤから最下位レイヤへ向かって、各レイヤのパケットに、前記第1の工程によって選択されたVisual Weightに基づいて序列を付ける第2の工程と、前記原符号より、前記出力符号に含めるべきパケットを前記第2の工程により付けられた序列の順に選択する第3の工程と、前記第3の工程により選択されたパケットからなる前記出力符号を形成する第4の工程とを有することを特徴とする符号処理方法である。
請求項17記載の発明は、複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理方法であって、前記画質指定値に従ってレイヤを選択する第1の工程と、前記原符号の圧縮率もしくは量子化誤差に応じてVisual Weightを選択する第2の工程と、前記原符号の前記第1の工程により選択されたレイヤの下位側の次位レイヤのパケットに、前記第2の工程によって選択されたVisual Weightに基づいて序列を付ける第3の工程と、前記原符号より、前記出力符号に含めるべきパケットとして、前記第1の工程により選択されたレイヤの全てのパケットを選択するとともに、前記第1の工程により選択されレイヤの下位側の次位レイヤのパケットを前記第3の工程により付けられた序列の順に選択する第4の工程と、前記第4の工程により選択されたパケットからなる前記出力符号を形成する第5の工程とを有することを特徴とする符号処理方法である。
請求項18記載の発明は、複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理方法であって、前記原符号の画質指定値に従ってレイヤを選択する第1の工程と、前記画質指定値に応じてVisual Weightを選択する第2の工程と、前記原符号の前記第1の工程により選択されたレイヤの下位側の次位レイヤのパケットに、前記第2の工程によって決定されたVisual Weightに基づいて序列を付ける第3の工程と、前記原符号より、前記出力符号に含めるべきパケットとして、前記第1の工程により選択されたレイヤの全てのパケットを選択するとともに、前記第1の工程により選択されレイヤの下位側の次位レイヤのパケットを前記第3の工程により付けられた序列の順に選択する第4の工程と、前記第4の工程により選択されたパケットからなる前記出力符号を形成する第5の工程とを有することを特徴とする符号処理方法である。
請求項19記載の発明は、複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理方法であって、前記原符号の画質指定値に従ってレイヤを選択する第1の工程と、前記原符号の圧縮率もしくは量子化誤差と前記画質指定値とに応じてVisual Weightを選択する第2の工程と、前記原符号の前記第1の工程により選択されたレイヤの下位側の次位レイヤのパケットに、前記第2の工程によって選択されたVisual Weightに基づいて序列を付ける第3の工程と、前記原符号より、前記出力符号に含めるべきパケットとして、前記第1の工程により選択されたレイヤの全てのパケットを選択するとともに、前記第1の工程により選択されレイヤの下位側の次位レイヤのパケットを前記第3の工程により付けられた序列の順に選択する第4の工程と、前記第4の工程により選択されたパケットからなる前記出力符号を形成する第5の工程とを有することを特徴とする符号処理方法である。
また、請求項20,21記載の発明は、請求項14〜19記載の発明に係る符号処理方法をコンピュータにより実施するためのプログラムと、それが記録された情報記録媒体である。
請求項1〜19記載の発明によれば、画像属性と解像度属性の両方に基づいて部分符号の選択を制御することにより、画質指定値に高精度に対応した画質の出力符号を生成することができる。また、請求項2〜19記載の発明によれば、部分符号の序列付けにコンポーネント毎の視覚周波数特性を反映させることにより、人の視覚特性をも考慮して高精度に画質が制御された出力符号を生成することができる。また、請求項3〜19記載の発明によれば、序列付けに反映させるコンポーネント毎の視覚周波数特性を原画像の圧縮率もしくは量子化誤差、画質指定値、又は、その両方に応じて切り替えることにより、より高精度に画質が制御された出力符号を生成することができる。請求項2,10〜12,17〜19記載の発明によれば、序列付けの対象となる部分符号を減らし、より効率的な処理が可能となる。請求項13記載の発明によれば、外部装置からの画質指定要求に従って画質が高精度に制御された符号を生成して外部装置へ送信することができる。請求項20,21記載の発明によれば、請求項14〜19記載の発明による符号処理を、コンピュータを利用し容易に実行することができる、等々の効果を得られる。
図8は本発明の実施の形態を説明するためのブロック図である。図8において、100は本発明に係る符号処理装置であり、通信路104(例えばインターネットやLAN等)を通じて接続されるクライアント105とともにサーバ・クライアントシステムを構成する。すなわち、符号処理装置100はサーバ・クライアントシステムのサーバとして動作する。ただし、符号処理装置100はクライアント105から独立して動作することも可能である。
符号処理装置100は、原符号(ここではJPEG2000の符号)が記憶されている原符号記憶部101と、原符号から画質指定値に応じた画質の出力符号を生成する処理を行う処理部102と、クライアント105からの送信要求(符号の指定のほか、領域の指定、画質の指定を含む)を受信したり出力符号をクライアント105へ送信する等の通信処理を行う通信部103を含む構成である。処理部102には、請求項1〜12記載の発明の各手段が含まれる。通信部103は請求項14記載の発明の通信手段に相当する。
このような符号処理装置100は、例えば、図9に示すようなCPU200、メモリ201、ハードディスク装置(HDD)202、通信インターフェース203などがバス204で接続された構成のコンピュータ上でプログラムによって実現される。すなわち、1以上のプログラムによってコンピュータは、処理部102(を構成する手段)及び通信部103(通信手段)として機能させられる。このようなプログラム、及び、同プログラムが記録されたコンピュータが読み取り可能な各種の情報記録(記憶)媒体も本発明に包含される。
処理部102は請求項14〜19記載の発明の各工程を実行するものでもあり、これら工程がコンピュータ上でプログラムにより実行される。このようなプログラムと、同プログラムが記録されたコンピュータが読み取り可能な各種情報記録(記憶)媒体も本発明に包含される。
上に述べたようなプログラムは、例えばハードディスク装置202に記憶されており、必要に応じてハードディスク装置202よりメモリ201へロードされてCPU200により実行されることによって、コンピュータは符号処理装置100として動作する。原符号記憶部101としてハードディスク装置202が利用される。
符号処理装置100がクライアント105から独立して動作する場合の処理の流れは次の通りである。ハードディスク装置202に記憶されている原符号が、CPU200からの命令によってメモリ201に読み込まれる。CPU200は、メモリ上の原符号を読み込んで出力符号を生成する処理を実行し、生成した出力符号をメモリ201の別の領域に書き込む。この際、必要に応じて出力符号のヘッダ情報を修正したり、空のパケットを追加したり、IDの付与等を行う。そして、CPU200からの命令により、メモリ201上の出力符号がハードディスク装置202に記録される。
符号処理装置100がサーバとして動作する場合の処理の流れは次の通りである。通信インターフェース203を介してクライアント105より符号送信要求が受信されると、ハードディスク装置202に記憶されている原符号が、CPU200からの命令によってメモリ201に読み込まれる。CPU200はメモリ201の原符号を読み込んで出力符号を生成する処理を実行し、生成した出力符号をメモリ201の別の領域に書き込む。この際、必要に応じて出力符号のヘッダ情報を修正したり、空のパケットを追加したり、IDの付与等を行う。そして、CPU200からの命令により、メモリ201上の出力符号が通信インターフェース203を通じてクライアント105へ送信される。
以下、本発明に係る符号処理装置100のいくつか実施例について説明する。なお、以下の説明において、原符号としてJPEG2000の符号を想定し、また、符号処理装置100はサーバとして動作する場合を想定する。
本実施例に係る符号処理装置100の動作の概略を、図10のフローチャートに沿って説明する。
まず、クライアント105より送信要求を受信する(step100)。送信要求には、符号の指定、領域の指定、画質の指定が含まれる。符号の指定はどの画像の符号を要求するのかの指定である。領域の指定は、画像のどの領域の符号を要求するのかの指定であり、ここでは画像全域を指定されたものとする。画像の一部領域が指定された場合には、その領域に対応したプレシンクトの符号のみを対象にして以下に説明するようなパケットの選択が行われる。画質の指定は、どのような画質の符号を要求するかを指定するもので、ここでは0〜100の範囲の値をとり得る画質指定値(quality値)が指定されるものとする。以上は後記の各実施例についても同様とする。
本実施例においては、異なる画質レベルの画質属性を持つ部分符号、すなわち、ここでは異なるレイヤのパケットについては、上位(低画質側)のレイヤのパケットほど優先させるようにパケットの序列付けが行われる。同じ画質レベルの画質属性を持つ部分符号、すなわち、ここでは同一レイヤ内のパケットについては、基本的に低い解像度レベルの解像度属性を持つパケットほど優先させるように序列付けが行われる。
本実施例においては、パケットの序列付けにコンポーネント毎の視覚周波数特性を反映させるため、JPEG2000で規定されているVisual Weight(サブバンド毎の符号の重要度を表す量)を用いる。Visual Weightは画像に対する観察距離ごとに算出され、JPEG2000の標準書には3つの観察距離(1000、1700、3000)のVisual Weightが例示されている(これらのweightは9x7変換用の非可逆色変換ICTを対象として規定されたものであるが、適宜換算することにより5x3変換用の可逆色変換RCTに流用することも可能である)。
本実施例では、まず序列付けにどの観察距離のVisual Weightを用いるかを決定する(step101)。その詳細は後述する。
次に、前ステップで選ばれたVisual Weightに基づいてパケットの序列付けを行う(step102)。その詳細は後述する。
次に、quality値(画質指定値)に対応した出力符号に含めるべきパケットを序列に従って選択する(step103)。その詳細は後述する。
次に、前ステップで選択された原符号のパケットからなる出力符号を形成する(step104)。その詳細は後述する。
最後に、形成された出力符号を、通信のためのヘッダ情報等とともにクライアント105へ送信する(step105)。これで一連の動作が終了する。
ステップstep101についてさらに説明する。実験的には、符号の圧縮率や量子化誤差が小さいほど観察距離の小さいVisual Weightを適用し、圧縮率や量子化誤差が大きいほど観察距離の大きいVisual Weightを適用すると、主観画質が向上することが確認されている。原符号の量子化誤差が小さければ、原符号の一部パケットから構成される出力符号の量子化誤差も相対的に小さいと言える。そこで、本実施例においては、原符号の圧縮率に応じて、例えば図11に示すような対応関係に従って、使用するVisual Weightを選択する。すなわち、原符号の圧縮率が20未満ならば観察距離1000のものを、圧縮率が20以上で40未満ならば観察距離1700のもの、圧縮率が40以上ならば観察距離3000のものを選択する。なお、原符号の量子化誤差に応じてVisual Weightを選択するようにしてもよく、かかる態様も本発明に包含される。ただし、圧縮率は原符号のメインヘッダ情報のみから容易に把握することができるため、圧縮率に応じてVisual Weightを選ぶ方法のほうが一般に有利であろう。
ここで、原符号のデコンポジションレベル数を2と想定すると、コンポーネント毎の観察距離1000,1700,1000のVisual Weightの概略値は図12,図13及び図14の左列にそれぞれ示すような値となる。
次に、ステップstep102についてさらに説明する。例えば図12の左列に示す各コンポーネントのVisual Weightについて見ると、LLサブバンドのVisual WeightはY,Cb,Crとも差はない。しかし、LL以外のサブバンドについては、全体としてVisual WeightはY>Cr>Cbの大小関係が認められるため、図12の右列に示すように、LLサブバンドのパケット(解像度レベル0)については、Yコンポーネントのパケットを優先順1、Crコンポーネントのパケットを優先順2,Cbコンポーネントのパケットの優先順3と序列付けする。
解像度レベル1以上のパケットについては、それを構成するHL、LH、HHサブバンドのVisual Weightの平均値や最大値による比較、あるいはHL,LHサブバンドのVisual Weightだけをを用いた比較により序列付けを行うことができる。ここでは、パケットを構成するHL、LH、HHサブバンドのVisual Weightの平均値によって、図12の右列に示すように序列付けするものとする。
観察距離1700,3000のVisual Weightに基づいて同様に決定された序列を図13及び図14の右列にそれぞれ示す。
なお、原符号が複数レイヤからなる場合には、低画質側から高画質側へ向かって、すなわち、最上位レイヤから下位レイヤに向かって、各レイヤのパケットに対して上に述べたような優先順による序列付けを順次行う。当然、上位レイヤのパケットに対し下位レイヤのパケットの序列は劣後したものとなる。また、言うまでもないことであるが、解像度レベル3以上のパケットを含む符号の場合には、デコンポジションレベル3以上のvisual Weightも序列付けに利用される。
次にステップstep103についてさらに説明する。ここでは、図16に示すようなデコンポジションレベル数2の1レイヤ構成の原符号を想定する。この原符号は、RGB画像に対して非可逆色変換を適用してY、Cb、Crの3つのコンポ−ネントを得て、各コンポ−ネントに9x7変換を適用し、僅かな線形量子化の後、全てのビットプレーンをトランケートすることなく符号形成したものであり、非常に量子化誤差の小さい(圧縮率が20未満の)符号である。なお、図4に示した例と同様、プリシンクトサイズ=サブバンドサイズである。図16において、便宜のためパケットに0から8の番号が付してある。
ステップstep103では、quality値に対応した画質の出力符号に含めるべきパケットを選択するが、本実施例では、図15に示すようなquality値と選択すべきパケットの序列の対応関係に基づいて、序列の順に従ってパケットを選択する。当然のことながら、quality値が大きいほど(指定された画質が高いほど)選択されるパケット数は増加する。なお、図15は図16の原符号を想定したもので、原符号のデコンポジション数やレイヤ数が異なれば、quality値と選択すべきパケットの関係は異なったものとなる。
ここで想定している図16の原符号の場合、圧縮率が20未満であるので、ステップstep101で観察距離1000のVisual Weightが選択される。したがって、ステップstep102の序列付け処理によって各パケットの優先順は図16に記したようなものとなる。個々のコンポーネントのパケットについて見れば、低い解像度レベルのパケットほど優先順は早い。しかし、コンポーネント間で比較すると、同じ解像度レベルのパケットでも、Y,Cr,Cbの順に序列付けされ、また、例えばCb,Crのパケット4,7は、それより高い解像度レベルのYのパケット2に劣後した序列が付けられている。これは、コンポーネント毎の視覚周波数特性が序列付けに反映されたからである。
quality値が60の場合、図15より優先順1〜6のパケットが選択される。すなわち、本例の場合には、ステップstep103により図17に示すパケットが選択されることになる。なお、先に言及したように、原符号が複数レイヤの符号である場合には、上位レイヤ(低画質側)のパケットより、序列に従ってパケットが順に選択されることになる。
ステップstep104についてさらに説明する。このステップでは、前ステップで選択されたパケットから出力符号を形成するが、JPEG2000の符号フォーマットに準拠した形に出力符号を整形する必要があるときには、パケットの欠けた位置に空のパケット(具体的にはビット0)を付加し、パケットに先だって付してあるタイルパートヘッダ中のパケット長に関するマーカ(PLTマーカ)を修正する。符号のメインヘッダ自体は通常そのまま使用可能である。例えば図17に示したパケットが選択された場合には、図18に示すように空のパケット(4,5,8)を付加する。
なお、出力符号は必ずしもJPEG2000の符号フォーマットに準拠した整った符号(所謂タイルパート)にしなくともよい。JPIPの場合、整った符号フォーマットを送る場合だけでなく、パケットに適宜ID情報を付してパケット単位で送信する場合もあるからである。このような場合、ステップstep104では、空パケットは付加せず、出力符号中の各パケットに当該パケット(プリシンクト)を特定するためのIDを付ける。
以上の説明から明らかなように、本実施例は請求項7記載の発明の一実施例であり、ステップstep101,step102が序列付け手段に対応し、ステップstep103がパケット選択手段に対応し、ステップstep104が符号形成手段に対応する。また、本実施例は請求項1,4記載の発明の一実施例でもあることは明らかであり、ステップstep101,step102が序列付け手段に対応し、ステップstep103が部分符号選択手段に対応し、ステップstep104が符号形成手段に対応する。また、本実施例は請求項14記載の発明の一実施例でもあり、ステップstep101〜step104が第1〜第4の工程に対応する。
本実施例に係る符号処理装置100の動作は図10のフローチャートに示す通りであり、ステップstep101における動作が前記実施例1と異なる。他のステップの動作は前記実施例1と同様である。
本実施例に係る符号処理装置100は、ステップstep101で、図19に示すquality値と選択するvisual weightとの対応関係に従い、quality値に応じた観察距離のVisual Weightを選択する。すなわち、quality値が34以下ならば観察距離3000のVisual Weightを選択し、quality値が35〜69ならば観察距離1700のVisual Weightを選択し、またquality値が70以上ならば観察距離1000のVisual Weightを選択する。
本実施例は8記載の一実施例であり、ステップstep101,step102が序列付け手段に対応し、ステップstep103がパケット選択手段に対応し、ステップstep104が符号形成手段に対応する。また、本実施例は請求項1,5記載の発明の一実施例でもあることは明らかであり、ステップstep101,step102が序列付け手段に対応し、ステップstep103が部分符号選択手段に対応し、ステップstep104が符号形成手段に対応する。また、本実施例は請求項15記載の発明の一実施例でもあり、ステップstep101〜step104が第1〜第4の工程に対応する。
本実施例に係る符号処理装置100の動作は図10のフローチャートに示す通りであり、ステップ101における動作が前記実施例1と異なる。他のステップの動作は前記実施例1と同様である。
本実施例に係る符号処理装置100は、ステップstep101で、図20に示すquality値及び原符号の圧縮率と選択するvisual weightとの対応関係に従い、quality値及び圧縮率に応じた観察距離のVisual Weightを選択する。
なお、原符号の圧縮率に代えて量子化誤差を用いることも可能であり、かかる態様も本発明に包含される。
本実施例は請求項9記載の発明の一実施例であり、ステップstep101,step102が序列付け手段に対応し、ステップstep103がパケット選択手段に対応し、ステップstep104が符号形成手段に対応する。また、本実施例は請求項1,6記載の発明の一実施例でもあることは明らかであり、ステップstep101,step102が序列付け手段に対応し、ステップstep103が部分符号選択手段に対応し、ステップstep104が符号形成手段に対応する。また、本実施例は請求項16記載の発明の一実施例でもあり、ステップstep101〜step104が第1〜第4の工程に対応する。
本実施例に係る符号処理装置100の動作を、図21のフローチャートに沿って説明する。
まず、クライアント105より送信要求を受信する(step200)。送信要求には、符号の指定、領域の指定、画質の指定が含まれる。前記実施例1の場合と同様に、領域の指定は画像全域を指定するものとし、また、画質の指定は0〜100の範囲の値をとり得る画質指定値(quality値)が指定されるものとする。
なお、本実施例では、図24に示すようなデコンポジション数2、4レイヤ構成の原符号を想定するものとする。
本実施例においては、全てのレイヤを対象にしてパケットの序列付けを行うのではなく、quality値に応じて決まる特定のレイヤの下位側(高画質側)の次位レイヤのパケットに対してのみ、コンポーネント毎の視覚周波数特性を反映させた序列付けを行う。
まず、図22に示すquality値と選択すべきレイヤの関係に従い、quality値に応じてレイヤを選択する(step201)。図22では、quality値が0〜25の区間ならばレイヤは選択しない、quality値が26〜50の区間ならレイヤ0を選択する、等々である。なお、図22に示す関係は、原符号のレイヤ数などが異なれば違ったものとなる。
次に、序列付けに用いるVisual Weightを選択する(step202)。本実施例では、前記実施例1と同様に、図11に示す関係に従い、原符号の圧縮率に応じた観察距離のvisual Weightを選択する。なお、原符号の圧縮率に代えて量子化誤差を用いることも可能であり、かかる態様も本発明に包含される。
次に、ステップstep201で選択されたレイヤの次位レイヤ(選択されなかったレイヤ中の最も上位のレイヤ)のパケットについて、ステップstep202で選択されたVisual Weightを用いた前記実施例1と同様の序列付けを行う(step203)。
例えば、quality値=60が指定された場合、図22に従って、レイヤ0,1が選択され、次位のレイヤ2のパケットに対しVisual weightに基づいた序列付けが行われる。この序列付けの結果を図25に示す。
序列付けが終わると、出力符号に含めるべきパケットを選択する(step204)。このステップでは、まず、ステップstep201で選択されたレイヤの全パケットが選択される。
次に、ステップstep201で選択されたレイヤの次位レイヤのパケットの中から序列の順に必要数のパケットが選択される。本実施例では、指定されたquality値と、当該quality値の属する区間の下限値との差分
quality_rest=quality-int(quality/25)*25
が算出され、このquality_rest値に応じて図23に示す関係により決まる優先順までのパケットが選択される。例えばquality値が60の場合、guality_rest値は10となり、図23より優先順1〜4のパケットが選択される。
したがって、quality値=60の場合、図26に示すように、レイヤ0,1の全パケットと、レイヤ2のパケット6,7(Y)、パケット18(Cb)、パケット30(Cr)が出力符号に含めるべきパケットとして選択される。
以上のように、本実施例では、quality値に対応した画質を超えない範囲でレイヤ単位(画質単位)でパケットを選択し、次位のレイヤよりquality値に対応した画質を得るために必要な数のパケットを序列の順に選択するわけである。
次に、ステップstep204で選択された原符号のパケットからなる出力符号を形成する(step205)。この処理の詳細は図10のステップstep104に関連して述べた通りである。最後に、形成された出力符号を、通信のためのヘッダ情報等とともにクライアント105へ送信する(step206)。これで一連の動作が終了する。
本実施例は請求項10記載の発明の一実施例であり、ステップstep201〜203は序列付け手段に対応し、ステップstep204はパケット選択手段に対応し、ステップstep205は符号形成手段に対応する。本実施例は請求項2,4記載の発明の一実施例でもあり、ステップstep201〜203は序列付け手段に対応し、ステップstep204は部分符号選択手段に対応し、ステップ205は符号形成手段に対応する。また、本実施例は請求項17記載の発明の一実施例でもあり、ステップstep201〜205は第1〜第5の工程に対応する。
本実施例に係る符号処理装置100の動作は図21のフローチャートに示す通りであり、ステップstep202における動作が前記実施例4と異なる。他のステップの動作は前記実施例4と同様である。
本実施例に係る符号処理装置100は、ステップstep202で、図19に示すquality値と選択するvisual weightとの対応関係に従い、quality値に応じた観察距離のVisual Weightを選択する。
本実施例は請求項11記載の発明の一実施例であり、ステップstep201〜203は序列付け手段に対応し、ステップstep204はパケット選択手段に対応し、ステップstep205は符号形成手段に対応する。本実施例は請求項2,5記載の発明の一実施例でもあり、ステップstep201〜203は序列付け手段に対応し、ステップstep204は部分符号選択手段に対応し、ステップ205は符号形成手段に対応する。また、本実施例は請求項18記載の発明の一実施例でもあり、ステップstep201〜205は第1〜第5の工程に対応する。
本実施例に係る符号処理装置100の動作は図21のフローチャートに示す通りであり、ステップstep202における動作が前記実施例1と異なる。他のステップの動作は前記実施例4と同様である。
本実施例に係る符号処理装置100は、ステップstep202で、図20に示すquality値及び原符号の圧縮率と選択するvisual weightとの対応関係に従い、quality値及び圧縮率に応じた観察距離のVisual Weightを選択する。
なお、原符号の圧縮率に代えて量子化誤差を用いることも可能であり、かかる態様も本発明に包含される。
本実施例は請求項12記載の発明の一実施例であり、ステップstep201〜203は序列付け手段に対応し、ステップstep204はパケット選択手段に対応し、ステップstep205は符号形成手段に対応する。本実施例は請求項2,6記載の発明の一実施例でもあり、ステップstep201〜203は序列付け手段に対応し、ステップstep204は部分符号選択手段に対応し、ステップ205は符号形成手段に対応する。また、本実施例は請求項19記載の発明の一実施例でもあり、ステップstep201〜205は第1〜第5の工程に対応する。
以上に説明した本発明の実施の形態では原符号としてJPEG2000の符号が用いられたが、一例にすぎないものである。原符号は、画質属性及び解像度属性を持つ部分符号の集合からなり、一部の部分符号を取り出して別の符号を形成可能な形式の符号であるならば、JPEG2000以外の符号化フォーマットの符号であってもよい。
JPEG2000の符号処理を説明するためのブロック図である。 画像、タイル、サブバンド、プリシンクト、コードブロックの関係を示す図である。 デコンポジションレベルと解像度レベルの関係を示す図である。 レイヤとパケットの例を示す図である。 JPEG2000のプログレッションオーダの説明図である。 レイヤプログレッシブ符号の概要を示す図である。 LRCPプログレッションのパケット配列例を示す図である。 本発明の実施の形態を説明するためのブロック図である。 符号処理装置を実現するためのコンピュータのブロック図である。 実施例1〜3の説明のためのフローチャートである。 圧縮率と選択されるVisual Weightの対応関係の例を示す図である。 観察距離1000のVisual Weightの概略値とパケットの優先順の例を示す図である。 観察距離1700のVisual Weightの概略値とパケットの優先順の例を示す図である。 観察距離3000のVisual Weightの概略値とパケットの優先順の例を示す図である。 quality値と選択すべきパケットの優先順の対応関係の例を示す図である。 原符号の一例を示す図である。 パケット選択の例を示す図である。 整形された出力符号の例を示す図である。 quality値と選択されるVisual Weightの対応関係の例を示す図である。 quality値及び原符号の圧縮率と選択されるvisual Weightの対応関係の例を示す図である。 実施例4〜6の説明のためのフローチャートである。 quality値と選択されるレイヤの対応関係の例を示す図である。 quality_restと選択すべきパケットの優先順の対応関係の例を示す図である。 原符号の一例を示す図である。 図24の原符号のレイヤ2のパケットに対する序列付けの例を示す図である。 図24の原符号のパケット選択の例を示す図である。
符号の説明
100 符号処理装置(サーバ)
101 原符号記憶部
102 処理部
103 通信部
104 通信路
105 クライアント

Claims (21)

  1. 画質属性及び解像度属性を持つ部分符号の集合からなる原符号から、画質指定値に対応した画質の出力符号を生成する符号処理装置であって、
    前記原符号の部分符号に対し、異なる画質レベルの画質属性を持つ部分符号間では低い画質レベルの画質属性を持つ部分符号を優先し、かつ、同一の画質レベルの画質属性を持つ部分符号間では低い解像度レベルの解像度属性を持つ部分符号を優先して序列を付ける序列付け手段と、
    前記原符号より、前記出力符号に含めるべき部分符号を前記序列付け手段により付けられた序列の順に選択する部分符号選択手段と、
    前記部分符号選択手段により選択された部分符号からなる前記出力符号を形成する符号形成手段とを有することを特徴とする符号処理装置。
  2. 画質属性及び解像度属性を持つ部分符号の集合からなる原符号から、画質指定値に対応した画質の出力符号を生成する符号処理装置であって、
    前記原符号の、前記画質指定値により決まる特定の画質レベルの高画質側の次画質レベルの画質属性を持つ部分符号に対し、低い解像度レベルの解像度属性を持つ部分符号を優先して序列を付ける序列付け手段と、
    前記原符号より、前記出力符号に含めるべき部分符号として、前記特定の画質レベル以下の画質属性を持つ全ての部分符号を選択するとともに、前記次画質レベルの画質属性を持つ部分符号を前記序列付け手段により付けられた序列の順に選択する部分符号選択手段と、
    前記部分符号選択手段により選択された部分符号からなる前記出力符号を形成する符号形成手段とを有することを特徴とする符号処理装置。
  3. 前記原符号が複数のコンポーネントで構成される場合、
    前記序列付け手段は、解像度属性による部分符号の序列付けに各コンポーネントの視覚周波数特性を反映させることを特徴とする請求項1又は2記載の符号処理装置。
  4. 前記序列付け手段は、解像度属性による部分符号の序列付けに反映させる各コンポーネントの視覚周波数特性を前記原符号の圧縮率もしくは量子化誤差に応じて切り替えることを特徴とする請求項3記載の符号処理装置。
  5. 前記序列付け手段は、解像度属性による部分符号の序列付けに反映させる各コンポーネントの視覚周波数特性を前記画質指定値に応じて切り替えることを特徴とする請求項3記載の符号処理装置。
  6. 前記序列付け手段は、解像度属性による部分符号の序列付けに反映させる各コンポーネントの視覚周波数特性を前記画質指定値と前記原符号の圧縮率もしくは量子化誤差とに応じて切り替えることを特徴とする請求項3記載の符号処理装置。
  7. 複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理装置であって、
    前記原符号の最上位レイヤより最下位レイヤへ向かって、各レイヤのパケットに、前記原符号の圧縮率もしくは量子化誤差に応じて選択したVisual Weightに基づいて序列を付ける序列付け手段と、
    前記原符号より、前記出力符号に含めるべきパケットを、前記序列付け手段により付けられた序列の順に選択するパケット選択手段と、
    前記パケット選択手段により選択されたパケットからなる前記出力符号を形成する符号形成手段とを有することを特徴とする符号処理装置。
  8. 複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理装置であって、
    前記原符号の最上位レイヤより最下位レイヤへ向かって、各レイヤのパケットに、前記画質指定値に応じて選択したVisual Weightに基づいて序列を付ける序列付け手段と、
    前記原符号より、前記出力符号に含めるべきパケットを、前記序列付け手段により付けられた序列の順に選択するパケット選択手段と、
    前記パケット選択手段により選択されたパケットからなる前記出力符号を形成する符号形成手段とを有することを特徴とする符号処理装置。
  9. 複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理装置であって、
    前記原符号の最上位レイヤより最下位レイヤへ向かって、各レイヤのパケットに、前記原符号の圧縮率もしくは量子化誤差と前記画質指定値とに応じて選択したVisual Weightに基づいて序列を付ける序列付け手段と、
    前記原符号より、前記出力符号に含めるべきパケットを前記序列付け手段により付けられた序列の順に選択するパケット選択手段と、
    前記パケット選択手段により選択されたパケットからなる前記出力符号を形成する符号形成手段とを有することを特徴とする符号処理装置。
  10. 複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理装置であって、
    前記画質指定値により決まる前記原符号の特定のレイヤの下位側の次位レイヤのパケットに、前記原符号の圧縮率もしくは量子化誤差に応じて選択したVisual Weightに基づき序列を付ける序列付け手段と、
    前記原符号より、前記出力符号に含めるべきパケットとして、前記特定レイヤ及びそれより上位のレイヤの全てのパケットを選択するとともに、前記次位レイヤのパケットを前記序列付け手段により付けられた序列の順に選択するパケット選択手段と、
    前記パケット選択手段により選択されたパケットからなる前記出力符号を形成する符号形成手段とを有することを特徴とする符号処理装置。
  11. 複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理装置であって、
    前記画質指定値により決まる前記原符号の特定のレイヤの下位側の次位レイヤのパケットに、前記画質指定値に応じて選択したVisual Weightに基づき序列を付ける序列付け手段と、
    前記原符号より、前記出力符号に含めるべきパケットとして、前記特定レイヤ及びそれより上位のレイヤの全てのパケットを選択するとともに、前記次位レイヤのパケットを前記序列付け手段により付けられた序列の順に選択するパケット選択手段と、
    前記パケット選択手段により選択されたパケットからなる前記出力符号を形成する符号形成手段とを有することを特徴とする符号処理装置。
  12. 複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理装置であって、
    前記画質指定値により決まる前記原符号の特定のレイヤの下位側の次位レイヤのパケットに、前記原符号の圧縮率もしくは量子化誤差と前記画質指定値とに応じて選択したVisual Weightに基づき序列を付ける序列付け手段と、
    前記原符号より、前記出力符号に含めるべきパケットとして、前記特定レイヤ及びそれより上位のレイヤの全てのパケットを選択するとともに、前記次位レイヤのパケットを前記序列付け手段により付けられた序列の順に選択するパケット選択手段と、
    前記パケット選択手段により選択されたパケットからなる前記出力符号を形成する符号形成手段とを有することを特徴とする符号処理装置。
  13. 外部装置より前記画質指定値を受信し、かつ、前記符号形成手段により形成された前記出力符号を前記外部装置へ送信する通信手段を有することを特徴とする請求項1乃至12のいずれか1項記載の符号処理装置。
  14. 複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理方法であって、
    前記原符号の圧縮率もしくは量子化誤差に応じてVisual Weightを選択する第1の工程と、
    前記原符号の最上レイヤから最下位レイヤへ向かって、各レイヤのパケットに、前記第1の工程によって選択されたVisual Weightに基づいて序列を付ける第2の工程と、
    前記原符号より、前記出力符号に含めるべきパケットを前記第2の工程により付けられた序列の順に選択する第3の工程と、
    前記第3の工程により選択されたパケットからなる前記出力符号を形成する第4の工程とを有することを特徴とする符号処理方法。
  15. 複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理方法であって、
    前記画質指定値に応じてVisual Weightを選択する第1の工程と、
    前記原符号の最上位レイヤから最下位レイヤへ向かって、各レイヤのパケットに、前記第1の工程によって選択されたVisual Weightに基づいて序列を付ける第2の工程と、
    前記原符号より、前記出力符号に含めるべきパケットを前記第2の工程により付けられた序列の順に選択する第3の工程と、
    前記第3の工程により選択されたパケットからなる前記出力符号を形成する第4の工程とを有することを特徴とする符号処理方法。
  16. 複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理方法であって、
    前記原符号の圧縮率もしくは量子化誤差と前記画質指定値とに応じてVisual Weightを選択する第1の工程と、
    前記原符号の最上レイヤから最下位レイヤへ向かって、各レイヤのパケットに、前記第1の工程によって選択されたVisual Weightに基づいて序列を付ける第2の工程と、
    前記原符号より、前記出力符号に含めるべきパケットを前記第2の工程により付けられた序列の順に選択する第3の工程と、
    前記第3の工程により選択されたパケットからなる前記出力符号を形成する第4の工程とを有することを特徴とする符号処理方法。
  17. 複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理方法であって、
    前記画質指定値に従ってレイヤを選択する第1の工程と、
    前記原符号の圧縮率もしくは量子化誤差に応じてVisual Weightを選択する第2の工程と、
    前記原符号の前記第1の工程により選択されたレイヤの下位側の次位レイヤのパケットに、前記第2の工程によって選択されたVisual Weightに基づいて序列を付ける第3の工程と、
    前記原符号より、前記出力符号に含めるべきパケットとして、前記第1の工程により選択されたレイヤの全てのパケットを選択するとともに、前記第1の工程により選択されレイヤの下位側の次位レイヤのパケットを前記第3の工程により付けられた序列の順に選択する第4の工程と、
    前記第4の工程により選択されたパケットからなる前記出力符号を形成する第5の工程とを有することを特徴とする符号処理方法。
  18. 複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理方法であって、
    前記原符号の画質指定値に従ってレイヤを選択する第1の工程と、
    前記画質指定値に応じてVisual Weightを選択する第2の工程と、
    前記原符号の前記第1の工程により選択されたレイヤの下位側の次位レイヤのパケットに、前記第2の工程によって決定されたVisual Weightに基づいて序列を付ける第3の工程と、
    前記原符号より、前記出力符号に含めるべきパケットとして、前記第1の工程により選択されたレイヤの全てのパケットを選択するとともに、前記第1の工程により選択されレイヤの下位側の次位レイヤのパケットを前記第3の工程により付けられた序列の順に選択する第4の工程と、
    前記第4の工程により選択されたパケットからなる前記出力符号を形成する第5の工程とを有することを特徴とする符号処理方法。
  19. 複数コンポーネントからなるJPEG2000の原符号から、画質指定値に対応した画質の出力符号を生成する符号処理方法であって、
    前記原符号の画質指定値に従ってレイヤを選択する第1の工程と、
    前記原符号の圧縮率もしくは量子化誤差と前記画質指定値とに応じてVisual Weightを選択する第2の工程と、
    前記原符号の前記第1の工程により選択されたレイヤの下位側の次位レイヤのパケットに、前記第2の工程によって選択されたVisual Weightに基づいて序列を付ける第3の工程と、
    前記原符号より、前記出力符号に含めるべきパケットとして、前記第1の工程により選択されたレイヤの全てのパケットを選択するとともに、前記第1の工程により選択されレイヤの下位側の次位レイヤのパケットを前記第3の工程により付けられた序列の順に選択する第4の工程と、
    前記第4の工程により選択されたパケットからなる前記出力符号を形成する第5の工程とを有することを特徴とする符号処理方法。
  20. コンピュータの記憶装置に記憶されている原符号から画質指定値に応じた画質の出力符号を生成するために、請求項14乃至19のいずれか1項記載の各工程を前記コンピュータに実行させるプログラム。
  21. 請求項20記載のプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。
JP2005003710A 2005-01-11 2005-01-11 符号処理装置、符号処理方法、プログラム及び情報記録媒体 Expired - Fee Related JP4530274B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005003710A JP4530274B2 (ja) 2005-01-11 2005-01-11 符号処理装置、符号処理方法、プログラム及び情報記録媒体
US11/331,369 US7697767B2 (en) 2005-01-11 2006-01-11 Code processing device, code processing method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005003710A JP4530274B2 (ja) 2005-01-11 2005-01-11 符号処理装置、符号処理方法、プログラム及び情報記録媒体

Publications (2)

Publication Number Publication Date
JP2006196968A true JP2006196968A (ja) 2006-07-27
JP4530274B2 JP4530274B2 (ja) 2010-08-25

Family

ID=36652725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005003710A Expired - Fee Related JP4530274B2 (ja) 2005-01-11 2005-01-11 符号処理装置、符号処理方法、プログラム及び情報記録媒体

Country Status (2)

Country Link
US (1) US7697767B2 (ja)
JP (1) JP4530274B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4530274B2 (ja) * 2005-01-11 2010-08-25 株式会社リコー 符号処理装置、符号処理方法、プログラム及び情報記録媒体
JP4789192B2 (ja) 2006-04-12 2011-10-12 株式会社リコー 符号処理装置、プログラム及び情報記録媒体
US8194760B2 (en) * 2006-06-01 2012-06-05 Ntt Docomo, Inc. Method and apparatus for distributed space-time coding in wireless radio networks
US8027407B2 (en) * 2006-11-06 2011-09-27 Ntt Docomo, Inc. Method and apparatus for asynchronous space-time coded transmission from multiple base stations over wireless radio networks
US8059732B2 (en) * 2006-11-28 2011-11-15 Ntt Docomo, Inc. Method and apparatus for wideband transmission from multiple non-collocated base stations over wireless radio networks
US8861356B2 (en) * 2007-03-13 2014-10-14 Ntt Docomo, Inc. Method and apparatus for prioritized information delivery with network coding over time-varying network topologies
US8064548B2 (en) * 2007-05-18 2011-11-22 Ntt Docomo, Inc. Adaptive MaxLogMAP-type receiver structures
US20090285323A1 (en) * 2008-05-15 2009-11-19 Sundberg Carl-Erik W Adaptive soft output m-algorithm receiver structures
US20080304590A1 (en) * 2007-06-06 2008-12-11 Sundberg Carl-Erik W Method and apparatus for transmission from multiple non-collocated base stations over wireless radio networks
US20090075686A1 (en) * 2007-09-19 2009-03-19 Gomadam Krishna S Method and apparatus for wideband transmission based on multi-user mimo and two-way training
US8325840B2 (en) * 2008-02-25 2012-12-04 Ntt Docomo, Inc. Tree position adaptive soft output M-algorithm receiver structures
US8279954B2 (en) * 2008-03-06 2012-10-02 Ntt Docomo, Inc. Adaptive forward-backward soft output M-algorithm receiver structures
GB0808032D0 (en) * 2008-05-02 2008-06-11 British Telecomm Graphical data processing
JP5167944B2 (ja) * 2008-05-15 2013-03-21 株式会社リコー 情報処理装置、情報処理方法、プログラム及び記録媒体
US8565329B2 (en) * 2008-06-03 2013-10-22 Ntt Docomo, Inc. Soft output M-algorithm receiver structures with generalized survivor selection criteria for MIMO systems
US8229443B2 (en) * 2008-08-13 2012-07-24 Ntt Docomo, Inc. Method of combined user and coordination pattern scheduling over varying antenna and base-station coordination patterns in a multi-cell environment
US8451951B2 (en) * 2008-08-15 2013-05-28 Ntt Docomo, Inc. Channel classification and rate adaptation for SU-MIMO systems
US8705484B2 (en) * 2008-08-15 2014-04-22 Ntt Docomo, Inc. Method for varying transmit power patterns in a multi-cell environment
US8542640B2 (en) * 2008-08-28 2013-09-24 Ntt Docomo, Inc. Inter-cell approach to operating wireless beam-forming and user selection/scheduling in multi-cell environments based on limited signaling between patterns of subsets of cells
US8855221B2 (en) * 2008-09-15 2014-10-07 Ntt Docomo, Inc. Method and apparatus for iterative receiver structures for OFDM/MIMO systems with bit interleaved coded modulation
TW201014926A (en) * 2008-10-15 2010-04-16 Nat Univ Tsing Hua Method for producing metallic oxide film having high dielectric constant
US9048977B2 (en) * 2009-05-05 2015-06-02 Ntt Docomo, Inc. Receiver terminal driven joint encoder and decoder mode adaptation for SU-MIMO systems
US20110063846A1 (en) * 2009-09-14 2011-03-17 Alexander Rizkin Extended source light module
US8514961B2 (en) * 2010-02-04 2013-08-20 Ntt Docomo, Inc. Method and apparatus for distributed space-time coding in wireless radio networks

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004112760A (ja) * 2002-07-23 2004-04-08 Ricoh Co Ltd 画像記録装置及び画像データ選択方法
JP2004208266A (ja) * 2002-07-03 2004-07-22 Ricoh Co Ltd 画像通信方法及びシステム
JP2004289333A (ja) * 2003-03-20 2004-10-14 Ricoh Co Ltd データ処理装置、データ処理方法、プログラム及び記録媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205786A (ja) 1997-12-25 1999-07-30 Hewlett Packard Co <Hp> 動画データの格納形式、動画データ転送システム、動画表示方法および記憶媒体
US7035473B1 (en) 2000-03-01 2006-04-25 Sharp Laboratories Of America, Inc. Distortion-adaptive visual frequency weighting
US7581027B2 (en) 2001-06-27 2009-08-25 Ricoh Co., Ltd. JPEG 2000 for efficent imaging in a client/server environment
AU2003213439A1 (en) * 2002-03-08 2003-09-22 Nippon Telegraph And Telephone Corporation Digital signal encoding method, decoding method, encoding device, decoding device, digital signal encoding program, and decoding program
JP4349816B2 (ja) * 2003-02-17 2009-10-21 株式会社リコー 画像処理装置、画像圧縮装置、画像処理方法、画像圧縮方法、プログラム、及び記録媒体
JP2004248152A (ja) * 2003-02-17 2004-09-02 Ricoh Co Ltd 画像圧縮装置、画像伸張装置、画像圧縮方法、画像伸張方法、プログラム、及び記録媒体
JP4530274B2 (ja) * 2005-01-11 2010-08-25 株式会社リコー 符号処理装置、符号処理方法、プログラム及び情報記録媒体
US7467222B2 (en) * 2006-05-12 2008-12-16 Shutterfly, Inc. Image ranking for imaging products and services
US8001445B2 (en) * 2007-08-13 2011-08-16 Provigent Ltd. Protected communication link with improved protection indication

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004208266A (ja) * 2002-07-03 2004-07-22 Ricoh Co Ltd 画像通信方法及びシステム
JP2004112760A (ja) * 2002-07-23 2004-04-08 Ricoh Co Ltd 画像記録装置及び画像データ選択方法
JP2004289333A (ja) * 2003-03-20 2004-10-14 Ricoh Co Ltd データ処理装置、データ処理方法、プログラム及び記録媒体

Also Published As

Publication number Publication date
US7697767B2 (en) 2010-04-13
JP4530274B2 (ja) 2010-08-25
US20060152391A1 (en) 2006-07-13

Similar Documents

Publication Publication Date Title
JP4530274B2 (ja) 符号処理装置、符号処理方法、プログラム及び情報記録媒体
US7352908B2 (en) Image compression device, image decompression device, image compression/decompression device, program for executing on a computer to perform functions of such devices, and recording medium storing such a program
JP4490261B2 (ja) イントラ符号化に基づく空間予測
US7970220B2 (en) Image processing apparatus and method for performing decoding process on coded data of motion picture based on a plurality of attributes thereof
US20090007019A1 (en) Image processing device, image processing method, and computer program product
US20050041873A1 (en) Image processing system that internally transmits lowest-resolution image suitable for image processing
JP4151963B2 (ja) 画像サーバ装置、クライアント装置、動画像配信方法、プログラム、及び、情報記録媒体
JP5167944B2 (ja) 情報処理装置、情報処理方法、プログラム及び記録媒体
JP2003169333A (ja) 符号列作成装置、画像伸長システム、画像伸長装置、画像提供システム、符号列作成方法、プログラム及び記録媒体
US7721971B2 (en) Image processing system, image processing method and computer readable information recording medium
US7865028B2 (en) Code processing apparatus and code processing method
US7643700B2 (en) Processing of coded data according to user preference
US7433523B2 (en) Image browsing device acquiring coded data for saving a displayed image from image data source
JPWO2004064405A1 (ja) 符号化方法及び復号化方法及び符号化装置及び復号化装置
US8135223B2 (en) Image processing apparatus and method of image processing
US20050169542A1 (en) Image processing apparatus, image processing method, program, and information recording medium
US6411222B1 (en) Method of signalling a structure of a code stream
JP4859014B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP2006086579A (ja) 画像処理装置、プログラム、及び記憶媒体
JP5081663B2 (ja) 符号化装置、符号変換装置、符号伸張装置、符号化方法、符号変換方法及び符号伸張方法
JP4688164B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP2005102184A (ja) 画像処理装置、画像処理システム、画像処理方法、プログラム、及び、記録媒体
JP4748672B2 (ja) 符号処理装置、プログラム及び情報記録媒体
AU760049B2 (en) A method of signalling a structure of a code stream
JP2004235935A (ja) 画像処理装置、画像形成装置、プログラムおよび記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100602

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100603

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees