JP2005101967A - 画像処理装置、画像処理プログラム、画像処理方法及びデータ変換のためのデータ構造 - Google Patents

画像処理装置、画像処理プログラム、画像処理方法及びデータ変換のためのデータ構造 Download PDF

Info

Publication number
JP2005101967A
JP2005101967A JP2003333856A JP2003333856A JP2005101967A JP 2005101967 A JP2005101967 A JP 2005101967A JP 2003333856 A JP2003333856 A JP 2003333856A JP 2003333856 A JP2003333856 A JP 2003333856A JP 2005101967 A JP2005101967 A JP 2005101967A
Authority
JP
Japan
Prior art keywords
image
data
gradation level
color data
reference color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003333856A
Other languages
English (en)
Other versions
JP3786108B2 (ja
Inventor
Koji Shiokawa
幸治 塩川
Tetsuhiro Shibata
哲宏 柴田
Mitsuru Okuzawa
充 奥澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Business Technologies Inc
Original Assignee
Konica Minolta Business Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Business Technologies Inc filed Critical Konica Minolta Business Technologies Inc
Priority to JP2003333856A priority Critical patent/JP3786108B2/ja
Priority to US10/770,576 priority patent/US20050078329A1/en
Publication of JP2005101967A publication Critical patent/JP2005101967A/ja
Application granted granted Critical
Publication of JP3786108B2 publication Critical patent/JP3786108B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

【課題】 オーバーレイ画像に下地画像が混色する不具合を解決してこれらの画像を合成することのできる画像処理装置、画像処理プログラム及び画像処理方法、並びに、これらに使用されるデータ変換のためのデータ構造を得る。
【解決手段】 下地画像10の上にオーバーレイ画像20を重ねて合成する画像処理装置、画像処理プログラム及び画像処理方法。オーバーレイ画像20の1単位画素の階調値がCMYK全てのプレーンにおいて0であれば、CMYK全てのプレーンの該当1単位画素の階調値を0に設定する。一方、オーバーレイ画像20の1単位画素の階調値がCMYKの少なくとも一つにおいて1以上であれば、階調値が0である他のプレーンの該当1単位画素の階調値を不可視階調値に設定すると共に、階調値が1以上のプレーンの該当1単位画素の階調値を元の値に保持させる。
【選択図】 図9

Description

本発明は、画像処理装置、画像処理プログラム、画像処理方法及びデータ変換のためのデータ構造、特に、下地画像の上にオーバーレイ画像を重ねて合成するための画像処理装置、画像処理プログラム及び画像処理方法、並びに、これらに使用されるデータ変換のためのデータ構造に関する。
近年、プリンタで印字するなどの目的で保持される画像データに関して、保持容量を小さくするために種々の画像データ圧縮方法が提案されている。また、二つないしそれ以上の画像を重ねる技術に関しても種々の方法が提案されている。
画像を重ねてプリントする実際上の要求としては、決められた下地画像(例えば、劇場のチケットの下地画像)の上に、適宜変更されるオーバーレイ画像(例えば、座席番号)を重ね合わせて順次プリントしていく差込み印刷などがある。
画像データとして一般的に使用されているのはビットマップデータ(以下、bmpデータと記す)であり、その圧縮方法としては、例えば、特許文献1,2,3,4に開示されているGBTC圧縮が知られている。GBTC圧縮とは、画像データを複数のブロックに分割して各ブロックごとにブロックを代表する階調レベルなどの統計的パラメータと、画素ごとの量子化レベルを符号化して固定長圧縮データを作成する方法である。
ところで、下地画像の上にオーバーレイ画像を重ね合わせて合成する場合、一般的に考えられる方法は、1単位画素ごとに、オーバーレイ画像の階調レベルが1以上であればオーバーレイ画像の画像データを採用し、オーバーレイ画像の階調レベルが0であれば下地画像の画像データを採用することである。
しかしながら、フルカラーの画像データにあっては色の三原色に黒を加えたCMYKの各基準色データから構成されているため、オーバーレイ画像のCMYKのいずれかの基準色データの1単位画素の階調レベルが0であれば、その基準色データの画素は下地画像の画像データ(基準色データ)に置き換えられてしまうことになる。即ち、混色といった問題点が発生する。
一方、特許文献4には、画像Aの上に画像Bを重ねて合成する方法が開示されている。この画像合成方法においては、上書きした部分画像Bのブロックデータのうちで、先に書き込まれた部分画像Aのブロックに完全に重なる部分は、そのブロックの符号データを完全に書き換える(文献4の段落番号0055参照)。
即ち、特許文献4に記載の画像合成方法では、上書きする画像Bを完全に優先させるため、画像Bの領域からは下の画像Aが消去されてしまう。このことは、仮に、画像A,Bのサイズが同じであれば、下の画像Aは完全に消去されてしまうことを意味する。
前記例示の如くチケットの差込み印刷において、下地画像の上に適宜必要とされるオーバーレイ画像を重ねる場合、両画像のサイズが同じであったり、オーバーレイ画像のサイズが比較的大きいと、特許文献4の合成方法では、下地画像の全てあるいは多くの部分が消去されてしまう不具合を生じる。
特開2003−46738号公報 特開平6−164950号公報 特開2002−271791号公報 特開平7−336675号公報
そこで、本発明の目的は、混色問題を解決して下地画像とオーバーレイ画像とを合成することのできる画像処理装置、画像処理プログラム及び画像処理方法、並びに、これらに使用されるデータ変換のためのデータ構造を提供することにある。
以上の目的を達成するため、第1の発明は、下地画像の上に複数の基準色データから構成されるカラーデータからなるオーバーレイ画像を重ねて合成する画像処理装置において、オーバーレイ画像の1単位画素の階調レベルが複数の基準色データの全てにおいて0であれば、複数の基準色データの全ての該当1単位画素の階調レベルを0に設定する一方、オーバーレイ画像の1単位画素の階調レベルが複数の基準色データの少なくとも一つにおいて1以上であれば、階調レベルが0である他の基準色データの該当1単位画素の階調レベルを不可視階調レベルに設定すると共に、階調レベルが1以上の基準色データの該当1単位画素の階調レベルを元のレベルに保持させるデータ変換手段を備えたことを特徴とする。
第2の発明は、コンピュータに、下地画像の上に複数の基準色データから構成されるカラーデータからなるオーバーレイ画像を重ねて合成させる画像処理プログラムにおいて、オーバーレイ画像の1単位画素の階調レベルが複数の基準色データの全てにおいて0であれば、複数の基準色データの全ての該当1単位画素の階調レベルを0に設定する一方、オーバーレイ画像の1単位画素の階調レベルが複数の基準色データの少なくとも一つにおいて1以上であれば、階調レベルが0である他の基準色データの該当1単位画素の階調レベルを不可視階調レベルに設定すると共に、階調レベルが1以上の基準色データの該当1単位画素の階調レベルを元のレベルに保持させるデータ変換手順を備えたことを特徴とする。
第3の発明は、下地画像の上に複数の基準色データから構成されるカラーデータからなるオーバーレイ画像を重ねて合成する画像処理方法において、オーバーレイ画像の1単位画素の階調レベルが複数の基準色データの全てにおいて0であれば、複数の基準色データの全ての該当1単位画素の階調レベルを0に設定する一方、オーバーレイ画像の1単位画素の階調レベルが複数の基準色データの少なくとも一つにおいて1以上であれば、階調レベルが0である他の基準色データの該当1単位画素の階調レベルを不可視階調レベルに設定すると共に、階調レベルが1以上の基準色データの該当1単位画素の階調レベルを元のレベルに保持させるデータ変換工程を備えたことを特徴とする。
以上の構成からなる第1、第2及び第3の発明においては、オーバーレイ画像の1単位画素の階調レベルが複数の基準色データの少なくとも一つにおいて1以上であれば、階調レベルが0である他の基準色データの該当1単位画素の階調レベルを不可視階調レベルに設定するため、オーバーレイ画像に下地画像が混色するという不具合を解消することができる。しかも、この処理は既存の画像処理システムを利用して極めて短時間で行うことができる。
第1、第2及び第3の発明にあっては、不可視階調レベルは1又は2であることが好ましい。また、合成時における下地画像及びオーバーレイ画像はbmpデータであってもよく、あるいは、種々の方式で圧縮されたデータであってもよい。
また、第4の発明に係るデータ変換のためのデータ構造は、入力された複数の基準色データから構成されるカラーデータからなる画像データの1単位画素の階調レベルが複数の基準色データの全てにおいて0であれば、複数の基準色データの全ての該当1単位画素の階調レベルを0に設定する一方、画像データの1単位画素の階調レベルが複数の基準色データの少なくとも一つにおいて1以上であれば、階調レベルが0である他の基準色データの該当1単位画素の階調レベルを不可視階調レベルに設定すると共に、階調レベルが1以上の基準色データの該当1単位画素の階調レベルを元のレベルに保持させることを特徴とする。不可視階調レベルは1又は2であることが好ましい。
第4の発明に係るデータ変換のためのデータ構造は、従来から存在するICCプロファイルと同様にして使用することができ、前記第1の発明においてはオーバーレイ画像のデータ変換手段として使用され、第2の発明においてはオーバーレイ画像のデータ変換手順に使用され、第3の発明においてはオーバーレイ画像のデータ変換工程に使用される。
以下、本発明に係る画像処理装置、画像処理プログラム、画像処理方法及びデータ変換のためのデータ構造の実施例について、添付図面を参照して説明する。
(GBTCにおける圧縮と復元)
まず、本発明に係る画像処理方法の基礎となるGBTC(Generalized Block Truncation Coding)について説明する。ここでpixelとは画素を意味する。また、GBTC圧縮はフルカラーの画像データの場合はCMYKの各プレーンごとに行われる。
本実施例において、GBTCにおける画像データの圧縮は、固定長圧縮と可変長圧縮とに分けられる。固定長圧縮とは、多値(例えば、8bit/pixel)のbmpデータを複数のブロックとし(例えば、4×4pixelを1単位として)、1ブロック16byteを6byteに圧縮する工程をいう。また、可変長圧縮とは、前記ブロック内の画素が同一階調であるなどのパラメータを量子化し、さらにデータを圧縮する工程をいう。
GBTCによる圧縮データを多値のbmpデータへ復元することは、一部の階調表現が失われる可能性がある不可逆性復元である。但し、一旦圧縮復元を行ったデータに対しては、再度圧縮復元を行っても、画質の劣化は生じない。また、固定長圧縮データと可変長圧縮データとは双方向において可逆変換である。
(bmpデータの固定長圧縮)
GBTCにおける第1段の圧縮工程として、bmpデータの固定長圧縮について説明する。ここでの固定長圧縮は、以下のステップ(A1)〜(A5)にて行われる。
ステップ(A1)では、bmpデータ1の4×4pixelを1単位のブロックとして抽出する。図1はこの抽出を模式的に示す。
ステップ(A2)では、各ブロック(16pixel)の中間階調値、階調幅を求める。即ち、ブロックを構成する16pixelの最大値と最小値を求め、その中間値を求めると共に、最大値と最小値との差を階調幅とする。そして、階調幅を4等分する(図2参照)。範囲(a)は最大値から1/4の範囲であり、範囲(b)は中間値から上に1/4の範囲であり、範囲(c)は中間値から下に1/4の範囲であり、範囲(d)は最小値から1/4の範囲である。
さらに、ブロック内の階調値の最大値をMAX、最小値をMIN、中間値をLA、階調幅をLDとし、LDを4等分した上から1/4の値をLMAX、LDを4等分した下から1/4の値をLMINとすると、以下の式が成立する。なお、Diとはpixelを表す。
MAX=MAX(Di)
MIN=MIN(Di)
LA=(MAX+MIN)/2
LD=MAX−MIN
LMAX=(3MAX+MIN)/4
LMIN=(MAX+3MIN)/4
ステップ(A3)では、ブロックの各pixelにおける階調値を2bitコードに変換する。即ち、各pixelの値を、前記範囲(a)〜(d)に分類し、対応する2bitコードに変換する(図3参照)。範囲(a)であれば“11”、範囲(b)であれば“10”、範囲(c)であれば“01”、範囲(d)であれば“00”と変換する。
pixelをDi、2bit化コードをφiで表すと、以下の式が成立する。
LMAX<Di≦MAX で φi=“11”
LA<Di≦LMAX で φi=“10”
LMIN<Di≦LA で φi=“01”
MIN≦Di≦LMIN で φi=“00”
ステップ(A4)では、固定長ブロックに整形する。即ち、中間値、階調幅、pixelの2bitコードを並べる(図4参照)。ここでは、1ブロック6byteの固定長データとして整形し、LA、LDがブロックの特性を表し、残りの4byteで各pixelの特性を表している。
ステップ(A5)では、ブロックごとに前記ステップ(A1)〜(A4)を繰り返し、固定長ブロックの並びに変換する。画像データの全体は、4×4pixelを変換した6byteブロックの並びとして表現される(図5参照)。以上の工程を経ることにより、元のbmpデータの4×4ブロック(16byte)は、GBTC固定長ブロック(6byte)に変換され、データサイズは3/8に圧縮される。
(可変長圧縮)
次に、GBTCにおける第2段の圧縮工程として、前記固定長圧縮データの可変長圧縮について説明する。ここでの可変長圧縮は以下のステップ(B1)〜(B3)にて行われる。
ステップ(B1)では、前記固定長ブロックを四つのパターンに分類する。即ち、固定長ブロックのそれぞれを各pixelの階調分布により以下の4パターンに分類する。
(A)全てのpixelが0の場合。2bitコードが全て“00”である。
(B)全てのpixelが0×FFの場合。2bitコードが“11”である。
(C)全てのpixelが同じ場合(0、0×FFを除く)。2bitコードが全て“01”又は全て“10”である。
(D)前記以外の場合、つまり、異なる2bitコードの集まりである場合。
ステップ(B2)では、前記四つのパターンを可変長属性bit(2bit)で表現する。即ち、
(A)の場合は“00”
(B)の場合は“01”
(C)の場合は“10”
(D)の場合は“11”
ステップ(B3)では、可変長属性bit(2bit)とpixelの2bitコードを組み合わせて整形する(図6参照)。即ち、前記(A),(B)の場合は、2bitの可変長属性のみで固定長ブロックを置き換える。前記(C)の場合は、2bitの可変長属性に続けて中間値を並べたデータに置き換える。前記(D)の場合は、2bitの可変長属性に続けて固定長コード(中間値、階調幅、pixelの2bitコード)を並べる。
図6から明らかなように、(A),(B),(C)の場合では、固定長データに比べてデータサイズは大きく減少する。(D)の場合では、2bitの可変長属性が付加されるので、データサイズは増加する。
また、画像の空白部分は(A)パターンとなり、塗りつぶされた(CMYK全てのプレーンの各pixelについて同一階調)部分は(B),(C)パターンとなる。4×4pixelが同一階調でない(D)パターンは、意図的に作成された画像以外では、(A),(B),(C)パターンに比べて出現比率が低いことが期待される。このような可変長圧縮によって固定長圧縮よりもさらにデータサイズが減少する。
(データの復元)
GBTC圧縮データを多値bmpデータへ復元するには、可変長圧縮データの固定長圧縮データへの復元と、固定長圧縮データのbmpデータへの復元とに分けられる。
可変長圧縮データから固定長圧縮データへの第1段の復元は、以下のステップ(C1)〜(C3)にて行われる。
ステップ(C1)では、可変長属性bitにより復元パターンを以下のように分類する(図6参照)。即ち、
“00”の場合は(A)
“01”の場合は(B)
“10”の場合は(C)
“11”の場合は(D)
(A),(B),(C)の場合は、各pixelの2bitコードはパターンに基づいて生成する。(D)の場合は、各pixelを表す2bit×16個のコードが付加されている。
ステップ(C2)では、可変長属性bitと中間値、階調幅に基づいて固定長圧縮データを作成する(図7参照)。即ち、(A)の場合は、全てのpixelの階調値が“0”なので、中間値、階調幅も“0”となる。さらに、pixelを表す2bitコードは全て“0”として固定長ブロックを作成する。(B)の場合は、全てのpixelの階調値が“0×FF”なので、中間値は“0×FF”、階調幅は“0”となる。さらに、pixelを表す2bitコードは全て“0”として固定長ブロックを作成する。
(C)の場合は、全てのpixelの階調値が同じなので、階調値は可変長属性bitに続く1byte値を用い、階調幅は“0”にする。さらに、pixelを表す2bitコードは全て“0”として固定長ブロックを作成する。
ステップ(C3)では、可変長属性bitを取り除く。(D)の場合は、可変長属性bit(2bit)に続く6byteが固定長ブロックであるため、データ先頭の2bitを取り除けばよい。
前記固定長圧縮データから8bitのbmpデータへの第2段の復元は、可変長属性bitにより復元パターンが異なる。復元パターン1は中間値が“0”のとき、中間値が“0×FF”のとき、階調幅が“0”(但し、中間値が“0”や“0×FF”ではない)のときに分けられる。復元パターン2は階調幅が“0”でないときである。
復元パターン1では、4×4のブロック内のpixelが全て同じ値であるから、中間値が“0”のときには、16pixelの全てを“0”に復元し、中間値が“0×FF”のときには、16pixelの全てを“0×FF”に復元し、階調幅が“0”のときには、16pixelの全てを“中間値”に復元する。
復元パターン2では、各pixelを表す2bitコードをpixelに復元する。まず、図8(A)に示すように、中間値と階調幅から最大値MAXと最小値MINを求め、それらの差分を3等分する値を求める。
次に、pixelの2bitコードを8bitに復元する。即ち、2bitコードが、“11”の場合は最大値MAXに復元し、“10”の場合は3等分した上から1/3の値DD2に復元し、“01”の場合は3等分した下から1/3の値DD1に復元し、“00”の場合は最小値MINに復元する。
復元したpixelと圧縮前のデータは図8(A),(B)に示す関係になる。GBTCによる画像データの圧縮には元の多値bmpデータに対する可逆性はない。しかし、一旦圧縮復元を行ったデータを繰り返して圧縮復元を行っても画質の劣化は生じない。
(圧縮画像の合成)
ここで、画像合成の具体例について説明する。ここでの画像合成は、前記固定長圧縮データを用いて行う。
図9に示すように、下地画像10に関しては4×4pixelのブロックごとに固定長圧縮データとしてメモリに格納されている。また、オーバーレイ画像20に関しても4×4pixelのブロックごとに固定長圧縮データに変換されている。この場合、画像10,20のサイズは同一としている。
そして、メモリに格納されている下地画像10の固定長圧縮データにおいてブロック単位で書き換え(合成)が行われる。即ち、各ブロックごとに、オーバーレイ画像20の各ブロックの前記LAが“0”(階調値が0)であれば、データを置き換えない。一方、オーバーレイ画像20の各ブロックの前記LAが“0”以外(画像部分)であれば、オーバーレイ画像20のブロックのデータに置き換える。
図9に示したオーバーレイ画像20にあっては、右下四つの固定長ブロックのLAが“0”以外であって画像部分に相当するため、これらのブロックのデータのみが下地画像10のブロックに対して置き換えられる。図9において、下地画像10の固定長圧縮データを符号10Aで示し、合成された固定長圧縮データを符号10Bで示す。
固定長圧縮データはbmpデータに比べてデータ量が減少していることと、合成時の置き換えの判定が、全てのpixelではなく、固定長圧縮データのブロック属性LAのみで行われるため、処理速度が向上する。
(合成された圧縮画像の復元)
合成された圧縮画像は、下地画像の一部の固定長ブロックデータがオーバーレイ画像の固定長ブロックデータに置き換わったものである。画像の復元は、前述した固定長圧縮データの復元と同様の手順で行う。
合成された固定長圧縮データ10Bをbmpデータに復元した状態を図10に示す。本合成例では、同じサイズの下地画像10とオーバーレイ画像20とを合成しており、復元された合成画像30において、オーバーレイ画像20の画像部分を含む固定長ブロック部分のみが下地画像10に置き換わっている。オーバーレイ画像20の非画像部分が下地画像10に置き換わることはなく、下地画像10が不必要に消去されることはない。
なお、復元された合成画像30において、下地画像とオーバーレイ画像との間に隙間のように再現されたpixelが存在することになる。これは、復元を4×4pixel単位で行うため、復元後のbmpデータにおいて最大で縦横3pixelの不要な置換が発生するためである。このような不要な白色への置換は、下地画像の合成対象領域が白色である場合には、白色を白色で置き換えることになるために悪影響を及ぼすことはない。
(画像合成の基本的手順)
前述した画像合成の基本的な手順は図11に示すとおりである。即ち、下地画像10が可変長圧縮データとして存在する場合には、ステップS1で固定長圧縮データへ伸張し、メモリへ一旦格納する。また、オーバーレイ画像20が可変長圧縮データとして存在する場合には、ステップS2で固定長圧縮データへ伸張する。
そして、ステップS3にて、二つの固定長圧縮データを合成し、合成画像30の固定長圧縮データを生成する。さらに、ステップS4にて、合成画像30の固定長圧縮データを可変長圧縮データに圧縮する。この可変長圧縮データは最終的にプリンタの画像制御部に印字データとして転送され、固定長圧縮データに復元され、さらに、bmpデータに復元され、プリントされることになる。
(オーバーレイプリント用ICCプロファイル)
ところで、前述の如く、下地画像の上にオーバーレイ画像を重ね合わせて合成する場合、フルカラーの画像ではCMYKの各プレーン(基準色データ)において、画素の階調値が0であればそのプレーンの画素は下地画像の画像データに置き換えられてしまい、いわゆる混色が発生することになる。
そこで、本実施例では、ICCプロファイル(データ変換のためのデータ構造)として、入力された画像データの1単位画素(本実施例では4×4pixelのブロック)の階調値がCMYK全てのプレーンにおいて0であれば、CMYK全てのプレーンの該当1単位画素の階調値を0に設定する一方、前記画像データの1単位画素の階調値がCMYKの少なくとも一つのプレーンにおいて1以上であれば、階調値が0である他のプレーンの該当1単位画素の階調値を不可視階調値に設定すると共に、階調値が1以上のプレーンの該当1単位画素の階調値を元の値に保持させるものを用意する。不可視階調値とは0ではないが印刷された場合に人の目には階調として認識されないレベルの階調値である。このような階調値は通常1であることが好ましいが、2以上であっても不可視レベルであれば問題はない。
(印刷システムの第1例)
ここで、本発明に係る画像処理方法を適用した印刷システムの第1例について説明する。この印刷システム100は、図12に示すように、ユーザーが使用するパソコン101と、データ記録装置103を備えたサーバ102と、印刷装置105とで構成されている。印刷装置105には、画像合成を実行する制御部111を備えた画像処理装置110と印字装置112が含まれている。
パソコン101からはサーバ102へ下地画像データやオーバーレイ画像データの登録が可能であり(データ記録装置103に記憶される)、かつ、印字すべき下地画像やオーバーレイ画像の指示がなされる。下地画像及びオーバーレイ画像の印字指示がなされると、該当する下地画像データ及びオーバーレイ画像データが画像処理装置110へ転送される。なお、データ記録装置103に登録される下地画像データは、bmpデータ、固定長圧縮データあるいは可変長圧縮データのいずれかである。
画像処理装置110の制御部111は、前述した画像合成方法により、転送された下地画像データ及びオーバーレイ画像データを前記固定長圧縮データとした状態で合成し、さらに、前記可変長圧縮データに圧縮し、印字装置112へ印字データとして転送する。印字装置112では転送された可変長圧縮データを固定長圧縮データに復元し、さらに、bmpデータに復元したうえで、プリントアウトする。
(印刷システムの第2例)
次に、本発明に係る画像合成方法を適用した印刷システムの第2例について説明する。この印刷システム200は、図13に示すように、ユーザーが使用するパソコン201と、サーバ202と、印刷装置210とで構成されている。サーバ202には、画像合成を実行する制御部206を備えた画像処理装置205とデータ記録装置207が含まれている。
パソコン201からはサーバ202へ下地画像データやオーバーレイ画像データの登録が可能であり(データ記録装置207に記憶される)、かつ、印字すべき下地画像やオーバーレイ画像の指示がなされる。下地画像及びオーバーレイ画像の印字指示がなされると、該当する下地画像データ及びオーバーレイ画像データが画像処理装置205へ転送される。なお、データ記録装置207に登録される下地画像データは、bmpデータ、固定長圧縮データあるいは可変長圧縮データのいずれかである。
画像処理装置205の制御部206は、前述した画像合成方法により、転送された下地画像データ及びオーバーレイ画像データを前記固定長圧縮データとした状態で合成し、さらに、前記可変長圧縮データに圧縮し、印刷装置210へ印字データとして転送する。印刷装置210では転送された可変長圧縮データを固定長圧縮データに復元し、さらに、bmpデータに復元したうえで、プリントアウトする。
(サーバの構成)
なお、前記サーバ102,202は概念的に示したものであり、その具体的な構成を前記第1例に適用されるものとして図14に示す。第2例においても図14と同様に構成することができる。
このサーバ102は、CPU301とROM302とRAM303とハードディスク304とディスプレイ305と入力装置306とネットワークインターフェース307と専用ビデオインターフェース308とを有している。これらはバス309を介して相互に接続されている。
CPU301はプログラムを読み込み、実行してその結果を出力する。ROM302にはBIOSを含む制御プログラムやデータが格納されている。RAM303にはプログラムやプリント画像を一時的に記憶する。ハードディスク304にはオペレーティングシステムを含む各種プログラムやデータが格納されている。ディスプレイ305は各種情報を画像表示する。
また、入力装置306はマウスなどのポインティングデバイスやキーボードである。ネットワークインターフェース307はネットワーク310を介して他の機器(特に、パソコン101)と相互に通信を行う。専用ビデオインターフェース308は印刷装置105と接続されており、印刷画像を印刷装置105に送信する。
なお、ユーザーが使用する各パソコン101にはサーバ102に対して印刷指示を行うためのアプリケーションソフトがインストールされている。
ここで本実施例の印刷システムにて前記オーバーレイ用プリントICCプロファイルを使用して行われる処理手順について図15〜図19を参照して説明する。
図15は印刷システム100,200で行われる処理のルーチンを示す。まず、ユーザーはステップS201で下地画像データの登録ジョブをパソコン101,201からサーバ102,202に送信し、そのデータはサーバ102,202に保存される。次に、ステップS202でサーバ102,202上に前記オーバーレイ用プリントICCプロファイルを登録する。
続いて、ユーザーはステップS203でパソコン101,201においてPPDアップデータによってサーバ102,202からICCプロファイルを取得し、ステップS204ではオーバーレイ画像をプリントするためにサーバ102,202に格納されている下地画像とICCプロファイルの一覧を自己のパソコン101,201に表示する。
表示された下地画像とICCプロファイルの一覧に基づいて、ステップS205でユーザーはパソコン101,102において下地画像と前記オーバーレイ用ICCプロファイルを選択する。そして、ユーザーはステップS206にてパソコン101,102からサーバ102,202に対してプリント指示を送信する。この指示に基づいて、サーバ102,202はユーザーが選択した下地画像とオーバーレイ用ICCプロファイルを使用してプリントジョブを印刷装置105,210に送信し、印刷装置105,210はオーバーレイされたプリントジョブを印刷する。
図16は前記ステップS201で処理される登録ジョブのサブルーチンを示す。まず、ステップS301ではユーザーのパソコン101,201より下地画像データがサーバ102,202に送信される。送信された下地画像データは、ステップS302でbmpデータに変換され、ステップS303で固定長圧縮され、さらに、ステップS304でサーバ102,202に保存される。
図17は前記ステップS202で処理されるICCプロファイル登録のサブルーチンを示す。サーバ102,202は、ステップS307で例えばフレキシブルディスクに格納されたICCプロファイルをフレキシブルドライブを通じて読み込み、ステップS308でRAM303に保存する。
図18は前記ステップS207で処理されるオーバーレイプリントのサブルーチンを示す。ここでは、まず、ステップS310でオーバーレイプリント用ICCプロファイルを取得し、ステップS311でオーバーレイプリント用ICCプロファイルを選択する。そして、ステップS312の該オーバーレイプリント用ICCプロファイルを使用してオーバーレイ画像の色変換を行う。
次に、bmpデータであるオーバーレイ画像をステップS313で固定長圧縮する。また、ステップS314で必要な下地画像(固定長圧縮データ)を取得し、ステップS315で下地画像及びオーバーレイ画像のそれぞれの固定長圧縮データを合成する。次に、合成された固定長圧縮データをステップS316で可変長圧縮する。また、ステップS317からステップS312へルーチンが繰り返され、ブロックごとの色変換が連続的に繰り返される。
図19は前記ステップS312で処理される色変換処理のサブルーチンを示す。まず、ステップS401でオーバーレイ画像の1単位画素(1ブロック)の階調値がCMYK全てのプレーンにおいて0か否かを判定する。このステップS401でYESであれば、ステップS402でCMYK全てのプレーンの該当ブロックの階調値を0に設定する。
一方、1ブロックの階調値がCMYKのいずれかのプレーンにおいて1以上であれば(ステップS401でNO)、ステップS403でCMYKのいずれのプレーンの階調値が0であるかを判定する。階調値が0のプレーンに関しては、ステップS404で該当ブロックの階調値を1に設定する(2又はそれ以上の不可視階調レベルに設定する場合もあり得る)。また、階調値が1以上のプレーンに関しては、ステップS405で該当ブロックの元の階調値をオーバーレイ画像の階調値に設定する。
(画像合成の具体的手順1)
以下に、画像合成の具体的手順1について説明する。この具体的手順1は、図20に示すように、下地画像及びオーバーレイ画像が共にbmpデータとして存在する場合である。
まず、下地画像に関しては、ステップS11でモジュールに登録し、ステップS12で固定長圧縮する。オーバーレイ画像に関しては、ステップS14で固定長圧縮する。そして、ステップS15で、下地画像及びオーバーレイ画像のそれぞれの固定長圧縮データを合成する。次に、合成された固定長圧縮データをステップS16で可変長圧縮する。この可変長圧縮データが前記印字装置112又は印刷装置210に転送されることになる。また、ステップS17からステップS13へルーチンが繰り返され、新たなオーバーレイ画像を所定の下地画像と合成する処理が連続的に繰り返される。
(画像合成の具体的手順2)
この具体的手順2は、図21に示すように、下地画像が固定長圧縮データで保存されており、オーバーレイ画像がbmpデータとして存在する場合である。
まず、既に固定長圧縮されている下地画像をステップS21でモジュールに登録し、オーバーレイ画像をステップS23で固定長圧縮する。そして、ステップS24で下地画像及びオーバーレイ画像のそれぞれの固定長圧縮データを合成する。次に、合成された固定長圧縮データをステップS25で可変長圧縮する。この可変長圧縮データが前記印字装置112又は印刷装置210に転送されることになる。また、ステップS26からステップS22へルーチンが繰り返され、新たなオーバーレイ画像を所定の下地画像と合成する処理が連続的に繰り返される。
(画像合成の具体的手順3)
この具体的手順3は、図22に示すように、下地画像が可変長圧縮データで保存されており、オーバーレイ画像がbmpデータとして存在する場合である。
まず、既に可変長圧縮されている下地画像をステップS31でモジュールに登録し、ステップS32で下地画像を固定長圧縮データに伸張する。また、オーバーレイ画像をステップS34で固定長圧縮する。そして、ステップS35で下地画像及びオーバーレイ画像のそれぞれの固定長圧縮データを合成する。次に、合成された固定長圧縮データをステップS36で可変長圧縮する。この可変長圧縮データが前記印字装置112又は印刷装置210に転送されることになる。また、ステップS37からステップS33へルーチンが繰り返され、新たなオーバーレイ画像を所定の下地画像と合成する処理が連続的に繰り返される。
(固定長圧縮データの合成手順1)
次に、前記ステップS15,S24,S35で実行される固定長圧縮データの合成手順(合成手順1)について説明する。
この合成手順1では、図23に示すように、まず、ステップS41で固定長圧縮データ分だけメモリ上の目的領域を確保する。ここで確保すべき領域はbmpデータの6/16で済む。次に、ステップS43でオーバーレイ画像の固定長ブロックのLA値が0か否かを判定する。即ち、図9に示したように、4×4pixelを1ブロックとしてその階調値が0か否かを判定する。このステップS43では、固定長ブロック(6byte)のLA1(先頭のbyte)のみを評価する。
LA値が0でない場合(ステップS43でNO)、そのブロックはオーバーレイ画像の画像部分であるため、ステップS44でオーバーレイ画像の固定長ブロックを目的領域に書き込む。LA値が0である場合(ステップS43でYES)、そのブロックはオーバーレイ画像の非画像部分であるため、ステップS45で下地画像の固定長ブロックを目的領域に書き込む。ステップS44,S45では、6byte単位で一括してデータの書換えが行われる。
次に、ステップS46でオーバーレイ画像の読出し位置を次の固定長ブロックへ進め、ステップS47で下地画像の書込み位置を次の固定長ブロックへ進め、ステップS48からステップS42のルーチンが繰り返され、全ての固定長ブロックについてのLA値を判定し、目的領域に書き込む画像データを決定する、即ち、下地画像とオーバーレイ画像を固定長圧縮データの段階で合成する。ここでの繰り返し処理において、取り扱うデータ量は1/16になる。
(固定長圧縮データの合成手順2)
また、前記ステップS15,S24,S35で実行される固定長圧縮データの他の合成手順(合成手順2)は以下のとおりである。
この合成手順2では、図24に示すように、まず、ステップS51で固定長圧縮データ分だけメモリ上の目的領域を確保する。ここで確保すべき領域はbmpデータの6/16で済む。次に、ステップS52で下地画像データを目的領域にコピーする。ここでコピーするデータ量はbmpデータの6/16で済む。
次に、ステップS54でオーバーレイ画像の固定長ブロックのLA値が0か否かを判定する。即ち、図9に示したように、4×4pixelを1ブロックとしてその階調値が0か否かを判定する。このステップS54では、固定長ブロック(6byte)のLA1(先頭のbyte)のみを評価する。
LA値が0でない場合(ステップS54でNO)、そのブロックはオーバーレイ画像の画像部分であるため、ステップS55で下地画像の固定長ブロックをオーバーレイ画像の固定長ブロックと置き換える。LA値が0である場合(ステップS54でYES)、そのブロックはオーバーレイ画像の非画像部分であるため、下地画像の固定長ブロックの状態を保持する。ステップS55では、6byte単位で一括してデータの置換えが行われる。
次に、ステップS56でオーバーレイ画像の読出し位置を次の固定長ブロックへ進め、ステップS57で下地画像の書込み位置を次の固定長ブロックへ進め、ステップS58からステップS53のルーチンが繰り返され、全ての固定長ブロックについてのLA値を判定し、下地画像の固定長ブロックをオーバーレイ画像に置き換える画像データを決定する、即ち、下地画像とオーバーレイ画像を固定長圧縮データの段階で合成する。ここでの繰り返し処理において、取り扱うデータ量は1/16になる。
なお、図11及び図15〜図24のフローチャートに示した本発明に係る画像処理方法は、専用のハードロジック回路によっても、ソフトウェア処理によっても実現することができる。
(他の実施例)
なお、本発明に係る画像処理装置、画像処理プログラム、画像処理方法及び色変換データ構造は前記実施例に限定するものではなく、その要旨の範囲内で種々に変更できることは勿論である。
例えば、前記実施例では、同じサイズの下地画像とオーバーレイ画像とを合成する場合を例示したが、両者のサイズは異なっていてもよい。また、合成画像データは固定長圧縮データの状態で印字装置112又は印刷装置210へ転送されてもよい。勿論、印刷システム100,200の構成は任意である。
bmpデータを1単位のブロックとして抽出する状態を模式的に示すチャート図である。 固定長圧縮ブロックの中間階調値及び階調幅を求める方法を示すチャート図である。 前記ブロックの各pixelにおける階調値を2bitコードに変換する状態を示すチャート図である。 固定長圧縮データを模式的に示すチャート図である。 bmpデータを固定長圧縮データのブロックに変換する状態を模式的に示すチャート図である。 可変長圧縮データを示すチャート図である。 可変長圧縮データから復元された固定長圧縮データを示すチャート図である。 復元したpixelと圧縮前のデータとの関係を示すチャート図である。 下地画像とオーバーレイ画像の合成を模式的に示すチャート図である。 合成された固定長圧縮データをbmpデータに復元した状態を示すチャート図である。 画像合成の基本的手順を示すフローチャート図である。 印刷システムの第1例を示すブロック図である。 印刷システムの第2例を示すブロック図である。 サーバの構成を示すブロック図である。 印刷システムにおける処理手順のルーチンを示すフローチャート図である。 印刷システムにおける登録処理のサブルーチンを示すフローチャート図である。 印刷システムにおけるICCプロファイル登録のサブルーチンを示すフローチャート図である。 印刷システムにおけるオーバーレイプリントのサブルーチンを示すフローチャート図である。 印刷システムにおける色変換処理のサブルーチンを示すフローチャート図である。 画像合成の具体的手順1を示すフローチャート図である。 画像合成の具体的手順2を示すフローチャート図である。 画像合成の具体的手順3を示すフローチャート図である。 固定長圧縮データの合成手順1を示すフローチャート図である。 固定長圧縮データの合成手順2を示すフローチャート図である。
符号の説明
10…下地画像
10A…下地画像の固定長圧縮データ
10B…合成された固定長圧縮データ
20…オーバーレイ画像
30…合成画像
100,200…印刷システム
102,202…サーバ
105,210…印刷装置
110,205…画像処理装置
111,206…制御部
301…CPU

Claims (8)

  1. 下地画像の上に複数の基準色データから構成されるカラーデータからなるオーバーレイ画像を重ねて合成する画像処理装置において、
    前記オーバーレイ画像の1単位画素の階調レベルが前記複数の基準色データの全てにおいて0であれば、前記複数の基準色データの全ての該当1単位画素の階調レベルを0に設定する一方、前記オーバーレイ画像の1単位画素の階調レベルが前記複数の基準色データの少なくとも一つにおいて1以上であれば、階調レベルが0である他の基準色データの該当1単位画素の階調レベルを不可視階調レベルに設定すると共に、階調レベルが1以上の基準色データの該当1単位画素の階調レベルを元のレベルに保持させるデータ変換手段、
    を備えたことを特徴とする画像処理装置。
  2. 前記不可視階調レベルは1又は2であることを特徴とする請求項1に記載の画像処理装置。
  3. コンピュータに、下地画像の上に複数の基準色データから構成されるカラーデータからなるオーバーレイ画像を重ねて合成させる画像処理プログラムにおいて、
    前記オーバーレイ画像の1単位画素の階調レベルが前記複数の基準色データの全てにおいて0であれば、前記複数の基準色データの全ての該当1単位画素の階調レベルを0に設定する一方、前記オーバーレイ画像の1単位画素の階調レベルが前記複数の基準色データの少なくとも一つにおいて1以上であれば、階調レベルが0である他の基準色データの該当1単位画素の階調レベルを不可視階調レベルに設定すると共に、階調レベルが1以上の基準色データの該当1単位画素の階調レベルを元のレベルに保持させるデータ変換手順、
    を備えたことを特徴とする画像処理プログラム。
  4. 前記不可視階調レベルは1又は2であることを特徴とする請求項3に記載の画像処理プログラム。
  5. 下地画像の上に複数の基準色データから構成されるカラーデータからなるオーバーレイ画像を重ねて合成する画像処理方法において、
    前記オーバーレイ画像の1単位画素の階調レベルが前記複数の基準色データの全てにおいて0であれば、前記複数の基準色データの全ての該当1単位画素の階調レベルを0に設定する一方、前記オーバーレイ画像の1単位画素の階調レベルが前記複数の基準色データの少なくとも一つにおいて1以上であれば、階調レベルが0である他の基準色データの該当1単位画素の階調レベルを不可視階調レベルに設定すると共に、階調レベルが1以上の基準色データの該当1単位画素の階調レベルを元のレベルに保持させるデータ変換工程、
    を備えたことを特徴とする画像処理方法。
  6. 前記不可視階調レベルは1又は2であることを特徴とする請求項5に記載の画像処理方法。
  7. 入力された複数の基準色データから構成されるカラーデータからなる画像データの1単位画素の階調レベルが前記複数の基準色データの全てにおいて0であれば、前記複数の基準色データのすべての該当1単位画素の階調レベルを0に設定する一方、前記画像データの1単位画素の階調レベルが前記複数の基準色データの少なくとも一つにおいて1以上であれば、階調レベルが0である他の基準色データの該当1単位画素の階調レベルを不可視階調レベルに設定すると共に、階調レベルが1以上の基準色データの該当1単位画素の階調レベルを元のレベルに保持させることを特徴とするデータ変換のためのデータ構造。
  8. 前記不可視階調レベルは1又は2であることを特徴とする請求項7に記載のデータ変換のためのデータ構造。
JP2003333856A 2003-09-25 2003-09-25 画像処理装置、画像処理プログラム、画像処理方法及びデータ変換のためのデータ構造 Expired - Fee Related JP3786108B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003333856A JP3786108B2 (ja) 2003-09-25 2003-09-25 画像処理装置、画像処理プログラム、画像処理方法及びデータ変換のためのデータ構造
US10/770,576 US20050078329A1 (en) 2003-09-25 2004-02-04 Image processing device, image processing program, image processing method and data structure for data conversion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003333856A JP3786108B2 (ja) 2003-09-25 2003-09-25 画像処理装置、画像処理プログラム、画像処理方法及びデータ変換のためのデータ構造

Publications (2)

Publication Number Publication Date
JP2005101967A true JP2005101967A (ja) 2005-04-14
JP3786108B2 JP3786108B2 (ja) 2006-06-14

Family

ID=34419025

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003333856A Expired - Fee Related JP3786108B2 (ja) 2003-09-25 2003-09-25 画像処理装置、画像処理プログラム、画像処理方法及びデータ変換のためのデータ構造

Country Status (2)

Country Link
US (1) US20050078329A1 (ja)
JP (1) JP3786108B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009100096A (ja) * 2007-10-15 2009-05-07 Mitsubishi Electric Corp 画像符号化装置および画像復号化装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009140A (ja) * 2006-06-29 2008-01-17 Fujitsu Ltd 画像処理装置および画像処理方法
EP2082393B1 (en) * 2006-10-13 2015-08-26 Freescale Semiconductor, Inc. Image processing apparatus for superimposing windows displaying video data having different frame rates
JP4375449B2 (ja) * 2007-06-28 2009-12-02 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理プログラム、および画像処理方法
JP2009217232A (ja) * 2008-02-15 2009-09-24 Seiko Epson Corp 画面表示制御装置
US8564849B2 (en) * 2009-08-25 2013-10-22 Konica Minolta Laboratory U.S.A., Inc. System, method, and computer readable medium for scanning a document having a raised image on it
JP5574854B2 (ja) * 2010-06-30 2014-08-20 キヤノン株式会社 情報処理システム、情報処理装置、情報処理方法及びプログラム
US8699078B2 (en) * 2010-11-18 2014-04-15 Fuji Xerox Co., Ltd. Image processing apparatus, image processing method, and computer readable medium storing program

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL93607A (en) * 1990-03-02 1997-09-30 Scitex Corp Ltd Method and system for preparing polychromatic printing plates
US5187521A (en) * 1990-03-22 1993-02-16 Canon Kabushiki Kaisha Multicolor image forming apparatus with color component discrimination function
JP3384580B2 (ja) * 1992-04-30 2003-03-10 株式会社リコー 地肌除去方法
US6075904A (en) * 1995-06-14 2000-06-13 Canon Kk Image processing apparatus and method which prevents the generation of a white stripe on an output image
US5619591A (en) * 1995-08-23 1997-04-08 Vtech Electronics, Ltd. Encoding and decoding color image data based on mean luminance and an upper and a lower color value
JP3485708B2 (ja) * 1996-01-29 2004-01-13 理想科学工業株式会社 分版用データ処理装置及び方法と製版処理装置及び方法
JP2000175052A (ja) * 1998-12-07 2000-06-23 Xerox Corp ピクセルマップ表現の処理方法及び装置
US6879416B2 (en) * 2000-04-27 2005-04-12 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US6538677B1 (en) * 2000-05-17 2003-03-25 Heidelberger Druckmaschinen Ag Apparatus and method for gray level printing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009100096A (ja) * 2007-10-15 2009-05-07 Mitsubishi Electric Corp 画像符号化装置および画像復号化装置

Also Published As

Publication number Publication date
JP3786108B2 (ja) 2006-06-14
US20050078329A1 (en) 2005-04-14

Similar Documents

Publication Publication Date Title
JP5132517B2 (ja) 画像処理装置および画像処理方法
JPH01184581A (ja) 文書画像処理装置
JP2006121645A (ja) 画像圧縮装置および画像圧縮プログラム
US6824240B2 (en) Image processing apparatus and method and recording medium
JP5439510B2 (ja) 画像形成装置及び画像形成プログラム
JP3786108B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法及びデータ変換のためのデータ構造
JP4781198B2 (ja) 画像処理装置及び方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP2005045452A (ja) 画像処理装置、画像処理プログラム及び画像合成方法
US20010043747A1 (en) Signal processing equipment
JP2001069358A (ja) 画像処理装置およびその方法、並びに、記憶媒体
JPH1117971A (ja) 画像処理装置およびその方法、データ処理方法、並びに、記録媒体
JP4552400B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP3302862B2 (ja) カラー画像信号の圧縮方法、画像符号化復号化装置および画像処理システム
US7359071B2 (en) Image data processing device
KR100818986B1 (ko) 광색역 색 공간을 위한 색 변환 방법
US6556312B1 (en) Data converter and method
JP4131205B2 (ja) 画像処理装置及び画像処理をコンピュータに実行させる画像処理プログラム
JP4412363B2 (ja) 画像処理装置
JP2003319167A (ja) 印刷処理方法及びその装置
JPH11504280A (ja) 印刷ジョブ・メークアップ・システム
JP2001169120A (ja) 画像処理装置及びその方法、及び画像処理システム
JP2009194458A (ja) 画像処理装置及び画像処理方法
JP2003134532A (ja) 画像圧縮装置、画像圧縮方法、画像展開装置、プログラム
JP5719665B2 (ja) 画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラム
EP0820186A1 (en) Signal processor

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060313

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100331

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100331

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110331

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120331

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130331

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140331

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees