JP2008048432A - 画像プロセッサ - Google Patents

画像プロセッサ Download PDF

Info

Publication number
JP2008048432A
JP2008048432A JP2007236623A JP2007236623A JP2008048432A JP 2008048432 A JP2008048432 A JP 2008048432A JP 2007236623 A JP2007236623 A JP 2007236623A JP 2007236623 A JP2007236623 A JP 2007236623A JP 2008048432 A JP2008048432 A JP 2008048432A
Authority
JP
Japan
Prior art keywords
color space
image
tile
color
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007236623A
Other languages
English (en)
Other versions
JP4505490B2 (ja
Inventor
John C Handley
シー ハンドレイ ジョン
Raja Balasubramanian
バラスブラマニアン ラジャ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of JP2008048432A publication Critical patent/JP2008048432A/ja
Application granted granted Critical
Publication of JP4505490B2 publication Critical patent/JP4505490B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/06Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour palettes, e.g. look-up tables
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6016Conversion to subtractive colour signals
    • H04N1/6019Conversion to subtractive colour signals using look-up tables
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6058Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Record Information Processing For Printing (AREA)

Abstract

【課題】ソース装置上に可視化するために作成された画像を宛先装置上で可視化できるように作成することができるカラー画像処理を提供する。
【解決手段】カラー画像プロセッサは、1セットの第1カラー空間パラメータによって描かれた第1カラー空間に基づく第1画像記述を、1セットの第2カラー空間パラメータによって描かれた第2カラー空間に基づく第2画像記述に変換するように作動する。この画像プロセッサ810は、1セットの変換規則と、1セットの規則関連ベクトル(834〜838)であって、各々が、特定の第1カラー空間パラメータ値に関連しており、この特定の第1カラー空間パラメータ値と関連した特定の変換規則を識別する1セットの規則関連ベクトルと、規則関連ベクトルを使用して所与の第1カラー空間パラメータ値セットと関連した規則の共通部分を見つけだし、この共通部分に基づいて実行するための規則を選定する変換規則セレクタ820とを包含する。
【選択図】図8

Description

本発明は、カラー画像処理技術に関する。たとえば、この技術の用途は、第1装置すなわちソース装置上に創作あるいは可視化(レンダリング)するために作成された画像を第2装置すなわち宛先装置上で可視化できるように作成することにある。
画像を電子装置上で可視化(レンダリング)するように作成するとき、画像は1セットの画素として表される。各画素は、可視化装置で利用可能な着色剤のための着色剤画素値によって画像の小部分を記述する。たとえば、代表的には、陰極線管(CRT)ベースのコンピュータのディスプレイ・スクリーンは、レッド(R)、グリーン(G)、ブルー(B)の蛍光物質からなる。CRT上に表示するために作成された画像は、1セットの画素によって描かれる。各画素は、レッド、グリーン、ブルーの蛍光物質がCRTの小部分で明るくなるような強さを記述している。画像を印刷装置で可視化するように作成した場合も、同様な手順が実施される。現在のところ、少なくともいくつかの印刷装置が、印刷媒体(たとえば、紙または膜)にシアン(C)、マゼンタ(M)、イエロー(Y)、時にはブラック(K)の着色剤を塗布して画像を可視化している。このような印刷装置は、CMYまたはCMYKカラー空間で作動すると言われている。画像をカラー印刷装置で可視化するように作成した場合、この画像は1セットの画素として表される。各画素は、利用できる着色剤の適切な混合を要求することによって、画像の小部分を描く。代表的には、各着色剤についての画素値は、0から255まで変動できる。着色剤の画素値が高ければ高いだけ、カラー画像プロセッサが印刷媒体に塗布するその着色剤の量が多くなる。着色剤信号に対して8ビット精度を使用しているシステムにおいては、数値255は、最大量すなわち完全飽和量の着色剤を表している。数値0は、或る特定の着色剤をまったく必要としないときに使われる。
RGB(レッド、グリーン、ブルー)空間において作動するCRTにおいては、完全飽和レッドは、R=255、G=0、B=0を要求する画素によって描かれる。CMYK(シアン、マゼンタ、イエロー、ブラック)空間で作動するプリンタにおいては、完全飽和レッドは、C=0、M=255、Y=255、K=0を要求する画素によって描かれる。マゼンタおよびイエローの着色剤は、単純な減算混合によって結合し、レッドと知覚される。RGB空間に描かれ、CRTに表示されるレッドが、CMYK空間において描かれ、ページに印刷されたレッドと同じである保証はない。実際、CRTで使用されたレッド蛍光物質のスペクトル特性が、或る特定のプリンタにおいて減算混合されたマゼンタ、イエローの着色剤のスペクトル特性と異なる可能性が大きい。
上述したように、CRTとCMYKプリンタは、色の認知を生じさせるのに異なる材料を使用している。使用する材料は、各装置が再生できる1セットの色に影響を与える。
装置が作ることができるカラー・セットは、装置の色域と呼ばれる。第1装置によって作ることができるカラーが第2装置の色域内にある保証はない。これは、両方の装置がCMYKプリンタであるときにも当てはまる。
2つの装置、たとえば、RGB空間で作動するCRT、CMYK空間で作動するプリンタ間でのカラーマッチングが必要な場合には、キャリブレーションおよび測定に基づく変換が必要である。このような状況において、たとえば、上述した完全レッドRGB・CRT画素が、完全飽和でないマゼンタ成分と少量のシアン成分を要求するCMYKプリンタ画素にマッピングされる可能性はある。たとえば、上述のオリジナルRGBレッド画素のCMYKバージョンは、C=27、M=247、Y=255、K=0を要求するかもしれない。さらに、もし第2プリンタでオリジナルの完全レッドRGB・CRT画素のコピーを印刷したい場合、第2の変換を行わなければならない可能性が高い。その変換では、オリジナルのRGB・CRT画素を第2のCMYK画素に変換できる。たとえば、第2の変換は、オリジナルのRGB・CRT画素をC=20、M=234、Y=240、K=35を要求する第2のCMYK画素にマッピングすることができる。2つの異なるCMYKプリンタが異なった変換を必要とする可能性がある1つの理由は、異なるプリンタが異なる着色剤を使用するということである。たとえば、第1のプリンタで使用される第1のマゼンタ着色剤は、第2のプリンタで使用される第2のマゼンタ着色剤とは異なるスペクトル内容を有する可能性がある。同様に、第1のプリンタで使用される第1のイエロー着色剤は、第2のプリンタで使用される第2のイエロー着色剤とは異なるスペクトル内容を有する可能性がある。
前述の説明からわかるように、第1の装置で可視化するように作成された画像は、第2の装置で適切に可視化しようとする場合には、変換する必要がある可能性がある。このような変換では、第1装置すなわちソース装置を第2装置すなわち宛先装置にエミュレートすることを試みる。比色内容マッチングを達成するために、CRT色域の第1CMYKプリンタへのエミュレーションでは、レッドCRT画素を、C=27、M=247、Y=255、K=0を要求する第1CMYK画素にマッピングさせる。CRT色域の第2CMYKプリンタへのエミュレーションでは、レッドCRT画素を、C=20、M=234、Y=240、K=35を要求する第2CMYK画素にマッピングさせる。したがって、明らかに、RGB・CRT画像を全く伴わない場合でも、第1プリンタで印刷するように作成された画像は、変換してから、そのスペクトル内容を第2プリンタでマッチングさせなければならない。このような状況においては、第1プリンタは、第2プリンタにエミュレートされると言われる。
たとえば、写真画像を第1のCMYK装置、たとえば、標準ウェブ・オフセット印刷(SWOP)装置で可視化するように作成しているが、第2のCMYK装置、たとえば、静電プリンタで可視化しなければならない場合、代表的には、「4対4」変換を行って第2装置に第1装置をエミュレートする。
画像プロセッサは、非常に多数のソース装置で可視化する、すなわち、同じくらい多数の可視化装置で可視化するように作成した画像を満足をもって変換できなければならない。たとえば、ウェブ・ブラウザ、ワープロまたはデスクトップ・パブリッシング・ソフトウェアを使用して画像プロセッサとして作動するように構成されたパソコンは、ほとんどいかなるところからも創作あるいはダウンロードされた画像を受け入れ、ユーザがパソコンにアクセスする任意の画像出力ターミナルで心地よく画像を可視化できなければならない。たとえば、画像プロセッサは、満足な状態でコンピュータ・スクリーン上に画像を表示し、ユーザがパソコンにアクセスする任意のプリンタで満足な状態で画像を可視化するようにコマンドを送ることができなければならない。同様に、文書プロセッサおよび複写機は、満足な状態でかつ正確に画像を変換しなければならない。実際、文書プロセッサおよび複写機においては、カラー精度要件は非常に厳しくなり得る。たとえば、企業向け販売プレゼンテーションのような大きい印刷ジョブにおいては、会社ロゴにおけるカラーを正確かつ一貫して再現することは非常に重要である。同様に、衣類カタログにおけるカラーは、描かれた衣服上のカラーとマッチしていなければならない。
代表的には、変換はルックアップ・テーブルを使用して実施される。例えば、コンピュータ・モニタのRGBカラー空間で可視化するように作成される画像は、三次元ルックアップ・テーブルの使用によってプリンタのCMYKカラー空間に変換される。RGBパラメータの各々は、ルックアップ・テーブルへの軸またはインデックスとして使用される。代表的には、RGBパラメータは、R、G、B成分の各々について、8ビットの値によって表される。このような24ビットRGBベクトルは、16,770,000以上の記憶場所をアドレス指定したり、16,770,000以上のカラーを描いたりすることができる。しかしながら、このサイズのルックアップ・テーブルは、極端に高価であり、物理的に非実用的である。したがって、このようなルックアップ・テーブルは、普通は、より小さいサイズ、たとえば、16×16×16(4096)テーブル記憶場所またはノードに分割される。たとえば、各ノードは、CMYK値を記憶する。ノードによって直接表されないポイントのCMYK値は、ルックアップ・テーブル(LUT)のノードの補間の形で決定される。
従来技術によるルックアップ・テーブルの動作を説明すると有益である。図1参照して、ここでは、入力RGB値を用いてテーブル112へのインデックス値r、g、bを決定している。これらのインデックス値を使用してテーブル内の変換データを位置決めする。たとえば、ポイント116に対応するインデックス値は、いかなるノード記憶場所120とも一致していない。したがって、変換値は、直接テーブル112から入手できない。その代わりに、変換は、ポイント116に対応するノード124に記憶されているCMYK値を補間することによって達成される。たとえば、ノード124は、入力ポイント116に最も近いノード124であるために、ポイント116に対応する。入力されたRGBカラーは、3次元で定義される。したがって、補間は3次元において行われる。三次元補間技術の普通の例としては、トリリニア補間、四面体補間およびプリズム補間がある。これらのうち、四面体補間は、最も速い方法であり、4つのノードのみを補間するだけでよい。これらの技術は、すべて、各出力信号あるいは各画素でのパラメータに対していくつかの乗算、加算、桁送り、比較の演算を必要とし、これらの演算が専用ハードウェアで実施されることが多い。次に、この補間CMYK値が出力される。代表的には、出力は、たとえば、プリンタで最終的に可視化される。
図1に示すように、従来のルックアップ・テーブルにおけるタイルは、一様で規則的である。すなわち、各タイルは、立方体であり、各立方体の寸法は同じである。たとえば、各立方体またはタイルは、4パラメータ値増分の幅、4パラメータ値増分の高さ、4パラメータ値増分の深さとなっている。このようなルックアップ・テーブルは、64×64×64の立方体またはタイルからなる格子に配置された26,144枚のタイルまたは立方体を包含する。換言すれば、すべての第4パラメータ値がノードで表される。たとえば、レッド軸は、R=0、3、7、11・・・251、255にノードを有する。同様に、グリーン軸は、G=0、3、7、11・・・251、255であるノードを有し、ブルー軸は、B=0、3、7、11・・・251、255にノードを有する。当業者であればわかるように、従来のルックアップ・テーブルにおいてどの立方体、タイルまたはノードを使用すべきかを決定して1セットのRGBパラメータ値についての変換値を決定することは些細なことである。たとえば、画素パラメータ値が8ビット・ワードによって表される場合、適切なタイルは、8ビット・ワードでビットを桁送りすることによって見いだされる。たとえば、R>>2、G>>2、B>>2は、RGBパラメータ値を表しているビットを右に2桁、桁送りし、適切なインデックスまたはアドレスとして使用するために各パラメータに6つの最高位ビットを残す。3つの値のうち2つの低位ビットは、立方体またはタイル内の入力カラー記述に対応する位置を示す。低位ビットは、立方体またはタイルのノード間を補間する際に使われる。
特開平10−210312号公報 特開平11−146218号公報 米国特許第5880738号明細書 米国特許第5802219号明細書 米国特許第5748195号明細書
このインデクシング・タイル・アクセス方法は、非常に速い。しかしながら、速度は価格に跳ね返る。この従来のインデクシング技術を使用するためには、カラー空間を等しくて規則正しいサイズで、規則正しく形状のタイルに量子化またはタイル張りしなければならない。さらに、たとえルックアップ・テーブルの或る部分がおおざっぱな量子化のみを必要としているかも知れない場合でも、ルックアップ・テーブル全体を通じて必要な変換精度を確実に達成する精密量子化(小タイル・サイズ)を使用しなければならない。このことは、これらの従来のルックアップ・テーブルが、他で必要とするであろうメモリをより多く消費することを意味する。
本発明によれば、1セットの第1カラー空間パラメータによって描かれた第1カラー空間に基づく第1画像記述を、1セットの第2カラー空間パラメータによって描かれた第2カラー空間に基づく第2画像記述に変換するように作動する画像プロセッサが提供され、この画像プロセッサは、1セットの画像変換規則と、1セットの、前記画像変換規則関連ベクトルであって、各画像変換規則関連ベクトルが、特定の前記第1カラー空間パラメータ値に関連しており、各画像変換規則関連ベクトルが、前記特定の第1カラー空間パラメータ値と関連した前記画像変換規則のセットの中の特定の画像変換規則を識別する、前記1セットの画像変換規則関連ベクトルと、所与の第1カラー空間パラメータ値セットと関連した前記画像変換規則関連ベクトルを使用して前記所与の第1カラー空間パラメータ値セットと関連した画像変換規則における第1の前記画像変換規則関連ベクトルと少なくとも1つの他の前記画像変換規則関連ベクトルとの交差部分を見つけだし、前記交差部分に基づいて、実行のための画像変換規則を選定する、画像変換規則セレクタとを包含する、ことを特徴とする。
従来のルックアップ・テーブルにおける浪費メモリ空間の不利益を、匹敵するアクセス速度を維持しながら克服するための1つの段階は、可変ではあるが、なお分離可能なタイルを使用することである。たとえば、図2を参照して、たとえばRGB値でインデックスを付けた多次元ルックアップ・テーブルの1つの面は、不規則ではあるが分離可能に区分けされている。たとえば、ルックアップ・テーブルは、
{[0, r1], [r1+1, r2], ... , [rk, 255]}, {[0, g1], [g1+1, r2], ... , [gm, 255]}, {[0, b1], [b1+1, b2] , ... , [bn, 255]}に区分けされる。この場合、カラー空間パラメータr1 ... rk(g1 ... gm)、b1 ... bnは、互いに一様に隔たったあるいは関連するように制限されない。このようなルックアップ・テーブルの1つの表面だけが図2に示してある。したがって、タイルは、2次元長方形として表される。実際には、タイルは、3次元長方形、すなわち、{[0, r1] x [0, g1] x [0, b1], [{0, r1 } x [0, g1] x [b1+1, b2], ..., [{rk, 255} x [gm, 255] x [bn, 255]]からなる。もちろん、第1または入力カラー空間が、たとえば、CMYKカラー空間またはHIーFIカラー空間におけるように4つまたはそれ以上のパラメータからなる場合には、ルックアップ・テーブルのタイルはハイパー長方形とみなされる。RGB例において、各タイルは、3間隔(1間隔は各仕分軸からの間隔)の分離可能なデカルト積からなる。図2に示すこの種のタイルは、多くの方法のうち任意の方法でアクセスできる。選ばれる方法は、通常、使用されるコンピューティング・プラットフォームのアーキテクチャに依存する。1つの方法は、色調再生カーブに類似するメカニズムを使用することである。この方法では、カラー空間パラメータ値は、各ルックアップ・テーブル軸に沿った不均等なノード間隔を補正するために再基準化される。次いで、従来のルックアップ・テーブルに関して先に説明したビット桁送りに類似する方法を適用する。
図2に関連して説明したルックアップ・テーブルは、従来技術方法よりもいくぶん能率的にメモリを使用する。メモリ節減は、アクセス・タイムをほんの少し増やすことで達成される。実際、ビット桁送りの段階が再基準化音色再生式カーブ内に記憶された値内に含まれる場合、アクセス・タイムのコストは、ほとんど無視し得る。たとえば、分離可能性が維持される場合、3Dタイルは、3つの1Dタイル・セット(間隔)の積である。したがって、所与ポイント(x、y、z)を含むタイルの検索は、3つの1D検索問題として、すなわち、xを含む間隔についての第1の1Dタイル・セットの検索(Aと呼ぶ)、yを含む間隔についての第2の1Dタイル・セットの検索(Bと呼ぶ)、zを含む間隔についての第3の1Dタイル・セットの検索(Cと呼ぶ)として実施され得る。必要な3Dタイルは、A、B、Cのデカルト積(A×B×C)であり、したがって、単に3回の非常に速い検索の結果を結合することによって識別される。
それにもかかわらず、図2の方法は、望ましいとはほど遠く、なおより制限的である。たとえば、インデックスまたは軸位置r2、r3によって境されるすべてのタイルは、必ず同じ幅である。さらに、インデックスまたは軸位置g2、g3によって境されるすべてのタイルは、必ず同じ高さである。したがって、たとえば、r2、r3によって境される第1のタイル220が理想よりもやや幅広であり、r2、r3によって境される第2のタイル224が理想よりもやや幅狭であることが好ましい場合、両方のタイルについて妥協幅を選び、使用しなければならない。したがって、メモリは所望程度に節約されないし、所望の変換精度が所望程度に達成されない。
図3を参照して、より一般的で好ましいタイル310は、たとえば、必ずしも分離可能なパラメータ範囲デカルト積ではない長方形(またはハイパー長方形)を含む。分離可能性なしで済ませることによって、ルックアップ・テーブル・デザイナーは、必要に応じて微細なタイルを使用し、また、エラーが生じないかあるいはエラーが許容される場合には粗いタイルを使用することに完全な自由を与えられる。たとえば、プリンタ訂正ルックアップ・テーブルを伴う場合には、中立軸320に近い領域においてカラー空間をより細かくサンプリングし、それほど重要でない領域324または色域外領域328についてはより粗いサンプリングで充分であるということがしばしば望ましい。したがって、少なくとも、プリンタ訂正ルックアップ・テーブルの場合には、非分離形タイルを自由に使用することでルックアップ・テーブル記憶量要求を減らし、ルックアップ・テーブルの精度を向上させることになる。しかしながら、非分離形タイルは、使用するのが困難であった。たとえば、タイルが非分離形である場合、図2に関して説明した急速1D検索を使用することは不可能である。
したがって、現在まで、非分離形タイルには、かなり遅くてより複雑なアクセス法が必要であった。範囲テストおよび/またはスイッチ文の精巧な連鎖を使用して、或る特定の画素値セットを変化するのにどのタイルを使用するかを決定してきた。これらの技術は、遅くて非決定論的である。或る特定のパラメータ値セットを変換するための適切なタイルを見つけだすのに必要な処理時間量は、範囲リストのどこに、あるいは、スイッチ文のどこに、或る特定の画素値セットについてのマッチが見いだされるかに依存して変化する。これは、画像を変換するのに要する時間量が、画像を構成するカラーに依存して変わるという望ましくない結果になっていた。さらに、たとえ画像をどんなカラーが構成しているにしても、非分離形方法でタイル張りされたルックアップ・テーブルを用いて画像を変換するのに要する時間量は、極端に長いものであった。
しかしながら、今、非分離的にタイル張りされたルックアップ・テーブルを使用する急速方法が開発された。図4を参照して、カラー変換ルックアップ・テーブルにおける非分離形タイル張りを使用するための決定論的高速方法410は、カラー空間関係調査ステップ414を含む。カラー空間関係調査ステップ414においては、ルックアップ・テーブル・デザイナーまたはルックアップ・テーブル生成ソフトウェア・モジュールは、第1カラー空間と第2カラー空間との関係を調べる。たとえば、第1カラー空間と第2カラー空間との変換関係が分析される。たとえば、この関係が比較的一定である領域と、この関係が変化するポイントとが識別される。さらに、重要でない第2カラー空間内のポイントも識別される。たとえば、可視化装置色域の外にある第2カラー空間内の領域と一致する第1カラー空間内の領域が識別される。
カラー空間分割ステップ418においては、関係調査ステップ414において発見された情報が用いられて、分離可能性またはタイル一様性に関係なく、第1カラー空間をわかりやすく分割する。たとえば、カラー空間間の関係が突然変わる領域においては、第1カラー空間は、多数の小さいタイルに分割される。これは、この領域において微細量子化を行い、変換精度を向上させる。カラー空間間の関係が比較的一定であるポイントと一致する第1カラー空間の領域は、大きいタイルに分割される。さらに、第2カラー空間の重要でない領域と一致する第1カラー空間の領域も大きいタイルと関連付けられる。
たとえば、図5を参照して、ここには、ステップ418に関して説明した概念が、第1カラー空間パラメータと第2カラー空間パラメータとの関係についての単純な二次元的描写510と共に示してある。第1カラー空間パラメータはレッド画素値であり、第2カラー空間パラメータはマゼンタ画素値である。第1のレッド値514と第2のレッド値518との関係、すなわち、レッドとマゼンタとの関係は、比較的一定である。したがって、第1のレッド値514と第2のレッド値518と間の範囲が比較的大きい場合であっても、関係を正確に表し、正確な補間変換値を得るのに必要なのは1枚の大きいタイル520だけである。しかしながら、第2のレッド値518の近くでは、レッドとマゼンタとの関係は変わる。さらに、この関係は、第3レッド値522、第4レッド値526、第5レッド値530、第6値レッド534、第7レッド値536、第8レッド値538付近での急速サクセッションでは数回変化する。第3レッド値522、第4レッド値526、第5レッド値530、第6値レッド534、第7レッド値536、第8レッド値538を含む第1カラー空間の領域は、たとえば、第2カラー空間の重要な部分に対応する。したがって、この領域では小さいタイル540を使用して、第1カラー空間を、たとえば、タイルのノード542によって正確に表される領域に分割する。より大きいタイル、たとえば、点線タイル546を使用した場合、不正確な結果となった。たとえば、より大きいタイルのノード542を使用して、より大きいタイルのノードから離れた部位に対応するレッド値の変換を行った場合、ノードから見た、そして、これらのノードから離れた部位から見たこの関係の差異が重大なエラーを招いた。第8レッド値538と第9レッド値550との間の領域は、適度に可変であり、たとえば、正確な画像表現にとってのみ適度に重要である。したがって、中間サイズのタイル554が、この領域においては使用される。この適度に可変の領域におけるタイルのサイズが比較的大きいので、いくかの小エラーを招く可能性がある。しかしながら、この領域の色がいくぶん重要なだけであるので、小さいエラーは許容できると考えられる。第9レッド値550と第10レッド値558との間の領域は、レッド、マゼンタ間にほぼ一定の関係を有する。したがって、大きいタイルを使用して、この領域で第1カラー空間対第2カラー空間の関係を表す。
ここで図4、図6を参照して、第1カラー空間を適切なサイズ、形状のタイルに再分割した後、これらのタイルは、タイル列挙ステップ422で列挙されるか、数値ラベルを付けられる。たとえば、図6を参照して、ここには、第1カラー空間610の2つの寸法が示してある。代表的には、第1カラー空間パラメータ・セットは、3つまたはそれ以上のパラメータまたは寸法を含む。たとえば、第1カラー空間パラメータ・セットは、R、G、B値を含む。あるいは、第1カラー空間パラメータ・セットは、C、M、Y、K値を含み、これらのパラメータ値はHI−FIカラー空間あるいは他の或る種のカラー空間と関連づけられる。しかしながら、簡略化例を多次元ケースに外挿する方法は、当業者であれば、直ちに理解できるであろう。
二次元カラー空間610は、複数のタイル614に分割される。たとえば、これらのタイルは非分離形である。これらのタイルには、1から32までのタグあるいは番号が付けられる。
パラメータ値関連づけステップ426において、第1カラー空間のパラメータ値は、第1カラー空間のタイルと関連づけられる。たとえば、パラメータ値x1が、タイル番号9、13、15、23と関連づけられる。パラメータ値x2は、タイル番号9、14、16、20、24と関連づけられる。パラメータ値x3は、タイル番号1、3、10、12、19、22、26と関連づけられる。同様に、パラメータ値y1は、タイル番号15、20、21、22、27、30と関連づけられる。パラメータ値y2は、タイル番号1、2、8、13、14、17、28、29と関連づけられる。たとえば、これらのタイルがXパラメータ軸624およびYパラメータ軸628上のパラメータ値の位置に隣接して配置されるので、パラメータ値は、ここに挙げたタイルと関連づけられる。
カラー選択ステップ430において、カラー、画素または第1カラー空間パラメータ値のセットが、変換のために選ばれる。たとえば、入力画像を構成する1セットの画素から、カラーまたは画素が選択される。たとえば、第1カラー空間パラメータ・セット(x3、y2)が、変換のために選ばれる。
共通部分判定ステップ434において、関連づけられたタイルの共通(交差)部分が決定される。共通部分は、種々の方法で見つけられる。たとえば、共通部分は点検によって見つけられる。パラメータ値x3を表している第1ライン630は、x軸624に直角の延びている。パラメータ値y2を表している第2ライン638は、y軸628に対して直角に延びている。第1ライン630と第2ライン638の共通部分642が設けられる。たとえば、ライン630、638の共通部分642は、タイル番号1と一致する。
あるいは、共通部分は、各パラメータ値と関連づけられたタイル番号のリストを調べることによって見つけられる。たとえば、x3:1、3、10、12、19、22、26と関連づけられたタイル番号の第1リストが、y2:1、2、8、13、14、17、28、29と関連づけられたタイル番号の第2リストと比較される。この調査で、両方のリストがタイル番号1を含むことが分かる。
これらの方法は人間によって実施されたときによく作動するが、デジタル・コンピュータによって実施されるには実際的ではない。たとえば、画像プロセッサまたは専用文書プロセッサとして構成されたパソコンのような画像プロセッサで使用するのに良く適している共通部分判定ステップ434の具体例は、各第1カラー空間パラメータ値と関連づけられたタイル番号を記録するのにビット・ベクトルを使用する。たとえば、図6の32タイルカラー空間の場合、ビット・ベクトルは、長さ32ビットである。各ビットの位置は、タイル番号と対応する。たとえば、カラー空間パラメータ値x3と関連づけられたタイルに対応するビット・ベクトルは、(1,0,1,0,0,0,0,0,0,1,0,1,0,0,0,0,0,0,1,0,0,1,0,0,0,1,0,0,0,0,0,0)である。同様に、カラー空間パラメータ値y2と関連づけられたタイルに対応するビット・ベクトルは、(1,1,0,0,0,0,0,1,0,0,0,0,1,1,0,0,1,0,0,0,0,0,0,0,0,0,0,1,1,0,0,0)である。これらのベクトルとそれらが表すタイル番号関連づけとの関係は、図7を検討することによってより良く理解できよう。図7において、x3ビット・ベクトル710およびy2ビット・ベクトル720は、タイル番号730の対応するリストの下に表示されている。各タイル番号730は、ベクトル710、720における対応するビット位置より上に表示されている。タイル関連づけは、ビット・ベクトル710、720の位置が1の値を有する場合に示される。或るタイルが或る特定のパラメータ値と関連づけされたいない場合、その値のビット・ベクトルの位置はゼロを含む。たとえば、x3ビット・ベクトル710においては、1、3、10、12、19、22、26の番号のビット位置が値1を保持している。x3ビット・ベクトル710における他のすべてのビット位置は、値ゼロを保っている。値1を含む、x3ビット・ベクトル710におけるビット位置は、パラメータ値x3と関連づけられたタイルに対応する。同様に、y2ビット・ベクトル720においては、1、2、8、13、14、17、28、29の番号を付けたビット位置は値1を保持している。値1を含むビット位置は、パラメータ値y2と関連づけられたタイルに対応している。x3、y2と関連づけられた第1カラー空間パラメータ・ビット・ベクトル710、720に適用されたビット単位の論理AND演算がタイル指示ビット・ベクトル740を生成する。このAND演算は、x3、y2カラー空間パラメータ値ビット・ベクトル710、720が共に値1を含むとき、タイル指示ビット・ベクトル740におけるビット位置を値1にセットする。たとえば、x3ビット・ベクトル710およびy2ビット・ベクトル720は、共に、ビット位置1に値1を保持している。さらに、第1ビット位置は、x3ビット・ベクトル710およびy2ビット・ベクトル720が共に値1を含む唯一のビット位置である。したがって、AND演算は、x3ビット・ベクトル、y2ビット・ベクトル710、720に適用したとき、指示ビット・ベクトル740を生成し、このビット・ベクトルが、第1位置に値1を保持し、残りの位置2〜32に値ゼロを保持する。この指示ビット・ベクトル740は、第1カラー空間パラメータ値x3、y2の各々と関連づけられたタイルのセットの共通部分の表現を含む。
ここで再び図4を参照して、第1カラー空間変換ステップ438において、指示された共通部分タイルを用いて選択された第1カラー空間カラー記述または画素を変換する。第1カラー空間変換ステップ438は、任意のカラー空間変換ステップを含み得る。たとえば、指示タイルと関連づけられたノードがアクセスされ、そして、これらのノード内に保持された第2カラー空間パラメータ値を直接使用するかあるいは補間して選択されたカラーまたは画素の第2カラー空間記述を生成する。上述したように、補間技術に基づくノード・アクセス・変換規則はこの技術分野では公知である。あるいは、他の種類の変換規則、たとえば、色調再生カーブ、多項式、アルゴリズムまたは論理プロセスのテーブルへのインデックスとして指示タイル番号を使用する。選択された変換規則は、たとえば、指示タイルによって取り囲まれているカラーの変換に特に適するように予め定義される。代表的には、変換値は、画像バッファに格納され、蓄積される。カラーまたは画素が変換されたとき、その結果生じた変換値は、バッファに記憶され、そして、第1カラー空間ソースまたは入力画像の第2カラー空間バージョンが最終的に組み立てられる。
図8を参照して、カラー変換において非分離形タイルを使用するために高速方法410を実施するように作動する画像プロセッサ810が、変換規則セレクタ820と変換規則インタプリタ830とを包含する。たとえば、第1カラー空間パラメータ値と関連づけされたビット・ベクトル834、836、838を使用し、操ることによって、変換規則セレクタ820は、第1カラー空間カラー記述を第2カラー空間カラー記述に変換する際に使用するための規則を選ぶ。変換規則セレクタ820は、規則選択情報を変換規則インタプリタ830に渡す。次いで、変換規則インタプリタ830が、この規則を解釈、適用して変換を実行する。それを必要とする実施例においては、変換規則インタプリタは、規則解釈データ840へのアクセスを有する。
たとえば、画像プロセッサ810は、次のように作動する。関係調査ステップ414、カラー空間分割ステップ418、タイル列挙ステップ422およびパラメータ値関連づけステップ426は、マシンまたはソフトウェア設計中に実施される。これらのステップ414、418、422、426の結果は、たとえば、コード化され、マシンを含むハードウェア、あるいは、マシンの一部をなすソフトウェアおよび/またはデータに組み込まれる。あるいは、ソフトウェアおよび/またはデータは、或る種の装置(たとえば、パソコン)上にインストールするのに利用され得る。たとえば、ステップ414、418、422、426の結果は、ビット・ベクトルに関連して、非分離的にタイル張りされたルックアップ・テーブルの形でコード化される。テーブルのタイルは、ノードからなる。これらのノードは、そのノードの第1カラー空間場所に関する第2カラー空間パラメータ値を含む。各タイルは、ユニークなタグまたはラベルと関連づけられる。第1カラー空間パラメータ値と関連づけられるビット・ベクトルは、どのタイル、したがって、どのノードが特定の第1カラー空間パラメータ値に関連があるかを示す。第1カラー空間カラー記述または画素が、たとえば入力画像843(カラー選択ステップ430において)を調べる画素リーダ842によって選ばれたとき、画素からなる第1カラー空間パラメータ値と関連づけられたビット・ベクトルが、アクセスされ、変換規則セレクタ820によって操作される。たとえば、画素は、第1カラー空間パラメータ値x2、y26、z61からなる。変換規則セレクタ820は、これらの特定の第1カラー空間パラメータ値に関連して、変換規則セレクタ内に記憶されたビット・ベクトルにアクセスする。たとえば、第1ビット・ベクトル834は、第1カラー空間パラメータ値x2と関連づけられ、第2ビット・ベクトル836は、第2カラー空間パラメータ値y26と関連づけられ、第3ビット・ベクトル838は、第1カラー空間パラメータ値z61と関連づけられる。パラメータXYZは、たとえば、RGBパラメータに対応する。この場合、パラメータ値x2、y26、z61は、2のレッド値、26のグリーン値および61のブルー値に対応するかもしれない。あるいは、第1カラー空間におけるパラメータが多くなり、したがって、より多くのビット・ベクトルがアクセスされる。たとえば、CMYKパラメータに対応するパラメータWXYZがある可能性がある。しかしながら、多くのパラメータは、共通部分判定ステップ434において含まれ、変換規則セレクタ820は、パラメータ値と関連づけられた変換規則の共通部分を決定する。たとえば、変換規則セレクタ820は、パラメータ値と関連づけられたビット・ベクトル834、836、838を比較し、特定セットのパラメータ値と関連づけられたタイルを選択あるいは指示する。たとえば、変換規則セレクタ820は、ビット・ベクトル834、836、838について論理AND演算を実施し、共通部分指示ベクトル(たとえば、図7の740)を生成し、それを規則インタプリタ830に渡す。次いで、規則インタプリタ830は、指示タイルと関連づけられたノードにアクセスし、ノード情報を直接使用するか、あるいは、ノード間の補間を行って、第1カラー空間カラー記述を第2カラー空間カラー記述に変換する。たとえば、これらのノードは、ルックアップ・テーブルに記憶される。ルックアップ・テーブルは、規則解釈データ840の少なくとも一部からなる。あるいは、ノードにアクセスする代わりに、規則インタプリタ830は、他のある種の規則記述へのアドレスまたはインデックスとして指示タイル選択を使用する。たとえば、指示タイル選択は、規則インタプリタ830を方向付けて、第1カラー空間カラー記述の第2カラー空間カラー記述への変換に際して、或る特定の色調再生カーブ、多項式または論理表現を使用する。この場合、規則実施データ840は、1セットの色調再生カーブ、多項式、論理表現または他の変換規則記憶・記述メカニズムを包含する。代表的には、第2カラー空間カラー記述は、画像バッファ844に記憶される。たとえば、画像バッファは、第1カラー空間画像848の完全な第2カラー空間記述が組み立てられるまで、第2カラー空間カラー記述を蓄積する。完全な第2カラー空間画像記述は、代表的には、出力装置848に送られる。たとえば、第2カラー空間画像記述は、ディスク・ドライブまたはネットワーク化ファイル・サーバのような大容量記憶装置に送られる。あるいは、出力装置848は、ディスプレイ装置またはプリント・エンジンである。たとえば、出力装置848は、CRT、電子写真プリンタまたはコンピュータ・プリンタ(たとえば、インク・ジェット・プリンタまたはレーザー・プリンタ)である。
本発明を特定の実施例に関して説明してきた。本明細書を読み、理解することによって修正、変更を行える。たとえば、タイルを長方形およびハイパー長方形として説明してきたが、他の形状およびハイパー形状も考えられる。たとえば、タイルは不規則な形状であってもよい。さらに、本明細書は、タイルが重ならないことも含んでいる。しかしながら、重なり合うタイルが意図される。たとえば、タイルが重なる場合、パラメータ値の或る種の組み合わせについて生成された指示ベクトルは、共通部分が2枚あるいはそれ以上のタイルからなることを示し得る。この場合、変換規則を、結合、混合、選ぶことができる。変換規則または補間技術を論議する場合、予備演算およびルックアップ・テーブルを置換できる。ビット・ベクトルが論理AND演算によって結合した場合、他の組み合わせ技術を使用し得る。たとえば、ビット・ベクトルの方向をひっくり返してもよい。値1とのタイル関連づけを示す代わりに、値ゼロを使用してもよい。さらに、非関連づけタイルを、値1を含むビット場所で示してもよい。この場合、論理OR演算によってビット・ベクトルを結合することで、値ゼロを含むビット場所が結合されたビット・ベクトルの共通部分を示す指示ベクトルを生成する。タイルがカラー空間全体を覆って示される場合、いくつかの実施例はカラー空間を完全にタイル張りするのを止め、入力あるいは第1カラー空間値が予想されず、なんら変換が生じないボイドまたは空領域を残すことが意図される。画像プロセッサおよびパソコンの代わりに、他の装置、たとえば、分散型ネットワーク構成要素からなる装置を使用してもよい。添付の特許請求の範囲あるいはその均等物の範囲から逸脱しない限り、あらゆる修正、変更を行える。
分離可能タイルを有する従来のルックアップ・テーブルの一部を示す図である。 改良した分離可能なタイルを有するルックアップ・テーブルの一部を示す図である。 分離可能タイルに制限されないルックアップ・テーブルの一部を示す図である。 分離可能タイルに制限されないルックアップ・テーブルを使用する方法を概説しているフローチャートである。 2つのカラー空間とそれと関連したタイル構造との関係例を示すグラフである。 分離可能タイルに制限されないルックアップ・テーブルの一部を示す図であり、タイル列挙法を含み、特定のカラー空間パラメータ値と特定のカラー空間タイルとの関係を示す図である。 タイル関連情報を含む2ビット・ベクトルと、これらの関連の共通部分を見いだしてビット・ベクトルを示す共通部分を生成するプロセスとを示す図である。 図4の方法を実施するようになっている画像プロセッサのブロック図である。
符号の説明
414 関係調査ステップ
418 カラー空間分割ステップ
422 タイル列挙ステップ
426 パラメータ値関連づけステップ
430 カラー選択ステップ
434 共通部分判定ステップ
610 第1カラー空間
614 タイル
624 Xパラメータ軸
628 Yパラメータ軸
642 共通部分
710 x3ビット・ベクトル
720 y2ビット・ベクトル
810 画像プロセッサ
820 変換規則セレクタ
830 規則インタプリタ
840 規則解釈データ
842 画素リーダ
844 画像バッファ
848 出力装置

Claims (1)

  1. 1セットの第1カラー空間パラメータによって描かれた第1カラー空間に基づく第1画像記述を、1セットの第2カラー空間パラメータによって描かれた第2カラー空間に基づく第2画像記述に変換するように作動する画像プロセッサにおいて、
    1セットの画像変換規則と、
    1セットの、前記画像変換規則関連ベクトルであって、各画像変換規則関連ベクトルが、特定の前記第1カラー空間パラメータ値に関連しており、各画像変換規則関連ベクトルが、前記特定の第1カラー空間パラメータ値と関連した前記画像変換規則のセットの中の特定の画像変換規則を識別する、前記1セットの画像変換規則関連ベクトルと、
    所与の第1カラー空間パラメータ値セットと関連した前記画像変換規則関連ベクトルを使用して前記所与の第1カラー空間パラメータ値セットと関連した画像変換規則における第1の前記画像変換規則関連ベクトルと少なくとも1つの他の前記画像変換規則関連ベクトルとの交差部分を見つけだし、前記交差部分に基づいて、実行のための画像変換規則を選定する、画像変換規則セレクタとを包含する、
    ことを特徴とする画像プロセッサ。
JP2007236623A 2000-11-01 2007-09-12 画像プロセッサ Expired - Fee Related JP4505490B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US09/703,749 US6621498B1 (en) 2000-11-01 2000-11-01 High-speed non-separable color table lookup

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001323143A Division JP4061046B2 (ja) 2000-11-01 2001-10-22 カラー画像処理方法

Publications (2)

Publication Number Publication Date
JP2008048432A true JP2008048432A (ja) 2008-02-28
JP4505490B2 JP4505490B2 (ja) 2010-07-21

Family

ID=24826624

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2001323143A Expired - Fee Related JP4061046B2 (ja) 2000-11-01 2001-10-22 カラー画像処理方法
JP2007236623A Expired - Fee Related JP4505490B2 (ja) 2000-11-01 2007-09-12 画像プロセッサ

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2001323143A Expired - Fee Related JP4061046B2 (ja) 2000-11-01 2001-10-22 カラー画像処理方法

Country Status (2)

Country Link
US (1) US6621498B1 (ja)
JP (2) JP4061046B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4077148B2 (ja) * 2000-09-28 2008-04-16 富士フイルム株式会社 色再現特性表示装置および色再現特性表示プログラム記憶媒体
US6912695B2 (en) * 2001-09-13 2005-06-28 Pixia Corp. Data storage and retrieval system and method
JP4105426B2 (ja) * 2001-11-15 2008-06-25 ソニー株式会社 画像情報伝達方法及び画像情報処理装置
FR2870072A1 (fr) * 2004-05-07 2005-11-11 Sagem Procede, circuit et systeme de conversion d'espace de couleu r par interpolation tridimensionnelle
US8120617B2 (en) * 2005-01-26 2012-02-21 Canon Kabushiki Kaisha Color conversion with many input channels
US7933053B2 (en) * 2006-12-01 2011-04-26 Xerox Corporation Fine tuning color dictionaries
US8526727B2 (en) * 2010-06-15 2013-09-03 Xerox Corporation Hierarchical multidimensional lookup table generation
EP2940466A1 (en) * 2014-07-29 2015-11-04 Sensirion AG Sensor chip
KR102465008B1 (ko) * 2016-01-20 2022-11-09 삼성디스플레이 주식회사 얼룩 보정 장치, 이 얼룩 보정 장치를 이용한 얼룩 보정 방법, 및 이 얼룩 보정 장치를 포함하는 디스플레이 시스템
US10015366B2 (en) * 2016-03-04 2018-07-03 Esko Software Bvba Variable resolution lookup table for accelerated color conversion

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11146218A (ja) * 1997-11-12 1999-05-28 Fuji Xerox Co Ltd 色変換処理装置
JP2000125144A (ja) * 1998-10-19 2000-04-28 Ricoh Co Ltd 画像処理装置及び方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4992861A (en) 1988-10-18 1991-02-12 Eastman Kodak Company Color image reproduction apparatus having a digitally operated look-up table constructed by means of a least squares algorithm
US5748195A (en) * 1992-10-29 1998-05-05 International Business Machines Corporation Method and means for evaluating a tetrahedral linear interpolation function
US5880738A (en) * 1994-08-11 1999-03-09 Canon Information Systems Research Australia Pty Ltd. Color mapping system utilizing weighted distance error measure
US5802219A (en) 1995-11-27 1998-09-01 Sun Microsystems, Inc. Methods and apparatus for table lookup transformation of digital images
US5652831A (en) * 1996-02-01 1997-07-29 Industrial Technology Reasearch Institute Variable point interpolation apparatus and method with scalable architecture for color correction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11146218A (ja) * 1997-11-12 1999-05-28 Fuji Xerox Co Ltd 色変換処理装置
JP2000125144A (ja) * 1998-10-19 2000-04-28 Ricoh Co Ltd 画像処理装置及び方法

Also Published As

Publication number Publication date
US6621498B1 (en) 2003-09-16
JP2002209121A (ja) 2002-07-26
JP4061046B2 (ja) 2008-03-12
JP4505490B2 (ja) 2010-07-21

Similar Documents

Publication Publication Date Title
JP4505490B2 (ja) 画像プロセッサ
US5343311A (en) Indexed processing of color image data
US6766051B2 (en) Adaptive tree-base lookup for non-separably divided color tables
US6549654B1 (en) Image processing method and apparatus and storage medium storing processes of executing the method
JPH0877341A (ja) カラー画像処理装置及び方法
JP2004229277A (ja) 補間を使用する色空間変換
JP2005041222A (ja) ペン出力強度を整合させる方法及び装置
JPH1028231A (ja) 自動カラー修正方法および装置
JP4238992B2 (ja) カラー画像処理方法およびカラー画像処理装置、カラー画像処理プログラム、記憶媒体
JP2006295709A (ja) 色再現方法及びその装置
US7164494B1 (en) Color separation of pattern color spaces and form XObjects
US6873434B1 (en) Color management of black data
JP2006262238A (ja) 画像処理方法および画像処理装置並びにプログラム
US10516806B2 (en) Processing color image of first color space into renderable image of second color space
US7869088B2 (en) Methods and apparatus for determining a lookup table size for an AFP link CMR
JP2019034427A (ja) 画像処理装置および画像処理方法、プログラム
JP2004096751A (ja) 色空間変換
JPH10191090A (ja) 色変換テーブルの製造装置及び製造方法並びに記録媒体
JP2000251054A (ja) 自動カラー修正方法および装置
US6778294B1 (en) Palette color cache
JPH06296231A (ja) 色彩値変換装置
JP4687361B2 (ja) 画像変換システム
JP2004112270A (ja) 色変換テーブル作成方法および色変換テーブル作成装置並びにプログラム
JP2006287584A (ja) 画像処理方法および画像処理装置、および画像処理システム
JP2005278072A (ja) 補間処理装置、補間処理方法および補間処理プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100408

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100426

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130430

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140430

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees