JP2005167978A - カラー画像情報を白黒画像に埋め込むための方法 - Google Patents

カラー画像情報を白黒画像に埋め込むための方法 Download PDF

Info

Publication number
JP2005167978A
JP2005167978A JP2004274654A JP2004274654A JP2005167978A JP 2005167978 A JP2005167978 A JP 2005167978A JP 2004274654 A JP2004274654 A JP 2004274654A JP 2004274654 A JP2004274654 A JP 2004274654A JP 2005167978 A JP2005167978 A JP 2005167978A
Authority
JP
Japan
Prior art keywords
image
wavelet
chrominance
color image
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004274654A
Other languages
English (en)
Other versions
JP4416613B2 (ja
Inventor
Ricarde L De Queiroz
エル デ クエイロス リカルド
Karen M Braun
エム ブラウン カレン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of JP2005167978A publication Critical patent/JP2005167978A/ja
Application granted granted Critical
Publication of JP4416613B2 publication Critical patent/JP4416613B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40012—Conversion of colour to monochrome

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

【課題】 白黒画像の、カラー画像への変換を可能とするために、テクスチャー情報をカラー画像の白黒複製に埋め込む。
【解決手段】 本方法は、第１にカラー画像を輝度−クロミナンス色空間に変換することを含む。クロミナンスデータは、４つのクロミナンスのチャンネルに分解される。輝度チャンネルのウェーブレット変換が実行される。目盛のある（scaled）クロミナンス・チャンネルは次に、いくつかのウェーブレット・サブ・バンドにマップされる。一旦マップされると、ウェーブレット変換は、反転され、オリジナルのカラーのクロマと比例する強度を有するカラー画像のオリジナルのカラーと均整のとれたテクスチャーを生成する。
【選択図】 図１

Description

本発明は全体として、カラー画像を、白黒画像に変換するための方法に関連し、より詳細には、白黒画像の、カラー画像への変換を可能とするために、テクスチャー情報をカラー画像の白黒複製（reproduction）に埋め込むための方法に関連する。
カラー画像が、白黒印刷装置の上で印刷されるときに、オリジナルの画像で得られたカラー画像情報は、白黒に変換、さもなければ、マップされねばならない。これは、画像自身が再構成において失われないように、カラー画像を含む十分なカラー情報が、派生した（derivative）白黒画像内に保持されるようなやり方で実現されねばならない。類似の明るさを持つ異なったカラーの領域は、大体同じに見えるので、オリジナルのカラー画像での、わずかなカラー差は、結果としての白黒画像において、識別が困難であり得る。いくつかの場合において、カラー差の識別についての、この無能力は、オリジナルの画の内容を妥協させ（compromise）、結果としてのグラフィックまたはチャートについての人の理解を傷付け（compromise）得る。
カラーは一般的に、トナーの濃度（輝度）以外の、或る程度の弁別可能性を課する（impose）ために、テクスチャにマップされる。異なったカラーは、より即座に識別可能であるべき、異なったテクスチャを生成すべきである。複数の方法は、この問題に対して、カラーを、一つあるいはそれ以上のテクスチャ・パターンにマッピングすることによってアプローチする。或いは、主要カラーの組合せが結局、テクスチャ・パターンの組合せにマップされるように、主要なカラーだけがテクスチャ・パターンにマップされる。
ウェーブレット理論は、本発明の主題の理解にとって重要であり、以下の追加的バックグラウンドが提供される。
フーリエ理論から、信号が、（場合によっては無限の）一続きのサインおよびコサインの合計として表現され得ることは良く知られている。この合計は、フーリエ級数とも呼ばれる。フーリエ級数の不利な点は、それが、時間解を持たず、周波数解（resolution）だけを持つことである。その意味は、信号に存在する全ての周波数が決定され得るが、いつそれが存在するか分からないということである。この問題を克服するために、信号を、時間および周波数ドメインで同時に表現する能力を持ついくつかの解決法が開発されてきた。
時間−周波数のジョイント表現の背後のアイデアは、関心事である信号を、複数の部分に切断し、次に、各部分を別個に分析することである。この方法で信号を分析することが、異なった周波数要素が、いつ、どこに、あるか、に関して、より多くの情報を与えることは明白であるが、それはしばしば、基本的問題にも繋がる。即ち、どのように信号を切断するのか？である。ここに問題が存在する。我々は、時間内の一定の瞬間に存在する全ての周波数要素を正確に知る必要があると仮定しよう。この短い時間ウィンドウは、Diracパルス（ｔ＝０においてｆ（t）＝１、および、他の全てのｔに対してｆ（ｔ）＝０）を用いて切断され、次に、それを、周波数ドメインに変換する。
一つの問題は、切断することは、信号と切断ウインドウ（cutting window）の間のたたみこみ（convolution）に対応することである。時間ドメイン内のたたみこみは、周波数ドメインでの乗算と等しいので、そして、Diracパルスのフーリエ変換は、全てのあり得る周波数を含むので、信号の周波数要素（component）は、周波数軸に亘って不鮮明に（smear）なりはじめる。我々は今、時間分解能（resolution）を持つが、周波数解像度を全く持たないので、これは、標準フーリエの結果とは反対である。この問題の背後の原理は、部分的に、信号内のこの周波数の発生の、正確な周波数および正確な時間を知ることが不可能であることを述べる、ハイゼンベルグの不確定原理に起因する。そのような訳で、信号は、時間−周波数空間内のポイントとして表現され得ない。
ウェーブレット変換またはウェーブレット解析は、フーリエ変換の欠点を克服するための一つの解法である。ウェーブレット解析において、完全にスケーラブルな、変調された（modulated）ウィンドウの使用は、信号−切断問題の解決を助ける。何故なら、ウィンドウが、信号に沿ってシフトされるので、全ての位置に対してスペクトラムが計算されるからである。この工程は、各周期（cycle）に対して、わずかに短い（或いは長い）ウィンドウについて反復されるので、全てが異なった解像度（resolution）を持つ、信号の時間−周波数表現の集合（collection）、即ち、マルチ解像度分析結果が得られる。
ウェーブレットの場合には、時間軸表現について言及されず、むしろ、時間スケール（time-scale）表現が言及される。ここで、スケールは、フーリエ変換で使用される周波数の反対である。大きなスケールが、大きな画と考えられる一方、小さなスケールは、詳細を示す。或る意味では、大きなスケールから小さなスケールに向かうことは、詳細にズーミングすることに似ている。
ここで好ましいとされるウェーブレット変換は、より正式には、
Figure 2005167978
 （１）
で表現される、連続的ウェーブレット変換（ＣＷＴ：Continuous Wavelet Transform）である。
ここで、＊は、複素数の共役を表す。この式は、いかにして、関数ｆ（ｔ）が、基本関数（ウェーブレットと呼ばれる）の組に分解される（decomposed）かを示す。変数ｓおよび
Figure 2005167978
 つまり、スケール（scale）および並行移動（translation）は、ウェーブレット変換の後の新しい次元（dimensions）である。ウェーブレット変換（１）は、連続的にスケーラブルな関数を、信号に亘って連続的にシフトし、その２つの間の相関を計算することによって計算される。そのような訳で、ウェーブレット自身は、
Figure 2005167978
 （２）
によって生成される。
ここで、ｓは、スケール・ファクタであり、τは、並行移動ファクタ（translation factor）であり、s-1/2は、異なったスケールに亘ったエネルギー正規化に関するものである。
情報の損失無しに、信号を分析し再構築するための、適格な状態が使用されるが、これは、
Figure 2005167978
 （３）
のように二乗積分可能な（square integrable）関数Ψ（ｔ）によって満足される。
ここで、Ψ（ω）は、Ψ（ｔ）のフーリエ変換である。適格な（admissibility）状態は、Ψ（ｔ）のフーリエ変換が、ゼロ周波数において消滅すること、即ち、ウェーブレットが、バンド・パスに似たスペクトラムを持たねばならぬことを意味する。したがって、
Figure 2005167978
 （４）
である。
ゼロ周波数におけるゼロということは、時間ドメイン内のウェーブレットの平均値が、ゼロでなければならぬこと、即ち、振動性（oscillatory）であることを意味する。換言すれば、Ψ（ｔ）は、波（wave）でなければならぬ。
Figure 2005167978
 （５）
ＣＷＴは、１次元信号を、高度に冗長な、２次元時間スケールの同時表現（joint representation）にマップする。ＣＷＴの時間帯域生成物（time-bandwidth product）は、信号の生成物の二乗（square）であり、殆どのアプリケーションにおいて、非効率的である。離散ウェーブレットは、この問題を克服する。何故なら、それらは、離散ステップでのみ、スケールされ得、並行移動（translated）され得るからである。（２）でのウェーブレットを修正することによって、我々は、
Figure 2005167978
 （６）
を得る。
ここで、ｊおよびｋは、整数であり、Ｓ0＞１は、固定された膨張ステップ（dilation step）である。並行移動ファクター0は、膨張ステップに依存する。
離散ウェーブレットが、連続信号を変換するために使用されるときに、結果は、一連の、ウェーブレット系列分解（wavelet series decomposition）と呼ばれるウェーブレット係数である。ウェーブレットの離散化の効果は、時間スケール（time-scale）の空間が現在、離散インターバルにおいてサンプルされていることである。通常、周波数軸のサンプリングが、時間軸のダイアディック・サンプリング（dyadic sampling）に対応するように、Ｓ0＝２が選択される。
以下は、ダイアディック・グリッド（dyadic grid）上の時間スケール空間内での離散ウェーブレットの局在化（localization）を示す。
Figure 2005167978
 重要な事項は、分解（decomposition）は、再構築（reconstruction）である、ということである。信号は、そのウェーブレット・シリーズ分解（wavelet series decomposition）から再構築され得る。何故なら、ウェーブレット係数のエネルギーは、
Figure 2005167978
 （７）
のように、正の範囲（positive bounds）の間に存するからである。
ここで、||ｆ||2は、f（ｔ）のエネルギーであり、Ａ＞０、Ｂ＜∞であり、Ａ，Ｂは、ｆ（ｔ）から独立（independent）である。
離散ウェーブレットは、それら自身の膨張（dilatiojns）および並行移動（translations）に対して直交とされ得る。これは、
Figure 2005167978
 （８）
を意味する。
任意の信号は、ウェーブレット変換係数：
Figure 2005167978
 （９）
によって重み付けして、直交ウェーブレット・ベースの関数を合計すること（summing）によって再構築され得る。これは、離散ウェーブレットに対する、転置（inverse）ウェーブレット変換を示す。
（４）において、ウェーブレットは、バンド・パスに似たスペクトラムを持つ。フーリエ理論から、時間での圧縮は、スペクトラムを伸張して、それを、上にシフトすることに等しい。
Figure 2005167978
 （１０）
換言すれば、２の因数（factor of two）によるウェーブレットの時間圧縮は、ウェーブレットの周波数スペクトラムを、２の因数だけ伸張し、全ての周波数要素を、２の因数だけ上にシフトする。これを用いて、信号の有限なスペクトラムは、時間ドメインにおける我々の信号が、並行移動された（translated）ウェーブレットで覆われるのと同じやり方で、膨張されたウェーブレットのスペクトラ（spectra）で覆われる（covered）。信号スペクトラムの良いカバレッジを得るために、伸張されたウェーブレット・スペクトラ（spectra）は、図示のように互いに接触せねばならない。これは、ウェーブレットを正しく設計することによって為される。
Figure 2005167978
 その結果、一続きの膨張されたウェーブレットは、バンド・パス・フィルタ・バンクとして見られ得る。ウェーブレット・スペクトラムの中心周波数と、このスペクトラムの幅と、の間の比率は、全てのウェーブレットについて同じであり、フィルタの忠実度ファクター（fidelity factor）Ｑであり、ウェーブレットの場合には、一定のＱ−フィルタ・バンクである。
信号が、有限のエネルギーを持つときに、その周波数スペクトラムおよびその時間期間（time duration）を、ウェーブレットでカバーすることは不可能となる。通常、この制約は、正式には、
Figure 2005167978
 （１１）
と表現される。
これは、信号ｆ（ｔ）のＬ２−ノルム（Ｌ２−norm）が、有限であることを意味する。したがって、自然な信号は通常、有限のエネルギーを持つ。
もし、スケーリング関数が、単なる、低域パス・スペクトラムを持つ信号として考えられるならば、それは、ウェーブレット要素（components）に伸張（decompressed）され得、
Figure 2005167978
 （１２）
として表現される。
式（１２）のスケーリング関数φ（ｔ）は、そのスペクトラムが、ウェーブレットによって残された（left open）空間に旨くフィット（neatly fit）されるような方法で選択されるので、（１２）は、一定のスケールｊまで、有限の数のウェーブレットを用いる。
Figure 2005167978
 これは、もし信号が、スケーリング関数およびウェーブレットの組合せを用いて分析されるならば、スケーリング関数は、それ自身で、スペクトラムの面倒を見る（take care of）か、或いは、スケールｊまでの全てのウェーブレットによってカバーされ（覆われる：covered）る一方、残りは、ウェーブレット自体によって為されることを意味する。したがって、ウェーブレットの数は、有限の数に減少される。
スケーリング関数を導入することによって、有限の数のウェーブレットを有することの問題は、回避され、ウェーブレットの低い境界（lower bound）が、設定される。勿論、ウェーブレットの代わりに、スケーリング関数を用いたことによって、情報失われるという結果がもたらされる。しかし、信号表現の見地からは何の情報も失われない。何故なら、依然として、示されるようなオリジナルの信号を再構築することが可能であるからである。しかし、ウェーブレット解析の見地から、価値のあるスケール情報が、破棄される。それ故、スケーリング関数スペクトラムの幅は、ウェーブレット変換設計において重要なパラメータである。そのスペクトラムが短いほど、ウェーブレット係数およびスケール情報が大きくなる。しかし、人が扱えるウェーブレット係数の数についての制限が存在する。しかし、離散ウェーブレット変換（ＤＷＴ）において、この問題は、事実上自動的に解決される。
スケーリング関数のローパス・スペクトラムは、（５）に類似して、
Figure 2005167978
 （１３）
のように、許容できる状態が再宣言される（re-stated）ことを可能とする。
この関係は、スケーリング関数の０番目の瞬間（moment）が、消失できないことを示す。（もし、ウェーブレット変換設計における自由度が、ウェーブレットについての消失する瞬間（vanishing moment）の生成においてのみ使用されるのでないが、それらが、スケーリング関数およびウェーブレットの間で等しく分配されて、双方の関数に対して消失する瞬間を生成するならば、我々は、コイフレット（Coiflets）を持つ。）
それ故、もし、一つのウェーブレットが、バンド・パス・フィルタとして見られ、スケーリング関数が、ロー・パス・フィルタであるならば、スケーリング関数とともに、一続きの膨張されたウェーブレットが、フィルタ・バンクとして見られ（seen as）得る。
もし、ウェーブレット変換が、フィルタ・バンクと考えられるならば、信号を変換しているウェーブレットは、信号を、このフィルタ・バンクを通過させていると考えられ得る。信号を、フィルタ・バンクを通じて通過させることによって信号を分析することは、サブバンド符号化として知られている。異なったフィルタ・ステージ（filter stages）の出力は、ウェーブレット変換係数およびスケーリング関数変換係数である。
サブ・バンド符号化で必要とされるフィルタ・バンクは、複数の方法で構築され得る。その一つは、多くのバンドパス・フィルタを構築して、スペクトラムを、周波数バンドに分割する（split）ことである。この利点は、それぞれのバンドの幅全てが、分析すべき信号のスペクトラムが、興味深いかもしれない場所として覆われる（covered）ような方法で選択され得ることである。不利な点は、すべてのフィルタが、別個に設計されねばならぬことである。別の不利な点は、信号スペクトラムを、２つの等しい部分（ローパス部分およびハイパス部分）に分割することである。ハイパス部分は、興味の対象たる、最も小さい詳細（details）（粒度（granularity））を含み、我々は、この点について考察する。我々は今、２つのバンドを持つ。しかし、ローパス部分は依然として、いくらかの詳細（details）を含むので、我々が、生成されたバンドの数に満足するまで、何度も分割できる。この方法において、反復されたフィルタ・バンクが生成される。利点は、我々が一回だけ設計すれば済むということである。不利な点は、信号スペクトラムのカバレッジが固定されることである。
スペクトラムの分割の工程は、グラフィカルに、
Figure 2005167978
 のように示される。
反復されたスペクトラム分割の後に維持されるものは、２倍にされたバンド幅と、一つのローパス・バンドとを伴う、一連のバンドパス・バンドである。（理論的には、最初の分割が、ハイパス・バンドとローパス・バンドを生成するが、実際には、信号の、限定された帯域（bandwidth）に起因して、ハイパス・バンドはバンドパス・バンドである。）信号を、バンドパス・フィルタのバンク（この中で、各フィルタは、その左隣接（周波数軸は左から右に走る）の２倍の広さのバンド幅、および、ローパス・フィルタを持つ）内に供給すること（feeding）によって、同じサブ・バンド分析が実行される。ウェーブレットは、バンドパス・バンドに２倍のバンド幅を与え、スケーリング関数は、ローパス・バンドを提供する。ウェーブレット変換は、一定のＱフィルタ・バンク（一定のＱフィルタ・バンクには限定されないが）を用いたサブバンド符号化スキーマになって来ている。もし、ウェーブレット変換が、反復フィルタ・バンクとして実行されたならば、ウェーブレットは、明確に指定（specified explicitly）される必要は無い。
離散信号によって実現された結果を使用するために、ウェーブレット変換は、離散に作成（made）されねばならない（離散ウェーブレットは、時間離散ではない。並行移動（translation）とスケール・ステップだけが離散的である。）。
（１２）において、マイナスの有限値（infinity）から、一定のスケールｊまでのウェーブレットで表現されたスケーリング関数が与えられると、もし、ウェーブレット・スペクトラムが、スケーリング関数スペクトラムに付加されるならば、第１のスペクトラムの２倍広いスペクトラムを伴った、新しいスケーリング関数が生成される。したがって、第１のスケーリング関数は、第２のスケーリング関数によって表現され得る。何故なら、
Figure 2005167978
 （１４）
のように、必要とされる全ての情報は、第２のスケーリング関数に含まれるからである。
この関係は、一定のスケールにおけるスケーリング関数が、次に小さいスケール（即ち、より詳細な（in more detail））における並行移動された（translated）スケーリング関数によって表現され得ることを表す。第１のスケーリング関数は、一組のウェーブレットを置換したので、ウェーブレットは、次のスケールにおける並行移動されたスケーリング関数によって表現され得る。レベルｊにおけるウェーブレットは、
Figure 2005167978
 （１５）
となる。
信号ｆ（ｔ）は、膨張された（dilated）および並行移動された（translated）ウェーブレットによって、スケールｊ−１まで表現され得るので、ｆ（ｔ）もまた、スケールｊにおいて、膨張された、そして、並行移動された、スケーリング関数によって、
Figure 2005167978
 （１６）
のように表現され得る。
もし我々が、１つのスケールを、ｊ−１にステップ・アップするならば、同じレベルの詳細（detail）を維持するために、ウェーブレットが追加されねばならない。
Figure 2005167978
 （１７）
もし、スケーリング関数φj,k（ｔ）および、ウェーブレットψj,k（ｔ）が、直交するなら、係数λφj-1（ｋ）およびγj-1（ｋ）は、内部生成物（inner products）である。
Figure 2005167978
 （１８）
もしφj,k（ｔ）および、ψj,k（ｔ）が、適切にスケールされ、並行移動された、バージョンによって置換され（例えば、（１４）および（１５）での２ｊｔを、２ｊｔ−ｋによって置換する）、各項を整理すると、
Figure 2005167978
 （１９）
Figure 2005167978
 （２０）
となる。
これらのことは、ウェーブレット係数およびスケーリング関数係数(scaling function coefficients)が、一定のスケールにおいて、前のスケール（previous scale）からのスケーリング関数係数の、重み付けされた合計を計算することによって発見され得ることを示す。
スケーリング関数係数が、ローパス・フィルタからやって来た（came from）こと、および、いかにして、ローパス・スペクトラムを、ローパスおよびハイパス部分に繰り返分割することによって、フィルタ・バンクが反復された（iterated）か、を思い出して欲しい。フィルタ・バンク反復は、信号スペクトラムにおいて開始した。したがって、もし我々が、信号スペクトラムが、前の（想像上の（imaginary））スケールにおけるローパス・フィルタの出力であると想像するならば、我々のサンプルされた信号は、前の（想像上の）スケールからのスケーリング関数係数であると考えることが可能である。換言すれば、我々のサンプルした信号ｆ（ｋ）は、最も大きいスケールにおいて、λ（ｋ）に等しい。
（１９）および（２０）のような、離散の重み付けされた合計は、デジタル・フィルタと同じである。係数λj（ｋ）は、分割された信号スペクトラムのローパス部分から来た（came from）ので、（１９）での重み付けファクターｈ（ｋ）は、ローパス・フィルタを形成する。そして、係数λj（ｋ）は、分割された信号スペクトラムのハイパス部分から来たので、（２０）における重み付けファクターｇ（ｋ）は、ハイパス・フィルタを形成する。これは、（１９）および（２０）が一緒になって、反復されたデジタル・フィルタ・バンクの１つのステージを形成し、係数ｈ（ｋ）が、スケーリング・ファクターとなり、係数ｇ（ｋ）が、ウェーブレット・フィルタとなることを意味する。（１９）および（２０）において、スケーリングおよびウェーブレット・フィルタは、変数ｋにおける、２のステップ・サイズを持つ。この効果は、全ての他の（every other）λj（ｋ）だけが、たたみこみで用いられる結果、出力データ・レートが、入力データ・レートと等しくなる、というサブ・サンプリング特性である。サブ・サンプリング特性は、如何にして、スケーリング関数スペクトラムの幅を選択するかの問題を解決する。
フィルタ・バンクが反復される毎に、次のステージに対するサンプルの数が、半分にされる。したがって、（極端な場合には）唯１つのサンプルが得られる。ここで反復が終了する。これはまた、スケーリング関数のスペクトラムの幅を決定する。通常反復は、サンプルの数が、スケーリング・フィルタまたはウェーブレット・フィルタの長さの長い方より小さくなったところで終了する。したがって、最も長いフィルタの長さは、スケーリング関数のスペクトラムの幅を決定する。このような訳で、（１９）および（２０）は、
Figure 2005167978
 のように、反復されたフィルタ・バンクの１つのステージとして実行され得る。
したがって、冗長度の大きい連続ウェーブレット変換（その有限の数の非指定のウェーブレットを持つ）は、コンピュータ上で容易に実行される、有限のステージの反復されたデジタル・フィルタ・バンクに減少される（reduced to）。冗長度は、離散ウェーブレットを用いることによって除去される。スケーリング関数は、変換で必要とされるウェーブレットの有限の数の問題を解決する。
カラー画像を、その中のカラー情報を維持するために、白黒に変換されたときに、類似の輝度を持つが異なったクロミナンスを持つ画像領域が異なって見えるようにして、質感を出した（textured）モノクロの画像に変換するための方法が開示される。この質感−符号化されたカラー画像は、オリジナルのカラー画像を再構成するために、後に抽出され得る。本方法は、第１に、カラー画像を輝度−クロミナンス色空間に変換することを含む。クロミナンス・データは、クロミナンスの４つのチャンネルに圧縮される。輝度チャンネルのウェーブレット変換が実行される。スケールされた（scaled）クロミナンス・チャンネルが次に、いくつかのウェーブレット・サブ・チャンネルにマップされる。一旦マップされると、ウェーブレット変換は、に変換されて（inverted）、オリジナルのカラーのクロマに比例した（proportional to）強度を有するカラー画像のオリジナルのカラーに比例した（proportional to）テクスチャ（texture）を生成する。白黒画像は、このテクスチャ情報とともに、画像のグレイスケール要素（grayscale component）に埋め込まれる。
テクスチャ化されたグレイスケール画像からカラー画像を復元（retrieve）するために、ウェーブレット変換は、その中にマップされた、スケールされたクロミナンス・チャンネルを再生成する。埋め込まれたクロマを含む、これらのウェーブレット・サブ・バンドは、抽出されて、オリジナルの画像のサイズにスケールされる。残りのサブ・バンドは、その中のＹ画像を削減するために変換される。別個の画像が今、Ｙ、ＣｒおよびＣｂに存在する。ＹＣｒＣｂ画像の再組み合わせは、前に、テクスチャ化された白黒画像のグレイ・スケール要素（components）に埋め込まれた、カラー化された画像を生成する。
白黒画像内にカラー情報を維持するために、白黒に変換されたときに、類似の輝度を持つが、異なったクロミナンスを持つ画像領域が、異なって見えるように、カラー画像を、テクスチャ化された（textured）モノクロ画像に変換する方法が開示される。
図１を参照して、本方法は、第１に、オリジナルのカラー画像10を、その色空間から、それぞれ12、14、および16で示される、Ｙ（輝度）、Ｃｒ（クロミナンス 赤／緑）、および、Ｃｂ（クロミナンス 青／黄色）、の別個の画像を備える、輝度−クロミナンス色空間に変換すること、を含む。もし、オリジナルの色空間が、例えば、ＲＧＢであったならば、次に、以下の変換が好ましく利用されて、ＲＧＢ色空間を、ＹＣｂＣｒ空間にマップする。
Ｙ＝0.299Ｒ＋0.587Ｇ＋0.114Ｂ
Ｃｒ＝-0.1687Ｒ-0.3313Ｇ＋0.5Ｂ＋128.
Ｃｂ＝0.5Ｒ-0.4187Ｇ-0.0813Ｂ＋128.
マッピングの後に、Ｙ、Ｃｒ、およびＣｂの画像はそれぞれ、オリジナルと同じサイズである。換言すれば、もし、オリジナルの画像10が、サイズ400×400画素であるならば、輝度−クロミナンス画像（12、14、16）の各々もまた、サイズ400×400でありうる。
Ｙ画像12は、18を生成するためにそのウェーブレット変換を受ける。好ましくは、8ビット画像を、8ビットウェーブレットにマップするために、高速変換が用いられる。もし、８ビット表現が、滲んだ（blurring）線をもたらすならば、16ビットまたは32ビットが好ましい。ウェーブレット変換は、オリジナルのカラー画像を含む情報の種々の周波数表現を分離する。データ18が一般的に、左から右に上から下に増加する、サブ・バンド（ブロックとしての図で代表される）、および、サブ・バンドの周波数、にグループ化されることに留意して欲しい。換言すれば、左上サブバンド１８Ａのデータは、最も低い周波数を表す一方、18Ｄのデータは、最も高い周波数を表す。図１の18の左上象限において、18Ａ1、18Ａ2、18Ａ3、および18Ａ4として識別されるサブ・バンドの各々は、そのサブ象限の各々が、スケール・ダウンされたオリジナルのカラー画像の空間情報を表す、最も低い周波数データを含む。右上象限内のサブ・バンド158Ｂに含まれるデータは、垂直エッジ情報を表す。18の左下象限内のサブ・バンド18Ｃに含まれるデータは、水平エッジ情報を表す。そして、右下象限内のサブ・バンド18Ｄのデータは、対角エッジ情報を表す。
ウェーブレット変換された輝度画像を含むデータ・アレイのサイズは全体として、画素内のオリジナルの画像と同じサイズである。もし、オリジナルのカラー画像が、例えば、400×400画素ならば、ウェーブレット変換されたデータ・アレイのサイズもまた、400××400画素である。左上象限内のサブ・バンド18Ａ1、１８Ａ2、１８Ａ3、および１８Ａ4、の各々は、オリジナルの画像の面積（area）の1/16である。この場合には、その中の各サブ・バンドは、それぞれ100×100画素である。他の象限18Ｂ、１８Ｃ、１８Ｄの各々はそれぞれ、200×200画素である。
図１の20および22に対して参照が為される。ここで、サイズ400×400のＣｒ画像14、および、サイズ400×400のＣｂ画像は、各々が後に、変換されたデータ18の象限にマップされ得るように、スケール・ダウンされる。垂直での1/2スケーリング、および、水平での1/2スケーリングを含むＣｒ20を得るために、Ｃｒ画像はこのように、1/4の面積にスケールされる。Ｃｂ22を得るために、Ｃｂ画像16に対して同じことが為される。そのようなスケーリングは、例えば、垂直内の全ての他の（every other）画素を取り（taking）、水平内の全ての他の画素を取ることによって実現され得る。アレイの、1/4サイズへのスケーリングの他の方法は、従来技術において良く知られている。
図１の24、26、28、および30に対して参照が為される。スケールされたアレイ20および22を形成するために、一旦Ｃｒ画像14およびＣｂ画像16にスケーリングが為されると、これらの値は：Ｃｒ＋＝Ｃｒ*ｕ（Ｃｒ）；Ｃｒ−＝−Ｃｒ*ｕ（−Ｃｒ）；Ｃｂ＋＝Ｃｂ*ｕ（Ｃｂ）；Ｃｂ−＝−Ｃｂ*ｕ（−Ｃｂ）；のように、正と負の要素（component）に分離される。ここで、ｕ（ｘ）は、単位ステップ関数である。ここで使用されるステップ関数は、正値が維持される一方、負値がゼロにされるようなものである。したがって、Ｃｒ＋24は、正値を持つ画素に対してのＣｒ値、および、負値を持つ画素に対してのゼロ、を含む。Ｃｒ−26は、負値を持つ画素に対するＣｒの絶対値、および、正値を持つ画素に対するゼロ、を含む。同様に、Ｃｂ＋28は、正値を持つ画素に対する値、および、負値を持つ画素に対するゼロ、を含む。Ｃｂ−30は、正値を持つ画素の値がゼロとされた、Ｃｂの絶対値を含む。
本発明の次のステップは、示されるような、各クロミナンス・チャンネル、Ｃｒ＋24、Ｃｒ−26、Ｃｂ＋28、および、Ｃｂ−30の、サブ・バンドへのマッピングを含む。クロミナンス・チャンネルと置換されたサブ・バンドの数は通常、２である。この２のうち、１つは、Ｃｂのためのもので、１つは、Ｃｒのためのものである（（殆どの情報を運ぶのは通常、クロマではなく、ヒューなので、）ヒュー相関（hue correlate）に対して１つのサブ・バンドが、使用され得るが）。或いは、３つがマップされる。この場合、１つが、Ｃｂのためのもので、１つがＣｒのためのもので、１つが平面Ｃ＝Ｃｂ*ｕ（Ｃｂ）＋Ｃｒ*ｕ（-Ｃｒ）のためのものである。Ｃ平面は、更なる他のウェーブレット・サブ・バンドを置換するための、余分の（extra）平面（plane）として取り込まれ得る。将来の時刻におけるカラーに戻して変換する必要があるときには、４つのサブ・バンド置換が好ましい。
図１に示されるように、クロミナンス・チャンネル24、26、および、28は、更なるスケーリングを必要としない。なぜなら、それらのサイズは、それらが置換するサブ・バンド・データのサイズに対応するからである。チャンネル24は、18Ｂとして、18においてサブ・バンドを置換する。チャンネル26は、18Ｄとして、18においてサブ・バンドを置換する。チャンネル28は、サブ・バンド18Ｃを置換する。チャンネルＣｂ-30は、1/4の面積の、ウェーブレット・サブ・バンドにマップされるべきものである。再度述べるが、他のスケーリング技術が周知であるが、この削減は、垂直での1/2のスケーリング、および、水平での1/2のスケーリング、によって実現され得る。したがって、それが置換するサブ・バンドをフィットさせるために、Ｃｂ-チャンネル30は更に、1/4サイズにスケールされる（32に示される）。サブ・バンド置換の結果は、34に示される。左上象限を含む、4つのサブ・バンドのうち3つ、即ち、18Ａ1、18Ａ2、および18Ａ3、に対応するものが、それらのオリジナルの値を維持することに留意して欲しい。18Ａ4だけが、32においてＣｂ-のデータによって置換される。或いは、種々のクロミナンス・チャンネルによって置換されたサブ・バンドは、変更され得る。同様に、チャンネルのいずれかが、32において、再スケールされ、置換され得る。再度述べるが、分解のレベルより大きいレベルを持つウェーブレットが使用され得る。この技術は、２つのレベルのウェーブレットに制限されない。
一旦サブ・バンドが、クロミナンス・チャンネルによって置換されると、逆ウェーブレット変換36が、適用されて、テクスチャ化された画像38を生成する。
図２に注意が向けられる。テクスチャ化された画像38からカラー画像を復旧させるために、そのウェーブレット変換40は、41において、集合的に（collectively）ウェーブレット・サブ・バンドを生成する。用いられた計算方法の正確さに依存して小さなエラーがデータに忍び込み得るが、これは本質的に図１の34に対応する。Ｃｂ＋、Ｃｂ-、Ｃｒ＋、Ｃｒ-チャンネルが抽出される。したがって、サブ・バンドＣｒ＋（41Ｂ）が、42において、Ｃｒ＋に対して抽出される。サブ・バンドＣｒ-（４１Ｄ）が、44において、Ｃｒ-に対して抽出される。サブ・バンドＣｂ＋（41Ｃ）が、46において、Ｃｂ＋に対して抽出される。48において、サブ・バンドＣｂ−（41Ａ4）が抽出されて、Ｃｂ-となるためにスケールされる。
Ｃｂ＋、Ｃｂ-、Ｃｒ＋、Ｃｒ-、の絶対値は、Ｃｂ＝|Ｃｂ＋|-|Ｃｂ-|およびＣｒ＝|Ｃｒ＋|-|Ｃｒ-|を再構成（recompose）するために、採用され用いられる。したがって、チャンネル42は、チャンネル44と組み合わされて、Ｃｒ−画像50が再構成される。同様に、チャンネル46と48が組み合わされて、Ｃｂ-画像52が再構成される。次に、これらのチャンネルの各々が、スケールされて、オリジナルの画像のサイズを一致させる。したがって、Ｃｒ50が、Ｃｒ-画像56にスケールされ、Ｃｂ52が、Ｃｂ-画像58にスケールされる。
54を参照して、一旦サブ・バンドが抽出されると、これらのサブ・バンドは、全てのゼロを含むように設定される。18Ａ1、18Ａ2、および１８Ａ3に対応する、他の残っているサブ・バンドは、依然としてデータを含む。60において、54内のこのデータの逆変換が、Ｙ-画像62を生成する。
ノイズを除去し、飽和を増加させ、コントラストを改善、あるいは、シャープにするために（ハーフトーニング、印刷、および走査の工程が、これらの特性を劣化させる傾向を持つので）、輝度ＹおよびクロミナンスＣｂ、Ｃｒに、ポスト処理（post-processing）が好ましくは適用される。
集合的に、64で示される画像からの、要素Ｙ-画像62、Ｃｒ-画像56、および、Ｃｂ-画像58、の再構成は、今、ＹＣｂＣｒ色空間に存する。この色空間は、必要であればその後、ＲＧＢまたは他の色空間にマップされ得る。
カラー画像をテクスチャ化されたグレイ・スケール画像に変換する本方法のフロー図を示す。 テクスチャ化されたグレイスケール画像からカラー画像を再構築する本方法のフロー図を示す。
符号の説明
18 データ
20 垂直での1/2スケーリング、および、水平での1/2スケーリングを含むＣｒ
22 Ｃｂ
24 Ｃｒ＋
26 Ｃｒ−
28 Ｃｂ＋
30 Ｃｂ−
32 1/4サイズにスケールされたＣｂ-チャンネル30
34 サブ・バンド置換の結果
41 ウェーブレット・サブ・バンド
42 Ｃｒ＋に対して抽出されたサブ・バンドＣｒ＋（41Ｂ）
44 Ｃｒ-に対して抽出されたサブ・バンドＣｒ-（４１Ｄ）
46 Ｃｂ＋に対して抽出されたサブ・バンドＣｂ＋（41Ｃ）
48 Ｃｂ-となるためにスケールされた、抽出されたサブ・バンドＣｂ−（41Ａ4）
50 Ｃｒ−画像
52 Ｃｂ-画像

Claims (6)

  1. 類似の輝度を持つが、異なったクロミナンスを持つ領域が、白黒に変換されたときに、異なって見えて来る(appear)ように、カラー画像を質感を出した(textured)モノクロの画像に変換するための方法であって、
    ａ）前記カラー画像を、輝度−クロミナンス色空間に変換し(converting)、
    ｂ）前記輝度のチャンネルのウェーブレット変換(transformation)を実行し、
    ｃ）前記クロミナンス・チャンネルの目盛のある(scaled)バージョンによって、サブ・バンドの所定の数(number)を置換し、そして、
    ｄ）変換(transformation)を反転(inverting)して、前記カラー画像のオリジナルのカラーと均整のとれた(proportional to)人工のテクスチャを生成する、
    ステップを含む方法。
  2. 更に他のサブ・バンドを、Ｃｂ又はＣｒの正の（或いは負の）値だけを取り込むＣ、と置換するために使用され得る、追加の（extra）クロミナンス平面として、Ｃ平面を前記画像に取り込む（incorporating）ステップを更に含む、請求項１に記載の方法。
  3. Ｃｂ＋＝Ｃｂ ｕ（Ｃｂ）；Ｃｂ−＝−Ｃｂ ｕ（−Ｃｂ）；Ｃｒ＋＝Ｃｒ ｕ（Ｃｒ）；Ｃｒ−＝−Ｃｒ ｕ（−Ｃｒ）、のように、前記クロミナンスを、正および負の値を有する４つのチャンネルに分解する（decomposing）ステップを更に含む、請求項１に記載の方法。
  4. 前記クロミナンスを、１からＮ−１まで、いくつかの数のチャンネルに分解する（decomposing）ステップを更に含み、
    Ｎが、トータルのサブ・バンドの数であり、
    前記チャンネルが、前記オリジナルの画像内のクロミナンス情報を表す、
    請求項１に記載の方法。
  5. カラー画像から複製された（reproduced from）クロミナンス情報が埋め込まれた白黒画像からカラー画像を回復する（recovering）ための方法であって、
    ａ）画像データに第１の変換を作用させている（applying）クロミナンス情報が埋め込まれた前記白黒画像の電子画像データを獲得し、
    ｂ）前記第１の変換されたデータからウェーブレットを計算し、
    ｃ）前記計算されたウェーブレットからクロミナンス情報を回復し、
    ｄ）前記計算されたウェーブレットから輝度情報を回復し、そして、
    ｅ）回復されたクロミナンス情報および輝度情報を結合する、
    ステップを含む方法。
  6. カラー画像から複製された（reproduced from）白黒画像からカラー画像を回復するためのシステムであって、
    ＣＰＵ、メモリ、および記憶部、
    白黒画像の電子画像データを得るためのスキャナ、および、
    ａ）前記画像データへの第１の変換を作用させ（applying）、
    ｂ）前記第１の変換されたデータからウェーブレットを計算し、
    ｃ）前記計算されたウェーブレットからクロミナンス情報を回復させ、
    ｄ）前記計算されたウェーブレットから輝度情報を回復させ、そして、
    ｅ）前記回復されたクロミナンス情報および輝度情報を結合させる、
    ことを実行するソフトウェア・プログラム、
    を備えるシステム。
JP2004274654A 2003-09-29 2004-09-22 カラー画像情報を白黒画像に埋め込むための方法 Expired - Fee Related JP4416613B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/674,048 US7391901B2 (en) 2003-09-29 2003-09-29 Method for embedding color image information into a black-and-white image

Publications (2)

Publication Number Publication Date
JP2005167978A true JP2005167978A (ja) 2005-06-23
JP4416613B2 JP4416613B2 (ja) 2010-02-17

Family

ID=34194901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004274654A Expired - Fee Related JP4416613B2 (ja) 2003-09-29 2004-09-22 カラー画像情報を白黒画像に埋め込むための方法

Country Status (4)

Country Link
US (1) US7391901B2 (ja)
EP (1) EP1519564B1 (ja)
JP (1) JP4416613B2 (ja)
DE (1) DE602004025316D1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012205019A (ja) * 2011-03-24 2012-10-22 Kyocera Document Solutions Inc 画像処理装置、画像形成装置、画像処理プログラム、および画像処理方法
CN106384086A (zh) * 2016-08-31 2017-02-08 广州市贺氏办公设备有限公司 一种双摄像头人脸识别方法及系统

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7668387B2 (en) * 2005-06-20 2010-02-23 Intel Corporation Selective local transient improvement and peaking for video sharpness enhancement
EP1898625A3 (en) * 2006-09-06 2009-10-14 Murata Machinery Ltd. Apparatus and method for deciding image color
JP4329797B2 (ja) * 2006-09-06 2009-09-09 村田機械株式会社 画像色判定装置、画像色判定方法及びプログラム
US20100092082A1 (en) * 2006-11-29 2010-04-15 Keigo Hirakawa framework for wavelet-based analysis and processing of color filter array images with applications to denoising and demosaicing
WO2008067472A2 (en) * 2006-11-29 2008-06-05 President And Fellows Of Harvard College A new spatio-spectral sampling paradigm for imaging and a novel color filter array design
US8355165B2 (en) * 2006-12-05 2013-01-15 Canon Kabushiki Kaisha Image processing apparatus and control method for restoring color image data
KR101184899B1 (ko) * 2006-12-07 2012-09-20 삼성전자주식회사 이미지처리장치 및 이미지처리방법
US7944585B2 (en) * 2007-02-16 2011-05-17 Sharp Laboratories Of America, Inc. Color information encoding in monochrome printing
US7760399B2 (en) 2007-03-13 2010-07-20 Xerox Corporation Method and system for encoding color images to black-and-white bitmaps and decoding color images
KR101116682B1 (ko) * 2007-03-29 2012-03-07 삼성전자주식회사 화상형성장치 및 그 제어방법
US8432413B2 (en) * 2008-11-17 2013-04-30 Xrfiles, Inc. System and method for the display of extended bit depth high resolution images
US8140708B2 (en) * 2008-11-17 2012-03-20 Xrfiles, Inc. System and method for the serving of extended bit depth high resolution images
US8582906B2 (en) * 2010-03-03 2013-11-12 Aod Technology Marketing, Llc Image data compression and decompression
US8571307B2 (en) 2010-11-16 2013-10-29 Hand Held Products, Inc. Method and system operative to process monochrome image data
US8600158B2 (en) 2010-11-16 2013-12-03 Hand Held Products, Inc. Method and system operative to process color image data
JP2012199652A (ja) * 2011-03-18 2012-10-18 Fujitsu Ltd 画像処理装置、方法及びプログラム
US9135888B2 (en) 2013-03-15 2015-09-15 L-3 Communications Cincinnati Electronics Corporation System and method for converting an image to an intensity based colormap
US8833660B1 (en) 2013-05-28 2014-09-16 Symbol Technologies, Inc. Converting a data stream format in an apparatus for and method of reading targets by image capture
US9111339B1 (en) * 2013-07-31 2015-08-18 Marvell International Ltd. System and method for reducing noise from an image
CN104639800B (zh) 2013-11-08 2017-11-24 华为终端（东莞）有限公司 一种用于图像降噪的方法及终端
CN107800924B (zh) * 2017-09-11 2019-09-10 天津大学 离散小波变换混沌双随机相位编码单通道彩图加密方法
US10885612B2 (en) 2018-10-31 2021-01-05 Hewlett-Packard Development Company, L.P. Luminance-biased sharpening for thermal media printing
US11222248B2 (en) 2018-10-31 2022-01-11 Hewlett-Packard Development Company, L.P. Luminance-biased sharpening for thermal media printing
EP3846440B1 (en) 2019-12-30 2021-12-15 Axis AB A low-light imaging method, unit and system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6865291B1 (en) * 1996-06-24 2005-03-08 Andrew Michael Zador Method apparatus and system for compressing data that wavelet decomposes by color plane and then divides by magnitude range non-dc terms between a scalar quantizer and a vector quantizer
US6125201A (en) * 1997-06-25 2000-09-26 Andrew Michael Zador Method, apparatus and system for compressing data
US6516030B1 (en) 1998-05-14 2003-02-04 Interval Research Corporation Compression of combined black/white and color video signal
US6154493A (en) * 1998-05-21 2000-11-28 Intel Corporation Compression of color images based on a 2-dimensional discrete wavelet transform yielding a perceptually lossless image
US6788811B1 (en) * 1999-05-10 2004-09-07 Ricoh Company, Ltd. Coding apparatus, decoding apparatus, coding method, decoding method, amd computer-readable recording medium for executing the methods

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012205019A (ja) * 2011-03-24 2012-10-22 Kyocera Document Solutions Inc 画像処理装置、画像形成装置、画像処理プログラム、および画像処理方法
CN106384086A (zh) * 2016-08-31 2017-02-08 广州市贺氏办公设备有限公司 一种双摄像头人脸识别方法及系统

Also Published As

Publication number Publication date
US20050069197A1 (en) 2005-03-31
DE602004025316D1 (de) 2010-03-18
EP1519564B1 (en) 2010-01-27
EP1519564A1 (en) 2005-03-30
US7391901B2 (en) 2008-06-24
JP4416613B2 (ja) 2010-02-17

Similar Documents

Publication Publication Date Title
JP4416613B2 (ja) カラー画像情報を白黒画像に埋め込むための方法
Joshi Digital image processing: An algorithmic approach
Das Guide to signals and patterns in image processing: foundations, methods and applications
Dharejo et al. A deep hybrid neural network for single image dehazing via wavelet transform
Jalali et al. A new steganography algorithm based on video sparse representation
Verma et al. Hybrid image fusion algorithm using Laplacian Pyramid and PCA method
Lakshman et al. Image interpolation using shearlet based iterative refinement
Jindal et al. Applicability of fractional transforms in image processing-review, technical challenges and future trends
Liu et al. Locally linear detail injection for pansharpening
Ruchi et al. A Brief Review on Image Steganography Techniques
Hiremath et al. A Concise Report on Image Types, Image File Format and Noise Model for Image Preprocessing
Rao et al. JPEG series
Jeevan et al. An algorithm for wavelet thresholding based image denoising by representing images in hexagonal lattice
Rajakumar et al. Lossy image compression using multiwavelet transform for wireless transmission
Sharma Detail and contrast enhancement in images using dithering and fusion
Kumari et al. Optimum wavelet selection for 2d signal using set partitioning in hierarchical trees (Spiht) method
CN117291855B (zh) 高分辨率图像融合方法
Patil et al. Image mapping and object removal in image inpainting using wavelet transform
Sale et al. Wavelet Based selection for fusion of Medical images
Dhivya et al. Image Integration with Local Linear Model Using Demosaicing Algorithm
De Stefano et al. Synthesising and reducing film grain
SIONG Image coding using wavelets, interval wavelets and multi-layered wedgelets
Liang et al. Dive into Image Processing: Book 2
Liu et al. MarsQE: Semantic-Informed Quality Enhancement for Compressed Martian Image
Singh Parihar et al. Filter-based Denoising Methods for AWGN corrupted images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091102

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091124

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131204

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees