JP2008072650A - 画像処理装置、画像形成装置及びプログラム - Google Patents

画像処理装置、画像形成装置及びプログラム Download PDF

Info

Publication number
JP2008072650A
JP2008072650A JP2006251672A JP2006251672A JP2008072650A JP 2008072650 A JP2008072650 A JP 2008072650A JP 2006251672 A JP2006251672 A JP 2006251672A JP 2006251672 A JP2006251672 A JP 2006251672A JP 2008072650 A JP2008072650 A JP 2008072650A
Authority
JP
Japan
Prior art keywords
image
attribute
elements
threshold
image element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006251672A
Other languages
English (en)
Other versions
JP4882626B2 (ja
Inventor
Shingo Nakanishi
真吾 中西
Hiroyuki Oyabu
裕之 大藪
Toshiharu Tsunashima
俊治 綱島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2006251672A priority Critical patent/JP4882626B2/ja
Priority to US11/723,331 priority patent/US7782487B2/en
Priority to CN2007100964280A priority patent/CN101146166B/zh
Publication of JP2008072650A publication Critical patent/JP2008072650A/ja
Application granted granted Critical
Publication of JP4882626B2 publication Critical patent/JP4882626B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits

Abstract

【課題】所定の混合割合に従って合成処理した画像を高品質に形成する。
【解決手段】合成される複数の画像要素のそれぞれについての画像情報を受け付ける受付部11と、所定の混合割合に従って画像情報を合成する演算で用いる混合割合と閾値とを比較し、その比較結果に基づいて合成された複数の画像要素が重なる領域における画像要素の属性を設定するレンダリング処理部14と、を備える。
【選択図】図1

Description

この発明は、画像処理装置、画像形成装置を制御するプログラムに関する。
従来から、プリンタ等の画像形成装置等において、複数の画像を種々の態様で合成した画像を形成/表示する技術が知られている。例えば、背景画像の一部領域に新たな画像を合成したり、通常の画像に文字や記号等を重ねたりする場合等である。その場合に、合成したり重ねたりする領域において、所定の混合割合に従って画像を合成して表示する画像処理が行なわれる。このような画像処理は、一般に「アルファブレンド処理」と呼ばれている。(例えば、特許文献1、特許文献2、及び特許文献3参照)。
この特許文献1の画像形成装置等では、レンダリングエンジンは、所定の指令とオブジェクト情報とを受信すると、オブジェクトの合成処理の判断をする。そして、オブジェクトの合成指示がある場合は、ソースとデスティネーションのアルファブレンドオペレーションによるand処理により合成を行う。
また、この特許文献2の画像処理装置等では、属性の異なるオブジェクトどうしが印刷画面上で重なることによって発生する属性の不定領域が存在するか否かを判別する。そして、存在するならば属性ビットマップイメージ全体を単一の属性に変更する。不定領域が存在しないと判別されたならば、レンダリングによって得られた属性をそのまま採用する。
更にまた、この特許文献3の画像処理装置等では、描画プレーンにおいてソースピクセルとデスティネーションピクセルとを描画論理演算するとき、情報プレーンにおいては、ソースピクセルの属性情報を有効にする。そして、描画プレーンにおいてパターンピクセルとソースピクセルとデスティネーションピクセルとを描画論理演算するとき、情報プレーンにおいては、ソースピクセルの属性情報を有効にする。更に、描画プレーンにおいてマスクピクセルとパターンピクセルとソースピクセルとデスティネーションピクセルとを描画論理演算するとき、情報プレーンにおいては、マスクピクセルが黒画素の部分についてはソースピクセルの属性情報を有効にし、白画素部分についてはデスティネーションピクセルの属性情報を有効にする。
特開2001−189841号公報(第3−5頁、第5図) 特開2002−312141号公報(第7−9頁、第2図) 特開2004−243568号公報(第3−7頁、第2図)
本発明は、以上のような状況に対処するためになされたものであって、所定の混合割合に従って合成処理した画像を高品質に形成することを目的とする。
かかる目的のもと、本発明の画像処理装置では、合成される複数の画像要素のそれぞれについての画像情報を受け付ける受付手段と、所定の混合割合に従ってその画像情報を合成する演算で用いる混合割合と閾値とを比較する比較手段と、その比較手段での比較結果に基づいて合成された複数の画像要素が重なる領域における画像要素の属性を設定する設定手段と、を備えることを特徴とすることができる。
また、このような画像処理装置として、画像要素の属性毎に閾値を記憶する記憶手段を更に備え、比較手段は合成対象である1または複数の画像要素について画像要素の属性に対応した閾値を記憶手段から読み出し、その画像要素の混合割合と閾値とを比較することを特徴とすることができる。
更に、このような画像処理装置として、設定手段は合成された複数の画像要素のうち上地に相当する画像要素の混合割合が閾値よりも大きい場合に、上地の画像要素の属性を合成された複数の画像要素が重なる領域における画像要素の属性として設定することを特徴とすることができる。
一方、本発明は、画像形成装置として捉えることもできる。この場合、本発明の画像形成装置では、合成される複数の画像要素のそれぞれについての画像情報を受け付ける受付手段と、その受付手段により受け付けられた画像情報に対する画像合成処理を行なう画像処理手段と、その画像処理手段により画像合成処理された画像情報に基づいて、記録媒体上に合成された複数の画像要素を形成する画像形成手段と、を有し、その画像処理手段は、閾値を記憶する記憶部と、所定の混合割合に従って画像情報を合成する演算で用いる混合割合とその閾値とを比較する比較部と、その比較部での比較結果に基づいて合成された複数の画像要素が重なる領域における画像要素の属性を設定する設定部と、を備えることを特徴とすることができる。
また、このような画像形成装置として、画像処理手段は、記憶部が画像要素の属性毎に閾値を記憶し、比較部が合成対象である1または複数の画像要素について画像要素の属性に対応した閾値を記憶部から読み出し、その画像要素の混合割合と閾値とを比較することで、画像合成処理を行うことを特徴とすることができる。
更に、このような画像形成装置として、画像処理手段は、設定部が合成された複数の画像要素のうち上地の画像要素の混合割合が閾値よりも大きい場合に、上地の画像要素の属性を合成された複数の画像要素が重なる領域における画像要素の属性として設定することで、画像合成処理を行うことを特徴とすることができる。
一方、本発明は、画像処理装置と画像形成装置とを制御するプログラムとして捉えることもできる。この場合、コンピュータに、合成される複数の画像要素のそれぞれについての画像情報を取得する取得機能と、所定の混合割合に従ってその画像情報を合成する演算で用いる混合割合と記憶手段から読み出された閾値とを比較する比較機能と、その比較機能での比較結果に基づいて合成された複数の画像要素が重なる領域における画像要素の属性を設定する設定機能と、を実現させることを特徴とすることができる。
また、このようなプログラムとして、比較機能は、合成対象である1または複数の画像要素について画像要素の属性に対応した閾値を、画像要素の属性毎に閾値が記憶された記憶手段から読み出し、その画像要素の混合割合と閾値とを比較することを特徴とすることができる。
更に、このようなプログラムとして、設定機能は合成された複数の画像要素のうち上地の画像要素の混合割合が閾値よりも大きい場合に、上地の画像要素の属性を合成された複数の画像要素が重なる領域における画像要素の属性として設定することを特徴とすることができる。
請求項1の発明によれば、請求項1に記載の発明を採用しない場合に比較して、閾値の導入により合成された画像要素の属性の選択を制御し、合成画像がより高品質となるように処理することができる。
そして、請求項2の発明によれば、請求項2に記載の発明を採用しない場合に比較して、各画像要素の属性に基づく個別の閾値の導入により合成された画像要素の属性の選択を制御し、合成後のこれら複数の各画像要素の属性に対して個別に要求される出力特性を、合成画像がより好ましく表現するように処理することができる。
請求項3の発明によれば、請求項3に記載の発明を採用しない場合に比較して、閾値の導入により合成された画像要素の属性の選択を制御し、上地の画像要素に要求される出力特性を、合成画像がより好ましく表現するように処理することができる。
請求項4の発明によれば、請求項4に記載の発明を採用しない場合に比較して、閾値の導入により合成された画像要素の属性の選択を制御し、合成画像がより高品質となるように形成することができる。
そして、請求項5の発明によれば、請求項5に記載の発明を採用しない場合に比較して、各画像要素の属性に基づく個別の閾値の導入により合成された画像要素の属性の選択を制御し、合成後のこれら複数の各画像要素の属性に対して個別に要求される出力特性を、合成画像がより好ましく表現するように形成することができる。
請求項6の発明によれば、請求項6に記載の発明を採用しない場合に比較して、閾値の導入により合成された画像要素の属性の選択を制御し、上地の画像要素に要求される出力特性を、合成画像がより好ましく表現するように形成することができる。
請求項7の発明によれば、請求項7に記載の発明を採用しない場合に比較して、閾値の導入により合成された画像要素の属性の選択を制御し、合成画像がより高品質となるように処理させることができる。
そして、請求項8の発明によれば、請求項8に記載の発明を採用しない場合に比較して、各画像要素の属性に基づく個別の閾値の導入により合成された画像要素の属性の選択を制御し、合成後のこれら複数の各画像要素の属性に対して個別に要求される出力特性を、合成画像がより好ましく表現するように処理させることができる。
請求項9の発明によれば、請求項9に記載の発明を採用しない場合に比較して、閾値の導入により合成された画像要素の属性の選択を制御し、上地の画像要素に要求される出力特性を、合成画像がより好ましく表現するように処理させることができる。
(画像形成装置についての詳細な説明)
以下、添付図面を参照して、本発明を実施するための形態(以下、「実施形態」という)について詳細に説明する。
図1は、本実施の形態が適用される画像処理装置を備えた画像形成装置の構成の一例を示したブロック図である。図1に示した画像形成装置1は、例えばデジタルカラープリンタであって、外部機器から入力された画像情報に対して所定の画像処理を施す画像処理手段としての画像処理部(画像処理装置)10を備えている。そして、処理プログラム等が記録される例えばハードディスク(Hard Disk Drive)にて実現される2次記憶部20と、画像形成装置1全体の動作を制御する制御部30とを備えている。また、各色成分の画像情報に対応した画像を形成する画像形成部40を備えている。なお、画像形成部40は、例えば、電子写真方式やインクジェット方式等といった画像形成方式を用いることができる。
次に、画像処理部10は、例えばパーソナルコンピュータ(PC)3やスキャナ等の画像読取装置4等といった外部機器からの画像情報を受け付ける画像情報受付手段としての受付部11を備えている。そして、受付部11にて受け付けた画像情報を一時記憶する入力バッファ12と、PDL(Page Description Language:ページ記述言語)形式の画像情報を解析するPDL解析部13とを備えている。また、画像処理部10は、PDL解析部13にて解析された画像情報をラスタ画像情報に展開(レンダリング)するレンダリング処理部14を備えている。ここでラスタ画像情報とは、画素の並びで表現された印刷用の画像情報のことをいう。
更に、画像処理部10は、レンダリング処理部14でのレンダリング処理に際して作業領域として使用される中間バッファ15と、ラスタ画像情報を印刷処理に適した表色系の画像情報(YMCK)に色変換する色変換処理部16とを備えている。そして、色変換されたラスタ画像情報に対してスクリーン処理を行なうスクリーン処理部17を備えている。ここでYMCKとは、Y(Yellow)、M(Magenta)、C(Cyan)及びK(blacK)からなるプロセス・カラーのことをいう。
受付部11は、例えばユーザのパーソナルコンピュータ(PC)3やスキャナ等の画像読取装置4から画像情報と描画コマンドとを受け付ける。
そして、画像情報を入力バッファ12に出力し、描画コマンドをPDL解析部13に出力する。ここで、この画像情報は、画素データとタグデータとを含んで構成されている。ここで画素データは、例えばRGB毎に各8ビット(1バイト)の階調で表現された例えばsRGB色空間に属するデータである。またタグデータは、例えば画像要素の属性の情報(文字、グラフィック、写真等)を含むデータである。ここでRGBとは、R(赤)、G(緑)、B(青)からなる光の3原色のことをいう。
入力バッファ12は、受付部11から入力した画像情報を一時的に保持し、PDL解析部13に対して出力する。PDL解析部13は、描画コマンドに応じて入力バッファ12から取得した画像情報の解析結果に応じて、例えば印刷1ページ分の画像情報を作成する。そして、PDL解析部13は、作成した画像情報をレンダリング処理部14に対して出力する。
レンダリング処理部14は、描画コマンドに応じてPDL解析部13から取得した画像情報に対するレンダリング処理を行なう。レンダリング処理部14はこのレンダリング処理において、合成対象(ソースとデスティネーション)の画像情報に対して所定の混合割合に従って画像を合成する処理、即ちアルファブレンド処理を行う。
ここでソースとは、アルファブレンド処理を行なった場合に、画像形成時に合成する側、すなわち上地の画像のことをいう。また、デスティネーションとは、アルファブレンド処理を行なった場合に、画像形成時に合成される側、すなわち下地の画像のことをいう。
そしてアルファブレンド処理とは、ソースとデスティネーションとが重なる領域において所定の混合割合、即ちアルファ値を用いて半透明合成する処理をいう。また、アルファ値は、アルファブレンド処理を行う演算で用いられる値で画像の透明度を示し、画素が個別に有する値である。そして、アルファ値が“0”の場合は完全に透明である場合を示し、“1”の場合は全く透明ではない場合を示すこととなる。また、アルファ値に画素値を乗算すると画像(画像要素)の濃度となる。なお画素値とは、sRGB色空間に属する画素データの各色の輝度を表す。
レンダリング処理部14はこのアルファブレンド処理に基づき、合成画像のRGB毎の画素値を含む画素データと、合成画像のアルファ値を含むタグデータとを作成する。
また、レンダリング処理部14はこのレンダリング処理において、ソースとデスティネーションとをアルファブレンド処理する場合に、ソースの画像情報に含まれるアルファ値と画像要素の属性とを認識する。更に、2次記憶部20からソースの画像要素の属性に応じた閾値を読み出す。そして、認識したアルファ値と読み出した閾値とを比較する。そして、レンダリング処理部14は、比較結果に基づいてアルファブレンド処理した画像要素が重なる領域の画像要素の属性を設定し、その画像要素の属性をタグデータに付加する。したがって、レンダリング処理部14は、アルファ値と閾値とを比較する比較手段(比較部)としての機能と、画像要素の属性を設定する設定手段(設定部)としての機能とを併有する。また上記のように2次記憶部20は、閾値の記憶手段(記憶部)としての機能を有する。
これによりレンダリング処理部14は、例えば画像要素の属性とアルファ値とからなる8ビット(1バイト)で表現されたタグデータを生成することとなる。そして、レンダリング処理部14は、このレンダリングされた画素データとタグデータとからなるラスタ画像情報を色変換処理部16に対して出力する。
色変換処理部16は、受け付けたラスタ画像情報を、画像形成部40での印刷処理に適した表色系の画像情報(YMCK)に色変換処理し、スクリーン処理部17に対して出力する。ここで、色変換処理部16は、画像要素の属性毎に異なる色変換係数を用いて色変換処理を行なう。なお、この複数の色変換係数は、例えばテーブルルックアップ方式の複数の変換テーブルデータであり、例えば2次記憶部20に保持されている。これにより、色変換処理部16は、レンダリング処理部14からのラスタ画像情報に含まれるタグデータに基づいて画像要素の属性を認識し、画像要素の属性に応じた最適な色変換を行なうことができる。
スクリーン処理部17は、色変換処理部16から入力された色成分(YMCK)毎の多値(各8ビット)のラスタ画像情報に対してスクリーン処理を行なう。それにより、濃度階調を有する多値画像情報であるラスタ画像情報に基づいて、網点と呼ばれる着色ドットの大きさによって擬似的に中間調画像の濃度を表わす2値化画像情報(1ビットの画像情報)を生成する。
スクリーン処理部17は、レンダリング処理部14からのラスタ画像情報に含まれるタグデータに基づいて画像要素の属性を認識し、画像要素の属性毎に設定されたスクリーンパラメータを用いて、各画像に最適なスクリーン処理を行なうことができる。なお、スクリーンパラメータは、スクリーンを作成するためのパラメータであり、スクリーンパターン、スクリーン線幅、スクリーンピッチ、スクリーン角度等を制御する。そして、スクリーンパラメータは、例えば2次記憶部20に画像要素の属性毎に保持されている。
そして、スクリーン処理部17は、生成した2値化画像情報を画像形成部40の図示しないレーザ露光装置に対して出力する。
(画像処理装置についての詳細な説明)
図2は、本実施形態の画像処理部10の内部構成を例示するブロック図である。図2に示したように、画像処理部10は、画像情報を処理するに際して、予め定められた処理プログラムに従ってデジタル演算処理を実行するCPU101を備えている。そして、CPU101の作業用記憶手段等として用いられるRAM102と、CPU101により実行される処理プログラム等が保持されるROM103とを備えている。画像形成装置1の立ち上げ時にCPU101がこの処理プログラムを読み込むことによって、本実施の形態の画像処理部10での画像処理が実行される。また、書き換え可能で電源供給が途絶えた場合にもデータを保持できる、電池によりバックアップされたSRAMやフラッシュメモリ等の不揮発性メモリ104を備えている。更に、画像処理部10に接続されるPC3や2次記憶部20や画像形成部40等の各部との信号の入出力を制御するインタフェース部105を備えている。また、2次記憶部20(図1参照)には、例えば、閾値、色変換係数、及びスクリーンパラメータ等が保持されている。
(合成処理される対象となる画像のタグデータについての説明)
図3は、合成処理される対象となる画像毎のタグデータ(画像要素の属性、アルファ値)と閾値との関係の例を示す図である。そして図3は、PDL解析部13(図1参照)から出力される画像情報のデータ構造の一例を示す図である。
図3(a)は、合成処理される対象となる画像毎のタグデータ(画像要素の属性、アルファ値)の例を示す図であり、画像要素の属性と閾値との関係の例を示す図である。図3(a)の例では、アルファブレンド処理により合成処理される画像が、AとBとCとの3つの画像(画像要素)である。そして、画像Aの画像要素の属性は“写真”で、アルファ値は“1.0”である。また、画像Bの画像要素の属性は“グラフィック”で、アルファ値は“0.5”である。更に、画像Cの画像要素の属性は“文字”で、アルファ値は“0.5”である。
ここで図3(a)の例では、異なる画像要素の属性をもつ3つの画像となっているが、これはあくまでも例である。合成する画像が2つ又は4つ以上の場合もある。また、同じ画像要素の属性をもつ画像が合成される場合もある。例えば、図3(a)で、画像Aと画像Bとの画像要素の属性が、共に“写真”であってもよい。また、各画像のアルファ値は画像要素毎に、または画素毎に設定される。したがって、同じ画像要素の属性の画像を合成する場合に、各画像のアルファ値が同一のときもあるし、異なることもある。
そして、図3(a)の例では、画像要素の属性が“写真”である場合には、閾値は“0.8”である。また、画像要素の属性が“グラフィック”である場合には、閾値は“0.7”である。更に、画像要素の属性が“文字”である場合には、閾値は“0.3”である。
図3(b)は、PDL解析部13(図1参照)から出力される画像情報のデータ構造の一例を示した図である。この画像情報は、例えば、RGB毎に各8ビット(1バイト)の256階調(0〜255)で表現されたsRGB色空間に属する画素データと、8ビットのタグデータ(画像要素の属性とアルファ値)とからなる4バイトのデータである。
(レンダリング処理の実施例)
続いて、レンダリング処理部14(図1参照)でのレンダリング処理のうち、画像(画像要素)を重ね合わせる処理について説明する。
図4は、レンダリング処理部14(図1参照)でのレンダリング処理の手順の一例を示すフローチャートである。なお、以下に記す動作例は、画像A(図3(a)参照)をデスティネーションとし、画像C(図3(a)参照)をソースとして重ね合わせる場合のレンダリング処理の手順を示している。
まずレンダリング処理部14は、PDL解析部13(図1参照)から描画コマンドを取得する(ステップ101)。また、レンダリング処理部14は、PDL解析部13にて生成された、画像Aと画像Cとの画像要素についての画像情報を取得し、中間バッファ15(図1参照)に保持する(ステップ102)。次いで、レンダリング処理部14は、描画コマンドに基づいて、中間バッファ15から画像C(ソース)の画像情報を読み出す(ステップ103)。続いて、レンダリング処理部14は、描画コマンドがアルファブレンド描画コマンドであるか、または上書き描画コマンドであるかを判断する(ステップ104)。
ステップ104にて描画コマンドがアルファブレンド描画コマンドであると判断された場合、レンダリング処理部14は、描画コマンドに基づいて中間バッファ15から画像A(デスティネーション)の画像情報を読み出す(ステップ105)。
そして、レンダリング処理部14は、デスティネーションとソースとの画像情報をアルファブレンド処理する(ステップ106)。このアルファブレンド処理においては、RGB毎(図3(b)参照)の各8ビット(1バイト)の画素データに含まれる画素値と、8ビットのタグデータ(図3(b)参照)に含まれるアルファ値とに対するアルファブレンド演算が行われる。なお、このアルファブレンド演算の具体的な内容は後述する。
次いで、レンダリング処理部14は、ソースのアルファ値がソースの閾値よりも大きいか否かを比較した結果により、画像要素(ソースとデスティネーション)が重なる領域の画像要素の属性を決定する(ステップ107)。なお、この画像要素が重なる領域の画像要素の属性を決定する具体的な手順は後述する。
そして、中間バッファ15は、ステップ106にてアルファブレンド演算した結果に、ステップ107にて決定した画像要素の属性を付加したラスタ画像情報を保持する(ステップ108)。そして、すべての描画コマンドが終了しているか否かを判断する(ステップ110)。終了していると判断すればステップ111(後述)に進み、終了していないと判断すれば再びステップ101に戻る。
一方、ステップ104にて描画コマンドが上書き描画コマンドであると判断された場合、レンダリング処理部14は、中間バッファ15に保持されているデスティネーションである画像Aの画像情報に対して、画像Cの画像情報を上書き処理する(ステップ109)。具体的には、上地と下地とが重なっている領域に対するRGB毎の画素値と画像要素の属性とアルファ値とが、画像CのRGB毎の画素値と画像要素の属性とアルファ値とになる。その後、ステップ110に進む。
そして、レンダリング処理部14は、中間バッファ15が保持しているラスタ画像情報を色変換処理部16(図1参照)に送り(ステップ111)、処理を終了する。なお、色変換処理部16は、色変換した後にそのラスタ画像情報をスクリーン処理部17(図1参照)に送る。
なお、色変換処理部16は、ステップ107またはステップ109にて決定した画像要素の属性により画素(YMCK)毎の色変換処理にて用いる色変換係数を選択する。また、スクリーン処理部17は、ステップ107またはステップ109にて決定した画像要素の属性により画素(YMCK)毎のスクリーン処理において用いるスクリーンパラメータを選択する。
(複数の画像要素が重なる領域の属性を設定する実施例)
続いて、ステップ107(図4参照)での具体的な処理について説明する。
図5は、レンダリング処理部14(図1参照)でのレンダリング処理の一部(ステップ107)を示すフローチャートの一例である。まずレンダリング処理部14は、中間バッファ15(図1参照)から読み出したソースとデスティネーションとの画像情報から、それぞれの画像要素の属性とアルファ値とを認識する(ステップ201)。
次いで、レンダリング処理部14は、ソースの画像要素の属性に応じた閾値(図3(a)参照)を読み出す(ステップ202)。この閾値は、例えば2次記憶部20に保持されている。続いて、レンダリング処理部14は、ステップ103(図4参照)で読み出したソースの画像情報(タグデータ)に含まれるアルファ値が、その閾値よりも大きいか否かを判断する(ステップ203)。
ステップ203にてアルファ値が閾値よりも大きいと判断された場合、レンダリング処理部14は、ソースの画像要素の属性をステップ106(図4参照)にてアルファブレンド演算を行った結果に付加する(ステップ204)。また、ステップ203にてアルファ値が閾値よりも小さいと判断された場合、レンダリング処理部14は、デスティネーションの画像要素の属性をステップ106にてアルファブレンド演算を行った結果に付加する(ステップ205)。そして処理を終了する。
(アルファブレンド処理された領域に付与される画像要素の属性の設定例)
次に、アルファブレンド処理された領域に付与される画像要素の属性について説明する。
図6は、画像処理部(画像処理装置)10が画像要素の属性を設定した状態の一例を示す図である。ここでは長方形51の形をしている画像Aと、楕円形52の形をしている画像Bと、文字A53の形をしている画像Cとの3つの画像が重なり合って合成された合成画像を示している。なお、図6の例では画像A、画像B、及び画像Cは、図3(a)に記載した画像であり、図3(a)に記載したタグデータを伴っている。よって、画像Aは画像要素の属性が“写真”の画像であり、画像Bは画像要素の属性が“グラフィック”の画像であり、画像Cは画像要素の属性が“文字”の画像である。
そして、領域54は画像Aだけの画像領域であり、領域55は画像Bだけの画像領域であり、領域56は画像Cだけの画像領域である。また、領域57は画像Aと画像Cとの画像要素が重なる領域であり、領域58は画像Aと画像Bとの画像要素が重なる領域であり、領域59は画像Bと画像Cとの画像要素が重なる領域である。そして、領域60は画像Aと画像Bと画像Cとの画像要素が重なる領域である。なお、図6の例では画像Aが最下層で、そこに画像Cが重ねられ、最後に画像Bが重ねられている状態である。
まず、領域54、領域55、及び領域56における画像要素の属性について説明する。これらの画像領域は、画像要素が重なっていない領域である。したがって、アルファブレンド処理されず、領域54の画像要素の属性は、“写真”となる(図3(a)参照)。そして、領域55の画像要素の属性は、“グラフィック”となり(図3(a)参照)、領域56の画像要素の属性は、“文字”となる(図3(a)参照)。
次に、領域57、領域58、及び領域59における画像要素の属性について説明する。これらの領域は2つの画像要素(画像)が重なっている領域であり、アルファブレンド処理される。よって、これらの領域の画像要素の属性は、レンダリング処理部14(図1参照)での画像要素の属性を設定する処理(図5参照)により設定される。
領域57は、画像Aと画像Cとの画像要素が重なる領域である。この画像領域では、画像Aがデスティネーションとなり、画像Cがソースとなる。したがって、ステップ103(図4参照)にて、レンダリング処理部14(図1参照)が、画像Cの画像情報(タグデータ)に含まれるアルファ値を認識する。また、ステップ202(図5参照)において、レンダリング処理部14は画像Cの画像要素の属性に応じた閾値を読み出す。ここで図3(a)に示す図表により、アルファ値は“0.5”で閾値は“0.3”となる。よってステップ203(図5参照)にてアルファ値は閾値よりも大きいと判断される。そしてステップ204(図5参照)にて領域57の画像要素の属性は、ソース(画像C)の画像要素の属性である“文字”と設定される。
領域58は、画像Aと画像Bとの画像要素が重なる領域である。この画像領域では、画像Aがデスティネーションとなり、画像Bがソースとなる。したがって、ステップ103(図4参照)にて、レンダリング処理部14が、画像Bの画像情報(タグデータ)に含まれるアルファ値を認識する。また、ステップ202において、レンダリング処理部14は画像Bの画像要素の属性に応じた閾値を読み出す。ここで図3(a)に示す図表により、アルファ値は“0.5”で閾値は“0.7”となる。よってステップ203にてアルファ値は閾値よりも小さいと判断される。そしてステップ205にて領域58の画像要素の属性は、デスティネーション(画像A)の画像要素の属性である“写真”と設定される。
領域59は、画像Bと画像Cとの画像要素が重なる領域である。この画像領域では、画像Cがデスティネーションとなり、画像Bがソースとなる。したがって、ステップ103(図4参照)にて、レンダリング処理部14が、画像Bの画像情報(タグデータ)に含まれるアルファ値を認識する。また、ステップ202において、レンダリング処理部14は画像Bの画像要素の属性に応じた閾値を読み出す。この後のステップ203からステップ204までの処理は、領域58での処理と同じため説明を省略する。そして、ステップ205にて領域59の画像要素の属性は、デスティネーション(画像C)の画像要素の属性である“文字”と設定される。
領域60は、画像Aと画像Bと画像Cとの画像要素が重なる領域である。この画像領域では、画像Aと画像Cとの画像要素が重なる領域と同じ画像要素の属性をもつ領域57がデスティネーションとなり、画像Bがソースとなる。画像Bが、最後に重ねられているからである。したがって、ステップ103(図4参照)にて、レンダリング処理部14は、画像Bの画像情報(タグデータ)に含まれるアルファ値を認識する。また、ステップ202において、レンダリング処理部14は画像Bの画像要素の属性に応じた閾値を読み出す。この後のステップ203からステップ204までの処理は、領域58での処理と同じため説明を省略する。そして、ステップ205にて領域60の画像要素の属性は、デスティネーションの画像要素の属性に設定される。ここではデスティネーションの画像要素の属性である“文字”と設定される。
(アルファブレンド演算の具体的な内容)
次に、画像を合成する対象(ソースとデスティネーション)の画像情報に含まれる画素値とアルファ値とに対して行われるアルファブレンド処理について説明する。
ここで、アルファブレンドされる領域では、RGB毎の各色成分について、ソースの画素値をS、デスティネーションの画素値をD、ソースのアルファ値をSα(0≦Sα≦1)とする。すると、以下の(1)式で表されるアルファブレンド演算により、RGB毎にアルファブレンド処理された画素値D’が生成される。
D’=S×Sα+D×(1−Sα) …(1)
また、デスティネーションのアルファ値をDα(0≦Dα≦1)とする。すると、以下の(2)式で表されるアルファブレンド演算により、アルファブレンド処理されたアルファ値D’αが生成される。
D’α=Sα+Dα×(1−Sα) …(2)
図7は、レンダリング処理部14に形成されたアルファブレンド演算回路の一例を示した回路図である。
図7(a)に示したアルファブレンド演算回路は、画素値をアルファブレンド処理するための回路である。この回路は、乗算器141、(1−Sα)の演算を行なう演算器142、乗算器143、加算器144を備えている。乗算器141は、ソースの画素値(S)にソースのアルファ値(Sα)を乗算してS×Sαを得る。乗算器143は、デスティネーションの画素値(D)に演算器142で得られた(1−Sα)を乗算し、D×(1−Sα)を得る。そして、加算器144は、乗算器141での乗算結果と乗算器143での乗算結果と加算して、D’=S×Sα+D×(1−Sα)を得る。
また、図7(b)に示したアルファブレンド演算回路は、アルファ値をアルファブレンド処理するための回路である。この回路は、(1−Sα)の演算を行なう演算器145、乗算器146、加算器147を備えている。乗算器146は、デスティネーションのアルファ値(Dα)に演算器145で得られた(1−Sα)を乗算し、Dα×(1−Sα)を得る。そして、加算器147は、ソースのアルファ値(Sα)と乗算器146での乗算結果と加算して、D’α=Sα+Dα×(1−Sα)を得る。
以上、アルファブレンド処理によって画像要素が重なる領域の画像を作成する処理の流れを説明した。しかし、これらはあくまでも一例にすぎない。
例えば、複数の画像要素が重なる領域の属性の設定は、ソースの画像要素の属性に応じた閾値とソースのアルファ値との比較に基づいて行うとしたがこれに限られない。2つの画像を合成する場合は、デスティネーションの画像要素の属性に応じた閾値とデスティネーションのアルファ値を用いてもよい。更に、これらの値とソースの画像要素の属性に応じた閾値とソースのアルファ値とを用いて複数の画像要素が重なる領域の属性の設定を行ってもよい。
更にまた、3つ以上の画像を合成する場合、上述した本実施形態では、2画像ずつ順に重ね合わせて重なる領域の画像要素の属性を決定した(図6の領域57と領域60の例を参照)が、重ね合わされる3つ以上の画像のうち、特定の1画像の画像要素の属性に応じた閾値とその画像のアルファ値とを用いて、その設定を行ってもよい。このとき、例えば、閾値が最も小さく設定されている画像要素の属性をもつ画像の閾値とアルファ値とを用いてもよい。また、例えば、アルファ値が最も高い画像の閾値とアルファ値とを用いてもよい。
また、ソースとデスティネーションとの画像要素の属性の組み合わせに基づいて閾値を決定し、その閾値とソースのアルファ値との比較に基づいて複数の画像要素が重なる領域の属性の設定を行ってもよい。図8は、ソースとデスティネーションとの画像要素の属性の組み合わせに基づいた閾値の一例を示す図である。
図8の例では、ソースとデスティネーションとの画像要素の属性の組み合わせが“写真とグラフィック”である場合、閾値は“0.4”であり、“写真と文字”である場合、閾値は“0.3”である。そして、図8の例では、ソースとデスティネーションとの画像要素の属性の組み合わせが“グラフィックと写真”である場合、閾値は“0.7”であり、“グラフィックと文字”である場合、閾値は“0.8”である。また、図8の例では、ソースとデスティネーションとの画像要素の属性の組み合わせが“文字と写真”である場合、閾値は“0.3”であり、“文字とグラフィック”である場合、閾値は“0.2”である。
そして図8に例示する内容に基づいて、複数の画像要素が重なる領域の属性を設定する具体例について説明する。ここでは代表例として、ソースの画像要素の属性が“写真”であり、そのアルファ値が“0.35”である場合について説明する。この場合、デスティネーションの画像要素の属性が“グラフィック”のときは閾値が“0.4”であり、ソースのアルファ値が閾値よりも小さいため、複数の画像要素が重なる領域の属性は、“グラフィック”に設定される。そして、デスティネーションの画像要素の属性が“文字”のときは閾値が“0.3”であり、ソースのアルファ値が閾値よりも大きいため、複数の画像要素が重なる領域の属性は、“写真”に設定される。すなわち、ソースの画像要素の属性が同一であっても、合成されるデスティネーションの画像要素の属性によっては、画像要素が重なる領域に対してソースとデスティネーションのどちらの画像要素の属性が設定されるかが異なることとなる。
ソースの画像要素の属性が“グラフィック”または“文字”の場合も同様の方法で、複数の画像要素が重なる領域の属性が、ソースまたはデスティネーションの画像要素の属性に設定される。
そして、本実施例はsRGB色空間で実施されるとしたがこれに限られない。例えば、YMC色空間で実施してもよい。この場合、例えば、受付部11(図1参照)にて、画像要素の色空間に応じて選択されない色変換係数を用いて画素(YMCK)毎の色変換処理を行った後で、レンダリング処理部14(図1参照)にて画像要素の属性を設定し、これに応じて色変換処理部16(図1参照)で色補正を行うこととなる。
また、図3(a)にて、閾値は、2次記憶部20(図1参照)に保持されているとしたがこれに限られない。例えば、閾値は、タグデータに記載されていてもよい。この場合、PDL解析部13は、例えば2次記憶部20(図1参照)が記憶している閾値を読み出してタグデータに付加することとなる。そして、ステップ202(図5参照)にて、レンダリング処理部14が、ソースのタグデータから閾値を認識することとなる。また、画像要素の属性毎の閾値を設定する閾値設定部を画像処理部(画像処理装置)10(図1参照)が備えていてもよい。また、PC3(図1参照)に保持されたプリンタドライバが、この閾値を設定する機能を備えていてもよい。
更に、アルファブレンド演算を行う演算回路は、図7に示したものに限られず、演算の結果、(1)式と(2)式が得られるような演算回路であれば何でもよい。
また、本願明細書において、プログラムを提供する具体的な形態について説明をしていないが、例えば、インターネット等の双方向通信手段によりプログラムを提供する実施形態としてもよいし、CD−ROM等の記録媒体に保持させて提供する実施形態としてもよい。
本発明の画像処理装置を備えた画像形成装置の構成の一例を示したブロック図である。 画像処理部の内部構成を示すブロック図である。 合成処理される対象となる画像のタグデータの例と、画像要素の属性毎に関連付けられている閾値例とを示し、画像情報のデータ構造の一例を示す図である。 レンダリング処理部でのレンダリング処理の手順の一例を示すフローチャートである。 複数の画像要素が重なる領域の属性を設定する処理の手順の一例を示すフローチャートである。 アルファブレンド処理された領域に設定された画像要素の属性を示した図である。 レンダリング処理部に形成されたアルファブレンド演算回路の一例を示した回路図である。 ソースとデスティネーションとの画像要素の属性の組み合わせに基づいた閾値の一例を示した図である。
符号の説明
1…画像形成装置、3…パーソナルコンピュータ(PC)、4…画像読取装置、10…画像処理部(画像処理装置)、11…受付部、12…入力バッファ、13…PDL解析部、14…レンダリング処理部、15…中間バッファ、16…色変換処理部、17…スクリーン処理部、20…2次記憶部、30…制御部、40…画像形成部、101…CPU、104…不揮発性メモリ、105…インタフェース部

Claims (9)

  1. 合成される複数の画像要素のそれぞれについての画像情報を受け付ける受付手段と、
    所定の混合割合に従って前記画像情報を合成する演算で用いる混合割合と閾値とを比較する比較手段と、
    前記比較手段での比較結果に基づいて合成された前記複数の画像要素が重なる領域における画像要素の属性を設定する設定手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記画像要素の属性毎に前記閾値を記憶する記憶手段を更に備え、
    前記比較手段は、合成対象である1または複数の画像要素について当該画像要素の属性に対応した前記閾値を前記記憶手段から読み出し、当該画像要素の前記混合割合と当該閾値とを比較することを特徴とする請求項1記載の画像処理装置。
  3. 前記設定手段は、合成された前記複数の画像要素のうち上地の画像要素の前記混合割合が前記閾値よりも大きい場合に、当該上地の画像要素の属性を前記領域における画像要素の属性として設定することを特徴とする請求項1記載の画像処理装置。
  4. 合成される複数の画像要素のそれぞれについての画像情報を受け付ける受付手段と、
    前記受付手段により受け付けられた前記画像情報に対する画像合成処理を行なう画像処理手段と、
    前記画像処理手段により画像合成処理された前記画像情報に基づいて、記録媒体上に合成された前記複数の画像要素を形成する画像形成手段と、を有し、
    前記画像処理手段は、
    閾値を記憶する記憶部と、
    所定の混合割合に従って前記画像情報を合成する演算で用いる混合割合と前記閾値とを比較する比較部と、
    前記比較部での比較結果に基づいて合成された前記複数の画像要素が重なる領域における画像要素の属性を設定する設定部と、
    を備えることを特徴とする画像形成装置。
  5. 前記画像処理手段は、
    前記記憶部が、画像要素の属性毎に前記閾値を記憶し、
    前記比較部が、合成対象である1または複数の画像要素について当該画像要素の属性に対応した前記閾値を前記記憶部から読み出し、当該画像要素の前記混合割合と当該閾値とを比較することを特徴とする請求項4記載の画像形成装置。
  6. 前記画像処理手段は、前記設定部が合成された前記複数の画像要素のうち上地の画像要素の前記混合割合が前記閾値よりも大きい場合に、当該上地の画像要素の属性を前記領域における画像要素の属性として設定することで、前記画像合成処理を行うことを特徴とする請求項4記載の画像形成装置。
  7. コンピュータに、
    合成される複数の画像要素のそれぞれについての画像情報を取得する取得機能と、
    所定の混合割合に従って前記画像情報を合成する演算で用いる混合割合と記憶手段から読み出された閾値とを比較する比較機能と、
    前記比較機能での比較結果に基づいて合成された前記複数の画像要素が重なる領域における画像要素の属性を設定する設定機能と、
    を実現させるためのプログラム。
  8. 前記比較機能は、合成対象である1または複数の画像要素について当該画像要素の属性に対応した前記閾値を、当該画像要素の属性毎に当該閾値が記憶された記憶手段から読み出し、当該画像要素の前記混合割合と当該閾値とを比較することを特徴とする請求項7記載のプログラム。
  9. 前記設定機能は、合成された前記複数の画像要素のうち上地の画像要素の前記混合割合が前記閾値よりも大きい場合に、当該上地の画像要素の属性を前記領域における画像要素の属性として設定することを特徴とする請求項7記載のプログラム。
JP2006251672A 2006-09-15 2006-09-15 画像処理装置、画像形成装置及びプログラム Expired - Fee Related JP4882626B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006251672A JP4882626B2 (ja) 2006-09-15 2006-09-15 画像処理装置、画像形成装置及びプログラム
US11/723,331 US7782487B2 (en) 2006-09-15 2007-03-19 Image processing apparatus, image forming apparatus, image processing method, computer data signal, and recording medium
CN2007100964280A CN101146166B (zh) 2006-09-15 2007-04-17 图像处理装置和方法、以及图像形成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006251672A JP4882626B2 (ja) 2006-09-15 2006-09-15 画像処理装置、画像形成装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2008072650A true JP2008072650A (ja) 2008-03-27
JP4882626B2 JP4882626B2 (ja) 2012-02-22

Family

ID=39188265

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006251672A Expired - Fee Related JP4882626B2 (ja) 2006-09-15 2006-09-15 画像処理装置、画像形成装置及びプログラム

Country Status (3)

Country Link
US (1) US7782487B2 (ja)
JP (1) JP4882626B2 (ja)
CN (1) CN101146166B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009278373A (ja) * 2008-05-14 2009-11-26 Sharp Corp 画像処理装置、画像形成装置及びコンピュータプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4412363B2 (ja) * 2007-07-18 2010-02-10 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置
JP2009267671A (ja) * 2008-04-24 2009-11-12 Nec Electronics Corp 画像処理装置
JP5335305B2 (ja) * 2008-07-11 2013-11-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP4954316B2 (ja) * 2010-06-17 2012-06-13 シャープ株式会社 ドキュメント作成装置、ドキュメント作成方法、ドキュメント作成プログラム及び記録媒体
WO2012004942A1 (ja) 2010-07-06 2012-01-12 パナソニック株式会社 画面合成装置及び画面合成方法
CN102724432B (zh) * 2011-05-17 2014-11-05 新奥特(北京)视频技术有限公司 一种基于sse2的图像混合处理方法
JP5760946B2 (ja) * 2011-10-25 2015-08-12 株式会社Jvcケンウッド 情報表示装置、情報表示方法およびプログラム
KR20140039892A (ko) * 2012-09-25 2014-04-02 삼성전자주식회사 인쇄 제어 단말장치, 화상형성장치, 인쇄 제어 방법, 화상형성방법, 컴퓨터 판독가능 기록매체
JP6183305B2 (ja) * 2014-07-02 2017-08-23 株式会社デンソー 故障検出装置および故障検出プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002016783A (ja) * 2000-06-29 2002-01-18 Canon Inc 画像処理装置及び方法と画像形成装置
JP2003298833A (ja) * 2002-04-03 2003-10-17 Canon Inc マルチ・ファンクション周辺装置およびマルチ・ファンクション周辺装置における画像合成処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4181716B2 (ja) 1999-12-28 2008-11-19 キヤノン株式会社 画像処理装置及び画像処理方法及び記憶媒体
JP2002312141A (ja) 2001-04-16 2002-10-25 Canon Inc 印刷制御装置、印刷情報作成方法、プログラム、及び記憶媒体
AU2003221401A1 (en) * 2002-08-20 2004-03-11 Fuji Xerox Co., Ltd. Image forming device and its method
JP2004243568A (ja) 2003-02-12 2004-09-02 Canon Inc 画像形成装置
AU2003227503A1 (en) * 2003-04-15 2004-11-04 Fujitsu Limited Drawing device and display controller
EP1732308A2 (en) * 2005-06-08 2006-12-13 Canon Kabushiki Kaisha Imaging device, control method, and program
WO2007020760A1 (ja) * 2005-08-19 2007-02-22 Matsushita Electric Industrial Co., Ltd. 画像処理方法、画像処理システムおよび画像処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002016783A (ja) * 2000-06-29 2002-01-18 Canon Inc 画像処理装置及び方法と画像形成装置
JP2003298833A (ja) * 2002-04-03 2003-10-17 Canon Inc マルチ・ファンクション周辺装置およびマルチ・ファンクション周辺装置における画像合成処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009278373A (ja) * 2008-05-14 2009-11-26 Sharp Corp 画像処理装置、画像形成装置及びコンピュータプログラム

Also Published As

Publication number Publication date
CN101146166B (zh) 2011-05-04
CN101146166A (zh) 2008-03-19
US20080068670A1 (en) 2008-03-20
US7782487B2 (en) 2010-08-24
JP4882626B2 (ja) 2012-02-22

Similar Documents

Publication Publication Date Title
JP4882626B2 (ja) 画像処理装置、画像形成装置及びプログラム
JP4771538B2 (ja) 色変換テーブル生成方法、色変換テーブル及び色変換テーブル生成装置
JP4669314B2 (ja) 画像処理方法および画像処理装置
JP5031694B2 (ja) 画像処理装置、画像処理方法及び該方法を実行させるプログラムを格納したコンピュータ読み取り可能な記録媒体
JP5482073B2 (ja) 画像処理装置、画像形成システム、およびプログラム
US7864367B2 (en) Image processing system and image processing method
JP2009154365A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP2007208531A (ja) 多色印刷装置及びその制御方法
JP5239753B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP2002314832A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP4946370B2 (ja) 画像処理装置、画像形成装置及びプログラム
JP4508953B2 (ja) 画像処理方法及び画像処理装置
JP6794821B2 (ja) 画像処理装置、および、コンピュータプログラム
JP2008205574A (ja) 印刷制御装置及びプログラム
JP5012871B2 (ja) 画像処理装置、画像形成装置、及び画像処理プログラム
JP2006260532A (ja) 画像処理装置及び画像処理方法
JP4455261B2 (ja) 画像処理方法、画像処理装置および画像形成システム
JP2007013377A (ja) 画像処理方法、画像処理装置及びプログラム
JP2006260533A (ja) 画像処理装置及び画像処理方法
JP2002190959A (ja) 画像処理装置、画像処理方法および記録媒体
JP2009141903A (ja) 色処理方法および画像処理装置
JP4827975B2 (ja) 画像処理方法および画像処理装置
JP2004260853A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2004348405A (ja) 情報処理装置及びプログラム
US20190132477A1 (en) Image Processing Method and Image Processing Apparatus That Ensure Efficient Memory Use, and Recording Medium Therefor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090818

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110222

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110830

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111108

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees