JP2008301187A - 画像処理装置および画像処理プログラム - Google Patents

画像処理装置および画像処理プログラム Download PDF

Info

Publication number
JP2008301187A
JP2008301187A JP2007145164A JP2007145164A JP2008301187A JP 2008301187 A JP2008301187 A JP 2008301187A JP 2007145164 A JP2007145164 A JP 2007145164A JP 2007145164 A JP2007145164 A JP 2007145164A JP 2008301187 A JP2008301187 A JP 2008301187A
Authority
JP
Japan
Prior art keywords
color
image
representative
colors
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007145164A
Other languages
English (en)
Other versions
JP4993093B2 (ja
Inventor
Atsushi Ito
篤 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2007145164A priority Critical patent/JP4993093B2/ja
Priority to US12/128,921 priority patent/US8411937B2/en
Priority to CNA2008101086678A priority patent/CN101316310A/zh
Publication of JP2008301187A publication Critical patent/JP2008301187A/ja
Application granted granted Critical
Publication of JP4993093B2 publication Critical patent/JP4993093B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/644Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor using a reduced set of representative colours, e.g. each representing a particular range in a colour space

Abstract

【課題】限定色化の処理に適さない画像に対して、限定色化の処理が行われるのを防止した画像処理装置を提供する。
【解決手段】入力された画像から限定色化の処理を行う際に変換する代表色を分析部1で抽出する。判定部2では、入力された画像中の各画素の色と代表色との色の差を求め、その差の合計を算出する。算出した合計が所定の範囲内であれば限定色化の処理を行うものと判定し、色変換部3において入力された画像中の各画素の色を代表色の内のいずれかに変換する。また、算出した合計が所定の範囲内ではない場合には、入力された画像は限定色化の処理に適さない画像であるとして、色変換部3による代表色への色変換を行わない。
【選択図】図1

Description

本発明は、画像処理装置および画像処理プログラムに関するものである。
従来より、画像中に使用されている色数を低減する限定色化の処理が行われている。この限定色化の処理によって、画像中に含まれる各種のノイズやムラ、例えば画像が画像読取装置で原稿画像を読み取ったものである場合には、原稿の印刷ムラや読み取り時のスキャンノイズ、手書き部分がある場合には手書きムラなどが低減される。また画像を圧縮する場合には、圧縮ノイズを低減し、また圧縮率が向上する。
限定色化の処理は、画像中で使用されている色からいくつかの代表色を選択し、その代表色に画像中の色を置き換えてゆくことにより実現される。この代表色を選択するための従来の技術として、例えば特許文献1に記載されている方法がある。この方法は、まず画像中で使用されている色のヒストグラムを作成して極大点を抽出し、ある基準点から極大点へのベクトルを用いて極大点をクラスタリングし、それぞれのクラスタに分類された極大点のうち色の値が最小となる(最も黒に近い)極大点を代表値として選択するものである。
特開平5−61974号公報
本発明は、限定色化の処理に適さない画像に対して、限定色化の処理が行われるのを防止した画像処理装置および画像処理プログラムを提供することを目的とするものである。
本願請求項1に記載の発明は、画像中で使用されている色を分析する分析手段と、前記分析手段による分析結果をもとに前記画像中で使用されている色を限定色に変換するか否かを判定する判定手段と、前記判定手段で限定色に変換すると判定された場合に画像中で使用されている色を限定色に変換する色変換手段を有することを特徴とする画像処理装置である。
本願請求項2に記載の発明は、本願請求項1に記載の画像処理装置の構成における前記分析手段が、前記画像中で使用されている色の代表色を抽出するものであり、前記判定手段が、前記分析手段で抽出した代表色を前記限定色として、該限定色に変換するか否かを判定するものであり、前記色変換手段が、前記画像中で使用されている色を前記代表色へ変換するものであることを特徴とする画像処理装置である。
本願請求項3に記載の発明は、本願請求項2に記載の画像処理装置の構成における前記判定手段が、前記画像中の各画素の色と該色を変換する前記代表色との差の合計を算出し、該合計が所定の範囲内であれば変換すると判定することを特徴とする画像処理装置である。
本願請求項4に記載の発明は、本願請求項2に記載の画像処理装置の構成における前記判定手段が、前記画像中の各画素の色と該色を変換する前記代表色との差の合計を算出し、該合計が第1の範囲内であれば変換すると判定し、前記合計が前記第1の範囲外であって第2の範囲内であれば前記分析手段に対して前記代表色の追加を要求し、前記分析手段が、前記判定手段から前記代表色の追加が要求された場合に、抽出されていない前記画像中の色を代表色として追加して抽出して前記判定手段に判定を行わせることを特徴とする画像処理装置である。
本願請求項5に記載の発明は、本願請求項2に記載の画像処理装置の構成における前記分析手段が、少なくとも白色点を代表色の1つとして抽出し、前記判定手段は、色空間において前記白色点と他の代表色を結ぶ直線を設定し、該直線と前記画像中の各画素の色との距離が最短のものの合計を算出し、該合計が所定の範囲内であれば変換すると判定することを特徴とする画像処理装置である。
本願請求項6に記載の発明は、本願請求項1に記載の画像処理装置の構成における前記分析手段が、前記画像中で使用されている色をもとに色空間におけるヒストグラムを作成し、該ヒストグラムの各ピークにおけるピーク度合いを算出するものであり、前記判定手段が、前記ヒストグラムの各ピークにおける前記ピーク度合いが所定の閾値以上であるピークの個数が所定の範囲内であれば変換すると判定することを特徴とする画像処理装置である。
本願請求項7に記載の発明は、本願請求項5に記載の画像処理装置の構成における前記分析手段が、前記画像中のエッジ強度が所定の値以上の領域を除いて前記ヒストグラムを作成することを特徴とする画像処理装置である。
本願請求項8に記載の発明は、本願請求項1に記載の画像処理装置の構成における前記分析手段が、前記画像中のエッジ強度が所定の値以上の領域を除いた領域について濃度傾きを検出するものであり、前記判定手段が、前記濃度傾きが所定の閾値以下であれば変換すると判定することを特徴とする画像処理装置である。
本願請求項9に記載の発明は、コンピュータに、請求項1ないし請求項8のいずれか1項に記載の画像処理装置の機能を実行させることを特徴とする画像処理プログラムである。
本願請求項1に記載の発明によれば、限定色化の処理に適さない画像に対して、限定色化の処理が行われるのを防止することができる。
本願請求項2に記載の発明によれば、画像から抽出した代表色への限定色化に適さない画像に対する限定色化の処理の適用を防止することができる。
本願請求項3に記載の発明によれば、画像から抽出した代表色と異なる色が画像中で多く使用されている場合に、該画像に対する限定色化の処理を防止することができる。
本願請求項4に記載の発明によれば、画像からの代表色の抽出数を最適化しながら、代表色への限定色化の処理に適さない画像に対する限定色化の処理の適用を防止することができる。
本願請求項5に記載の発明によれば、画像から抽出した代表色と異なる色が画像中で多く使用されている場合に、該画像に対する限定色化の処理を防止することができる。
本願請求項6に記載の発明によれば、画像中で使用されている色のヒストグラムをもとにして限定色化の処理に適さない画像について限定色化の処理が行われるのを防止することができる。
本願請求項7に記載の発明によれば、文字部分などのエッジ強度が強い部分を除いて限定色化の処理を行うか否かを判定することができる。
本願請求項8に記載の発明によれば、グラデーションなどを含む画像に対して限定色化の処理が行われるのを防止することができる。
本願請求項9に記載の発明によれば、本願請求項1ないし請求項8のいずれか1項に記載の発明の効果を得ることができる。
図1は、本発明の第1の実施の形態を示すブロック図である。図中、1は分析部、2は判定部、3は色変換部、4は圧縮部である。分析部1は、入力された画像中で使用されている色を分析し、その結果を判定部2に渡す。この第1の実施の形態では、分析部1において、色変換部3で限定色として使用する1ないし複数の代表色を抽出し、抽出した代表色を分析結果として判定部2に渡す。
判定部2は、分析部1による分析結果をもとに、入力された画像中で使用されている色を限定色に変換するか否かを判定する。この第1の実施の形態では、分析部1から1ないし複数の代表色が渡されるので、この代表色をもとに、その代表色への限定色化の処理を行うか否かを判定する。判定方法の例については後述する。
色変換部3は、判定部2で限定色に変換すると判定された場合に、入力された画像中で使用されている色を限定色に変換する。この第1の実施の形態では、分析部1で代表色を抽出しているので、この代表色に入力された画像中で使用されている色を変換すればよい。
なお、図1に示す例では圧縮部4を設け、圧縮部4で画像の圧縮を行う例を示している。圧縮部4は、色変換部3で限定色への変換を行った場合には色変換部3から出力される限定色化された画像に対して圧縮処理を行う。この場合には、使用されている色数が少ないため、可逆圧縮処理を行っても高圧縮率が得られる。また、色変換部3で限定色への変換を行わなかった場合には、入力された画像に対して圧縮処理を行う。この場合には使用されている色数が多いと可逆圧縮処理ではそれほどの圧縮率は見込めない。この圧縮部4を設けずに構成してもよい。
以下、本発明の主要部である分析部1、判定部2、色変換部3についてさらに説明してゆく。分析部1は、この第1の実施の形態では1ないし複数の代表色を取得するが、その代表色の取得方法は任意である。ユーザが代表色を指定したり、あるいは外部から予め設定されている代表色を取得してもよいが、ここでは入力された画像から代表色を自動的に抽出する。その方法としては、例えば特許文献1に記載されている方法などを用いてもよい。ここでは、別の方法により代表色を抽出する例を示す。
図2は、本発明の第1の実施の形態における分析部1の一例を示すブロック図、図3は、同じく動作の一例の説明図である。図中、11はヒストグラム作成部、12はピーク色抽出部、13は代表色選択部である。
ヒストグラム作成部11は、入力された画像の各画素の色値を計数して、色空間における3次元のヒストグラムを作成する。図3(A)には、RGB色空間におけるヒストグラム分布の一例を示している。各画素の量子化された色値を計数することによって、計数値(0以外)は例えばハッチングを施して示したように、多くの場合は色空間中の一部に分布することになる。以降の説明では、この0以外の計数値が分布する部分空間のみを示す。なお、色空間におけるヒストグラムは、色値ごとに画素数を計数して求めると膨大なデータ量となるため、例えば色値を量子化して、ある程度の範囲で色値をまとめて画素数の計数を行うとよい。
ピーク色抽出部12は、ヒストグラム作成部11で作成されたヒストグラムから、頻度が極大となるピーク色を抽出する。例えば二次微分フィルタ処理を3次元のヒストグラムに対して施すことにより、3次元ヒストグラム中の極大値(ピーク色)が抽出される。もちろん、例えば一次微分フィルタ処理など、二次微分フィルタ処理以外の処理によってピーク色を抽出してもよく、また複数のピーク色の抽出処理を組み合わせて用いてもよい。ピーク色抽出部12で抽出されたピーク色を、図3(B)に黒丸で示している。入力画像中で使用されている主な色や、特に他とは異なる色彩の色などがピーク色として抽出される。
代表色選択部13は、ピーク色抽出部12で抽出されたピーク色の中から代表色を選択する。ピーク色抽出部12で抽出されたピーク色をそのまま代表色としてもよいが、ここではピーク色の中から1ないし複数の代表色を選択する。例えば、3次元ヒストグラムの計数値が大きい方から所定の数だけ代表色を選択したり、あるいは、類似する複数のピーク色をまとめて1つの代表色として選択してもよい。例えば図3(C)において細線で囲んだピーク色をまとめて、◎で示すピーク色を代表色として選択すればよい。この場合のピーク色の統合方法および統合の際にいずれのピーク色を残すかは任意である。ピーク色の統合方法としては、例えば、紙色と黒色とを結ぶ線分と各ピーク色との最短距離を示すベクトルを求め、そのベクトルの方向及び明度差を少なくとも特徴量として用いて行う方法がある。また、統合する場合にいずれのピーク色を残すかは、各ピーク色の彩度、頻度、頻度の微分値の少なくとも1つを用いて判断すればよい。
判定部2は、上述のようにして分析部1で抽出された代表色を用いて、入力された画像中の色を代表色へ変換する限定色化の処理を行ってもよいか否かを判定する。図4は、本発明の第1の実施の形態における判定部の第1の動作例の説明図である。限定色化の処理を行うか否かを判定する一つの方法として、入力された画像中の各画素について、その画素の色と、その色を変換する代表色との色の差を求め、各画素について求めた色の差を合計して、その合計が所定の範囲内であるか否かを判定すればよい。例えば図4に示す例では、上述の図3(C)に示した代表色が分析部1で抽出されたものとし、入力された画像中のある画素の色が×で示した色であった場合に、色空間では×で示した色と、その色が変換されるべき代表色との距離(図中の両矢印で示す)を求める。
このような距離を、画像中の各画素の色について求め、合計する。この合計が所定の範囲内であれば、入力された画像で使用されている色は代表色に近い色が使用されていると判断でき、限定色化しても問題ない。一方、合計が所定の範囲外である場合には、入力された画像で使用されている色は、代表色とはかなり異なる色が使用されている可能性があり、限定色化の処理を行うと一部の色について色の変化が激しくなることが予想される。従って、このような場合には限定色化の処理は行わないものと判定する。なお、合計の値は入力された画像のサイズ、例えば画素数などによって変わってしまうため、合計を画像のサイズで正規化した上で、所定の範囲内であるか否かを判定するとよい。
図5は、本発明の第1の実施の形態における判定部の第2の動作例の説明図である。限定色化の処理を行うか否かを判定する別の方法として、ここでは入力された画像の各画素の色から、白色点と代表色を結ぶ直線への距離の合計を算出し、その合計が所定の範囲内か否かを判定する。通常は白色点は代表色の一つとして紙色が選択される。従って、代表色のうちから白色点を選択し、その白色点と他の代表色を結ぶ色空間における直線を設定する。図5においては、白色点とそのほかの1つの代表色を結ぶ直線を示している。この直線上の色は、ほとんど色相の変化がなく、この直線上およびその周辺の色であれば代表色へ変換してもよいと考えられる。入力された画像の各画素の色について、色空間において各直線への距離を算出し、そのうち最短のものを採用する。図5では画素の色を×で示し、直線への距離を両矢印で示している。
このようにして各画素の色について得られた最短の距離を合計し、その合計が所定の範囲内であるか否かを判定する。合計が所定の範囲内であれば、入力された画像で使用されている色を代表色に変換しても、色相が大きく異なることはないと判断でき、限定色化しても問題ない。一方、合計が所定の範囲外である場合には、入力された画像で使用されている色を代表色に変換すると色相が大きく異なる色があると考えられ、このような場合には限定色化の処理は行わないものと判定する。なお、この場合も合計の値は画像のサイズにより変動してしまうので、合計を画像のサイズで正規化した上で、所定の範囲内であるか否かを判定するとよい。
色変換部3は、判定部2で限定色化の処理を行うと判定した場合に、入力された画像中の各画素の色を、分析部1で抽出した代表色へ変換する。例えば、変換対象の画素の色からの色空間における距離が最短の代表色へ変換すればよい。あるいは、以下に示す方法もある。図6は、色変換部における代表色への色変換の一例の説明図である。図6では、上述の判定部2における第2の動作例で説明したように白色点とそのほかの1つの代表色を結ぶ直線を設定する。そして、変換対象の画素の色(図中の○に+を付した点)から最短距離にある直線を決定して、その直線を設定している代表色に変換している。もちろん両者を組み合わせ、白色点(紙色)までの距離が最短となる場合に白色点に変換し、そのほかは最短距離にある直線を決定して代表色に変換してもよい。さらに、他の方法で代表色への変換を行ってもよい。このような代表色への色変換により限定色化の処理が行われ、使用されている色が代表色の色数に限定された画像に変換される。
なお、判定部2で限定色化の処理を行わないと判定した場合には、限定色化の処理によって色が大きく異なる画像に変換されるおそれがあり、この色変換部3は代表色への変換を行わない。あるいは代表色へ変換した画像を出力しないか、後段の処理(ここでは圧縮部4)で採用しないようにしてもよい。
ここで、本発明の第1の実施の形態における動作の概要についてまとめておく。図7は、本発明の第1の実施の形態における第1の動作例を示すフローチャートである。ここでは判定部2が上述の第1の動作例に従って動作するものとして示している。S21において、分析部1のヒストグラム作成部11は、入力された画像をもとに色空間における3次元ヒストグラムを作成する。S22において、作成されたヒストグラムをもとに分析部1のピーク色抽出部12がピーク色を抽出し、そのピーク色の中から代表色選択部13が代表色を選択する。
S23において、判定部2は分析部1で得られた代表色と入力された各画素の色との差の合計を算出する。そしてS24において、算出した合計が所定の範囲内であるか否かを判定する。合計が所定の範囲内であれば、S25において、色変換部3は入力された画像の各画素の色を、S22で選択した代表色のいずれかに変換する限定色化の処理を行う。この例ではさらにS26において、限定色化された画像を圧縮部4で可逆圧縮処理し、圧縮画像を出力している。
S24で合計が所定の範囲内ではないと判定された場合には、色変換部3による限定色化の処理は行わない。この例ではS27において、入力された画像に対して所定の圧縮処理を圧縮部4で行い、圧縮画像を出力している。
図8は、本発明の第1の実施の形態における第2の動作例を示すフローチャートである。ここでは判定部2が上述の第2の動作例に従って動作するものとして示している。S21において、分析部1のヒストグラム作成部11は、入力された画像をもとに色空間における3次元ヒストグラムを作成する。S22において、作成されたヒストグラムをもとに分析部1のピーク色抽出部12がピーク色を抽出し、そのピーク色の中から代表色選択部13が代表色を選択する。
S31において、判定部2は分析部1で得られた代表色のうち、白色点と他の代表色を結ぶ直線を設定し、S32において、入力された各画素の色からS31で設定した直線への最短距離の合計を算出する。そしてS24において、算出した合計が所定の範囲内であるか否かを判定する。合計が所定の範囲内であれば、S25において、色変換部3は入力された画像の各画素の色を、S22で選択した代表色のいずれかに変換する限定色化の処理を行う。この例ではさらにS26において、限定色化された画像を圧縮部4で可逆圧縮処理し、圧縮画像を出力している。S24で合計が所定の範囲内ではないと判定された場合には、色変換部3による限定色化の処理は行わない。この例ではS27において、入力された画像に対して所定の圧縮処理を圧縮部4で行い、圧縮画像を出力している。
図9は、本発明の第2の実施の形態を示すブロック図である。図1に示した第1の実施の形態と異なるのは、判定部2による判定結果に従って分析部1における代表色の抽出を増加させる点にある。
この第2の実施の形態における判定部2は、例えば上述の第1の実施の形態で説明したように入力された各画素の色と代表色との色の差の合計や、入力された各画素の色から白色点と他の代表色を結ぶ直線への距離の合計をもとに、限定色化の処理を行うか否かの判断を行う。この際に、所定の基準Aおよび基準B(A<B)を設け、基準Aの範囲内を第1の範囲、基準Aを超えて基準Bまでの範囲を第2の範囲とする。そして、合計が第1の範囲内であれば、限定色化の処理を行うものと判定する。また、第1の範囲でも第2の範囲でもない場合には、限定色化の処理を行わないものと判定する。さらに、第2の範囲内である場合には、分析部1に対して選択する代表色の増加を指示する。
分析部1では第1の実施の形態で説明したように、ヒストグラム作成部11で色空間における3次元ヒストグラムを作成し、ピーク色抽出部12で抽出したピーク色の中から、代表色選択部13がいくつかの代表色を選択する。判定部2から代表色の増加を指示された場合には、ピーク色の中から代表色の数を増やして選択し、判定部2に渡す。
分析部1で選択する代表色を増やした場合も、判定部2はいずれの範囲であるかを判定する。代表色を増やした場合、増えた代表色に近い色や、増えた代表色と白色点を結ぶ線分との距離が短い色については、合計の値を小さくする方向に作用するので、合計が第1の範囲に入る可能性が高くなる。もし、増やした代表色により合計が第1の範囲に入れば、その際の代表色により限定色化の処理を行うものと判定する。代表色を増やしても第2の範囲内であれば、分析部1により選択される代表色を増加させてゆけばよい。なお、代表色を増加させて第1,第2の範囲外となる場合には、限定色化の処理を行わないものと判定する。この場合には限定色化の処理は行わないので代表色も使用しない。
代表色の個数を増加させる方法は、代表色の選択方法に依存する。例えばピーク色の計数値が大きい方から代表色として選択するのであれば、前回選択されなかったピーク色のうち計数値が大きいものを代表色に加えればよい。また、類似するピーク色をまとめて代表色を選択するのであれば、まとめる際の条件のパラメータをピーク色がまとまらない方向に変更すればよい。この方法を用いる際には、ピーク色をまとめてゆく過程を記憶しておいて、判定部2から代表色の増加の指示があった場合には過程を1つ戻した場合の状態から代表色を選択すればよい。
判定部2からの指示に従って分析部1で選択する代表色の個数が多数になると、限定色化の処理を行う意義が薄れてしまう場合がある。例えば図1,図7に示すように圧縮処理を行う場合、代表色の個数が多く、ほとんど色数が減らない場合には、圧縮率が向上せず、限定色化の処理は意味が無くなる。そのため、判定部2は代表色の個数が所定の個数を超える場合には、分析部1に対して代表色の増加を指示せずに限定色化の処理を行わないものと判定するとよい。あるいは、判定部2からの指示により分析部1で選択した代表色の個数が所定の個数を超える場合には、その旨を判定部2に通知して、限定色化の処理を行わないものと判定してもよい。また、判定部2からの指示により分析部1がピーク色の個数を超えて代表色を選択しなければならなくなった場合も、これ以上の代表色の選択ができない旨を判定部2に通知して、限定色化の処理を行わないものと判断するとよい。
この第2の実施の形態では、判定部2で判定を行いながら、分析部1で代表色の選択を行ってゆくことになり、第1の実施の形態のように1回の処理で代表色を選択する場合に比べて最適な代表色が選択され、限定色化の処理が行われる。
図10は、本発明の第2の実施の形態における動作の概要を示すフローチャートである。S21において、分析部1で入力された画像をもとに色空間における3次元ヒストグラムを作成し、S22において、作成されたヒストグラムをもとにピーク色の中から代表色を選択する。
S23において、判定部2は分析部1で得られた代表色と入力された各画素の色との差の合計を算出する。なお、このS23の処理に代えて図8のS31、S32として示したように白色点と他の代表色を結ぶ直線を設定し、入力された各画素の色から直線への最短距離の合計を算出してもよい。
S41において、算出した合計が第1の範囲に入っているのか、あるいは第2の範囲に入っているのか、または第1,第2の範囲外であるのかを判定する。第1の範囲および第2の範囲は、上述のように所定の基準Aおよび基準B(A<B)を設け、基準Aの範囲内を第1の範囲、基準Aを超えて基準Bまでの範囲を第2の範囲としたものである。合計が基準Aを超えて基準Bまでの第2の範囲内であれば、判定部2は分析部1に対して代表色の増加を指示する。分析部1は、この判定部2からの指示に従って、S42において、代表色としてまだ選択されていない色の中から1ないし複数の代表色を新たに選択して追加し、判定部2に渡す。そして、再びS23における合計値の算出およびS41における合計値の判定を繰り返して行うことになる。代表値を増加してゆくことによって、S41での判定では合計が第1の範囲に入るようになる。上述のように、繰り返しても合計が第1の範囲に入らず、代表色の個数が所定の個数を超える場合や、代表色として選択する色がなくなった場合には、第1,第2の範囲外として判定する。
S41で合計が第1の範囲内であれば、S25において、色変換部3は入力された画像の各画素の色を、S22で選択した代表色のいずれかに変換する限定色化の処理を行う。この例ではさらにS26において、限定色化された画像を圧縮部4で可逆圧縮処理し、圧縮画像を出力している。また、S41で合計が第1,第2の範囲外であると判定された場合には、色変換部3による限定色化の処理は行わない。この例ではS27において、入力された画像に対して所定の圧縮処理を圧縮部4で行い、圧縮画像を出力している。
図11は、本発明の第3の実施の形態を示すブロック図である。この第3の実施の形態では、図1に示した上述の第1の実施の形態における分析部1、判定部2および色変換部3の動作が異なる。
この第3の実施の形態における分析部1は、入力された画像の各画素の色値を計数して、色空間における3次元のヒストグラムを作成し、そのヒストグラムから各ピークにおけるピーク度合い、例えば微分値や傾斜度合いなどを算出する。このピーク度合いは、そのピークの色の周辺の色がどの程度使用されているかを示すものである。このピーク度合いが大きいほど、当該ピークの色が入力された画像中で使用されており、類似色の使用も少ないことを示している。なお、文字部などの強いエッジが存在する領域では、限定色化の処理を行っても問題が生じないことから、このような強いエッジが存在する領域を除外してヒストグラムを作成し、ピーク度合いを算出して、次の判定部2における判定を行うようにするとよい。
判定部2では、ヒストグラム中の各ピークからピーク度合いが所定の閾値以上であるピークを抽出して、その個数が所定の範囲内であれば限定色化の処理を行うものと判定する。すなわち、画像中で使用されている主要な色が所定の範囲内であれば、限定色化の処理対象として問題ないと判定している。画像中に多数の色が使用されている場合、それらの色を少数の色に変換してしまうと画像の色再現に不具合を生じ、あるいは、使用されている多数の色を代表色として限定色化の処理を行っても処理の効果が得られない場合が生じる。従って、ピーク度合いが所定の閾値以上のピークが所定の範囲を超えて存在する場合には、限定色化の処理を行わないものと判定している。
色変換部3では、この第3の実施の形態では分析部1および判定部2では代表色を抽出していないことから、代表色の選択と、その代表色への変換の処理を行う。すなわち、上述の第1の実施の形態において分析部1の構成として示した図2の各部の処理と、第1の実施の形態における色変換部3の処理とを行えばよい。ヒストグラムの作成については分析部1でも行っているが、分析部1で強いエッジが存在する領域を除外してヒストグラムを作成していた場合には、代表色の選択にそのまま使用することはできない。従って、新たにヒストグラムを作成し直すか、あるいは強いエッジが存在する領域の画素の色についても計数値を加算してヒストグラムを作り直す必要がある。ヒストグラムからピーク色を抽出し、代表色を選択して、入力された画像の各画素の色を代表色のいずれかに変換する処理については、既に述べているのでここでは説明を省略する。なお、この色変換部3は判定部2で限定色化の処理を行うと判定された場合に、代表色への色変換を行う。
分析部1および判定部2によって、多数の色が使用されている画像については色変換部3による限定色化の処理の対象外としているので、色変換部3で代表色を抽出してその代表色への色変換を行っても、色再現性にそれほどの不具合は生じず、また、例えば圧縮部4で圧縮処理すれば圧縮率が上がることになる。
図12は、本発明の第3の実施の形態における動作例の概要を示すフローチャートである。分析部1は、S51において入力された画像中の強いエッジが存在する領域を対象外にした上で、S52において、色空間における3次元ヒストグラムを作成する。そしてS53において、作成されたヒストグラムをもとに各ピークについて微分値や傾斜度合いなどのピーク度合いを算出する。
判定部2は、分析部1からヒストグラム中の各ピークにおけるピーク度合いを受け取ると、S54において、ピーク度合いが所定の閾値以上のピークの個数を計数し、S55において、そのピークの個数が所定の範囲内であるか否かを判定する。ピークの個数が所定の範囲内であれば、S56において、色変換部3は入力された画像から代表色を抽出し、入力された画像の各画素の色を代表色のいずれかに変換する限定色化の処理を行う。この例ではさらにS57において、限定色化された画像を圧縮部4で可逆圧縮処理し、圧縮画像を出力している。
S55でピークの個数が所定の範囲内ではないと判定された場合には、色変換部3による限定色化の処理は行わない。この例ではS58において、入力された画像に対して所定の圧縮処理を圧縮部4で行い、圧縮画像を出力している。
図13は、本発明の第4の実施の形態を示すブロック図である。この第4の実施の形態では、上述の第3の実施の形態における分析部1、判定部2の動作が異なる。この第3の実施の形態では、分析部1は、入力された画像中の濃度傾きを検出するものである。また、判定部2は、分析部1で検出した濃度傾きが所定の閾値以下であれば変換すると判定する。
例えば、ある色で塗りつぶされた領域では、その色に変換しても何ら問題は生じない。一方、徐々に色が変化するグラデーション領域では、限定色化の処理により1ないし数色に変換してしまうと、グラデーションが失われてしまう。従って、グラデーションのように濃度傾きが存在する場合には、限定色化の処理を行わない方がよい。この第4の実施の形態では、濃度傾きが所定の閾値より大きい場合にはグラデーション等が存在するものと判断し、限定色化の処理を行わないようにしている。
なお、エッジ部分では大きな濃度傾きとなるため、このようなエッジをグラデーションと誤検出しないように、分析部1で濃度傾きを検出する際には、文字部のように強いエッジが存在する領域を除いて行うとよい。
図14は、本発明の第4の実施の形態における動作例の概要を示すフローチャートである。分析部1は、S51において入力された画像中の強いエッジが存在する領域を対象外にした上で、S61において、濃度傾きを検出する。
判定部2は、S62において、分析部1から受け取った濃度傾きが所定の閾値以下であるか否かを判定する。濃度傾きが所定の閾値以下であれば、S56において、色変換部3は入力された画像から代表色を抽出し、入力された画像の各画素の色を代表色のいずれかに変換する限定色化の処理を行う。この例ではさらにS57において、限定色化された画像を圧縮部4で可逆圧縮処理し、圧縮画像を出力している。
S62で濃度傾きが所定の閾値以下ではないと判定された場合には、色変換部3による限定色化の処理は行わない。この例ではS58において、入力された画像に対して所定の圧縮処理を圧縮部4で行い、圧縮画像を出力している。
図15は、本発明の各実施の形態における機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。図中、71はプログラム、72はコンピュータ、81は光磁気ディスク、82は光ディスク、83は磁気ディスク、84はメモリ、91はCPU、92は内部メモリ、93は読取部、94はハードディスク、95はインタフェース、96は通信部である。
上述の各実施の形態やその変形例として説明した各部の機能の一部または全部を、コンピュータにより実行可能なプログラム71によって実現してもよい。その場合、そのプログラム71およびそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶させておいてもよい。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取部93に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取部93にプログラムの記述内容を伝達するものである。例えば、光磁気ディスク81,光ディスク82(CDやDVDなどを含む)、磁気ディスク83,メモリ84(ICカード、メモリカードなどを含む)等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。
これらの記憶媒体にプログラム71を格納しておき、例えばコンピュータ72の読取部93あるいはインタフェース95にこれらの記憶媒体を装着することによって、コンピュータからプログラム71を読み出し、内部メモリ92またはハードディスク94に記憶し、CPU91によってプログラム71を実行することによって、本発明の各実施の形態またはその変形例で説明した機能の全部または一部が実現される。あるいは、ネットワークなどを介してプログラム71をコンピュータ72に転送し、コンピュータ72では通信部96でプログラム71を受信して内部メモリ92またはハードディスク94に記憶し、CPU91によってプログラム71を実行することによって、本発明の各実施の形態またはその変形例で説明した機能の一部または全部が実現される。なお、コンピュータ72には、このほかインタフェース95を介して様々な装置と接続してもよく、例えば情報を表示する表示装置やユーザが情報を入力する入力装置等が接続されていてもよい。あるいは、限定色化された画像を形成する画像形成手段が接続されていてもよい。また、例えば上述の各実施の形態で示しているように圧縮処理を行う場合には、圧縮された画像をハードディスク94に記憶させ、あるいはさらに通信部96から他の装置へ転送してもよい。
もちろん、一部の機能についてハードウェアによって構成することもできるし、すべてをハードウェアで構成してもよい。あるいは、他の構成とともに本発明も含めたプログラムとして構成することも可能である。例えば画像読取装置を含む装置において制御プログラムとともに1つのプログラムとして構成し、画像読取装置で読み取られた画像に対して限定色化の処理を行うか否かを自動的に判別して、行うと判定された画像に対して限定色化の処理を行うように構成することもできる。もちろん、他の用途に適用する場合には、その用途におけるプログラムとの一体化も可能である。
本発明の第1の実施の形態を示すブロック図である。 本発明の第1の実施の形態における分析部1の一例を示すブロック図である。 本発明の第1の実施の形態における分析部1の動作の一例の説明図である。 本発明の第1の実施の形態における判定部の第1の動作例の説明図である。 本発明の第1の実施の形態における判定部の第2の動作例の説明図である。 色変換部における代表色への色変換の一例の説明図である。 本発明の第1の実施の形態における第1の動作例を示すフローチャートである。 本発明の第1の実施の形態における第2の動作例を示すフローチャートである。 本発明の第2の実施の形態を示すブロック図である。 本発明の第2の実施の形態における動作の概要を示すフローチャートである。 本発明の第3の実施の形態を示すブロック図である。 本発明の第3の実施の形態における動作例の概要を示すフローチャートである。 本発明の第4の実施の形態を示すブロック図である。 本発明の第4の実施の形態における動作例の概要を示すフローチャートである。 本発明の各実施の形態における機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。
符号の説明
1…分析部、2…判定部、3…色変換部、4…圧縮部、11…ヒストグラム作成部、12…ピーク色抽出部、13…代表色選択部、71…プログラム、72…コンピュータ、81…光磁気ディスク、82…光ディスク、83…磁気ディスク、84…メモリ、91…CPU、92…内部メモリ、93…読取部、94…ハードディスク、95…インタフェース、96…通信部。

Claims (9)

  1. 画像中で使用されている色を分析する分析手段と、前記分析手段による分析結果をもとに前記画像中で使用されている色を限定色に変換するか否かを判定する判定手段と、前記判定手段で限定色に変換すると判定された場合に画像中で使用されている色を限定色に変換する色変換手段を有することを特徴とする画像処理装置。
  2. 前記分析手段は、前記画像中で使用されている色の代表色を抽出するものであり、前記判定手段は、前記分析手段で抽出した代表色を前記限定色として、該限定色に変換するか否かを判定するものであり、前記色変換手段は、前記画像中で使用されている色を前記代表色へ変換するものであることを特徴とする請求項1に記載の画像処理装置。
  3. 前記判定手段は、前記画像中の各画素の色と該色を変換する前記代表色との差の合計を算出し、該合計が所定の範囲内であれば変換すると判定することを特徴とする請求項2に記載の画像処理装置。
  4. 前記判定手段は、前記画像中の各画素の色と該色を変換する前記代表色との差の合計を算出し、該合計が第1の範囲内であれば変換すると判定し、前記合計が前記第1の範囲外であって第2の範囲内であれば前記分析手段に対して前記代表色の追加を要求し、前記分析手段は、前記判定手段から前記代表色の追加が要求された場合に、抽出されていない前記画像中の色を代表色として追加して抽出して前記判定手段に判定を行わせることを特徴とする請求項2に記載の画像処理装置。
  5. 前記分析手段は、少なくとも白色点を代表色の1つとして抽出し、前記判定手段は、色空間において前記白色点と他の代表色を結ぶ直線を設定し、該直線と前記画像中の各画素の色との距離が最短のものの合計を算出し、該合計が所定の範囲内であれば変換すると判定することを特徴とする請求項2に記載の画像処理装置。
  6. 前記分析手段は、前記画像中で使用されている色をもとに色空間におけるヒストグラムを作成し、該ヒストグラムの各ピークにおけるピーク度合いを算出するものであり、前記判定手段は、前記ヒストグラムの各ピークにおける前記ピーク度合いが所定の閾値以上であるピークの個数が所定の範囲内であれば変換すると判定することを特徴とする請求項1に記載の画像処理装置。
  7. 前記分析手段は、前記画像中のエッジ強度が所定の値以上の領域を除いて前記ヒストグラムを作成することを特徴とする請求項5に記載の画像処理装置。
  8. 前記分析手段は、前記画像中のエッジ強度が所定の値以上の領域を除いた領域について濃度傾きを検出するものであり、前記判定手段は、前記濃度傾きが所定の閾値以下であれば変換すると判定することを特徴とする請求項1に記載の画像処理装置。
  9. コンピュータに、請求項1ないし請求項8のいずれか1項に記載の画像処理装置の機能を実行させることを特徴とする画像処理プログラム。
JP2007145164A 2007-05-31 2007-05-31 画像処理装置および画像処理プログラム Expired - Fee Related JP4993093B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007145164A JP4993093B2 (ja) 2007-05-31 2007-05-31 画像処理装置および画像処理プログラム
US12/128,921 US8411937B2 (en) 2007-05-31 2008-05-29 Image processing apparatus, image processing method and computer-readable medium
CNA2008101086678A CN101316310A (zh) 2007-05-31 2008-05-30 图像处理装置和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007145164A JP4993093B2 (ja) 2007-05-31 2007-05-31 画像処理装置および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2008301187A true JP2008301187A (ja) 2008-12-11
JP4993093B2 JP4993093B2 (ja) 2012-08-08

Family

ID=40107139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007145164A Expired - Fee Related JP4993093B2 (ja) 2007-05-31 2007-05-31 画像処理装置および画像処理プログラム

Country Status (3)

Country Link
US (1) US8411937B2 (ja)
JP (1) JP4993093B2 (ja)
CN (1) CN101316310A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010219848A (ja) * 2009-03-17 2010-09-30 Toshiba Corp 文書画像処理装置および文書画像処理方法
JP2011023835A (ja) * 2009-07-13 2011-02-03 Fuji Xerox Co Ltd 画像処理装置、画像読取装置、画像形成装置、画像処理プログラム
JP2011193294A (ja) * 2010-03-15 2011-09-29 Toshiba Corp 文書画像処理装置、文書画像処理方法および文書画像処理プログラム
KR20130113914A (ko) * 2012-04-06 2013-10-16 후지제롯쿠스 가부시끼가이샤 화상 처리 장치, 화상 처리 방법, 및 컴퓨터 판독 가능한 기억 매체
JP2014053654A (ja) * 2012-09-04 2014-03-20 Toshiba Corp 画像符号化装置、及び画像符号化方法
JP2016192680A (ja) * 2015-03-31 2016-11-10 ブラザー工業株式会社 画像処理プログラム、画像処理装置、及び画像処理方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218860B1 (en) * 2008-08-28 2012-07-10 Adobe Systems Incorporated Method and system for replacing color ranges in an image
JP4748333B2 (ja) * 2009-03-18 2011-08-17 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
CN101859511A (zh) * 2010-04-01 2010-10-13 浙江大学 环境氛围灯系统及环境氛围灯系统的控制方法
JP5846357B2 (ja) * 2011-08-15 2016-01-20 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP5846363B2 (ja) * 2011-09-02 2016-01-20 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
JP6779688B2 (ja) * 2016-07-25 2020-11-04 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0887258A (ja) * 1994-09-19 1996-04-02 Oki Electric Ind Co Ltd カラー画像表示方法
JP2005236660A (ja) * 2004-02-19 2005-09-02 Konica Minolta Business Technologies Inc 画像処理装置および画像処理プログラム
JP2005260452A (ja) * 2004-03-10 2005-09-22 Fuji Xerox Co Ltd 画像処理装置
JP2005269271A (ja) * 2004-03-18 2005-09-29 Fuji Xerox Co Ltd 画像処理装置
JP2005303953A (ja) * 2004-04-16 2005-10-27 Fuji Xerox Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2006229280A (ja) * 2005-02-15 2006-08-31 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2983344B2 (ja) 1991-08-30 1999-11-29 株式会社東芝 色判別装置
JPH0856287A (ja) 1994-08-15 1996-02-27 Toshiba Corp 画像識別装置
JP3748172B2 (ja) * 1998-12-09 2006-02-22 富士通株式会社 画像処理装置
US7085006B2 (en) * 2000-12-28 2006-08-01 Seiko Epson Corporation Apparatus for generating two color printing data, a method for generating two color printing data and recording media
US7046390B2 (en) * 2001-02-05 2006-05-16 Hewlett-Packard Development Company, L.P. System and method for scaling and enhancing color text images
JP2003085556A (ja) 2001-09-07 2003-03-20 Fuji Xerox Co Ltd 画像処理装置およびプログラム
JP4423076B2 (ja) * 2004-03-22 2010-03-03 キヤノン株式会社 認識対象切出し装置および方法
JP4468734B2 (ja) * 2004-04-27 2010-05-26 オリンパス株式会社 映像信号処理装置と映像信号処理プログラム
US7751620B1 (en) * 2007-01-25 2010-07-06 Bitdefender IPR Management Ltd. Image spam filtering systems and methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0887258A (ja) * 1994-09-19 1996-04-02 Oki Electric Ind Co Ltd カラー画像表示方法
JP2005236660A (ja) * 2004-02-19 2005-09-02 Konica Minolta Business Technologies Inc 画像処理装置および画像処理プログラム
JP2005260452A (ja) * 2004-03-10 2005-09-22 Fuji Xerox Co Ltd 画像処理装置
JP2005269271A (ja) * 2004-03-18 2005-09-29 Fuji Xerox Co Ltd 画像処理装置
JP2005303953A (ja) * 2004-04-16 2005-10-27 Fuji Xerox Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2006229280A (ja) * 2005-02-15 2006-08-31 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010219848A (ja) * 2009-03-17 2010-09-30 Toshiba Corp 文書画像処理装置および文書画像処理方法
JP2011023835A (ja) * 2009-07-13 2011-02-03 Fuji Xerox Co Ltd 画像処理装置、画像読取装置、画像形成装置、画像処理プログラム
JP2011193294A (ja) * 2010-03-15 2011-09-29 Toshiba Corp 文書画像処理装置、文書画像処理方法および文書画像処理プログラム
KR20130113914A (ko) * 2012-04-06 2013-10-16 후지제롯쿠스 가부시끼가이샤 화상 처리 장치, 화상 처리 방법, 및 컴퓨터 판독 가능한 기억 매체
KR101664185B1 (ko) 2012-04-06 2016-10-11 후지제롯쿠스 가부시끼가이샤 화상 처리 장치, 화상 처리 방법, 및 컴퓨터 판독 가능한 기억 매체
JP2014053654A (ja) * 2012-09-04 2014-03-20 Toshiba Corp 画像符号化装置、及び画像符号化方法
JP2016192680A (ja) * 2015-03-31 2016-11-10 ブラザー工業株式会社 画像処理プログラム、画像処理装置、及び画像処理方法

Also Published As

Publication number Publication date
JP4993093B2 (ja) 2012-08-08
CN101316310A (zh) 2008-12-03
US20090041343A1 (en) 2009-02-12
US8411937B2 (en) 2013-04-02

Similar Documents

Publication Publication Date Title
JP4993093B2 (ja) 画像処理装置および画像処理プログラム
JP5253835B2 (ja) 画像生成装置、画像生成方法及びコンピュータプログラム
JP5173898B2 (ja) 画像処理方法、画像処理装置、及びプログラム
US8565491B2 (en) Image processing apparatus, image processing method, program, and imaging apparatus
JP5645612B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP4235583B2 (ja) 画像処理装置、画像処理用プログラム及び記憶媒体
JP5024574B2 (ja) 画像処理装置及び画像処理プログラム
JP4441300B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体
JP4748333B2 (ja) 画像処理装置および画像処理プログラム
US8744179B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium that utilizes representative colors
KR102525546B1 (ko) 영상 처리 방법 및 이를 수행하는 영상 처리 장치
JP4073942B2 (ja) 画像圧縮装置および画像伸張装置、ならびに画像圧縮方法および画像伸張方法をコンピュータに実行させるためのプログラムをそれぞれ記録したコンピュータ読取可能な記録媒体
JP6486082B2 (ja) 画像処理装置及び画像処理方法、プログラム
KR101544171B1 (ko) 혼합 특징 벡터를 적용한 초해상도 장치 및 그 방법
JP5854210B2 (ja) 画像処理装置および画像処理プログラム
JP2009230556A (ja) オブジェクト検出装置、オブジェクト検出方法、オブジェクト検出プログラムおよび印刷装置
JP4383187B2 (ja) 画像処理装置、画像処理用プログラム及び記憶媒体
JP4237642B2 (ja) 画像処理装置、画像処理用プログラム及び記憶媒体
JP2009232418A (ja) 色処理装置、プログラムおよび画像形成装置
JP2017183860A (ja) 画像処理装置および画像処理方法
JP5029779B2 (ja) 画像処理方法、画像処理プログラムを記録した媒体および画像処理装置
WO2014174799A1 (ja) 画像内領域重要度評価装置、方法およびプログラム
JP4475316B2 (ja) 画像処理装置、画像処理プログラムを記録した記録媒体および画像処理方法
JP2014085802A (ja) 特徴量抽出装置、特徴量抽出方法及びプログラム
JP2008035387A (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120411

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120424

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4993093

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees