JP2004289671A - Image processing apparatus - Google Patents
Image processing apparatus Download PDFInfo
- Publication number
- JP2004289671A JP2004289671A JP2003081286A JP2003081286A JP2004289671A JP 2004289671 A JP2004289671 A JP 2004289671A JP 2003081286 A JP2003081286 A JP 2003081286A JP 2003081286 A JP2003081286 A JP 2003081286A JP 2004289671 A JP2004289671 A JP 2004289671A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- character
- line
- image
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、公衆回線やLAN等、ネットワークを介して画像データを伝送する際に、当該画像データに対して所定処理を実行する画像処理装置に関する。
【0002】
【従来の技術】
近年、事務機器の多くがディジタル化され、パーソナルコンピュータ等の制御装置と相互にディジタルデータを通信し、当該ディジタルデータを利用した処理を行うようになってきている。例えばディジタル化された複写機(ディジタル複写機)は、原稿を読み取るスキャナ部や、複写原稿を生成するプリンタ部を有し、さらにネットワークカードを備えて、パーソナルコンピュータとディジタルデータを送受し、パーソナルコンピュータのスキャナ(Scan to PC機能)や、プリンタとしての動作を行う。また、このディジタル複写機には、モデム部を内蔵して、ファクシミリとして機能するようになっているものもある。
【0003】
そしてこのディジタル複写機は、ネットワークを介して、他のディジタル複写機とディジタルデータを送受し、例えば、一方のディジタル複写機で読み取った画像データを他方のディジタル複写機に送信して印刷するといった、いわゆるネットワークコピー機能を実現することも可能である。
【0004】
こうしたディジタル複写機に代表される事務機器は、相互に、又はパーソナルコンピュータ等との間で画像データを送受するものが多いが、画像データは一般にサイズが大きいので、ネットワークの負荷を軽減するために、送信側で圧縮処理されてから送信され、受信側で当該圧縮処理された画像データを伸長し、元の画像データ(非可逆圧縮の場合は、元の画像データに近い画像データであるが、ここでは元の画像データと呼ぶこととする)を得て処理する。
【0005】
この圧縮処理においては、例えば文字部分のような線画部分と、写真画像の部分とにそれぞれ異なる圧縮方式による圧縮処理を行うことで、より圧縮効率を高めることができることが知られている。
【0006】
すなわち、処理対象となった画像データについて、当該画像データを線画部分と写真部分とに分離する、いわゆるT/I分離を行い、線画部分画像データ(文字画像プレーン)と、写真部分画像データ(絵柄画像プレーン)とをそれぞれ生成する。そして、線画部分画像データと、写真部分画像データとで、それぞれの部分画像データについて圧縮率の比較的高い圧縮方式による圧縮処理を行う。
【0007】
受信側では、互いに異なる圧縮方式で圧縮された各部分画像データを受信し、各部分画像データについて、それぞれの圧縮方式に対応する伸長処理を行って線画部分画像データと、写真部分画像データとを得、これらを合成して元の画像データを生成する。
【0008】
さらに線画部分画像データについては、各線画の色情報を含んだ線画色プレーンと、各線画の形状情報を含んだ選択プレーンとを生成し、それぞれに対して互いに異なる圧縮方式による圧縮を行ってもよい。具体的に図8(a)に示すように、赤色で「ABC」の文字が、青色で「123」の文字がそれぞれ表された画像データにおいては、線画部分画像データのうち、線画色プレーンは、「ABC」の文字の領域を内包する赤色矩形と、「123」の文字の領域を内包する青色矩形とを含み(図8(b))、選択データには、「ABC」の文字の形状と、「123」の文字の形状とが白黒2値の画像として含まれる(図8(c))。この図8(b)の部分画像データのうち、図8(c)の部分画像データで黒色となっているピクセルに対応するピクセルを選択的に取り出せば、図8(a)の部分画像データ(線画部分画像データ)が再現されることになっている。
【0009】
なお、ここでは線画色プレーンに含まれる図形は矩形のみであるが、他のプリミティブ(円や他の多角形などといった基本的図形)であってもよい。
【0010】
このように線画色プレーンと、選択プレーンと、写真部分画像データ(絵柄画像プレーン)とに分離してそれぞれ圧縮処理する方法では、各プレーンに含まれる部分画像に適した解像度変換処理や圧縮処理等の画像処理をそれぞれ適用できるので、画質の劣化を抑えながら、圧縮率を向上できる。
【0011】
一方、スキャナ等で読み取った原稿は、光学的読み取りに特有の画像劣化を伴うものである。例えば、いわゆるアーティファクトとしてのノイズ(周囲の画像から孤立したドット群等、以下「孤立点」と呼ぶ)が含まれたり、原稿がスキャナの走査方向に対して傾いていたことによって、画像データ全体が傾いているなど、ノイズ除去や傾き補正の処理が要求される場合がある。また、原稿の縦置き・横置きの関係から90度回転等の処理(正立処理)が望まれる場合もある。
【0012】
従来、カラーの画像データを含む、種々の画像データに対してノイズ除去等の処理を行うものとして、例えば、RGB表現されたフルカラー画像データのうちG(緑)の画素値のデータに基づいて孤立点を検出し、孤立点が検出された場合、その孤立点についてのRGBの各画素値を所定の濃度レベルに置換するというものがある(特許文献1)。
【0013】
【特許文献1】
特開2002−325180号公報
【0014】
【発明が解決しようとする課題】
しかしながら、上記従来の画像処理方法では、一般にカラーの画像データについてノイズ除去処理等の補正処理を行うと処理負荷が大きいという問題点があった。
【0015】
本発明は上記実情に鑑みて為されたもので、圧縮処理を行う画像データについて、ノイズ除去などの補正処理の処理負荷を軽減できる画像処理装置を提供することをその目的の一つとする。
【0016】
【課題を解決するための手段】
上記従来例の問題点を解決するための本発明は、画像処理装置であって、処理対象となった画像データから、文字線画画像データと、絵柄画像データとを分離する手段と、前記文字線画画像データを、前記文字線画画像データに含まれる色情報を含む文字線画色画像データと、文字線画部分に相当する形状を表す選択画像データとに分離する手段と、前記選択画像データに基づいて、補正に係る補正パラメータを検出する手段と、前記検出された補正パラメータに基づいて、前記文字線画色画像データと選択画像データと絵柄画像データの少なくとも一つについて、所定の補正処理を行う手段と、前記補正処理後に、文字線画色画像データと選択画像データと絵柄画像データとをそれぞれ個別に圧縮処理する手段と、を含むことを特徴としている。
【0017】
このように本発明では、補正の処理を選択プレーンに基づいて行うようにしたことで、ノイズ除去などの補正処理の処理負荷を軽減できる。
【0018】
上記従来例の問題点を解決するための本発明は、画像処理装置であって、処理対象となった画像データから、文字線画画像データと、絵柄画像データとを分離し、前記文字線画画像データを、前記文字線画画像データに含まれる色情報を含む文字線画色画像データと、文字線画部分に相当する形状を表す選択画像データとに分離して圧縮処理する装置から受信されるデータから、前記文字線画色画像データと選択画像データと絵柄画像データとのそれぞれ個別の圧縮処理結果を取得する手段と、前記取得した選択画像データに基づいて、補正に係る補正パラメータを検出する手段と、前記検出された補正パラメータに基づいて、前記文字線画色画像データと選択画像データと絵柄画像データの少なくとも一つについて、所定の補正処理を行う手段と、を含むことを特徴とする。
【0019】
またここで、前記選択画像データ上で、文字線画部分に相当するとして設定される画素に対応する、前記絵柄画像データ上の画素値の少なくとも一部について、当該画素値を変更する画素値変更手段をさらに含む、こととしても構わない。また、前記所定の補正処理は、孤立点となっているノイズ画素を、前記選択画像データから除去する処理であり、前記画素値変更手段は、当該除去された画素に対応する、前記絵柄画像データ上の画素値を変更することとしてもよい。
【0020】
また、前記画素値変更手段は、画素値の変更の対象となる画素に隣接する画素の画素値に基づいて、前記変更の対象となる画素値を変更することとしてもよい。
【0021】
上記従来例の問題点を解決するための本発明は、処理対象となった画像データから、文字線画画像データと、絵柄画像データとを分離し、前記文字線画画像データを、前記文字線画画像データに含まれる色情報を含む文字線画色画像データと、文字線画部分に相当する形状を表す選択画像データとに分離し、前記文字線画色画像データと選択画像データと絵柄画像データとをそれぞれ個別に圧縮処理または伸張処理に供する画像処理装置を用いる画像処理方法であって、前記選択画像データに基づいて、前記文字線画色画像データと選択画像データと絵柄画像データの少なくとも一つについて、所定の補正処理を行うことを特徴としている。
【0022】
また、本発明の別の態様に係る画像処理プログラムは、処理対象となった画像データから、文字線画画像データと、絵柄画像データとを分離し、前記文字線画画像データを、前記文字線画画像データに含まれる色情報を含む文字線画色画像データと、文字線画部分に相当する形状を表す選択画像データとに分離し、前記文字線画色画像データと選択画像データと絵柄画像データとをそれぞれ個別に圧縮処理または伸張処理に供する画像処理装置に、前記選択画像データに基づいて、前記文字線画色画像データと選択画像データと絵柄画像データの少なくとも一つについて、所定の補正処理を行わせるものである。
【0023】
【発明の実施の形態】
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置は、図1に示すように、制御部1と、記憶部2と、インタフェース部3とを含んで構成されており、一般的なコンピュータによって実現される。
【0024】
制御部1は、記憶部2に格納されたプログラムに従って動作しており、インタフェース部3を介して入力される画像データに対する予備補正処理、プレーン分離処理、補正処理、圧縮処理、ラッピング処理を行って、インタフェース部3を介して上記各処理後の画像データを出力する。この制御部1の具体的な処理の内容については後に詳しく述べる。
【0025】
記憶部2は、制御部1により実行されるプログラム等を格納したハードディスク装置などのコンピュータ読み取り可能な記憶媒体、及びその記憶媒体からプログラム等を読み出して制御部1に出力するドライバを含む。また、この記憶部2は、RAM(Random Access Memory)等の記憶素子を含み、制御部1の処理の過程で生成される種々のデータを保持するワークメモリとしても動作する。
【0026】
インタフェース部3は、外部から入力される画像データを制御部1に出力する。またこのインタフェース部3は、制御部1から入力される指示に従って画像データを外部の装置に出力する。
【0027】
具体的に本実施の形態の画像処理装置は、ディジタル複写機に内蔵され、ディジタル複写機内部の制御装置から入力される画像データに対して所定の画像処理を行い、当該制御装置側に画像処理後の画像データを出力する。なお、以下の説明では、補正処理として孤立点のノイズを除去する処理を行う例を説明する。
【0028】
ここで制御部1の処理の具体的内容について説明する。図2は、制御部1における処理例を表す機能ブロック図である。制御部1によって行われる処理は、図2に示すように、画像入力部10と、予備補正部11と、選択プレーン抽出部12と、線画色プレーン生成部13と、絵柄画像プレーン生成部14と、線画色プレーン解像度変換部15と、絵柄画像プレーン解像度変換部16と、ノイズ除去部17と、線画色プレーン圧縮部18と、絵柄画像プレーン圧縮部19と、選択プレーン圧縮部20と、ラッピング処理部21と、画像出力部22とを含んで構成される。
【0029】
画像入力部10は、インタフェース部3から入力される画像データを、処理対象画像データとして記憶部2に格納する。予備補正部11は、処理対象画像データに対して、外部装置(例えばスキャナなどの入力デバイス)の色空間表現から内部色空間表現(例えばRGBからL*a*bへ等)への変換処理を行い、また、エッジ強調処理等、所定のフィルタ処理等を行う。
【0030】
選択プレーン抽出部12は、予備補正後の画像データから文字や線画などの画像部分(文字線画画像データ)を抽出し、それを2値化して選択プレーンの画像データとして生成する。すなわち、この選択プレーンの画像データには、文字や線画等の部分の形状を表す画像データが含まれる。ここで選択プレーン抽出部12が画像データから線画等の部分を抽出する方法としては、例えばエッジ検出などによるものが利用できる。ここで孤立点のノイズは、文字等と同様に周辺画素から独立した画素値を有するものであるので、線画等として選択プレーンの画像データに含められることになる。本実施の形態における、選択プレーン抽出部12は、文字や線画などの画像部分を2値の白黒画像として抽出する。
【0031】
線画色プレーン生成部13は、予備補正処理された画像データと、選択プレーンの画像データとに基づいて、線画等の部分を内包し、その部分の線画の色に塗りつぶされた図形を含んでなる線画色プレーンの画像データ(文字線画色画像データ)を生成する。すなわち、この線画色プレーンには、線画部分の画像データで利用される色情報を含む。
【0032】
絵柄画像プレーン生成部14は、予備補正処理された画像データから、選択プレーンの画像データにより表される部分を除いた画像データを、絵柄画像プレーンの画像データとして生成する。
【0033】
これら選択プレーン抽出部12と、線画色プレーン生成部13と、絵柄画像プレーン生成部14とによって生成される各プレーンの画像データは、具体的に図8に示したようなものとなる。すなわち、図8(a)に示したように、背景画の上に、赤色で「ABC」の文字列を記述した画像と、青色で「123」の文字列を記述した画像と、写真画像とを含んでなる処理対象画像データから選択プレーン抽出部12が選択プレーン(図8(c))を生成する。この選択プレーンの画像データは、処理対象の画像データと同じサイズの画像を表す画像データであり、処理対象の画像データ上で「ABC」や「123」の文字列の画像があった部分に対応する位置に、「ABC」、「123」の文字列の白黒の画像を含んでなる。
【0034】
線画色プレーン生成部13は、処理対象の画像データと選択プレーンの画像データとに基づき、例えば処理対象の画像データのうち、選択プレーン上に画像がある部分を抽出し、抽出された画像データ上の各画素のうち、互いの色が共通する部分を内包する図形であって、当該色で内部を塗りつぶした図形を、抽出して得た画像データに上書きして描画する。そして、この線画色プレーン生成部13は、図8(b)に示したような線画色プレーンの画像データを生成する。この線画色プレーンの画像データも、処理対象の画像データの画像と同じサイズの画像を表す画像データである。この線画色プレーン生成部13の処理も、広く知られた処理を用いることができる。
【0035】
絵柄画像プレーン生成部14は、処理対象の画像データから選択プレーンの画像データ部分を除いて、図8(d)に示すような絵柄画像プレーンの画像データとして生成する。このため、絵柄画像プレーンの画像データには、背景画と写真画像とが含まれることとなる。
【0036】
線画色プレーン解像度変換部15は、選択プレーンの画像データに対し、その解像度を変換する処理を行う。絵柄画像プレーン解像度変換部16も同様に、絵柄画像プレーンの画像データの解像度を変換処理する。これら解像度の変換処理は、必ずしも必要なものではないが、一般にデータサイズの低減のために、解像度を低下させる目的で採用されるものである。
【0037】
ノイズ除去部17は、選択プレーンの画像データに含まれるノイズを検出して、当該検出したノイズ部分を選択プレーンの画像データから除去する。このノイズ除去部17としては、2値白黒の画像データから孤立点を除去する処理を行うものであれば、いかなるものでもよいが、その処理の一例をここで説明すると、次のようになる。
【0038】
選択プレーンの画像データの各画素を注目画素として、ラスタスキャン方向に順次選択し、当該注目画素を中心とする、図3(a)に示すような、3×3画素のウィンドウマトリクスについて、このウィンドウマトリクスが、図3(b)に示すように、注目画素のみが黒色であり、他の画素がすべて白画素である場合、当該注目画素を孤立点と判定し、この注目画素を白画素に置き換える。この例では、この注目画素の位置および3×3ウィンドウマトリクス内の画素のパターンが、補正パラメータに相当し、孤立点として判定された画素を置き換える処理が補正処理に相当する。
【0039】
この処理により、図4(a)に示すように文字「F」の右下にノイズが発生している場合に、このノイズが孤立点として処理され、除去される。なおここではノイズ部分の検出に3×3画素のウィンドウマトリクスを用いたが、ウィンドウサイズはこれに限定されるものではなく、例えば5×5ウィンドウマトリクスを用いてもよい。この場合は、注目画素を中心とする3×3画素より小さいサイズの画像をノイズ画像として判定してもよい。さらにユーザが、この検出のためのウィンドウマトリクスのサイズを指定するようにしてもよい。
【0040】
線画色プレーン圧縮部18は、線画色プレーン解像度変換部15が出力する画像データに対して、予め定められた第1の圧縮方式での圧縮処理を行い、圧縮処理後の画像データを出力する。絵柄画像プレーン圧縮部19は、絵柄画像プレーン解像度変換部16が出力する画像データに対して、予め定められた第2の圧縮方式での圧縮処理を行い、圧縮処理後の画像データを出力する。選択プレーン圧縮部20は、ノイズ除去部17が出力する、ノイズ除去後の選択プレーンの画像データに対し、予め定められた第3の圧縮方式での圧縮処理を行い、圧縮処理後の画像データを出力する。
【0041】
ラッピング処理部21は、線画色プレーン圧縮部18と、絵柄画像プレーン圧縮部19と、選択プレーン圧縮部20とがそれぞれ出力する画像データを所定の画像フォーマットにラッピングする。このラッピングは、例えばインターネットファクシミリ用の画像フォーマットであるTIFF−FXフォーマットの画像データとして、各画像データを含めた1つのデータファイルを生成することによって行うことができる。画像出力部22は、ラッピング処理部21によりラッピング処理された画像データをインタフェース部3を介して外部装置に出力する。
【0042】
また、複数の画像データが処理対象となっているときには、ラッピング処理部21は、各画像データに対する、線画色プレーンと絵柄画像プレーンと選択プレーンとの圧縮処理結果を含むデータを生成して出力する。
【0043】
なお、選択プレーンに対する第3の圧縮方式としては、1ビット画像用の可逆圧縮であるMH(Modified Huffman)やMR(Modified Read)やMMR(Modified Modified Read)等の圧縮方式を採用すればよい。また、線画色プレーンや絵柄画像プレーンに対する第1、第2の圧縮方式は、それぞれがカラーのデータであることから、汎用の画像処理チップを用いて、リアルタイム処理を容易に実現可能な、多値画像用の非可逆圧縮であるJPEG方式等を適用すればよい。尤も、これらは一例に過ぎず、例えば第1,第2の圧縮方式としては、カラーの画像データに適用できる圧縮方式であればいかなるものでも構わない。
【0044】
本実施の形態の画像処理装置は、以上のように構成され、次のように動作する。インタフェース部3から入力された処理対象の画像データに図4(a)に示すように、孤立点となっているノイズ部分(N)が含まれている場合、線画色プレーンと、選択プレーンと、絵柄画像プレーンとが、図4(b)〜図4(d)に示すようにそれぞれ抽出される。本実施の形態において特徴的なことは、選択プレーンにノイズ画像が含まれるように選択プレーンの分離を行い、また、その選択プレーンの画像データが白黒2値の画像データとなっていることである。制御部1は、この選択プレーンの画像データに対してノイズ除去処理を行う(図4(e))。このノイズ除去処理は、白黒2値の画像データに関する処理のみを行えば済むため、処理負荷が軽減される。
【0045】
このように本実施の形態では、カラー画像に含められたノイズ画像部分の分離が、圧縮処理のための線画部分の分離処理とともに行われ、その分離後の白黒2値のノイズ画像が除去されることで全体の処理の効率化が図られているのである。
【0046】
ちなみに、これら各プレーンの画像データを合成するときには、選択プレーン上の画素値をラスタスキャン順に選択する選択部と、選択した画素値が「白」であれば、その選択した画素に対応する、絵柄画像プレーンの画像データ上の画素値を出力し、選択した画素値が「黒」であれば、その選択した画素に対応する線画色プレーンの画像データ上の画素値を出力する再生部と、再生部が順次出力する画素値を、選択プレーンの画像データと同一サイズの画像データ記憶領域にスキャンライン順に配列する画像生成部とを用いて、元の画像データを生成することとなる(図4(f))。ここで選択プレーンの画像データからは、ノイズが除去されているので、これら各プレーンの画像データの合成結果は、図4(f)に示したように、ノイズが除かれたものとなる。
【0047】
なお、ここまでに説明した処理によっては、図4(f)に示したように、ノイズ除去後の部分が空白(デフォルトの画素値、例えば白画素)として残ってしまう。そこで図5(a)に示すように、絵柄画像プレーン生成部14が、絵柄画像プレーンの画像データを生成する際に、選択プレーンの画像データ上で黒色の画素値となっている部分に対応する、絵柄画像プレーンの画像データ上の画素の画素値を、それに隣接する画素値に基づく値に変更して設定する。例えば、隣接する画素値のいずれかの画素値に選択的に設定してもよいし、隣接する複数の画素値の平均画素値に設定してもよい。
【0048】
さらに、この処理は、図5(b)に示すように、ノイズ除去部17により、ノイズとして除去された画素の位置に対応する、絵柄画像プレーンの画像データ上の画素の画素値についてのみ変更を行うようにしてもよい。この場合は、ノイズ除去部17が、ノイズとして除去した画素の位置を特定する情報を出力する。
【0049】
このように絵柄画像プレーン生成部14が、絵柄画像プレーンの画像データのうち、空白となっている部分の画素値を、それに隣接する画素の画素値に基づいて設定することで、図4(d)に示した絵柄画像プレーンの画像データが、図5(a)の右側、又は図5(b)に示されるようなものとなり、図4(f)に対応する合成の結果は、図6に示すようなものとなる。
【0050】
またここまでに説明した例では、補正処理として孤立点となっているノイズを除去する場合を例としていたが、本実施の形態の画像処理装置における補正処理は、これに限られない。例えば、画像の傾きを補正する処理を行ってもよい。この場合も、選択プレーンの画像データに対してハフ変換などの広く知られた方法を適用して傾きを検出し、その傾き検出結果を用いて、線画色プレーンの画像データと、絵柄画像プレーンの画像データと、選択プレーンの画像データとをそれぞれ回転補正する。
【0051】
具体的に制御部1の処理としては、図7に示すように、画像入力部10と、予備補正部11と、選択プレーン抽出部12と、線画色プレーン生成部13と、絵柄画像プレーン生成部14と、傾き検出部31と、選択プレーン補正部32と、線画色プレーン補正部33と、絵柄画像プレーン補正部34と、線画色プレーン解像度変換部15と、絵柄画像プレーン解像度変換部16と、線画色プレーン圧縮部18と、絵柄画像プレーン圧縮部19と、選択プレーン圧縮部20と、ラッピング処理部21と、画像出力部22とを含む。傾き検出部31は、選択プレーン抽出部12が出力する選択プレーンの画像データに基づき、ハフ変換などを利用した方法で、補正パラメータとしての傾きの角度値θを演算する。選択プレーン補正部32は、傾き検出部31が出力する傾きの角度値θを参照し、選択プレーン抽出部12が出力する選択プレーンの画像データに対して、(−θ)だけ回転する処理を行って、選択プレーンの画像データを正立させる。線画色プレーン補正部33と絵柄画像プレーン補正部34と、も同様の処理により、線画色プレーンの画像データと、絵柄画像プレーンの画像データとを正立させる。なお、これらの回転処理においては、必要に応じて、回転処理後の各プレーンの横方向や縦方向の画素数を調整する。すなわち、回転処理の前後において、各プレーンの横方向や縦方向の画素数が等しくなるように調整しておく。
【0052】
他の各部については、既に説明したノイズ除去の補正を行う例と同様の処理を行うものであるので、詳しい説明を省略する。
【0053】
この場合にも、通常エッジ検出などの処理を行ってから適用する必要のあるハフ変換処理を、圧縮処理の過程で生成される選択プレーンに対して行うことで、圧縮処理の中間生成物である選択プレーンの画像データを有効に利用して、補正の処理効率を向上している。
【0054】
さらに、補正の処理の別の例として、ここまでに説明したノイズ除去と傾き補正のほか、向きの補正(縦横置きの調整)や、これらノイズ除去、傾き補正の組み合わせ等でも同様の処理を行うことができる。
【0055】
さらに、本発明の画像処理装置は、ここまでで説明した実施の形態に限られるものではない。ここまでの説明では、例えば画像データを送信する際に、圧縮処理の前に補正処理を行う例を示してきたが、送信側においては従来と同様に各プレーンに分割してから圧縮処理を行って送信しておき、受信側で、各プレーンの画像データを伸張して取り出してから、補正処理を行うようにしてもよい。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る画像処理装置の構成ブロック図である。
【図2】本発明の実施の形態に係る画像処理装置の機能ブロック図である。
【図3】孤立点の検出処理の例を表す説明図である。
【図4】ノイズ除去の処理の状態の例を表す説明図である。
【図5】ノイズ除去の処理の際に行われる絵柄画像プレーンの画素値の変更処理の例を表す説明図である。
【図6】ノイズ除去処理の結果の例を表す説明図である。
【図7】本発明の実施の形態に係る画像処理装置の他の例を表す機能ブロック図である。
【図8】画像データを各プレーンのデータに分離した状態例を表す説明図である。
【符号の説明】
1 制御部、2 記憶部、3 インタフェース部、10 画像入力部、11 予備補正部、12 選択プレーン抽出部、13 線画色プレーン生成部、14 絵柄画像プレーン生成部、15 線画色プレーン解像度変換部、16 絵柄画像プレーン解像度変換部、17 ノイズ除去部、18 線画色プレーン圧縮部、19 絵柄画像プレーン圧縮部、20 選択プレーン圧縮部、21 ラッピング処理部、22 画像出力部、31 傾き検出部、32 選択プレーン補正部、33線画色プレーン補正部、34 絵柄画像プレーン補正部。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing apparatus that performs a predetermined process on image data when transmitting the image data via a network such as a public line or a LAN.
[0002]
[Prior art]
In recent years, many office machines have been digitized, and digital data has been mutually communicated with a control device such as a personal computer, and processing using the digital data has been performed. For example, a digitized copying machine (digital copying machine) includes a scanner unit for reading a document, a printer unit for generating a copied document, and further includes a network card for transmitting and receiving digital data to and from a personal computer. (Scan to PC function) and an operation as a printer. Some digital copiers have a built-in modem and function as a facsimile.
[0003]
This digital copying machine transmits and receives digital data to and from another digital copying machine via a network. For example, image data read by one digital copying machine is transmitted to the other digital copying machine for printing. It is also possible to realize a so-called network copy function.
[0004]
Most office equipment represented by such digital copying machines exchange image data with each other or with a personal computer or the like. However, since image data is generally large in size, it is necessary to reduce the network load. The compressed image data is transmitted after being compressed on the transmission side, and the compressed image data is expanded on the reception side. The original image data (in the case of irreversible compression, the image data is close to the original image data, Here, it is referred to as original image data) and processed.
[0005]
In this compression processing, it is known that the compression efficiency can be further improved by performing compression processing using different compression methods on a line image portion such as a character portion and a photographic image portion.
[0006]
That is, with respect to the image data to be processed, so-called T / I separation for separating the image data into a line drawing portion and a photograph portion is performed, and the line drawing partial image data (character image plane) and the photograph partial image data (picture pattern) And image planes). Then, the line image partial image data and the photograph partial image data are subjected to compression processing using a compression method with a relatively high compression ratio for each of the partial image data.
[0007]
On the receiving side, each of the partial image data compressed by the different compression methods is received, and for each of the partial image data, decompression processing corresponding to the respective compression method is performed, and the line drawing partial image data and the photograph partial image data are converted. Then, these are combined to generate original image data.
[0008]
Further, for the line image partial image data, a line image color plane including the color information of each line image and a selection plane including the shape information of each line image may be generated, and compression may be performed on the respective lines using different compression methods. Good. Specifically, as shown in FIG. 8A, in the image data in which the characters “ABC” are represented in red and the characters “123” are represented in blue, the line drawing color plane of the line drawing partial image data is , A red rectangle including the character area of “ABC” and a blue rectangle including the character area of “123” (FIG. 8B), and the selection data includes the shape of the character “ABC”. And the shape of the character "123" are included as a black and white binary image (FIG. 8C). If pixels corresponding to black pixels in the partial image data of FIG. 8C are selectively extracted from the partial image data of FIG. 8B, the partial image data of FIG. (Line drawing partial image data) is to be reproduced.
[0009]
Here, the figure included in the line drawing color plane is only a rectangle, but may be another primitive (a basic figure such as a circle or another polygon).
[0010]
As described above, in the method in which the line drawing color plane, the selection plane, and the photograph partial image data (picture image plane) are separated and compressed, the resolution conversion processing and the compression processing suitable for the partial image included in each plane are performed. Since each of the above image processings can be applied, the compression ratio can be improved while suppressing the deterioration of the image quality.
[0011]
On the other hand, a document read by a scanner or the like is accompanied by image deterioration unique to optical reading. For example, the image data as a whole may be included due to noise as a so-called artifact (such as a group of dots isolated from a surrounding image, hereinafter referred to as an “isolated point”), or the original may be inclined with respect to the scanning direction of the scanner. In some cases, such as tilting, processing for noise removal or tilt correction is required. Further, there is a case where a process (erecting process) such as rotation by 90 degrees or the like is desired in view of the relationship between the portrait and landscape orientation of the document.
[0012]
2. Description of the Related Art Conventionally, various types of image data including color image data are subjected to processes such as noise removal, for example, based on G (green) pixel value data among RGB-expressed full-color image data. There is a method in which a point is detected, and when an isolated point is detected, each pixel value of RGB for the isolated point is replaced with a predetermined density level (Patent Document 1).
[0013]
[Patent Document 1]
JP 2002-325180 A
[0014]
[Problems to be solved by the invention]
However, the above-described conventional image processing method has a problem that a processing load is generally large when correction processing such as noise removal processing is performed on color image data.
[0015]
The present invention has been made in view of the above circumstances, and has as its object to provide an image processing apparatus capable of reducing the processing load of correction processing such as noise removal for image data to be subjected to compression processing.
[0016]
[Means for Solving the Problems]
The present invention for solving the problems of the above conventional example is an image processing apparatus, comprising: means for separating character and line image data and picture image data from image data to be processed; Means for separating image data into character line drawing color image data including color information included in the character line drawing image data, and selected image data representing a shape corresponding to the character line drawing portion, based on the selected image data, Means for detecting a correction parameter related to the correction, based on the detected correction parameter, means for performing a predetermined correction process for at least one of the character line image color image data, the selected image data, and the picture image data, Means for individually compressing the character line image color image data, the selected image data, and the pattern image data after the correction process. That.
[0017]
As described above, according to the present invention, the processing load of the correction processing such as noise removal can be reduced by performing the correction processing based on the selected plane.
[0018]
The present invention for solving the problems of the above-mentioned conventional example is an image processing apparatus, which separates character and line image data and pattern image data from image data to be processed, From the data received from the device that performs compression processing by separating the character line drawing color image data including the color information included in the character line drawing image data and the selected image data representing the shape corresponding to the character line drawing portion, Means for acquiring individual compression processing results of the character line image color image data, selected image data, and picture image data; means for detecting a correction parameter related to correction based on the obtained selected image data; A predetermined correction process is performed on at least one of the character line image color image data, the selected image data, and the pattern image data based on the corrected correction parameters. Characterized in that it comprises a stage, a.
[0019]
Here, a pixel value changing means for changing the pixel value of at least a part of the pixel value on the picture image data corresponding to the pixel set as corresponding to the character / line image portion on the selected image data May be further included. In addition, the predetermined correction process is a process of removing a noise pixel that is an isolated point from the selected image data, and the pixel value changing unit is configured to remove the picture image data corresponding to the removed pixel. The upper pixel value may be changed.
[0020]
Further, the pixel value changing means may change the pixel value to be changed based on the pixel value of a pixel adjacent to the pixel to be changed.
[0021]
The present invention for solving the problems of the conventional example described above separates character / line image data and pattern image data from image data to be processed, and converts the character / line image data into the character / line image data. Is separated into character / line image color image data including the color information included in the image data and selected image data representing a shape corresponding to the character / line image portion, and the character / line image color image data, the selected image data, and the pattern image data are individually separated. An image processing method using an image processing device for performing a compression process or an expansion process, wherein a predetermined correction is performed on at least one of the character line image color image data, the selected image data, and the pattern image data based on the selected image data. Processing is performed.
[0022]
Further, an image processing program according to another aspect of the present invention separates character / line image data and pattern image data from image data to be processed, and converts the character / line image data into the character / line image data. Is separated into character / line image color image data including the color information included in the image data and selected image data representing a shape corresponding to the character / line image portion, and the character / line image color image data, the selected image data, and the pattern image data are individually separated. An image processing apparatus for performing a compression process or a decompression process performs a predetermined correction process on at least one of the character / line image color image data, the selected image data, and the picture image data based on the selected image data. .
[0023]
BEST MODE FOR CARRYING OUT THE INVENTION
An embodiment of the present invention will be described with reference to the drawings. As shown in FIG. 1, the image processing apparatus according to the embodiment of the present invention includes a
[0024]
The
[0025]
The
[0026]
The
[0027]
Specifically, the image processing apparatus according to the present embodiment is built in a digital copying machine, performs predetermined image processing on image data input from a control device inside the digital copying machine, and performs image processing on the control device side. Output the subsequent image data. In the following description, an example in which a process of removing noise at an isolated point is performed as a correction process will be described.
[0028]
Here, the specific contents of the processing of the
[0029]
The
[0030]
The selection plane extraction unit 12 extracts an image portion (character and line drawing image data) such as a character or a line drawing from the image data after the preliminary correction, binarizes it, and generates the image data of the selected plane. That is, the image data of the selected plane includes image data representing the shape of a portion such as a character or a line drawing. Here, as a method for the selected plane extracting unit 12 to extract a portion such as a line drawing from image data, for example, a method based on edge detection or the like can be used. Here, the noise at the isolated point has a pixel value independent of the surrounding pixels as in the case of a character or the like, and is included in the image data of the selected plane as a line image or the like. In the present embodiment, the selection plane extraction unit 12 extracts an image portion such as a character or a line drawing as a binary black and white image.
[0031]
The line drawing color
[0032]
The picture image
[0033]
The image data of each plane generated by the selected plane extracting unit 12, the line drawing color
[0034]
The line drawing color
[0035]
The picture image
[0036]
The line drawing color plane
[0037]
The
[0038]
Each pixel of the image data of the selected plane is sequentially selected in the raster scan direction as a pixel of interest, and a window matrix of 3 × 3 pixels as shown in FIG. As shown in FIG. 3B, when only the target pixel is black and all the other pixels are white pixels, the matrix determines that the target pixel is an isolated point and replaces the target pixel with a white pixel, as shown in FIG. . In this example, the position of the target pixel and the pattern of the pixels in the 3 × 3 window matrix correspond to the correction parameter, and the process of replacing the pixel determined as an isolated point corresponds to the correction process.
[0039]
By this processing, when noise occurs at the lower right of the character "F" as shown in FIG. 4A, this noise is processed as an isolated point and removed. Although a 3 × 3 pixel window matrix is used here to detect a noise portion, the window size is not limited to this. For example, a 5 × 5 window matrix may be used. In this case, an image having a size smaller than 3 × 3 pixels around the target pixel may be determined as a noise image. Further, the user may specify the size of the window matrix for this detection.
[0040]
The line drawing color
[0041]
The
[0042]
When a plurality of image data are to be processed, the
[0043]
As a third compression method for the selected plane, a compression method such as MH (Modified Huffman), MR (Modified Read), or MMR (Modified Modified Read), which is lossless compression for 1-bit images, may be used. In addition, since the first and second compression methods for the line drawing color plane and the picture image plane are color data, multi-valued data processing can be easily realized using a general-purpose image processing chip. JPEG method or the like, which is lossy compression for images, may be applied. However, these are merely examples, and, for example, any of the first and second compression schemes may be any compression scheme applicable to color image data.
[0044]
The image processing apparatus according to the present embodiment is configured as described above, and operates as follows. As shown in FIG. 4A, when the processing target image data input from the
[0045]
As described above, in the present embodiment, the separation of the noise image portion included in the color image is performed together with the separation process of the line drawing portion for the compression process, and the black and white binary noise image after the separation is removed. Thus, the efficiency of the entire processing is improved.
[0046]
Incidentally, when synthesizing the image data of each of these planes, a selecting unit for selecting the pixel values on the selected plane in the raster scan order, and if the selected pixel value is “white”, a picture corresponding to the selected pixel A reproducing unit that outputs a pixel value on the image data of the image plane and outputs a pixel value on the image data of the line drawing color plane corresponding to the selected pixel if the selected pixel value is “black”; The original image data is generated using an image generation unit that arranges the pixel values sequentially output by the unit in the scan line order in an image data storage area of the same size as the image data of the selected plane (FIG. f)). Here, since noise has been removed from the image data of the selected plane, the result of synthesizing the image data of each of these planes is such that noise has been removed as shown in FIG.
[0047]
Note that, depending on the processing described so far, as shown in FIG. 4F, a portion after noise removal remains as a blank (default pixel value, for example, a white pixel). Therefore, as shown in FIG. 5A, when the picture image
[0048]
Further, in this process, as shown in FIG. 5B, only the pixel value of the pixel on the image data of the picture image plane corresponding to the position of the pixel removed as noise by the
[0049]
As described above, the picture image
[0050]
Further, in the example described so far, the case where noise that is an isolated point is removed as the correction processing is described as an example. However, the correction processing in the image processing apparatus according to the present embodiment is not limited to this. For example, a process of correcting the inclination of the image may be performed. Also in this case, the inclination is detected by applying a widely known method such as Hough transform to the image data of the selected plane, and the image data of the line drawing color plane and the image data of the pattern image plane are detected using the inclination detection result. The rotation of each of the image data and the image data of the selected plane is corrected.
[0051]
Specifically, as shown in FIG. 7, the processing of the
[0052]
The other units perform the same processing as in the example of performing the noise removal correction described above, and a detailed description thereof will be omitted.
[0053]
In this case as well, the Hough transform process, which needs to be applied after performing processes such as normal edge detection, is performed on the selected plane generated in the process of the compression process, thereby being an intermediate product of the compression process. The processing efficiency of correction is improved by effectively utilizing the image data of the selected plane.
[0054]
Further, as another example of the correction processing, in addition to the noise removal and the inclination correction described above, the same processing is performed in the direction correction (adjustment of the vertical and horizontal arrangement) and the combination of the noise removal and the inclination correction. be able to.
[0055]
Further, the image processing apparatus of the present invention is not limited to the embodiments described above. In the description so far, for example, when image data is transmitted, an example in which correction processing is performed before compression processing has been described. However, on the transmission side, compression processing is performed after dividing into planes as in the conventional case. The image data of each plane may be expanded and extracted on the receiving side, and then the correction processing may be performed.
[Brief description of the drawings]
FIG. 1 is a configuration block diagram of an image processing apparatus according to an embodiment of the present invention.
FIG. 2 is a functional block diagram of the image processing apparatus according to the embodiment of the present invention.
FIG. 3 is an explanatory diagram illustrating an example of an isolated point detection process.
FIG. 4 is an explanatory diagram illustrating an example of a state of noise removal processing.
FIG. 5 is an explanatory diagram illustrating an example of a process of changing a pixel value of a picture image plane performed during a noise removal process.
FIG. 6 is an explanatory diagram illustrating an example of a result of a noise removal process.
FIG. 7 is a functional block diagram illustrating another example of the image processing apparatus according to the embodiment of the present invention.
FIG. 8 is an explanatory diagram illustrating an example of a state in which image data is separated into data of each plane.
[Explanation of symbols]
1 control unit, 2 storage unit, 3 interface unit, 10 image input unit, 11 preliminary correction unit, 12 selection plane extraction unit, 13 line drawing color plane generation unit, 14 picture image plane generation unit, 15 line drawing color plane resolution conversion unit, 16 picture image plane resolution conversion section, 17 noise removal section, 18 line drawing color plane compression section, 19 picture image plane compression section, 20 selection plane compression section, 21 wrapping processing section, 22 image output section, 31 inclination detection section, 32 selection Plane correction unit, 33 line drawing color plane correction unit, 34 picture image plane correction unit.
Claims (7)
前記文字線画画像データを、前記文字線画画像データに含まれる色情報を含む文字線画色画像データと、文字線画部分に相当する形状を表す選択画像データとに分離する手段と、
前記選択画像データに基づいて、補正に係る補正パラメータを検出する手段と、
前記検出された補正パラメータに基づいて、前記文字線画色画像データと選択画像データと絵柄画像データの少なくとも一つについて、所定の補正処理を行う手段と、
前記補正処理後に、文字線画色画像データと選択画像データと絵柄画像データとをそれぞれ個別に圧縮処理する手段と、
を含むことを特徴とする画像処理装置。Means for separating character and line image data and pattern image data from the image data to be processed;
Means for separating the character / line image data into character / line image color image data including color information included in the character / line image data, and selected image data representing a shape corresponding to the character / line image portion;
Means for detecting a correction parameter for correction based on the selected image data,
Means for performing a predetermined correction process on at least one of the character line image color image data, the selected image data, and the pattern image data based on the detected correction parameter;
After the correction processing, means for individually compressing the character line image color image data, the selected image data, and the pattern image data,
An image processing apparatus comprising:
前記文字線画色画像データと選択画像データと絵柄画像データとのそれぞれ個別の圧縮処理結果を取得する手段と、
前記取得した選択画像データに基づいて、補正に係る補正パラメータを検出する手段と、
前記検出された補正パラメータに基づいて、前記文字線画色画像データと選択画像データと絵柄画像データの少なくとも一つについて、所定の補正処理を行う手段と、
を含むことを特徴とする画像処理装置。From the image data to be processed, character / line image data and picture image data are separated, and the character / line image data is converted to character / line image color image data including color information included in the character / line image data; From the data received from the device that separates and compresses the selected image data representing the shape corresponding to the line drawing portion,
Means for acquiring individual compression processing results of the character line image color image data, the selected image data, and the pattern image data,
Means for detecting a correction parameter for correction based on the acquired selected image data,
Means for performing a predetermined correction process on at least one of the character line image color image data, the selected image data, and the pattern image data based on the detected correction parameter;
An image processing apparatus comprising:
前記選択画像データ上で、文字線画部分に相当するとして設定される画素に対応する、前記絵柄画像データ上の画素値の少なくとも一部について、当該画素値を変更する画素値変更手段をさらに含む、ことを特徴とする画像処理装置。The image processing apparatus according to claim 1, wherein:
On the selected image data, for at least a part of the pixel values on the picture image data corresponding to the pixels set as corresponding to the character and line drawing portions, further including a pixel value changing means for changing the pixel value. An image processing apparatus comprising:
前記所定の補正処理は、孤立点となっているノイズ画素を、前記選択画像データから除去する処理であり、
前記画素値変更手段は、当該除去された画素に対応する、前記絵柄画像データ上の画素値を変更することを特徴とする画像処理装置。The image processing device according to claim 3,
The predetermined correction process is a process of removing noise pixels that are isolated points from the selected image data,
The image processing device, wherein the pixel value changing means changes a pixel value on the picture image data corresponding to the removed pixel.
前記画素値変更手段は、画素値の変更の対象となる画素に隣接する画素の画素値に基づいて、前記変更の対象となる画素値を変更することを特徴とする画像処理装置。The image processing device according to claim 3, wherein:
The image processing apparatus according to claim 1, wherein the pixel value changing unit changes the pixel value to be changed based on a pixel value of a pixel adjacent to the pixel to be changed.
前記選択画像データに基づいて、前記文字線画色画像データと選択画像データと絵柄画像データの少なくとも一つについて、所定の補正処理を行う
ことを特徴とする画像処理方法。From the image data to be processed, character / line image data and picture image data are separated, and the character / line image data is converted to character / line image color image data including color information included in the character / line image data; Separated into selected image data representing a shape corresponding to a line drawing portion, using an image processing apparatus that separately provides the character line drawing color image data, the selected image data, and the pattern image data to compression processing or decompression processing,
An image processing method, comprising: performing a predetermined correction process on at least one of the character / line drawing color image data, the selected image data, and the picture image data based on the selected image data.
前記選択画像データに基づいて、前記文字線画色画像データと選択画像データと絵柄画像データの少なくとも一つについて、所定の補正処理を行わせる
ことを特徴とする画像処理プログラム。From the image data to be processed, character / line image data and picture image data are separated, and the character / line image data is converted to character / line image color image data including color information included in the character / line image data; Separated into selected image data representing a shape corresponding to a line drawing portion, the image processing device for subjecting the character line drawing color image data, the selected image data, and the pattern image data to compression processing or decompression processing individually,
An image processing program for causing a predetermined correction process to be performed on at least one of the character line drawing color image data, the selected image data, and the picture image data based on the selected image data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003081286A JP4089481B2 (en) | 2003-03-24 | 2003-03-24 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003081286A JP4089481B2 (en) | 2003-03-24 | 2003-03-24 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004289671A true JP2004289671A (en) | 2004-10-14 |
JP4089481B2 JP4089481B2 (en) | 2008-05-28 |
Family
ID=33294899
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003081286A Expired - Fee Related JP4089481B2 (en) | 2003-03-24 | 2003-03-24 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4089481B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007063771A1 (en) * | 2005-11-30 | 2007-06-07 | Nec Corporation | Image processing device, display device, image processing method, and program |
-
2003
- 2003-03-24 JP JP2003081286A patent/JP4089481B2/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007063771A1 (en) * | 2005-11-30 | 2007-06-07 | Nec Corporation | Image processing device, display device, image processing method, and program |
JP4816970B2 (en) * | 2005-11-30 | 2011-11-16 | 日本電気株式会社 | Image processing apparatus, display apparatus, image processing method, and program |
US8189941B2 (en) | 2005-11-30 | 2012-05-29 | Nec Corporation | Image processing device, display device, image processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP4089481B2 (en) | 2008-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2005045404A (en) | Image processor and method, and program | |
JP2006129471A (en) | Image processing method and image processing apparatus | |
JP2011193394A (en) | Image processing apparatus, image processing method, and program | |
JP5225201B2 (en) | Image processing device | |
JP3959610B2 (en) | Image processing apparatus and program | |
JP2005269379A (en) | System, method and program for image processing | |
JP2009212692A (en) | Image processor and image forming apparatus | |
JP3960210B2 (en) | Image processing device | |
JP4089481B2 (en) | Image processing device | |
JP3815214B2 (en) | Image processing apparatus and storage medium storing screen processing program | |
JP2001186356A (en) | Picture compression device, picture compresion method and computer readable storage medium | |
JP2010161745A (en) | Image processor, image reader, image transmission device, image formation device, image processing method, program, and recording medium of the same | |
JP2001309183A (en) | Image processing unit and method | |
JP5259861B2 (en) | Image processing apparatus, image forming apparatus including the same, program, and recording medium | |
JP4031442B2 (en) | Image processing apparatus and image forming apparatus having the same | |
JP4926128B2 (en) | Image processing apparatus, image reading apparatus, image forming apparatus, computer program, recording medium, and image processing method | |
JP4123071B2 (en) | Image processing device | |
Triantaphillidou et al. | Digital image file formats | |
JP3882657B2 (en) | Image processing apparatus, image processing method, image processing program, and computer-readable recording medium on which image processing program is recorded | |
JP2000227848A (en) | Image processor | |
JP3736107B2 (en) | Image processing device | |
JP2004242102A (en) | Image processing apparatus | |
JP2001211318A (en) | Device and method for image processing, storage medium, and image processing system | |
JP2003046737A (en) | Image processor and imaging apparatus provided therewith | |
JP2005051764A (en) | Image processing apparatus, program, computer-readable storage medium, and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070724 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070918 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071112 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080218 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110307 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120307 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130307 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130307 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140307 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |