JP2004023174A - 画像処理装置、画像形成装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

画像処理装置、画像形成装置、画像処理方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP2004023174A
JP2004023174A JP2002171802A JP2002171802A JP2004023174A JP 2004023174 A JP2004023174 A JP 2004023174A JP 2002171802 A JP2002171802 A JP 2002171802A JP 2002171802 A JP2002171802 A JP 2002171802A JP 2004023174 A JP2004023174 A JP 2004023174A
Authority
JP
Japan
Prior art keywords
determination
document type
image processing
image data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002171802A
Other languages
English (en)
Other versions
JP4080252B2 (ja
Inventor
Masanori Minami
南 雅範
Makio Goto
後藤 牧生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2002171802A priority Critical patent/JP4080252B2/ja
Publication of JP2004023174A publication Critical patent/JP2004023174A/ja
Application granted granted Critical
Publication of JP4080252B2 publication Critical patent/JP4080252B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Abstract

【課題】デジタルカラー複写機1などに搭載され、原稿種別判定部13で画像データの原稿種別を判定し、その判定結果に対応した画像処理を施すようにしたカラー画像処理装置3において、原稿種別を適切に判定する。
【解決手段】画像データから濃度ヒストグラムなどの特徴量のデータを抽出し、そのデータから直接に原稿種別を判定するのではなく、一旦判定式に代入し、その演算結果から、またはルックアップテーブルを参照し、その参照結果から判定する。したがって、予想される特徴量の範囲で、種々の特徴量の組合わせに対応した適切な判定結果から、前記判定式の構造や係数またはルックアップテーブルを適宜設定しておくことで、求められた特徴量を前記判定式に代入するだけで、またはルックアップテーブルを参照するだけで、原稿種別を適切に判定することができる。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、画像データが、たとえば文字原稿のものであるのかまたは写真原稿のものであるのかなどの原稿種別を判定し、その判定結果に対応した画像処理を行う画像処理装置、画像形成装置、画像処理方法、プログラムおよび記録媒体に関する。
【0002】
【従来の技術】
デジタル複写機などの画像処理を行う装置において、読取られる原稿には、文字、線画、写真およびこれらを組合わせたものなど、種々の種別がある。これらの画像の種別にはそれぞれに特徴を有しており、その特徴に適合した画像処理を施すことによって、原稿画像をより良好に再現することができる。
【0003】
このため、従来では、画像形成装置にそれぞれの原稿種別に適した画像処理を行う画像処理モードを設定しておき、ユーザがセットした原稿に適切と思われる画像処理モードを選択して、複写を行う方法が採られていた。しかしながら、そのようなモード選択作業は煩わしく、また不適切なモードを選択してしまうと、再現画像が著しく劣化し、無駄な複写を行うことになる。さらにまた、画像処理モードの選択機能があること自体を、ユーザが知らないこともある。
【0004】
そこで、このような不具合を解消するために、特開平8−251406号公報には、画像形成装置が原稿の種別を自動的に判定し、それぞれに適した画像処理を選択して実行する構成が提案されている。この先行技術における原稿種別判定方法を説明すると、以下のとおりである。
【0005】
先ず、入力画像を微小領域に分割して、分割した各ブロック毎にエッジ判定および網点判定を行い、線画部・中間調画部・連続調画部・地肌部に分類する。次に、前記線画部・中間調画部・連続調画部の連続性および頻度をカウントし、それらが閾値を超えるか否かによって、頁画像種の判定を行う。ここで、連続性とは、同じ種別として分類されたブロックの主走査方向および副走査方向の連続数であり、頻度とは、前記同じ種別として分類されたブロックの数であり、共に原稿種別を判定するための特徴量(パラメータ)である。
【0006】
こうして、入力画像は、判定によって、▲1▼線画、▲2▼中間調画、▲3▼連続調画、▲4▼線画と中間調画、▲5▼線画と連続調画、▲6▼中間調画と連続調画、▲7▼線画と中間調画と連続調画に分類され、それぞれに対応した画像処理が選択され、最適なフィルタ・色補正・セレクタおよび階調処理が行われる。
【0007】
【発明が解決しようとする課題】
しかしながら、上述のような従来技術では、各ブロックのエッジ判定および網点判定の際に、画素の濃度が、単純に閾値を超えているか否かによって判定を行っている。また、1頁全体での頁画像種の判定も、線画部・中間調画部・連続調画部・地肌部の連続性および頻度が、閾値以上となるか否かによって行われている。このように、得られた特徴量を個別に閾値と比べる判定方法では、閾値付近の値の場合、僅かな特徴量の違いで異なる判定結果になるので、期待する判定結果が得られなかったり、またそのようなことにならないようにするために、閾値の設定に手間がかかったりするという問題がある。
【0008】
本発明の目的は、原稿種別を適切に判定することができる画像処理装置、画像形成装置、画像処理方法、プログラムおよび記録媒体を提供することである。
【0009】
【課題を解決するための手段】
本発明の画像処理装置は、原稿種別判定手段で画像データの原稿種別を判定し、その判定結果に対応した画像処理を前記画像データに施して出力画像データを得るようにした画像処理装置において、前記原稿種別判定手段は、前記原稿種別を判定するための特徴量を前記画像データから抽出する特徴量抽出部と、前記特徴量抽出部で抽出された特徴量を、予め定める判定式に代入して、その演算結果から原稿種別の判定を行う判定部とを含むことを特徴とする。
【0010】
上記の構成によれば、特徴量抽出部が、濃度データなどの原稿種別を判定するのに使用する特徴量(パラメータ)を求めても、それから直接に判定するのではなく、判定部において、一旦判定式に代入し、その演算結果から原稿種別の判定を行う。
【0011】
したがって、予想される特徴量の範囲で、種々の特徴量の組合わせに対応した適切な判定結果から、前記判定式の構造や係数を適宜設定しておくことで、求められた特徴量を前記判定式に代入するだけで、原稿種別を適切に判定することができる。これによって、最適な画像処理を行うことができ、良好な出力画像を得ることができる。また、前記判定式の構造や係数の工夫などによって、精細な判定が可能になる。さらにまた、判定のために記憶しておくことは、前記判定式や係数などであり、少ないメモリ容量で対応することができる。
【0012】
また、本発明の画像処理装置は、原稿種別判定手段で画像データの原稿種別を判定し、その判定結果に対応した画像処理を前記画像データに施して出力画像データを得るようにした画像処理装置において、前記原稿種別判定手段は、前記原稿種別を判定するための特徴量を前記画像データから抽出する特徴量抽出部と、前記特徴量抽出部で抽出された特徴量から、ルックアップテーブルを参照して、対応する原稿種別の判定結果を読出す判定部とを含むことを特徴とする。
【0013】
上記の構成によれば、特徴量抽出部が原稿種別を判定するのに使用する特徴量を求めても、それから直接に判定するのではなく、判定部において、ルックアップテーブルを参照し、その参照結果から原稿種別の判定を行う。
【0014】
したがって、予想される特徴量の範囲で、種々の特徴量の組合わせに対応した適切な判定結果から、前記ルックアップテーブルを適宜設定しておくことで、求められた特徴量から前記ルックアップテーブルを参照するだけで、原稿種別を適切に判定することができる。これによって、最適な画像処理を行うことができ、良好な出力画像を得ることができる。また、前記ルックアップテーブルを用いることによって、複雑な判定を高速で行うことができる。
【0015】
さらにまた、本発明の画像処理装置では、前記判定部は、前記特徴量抽出部で抽出された複数の特徴量を判定に適した形態に変換した後、該判定に利用すること特徴とする。
【0016】
上記の構成によれば、前記特徴量抽出部で抽出された複数の特徴量に対して、たとえば比率や差分を求め、さらに文字度や写真度などの判定に適した形態に変換した後、判定に利用するので、前記判定式を簡略化することができる。
【0017】
また、本発明の画像形成装置は、前記の画像処理装置を備えることを特徴とする。
【0018】
上記の構成によれば、複写機やプリンタなどの画像処理装置において、原稿種別の判定精度が向上し、最適な画像処理が行われるので、品質の良い画像を出力することができるようになる。
【0019】
さらにまた、本発明の画像処理方法は、画像データの原稿種別を判定し、その判定結果に対応した画像処理を前記画像データに施して出力画像データを得るようにした画像処理方法において、前記原稿種別の判定を、前記原稿種別を判定するための特徴量を前記画像データから抽出するステップと、前記特徴量の抽出ステップで抽出された特徴量を、予め定める判定式に代入して、その演算結果から原稿種別の判定を行うステップとを含んで行うことを特徴とする。
【0020】
上記の構成によれば、特徴量の抽出ステップで原稿種別を判定するのに使用する特徴量を求めても、それから直接に判定するのではなく、判定ステップにおいて、一旦判定式に代入し、その演算結果から原稿種別の判定を行う。
【0021】
したがって、予想される特徴量の範囲で、種々の特徴量の組合わせに対応した適切な判定結果から、前記判定式の構造や係数を適宜設定しておくことで、求められた特徴量を前記判定式に代入するだけで、原稿種別を適切に判定することができる。これによって、最適な画像処理を行うことができ、良好な出力画像を得ることができる。また、前記判定式の構造や係数の工夫などによって、精細な判定が可能になる。さらにまた、判定のために記憶しておくことは、前記判定式や係数などであり、少ないメモリ容量で対応することができる。
【0022】
また、本発明の画像処理方法は、画像データの原稿種別を判定し、その判定結果に対応した画像処理を前記画像データに施して出力画像データを得るようにした画像処理方法において、前記原稿種別の判定を、前記原稿種別を判定するための特徴量を前記画像データから抽出するステップと、前記特徴量の抽出ステップで抽出された特徴量から、ルックアップテーブルを参照して、対応する原稿種別の判定結果を読出すステップとを含んで行うことを特徴とする。
【0023】
上記の構成によれば、特徴量の抽出ステップで原稿種別を判定するのに使用する特徴量を求めても、それから直接に判定するのではなく、判定ステップにおいて、ルックアップテーブルを参照し、その参照結果から原稿種別の判定を行う。
【0024】
したがって、予想される特徴量の範囲で、種々の特徴量の組合わせに対応した適切な判定結果から、前記ルックアップテーブルを適宜設定しておくことで、求められた特徴量から前記ルックアップテーブルを参照するだけで、原稿種別を適切に判定することができる。これによって、最適な画像処理を行うことができ、良好な出力画像を得ることができる。また、前記ルックアップテーブルを用いることによって、複雑な判定を高速で行うことができる。
【0025】
さらにまた、本発明のプログラムは、前記の画像処理方法をコンピュータに実行させることを特徴とする。
【0026】
上記の構成によれば、前記判定式やルックアップテーブルを用いて原稿種別の判定を行うという画像処理方法のプログラムをコンピュータに読取らせ、実行させることができるので、この画像処理方法を汎用的なものとすることができる。
【0027】
また、本発明の記録媒体は、前記のプログラムをコンピュータが読取り可能に格納したことを特徴とする。
【0028】
上記の構成によれば、前記判定式やルックアップテーブルを用いて原稿種別の判定を行うという画像処理方法のプログラムを、コンピュータに容易に読込ませることができる。
【0029】
【発明の実施の形態】
本発明の実施の一形態について図1〜図8に基づいて説明すれば、以下のとおりである。
【0030】
図1は、本発明の実施の一形態のデジタルカラー複写機1の電気的構成を示すブロック図である。この複写機1は、大略的に、スキャナなどによって構成され、原稿画像を読取るカラー画像入力装置2と、そのカラー画像入力装置2で読取られたデータから、後述するようにして原稿画像の種別を判定し、その判定結果に応じた画像処理を施す本発明に係るカラー画像処理装置3と、前記カラー画像処理装置3で画像処理が施されたデータを、電子写真プロセスを用いて用紙に記録するカラー画像出力装置4とを備えて構成される。
【0031】
前記カラー画像入力装置2は、たとえば図示しないCCD(Charge Coupled Device )を備えたスキャナ部によって構成され、原稿からの反射光像を前記CCDにて読取って、RGB(R:赤・G:緑・B:青)の各色成分に分解し、その各色成分のアナログ信号をカラー画像処理装置3へ出力する。
【0032】
前記カラー画像処理装置3は、A/D(アナログ/デジタル)変換部11と、シェーディング補正部12と、原稿種別判定部13と、入力階調補正部14と、領域分離処理部15と、色補正部16と、黒生成下色除去部17と、空間フィルタ処理部18と、出力階調補正部19と、階調再現処理部20とを備えて構成されている。そして、前記カラー画像入力装置2で読取られたRBGのアナログ信号は、該カラー画像処理装置3内の上記各部11〜20を順に通過し、CMYKのデジタルカラー信号として、前記カラー画像出力装置4へ出力される。
【0033】
前記A/D変換部11は、前記RGBのアナログ信号をデジタル信号に変換する。前記シェーディング補正部12は、前記A/D変換部11からのデジタルのRGB信号に対して、前記カラー画像入力装置2の照明系、結像系、撮像系などで生じる各種の歪みを取除く処理を施す。
【0034】
前記原稿種別判定部(原稿種別判定手段)13は、前記シェーディング補正部12にて各種の歪みが取除かれたRGB信号を、濃度信号などのカラー画像処理装置3に採用されている画像処理システムにとって扱い易い信号に変換し、さらに補色反転して、CMY(C:シアン・M:マゼンタ・Y:イエロー)信号とする。また、入力された原稿画像の原稿種別を、文字から成る文字原稿、写真から成る写真原稿(印刷写真・印画紙写真)、またはそれらが混在する文字/写真原稿に分類する。分類結果を示す原稿種別判定信号は、後段の入力階調補正部14、領域分離処理部15、色補正部16、黒生成下色除去部17、空間フィルタ処理部18および階調再現処理部20に与えられる。本発明に係るこの原稿種別判定部13の詳細な構成は、後述する。
【0035】
前記入力階調補正部14は、CMY信号のカラーバランスを整えるとともに、適切な下地濃度の除去やコントラスト調整などの画質調整処理を行う。前記領域分離処理部15は、CMY信号から、入力画像中の各画素を文字領域、網点領域、写真領域の何れかに分離するものである。この領域分離処理部15は、分離結果に基づいて、画素がどの領域に属しているかを示す領域識別信号を、後段の色補正部16、黒生成下色除去部17、空間フィルタ処理部18および階調再現処理部20に与えるとともに、入力階調補正部よって出力された入力信号を、そのまま後段の色補正部16へ出力する。前記色補正部16は、色を忠実に再現するために、不要吸収成分を含むCMY色材の分光特性に基づいた色濁りを取除く処理を行う。
【0036】
前記黒生成下色除去部17は、色補正後のCMYの3色信号から黒(K)信号を生成する黒生成、元のCMY信号から黒生成で得たK信号を差引いて新たなCMY信号を生成する処理を行うものであって、CMYの3色信号はCMYKの4色信号に変換される。前記黒生成処理としては、一般的にスケルトンブラックによって黒生成を行なう方法が用いられる。この方法では、スケルトンカーブの入出力特性をy=f(x)、入力されるデータをC,M,Y,出力されるデータをC’,M’,Y’,K’、UCR(Under Color Removal )率をα(0<α<1)とすると、黒生成下色除去処理は、以下の式で表わされる。
【0037】
K’=f{min(C,M,Y)}
C’=C−αK’
M’=M−αK’
Y’=Y−αK’
前記空間フィルタ処理部18は、前記黒生成下色除去部17から入力されたCMYK信号の画像データに対して、前記領域識別信号を基に、デジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正することによって、出力画像のぼやけや粒状性劣化を防ぐように処理するものである。また、前記階調再現処理部20も、空間フィルタ処理部18と同様に、CMYK信号の画像データに対して、領域識別信号を基に所定の処理を施すものである。
【0038】
たとえば、領域分離処理部15で文字に分離された領域は、特に黒文字あるいは色文字の再現性を高めるために、空間フィルタ処理部18での空間フィルタ処理における鮮鋭強調処理で高域周波数の強調量が大きくされる。同時に、階調再現処理部20においては、前記高域周波数の再現に適した高解像度のスクリーンでの二値化または多値化処理が選択される。
【0039】
また、領域分離処理部15にて網点に分離された領域に関しては、空間フィルタ処理部18において、入力網点成分を除去するためのローパス・フィルタ処理が施される。そして、出力階調補正部19では、濃度信号などの信号をカラー画像出力装置4の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部20で、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理(中間調生成)が施される。領域分離処理部15にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理が行われる。
【0040】
上述のような各部11〜20の動作は、たとえばCPU(Central ProcessingUnit )などの図示しない制御手段によって制御される。また、上述した各処理が施された画像データは、一旦図示しない記憶手段に記憶され、所定のタイミングで読出されて、カラー画像出力装置4に入力される。
【0041】
前記カラー画像出力装置4は、画像データを印字媒体(例えば紙等)上に出力するものであり、前述のような電子写真方式に限らず、インクジェットなどの他の方式を用いたものでもよい。
【0042】
図2は、前記原稿種別判定部13の一構成例を示すブロック図である。この原稿種別判定部13は、信号変換部21と、ヒストグラム作成部22と、第1最大度数濃度区分抽出部23と、第2最大度数濃度区分抽出部24と、認識部25と、記憶部26と、判定部27とを備えて構成される。
【0043】
前記信号変換部21は、前記シェーディング補正部12からのRGBの反射率信号を濃度信号に変換し、さらに補色反転して、CMY信号に変換する。前記ヒストグラム作成部22は、入力された画像における全画素から低濃度の画素を除いた画素を、一定の範囲の濃度区分に分類し、各濃度区分の使用頻度を表す度数を表示する濃度ヒストグラム(画素濃度の頻度分布)を作成する。この濃度ヒストグラムの一例を、図3および図4に示す。
【0044】
前記第1最大度数濃度区分抽出部23は、前記濃度ヒストグラムから、最大度数の濃度区分、すなわち1番頻度の高い画素濃度を選択し、その度数を第1最大度数値P1として抽出する。また、全画素数から低濃度部LOを除いた総画素数P0に対する前記第1最大度数値P1の比率、P1/P0を求める。
【0045】
同様に、前記第2最大度数濃度区分抽出部24は、前記濃度ヒストグラムにおいて、前記第1最大度数値P1の濃度区分およびこの濃度区分に隣接する濃度区分以外で、最大度数の濃度区分を選択し、その度数を第2最大度数値P2として抽出する。また、第1最大度数値P1と第2最大度数値P2との差を求め、低濃度部LOを除いた総画素数P0に対する比率の逆数、すなわちP0/(P1−P2)を求める。
【0046】
ここで、前記図3を参照して、この図3は、文字原稿の濃度ヒストグラムを表している。この文字原稿の特徴としては、下地部分が多く、1つの濃度に偏っていることが挙げられる。よって、ヒストグラムは、下地部分である低濃度部L0を除くと、或る濃度区分の度数が高くなる。つまり、総画素数P0に対して第1最大度数値P1の割合が高くなる。したがって、前記総画素数P0に対する前記第1最大度数値P1の比率P1/P0が大きくなると、文字原稿の可能性が高くなる。
【0047】
これに対して、前記図4を参照して、この図4は、写真原稿の濃度ヒストグラムを表している。この写真原稿の特徴としては、濃度に偏りがないことが挙げられる。つまり、前記第1最大度数値P1と第2最大度数値P2との差が小さくなる。したがって、前記第1最大度数値P1と第2最大度数値P2との差の総画素数P0に対する比率の逆数P0/(P1−P2)が大きくなると、写真原稿の可能性が高くなる。
【0048】
また、文字/写真原稿は、前記文字原稿と写真原稿との両者の特性を併せ持つので、ある濃度区分の度数が高く、総画素数P0に対して、第1最大度数値P1の比率P1/P0および第1最大度数値P1と第2最大度数値P2との差の比率の逆数P0/(P1−P2)が共に小さくなる。
【0049】
前記記憶部26は、図5(a)で示すように、前記比率P1/P0の変化に対して、文字原稿の可能性である文字度x1の変化を表す関数曲線のデータを格納しているとともに、図5(b)で示すように、前記比率の逆数P0/(P1−P2)の変化に対して、写真原稿の可能性である写真度x2の変化を表す関数曲線のデータを格納している。
【0050】
前記文字度x1および写真度x2は、実際に文字原稿または写真原稿である可能性を0から1までの数値で表したものである。このような関数曲線のデータは、メーカにおいて、予め多くの文字原稿、写真原稿および文字/写真原稿を読込んで求めた前記比率P1/P0および比率の逆数P0/(P1−P2)と、それぞれの原稿に対して適切と思われる原稿種別の判定結果との対応を調べて作成されている。この関数曲線は、該関数曲線を多くのデータポイントに分割し、各データポイントの値を格納したテーブルの形式で使用されてもよい。
【0051】
前記認識部25は、前記第1最大度数濃度区分抽出部23で求められた比率P1/P0および前記第2最大度数濃度区分抽出部24で求められた比率の逆数P0/(P1−P2)から、前記関数曲線のデータを参照して、文字度x1および写真度x2を決定する。そして、前記判定部27は、前記文字度x1および写真度x2を、判定式に代入して原稿種別を判定し、前記原稿種別判定信号を出力する。
【0052】
以下に、前記判定部27における判定方法を詳しく説明する。図6は、縦軸に写真度x2、横軸に文字度x1をとり、文字原稿、写真原稿、文字/写真原稿の各種画像サンプルにおいて、取り得る文字度x1および写真度x2の値の組の範囲を、座標上に確率楕円で示したものである。これによれば、文字/写真原稿の場合、文字度x1および写真度x2が共に小さい値をとり、文字度x1および写真度x2の値の組は原点に近い楕円領域上に分布する。一方、文字原稿は文字度x1が大きい楕円領域、写真原稿は写真度x2が大きい楕円領域に分布する。
【0053】
ここで、従来からの判定方法である閾値を用いて直接判定を行う場合を考える。図6(a)に示すとおり、入力画像(原稿)の文字度x1が閾値TH1より大きい場合は、写真度x2に拘わらず文字原稿であると判定し、前記閾値TH1より小さい場合は写真が含まれていると判定し、さらに写真度x2が閾値TH2と比較され、大きい場合は写真原稿、小さい場合は文字/写真原稿と判定されることになる。しかしながら、この図6(a)からも明らかなように、3つの領域の境界付近で上記楕円領域とのずれが大きく、誤判定される可能性がある。
【0054】
そこで、本発明では、先ず、パラメータの組がどの領域に属するかを、判定式を用いて判定する方法を考える。図6(b)においては、文字/写真原稿の領域は、原点を中心とする円内部となっている。つまり、パラメータがx12 +x22 <αのとき、文字/写真原稿と判定する。また、円外の領域、つまりx12 +x22 ≧αの場合は、文字原稿領域と写真原稿領域との何れかであると判定され、さらに文字度x1が写真度x2よりも大きい、つまりx1≧x2の場合は文字原稿、そうでない場合は写真原稿と判定される。
【0055】
これによって、前記記憶部26に大きなデータを保有せずに、原稿種別の判定を行う精度を向上させることができる。
【0056】
また、判定精度をさらに向上するために、前記文字/写真領域の判定を行う判定式として、円の代りに楕円の式を用い、文字原稿領域と写真原稿領域とを分割する線の傾きを変えて判定するようにしてもよい。すなわち、以下に示す式を用い、a・b・c・dのような係数を設定して、領域の境界線を細かく設定するようにしてもよい。
【0057】
a・x12 +b・x1・x2+c・x22 <βのとき、文字/写真原稿
a・x12 +b・x1・x2+c・x22 ≧β
かつx1≧d・x2のとき、文字原稿
a・x12 +b・x1・x2+c・x22 ≧β
かつx1<d・x2のとき、写真原稿
さらにまた、判定精度を一層向上するために、LUT(Look Up Table :ルックアップテーブル)を用いてもよい。たとえば、前記図6の座標を図7のように格子状に区分けし、格子がどの原稿種別に属するかを予め前記LUTに格納しておき、得られた画像データのパラメータの組がどの格子に属するかを計算すれば、どの原稿種別に属しているのかを判定することができる。
【0058】
具体的には、図6の座標空間を、たとえば図7のように、横をn個に、縦をm個に分割された、n×m個の格子で表す(格子を(n,m)と表す)。各格子は、図6の楕円領域と対応付けられ、文字/写真原稿、文字原稿、写真原稿のどの領域であるのかが記憶されている。
【0059】
以下に,得られた画像データのパラメータの組がどの格子に属するのかを計算する式を示す。前記文字度x1および写真度x2は、それぞれ0から1の間の値なので、x1/{1/(n−1)}=x1(n−1)を四捨五入した値をxn、同様にx2/{1/(m−1)}=x2(m−1)を四捨五入した値をxmとすると、パラメータx1,x2はテーブルの座標(xn,xm)の格子に含まれることとなる。そして、座標(xn,xm)がどの画像領域に属しているかによって、パラメータ組の属する画像領域を判定することができる。
【0060】
このように、LUTを用いることで、種々のパラメータ組を細かく分類することができ、各原稿種別の境界を式で判定するのが難しいような場合でも判定することができ、誤認識をより減少させることができる。また、演算時間が少なく、迅速に判定を行うことができる。
【0061】
なお、前記図6(b)および図7では、2つのパラメータx1,x2によって判定を行っているけれども、より多くのパラメータ、たとえば網点領域の度合いを表すパラメータである網点度をさらに用い、3次元の判定式やルックアップテーブルを使用して判定を行ってもよい。
【0062】
以上の原稿種別判定部13の動作を、図8のフローチャートを用いて説明する。ステップS1では、プレスキャンによって原稿画像が入力され、ステップS2では、入力されたRGB信号を濃度信号に変換し、補色反転してCMY信号に変換する。ステップS3では、そのCMY信号から画素の濃度分布のヒストグラムを作成し、ステップS4で第1最大度数区分を、さらにステップS5で第2最大度数区分を抽出する。
【0063】
そして、ステップS6で、前記第1および第2最大度数区分の度数値P1,P2を文字度x1および写真度x2に変換し、ステップS7で原稿種別の判定を行う。ステップS8では、各部14〜18,20に判定結果である原稿種別判定信号が与えられ、それに従って、各部14〜18,20は、画像処理のパラメータを設定する。
【0064】
前記原稿種別判定信号によって各部14〜18,20に設定されるパラメータの一例について以下に説明する。たとえば、文字原稿と判定された場合、入力階調補正部14および階調再現処理部20は、ハイライトを多めに除去し、コントラストを大きくする補正曲線を用いて処理を行う。また、領域分離処理部15は、文字・線画として領域分離されたところを有効とし、網点や連続階調として領域分離されたところは誤分離とみなし、反映しない。色補正部16では彩度を重視した変換処理を行い、黒生成下色除去部17では黒文字に対し黒生成量を多めに設定する。また、空間フィルタ処理部18では、エッジを強調する強調フィルタを用いる。
【0065】
一方、写真原稿と判定された場合、入力階調補正部14および階調再現処理部20は、ハイライトを重視し、階調性を大きくした補正曲線を用いて処理を行う。また、領域分離処理部15は、網点や連続階調として領域分離されたところを有効とし、エッジとして領域分離されたところは誤分離とみなし、反映させないようにする。色補正部16では階調性を重視した変換処理を行い、黒生成下色除去部17では黒生成量を少なくする。また、空間フィルタ処理部18では、平滑化フィルタを用いる。
【0066】
そして、文字/写真原稿と判定された場合、入力階調補正部14および階調再現処理部20は、写真原稿処理と文字原稿処理との中間の、文字原稿を重視するならば文字原稿にとってのパラメータ、写真原稿を重視するならば写真原稿にとってのパラメータに設定した補正曲線を用いて、ハイライトの除去やコントラストの調整を行う。また、領域分離処理部15では、各領域の分離処理結果をそのまま反映させる。色補正部16では、彩度の強弱や階調性のバランスが極端にならないような色補正処理を行い、黒生成下色除去部17では、写真画像に影響が出ない程度に黒生成量の調整を行う。
【0067】
以上のようにして、本発明のカラー画像処理装置3は、原稿種別判定部13で画像データの原稿種別を判定し、その判定結果に対応した画像処理を行うにあたって、ヒストグラム作成部22、第1最大度数濃度区分抽出部23および第2最大度数濃度区分抽出部24が、原稿種別を判定するのに使用する特徴量(パラメータ)である第1最大度数値P1および第2最大度数値P2を求めても、判定部27は、それから直接に判定するのではなく、認識部25および記憶部26を用いて、一旦判定式に代入し、その演算結果から、またはLUTを参照し、その参照結果から判定を行う。
【0068】
したがって、予想されるパラメータの範囲で、種々のパラメータの組合わせに対応した適切な判定結果から、前記判定式の構造や係数、またはLUTを適宜設定しておくことで、原稿種別を適切に判定することができる。これによって、最適な画像処理を行うことができ、良好な出力画像を得ることができる。
【0069】
また、前記ヒストグラムから得た第1最大度数値P1および第2最大度数値P2のデータ(特徴量(パラメータ))を、前記比率P1/P0および比率の逆数P0/(P1−P2)に変換した後、さらに文字度x1および写真度x2という判定に適した形態に変換し、判定に利用するので、前記判定式を簡略化することができる。
【0070】
本発明の実施の他の形態について、図9に基づいて説明すれば、以下のとおりである。
【0071】
図9は、本発明の実施の他の形態の原稿種別判定部13aの構成を示すブロック図である。この原稿種別判定部13aにおいて、前述の原稿種別判定部13に類似し、対応する部分には同一の参照符号を付して、その説明を省略する。注目すべきは、この原稿種別判定部13aでは、前記記憶部26および認識部25が設けられていないことである。すなわち、前記原稿種別判定部13では、これらの記憶部26および認識部25において、前記比率P1/P0および比率の逆数P0/(P1−P2)から、文字度x1および写真度x2への変換を行っているけれども、この原稿種別判定部13aでは、前記比率P1/P0および比率の逆数P0/(P1−P2)が、そのまま文字度x1および写真度x2の値として使用される。
【0072】
したがって、前記判定式が複雑になるけれども、前記記憶部26および認識部25を省略することができる。
【0073】
なお、上述の説明では、特徴量(パラメータ)として、ヒストグラムを用いているけれども、この方法に限定されるものではなく、たとえば本件出願人が先に提案した特願2001−321152号で示すように、▲1▼局所ブロック内の各画素の最大信号レベルと最小信号レベルとの差、▲2▼局所ブロック内の主走査方向に連続する2つの画素間の差分値の絶対値の総和および副走査方向に連続する2つの画素間の差分値の絶対値の総和のうち小さい方の値などを、前記特徴量(パラメータ)として抽出し、それぞれ認識度合い(文字度・網点度など)に変換して処理を行ってもよい。
【0074】
また、本発明の画像処理方法における原稿種別の判定方法は、デジタルカラー複写機1に限らず、ファクシミリ装置や、スキャナ単体にも好適に実施することができる。さらにまた、本発明は、上述した原稿種別の判定方法を、前記複写機などに備えられるコンピュータに実行させるためのプログラムであってもよい。このプログラムを前記複写機において実行すれば、上述した原稿種別の判定方法を実行できるので、上述と同様の効果を得ることができる。また、本発明は、前記のプログラムを記録したコンピュータ読取り可能な記録媒体であってもよい。この記録媒体を、コンピュータにおいて読取って実行すれば、上述した原稿種別の判定方法を実行できるので、上述と同様の効果を得ることができる。このような構成によれば、原稿種別の判定を行うプログラムを記録した記録媒体を持ち運び自在に提供することができる。
【0075】
前記構成において、前記記録媒体とは、ROMのようなメモリであってもよいし、または装置外部に備えられて接続された外部記録装置であってもよいし、または装置外部に備えられて接続された外部読取装置の記録媒体であってもよい。より詳細には、前記記録媒体は、装置本体と分離可能に構成される記録媒体であって、磁気テープやカセットテープ等のテープ系、フロッピーディスクやハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD等の光ディスクのディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、フラッシュROM等の半導体メモリなどであってもよい。
【0076】
前記いずれの場合においても、前記プログラムは、マイクロプロセッサがアクセスして実行する構成であっても良いし、一旦図示しない記憶エリアに読込んだ後に実行する構成であってもよい。
【0077】
また、前記構成において、プログラムを読取る際には、インターネットを含む通信ネットワークに接続して、通信ネットワークからプログラムをダウンロードする構成であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであってもよい。
【0078】
【発明の効果】
本発明の画像処理装置は、以上のように、原稿種別判定手段で画像データの原稿種別を判定し、その判定結果に対応した画像処理を前記画像データに施して出力画像データを得るようにした画像処理装置において、特徴量抽出部が、濃度データなどの原稿種別を判定するのに使用する特徴量(パラメータ)を求めても、それから直接に判定するのではなく、判定部において、一旦判定式に代入し、その演算結果から原稿種別の判定を行う。
【0079】
それゆえ、予想される特徴量の範囲で、種々の特徴量の組合わせに対応した適切な判定結果から、前記判定式の構造や係数を適宜設定しておくことで、求められた特徴量を前記判定式に代入するだけで、原稿種別を適切に判定することができる。これによって、最適な画像処理を行うことができ、良好な出力画像を得ることができる。また、前記判定式の構造や係数の工夫などによって、精細な判定が可能になる。さらにまた、判定のために記憶しておくことは、前記判定式や係数などであり、少ないメモリ容量で対応することができる。
【0080】
また、本発明の画像処理装置は、以上のように、原稿種別判定手段で画像データの原稿種別を判定し、その判定結果に対応した画像処理を前記画像データに施して出力画像データを得るようにした画像処理装置において、特徴量抽出部が原稿種別を判定するのに使用する特徴量を求めても、それから直接に判定するのではなく、判定部において、ルックアップテーブルを参照し、その参照結果から原稿種別の判定を行う。
【0081】
したがって、予想される特徴量の範囲で、種々の特徴量の組合わせに対応した適切な判定結果から、前記ルックアップテーブルを適宜設定しておくことで、求められた特徴量から前記ルックアップテーブルを参照するだけで、原稿種別を適切に判定することができる。これによって、最適な画像処理を行うことができ、良好な出力画像を得ることができる。また、前記ルックアップテーブルを用いることによって、複雑な判定を高速で行うことができる。
【0082】
さらにまた、本発明の画像処理装置は、以上のように、前記判定部が、前記特徴量抽出部で抽出された複数の特徴量に対して、たとえば比率や差分を求め、さらに文字度や写真度などの判定に適した形態に変換した後、判定に利用する。
【0083】
それゆえ、前記判定式を簡略化することができる。
【0084】
また、本発明の画像形成装置は、以上のように、前記の画像処理装置を備える。
【0085】
それゆえ、複写機やプリンタなどの画像処理装置において、原稿種別の判定精度が向上し、最適な画像処理が行われるので、品質の良い画像を出力することができるようになる。
【0086】
さらにまた、本発明の画像処理方法は、以上のように、画像データの原稿種別を判定し、その判定結果に対応した画像処理を前記画像データに施して出力画像データを得るようにした画像処理方法において、特徴量の抽出ステップで原稿種別を判定するのに使用する特徴量を求めても、それから直接に判定するのではなく、判定ステップにおいて、一旦判定式に代入し、その演算結果から原稿種別の判定を行う。
【0087】
それゆえ、予想される特徴量の範囲で、種々の特徴量の組合わせに対応した適切な判定結果から、前記判定式の構造や係数を適宜設定しておくことで、求められた特徴量を前記判定式に代入するだけで、原稿種別を適切に判定することができる。これによって、最適な画像処理を行うことができ、良好な出力画像を得ることができる。また、前記判定式の構造や係数の工夫などによって、精細な判定が可能になる。さらにまた、判定のために記憶しておくことは、前記判定式や係数などであり、少ないメモリ容量で対応することができる。
【0088】
また、本発明の画像処理方法は、以上のように、画像データの原稿種別を判定し、その判定結果に対応した画像処理を前記画像データに施して出力画像データを得るようにした画像処理方法において、特徴量の抽出ステップで原稿種別を判定するのに使用する特徴量を求めても、それから直接に判定するのではなく、判定ステップにおいて、ルックアップテーブルを参照し、その参照結果から原稿種別の判定を行う。
【0089】
それゆえ、予想される特徴量の範囲で、種々の特徴量の組合わせに対応した適切な判定結果から、前記ルックアップテーブルを適宜設定しておくことで、求められた特徴量から前記ルックアップテーブルを参照するだけで、原稿種別を適切に判定することができる。これによって、最適な画像処理を行うことができ、良好な出力画像を得ることができる。また、前記ルックアップテーブルを用いることによって、複雑な判定を高速で行うことができる。
【0090】
さらにまた、本発明のプログラムは、以上のように、前記の画像処理方法をコンピュータに実行させる。
【0091】
それゆえ、前記判定式やルックアップテーブルを用いて原稿種別の判定を行うという画像処理方法のプログラムをコンピュータに読取らせ、実行させることができるので、この画像処理方法を汎用的なものとすることができる。
【0092】
また、本発明の記録媒体は、以上のように、前記のプログラムをコンピュータが読取り可能に格納している。
【0093】
それゆえ、前記判定式やルックアップテーブルを用いて原稿種別の判定を行うという画像処理方法のプログラムを、コンピュータに容易に読込ませることができる。
【図面の簡単な説明】
【図1】本発明の実施の一形態のデジタルカラー複写機の電気的構成を示すブロック図である。
【図2】図1で示すデジタルカラー複写機における原稿種別判定部の一構成例を示すブロック図である。
【図3】文字原稿の濃度ヒストグラムの一例を示すグラフである。
【図4】写真原稿の濃度ヒストグラムの一例を示すグラフである。
【図5】前記濃度ヒストグラムにおける第1最大度数値および第2最大度数値と文字度および写真度との関係を示す関数曲線のグラフである。
【図6】従来と本発明との判定方法の違いを説明するための図である。
【図7】図6の座標空間を、より適切に判定するルックアップテーブルを説明するための図である。
【図8】本発明の原稿種別判定動作を説明するためのフローチャートである。
【図9】本発明の実施の他の形態の原稿種別判定部の構成を示すブロック図である。
【符号の説明】
1  デジタルカラー複写機(画像形成装置)
2  カラー画像入力装置
3  カラー画像処理装置
4  カラー画像出力装置
11  A/D変換部
12  シェーディング補正部
13,13a  原稿種別判定部
14  入力階調補正部
15  領域分離処理部
16  色補正部
17  黒生成下色除去部
18  空間フィルタ処理部
19  出力階調補正部
20  階調再現処理部
21  信号変換部
22  ヒストグラム作成部(特徴量抽出部)
23  第1最大度数濃度区分抽出部(特徴量抽出部)
24  第2最大度数濃度区分抽出部(特徴量抽出部)
25  認識部(特徴量抽出部)
26  記憶部(特徴量抽出部)
27  判定部

Claims (8)

  1. 原稿種別判定手段で画像データの原稿種別を判定し、その判定結果に対応した画像処理を前記画像データに施して出力画像データを得るようにした画像処理装置において、
    前記原稿種別判定手段は、
    前記原稿種別を判定するための特徴量を前記画像データから抽出する特徴量抽出部と、
    前記特徴量抽出部で抽出された特徴量を、予め定める判定式に代入して、その演算結果から原稿種別の判定を行う判定部とを含むことを特徴とする画像処理装置。
  2. 原稿種別判定手段で画像データの原稿種別を判定し、その判定結果に対応した画像処理を前記画像データに施して出力画像データを得るようにした画像処理装置において、
    前記原稿種別判定手段は、
    前記原稿種別を判定するための特徴量を前記画像データから抽出する特徴量抽出部と、
    前記特徴量抽出部で抽出された特徴量から、ルックアップテーブルを参照して、対応する原稿種別の判定結果を読出す判定部とを含むことを特徴とする画像処理装置。
  3. 前記判定部は、前記特徴量抽出部で抽出された複数の特徴量を判定に適した形態に変換した後、該判定に利用すること特徴とする請求項1または2記載の画像処理装置。
  4. 前記請求項1〜3の何れかに記載の画像処理装置を備えることを特徴とする画像形成装置。
  5. 画像データの原稿種別を判定し、その判定結果に対応した画像処理を前記画像データに施して出力画像データを得るようにした画像処理方法において、
    前記原稿種別の判定を、
    前記原稿種別を判定するための特徴量を前記画像データから抽出するステップと、
    前記特徴量の抽出ステップで抽出された特徴量を、予め定める判定式に代入して、その演算結果から原稿種別の判定を行うステップとを含んで行うことを特徴とする画像処理方法。
  6. 画像データの原稿種別を判定し、その判定結果に対応した画像処理を前記画像データに施して出力画像データを得るようにした画像処理方法において、
    前記原稿種別の判定を、
    前記原稿種別を判定するための特徴量を前記画像データから抽出するステップと、
    前記特徴量の抽出ステップで抽出された特徴量から、ルックアップテーブルを参照して、対応する原稿種別の判定結果を読出すステップとを含んで行うことを特徴とする画像処理方法。
  7. 前記請求項5または6記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
  8. 前記請求項7記載のプログラムをコンピュータが読取り可能に格納したことを特徴とする記録媒体。
JP2002171802A 2002-06-12 2002-06-12 画像処理装置、画像形成装置、画像処理方法、プログラムおよび記録媒体 Expired - Fee Related JP4080252B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002171802A JP4080252B2 (ja) 2002-06-12 2002-06-12 画像処理装置、画像形成装置、画像処理方法、プログラムおよび記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002171802A JP4080252B2 (ja) 2002-06-12 2002-06-12 画像処理装置、画像形成装置、画像処理方法、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2004023174A true JP2004023174A (ja) 2004-01-22
JP4080252B2 JP4080252B2 (ja) 2008-04-23

Family

ID=31171564

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002171802A Expired - Fee Related JP4080252B2 (ja) 2002-06-12 2002-06-12 画像処理装置、画像形成装置、画像処理方法、プログラムおよび記録媒体

Country Status (1)

Country Link
JP (1) JP4080252B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007251518A (ja) * 2006-03-15 2007-09-27 Ricoh Co Ltd 画像処理装置、画像形成装置、プログラムおよび画像処理方法
JP2009033534A (ja) * 2007-07-27 2009-02-12 Canon Inc 画像処理装置及び方法
US8041112B2 (en) 2005-08-31 2011-10-18 Sharp Kabushiki Kaisha Image processing apparatus, image forming apparatus, image reading apparatus, image processing method, image processing program, computer-readable storage medium for storing the image processing program with segmentation and density correction optimization
JP2014064195A (ja) * 2012-09-21 2014-04-10 Canon Inc 像域判定装置、像域判定方法、及び画像処理装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8041112B2 (en) 2005-08-31 2011-10-18 Sharp Kabushiki Kaisha Image processing apparatus, image forming apparatus, image reading apparatus, image processing method, image processing program, computer-readable storage medium for storing the image processing program with segmentation and density correction optimization
JP2007251518A (ja) * 2006-03-15 2007-09-27 Ricoh Co Ltd 画像処理装置、画像形成装置、プログラムおよび画像処理方法
JP4615462B2 (ja) * 2006-03-15 2011-01-19 株式会社リコー 画像処理装置、画像形成装置、プログラムおよび画像処理方法
JP2009033534A (ja) * 2007-07-27 2009-02-12 Canon Inc 画像処理装置及び方法
JP2014064195A (ja) * 2012-09-21 2014-04-10 Canon Inc 像域判定装置、像域判定方法、及び画像処理装置

Also Published As

Publication number Publication date
JP4080252B2 (ja) 2008-04-23

Similar Documents

Publication Publication Date Title
JP4197346B2 (ja) 画像処理装置、画像処理方法、画像形成装置、画像処理プログラムおよび記録媒体
JP4495197B2 (ja) 画像処理装置、画像形成装置、画像処理プログラムおよび画像処理プログラムを記録する記録媒体
JP4170353B2 (ja) 画像処理方法、画像処理装置、画像読取装置、画像形成装置、プログラムおよび記録媒体
JP2006014274A (ja) 色変換装置、画像形成装置、色変換方法、コンピュータプログラム及び記録媒体
JP2006115425A (ja) 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体
JP2002232708A (ja) 画像処理装置及びそれを備えた画像形成装置並びに画像処理方法
JP4226278B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、およびこれを記録した記録媒体
JP2003219191A (ja) 画像処理装置およびそれを用いた画像形成装置
JP3929030B2 (ja) 画像処理装置
JP2005286571A (ja) 画像処理装置、画像処理装置を備えた画像形成装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体
JP4596964B2 (ja) 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体
JP4522978B2 (ja) 画像処理装置、画像処理方法、画像形成装置、画像処理プログラムおよび記録媒体
JP6474315B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラムおよびその記録媒体
JP4080252B2 (ja) 画像処理装置、画像形成装置、画像処理方法、プログラムおよび記録媒体
JP7123752B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム及び記録媒体
JP2004297617A (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4149368B2 (ja) 画像処理方法、画像処理装置及び画像形成装置、コンピュータプログラム、およびコンピュータ読取可能な記録媒体
JP4043982B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、並びにそれを記録したコンピュータ読み取り可能な記録媒体
JP2004248103A (ja) 画像処理装置、画像読取装置、画像形成装置、画像処理方法、画像処理プログラム、およびこれを記録したコンピュータ読み取り可能な記録媒体
JP2011015172A (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが記録される記録媒体
JP4086537B2 (ja) 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体
JP4808282B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録する記録媒体
JP2003219178A (ja) 画像処理方法、画像処理装置、および画像形成装置
JP2003224718A (ja) 画像処理方法および画像処理装置
JP4118823B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、および記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061219

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070219

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080206

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120215

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120215

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130215

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees