JP2008205652A - 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記録媒体 - Google Patents

画像処理方法、画像処理装置、画像形成装置、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP2008205652A
JP2008205652A JP2007037170A JP2007037170A JP2008205652A JP 2008205652 A JP2008205652 A JP 2008205652A JP 2007037170 A JP2007037170 A JP 2007037170A JP 2007037170 A JP2007037170 A JP 2007037170A JP 2008205652 A JP2008205652 A JP 2008205652A
Authority
JP
Japan
Prior art keywords
image data
newspaper
document
background
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007037170A
Other languages
English (en)
Other versions
JP4437825B2 (ja
Inventor
Tomoe Matsuoka
朋枝 松岡
Michiko Fujiwara
美智子 藤原
Tatsuya Tanaka
達哉 田中
Norihide Yasuoka
紀英 安岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2007037170A priority Critical patent/JP4437825B2/ja
Priority to CN2008100048838A priority patent/CN101247465B/zh
Priority to US12/069,771 priority patent/US8073251B2/en
Publication of JP2008205652A publication Critical patent/JP2008205652A/ja
Application granted granted Critical
Publication of JP4437825B2 publication Critical patent/JP4437825B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/16Image preprocessing
    • G06V30/162Quantising the image signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

【課題】新聞紙に印刷された原稿画像における視覚上の文字の鮮明さの低下を防止できるようにする。
【解決手段】入力された画像データが文字原稿の画像データであるか否かを判定する原稿種別自動判別部13と、入力された画像データが新聞原稿の画像データであるか否かを判定する新聞原稿判別部14と、入力された画像データにおける下地領域を判別する領域分離処理部16と、入力された画像データが文字原稿でありかつ新聞原稿でなく、その画像データに対して下地除去処理を行う場合に、第1の下地除去処理を行う一方、入力された画像データが文字原稿でありかつ新聞原稿である場合に前記第1の下地除去処理を行わない色補正部17とを備えている。
【選択図】図1

Description

本発明は、入力画像データを処理する画像処理方法、画像処理装置、画像形成装置、プログラムおよび記録媒体に関するものである。
電子写真プロセスやインクジェット方式を用いた複写機やプリンタなどの画像形成装置は、デジタル画像処理技術の進展によって、カラー画像を高画質に再現するフルカラーのデジタル複写機・複合機などが製品化されている。
これら画像形成装置において、原稿画像についての良好な再現画像を得るためには、それぞれの原稿画像の種類に適合した画像処理を行う必要がある。このために、画像形成装置では、処理する入力画像データに対して複数の領域に分離する領域分離処理を行っている。
例えば、特許文献1には、入力画像データの各画素を網点領域、文字領域、印画紙写真領域、下地領域およびこれら領域の何れに属するかを判定できない不定領域に分離することが開示されている。なお、下地領域については、画像の明度が一定以上の背景部分であるため、明度に基づいて分離される。
また、特許文献2には、下地領域に分離された領域に対して、自動露光処理により下地濃度を除去することが開示されている。なお、上記の自動露光処理は原稿種別を判別し、原稿種別に応じて色補正特性を切り替えることにより、最適画質を得る手法である。
上記従来の構成では、下地除去処理を行うことにより、文字を有する画像において、文字を鮮明に再現できるようにしている。さらに、一連の処理として、黒生成処理、下地除去処理(UCR)およびフィルタ処理(エッジ強調処理)を行い、下地上の文字は文字周辺の下地が抜けて白くならないようにしている。
特開2004−272557号公報(平成16年9月30日公開) 特開2001−285635号公報(平成13年10月12日公開)
上記のように、単純に下地除去処理を行うことにより、新聞を除く一般の印刷物では、画像形成装置により印刷した画像において、視覚上の文字の鮮明さを高めることができる。これは、新聞を除く一般の印刷物では、文字のエッジ部の濃度変化が鮮明であることによる。
しかしながら、処理する画像が新聞紙に印刷された画像では、下地除去処理を行った場合に、却って視覚上における文字の鮮明さが低下するという問題点を有している。これは次の理由による。すなわち、新聞紙などの再生紙は紙質が荒いので、そこに印刷された文字はエッジ部の濃度変化領域が広く、エッジ部がぼやけた状態となっている。このため、灰色がかった下地色を除去すると、却って文字のエッジ部のぼやけ状態が強調されてしまうことになる。
したがって、本発明は、新聞紙に印刷された原稿画像における視覚上の文字の鮮明さの低下を防止することができる画像処理方法、画像処理装置、画像形成装置、プログラムおよび記録媒体の提供を目的としている。
本発明の画像処理装置は、上記課題を解決するために、本発明の画像処理装置は、入力された画像データが文字原稿の画像データであるか否かを判定する原稿種別判別手段と、入力された画像データが新聞原稿の画像データであるか否かを判定する新聞原稿判別手段と、入力された画像データにおける下地領域を判別する下地領域判別手段と、入力された画像データが文字原稿でありかつ新聞原稿でなく、その画像データに対して下地除去処理を行う場合に、第1の下地除去処理を行う一方、入力された画像データが文字原稿でありかつ新聞原稿である場合に前記第1の下地除去処理を行わない下地処理手段とを備えていることを特徴としている。
また、本発明の画像処理方法は、入力された画像データが文字原稿の画像データであるか否かを判定する工程と、入力された画像データが新聞原稿の画像データであるか否かを判定する工程と、入力された画像データにおける下地領域を判別する工程と、入力された画像データが文字原稿でありかつ新聞原稿である場合に第1の下地除去処理を行わず、入力された画像データが文字原稿でありかつ新聞原稿でなく、その画像データに対して下地除去処理を行う場合に、前記第1の下地除去処理を行う工程とを備えていることを特徴としている。
上記の構成によれば、入力された画像データが文字原稿でありかつ新聞原稿(新聞(文字)原稿)である場合には、文字原稿に対して一般に行われている下地除去処理(第1の下地除去処理)が行われない。したがって、紙質が荒く灰色がかった再生紙であるために、文字のエッジ部がぼやけた状態となっている新聞(文字)原稿において、灰色がかった下地色を除去したために却って文字のエッジ部のぼやけ状態が強調されてしまう事態が生じず、新聞(文字)原稿における視覚上における文字の鮮明さの低下を防止することができる。
上記の画像処理装置において、前記下地処理手段は、入力された画像データが文字原稿でありかつ新聞原稿であり、その画像データに対して下地を除去する場合に、前記第1の下地除去処理よりも文字のエッジ部の濃度変化がなだらかとなるように処理する第2の下地除去処理を行う構成としてもよい。
上記の構成によれば、入力された画像データが文字原稿でありかつ新聞原稿(新聞(文字)原稿)であり、その画像データに対して下地を除去する場合には、第2の下地除去処理が行われる。この第2の下地除去処理は、文字原稿に対して一般に行われている第1の下地除去処理よりも文字のエッジ部の濃度変化がなだらかとなるように処理するものである。したがって、新聞(文字)原稿における灰色の下地色を除去できるとともに、文字のエッジ部のぼやけ状態が強調されてしまう事態が生じず、新聞(文字)原稿における視覚上における文字の鮮明さを向上することができる。
上記の画像処理装置において、前記第1の下地除去処理は、原稿種別に応じて色補正特性を切り替えて下地を除去する自動露光処理である構成としてもよい。
上記の構成によれば、第1の下地除去処理として従来周知の自動露光処理を適用することができる。
上記の画像処理装置において、前記新聞原稿判別手段は、網点領域の線数が新聞原稿としての所定値である場合に、入力された画像データを新聞原稿の画像データと判定する構成としてもよい。
上記の構成によれば、網点領域の線数を検出することにより、新聞原稿か否かの判別を容易に行うことができる。
上記の画像処理装置は、ユーザによる入力操作が可能な入力手段を備え、前記新聞原稿判別手段は、前記入力手段からの入力により、入力された画像データを新聞原稿の画像データと判定する構成としてもよい。
上記の構成によれば、文字領域のみの原稿では線数の検出による新聞原稿の判別が困難となるものの、この場合であってもユーザ入力に基づいて新聞原稿を判別可能となる。
上記の画像処理装置は、前記下地処理手段の後段に、前記原稿の画像データに対してフィルタ処理を行うフィルタ処理手段を備え、このフィルタ処理手段は、前記原稿の画像データが新聞原稿である場合に、文字領域に対してフィルタ処理を行う一方、文字以外の領域に対してフィルタ処理を行わない構成としてもよい。
上記の構成によれば、原稿の画像データが新聞原稿である場合に、文字領域に対してフィルタ処理を行う一方、文字以外の領域に対してフィルタ処理を行わない。このように、新聞原稿の文字以外の領域に対しいてはフィルタ処理を行わない方が画質の低下を防止することができる。
本発明の構成によれば、紙質が荒く灰色がかった再生紙であるために、文字のエッジ部がぼやけた状態となっている新聞(文字)原稿において、灰色がかった下地色を除去したために却って文字のエッジ部のぼやけ状態が強調されてしまう事態が生じず、新聞(文字)原稿における視覚上における文字の鮮明さの低下を防止することができる。
本発明の実施の一形態について説明すれば、以下の通りである。なお、本実施の形態では、本発明の画像処理装置をデジタルカラー複写機に適用した場合について説明する。
図1は、本発明のカラー画像処理装置を適用したデジタルカラー複写機の概略構成を示すブロック図である。本実施の形態に係るデジタルカラー複写機は、図1に示すように、カラー画像入力装置1、カラー画像処理装置2、カラー画像出力装置3および操作パネル4(入力手段)を備えている。カラー画像処理装置2は、A/D変換部11、シェーディング補正部12、原稿種別自動判別部(原稿種別判別手段)13、新聞原稿判別部(新聞原稿判別手段)14、入力階調補正部15、領域分離処理部(下地領域判別手段)16、色補正部17、黒生成下色除去部18、空間フィルタ処理部(フィルタ処理手段)19、出力階調補正部20および階調再現処理部21を備えている。
カラー画像入力装置1は、例えばCCD(Charge Coupled Device )を備えたスキャナ部(図示せず)により構成され、原稿からの反射光像を、RGB(R:赤・G:緑・B:青)のアナログ信号としてCCDにて読み取って、カラー画像処理装置2に入力するものである。
カラー画像入力装置1にて読み取られたアナログ信号は、カラー画像処理装置2内を、A/D変換部11、シェーディング補正部12、原稿種別自動判別部13、新聞原稿判別部14、入力階調補正部15、領域分離処理部16、色補正部17、黒生成下色除去部18、空間フィルタ処理部19、出力階調補正部20および階調再現処理部21の順に送られ、CMYKのデジタルカラー信号としてカラー画像出力装置3へ出力される。
A/D(アナログ/デジタル)変換部11は、RGBのアナログ信号をデジタル信号に変換する。
シェーディング補正部12は、A/D変換部11より送られてきたデジタルのRGB信号に対して、カラー画像入力装置1の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施す。また、シェーディング補正部12ではカラーバランスの調整を行う。ここでのシェーディング補正は例えば基準白板を読み取ることにより行われる。
原稿種別自動判別部13は、シェーディング補正部12から出力されたRGB信号(RGBの反射率信号)を濃度信号などカラー画像処理装置2に採用されている画像処理システムの扱い易い信号に変換するとともに、原稿種別の判別を行う。この原稿種別の判別においては、画像信号の最大濃度差と総和濃度頻度とを求め、これら両者の関係より、各画素の属する領域が、下地領域、印画紙領域(写真領域)、網点領域または文字領域の何れであるか判別する。
ここで、原稿種別自動判別部13による原稿種別判別動作について詳細に説明する。図2(a)〜図2(d)は、下地、印画紙写真、網点および文字の各領域における画素濃度の分布の例である。また、上記の各領域の最大濃度差と総和濃度繁雑度とを指標とした分布を図3に基づいて説明する。なお、総和濃度繁雑度と最大濃度差との関係において総和濃度繁雑度が最大濃度差以下となることはなく、図3における最大濃度差=総和濃度繁雑度以下の領域は、画素が存在しない領域を示している。
下地領域は、図2(a)に示すように、通常、濃度変化が少ないため、最大濃度差および総和濃度繁雑度ともに非常に小さくなり、図3に示す領域Aに分布している。したがって、下地・印画紙領域に属すると判別された画素であって下地・印画紙判定閾値よりも最大濃度差が小さい画素は、下地画素であると判別することが可能である。
印画紙写真領域は、図2(b)に示すように、通常、滑らかな濃度変化をしており、最大濃度差および総和濃度繁雑度がともに小さく、かつ、下地領域よりも多少大きくなるため、図3に示す領域Bに分布している。したがって、下地領域・印画紙領域に属すると判別された画素であって下地・印画紙判定閾値よりも最大濃度差が大きいブロックの画素(注目画素)は、印画紙領域に属するものであると判別することが可能である。
網点領域は、図2(c)に示すように、最大濃度差が網点によりさまざまであるものの、網点の数だけ濃度変化が存在するので、最大濃度差に対する総和濃度繁雑度の割合が大きくなる。このため、図3に示す領域Dのような分布になる。したがって、文字・網点領域に属すると判別された画素であって最大濃度差と文字・網点判定閾値との積よりも総和濃度繁雑度が大きいブロックの画素(注目画素)は、網点領域に属するものであると判別することが可能である。
文字領域は、図2(d)に示すように、最大濃度差が大きく、それに伴い総和濃度繁雑度も大きくなるものの、網点領域よりも濃度変化が少ないため、網点領域よりも総和濃度繁雑度が小さくなる。特に、最大濃度差に対する総和濃度繁雑度の割合が小さくなるため、図3に示す領域Cのような分布になる。したがって、文字・網点領域に属すると判別された画素であって最大濃度差と文字・網点判定閾値との積よりも総和濃度繁雑度が小さいブロックの画素(注目画素)は、文字領域に属するものであると判別することが可能である。
上述したように、下地領域および印画紙写真領域は、最大濃度差および総和濃度繁雑度が文字領域および網点領域に比べて小さくなる。したがって、最大濃度差を最大濃度差閾値(第1最大濃度差閾値THd1)と比較するとともに、総和濃度繁雑度を総和濃度繁雑度閾値(第1総和濃度繁雑度閾値THb1)と比較することにより、原稿種別自動判別部13では、注目画素が下地・印画紙領域と文字・網点領域とのいずれに属するかを判別することが可能となる。
新聞原稿判別部14は、原稿画像が新聞原稿のものか否かを判定し、この判定結果を示す新聞原稿判定信号を出力する。この判定は、原稿画像の網点領域の線数を検出することにより行い、網点領域の線数が新聞特有の線数である60線もしくは75線のいずれかであれば、原稿(画像画像)を新聞原稿と判別する。
これら、原稿種別自動判別部13および新聞原稿判別部14で生成された原稿種別判定信号および原稿種別判定信号は、入力階調補正部15、色補正部17、黒生成下色除去部18、空間フィルタ処理部19、階調再現処理部21に出力される。
入力階調補正部15は、原稿種別判定信号が示す原稿種別に応じて、下地濃度の除去やコントラストなどの画質調整処理を行う。
領域分離処理部16は、RGB信号より、入力画像中の各画素を文字領域、網点領域、写真(印画紙写真)領域のいずれかに分離するものである。領域分離処理部16は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を、色補正部17、黒生成下色除去部18、空間フィルタ処理部19、および階調再現処理部21に出力する。また、入力階調補正部15からの入力信号をそのまま後段の色補正部17に出力する。
色補正部17は、領域分離処理部16から入力されたRGB信号をCMY(C:シアン・M:マゼンタ・Y:イエロー)信号に変換する。この際、色再現を忠実に行うために、不要吸収成分を含むCMY色材の分光特性に基づいた色濁りを取り除く処理を行う。また、原稿種別判定信号が示す原稿種別、新聞原稿判定信号が示す新聞原稿であるか否かの種別、および領域識別信号が示す領域種別に適合した色補正テーブルを使用して色補正を行う。
このために、色補正部17は、写真用色補正テーブル、文字(下地除去無)用色補正テーブル、自動露光(下地除去有)用色補正テーブルおよび新聞文字用色補正テーブルを備えている。なお、自動露光(下地除去有)用色補正テーブルは文字(下地除去有)用色補正テーブルに相当する。図4は従来の色補正TBLを示し、図4(a)には写真用色補正テーブルの、図4(b)には文字(下地除去有)用色補正テーブルの、図4(c)には文字(下地除去無)用色補正テーブルの入力(RGB)と出力(CMY)との関係を示す。また、図5は本実施の形態で用いられる色補正TBLを示し、図5には(1)写真用色補正テーブル、(2)文字(下地除去無)用色補正テーブル、(3)自動露光(下地除去有)用色補正テーブルおよび(4)新聞文字用(下地除去有)色補正テーブルの相互における入力(RGB)と出力(CMY)との関係を示す。
ここで、図6(a)には新聞以外の一般の文字原稿における文字の濃度変化を示し、図6(b)には新聞(文字)原稿すなわち文字のみからなる新聞原稿における文字の濃度変化を示す。これらの図から分かるように、文字のエッジにおける濃度変化は、文字原稿(図6(a))では急峻になっているのに対して、新聞(文字)原稿の場合にはなだらかになっている。このため、新聞(文字)原稿に対して文字原稿と同一の下地除去処理を行うことは好ましくない。なぜなら、そのような処理を行った場合、新聞(文字)原稿における文字のエッジのぼやけが強調され、却って視覚上における文字の鮮明さが低下する。そこで、文字原稿と新聞(文字)原稿とでは、下地が有りこれを除去する場合に、異なる処理を行うようになっている。
図7には原稿種別に応じた、下地が有る場合における色補正部17での下地除去処理の有無を示す。同図から分かるように、原稿種別が文字原稿である場合および新聞(文字)原稿)である場合には、下地除去処理が行われ、他の原稿種別では下地除去処理が行われない。但し、上記のように、下地除去処理は文字原稿と新聞(文字原稿)とで異なる。
図8には、原稿種別に応じた、自動露光処理の有無、色補正部17での色補正処理、空間フィルタ処理部19でのフィルタ処理を示す。同図から分かるように、本実施の形態では、従来の自動露光処理を原稿画像(原稿画像データ)が文字原稿の場合であって下地がある場合にのみ行い、新聞(文字)原稿の場合には行わない。また、色補正部17では、原稿種別が新聞(文字)原稿であって、下地有りの場合に新聞用色補正テーブルを使用する。新聞(その他)原稿、文字原稿の下地無しの場合、網点原稿および写真原稿の場合は、同図に記載のとおりである。なお、上記新聞(その他)には、新聞(文字+網点又は写真など)原稿および新聞(写真)原稿が含まれる。
なお、原稿種別が新聞(文字)および新聞(その他)の場合には新聞紙の灰色の下地が存在する。したがって、図8において下地無しに対して自動露光を行う場合が存在せず、この場合を斜線にて示している。
また、原稿種別が新聞(文字)である場合に色補正において使用する新聞文字用色補正テーブルは、下地除去有りの場合に使用するものであり、下地除去無しの場合には文字(下地除去無)用色補正テーブルを使用する。また、原稿種別が文字である場合に色補正において使用する文字色補正テーブルは、下地除去無しの場合は文字(下地除去無)用色補正テーブルであり、下地除去有りの場合は自動露光(下地除去有)用色補正テーブルである。
黒生成下色除去部18は、色補正後のCMYの3色信号から黒(K)信号を生成する黒生成処理、および元のCMY信号から黒生成で得たK信号を差し引いて新たなCMY信号を生成する処理を行い、CMYの3色信号をCMYKの4色信号に変換する。
黒生成処理の一例として、スケルトンブラックによる黒生成を行う方法(一般的方法)がある。この方法では、スケルトンカーブの入出力特性をy=f(x)、入力されるデータをC,M,Y、出力されるデータをC',M',Y',K'、UCR(Under Color Removal)率をα(0<α<1)とすると、黒生成下色除去処理は以下の式(1)で表わされる。
K’=f{min(C,M,Y)}
C’=C−αK’
M’=M−αK’
Y’=Y−αK’ (1)
空間フィルタ処理部19は、黒生成下色除去部18から入力されるCMYK信号の画像データに対して、領域識別信号が示す領域と原稿種別判定信号および新聞原稿判定信号が示す判定結果とに応じて、文字の強調や平滑化など、デジタルフィルタによる空間フィルタ処理を行う。これにより、空間周波数特性を補正し、出力画像のぼやけや粒状性劣化を防ぐ。
具体的には、図8に示すように、原稿種別が新聞(文字)である場合には新聞用文字強調フィルタを使用し、原稿種別が新聞(その他)である場合にはフィルタを使用せず、原稿種別が文字の場合には新聞以外用文字強調フィルタを使用し、原稿種別が網点である場合には網点用平滑フィルタを使用し、原稿種別が写真である場合には写真用平滑フィルタを使用する。
図9には上記の各フィルタの一例を示す。すなわち、図9(a)は網点用平滑フィルタを示す説明図、図9(b)は写真用平滑フィルタを示す説明図、図9(c)は新聞用文字強調フィルタを示す説明図、図9(d)は新聞以外用文字強調フィルタを示す説明図である。
上記の各フィルタでは、5×5(画素)の中心が注目画素であり、その注目画素の周囲2画素までを数値で重み付けして参照する。また、各フィルタにおける処理は下記の数式(2)のとおりである。
Figure 2008205652
出力階調補正部20は、空間フィルタ処理部19から出力されたCMYK信号からなる画像データに対して中間調補正(γ補正)を行う。例えば、濃度信号などの信号をカラー画像出力装置3の特性値である網点面積率に変換する出力階調補正処理を行う。
階調再現処理部21は、出力階調補正部20から出力されたCMYK信号からなる画像データからディザマトリックスデータや誤差拡散データなどの中間調データを生成する。ここでは、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する。
操作パネル4は、例えば、液晶ディスプレイなどの表示部(図示せず)と設定ボタンなどから構成され、操作パネル4より入力された情報に基づいてカラー画像入力装置1、カラー画像処理装置2、カラー画像出力装置3の動作が制御される。
カラー画像処理装置2にて各処理が施された画像データは、一旦記憶手段に記憶され、所定のタイミングで読み出されてカラー画像出力装置3に入力される。このカラー画像出力装置3は、画像データを記録媒体(例えば紙等)上に出力するもので、例えば、電子写真方式やインクジェット方式を用いたカラー画像出力装置等を挙げることができるが特に限定されるものではない。尚、以上の処理は図示しないCPU(Central Processing Unit)により制御される。
上記の構成において、本実施の形態におけるデジタルカラー複写機の動作を図10〜図12のフローチャートに基づいて以下に説明する。なお、図10はデジタルカラー複写機の動作を示すフローチャート、図11は図10に示したS8における領域分離/色補正処理の詳細を示すフローチャート、図12は図10に示したS10における空間フィルタ処理の詳細を示すフローチャートである。
デジタルカラー複写機では、カラー画像入力装置1によって原稿画像の読み取りが行われ(S1)、これによって得られたRGBの画像データがカラー画像処理装置2に入力される。
上記画像データは、A/D変換部11にてデジタル信号に変換され、シェーディング補正部12にて処理された後、原稿種別自動判別部13において原稿種別が判定される(S2)。原稿種別自動判別部13では原稿種別判定結果に応じて色補正テーブルを選択するとともに領域識別結果に応じて空間フィルタを選択する。また、原稿種別自動判別部13は、原稿種別の判定結果を示す原稿種別判定信号を出力階調補正部20を除く入力階調補正部15以降の各部に出力する。
次に、新聞原稿判別部14では原稿種別自動判別部13から出力された画像データに基づいて、原稿が新聞原稿か否かを判定する。このために、新聞原稿判別部14では、原稿画像の線数を求め(S4)、線数が60または75であればその原稿の原稿種別を新聞と判定し(S6)、線数が60または75でなければ新聞原稿以外の原稿と判定する。このように、新聞原稿は一定の線数を有しているので、原稿の線数を調べることにより、新聞原稿か否かを判定することができる。この判定結果を示す新聞原稿判定信号は、原稿種別判定信号と同様に、出力階調補正部20を除く、入力階調補正部15以降の各部に出力される。
次に、新聞原稿判別部14から出力された画像データは入力階調補正部15にて処理された後に(S7)、領域分離処理部16に入力され、その後色補正部17に入力される。これら領域分離処理部16および色補正部17では領域分離/色補正処理が行われる(S8)。
領域分離処理部16および色補正部17にて処理された画像データは、黒生成下色除去部18にて処理された後(S9)、空間フィルタ処理部19にて空間フィルタを使用して処理される(S10)。
次に、空間フィルタ処理部19にて処理された画像データは、出力階調補正部20での出力階調補正(S11)、および階調再現処理部21での階調再現処理(S12)を経て、カラー画像出力装置3に出力され、このカラー画像出力装置3において可視像として出力される(S13)。
ここで、S8の領域分離/色補正処理を図11のフローチャートに基づいて以下に説明する。この処理においては、新聞原稿判定信号に基づいて画像データの原稿種別が新聞か否かを確認し(S21)、原稿種別が新聞であれば、さらに原稿種別判定信号に基づいて画像データの原稿種別が文字であるか否かを確認する(S22)。
S22において画像データの原稿種別が文字であれば、下地を除去するか否かを判定する(S23)。色補正部17では、S23の判定により下地を除去する場合には、新聞文字用色補正テーブルを選択し(S24)、色補正処理を行う(S25)。一方、S23の判定により下地を除去しない場合には、文字用色補正テーブルを選択し(S26)、色補正処理を行う(S25)。
なお、S23の判定は、例えば操作パネル4からのユーザ設定に基づいて行う。また、ユーザ設定がない場合には、原稿種別が新聞(文字)の場合には新聞生地の下地があるので、図7の設定に従い、新聞文字用色補正テーブルを使用して下地除去を行う。
また、S21において原稿種別が新聞でない場合であっても、例えば操作パネル4からのユーザ入力により、原稿種別が新聞と指定されている場合には(S27)、原稿種別を新聞としてS22に進む。
また、S22において原稿種別が文字(新聞(文字)でない場合、すなわち新聞(その他)である場合、色補正部17は写真用色補正テーブルを選択し(S28)、色補正処理を行う(S25)。
また、原稿種別が新聞ではなく(S21、S27)、領域識別信号が示す領域が文字でない場合(S29)、色補正部17は写真用色補正テーブルを選択し(S28)、色補正処理を行う(S25)。
また、S29において領域識別信号が示す領域が文字の場合であって、下地を除去する場合(S30)、色補正部17は自動露光用色補正テーブルを選択し(S31)、色補正処理を行う(S25)。
また、S30において下地を除去しない場合、色補正部17は文字用色補正テーブルを選択し(S32)、色補正処理を行う(S25)。
なお、S30における下地除去処理の有無の選択は、S23の場合と同様、例えば操作パネル4からのユーザ設定により可能である。
次に、S10の空間フィルタ処理を図12のフローチャートに基づいて以下に説明する。空間フィルタ処理部19では、領域が文字であり(S31)、かつ領域が新聞である場合に(S32)、新聞用文字強調フィルタを選択し(S33)、空間フィルタ処理を行う(S34)。
また、領域が文字であり(S31)、かつ領域が新聞でない場合に(S32)、新聞以外用文字強調フィルタを選択し(S34)、空間フィルタ処理を行う(S34)。
また、領域が文字でなく(S31)、かつ領域が網点である場合に(S36)、網点用平滑フィルタを選択し(S37)、空間フィルタ処理を行う(S34)。
また、領域が文字でなく(S31)、かつ領域が網点でなく(S36)、かつ領域が写真である場合に(S38)、写真用平滑フィルタを選択し(S39)、空間フィルタ処理を行う(S34)。
また、領域が文字でなく(S31)、かつ領域が網点でなく(S36)、かつ領域が写真でない場合には(S38)、フィルタを使用しない(S40)。したがって、この場合には空間フィルタ処理を行わない。
以上のように、本実施の形態の画像処理装置では、新聞(文字)原稿、すなわち原稿種別が新聞かつ原稿種別が文字の原稿に対して下地除去を行う場合には、新聞以外の文字原稿において下地除去に使用する文字用色補正テーブルとは異なる新聞文字用色補正テーブルを使用する。上記文字用色補正テーブルは従来の自動露光処理に使用されるものである。一方、新聞文字用色補正テーブルは、上記文字用色補正テーブルよりも、文字のエッジ部の濃度変化がなだらかとなるように処理するものである。あるいは、文字のエッジ部の濃度が変化する領域の幅が広くなるように処理するものである。これにより、本実施の形態の画像処理装置では、新聞(文字)原稿を処理した場合において、出力画像における視覚上の文字の鮮明さの低下を防止することができる。
本発明はコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に、上記した画像処理方法を記録するものとすることもできる。これにより、原稿種別の判別を行う画像処理方法を行うプログラムを記録した記録媒体を持ち運び自在に提供することができる。
なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、例えばROMのようなものそのものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。
いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であっても良いし、あるいは、いずれの場合もプログラムを読み出し、読み出されたプログラムは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD等の光ディスクのディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、フラッシュROM等による半導体メモリを含めた固定的にプログラムを担持する媒体であっても良い。
また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する媒体であっても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであっても良い。
上記記録媒体は、デジタルカラー画像形成装置やコンピュータシステムに備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。
コンピュータシステムは、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどの画像入力装置、所定のプログラムがロードされることにより上記画像処理方法など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するCRTディスプレイ・液晶ディスプレイなどの画像表示装置およびコンピュータの処理結果を紙などに出力するプリンタより構成される。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられる。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、入力画像に対する画像処理機能を備えた機器、例えばカラーコピー機、フラットベッドスキャナ、フィルムスキャナ、デジタルカメラ等にも適用できる。
本発明の実施の一形態における画像処理装置を備えたデジタルカラー複写機の概略構成を示すブロック図である。 図2(a)は下地領域の最大濃度差と濃度を有する領域の分布とを示す説明図、図2(b)は印画紙領域における同説明図、図2(c)は網点領域における同説明図、図2(d)は文字領域における同説明図である。 図2に示した各領域についての最大濃度差と総和濃度繁雑度との関係を示すグラフである。 図4(a)は写真用色補正テーブルの入力(RGB)と出力(CMY)との関係を示すグラフ、図4(b)は文字(下地除去有)用色補正テーブルの入力(RGB)と出力(CMY)との関係を示すグラフ、図4(c)は文字(下地除去無)用色補正テーブルの入力(RGB)と出力(CMY)との関係を示す説明図である。 写真用色補正テーブル、文字(下地除去無)用色補正テーブル、自動露光(下地除去有)用色補正テーブルおよび新聞文字用(下地除去有)色補正テーブルの相互における入力(RGB)と出力(CMY)との関係を示す説明図である。 図6(a)は新聞以外の一般の文字原稿における文字の濃度変化を示すグラフ、図6(b)は新聞(文字)原稿における文字の濃度変化を示すグラフである。 図1に示した色補正部での原稿種別に応じた下地除去処理の有無を示す説明図である。 図1に示したカラー画像処理装置における原稿種別に応じた自動露光処理の有無、色補正処理およびフィルタ処理を示す説明図である。 図9(a)は図1に示した空間フィルタ処理部が備える網点用平滑フィルタを示す説明図、図9(b)は同空間フィルタ処理部が備える写真用平滑フィルタを示す説明図、図9(c)は同空間フィルタ処理部が備える新聞用文字強調フィルタを示す説明図、図9(d)は同空間フィルタ処理部が備える新聞以外用文字強調フィルタを示す説明図である。 図1に示したデジタルカラー複写機の動作を示すフローチャートである。 図10に示したS8における領域分離/色補正処理の詳細を示すフローチャートである。 図10に示したS10における空間フィルタ処理の詳細を示すフローチャートである。
符号の説明
2 カラー画像処理装置
4 操作パネル(入力手段)
13 原稿種別自動判別部(原稿種別判別手段)
14 新聞原稿判別部(新聞原稿判別手段)
15 入力階調補正部
16 領域分離処理部(下地領域判別手段)
17 色補正部(下地処理手段)
19 空間フィルタ処理部(フィルタ処理手段)

Claims (10)

  1. 入力された画像データが文字原稿の画像データであるか否かを判定する原稿種別判別手段と、
    入力された画像データが新聞原稿の画像データであるか否かを判定する新聞原稿判別手段と、
    入力された画像データにおける下地領域を判別する下地領域判別手段と、
    入力された画像データが文字原稿でありかつ新聞原稿でなく、その画像データに対して下地除去処理を行う場合に、第1の下地除去処理を行う一方、入力された画像データが文字原稿でありかつ新聞原稿である場合に前記第1の下地除去処理を行わない下地処理手段とを備えていることを特徴とする画像処理装置。
  2. 前記下地処理手段は、入力された画像データが文字原稿でありかつ新聞原稿であり、その画像データに対して下地を除去する場合に、前記第1の下地除去処理よりも文字のエッジ部の濃度変化がなだらかとなるように処理する第2の下地除去処理を行うことを特徴とする請求項1に記載の画像処理装置。
  3. 前記第1の下地除去処理は、原稿種別に応じて色補正特性を切り替えて下地を除去する自動露光処理であることを特徴とする請求項1に記載の画像処理装置。
  4. 前記新聞原稿判別手段は、網点領域の線数が新聞原稿としての所定値である場合に、入力された画像データを新聞原稿の画像データと判定することを特徴とする請求項1に記載の画像処理装置。
  5. ユーザによる入力操作が可能な入力手段を備え、
    前記新聞原稿判別手段は、前記入力手段からの入力により、入力された画像データを新聞原稿の画像データと判定することを特徴とする請求項1に記載の画像処理装置。
  6. 前記下地処理手段の後段に、前記原稿の画像データに対してフィルタ処理を行うフィルタ処理手段を備え、
    このフィルタ処理手段は、前記原稿の画像データが新聞原稿である場合に、文字領域に対してフィルタ処理を行う一方、文字以外の領域に対してフィルタ処理を行わないことを特徴とする請求項1に記載の画像処理装置。
  7. 請求項1から6のいずれか1項に記載の画像処理装置を備え、この画像処理装置から出力された画像データに基づいて印刷を行うことを特徴とする画像形成装置。
  8. 請求項1から6のいずれか1項に記載の画像処理装置の前記の各手段としてコンピュータを機能させるためのプログラム。
  9. 請求項8に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
  10. 入力された画像データが文字原稿の画像データであるか否かを判定する工程と、
    入力された画像データが新聞原稿の画像データであるか否かを判定する工程と、
    入力された画像データにおける下地領域を判別する工程と、
    入力された画像データが文字原稿でありかつ新聞原稿である場合に第1の下地除去処理を行わず、入力された画像データが文字原稿でありかつ新聞原稿でなく、その画像データに対して下地除去処理を行う場合に、前記第1の下地除去処理を行う工程とを備えていることを特徴とする画像処理方法。
JP2007037170A 2007-02-16 2007-02-16 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記録媒体 Expired - Fee Related JP4437825B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007037170A JP4437825B2 (ja) 2007-02-16 2007-02-16 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記録媒体
CN2008100048838A CN101247465B (zh) 2007-02-16 2008-02-05 图像处理方法和装置、图像形成装置
US12/069,771 US8073251B2 (en) 2007-02-16 2008-02-13 Image processing apparatus and method including page-background process capability, and non-transitory computer readable storage medium for causing computer to function as the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007037170A JP4437825B2 (ja) 2007-02-16 2007-02-16 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2008205652A true JP2008205652A (ja) 2008-09-04
JP4437825B2 JP4437825B2 (ja) 2010-03-24

Family

ID=39706705

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007037170A Expired - Fee Related JP4437825B2 (ja) 2007-02-16 2007-02-16 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記録媒体

Country Status (3)

Country Link
US (1) US8073251B2 (ja)
JP (1) JP4437825B2 (ja)
CN (1) CN101247465B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7599556B2 (en) * 2005-08-25 2009-10-06 Joseph Stanley Czyszczewski Apparatus, system, and method for scanning segmentation
JP5199787B2 (ja) * 2008-08-21 2013-05-15 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP4941502B2 (ja) * 2009-04-27 2012-05-30 ブラザー工業株式会社 画像形成装置、及び、画像形成方法
US9286668B1 (en) * 2012-06-18 2016-03-15 Amazon Technologies, Inc. Generating a panel view for comics
JP5949399B2 (ja) * 2012-09-28 2016-07-06 ブラザー工業株式会社 画像処理装置およびプログラム
CN104298982B (zh) * 2013-07-16 2019-03-08 深圳市腾讯计算机系统有限公司 一种文字识别方法及装置
JP2018033043A (ja) * 2016-08-25 2018-03-01 キヤノン株式会社 画像形成装置、制御方法およびプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05207280A (ja) * 1991-04-17 1993-08-13 Fuji Xerox Co Ltd 画像形成装置の下地かぶり除去及び下地除去方式
US5850298A (en) * 1994-03-22 1998-12-15 Ricoh Company, Ltd. Image processing device eliminating background noise
JP2001016447A (ja) * 1999-06-30 2001-01-19 Minolta Co Ltd 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体
JP2001285635A (ja) 2000-03-28 2001-10-12 Sharp Corp 画像処理装置、画像処理方法および画像形成装置
JP3989738B2 (ja) * 2002-01-16 2007-10-10 シャープ株式会社 画像形成方法および画像形成装置ならびにプログラム、記録媒体
JP2004193674A (ja) 2002-12-06 2004-07-08 Sharp Corp 画像処理方法、画像処理装置、画像読取装置、画像形成装置、及びコンピュータプログラム
JP4248899B2 (ja) 2003-03-07 2009-04-02 シャープ株式会社 領域分離処理方法、領域分離処理プログラムおよびこれを記録した記録媒体ならびに画像処理装置およびこれを備えた画像形成装置
JP2005012668A (ja) 2003-06-20 2005-01-13 Sharp Corp 画像処理方法、画像処理装置、画像読取装置、画像形成装置、及びコンピュータプログラム
JP2005045466A (ja) 2003-07-25 2005-02-17 Ricoh Co Ltd 画像読取装置及びプログラム
JP2005101765A (ja) 2003-09-22 2005-04-14 Sharp Corp 画像処理方法、画像処理装置及び画像形成装置
US7663786B2 (en) * 2003-09-29 2010-02-16 Samsung Electronics Co., Ltd. Image-forming apparatus and method of controlling operations in automatic document feeder mode thereof
JP4415664B2 (ja) 2003-12-15 2010-02-17 富士ゼロックス株式会社 画像処理装置
KR20050073189A (ko) * 2004-01-09 2005-07-13 삼성전자주식회사 이미지 스캐닝 방법 및 장치
JP4166744B2 (ja) * 2004-10-18 2008-10-15 シャープ株式会社 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体
JP4118886B2 (ja) * 2005-01-21 2008-07-16 シャープ株式会社 画像処理装置、画像形成装置、画像読取処理装置、画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体
JP4531606B2 (ja) 2005-03-28 2010-08-25 シャープ株式会社 画像処理装置、画像形成装置、および画像処理方法
JP4115460B2 (ja) * 2005-04-12 2008-07-09 キヤノン株式会社 画像処理装置およびその方法、並びに、コンピュータプログラムおよび記録媒体
US20060274376A1 (en) * 2005-06-06 2006-12-07 Lexmark International, Inc. Method for image background detection and removal
JP4650204B2 (ja) * 2005-10-24 2011-03-16 富士ゼロックス株式会社 画像処理装置

Also Published As

Publication number Publication date
US8073251B2 (en) 2011-12-06
JP4437825B2 (ja) 2010-03-24
US20080199076A1 (en) 2008-08-21
CN101247465A (zh) 2008-08-20
CN101247465B (zh) 2012-04-18

Similar Documents

Publication Publication Date Title
JP4495197B2 (ja) 画像処理装置、画像形成装置、画像処理プログラムおよび画像処理プログラムを記録する記録媒体
JP4166744B2 (ja) 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体
US8041112B2 (en) Image processing apparatus, image forming apparatus, image reading apparatus, image processing method, image processing program, computer-readable storage medium for storing the image processing program with segmentation and density correction optimization
JP4531606B2 (ja) 画像処理装置、画像形成装置、および画像処理方法
JP4437825B2 (ja) 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記録媒体
JP4402090B2 (ja) 画像形成装置、画像形成方法、プログラムおよび記録媒体
JP2007110673A (ja) 画像処理方法、画像処理装置、画像読取装置、画像形成装置、プログラムおよび記録媒体
JP2009038529A (ja) 画像処理方法、画像処理装置、画像形成装置、画像読取装置、コンピュータプログラム、及び記録媒体
JP4731595B2 (ja) 画像処理装置、画像形成装置、コンピュータプログラム、記録媒体及び画像処理方法
JP4226278B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、およびこれを記録した記録媒体
JP2005286571A (ja) 画像処理装置、画像処理装置を備えた画像形成装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体
JP4596964B2 (ja) 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体
JP4549227B2 (ja) 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体
JP6474315B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラムおよびその記録媒体
JP7266462B2 (ja) 画像処理装置、画像形成装置、画像処理方法及びプログラム
JP4545766B2 (ja) 画像処理装置、画像形成装置、画像読取装置、画像処理プログラムおよび記録媒体
JP4740913B2 (ja) 画像処理装置、画像処理方法、画像形成装置およびプログラム、記録媒体
JP3933941B2 (ja) 画像処理方法、画像処理装置、および画像形成装置
JP4099366B2 (ja) 画像処理装置、画像読取装置、画像形成装置及び画像処理方法
JP2008048189A (ja) 画像処理装置、画像処理方法、画像形成装置、画像処理プログラムおよび記録媒体
JP2005072635A (ja) 画像処理装置、画像形成装置、画像読取装置、画像処理方法、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4808282B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録する記録媒体
JP2011015172A (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが記録される記録媒体
JP2002359716A (ja) 印刷システム、印刷方法、プログラム及び記録媒体
JP4958626B2 (ja) 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム、及び記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090223

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090925

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20091202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091224

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130115

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees