JP2010056946A - 画像処理装置、画像形成装置、画像の記憶方法、及びコンピュータプログラム - Google Patents

画像処理装置、画像形成装置、画像の記憶方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP2010056946A
JP2010056946A JP2008220295A JP2008220295A JP2010056946A JP 2010056946 A JP2010056946 A JP 2010056946A JP 2008220295 A JP2008220295 A JP 2008220295A JP 2008220295 A JP2008220295 A JP 2008220295A JP 2010056946 A JP2010056946 A JP 2010056946A
Authority
JP
Japan
Prior art keywords
image
data
stored
image data
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008220295A
Other languages
English (en)
Other versions
JP5106318B2 (ja
Inventor
Kazunari Tonami
一成 戸波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2008220295A priority Critical patent/JP5106318B2/ja
Publication of JP2010056946A publication Critical patent/JP2010056946A/ja
Application granted granted Critical
Publication of JP5106318B2 publication Critical patent/JP5106318B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】蓄積画像の再利用性と画像記憶装置の空き容量の確保とを両立させる。
【解決手段】画像を入力する画像読み取り装置と、電子化された画像データを記憶するHDDとを有し、入力された画像の画像データをHDDに記憶させる際、HDDに記憶された画像データを画像特徴に基づいて複数のカテゴリに分類し(S1)、画像を出力する際の出力設定情報の履歴を画像データと併せて前記記憶手段に記憶し、前記分類されたカテゴリに含まれる画像の出力設定情報の履歴に基づいて、前記記憶手段に記憶された画像データのデータ量を低減させる(S3,S4)。
【選択図】図4

Description

本発明は、画像データをハードディスク等の画像記憶装置に記憶することが可能な複写機、ファクシミリ、スキャナ、あるいはデジタル複合機などの画像処理装置に適用される画像処理装置、この画像処理装置を備えた前記画像形成装置、前記画像処理装置あるいは画像形成装置で実行される画像の記憶方法、この記憶方法をコンピュータによって実行するためのコンピュータプログラムに関する。
近年のデジタル複写機は、原稿をコピーしたりネットワークを通じて外部のPC等に画像データを配信したりするだけでなく、スキャナで読み取った画像データやネットワークを通じて外部のPC等から入力される画像データをハードディスクのような大容量の記憶装置に蓄積し、蓄積した画像データを再印刷や再配信することができる機能が搭載されているものがある。
スキャナで読み取られた画像データが、600dpiのRGB信号による各8bitのデータであれば、A3サイズの画像のデータ量は、約200Mbyteとなり、データ量が非常に大きくなる。このため、通常、画像データは、JPEG等による圧縮処理を施してから記憶装置に蓄積される。しかし、蓄積する画像データは、その画像データを再印刷し、あるいは再配信する場合に、その画質が劣化しないように、圧縮率をあまり高くすることができない。そのため、大量の画像を蓄積しようとすると、大容量の記憶装置が必要となり、コストアップにつながってしまう。逆に、記憶装置の容量を抑えた場合、蓄積された画像の枚数が増加すると記憶装置の空き容量が不足してしまうため、蓄積された画像の中から不要なものを選択して削除する必要があり、使用者の負担となってしまう。また、一旦、蓄積した画像データを削除してしまうと、後日その画像データを再利用したくなった場合に、原稿がなく、再度スキャナで読み取るということができない可能性も生じてしまう。
前述したような課題を解決する方法に関する従来技術として、例えば、特許文献1等に記載された技術が知られている。この従来技術は、画像ファイルの属性データとして記録された画像ファイルの保存期間を設定し、この保存期間を経過した場合に、画像データを低画質化してデータ量を削減するというものである。そして、この従来技術は、低画質化のための処理内容として、ドット密度(解像度)や圧縮率等を画像蓄積時に使用者が選択することも可能としている。
また、他の従来技術として、例えば、特許文献2等に記載された技術が知られている。この従来技術は、医療用の放射線画像のファイリング装置に関するものであり、画像撮影日からの経過時間や画像データの検索頻度等に基づいて決められたタイミングで、画像データを圧縮して再ファイリングするというものである。
特開平8−212115号公報 特許第2838521号公報
しかし、特許文献1に記載された技術では、使用者が画像毎に低画質化の方法を選択する必要があり、大量の画像を蓄積する場合に、使用者の負担が大きなものになる。また、この技術は、使用者が低画質化の方法を選択せずに、予め定められた方法、例えば、JPEGによる圧縮の圧縮率を高くするという方法で低画質化が行われた場合、画像の種類によっては画質劣化が大きくなり、蓄積された画像の再利用性が著しく損なわれる場合がある。
また、特許文献2に記載された技術では、圧縮するタイミングを自動的に決定することができるものの、画像データを低サイズ化する方法としては圧縮率を高くするだけであり、デジタル複合機のように様々な種類の画像が入力されるようなシステムでは、特許文献1に記載の技術と同様に、画像の種類によっては画質劣化が大きくなり、蓄積された画像の再利用性が著しく損なわれる場合がある。
そこで、本発明が解決しようとする課題は、蓄積画像の再利用性と画像記憶装置の空き容量の確保とを両立させることにある。
前記目的を達成するため、本発明の第1の手段は、電子化された画像データを記憶する記憶手段と、入力され、あるいは記憶された画像データに対して所定の画像処理を施す画像処理手段とを有する画像処理装置において、前記記憶手段に記憶された画像データを画像特徴に基づいて複数のカテゴリに分類する画像分類手段と、前記画像を出力する際の出力設定情報の履歴を前記画像データと併せて前記記憶手段に記憶させ、前記画像分類手段で分類されたカテゴリに含まれる画像の出力設定情報の履歴に基づいて、前記記憶手段に記憶された画像データのデータ量を低減させるデータ低減手段と、を備えていることを特徴とする。
第2の手段は、第1の手段において、前記画像分類手段は画像の文書種類に基づいて分類することを特徴とする。
第3の手段は、第1の手段人おいて、前記画像分類手段は画像の色情報に基づいて分類することを特徴とする。
第4の手段は、第1ないし第3のいずれかの手段において、前記データ低減手段が、前記画像分類手段で分類されたカテゴリ毎に、前記記憶手段に記憶された画像データのデータ量を低減させる度合いを切り替えることを特徴とする。
第5の手段は、第1ないし第3のいずれかの手段において、前記データ低減手段が、前記画像分類手段で分類されたカテゴリ毎に、前記記憶手段に記憶された画像データのデータ量を低減させる処理を切り替えることを特徴とする。
第6の手段は、第1ないし第3のいずれかの手段において、前記データ低減手段が、前記記憶手段に記憶された画像データの出力回数が所定回数以上である場合には、前記画像分類手段で分類されたカテゴリに含まれる画像の出力設定情報の履歴によらず、その画像の出力設定情報の履歴のみに基づいて、前記画像データのデータ量を低減させることを特徴とする。
第7の手段は、第1ないし第6のいずれかの手段において、前記データ低減手段が、前記記憶手段に記憶可能なデータ量を基に、前記記憶手段に記憶された画像のデータ量を低減させる処理を施すか否かを決定することを特徴とする。
第8の手段は、第1ないし第6のいずれかの手段において、前記データ低減手段が、前記記憶手段に画像データが記憶されてからの経過時間に基づいて画像データのデータ量を低減させる処理を施すか否かを決定することを特徴とする。
第9の手段は、第7又は第8の手段において、前記記憶手段に記憶された画像データのデータ量を低減させるか否かを予め設定する手段を備えていることを特徴とする。
第10の手段は、第1ないし第9のいずれかの手段に係る画像処理装置と、前記画像処理装置によって処理された画像データに基づいて可視画像を出力する画像出力手段と、を備えた画像形成装置を特徴とする。
第11の手段は、電子化された画像データを記憶する記憶手段と、入力され、あるいは記憶された画像データに対して所定の画像処理を施す画像処理手段とを有し、入力された画像データを前記記憶手段に記憶させる画像の記憶方法において、前記記憶手段に記憶された画像データを画像特徴に基づいて複数のカテゴリに分類し、画像を出力する際の出力設定情報の履歴を画像データと併せて前記記憶手段に記憶し、前記分類されたカテゴリに含まれる画像の出力設定情報の履歴に基づいて、前記記憶手段に記憶された画像データのデータ量を低減させることを特徴とする。
第12の手段は、電子化された画像データを記憶する記憶手段と、入力され、あるいは記憶された画像データに対して所定の画像処理を施す画像処理手段とを有し、入力された画像データを前記記憶手段に記憶させる制御をコンピュータによって実行するためのコンピュータプログラムにおいて、前記記憶手段に記憶された画像データを画像特徴に基づいて複数のカテゴリに分類する手順と、画像を出力する際の出力設定情報の履歴を画像データと併せて前記記憶手段に記憶する手順と、前記分類されたカテゴリに含まれる画像の出力設定情報の履歴に基づいて、前記記憶手段に記憶された画像データのデータ量を低減させる手順と、を備えていることを特徴とする。
なお、後述の実施形態では、記憶手段はHDD5に、画像処理手段は第1の画像処理装置2または第2の画像処理装置4に、画像分類手段及びデータ低減手段はCPU6に、データ量を低減させるか否かを予め設定する手段は操作表示装置10に、画像出力装置はプロッタ装置9に、それぞれ対応する。また、第1の手段は実施例1ないし5に、第2の手段は実施例1ないし3に、第3の手段は実施例4に、第4の手段は実施例1及び2に、第5の手段は実施例3に、第6の手段は実施例5に、第7ないし第10の手段は実施例1に、第11及び第12の手段は実施例1ないし5にそれぞれ記載されている。
本発明によれば、蓄積画像の再利用性と画像データを記憶する記憶装置の空き容量の確保とを両立させることができ、画像毎に最適な方法で蓄積する画像のデータ量を低減させることができる。
以下、本発明の実施形態について、図面を参照しながら説明する。
図1は本発明の実施形態に係るデジタル複合機(MFP−Multi Function Peripheral)の全体構成を示す図である。このデジタル複合機は、複数の画像処理機能を備えたものである。
図1において、デジタル複合機は、読み取り装置(スキャナ)1、第1及び第2の画像データ処理装置2,4、バス制御装置3、HDD5、CPU6、メモリ7、プロッタI/F装置8、プロッタ装置9、操作表示装置10、回線I/F装置11、外部I/F装置12、S.B.(South Bridge)13、及びROM14を備えている。
読み取り装置1は、原稿をスキャンすることにより得られる原稿の濃淡情報から、RGB信号による各8ビットの600dpiのデジタル画像データを生成して出力するスキャナである。第1の画像データ処理装置2は、読み取り装置1からのデジタル画像データに対して、後述する画像処理を施して出力する。バス制御装置3は、デジタル複合機内で必要な画像データや制御コマンド等の各種データの授受を制御する。第2の画像データ処理部4は、第1の画像データ処理装置2で処理されたデジタル画像データに対して、後述する画像処理を施して出力する。HDD5は、デジタル画像データ及びデジタル画像データの付帯情報を蓄積するための磁気ディスク装置等の大容量記憶装置である。
CPU6は、本デジタル複合機の制御全体を司る制御手段としてのマイクロプロセッサである。メモリ7は、CPU6がデジタル複合機の制御を行う際に、プログラムや中間処理データを一時的に記憶するために使用される揮発性メモリである。なお、CPU6はHDD5の駆動制御及びメモリ制御も司り、後述の制御はCPU6が図示しないROMに格納されたプログラムを読み出し、前記メモリ7に展開して実行することにより実施される。
プロッタI/F装置8は、CPU6から送られてくるCMYKのデジタル画像データを受け取り、プロッタ装置9に出力する専用のインターフェース装置である。プロッタ装置9は、CMYKのデジタル画像データを受け取り、受け取った画像データを転写紙に画像を出力する装置である。プロッタ装置9としては、レーザービームを用いた電子写真プロセス等の他に、インクジェットプリンタ、ジェルジェットプリンタのような液状の媒体を使用して印字出力するものなど、公知の方式の印字手段を備えた印字装置を含む。
S.B.13は、South Bridgeと呼ばれるバスのブリッジ機能を汎用回路化したものである。ROM14は、CPU6が本発明の実施形態によるデジタル複合機の制御を行う際のプログラムが格納されるメモリである。操作表示装置10は、デジタル複合機とユーザとのインターフェースを行う部分であり、LCD(液晶表示装置)とキースイッチとから構成され、装置の各種の状態や操作方法をLCDに表示し、ユーザからのキースイッチによる入力を検知する。
また、回線I/F装置11は、デジタル複合機(MFP)と、該デジタル複合機外に存在するFAX15との間で、電話回線等を介し、画像データの授受を行う。外部I/F装置12は、デジタル複合機(MFP)と、該デジタル複合機外にあるPC16との間で、ネットワーク(イーサネット(登録商標)等)を介して、各種制御データや画像データの入出力を行う。
ユーザは、読み取り装置1で原稿をスキャンする際に、操作表示装置10から画像の地肌除去機能やソフト/シャープ機能(画像を滑らかにするかくっきりさせるか)等のプロッタ装置9から出力される画像やネットワークを通じて外部のPC16等に配信する画像の画質を調整することが可能である。これらの画質調整機能は第1の画像データ処理装置2の色変換処理やフィルタ処理において実現される。これらの画質設定機能の設定、出力カラーモードの設定、出力解像度(変倍率)の設定は、HDD5に画像データと共に出力履歴情報として記憶される。
また、HDD5に記憶される画像データには、原稿をスキャンする際に設定した画質調整機能、出力カラーモード、出力解像度の設定に応じた処理は施されていないので、原稿をスキャンする際の設定とは別の設定で、HDD5に蓄積された画像を再利用することも可能である。この再利用する際の画質調整機能、出カラーモード、出力解像度の設定もHDD5に画像データと共に出力履歴情報として記憶される。
図2は第1の画像データ処理装置2の構成を示すブロック図である。第1の画像データ処理装置2は、スキャナγ変換21と、色変換22との各処理手段を備えて構成される。
前述において、スキャナγ変換部21は、RGB信号による各8ビットの読み取り画像データに対してγ変換を行い、グレーバランスを合わせたり、階調特性を変換したりする。また、色変換部22は、入力された画像データを、予め決められた特性の色空間のRGBデータに変換して出力する。この色空間は、例えば、Adobe社が定義したAdobe−RGB空間のようなものである。
読み取り装置1から出力された600dpiのRGB信号による画像データは、JEPG等の圧縮技術により圧縮されてHDD5に記憶される。JEPGによる圧縮では、圧縮率と画質とがクオリティファクター(Q値)によって決まり、Q値が大きいほど画質は良いが圧縮率は悪くなる。本発明の実施形態での画像データ処理装置は、読み取り装置1から出力された画像データを、低圧縮率(例えばQ値=90)で圧縮し、画質劣化を抑えてHDD5に蓄積する。
第2の画像データ処理装置4には、伸張処理が施された600dpiのRGB信号による画像データが入力される。なお、本発明の実施形態でのJPEGによる圧縮、伸張の処理は、CPU6がプログラムを実行することにより行われる。
図3は第2の画像データ処理装置4の構成を示すブロック図である。第2の画像データ処理装置4は、地肌除去処理部31、フィルタ処理部32、変倍部33、色変換部34、及び階調処理部35の各処理部を備えている。
図3において、地肌除去処理部31は、地肌除去処理の設定がされている場合に、画像の地肌部分の除去を行う。具体的にいえば、地肌除去処理部31は、画像の低濃度部分のみを除去する。フィルタ処理部32は、画像の絵柄部を滑らかにするための平滑化、及び文字部をくっきりさせるためのエッジ強調を行う。変倍部33は、画像データを出力の解像度や画像サイズの変換を行うための画像の拡大、縮小の処理を行う。色変換部34は、RGB信号による各8ビットの画像データをプロッタ装置9の色空間であるCMYK信号による各8ビット(モノクロ出力する場合にはK信号のみ)のデータに変換する。階調処理部35は、CMYK信号による各8ビットのデータをプロッタ装置9の階調数(例えば、CMYK信号による各2ビット)に変換するために、ディザ処理や誤差拡散処理等の疑似中間調処理を行う。
なお、ネットワークを通じて外部のPC等にカラー画像として配信する場合には、色変換34において、sRGB空間等のRGBデータに変換し、そのRGBデータを配信する。また、ネットワークを通じて外部のPC等にモノクロの2値画像として配信する場合には、色変換34において、グレースケールに変換し、階調処理35によりディザ処理や誤差拡散処理等の疑似中間調処理、あるいは、単純2値化処理を行って、そのモノクロの2値画像データを配信する。
大略上記のように構成された読み取り装置1でユーザが原稿をスキャンする際に、操作表示装置10から濃度調整機能、あるいはシャープネス調整機能など、プロッタ装置9から出力される画像、さらにはネットワークを通じて外部のPC16などに配信する画像の画質を調整することが可能である。この画質調整機能は前記第2の画像データ処理装置4のフィルタ処理部32や色変換処理部34において実現される。
これらの画質調整機能の設定や、出力カラーモードの設定、出力解像度(変倍率)の設定は、HDD5に画像データと共に出力履歴情報として記憶される。また、HDD5には、原稿をスキャンする際に設定した画質調整機能、出力カラーモード、出力解像度の設定に応じた処理は施されていないので、原稿をスキャンする際の設定とは別の設定で、HDD5に蓄積された画像を再利用することも可能である。この再利用する際の画質調整機能、出力カラーモード、出力解像度の設定もHDD5に画像データと共に出力履歴情報として記憶される。
以下、各実施例毎にHDD5に蓄積された画像のデータ量を低減させるための処理について説明する。
図4は、実施例1ないし4に係るHDD5に蓄積された画像のデータ量を低減させるための処理手順を示すフローチャートである。このフローチャートでは、まず、HDD5に蓄積された所謂蓄積画像に対して、予め定められた画像特徴に基づいた複数のカテゴリのうち、どのカテゴリに入るかを判定する(ステップS1)。このカテゴリ判定はHDD5に画像(のデータ−以下、同様)を蓄積する時点で行われ、画像と共に付帯情報の1つとして記憶される。本実施例では、文字文書、写真文書、混在文書の3種類の文書種類のカテゴリに分類する。このカテゴリ判定の詳細については後述する。
また、画像がHDD5に蓄積された日時も画像と共に付帯情報の1つとしてHDD5に記憶される。この日時を基に蓄積時からの経過時間が所定時間T1(例えば1ヶ月)以上かを判定する(ステップS2)。画像が蓄積されてからの経過時間が長くなるほど、その蓄積画像が再利用される可能性は低くなると考えられるので、経過時間が所定時間未満の蓄積画像に対しては、再利用時の画質を重視してデータ量を低減させる処理は行わず、この処理を終える(ステップS2−no)。
蓄積されてから所定時間以上経過している蓄積画像に対しては(ステップS2−yes)、CPU6は判定されたカテゴリに含まれる全蓄積画像の出力履歴情報を取得する(ステップS3)。上述したように、HDD5には画像(のデータ)と共に出力履歴情報も記憶している。本実施例では、出力履歴情報のうち、出力解像度の履歴情報のみを取得する。具体的には、判定されたカテゴリに含まれる蓄積画像の出力解像度の履歴情報から、以下の出力回数を求める。すなわち、
(1)「出力解像度≦200dpi」である回数N1
(2)「200dpi<出力解像度≦400dpi」である回数N2
(3)「400dpi<出力解像度」である回数N3
である。そして、こうして求めたカテゴリ毎の出力解像度の履歴情報に基づいて、蓄積画像のデータ量を低減させる処理を行う(ステップS4)。データ量を低減させる方法の詳細については後述する。このようにしてデータ量が低減された画像がHDD5に蓄積される。
ステップS1におけるカテゴリ判定は以下のようにして行われる。
前述したように、本実施例では、文字文書、写真文書、混在文書の3種類の文書種類のカテゴリに分類する。蓄積画像に対してレイアウト解析を行うことで、この分類を行うことが可能である。レイアウト解析は、OCR処理の前処理等でよく使用されており、そのための様々な手法が公開されている。レイアウト解析には、それら公知の手法を用いることができる。例えば特開2001−297303号公報に開示されていような、文書画像の背景色を特定し、その背景色を用いて文書画像から背景領域以外の画素を抽出し、該画素を統合して連結成分を生成し、該連結成分を少なくとも形状特徴を用いて所定の領域に分類することにより、文字領域や写真領域を識別する手法を用いることができる。
また、文字領域識別に、例えば特開平7−73271号公報に開示されているような、適応的な2値化処理を行ったのちに外接矩形の形状を利用して文字領域を識別する手法を用いることもできる。また、例えば特開平7−221968号公報に開示されているような、画像の黒領域の隣接関係を解析して長方形に分離し、この長方形の大きさや黒領域の分布密度に基づいて画像の文字、写真、図形(グラフィックス)、表の各領域を識別する手法を用いることもできる。このような公知の手法(又はその組み合わせ)を用いることにより、文字領域、写真領域、図形領域、表領域等の属性毎の領域に分割することができる。
レイアウト解析の例を図6に示す。(a)の例では、文字領域L1,L2,L3のみの3つの領域に分割されている。(b)の例では、文字領域L11,L12,L13,L14、図形領域D1、写真領域P1の6つの領域に分割されている。(c)の例では、図形領域D11と写真領域P11の2つの領域に分割されている。このレイアウト解析結果を基に、蓄積画像の文書種類を判定する。レイアウト解析の結果、図6(a)のように文字領域のみが存在する場合には「文字文書」と判定する。また、(b)のように文字領域とその他の領域(図形領域や写真領域)が混在する場合には「混在文書」と判定する。(c)のように文字領域が含まれずにその他の領域(図形領域や写真領域)のみが存在する場合には「写真文書」と判定する。
ステップS4におけるデータ量を低減させる処理は、以下のようにして行われる。
ステップS4では、ステップS3で取得したカテゴリ毎の出力解像度の履歴情報から、以下のようにデータ量を低減する。
(1)「出力解像度≦200dpi」である回数N1が最も多い場合
600dpiの蓄積画像を200dpiに解像度変換する。
(2)「200dpi<出力解像度≦400dpi」である回数N2が最も多い場合
文字文書の場合は、600dpiの蓄積画像を400dpiに解像度変換する。
混在文書の場合は、600dpiの蓄積画像を300dpiに解像度変換する。
写真文書の場合は、600dpiの蓄積画像を200dpiに解像度変換する。
(3)「400dpi<出力解像度」である回数N3が最も多い場合
文字文書の場合は、600dpiのまま解像度変換しない。
混在文書の場合は、600dpiの蓄積画像を500dpiに解像度変換する。
写真文書の場合は、600dpiの蓄積画像を400dpiに解像度変換する。
この解像度変換は、第2の画像データ処理装置4の変倍部33のみを動作させることによって行うことも、あるいは、CPU6でプログラムを実行することで行うことも可能である。
このように、同じ文書種類の画像がどのように出力されることが多いかによって、データ量の低減度合いを決定している。また、文字文書は解像度を低くすると、文字の可読性が悪くなるため、再利用性を確保するために、できるだけ解像度の低下度合いを抑えている。
以上のように、本実施例によれば、
(1)画像特徴が似た画像の出力履歴情報を分析し、実際の使われ方(利用傾向)に基づいて蓄積画像のデータ量の低減化処理を施すように制御を行うことにより、蓄積画像の再利用性を確保しながら、HDD5等の記憶装置の空き容量を確保することができる。
(2)画像特徴が似た文書であれば利用傾向も似たものになると考えられるので、対象の蓄積画像の出力履歴情報だけでなく、その画像と同じ画像特徴を持つ蓄積画像の出力履歴情報を用いることにより、再利用性をより確実に確保することができる。
等の効果を奏する。
なお、本実施例ではレイアウト解析から文書種類を文字文書、写真文書、混在文書の3種類に分類したが、例えば、表が含まれているか否か、あるいは混在文書の場合の文字領域の比率などを用いて、より細かく分類しても良い。
また、ステップS2では、画像の蓄積開始からの経過時間を判定の基準としているが、その画像を最後に出力したときからの経過時間を判定の基準とすることもできる。あるいは、HDD5の空き容量が所定容量以下であるか否かを判定し、所定容量以下の場合にのみ、ステップS2以降の画像のデータ量を低減させる処理を実行するようにすることもできる。さらに、蓄積画像のデータ量を低減させる処理を行うか否かを、操作表示装置10からの使用者の選択入力によって決定するように構成にすることも可能である。その際、画像毎に前記処理を設定可能とすることにより、長期間にわたって再利用する重要な画像は画質劣化させずに残しておくことができる。
以下、実施例2について説明する。
図4において、まず、HDD5に蓄積された所謂蓄積画像に対して、予め定められた画像特徴に基づいた複数のカテゴリのうち、どのカテゴリに入るかを判定する(ステップS1)。このカテゴリ判定は前記実施例1で説明した通りであり、文字文書、写真文書、混在文書の3種類の文書種類のカテゴリに分類する。次いで、実施例1と同様に画像が蓄積されたからの経過時間を所定(基準)時間T1と比較し、蓄積時間が所定時間T1を経過したときには、ステップS3で、判定されたカテゴリに含まれる全蓄積画像の出力履歴情報として、出力解像度が300dpi以下である比率A%(=300dpi以下での出力回数/総出力回数)を取得する。
ステップS4では、この300dpi以下の出力比率A%に基づいて、
(1)蓄積画像のカテゴリが文字文書の場合
A>80%の場合は、600dpiの蓄積画像を300dpiに解像度変換する。
80%≧A>50%の場合は、600dpiの蓄積画像を400dpiに解像度変換する。
それ以外の場合は、600dpiのまま解像度変換しない
(2)蓄積画像のカテゴリが写真文書の場合
A>50%の場合は、600dpiの蓄積画像を200dpiに解像度変換する。
それ以外の場合は、600dpiの蓄積画像を300dpiに解像度変換する。
(3)蓄積画像のカテゴリが混在文書の場合
A>50%の場合は、600dpiの蓄積画像を300dpiに解像度変換する。
それ以外の場合は、600dpiの蓄積画像を400dpiに解像度変換する。
というように処理し、蓄積画像のデータ量を低減させる。
以上のような制御により、実施例1と同様に、蓄積画像の再利用性を確保しながら、HDD等の記憶装置の空き容量を確保することができる。
以下、実施例3について説明する。
図4において、まず、HDD5に蓄積された所謂蓄積画像に対して、予め定められた画像特徴に基づいた複数のカテゴリのうち、どのカテゴリに入るかを判定する(ステップS1)。このカテゴリ判定は前記実施例1で説明した通りであり、文字文書、写真文書、混在文書の3種類の文書種類のカテゴリに分類する。次いで、ステップS2で実施例1と同様に画像が蓄積されたからの経過時間を所定(基準)時間T1と比較し、蓄積時間が所定時間T1を経過したときには、ステップS3で、判定されたカテゴリに含まれる全蓄積画像の出力履歴情報として、出力解像度が300dpi以下である比率A%(=300dpi以下での出力回数/総出力回数)、出力カラーモードがモノクロモードである比率B%(=モノクロモードでの出力回数/総出力回数)、濃度調整機能あるいはシャープネス調整機能などの画質調整機能の使用比率C%(=画質調整機能を使用した出力回数/総出力回数)を取得する。
ステップS4では、これらの情報に基づいて、
(1)蓄積画像のカテゴリが写真文書の場合
A>50%の場合は、600dpiの蓄積画像を200dpiに解像度変換する。
A≦50%の場合は、600dpiの蓄積画像を300dpiに解像度変換する。
C≦50%の場合は、Q値=80で再圧縮する。
C>50%の場合は、Q値=90のままとする。
(2)蓄積画像のカテゴリが文字文書の場合
A>80%の場合は、600dpiの蓄積画像を300dpiに解像度変換する。
50%<A≦80%の場合は、600dpiの蓄積画像を400dpiに解像度変換する。
A≦50%の場合は、600dpiのまま解像度変換しない。
B>50%の場合は、モノクロ画像に色変換する。
30%<B≦50%の場合は、インデックスカラー画像に色変換する。
B≦30%の場合は、フルカラー画像のまま色変換しない。
C≦50%の場合は、Q値=50で再圧縮する。
C>50%の場合は、Q値=70で再圧縮する。
(3)蓄積画像のカテゴリが混在文書の場合
A>50%の場合は、600dpiの蓄積画像を300dpiに解像度変換する。
A≦50%の場合は、600dpiの蓄積画像を400dpiに解像度変換する。
B>80%の場合は、モノクロ画像に色変換する。
B≦80%の場合は、フルカラー画像のまま色変換しない。
C≦50%の場合は、Q値=60で再圧縮する。
C>50%の場合は、Q値=80で再圧縮する。
というように処理し、蓄積画像のデータ量を低減させる。
ここで、出力履歴情報のうち、画質調整機能の使用比率に基づいて圧縮率を変更しているのは、濃度調整機能やシャープネス調整機能などの画質調整機能を使用して画像出力しているケースでは画質に対する要求が高いと考えられるからである。そこで、画質調整機能の使用率が高い場合には、あまり圧縮率を下げないようにしている。
また、文字文書は解像度を低くすると、文字の可読性が悪くなるが、圧縮率を上げても(Q値を小さくしても)、圧縮ノイズは増えるが文字の可読性は保たれる。また、モノクロ画像となっても文字の可読性には影響がない。一方、写真文書は解像度を低くしても影響は少ないが、圧縮率を上げると、圧縮ノイズ(特にJPEG圧縮ではブロックノイズ)が目立ち、画質が大きく劣化する。これらのことを考慮して、画像のデータ量を低減する処理方法とその度合いを画像のカテゴリによって変えている。
以上のように、本実施例によれば、複数の項目の出力履歴情報を用いて解像度変換と再圧縮を行うので、再利用性をより確実に確保しながら、HDD等の記憶装置の空き容量を確保することができる。
以下、実施例4について説明する。
図4において、まず、HDD5に蓄積された所謂蓄積画像に対してステップS1のカテゴリ判定を実行する。実施例4のカテゴリ判定は、画像中のカラー比率に基づき、カラー比率を低/中/高の3種類のカテゴリに分類する。具体的には、まず、画像の各画素が有彩色か無彩色かを判定する。各画素の彩度Sを
S=Max(R,G,B)−Min(R,G,B)
から求め、彩度Sが所定値以上の場合は有彩色、所定値未満の場合は無彩色と判定する。この判定を全画素に対して行い、
カラー比率=(有彩色の画素数/全画素数)×100 [%]
としてカラー比率を求める。
そして、カラー比率が
(1)10%未満のときカラー比率=低、
(2)10%以上30%未満のときカラー比率=中
(3)30%以上のときカラー比率=高
として、3種類のカテゴリに分類する。
次いで、ステップS2で実施例1と同様に画像が蓄積されたからの経過時間を所定(基準)時間T1と比較し、蓄積時間が所定時間T1を経過したときには、ステップS3で、実施例3と同様に、判定されたカテゴリに含まれる全蓄積画像の出力履歴情報として、出力解像度が300dpi以下である比率A%(=300dpi以下での出力回数/総出力回数)、出力カラーモードがモノクロモードである比率B%(=モノクロモードでの出力回数/総出力回数)、濃度調整機能やシャープネス調整機能などの画質調整機能の使用比率C%(=画質調整機能を使用した出力回数/総出力回数)を取得する。
ステップS4では、これらの情報に基づいて、蓄積画像のデータ量を低減させる。すなわち、
(1)カラー比率=低の場合
文字文書である可能性が高いので、
A>80%の場合は、600dpiの蓄積画像を300dpiに解像度変換する。
50%<A≦80%の場合は、600dpiの蓄積画像を400dpiに解像度変換する。
A≦50%の場合は、600dpiのまま解像度変換しない。
B>50%の場合は、モノクロ画像に色変換する。
30%<B≦50%の場合は、インデックスカラー画像に色変換する。
B≦30%の場合は、フルカラー画像のまま色変換しない。
C≦50%の場合は、Q値=50で再圧縮する。
C>50%の場合は、Q値=70で再圧縮する。
(2)カラー比率=中の場合
混在文書である可能性が高いので
A>50%の場合は、600dpiの蓄積画像を300dpiに解像度変換する。
A≦50%の場合は、600dpiの蓄積画像を400dpiに解像度変換する。
B>80%の場合は、モノクロ画像に色変換する。
B≦80%の場合は、フルカラー画像のまま色変換しない。
C≦50%の場合は、Q値=60で再圧縮する。
C>50%の場合は、Q値=80で再圧縮する。
(3)カラー比率=高の場合
写真文書である可能性が高いので、
A>50%の場合は、600dpiの蓄積画像を200dpiに解像度変換する。
A≦50%の場合は、600dpiの蓄積画像を300dpiに解像度変換する。
C≦50%の場合は、Q値=80で再圧縮する。
C>50%の場合は、Q値=90のままとする。
というように処理し、蓄積画像のデータ量を低減させる。
以上のように、本実施例によれば、カラー比率による画像カテゴリの判定は、レイアウト解析を用いた判定などに比べて処理が簡単なので、簡単な判定処理に基づいて実施例3と同様の解像度変換と再圧縮を行うことが可能となり、再利用性をより確実に確保しながら、HDD5(記憶装置)の空き容量を確保することができる。
以下、実施例5について説明する。
本実施例5は、対象の蓄積画像の出力回数が多い場合には、対象の蓄積画像の使用履歴のみからデータ量低減方法を決めるようにした例である。図5は実施例5における処理手順を示すフローチャートである。
図5において、まず、HDD5に蓄積された所謂蓄積画像に対して、予め定められた画像特徴に基づいた複数のカテゴリのうち、どのカテゴリに入るかを判定する(ステップS11)。このカテゴリ判定は前記実施例1のステップS1で説明した通りであり、文字文書、写真文書、混在文書の3種類の文書種類のカテゴリに分類する。次いで、ステップS12で実施例1と同様に画像が蓄積されたからの経過時間を所定(基準)時間T1と比較し、蓄積時間が所定時間T1を経過したときには、ステップS13で、対象の蓄積画像の出力回数が所定回数M以上か否かを判定する。M未満であるときには、ステップS16,S17へ処理を移行する。このステップS16,S17は図4のステップS3及びS4の処理と同じであり、判定されたカテゴリに含まれる全蓄積画像の出力履歴情報を取得し、その情報に基づいて蓄積画像のデータ量を低減する。
一方、ステップS13で対象の蓄積画像の出力回数がM以上であるときには、ステップS14及びS15へと処理を移行する。ステップS14では、対象の蓄積画像の出力履歴情報を取得し、ステップS15ではその情報に基づいて蓄積画像のデータ量を低減する。ステップS15及びS17における具体的な画像データの低減化処理は、実施例1ないし4で説明した処理を適宜採用する。
以上のように、対象の蓄積画像の出力回数が多い場合には、その蓄積画像がどのように出力されることが多いかが明確であるので、その画像の出力履歴情報のみからデータ量の低減化方法やその度合いを決定することにより、蓄積画像の再利用性を確保しながら、HDD等の記憶装置の空き容量を確保することができる(ステップS13−yes,S14,S15)。逆に、対象の蓄積画像の出力回数が少ない場合には、その蓄積画像がどのように出力されることが多いかが明確でないので、その画像と同じ画像特徴を持つ蓄積画像の出力履歴情報を用いて対象画像のデータ量の低減化方法やその度合いを決定することにより、再利用性を確実に確保することができる(ステップS13−no,S16,S17)。
なお、本発明は本実施形態に限定されるものではなく、特許請求の範囲に記載された技術思想に含まれる技術的事項の全てが対象となることはいうまでもない。
以上のように、本実施形態によれば、
(1)画像特徴が類似した他の蓄積画像も含めた使用履歴に基づいて蓄積画像のデータ量を低減させるので、蓄積画像の再利用性とHDD5の空き容量の確保の両立を図ることができる。
(2)蓄積画像の文書種類に基づいたカテゴリに分類するので、文書種類毎に最適な方法あるいは度合いでデータ量を低減させることができる。
(3)蓄積画像のカラー比率に基づいたカテゴリに分類するので、カラー比率毎に最適な方法あるいは度合いでデータ量を低減させることができる。
(4)蓄積画像の画像特徴に基づいたカテゴリ毎にデータ量を低減させる度合いを設定するので、画像毎に最適な度合いでデータ量を低減させることができる。
(5)蓄積画像の画像特徴に基づいたカテゴリ毎にデータ量を低減させる処理を設定するので、画像毎に最適な処理でデータ量を低減させることができる。
(6)蓄積画像の再利用回数が多い場合には、画像特徴が類似した他の蓄積画像の使用履歴にかかわらず、その画像の使用履歴のみに基づいてデータ量を低減させるので、その画像の再利用に対して最適な方法あるいは度合いでデータ量を低減させることができる。
(7)画像記憶装置の記憶可能なデータ量に基づいて蓄積画像のデータ量を低減させる処理を施すか否かを決定するので、HDD5の空き容量が少なくなった場合にのみ、画像のデータ量を低減させることができる。
(8)画像が記憶されてからの経過時間に基づいて蓄積画像のデータ量を低減させる処理を施すか否かを決定するので、HDD5に蓄積されてからの時間が長い画像に対してのみ、画像のデータ量を低減させることができる。
(9)蓄積画像のデータ量を低減させるか否かを予め設定することができるので、重要な画像は画質劣化させずに残しておくことが可能となる。
等の効果を奏する。
本発明の実施形態に係るデジタル複合機(MFP)の全体の構成を示すブロック図である。 第1の画像データ処理装置の構成を示すブロック図である。 第2の画像データ処理装置の構成を示すブロック図である。 実施例1ないし4における処理手順を示すフローチャートである。 実施例5における処理手順を示すフローチャートである。 文字文書、写真文書、混在文書の文書種類のカテゴリに分類するときのレイアウト解析を説明するための図である。
符号の説明
1 読み取り装置
2 第1の画像データ処理装置
3 バス制御装置
4 第2の画像データ処理装置
5 HDD
6 CPU
7 メモリ
8 プロッタI/F装置
9 プロッタ装置
10 操作表示装置

Claims (12)

  1. 電子化された画像データを記憶する記憶手段と、入力され、あるいは記憶された画像データに対して所定の画像処理を施す画像処理手段とを有する画像処理装置において、
    前記記憶手段に記憶された画像データを画像特徴に基づいて複数のカテゴリに分類する画像分類手段と、
    前記画像を出力する際の出力設定情報の履歴を前記画像データと併せて前記記憶手段に記憶させ、前記画像分類手段で分類されたカテゴリに含まれる画像の出力設定情報の履歴に基づいて、前記記憶手段に記憶された画像データのデータ量を低減させるデータ低減手段と、
    を備えていることを特徴とする画像処理装置。
  2. 請求項1記載の画像処理装置において、
    前記画像分類手段は、画像の文書種類に基づいて分類することを特徴とする画像処理装置。
  3. 請求項1記載の画像処理装置において、
    前記画像分類手段は、画像の色情報に基づいて分類することを特徴とする画像処理装置。
  4. 請求項1ないし3のいずれか1項に記載の画像処理装置において、
    前記データ低減手段は、前記画像分類手段で分類されたカテゴリ毎に、前記記憶手段に記憶された画像データのデータ量を低減させる度合いを切り替えることを特徴とする画像処理装置。
  5. 請求項1ないし3のいずれか1項に記載の画像処理装置において、
    前記データ低減手段は、前記画像分類手段で分類されたカテゴリ毎に、前記記憶手段に記憶された画像データのデータ量を低減させる処理を切り替えることを特徴とする画像処理装置。
  6. 請求項1ないし3のいずれか1項に画像処理装置において、
    前記データ低減手段は、前記記憶手段に記憶された画像データの出力回数が所定回数以上である場合には、前記画像分類手段で分類されたカテゴリに含まれる画像の出力設定情報の履歴によらず、その画像の出力設定情報の履歴のみに基づいて、前記画像データのデータ量を低減させることを特徴とする画像処理装置。
  7. 請求項1ないし6のいずれか1項に記載の画像処理装置において、
    前記データ低減手段は、前記記憶手段に記憶可能なデータ量を基に、前記記憶手段に記憶された画像のデータ量を低減させる処理を施すか否かを決定することを特徴とする画像処理装置。
  8. 請求項1ないし6のいずれか1項に記載の画像処理装置において、
    前記データ低減手段は、前記記憶手段に画像データが記憶されてからの経過時間に基づいて画像データのデータ量を低減させる処理を施すか否かを決定することを特徴とする画像処理装置。
  9. 請求項7又は8記載の画像処理装置において、
    前記記憶手段に記憶された画像データのデータ量を低減させるか否かを予め設定する手段を備えていることを特徴とする画像処理装置。
  10. 請求項1ないし9のいずれか1項に記載の画像処理装置と、
    前記画像処理装置によって処理された画像データに基づいて可視画像を出力する画像出力手段と、
    を備えていることを特徴とする画像形成装置。
  11. 電子化された画像データを記憶する記憶手段と、入力され、あるいは記憶された画像データに対して所定の画像処理を施す画像処理手段とを有し、入力された画像データを前記記憶手段に記憶させる画像の記憶方法において、
    前記記憶手段に記憶された画像データを画像特徴に基づいて複数のカテゴリに分類し、
    画像を出力する際の出力設定情報の履歴を画像データと併せて前記記憶手段に記憶し、
    前記分類されたカテゴリに含まれる画像の出力設定情報の履歴に基づいて、前記記憶手段に記憶された画像データのデータ量を低減させること
    を特徴とする画像の記憶方法。
  12. 電子化された画像データを記憶する記憶手段と、入力され、あるいは記憶された画像データに対して所定の画像処理を施す画像処理手段とを有し、入力された画像データを前記記憶手段に記憶させる制御をコンピュータによって実行するためのコンピュータプログラムにおいて、
    前記記憶手段に記憶された画像データを画像特徴に基づいて複数のカテゴリに分類する手順と、
    画像を出力する際の出力設定情報の履歴を画像データと併せて前記記憶手段に記憶する手順と、
    前記分類されたカテゴリに含まれる画像の出力設定情報の履歴に基づいて、前記記憶手段に記憶された画像データのデータ量を低減させる手順と、
    を備えていることを特徴とするコンピュータプログラム。
JP2008220295A 2008-08-28 2008-08-28 画像処理装置、画像形成装置、画像の記憶方法、及びコンピュータプログラム Expired - Fee Related JP5106318B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008220295A JP5106318B2 (ja) 2008-08-28 2008-08-28 画像処理装置、画像形成装置、画像の記憶方法、及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008220295A JP5106318B2 (ja) 2008-08-28 2008-08-28 画像処理装置、画像形成装置、画像の記憶方法、及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2010056946A true JP2010056946A (ja) 2010-03-11
JP5106318B2 JP5106318B2 (ja) 2012-12-26

Family

ID=42072384

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008220295A Expired - Fee Related JP5106318B2 (ja) 2008-08-28 2008-08-28 画像処理装置、画像形成装置、画像の記憶方法、及びコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP5106318B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011114668A1 (ja) * 2010-03-18 2011-09-22 パナソニック株式会社 データ処理装置およびデータ処理方法
JP2012053851A (ja) * 2010-09-03 2012-03-15 Seiren Co Ltd 出力画像データを作成し出力するためのコンピュータプログラム及び情報処理装置
JP2012066519A (ja) * 2010-09-24 2012-04-05 Kyocera Mita Corp 画像形成装置
JP2013132038A (ja) * 2011-06-23 2013-07-04 Riso Kagaku Corp 画像処理装置および上位装置
JP2017085453A (ja) * 2015-10-30 2017-05-18 京セラドキュメントソリューションズ株式会社 画像処理装置、画像処理方法及び制御プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02292672A (ja) * 1989-05-01 1990-12-04 Fuji Xerox Co Ltd 画像ファイリング装置
JPH0730732A (ja) * 1993-07-06 1995-01-31 Konica Corp 画像データ処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02292672A (ja) * 1989-05-01 1990-12-04 Fuji Xerox Co Ltd 画像ファイリング装置
JPH0730732A (ja) * 1993-07-06 1995-01-31 Konica Corp 画像データ処理装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011114668A1 (ja) * 2010-03-18 2011-09-22 パナソニック株式会社 データ処理装置およびデータ処理方法
CN102428705A (zh) * 2010-03-18 2012-04-25 松下电器产业株式会社 数据处理装置以及数据处理方法
CN102428705B (zh) * 2010-03-18 2014-12-24 松下电器(美国)知识产权公司 数据处理装置以及数据处理方法
US9113173B2 (en) 2010-03-18 2015-08-18 Panasonic Intellectual Property Corporation Of America Data processing device and data processing method which compresses image data
JP2012053851A (ja) * 2010-09-03 2012-03-15 Seiren Co Ltd 出力画像データを作成し出力するためのコンピュータプログラム及び情報処理装置
JP2012066519A (ja) * 2010-09-24 2012-04-05 Kyocera Mita Corp 画像形成装置
JP2013132038A (ja) * 2011-06-23 2013-07-04 Riso Kagaku Corp 画像処理装置および上位装置
JP2017085453A (ja) * 2015-10-30 2017-05-18 京セラドキュメントソリューションズ株式会社 画像処理装置、画像処理方法及び制御プログラム

Also Published As

Publication number Publication date
JP5106318B2 (ja) 2012-12-26

Similar Documents

Publication Publication Date Title
US7580569B2 (en) Method and system for generating contone encoded binary print data streams
JP4861711B2 (ja) 画像処理装置、画像圧縮方法、画像圧縮プログラム及び記録媒体
JP4549418B2 (ja) 画像処理装置、画像処理方法、画像形成装置、並びに、プログラム、記録媒体
JP5540553B2 (ja) 画像処理装置、画像形成装置、画像処理方法及び画像処理プログラム
JP3797669B2 (ja) 画像形成装置および画像形成方法
US8259368B2 (en) Image processing apparatus and its method
JP4568748B2 (ja) 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体
JP2007336467A (ja) 画像圧縮装置およびそれを備えた画像読取装置、画像圧縮装置を備えた画像処理装置並びにそれを備えた画像形成装置、画像圧縮処理方法、そのコンピュータプログラム及び記録媒体
JP4764938B2 (ja) 画像処理装置、画像形成装置、画像処理装置の制御方法、プログラム、記録媒体
JP5106318B2 (ja) 画像処理装置、画像形成装置、画像の記憶方法、及びコンピュータプログラム
JP6923037B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5225201B2 (ja) 画像処理装置
JP6147020B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP3899872B2 (ja) 画像処理装置、画像処理方法ならびに画像処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体
JP5052562B2 (ja) 画像処理装置
JP2004363795A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6373448B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4080252B2 (ja) 画像処理装置、画像形成装置、画像処理方法、プログラムおよび記録媒体
JP2006011754A (ja) 画像処理装置および画像処理方法
JP7317557B2 (ja) 画像処理装置、画像処理方法、プログラム、記録媒体及び画像形成装置
JP2009272925A (ja) 画像処理装置
JP5072907B2 (ja) 画像処理装置
JP4914383B2 (ja) 画像処理装置及び画像の記憶方法
JP5413297B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2006165753A (ja) 画像処理システム、画像処理方法、記憶媒体およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120424

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120911

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121002

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151012

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees