JP2011027798A - 画像欠陥診断システム、画像形成装置、およびプログラム - Google Patents

画像欠陥診断システム、画像形成装置、およびプログラム Download PDF

Info

Publication number
JP2011027798A
JP2011027798A JP2009170631A JP2009170631A JP2011027798A JP 2011027798 A JP2011027798 A JP 2011027798A JP 2009170631 A JP2009170631 A JP 2009170631A JP 2009170631 A JP2009170631 A JP 2009170631A JP 2011027798 A JP2011027798 A JP 2011027798A
Authority
JP
Japan
Prior art keywords
image
defect
unit
inspection target
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009170631A
Other languages
English (en)
Other versions
JP5413012B2 (ja
Inventor
Koji Adachi
康二 足立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2009170631A priority Critical patent/JP5413012B2/ja
Priority to US12/726,994 priority patent/US8531744B2/en
Publication of JP2011027798A publication Critical patent/JP2011027798A/ja
Application granted granted Critical
Publication of JP5413012B2 publication Critical patent/JP5413012B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00007Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to particular apparatus or devices
    • H04N1/00013Reading apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00031Testing, i.e. determining the result of a trial
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00045Methods therefor using a reference pattern designed for the purpose, e.g. a test chart
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00053Methods therefor out of service, i.e. outside of normal operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00063Methods therefor using at least a part of the apparatus itself, e.g. self-testing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00068Calculating or estimating
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00071Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for characterised by the action taken
    • H04N1/00074Indicating or reporting
    • H04N1/00076Indicating or reporting locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00071Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for characterised by the action taken
    • H04N1/0009Storage
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00413Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H04N1/00416Multi-level menus
    • H04N1/00419Arrangements for navigating between pages or parts of the menu
    • H04N1/00424Arrangements for navigating between pages or parts of the menu using a list of graphical elements, e.g. icons or icon bar
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00474Output means outputting a plurality of functional options, e.g. scan, copy or print
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0001Diagnosis, testing or measuring; Detecting, analysis or monitoring not otherwise provided for
    • H04N2201/0003Method used
    • H04N2201/0005Method used using a reference pattern designed for the purpose, e.g. a test chart
    • H04N2201/0006Method used using a reference pattern designed for the purpose, e.g. a test chart details of the reference pattern (DM 1105)

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Control Or Security For Electrophotography (AREA)
  • Image Processing (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Image Analysis (AREA)

Abstract

【課題】画像形成装置にて形成された画像に発生した画像欠陥の検出精度を向上させる。
【解決手段】画像欠陥に関する検査対象とする検査対象画像の部分領域各々に設定され、部分領域に画像欠陥が発生しているか否かを判定する際の判定基準とする2値化閾値と、2値化閾値が設定された部分領域の検査対象画像上での位置を表す位置情報とを相互に対応付けて2値化閾値記憶部234に記憶しておく。そして、診断部は、検査対象画像を読み取って生成された部分領域各々の画像データを、2値化閾値記憶部234に記憶された部分領域での2値化閾値と比較し、検査対象画像での画像欠陥の発生の有無を診断する。
【選択図】図6

Description

本発明は、画像欠陥診断システム、画像形成装置、およびプログラムに関する。
例えば複写機、プリンタ等の画像形成装置では、自らが印刷したテストチャート(検査対象画像)を画像読取装置により読み取らせ、読み取られた検査対象画像に関する画像データに基づき画像欠陥を診断し、画像欠陥の発生状況に基づいて画像形成装置自身の故障箇所を推定する技術が知られている。
例えば特許文献1には、プリンタにて印刷されたテストチャートを画像読み取り装置で読み取り、読み取ったテストチャートに関する画像データをテストチャートデータと比較し、両者の差異を比較して印字品質を自己判断して故障等に対応する技術が記載されている。
特開2002−283681号公報
本発明は、画像形成装置にて形成された画像に発生した画像欠陥の検出精度を向上させることを目的とする。
請求項1に記載の発明は、画像欠陥に関する検査対象とする検査対象画像の部分領域各々に設定され、当該部分領域に画像欠陥が発生しているか否かを判定する際の判定基準とする画像濃度閾値と、当該画像濃度閾値が設定された当該部分領域の当該検査対象画像上での位置を表す位置情報とを相互に対応付けて記憶する記憶手段と、前記検査対象画像を読み取って生成された前記部分領域各々の画像データを、前記記憶手段に記憶された当該部分領域での前記画像濃度閾値と比較し、当該検査対象画像での画像欠陥の発生の有無を診断する診断手段とを備えたことを特徴とする画像欠陥診断システムである。
請求項2に記載の発明は、前記記憶手段は、前記画像濃度閾値を、当該画像濃度閾値が設定された前記部分領域の前記検査対象画像上での主走査方向に関する位置情報と対応付けて記憶し、前記診断手段は、前記部分領域各々の前記画像データを前記記憶手段に記憶された当該部分領域の主走査方向位置に対応付けられた前記画像濃度閾値と比較し、前記検査対象画像での画像欠陥の発生の有無を診断することを特徴とする請求項1記載の画像欠陥診断システムである。
請求項3に記載の発明は、前記記憶手段に記憶される前記画像濃度閾値を算出するための閾値算出用画像を読み取り、当該閾値算出用画像を構成する画素毎の濃度階調値を検出する画像読取手段と、前記画像読取手段にて読み取られた前記閾値算出用画像を構成する前記画素に関し、濃度階調値を変数とし当該変数としての当該濃度階調値以上の前記濃度階調値を有する当該画素からなる面積領域が当該閾値算出用画像の面積に占める割合が予め定めた値となる当該濃度階調値を当該閾値算出用画像に関する前記画像濃度閾値として設定する閾値設定手段とをさらに備えたことを特徴とする請求項1記載の画像欠陥診断システムである。
請求項4に記載の発明は、前記画像読取手段にて読み取られる前記閾値算出用画像は、前記検査対象画像上にて主走査方向に配列されて形成されたことを特徴とする請求項3記載の画像欠陥診断システムである。
請求項5に記載の発明は、画像欠陥に関する検査対象とする検査対象画像を記録材上に形成する画像形成手段と、前記画像形成手段にて形成された前記検査対象画像を読み取り、当該検査対象画像に関する画像データを生成する画像読取手段と、前記画像読取手段にて生成された前記画像データにより前記検査対象画像に発生した画像欠陥を診断する画像欠陥診断手段とを有し、前記画像欠陥診断手段は、前記検査対象画像の部分領域各々に設定され、当該部分領域に画像欠陥が発生しているか否かを判定する際の判定基準とする画像濃度閾値と、当該画像濃度閾値が設定された当該部分領域の当該検査対象画像上での位置情報とを相互に対応付けて記憶する記憶手段と、前記検査対象画像を読み取って生成された前記部分領域各々の画像データを、前記記憶手段に記憶された当該部分領域での前記画像濃度閾値と比較し、当該検査対象画像での画像欠陥の発生の有無を診断する診断手段とを備えたことを特徴とする画像形成装置である。
請求項6に記載の発明は、ユーザから画像欠陥に関する診断指示の入力を受け付ける受付手段をさらに備え、前記画像形成手段は、前記受付手段にて前記診断指示の入力を受け付けたことにより、前記検査対象画像を形成し、前記画像読取手段は、前記画像形成手段にて形成された前記検査対象画像に関する画像データを生成し、前記画像欠陥診断手段は、前記画像読取手段にて生成された前記検査対象画像に関する前記部分領域各々の画像データを、前記記憶手段に記憶された前記検査対象画像の当該部分領域各々の前記画像濃度閾値と比較し、当該検査対象画像での画像欠陥の発生の有無を診断することを特徴とする請求項5記載の画像形成装置である。
請求項7に記載の発明は、前記画像欠陥診断手段の前記記憶手段は、前記画像濃度閾値を、当該画像濃度閾値が設定された前記部分領域の前記検査対象画像上での主走査方向に関する位置情報と対応付けて記憶し、前記画像欠陥診断手段の前記診断手段は、前記部分領域各々の前記画像データを前記記憶手段に記憶された当該部分領域の主走査方向位置に対応付けられた前記画像濃度閾値と比較し、前記検査対象画像での画像欠陥の発生の有無を診断することを特徴とする請求項5記載の画像形成装置である。
請求項8に記載の発明は、前記画像形成手段は、記録材上の1または複数の副走査方向位置にて主走査方向に沿って複数配列され、前記画像欠陥診断手段の前記記憶手段に記憶される前記画像濃度閾値を算出するための閾値算出用画像を含む前記検査対象画像を形成し、前記画像読取手段は、前記検査対象画像に含まれる前記閾値算出用画像を読み取り、当該閾値算出用画像を構成する画素毎の濃度階調値を検出するとともに、前記画像読取手段にて読み取られた前記閾値算出用画像を構成する前記画素に関し、濃度階調値を変数とし当該変数としての前記濃度階調値以上の当該濃度階調値を有する当該画素からなる面積領域が当該閾値算出用画像の面積に占める割合が予め定めた値となる当該濃度階調値を当該閾値算出用画像に関する前記画像濃度閾値として設定する閾値設定手段をさらに備えたことを特徴とする請求項5記載の画像形成装置である。
請求項9に記載の発明は、前記画像形成手段は、記録材上の1または複数の副走査方向位置にて主走査方向に沿って複数配列され、前記画像欠陥診断手段の前記記憶手段に記憶される前記画像濃度閾値を算出するための閾値算出用画像からなる閾値算出用検査対象画像と、画像欠陥に関する検査対象とする前記検査対象画像とを順次形成するとともに、前記画像読取手段にて前記閾値算出用検査対象画像を読み取った後、当該画像読取手段にて前記検査対象画像を読み取ることをユーザに指示する指示手段をさらに備えたことを特徴とする請求項5記載の画像形成装置である。
請求項10に記載の発明は、コンピュータに、画像欠陥に関しての検査対象とする検査対象画像を読み取って生成された当該検査対象画像に関する画像データを取得する機能と、取得した前記検査対象画像の部分領域各々における前記画像データを、当該部分領域各々に設定され、当該部分領域に画像欠陥が発生しているか否かを判定する際の判定基準とする画像濃度閾値と比較し、当該検査対象画像での画像欠陥の発生の有無を診断する機能とを実現させることを特徴とするプログラムである。
請求項11に記載の発明は、前記部分領域各々に設定された前記画像濃度閾値を、当該画像濃度閾値と、当該画像濃度閾値が設定された前記部分領域の前記検査対象画像上での位置情報とを相互に対応付けて記憶する記憶手段から取得する機能をさらに実現させることを特徴とする請求項10記載のプログラムである。
請求項1の発明によれば、本発明を採用しない場合に比べ、画像形成装置にて形成された画像に発生した画像欠陥の検出精度を向上させることができる。
請求項2の発明によれば、本発明を採用しない場合に比べ、検査対象画像上での主走査方向において生じ易い部分領域各々での濃度ばらつきの影響を低減して、画像欠陥の検出精度を高めることができる。
請求項3の発明によれば、検査対象画像上の部分領域各々に生じる濃度ばらつきに対応した画像濃度閾値を設定することができる。
請求項4の発明によれば、本発明を採用しない場合に比べ、主走査方向において生じ易い部分領域各々の濃度ばらつきに対応した画像濃度閾値を設定することができる。
請求項5の発明によれば、本発明を採用しない場合に比べ、画像形成装置にて形成された画像に発生した画像欠陥の検出精度を向上させることができる。
請求項6の発明によれば、本発明を採用しない場合に比べ、画像濃度に関する画像形成装置各々での個体差や画像形成装置各々が形成する画像面内での不均一により生じる画像濃度ばらつきの影響を低減して、画像欠陥の検出精度を高めることができる。
請求項7の発明によれば、本発明を採用しない場合に比べ、検査対象画像上での主走査方向において生じ易い部分領域各々での濃度ばらつきの影響を低減して、画像欠陥の検出精度を高めることができる。
請求項8の発明によれば、検査対象画像上の部分領域各々に生じる濃度ばらつきに対応した画像濃度閾値を設定することができる。
請求項9の発明によれば、本発明を採用しない場合に比べ、より多くの閾値算出用画像を形成でき、画像濃度閾値を画像領域のより広い領域で算出することができる。
請求項10の発明によれば、本発明を採用しない場合に比べ、画像形成装置にて形成された画像に発生した画像欠陥の検出精度を向上させることができる。
請求項11の発明によれば、本発明を採用しない場合に比べ、画像濃度に関する画像形成装置各々での個体差や画像形成装置各々が形成する画像面内での不均一により生じる画像濃度ばらつきの影響を低減して、画像欠陥の検出精度を高めることができる。
本実施の形態が適用される画像形成装置の全体構成の一例を示したブロック図である。 故障診断部の構成を説明するブロック図である。 操作表示部にて表示されるサービスの内容に関する表示画面の一例を示す図である。 操作表示部にて表示される画像欠陥の種別に関する表示画面の一例を示す図である。 操作表示部にて表示される画像欠陥の詳細な種別に関する表示画面の一例を示す図である。 欠陥領域検出部の構成を説明するブロック部である。 閾値算出用テストパッチを例示した図である。 2値化閾値補間処理部が行う補間処理を説明する図である。 画像欠陥診断モデルを構成するベイジアンネットワークの一例を示した図である。 操作表示部にて表示される診断結果に関する表示画面の一例を示した図である。 故障診断部の内部構成を示すブロック図である。 故障診断部が行う故障診断処理の内容の一例を示すフローチャートである。 故障診断部が行う2値化閾値の設定処理の内容の一例を示すフローチャートである。
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
<画像形成装置の説明>
図1は本実施の形態が適用される画像形成装置1の全体構成の一例を示したブロック図である。図1に示す画像形成装置1は、画像形成装置1の動作全体を制御する制御部10、画像上に発生した画像欠陥から画像形成装置1の故障を診断する画像欠陥診断手段の一例としての故障診断部20、例えばハードディスクドライブ(HDD)やフラッシュメモリ等で構成され、各種のプログラムやデータ等が記憶される外部記憶部30を備えている。
また、画像形成装置1は、画像データ(ビデオデータ)に基づいて記録材(用紙)上に画像を形成する画像形成手段の一例としての画像形成部40、ユーザからの操作入力の受付やユーザに対する各種情報の表示を行う受付手段の一例としての操作表示部50、原稿から各色成分の反射率を読み取って画像データを生成する画像読取手段の一例としての画像読取部60、例えばLAN(Local Area Network)、WAN(Wide Area Network)、インターネット等といった通信手段(ネットワーク)と通信を行う通信部70を備えている。ここで、画像形成部40としては、例えば電子写真方式の画像形成エンジンが用いられる。
さらに、画像形成装置1は、外部記憶部30とのデータ転送を高速で行うDMAC(Direct Memory Access Controller)81、画像形成部40とのビデオデータの送受信を制御するビデオインターフェース(I/F)82、操作表示部50とのデータの送受信を制御する操作表示インターフェース(I/F)83、画像読取部60との画像データの送受信を制御するスキャナインターフェース(I/F)84、通信部70とのデータの送受信を制御するネットワークインターフェース(I/F)85を備えている。
制御部10、故障診断部20、ビデオI/F82、操作表示I/F83、スキャナI/F84、およびネットワークI/F85それぞれは、PCI(Peripheral Components Interconnect bus)バス80に接続されている。
また、外部記憶部30は、DMAC81を介してPCIバス80に接続され、PCIバス80に接続された制御部10や各種インターフェース(I/F)との間のデータ転送を高速で行う。
なお、故障診断部20は、制御部10や画像形成部40や画像読取部60等と一体的に構成しても、別体に構成してもよい。このような別体構成では、故障診断部20と制御部10や画像形成部40や画像読取部60等とは、例えば、通信部70を介してLAN、WAN、インターネット等といったネットワークにより接続される。それにより、故障診断部20を画像形成装置1の外部に備えた故障診断システムが構築される。ここでのネットワークを構成する通信回線としては、電話回線や衛星通信回線(例えば、デジタル衛星放送における空間伝送路)等を含んでもよい。
<故障診断部の説明>
図2は、故障診断部20の構成を説明するブロック図である。
図2に示すように、故障診断部20は、画像読取部60にて生成された画像データを取得する画像データ取得部21、画像データ取得部21にて取得された画像データを記憶する画像データ記憶部22を備えている。また、故障診断部20は、画像上にて欠陥が生じている領域(以下、「欠陥領域」)を検出する欠陥領域検出部23、画像上に生じた欠陥の種別を分類する欠陥種別分類部24を備えている。さらにまた、故障診断部20は、画像上の欠陥領域から欠陥の特徴量を抽出する特徴量抽出部25、画像上に生じた欠陥の種別に関する情報や欠陥領域から抽出された欠陥の特徴量等を用いて画像欠陥を生じさせた故障原因を診断する診断部26を備えている。
<故障診断部にて故障診断に使用される画像データの取得の説明>
画像データ取得部21は、ユーザ(例えば、画像形成装置1の使用者や管理者等)が操作表示部50を操作することで選択されたテストチャートに関する画像データを取得する。このテストチャートは、診断対象とする画像欠陥の発生状態や発生色等の欠陥発生状況に基づいて、ユーザが操作表示部50から選択したものである。
すなわち、制御部10は、例えば画像形成装置1のメインスイッチ(不図示)がオンされると、操作表示I/F83を介して操作表示部50に対し、ユーザに提供するサービス内容の表示を指示する制御信号を送信する。それにより、操作表示部50には、図3(操作表示部50にて表示されるサービスの内容に関する表示画面の一例を示す図)に例示したように、画像形成装置1がユーザに提供するサービスの内容を示す表示画面を表示する。この表示画面には、例えば、複写機能を実行する「コピー」、メールを送信する機能を実行する「メール送信」、画像読取部60にて読み取った画像データをパーソナルコンピュータ(PC)に記憶(保存)させる機能を実行する「PC保存」、さらには、画像欠陥を生じさせた故障原因を診断する機能を実行する「画像診断」を表す画面を表示する。さらには、これらの機能の何れかの選択をユーザに促す指示コメントを表示する。
そして、ユーザによる操作表示部50に対する操作入力により、「画像診断」の実行が選択されると、制御部10は、操作表示I/F83を介して操作表示部50に対し、診断対象とする画像欠陥の種別の表示を指示する制御信号を送信する。それにより、操作表示部50には、図4(操作表示部50にて表示される画像欠陥の種別に関する表示画面の一例を示す図)に例示したように、画像欠陥の種別を表示する。表示される画像欠陥の種別としては、例えば、画像上に現れた線状や筋状の汚れ、またはその他の形状の汚れであることを示す「線・筋・汚れ」、すべての色成分または一部の色成分についての画像抜けであることを示す「白抜け・色抜け」、画像濃度や色の不具合であることを示す「濃度・色味不良」、用紙の搬送方向下流側に前の画像の写しが残像のように2重に印刷されたものであることを示す「残像」、用紙上に画像がまったく印刷されないことを示す「何も印刷されない」を表す画面を表示する。さらには、これらの画像欠陥の種別の何れかの選択をユーザに促す指示コメントを表示する。
そして、ここでは、ユーザによる操作表示部50に対する操作入力により、例えば「線・筋・汚れ」が選択されたものとする(図4のハッチングされた欄)。そうすると、制御部10は、操作表示I/F83を介して操作表示部50に対し、画像欠陥の種別「線・筋・汚れ」に関するさらに詳細な画像欠陥の種別の表示を指示する制御信号を送信する。それにより、操作表示部50には、図5(操作表示部50にて表示される画像欠陥の詳細な種別に関する表示画面の一例を示す図)に例示したように、「線・筋・汚れ」に関する画像欠陥の詳細な種別を表示する。ここで表示される画像欠陥の詳細な種別として、例えば、画像上における用紙搬送方向に沿って現れた線状や筋状の汚れであることを示す「用紙送り方向に線・筋・汚れ」、画像全体に広がるうっすらとした汚れ(所謂「かぶり」)であることを示す「かぶりが発生」、文字や罫線等の周辺にてトナーが飛び散ったように生じた汚れやかすれであることを示す「文字・罫線の周辺汚れ・かすれ」、画像上の濃度が高い領域にのみ生じた線状や筋状の汚れであることを示す「濃度の濃い部分にのみ線・筋像」、用紙上の一部分または全部が塗りつぶされたものであることを示す「ページの一部または全体が塗りつぶされる」、用紙の白地領域に発生する各色成分(1次色)からなる点(黒点・色点)であることを示す「黒点・色点が発生」を表す表示画面を表示する。さらには、これらの画像欠陥の詳細な種別の何れかの選択をユーザに促す指示コメントを表示する。
そして、ユーザによる操作表示部50に対する操作入力により、画像欠陥の詳細な種別の何れか、例えば「用紙送り方向に線・筋・汚れ」が選択されると、制御部10は、「用紙送り方向に線・筋・汚れ」を診断するために用いるテストチャートを選択する。そして、制御部10は、ビデオI/F82を介して画像形成部40に対し、選択したテストチャートを印刷するように指示する制御信号を送信する。それにより、画像形成部40は、制御部10により印刷指示されたテストチャートを印刷する。なお、テストチャートを印刷するに際しては、印刷に用いられる色成分(Y(イエロー),M(マゼンタ),C(シアン),K(黒))に関しても、ユーザにより画像欠陥の発生状況に応じて指定されており、例えばK色が指定されることで、K色からなるテストチャートが印刷される。
さらに、制御部10は、ユーザに対し、印刷されたテストチャートを画像読取部60により読み取る操作を行うように指示する表示を、操作表示I/F83を介して操作表示部50に指示する制御信号を送信する。それにより、操作表示部50は、印刷されたテストチャートを画像読取部60により読み取る操作を行うことをユーザに促す指示コメントを表示する。ここでの制御部10および操作表示部50は、ユーザに画像読取部60でのテストチャートの読取りを指示する指示手段として機能する。
そして、画像読取部60によってテストチャートが読み取られると、制御部10は、テストチャートの反射率からなる画像データを、画像読取部60から故障診断部20(画像データ取得部21)に転送させる。
このようにして、故障診断部20の画像データ取得部21は、テストチャートに関する画像データを取得する。さらに、画像データ取得部21にて取得されたテストチャートに関する画像データは、画像データ記憶部22に送られ、記憶される。
<欠陥領域検出部の説明>
次に、欠陥領域検出部23について説明する。
本実施の形態の欠陥領域検出部23は、画像欠陥の発生状況に基づいてユーザにより選択されたテストチャートに関する反射率からなる画像データを取得する。このテストチャートは、画像欠陥の発生状況に応じて選択される検査対象画像の一例であって、画像欠陥を診断するための欠陥診断用画像(以下、「欠陥診断用検査対象画像」)に加えて、予め定めた濃度値(濃度階調値)を出力値とする閾値算出用画像の一例としての画像見本(以下、「閾値算出用テストパッチ」)がテストチャート上の予め定めた位置に形成されたものである。
そして、欠陥領域検出部23は、画像欠陥の診断を実行するのに先立ち、このテストチャート上に形成された閾値算出用テストパッチに関する画像データに基づいて、画像欠陥の発生領域を判定するために使用する画像濃度閾値を、画像形成可能領域全域について算出しておく。それにより、この同一のテストチャート上に形成された欠陥診断用検査対象画像に関する画像データと、算出された画像濃度閾値とを用いて画像欠陥が発生している領域を判定する。
ここで図6は、欠陥領域検出部23の構成を説明するブロック部である。
図6に示すように、欠陥領域検出部23は、画像データ記憶部22からテストチャート上に形成された閾値算出用テストパッチに関する画像データを取得し、取得した閾値算出用テストパッチに関する画像データから閾値算出用テストパッチが形成された領域(部分領域)の画像データとその位置情報を抽出するテストパッチ抽出部231、閾値算出用テストパッチが形成された部分領域各々における画像欠陥の発生の有無を判定するための画像濃度閾値(以下、「2値化閾値」)を、その部分領域の位置情報に対応付けて設定する2値化閾値設定部232を備えている。ここで設定される「2値化閾値」は、画像欠陥が発生している(例えばロジックレベル“1”)か否か(例えばロジックレベル“0”)を判別する基準となる濃度レベル(画像濃度閾値)を規定するものである。
また、欠陥領域検出部23は、閾値算出用テストパッチが形成された部分領域各々における2値化閾値を補間処理することで、画像形成可能領域全域についての2値化閾値を算出する2値化閾値補間処理部233、2値化閾値補間処理部233にて算出された画像形成可能領域全域についての2値化閾値を、その2値化閾値が算出された領域の位置情報に対応付けて記憶する2値化閾値記憶部234を備えている。
さらに、欠陥領域検出部23は、画像データ記憶部22からテストチャート上に形成された欠陥診断用検査対象画像に関する画像データを取得し、2値化閾値記憶部234に記憶された2値化閾値を用いて画像欠陥が発生している領域を判定する欠陥領域判定部235を備えている。
<閾値算出用テストパッチの説明>
テストパッチ抽出部231が画像データ記憶部22から取得する閾値算出用テストパッチに関する画像データは、画像読取部60がテストチャート上に形成された閾値算出用テストパッチを読み取ることで検出された画像データである。ここで、閾値算出用テストパッチおよび欠陥診断用検査対象画像が形成されるテストチャートは、例えば画像形成装置1にて画像形成可能な最大サイズ(例えば、A3サイズ)の用紙に形成される。そして、テストチャート上の閾値算出用テストパッチは、例えば濃度階調値が256階調(=0〜255ステップ)で設定される場合において、各閾値算出用テストパッチの濃度階調値と背景部の濃度階調値との差が20ステップ程度に設定されたものである。
例えば、白地領域(ハイライト領域)に関する2値化閾値を算出する場合に使用する閾値算出用テストパッチでは、白地(背景部)での濃度階調値“255”に対して例えば濃度階調値“235”を出力値とする閾値算出用テストパッチが用紙の予め定めた位置に形成される。また例えば、中間色領域(グレー領域)に関する2値化閾値を算出する場合に使用する閾値算出用テストパッチでは、背景部での濃度階調値“80”に対して例えば濃度階調値“100”を出力値とする閾値算出用テストパッチが用紙の予め定めた位置に形成される。
次の図7は、テストチャート上に形成された閾値算出用テストパッチを例示した図である。図7(a)は、主走査方向(x方向)に沿って複数(5個)の閾値算出用テストパッチ(A〜E)を配列させた閾値算出用テストパッチを示している。また、図7(b)は、主走査方向に沿って配列させた複数(5個)の閾値算出用テストパッチを副走査方向(y方向)に複数(3列)配列させた閾値算出用テストパッチ(A〜N)を示している。図7(b)の閾値算出用テストパッチでは、中央部の主走査方向に沿って配列させた閾値算出用テストパッチ(F,G,H)は3個に設定している。
なお、テストチャート上には、閾値算出用テストパッチに加えて欠陥診断用検査対象画像も形成されるが、図7では欠陥診断用検査対象画像の記載を省略している。
同一の画像上に生じる濃度の不均一(所謂「濃度むら」)は、主走査方向の位置に応じて発生する傾向がある。そこで、図7に示したように、テストチャートには、主走査方向に沿った同一の線上(1点鎖線)に複数(5個または3個)の閾値算出用テストパッチ(A→E、F→H、J→Nの並び)を配列させている。それにより、同一の画像上の主走査方向の位置に応じて発生する濃度の不均一に対応させた2値化閾値を算出するように、閾値算出用テストパッチを構成している。例えば図7(a)に示した閾値算出用テストパッチを用いれば、主走査方向に沿った同一の線上の複数(5個)の閾値算出用テストパッチ(A〜E)に基づき求めた2値化閾値を主走査方向に補間処理することにより、主走査方向全域の濃度の不均一に対応させた2値化閾値を算出できる。
また、主走査方向に沿って配列させた複数(5個または3個)の閾値算出用テストパッチが副走査方向に複数(3列)配列された例えば図7(b)に示した閾値算出用テストパッチを用いれば、画像形成可能領域全域の濃度の不均一について対応させた2値化閾値を算出できる。
例えば、3列の副走査方向各々に配列させた主走査方向に沿った同一の線上(1点鎖線)の閾値算出用テストパッチ(A→E,F→H,J→Nの並び)により、3列の副走査方向各々での主走査方向に沿った同一の線上全域の濃度の不均一に対応させた2値化閾値を算出できる。
また、副走査方向に沿った同一の線上(破線)に沿って配列させた複数(3個)の閾値算出用テストパッチ(A→J,C→L,E→Nの並び)により、主走査方向位置の異なる副走査方向に沿った3つの同一の線上全域の濃度の不均一に対応させた2値化閾値を算出できる。
さらに、主走査方向位置が互いに隣り合う異なる副走査方向に位置する複数(2個または3個)の閾値算出用テストパッチ(B→G→M,B→F等の並び)を結ぶ線上(2点鎖線)の閾値算出用テストパッチにより、上記した主走査方向に沿った同一の線上(1点鎖線)と、副走査方向に沿った同一の線上(破線)との間を埋める領域において、濃度の不均一に対応させた2値化閾値を算出できる。
この3つの異なる線上(破線,1点鎖線,2点鎖線)の全域で求めた2値化閾値は、その位置情報と対応付けられている。そのため、これらの2値化閾値とそれが算出された領域の位置情報とを用いて、主走査方向または副走査方向に沿った補間演算を行うことで、画像形成可能領域全域について細かく分割された領域各々の2値化閾値を算出することもできる。
なお、図7に例示した閾値算出用テストパッチでは、閾値算出用テストパッチを矩形(四角形)で形成したが、円形、楕円形等の他の形状を用いてもよい。
<テストパッチ抽出部の説明>
テストパッチ抽出部231は、画像データ記憶部22から例えば図7(a)に例示した閾値算出用テストパッチに関して検出された画像データ(以下、「検出画像データ」)を取得する。そして、取得した閾値算出用テストパッチに関する検出画像データから閾値算出用テストパッチが形成された領域(部分領域)の検出画像データとその位置情報を抽出する。閾値算出用テストパッチが画像読取部60にセットされた際に、画像読取部60に対する閾値算出用テストパッチの載せ方(セッティング状態)によって、画像読取部60に設けられた画像読取センサ(不図示)がテストチャートを読み取る際の基準位置と閾値算出用テストパッチとの間に位置ズレや傾きが生じる場合がある。そのため、テストパッチ抽出部231は、公知の位置補正処理や傾き補正処理を施して、閾値算出用テストパッチの画像データとその主走査方向における位置情報とを抽出する。さらに、抽出した閾値算出用テストパッチ各々の検出画像データおよびその位置情報を2値化閾値設定部232に出力する。
<2値化閾値設定部の説明>
2値化閾値設定部232は、テストパッチ抽出部231から取得した閾値算出用テストパッチ各々の検出画像データから、閾値算出用テストパッチを構成する画素各々の反射率データとしての濃度階調値(以下、「検出濃度階調値」)について次のような2値化閾値を求める。すなわち、2値化閾値設定部232は、例えば、2値化閾値をパラメータ(変数)として、各閾値算出用テストパッチにおいて例えば2値化閾値以上の検出濃度階調値を有する画素からなる面積領域の累積値(以下、「検出面積」)が各閾値算出用テストパッチの面積に占める割合(以下、「検出面積率」(=検出面積/閾値算出用テストパッチの面積))を算出する。そして、検出面積率が0.5(=50%)となる2値化閾値を求め、これを画像欠陥の発生の有無を判定するための2値化閾値として設定する。2値化閾値設定部232は、設定した2値化閾値を閾値算出用テストパッチ各々が位置する部分領域の主走査方向における位置情報に対応付けて2値化閾値補間処理部233に出力する。
ここで、2値化閾値設定部232にて2値化閾値を設定する方法としては、他の方法を用いてもよい。例えば、検出画像データにおける画素各々の検出濃度階調値の平均値を用いてもよい。また、検出画像データにおける画素各々の検出濃度階調値の最大値と最小値の中心値を用いてもよい。さらには、検出面積率が0.5以外の値、例えば検出面積率が0.4となる2値化閾値を用いてもよい。また、予め定めた範囲の検出濃度階調値に対して重み付けを行って、上記した検出面積率から2値化閾値を設定してもよい。
なお、例えば図7(b)に例示した閾値算出用テストパッチを用いた場合も同様である。
一般に、例えば電子写真方式の画像形成エンジンで構成される画像形成部40に備えられる感光体は、感光面の全域で露光光に対する感度(以下、「感光体感度」)を均一に形成することは難しい。また、感光体感度は、経時変化の度合いや温湿度の影響等により感光面の領域によって差異が生じている場合がある。さらに、感光体を露光する例えばレーザ光やLED等で構成される露光装置や、露光装置からの光を感光体に導く光学系においても、感光面への露光光量を主走査方向全域で均一にすることは難しい。さらにまた、感光体を帯電する帯電装置や、感光体上に形成されたトナー像を中間転写体や用紙に転写する転写装置においても、感光面の主走査方向全域で均一な帯電、転写を行うことができない場合がある。これらは、故障によるものではなく、例えば電子写真方式の画像形成エンジンで構成される画像形成部40が固有に有するものであって、各画像形成装置1の個体差として現れる。
そのために、用紙上に形成されるトナー像には、画像形成装置1各々に固有の濃度ばらつきが発生する。このような濃度ばらつきは、画像欠陥の判定に影響を与える。例えば、画像欠陥の判定にすべての画像領域に固定した(同じ値の)画像濃度閾値を用いるとすれば、濃度ばらつきによってある領域では画像欠陥と判定され、他の領域では画像欠陥ではないと判定される可能性がある。特に、背景部(白地)との濃度コントラルトが小さい低濃度画像(以下、「ハイライト画像」)に関しての画像欠陥を検出する場合には、僅かな濃度ばらつきによって画像欠陥の判定が大きな影響を受けることとなる。
このように、電子写真方式を用いた画像形成装置1では、同一の条件で印刷した画像の濃度再現性がすべての装置で同一ではなく、また、同一の装置内でも同一画像面内で濃度の不均一が発生する。そのため、このような画像濃度に関する機差や面内不均一により画像欠陥の検出精度が低下し、画像形成装置1の故障箇所に関する推定確度が低下することがある。
そこで、本実施の形態の画像形成装置1では、画像形成装置1各々の画像形成部40が固有に有する濃度ばらつきに対応させて、例えばハイライト画像についての画像欠陥の発生の有無を判定するために画像濃度に関して規定する2値化閾値を、画像領域内の各部分領域各々に設定している。それにより、画像形成装置1各々が固有に有する濃度ばらつきの影響を低減して、画像欠陥の検出精度を高めている。
<2値化閾値補間処理部の説明>
続いて、2値化閾値補間処理部233は、テストチャート上の閾値算出用テストパッチが形成された部分領域各々における2値化閾値を、例えば線形補間演算やスプライン補間演算等を用いて補間処理する。それにより、画像形成可能領域全域についての2値化閾値を算出する。
ここで図8は、2値化閾値補間処理部233が行う補間処理を説明する図である。図8では、一例として、図7(a)の主走査方向(x方向)に沿って形成された5個の閾値算出用テストパッチ(A〜E)に関する2値化閾値を線形補間処理したものである。上記したように、感光体を露光する露光装置や光学系、さらには帯電装置や転写装置の配置・構成的な特性から、画像に生じる濃度ばらつきは、主走査方向において生じ易い。そのため、主走査方向(x方向)に沿って形成された閾値算出用テストパッチ(A〜E)に関する2値化閾値から、主走査方向に補間処理(線形補間処理)している。そして、閾値算出用テストパッチ(A〜E)での2値化閾値を補間処理することで求めた主走査方向の2値化閾値は、主走査方向の位置情報に対応付けて記憶手段の一例としての2値化閾値記憶部234に記憶される。
なお、テストパッチ抽出部231、2値化閾値設定部232、および2値化閾値補間処理部233は、閾値設定手段として機能する。
<欠陥領域判定部の説明>
続く欠陥領域判定部235は、診断手段の一例であって、画像データ記憶部22からテストチャート上の欠陥診断用検査対象画像に関する画像データ(以下、「検査画像データ」)と、検査画像データに対応けられた位置情報とを取得する。そして、欠陥領域判定部235は、検査画像データに対応けられた位置情報を用いて、欠陥診断用検査対象画像に関する主走査方向位置各々での検査画像データを、2値化閾値記憶部234に記憶された検査画像データの主走査方向位置に対応する2値化閾値と比較する。それにより、画像欠陥が発生している領域を判定する。そして、欠陥領域判定部235は、画像欠陥と判定された領域に関する検査画像データを多値データの画像欠陥データとして抽出する。さらには、抽出した画像欠陥データを欠陥種別分類部24および特徴量抽出部25に出力する。
<欠陥種別分類部の説明>
次に、欠陥種別分類部24は、欠陥領域検出部23(欠陥領域判定部235)から取得した画像欠陥データに基づいて、画像欠陥が生じた領域の大きさや濃度階調値等の画像欠陥に関する特性値を算出する。そして、この算出した特性値により、画像欠陥の種別に関し類似性のあるもの同士を一群のデータとして分類するクラスタリング処理を行う。クラスタリング処理のアルゴリズムには、K−Means法や各種階層クラスタリング法等の既存のアルゴリズムが用いられる。欠陥種別分類部24は、クラスタリング処理を行うことにより分類された画像欠陥の種別に関する情報を特徴量抽出部25に出力する。
クラスタリング処理により分類された画像欠陥の種別としては、例えば、「用紙送り方向(副走査方向)の線・筋」、「かぶり」、「文字・罫線の周辺汚れ・かすれ」、「濃度の濃い部分の線・筋」、「ページの一部または全体の塗りつぶし」、「黒点・色点」等がある。
また、欠陥種別分類部24は、クラスタリング処理を行うことにより分類された画像欠陥の種別に対応させて、画像欠陥を推定するために使用する画像欠陥診断モデル(後段参照)を選択する。そして、欠陥種別分類部24は、選択した画像欠陥診断モデルを特定する情報を診断部26に出力する。
<特徴量抽出部の説明>
続いて、特徴量抽出部25は、欠陥領域検出部23から取得した画像欠陥データと、欠陥種別分類部24から取得した画像欠陥の種別に関する情報とに基づき、画像欠陥を特徴付ける種々の特徴量を抽出する。ここでは画像欠陥の種別に応じて、画像欠陥が生じている領域の形状、大きさ、濃度階調値、輪郭の状態、欠陥の発生方向、周期性等といった特徴量を抽出する。
例えば、欠陥診断用検査対象画像に黒線が発生する画像欠陥が発生しており、欠陥領域検出部23から取得した画像欠陥データにより、画像欠陥が発生している色成分がK(黒)色であり、欠陥種別分類部24により画像欠陥の種別が例えば「用紙送り方向(副走査方向)の線・筋」に分類されている場合には、特徴量抽出部25は、例えば、黒線の線幅、黒線の長さ、黒線のコントラスト、黒線の周期性を特徴量として算出する。
そして、特徴量抽出部25は、算出した特徴量に関する情報を診断部26に出力する。
<診断部の説明>
次に、診断部26は、画像欠陥診断モデルを用いて画像欠陥を推定する。すなわち、診断部26は、画像欠陥診断モデルに、特徴量抽出部25にて算出された特徴量、制御部10から取得したユーザにより操作入力された画像欠陥の詳細な種別に関する情報(例えば「用紙送り方向に線・筋・汚れ」)や画像形成装置1の各種情報等を入力し、画像欠陥を誘発させた故障原因を推定する。
その際に、診断部26は、欠陥種別分類部24にて選択された画像欠陥の種別に対応した画像欠陥診断モデルを記憶部(例えば、後段図11のNVM204)から読み出す。本実施の形態では、複数の画像欠陥の種別に対応した画像欠陥診断モデルが診断部26内に設けられた記憶部に予め記憶されている。そして、診断部26は、欠陥種別分類部24にて選択された画像欠陥診断モデルをこの記憶部から読み出す。
ここでの「画像欠陥診断モデル」は、例えば、ベイジアンネットワーク(Bayesian Network)で構成されている。ベイジアンネットワークとは、確率理論を使用して問題領域をモデル化するものである。すなわち、因果関係が複雑な問題領域を表すため、相互に関連付けられた複数の問題要因間の因果関係を順次結線したグラフ構造を持つネットワークとして表現し、問題要因間の依存関係を有向グラフにより表したものである。
図9は、画像欠陥診断モデルを構成するベイジアンネットワークの一例を示した図である。図9に例示した画像欠陥診断モデルでは、黒線が発生する画像結果に対応するベイジアンネットワークを示したものである。
図9に示すように、ベイジアンネットワークの各ノードは、「原因」→「結果」の関係になるように結線されている。例えば、「感光体傷」と「線幅情報」との関係は、「感光体傷」が元(原因)で細い線が発生(結果)といった「線幅情報」が現れるという関係になる。一方、「プリント枚数履歴情報」と「定着装置」との関係は、「プリント枚数」に基づく状態(プリント枚数が何枚以上)が元(原因)で「定着装置」劣化による黒線発生の可能性が高くなるという関係が成り立つ。各ノードの確率データの初期値は、例えば、過去のデータに基づいて決定する。その後、画像形成装置1における部品の交換頻度や、不具合の発生頻度等、市場トラブルの統計データ等を基にして、定期的に各ノードの確率を更新するようにしてもよい。また、図9中に示した「線幅情報」や「周期性情報」といった画像欠陥の特徴を表すノードは、特徴量抽出部25にて算出された特徴量により状態が決定される。
そして、診断部26は、記憶部から読み出したベイジアンネットワークに基づき、故障原因や故障箇所を推定する。さらには、診断部26は、推定した故障原因や故障箇所を制御部10に通知する。それにより、制御部10は、操作表示部50に故障原因や故障推定箇所を表示し、ユーザに通知する。さらには、通信部70からネットワークを介してPC等の外部装置に通知してもよい。
図10は、操作表示部50にて表示される診断結果に関する表示画面の一例を示した図である。図10に示したように、「故障原因や故障推定箇所」が確度(「故障確率」)の高い順に示されるとともに、故障状態を復旧させるための「作業難易度」も示される。作業難易度を示すことにより、例えば確度が近似する故障原因・故障推定箇所が表示された場合に、作業難易度の低い故障原因・故障推定箇所から作業することにより、復旧作業の効率化が図られる。また、図10に示した項目以外にも、「故障原因・故障推定箇所」欄を操作することにより、故障原因・故障推定箇所に対応する復旧作業が記述された処置情報を表示するように構成してもよい。
<故障診断部の内部構成の説明>
ここで、図11は、故障診断部20の内部構成を示すブロック図である。図11に示したように、故障診断部20は、故障診断処理を実行するに際して、予め定められた処理プログラムに従ってデジタル演算処理を実行するCPU201、CPU201の作業用メモリ等として用いられるRAM202、CPU201での処理に使用される各種設定値等が格納されるROM203、書き換え可能で電源供給が途絶えた場合にもデータを保持できる、電池によりバックアップされたフラッシュメモリ等の不揮発性メモリ(NVM)204、PCIバス80を介して故障診断部20に接続される制御部10や外部記憶部30や画像読取部60等の各構成部との信号の入出力を制御するインターフェース(I/F)部205を備えている。
そして、CPU201が、処理プログラムを外部記憶部30から主記憶装置(RAM202)に読み込み、画像データ取得部21、欠陥領域検出部23、欠陥種別分類部24、特徴量抽出部25、診断部26の各機能部の機能を実現させる。
なお、この処理プログラムに関するその他の提供形態としては、予めROM203に格納された状態にて提供され、RAM202にロードされる形態がある。さらに、EEPROM等の書き換え可能なROM203を備えている場合には、CPU201がセッティングされた後に、プログラムだけがROM203にインストールされ、RAM202にロードされる形態がある。また、インターネット等のネットワークを介して故障診断部20にプログラムが伝送され、故障診断部20のROM203にインストールされ、RAM202にロードされる形態がある。さらにまた、DVD−ROMやフラッシュメモリ等の外部記録媒体からRAM202にロードされる形態がある。
<故障診断部の処理の内容の説明>
また、故障診断部20が行う故障診断処理の内容を改めて示しておく。
図12は、故障診断部20が行う故障診断処理の内容の一例を示すフローチャートである。
図12に示すように、ユーザにより画像欠陥の詳細な種別が選択されると、制御部10は、閾値算出用テストパッチと欠陥診断用検査対象画像とがそれぞれ形成されたテストチャートを選択して、画像形成部40にて印刷させる(ステップ101)。
テストチャートが印刷され、印刷されたテストチャートが画像読取部60によって読み取られると、故障診断部20は、テストチャート上の欠陥診断用検査対象画像の反射率データからなる画像データを取得する(ステップ102)。
そして、故障診断部20は、取得した欠陥診断用検査対象画像の画像データから、画像上の欠陥領域を検出する(ステップ103)。さらに、画像欠陥の種別を分類し、分類された画像欠陥の種別に対応させて、画像欠陥を推定するために使用する画像欠陥診断モデルを選択する(ステップ104)。さらにまた、故障診断部20は、画像欠陥を特徴付ける種々の特徴量を抽出する(ステップ105)。
そして、故障診断部20は、特徴量や、ユーザにより操作入力された画像欠陥の詳細な種別に関する情報や、画像形成装置1の各種情報等を画像欠陥診断モデルに入力し、画像欠陥を推定する(ステップ106)。さらには、制御部10を介して診断結果を操作表示部50に表示させ、ユーザに通知する(ステップ107)。
<故障診断部の処理の内容の説明>
また、故障診断部20は、画像欠陥の発生の有無を判定するために画像濃度に関して規定する2値化閾値を自動的に設定する。
図13は、故障診断部20が行う2値化閾値の設定処理の内容の一例を示すフローチャートである。
図13に示すように、故障診断部20は、閾値算出用テストパッチと欠陥診断用検査対象画像とがそれぞれ形成されたテストチャート上の閾値算出用テストパッチに関して検出された検出画像データを取得する(ステップ201)。そして、取得した閾値算出用テストパッチに関する検出画像データから閾値算出用テストパッチが形成された領域(部分領域)の検出画像データとその位置情報を抽出する(ステップ202)。
そして、故障診断部20は、各閾値算出用テストパッチにおいて、例えば2値化閾値以上の検出濃度階調値を有する画素からなる面積領域の累積値(検出面積)が各閾値算出用テストパッチの面積に占める割合(検出面積率)から、画像欠陥の発生の有無を判定するための2値化閾値を設定する(ステップ203)。
故障診断部20は、各閾値算出用テストパッチにおいて設定した2値化閾値に関する補間処理を行い、画像形成可能領域全域についての2値化閾値を算出する(ステップ204)。
なお、本実施の形態では、閾値算出用テストパッチと欠陥診断用検査対象画像とが同一の用紙上に形成されるテストチャートを用いた。このようなテストチャートの構成の他に、それぞれ別個の用紙に形成された閾値算出用テストパッチからなるテストチャート(閾値算出用テストチャート)と、欠陥診断用検査対象画像からなるテストチャート(欠陥診断用テストチャート)とを用いてもよい。
この場合には、画像欠陥の発生状況に基づいてユーザによりテストチャートが選択されると、画像形成部40がユーザにより選択されたテストチャートに対応する「閾値算出用テストチャート」および「欠陥診断用テストチャート」を連続して印刷する。さらには、制御部10は、ユーザに対し、まず第一に、「閾値算出用テストチャート」(閾値算出用検査対象画像)を画像読取部60により読み取る操作を行うように指示する表示を操作表示部50にて行わせる。そして、「閾値算出用テストチャート」が画像読取部60にて読み取られると、制御部10は、それに続いて、「欠陥診断用テストチャート」を画像読取部60により読み取る操作を行うように指示する表示を操作表示部50にて行わせることとなる。
以上説明したように、本実施の形態の画像形成装置1では、画像形成装置1各々が固有に有する濃度ばらつきに対応させて、画像欠陥の発生の有無を判定するために画像濃度に関して規定する2値化閾値を、画像領域内の部分領域各々に設定している。それにより、画像形成装置1各々が固有に有する濃度ばらつきの影響を低減して、画像欠陥の検出精度を高めている。
1…画像形成装置、10…制御部、20…故障診断部、21…画像データ取得部、22…画像データ記憶部、23…欠陥領域検出部、24…欠陥種別分類部、25…特徴量抽出部、26…診断部、40…画像形成部、50…操作表示部、60…画像読取部、231…テストパッチ抽出部、232…2値化閾値設定部、233…2値化閾値補間処理部、234…2値化閾値記憶部、235…欠陥領域判定部

Claims (11)

  1. 画像欠陥に関する検査対象とする検査対象画像の部分領域各々に設定され、当該部分領域に画像欠陥が発生しているか否かを判定する際の判定基準とする画像濃度閾値と、当該画像濃度閾値が設定された当該部分領域の当該検査対象画像上での位置を表す位置情報とを相互に対応付けて記憶する記憶手段と、
    前記検査対象画像を読み取って生成された前記部分領域各々の画像データを、前記記憶手段に記憶された当該部分領域での前記画像濃度閾値と比較し、当該検査対象画像での画像欠陥の発生の有無を診断する診断手段と
    を備えたことを特徴とする画像欠陥診断システム。
  2. 前記記憶手段は、前記画像濃度閾値を、当該画像濃度閾値が設定された前記部分領域の前記検査対象画像上での主走査方向に関する位置情報と対応付けて記憶し、
    前記診断手段は、前記部分領域各々の前記画像データを前記記憶手段に記憶された当該部分領域の主走査方向位置に対応付けられた前記画像濃度閾値と比較し、前記検査対象画像での画像欠陥の発生の有無を診断することを特徴とする請求項1記載の画像欠陥診断システム。
  3. 前記記憶手段に記憶される前記画像濃度閾値を算出するための閾値算出用画像を読み取り、当該閾値算出用画像を構成する画素毎の濃度階調値を検出する画像読取手段と、
    前記画像読取手段にて読み取られた前記閾値算出用画像を構成する前記画素に関し、濃度階調値を変数とし当該変数としての当該濃度階調値以上の前記濃度階調値を有する当該画素からなる面積領域が当該閾値算出用画像の面積に占める割合が予め定めた値となる当該濃度階調値を当該閾値算出用画像に関する前記画像濃度閾値として設定する閾値設定手段とを
    さらに備えたことを特徴とする請求項1記載の画像欠陥診断システム。
  4. 前記画像読取手段にて読み取られる前記閾値算出用画像は、前記検査対象画像上にて主走査方向に配列されて形成されたことを特徴とする請求項3記載の画像欠陥診断システム。
  5. 画像欠陥に関する検査対象とする検査対象画像を記録材上に形成する画像形成手段と、
    前記画像形成手段にて形成された前記検査対象画像を読み取り、当該検査対象画像に関する画像データを生成する画像読取手段と、
    前記画像読取手段にて生成された前記画像データにより前記検査対象画像に発生した画像欠陥を診断する画像欠陥診断手段とを有し、
    前記画像欠陥診断手段は、
    前記検査対象画像の部分領域各々に設定され、当該部分領域に画像欠陥が発生しているか否かを判定する際の判定基準とする画像濃度閾値と、当該画像濃度閾値が設定された当該部分領域の当該検査対象画像上での位置情報とを相互に対応付けて記憶する記憶手段と、
    前記検査対象画像を読み取って生成された前記部分領域各々の画像データを、前記記憶手段に記憶された当該部分領域での前記画像濃度閾値と比較し、当該検査対象画像での画像欠陥の発生の有無を診断する診断手段と
    を備えたことを特徴とする画像形成装置。
  6. ユーザから画像欠陥に関する診断指示の入力を受け付ける受付手段をさらに備え、
    前記画像形成手段は、前記受付手段にて前記診断指示の入力を受け付けたことにより、前記検査対象画像を形成し、
    前記画像読取手段は、前記画像形成手段にて形成された前記検査対象画像に関する画像データを生成し、
    前記画像欠陥診断手段は、前記画像読取手段にて生成された前記検査対象画像に関する前記部分領域各々の画像データを、前記記憶手段に記憶された前記検査対象画像の当該部分領域各々の前記画像濃度閾値と比較し、当該検査対象画像での画像欠陥の発生の有無を診断することを特徴とする請求項5記載の画像形成装置。
  7. 前記画像欠陥診断手段の前記記憶手段は、前記画像濃度閾値を、前記画像濃度閾値が設定された前記部分領域の前記検査対象画像上での主走査方向に関する位置情報と対応付けて記憶し、
    前記画像欠陥診断手段の前記診断手段は、前記部分領域各々の前記画像データを前記記憶手段に記憶された当該部分領域の主走査方向位置に対応付けられた前記画像濃度閾値と比較し、前記検査対象画像での画像欠陥の発生の有無を診断することを特徴とする請求項5記載の画像形成装置。
  8. 前記画像形成手段は、記録材上の1または複数の副走査方向位置にて主走査方向に沿って複数配列され、前記画像欠陥診断手段の前記記憶手段に記憶される前記画像濃度閾値を算出するための閾値算出用画像を含む前記検査対象画像を形成し、
    前記画像読取手段は、前記検査対象画像に含まれる前記閾値算出用画像を読み取り、当該閾値算出用画像を構成する画素毎の濃度階調値を検出するとともに、
    前記画像読取手段にて読み取られた前記閾値算出用画像を構成する前記画素に関し、濃度階調値を変数とし当該変数としての前記濃度階調値以上の当該濃度階調値を有する当該画素からなる面積領域が当該閾値算出用画像の面積に占める割合が予め定めた値となる当該濃度階調値を当該閾値算出用画像に関する前記画像濃度閾値として設定する閾値設定手段をさらに備えたことを特徴とする請求項5記載の画像形成装置。
  9. 前記画像形成手段は、記録材上の1または複数の副走査方向位置にて主走査方向に沿って複数配列され、前記画像欠陥診断手段の前記記憶手段に記憶される前記画像濃度閾値を算出するための閾値算出用画像からなる閾値算出用検査対象画像と、画像欠陥に関する検査対象とする前記検査対象画像とを順次形成するとともに、
    前記画像読取手段にて前記閾値算出用検査対象画像を読み取った後、当該画像読取手段にて前記検査対象画像を読み取ることをユーザに指示する指示手段をさらに備えたことを特徴とする請求項5記載の画像形成装置。
  10. コンピュータに、
    画像欠陥に関しての検査対象とする検査対象画像を読み取って生成された当該検査対象画像に関する画像データを取得する機能と、
    取得した前記検査対象画像の部分領域各々における前記画像データを、当該部分領域各々に設定され、当該部分領域に画像欠陥が発生しているか否かを判定する際の判定基準とする画像濃度閾値と比較し、当該検査対象画像での画像欠陥の発生の有無を診断する機能と
    を実現させることを特徴とするプログラム。
  11. 前記部分領域各々に設定された前記画像濃度閾値を、当該画像濃度閾値と、当該画像濃度閾値が設定された前記部分領域の前記検査対象画像上での位置情報とを相互に対応付けて記憶する記憶手段から取得する機能をさらに実現させることを特徴とする請求項10記載のプログラム。
JP2009170631A 2009-07-21 2009-07-21 画像欠陥診断システム、画像形成装置、およびプログラム Expired - Fee Related JP5413012B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009170631A JP5413012B2 (ja) 2009-07-21 2009-07-21 画像欠陥診断システム、画像形成装置、およびプログラム
US12/726,994 US8531744B2 (en) 2009-07-21 2010-03-18 Image defect diagnostic system, image forming apparatus, image defect diagnostic method and computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009170631A JP5413012B2 (ja) 2009-07-21 2009-07-21 画像欠陥診断システム、画像形成装置、およびプログラム

Publications (2)

Publication Number Publication Date
JP2011027798A true JP2011027798A (ja) 2011-02-10
JP5413012B2 JP5413012B2 (ja) 2014-02-12

Family

ID=43497094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009170631A Expired - Fee Related JP5413012B2 (ja) 2009-07-21 2009-07-21 画像欠陥診断システム、画像形成装置、およびプログラム

Country Status (2)

Country Link
US (1) US8531744B2 (ja)
JP (1) JP5413012B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013116632A (ja) * 2011-12-01 2013-06-13 Xerox Corp 印刷マーキング装置用のシステム診断ツール
JP2014044324A (ja) * 2012-08-27 2014-03-13 Ricoh Co Ltd 静電潜像計測方法及び静電潜像計測装置
JP2015220505A (ja) * 2014-05-14 2015-12-07 キヤノン株式会社 画像処理装置、画像処理方法ならびにプログラム
US9681006B2 (en) 2014-12-03 2017-06-13 Canon Kabushiki Kaisha Print control apparatus, print control method, and program
JP2019078877A (ja) * 2017-10-24 2019-05-23 コニカミノルタ株式会社 画像形成装置および押圧力変更制御方法
JP2019093550A (ja) * 2017-11-17 2019-06-20 コニカミノルタ株式会社 画像形成装置、外部装置およびプログラム
JP2020155969A (ja) * 2019-03-20 2020-09-24 株式会社リコー 画像処理システム

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594518B2 (en) 2011-05-16 2013-11-26 Xerox Corporation Diagnostic method for determining imager contribution to printing defects
JP6232999B2 (ja) * 2013-03-15 2017-11-22 株式会社リコー 画像検査装置、画像検査システム及び画像検査方法
JP5842847B2 (ja) * 2013-03-25 2016-01-13 富士ゼロックス株式会社 画像処理装置、画像形成装置及びプログラム
US9156278B2 (en) * 2013-06-18 2015-10-13 Ricoh Company, Ltd. Quality analysis of printheads with clear fluid
JP2015060046A (ja) * 2013-09-18 2015-03-30 コニカミノルタ株式会社 画像形成装置、画像形成方法およびプログラム
JP6223167B2 (ja) * 2013-12-18 2017-11-01 キヤノン株式会社 画像形成装置および画像診断方法及び画像診断システム
CN104752630B (zh) * 2013-12-25 2017-04-12 清华大学 有机发光二极管阵列的制备方法
JP2015179209A (ja) * 2014-03-19 2015-10-08 コニカミノルタ株式会社 画像形成装置及び画像形成システム並びに画像形成制御方法
JP6646257B2 (ja) * 2016-02-08 2020-02-14 富士ゼロックス株式会社 端末装置、診断システムおよびプログラム
US9846929B2 (en) * 2016-03-24 2017-12-19 Hong Kong Applied Science and Technology Research Institute Company Limited Fast density estimation method for defect inspection application
EP3438756B1 (en) * 2017-08-04 2021-09-08 Canon Kabushiki Kaisha Image forming apparatus
EP3438755B1 (en) 2017-08-04 2022-06-22 Canon Kabushiki Kaisha Image forming apparatus
KR20190031706A (ko) 2017-09-18 2019-03-27 에이치피프린팅코리아 유한회사 화상형성장치 및 화상형성방법
JP6955211B2 (ja) * 2017-12-14 2021-10-27 オムロン株式会社 識別装置、識別方法及びプログラム
JP6869490B2 (ja) * 2018-12-28 2021-05-12 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
JP2021133506A (ja) 2020-02-21 2021-09-13 キヤノン株式会社 画像形成装置
US11902475B2 (en) * 2021-09-01 2024-02-13 Canon Kabushiki Kaisha Diagnostic system for diagnosing image forming apparatus using image formed by image forming apparatus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001310535A (ja) * 2000-04-28 2001-11-06 Canon Inc 記録装置、および記録ヘッドの濃度むら補正方法
JP2007059990A (ja) * 2005-08-22 2007-03-08 Fuji Xerox Co Ltd 画像形成装置
JP2008225377A (ja) * 2007-03-15 2008-09-25 Fuji Xerox Co Ltd 記録媒体、画像形成装置、画像欠陥位置判定装置、画像形成プログラム、及び画像欠陥位置判定プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10255036A (ja) 1997-03-11 1998-09-25 Nippon Telegr & Teleph Corp <Ntt> 濃淡画像の動的な2値化方法
US6377758B1 (en) * 2000-11-06 2002-04-23 Xerox Corporation Method and system for analyzing imaging problems
JP2002283681A (ja) 2001-03-23 2002-10-03 Ricoh Co Ltd 画像出力システム
US6862414B2 (en) * 2002-01-30 2005-03-01 Xerox Corporation Automated banding defect analysis and repair for document processing systems
JP4172761B2 (ja) * 2002-10-08 2008-10-29 大日本スクリーン製造株式会社 欠陥検査装置、欠陥検査方法およびプログラム
JP3848236B2 (ja) * 2002-10-18 2006-11-22 株式会社東芝 欠陥情報検出感度データの決定方法及び欠陥情報検出感度データの決定装置、欠陥検出装置の管理方法、半導体装置の欠陥検出方法及び半導体装置の欠陥検出装置
JP2004180000A (ja) 2002-11-27 2004-06-24 Kansai Tlo Kk 画像の2値化装置および方法
JP4562126B2 (ja) * 2004-09-29 2010-10-13 大日本スクリーン製造株式会社 欠陥検出装置および欠陥検出方法
JP2006098217A (ja) * 2004-09-29 2006-04-13 Fujitsu Ltd 画像検査装置、画像検査方法及び画像検査プログラム
US7376269B2 (en) * 2004-11-22 2008-05-20 Xerox Corporation Systems and methods for detecting image quality defects
JP4572862B2 (ja) * 2006-04-05 2010-11-04 富士ゼロックス株式会社 画像形成装置シミュレーション装置、画像形成装置シミュレーション方法及びプログラム
JP4197008B2 (ja) * 2006-05-15 2008-12-17 セイコーエプソン株式会社 画像処理方法、プログラム及び画像処理装置
JP4711077B2 (ja) * 2006-06-09 2011-06-29 富士ゼロックス株式会社 故障診断システム、画像形成装置および故障診断プログラム
KR100846633B1 (ko) * 2006-11-09 2008-07-16 삼성전자주식회사 패턴 결함 검출 방법 및 장치
US7965414B2 (en) * 2008-01-23 2011-06-21 Xerox Corporation Systems and methods for detecting image quality defects
US8472040B2 (en) * 2008-07-28 2013-06-25 Samsung Electronics Co., Ltd. Host apparatus, image forming apparatus, and diagnosis method for image forming apparatus
US8208183B2 (en) * 2008-11-19 2012-06-26 Xerox Corporation Detecting image quality defects by measuring images printed on image bearing surfaces of printing devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001310535A (ja) * 2000-04-28 2001-11-06 Canon Inc 記録装置、および記録ヘッドの濃度むら補正方法
JP2007059990A (ja) * 2005-08-22 2007-03-08 Fuji Xerox Co Ltd 画像形成装置
JP2008225377A (ja) * 2007-03-15 2008-09-25 Fuji Xerox Co Ltd 記録媒体、画像形成装置、画像欠陥位置判定装置、画像形成プログラム、及び画像欠陥位置判定プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013116632A (ja) * 2011-12-01 2013-06-13 Xerox Corp 印刷マーキング装置用のシステム診断ツール
JP2014044324A (ja) * 2012-08-27 2014-03-13 Ricoh Co Ltd 静電潜像計測方法及び静電潜像計測装置
JP2015220505A (ja) * 2014-05-14 2015-12-07 キヤノン株式会社 画像処理装置、画像処理方法ならびにプログラム
US9681006B2 (en) 2014-12-03 2017-06-13 Canon Kabushiki Kaisha Print control apparatus, print control method, and program
JP2019078877A (ja) * 2017-10-24 2019-05-23 コニカミノルタ株式会社 画像形成装置および押圧力変更制御方法
JP2019093550A (ja) * 2017-11-17 2019-06-20 コニカミノルタ株式会社 画像形成装置、外部装置およびプログラム
JP6992431B2 (ja) 2017-11-17 2022-01-13 コニカミノルタ株式会社 画像検査装置、画像形成システム、画像検査方法、制御装置およびプログラム
JP2020155969A (ja) * 2019-03-20 2020-09-24 株式会社リコー 画像処理システム
JP7272035B2 (ja) 2019-03-20 2023-05-12 株式会社リコー 画像処理システム、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
US20110019245A1 (en) 2011-01-27
JP5413012B2 (ja) 2014-02-12
US8531744B2 (en) 2013-09-10

Similar Documents

Publication Publication Date Title
JP5413012B2 (ja) 画像欠陥診断システム、画像形成装置、およびプログラム
JP5365392B2 (ja) 画像欠陥診断システム、画像形成装置、およびプログラム
JP6241121B2 (ja) 画像検査装置、画像検査システム及び画像検査方法
JP6241120B2 (ja) 画像検査装置、画像検査方法及び画像検査装置の制御プログラム
US8223385B2 (en) Printer job visualization
US7903844B2 (en) Failure analysis system, failure analysis method, and program product for failure analysis
JP6163979B2 (ja) 画像検査システム、画像検査方法及び画像検査結果のデータ構造
JP2014044712A (ja) 画像検査システム及び画像検査方法
JP6252183B2 (ja) 画像検査装置、画像検査システム及び画像検査方法
JP2014016437A (ja) 画質異常判定装置及びプログラム
JP6007690B2 (ja) 画像検査装置、画像処理システム及び画像検査方法
JP2019158994A (ja) 診断システム、診断方法、画像形成装置およびプログラム
JP5440162B2 (ja) 白抜け検出装置、画像形成装置および白抜け検出プログラム
JP7487568B2 (ja) 画像検査装置、表示方法及びプログラム
JP6244944B2 (ja) 画像検査装置、画像形成システム及び画像検査プログラム
JP4872979B2 (ja) 画像処理装置、画像形成装置及びプログラム
JP2016208151A (ja) 画像処理装置、画像処理方法、画像処理装置を有する画像形成装置、及びプログラム。
JP2006259406A (ja) 画像形成装置、画像形成方法、その方法をコンピュータに実行させるプログラム、および記録媒体
JP6447691B2 (ja) 画像検査システム及び画像検査方法
JP2009290612A (ja) 画像処理装置、画像処理方法及び画像形成装置
JP2018036279A (ja) 画像検査装置、画像検査方法及び画像検査装置の制御プログラム
JP2016177669A (ja) 画像検査装置、画像検査システム及び画像検査方法
JP2008224745A (ja) 画像処理装置、画像処理プログラム、故障診断装置、及び故障診断プログラム
JP6326768B2 (ja) 画像検査装置、画像検査システム及び画像検査方法
JP6287379B2 (ja) 画像検査装置、画像検査システム及び画像検査方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131028

R150 Certificate of patent or registration of utility model

Ref document number: 5413012

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees