JP2020008607A - 学習装置、学習方法および学習プログラム - Google Patents

学習装置、学習方法および学習プログラム Download PDF

Info

Publication number
JP2020008607A
JP2020008607A JP2018126639A JP2018126639A JP2020008607A JP 2020008607 A JP2020008607 A JP 2020008607A JP 2018126639 A JP2018126639 A JP 2018126639A JP 2018126639 A JP2018126639 A JP 2018126639A JP 2020008607 A JP2020008607 A JP 2020008607A
Authority
JP
Japan
Prior art keywords
image
unit
learning
image forming
likelihood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018126639A
Other languages
English (en)
Inventor
慎一 浅井
Shinichi Asai
慎一 浅井
大輔 源田
Daisuke Genda
大輔 源田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2018126639A priority Critical patent/JP2020008607A/ja
Priority to US16/434,346 priority patent/US20200013158A1/en
Publication of JP2020008607A publication Critical patent/JP2020008607A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00005Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10008Still image; Photographic image from scanner, fax or copier
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30176Document

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Control Or Security For Electrophotography (AREA)
  • Facsimiles In General (AREA)

Abstract

【課題】画像形成部材の寿命予測の精度の向上を図ることが可能な学習装置、学習方法および学習プログラムを提供する。【解決手段】学習装置は、画像形成された用紙における画像不良を検出する画像不良検出部と、画像形成に関連する画像形成部材が画像不良の発生要因である尤度を算出する尤度算出部と、画像形成部材が発生要因で発生する画像不良の変化を予測する予測部と、検出された画像不良を学習データに用いて予測部に学習させる学習部と、を備え、学習部は、尤度に応じて、学習データとして使用する前記画像不良の学習態様を変更する。【選択図】図6

Description

本発明は、学習装置、学習方法および学習プログラムに関する。
一般に、電子写真プロセス技術を利用した画像形成装置(プリンター、複写機、ファクシミリ等)は、帯電した感光体ドラム(像担持体)に対して、画像データに基づくレーザー光を照射(露光)することにより静電潜像を形成する。そして、静電潜像が形成された感光体ドラムへ現像装置よりトナーを供給することにより静電潜像を可視化してトナー像を形成する。さらに、このトナー像を直接または間接的に用紙に転写させた後、定着ニップで加熱、加圧して定着させることにより用紙にトナー像を形成する。
このような画像形成装置では、通常の使用状態(以下、通常モードという)とは別に、定期的に、或いは画像不良(欠陥画像、異常画像などとも呼ばれる。)の発生に伴って、装置内部の画像形成に関連する種々の画像形成部材(以下、「部品ユニット」という)の故障や不具合、耐久等を診断する診断モードの処理を行う機種がある。この診断モードでは、例えば、画像不良の態様(種類や特徴量など)、当該画像形成装置における過去の使用履歴(印刷枚数、各々の部品ユニットを交換した時期など)の種々のデータに基づいて、部品ユニットの故障診断、部品ユニットの交換時期の予測などを行う。
これに関し、例えば、特許文献1では、画像欠陥の特徴量を時系列で分析することにより、故障箇所を判定する技術が記載されている。
特開2014−16437号公報
ところで、一般に診断モードでは、部品ユニットの故障診断や交換時期の予測などを行う際に、検出された画像不良における画像特徴量や、部品ユニット等の使用状況から、画像不良の発生要因となる部品ユニットを特定し、かかる部品ユニットの交換時期(いわゆる余命)を予測する。
しかしながら、一般に、診断モードにおいて、画像不良の発生要因となる部品ユニットを必ずしも高い確実性で特定できるものではなく、特に、候補となる部品ユニットが複数特定された場合のこれら部品ユニットの交換時期の予測の精度に問題があった。例えば、診断モードにおいて、画像不良として画像スジが検出された場合に、かかる画像スジの発生要因は、100%の尤度(ないし蓋然性)で感光体ユニットであると特定される場合もあれば、50%ずつの尤度で感光体ユニットと帯電極ユニットであると特定される場合もあり得る。このため、従来から、診断モードにおける画像不良の発生要因の特定精度、ひいては画像形成部材の寿命予測の精度向上が求められていた。
本発明の目的は、画像形成部材の寿命予測の精度の向上を図ることが可能な学習装置、学習方法および学習プログラムを提供することである。
本発明に係る学習装置は、
画像形成された用紙における画像不良を検出する画像不良検出部と、
前記画像形成に関連する画像形成部材が前記画像不良の発生要因である尤度を算出する尤度算出部と、
前記画像形成部材が発生要因で発生する前記画像不良の変化を予測する予測部と、
検出された前記画像不良を学習データに用いて前記予測部に学習させる学習部と、
を備え、
前記学習部は、前記尤度に応じて、前記学習データとして使用する前記画像不良の学習態様を変更する。
本発明に係る学習方法は、
画像形成された用紙における画像不良を検出し、
前記画像形成に関連する画像形成部材が前記画像不良の発生要因である尤度を算出し、
検出された前記画像不良を学習データに使用して、前記画像形成部材が発生要因で発生する前記画像不良の変化を予測し、
前記尤度に応じて、前記学習データとして使用する前記画像不良の学習態様を変更する。
本発明に係る学習プログラムは、
コンピューターに、
画像形成された用紙における画像不良を検出する処理と、
前記画像形成に関連する画像形成部材が前記画像不良の発生要因である尤度を算出する処理と、
検出された前記画像不良を学習データに使用して、前記画像形成部材が発生要因で発生する前記画像不良の変化を予測する処理と、
前記尤度に応じて、前記学習データとして使用する前記画像不良の学習態様を変更する処理と、
を実行させるための学習プログラムである。
本発明によれば、画像形成部材の寿命予測の精度の向上を図ることができる。
本実施の形態における画像品質検査システムの全体構成を概略的に示す図である。 図1の画像品質検査システムにおける制御系の主要部を示すブロック図である。 検品ジョブの処理概要および診断モードへの移行態様の一例を示すフローチャートである。 予測モデルを学習して部品ユニットの耐用末期の日を予測した結果を説明するグラフである。 画像スジの特徴量の例および発生要因となる部品ユニットの発現領域との関係を例示する特性グラフである。 本実施の形態における機械学習データのウエイト設定の手法を説明するフロー図である。 診断モードにおける処理の流れを示すフローチャートである。
以下、本実施の形態を、図面を参照して詳細に説明する。図1は、本発明の実施の形態における画像品質検査システム1の全体構成を概略的に示す図である。図2は、本実施の形態における画像品質検査システム1を構成する各装置間での信号の流れ等を説明するための制御系の主要部である。
図1および図2に示す画像品質検査システム1は、画像形成装置20によって用紙Sに画像を形成(出力)した後、当該用紙Sの画像を読み取り、当該読み取り結果に基づいて出力画像の品質の良否(画像不良の発生の有無)を検査する。また、画像品質検査システム1は、通常の印刷ジョブの実行時に画像不良が発生した場合、または定期的に、画像形成装置20内の画像形成に関連する部品ユニット(画像形成部材)の故障状況の診断や、部品ユニットの交換時期の予測などを行う診断モードに移行する。かかる診断モードの処理については後述する。
図1に示すように、画像品質検査システム1は、入力画像データに基づく画像を用紙Sに形成する画像形成装置20、画像形成装置20に用紙Sを給紙する給紙装置10、画像形成装置20から排紙された用紙Sの画像を読み取る画像読取装置30、複数の排紙トレイ(42,43)を有する後処理装置40を備える。
画像品質検査システム1では、用紙Sの搬送方向の上流側から、給紙装置10、画像形成装置20、画像読取装置30、および後処理装置40が順に物理的に接続される(装置本体同士が連結される)ことにより、用紙Sの搬送経路Pがこれら複数の装置間に連なって構成される。この搬送経路Pは、後処理装置40の仕分け部41によって、下方の排紙トレイ42に連なる経路Pと、上方の排紙トレイ43に連なる経路Pと、に分岐される。
簡明のため、図1では、画像形成装置20内の搬送経路Pを1本の線で示しているが、実際の画像形成装置20では、両面印刷のための両面搬送路が設けられている。また、簡明のため、図1では、後処理装置40内で分岐される経路をPおよびPの2本としたが、排紙トレイの数などに応じて、より多くの分岐経路を設けることができる。
給紙装置10は、種々のサイズや紙種の用紙Sを収容することができる。給紙装置10は、収容(積載)された用紙Sを1枚ずつ給紙するための給紙ローラー、給紙ローラーを駆動するモーターなどを有する。
画像形成装置20は、電子写真プロセス技術を利用した中間転写方式の画像形成部21を有する。この例では、画像形成部21は、図示しない感光体ドラム上に形成されたY(イエロー)、M(マゼンタ)、C(シアン)、K(ブラック)の各色トナー像を中間転写ベルト(図示せず)に一次転写し、中間転写ベルト上で4色のトナー像を重ね合わせた後、用紙Sに二次転写することにより、トナー像を形成する。また、用紙Sの搬送方向における画像形成部21の下流側には、トナー像が二次転写され、搬送されてきた用紙Sを加熱および加圧して、用紙Sにトナー像を定着させる定着部22が配置されている。これら画像形成部21および定着部22は、公知の構成であるため、詳細な図示を省略する。
ここで、画像形成部21は、用紙Sに画像を形成するための複数の部品ユニット(画像形成部材)を備えており、各部品ユニットは、画像形成装置20の図示しないフレームや装置本体から脱着されることで交換可能に構成されている。画像形成部21の部品ユニットとしては、例えば現像器やトナーカートリッジ等が一体化された現像ユニット、感光体ドラム等を備えた感光体ユニット、感光体ドラムの表面を帯電させる帯電極を備えた帯電ユニット、感光体ドラムに形成された画像(トナー像)を用紙Sに転写するための中間転写ベルト等を備えた転写ユニットなど、様々なものがある。上記のうち、転写ユニット以外の部品ユニットは、Y(イエロー)、M(マゼンタ)、C(シアン)、K(ブラック)の各色毎に設けられる。画像形成部21のこれら各部品ユニットは、公知の構成であり、図示および詳述を省略する。
画像形成装置20の装置本体には操作表示部25が備えられる。この操作表示部25は、例えばタッチパネル付の液晶ディスプレイ(LCD:Liquid Crystal Display)で構成され、表示部26及び操作部27として機能する。表示部26は、後述する制御部200から入力される表示制御信号に従って、各種操作画面、画像の状態、各機能の動作状況等の表示を行う。操作部27は、テンキー、スタートキー等の各種操作キー(いわゆるハードウエアスイッチ)を備え、ユーザーによる各種入力操作を受け付けて、操作信号を制御部200に出力する。また、表示部26は、後述する各種画面において、カーソル(ポインタ)等で選択可能な種々のアイコン(いわゆるソフトウエアスイッチ)を表示し、ユーザーによる各種入力操作を受け付けて、操作信号を制御部200(図2参照)に出力する。
画像形成装置20は、図2に示すように、この画像形成装置20全体の制御を司る制御部200を備える。制御部200は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203等を備え、上述した画像形成部21、定着部22、および操作表示部25の他、画像形成装置20に備えられる各部の動作を制御する。すなわち、制御部200のCPU201は、ROM202から処理内容に応じたプログラムを読み出してRAM203に展開し、展開したプログラムと協働して、画像形成部21、定着部22、操作表示部25および画像形成装置20内の他のブロックの動作を集中制御する。
画像形成装置20に備えられる他のブロックとしては、入力画像データに対して階調補正などの種々の補正を行う画像処理部、用紙Sを搬送する複数の搬送ローラーを駆動する用紙搬送部、通信ネットワーク等を通じて外部装置と通信する通信部などが挙げられる。また、画像形成装置20は、原稿画像を用紙Sに複写するコピー機としての構成、すなわち、ADF(Auto Document Feeder)などの自動原稿給紙装置および原稿画像走査装置(スキャナー)等を備える構成としてもよい。
画像読取装置30は、図1および図2に示すように、画像形成装置20から排紙された用紙Sの画像(トナー像)を光学的に読み取る出力画像読取部31を有する。具体的には、出力画像読取部31は、用紙Sを光学的に走査し、用紙Sからの反射光を図示しないCCD(Charge Coupled Device)センサーの受光面上に結像させて、用紙Sの両面の画像を読み取り、読取結果に基づいて読取画像データを生成する。出力画像読取部31によって生成された読取画像データは、後述する画像検査装置50に入力される。
後処理装置40は、図1および図2に示すように、画像読取装置30によって画像を読み取られた用紙Sを搬送する搬送ローラー、かかる用紙Sを排出する複数の排紙トレイ42,43、および、用紙Sの排出先(搬送ルート)を切り替える仕分け部41を備える。簡明のため、図2では、2つの排紙トレイ42,43を備えた構成を例示するが、排紙トレイの数は任意であり、より多くの排紙トレイを設けてもよい。仕分け部41は、用紙Sの排出先(搬送ルート)を経路Pと経路Pのいずれかに切り替える切り替えゲート、切り替えゲートを駆動するソレノイド等の駆動源、画像形成装置20および画像検査装置50とデータの送受信を行うためのインターフェースなどを備える。
図2に示すように、画像品質検査システム1は、画像読取装置30によって生成された読取画像データに基づいて、当該用紙Sに形成(出力)された出力画像の品質の良否(画像不良発生の有無)を検査する画像検査装置50を備える。この画像検査装置50は、CPUなどのハードウェアプロセッサやROM、後述するデータ格納部51などを備え、ROMに格納されたプログラムをCPUが読み出して実行することにより、出力画像の品質の良否(画像不良発生の有無)を検査するジョブ(以下、検品ジョブという)および後述する診断モードの処理を実行する。
本実施の形態では、画像検査装置50は、画像不良検出部、尤度算出部、予測部、および学習部として機能する。このうち、画像不良検出部は、上記の検品ジョブおよび後述する診断モードにおいて、用紙S上の画像を読み取った結果から当該画像に画像不良が発生したか否かについて検査する処理を行う。また、尤度算出部は、画像不良が発生した場合、当該画像不良の特徴量から、当該画像不良の発生要因となる画像形成装置20(画像形成部21)の部品ユニットを特定するとともに、当該部品ユニットが前記画像不良の発生要因である尤度(確からしさを表す値)を算出する。また、予測部は、特定された部品ユニットが発生要因で発生する画像不良の変化を予測する。より具体的には、予測部は、画像不良の未来の変化を表す「予測モデル」を、部品ユニット毎に学習する。また、学習部は、検出された画像不良を学習データとして使用して、予測部に学習させる。これら各部の詳細は後述する。
画像検査装置50は、例えば、画像読取装置30や後処理装置40、さらには画像形成装置20等の筐体内に物理的に組み込まれることができ、または、これら装置とは物理的に独立した装置として構成することもできる。図2に示す例では、画像検査装置50は、後者すなわち物理的に独立した装置であり、画像形成装置20の後述する制御部200等に電気的に接続された構成となっている。
また、画像品質検査システム1は、図2に示すように、入力画像データや印刷条件(印刷の方法や部数などの種々のユーザー設定値)をリファレンスデータとして出力するPC60を備える。図2に示す例では、PC60は、上記のリファレンスデータを画像形成装置20(制御部200)と画像検査装置50の両方に供給する。
さらに、図2に示すように、画像品質検査システム1は、上述した入力画像データ等の各種データを格納するためのデータ格納部51,52を備える。このうち、データ格納部51は、画像検査装置50の一部であり、リファレンスデータを一時的に記憶するために用いられる。また、データ格納部51は、画像検査装置50によって検知された画像不良に関する種々のデータが格納される。他方、データ格納部52は、画像形成装置20の本体(筐体)内に設けられ、上述した部品ユニットの使用時間などの種々のデータが格納される。データ格納部52は、図示しないインターフェースを介して、制御部200および画像検査装置50のCPUに接続されている。これらデータ格納部51,52は、HDDや半導体のメモリーなど、各種のデータ記憶媒体を使用することができる。また、画像形成装置20のデータ格納部51と画像検査装置50のデータ格納部52との間で、格納するデータを共有化するようにしてもよい。
次に、図3のフローチャートを参照して、画像検査装置50が実行する検品ジョブの処理の流れについて説明する。
ステップS10において、画像検査装置50(図2に示す画像検査装置50のCPU、以下同じ。)は、画像形成装置20による印刷ジョブの実行に伴って、上述したリファレンスデータを取得する。図2に示す例では、画像検査装置50は、PC60から送信されるリファレンスデータを受信し、受信したリファレンスデータをデータ格納部51に格納する。
ステップS20において、画像検査装置50は、画像読取装置30の出力画像読取部31によって生成された読取画像データを取得する。
ステップS30において、画像検査装置50は、ステップS20で取得された読取画像データを、ステップS10で取得された対応するリファレンスデータと比較することによって、参照画像(正解画像)と読取画像の同一性を検査する。
ステップS40において、画像検査装置50は、読取画像データの画像にスジ等の画像不良が発生したか否かを判定する。かかる判定の処理は、正解画像と読取画像の一致度(読取画像の欠陥の種類)に関する項目および合否の基準値(閾値)等によって異なるものとなり、これらは公知の手法と同様であるため、判定手法の詳述を省略する。
ここで、画像検査装置50は、読取画像データの画像に不良(欠陥画像)が発生していないと判定した場合(ステップS40、NO)、画像品質が合格水準にあるとみなし、当該合格となった読取画像データに対応する用紙Sを、予め設定された第1トレイ(例えば図1の排紙トレイ42)に排出するように、後処理装置40に通知する。そして、画像検査装置50は、当該検品に関する印刷ジョブが完了するまでステップS20〜ステップS40の処理を繰り返し、かかる印刷ジョブが完了すると、処理を終了する。この場合、画像検査装置50は、例えば「全ての印刷頁で画像品質が合格した」旨を画像形成装置20の制御部200に通知する。
他方、画像検査装置50は、読取画像データの画像に不良(欠陥画像)が発生したと判定した場合(ステップS40、YES)、以下の処理を行った後に、画像形成装置20の部品等の故障や不具合、耐久等を診断する診断モードに移行する(ステップS50)。なお、診断モードにおける処理内容については後述する。
画像検査装置50は、読取画像データの画像に不良(欠陥画像)が発生したと判定した場合(ステップS40、YES)、例えば「○○枚目の印刷頁で画像不良が発生した」等のメッセージを画像形成装置20の制御部200に送信する。このとき、画像検査装置50は、当該画像不良の種類、用紙S内における画像不良の位置などを併せて画像形成装置20の制御部200に送信する。また、画像検査装置50は、当該不合格となった読取画像データに対応する用紙Sを、予め設定された第2トレイ(例えば図1の排紙トレイ43)に排出するように、後処理装置40に通知する。そして、画像検査装置50は、当該検品に関する印刷ジョブが完了するまでステップS20〜ステップS40の処理を繰り返し、かかる印刷ジョブが完了すると、ステップS50に移行する。
画像検査装置50から画像品質の合否についての通知を受けた後処理装置40は、対象となる用紙Sを該当する排紙トレイ(42または43)に排出するように、仕分け部41の切り替えゲートを駆動する。他の例として、画像検査装置50は、読取画像データの画像品質の合格または不合格の別を画像形成装置20の制御部200に通知し、対応する用紙Sの排出先(排紙トレイ42または43の別)を制御部200から後処理装置40に指示してもよい。
画像検査装置50は、検品ジョブが完遂されるまで、上述したステップS20〜ステップS50の処理を繰り返し行い、検品ジョブが完了(完遂)された場合、検品結果を画像形成装置20に送信して、検品ジョブを正常に終了する。典型的には、画像検査装置50は、画像形成装置20が印刷ジョブの実行で印刷した全ての印刷物に対して上述したステップS20〜ステップS40の処理を繰り返し行うことで、検品ジョブを継続的に実行した後、上述のように正常に終了する。
ところで、このような画像品質検査システム1において、印刷された画像(トナー像)に画像不良(画像スジ、濃度むら、濃度低下、など)が画像検査装置50により検出された場合、かかる画像不良の発生原因(多くは画像形成装置20内の機械的な不具合)を特定して、特定された機械のメンテナンス(画像形成部21の部品ユニットの調整等)を行う必要が生じる。さらには、画像形成部21の各部品ユニットにはライフ(寿命)があることから、上記検品ジョブの実行とは別に、定期的に画像形成装置20の状態を診断して、部品ユニットの寿命予測を行うことが望ましい。
そこで、本実施の形態の画像品質検査システム1では、以下のような仕組みにより、診断モードの処理を行う。
概して、本実施の形態では、画像形成部21の部品ユニットを要因として発生し得る画像不良の発生態様(不良の種類、サイズ、濃度など)を、部品ユニット毎に予め記憶媒体(例えばデータ格納部51または52、以下同じ)に格納しておく。以下は、画像不良として要因の特定が行い易い「画像スジ」の発生態様(特徴量)を、各々の部品ユニット毎に記憶媒体に格納した場合を前提とする。
また、本実施の形態では、診断モード(ステップS50)の実行に先立って、画像スジの発生要因となり得る画像形成部21の部品ユニット毎に、使用履歴のデータを記憶媒体に格納し蓄積しておく。ここで、部品ユニットの「使用履歴」としては、初期時(または交換時)から現在までの使用量(使用時間、印刷枚数、など)、現在までの交換回数や交換時期などが含まれる。
また、本実施の形態では、画像検査装置50は、部品ユニット毎に、当該ユニットが要因で発生し得る画像スジの特徴量(例えば「幅」および「濃度」)を記憶媒体に登録しておく。
また、本実施の形態では、画像検査装置50は、部品ユニット毎に、当該部品ユニットが発生要因で発生する画像不良(この例では画像スジ)の未来の変化を予測するための予測モデルを作成する。かかる予測モデルの具体例については、図4を参照して後述する。
さらに、本実施の形態では、画像スジの発生要因として、各部品ユニット間の相関性の有無を記憶媒体に登録しておく。具体的には、複数の部品ユニット(例えば、感光体ユニットと転写ユニット)が協働して画像スジを発生させる場合、これら部品ユニットには相関性がある。他方、他の部品ユニットとは無関係に、一つの部品ユニットだけが要因で画像スジを発生させる場合(例えば、帯電極ユニット)、かかる部品ユニットは相関性が無い。
次に、本実施の形態における診断モードの処理の概要を説明する。なお、以下の診断モードの処理は、ステップS50すなわち検品ジョブで画像不良が発生した場合のみならず、予め設定された時間周期毎、あるいはユーザーが所望する任意の時期に行ってもよい。
まず、画像形成装置20は、画像スジの診断ないしテスト用の画像(テストチャート)を出力して用紙Sに印刷し、かかる用紙S上の画像を画像読取装置30に読み取らせ、該読み取った画像データを画像読取装置30から画像検査装置50に送信させる。
かかる画像データを取得した画像検査装置50は、上記の画像不良検出部としての処理を行う。具体的には、画像検査装置50は、用紙S上に印刷されたテストチャートの画像に画像スジが発生したか否かを判定し、画像スジが発生していない場合は画像形成装置20の各部品ユニットは全て正常である旨の診断結果を出力する。但し、この判定の基準は、上述した検品ジョブ(ステップS30)の判定基準よりも厳しく設定されている。具体的には、画像検査装置50は、ユーザーが画像欠陥と認識できない程度の軽微なスジであっても、テストチャートに画像スジが発生したと判定する。
画像検査装置50は、テストチャートに画像スジが発生したと判定した場合、上記の尤度算出部としての処理を行う。具体的には、画像検査装置50は、検出された当該画像スジの特徴量を検出し、検出された特徴量から、画像スジの発生要因となる画像形成装置20の部品ユニットを特定する。加えて、画像検査装置50は、特定された部品ユニットが画像スジの発生要因として正解である度合いを示す尤度を算出する。
一具体例では、画像検査装置50は、画像スジ(以下、単に「スジ」ともいう)の特徴量として、スジの幅および濃度、スジの周期性の有無、スジのシャープ度合いなどを総合的に考慮して、当該スジの発生要因となる部品ユニットを特定する。例えば、複数の画像スジが検出され、これら各スジの周期(発生間隔)が感光体ユニットの感光体ドラムの回転周期と等しい場合、画像検査装置50は、感光体ユニット(感光体ドラム)を発生要因として特定し、かつ尤度を100%と算出することができる。
続いて、画像検査装置50は、上記の学習部としての処理を行う。すなわち、画像検査装置50は、検出された画像スジを学習データとして使用し、特定された部品ユニットが発生要因で発生する画像スジの未来の変化を予測するための予測モデルを学習(ないし更新)する。
図4は、画像検査装置50(学習部)が学習および更新した予測モデルの一例を示すチャート図である。図4中、横軸に時間の経過を示し、縦軸に画像スジの特徴量から導き出されるスジランクを示している。この予測モデルは、適宜、画像形成装置20の表示部26に表示することができる。
ここで、「スジランク」は、画像スジの等級を示すものである。一具体例では、「スジランク」は、画像スジの「幅」と「濃度」を掛け合わせた面積(言い換えると2次元プロファイルの深さ)に応じて、スジの程度をランク付けしたものであり、かかる面積が広いほど、等級すなわちスジランクが下がる。一般に、特定された部品ユニットが耐久末期(寿命)に近づくほど、該部品ユニットから発生する画像スジの幅が大きくなり、あるいは濃度が濃くなることから、スジランクが下がるほど、当該部品ユニットの耐久限界を示す閾値(図4の点線で示す直線参照)に近づく。
この予測モデルは、上述した部品ユニット毎に作成および更新されるものである。このため、上記の閾値は、部品ユニット毎に異なる値に設定してもよい。
また、図4中、「基準日(現在)」は、現在すなわち診断モードに移行して図4の予測モデルを表示した日を示し、両矢印で示す「N日後」は、画像検査装置50により推定された残余期間を示している。
画像検査装置50は、上記のスジランクの値を「基準日(現在)」の縦軸上にプロットするとともに、過去に行われた診断モードで特定されたスジランクの値(図4中の基準日の左側のチャート参照)、現在までの当該部品ユニットの使用時間、今回のスジの特徴量などの種々のデータをパラメーター(学習データ)として用いる機械学習により、当該部品ユニットの残余期間(Nの値)を算出する。すなわち、画像検査装置50は、図4中に破線の曲線で示すスジランクの今後の態様(下がって行く過程)、およびかかるスジランクが閾値に達するまでの日数(Nの値)を機械学習により予測する。なお、機械学習の技法は、公知の種々のものが適用可能であり、一具体例では、コネクショニズム的計算技法で情報を処理するニューラルネットワークを用いる。
ところで、診断モードにおける上述した事例では、画像検査装置50(尤度算出部)が、画像スジの発生要因となる画像形成装置20内の部品ユニットを一つに特定することができ、尤度(確からしさ)を100%として算出できた場合を前提とした。しかしながら、実際には、画像スジの発生要因となる画像形成装置20の部品ユニットを必ずしも一つに特定できない事例が発生し得る。以下、この問題を、図5を参照して説明する。
図5は、画像スジの特徴量の一例および発生要因となる部品ユニットの発現領域との関係を例示した特性グラフであり、横軸に画像スジの幅、縦軸に画像スジの濃度を示している。図5に示すように、ある部品ユニットAを要因として発生する画像スジの特徴量の範囲(発現領域、すなわち実線の楕円内における幅および濃度の領域)と、他の部品ユニットBを要因として発生する画像スジの特徴量の範囲(破線の楕円内における幅および濃度の発現領域)とは、一致していないが、部分的に重なり合う領域もある。なお、図5中における部品ユニットAおよびBの領域は、過去に発生した画像スジの特徴量の測定値および要因となった部品ユニットの蓄積や経験則等に基づいて、予め設定(記憶媒体に格納)しておくことができる。以下、部品ユニットAが帯電極ユニット(帯電板)であり、部品ユニットBが感光体ユニット(感光体ドラム)であると仮定して説明する。
ここで、診断モードにおいて検出された画像スジの特徴量(幅および濃度)が、部品ユニットA(帯電極ユニット)のみに属する発現領域(以下、単に領域という)にプロットされた場合、画像検査装置50は、当該画像スジが「100%の尤度で部品ユニットA(帯電極ユニット)に起因して発生した」ことを推定することができる。同様に、不良画像として検出された画像スジの特徴量が部品ユニットB(感光体ユニット)のみに属する領域にプロットされた場合、画像検査装置50は、当該画像スジが「100%の尤度で部品ユニットB(感光体ユニット)に起因して発生した」ことを推定することができる。
他方、図5に示すように、診断モードにおいて検出された画像スジの特徴量が、部品ユニットAおよび部品ユニットBに重なり合った領域にプロットされる場合がある。このような場合、画像スジの発生が部品ユニットAのみに起因している場合、部品ユニットBのみに起因している場合、あるいは、部品ユニットAと部品ユニットBの両方に起因して発生した場合、の3通りの可能性があり得る。
なお、この事例では、部品ユニットA(帯電極ユニット)に相関性が無いため、「部品ユニットAと部品ユニットBの両方に起因して発生した場合」を除外することができる。他方、実際には、部品ユニットAと部品ユニットBとに相関性がある事例も発生し得る。
そして、従来構成による診断モードでは、上記のように不良画像(画像スジ)の要因となる部品ユニットの候補が複数ある場合に、部品ユニットの特定や寿命の予測等を精度良く行うことができなかった。言い換えると、従来の診断モードでは、要因の「確からしさ」を考慮した診断を行っていなかったといえる。
上記のような問題に鑑みて、本実施の形態では、診断モードの処理を以下のように行う。以下、図6を参照して、本実施の形態における診断モードの処理についてより詳しく説明する。ここで、図6は、簡明のため、画像スジの発生要因として特定された画像形成装置20内の部品ユニットが、「部品ユニットA(帯電極ユニット)」および「部品ユニットB(感光体ユニット)」の2つである場合を示している。なお、実際には、画像スジの発生要因となる画像形成装置20内の部品ユニットが3つ以上特定される場合もあるが、これについては後述する。
本実施の形態では、画像検査装置50(尤度算出部)は、診断モードにおいて、画像スジの画像を解析して上述のような特徴量を求め、画像スジの発生要因となる画像形成装置20内の部品ユニットを特定する(ステップS500)。
ここで、画像検査装置50(尤度算出部)は、当該画像スジの特徴量の範囲(領域)に該当する画像形成装置20の部品ユニットが複数ある場合(図5参照)、当該複数の部品ユニットを発生要因として特定するとともに、これら部品ユニット間の尤度の比率(以下、「要因割合」という)を解析し、決定する(ステップS510A、ステップS510B)。ここで、要因割合は、要因の確からしさを考慮して決定されるものであり、具体的な決定手法については後述する。この例では、尤度算出部は、特定された各部品ユニットの要因割合の合計が100%となるように、要因割合を割り当てる。
続いて、画像検査装置50(学習部)は、割り当てられた要因割合に応じて、ステップS500で特定された画像スジの特徴量にウエイト(この例では学習データのデータ数)を設定する(ステップS520A、ステップS520B)。
ウエイトの設定方法は、例えば以下のようにする。画像検査装置50(学習部)は、ステップS510Aおよび510Bで決定された部品ユニット(この例では「部品ユニットA」、「部品ユニットB」)および「要因割合」と同じ結果の画像スジのデータを、過去に行った診断モードのデータ(履歴)から検索する。以下は、ステップS510Aおよび510Bで決定された要因割合が、部品ユニットAが60%、部品ユニットBが40%であったものとする。
例えば、過去に実行した診断モードで検出された画像スジのデータが30個あり、その内、60%の割合で部品ユニットA(帯電極ユニット)が、40%の割合で部品ユニットB(感光体ユニット)が要因と判定された画像スジ(スジ特徴量)のデータが10個あったものとする。
この場合、画像検査装置50(学習部)は、部品ユニットA(帯電極ユニット)の予測モデルの学習データに10×0.6=6個のスジ特徴量を適用し、部品ユニットB(感光体ユニット)の予測モデルの学習データに10×0.4=4個のスジ特徴量を適用し、学習モデルに反映させるデータの個数を減らすことで、学習データのウェイト(適用個数)を減らす。
そして、画像検査装置50(予測部)は、設定されたウエイト(適用個数)のデータを機械学習(例えばニューラルネットワーク)のパラメーター(学習データ)として用いて、上述した予測モデルを、特定された部品ユニット毎に学習ないし更新することにより、部品ユニット(この例では部品ユニットAおよびB)毎に寿命予測を行う(ステップS530AおよびB)。このように、尤度(要因割合)に応じて機械学習させる学習データのウエイト(適用個数)を変えることで、画像スジの発生要因が一見して曖昧な事例に対しても対応することができる。この結果、本実施の形態の診断モードによれば、最終的な予測モデルの精度を向上させることができる(図6の右側のチャート参照)。
以下、要因割合の割り当て(配分)の手法について説明する。図5に示す事例では、部品ユニットAの領域、および部品ユニットBの領域の各々の中心点を求め、画像スジの特徴量(幅および濃度)がプロットされた位置がいずれの中心点に近いかを基準として要因割合を割り当てることができる。具体的には、図5に示す事例では、画像スジの特徴量(幅および濃度)がプロットされた位置は、部品ユニットAの領域の中心点からより近い位置にあり(距離D1である)、他方、部品ユニットBの領域の中心点からはより遠い(距離D2(D1<D2)であり、図4中当該領域の境界位置に近い)。この場合、画像検査装置50(尤度算出部)は、部品ユニットAには要因割合を高く割り当てて(例えば80%とする)、部品ユニットBには要因割合を低く割り当てる(例えば20%とする)。
また、画像検査装置50(尤度算出部)は、上述のように画像スジの特徴量に基づいて要因割合を算出するとともに、部品ユニットの使用状況や、過去に実行された診断モードの結果などの他の種々のデータを参照して、要因割合の算出値を適宜補正することができる。例えば、画像検査装置50(尤度算出部)は、部品ユニットBが交換して間もないような場合等により、部品ユニットBが画像スジの要因である可能性が低いものと推定した場合、要因割合の算出値を、例えば、部品ユニットA=100%、部品ユニットB=0%のように補正する。この場合、画像検査装置50(学習部)は、部品ユニットBの予測モデルの学習データにはスジ特徴量を適用せず、部品ユニットAの予測モデルの学習データに10×1.0=10個のスジ特徴量を適用する。
また、画像検査装置50(尤度算出部)は、部品ユニットAおよびBのいずれも交換して間もないような場合等により、部品ユニットAおよびBのいずれも画像スジの要因である可能性が低いものと推定した場合、要因割合の算出値を、例えば、部品ユニットA=0%、部品ユニットB=0%のように補正する。この場合、画像検査装置50(学習部および予測部)は、部品ユニットA、部品ユニットBともに、予測モデルの学習データにはスジ特徴量を適用しない。
なお、画像検査装置50(学習部および予測部)は、スジ特徴量のうちウェイト(適用個数)を減らす学習データは、画像に依存するスジランクに対する学習のみとして、部品ユニットAおよびBの使用状況(寿命予測)に対する学習については、ウェイト(適用個数)を減らさずにそのままの割合で(この例では部品ユニットA=80%、部品ユニットB=20%で)適用する。
さらに、画像スジの特徴量に基づいて算出され一の部品ユニットに割り当てられた要因割合が予め定められた閾値よりも低い場合(例えば部品ユニットBの要因割合が10%の場合)、画像検査装置50(学習部および予測部)は、部品ユニットBが要因である可能性が極めて低いものとみなして、部品ユニットBの予測モデルを学習(更新等)しないようにしてもよい。この場合、画像検査装置50(尤度算出部)は、部品ユニットAに割り当てる要因割合を100%に再配分して、部品ユニットAの予測モデルを予測部に学習(更新)させる。このような処理を行うことにより、例えば画像スジの特徴量(幅および濃度)がプロットされた位置が、部品ユニットBの領域の境界位置により近いようなケースにおいて、画像スジの要因と考えられる部品ユニットAの寿命の予測の精度を高めることができる。
他方、尤度算出部によって、互いに相関性のない部品ユニットAと部品ユニットBとに割り当てられた要因割合が50%同士である場合、またはこれに近い場合(例えば49%と51%のような場合)、画像検査装置50(学習部および予測部)は、間違った学習を行う可能性が高いものとみなして、部品ユニットAおよびBの各予測モデルの学習(更新)を行わないようにしてもよい。
上述した事例は、画像スジの要因となり得る部品ユニットが2つの場合であり、かつ、帯電極ユニットと現像ユニットとでは、画像スジの発生要因としての相互作用がない独立性の高い部品ユニットの場合であり、総じて、比較的単純な事例について説明した。しかしながら、実際には、より複雑な事例、具体的には、画像スジの要因として特定できる部品ユニットが3つ以上あり、かつ、上述した相関性(相互作用)のある部品ユニットと相関性がある2つ以上の部品ユニットとが含まれる事例が発生し得る。
以下、このような事例として、画像スジの要因とされ得る部品ユニットが3つの場合であり、3つめの部品ユニット(すなわち部品ユニットC)は、上述した部品ユニットB(感光体ユニット)との相互関係がある中間転写ベルトを備えた転写ユニットである場合を仮定する。
画像検査装置50(尤度算出部)は、画像スジの要因として部品ユニットA(帯電極ユニット)、部品ユニットB(感光体ユニット)および部品ユニットC(転写ユニット)の3つを同時に特定した場合、誤判別の可能性が高いものとみなして、これら各予測モデルには学習データ(スジ特徴量)を適用しない。したがって、部品ユニットA,B,Cの何れの予測モデルも学習(更新)されない。
但し、相関性のない部品ユニットA(この場合は帯電極ユニット)の要因割合が、相互関係がある部品ユニットBおよびC(感光体ユニットおよび転写ユニット)の要因割合よりも高い場合、画像検査装置50(学習部)は、部品ユニットAの予測モデルの学習データにスジ特徴量を適用する。すなわち、画像検査装置50(学習部)は、部品ユニットAが画像スジの発生要因であるとみなし、部品ユニットAに要因割合100%を再割り当てして、予測部に部品ユニットAの予測モデルを学習(更新)させる。
或いは、相関性のない部品ユニットA(帯電極ユニット)の要因割合が、予め定められた閾値(例えば80%)を超えている場合には、画像検査装置50(学習部)は、部品ユニットAの予測モデルの学習データにスジ特徴量を適用して、部品ユニットAの予測モデルを予測部に学習(更新)させる。この場合、上記の閾値(80%)は、図示しないユーザー設定画面等を通じて、ユーザーが適宜変更ないし調整できるようにするとよい。
また、相互関係がある部品ユニットBと部品ユニットCが同時にスジ要因であると判定された場合でも、これらの要因割合を特定できる場合には、画像検査装置50(学習部)は、部品ユニットBおよびCの各々の予測モデルの学習データにスジ特徴量を適用する。この場合、画像検査装置50(学習部)は、部品ユニットBおよびCの両方が画像スジの発生要因であるとみなし、部品ユニットBおよびCに割り当てる要因割合の合計が100%になるように、予め設定された比率で要因割合を再割り当てして、部品ユニットBおよびCの予測モデルを予測部に学習(更新)させる。
このように、画像検査装置50(学習部)は、画像スジの発生要因として相関性のない(すなわち独立性の高い)部品ユニットと、相関性のある(すなわち相互作用のある)複数の部品ユニットとの間で、各々の予測モデルの学習の際に使用される学習データの選択方法を変えることにより、予測部による学習の精度を向上させることができる。
〔診断モードの処理の流れ〕
次に、上述した診断モードにおける処理の流れを、図7のフローチャートを参照して説明する。なお、図7に示す処理は、上述した図3のステップS40で欠陥画像が発生した場合の他、定期的あるいは任意の時期に実行することができる。
診断モードの開始後のステップS110において、画像形成装置20の制御部200は、上述したテストチャートを用紙Sに印刷するように各部を制御する。また、制御部200は、当該テストチャートのリファレンスデータを画像検査装置50に送信する。なお、テストチャートの画像は、公知の図案(例えば縦帯と横帯とが混在したもの)を使用することができ、また、複数枚(例えば3枚)の用紙Sに印刷してもよい。
続くステップS120において、出力画像読取部31は、当該用紙S上のテストチャートの画像を読み取り、かかる読取画像データを画像検査装置50に送信する。
そして、テストチャートのリファレンスデータおよび読取画像データを取得した画像検査装置50は、これら2つのデータを比較することによって、テストチャートの参照画像と読取画像の同一性を検査する。
ステップS130において、画像検査装置50(画像不良検出部)は、テストチャートの読取画像データの画像に不良(ここでは画像スジ)が発生したか否かを判定する。上述のように、この判定は、検品ジョブ実行時のステップS30の判定基準よりも厳しい基準で行う。
ここで、画像検査装置50(画像不良検出部)は、読取画像データの画像に不良(画像スジ)が発生していないと判定した場合(ステップS130、NO)、画像形成装置20の各部品ユニットはいずれも故障していない旨のメッセージを画像形成装置20に送信する。かかるメッセージを受信した画像形成装置20の制御部200は、受信したメッセージを表示部26に表示して(ステップS200)、診断モードの処理を終了する。
他方、画像検査装置50(画像不良検出部)は、読取画像データの画像に不良(画像スジ)が発生していると判定した場合(ステップS130、YES)、ステップS140に移行する。
ステップS140において、画像検査装置50(画像不良検出部)は、当該不良(画像スジ)の内容を解析して特徴量(スジの幅や濃度など)を抽出し、抽出した特徴量に対応する不良ランク(スジランク)を特定する。この特定は、例えば、画像スジの特徴量(この例ではスジの幅および濃度の個々の値)と不良ランクとを対応付けた参照テーブルを用いて行うことができる。
さらに、画像検査装置50(画像不良検出部)は、画像スジの解析時に、ゴミなどの異物に起因して発生した画像スジを対象から除くようにする。具体的には、通常、ゴミなどの異物が原因で発生した画像スジはサイズ(幅や長さ)が大きいことから、画像検査装置50(画像不良検出部)は、このようなサイズの大きい画像スジを機械学習で入力する対象のデータから除外する。
続いて、画像検査装置50(尤度算出部)は、特定された不良ランクから、当該不良(画像スジ)の発生原因と考えられる一以上の部品ユニットの候補を特定する(ステップS150)。この特定は、例えば、画像形成装置20の各部品ユニットと、各部品ユニットから発生する画像スジの特徴量(この例ではスジの幅および濃度の個々の値)とを対応付けた参照テーブル(図5参照)を用いて行うことができる。
続くステップS160において、画像検査装置50(尤度算出部)は、特定された部品ユニットの候補が複数であるか否かを判定する。
ここで、画像検査装置50(尤度算出部)は、特定された部品ユニットの候補が一つであると判定した場合(ステップS160、NO)、当該部品ユニットの要因割合(尤度)が100%であるとして、ステップS170およびステップS180の処理をスキップする。
他方、画像検査装置50(尤度算出部)は、特定された部品ユニットの候補が複数であると判定した場合(ステップS160、YES)、ステップS170に移行する。
ステップS170において、画像検査装置50(尤度算出部)は、複数の部品ユニット(候補)の各々に対して、当該不良(スジ)のランクおよび要因割合を規定する。
ステップS180において、画像検査装置50(尤度算出部)は、過去の診断モードの履歴やステップS170で特定された各々の部品ユニットの使用履歴等を参照して、ステップS170で規定された要因割合を適宜修正する。そして、画像検査装置50(尤度算出部)は、かかる修正値に従って、予測モデルの学習対象となる部品ユニットと、予測モデルの学習データの個数(この例では画像スジの特徴量の適用個数)を決定する。
ステップS190において、画像検査装置50(学習部)は、決定された学習データを機械学習のパラメーターとして予測部に入力して、決定された部品ユニットの予測モデルを予測部に学習(更新)させる。かかる処理により、当該部品ユニットが要因として発生する画像スジの(未来の)変化が予測される。
続くステップS200において、画像検査装置50(予測部)は、学習(更新)された予測モデルのグラフを画像形成装置20の表示部26等に表示して(図4、図6参照)、当該部品ユニットの寿命が末期に達するまでの日(Nの値)をユーザーに知らせる。
このように、本実施の形態では、画像形成された用紙Sにおける画像不良(画像スジ)を検出する画像不良検出部と、画像形成に関連する部品ユニット(画像形成部材)が当該画像スジの発生要因である尤度(尤もらしさ)を算出する尤度算出部と、部品ユニットが発生要因で発生する画像スジの変化を予測する予測部と、検出された画像スジを学習データに用いて予測部に学習させる学習部と、を備え、学習部は、尤度に応じて、学習データとして使用する画像スジの学習態様を変更する。
より具体的には、本実施の形態の画像検査装置50は、検出された画像スジの特徴量から、該画像スジの発生要因となる画像形成装置20内の一以上の部品ユニットおよび要因割合(尤度)を特定し、特定された各部品ユニットの予測モデルを、当該特徴量に基づいて部品ユニット毎に学習するとともに、特定された要因割合に基づいて、各々の予測モデルに特徴量を適用する割合を変更する。
かかる処理を行う本実施の形態によれば、画像スジの発生要因の確からしさを考慮した学習態様で画像スジの要因となる部品ユニットの予測モデルを作成することから、学習精度ひいては部品ユニットの寿命予測の精度の向上を図ることができる。
(その他の変形例)
上述した実施の形態では、画像不良として画像スジが発生した場合に予測モデルを学習する構成例について説明した。本実施の形態は、これに制限されず、他の不良ないし欠陥画像(例えば濃度ムラ)が発生した場合に予測モデルを学習する構成としてもよい。他方、画像スジは、他の不良画像と比べて特徴量が多く、要因となる部品ユニットを比較的特定しやすい利点がある。
すなわち、上述した実施の形態では、簡明のため、画像スジの特徴量および不良ランクの要素として、幅と濃度の二次元のパラメーターを使用する例を主として説明した。他方、実際には、画像スジの特徴量および不良ランクの要素として、スジの周期、形状、シャープ度合い、などのより多くの(N次元の)パラメーターを使用することができる。このため、画像スジは、他の不良ないし欠陥画像と比較して、要因となる部品ユニットを特定しやすい。また、画像スジは、部品ユニットが既に故障等で耐久末期(交換時期)に達している場合も、特徴量等が明瞭に出やすい。
上述した実施の形態では、診断モードでの予測モデルの機械学習を行うために、各部品ユニットの使用履歴および過去に行った診断モードの結果のデータを使用する構成例について説明した。さらに、かかる機械学習でより多くの機械学習データを使うために、上述した検品ジョブで取得された画像不良(上記例では画像スジ)に関するデータを使用してもよい。
上述した実施の形態では、一つのプロセッサーが画像不良検出部、尤度算出部、予測部、および学習部の各機能を担う場合について説明した。他の例として、これらの機能を二以上のプロセッサーで分担して遂行してもよい。また、予測モデルの学習及び更新を行うプロセッサーや記憶媒体等は、遠隔地(例えばネットワーク上のサーバー)に配置されていてもよい。
上述した実施の形態では、出力画像読取部31が画像形成装置20の外部(定着部22の後段)に配置された構成例を説明した。他の例として、出力画像読取部31は、画像形成装置20の内部に設けてもよく、さらには画像形成部21と定着部22との間の搬送経路上に配置してもよい。
上述した実施の形態では、電子写真プロセス技術を利用した中間転写方式の画像形成部21を備えた画像形成装置20を使用した場合について説明した。他方、画像形成装置20における画像形成の方式は、かかる方式に限られるものではなく、他の種々の方式が適用可能である。
その他、上記実施の形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
1 画像品質検査システム
10 給紙装置
20 画像形成装置
21 画像形成部
22 定着部
25 操作表示部
26 表示部
27 操作部
30 画像読取装置
31 出力画像読取部
40 後処理装置
41 仕分け部
42,43 排紙トレイ
50 画像検査装置(画像不良検出部、尤度算出部、予測部、学習部)
60 PC
51,52 データ格納部
200 画像形成装置の制御部

Claims (13)

  1. 画像形成された用紙における画像不良を検出する画像不良検出部と、
    前記画像形成に関連する画像形成部材が前記画像不良の発生要因である尤度を算出する尤度算出部と、
    前記画像形成部材が発生要因で発生する前記画像不良の変化を予測する予測部と、
    検出された前記画像不良を学習データに用いて前記予測部に学習させる学習部と、
    を備え、
    前記学習部は、前記尤度に応じて、前記学習データとして使用する前記画像不良の学習態様を変更する、
    学習装置。
  2. 前記予測部は、前記画像不良の未来の変化を表す予測モデルを前記画像形成部材毎に学習し、
    前記学習部は、各々の前記予測モデルの学習の際に使用される前記学習データを、前記尤度に応じて決定する、
    請求項1に記載の学習装置。
  3. 前記学習部は、各々の前記予測モデルの学習の際に使用される前記学習データの量を、前記尤度に応じて決定する、
    請求項2に記載の学習装置。
  4. 前記学習部は、
    前記発生要因として独立性の高い前記画像形成部材と、前記発生要因として相互作用のある複数の前記画像形成部材との間で、各々の前記予測モデルの学習の際に使用される前記学習データの決定方法を変える、
    請求項2に記載の学習装置。
  5. 前記学習部は、前記相互作用のある複数の前記画像形成部材に対しては、各々の前記予測モデルの学習の際に使用される前記学習データの量を、予め設定された比率に決定する、
    請求項4に記載の学習装置。
  6. 前記尤度算出部によって前記独立性の高い画像形成部材が複数、前記画像不良の発生要因として特定された場合、
    前記予測部は、該部品の前記予測モデルを学習しない、
    請求項4に記載の学習装置。
  7. 前記尤度算出部によって、前記独立性の高い前記画像形成部材と、前記相互作用のある複数の前記画像形成部材と、の両方が前記画像不良の発生要因として特定された場合、
    前記学習部は、前記独立性の高い前記画像形成部材の前記尤度が前記相互作用のある複数の前記画像形成部材の前記尤度よりも高い場合には、前記画像不良を前記学習データに用いて前記独立性の高い部品の前記予測モデルを前記予測部に学習させる、
    請求項4に記載の学習装置。
  8. 前記画像不良は、画像スジである、
    請求項1から7のいずれかに記載の学習装置。
  9. 前記画像不良検出部は、前記用紙上の画像を読み取った結果から、異物に起因して発生した前記画像スジを除外して、前記画像不良を検出する、
    請求項8に記載の学習装置。
  10. 前記画像形成部材を発生要因とした前記画像スジの幅および濃度の発現領域が、前記画像形成部材毎に設定され、
    前記尤度算出部は、画像不良検出部によって検出された前記画像スジの幅および濃度が属する前記発現領域を有する前記画像形成部材を、前記画像不良の発生要因として特定する、
    請求項8または9に記載の学習装置。
  11. 前記尤度算出部は、前記画像形成部材を複数特定した場合、前記尤度を、特定された各画像形成部材が有する発現領域における中心点からの距離に基づいて算出する、
    請求項10に記載の学習装置。
  12. 画像形成された用紙における画像不良を検出し、
    前記画像形成に関連する画像形成部材が前記画像不良の発生要因である尤度を算出し、
    検出された前記画像不良を学習データに使用して、前記画像形成部材が発生要因で発生する前記画像不良の変化を予測し、
    前記尤度に応じて、前記学習データとして使用する前記画像不良の学習態様を変更する、
    学習方法。
  13. コンピューターに、
    画像形成された用紙における画像不良を検出する処理と、
    前記画像形成に関連する画像形成部材が前記画像不良の発生要因である尤度を算出する処理と、
    検出された前記画像不良を学習データに使用して、前記画像形成部材が発生要因で発生する前記画像不良の変化を予測する処理と、
    前記尤度に応じて、前記学習データとして使用する前記画像不良の学習態様を変更する処理と、
    を実行させるための学習プログラム。
JP2018126639A 2018-07-03 2018-07-03 学習装置、学習方法および学習プログラム Pending JP2020008607A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018126639A JP2020008607A (ja) 2018-07-03 2018-07-03 学習装置、学習方法および学習プログラム
US16/434,346 US20200013158A1 (en) 2018-07-03 2019-06-07 Learning apparatus, learning method, and learning program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018126639A JP2020008607A (ja) 2018-07-03 2018-07-03 学習装置、学習方法および学習プログラム

Publications (1)

Publication Number Publication Date
JP2020008607A true JP2020008607A (ja) 2020-01-16

Family

ID=69102104

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018126639A Pending JP2020008607A (ja) 2018-07-03 2018-07-03 学習装置、学習方法および学習プログラム

Country Status (2)

Country Link
US (1) US20200013158A1 (ja)
JP (1) JP2020008607A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021149761A1 (ja) 2020-01-22 2021-07-29 国立研究開発法人産業技術総合研究所 表層に角質層が形成された不死化皮膚細胞の3次元培養物、前記3次元培養物の製造方法、および前記3次元培養物を用いた被検物質の評価方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11679604B2 (en) * 2017-12-13 2023-06-20 Hewlett-Packard Development Company, L.P. Buffer unit
WO2020060565A1 (en) * 2018-09-21 2020-03-26 Hewlett-Packard Development Company, L.P. Part replacement predictions using convolutional neural networks
US11170259B2 (en) * 2018-10-29 2021-11-09 Oki Electric Industry Co., Ltd. Machine learning device, data processing system, printing system, machine learning method, and data processing method
JP7036082B2 (ja) * 2019-04-04 2022-03-15 セイコーエプソン株式会社 画像処理装置、機械学習装置、画像処理方法
JP7341762B2 (ja) * 2019-07-11 2023-09-11 キヤノン株式会社 制御装置、画像形成装置、情報処理装置、制御方法、およびプログラム
JP2021115756A (ja) * 2020-01-24 2021-08-10 キヤノン株式会社 画像形成装置、情報処理方法及びプログラム
JP7494532B2 (ja) * 2020-04-02 2024-06-04 コニカミノルタ株式会社 情報処理装置、情報処理方法、情報処理プログラム、および画像形成システム
JP2022161705A (ja) * 2021-04-09 2022-10-21 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム
JP2023031759A (ja) * 2021-08-25 2023-03-09 京セラドキュメントソリューションズ株式会社 スケジュール調整装置及び画像形成システム
JP2023108683A (ja) * 2022-01-26 2023-08-07 キヤノン株式会社 検品システム、印刷装置、検品システムの制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015034807A (ja) * 2013-07-09 2015-02-19 株式会社リコー 画像検査装置、画像検査方法およびプログラム
JP2015170200A (ja) * 2014-03-07 2015-09-28 キヤノン株式会社 故障予測装置及び故障予測方法
JP2017151679A (ja) * 2016-02-24 2017-08-31 コニカミノルタ株式会社 識別装置及び識別プログラム
JP2018081244A (ja) * 2016-11-18 2018-05-24 コニカミノルタ株式会社 画像形成装置、画像処理装置及びパッチの測定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015034807A (ja) * 2013-07-09 2015-02-19 株式会社リコー 画像検査装置、画像検査方法およびプログラム
JP2015170200A (ja) * 2014-03-07 2015-09-28 キヤノン株式会社 故障予測装置及び故障予測方法
JP2017151679A (ja) * 2016-02-24 2017-08-31 コニカミノルタ株式会社 識別装置及び識別プログラム
JP2018081244A (ja) * 2016-11-18 2018-05-24 コニカミノルタ株式会社 画像形成装置、画像処理装置及びパッチの測定方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021149761A1 (ja) 2020-01-22 2021-07-29 国立研究開発法人産業技術総合研究所 表層に角質層が形成された不死化皮膚細胞の3次元培養物、前記3次元培養物の製造方法、および前記3次元培養物を用いた被検物質の評価方法

Also Published As

Publication number Publication date
US20200013158A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
JP2020008607A (ja) 学習装置、学習方法および学習プログラム
JP5095526B2 (ja) 状態判別システムのシステム異常確認方法、状態判別システム及び画像形成装置
US9389566B2 (en) Image forming apparatus
US8564802B2 (en) Image defect inspection apparatus, image defect inspection system, image defect inspection method and non-transitory computer readable recording medium
JP6244840B2 (ja) 故障予測装置および画像形成装置
JP4759342B2 (ja) 異常判定方法及び異常判定装置
JP6019838B2 (ja) 画質異常判定装置及びプログラム
US7965954B2 (en) Image forming apparatus
US10203642B2 (en) Image forming apparatus and a recording medium for determining image defects based on development current
JP4588796B2 (ja) 異常判定方法、並びにこれを用いる異常判定装置及び画像形成装置。
JP2012063383A (ja) 保守支援装置及び画像形成システム
JP2017096835A (ja) 画像検査装置及び画像形成システム
JP7070103B2 (ja) 画像品質検査システムおよび表示制御方法
JP2015169877A (ja) 故障予測装置、および画像形成装置
JP5831804B2 (ja) 保守支援システム
US11157785B2 (en) Image forming apparatus for diagnosis consumable device and method for image forming thereof
JP2021039267A (ja) 寿命判定装置、寿命判定方法および寿命判定プログラム
JP2010175831A (ja) 画像形成装置、寿命判定方法、及び寿命判定制御プログラム
JP4494098B2 (ja) 異常判定方法、並びにこれを用いる異常判定装置及び画像形成装置。
JP2020149004A (ja) 画像形成装置
JP2020040251A (ja) 画像形成システム及び画像形成装置
US20240176556A1 (en) Image processing system, image forming system, information processing apparatus, inspection method, countermeasure specifying program, countermeasure specifying system, learning apparatus, and learning method
US20240085840A1 (en) Image forming apparatus
JP2010096976A (ja) 画像形成装置及びその画質検査方法、並びにプログラム
JP2006015519A (ja) 画像形成装置およびその管理方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190708

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191016

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221101