JP4710495B2 - Failure diagnosis system, image forming apparatus, and failure diagnosis method - Google Patents

Failure diagnosis system, image forming apparatus, and failure diagnosis method Download PDF

Info

Publication number
JP4710495B2
JP4710495B2 JP2005258315A JP2005258315A JP4710495B2 JP 4710495 B2 JP4710495 B2 JP 4710495B2 JP 2005258315 A JP2005258315 A JP 2005258315A JP 2005258315 A JP2005258315 A JP 2005258315A JP 4710495 B2 JP4710495 B2 JP 4710495B2
Authority
JP
Japan
Prior art keywords
information
defect
failure
image
periodicity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005258315A
Other languages
Japanese (ja)
Other versions
JP2007074290A (en
Inventor
弘毅 上床
康二 足立
薫 安川
紀一 山田
英悟 中川
哲一 里永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2005258315A priority Critical patent/JP4710495B2/en
Publication of JP2007074290A publication Critical patent/JP2007074290A/en
Application granted granted Critical
Publication of JP4710495B2 publication Critical patent/JP4710495B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Or Security For Electrophotography (AREA)
  • Facsimiles In General (AREA)

Description

本発明は、複写機やプリンタ等の画像形成装置の故障診断システム、画像形成装置及び故障診断方法に関する。   The present invention relates to a failure diagnosis system for an image forming apparatus such as a copying machine or a printer, an image forming apparatus, and a failure diagnosis method.

従来より複写機やプリンタなどのオフィス機器においては、良好な品質を維持するために専門のサービスマンが派遣され、定期的なメンテナンスが実施されてきた。しかし、近年のオフィス機器のカラー化、高機能化に伴い、故障の様態も複雑化してきており、専門のサービスマンでも故障原因を特定しきれず、かつ顧客サイドでの機器のダウンタイムを極力少なくする必要があることから、故障に関連しそうな部品を複数まとめて交換するようなケースが多発している。このため、本来正常な部品も一緒に交換されてしまい、サービスコストの増大を招くという問題があった。この課題に対し、規則に基づくシステム(ルール型システム)を利用して故障の自動診断を行う仕組みが考えられており、その一例としてベイジアンネットワーク(Bayesian Network)を利用した故障診断システムがある。ベイジアンネットワークを利用した故障診断システムとしては、例えば特許文献1に記載の技術がある。この特許文献1によれば、サービスセンターなどに診断システムのためのサーバを持っており、顧客がインターネットを介してデータのやり取りをしながら顧客の持つプリンタ(画像形成装置)の診断を、ベイジアンネットワークを使って行う技術が紹介されている。   Conventionally, in office equipment such as copiers and printers, specialized service personnel have been dispatched to perform regular maintenance in order to maintain good quality. However, with the recent trend toward color and high functionality of office equipment, the state of failure has become more complex, and even specialist service personnel cannot fully identify the cause of failure and minimize downtime on the customer side. Therefore, there are many cases in which a plurality of parts that are likely to be related to failure are replaced together. For this reason, there is a problem in that normally normal parts are also replaced together, resulting in an increase in service cost. In order to deal with this problem, a mechanism for automatically diagnosing a failure by using a rule-based system (rule type system) is considered. As an example, there is a failure diagnosis system using a Bayesian network. As a failure diagnosis system using a Bayesian network, for example, there is a technique described in Patent Document 1. According to Patent Document 1, a server for a diagnostic system is provided in a service center or the like, and a customer's printer (image forming apparatus) is diagnosed while exchanging data via the Internet. It introduces the technology to be performed using.

特開2001−75808号公報JP 2001-75808 A

しかしながら、前記特許文献1記載の技術では、診断に必要な情報の獲得は顧客が直接装置の状態や印刷物を観察してそれをインプットするという方法を採っている。このため、顧客がプリンタの不具合状況を観察することに不慣れな場合、入力される情報にばらつきが生じて、正確な診断が出来ない可能性がある。また、問題解決までに顧客に課するアクションが多いため、ユーザにストレスを与えてしまうという問題があった。   However, in the technology described in Patent Document 1, information necessary for diagnosis is obtained by a method in which a customer directly observes the state of a device or a printed material and inputs it. For this reason, if the customer is not accustomed to observing the malfunction status of the printer, there is a possibility that the input information varies and accurate diagnosis cannot be performed. In addition, since there are many actions to be imposed on the customer before the problem is solved, there is a problem that the user is stressed.

本発明は、このような問題に鑑みてなされたものであり、故障診断に必要な情報をユーザにストレスを与えることなくかつ正確に取得して、効率的なメンテナンス作業を行うことができる故障診断システムを提供することを目的としている。   SUMMARY OF THE INVENTION The present invention has been made in view of such problems, and is capable of accurately acquiring information necessary for failure diagnosis without stressing the user and performing efficient maintenance work. The purpose is to provide a system.

かかる目的を達成するための、本発明の故障診断システムは、画像形成装置に生じる故障を診断する故障診断システムであって、画像形成装置の故障を引き起こす原因をモデル化した故障診断モデルを解析することで前記画像形成装置を構成する個々の構成部材の故障を診断する故障診断部と、前記故障診断モデルに入力される装置の内部状態情報を取得する内部状態情報取得手段と、発生した画像欠陥の種類を操作画面よりユーザに選択させる選択手段と、前記選択手段により選択された画像欠陥の種類に対応するテストパターンを出力する出力手段と、前記出力手段によって出力された前記テストパターンを光学的に読み取って得た被検査画像と検査用の基準画像との差分を検出することにより前記テストパターンに生じた不具合を解析する画像欠陥検出手段と、前記画像欠陥検出手段により解析された前記テストパターンの不具合に対して、形状、大きさ、濃度、輪郭の状態、不具合の発生方向、周期性のうち、前記選択手段で選択された画像欠陥の種類に応じた特徴量を抽出する特徴量抽出手段と、を備え、前記故障診断部は、前記特徴量抽出手段で抽出された特徴量と前記内部状態情報とを用いて故障原因を特定する(請求項1)。 In order to achieve the above object, a failure diagnosis system of the present invention is a failure diagnosis system for diagnosing a failure that occurs in an image forming apparatus, and analyzes a failure diagnosis model that models the cause of the failure of the image forming apparatus. A fault diagnosis unit for diagnosing a fault of each constituent member constituting the image forming apparatus, an internal state information acquisition unit for acquiring internal state information of the apparatus input to the fault diagnosis model, and an image defect that has occurred Selection means for allowing the user to select the type of operation from the operation screen, output means for outputting a test pattern corresponding to the type of image defect selected by the selection means, and optically outputting the test pattern output by the output means analyzing the damage caused to the test pattern by detecting the difference between the inspection image obtained by reading the reference image for inspection That an image defect detecting means, with respect to failure of the test pattern analyzed by the image defect detecting means, the shape, size, density, contour state, defect generation direction of the periodicity, in said selecting means A feature amount extraction unit that extracts a feature amount according to the type of the selected image defect, and the failure diagnosis unit uses the feature amount extracted by the feature amount extraction unit and the internal state information. The cause of the failure is specified (claim 1).

本発明の故障診断システムは、出力画像の不具合に対し、(1)形状、(2)大きさ、(3)濃度、(4)輪郭の状態、(5)不具合の発生方向、(6)周期性といった特徴量を抽出し、この抽出した特徴量に関する情報と画像形成装置の内部状態情報とを入力した故障診断モデルにより、故障原因を特定しようとするものである。   In the fault diagnosis system of the present invention, (1) shape, (2) size, (3) density, (4) state of contour, (5) direction of occurrence of fault, A feature amount such as a characteristic is extracted, and a cause of failure is specified by a failure diagnosis model in which information on the extracted feature amount and internal state information of the image forming apparatus are input.

ここで、画像形成装置に一般的に多く見られる不具合の種類は線・帯の発生、黒点・色点の発生、白線・白帯の発生、白抜け、地汚れ、色見不良といったものがある。このような不具合は、故障原因が異なると、その出現の仕方が異なることがある。そこで、本発明では、どのような不具合であるのかを特定し、さらに、その不具合毎に故障診断に有効であると思われる特徴量を抽出し、故障診断におけるこの特徴量の重要度を高くして、より的確な故障診断を行おうとするものである。   Here, the types of defects commonly found in image forming apparatuses include the generation of lines / bands, the generation of black spots / color spots, the generation of white lines / white bands, white spots, background smudges, and poor color appearance. . Such failure may occur in different ways depending on the cause of failure. Therefore, in the present invention, what kind of trouble is identified, and further, a feature quantity that is considered to be effective for fault diagnosis is extracted for each fault, and the importance of this feature quantity in fault diagnosis is increased. Therefore, it is intended to perform more accurate failure diagnosis.

例えば、前記不具合の種類が線・帯の発生または白線・白帯の発生である場合に、前記特徴量として少なくとも(1)形状の情報として幅情報、(2)大きさの情報として長さ情報、(4)輪郭の状態情報として輪郭部の濃度情報、(5)不具合の発生方向の情報として紙送り方向であるか紙送り方向に垂直な方向であるかに関する情報、(6)周期性の情報として周期性の有無および周期性が有る場合の複数の不具合領域の重心間隔情報を抽出する(請求項3)。また、前記不具合の種類が黒点・色点の発生である場合に、前記特徴量として少なくとも(2)大きさの情報として面積情報、(3)濃度の情報として不具合領域の色成分毎の平均濃度情報、(6)周期性の情報として周期性の有無および周期性が有る場合の複数の不具合領域の重心間隔情報を抽出する(請求項4)。前記不具合の種類が白抜けである場合に、前記特徴量として少なくとも(2)大きさの情報として面積情報、(6)周期性の情報として周期性の有無および周期性が有る場合の複数の不具合領域の重心間隔情報を抽出する(請求項5)。さらに、前記不具合の種類が地汚れである場合に、前記特徴量として少なくとも(2)大きさの情報として面積情報、(3)濃度の情報として不具合領域の平均濃度情報、(6)周期性の情報として周期性の有無および周期性が有る場合の複数の不具合領域の重心間隔情報を抽出する(請求項6)。また、前記不具合の種類が色見不良である場合に、前記特徴量として少なくとも(2)大きさの情報として面積情報、(3)濃度の情報として不具合領域の色成分毎の平均濃度情報を抽出することを特徴とする(請求項7)。   For example, when the type of defect is occurrence of a line / band or white line / white band, at least (1) shape information as width information and (2) length information as size information as the feature amount (4) Concentration density information as contour status information, (5) Information regarding whether the paper feed direction is perpendicular to the paper feed direction, or (6) Periodicity information The center of gravity interval information of a plurality of defect areas when there is periodicity and periodicity as information is extracted (claim 3). Further, when the type of the defect is the occurrence of a black point / color point, the feature amount is at least (2) area information as size information, and (3) average density for each color component of the defect region as density information. Information, (6) Existence of periodicity as information on periodicity, and information on the center-of-gravity intervals of a plurality of defective areas when there is periodicity (claim 4). When the type of the defect is blank, the feature amount is at least (2) area information as size information, and (6) a plurality of defects when there is periodicity and periodicity as periodicity information. The center-of-gravity interval information of the region is extracted (claim 5). Further, when the type of the defect is dirt, at least (2) area information as size information, (3) average density information of the defect area as density information, and (6) periodicity Information on the center-of-gravity intervals of a plurality of defective areas in the presence or absence of periodicity and periodicity is extracted as information (claim 6). In addition, when the type of defect is poor color appearance, at least (2) area information as size information and (3) average density information for each color component of the defect area as density information are extracted as the feature amount. (Claim 7).

このように、不具合に対してより関連性の高いと思われる情報を優先的に入力して故障診断を行うことによりより的確な故障診断を行うことができる。また、これらの特徴量の抽出はユーザによることなく行われるので、欠陥情報を逐一ユーザが入力する手間を省いて効率化が図れるとともに、装置に関する専門の知識がなくても詳細かつ精度の良い診断が可能となる。なお、本明細書において、ユーザとは、故障診断を行うための入力情報の入力操作を行う者を指す。   In this way, more accurate failure diagnosis can be performed by preferentially inputting information that seems to be more relevant to the failure and performing failure diagnosis. In addition, since the extraction of these feature quantities is performed without the user, it is possible to improve efficiency by eliminating the trouble of inputting the defect information one by one by the user, and a detailed and accurate diagnosis without specialized knowledge about the apparatus. Is possible. In this specification, a user refers to a person who performs an input operation of input information for performing a failure diagnosis.

以上、説明したような故障診断システムを種々の画像形成装置に搭載すれば、本発明の画像形成装置を構成することができる(請求項8)。   If the above-described failure diagnosis system is installed in various image forming apparatuses, the image forming apparatus of the present invention can be configured (claim 8).

また、本発明の故障診断方法は、画像形成装置に生じる故障を診断する故障診断方法であって、発生した画像欠陥の種類を操作画面よりユーザに選択させる工程と、選択された画像欠陥の種類に対応するテストパターンを出力する工程と、出力された前記テストパターンを光学的に読み取って得た被検査画像と検査用の基準画像との差分を検出することにより前記テストパターンの不具合を解析する工程と、解析された前記テストパターンの不具合に対して少なくとも形状、大きさ、濃度、輪郭の状態、不具合の発生方向、周期性のうち、前記ユーザによって選択された画像欠陥の種類に応じた特徴量を抽出する工程と、前記画像形成装置の内部状態情報を取得する工程と、抽出された特徴量と前記内部状態情報とを、画像形成装置の故障を引き起こす原因をモデル化した故障診断モデルに入力して解析し、前記画像形成装置を構成する個々の構成部材の故障を診断する工程とを有することを特徴とする(請求項9)。このような故障診断方法は、例えば、本発明の故障診断システムを稼働させることによって実施することができる。 The failure diagnosis method of the present invention is a failure diagnosis method for diagnosing a failure occurring in the image forming apparatus, the step of causing the user to select the type of the image defect that has occurred from the operation screen, and the type of the selected image defect. The test pattern is analyzed by detecting a difference between an inspection image obtained by optically reading the output test pattern and an inspection reference image, and outputting a test pattern corresponding to the test pattern. Features according to the type of image defect selected by the user among at least the shape, size, density, contour state, defect occurrence direction, and periodicity with respect to the defect of the analyzed test pattern Extracting the quantity, obtaining the internal state information of the image forming apparatus, and extracting the feature quantity and the internal state information. Analyzed by entering a cause causing come to modeled fault diagnosis model, characterized by a step of diagnosing the failure of individual components constituting the image forming apparatus (claim 9). Such a failure diagnosis method can be implemented, for example, by operating the failure diagnosis system of the present invention.

本発明によれば、ユーザの入力によらず、自動で欠陥領域を検出し、欠陥種類に応じてその特徴量を自動解析して故障診断を行えるようにしたので、欠陥情報を逐一ユーザが入力する手間を省いて効率化が図れるとともに、装置に関する専門の知識がなくても詳細かつ精度の良い診断が可能となる。   According to the present invention, the defect area is automatically detected regardless of the user input, and the feature amount is automatically analyzed according to the defect type so that the failure diagnosis can be performed. This makes it possible to save efficiency and improve efficiency, and to make detailed and accurate diagnosis without specialized knowledge about the apparatus.

以下、本発明を実施するための最良の形態を図面と共に詳細に説明する。   Hereinafter, the best mode for carrying out the present invention will be described in detail with reference to the drawings.

図1は本発明に関わる画像形成装置(以下、「装置」という)1の構成図を示す。本発明の装置1は、原稿画像を読み込む画像読取部101と、読み込んだ画像またはプリント指示された画像を形成し出力するプリントエンジン部102と、用紙通過時間、駆動電流、装置内部の温度、湿度などの装置の内部状態に関する情報を得るためのセンサ群からなるセンサ部103と、故障診断に必要な情報を入力するための故障診断情報入力部104と、この故障診断情報入力部104により取得した各情報に基づき装置1の故障診断を行う故障診断部105とから構成されている。この故障診断部105が本発明における故障診断システムの主要部をなす。   FIG. 1 is a configuration diagram of an image forming apparatus (hereinafter referred to as “apparatus”) 1 according to the present invention. The apparatus 1 of the present invention includes an image reading unit 101 that reads a document image, a print engine unit 102 that forms and outputs a read image or a print-instructed image, paper passage time, driving current, internal temperature, and humidity. Acquired by the sensor unit 103 including a sensor group for obtaining information on the internal state of the apparatus, the fault diagnosis information input unit 104 for inputting information necessary for fault diagnosis, and the fault diagnosis information input unit 104 A failure diagnosis unit 105 that performs failure diagnosis of the device 1 based on each information is configured. The failure diagnosis unit 105 is a main part of the failure diagnosis system according to the present invention.

図2は前記故障診断部105の構成を示すブロック図である。故障診断部105は、本発明における内部状態情報取得手段に相当する種々の構成を含んでいる。センサ部103より取得された装置1の内部状態情報に基づく各部品の稼動状態を示す部品情報を観測データ情報として取得する部品状態情報取得部201、装置1の使用状況の監視結果を履歴情報として取得する履歴情報取得部202、装置1内部の環境情報を直接取得し、あるいはセンサ部103より取得される装置1内部の環境情報を取得する環境情報取得部203、画像読取部101で読み込んだ画像(被検査画像)を検査用の基準画像と比較して出力画像の不具合を解析する本発明における画像欠陥検出手段に相当する画像欠陥検出部204、この画像欠陥検出部204による解析結果から種々の特徴量を抽出する本発明における特徴量抽出手段に相当する特徴量抽出部205、ユーザ操作によって動作条件の異なる状態で故障情報を取得する追加操作情報取得部206、これらの各部、すなわち、部品状態情報取得部201、履歴情報取得部202、環境情報取得部203、特徴量抽出部205、追加操作情報取得部206により得られた情報に基づいて故障原因の確率を算出する故障確率推論部207と、診断結果をユーザに通知する診断結果通知部208とで構成される。   FIG. 2 is a block diagram showing a configuration of the failure diagnosis unit 105. The failure diagnosis unit 105 includes various configurations corresponding to the internal state information acquisition means in the present invention. The component status information acquisition unit 201 that acquires component information indicating the operation status of each component based on the internal status information of the device 1 acquired from the sensor unit 103 as observation data information, and the monitoring result of the usage status of the device 1 as history information The history information acquisition unit 202 to acquire, the environment information in the device 1 directly, or the environment information acquisition unit 203 to acquire the environment information in the device 1 acquired from the sensor unit 103, the image read by the image reading unit 101 The image defect detection unit 204 corresponding to the image defect detection means in the present invention that analyzes the defect of the output image by comparing the (inspected image) with the reference image for inspection, and various analysis results from the image defect detection unit 204 The feature quantity extraction unit 205 corresponding to the feature quantity extraction means in the present invention for extracting feature quantities, and the failure information in a state where the operation conditions differ depending on the user operation. Obtained by the additional operation information acquisition unit 206, each of these units, that is, the component state information acquisition unit 201, the history information acquisition unit 202, the environment information acquisition unit 203, the feature amount extraction unit 205, and the additional operation information acquisition unit 206. A failure probability reasoning unit 207 that calculates the probability of failure based on the information obtained and a diagnosis result notification unit 208 that notifies the user of the diagnosis result.

さらに故障確率推論部207は、故障を引き起こす各原因候補が、発生した故障の主原因であるであろう確率(故障原因確率)を各取得情報に基づいて算出する推論エンジン209と、この推論エンジン209にて算出した故障原因確率を元にして故障原因候補を絞り込む故障候補抽出部210とで構成される。ここで、故障原因確率の算出を行う推論エンジン209には、ベイジアンネットワーク(Bayesian Network)を利用する。このベイジアンネットワークとは、因果関係が複雑な問題領域を表すため、複数の変数間の因果関係を順次結線し、グラフ構造を持つネットワークとして表現したものであり、変数間の依存関係を有向グラフにより表したものである。本発明における故障診断モデルはこのベイジアンネットワークを利用して構築されている。   Further, the failure probability reasoning unit 207 calculates a probability (failure cause probability) that each cause candidate causing the failure will be a main cause of the failure that has occurred based on each acquired information, and this inference engine. The failure candidate extraction unit 210 narrows down failure cause candidates based on the failure cause probability calculated in 209. Here, a Bayesian network is used for the inference engine 209 that calculates the failure cause probability. This Bayesian network represents a problem area where the causal relationship is complex, so the causal relationship between multiple variables is sequentially connected and expressed as a network with a graph structure, and the dependency relationship between variables is represented by a directed graph. It is a thing. The fault diagnosis model in the present invention is constructed using this Bayesian network.

なお、本発明の故障診断モデル、装置1等は、従来ある故障診断モデル、画像形成装置等を利用することができる。   Note that the fault diagnosis model, the apparatus 1 and the like of the present invention can use conventional fault diagnosis models, image forming apparatuses, and the like.

図3は、画像欠陥系の故障診断を行う場合のベイジアンネットワークの構成例を概念的に示した図である。図示するように、このベイジアンネットワークは、画像欠陥を引き起こす原因を表す故障原因ノードND0と、画像形成装置を構成する部材(コンポーネント)の状態情報を表すコンポーネント状態ノードND1と、装置1の履歴情報を表す履歴情報ノードND2と、装置1が設置されている周辺環境情報を表す環境情報ノードND3と、画質欠陥の状態情報を表す観測状態ノードND4と、ユーザ操作によって得られる追試結果情報を表すユーザ操作ノードND5と、欠陥種類ノードND6を含んで構成されている。 FIG. 3 is a diagram conceptually illustrating a configuration example of a Bayesian network in the case of performing a fault diagnosis of an image defect system. As shown, the Bayesian network, the failure cause node ND0 representing the cause of cause image defects, a component state node ND1 indicating the status information of the members constituting the image forming apparatus (components), the history information of the device 1 A history information node ND2 representing the environment information node ND3 representing the surrounding environment information in which the apparatus 1 is installed, an observation state node ND4 representing the state information of the image quality defect, and a user representing the follow-up test result information obtained by the user operation An operation node ND5 and a defect type node ND6 are included.

故障原因ノードND0は、画像欠陥を引き起こす原因を表すノードであり、この部分の確率を計算して、故障か否かの判断を行う。各ノード内には、因果関係の強さを表す確率データをまとめた確率表が格納されている。この確率データの初期値は、過去の故障発生時のデータや部品のMTBF(Mean Time Between Failure;平均故障間隔)を用いて決定することができる。   The failure cause node ND0 is a node representing a cause causing an image defect, and the probability of this portion is calculated to determine whether or not there is a failure. Each node stores a probability table in which probability data representing the strength of the causal relationship is collected. The initial value of this probability data can be determined using data at the time of past failure occurrence or MTBF (Mean Time Between Failure) of the part.

コンポーネント状態ノードND1は、コンポーネントの状態を表すノードであり、コンポーネントの状態を観測するセンサ部103から取得される情報である。このような情報としてコンポーネントの温度、印加電圧、パッチ濃度、色材(例えばトナー)残量などの情報がある。   The component state node ND1 is a node representing a component state, and is information acquired from the sensor unit 103 that observes the component state. Such information includes information such as component temperature, applied voltage, patch density, and remaining amount of color material (for example, toner).

履歴情報ノードND2は、装置1の使用状況を表すものであり、例えばコンポーネントごとのプリント枚数の履歴を用いる。このプリント枚数はコンポーネントの磨耗や劣化などコンポーネントの状態に直接影響を与える。   The history information node ND2 represents the usage status of the apparatus 1, and uses, for example, a history of the number of prints for each component. This number of prints directly affects the state of the component, such as component wear and deterioration.

環境情報ノードND3は、コンポーネントの状態に影響を与える周囲環境条件で、本実施例では、温度と湿度がこれに相当する。温度や湿度は、各コンポーネントの画像形成条件や動作条件に影響を与える。   The environment information node ND3 is an ambient environment condition that affects the state of the component, and in this embodiment, the temperature and humidity correspond to this. Temperature and humidity affect the image forming conditions and operating conditions of each component.

観測状態ノードND4は、出力画像に発生した欠陥の観測状態を表すもので、ユーザにより観測され入力される情報である。例えば、欠陥の形状、大きさ、濃度、輪郭、向き、位置、周期性、発生領域などの情報がある。   The observation state node ND4 represents the observation state of defects generated in the output image, and is information observed and input by the user. For example, there is information such as the shape, size, density, contour, orientation, position, periodicity, and generation area of the defect.

ユーザ操作ノードND5は、装置1に対して動作条件を代えて同様の処理をさせる情報であり、変更後の動作条件の情報も含まれる。   The user operation node ND5 is information that causes the device 1 to perform the same process by changing the operation condition, and includes information about the changed operation condition.

欠陥種類ノードND6は、画像欠陥の種類を表すもので、線、点、白抜け、濃度ムラなどの情報がある。まず、発生した画像欠陥の種類を判別してこのノードの状態を確定させてから、他のノード(ND1〜ND5)の情報を適宜入力して診断を行い、故障原因を推定する。   The defect type node ND6 represents the type of image defect and includes information such as lines, dots, white spots, and density unevenness. First, after determining the type of image defect that has occurred and confirming the state of this node, information on other nodes (ND1 to ND5) is appropriately input to make a diagnosis, and the cause of the failure is estimated.

これらの各ノードは、“原因”→“結果”の関係になるように結線される。たとえば、“故障原因ノードNDO”と“観測状態ノードND4”との関係は“故障原因ノード”で示される“原因”が元で“観測状態ノードND4”で示される“観測状態(濃度が薄い、筋状・帯状、など)”が表れるという関係になる。一方、“履歴情報ノードND2”と“故障原因ノードNDO”との関係は“履歴情報に基づく状態(コピー枚数が多い、稼動年数が長いなど)”が元で“原因”(部品劣化など)が発生するという関係が成り立つ。 These nodes are connected so as to have a relationship of “cause” → “result”. For example, the relationship between the “failure cause node NDO ” and the “observation state node ND4” is based on the “observation state (concentration is low) based on the“ cause ”indicated by the“ failure cause node ”and the“ observation state node ND4 ”. "Stripes, strips, etc.)" appears. On the other hand, the relationship between the “history information node ND2” and the “ failure cause node NDO ” is “cause” (part deterioration, etc.) based on the “state based on history information (a large number of copies, long operation years, etc.)”. The relationship that occurs is established.

図4は、故障診断システムにおける故障診断モデルの具体的な事例を示すものであり、画像欠陥による故障診断の構成例の中で黒線発生時のベイジアンネットワークを表している。図示するように、ノードは、“原因”→“結果”の関係になるように結線される。たとえば、“ドラムの傷”と“線幅情報”の関係は“ドラムの傷”が元で細い線が発生といった“線幅情報”が表れるという関係になる。   FIG. 4 shows a specific example of a failure diagnosis model in the failure diagnosis system, and represents a Bayesian network when a black line is generated in a configuration example of failure diagnosis due to image defects. As shown in the figure, the nodes are connected so as to have a relationship of “cause” → “result”. For example, the relationship between “drum flaws” and “line width information” is such that “line width information” such as the occurrence of thin lines based on “drum flaws” appears.

一方、“フィード数履歴情報”と“フューザ”の関係は“フィード数”に基づく状態(フィード数が何枚以上)が元で“フューザ”劣化による黒線発生の可能性が高くなるという関係が成り立つ。   On the other hand, the relationship between “feed number history information” and “fuser” is based on the state based on “number of feeds” (number of feeds or more), and the possibility of black line generation due to “fuser” deterioration increases. It holds.

各ノードの確率データの初期値は、たとえば過去のデータを元に決定する。その後、部品の交換頻度や不具合発生頻度など、市場トラブルの統計データを元に定期的に各ノードの確率を更新するようにしてもよい。また、図4中の“線幅情報”や“周期性情報”、“発生箇所情報”といった画像欠陥の特徴を表すノードは、図2の特徴量抽出部205によって得られた特徴量に基づいて状態が決定される。   The initial value of the probability data of each node is determined based on, for example, past data. Thereafter, the probability of each node may be periodically updated based on market trouble statistical data such as the replacement frequency of parts and the frequency of occurrence of defects. Also, nodes representing image defect features such as “line width information”, “periodic information”, and “occurrence location information” in FIG. 4 are based on the feature amounts obtained by the feature amount extraction unit 205 in FIG. The state is determined.

次に画像欠陥との関わりにおける故障診断の処理手順の概要を、図5に示すのフローチャートを用いて説明する。まず、故障診断モードに移行すると操作画面に故障診断の対象となる画像欠陥の種類が表示される。ユーザは発生した欠陥の種類を操作画面より選択し、対応するテストパターンを出力する(S501)。この時出力されるテストパターンは、例えば選択された欠陥の種類が「線・帯」、「黒点・色点」、「地汚れ」である場合は、全面白紙のテストパターンが出力される。「白線・白帯」、「白抜け」、「色見不良」である場合は、YMCK各色全面100%のチャートが計4枚出力される。なお、装置の構造によっては、より欠陥を再現しやすいパターンが考えられる場合は、そのような固有のパターンを用いてもよい。ここで出力するテストパターンは、図1に示したプリントエンジン部102に予め保持しているものであり、故障の原因がプリントエンジン部102の部品である場合は、テストパターンに欠陥が再現されるが、コピー時のみの不具合など画像読取部101の部品に原因がある場合はテストパターンには欠陥は再現されない。しかし、画像読取部101の部品に原因がある場合、テストパターンを画像読取部101にセットして出力画像を読み取ると、読取画像には欠陥が現れる。従って出力画像の読取前に操作画面より欠陥はコピー時のみ発生するかどうかを問い合わせ、ユーザがその情報を選択入力できるようにしておく。そして、選択された情報を追加操作情報取得部206より取得して故障確率推論部207に入力する。装置1のプリントエンジン部102からテストパターンが排出されると、そのテストパターンを画像読取部101にセットし、出力画像を読み取る(S502)。   Next, an outline of a processing procedure for failure diagnosis in relation to an image defect will be described with reference to a flowchart shown in FIG. First, when the mode is shifted to the failure diagnosis mode, the type of image defect to be subjected to failure diagnosis is displayed on the operation screen. The user selects the type of defect that has occurred on the operation screen and outputs a corresponding test pattern (S501). As the test pattern output at this time, for example, when the type of the selected defect is “line / band”, “black spot / color point”, or “background stain”, a blank test pattern is output. In the case of “white line / white belt”, “white blank”, and “color defect”, a total of four charts of 100% of the entire color of each YMCK are output. In addition, depending on the structure of the apparatus, when a pattern that can easily reproduce a defect is conceivable, such a unique pattern may be used. The test pattern output here is stored in advance in the print engine unit 102 shown in FIG. 1. If the cause of the failure is a component of the print engine unit 102, the defect is reproduced in the test pattern. However, when there is a cause in a part of the image reading unit 101 such as a defect only at the time of copying, the defect is not reproduced in the test pattern. However, when there is a cause in the components of the image reading unit 101, when the test pattern is set in the image reading unit 101 and the output image is read, a defect appears in the read image. Therefore, before reading the output image, an inquiry is made from the operation screen as to whether or not a defect occurs only at the time of copying, and the user can select and input the information. The selected information is acquired from the additional operation information acquisition unit 206 and input to the failure probability inference unit 207. When the test pattern is discharged from the print engine unit 102 of the apparatus 1, the test pattern is set in the image reading unit 101 and the output image is read (S502).

次に、故障診断部105に含まれる画像欠陥検出部204にて読取画像と予め装置内部に保持している基準画像とを比較して画像欠陥の有無を調べる(S503)。この処理により欠陥が検出されなかった場合は、それ以前に発生した欠陥は偶発的なものであったか、あるいはテストパターン出力前に何らかの処置が施されて既に解決された可能性があるので、その旨を操作画面によりユーザに通知して処理を終了する(S504−N)。一方、欠陥が検出された場合(S504−Y)は、特徴量抽出部205は検出された欠陥の状態を解析して特徴量を抽出する(S505)。ここでは欠陥の種類に応じて、(1)形状、(2)大きさ、(3)濃度、(4)輪郭の状態、(5)欠陥の発生方向、(6)周期性といった特徴量を抽出する。さらに、装置1を構成する各部品の状態情報や、部品ごとの印刷枚数を示すカウンタ値などの履歴情報、装置内部の温度、湿度などの環境情報といった、故障診断に必要な種々のデータを、部品状態情報取得部201、履歴情報取得部202、環境情報取得部203により取得する(S506)。   Next, the image defect detection unit 204 included in the failure diagnosis unit 105 compares the read image with a reference image stored in advance in the apparatus to check whether there is an image defect (S503). If no defect is detected by this process, the previous defect may have been accidental, or it may have been resolved by some action before outputting the test pattern. Is notified to the user through the operation screen and the process is terminated (S504-N). On the other hand, when a defect is detected (S504-Y), the feature amount extraction unit 205 analyzes the state of the detected defect and extracts a feature amount (S505). Here, feature quantities such as (1) shape, (2) size, (3) density, (4) contour state, (5) defect occurrence direction, and (6) periodicity are extracted according to the type of defect. To do. Furthermore, various data necessary for failure diagnosis such as status information of each component constituting the device 1, history information such as a counter value indicating the number of printed sheets for each component, environmental information such as temperature and humidity inside the device, Acquired by the component state information acquisition unit 201, history information acquisition unit 202, and environment information acquisition unit 203 (S506).

故障確率推論部207は、特徴量抽出部205および各種情報取得部201〜203よりデータを受け取ると、検出した欠陥に対応する推論エンジン209を用いて各故障原因の発生確率を算出する(S507)。故障候補抽出部210は算出された確率に基づいて、故障原因となる確率の高いほうから指定された候補数分の故障原因を抽出する(S508)。なお、候補数は予め設定できるようにしても良いし、候補抽出前に任意の数を入力して指定できるようにしても良い。そして、抽出された故障原因候補を診断結果通知部208によりコントロールパネルなどの表示デバイスに表示してユーザに通知する(S509)。そして、この段階で故障原因候補を絞り込むことができていれば処理を終了する(S510−N)。ただし、このような自動判定処理においては必ずしもこの時点で故障原因候補を一つに絞り込めるとは限らない。そこで、この時点で故障原因候補を絞り込むことができていないときには、操作画面からさらなる故障診断に必要な追加操作項目を選択し、選択した項目に従って装置1の動作条件を変更して画像を再出力する(S501−Y)。そして、操作画面からユーザが追試結果の情報を入力する(S511)。この時の追加操作は、画像の拡大縮小であったり、イメージパスの各箇所で保持しているテストパターンの出力などであり、欠陥の発生状態の変化の有無を調べるものである。従って追試結果はユーザが操作画面の質問に従って容易に入力可能なレベルのものとなっている。そして追加された情報と、先に入力済みの情報とを合わせて故障原因確率を再計算し、その結果から故障候補を絞り込む。故障候補が絞り込めた場合、あるいは絞り込めなくても追加する情報がなくなった場合は処理を終了する(S510−N)。   When the failure probability inference unit 207 receives data from the feature amount extraction unit 205 and the various information acquisition units 201 to 203, the failure probability inference unit 207 calculates the occurrence probability of each failure cause using the inference engine 209 corresponding to the detected defect (S507). . Based on the calculated probabilities, the failure candidate extraction unit 210 extracts failure causes for the number of candidates specified from the higher probability of causing a failure (S508). Note that the number of candidates may be set in advance, or an arbitrary number may be input and designated before candidate extraction. The extracted failure cause candidates are displayed on a display device such as a control panel by the diagnosis result notification unit 208 and notified to the user (S509). If the failure cause candidates can be narrowed down at this stage, the process ends (S510-N). However, in such automatic determination processing, failure cause candidates are not necessarily narrowed down to one at this point. Therefore, when failure cause candidates cannot be narrowed down at this point, additional operation items necessary for further failure diagnosis are selected from the operation screen, and the operation conditions of the apparatus 1 are changed according to the selected items, and the image is re-output. (S501-Y). Then, the user inputs information on the follow-up test result from the operation screen (S511). The additional operation at this time is enlargement / reduction of an image, output of a test pattern held at each position of the image path, or the like, and examines whether or not a defect occurrence state has changed. Therefore, the follow-up test result is of a level that allows the user to easily input according to the question on the operation screen. Then, the failure cause probability is recalculated by combining the added information and the previously input information, and failure candidates are narrowed down based on the result. When failure candidates are narrowed down or when there is no information to be added even if narrowing down is not possible, the process ends (S510-N).

次に図のS503で述べた画像欠陥の検出処理の詳細な手順を図6に示したフローチャートを用いて説明する。まず、画像読取部101にて読み取った画像をRGBの各成分に分ける(S601)。ここで、出力したテストパターンが白紙チャートだった場合は、R成分→G成分→B成分の順に欠陥検出処理を行う。一方YMCK100%のチャートの場合は、Yチャートに対しては補色のB成分のみ、Mチャートに対しては補色のG成分のみ、Cチャートに対しては補色のR成分のみ、Kチャートに対してはどの成分でも同じ出力になるので、例えばG成分のみを用いる。そしてY→M→C→Kの順にテストパターンが出力されていたら、YテストパターンのB成分→MテストパターンのG成分→CテストパターンのR成分→KテストパターンのG成分の順に欠陥検出処理を行う。   Next, the detailed procedure of the image defect detection process described in S503 in the figure will be described with reference to the flowchart shown in FIG. First, the image read by the image reading unit 101 is divided into RGB components (S601). If the output test pattern is a blank chart, defect detection processing is performed in the order of R component → G component → B component. On the other hand, in the case of a YMCK 100% chart, only the complementary B component for the Y chart, only the complementary G component for the M chart, only the complementary R component for the C chart, and only for the K chart Since all components have the same output, only the G component is used, for example. If test patterns are output in the order of Y → M → C → K, defect detection processing is performed in the order of B component of the Y test pattern → G component of the M test pattern → R component of the C test pattern → G component of the K test pattern. I do.

この欠陥検出処理は、まず、最初の成分の画像について予め定められた閾値を用いて2値化処理を施す(S602)。次にノイズ成分を除去して欠陥領域のみを抽出するために、欠陥検出用フィルタを適用してモフォロジ処理を行う(S603)。このとき用いるフィルタの例を図7に示す。図7(a)は横線検出用フィルタ、(b)は縦線検出用フィルタ、(c)は点や不定形欠陥の検出用フィルタを表す。ユーザにより操作画面にて「線・帯」あるいは「白線・白帯」が選択された場合には、まず横線検出用フィルタを用いてノイズ成分除去および欠陥領域検出を行う。この時点で欠陥領域が検出されたらモフォロジ処理を終了する。一方、欠陥領域が検出されなかったら、次に縦線検出用フィルタを用いてノイズ成分除去および欠陥領域検出を行う。選択した欠陥の種類がそれ以外の場合は図7(c)のフィルタが用いられる。このようにして欠陥検出のための抽出処理を施したら、さらに処理を行うべき色成分があるか判定する(S604)。ここで、さらに処理を行うべき色成分がある場合(S604−Y)は、上述した順に順次、色成分画像を読み出し(S605)、S602〜S603の処理を繰り返す。そして全成分の画像に対する処理が終了したら(S604−N)、図5に示したS503の処理に進む。なお、故障診断を行う装置が白黒機の場合は、もちろん単色のグレースケール画像のみで検出処理を行えばよい。   In this defect detection process, first, a binarization process is performed on a first component image using a predetermined threshold (S602). Next, in order to remove the noise component and extract only the defect area, a morphology detection process is performed by applying a defect detection filter (S603). An example of the filter used at this time is shown in FIG. 7A shows a horizontal line detection filter, FIG. 7B shows a vertical line detection filter, and FIG. 7C shows a point or irregular defect detection filter. When “line / band” or “white line / white band” is selected on the operation screen by the user, noise component removal and defect area detection are first performed using a horizontal line detection filter. If a defective area is detected at this time, the morphology process is terminated. On the other hand, if a defective area is not detected, noise component removal and defective area detection are performed using a vertical line detection filter. If the selected defect type is other than that, the filter of FIG. 7C is used. When extraction processing for defect detection is performed in this way, it is determined whether there is a color component to be further processed (S604). Here, when there is a color component to be further processed (S604-Y), the color component images are sequentially read in the order described above (S605), and the processing of S602 to S603 is repeated. When the processing for all component images is completed (S604-N), the process proceeds to S503 shown in FIG. If the device that performs failure diagnosis is a black and white machine, the detection process may be performed using only a single grayscale image.

次に図5のステップ505で述べた欠陥の特徴量抽出処理に関する詳細を図8に示したフローチャートを用いて説明する。ここで、抽出する特徴量は欠陥の種類によって異なる。欠陥種類毎に抽出する特徴量は以下の如くである。   Next, details regarding the defect feature amount extraction processing described in step 505 of FIG. 5 will be described using the flowchart shown in FIG. Here, the feature quantity to be extracted differs depending on the type of defect. The feature quantity extracted for each defect type is as follows.

まず、欠陥が「線・帯」または「白線・白帯」の場合には、故障の原因によって、線・帯の発生方向や太さ・長さ、線の輪郭のボケ具合、線・帯の発生方向、横線の場合一定周期で発生するかどうかが異なってくる。従って、図5のS505で説明した(1)形状、(2)大きさ、(3)濃度、(4)輪郭の状態、(5)欠陥の発生方向、(6)周期性の6つの項目のうち、(1)形状の情報として線幅、(2)大きさの情報として線・帯の長さ、(4)輪郭の状態情報として欠陥領域の境界部画素の濃度平均、(5)欠陥の発生方向、(6)周期性有無の情報として欠陥領域間の重心座標間隔、を特徴量として抽出する。   First, if the defect is “line / band” or “white line / white band”, depending on the cause of failure, the direction and thickness / length of the line / band, blurring of the line outline, In the case of the generation direction and the horizontal line, whether or not it occurs at a constant cycle is different. Therefore, the six items (1) shape, (2) size, (3) density, (4) contour state, (5) defect occurrence direction, and (6) periodicity described in S505 of FIG. Among them, (1) line width as shape information, (2) length of line / band as size information, (4) density average of boundary region pixels of defect area as state information of contour, (5) defect information The generation direction, and (6) the center-of-gravity coordinate interval between defect areas as information on the presence or absence of periodicity are extracted as feature quantities.

欠陥が「黒点・色点」の場合は、故障の原因によって、点の大きさや濃度、周期性の有無や周期性がある場合はその間隔が異なってくる。従って、図5のS505で説明した6つの項目のうち、(2)大きさの情報として欠陥領域の面積、(3)濃度情報として欠陥領域内の色成分ごとの平均濃度、(6)周期性の情報として欠陥領域が複数あるかどうか、ある場合は各領域の重心座標間隔、を特徴量として抽出する。   When the defect is a “black point / color point”, the size and density of the point, the presence or absence of periodicity, and the interval are different depending on the cause of the failure. Therefore, among the six items described in S505 of FIG. 5, (2) the area of the defect area as size information, (3) the average density for each color component in the defect area as density information, and (6) periodicity Whether or not there are a plurality of defective areas is extracted as feature information.

欠陥が「白抜け」である場合は、故障の原因によって、「黒点・色点」と同様の特徴を有する。ただし、欠陥が白抜けである場合は、濃度情報は不要であることから、図5のS505で説明した6つの項目のうち、(2)大きさの情報として欠陥領域の面積、(6)周期性の情報として欠陥領域が複数あるかどうか、ある場合は各領域の重心座標間隔、を特徴量として抽出する。   When the defect is “white spot”, it has the same characteristics as “black spot / color spot” depending on the cause of the failure. However, if the defect is blank, density information is not necessary, so out of the six items described in S505 of FIG. 5, (2) the area of the defect region as size information, and (6) the period Whether or not there are a plurality of defect areas as sex information, and if so, the center-of-gravity coordinate interval of each area is extracted as a feature amount.

欠陥が「地汚れ」である場合は、故障の原因によって、汚れの発生範囲や汚れの濃度が異なる。また、汚れが周期性を持って発生する場合もある。従って、図5のS505で説明した6つの項目のうち、(2)大きさ、すなわち発生範囲の情報として欠陥領域の面積、(3)濃度情報として欠陥領域内の色成分ごとの平均濃度、(6)周期性の情報として欠陥領域が複数あるかどうか、ある場合は各領域の重心座標間隔、を特徴量として抽出する。   When the defect is “soil dirt”, the dirt generation range and the dirt density differ depending on the cause of the failure. In addition, dirt may occur with periodicity. Accordingly, among the six items described in S505 of FIG. 5, (2) the size, that is, the area of the defect region as the generation range information, (3) the average density for each color component in the defect region as the density information, ( 6) As a periodicity information, whether or not there are a plurality of defective areas, and if there are, the center-of-gravity coordinate interval of each area is extracted as a feature amount.

欠陥が「色見不良」である場合は、故障の原因によって、局所的に出力画像の濃度の変動が発生したり全体的に濃度変動が発生することによって、色のバランスが崩れて発生する。従って、図5のS505で説明した6つの項目のうち、(2)大きさ、すなわち発生範囲の情報として欠陥領域の面積、(3)濃度情報として欠陥領域内の色成分ごとの平均濃度、を特徴量として抽出する。   When the defect is “color defect”, the density balance of the output image is locally generated or the density variation is entirely generated due to the cause of the failure. Therefore, among the six items described in S505 of FIG. 5, (2) size, that is, the area of the defect region as information on the generation range, and (3) average density for each color component in the defect region as density information. Extracted as feature quantity.

次に特徴量抽出処理の処理フロー(図8)について説明する。まず、図5に示したフローチャートにおけるS503で検出された欠陥領域にラベリングを施して領域を分類する(S801)。次に、それぞれの領域の外接矩形を抽出する(S802)。そして、各外接矩形の幅・高さ・面積・重心座標を算出する(S803)。複写機やプリンタといった画像形成装置の画質欠陥は線・帯状のものは斜め方向に発生するものはなく、白抜けや黒点などで不定形なものはサイズが小さいので、外接矩形から算出する各パラメータは実際の欠陥領域の各パラメータと大きく異なることはない。そしてこれらの値から、(1)欠陥の形状、(2)欠陥の大きさ、に関する特徴量を得ることができる。(1)に関しては、発生した欠陥の種類が「線・帯」あるいは「白線・白帯」の場合、外接矩形の幅あるいは高さから縦線・横線いずれの場合でも線幅を知ることができ、予め定められた閾値を用いて「線状」か「帯状」か、を区別することができる。(2)に関しては、発生した欠陥の種類が「線・帯」あるいは「白線・白帯」の場合、外接矩形の幅あるいは高さから縦線・横線いずれの場合でも線の長さを知ることができる。発生した欠陥の種類が「黒点・色点」、「白抜け」、「地汚れ」、「色見不良」の場合は、欠陥領域の外接矩形の面積からその大きさや発生範囲を知ることができる。(5)の欠陥の発生方向に関しては、発生した欠陥の種類が「線・帯」あるいは「白線・白帯」の場合、図6に示したフローチャートのS603にて用いた欠陥検出用フィルタの種類によって用紙送り方向か用紙送り方向に垂直な方向かいずれの向きに発生したかを知ることが出来る。   Next, a processing flow (FIG. 8) of the feature amount extraction processing will be described. First, the defect areas detected in S503 in the flowchart shown in FIG. 5 are labeled to classify the areas (S801). Next, a circumscribed rectangle of each area is extracted (S802). Then, the width, height, area, and barycentric coordinates of each circumscribed rectangle are calculated (S803). Image quality defects in image forming devices such as copiers and printers do not occur in the diagonal direction for lines and belts, and for irregular shapes such as white spots and black spots, the size is small, so each parameter calculated from the circumscribed rectangle Is not significantly different from the parameters of the actual defect area. From these values, it is possible to obtain feature quantities relating to (1) the shape of the defect and (2) the size of the defect. Regarding (1), if the type of defect that occurred is "line / band" or "white line / white band", the line width can be determined from the width or height of the circumscribed rectangle, whether it is a vertical line or a horizontal line. It is possible to distinguish between “linear” and “strip” using a predetermined threshold value. Regarding (2), if the type of defect that occurred is "line / band" or "white line / white band", know the length of the line from the width or height of the circumscribed rectangle, whether it is a vertical line or a horizontal line. Can do. If the type of defect that occurred is “black spot / color point”, “white spot”, “background stain”, or “color defect”, the size and occurrence range can be determined from the area of the circumscribed rectangle of the defect area. . Regarding the defect generation direction (5), when the type of the generated defect is “line / band” or “white line / white band”, the type of defect detection filter used in S603 of the flowchart shown in FIG. It is possible to know in which direction the paper feed direction or the direction perpendicular to the paper feed direction has occurred.

次に、図5に示したフローチャートのS503にて検出した欠陥領域をマスク領域として画像読取部101により読み取った多値画像に適用し、S803にて算出した特徴量と合わせて、(3)濃度、(4)輪郭の状態、(6)周期性、に関する欠陥画像の特徴量を抽出する(S804〜S806)。(3)に関しては、発生した欠陥の種類が「黒点・色点」、「地汚れ」、「色見不良」である場合、読取画像に対し、図5に示したフローチャートのS503で検出した欠陥領域をマスクして、そのマスクした範囲内部の平均濃度を算出する(S804)。   Next, the defect area detected in S503 in the flowchart shown in FIG. 5 is applied to the multivalued image read by the image reading unit 101 as a mask area, and together with the feature amount calculated in S803, (3) density , (4) The feature amount of the defect image relating to the contour state and (6) periodicity is extracted (S804 to S806). With regard to (3), when the type of the generated defect is “black spot / color point”, “background stain”, or “color defect”, the defect detected in S503 of the flowchart shown in FIG. The area is masked, and the average density inside the masked area is calculated (S804).

そして次に示すような方法で算出した平均濃度を評価して欠陥の状態を決定する(S807)。平均濃度の評価は例えば次のようにして行う。図9(a)に示すように、まず欠陥領域毎の平均濃度の分布を調べて平均値と分散を算出する。そして、図9(b)に示すように実データを元に作成された平均値vs分散の関係図を用いて、今回検出された欠陥の濃度がどの故障グループのデータに近いかにより濃淡の判定(平均濃度の評価)を行う。この濃淡の判定には例えばマハラノビス距離などを用いてもよい。次に(4)に関して、発生した欠陥の種類が「線・帯」あるいは「白線・白帯」である場合、図5のS503で検出した欠陥領域において境界部の画素を抽出し、その平均濃度を算出する(S805)。次に実データを元に作成された閾値を用いて算出した平均濃度の濃淡を判別し、輪郭がはっきりしている/ぼやけている、の判定を行って欠陥の状態を決定する(S807)。欠陥領域が複数ある場合は、全体の平均を求めても良いし、上述した濃度の評価方法と同様の手法を用いて判別しても良い。次に(6)に関して、周期性が現れるのは回転部品の汚れや傷などが原因のときであり、周期が現れる方向は用紙送り方向に対してである。従って、発生した欠陥の種類が「線・帯」、「白線・白帯」、「黒点・色点」、「白抜け」、「地汚れ」の場合は、周期性の評価はS803にて算出した各欠陥領域の重心座標のうち用紙送り方向成分の座標の間隔が一定かどうかによって行う(S806)。もし一定間隔ならば基準特徴量と比較してどの部品の周期に対応するか判定し、座標間の間隔が不定であるならば、周期性はないと判定する(S807)。   Then, the average density calculated by the following method is evaluated to determine the defect state (S807). For example, the average density is evaluated as follows. As shown in FIG. 9A, first, the average density distribution for each defect area is examined, and the average value and variance are calculated. Then, as shown in FIG. 9B, using the relationship diagram of the average value vs. dispersion created based on the actual data, it is determined whether the density of the defect detected this time is close to the data of which failure group. (Evaluation of average concentration) is performed. For example, the Mahalanobis distance may be used for the density determination. Next, with regard to (4), when the type of defect that has occurred is “line / band” or “white line / white band”, pixels at the boundary are extracted from the defect area detected in S503 in FIG. Is calculated (S805). Next, the density of the average density calculated using the threshold value created based on the actual data is discriminated, and it is determined whether the outline is clear / blurred and the state of the defect is determined (S807). When there are a plurality of defective areas, the average of the whole may be obtained, or may be determined using a method similar to the above-described density evaluation method. Next, regarding (6), the periodicity appears when the rotating parts are dirty or scratched, and the direction in which the period appears is with respect to the paper feed direction. Therefore, if the type of defect that has occurred is "line / band", "white line / white band", "black spot / color point", "white spot", or "background stain", the periodicity evaluation is calculated in S803. This is performed depending on whether the interval between the coordinates of the paper feed direction component among the barycentric coordinates of each defective area is constant (S806). If the interval is constant, it is determined which part cycle corresponds to the reference feature amount, and if the interval between coordinates is indefinite, it is determined that there is no periodicity (S807).

以上のようにして特徴量が抽出できたら、図5に示すフローチャートのS506に移って他の取得情報と共に推論エンジン209に入力して故障診断を行い、故障原因候補を抽出する。すなわち、図4に示したベイジアンネットワーク、すなわち故障診断モデルの各ノードに特徴量に基づく情報を入力して故障診断を行う。   If the feature amount can be extracted as described above, the process proceeds to S506 in the flowchart shown in FIG. 5 and is input to the inference engine 209 together with other acquired information to perform failure diagnosis and extract a failure cause candidate. That is, failure diagnosis is performed by inputting information based on the feature quantity to each node of the Bayesian network shown in FIG. 4, that is, the failure diagnosis model.

なお、画像形成装置の構成によっては、上述した欠陥種類に対して抽出すべき特徴量が変わることもあるので、その装置に特有の特徴量を追加で抽出して診断するようにしてもよい。   Note that, depending on the configuration of the image forming apparatus, the feature amount to be extracted may vary with respect to the above-described defect type. Therefore, a feature amount specific to the device may be additionally extracted and diagnosed.

上記の実施例は本発明を実施するための例にすぎず、本発明はこれらに限定されるものではなく、これらの実施例を種々変形することは本発明の範囲内であり、更に本発明の範囲内において、他の様々な実施例が可能であることは上記記載から自明である。   The above-described embodiments are merely examples for carrying out the present invention, and the present invention is not limited to these embodiments. Various modifications of these embodiments are within the scope of the present invention. It is obvious from the above description that various other embodiments are possible within the scope of the above.

実施の形態に係る画像形成装置のブロック構成図である。1 is a block configuration diagram of an image forming apparatus according to an embodiment. 本発明に関わる故障診断部の一構成例を示すブロック図である。It is a block diagram which shows the example of 1 structure of the failure diagnosis part concerning this invention. 本発明に関わる画像欠陥系の故障診断を行う場合のベイジアンネットワークの構成例である。It is an example of composition of a Bayesian network in the case of performing a fault diagnosis of an image defect system concerning the present invention. 本発明に関わる画像欠陥による故障診断の構成例の中で黒線発生時のベイジアンネットワークである。It is a Bayesian network at the time of black line generation in the structural example of the failure diagnosis by the image defect concerning this invention. 本発明に関わる故障診断システムの処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the failure diagnosis system concerning this invention. 画像欠陥の検出処理手順を示すフローチャートである。It is a flowchart which shows the detection process procedure of an image defect. 欠陥検出用フィルタの例を示す図である。It is a figure which shows the example of the filter for defect detection. 本発明に関わる画像欠陥の特徴量抽出処理手順を示すフローチャートである。It is a flowchart which shows the feature-value extraction processing procedure of the image defect concerning this invention. 欠陥濃度の濃淡判定方法を説明する図である。It is a figure explaining the density determination method of defect density.

符号の説明Explanation of symbols

1 画像形成装置
101 画像読取部
102 プリントエンジン部
103 センサ部
104 故障診断情報入力部
105 故障診断部
201 部品状態情報取得部
202 履歴情報取得部
203 環境情報取得部
204 画像欠陥検出部
205 特徴量抽出部
206 追加操作情報取得部
207 故障確率推論部
208 診断結果通知部
209 推論エンジン
210 故障候補抽出部
DESCRIPTION OF SYMBOLS 1 Image forming apparatus 101 Image reading part 102 Print engine part 103 Sensor part 104 Failure diagnosis information input part 105 Failure diagnosis part 201 Component state information acquisition part 202 History information acquisition part 203 Environmental information acquisition part 204 Image defect detection part 205 Feature amount extraction Unit 206 additional operation information acquisition unit 207 failure probability inference unit 208 diagnosis result notification unit 209 inference engine 210 failure candidate extraction unit

Claims (9)

画像形成装置に生じる故障を診断する故障診断システムであって、
画像形成装置の故障を引き起こす原因をモデル化した故障診断モデルを解析することで前記画像形成装置を構成する個々の構成部材の故障を診断する故障診断部と、
前記故障診断モデルに入力される装置の内部状態情報を取得する内部状態情報取得手段と、
発生した画像欠陥の種類を操作画面よりユーザに選択させる選択手段と、
前記選択手段により選択された画像欠陥の種類に対応するテストパターンを出力する出力手段と、
前記出力手段によって出力された前記テストパターンを光学的に読み取って得た被検査画像と検査用の基準画像との差分を検出することにより前記テストパターンに生じた不具合を解析する画像欠陥検出手段と、
前記画像欠陥検出手段により解析された前記テストパターンの不具合に対して、形状、大きさ、濃度、輪郭の状態、不具合の発生方向、周期性のうち、前記選択手段で選択された画像欠陥の種類に応じた特徴量を抽出する特徴量抽出手段と、を備え、
前記故障診断部は、前記特徴量抽出手段で抽出された特徴量と前記内部状態情報とを用いて故障原因を特定することを特徴とする故障診断システム。
A failure diagnosis system for diagnosing a failure occurring in an image forming apparatus,
A failure diagnosis unit for diagnosing a failure of each component constituting the image forming apparatus by analyzing a failure diagnosis model that models a cause of failure of the image forming apparatus;
Internal state information acquisition means for acquiring internal state information of the device input to the fault diagnosis model;
Selection means for allowing the user to select the type of image defect that has occurred from the operation screen;
Output means for outputting a test pattern corresponding to the type of image defect selected by the selection means;
An image defect detecting means for analyzing a defect occurring in the test pattern by detecting a difference between an inspection image obtained by optically reading the test pattern output by the output means and a reference image for inspection; ,
The type of the image defect selected by the selection means among the shape, size, density, contour state, failure occurrence direction, and periodicity for the test pattern defect analyzed by the image defect detection means And feature amount extraction means for extracting feature amounts according to
The failure diagnosis unit is characterized by specifying a cause of a failure using the feature amount extracted by the feature amount extraction unit and the internal state information.
前記画像欠陥検出手段により解析される不具合の種類は、線・帯の発生、黒点・色点の発生、白線・白帯の発生、白抜け、地汚れ、色見不良のいずれかであることを特徴とする請求項1記載の故障診断システム。   The type of defect analyzed by the image defect detection means is any of generation of a line / band, generation of a black / color point, generation of a white / white band, white spot, background stain, and poor color appearance. The fault diagnosis system according to claim 1, wherein: 前記不具合の種類が線・帯の発生または白線・白帯の発生である場合に、前記特徴量として少なくとも形状の情報として幅情報、大きさの情報として長さ情報、輪郭の状態情報として輪郭部の濃度情報、不具合の発生方向の情報として紙送り方向であるか紙送り方向に垂直な方向であるかに関する情報、周期性の情報として周期性の有無および周期性が有る場合の複数の不具合領域の重心間隔情報を抽出することを特徴とする請求項2記載の故障診断システム。   When the type of defect is occurrence of a line / band or white line / white band, at least the shape information as width information, the length information as size information, and the outline portion as outline state information Density information, information on whether the direction of occurrence of the defect is the paper feed direction or the direction perpendicular to the paper feed direction, presence / absence of periodicity as periodicity information, and multiple defect areas with periodicity 3. The fault diagnosis system according to claim 2, wherein the center-of-gravity interval information is extracted. 前記不具合の種類が黒点・色点の発生である場合に、前記特徴量として少なくとも大きさの情報として面積情報、濃度の情報として不具合領域の色成分毎の平均濃度情報、周期性の情報として周期性の有無および周期性が有る場合の複数の不具合領域の重心間隔情報を抽出することを特徴とする請求項2記載の故障診断システム。   When the type of defect is black point / color point occurrence, area information as at least size information as the feature amount, average density information for each color component of the defect region as density information, and period as periodicity information The fault diagnosis system according to claim 2, wherein the center-of-gravity interval information of a plurality of defect areas in the presence or absence of periodicity and periodicity is extracted. 前記不具合の種類が白抜けである場合に、前記特徴量として少なくとも大きさの情報として面積情報、周期性の情報として周期性の有無および周期性が有る場合の複数の不具合領域の重心間隔情報を抽出することを特徴とする請求項2記載の故障診断システム。   When the type of defect is blank, area information as at least magnitude information as the feature amount, presence / absence of periodicity as periodicity information, and center-of-gravity interval information of a plurality of defective areas when periodicity exists The fault diagnosis system according to claim 2, wherein the fault diagnosis system is extracted. 前記不具合の種類が地汚れである場合に、前記特徴量として少なくとも大きさの情報として面積情報、濃度の情報として不具合領域の平均濃度情報、周期性の情報として周期性の有無および周期性が有る場合の複数の不具合領域の重心間隔情報を抽出することを特徴とする請求項2記載の故障診断システム。   In the case where the type of the defect is dirt, there is area information as at least the size information as the feature amount, average density information of the defect area as density information, presence / absence of periodicity and periodicity as periodicity information The failure diagnosis system according to claim 2, wherein the center-of-gravity interval information of a plurality of defective areas is extracted. 前記不具合の種類が色見不良である場合に、前記特徴量として少なくとも大きさの情報として面積情報、濃度の情報として不具合領域の色成分毎の平均濃度情報を抽出することを特徴とする請求項2記載の故障診断システム。   2. The method according to claim 1, wherein when the defect type is poor color appearance, area information is extracted as at least size information as the feature amount, and average density information for each color component of the defect area is extracted as density information. 2. The fault diagnosis system according to 2. 請求項1乃至7のいずれか一項記載の故障診断システムを搭載たことを特徴とする画像形成装置。 An image forming apparatus comprising the failure diagnosis system according to claim 1. 画像形成装置に生じる故障を診断する故障診断方法であって、
発生した画像欠陥の種類を操作画面よりユーザに選択させる工程と、
選択された画像欠陥の種類に対応するテストパターンを出力する工程と、
出力された前記テストパターンを光学的に読み取って得た被検査画像と検査用の基準画像との差分を検出することにより前記テストパターンの不具合を解析する工程と、
解析された前記テストパターンの不具合に対して少なくとも形状、大きさ、濃度、輪郭の状態、不具合の発生方向、周期性のうち、前記ユーザによって選択された画像欠陥の種類に応じた特徴量を抽出する工程と、
前記画像形成装置の内部状態情報を取得する工程と、
抽出された特徴量と前記内部状態情報とを、画像形成装置の故障を引き起こす原因をモデル化した故障診断モデルに入力して解析し、前記画像形成装置を構成する個々の構成部材の故障を診断する工程とを有することを特徴とする故障診断方法。
A failure diagnosis method for diagnosing a failure occurring in an image forming apparatus,
A step of allowing the user to select the type of image defect that has occurred from the operation screen;
Outputting a test pattern corresponding to the type of the selected image defect;
Analyzing the defect of the test pattern by detecting a difference between the inspection image obtained by optically reading the output test pattern and a reference image for inspection;
A feature amount corresponding to the type of image defect selected by the user is extracted from at least the shape, size, density, contour state, defect occurrence direction, and periodicity for the analyzed test pattern defect. And a process of
Obtaining internal state information of the image forming apparatus;
The extracted feature quantity and the internal state information are input and analyzed in a failure diagnosis model that models the cause of the failure of the image forming apparatus, and the failure of the individual components constituting the image forming apparatus is diagnosed. A failure diagnosis method comprising the steps of:
JP2005258315A 2005-09-06 2005-09-06 Failure diagnosis system, image forming apparatus, and failure diagnosis method Active JP4710495B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005258315A JP4710495B2 (en) 2005-09-06 2005-09-06 Failure diagnosis system, image forming apparatus, and failure diagnosis method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005258315A JP4710495B2 (en) 2005-09-06 2005-09-06 Failure diagnosis system, image forming apparatus, and failure diagnosis method

Publications (2)

Publication Number Publication Date
JP2007074290A JP2007074290A (en) 2007-03-22
JP4710495B2 true JP4710495B2 (en) 2011-06-29

Family

ID=37935374

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005258315A Active JP4710495B2 (en) 2005-09-06 2005-09-06 Failure diagnosis system, image forming apparatus, and failure diagnosis method

Country Status (1)

Country Link
JP (1) JP4710495B2 (en)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4687614B2 (en) * 2005-09-20 2011-05-25 富士ゼロックス株式会社 Failure diagnosis system, image forming apparatus, and failure diagnosis method
JP4887878B2 (en) * 2006-04-07 2012-02-29 富士ゼロックス株式会社 Failure diagnosis system and failure diagnosis method
JP4618185B2 (en) * 2006-04-07 2011-01-26 富士ゼロックス株式会社 Fault diagnosis system and fault diagnosis program
JP4631809B2 (en) * 2006-06-09 2011-02-16 富士ゼロックス株式会社 Defect classification system, image forming apparatus, and defect classification program
JP4582062B2 (en) * 2006-07-07 2010-11-17 富士ゼロックス株式会社 Image forming apparatus, failure diagnosis system, failure diagnosis method, and failure diagnosis program
JP4725636B2 (en) * 2008-11-19 2011-07-13 富士ゼロックス株式会社 Image processing apparatus and program
JP5101465B2 (en) * 2008-11-25 2012-12-19 三菱重工業株式会社 Equipment defect management method
JP5761918B2 (en) * 2010-02-18 2015-08-12 キヤノン株式会社 Method for inspecting electrophotographic photosensitive member and method for determining execution of cleaning of manufacturing apparatus
JP6019838B2 (en) * 2012-07-09 2016-11-02 富士ゼロックス株式会社 Image quality abnormality determination device and program
JP6099899B2 (en) * 2012-07-31 2017-03-22 キヤノン株式会社 Printing apparatus and inspection method
JP6381281B2 (en) * 2014-05-14 2018-08-29 キヤノン株式会社 Image processing apparatus, image processing method, and program
WO2016052409A1 (en) 2014-09-29 2016-04-07 富士フイルム株式会社 Printing management device, printing management method, and printing management program
JP6265118B2 (en) 2014-12-26 2018-01-24 京セラドキュメントソリューションズ株式会社 Image forming apparatus
JP2018036318A (en) * 2016-08-29 2018-03-08 富士ゼロックス株式会社 Image forming apparatus
CN109753979B (en) * 2017-11-01 2022-11-15 阿里巴巴集团控股有限公司 Fault detection method and device based on image characteristics
JP2019152769A (en) * 2018-03-05 2019-09-12 コニカミノルタ株式会社 Image inspection system
JP7087792B2 (en) * 2018-07-31 2022-06-21 株式会社リコー Image data generator, image data generation method and program
JP7263844B2 (en) * 2019-02-28 2023-04-25 株式会社リコー Image forming apparatus, abnormality identification method, abnormality identification program, and abnormality identification system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03114309A (en) * 1989-09-28 1991-05-15 Showa Electric Wire & Cable Co Ltd Lead wire wiring method for glass delay line
JPH03154128A (en) * 1989-11-10 1991-07-02 Ricoh Co Ltd Abnormal image diagnosis supporting device for image forming device
JPH04130377A (en) * 1990-09-21 1992-05-01 Mita Ind Co Ltd Self-diagnostic and self-repairing system for image formation device
JP2001075808A (en) * 1999-07-14 2001-03-23 Hewlett Packard Co <Hp> Bayesian network
JP2001144987A (en) * 1999-11-18 2001-05-25 Ricoh Co Ltd Image quality evaluation method and image quality evaluation system and recording medium
JP2001328327A (en) * 2000-05-22 2001-11-27 Minolta Co Ltd Imaging apparatus
JP2002187333A (en) * 2000-12-19 2002-07-02 Ricoh Co Ltd Pattern data generator
JP2005045585A (en) * 2003-07-23 2005-02-17 Fuji Xerox Co Ltd Formed image inspection device
JP2006014332A (en) * 2004-06-28 2006-01-12 Xerox Corp Dynamic test pattern configuration for image analysis based on automaton diagnosis

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03114309A (en) * 1989-09-28 1991-05-15 Showa Electric Wire & Cable Co Ltd Lead wire wiring method for glass delay line
JPH03154128A (en) * 1989-11-10 1991-07-02 Ricoh Co Ltd Abnormal image diagnosis supporting device for image forming device
JPH04130377A (en) * 1990-09-21 1992-05-01 Mita Ind Co Ltd Self-diagnostic and self-repairing system for image formation device
JP2001075808A (en) * 1999-07-14 2001-03-23 Hewlett Packard Co <Hp> Bayesian network
JP2001144987A (en) * 1999-11-18 2001-05-25 Ricoh Co Ltd Image quality evaluation method and image quality evaluation system and recording medium
JP2001328327A (en) * 2000-05-22 2001-11-27 Minolta Co Ltd Imaging apparatus
JP2002187333A (en) * 2000-12-19 2002-07-02 Ricoh Co Ltd Pattern data generator
JP2005045585A (en) * 2003-07-23 2005-02-17 Fuji Xerox Co Ltd Formed image inspection device
JP2006014332A (en) * 2004-06-28 2006-01-12 Xerox Corp Dynamic test pattern configuration for image analysis based on automaton diagnosis

Also Published As

Publication number Publication date
JP2007074290A (en) 2007-03-22

Similar Documents

Publication Publication Date Title
JP4710495B2 (en) Failure diagnosis system, image forming apparatus, and failure diagnosis method
JP4711077B2 (en) Fault diagnosis system, image forming apparatus, and fault diagnosis program
JP5413012B2 (en) Image defect diagnosis system, image forming apparatus, and program
US7903844B2 (en) Failure analysis system, failure analysis method, and program product for failure analysis
JP5168643B2 (en) State determination method, state determination system, and image forming apparatus
JP2006014332A (en) Dynamic test pattern configuration for image analysis based on automaton diagnosis
JP5598130B2 (en) Image quality abnormality inspection device, image quality abnormality inspection system, and program
JP5124361B2 (en) State determination method and image forming apparatus
JP5370905B2 (en) Fault diagnosis apparatus and program
JP2008256981A (en) Fault diagnostic system
JP4872979B2 (en) Image processing apparatus, image forming apparatus, and program
CN109507207A (en) The image detection of maculature management and the printed matter with defect type
JP2014016437A (en) Picture quality abnormality determining device and program
US8233669B2 (en) System and method to detect changes in image quality
JP4631809B2 (en) Defect classification system, image forming apparatus, and defect classification program
JP2007062288A (en) Failure diagnosis system, imaging device and failure diagnostic method
JP5440162B2 (en) White spot detection device, image forming apparatus, and white spot detection program
JP2008157676A (en) Color determination device, color determination program, and failure diagnostic device
JP4529453B2 (en) Image forming apparatus abnormality detection device, abnormality detection method, and abnormality detection program
US10845746B2 (en) Identifying linear defects
JP2017223892A (en) Image processing device, image forming apparatus and program
JP4844606B2 (en) Image classification apparatus and program
JP2008224745A (en) Image processing device, image processing program, malfunction diagnosing device, and malfunction diagnosis program
JP2007280135A (en) Fault diagnosis system and method
US9114650B2 (en) Diagnosing printer malfunction from malfunction-related input

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100914

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110131

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110307