JP2023070453A - 情報処理システム、情報提示方法及び画像形成装置 - Google Patents

Abstract

【課題】印刷画像に現れる可能性のある様々な異常についてそのパターンを解析して適切な対処法をユーザに案内することのできる仕組みを提供すること。【解決手段】印刷画像を読取ることにより生成される読取画像データを取得する取得部と、前記取得部により取得される前記読取画像データに基づいて、複数の異常種別のうち前記印刷画像に現れた異常の種別を判定する判定部と、前記判定部により判定される前記種別に対応する、前記異常に対処するための対処法を示す対処法情報をユーザに提示する情報提示部と、を含む情報処理システムが提供される。【選択図】図５

Description

本開示は、情報処理システム、情報提示方法及び画像形成装置に関する。

コピー機、プリンタ、ファクシミリ及び複合機といった画像形成装置の性能は年々向上している一方、部材の劣化又は異物の付着といった様々な原因に起因して、依然として印刷画像に時折異常が現れる。印刷画像に異常を認めたユーザは、例えば部材を交換し又はクリーニングすることで、異常の原因を解消することができる。

特許文献１は、特に印刷画像に現れる異常の一種である縦スジに着目し、画像形成ユニットの中のどの部材が縦スジを引き起こしたかを、テスト画像の縦スジ部分の濃度に基づいて判定する技術を開示している。

特開２０１８－１３２６８２号公報

しかしながら、実用の場面で発生し得る印刷画像の異常は、縦スジに限らず様々である。例えば、黒点、印刷のかすれ、又は不要な線の出現といった異常には、それぞれ異なる原因があり、その原因に依存してユーザがとるべき対処法も相違し得る。特許文献１により開示された技術は、こうした様々な種別の異常を取り扱わないために、ユーザの利便性にはわずかしか寄与しない。

そこで、本開示は、印刷画像に現れる可能性のある様々な異常についてそのパターンを解析して適切な対処法をユーザに案内することのできる仕組みを提供することを目的とする。

ある観点によれば、印刷画像を読取ることにより生成される読取画像データを取得する取得部と、前記取得部により取得される前記読取画像データに基づいて、複数の異常種別のうち前記印刷画像に現れた異常の種別を判定する判定部と、前記判定部により判定される前記種別に対応する、前記異常に対処するための対処法を示す対処法情報をユーザに提示する情報提示部と、を含む情報処理システムが提供される。対応する方法もまた提供される。

他の観点によれば、記録媒体に画像を形成する画像形成手段と、記録媒体に形成された画像を読取って読取画像データを生成する読取手段と、前記読取画像データに基づいて、複数の異常種別のうち読取られた前記画像に現れた異常の種別を判定する判定手段と、判定された前記種別に対応する、前記異常に対処するための対処法を示す対処法情報をユーザに提示する情報提示手段と、を備える画像形成装置が提供される。

本開示によれば、印刷画像に現れる可能性のある様々な異常について適切な対処法をユーザに案内することが可能となる。

一実施形態に係る情報処理システムの構成の一例を示す概略図。 第１実施例に係る画像形成装置の画像形成機能及び読取機能に関連する詳細な構成の一例を示す模式図。 第１実施例に係る画像形成装置のハードウェア構成の一例を示す模式図。 印刷画像に現れる異常のいくつかの例について説明するための説明図。 第１実施例に係る画像形成装置及びサーバ装置の機能面の構成の一例を示すブロック図。 第１実施例に係る学習処理の流れの一例を示すフローチャート。 第１実施例に係る状態診断処理の流れの一例を示すシーケンス図。 画面上で提示され得る対処法情報のいくつかの例を示す説明図。 ７セグメントディスプレイを用いた対処法情報の提示のいくつかの例を示す説明図。 第２実施例に係る画像形成装置及びサーバ装置の機能面の構成の一例を示すブロック図。 第２実施例に係る学習処理の流れの一例を示すフローチャート。 第２実施例に係る状態診断処理の流れの一例を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜１．システムの概要＞
本明細書では、本開示に係る技術が画像形成装置を含むシステムにおいて利用される例を説明する。概していうと、本開示に係る技術は、例えばプリンタ、コピー機、複合機、及びファクシミリといった、任意の種類の画像形成装置を含むシステム、又はそうした画像形成装置と連携するシステムに適用されてよい。以下に説明する学習処理及び推論処理といった情報処理は、画像形成装置に内蔵される処理手段（例えば、プロセッサ、コントローラ又はコンピュータ）により実行されてもよく、又は他の装置の処理手段により実行されてもよい。こうした画像形成装置及び他の装置は、共に情報処理装置と称されてもよい。特に説明の無い限り、以下に説明する装置、デバイス、モジュール及びチップといった構成要素の各々は、単一のエンティティで構成されてもよく、又は物理的に異なる複数のエンティティから構成されてもよい。

図１は、一実施形態に係る情報処理システム１の構成の一例を示す概略図である。情報処理システム１は、サーバ装置２、ユーザ端末３、画像形成装置１００ａ、及び画像形成装置１００ｂを含む。サーバ装置２、ユーザ端末３、画像形成装置１００ａ、及び画像形成装置１００ｂは、ネットワーク５を介して相互に接続される。ネットワーク５は、有線ネットワークであってもよく、又は無線ネットワークであってもよい。ネットワーク５は、例えばインターネット及びＬＡＮ（Local Area Network）など、複数のサブネットワークの組合せであってもよい。

サーバ装置２は、画像形成装置の状態の診断に関与する情報処理装置である。サーバ装置２は、例えばウェブサーバ、アプリケーションサーバ、データサーバ又はクラウドサーバとして実装されてもよい。ユーザ端末３は、情報処理システム１のユーザにより使用される端末装置である。ユーザ端末３は、例えば、ＰＣ（Personal Computer）若しくはスマートフォンといった汎用的な情報端末であってもよく、又は特定の用途に特化した専用端末であってもよい。

画像形成装置１００ａは、画像を形成する画像形成機能（印刷機能ともいう）、及び原稿を光学的に読取る読取機能といった様々な画像処理機能をユーザに提供する装置である。画像形成装置１００ｂは、画像形成装置１００ａと同じ種類の、又は画像形成装置１００ａとは異なる種類の画像形成装置であってよい。以下の説明において、画像形成装置１００ａ及び１００ｂを相互に区別する必要のない場合には、これらを画像形成装置１００と総称する。

図１には２つの画像形成装置１００ａ、１００ｂが示されているが、情報処理システム１はいかなる数の画像形成装置を含んでいてもよい。同様に、図１には１つのユーザ端末３が示されているが、情報処理システム１は、いくつのユーザ端末を含んでいてもよい。

画像形成装置１００は、印刷又はコピーといった画像形成を要するジョブの実行が指示されると、記録媒体に画像を形成する。以下の説明では、記録媒体に形成された画像を印刷画像という。印刷画像には、例えば部材の劣化又は異物の付着といった原因に起因して、異常が時折発生する。印刷画像に異常を認めたユーザは、例えば部材の交換又はクリーニング機能の実行といった対処法を実施することで、異常の原因を解消することができる。しかし、ユーザにとって、どの対処法を行うのが適切かを印刷画像を見て正確に判断することは容易ではない。そこで、次節より詳しく説明する実施形態では、印刷画像を読取ることで生成される読取画像データを解析し、当該印刷画像における異常の有無又は異常の種別を判定して、適切な対処法をユーザに案内する仕組みをシステムに取り入れるものとする。

＜２．第１実施例＞
＜２－１．画像形成装置の構成＞
図２は、第１実施例に係る画像形成装置１００の画像形成機能及び読取機能に関連する詳細な構成の一例を示す模式図である。図２を参照すると、画像形成装置１００は、リーダ２００と、プリンタ３００とを含む。リーダ２００は、原稿を読取って読取画像データを生成する読取手段である。プリンタ３００は、記録媒体に画像を形成する画像形成手段である。リーダ２００は、プリンタ３００の上方に配設され、信号線を介してプリンタ３００と接続される。画像形成装置１００がコピー動作を行う場合には、リーダ２００により生成される読取画像データがプリンタ３００へ転送され、読取画像データに基づく画像がプリンタ３００により記録媒体に形成される。

（１）画像形成機能に関連する構成例
プリンタ３００は、画像形成に関与する複数の部材と、それら部材の動作を制御する制御部１１０とを含む。制御部１１０は、ジョブの種類に応じて異なるデータソースから、印刷すべき画像の画像データを取得し、取得した画像データに基づいて画像形成ジョブを実行する。ここでは、プリンタ３００は、電子写真方式でカラー画像又はモノクロ画像を形成するように構成されているものとする。

プリンタ３００は、図中の左から順に、イエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、ブラック（Ｋ）という４つの色成分の画像をそれぞれ形成するサブユニットを含む画像形成エンジン（画像形成手段）１０を備える。各サブユニットは、感光ドラム１１を含む。各サブユニットは、さらに、感光ドラム１１の周囲に、帯電ローラ１２、露光器１３、現像器１４、一次転写ローラ１７、及びドラムクリーナ１５を含む。

画像形成動作が開始されると、感光ドラム１１は、図中の矢印方向に回転する。帯電ローラ１２は、感光ドラム１１の表面を均一に帯電させる。露光器１３は、入力画像データに従って変調されるレーザ光で感光ドラム１１の表面を露光して、感光ドラム１１に静電潜像を形成する。現像器１４は、静電潜像にトナーを供給して、静電潜像からトナー像を現像する。一次転写ローラ１７は、感光ドラム１１に形成されたトナー像を中間転写ベルト３１に一次転写する。ドラムクリーナ１５は、転写後に感光ドラム１１に残ったトナーを除去して、感光ドラム１１を次の画像を形成できる状態にする。ドラムクリーナ１５は、例えば、弾性材料からなるクリーニングブレードを感光ドラム１１の表面に当接するように構成されてもよく、又は、ファーブラシを感光ドラム１１の表面に接触させてトナーを回収するように構成されてもよい。

プリンタ３００は、さらに、二次転写器２７、中間転写ベルト３１及び転写クリーナ３５を備える。中間転写ベルト３１は、感光ドラム１１から転写されたトナー像を担持する像担持体である。中間転写ベルト３１は、３つのローラ３４、３６及び３７に吊架される。二次転写器２７は、中間転写ベルト３１を挟んでローラ３４の反対側に配設される。中間転写ベルト３１は、ローラ３４、３６及び３７の回転によって図中で時計回りの方向に回動して、トナー像をローラ３４と二次転写器２７との間の二次転写位置へ搬送する。転写クリーナ３５は、中間転写ベルト３１を挟んでローラ３６の反対側に配設される。

プリンタ３００は、さらに、１つ以上の給紙カセット２０及び手差しトレイ２５を備える。各給紙カセット２０は、シートＰの束を収容する。各シートＰは、給紙カセット２０又は手差しトレイ２５から搬送路へ供給され、搬送路に沿ってレジストローラ対２３まで搬送される。レジストローラ対２３は、搬送されて来たシートＰを一旦停止させ、シートＰの斜行を補正する。レジストローラ対２３は、中間転写ベルト３１に担持されたトナー像が二次転写位置に到達するタイミングに合わせてシートＰを二次転写位置に送り込む。二次転写器２７は、中間転写ベルト３１上のトナー像をシートＰに転写する。転写クリーナ３５は、中間転写ベルト３１に残ったトナーを除去する。

プリンタ３００は、さらに、定着器４０、排出ローラ６３及び排出トレイ６４を備える。トナー像が転写されたシートＰは、定着器４０へ搬送される。定着器４０は、例えば、トナー像を定着ローラ４１で加熱して溶融させ、さらに加圧ローラ４２で加圧することで、シートＰにトナー画像を定着させる。このようにして画像が形成されたシートＰは、排出ローラ６３により排出トレイ６４へ排出される。

プロセスカートリッジ５０は、例えば感光ドラム１１、帯電ローラ１２及びドラムクリーナ１５を含む、交換可能（画像形成装置１００に対して脱着可能）なカートリッジである。ユーザ又はサービスマンは、感光ドラム１１、帯電ローラ１２又はドラムクリーナ１５に不具合が生じた際には、プロセスカートリッジ５０を交換することで、短いダウンタイムで簡便に不具合を解消することができる。同様に、転写ユニット３０は、例えば一次転写ローラ１７及び中間転写ベルト３１を含む、交換可能なユニットであり得る。ユーザ又はサービスマンは、一次転写ローラ１７又は中間転写ベルト３１に不具合が生じた際には、転写ユニット３０を交換することで、短いダウンタイムで簡便に不具合を解消することができる。さらに、画像形成装置１００において、現像器１４及び転写クリーナ３５といった他の部材もまた、交換可能であってよい。

（２）読取機能に関連する構成例
リーダ２００は、スキャナユニット２１０と、自動原稿給送（ＡＤＦ）ユニット２２０とを含む。スキャナユニット２１０の上面には原稿台ガラス１０１が配設されている。ＡＤＦユニット２２０は、給送方向ＳＸ２に沿って原稿を給送する。スキャナユニット２１０は、光学系１０２、レンズユニット１０７、画像センサ１０８、及び画像処理部１０９を含む。本実施例において、リーダ２００は、原稿の読取りのための２つの読取りモードをサポートする。第１の読取りモードは、スキャナユニット２１０がＡＤＦユニット２２０により給送されて来る原稿を読取るモードである。第１の読取りモードは、流し読みモード又はＡＤＦ読みモードと呼ばれ得る。第２の読取りモードは、スキャナユニット２１０が原稿台ガラス１０１に載置される原稿Ｄを読取るモードである。第２の読取りモードは、固定読みモード又は原稿台読みモードと呼ばれ得る。

スキャナユニット２１０の光学系１０２は、第１ミラーユニット１０４ａ、第２ミラーユニット１０４ｂ及びモータ１０６を含む。第１ミラーユニット１０４ａは、ランプ１０３及び第１ミラー１０５ａを含む。第２ミラーユニット１０４ｂは、第２ミラー１０５ｂ及び第３ミラー１０５ｃを含む。第１ミラーユニット１０４ａ及び第２ミラーユニット１０４ｂは、モータ１０６により駆動されて方向ＳＸ１に沿って移動可能である。

流し読みモードにおいて、モータ１０６は、第１ミラーユニット１０４ａ及び第２ミラーユニット１０４ｂを流し読み位置Ｌに移動させて停止させる。流し読み位置Ｌは、原稿台ガラス１０１の下方にある。ランプ１０３は、ＡＤＦユニット２２０により搬送されて流し読み位置Ｌに到達した原稿に光を照射する。第１ミラー１０５ａ、第２ミラー１０５ｂ及び第３ミラー１０５ｃは、原稿の読取面で反射した光を、図中に一点鎖線で示した光路Ｑに沿ってレンズユニット１０７の方向へ案内する。

固定読みモードにおいて、モータ１０６は、まず第１ミラーユニット１０４ａ及び第２ミラーユニット１０４ｂをホーム位置まで移動させる。原稿台ガラス１０１には、１枚の原稿が読取面を原稿台ガラス１０１側に向けて載置される。ＡＤＦユニット２２０は、原稿台ガラス１０１に載置された原稿を押圧して固定する。読取りが開始されると、モータ１０６は、第１ミラーユニット１０４ａ及び第２ミラーユニット１０４ｂを方向ＳＸ１に沿って移動させる。その間、ランプ１０３は原稿の読取面に光を照射し、第１ミラー１０５ａ、第２ミラー１０５ｂ及び第３ミラー１０５ｃは原稿の読取面で反射した光を光路Ｑに沿ってレンズユニット１０７の方向へ案内する。

いずれの読取りモードにおいても、レンズユニット１０７は、光学系１０２を通過した画像光を画像センサ１０８の受光面上に結像させる。画像センサ１０８は、受光面に入射した画像光を電気信号に変換する。画像処理部１０９は、画像センサ１０８から出力される電気信号を画像データへ変換する。画像処理部１０９は、画像データに対して、例えば色空間の変換、ノイズの除去及び階調補正といった画像処理を行ってもよい。

（３）全体的なハードウェア構成例
図３は、本実施例に係る画像形成装置１００のハードウェア構成の一例を示す模式図である。図３を参照すると、画像形成装置１００は、リーダ２００、プリンタ３００、コントローラユニット４００、及びディスプレイユニット４５０を備える。コントローラユニット４００は、ＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３、ストレージ４０４、画像バスＩ／Ｆ４０５、ディスプレイＩ／Ｆ４０６、ネットワークＩ／Ｆ４０７、接続Ｉ／Ｆ４０８、オーディオＩ／Ｆ４０９及びＲＴＣ４１０を含む。ＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３、ストレージ４０４、画像バスＩ／Ｆ４０５、ディスプレイＩ／Ｆ４０６、ネットワークＩ／Ｆ４０７、接続Ｉ／Ｆ４０８、オーディオＩ／Ｆ４０９及びＲＴＣ４１０は、システムバス４１１を介して相互に接続される。

ＣＰＵ（Central Processing Unit）４０１は、ＲＯＭ４０３に予め記憶されるブートプログラムを実行して、画像形成装置１００のオペレーションシステム（ＯＳ）を立ち上げる。ＣＰＵ４０１は、ストレージ４０４に記憶されている様々なコンピュータプログラムをこのＯＳ上で実行することにより、画像形成装置１００の機能全般を制御する。ＲＡＭ（Random Access Memory）４０２は、ＣＰＵ４０１に作業用の記憶領域を提供すると共に、画像データを一時的に記憶する。ＲＯＭ（Read-Only Memory）４０３は、上述したブートプログラム及び関連する設定データを記憶する不揮発性の記憶媒体である。ストレージ４０４は、１つ以上のコンピュータプログラム、並びに制御データ、画像データ及びアプリケーションデータといった多様なデータを記憶する。画像バスインタフェース（Ｉ／Ｆ）４０５は、画像バス４１２をシステムバス４１１へ接続し、画像データのデータ形式を変換する機能を有するバスブリッジである。ディスプレイＩ／Ｆ４０６は、ディスプレイユニット４５０のタッチパネル４５２をシステムバス４１１へ接続するためのインタフェースである。ネットワークＩ／Ｆ４０７は、画像形成装置１００によるネットワーク５を介する他の装置との通信のための通信インタフェースである。ネットワークＩ／Ｆ４０７は、有線通信インタフェースであってもよく、又は無線通信インタフェースであってもよい。接続Ｉ／Ｆ４０８は、外部メモリを画像形成装置１００へ着脱可能に接続するためのインタフェースである。図３の例では、接続Ｉ／Ｆ４０８は、ＵＳＢ（Universal Serial Bus）インタフェースであり、接続Ｉ／Ｆ４０８にＵＳＢメモリ４６０が接続されている。オーディオＩ／Ｆ４０９は、ディスプレイユニット４５０のスピーカ４５１をシステムバス４１１へ接続するためのインタフェースである。ＲＴＣ（Real-Time Clock）４１５は、時刻を計測するクロックである。

コントローラユニット４００は、デバイスＩ／Ｆ４２０、画像処理部１０９及び制御部１１０をさらに含む。画像バスＩ／Ｆ４０５、デバイスＩ／Ｆ４２０、画像処理部１０９及び制御部１１０は、画像バス４１２を介して相互に接続される。画像バス４１２は、例えばＰＣＩ又はＩＥＥＥ１３９４といった通信規格に準拠し、画像データを高速で転送することができる。デバイスＩ／Ｆ４２０は、リーダ２００及びプリンタ３００をコントローラユニット４００へ接続するためのインタフェースである。

ディスプレイユニット４５０は、スピーカ４５１及びタッチパネル４５２を含む。スピーカ４５１は、コントローラユニット４００のオーディオＩ／Ｆ４０９へ接続される。スピーカ４５１は、例えば、コントローラユニット４００から出力される音声信号に基づいて音声（例えば、ユーザへ提示すべき情報を読み上げる音声）を出力する。タッチパネル４５２は、コントローラユニット４００のディスプレイＩ／Ｆ４０６へ接続される。タッチパネル４５２は、ユーザによる操作及び情報入力を受け付けることができると共に、画像及び情報を表示することができる。なお、画像形成装置１００のディスプレイユニット４５０の構成は、上述した例には限定されない。ディスプレイユニット４５０は、ユーザからの音声入力を受け付けるマイクロフォンを含んでもよい。また、画像形成装置１００は、例えば、いくつかのＬＥＤ（Light-Emitting Diode）又は７セグメントディスプレイといった、より簡易な表示手段を備えていてもよい。

＜２－２．印刷画像の異常の例＞
図４は、画像形成装置１００のプリンタ３００により形成される印刷画像に現れる可能性のある異常のいくつかの例について説明するための説明図である。左上に示した画像ＩＭ０１及びＩＭ０２は、共に正常な印刷画像の例である。一方、右に示した画像ＩＭ１１、ＩＭ１２、ＩＭ２１、ＩＭ２２、ＩＭ３１及びＩＭ３２は、異常が現れている印刷画像の例である。図４に示したように、印刷画像に現れる異常にはいくつかの可視的なパターンが存在し、どのようなパターンが現れるかは主として異常の原因に依存する。ここでは、３種類の異常のパターンについて説明する。

（１）点状の染み
第１の異常パターンは、点状の染みである。典型的には、点状の染みは、黒色の小さな点又は点の集合として印刷画像に現れる。図４の例では、印刷画像ＩＭ１１及びＩＭ１２に点状の染みＰ１が現れている。点状の染みの原因は、例えば定着ローラ４１の汚れであり得る。例えば、プリンタ３００が画像形成動作を繰り返すと、定着ローラ４１の表面にトナーが付着することがある。このトナーがさらに記録媒体に転移することで、印刷画像に点状の染みが現れる。印刷画像に点状の染みが現れた場合、一例として、クリーニング用紙に定着器４０を通過させることで定着ローラ４１の表面に残存するトナーをクリーニング用紙に転移させて、定着ローラ４１を正常な状態に復帰させるという対処法があり得る。他の例として、定着器４０の交換、又は、定着器４０がクリーニング部材を具備している場合にはクリーニング部材による定着ローラ４１のクリーニングといった対処法が採られてもよい。

（２）線状のかすれ
第２の異常パターンは、線状のかすれである。典型的には、線状のかすれは、有色領域における白色の（又は色の薄い）線として印刷画像に現れる。図４の例では、印刷画像ＩＭ２１及びＩＭ２２に線状のかすれＰ２が現れている。線状のかすれの原因は、例えばプロセスカートリッジ５０内の感光ドラム１１の損傷であり得る。例えば、感光ドラム１１が損傷すると、感光ドラム１１へ照射されるレーザ光が損傷位置において遮られ、レーザ光の走査方向に直交する方向に沿ってトナーの欠損が生じ、その結果印刷画像に線状のかすれが現れる。印刷画像に線状のかすれが現れた場合、一例として、プロセスカートリッジ５０を交換するという対処法があり得る。プロセスカートリッジ５０がトナーカートリッジと一体化されている場合には、トナーカートリッジの交換が必要である。

（３）線状の汚れ
第３の異常パターンは、線状の汚れである。典型的には、線状の汚れは、用紙Ｐの長さ方向のおおよそ全体にわたる黒色の線として印刷画像に現れる。図４の例では、印刷画像ＩＭ３１及びＩＭ３２に線状の汚れＰ３が現れている。線状の汚れの原因は、例えばＡＤＦユニット２２０に付着した汚れであり得る。例えば、ＡＤＦユニット２２０が原稿搬送動作を繰り返すと、ＡＤＦユニット２２０の内部のローラに埃又はインクといった汚れが付着することがある。この汚れがコピーの際に読取られて印刷されることで、印刷画像に線状の汚れが現れる。印刷画像に線状の汚れが現れた場合、一例として、ＡＤＦユニット２２０が具備するクリーニング機能を作動させるという対処法があり得る。他の例として、ユーザがＡＤＦユニット２２０を開けて内部のローラの汚れを布で拭き取るという対処法が採られてもよい。

ここでは、印刷画像の３種類の異常のパターンを例示したが、本開示に係る技術は、当然ながら他の種類の異常のパターンにも適用されてよい。上述した説明から理解されるように、異常の原因が同じであれば、印刷画像に現れる異常の視覚的なパターンは、ある程度互いに類似する。換言すると、印刷画像に現れる異常の視覚的なパターンは、主として異常の原因に依存したパターンとなる。本実施例では、こうした異常のパターンを機械学習の仕組みを通じて学習し、ユーザの主観的な判断に依拠することなく、学習済みモデルを利用して異常の有無及び異常の種別を判定することとする。

＜２－３．機能構成例＞
図５は、本実施例に係る画像形成装置１００及びサーバ装置２の機能面の構成の一例を示すブロック図である。図５を参照すると、画像形成装置１００は、画像取得部１３０、判定部１４０及び情報提示部１８０を備える。画像取得部１３０、判定部１４０及び情報提示部１８０は、例えば、上述した画像形成装置１００の処理回路（例えば、ＣＰＵ４０１及び／又は制御部１１０）がコンピュータプログラムを実行することで具現化される機能モジュールであってよい。また、サーバ装置２は、記憶部１５０及び推論部１６０を備える。推論部１６０は、例えば、サーバ装置２の処理回路がメモリに記憶されるコンピュータプログラムを実行することで具現化される機能モジュールであってよい。図５には、サーバ装置２がさらに学習部１２０を備える例が示されている。他の実施例では、学習部１２０は、サーバ装置２とは異なる装置に存在していてもよい。

（１）学習処理
学習部１２０は、ユーザによる画像形成装置１００の利用に先立って、学習済みモデルを獲得するための学習処理を実行する。学習処理は、例えば、画像形成装置１００の開発又は製造の段階で、試験的に作成される多数の印刷画像サンプルを用いて行われ得る。本実施例において、学習処理は、複数の印刷画像の多次元の画素値ベクトルを、クラスタ解析を通じてｋ個（ｋは２以上の整数）の異常種別にそれぞれ対応するクラスタへクラスタリングすることにより行われる。ｋ個の異常種別は、例えば、上述した点状の染み、線状のかすれ及び線状の汚れのうちの２つ以上であってよい。ここでは、異常種別の候補は、これら３つの種別を含むものとする（即ち、ｋ＝３）。

図５には、学習部１２０により実行される学習処理へ入力される訓練データ１２５が示されている。訓練データ１２５は、それぞれの異常種別が既知である複数の印刷画像の画像データの集合であってよい。例えば、訓練データ１２５は、異常種別ごとに１０００枚の印刷画像、即ち合計で３０００枚の印刷画像の画像データであり得る。各画像のサイズが１２０画素×９０画素である場合、１枚の印刷画像（二値画像又はグレースケール画像）のビットマップの画素値ベクトルは、１０８００次元のベクトルとなる。グレースケール画像を用いることで画像の濃淡を考慮した精度の高い異常判定を実現できる一方、二値画像を用いる場合には演算及び通信の負荷を軽減して迅速な判定を行うことが可能となる。学習部１２０は、例えば、ｋ平均法を用いて、訓練データ１２５の３０００個の画素値ベクトルを、３つ異常種別にそれぞれ対応する３つのクラスタへ分類することができる。ｋ平均法では、各画素値ベクトルにクラスタを割り当てる際に、クラスタ中心点と当該画素値ベクトルとの間の（画像間の類似度を表す）距離を算出することを要するが、ここではその距離としてＤＴＷ（Dynamic Time Warping）距離を用いるものとする。画像間の類似度の指標としてＤＴＷ距離を用いることで、画像内の異常パターンの位置がシフトし又は異常パターンの空間的なスケールが変動し得る状況でも、パターン間の類似の度合いをロバストに評価することができる。

図６は、本実施例に係る学習部１２０により実行され得る学習処理の流れの一例を示すフローチャートである。なお、以下の説明では、処理ステップをＳ（ステップ）と略記する。

図６を参照すると、まず、Ｓ６１０で、学習部１２０は、異常種別が既知である異常が現れた多数（例えば、異常種別ごとに１０００枚）の印刷画像サンプルからなる訓練データ１２５を取得する。学習部１２０は、例えば、取得した印刷画像サンプルの各々の画素値ベクトルを、多次元（例えば、１０８００次元）のベクトル空間にプロットする。

次いで、Ｓ６２０で、学習部１２０は、画素値ベクトルをプロットしたベクトル空間に、ｋ個（例えば、ｋ＝３）のクラスタ中心点の初期位置をランダムに設定する。

次いで、Ｓ６３０で、学習部１２０は、１つの印刷画像サンプルの画素値ベクトルに注目し（以下、注目ベクトルという）、注目ベクトルとｋ個のクラスタ中心点との間のＤＴＷ距離を算出する。次いで、Ｓ６４０で、学習部１２０は、注目ベクトルに対応する印刷画像サンプルを、ｋ個のクラスタのうちＳ６３０で算出したＤＴＷ距離が最も小さいクラスタに割り当てる。次いで、Ｓ６５０で、学習部１２０は、訓練データ１２５内に未処理の次の印刷画像サンプルが残されているかを判定する。次の印刷画像サンプルが残されている場合、処理はＳ６３０へ戻り、次の印刷画像サンプルの画素値ベクトルを注目ベクトルとしてＳ６３０及びＳ６４０が繰り返される。全ての印刷画像サンプルについて暫定的なクラスタの割当てが終了した場合、処理はＳ６６０へ進む。

Ｓ６６０で、学習部１２０は、ｋ個のクラスタの各々の中心点を、当該クラスタに現時点で割当てられている印刷画像サンプルの画素値ベクトルの重心位置に移動させる。次いで、Ｓ６７０で、学習部１２０は、Ｓ６６０で少なくとも１つのクラスタ中心点が移動したかを判定する。少なくとも１つのクラスタ中心点が移動した場合、処理はＳ６３０へ戻り、全ての画素値ベクトルについて、ｋ個のクラスタ中心点の新たな位置に基づいてＳ６３０及びＳ６４０が繰り返される。Ｓ６６０でどのクラスタ中心点も結果的に移動しなかった場合（即ち、学習が収束した場合）、クラスタの更新の繰返しは停止され、処理はＳ６８０へ進む。

Ｓ６８０で、学習部１２０は、ｋ個のクラスタの各々の異常種別を、当該クラスタに最終的に割当てられている印刷画像サンプルの異常種別に基づいて決定する。例えば、第１のクラスタに割当てられている印刷画像サンプルの異常種別のうち最も多い種別が第１の種別である場合、第１のクラスタは、第１の種別に対応するクラスタであると決定され得る。同様に、第２のクラスタに割当てられている印刷画像サンプルの異常種別のうち最も多い種別が第２の種別である場合、第２のクラスタは、第２の種別に対応するクラスタであると決定され得る。

学習部１２０は、このようにして訓練データ１２５に含まれる多数の印刷画像サンプルの画素値ベクトルをクラスタリングすることにより学習済みモデル１５５を形成し、形成した学習済みモデル１５５を記憶部１５０に記憶させる。学習済みモデル１５５は、典型的には、画素値ベクトル空間内の、異常種別ごとのクラスタの中心点の位置の定義を含む。

なお、学習部１２０は、同種の複数の画像形成装置１００について１つの学習済みモデル１５５を導出してもよく、又は１つの画像形成装置１００について１つの学習済みモデル１５５を導出してもよい。前者の場合、学習部１２０は、導出した学習済みモデル１５５を、画像形成装置１００の種類を識別する識別情報に関連付けて記憶部１５０に記憶させる。後者の場合、学習部１２０は、導出した学習済みモデル１５５を、画像形成装置１００の個体を識別する識別情報に関連付けて記憶部１５０に記憶させる。

（２）類似度としてのＤＴＷ距離
ここでは、画像間の類似度の指標として扱われるＤＴＷ距離を動的計画法の原理に従って算出する手法について説明する。一例として、Ｎ次元の画素値ベクトル空間を想定し、２つの画素値ベクトルｐ＝（ｐ_１，ｐ_２，...，ｐ_Ｎ）及びｑ＝（ｑ_１，ｑ_２，...，ｑ_Ｎ）がこの画素値ベクトル空間に属するものとする。そして、サイズＮ×Ｎのコスト行列Ｃを、コスト値を表す要素ｃ_ｉ，ｊを次の規則に従って始点（ｉ＝１，ｊ＝１）から終点（ｉ＝Ｎ，ｊ＝Ｎ）まで再帰的に導出することにより決定する：

コスト行列Ｃの全体が決定されたとき、終点のコスト値ｃ_Ｎ，Ｎが、画素値ベクトルｐ及びｑの間のＤＴＷ距離を示す。このＤＴＷ距離は、コスト行列Ｃの始点から終点までを結ぶあり得る経路のうち、その経路が辿る要素のコスト値の総和を最小にする経路の、当該コスト値の総和に等しい。

直観的には、この動的計画法は、画素値の配列をスケーリングしながら、画素値の増減のパターンがベクトル間でフィットする場所を探索するものであると言える。このように算出されるＤＴＷ距離は、印刷画像に現れる異常の特徴的なパターンの位置がシフトし又はその空間的スケールが変動したとしても、パターンの間の類似の度合いを適切に反映した指標値となる。

（３）画像データの取得
画像形成装置１００の画像取得部１３０は、異常が現れている可能性のある印刷画像の読取画像データを取得する。一例として、ユーザは、印刷画像が形成された原稿をＡＤＦユニット２２０又は原稿台ガラス１０１にセットし、ディスプレイユニット４５０により表示されるユーザインタフェース（ＵＩ）を介して状態診断機能を呼出す。すると、リーダ２００は、セットされた原稿の印刷画像を読取って、読取画像データを生成する。画像取得部１３０は、このように生成される読取画像データを取得し得る。他の例として、画像取得部１３０は、他の装置において印刷画像を読取ることにより生成された読取画像データを、状態診断要求と共にネットワークＩ／Ｆ４０７を介して受信してもよい。例えば、画像形成装置１００ａ及び１００ｂのうち画像形成装置１００ａのみが状態診断機能を有する場合に、画像形成装置１００ａが画像形成装置１００ｂから読取画像データを受信してもよい。画像取得部１３０は、診断の対象である印刷画像が他の装置により形成された画像である場合には、当該印刷画像を形成した装置の種類又は個体を識別するユーザ入力情報を（例えば、ＵＩ又はネットワークＩ／Ｆ４０７を介して）取得してもよい。画像取得部１３０は、取得したデータを判定部１４０へ出力する。

（４）推論及び判定
画像形成装置１００の判定部１４０は、画像取得部１３０により取得される読取画像データに基づいて、複数の異常種別のうち印刷画像に現れた異常の種別を判定する。より具体的には、本実施例において、判定部１４０は、読取画像データをサーバ装置２へ送信し、事前に獲得された上述した学習済みモデル１５５に読取画像データを適用した結果をサーバ装置２から受信する。そして、判定部１４０は、読取画像データの適用の結果に基づいて、印刷画像に現れた異常の種別を判定する。

判定部１４０は、読取画像データを（例えば、所定のサイズのビットマップデータなどへ）整形し、整形した読取画像データを診断要求Ｒ１に含めて、ネットワークＩ／Ｆ４０７を介してサーバ装置２へ送信する。診断要求Ｒ１は、読取画像データを上述した学習済みモデルに適用することを求める要求である。判定部１４０は、印刷画像を形成した装置の種類又は個体を識別する識別情報を診断要求Ｒ１に含めてもよい。

サーバ装置２の推論部１６０は、画像形成装置１００から診断要求Ｒ１が受信されると、診断要求Ｒ１に含まれる識別情報に対応する学習済みモデル１５５を記憶部１５０から読出し、読出した学習済みモデル１５５に読取画像データを適用する。例えば、推論部１６０は、画像形成装置１００から受信した読取画像データの画素値ベクトルと学習済みモデル１５５により定義されるｋ個のクラスタの中心点との間のＤＴＷ距離を算出する。読取画像データの画素値ベクトルは、ｋ個のクラスタの中心点のうちここで算出されるＤＴＷ距離が最も小さい中心点に対応するクラスタに属すると判定され得る。そして、推論部１６０は、診断応答Ｒ２を画像形成装置１００へ返送する。診断応答Ｒ２は、学習済みモデル１５５への読取画像データの適用の結果を画像形成装置１００に提供するための、診断要求Ｒ１に対応する応答である。

画像形成装置１００の判定部１４０は、サーバ装置２からネットワークＩ／Ｆ４０７を介して診断応答Ｒ２を受信する。そして、判定部１４０は、診断の対象とした印刷画像に現れた異常の種別は、学習済みモデル１５５のｋ個のクラスタのうち読取画像データの画素値ベクトルが属するクラスタに対応する異常種別であると判定する。一例として、診断応答Ｒ２は、推論部１６０により算出された、ｋ個のクラスタそれぞれの中心点と読取画像データの画素値ベクトルとの間のＤＴＷ距離（即ち、ｋ個の値）を含んでもよい。この場合、判定部１４０は、診断応答Ｒ２に含まれるｋ個のＤＴＷ距離のうちの最小値を示すクラスタがどの異常種別に対応するクラスタであるかを判定し得る。他の例として、診断応答Ｒ２は、ｋ個のＤＴＷ距離のうちの最小値と、当該最小値を示すクラスタを識別するクラスタ識別子とを含んでもよい。この場合、判定部１４０は、診断応答Ｒ２に含まれるクラスタ識別子から、印刷画像に現れた異常の種別を判定し得る。

判定部１４０は、読取画像データの画素値ベクトルとの間で最小の距離を示すクラスタの中心点の当該最小の距離が閾値を上回る（即ち、外れ値に該当するような小さい値ではない）場合に、診断の対象とした印刷画像に異常は現れていないと判定してもよい。ここでの閾値は、予め設定されてもよく、又は、可変的に設定されてもよい。例えば、判定部１４０は、上記閾値を、ｋ個の距離を母集団とした場合の所定の偏差値（例えば、３０）に対応する距離の値に設定してもよい。距離の大きさをクラスタ間で相対的に比較するだけでなく、画素値ベクトルが特定のクラスタの中心点に有意に近いかをこうした閾値比較に基づき判定することで、実際には異常の無い印刷画像について誤って異常が検出される可能性を低減することができる。なお、外れ値の判定は、上述した例に限定されず、他のいかなる手法で行われてもよい（例えば、棄却検定などの検定法に基づく手法が利用されてもよい）。

図７は、本実施例に係る情報処理システム１において実行され得る状態診断処理の流れの一例を示すシーケンス図である。図７に示した状態診断処理には、画像形成装置１００及びサーバ装置２が関与する。

図７を参照すると、まず、Ｓ７１０で、画像形成装置１００の画像取得部１３０は、状態診断機能の呼出しに応じて起動し、ユーザによりセットされた原稿の印刷画像の読取りをリーダ２００に指示する。そして、画像取得部１３０は、印刷画像の読取画像データをリーダ２００から取得する。

次いで、Ｓ７２０で、判定部１４０は、画像取得部１３０により取得された読取画像データを、サーバ装置２への診断要求のために整形する。例えば、判定部１４０は、読取画像データのデータ形式をビットマップ形式へ変換し、必要に応じてカラー画像をグレースケール画像又はモノクロ画像へ変換する。

次いで、Ｓ７３０で、判定部１４０は、ネットワークＩ／Ｆ４０７を介してサーバ装置２へ、読取画像データを含む診断要求を送信する。サーバ装置２の推論部１６０は、ネットワークＩ／Ｆ４０７と同様の通信インタフェースを介して診断要求を受信する。

次いで、Ｓ７４０で、サーバ装置２の推論部１６０は、画像形成装置１００から受信した読取画像データを適用すべき学習済みモデル１５５を、記憶部１５０から読出す。次いで、Ｓ７５０で、推論部１６０は、読出した学習済みモデル１５５に読取画像データを適用することにより、ｋ個のクラスタの各々について、クラスタ中心点と読取画像データの画素値ベクトルとの間のＤＴＷ距離を算出する。

次いで、Ｓ７６０で、推論部１６０は、通信インタフェースを介して画像形成装置１００へ、Ｓ７５０で算出したＤＴＷ距離の値を含む診断応答を送信する。画像形成装置１００の判定部１４０は、ネットワークＩ／Ｆ４０７を介して診断応答を受信する。

次いで、Ｓ７７０で、判定部１４０は、ｋ個のクラスタのうち診断応答において最小のＤＴＷ距離を示しているクラスタを判定する。次いで、Ｓ７８０で、判定部１４０は、Ｓ７７０で判定したクラスタのＤＴＷ距離を外れ値を判定するための閾値と比較する。比較の結果として、ＤＴＷ距離が閾値よりも小さい場合には、判定部１４０は、Ｓ７１０で読取られた印刷画像に、Ｓ７７０で判定したクラスタに対応する種別の異常が現れていると判定する。一方、ＤＴＷ距離が閾値よりも小さくない場合には、判定部１４０は、印刷画像に異常は現れていないと判定する。

ここでは、状態診断処理に画像形成装置１００及びサーバ装置２が関与する例を説明したが、状態診断処理にはより多くの装置が関与してもよい。例えば、読取画像データを学習済みモデルに適用する装置とは別に、学習済みモデルを記憶している装置が存在してもよい。また、状態診断処理は、単一の装置（例えば、学習済みモデルをローカルに記憶している画像形成装置又は画像読取装置）により実行されてもよい。

（５）対処法情報の提示
情報提示部１８０は、判定部１４０により判定された種別に対応する、印刷画像の異常に対処するための対処法を示す対処法情報をユーザに提示する。一例として、情報提示部１８０は、判定された種別に対応する異常に対処するための手順の説明をディスプレイユニット４５０の画面上に表示させることにより、対処法情報をユーザに提示してもよい。他の例として、情報提示部１８０は、判定された種別に対応する異常に対処するための対処法を識別するコードを、ディスプレイに表示させてもよい。この場合のディスプレイは、ディスプレイユニット４５０であってもよく、又は７セグメントディスプレイのようなより簡易なものであってもよい。さらなる例として、情報提示部１８０は、判定された種別に対応する異常に対処するための対処法を識別する発光パターンで発光素子（例えば、ＬＥＤ）を発光させることにより、対処法情報をユーザに提示してもよい。ここでの発光パターンは、例えば発光の色、発光する素子の数、発光の時間長、及び点滅の周期の任意の組合せであってよい。また別の例として、情報提示部１８０は、判定された種別に対応する異常に対処するための手順の説明又は対処法を識別するコードを表す音声を、スピーカ４５１のような音声出力インタフェースから出力させることにより、対処法情報をユーザに提示してもよい。なお、情報提示部１８０は、判定部１４０により印刷画像に異常は現れていないと判定された場合には、対処法情報をユーザに提示しない。

図８は、ディスプレイユニット４５０のタッチパネル４５２の画面上で提示され得る対処法情報のいくつかの例を示している。図８（Ａ）の情報提示画面８０１は、上述した状態診断処理の結果として点状の染みが印刷画像に現れていると判定された場合にタッチパネル４５２に表示され得る画面である。情報提示画面８０１は、定着器にトナーが付着していること、及び定着器のクリーニングを行うことが推奨されることをユーザに通知する（例えば、自然言語で記述された）テキストを含む。また、情報提示画面８０１は、定着器のクリーニング機能を作動させるための手順の説明（ここでは、選択すべき一連のメニュー項目）をも含む。こうしたテキスト及び手順の説明を見たユーザは、印刷画像を見て自ら異常種別を判断することを要することなく、異常に対処するための適切な対処法を採ることができる。

図８（Ｂ）の情報提示画面８０２は、上述した状態診断処理の結果として線状のかすれが印刷画像に現れていると判定された場合にタッチパネル４５２に表示され得る画面である。情報提示画面８０２は、プロセスカートリッジを交換すべき時期が到来したために、プロセスカートリッジの新品への交換が推奨されることをユーザに通知するテキストを含む。

図８（Ｃ）の情報提示画面８０３は、上述した状態診断処理の結果として線状の汚れが印刷画像に現れていると判定された場合にタッチパネル４５２に表示され得る画面である。情報提示画面８０３は、ＡＤＦユニットが汚れていること、及びＡＤＦユニットのクリーニングを行うことが推奨されることをユーザに通知するテキストを含む。また、情報提示画面８０３は、ＡＤＦユニットのクリーニング機能を作動させるための手順の説明をも含む。

図８（Ｄ）の情報提示画面８０４は、上述した状態診断処理の結果として印刷画像に異常は検出されなかったことをユーザに通知するテキストを含む。ここでは、情報提示部１８０は、印刷画像に異常は検出されなかったものの、やはり異常が存在することが疑われる場合に、テスト画像を印刷して状態診断を再実行することを画面上でユーザに提案している。情報提示画面８０４は、テスト画像を印刷する機能を呼び出すための手順の説明をも含む。通常の印刷画像の代わりに、印刷されたテスト画像の読取画像データを用いて状態診断処理を再実行することで、異常種別の分類がより正確になり、精度の高い状態診断の結果を得ることが可能である。

図８に示した情報提示画面８０１～８０４の内容は一例に過ぎない。各情報提示画面は、例えば、判定された異常種別を示す情報のみを含んでもよい。また、各情報提示画面は、画像形成装置１００のユーザガイドの対応する頁をユーザに案内するための情報を追加的に含んでもよい。情報提示部１８０は、ユーザに提示されるべきテキストを記述したメッセージをネットワークＩ／Ｆ４０７を介して遠隔装置（例えば、ユーザ端末３、又は他の画像形成装置）へ送信し、遠隔装置のディスプレイに情報提示画面を表示させてもよい。

図９は、相対的に低コストで実装可能な、７セグメントディスプレイを用いた対処法情報の提示のいくつかの例を示している。図９（Ａ）のディスプレイ９０１は、上述した状態診断処理の結果として点状の染みが印刷画像に現れていると判定された場合に、７セグメントディスプレイが点状の染みに対応するエラーコード「Ｅ０１」を表示する様子を示している。エラーコード「Ｅ０１」は、例えば、定着器のクリーニング機能の作動という対処法を識別するコードである。エラーコードは、例えばアルファベット、数字及び記号の任意の組合せであってよい。こうしたエラーコードを見たユーザは、例えばユーザガイドの対応する頁を参照することにより、異常に対処するための適切な対処法を容易に知ることができる。

図９（Ｂ）のディスプレイ９０２は、上述した状態診断処理の結果として線状のかすれが印刷画像に現れていると判定された場合に、７セグメントディスプレイが線状のかすれに対応するエラーコード「Ｅ０２」を表示する様子を示している。エラーコード「Ｅ０２」は、例えば、プロセスカートリッジの交換という対処法を識別するコードである。

図９（Ｃ）のディスプレイ９０３は、上述した状態診断処理の結果として線状の汚れが印刷画像に現れていると判定された場合に、７セグメントディスプレイが線状の汚れに対応するエラーコード「Ｅ０３」を表示する様子を示している。エラーコード「Ｅ０３」は、例えば、ＡＤＦユニットのクリーニング機能の作動という対処法を識別するコードである。

図９（Ｄ）のディスプレイ９０４は、上述した状態診断処理の結果として印刷画像に異常が検出されなかった場合に、７セグメントディスプレイが異常なしを意味するコード「－－－」を表示する様子を示している。

＜３．第２実施例＞
前節で説明した第１実施例では、サーバ装置２が事前に獲得された学習済みモデルを記憶しており、画像形成装置１００がサーバ装置２へ診断要求Ｒ１を送信するものとした。一方、本節で説明する第２実施例では、画像形成装置１００がローカルに学習済みモデルを記憶しているものとする。また、第１実施例では、ＤＴＷ距離を用いたｋ平均法でのクラスタリングにより学習済みモデルが獲得されるものとした。一方、第２実施例では、ｋ平均法の代わりにｋシェイプ法が利用されるものとする。なお、本明細書で説明する第１及び第２実施例の特徴は、互いにどのように組み合わされてもよい。第２実施例に係る画像形成装置１００の画像形成機能及び読取機能は、図２を用いて説明した構成例と同様に構成されてよい。また、第２実施例に係る画像形成装置１００のハードウェア構成は、図３を用いて説明した構成例と同様であってよい。

図１０は、本実施例に係る画像形成装置１００及びサーバ装置２の機能面の構成の一例を示すブロック図である。図１０を参照すると、画像形成装置１００は、画像取得部１３０、判定部１４５、記憶部１７０及び情報提示部１８０を備える。画像取得部１３０、判定部１４５及び情報提示部１８０は、例えば、上述した画像形成装置１００の処理回路がコンピュータプログラムを実行することで具現化される機能モジュールであってよい。また、サーバ装置２は、学習部１２０及び記憶部１９０を備える。

（１）学習処理
サーバ装置２の学習部１２０は、学習済みモデルを獲得するための学習処理を実行する。本実施例においても、学習処理は、複数の印刷画像の多次元の画素値ベクトルを、クラス解析を通じてｋ個（ｋは２以上の整数）の異常種別にそれぞれ対応するクラスタへクラスタリングすることにより行われる。ここでは一例として、ｋ＝３であり、例えば上述した点状の染み、線状のかすれ及び線状の汚れが異常種別の候補であるものとする。これら異常種別の候補はいずれも、画像形成装置１００の画像形成手段による画像形成に関連する異常の種別である。

学習部１２０は、例えば、ｋシェイプ法を用いて、訓練データ１２５の３０００個の画素値ベクトルを、３つの異常種別にそれぞれ対応する３つのクラスタへ分類する。ｋシェイプ法では、ｋ平均法と同様に、各画素値ベクトルに暫定的にクラスタが割り当てられ、各クラスタの中心点と当該クラスタに属する画素値ベクトルとの間の距離が最小化されるように、各画素値ベクトルへのクラスタの割当てが反復的に更新される。ｋシェイプ法では、クラスタ中心点と画素値ベクトルとの間の距離、即ち画像間の類似度の指標として、ＳＢＤ（Shape-Based Distance）が用いられる。画像間の類似度の指標としてＳＢＤを用いることで、画像内の異常パターンの位置がシフトし又は異常パターンの濃淡が変動し得る状況でも、パターン間の類似の度合いをロバストに評価することができる。

図１１は、本実施例に係る学習部１２０により実行され得る学習処理の流れの一例を示すフローチャートである。

図１１のＳ１１１０及びＳ１１２０は、図６を用いて説明したＳ６１０及びＳ６２０と同様の処理ステップであるため、ここでは説明を省略する。

Ｓ１１３０で、学習部１２０は、１つの印刷画像サンプルの画素値ベクトルに注目し、注目ベクトルとｋ個のクラスタ中心点との間のＳＢＤを算出する。次いで、Ｓ１１４０で、学習部１２０は、注目ベクトルに対応する印刷画像サンプルを、ｋ個のクラスタのうちＳ１１３０で算出したＳＢＤが最も小さいクラスタに割り当てる。次いで、Ｓ１１５０で、学習部１２０は、訓練データ１２５内に未処理の次の印刷画像サンプルが残されているかを判定する。次の印刷画像サンプルが残されている場合、処理はＳ１１３０へ戻り、次の印刷画像サンプルの画素値ベクトルを注目ベクトルとしてＳ１１３０及びＳ１１４０が繰り返される。全ての印刷画像サンプルについて暫定的なクラスタの割当てが終了した場合、処理はＳ１１６０へ進む。

Ｓ１１６０で、学習部１２０は、ｋ個のクラスタの各々の中心点を、当該クラスタに現時点で割当てられている印刷画像サンプルの画素値ベクトルの重心位置に移動させる。次いで、Ｓ１１７０で、学習部１２０は、Ｓ１１６０で少なくとも１つのクラスタ中心点が移動したかを判定する。少なくとも１つのクラスタ中心点が移動した場合、処理はＳ１１３０へ戻り、全ての画素値ベクトルについて、ｋ個のクラスタ中心点の新たな位置に基づいてＳ１１３０及びＳ１１４０が繰り返される。Ｓ１１６０でどのクラスタ中心点も移動しなかった場合（即ち、学習が収束した場合）、クラスタの更新の繰返しは停止され、処理はＳ１１８０へ進む。

図１１のＳ１１８０は、図６を用いて説明したＳ６８０と同様の処理ステップであるため、ここでは説明を省略する。

学習部１２０は、このようにして訓練データ１２５に含まれる多数の印刷画像サンプルの画素値ベクトルをクラスタリングすることにより学習済みモデル１７５を形成し、形成した学習済みモデル１７５を記憶部１９０に記憶させる。学習済みモデル１７５は、例えば画像形成装置１００が製造される際に、画像形成装置１００の記憶部１７０に組み込まれる。学習済みモデル１７５は、典型的には、画素値ベクトル空間内の、異常種別ごとのクラスタの中心点の位置の定義を含む。

（２）類似度としてのＳＢＤ
ここでは、画像間の類似度の指標として扱われるＳＢＤを算出する手法について説明する。一例として、Ｎ次元の画素値ベクトル空間を想定し、２つの画素値ベクトルｐ＝（ｐ_１，ｐ_２，...，ｐ_Ｎ）及びｑ＝（ｑ_１，ｑ_２，...，ｑ_Ｎ）がこの画素値ベクトル空間に属するものとする。また、［－ｍ，ｍ］のレンジ内の値をとる整数ｓについて、ベクトルｐの要素をｓ要素分だけシフトすることにより得られるベクトルｐ（ｓ）を、次式のように定義する。ベクトルｑについても、同様のベクトルｑ（ｓ）を定義する。

即ち、ｓが非負である場合には、ベクトルの先頭のＮ－ｓ個の要素が右方へｓ要素分シフトされ、左側の要素にゼロがパディングされる。ｓが負である場合には、ベクトルの末尾のＮ＋ｓ個の要素が左方へｓ要素分シフトされ、右側にゼロがパディングされる。

次に、ベクトルｐ及びｑの間の相互相関数列ＣＣ_ｗ（ｐ，ｑ）を、パラメータｗに依存する形で次式のように定義する。ここで、ｗは［１，２Ｎ－１］のレンジ内の値をとる整数である。ｗのレンジは、一方のベクトルを固定しながら、他方のベクトルのシフト量ｉを最も左方（ｗ＝１のときｉ＝１－Ｎ）から最も右方（ｗ＝２Ｎ－１のときｉ＝Ｎ－１）まで変化させる意味を有する。

画素値ベクトルｐ及びｑの間の類似度の指標であるＳＢＤをＤ_ＳＢＤ（ｐ，ｑ）と表記すると、Ｄ_ＳＢＤ（ｐ，ｑ）は次式に従って算出され得る：

即ち、ＳＢＤは、上述したレンジ内でシフト量ｉを変化させた場合の２つのベクトルｐ及びｑの間の相互相関の最大値を正規化した値を１から減算することにより導出され得る。直観的には、こうしたＳＢＤの導出は、画素値の配列をスケーリングすることなくシフトさせながら、画素値の増減のパターンがベクトル間でフィットする場所を探索するものであると言える。このように算出されるＳＢＤは、印刷画像に現れる異常の特徴的なパターンの位置がシフトし又はパターンの濃度が線形的に増減したとしても、パターンの間の類似の度合いを適切に反映した指標値となる。

（３）状態診断
画像形成装置１００の判定部１４５は、画像取得部１３０により取得される読取画像データに基づいて、複数の異常種別のうち印刷画像に現れた異常の種別を判定する。例えば、判定部１４５は、状態診断機能が呼出されると、事前に獲得された上述した学習済みモデル１７５を記憶部１７０から読出す。また、判定部１４５は、画像取得部１３０により取得される読取画像データを（例えば、所定のサイズのビットマップデータなどへ）整形する。そして、判定部１４５は、整形した読取画像データを読出した学習済みモデル１７５に適用し、その適用の結果に基づいて、印刷画像に現れた異常の種別を判定する。

例えば、本実施例において、判定部１４５は、読取画像データの画素値ベクトルと学習済みモデル１７５により定義されるｋ個のクラスタの中心点との間のＳＢＤを算出する。ｋ個のクラスタの中心点のうちここで算出されるＳＢＤが最も小さい中心点に対応するクラスタが、読取画像データの画素値ベクトルが属するクラスタである。判定部１４５は、診断の対象とした印刷画像に現れた異常の種別は、読取画像データの画素値ベクトルが属するこのクラスタに対応する異常種別であると判定する。

第１実施例と同様に、判定部１４５は、読取画像データの画素値ベクトルとの間で最小の距離を示すクラスタの中心点の当該最小の距離が閾値を上回る場合には、診断の対象とした印刷画像に異常は現れていないと判定してもよい。ここでの閾値は、予め設定されてもよく、又は、可変的に設定されてもよい。

図１２は、本実施例に係る画像形成装置１００により実行され得る状態診断処理の流れの一例を示すフローチャートである。

図１２を参照すると、まず、Ｓ１２１０で、画像形成装置１００のリーダ２００は、異常が疑われる印刷画像が形成された原稿を読取って、読取画像データを生成する。画像取得部１３０は、リーダ２００により生成された読取画像データを取得する。

次いで、Ｓ１２２０で、判定部１４５は、画像取得部１３０により取得された読取画像データを整形し、記憶部１７０から読出した学習済みモデル１７５に整形した読取画像データを適用する。

次いで、Ｓ１２３０で、判定部１４５は、学習済みモデル１７５において定義されているｋ個のクラスタの各々について、クラスタ中心点と読取画像データの画素値ベクトルとの間のＳＢＤを算出する。

次いで、Ｓ１２４０で、判定部１４５は、ｋ個のクラスタのうちＳ１２３０での算出の結果において最小のＳＢＤを示しているクラスタ、即ち読取画像データの画素値ベクトルが属するクラスタを判定する。

次いで、Ｓ１２５０で、判定部１４５は、Ｓ１２４０で判定したクラスタのＳＢＤが外れ値を判定するための閾値よりも小さいかを判定する。ＳＢＤが閾値よりも小さい場合には、処理はＳ１２６０へ進む。一方、ＳＢＤが閾値よりも小さくない場合には、処理はＳ１２７０へ進む。

Ｓ１２６０で、判定部１４５は、読取画像データの画素値ベクトルが属するクラスタに対応する異常種別の異常が印刷画像に現れていると判定する。この場合、情報提示部１８０は、その異常種別の異常に対処するための対処法を示す対処法情報をユーザに提示する。

Ｓ１２７０で、判定部１４５は、印刷画像に異常は現れていないと判定する。この場合、情報提示部１８０は、印刷画像に異常は現れていないという診断の結果をユーザに提示する。

本実施例において、情報提示部１８０は、第１実施例に関連して説明した情報提示方法のうちの任意のものを使用して、対処法情報又は状態診断結果をユーザに提示してよい。例えば、情報提示部１８０は、異常に対処するための手順の説明、又は異常に対処するための対処法を識別するコードをディスプレイに表示させてもよい。また、情報提示部１８０は、対処法を識別する発光パターンで発光素子を発光させてもよい。また、情報提示部１８０は、対処法情報を表現する音声を音声出力インタフェースから出力させてもよい。

本明細書でフローチャート又はシーケンス図を用いて説明した処理は、例えば、画像形成装置１００又はサーバ装置２のプロセッサが、ストレージに予め記憶されメモリへロードされるコンピュータプログラムを実行することにより実現されてよい。

なお、画像形成装置１００又はサーバ装置２は、状態診断の結果に対するフィードバックをユーザから受付けて、診断に使用した学習済みモデルを更新してもよい。一例として、ここでのフィードバックは、案内された対処法を実施した結果として異常が解消したか否かを示すユーザ入力であってもよい。例えば、異常が解消したことを示すフィードバックが入力された場合に、診断に使用された読取画像データと判定された異常種別とのペアに基づいてクラスタの定義を更新することで、その後の状態診断の精度をさらに高めることができる。

＜４．まとめ＞
ここまで、図１～図１２を用いて、本開示に係る技術の様々な実施例について説明した。上述した実施例によれば、印刷画像を読取ることにより生成される読取画像データが取得され、取得された上記読取画像データに基づいて、複数の異常種別のうち印刷画像に現れた異常の種別が判定される。そして、判定された種別に対応する、上記異常に対処するための対処法を示す対処法情報がユーザに提示される。したがって、印刷画像に現れる可能性のある様々な異常について、特定の種別の異常に限られることなく、個々の原因に応じた適切な対処法をユーザに案内することができる。ユーザは、提示された対処法情報に従って、印刷画像を形成した装置の部材の交換又はクリーニング機能の呼出しといったアクションを実施し、異常の原因を除去して装置を正常な状態に復帰させることができる。また、異常が早期に解消され得るため、記録媒体、トナー又はインクといった消耗材の浪費を防止することができる。

また、上述した実施例によれば、上記異常の種別は、異常種別が既知である複数の印刷画像の画像データに基づく学習により事前に獲得された学習済みモデルに上記読取画像データを適用した結果に基づいて判定され得る。この場合、異常の視覚的なパターンが印刷画像の内容又は環境条件の変動といった要因に影響されてある程度変化し得るとしても、そうした変化を吸収しながら、良好な精度で異常の種別を判定することができる。

また、上述した実施例によれば、上記学習済みモデルは、上記複数の印刷画像の画素値ベクトルをクラスタリングすることにより形成された、所定の個数の異常種別にそれぞれ対応するクラスタを含む。そして、上記学習済みモデルの上記個数のクラスタのうち、上記読取画像データの画素値ベクトルが属するクラスタに対応する種別の異常が、印刷画像に現れていると判定され得る。この場合、同じ原因に起因するものの訓練データにおいて互いに異なる現れ方をした異常の視覚的なパターンが１つのクラスタを形成することになるため、同じ原因に起因する異常のパターンの特徴を柔軟に捕捉して異常の種別をロバストに判定することができる。

また、上述した実施例によれば、上記画素値ベクトルが属するクラスタは、上記画素値ベクトルからの中心点の距離が最も小さいクラスタであってよく、但し、当該最も小さい距離が閾値を上回る場合には、印刷画像に異常は現れていないと判定され得る。したがって、実際には異常の無い印刷画像についてユーザが異常を疑って状態診断機能を呼出した場合に、実施する必要の無い対処法をユーザに案内してしまう事態を回避することができる。

また、上述した第１実施例によれば、画像形成装置は、印刷画像の読取画像データを学習済みモデルに適用することを求める要求をサーバ装置へ送信し、学習済みモデルへの読取画像データの適用の結果を上記サーバ装置から受信し得る。そして、上記画像形成装置は、受信した上記結果に基づいて、印刷画像に現れた異常の種別を判定する。この場合、読取画像データの学習済みモデルへの適用（例えば、類似度の算出）という演算がサーバ装置において行われるため、画像形成装置の演算の負荷が軽減され、装置の製造コストが抑制され得る。

また、上述した第２実施例によれば、画像形成装置は、印刷画像の読取画像データを自らが記憶している学習済みモデルへ適用し、その適用の結果に基づいて、印刷画像に現れた異常の種別を判定する。この場合、装置の状態の診断をネットワークのトラフィック状況に影響されることなく迅速に行うことができ、装置固有の異常の原因に即した診断を行うことも容易である。

＜５．その他の実施形態＞
上記実施形態は、１つ以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出して実行する処理の形式でも実現可能である。また、１つ以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１：情報処理システム、２：サーバ装置、３：ユーザ端末、５：ネットワーク、１００（１００ａ、１００ｂ）：画像形成装置、１２０：学習部、１２５：訓練データ、１３０：画像取得部、１４０、１４５：判定部（判定手段）、１５０、１７０：記憶部（記憶手段）、１５５、１７５：学習済みモデル、１６０：推論部、１８０：情報提示部（情報提示手段）、２００：リーダ（読取手段）、３００：プリンタ（画像形成手段）、４０７：ネットワークＩ／Ｆ（通信手段）、４５１：スピーカ（音声出力インタフェース）、４５２：タッチパネル（ディスプレイ）

Claims (17)

1. 印刷画像を読取ることにより生成される読取画像データを取得する取得部と、
   前記取得部により取得される前記読取画像データに基づいて、複数の異常種別のうち前記印刷画像に現れた異常の種別を判定する判定部と、
   前記判定部により判定される前記種別に対応する、前記異常に対処するための対処法を示す対処法情報をユーザに提示する情報提示部と、
   を含む情報処理システム。
2. 前記判定部は、異常種別が既知である複数の印刷画像の画像データに基づく学習により事前に獲得された学習済みモデルに前記読取画像データを適用した結果に基づいて、前記印刷画像に現れた前記異常の種別を判定する、請求項１に記載の情報処理システム。
3. 前記学習済みモデルは、前記複数の印刷画像の画素値ベクトルをクラスタリングすることにより形成された、ｋ個（ｋは２以上の整数）の異常種別にそれぞれ対応するクラスタを含み、
   前記判定部は、前記学習済みモデルの前記ｋ個のクラスタのうち前記読取画像データの画素値ベクトルが属するクラスタに対応する異常種別を、前記印刷画像に現れた前記異常の種別として判定する、
   請求項２に記載の情報処理システム。
4. 前記読取画像データの前記画素値ベクトルは、前記ｋ個のクラスタの中心点のうち前記画素値ベクトルからの距離が最も小さい中心点に対応するクラスタに属すると判定される、請求項３に記載の情報処理システム。
5. 前記距離は、ＤＴＷ（Dynamic Time Warping）距離である、請求項４に記載の情報処理システム。
6. 前記距離は、ＳＢＤ（Shape-Based Distance）である、請求項４に記載の情報処理システム。
7. 前記判定部は、前記最も小さい距離が閾値を上回る場合に、前記印刷画像に異常は現れていないと判定し、
   前記情報提示部は、前記判定部により前記印刷画像に異常は現れていないと判定された場合に、前記対処法情報を前記ユーザに提示しない、
   請求項４～６のいずれか１項に記載の情報処理システム。
8. 前記複数の異常種別は、
   点状の染み、
   線状のかすれ、及び
   線状の汚れ、
   のうちの２つ以上を含む、
   請求項１～７のいずれか１項に記載の情報処理システム。
9. 前記情報提示部は、前記異常に対処するための手順の説明をディスプレイに表示させることにより、前記対処法情報を提示する、請求項１～８のいずれか１項に記載の情報処理システム。
10. 前記情報提示部は、前記異常に対処するための前記対処法を識別するコードをディスプレイに表示させることにより、前記対処法情報を提示する、請求項１～８のいずれか１項に記載の情報処理システム。
11. 前記情報提示部は、前記異常に対処するための前記対処法を識別する発光パターンで発光素子を発光させることにより、前記対処法情報を提示する、請求項１～８のいずれか１項に記載の情報処理システム。
12. 前記情報提示部は、前記異常に対処するための手順の説明又は前記対処法を識別するコードを表す音声を音声出力インタフェースから出力させることにより、前記対処法情報を提示する、請求項１～８のいずれか１項に記載の情報処理システム。
13. 情報処理装置により実行される情報提示方法であって、
    印刷画像を読取ることにより生成された読取画像データを取得することと、
    取得された前記読取画像データに基づいて、複数の異常種別のうち前記印刷画像に現れた異常の種別を判定することと、
    判定された前記種別に対応する、前記異常に対処するための対処法を示す対処法情報をユーザに提示することと、
    を含む情報提示方法。
14. 記録媒体に画像を形成する画像形成手段と、
    記録媒体に形成された画像を読取って読取画像データを生成する読取手段と、
    前記読取画像データに基づいて、複数の異常種別のうち読取られた前記画像に現れた異常の種別を判定する判定手段と、
    判定された前記種別に対応する、前記異常に対処するための対処法を示す対処法情報をユーザに提示する情報提示手段と、
    を備える画像形成装置。
15. 前記画像形成装置は、
    それぞれの異常種別が既知である複数の印刷画像の画像データに基づく学習により事前に獲得された学習済みモデルを記憶しているサーバ装置と通信する通信手段、
    をさらに備え、
    前記判定手段は、
    前記読取画像データを前記学習済みモデルに適用することを求める要求を前記通信手段を介して前記サーバ装置へ送信し、
    前記要求に応じて前記サーバ装置から提供される、前記学習済みモデルへの前記読取画像データの適用の結果を前記通信手段を介して受信し、
    受信した前記結果に基づいて、読取られた前記画像に現れた前記異常の種別を判定する、
    請求項１４に記載の画像形成装置。
16. 前記画像形成装置は、
    それぞれの異常種別が既知である複数の印刷画像の画像データに基づく学習により事前に獲得された学習済みモデルを記憶している記憶手段、
    をさらに備え、
    前記判定手段は、前記記憶手段から読出される前記学習済みモデルに前記読取画像データを適用することにより、読取られた前記画像に現れた前記異常の種別を判定する、
    請求項１４に記載の画像形成装置。
17. 前記複数の異常種別は、前記画像形成手段による画像形成に関連する異常の種別を含む、請求項１４～１６のいずれか１項に記載の画像形成装置。

Images