JP2020140563A - 画像処理システム、画像処理方法、および画像処理装置 - Google Patents

Abstract

【課題】 ニューラルネットワークを用いて、低画質の画像データを高画質化できる画像処理システムを提供する。【解決手段】 画像処理システム（１００）は、ＦＡＸデータを受信して（Ｓ５０１）、その受信解像度を取得し（Ｓ５０２）と、出力解像度を取得し（Ｓ５０８）、受信解像度と出力解像度によって決定されたニューラルネットワークを用いて画像を出力する（Ｓ５１０）。【選択図】 図１

Description

本発明は、ニューラルネットワークを用いて低解像度の画像データを高解像度の画像データに変換して出力する画像処理システム、画像処理方法および画像処理装置関する。この画像処理装置は、例えば、ファクシミリ装置や、ファクシミリ機能を備える複写機複合機として用いられる。

従来、ＦＡＸ送信等の画像送信機能を持つ画像処理装置（ＭＦＰ等）は、スキャンした画像データをネットワーク経由で送信する際に、通信コスト（通信時間、通信帯域）を抑えるべく、通信データ量の削減を行ってきた。この通信データ量は、例えば、画像データを低解像度化したり、画像データを多値データから２値データへの変換することで削減することができる。また、一方で、低画質な状態で送信されてきた画像データを、高画質化してから出力する技術が提案されている。特許文献１では、低解像度パッチと高解像度パッチのペアを辞書として用意し、低解像度の画像データの所定の参照領域に類似した低解像度パッチを探索し、対応する高解像度パッチを合成することで、高解像度化を実現する技術を開示している。

特開２０１６−１２７４７５号公報

特許文献１は、低解像度パッチと高解像度パッチの組をあらかじめ保持しておくことが前提となっている。そのため、予期しない構成の画像、すなわち、パッチが用意されていない画像については高画質化することが困難であった。そこで、高画質化する画像変換を学習したニューラルネットワークを用いることで、種々の画像に対して汎用的に高画質化処理を適用出来る画像処理システムが望まれる。

上述した課題を鑑み、本発明は、ニューラルネットワークを用いて、低画質の画像データを高画質化できる画像処理システムの提供を目的とする。特に、複数のニューラルネットワークを使い分けることで精度のよい画像変換結果を取得可能な画像処理システムの提供を目的とする。

本発明は、画像処理システムにおいて、画像データを受信する手段と、受信した画像データの解像度に関する第１の情報を取得する手段と、前記受信した画像データに基づく出力の解像度に関する第２の情報を取得する手段と、同一の元データに基づき生成された画像データ対であって解像度の異なる画像データ対に基づき学習した複数のニューラルネットワークのなかから、前記第１の情報をおよび前記第２の情報に基づいて一つのニューラルネットワークを決定し、前記決定されたニューラルネットワークと前記受信した画像データに少なくとも基づいて変換後画像データを取得する手段と、前記変換後画像データに基づく出力をおこなう手段と、を有することを特徴とする。

本発明によれば、ニューラルネットワークを用いて、低画質の画像データを高画質化できる画像処理システムの提供できる。特に、複数のニューラルネットワークを使い分けることで精度のよい画像変換結果を取得可能な画像処理システムの提供できる。

画像処理システム構成図である。 図２（ａ）は画像処理装置の構成を示す図である。図２（ｂ）は学習装置の構成を示す図である。図２（ｃ）は画像処理サーバの構成を示す図である。 学習データの成り立ちを示す図である。 画像処理システムの利用シーケンスを示す図である。 画像出力制御を説明するフローチャートである。 学習モデル更新を説明するフローチャートである。 画像変換処理を説明するフローチャートである。 図８（ａ）はＦＡＸデータの受信機能の画面を示す図である。図８（ｂ）はＦＡＸデータの受信トレイ画面を示す図である。 第２の実施形態の画像処理システム構成図である。 第２の実施形態の画像処理システムの学習シーケンスを示す図である。 第２の実施形態の学習データ生成を説明するフローチャートである。 第２の実施形態の画像出力制御を説明するフローチャートである。 図１３（ａ）〜（ｅ）は学習に用いる正解画像と入力画像の具体例である。 図１４（ａ）〜（ｆ）は入力画像の画像劣化の説明するための図である。 図１５（ａ）は第２の実施形態の入力画像を生成するフローチャートである。図１５（ｂ）〜（ｇ）は画像変換の様子を説明するための図である。 図１６（ａ）は第３の実施形態の入力画像を生成するフローチャートである。図１６（ｂ）〜（ｊ）は画像変換の様子を説明するための図である。 図１７（ａ）は第１の実施形態における解像度と学習モデルの関係を示す図である。図１７（ｂ）は変形例における解像度と学習モデルの関係を示す図である。図１７（ｃ）は第３の実施形態における解像度と学習モデルの関係を示す図である。 第４の実施形態の画像出力制御を説明するフローチャートである。 第４の実施形態の画像出力制御を説明するフローチャートである。 図２０（ａ）はＡＩ補正利用の設定画面を示す図である。図２０（ｂ）は自動学習の設定画面を示す図である。 図２１（ａ）は補正の傾向の設定画面を示す図である。図２１（ｂ）は先行画像変化の設定画面を示す図である。

以下、本発明を実施するための形態について図面を用いて説明する。ただし、説明に記載された構成要素は例示であって、本発明の範囲を限定する趣旨のものではない。本発明の目的を達成できる範囲において、構成要素の置換・追加・削除をおこなってもよい。

［第１の実施形態］
＜画像処理システム＞
本実施形態では、予め学習が済ませたニューラルネットワークを用いて、低解像度のＦＡＸ画像を高解像度の画像に変換して出力する形態について説明する。

図１は、画像処理システムの構成を示した図である。図１に示すように、画像処理システム１００は、画像処理装置１０１、学習装置１０２、画像処理サーバ１０３で構成され、ネットワーク１０４を介して互いに接続されている。なお、画像処理装置１０１、学習装置１０２、画像処理サーバ１０３のそれぞれは、ネットワーク１０４に対して単一接続ではなく複数接続された構成であっても良い。図１では、画像処理装置１０１として、画像処理装置Ａ１０１ａ、画像処理装置Ｂ１０１ｂの２台がネットワーク１０４に接続された構成例を示している。画像処理装置Ａ１０１ａと画像処理装置Ｂ１０１ｂはネットワーク１０４を介して互いに通信可能であり、例えば、画像処理装置Ａ１０１ａから送信されたＦＡＸデータを画像処理装置Ｂ１０１ｂで受信する。画像処理装置Ｂ１０１ｂは受信したＦＡＸデータに基づく出力（印刷・送信）をおこなう。なお、以降の説明では、説明を単純にするために、送信側の説明をする際は、画像処理装置Ａ１０１ａと表記し、受信側の説明をする際は、画像処理装置Ｂ１０１ｂと表記し、送受信側の両方に共通する説明をする際は、画像処理装置１０１と表記するものとする。また、画像処理装置Ａ１０１ａと画像処理装置Ｂ１０１ｂはネットワーク１０４とは別のＦＡＸ回線を用いて通信してもよい。

画像処理装置１０１は、コピー、プリント、スキャン、ＦＡＸ等の複数の機能を実現可能なＭＦＰ等で実現されるものであって、画像取得部１１１（１１１ａ，１１１ｂ）として機能する。画像処理装置Ａ１０１ａは、文字画像が含まれる原稿をスキャンして取得したスキャン画像に対して、画像処理を行ってＦＡＸデータを生成し、ネットワーク１０４を介して画像処理装置１０１ｂに送信する。画像処理装置Ｂ１０１ｂは、画像処理装置Ａ１０１ａから受信したＦＡＸデータに対して、画像処理を行ってＦＡＸデータに基づく変換前画像を生成し、ネットワーク１０４を介して画像処理サーバ１０３に送信する。

学習装置１０２は、画像変換モデルの学習を行い、学習結果（ニューラルネットワークのパラメータなど）を生成する学習部１１２として機能する。学習装置１０２は、例えば、エンジニアによって提供された入力画像と正解画像のペアである学習データ（教師データ、画像データ対）を用いて、学習を行うことで学習結果を生成する。学習装置１０２は、生成した学習結果を、ネットワーク１０４を介して画像処理サーバ１０３に送信する。

画像処理サーバ１０３は、画像処理装置１０１が取得した変換前画像に対して、画像変換を行う画像変換部１１３．として機能する。画像処理サーバ１０３は、変換前画像に対して、学習装置１０２が生成した学習結果を用いて、ニューラルネットワークによる変換を行い、変換後画像を取得する。ニューラルネットワークを用いる機械学習手法の一つとしては、多層ニューラルネットワークを用いるディープラーニングが挙げられる。そして、画像処理サーバ１０３は、変換によって取得した変換後画像を、再び画像処理装置１０１に送信する。画像処理装置１０１は、画像処理サーバ１０３から受信した変換後画像を用いて、印刷出力、ユーザ所望の送信先への送信、画像処理装置１０１内の記憶部への保存を行う。

ネットワーク１０４は、ＬＡＮや公衆回線（ＷＡＮ）等で実現されるものであって、画像処理装置１０１、学習装置１０２、画像処理サーバ１０３の間を互いに接続して、装置間でデータを送受信するための通信部である。

＜装置構成＞
前述した画像処理システムを実現するために、画像処理装置１０１、学習装置１０２、画像処理サーバ１０３は、以下に示す構成を備える。図２（ａ）は、画像処理装置１０１の構成を示す図である。図２（ｂ）は、学習装置１０２の構成を示す図である。図２（ｃ）は、画像処理サーバ１０３の構成を示す図である。

図２（ａ）に示すように画像処理装置１０１は、次を備える。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０４、プリンタデバイス２０５、スキャナデバイス２０６、原稿搬送デバイス２０７、ストレージ２０８、入力デバイス２０９、表示デバイス２１０、及び外部インタフェース２１１を備える。各デバイスは、データバス２０３によって相互通信可能に接続されている。

ＣＰＵ２０１は、画像処理装置１０１を統括的に制御するためのコントローラである。ＣＰＵ２０１は、ＲＯＭ２０２に格納されているブートプログラムによりＯＳ（オペレーティングシステム）を起動する。このＯＳ上で、ストレージ２０８に記憶されているコントローラプログラムが実行される。コントローラプログラムは、画像処理装置１０１を制御するためのプログラムである。ＣＰＵ２０１は、データバス２０３によって接続されている各デバイスを統括的に制御する。ＲＡＭ２０４は、ＣＰＵ２０１の主メモリやワークエリア等の一時記憶領域として動作する。

プリンタデバイス２０５は、画像データを用紙（記録材、シート）上に印刷するデバイス（印刷デバイス、画像形成部、画像形成デバイス）ある。これには感光体ドラムや感光体ベルトなどを用いた電子写真印刷方式や、微小ノズルアレイからインクを吐出して用紙上に直接画像を印字するインクジェット方式などがあるが、どの方式でもかまわない。スキャナデバイス２０６は、ＣＣＤなどの光学読取装置を用いて紙などの原稿上の走査を行い、電気信号データを得てこれを変換し、スキャン画像データを生成するデバイス（画像読取デバイス）である。また、ＡＤＦ（オート・ドキュメント・フィーダ）などの原稿搬送デバイス２０７は、原稿搬送デバイス２０７上の原稿台に載置された原稿を１枚ずつスキャナデバイス２０６に搬送する。

スキャナデバイス２０６は、原稿搬送デバイス２０７が搬送してきた原稿を読み取る機能の他に、画像処理装置１０１が持つ原稿台（不図示）上に載置された原稿を読み取る機能を備えていてもよい。

ストレージ２０８は、ＨＤＤなどの、読み出しと書き込みが可能な不揮発メモリであり、ここには、前述のコントローラプログラムなど、様々なデータが記録される。

入力デバイス２０９は、タッチパネルやハードキーなどから構成さるデバイス（入力装置）である。入力デバイス２０９は、ユーザの操作指示を受け付ける受付部である。そして、指示位置を含む指示情報をＣＰＵ２０１に伝達する。表示デバイス２１０は、ＬＣＤやＣＲＴなどの表示装置である。

表示デバイス２１０は、ＣＰＵ２０１が生成した表示データを表示する。ＣＰＵ２０１は、入力デバイス２０９より受信した指示情報と、表示デバイス２１０に表示させている表示データとから、いずれの操作が成されたかを判定する。そしてこの判定結果に応じて、画像処理装置１０１を制御するとともに、新たな表示データを生成し表示デバイス２１０に表示させる。

外部インタフェース２１１は、ＬＡＮや電話回線、赤外線といった近接無線などのネットワークを介して、外部機器と、画像データをはじめとする各種データの送受信を行う。外部インタフェース２１１は、学習装置１０２やＰＣ（不図示）などの外部機器より、ＰＤＬデータ（ページ記述言語で描画内容を記述したデータ、ＰＤＬ形式のデータ）を受信する。ＣＰＵ２０１は、外部インタフェース２１１が受信したＰＤＬデータを解釈し、画像を生成する。生成した画像は、プリンタデバイス２０５により印刷したり、ストレージ２０８に記憶したりする。また、外部インタフェース２１１は、画像処理サーバ１０３などの外部機器より画像データを受信する。受信した画像データは、プリンタデバイス２０５によって印刷されたり、ストレージ２０８に記憶されたり、外部インタフェース２１１により、他の外部機器に送信されたりする。

図２（ｂ）の学習装置１０２は、ＣＰＵ２３１、ＲＯＭ２３２、ＲＡＭ２３４、ストレージ２３５、入力デバイス２３６、表示デバイス２３７、外部インタフェース２３８、ＧＰＵ２３９を備える。各部は、データバス２３３を介して相互にデータを送受信することができる。

ＣＰＵ２３１は、学習装置１０２の全体を制御するためのコントローラである。ＣＰＵ２３１は、不揮発メモリであるＲＯＭ２３２に格納されているブートプログラムによりＯＳを起動する。このＯＳの上で、ストレージ２３５に記憶されている学習データ生成プログラムおよび学習プログラムを実行する。ＣＰＵ２３１が学習データ生成プログラムを実行することより、学習データを生成する。また、ＣＰＵ２３１が学習プログラムを実行することにより、画像変換を行うニューラルネットワークを学習する。ＣＰＵ２３１は、データバス２３３などのバスを介して各部を制御する。

ＲＡＭ２３４は、ＣＰＵ２３１のメインメモリやワークエリア等の一時記憶領域として動作するものである。ストレージ２３５は、読み出しと書き込みが可能な不揮発メモリであり、前述の学習プログラムを記録する。

入力デバイス２３６は、マウスやキーボードなどから構成さる入力装置である。表示デバイス２３７は、図２（ａ）を用いて説明した表示デバイス２１０と同様である。

外部インタフェース２３８は、図２（ａ）を用いて説明した外部インタフェース２１１と同様である。

ＧＰＵ２３９は、画像処理プロセッサであり、ＣＰＵ２３１と協調してニューラルネットワークの学習を行う。

図２（ｃ）の画像処理サーバ１０３は、ＣＰＵ２６１、ＲＯＭ２６２、ＲＡＭ２６４、ストレージ２６５、入力デバイス２６６、表示デバイス２６７、外部インタフェース２６８を備える。各部は、データバス２６３を介して相互にデータを送受信することができる。

ＣＰＵ２６１は、画像処理サーバ１０３の全体を制御するためのコントローラである。ＣＰＵ２６１は、不揮発メモリであるＲＯＭ２６２に格納されているブートプログラムによりＯＳを起動する。ＣＰＵ２６１は、データバス２６３などのバスを介して各部を制御する。

ＲＡＭ２６４は、ＣＰＵ２６１のメインメモリやワークエリア等の一時記憶領域として動作するものである。ストレージ２６５は、読み出しと書き込みが可能な不揮発メモリであり、前述の画像処理サーバプログラムを記録する。

入力デバイス２６６は、図２（ｂ）を用いて説明した入力デバイス２３６と同様である。表示デバイス２６７は、図２（ａ）を用いて説明した表示デバイス２１０と同様である。

外部インタフェース２６８は、図２（ａ）を用いて説明した外部インタフェース２１１と同様である。

＜利用シーケンス＞
図４は、画像処理システムの利用シーケンスを示す図である。ここでは、ユーザが画像処理装置Ｂ１０１ｂを用いて、受信したＦＡＸデータに対して出力指示して印刷出力するケースについて説明する。本実施例では、ＦＡＸデータとして取得した低品位の変換前画像に対して画像変換を行うことで、高品位の変換後画像（変換後画像データ）を提供することができる。これにより、例えば、この高品位の変換後画像に対してＯＣＲを実行することで、画像中に含まれるテキストを高精度に抽出することができる。

まず、画像処理システム１００を提供するメーカのエンジニアは、学習装置１０２に画像変換ＡＩ用の学習を行わせるべく、学習データの入力を行う（Ｓ４０１）。学習装置１０２は、入力された学習データを用いて、ニューラルネットワークの学習処理を行う（Ｓ４０２）。学習装置１０２は、Ｓ４０２が終了すると、画像処理サーバ１０３に対して、学習結果を送信する（Ｓ４０３）。これらの工程は、以降に説明する工程よりも前に予め行われる工程である。

その後、画像処理装置Ａ１０１ａは、画像処理装置Ｂ１０１ｂに対して、ＦＡＸデータを送信する（Ｓ４０４）。画像処理装置Ｂ１０１ｂは、ＦＡＸデータを受信すると、受信したＦＡＸデータに基づく受信画像情報を画像処理サーバ１０３に送信する（Ｓ４０５）。ユーザは、画像処理システム１００の利用を開始すべく、画像処理装置Ｂ１０１ｂの入力デバイス１０９を用いて、受信したＦＡＸデータに基づく受信画像の印刷出力を指示する（Ｓ４０６）。画像処理装置Ｂ１０１ｂは、ユーザから指示された出力画像情報を画像処理サーバ１０３に送信する（Ｓ４０７）。画像処理サーバ１０３は、Ｓ４０５とＳ４０７で受信した情報に基づいて、低品位の変換前画像を入力して高品位の変換後画像を出力する画像変換を行う（Ｓ４０８）。画像処理サーバ１０３は、Ｓ４０８で生成した高品位の変換後画像を画像処理装置Ｂ１０１ｂに対して送信する（Ｓ４０９）。画像処理装置Ｂ１０１ｂは、Ｓ４０９で受信した高品位の変換後画像を用いて、Ｓ４０６でユーザから指示された出力形態で印刷出力を行う（Ｓ４１１）。なお、ここでは、印刷出力を例に説明したが、出力形態は、ユーザ所望の送信先への送信、ストレージ（ネットワークストレージ）への保存であっても良い。

＜学習データ＞
Ｓ４０１においてエンジニアが学習装置１０２に入力した学習データについて説明する。学習データは、学習装置１０２が学習部でニューラルネットワークを学習するために用いるデータである。ニューラルネットワークを学習するためには、変換前のデータ（変換前画像）と変換後のデータ（変換後画像）の対が必要となる。本実施例では、ＦＡＸ受信後の低品位の画像を変換前のデータ（変換前画像＝入力画像）、ＦＡＸ送信前の高品位の画像を変換後のデータ（変換後画像＝正解画像）として用いる。

図３は、学習データの成り立ちを示す図である。図３に示すように、学習データ３０６は、正解画像と入力画像の対からなるデータである。正解画像３０５は、ＰＤＬデータ３０１（電子ドキュメント、元データ）をＲＩＰ（レンダリング）して直接的に取得される。入力画像３０４は、ＰＤＬデータ３０１を印刷することで得られる印刷原稿３０２をスキャンしてスキャン画像３０３にし、このスキャン画像３０３を変換したＦＡＸデータに基づいて生成される。

ここでは、エンジニアの開発環境下にある印刷装置（不図示）で印刷原稿３０２が印刷される。次に、エンジニアの開発環境下にあるスキャナ（不図示）で印刷原稿３０２が読み取られる。そして、エンジニアの開発環境下にある情報処理装置（不図示）によりスキャン画像３０３に対してＦＡＸデータに変換するための解像度変換や二値化などの画像処理が施される。これらの工程に用いる装置は、プリンタデバイス２０５、スキャナデバイス２０６と同機種であることが望ましい。

また、高品位の画像変換を行うには大量の学習データを用いてニューラルネットワークを学習する必要があるが、ここでは既に十分に学習されている前提で説明を行う。

＜学習処理＞
図６は、図４のＳ４０２における学習装置１０２による学習モデルの学習処理の流れを説明するためのフローチャートである。なお、図６で示す各ステップは、学習装＋置１０２のＲＯＭ２３２、ＲＡＭ２３４、ストレージ２３５等に記憶され、学習装置１０２のＣＰＵ２３１及びＧＰＵ２３９によって実行される。

図６に示すように、ＣＰＵ２３１は、ＧＰＵ２３９を用いて、学習モデルとして用いられるニューラルネットワークを構成する重みパラメータの値を初期化する（Ｓ６０１）。すなわち、ＣＰＵ２３１は、例えば、ニューラルネットワークを構成する重みパラメータをランダムな値に設定したり、前回学習済の値をロードして再設定したりする。次に、ＣＰＵ２３１は、ＧＰＵ２３９を用いて、図４のＳ４０１で入力された学習データのうち、解像度や階調の条件が合致する入力画像と正解画像のペアを学習データとして取得する（Ｓ６０２）。

次に、ＣＰＵ２３１は、ＧＰＵ２３９を用いて、Ｓ６０１で準備したニューラルネットワークに学習データ（入力画像と正解画像のペア）を入力し、入力画像と正解画像の間における画素値の誤差計算のための演算を実行する（Ｓ６０３）。次に、ＣＰＵ２３１は、ＧＰＵ２３９を用いて、学習モデルの重みパラメータの値を更新する演算を実行する（Ｓ６０４）。この処理は一般に誤差逆伝搬法（バックプロパゲーション）と呼ばれる。次に、ＣＰＵ２３１は、ＧＰＵ２３９を用いて、所定の学習データ数を用いて所定の学習回数だけ演算処理が終了したか否かを判断する（Ｓ６０５）。ここで、ＣＰＵ２３１は、所定の学習データを用いた所定の学習回数が終了したならば（Ｓ６０５でＹＥＳ）、Ｓ６０６に遷移し、終了していなければ、Ｓ６０２に遷移してＳ６０２〜Ｓ６０４の演算を繰り返す。次に、ＣＰＵ２３１は、ＧＰＵ２３９を用いて、学習済モデルのニューラルネットワークを構成する重みパラメータの値をストレージ２３５等の記憶部に保存する（Ｓ６０６）。Ｓ６０６で獲得した学習済モデルは、既知の低解像度画像を既知の高解像度画像に置きかえるのではなく、未知の画像も含めて低解像度画像を高解像度画像に変換できるような画像変換部として形成される。そのため、学習済モデルを用いることで、低解像度で送信された入力画像から元原稿の電子データ相当の高解像度画像を取得できる。例えば、学習済モデルは、スキャン時の読み取りノイズによって発生した画像中の孤立点を除去する画像変換機能を獲得する。また、例えば、学習済モデルは、低解像度化や二値化によって発生した画像中の描画オブジェクトにおけるエッジ部分のがたつきを抑制して平滑化する画像変換機能を獲得する。これらの画像変換機能は、Ｓ６０２〜Ｓ６０４を繰り返し実行して入力画像と正解画像の差分傾向を学習することで獲得される。次に、ＣＰＵ２３１は、さきほど保存した学習モデルとは別の学習モデルについて更新を行うか否かを判断する（Ｓ６０７）。ここで、ＣＰＵ２３１は、別の学習モデルを更新すると判断したならば（Ｓ６０７でＹＥＳ）、Ｓ６０１に遷移してＳ６０１〜Ｓ６０６の処理を繰り返し、別の学習モデルを更新しないと判断したならば（Ｓ６０７でＮＯ）、学習モデル更新の処理を終了する。

別の学習モデルとしては、正解画像の解像度と入力画像の解像度の組み合わせが異なる学習データを用いて学習する学習モデルが挙げられる。ところで、変換元のＦＡＸ画像の解像度としては、２００×１００ｄｐｉ（ノーマル）、２００×２００ｄｐｉ（ファイン）、２００×４００ｄｐｉ（スーパー）、４００×４００ｄｐｉ（ウルトラ）、が挙げられる。また、画像処理装置の出力解像度としては、１２００×１２００ｄｐｉ、６００×６００ｄｐｉ、４００×４００ｄｐｉ、３００×３００ｄｐｉ、２００×２００ｄｐｉ、１００×１００ｄｐｉが挙げられる。これらの解像度の組み合わせを考慮すると、画像処理システム１００は、２４通りの画像変換に対応することが求められる。１通りの変換につき１つの学習モデルを用いる場合、２４つの学習モデルＡ〜Ｘを用意することになる。Ｓ６０７では、必要な種類の学習モデルが更新されるまで、ＮＯとなり、次の学習モデルの更新処理に進む。

なお、学習モデルの分別方法は解像度ではなく階調でおこなってもよい。例えば、異なる階調（１６ビット階調＝６５５３６色、８ビット階調＝２５６色、１ビット階調＝２色）の条件下で生成した正解画像や入力画像をペアにして学習データを生成してもよい。

＜操作画面＞
図８は、図４のＳ４０６で、ユーザからの出力指示を受け付けるための入力デバイス２０９及び表示デバイス２１０を用いた画面表示例である。

図８（ａ）は、表示デバイス２１０において、画像処理装置Ｂ１０１ｂが備える。プリント、スキャン、ＦＡＸ等の１つ以上の機能を組み合せて実現可能な機能メニューのうち、ＦＡＸ受信等を行う受信トレイ８０１の機能メニューが選択された状態の画面表示例である。

図８（ａ）に示すように、受信トレイ８０１の機能メニューとして、例えば、システムボックス８１１があって、画像処理装置Ｂ１０１ｂを宛先としてメモリ受信したＦＡＸ画像データを印刷及び送信の出力指示を実行できる。あるいは、受信トレイ８０１の機能メニューとして、例えば、ファックスボックス８１２があって、画像処理装置Ｂ１０１ｂが所定の転送条件で受信したＦＡＸ画像データを印刷及び送信の出力指示を実行できる。なお、本体設定を変更することによって、ＦＡＸ画像データを出力指示タイミングではなく、受信タイミングで出力（印刷・送信）することもできる。すなわち、本体設定が第１の設定であれば、ＦＡＸデータが内部ストレージに格納される。本体設定が第２の設定であればＦＡＸデータが受信にともなって印刷される。本体設定が第３の設定であればＦＡＸデータが受信にともなって、予め指定された宛先（Ｅメールアドレス、ネットワークストレージ、ドキュメント管理クラウドサービス）に送信される。

図８（ｂ）は、表示デバイス２１０において、入力デバイス２０９で、図８（ａ）で示したシステムボックス８１１に対するユーザのタッチ操作を検知して、図８（ａ）から画面遷移した受信トレイ８０１のジョブ選択を行うための画面表示例である。

図８（ｂ）に示すように、受信トレイ８０１のジョブ選択画面では、例えば、選択出力可能なジョブ一覧８２１に対して、出力設定ボタン８２２、ジョブ削除ボタン８２３、プリントボタン８２４、送信ボタン８２５の指示操作が可能な状態になっている。ここで、出力設定ボタン８２２に対するユーザのタッチ操作を検知すると、例えば、出力設定画面８３１が表示され、出力解像度（高画質化モード）を選択可能な状態になる。ここで、未選択のデフォルト状態では、例えば、プリントエンジン解像度（例：６００×６００ｄｐｉ）が選択された状態にしても良いし、ユーザ固有のお気に入り設定を反映した状態にしても良い。例えば、ユーザが出力設定画面８３１内の出力解像度のいずれかを選択指示した上で、プリントボタン８２４による印刷指示、又は、送信ボタン８２５による送信指示を行う。すると、図４のＳ４０６で示すように、ユーザからの出力指示を受け付けたことになり、Ｓ４０７で出力画像情報を取得することができる。なお、詳細には、プリントボタン８２４が選択されると印刷設定を変更可能な印刷設定画面（不図示）が表示され、その画面において印刷実行ボタンが選択されると印刷が開始される。また、送信ボタン８２５が選択されると宛先を指定可能な指定画面（不図示）が表示され、その画面におい送信実行ボタンが選択されると送信が開始される。宛先としては、Ｅメールアドレスの他、ＦＡＸ番号、ネットワークフォルダ、クラウドサービス等を指定することが出来る。
なお、図８は、解像度の選択例のみを示したが、他に、階調（例：１ビット階調、８ビット階調）やチャンネル数（例：Ｋ＝１ｃｈ、ＲＧＢ＝３ｃｈ、ＣＭＹＫ＝４ｃｈ）を選択可能な構成であっても良い。

＜画像出力処理＞
図５は、画像処理装置１０１による画像出力処理の流れを説明するためのフローチャートである。なお、図５で示す各ステップは、画像処理装置１０１のＲＯＭ２０２、ＲＡＭ２０４、ストレージ２０８等に記憶され、画像処理装置１０１のＣＰＵ２０１によって実行される。なお、フローチャートで示す各ステップの処理の一部は、画像処理サーバ１０３のＲＯＭ２３２、ＲＡＭ２３４、ストレージ２３５等に記憶され、ＣＰＵ２０１の要求に基づいて画像処理サーバ１０３のＣＰＵ２３１によって実行される構成であっても良い。

図５に示すように、ＣＰＵ２０１は、ネットワーク１０４を経由した外部インタフェース２１１で、ＦＡＸデータを受信したか否かを判断する（Ｓ５０１）。ここで、ＣＰＵ２０１は、ＦＡＸデータを受信していれば（Ｓ５０１でＹＥＳ）、Ｓ５０２に遷移し、受信していなければ（Ｓ５０１でＮＯ）、Ｓ５０１に遷移してＦＡＸデータを受信するまで待つ。次に、ＣＰＵ２０１は、Ｓ５０１で受信したＦＡＸデータに基づく受信画像情報を取得し、画像処理サーバ１０３に送信する（Ｓ５０２）。ここで、受信画像情報とは、例えば、受信画像が持つ解像度、階調（例：１ビット２値、８ビット２５６階調）、チャンネル数（例：モノクロ１ｃｈ、カラー３ｃｈ）等の属性情報を示したものである。特に、ＦＡＸデータにおいては、受信した低解像度の画像データに対して精度よく画像変換を行う必要があるため、ＦＡＸデータの制御情報に含まれる解像度情報（例：２００×１００ｄｐｉ）を取得することが望ましい。

次に、ＣＰＵ２０１は、ＦＡＸデータの受信時の応答設定を確認する（Ｓ５０３）。自動印刷設定あるいは自動転送設定であった場合（Ｓ５０３でＹＥＳ）、ＣＰＵ２０１は、Ｓ５０４へ処理を進める。Ｓ５０４では、自動印刷設定に紐付いた出力画像情報（例：６００×６００ｄｐｉ＝プリントエンジン解像度）、または、自動転送設定に紐付いた出力画像情報（例：３００×３００ｄｐｉ＝送信標準仕様）が読み出される。なお、これらの出力画像情報はユーザによって予め指定された指定値を保持し、これを読み出す形式の情報であってもよい。

自動印刷設定あるいは自動転送設定でなく、留め置き設定であった場合（Ｓ５０４でＮＯ）、ＣＰＵ２０１は、Ｓ５０５へ処理を進める。ＣＰＵ２０１は、Ｓ５０５において、ストレージ２０８の記憶領域に、受信したＦＡＸデータを格納する。次に、ＣＰＵ２０１は、入力デバイス２０９を介してユーザによる出力指示を受信したか否かを判断する（Ｓ５０６）。ここで、ＣＰＵ２０１は、出力指示を受信するまで（Ｓ５０６でＮＯ）待機し、受信したならば（Ｓ５０６でＹＥＳ）、Ｓ５０７に遷移する。Ｓ５０７において、ＣＰＵ２０１は、Ｓ５０６の出力指示にともない指定された出力画像情報を取得する。

次に、ＣＰＵ２０１は、Ｓ５０６で受信した出力指示、あるいは、出力指示された機能仕様に基づく属性情報を取得し、画像処理サーバ１０３に送信する（Ｓ５０８）。属性情報は、例えば、出力解像度、階調（例：１ビット階調、８ビット階調）、チャンネル数（例：モノクロ１ｃｈ、カラー３ｃｈ）等である。ここで、ＣＰＵ２０１は、例えば、留め置きデータの出力指示がプリンタデバイス２０５を用いた印刷出力でありユーザによる指定が無ければ、デフォルトの設定値（６００×６００ｄｐｉ）を取得する。留め置きデータの出力指示がプリンタデバイス２０５を用いた印刷出力であり、ユーザによる出力指示時に指定があれば指定された出力解像度（例：１２００×１２００ｄｐｉ）を取得する。また、ＣＰＵ２０１は、例えば、出力指示が外部インタフェース２１１を介した送信出力であり、ユーザによる指定がなければデフォルトの設定値（３００×３００ｄｐｉ）を取得する。出力指示が外部インタフェース２１１を介した送信出力であり、ユーザによる出力指示時に指定があれば指定された出力解像度（例：６００×６００ｄｐｉ）を取得する。このように、ＣＰＵ２０１は、ユーザによって明示的な出力解像度の指定があれば、指定された出力解像度を取得し、ユーザによって明示的な指定が無ければ、予め定められた出力解像度を取得すれば良い。なお、ユーザによって指定された明示的な出力解像度は、出力指示する画像データの用途に応じて変更されうるものであってある。したがって、出力解像度をユーザが指定するのではなく、出力解像度を間接的に指定する項目の指定をユーザがおこなってもよい。例えば、画質優先（高品位、低速、ファイルサイズ大）と速度優先（低品位、高速、ファイルサイズ小）を含む複数のモードのなかから１つのモードを選択することで解像度を指定してもよい。次に、ＣＰＵ２０１は、低解像度の画像データを高解像度の画像データに変換する画像変換を実行するように制御する（Ｓ５０９）。なお、Ｓ５０９の処理の流れは、図７のフローチャートを用いて別途詳細に説明する。最後に、ＣＰＵ２０１は、Ｓ５０９で生成された変換後画像を用いて、Ｓ５０８で取得した出力形式に従って、印刷又は送信を実行する（Ｓ５１０）。

図７は、図４のＳ４０８および図５のＳ５０９における画像処理サーバ１０３による画像変換処理の流れを説明するためのフローチャートである。なお、図７で示す各ステップは、画像処理サーバ１０３のＲＯＭ２６２、ＲＡＭ２６４、ストレージ２６５等に記憶され、画像処理サーバ１０３のＣＰＵ２６１によって実行される。

図７に示すように、ＣＰＵ２６１は、画像処理装置Ｂ１０１ｂから受信した低解像度の画像データ、及び、当該画像データの属性情報である解像度、階調、チャンネル数等を受信画像情報として取得する（Ｓ７０１）。次に、ＣＰＵ２６１は、画像処理装置Ｂ１０１ｂから受信したユーザからの出力指示に含まれる出力解像度、階調、チャンネル数等を出力画像情報として取得する（Ｓ７０２）。なお、出力画像情報としては、出力解像度、階調、チャンネル数等の属性情報を直接的に示すものではなく、これらの属性情報を間接的に紐付いた機能情報（印刷機能・送信機能）であってもよい。次に、ＣＰＵ２０１は、Ｓ７０１とＳ７０２で取得した受信画像情報と出力画像情報の解像度、階調、チャンネル数等の条件が合致した学習済モデルをストレージ２６５等の記憶部から取得する（Ｓ７０３）。なお、出力画像情報については、出力解像度、階調、チャンネル数等の属性情報ではなく、単純に、印刷や送信の機能情報に基づいて、条件が合致した学習済モデルを取得しても良い。ここで、入力解像度として２００×１００ｄｐｉの解像度情報、出力解像度として１２００×１２００ｄｐｉの解像度情報を取得した場合、図１７（ａ）からわかるように学習済モデルＤが採用される。

次に、ＣＰＵ２６１は、Ｓ７０１で取得した画像データを入力画像として、Ｓ７０３で取得した学習済モデルに入力した際の出力画像を、学習済モデルを用いた画像変換結果として生成する（Ｓ７０４）。最後に、ＣＰＵ２０１は、Ｓ７０４で生成した画像変換結果をストレージ２６５等の記憶部に一時保持すると共に、画像処理装置Ｂ１０１ｂに対してネットワーク１０４を介して画像変換結果を送信する（Ｓ７０５）。以上の図７で示した一連の処理によって、画像処理装置Ｂ１０１ｂは、低解像度の画像データから高解像度の画像データに画像変換した結果として、学習モデルを用いた画像変換結果を取得できる。

以上述べたように、第１の実施形態によれば、低解像度で受信した画像データを高解像度の画像データに変換して出力することができる。特に、画像出力時の出力解像度情報に基づいて利用する学習済みモデルを切り替えることで、用途にあった高品位の画像を出力することができる。また、画像入力時の入力解像度情報に基づいて利用する学習済みモデルを切り替えることで、解像度毎に微少に傾向の異なる画像劣化（孤立点、エッジ部分のがたつき）を精度よく補正することができる。また、学習モデルの決定要因となる出力解像度情報をユーザが指定することもできるためユーザビリティに優れる。一方で、学習モデルの決定要因となる出力解像度情報として予め指定された値を利用することで、自動印刷や自動転送といった機能にも応用することもできる。なお、学習モデルを用いた変化はユーザの意図せぬ変換結果をもたらす虞がある。そのため図２０（ａ）において、ＡＩ補正利用の設定画面２００１にＯＮボタン・ＯＦＦボタンを設け、学習モデルを用いた画像変換が行われないように設定（ＯＦＦ）に切り替えられることが望ましい。なお、ＡＩ補正利用の設定画面２００１は、出力設定画面８３１の詳細画面ボタン８３２を選択し、詳細設定画面（不図示）から、ＡＩ補正利用の項目を選択することで呼び出すことができる。

［第２の実施形態］
第１の実施形態では、エンジニアが学習データを予め用意して画像処理装置に入力していた。これに対し、第２の実施形態では、画像処理装置が稼働中に受信したＰＤＬジョブを用いて学習データを自動生成する。なお、上述した特徴部分およびその関連部分を除き、第２の実施形態の画像処理システムの構成は、第１の実施形態の画像処理システムと同様である。そのため同様の構成には同様の符号を付し、その詳細な説明を省略する。

＜画像処理システム＞
図９は、画像処理システムの構成を示した図である。図９に示すように、画像処理システム１００は、画像処理装置１０１、学習装置１０２、画像処理サーバ１０３、端末装置１０５で構成され、ネットワーク１０４を介して互いに接続される。画像処理装置１０１、学習装置１０２、画像処理サーバ１０３、ネットワーク１０４については、図１を用いて説明した通りである。

端末装置１０５は、画像処理装置１０１に対して印刷ジョブを送信できるパーソナルコンピュータやタブレットなどである。端末装置１０５は、ユーザが、操作部（不図示）を介して印刷指示を実行すると、印刷ジョブ（ＰＤＬデータを含む）を画像処理装置１０１に送信する。画像処理装置１０１は、端末装置１０５からのジョブに従って印刷処理を行うと共に、学習装置１０２にＰＤＬデータを送信する。学習装置１０２は、ＰＤＬデータ（元データ）から正解画像と入力画像を生成し、生成した画像のペアを学習データとして保持する。

本実施の形態において、学習装置１０２は、学習データ生成部１２２を備えている。学習データ生成部１２２は、取得したＰＤＬデータに対するＲＩＰ（レンダリング）及びＦＡＸ画像処理シミュレーションによって、正解画像と入力画像のペアである学習データを疑似的に生成する。学習データ生成部１２２は、生成した学習データを、ストレージ２３５に保持する。学習データ生成部は、ＣＰＵ２３１が学習データ生成プログラムをＲＡＭ２３４に展開して実行することによって実現される。学習部１１２は、ストレージ２３５に保持された学習データを用いて、ニューラルネットワークを学習する。学習部１１２は、ＣＰＵ２３１が学習プログラムをＲＡＭ２３４に展開して実行することによって実現される。

＜学習シーケンス＞
学習シーケンスについて、図１０を用いて説明する。図１０は、第２の実施形態における画像処理システムの学習シーケンスを示す図である。

まず、ユーザは、画像処理装置Ｂ１０１ｂの操作部を介して、学習データ生成処理を実行するか否か（ＯＮ，ＯＦＦ）の設定を「ＯＮ」に設定する（Ｓ１００１）。なお、この設定は事前に画像処理装置Ｂ１０１ｂに初期値として登録しておくことも可能である。次に、ユーザは、端末装置１０５の操作部を用いて印刷指示を行うと（Ｓ１００２）、端末装置１０５は、画像処理装置Ｂ１０１ｂに印刷ジョブ（ＰＤＬデータを含む）を送信する（Ｓ１００３）。画像処理装置Ｂ１０１ｂは、端末装置１０５から印刷ジョブを受け取ると、学習装置１０２に対して学習データ生成指示および印刷ジョブに含まれるＰＤＬデータを送信し（Ｓ１００４）、印刷処理を実施する（Ｓ１００９）。学習装置１０２は、ＰＤＬデータに対してＲＩＰ（レンダリング）を行い、正解画像としての第１の画像を生成する（Ｓ１００５）。学習装置１０２は、ＰＤＬデータに対してＦＡＸ画像処理シミュレーションを行い、入力画像としての第２の画像を生成する（Ｓ１００６）。そして、Ｓ１００５とＳ１００６で生成した入力画像と正解画像のペアを学習データとして、ストレージ２３５に保存する（Ｓ１００７）。学習装置１０２は、学習データを用いて学習を行い、学習モデルを更新する（Ｓ１００８）。更新された学習モデルは、学習が完了したタイミングまたは画像処理サーバ１０３から要求されたタイミングで画像処理サーバに送信される。なお、学習装置１０２での処理に並行して画像処理装置Ｂ１０１ｂでは、Ｓ１００３で受信した印刷ジョブに基づく印刷処理が実行される（Ｓ１００９）。

＜学習データ生成処理＞
図１１は、学習データ生成処理のフローを示す図である。なお、図１１で示す各ステップは、学習装置１０２のＲＯＭ２３２、ＲＡＭ２３４、ストレージ２３５等に記憶され、学習装置１０２のＣＰＵ２３１及びＧＰＵ２３９によって実行される。

図１１に示すように、ＣＰＵ２３１は、ネットワーク１０４を経由した外部インタフェース２３８で、画像処理装置Ｂ１０１ｂからＰＤＬデータを受信したか否かを判断する（Ｓ１１０１）。ここで、ＣＰＵ２３１は、ＰＤＬデータを受信していれば（Ｓ１１０１でＹＥＳ）、Ｓ１１０２に遷移し、受信していなければ（Ｓ１１０１でＮＯ）、Ｓ１１０１に遷移してＰＤＬデータを受信するまで待つ。次に、ＣＰＵ２３１は、ＰＤＬデータを解釈してディスプレイリストに変換し、ディスプレイリストをレンダリング（ＲＩＰ）することでラスタ形式の画像データを生成する（Ｓ１１０２）。次に、ＣＰＵ２３１は、Ｓ１１０２で生成したラスタ形式の画像データを元に、第１の画像を正解画像（例：１２００×１２００ｄｐｉ、８ビット階調）として生成する（Ｓ１１０３）。次に、ＣＰＵ２３１は、Ｓ１１０２で生成したラスタ形式の画像データを元に、第２の画像を入力画像（例：２００×２００ｄｐｉ、１ビット階調）として生成する（Ｓ１１０４）。なお、Ｓ１１０４の処理の流れは、図１５のフローチャートを用いて別途詳細に説明する。ここで、Ｓ１１０３及びＳ１１０４で生成する画像データは、例えば、同一の描画オブジェクトを含んだページ内の参照領域（主／副走査の位置座標）で、所定の矩形単位（例：５１２×５１２画素）毎に切り出した複数の画像データとして生成するものである。次に、ＣＰＵ２３１は、Ｓ１１０２で生成した第１の画像を正解画像、第２の画像を入力画像とした、入力画像と正解画像のペアを学習データとしてストレージ２３５等の記憶部に保存する（Ｓ１１０５）。次に、ＣＰＵ２３１は、別のモデル用の学習データを生成するか否かを判断する（Ｓ１１０６）。ここで、ＣＰＵ２３１は、別の学習モデル用の学習データを続けて生成すると判断したならば（Ｓ１１０６でＹＥＳ）、Ｓ１１０２に遷移してＳ１１０２〜Ｓ１１０５を繰り返す。別の学習モデル用の学習データをこれ以上生成しないと判断したならば（Ｓ１１０６でＮＯ）、学習データ生成の処理を終了する。ここで、学習モデルＡ用の学習データは、図１７（ａ）からわかるように、４００×４００ｄｐｉの入力画像と１２００×１２００ｄｐｉの正解画像のペアである。学習モデルＧ用の学習データは、図１７（ａ）からわかるように、２００×２００ｄｐｉの入力画像と６００×６００ｄｐｉの正解画像のペアである。

なお、学習モデルの分別方法は解像度ではなく階調でおこなってもよい。そのため、異なる階調（１６ビット階調＝６５５３６色、８ビット階調＝２５６色、１ビット階調＝２色）の画像データの組み合わせで学習データを生成し、これに基づく学習モデルを学習してもよい。

＜画像出力処理＞
図１２は、画像処理装置１０１による画像出力処理の流れを説明するためのフローチャートである。なお、図１２で示す各ステップは、画像処理装置１０１のＲＯＭ２０２、ＲＡＭ２０４、ストレージ２０８等に記憶され、画像処理装置１０１のＣＰＵ２０１によって実行される。なお、フローチャートで示す各ステップの処理の一部は、画像処理サーバ１０３のＲＯＭ２３２、ＲＡＭ２３４、ストレージ２３５等に記憶され、ＣＰＵ２０１の要求に基づいて画像処理サーバ１０３のＣＰＵ２３１によって実行される構成であっても良い。

図１２に示すように、ＣＰＵ２０１は、画像処理装置１０１において、ＰＤＬジョブ又はＦＡＸジョブを受信したか否かを判断する（Ｓ１２０１）。ここで、ＣＰＵ２０１は、ユーザからのジョブを受信していれば（Ｓ１２０１でＹＥＳ）、Ｓ１２０２に遷移し、ユーザからのジョブを受信していなければ（Ｓ１２０１でＮＯ）、Ｓ１２０１に遷移してジョブを受信するまで待つ。次に、ＣＰＵ２０１は、Ｓ１２０１で受信したジョブに含まれる文書データを元に、受信画像が持つ解像度、階調（例：１ビット２値、８ビット２５６階調）、チャンネル数（例：モノクロ１ｃｈ、カラー３ｃｈ）等の属性情報を取得する（Ｓ１２０２）。ここで、ＣＰＵ２０１は、例えば、受信画像がＰＤＬデータであれば、任意のラスタ形式の画像データを生成可能であるため、取り扱い可能な最大解像度（例：１２００×１２００ｄｐｉ）を有するものとして解像度情報を取得する。また、ＣＰＵ２０１は、例えば、受信画像がＦＡＸデータであれば、受信した低解像度の画像データに対して画像処理を実行する必要があるため、ＦＡＸデータの制御情報に含まれる解像度情報（例：２００×２００ｄｐｉ）を取得する。次に、ＣＰＵ２０１は、入力デバイス２０９を介してユーザから出力指示を受信したか否かを判断する（Ｓ１２０３）。ここで、ＣＰＵ２０１は、ユーザからの出力指示を受信していれば（Ｓ１２０３でＹＥＳ）、Ｓ１２０４に遷移し、ユーザからの出力指示を受信していなければ（Ｓ１２０３でＮＯ）、Ｓ１２０３に遷移して出力指示を受信するまで待つ。次に、ＣＰＵ２０１は、Ｓ１２０３で受信した出力指示、あるいは、出力指示された機能仕様に基づく、出力解像度、階調（例：１ビット階調、８ビット階調）、チャンネル数（例：モノクロ１ｃｈ、カラー３ｃｈ）等の属性情報を取得する（Ｓ４０４）。ここで、ＣＰＵ２０１は、例えば、出力指示がプリンタデバイス２０５を用いた印刷出力であれば、ユーザによって出力指示された出力解像度（例：１２００×１２００ｄｐｉ）を取得する。あるいは、プリンタエンジン仕様の出力解像度（例：６００×６００ｄｐｉ）を取得する。また、ＣＰＵ２０１は、例えば、出力指示が外部インタフェース２１１を介した送信出力であれば、ユーザに出力指示された出力解像度（例：６００×６００ｄｐｉ）、あるいは、送信ファイル標準仕様の出力解像度（例：３００×３００ｄｐｉ）を取得する。ここで、ＣＰＵ２０１は、ユーザによって明示的な出力解像度の指定があれば、この出力解像度を取得し、ユーザによって明示的な指定が無ければ、仕様として予め定めた出力解像度を取得すれば良い。なお、ユーザによって指定された明示的な出力解像度は、出力指示する画像データの用途に応じて変更されうるものである。したがって、画質優先（高品位、低速、ファイルサイズ大）と速度優先（低品位、高速、ファイルサイズ小）を選択することで解像度を間接的に指定しても良い。次に、ＣＰＵ２０１は、Ｓ１２０１で受信したジョブに含まれる文書データが、ＰＤＬデータであるか、ＦＡＸデータであるかを判断する（Ｓ１２０５）。ここで、ＣＰＵ２０１は、ＰＤＬデータを取得したならば（Ｓ１２０５でＹＥＳ）、Ｓ１２０６に遷移し、ＦＡＸデータを取得したならば（Ｓ１２０５でＮＯ）、Ｓ１２１０に遷移する。次に、ＣＰＵ２０１は、ＰＤＬ等のベクタ形式の画像データを解釈してディスプレイリストに変換し、ディスプレイリストをレンダリング（ＲＩＰ）することでラスタ形式の画像データを生成する（Ｓ１２０６）。次に、ＣＰＵ２０１は、ＰＤＬデータを用いて、本来のジョブ処理に加えて、学習モデルを学習させるための学習データを生成する（Ｓ１２０７）。この学習モデルは、低解像度の画像データを高解像度の画像データに変換する画像変換部として機能する。

なお、Ｓ１２０７の処理の流れは、図１１のフローチャートを用いて説明した通りである。次に、ＣＰＵ２０１は、Ｓ１２０７で生成した学習データを用いて、学習モデルを学習させるか否かを判断する（Ｓ１２０８）。ここで、ＣＰＵ２０１は、学習させると判断したならば（Ｓ１２０８でＹＥＳ）、Ｓ１２０９に遷移し、学習させないと判断したならば（Ｓ１２０８でＮＯ）、Ｓ１２１１に遷移する。次に、ＣＰＵ２０１は、Ｓ１２０７で生成した学習データを用いて、学習モデルを学習するための演算処理を実行するように制御する（Ｓ１２０９）。なお、Ｓ１２０９の処理の流れは、図６のフローチャートを用いて説明した通りである。一方で、ＣＰＵ２０１は、ＦＡＸデータを取得したならば（Ｓ１２０５でＮＯ）、学習モデルを用いた画像変換を実行するように制御する（Ｓ１２１０）。すなわち、低解像度の画像データを高解像度の画像データに変換する画像変換を実行するように制御する。なお、Ｓ１２１０の処理の流れは、図７のフローチャートを用いて説明した通りである。最後に、ＣＰＵ２０１は、Ｓ１２０６又はＳ１２１０のいずれかで生成されたラスタ形式の画像データを用いて、Ｓ１２０４で出力指示された出力形式に従って、印刷又は送信を実行する（Ｓ１２１１）。すなわち、ＣＰＵ２０１は、ＰＤＬジョブであれば、Ｓ１２０６のレンダリングによって生成したＲＩＰ後画像を出力し、ＦＡＸジョブであれば、Ｓ１２１０の画像変換によって生成した変換後画像を出力するように制御する。

＜学習データ＞
図１４は、ＦＡＸデータにおける画質劣化の特徴を示す図である。図１４（ａ）はＦＡＸ送信前の高品位の画像データ１４０１、図１４（ｂ）はＦＡＸ受信後の低品位の画像データ１４０２の一例である。以降では、印字の無い領域を背景領域、背景領域に対して印字された文字や罫線などの描画オブジェクトを前景オブジェクトと称して説明する。

図１４（ｂ）に示すように、高品位の画像データ１４０１を低解像度化（例：２００×１００ｄｐｉ）する。これにより、画像位置１４０３に示すような前景オブジェクトのエッジ形状の段差（以下、ガタツキと呼ぶ）や、画像位置１４０４に示すような前景オブジェクトのつぶれ（以下、つぶれと呼ぶ）が生じる。さらに、高品位の画像データ１４０１には存在しなかったような、ＦＡＸ特有の画像位置１４０５や画像位置１４０６に示す凸凹状のノイズや欠損（以下、総称して凸凹状ノイズと呼ぶ）が発生する。この凸凹状ノイズは２値化処理時に前景オブジェクトの周囲に発生した中間調画素が強調されることで形成される。なお、前景オブジェクト周囲に発生する中間調画素は、以下の要因が複合的に組み合わさって発生するものである。例えば、ＦＡＸ送信に用いる原稿には、印字時のトナーの飛び散りやトナー載り量のムラが存在する。また、このような原稿をスキャンする際には、読み取り解像度によるエッジのぼけや、読み取りセンサのセンサ値のばらつきなどが要因として挙がられる。また、わずかな原稿の歪みによる読み取りセンサの焦点ボケ、照度光のばらつきによる画素値の変動、原稿自体の紙紋や下地色の読み取りなどが要因として挙げられる。さらには、解像度変換時などの画素値補間による要因などが挙げられる。図１４（ｃ）は高解像度画像における前景オブジェクトのエッジ部を拡大表記した図である。破線は６００×６００ｄｐｉの１画素であり、太線は２００×２００ｄｐｉの１画素を表している。図１４（ｄ）は、図１４（ｃ）を２００×２００ｄｐｉ化した後の図である。一方、図１４（ｅ）は原稿をスキャンした場合の前景オブジェクトのエッジ部を拡大表記した例である。図１４（ｅ）に示すように、上述の要因により、前景オブジェクト境界部において画素値のばらつきが発生している。図１４（ｆ）は、図１４（ｅ）を２００×２００ｄｐｉ化した後の図面である。画像位置１４０５の凸状ノイズは図１４（ｄ）に示す本来の前景オブジェクトのエッジを基準として外側に黒画素が形成されたものである。一方、画像位置１４０６の凹状ノイズは本来の前景オブジェクトのエッジを基準として内側に白画素が形成されたものであり、凹状ノイズが密集した部分が前景オブジェクトの欠損になる。

図１３は、正解画像としての第１の画像、及び、入力画像としての第２の画像の具体例を示した画像サンプルである。図１３（ａ）は、正解画像として１２００×１２００ｄｐｉの解像度で生成した画像である。図１３（ｂ）は、正解画像として６００×６００ｄｐｉの解像度で生成した画像である。図１３（ｃ）は、入力画像として、２００×２００ｄｐｉの解像度で生成した画像である。図１３（ｄ）は、入力画像として、２００×１００ｄｐｉの解像度で生成した画像である。図１３（ｅ）は、後述する処理Ｓ１５０１でノイズ付与を行わずに２００×１００ｄｐｉの解像度で生成した画像である。

図１３（ａ）及び（ｂ）に示すように、正解画像としての第１の画像は、解像度が高いほど、エッジ形状を滑らかに表現できるため、例えば、図１３（ｂ）よりも図１３（ａ）を正解画像として学習した方が、より高品位の画像変換結果を得ることができる。また、図１３（ａ）及び（ｂ）に示すように、正解画像としての第１の画像は、例えば、エンジン解像度のように、ユーザによる画像出力時の出力解像度に対して必要十分な解像度を持たせることで、ユーザに対して高品位の出力画像を提供することができる。

図１３（ｃ）及び（ｄ）に示すように、入力画像としての第２の画像は、解像度が低いほど、エッジ形状に生じる段差の数が増えるため、例えば、図１３（ｃ）と図１３（ｄ）を別々の入力画像として学習した方が、より高品位の画像変換結果を得ることができる。

例えば、入力画像として図１３（ｃ）、正解画像として図１３（ａ）をペアにして学習データを生成し、当該学習データを用いて学習モデルを学習させる。この学習モデルは図１７（ａ）における学習モデルＣに対応する。また、これとは別のデータ形式として、例えば、入力画像として図１３（ｄ）、正解画像として図１３（ａ）をペアにして学習データを生成し、当該学習データを用いて学習モデルを学習させる。この学習モデルは図１７（ａ）における学習モデルＤに対応する。

図１３（ｃ）は、例えば、２００×２００ｄｐｉで、縦横比が等しい解像度で表現された例であるのに対して、図１３（ｄ）は、例えば、２００×１００ｄｐｉで、縦横比が異なる解像度で表現された例である。ここにおいて、縦横比が異なる解像度で表現された図１３（ｄ）のような入力画像は、縦に細く伸びる特徴的な凸状ノイズを含む。例えば、このようなノイズを検出して除去するよう学習した学習モデルを用いて画像変換することで、効果的に高品位の画像変換結果を得ることができる。なお、図１３（ｅ）は、後述するノイズ付与処理を行わずに、低解像度化と２値化処理を行ったため、前述したようなＦＡＸ画像特有の凸凹状ノイズが発生していない。そのため、当該入力データを学習データとして学習させても精度の高い学習モデルを生成することは困難である。従って、図１３（ａ）や図１３（ｂ）で例示した正解画像と、図１３（ｃ）や図１３（ｄ）で例示したＦＡＸ画像特有のノイズを含む入力画像をペアにして紐づけた学習データを生成することが望ましい。

＜ＦＡＸ画像処理シミュレーション＞
図１５は、高品位の正解画像を元に、ＦＡＸ画像処理シミュレーション（低画質化処理）を行うことで、低品位のＦＡＸ受信画像を疑似的に生成する方法を説明する図である。図１５（ａ）は、本発明における低品位のＦＡＸ画像を生成するフローチャートの一例であり、図１５（ｂ）〜（ｇ）は、各処理ステップにおける生成画像の一例である。

ＣＰＵ２０１は、図１１のＳ１１０３で生成した正解画像（多値データ）に対して、前述の前景オブジェクト周囲に発生する中間調画素を再現するようなノイズ・ランダムノイズを付与する（Ｓ１５０１）。すなわち、図１５（ｂ）に示す高品位の画像データに対して図１５（ｃ）に示す全面ノイズ画像を付与することで、図１５（ｄ）に示すノイズ付与画像を生成する。ここでは、平均値μと標準偏差σ（例えば、μ＝０、σ＝７５）によって定義される正規分布による符号付きノイズ（以下、ガウシアンノイズ）を生成し、高品位の画像データ中の画素値に符号付きノイズを加算することでノイズ画像を生成している。なお、生成するノイズの種類やその付与の仕方はこれに限るものではない。例えば標準偏差や平均値は別の値を用いてもよい。また、一様分布によるノイズを発生させてもよいし、発生したノイズ値で高品位の画像データ中の画素を置換しても構わない。

続いて、ＣＰＵ２０１は、生成されたノイズ付与画像に対して縮小処理を行い、指定された解像度（例えば、２００×１００ｄｐｉ）に変換する（Ｓ１５０２）。縮小処理の際の画素補間方法は任意の処理で構わないが、ここではバイキュービック法による補間処理を行うことで図１５（ｅ）に示す縮小画像を生成する。ここでは説明のため６００×６００ｄｐｉのサイズに単純拡大した画像を示している。

さらに、ＣＰＵ２０１は、生成された縮小画像に対して２値化処理（二値化処理）を行う（Ｓ１５０３）。２値化処理時の閾値は所定値を使用しても構わないが、ここでは画像全体の画素値の分布から最適な閾値を求める判別分析法を用いることで、図１５（ｆ）に示す２値化画像（二値データ）を生成する。これにより、ＦＡＸ画像特有の画質劣化である、前景オブジェクト（前景領域）のつぶれ１５１０やがたつき１５１１、凸凹状ノイズ１５１２が再現可能となる。なお、Ｓ１５０１で付与するノイズ値が大きい場合やＳ１５０３での２値化閾値が適切でない場合に、図１５（ｇ）に示すように２値化画像中にゴマ塩状ノイズ１５１３が発生することがある。そこで、これを除去するための孤立点除去の処理を行うことで、図１５（ｆ）のように補正することも可能である。

以上述べたように、本発明の第２の実施形態によれば、画像処理装置で受信したＰＤＬジョブを元に、ＦＡＸ画像処理シミュレーションを行って生成した学習データを生成することで、ユーザ固有のデータを用いて学習モデルを最適化するように更新できる。すなわち、ベクタ形式で受信したＰＤＬデータのジョブ処理時に、ＦＡＸ画像変換用の学習データ生成や学習モデル更新を実行しておくことで、低解像度のラスタ形式で受信したＦＡＸデータのジョブ処理時に、学習済モデルを用いた画像変換を実現できる。これにより、ユーザ環境毎に異なるＦＡＸデータに対しても、高品位な出力画像を生成できる。なお、図１７（ａ）において、受信解像度と出力解像度の組み合わせごとに学習モデルを生成する例を説明したが、受信解像度と出力解像度の複数の組み合わせを１つの学習モデルで共有してもよい。例えば、図１７（ｂ）に示すように、受信解像度４００×４００に対し解像度を向上させる方向の出力解像度（１２００ｘ１２００，６００ｘ６００，４００ｘ４００）は、共通の学習モデルＡを用いてもよい。この際、学習モデルＡは出力解像度を最高の解像度である１２００ｘ１２００で学習していることが望ましい。そして、他の出力解像度が求められるケースでは、学習モデルＡに基づき変換された１２００ｘ１２００の画像に低解像度化処理を施す等して用いるとよい。同様に、他の受信解像度について解像度を向上させるケースについて共通の学習モデル（Ｂ、Ｃ，Ｄ）を用いてもよい。また、図１７（ｂ）に示すように、解像度を低下させる方向の変換をおこなう学習モデル（Ｅ，Ｆ、Ｇ、Ｈ）を作成してもよい。しかしながら、解像度を低下させる方向の変換は用途があまりないため、学習モデル（Ｅ，Ｆ、Ｇ、Ｈ）は作成しなくてもよい。そして、解像度を低下させる方向の指示がなされた場合、学習モデルを用いずに解像度変換をおこなって出力してもよい。なお、自動学習を行う場合、同じデータを基にしても過去の変換結果と未来の変換結果に差が出ることがある。したがって、こうした変換結果の差をこれ以上望まないユーザの要望に対応できることが望ましい。そこで、図２０（ｂ）示すように、自動学習の設定画面２００２にＯＮボタン・ＯＦＦボタンを設け、自動学習を行わない設定（ＯＦＦ）に切り替えられることが望ましい。なお、自動学習の設定画面２００２は、出力設定画面８３１の詳細画面ボタン８３２を選択し、詳細設定画面（不図示）から、自動学習の項目を選択することで呼び出すことができる。

［第３の実施形態］
第３の実施形態では、第２の実施形態で一様に付与していたガウシアンノイズを領域に応じて切り替えて付与するように制御する。

これは、ＦＡＸ送受信を行う画像処理装置１０１のデバイス特性によって異なるＦＡＸ画像特有の凸凹状ノイズの現れ方を疑似再現するためである。例えば、凸状ノイズが多く前景オブジェクトが潰れやすくなっている原稿や、凹状ノイズが多く、前景オブジェクトが欠損しやすくなっている原稿などがある。これらの異なる特徴を持ったＦＡＸ画像を高画質化するためには、それぞれの特徴を再現した低画質画像データを含む学習データをもちいて学習モデルを学習することが望ましい。なお、上述した特徴部分およびその関連部分を除き、第３の実施形態の画像処理システムの構成は、第２の実施形態の画像処理システムと同様である。そのため同様の構成には同様の符号を付し、その詳細な説明を省略する。

＜ＦＡＸ画像処理シミュレーション＞
図１６は、第３の実施形態において、高品位の正解画像を元に、ＦＡＸ画像処理シミュレーションを行うことで、低品位のＦＡＸ受信画像を疑似的に生成する方法を説明する図である。図１６（ａ）は、本発明における低品位のＦＡＸ画像を生成するフローチャートの一例であり、図１６（ｂ）〜（ｊ）は、各処理ステップにおける生成画像の一例である。なお、第２の実施形態と共通の処理に関しては説明を省略し、差分のみの説明を行う。

ＣＰＵ２０１は、高品位の画像データに対して、ノイズ付与対象領域を検出する（Ｓ１６０１）。ここでは、図１６（ｂ）に示す高品位の画像データから、前景オブジェクトの周辺領域と内部領域をそれぞれ検出する。図１６（ｄ）に示す前景オブジェクトの周辺領域は、図１６（ｃ）に示すように前景オブジェクトである文字や罫線に当たる黒画素を所定幅だけ太らせる膨張処理を行い、図１６（ｂ）に示す膨張前の画像との差分を取ることで検出できる。一方、図１６（ｈ）に示す前景オブジェクトの周辺領域は、図１６（ｇ）に示すように、前景オブジェクトである文字や罫線に当たる黒画素を所定幅だけ細らせる収縮処理を行い、図１６（ｂ）に示す収縮前の画像との差分を取ることで検出できる。

次に、ＣＰＵ２０１は、前景オブジェクト周辺および前景オブジェクト内部に対するノイズ付与画像を生成する（Ｓ１６０２）。すなわち、図１５のＳ１５０１と同様の方法で生成した全面ノイズ画像とＳ１６０１で生成した周辺領域および内部領域との論理積を取ることで、前景オブジェクト周辺および前景オブジェクト内部に付与するガウシアンノイズを抽出する。そして、Ｓ１５０１と同様にしてノイズ付与画像を生成すればよい。なお、全面ノイズ画像は周辺領域と内部領域で独立して生成することができ、どちらか一方の領域のみにノイズ付与することも可能である。図１６（ｅ）および図１６（ｉ）は高品位の画像データの一部１６１１を拡大した図である。例えば、図１６（ｅ）に示すように、前景オブジェクトの周辺領域のみにノイズを付与することも、図１６（ｉ）に示すように、前景オブジェクトの内部領域のみにノイズを付与することも可能である。

ＣＰＵ２０１は、第２の実施形態と同様にして、解像度変換処理（Ｓ１５０２）および２値化処理（Ｓ１５０３）を行うことで、低品位の画像データを生成する。図１６（ｆ）は、前景オブジェクト周辺領域にノイズを付与した図１６（ｅ）を処理した結果の例である。このように前景オブジェクトの周辺領域にノイズを付与することで、凸状のノイズが発生しやすくなるように制御することができる。一方、図１６（ｊ）は、前景オブジェクトの内部領域にノイズを付与した図１６（ｉ）を処理した結果の例である。このように、前景オブジェクトの内部領域にノイズを付与することで、凹状のノイズを発生しやすくなるように制御することができる。

そして、このように性質の異なるノイズ付与が施された画像を入力画像として用い、学習モデルを学習させることで、画像変換結果が異なる学習モデルを用意することができる。例えば、図１７（Ｃ）に示すように、１２００ｘ１２００（混合）の学習モデル（Ａ、Ｂ，Ｃ，Ｄ）および、６００ｘ６００（混合）の学習モデル（Ｅ、Ｆ，Ｇ，Ｈ）がある。これらの学習モデルは、凹状ノイズが付与された画像および凸状ノイズが付与された画像を入力画像とする学習データを用いて学習した学習モデルである。この学習モデルは、凹状ノイズと凸状ノイズをバランスよく除去することができる。

１２００ｘ１２００（凹ノイズ）の学習モデル（Ｉ，Ｊ、Ｋ、Ｌ）および、６００ｘ６００（凹ノイズ）の学習モデル（Ｍ、Ｎ、Ｏ、Ｐ）は、凹状ノイズが付与された画像を入力画像とする学習データを用いて学習した学習モデルである。この学習モデルは、凹状ノイズを効率的に除去することができる。そのため線を構成する画像がしっかりと埋められた変換画像を得ることが出来る。

１２００ｘ１２００（凸ノイズ）の学習モデル（Ｑ、Ｒ、Ｓ、Ｔ）および、６００ｘ６００（凸ノイズ）の学習モデル（Ｕ，Ｖ，Ｗ、Ｘ）は凸状ノイズが付与された画像を入力画像とする学習データを用いて学習した学習モデルである。この学習モデルは、凸状ノイズを効率的に除去することができる。そのため線間の隙間がしっかりとあいた変換画像を得ることが出来る。

＜設定画面＞
上述したように、それぞれ異なる傾向を持つ学習モデルは、ユーザの指定で使い分けられることが望ましい。図２１（ａ）は、補正傾向の設定画面２１０１を示す図ある。

補正傾向の設定画面２１０１は「線優先ボタン」「推奨ボタン」「線間優先ボタン」を備え、この中から１つのボタンを指定できる。「推奨ボタン」は学習モデル（Ａ、Ｂ，Ｃ，Ｄ）および学習モデル（Ｅ、Ｆ，Ｇ，Ｈ）を利用するためのボタンである。「線優先ボタン」は、学習モデル（Ｉ，Ｊ、Ｋ、Ｌ）および学習モデル（Ｍ、Ｎ、Ｏ、Ｐ）を利用するためのボタンである。「線間優先ボタン」は学習モデル（Ｑ、Ｒ、Ｓ、Ｔ）および（Ｕ，Ｖ，Ｗ、Ｘ）を利用するためのボタンである。なお、補正傾向の設定画面２１０１は、出力設定画面８３１の詳細画面ボタン８３２を選択し、詳細設定画面（不図示）から、補正傾向の項目を選択することで呼び出すことができる。

以上述べたように、第３の実施形態によれば、ガウシアンノイズを付与する領域を前景オブジェクトの周辺領域および内部領域で独立させる処理を施すことにより、ＦＡＸ画像特有の画質劣化が再現された画像を生成することが可能となる。これにより、受信するＦＡＸ画像の画質劣化の仕方に応じて、凸状ノイズに強い学習モデルや、凹状ノイズに強い学習モデルなどの生成のすることが可能になる。

［第４の実施形態］
前述の実施形態は、受信画像に対する画像変換処理のタイミングを、ユーザによる出力指示後のタイミングにしていたのに対して、第４の実施形態は、受信画像に対する画像変換処理のタイミングを、ユーザによる出力指示前のタイミングにしたものである。なお、上述した特徴部分およびその関連部分を除き、第４の実施形態の画像処理システムの構成は、第１の実施形態の画像処理システムと同様である。そのため同様の構成には同様の符号を付し、その詳細な説明を省略する。

＜画像出力処理＞
図１８は、第４の実施形態における画像処理装置１０１の画像出力処理の流れを説明するためのフローチャートである。なお、図１９で示す各ステップは、画像処理装置１０１のＲＯＭ２０２、ＲＡＭ２０４、ストレージ２０８等に記憶され、画像処理装置１０１のＣＰＵ２０１によって実行される。なお、フローチャートで示す各ステップの処理の一部は、画像処理サーバ１０３のＲＯＭ２３２、ＲＡＭ２３４、ストレージ２３５等に記憶され、ＣＰＵ２０１の要求に基づいて画像処理サーバ１０３のＣＰＵ２３１によって実行される構成であっても良い。なお、図１８は、前述の実施形態における図５と共通する部分があるため、共通する部分の説明を省略し、差分の説明のみを行う。

図１８のＳ１８０１及びＳ１８０２は、図５のＳ５０１及びＳ５０２と同様のため、説明を省略する。また、自動出力に関する処理（Ｓ５０３、Ｓ５０４）については、本実施の形態の特徴部分とは関係が少ないためその記載を省略する。本実施の形態では、ユーザによる出力指示前に画像変換をおこなう必要がある。ところが、この時点では、ユーザがどの様な出力解像度を指定するか不明である。そこで、ＣＰＵ２０１は、予測の出力解像度を決定することで（Ｓ１８０３）、この予測の出力解像度をＳ７０２に用いて、図７で説明した画像変換処理を実行する（Ｓ１８０４）。なお、予測の出力解像度は、本体が製品出荷時に備える既定値、ユーザによって予め指定された設定値が挙げられる。また、予測の出力解像度は１つではなく複数であってもよい。例えば、図２１（ｂ）に示すように、ユーザは、先行画像変換機能（出力指示前に画像変換する機能）の設定画面２１０２を呼び出すことができる。先行画像変換機能の設定画面２１０２では、先行画像変換機能を利用するか否かをＯＮ・ＯＦＦボタンで切り替えることができる。また、この画面では先行画像変換機能を利用する設定（ＯＮ）の場合、予測の出力解像度を指定することができる。図２１（ｂ）は、予測の出力解像度として、１２００ｘ１２００ｄｐｉ，６００ｘ６００ｄｐｉ，３００ｘ３００ｄｐｉが選択された様子を示している。なお、ここで、指定可能なすべての出力解像度を予測の出力解像度として設定してもよい。設定画面２１０２は、出力設定画面８３１の詳細画面ボタン８３２を選択し、詳細設定画面（不図示）から、先行画像変換の項目を選択することで呼び出すことができる。そして、予測の出力解像度が複数指定された場合、ＣＰＵ２０１は、複数指定された予測の出力解像度に対応するすべての画像変換結果が得られるまでは他の形式でも変換すると決定し（Ｓ１８０５でＹＥＳ）、繰り返し画像変換処理を実行する。すべての画像変換が完了すると（Ｓ１８０５でＮＯ）、ユーザによる出力指示があるまで（Ｓ１８０６でＹＥＳ）待機する（Ｓ１８０６でＮＯ）。そして、ＣＰＵ２０１は、出力指示内容に基づいて出力画像情報を取得し（Ｓ１８０７）、出力画像情報に対応する変換後画像（出力画像）を選択する（Ｓ１８０８）。そして、選択した画像の出力（印刷又は送信）を実行する（Ｓ１８０９）。

図１９は、第４の実施形態における画像処理装置１０１の画像出力処理の流れを説明するためのフローチャートである。なお、図１９で示す各ステップは、画像処理装置１０１のＲＯＭ２０２、ＲＡＭ２０４、ストレージ２０８等に記憶され、画像処理装置１０１のＣＰＵ２０１によって実行される。なお、フローチャートで示す各ステップの処理の一部は、画像処理サーバ１０３のＲＯＭ２３２、ＲＡＭ２３４、ストレージ２３５等に記憶され、ＣＰＵ２０１の要求に基づいて画像処理サーバ１０３のＣＰＵ２３１によって実行される構成であっても良い。なお、図１９は、前述の実施形態における図１２と共通する部分があるため、共通する部分の説明を省略し、差分の説明のみを行う。

図１９のＳ１９０１及びＳ１９０２は、図１２のＳ１２０１及びＳ１２０２と同様のため、説明を省略する。また、図１９のＳ１９０３〜Ｓ１９０７は、図１２のＳ１２０５〜Ｓ１２０９と同様のため、説明を省略する。Ｓ１９０３において、ＰＤＬデータではないと判定すると（Ｓ１９０３でＮＯ）、ＣＰＵ２０１は、Ｓ１９１３へと処理を進める。

そこで、ＣＰＵ２０１は、予測の出力解像度を決定することで（Ｓ１９１３）、この予測の出力解像度をＳ７０２に用いて、図７で説明した画像変換処理を実行する（Ｓ１９０８）。そして、予測の出力解像度が複数指定された場合、ＣＰＵ２０１は、複数指定された予測の出力解像度に対応するすべての画像変換結果が得られるまでは他の形式でも変換すると決定し（Ｓ１９０９でＹＥＳ）、繰り返し画像変換処理を実行する。すべての画像変換が完了すると（Ｓ１９０９でＮＯ）、Ｓ１９１０に遷移する。図１９のＳ１９１０及びＳ１９１１は、図１２のＳ１２０３及びＳ１２０４と同様のため、説明を省略する。最後に、ＣＰＵ２０１は、Ｓ１２１１と同様に、Ｓ１９０８で出力指示された出力形式に合致するラスタ形式の画像データを選択して、印刷又は送信を実行する（Ｓ１９１２）。すなわち、ＣＰＵ２０１は、ＰＤＬジョブであれば、Ｓ１９０４のレンダリングによって生成したＲＩＰ後画像を出力する。ＣＰＵ２０１は、ＦＡＸジョブであれば、Ｓ１９０８の画像変換によって生成した変換後画像のうち、出力指示された出力形式に合致する変換後画像を出力するように制御する。

以上に述べたように、本発明の第４の実施形態によれば、低解像度で受信した画像データに基づき画像変換結果を出力指示前に予め生成しておくことで、出力指示後の待ち時間を低減することができる。

＜その他の実施形態＞
本発明は、上述した実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。例えば、第２の実施形態では、学習データ生成部１２２と学習部１１２は、学習装置１０２において実現されるものとしたが、それぞれ別体の装置において実現されるようにしても良い。この場合、学習データ生成部１２２を実現する装置は、学習データ生成部１２２が生成した学習データを、学習部１１２を実現する装置に送信する。そして、学習部１１２は受信した学習データをもとにニューラルネットワークを学習する。また、画像処理装置１０１と画像処理サーバ１０３とを別体の装置として説明したが、画像処理装置１０１と画像処理サーバ１０３を一体の装置にしてもよい。

本発明は上記した実施の形態に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

なお、各実施例中に登場する略称の定義は次の通りである。
ＡＤＦとはＡｕｔｏ Ｄｏｃｕｍｅｎｎｔ Ｆｅｅｄｅｒのことである。
ＡＩとはＡｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅのことである。
ＡＳＩＣとは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔのことである。
ＣＣＤとは、Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅのことである。
ＣＰＵとは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔのことである。
ＣＲＴとはＣａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅのことである。
ＤＰＩとは、Ｄｏｔｓ ｐｅｒ ｉｎｃｈのことである。
ＦＡＸとは、ｆａｃｓｉｍｉｌｅのことである。
ＧＰＵとは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔのことである。
ＨＤＤとはＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅのことである。
ＳＳＤとはＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅのことである。
ＬＡＮとは、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋのことである。
ＬＣＤとはＬｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙのことである。
ＭＦＰとは、Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌのことである。
ＯＳとは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍのことである。
ＰＣとは、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒのことである。
ＰＤＬとは、Ｐａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅのことである。
ＲＡＭとは、Ｒａｎｄｏｍ‐Ａｃｃｅｓｓ Ｍｅｍｏｒｙのことである。
ＲＩＰとは、Ｒａｓｔｅｒ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｏｒのことである。
ＲＯＭとは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙのことである。
ＷＡＮとは、Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ のことである。

１００ 画像処理システム
１０１ 画像処理装置
１０２ 学習装置
１０３ 画像処理サーバ
１０４ ネットワーク
１０５ 端末装置

Claims (14)

1. 画像処理システムであって、
   画像データを受信する手段と、
   受信した画像データの解像度に関する第１の情報を取得する手段と、
   前記受信した画像データに基づき出力する画像の解像度に関する第２の情報を取得する手段と、
   同一の元データに基づき生成された画像データ対であって解像度の異なる画像データ対に基づき学習した複数のニューラルネットワークのなかから、前記第１の情報をおよび前記第２の情報に基づいて一つのニューラルネットワークを決定し、前記決定されたニューラルネットワークと前記受信した画像データに少なくとも基づいて変換後画像データを取得する手段と、
   前記変換後画像データに基づく出力をおこなう手段と、を有することを特徴とする画像処理システム。
2. 前記画像データ対は、第１の画像データと前記第１の画像データよりも解像度の高い第２の画像データの組み合わせであることを特徴とする請求項１に記載の画像処理システム。
3. 前記第１の画像データは二値データであり、前記第２の画像データは多値データであることを特徴とする請求項１または２に記載の画像処理システム。
4. 前記元データはＰＤＬデータであることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理システム。
5. シートに画像を形成する画像形成部を備え、
   前記出力をおこなう手段は、前記変換後画像データに基づく画像形成を前記画像形成部に実行させる手段であって、
   前記第２の情報は、前記画像形成部に対応づけられた解像度に関する情報であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理システム。
6. ユーザの操作を受け付け可能な受付部を備え、前記第２の情報は、前記受付部を介してユーザに指定された解像度に関する情報であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理システム。
7. 前記第１の画像データは、前記第２の画像データにノイズ付与処理を施した後、低画質化処理を施すことで生成される画像データであることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理システム。
8. 前記ノイズ付与処理は、画像全体へのランダムノイズの付与処理を含むことを特徴とする請求項７に記載の画像処理システム。
9. 前記低画質化処理は、低解像度化処理と二値化処理を含むことを特徴とする請求項７に記載の画像処理システム。
10. 前記ノイズ付与処理は、前景領域の周辺領域および前景領域の内部領域に対して、それぞれ独立したランダムノイズを付与する処理を含むことを特徴とする請求項７乃至９のいずれか１項に記載の画像処理システム。
11. ＰＤＬデータの受信にしたがって前記ＰＤＬデータに基づく画像データ対を生成し、前記複数のニューラルネットワークのうちの少なくとも１つのニューラルネットワークに対し、前記画像データ対に基づく学習を行わせる手段を有することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理システム。
12. 画像処理装置であって、
    画像データを受信する手段と、
    受信した画像データの解像度に関する第１の情報を取得する手段と、
    前記受信した画像データに基づき出力する画像の解像度に関する第２の情報を取得する手段と、
    同一の元データに基づき生成された画像データ対であって解像度の異なる画像データ対に基づき学習した複数のニューラルネットワークのなかから、前記第１の情報をおよび前記第２の情報に基づいて一つのニューラルネットワークを決定し、前記決定されたニューラルネットワークと前記受信した画像データに少なくとも基づいて変換後画像データを取得する手段と、
    前記変換後画像データに基づく出力をおこなう手段と、を有することを特徴とする画像処理装置。
13. 画像処理方法であって、
    画像データを受信する工程と、
    受信した画像データの解像度に関する第１の情報を取得する工程と、
    前記受信した画像データに基づき出力する画像の解像度に関する第２の情報を取得する工程と、
    同一の元データに基づき生成された画像データ対であって解像度の異なる画像データ対に基づき学習した複数のニューラルネットワークのなかから、前記第１の情報をおよび前記第２の情報に基づいて一つのニューラルネットワークを決定し、前記決定されたニューラルネットワークと前記受信した画像データに少なくとも基づいて変換後画像データを取得する工程と、
    前記変換後画像データに基づく出力をおこなう工程と、を有することを特徴とする画像処理方法。
14. コンピュータに、
    画像データを受信する工程と、
    受信した画像データの解像度に関する第１の情報を取得する工程と、
    前記受信した画像データに基づき出力する画像の解像度に関する第２の情報を取得する工程と、
    同一の元データに基づき生成された画像データ対であって解像度の異なる画像データ対に基づき学習した複数のニューラルネットワークのなかから、前記第１の情報をおよび前記第２の情報に基づいて一つのニューラルネットワークを決定し、前記決定されたニューラルネットワークと前記受信した画像データに少なくとも基づいて変換後画像データを取得する工程と、
    前記変換後画像データに基づく出力をおこなう工程と、を実行させることを特徴とするプログラム。