JP2020162025A - 画像処理システム、画像処理方法、および画像処理装置 - Google Patents

Abstract

【課題】ニューラルネットワークを用いて、低画質の画像データを高画質化できる画像処理システムを提供する。【解決手段】画像処理システム１００において、画像処理装置１０１ｂは、画像処理装置１０１ａから受信した圧縮ファイルを、ネットワーク１０４を介して画像処理サーバ１０３に送信する。学習装置１０２は、画像変換モデルの学習を行い、学習結果（ニューラルネットワークのパラメータなど）を生成する。画像処理サーバ１０３は、変換前画像に対して、学習装置１０２が生成した学習結果を用いて、ニューラルネットワークによる変換を行い、変換後画像を取得する。画像処理サーバ１０３は、変換によって取得した変換後画像を、再び画像処理装置１０１ｂに送信する。画像処理装置１０１ｂは、画像処理サーバ１０３から受信した変換後画像を用いて、印刷出力、ユーザ所望の送信先への送信、画像処理装置１０１ｂ内の記憶部への保存を行う。【選択図】図１

Description

本発明はニューラルネットワークを用いて画像を変換する画像処理システムに関する。

この画像処理システムで得られる変換後画像は、ＰＣ等の通信装置やＭＦＰ等の印刷装置で用いられる。

従来、スキャンした画像を送信する送信機能（ＳＥＮＤ機能等と呼ばれる）を持つＭＦＰ等の画像処理装置が知られている。こうした装置は画像データをネットワーク経由で送信する際に通信コスト（通信時間、通信帯域）を抑えるべく、データ量の削減が行われている。データ量の削減手法としては、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮を初めとする非可逆圧縮を用いる手法が知られている。非可逆圧縮は画像の大きさを変えずにデータ量を削減できるが、画質低下の原因となる。例えば、ＪＰＥＧ圧縮では、圧縮率が高くなるにつれて、モスキートノイズやブロックノイズといった圧縮ノイズが発生し、画質が低下してしまう。低画質な画像に基づく出力はユーザ満足度の低下につながるため、低画質な画像を高画質化してから出力することが望ましい。

特許文献１では、低画質な状態で送信されてきた画像データを、高画質化してから出力する技術が提案されている。詳細には、低解像度パッチと高解像度パッチのペアを辞書として用意し、低解像度の画像データの所定の参照領域に類似した低解像度パッチを探索し、対応する高解像度パッチを合成することで、高解像度化を実現する技術を開示している。

特開２０１６−１２７４７５号公報

特許文献１は、低解像度パッチと高解像度パッチの組をあらかじめ保持しておくことが前提となっている。そのため、予期しない構成の画像、すなわち、パッチが用意されていない画像については高画質化することが困難であった。そこで、ニューラルネットワーク等の機械学習技術を用いて、様々な画像に対して汎用的に高画質化処理を適用出来る画像処理システムが望まれる。

上述した課題を鑑み、本発明は、ニューラルネットワークを用いて、圧縮ノイズを含む画像に基づき圧縮ノイズが除去された画像を出力する画像処理システムの提供を目的とする。特に、複数のニューラルネットワークを使い分けることで精度のよい画像変換結果を取得可能な画像処理システムの提供を目的とする。

本発明は、画像処理システムにおいて、圧縮画像データを受信する手段と、第１の画像データと前記第１の画像データを非可逆圧縮した第２の画像データの対に基づき学習したニューラルネットワークを取得し、前記取得したニューラルネットワークと前記圧縮画像データに少なくとも基づいて変換後画像データを取得する手段と、前記変換後画像データに基づく出力をおこなう手段と、を有することを特徴とするものである。

本発明によれば、ニューラルネットワークを用いて、圧縮ノイズを含む画像に基づき圧縮ノイズが除去された画像を出力する画像処理システムを提供できる。特に、複数のニューラルネットワークを使い分けることで精度のよい画像変換結果を取得可能な画像処理システムを提供できる。

画像処理システム構成を示す図である。 図２（ａ）は画像処理装置の構成を示す図である。図２（ｂ）は学習装置の構成を示す図である。図２（ｃ）は画像処理サーバの構成を示す図である。 学習データの成り立ちを示す図である。 図４（ａ）は画像処理システムの利用シーケンスを示す図である。図４（ｂ）は画像処理システムの変形例における利用シーケンスを示す図である。 画像出力制御のフローチャートを示す図である。 学習モデル更新のフローチャートを示す図である。 画像変換処理のフローチャートを示す図である。 図８（ａ）は受信済み画像データの一覧画面を示す図である。図８（ｂ）はプレビュー画面を示す図である。 ＡＩ画像変換の設定画面を示す図である。 図１０（ａ）は入力ファイルの構成例を示す図である。図１０（ｂ）はデータ構造例を説明する図である。 画像の例を示す図である。 学習モデルの種類を示す図である。 第２の実施形態における画像変換処理のフローチャートを示す図である。 第３の実施形態における画像処理システムの構成を示す図である。 図１５（ａ）は画像処理システムの利用シーケンスを示す図である。図１５（ｂ）は画像処理システムの変形例における学習シーケンスを示す図である。図１５（ｃ）は画像処理システムの変形例における学習シーケンスを示す図である。 自動学習処理のフローチャートを示す図である。 図１７（ａ）は自動学習の設定画面を示す図である。図１７（ｂ）は対象拡張子の設定画面を示す図である。

以下、本発明を実施するための形態について図面を用いて説明する。ただし、説明に記載された構成要素は例示であって、本発明の範囲を限定する趣旨のものではない。本発明の目的を達成できる範囲において、構成要素の置換・追加・削除をおこなってもよい。

［第１の実施形態］
＜画像処理システム＞
本実施の形態では、予め学習を済ませたニューラルネットワークを用いて、圧縮ノイズを備える画像を圧縮ノイズが除去された画像に変換して出力する形態について説明する。

図１は、画像処理システムの構成を示す図である。図１に示すように、画像処理システム１００は、画像処理装置１０１、学習装置１０２、画像処理サーバ１０３で構成され、ネットワーク１０４を介して互いに接続されている。なお、画像処理装置１０１、学習装置１０２、画像処理サーバ１０３のそれぞれは、ネットワーク１０４に対して単一接続ではなく複数接続された構成であっても良い。図１では、画像処理装置１０１として、画像処理装置１０１ａ、画像処理装置１０１ｂの２台がネットワーク１０４に接続された構成例を示している。画像処理装置１０１ａと画像処理装置１０１ｂはネットワーク１０４を介して互いに通信可能であり、例えば、画像処理装置１０１ａから送信された圧縮ファイルを画像処理装置１０１ｂで受信する。画像処理装置１０１ｂは受信した圧縮ファイルに基づく出力（印刷・送信・プレビュー）をおこなう。なお、以降の説明では、説明を単純にするために、送信側の説明をする際は、画像処理装置１０１ａと表記し、受信側の説明をする際は、画像処理装置１０１ｂと表記し、送受信側の両方に共通する説明をする際は、画像処理装置１０１と表記するものとする。

画像処理装置１０１は、コピー、プリント、スキャン、ＦＡＸ等の複数の機能を実現可能なＭＦＰ等で実現されるものであって、画像取得部１１１（１１１ａ，１１１ｂ）として機能を備える。画像処理装置１０１ａは、原稿をスキャンして取得したスキャン画像に対して、圧縮処理等を施して圧縮ファイルを生成し、ネットワーク１０４を介して画像処理装置１０１ｂに送信する。このときの送信方法は、スキャンしたページ数分の画像データを送る方法と、スキャンした複数ページ分の画像を１つのドキュメントデータに加工して送る方法がある。いずれの方法で送る場合であっても、圧縮するか否か、圧縮形式等を指定することができる。

画像処理装置１０１ｂは、画像処理装置１０１ａから受信した圧縮ファイルを、ネットワーク１０４を介して画像処理サーバ１０３に送信する。

学習装置１０２は、画像変換モデルの学習を行い、学習結果（ニューラルネットワークのパラメータなど）を生成する学習部１１２として機能する。学習装置１０２は、例えば、エンジニアによって提供された入力画像と正解画像のペアである学習データ（教師データ、画像データ対）を用いて、学習を行うことで学習結果を生成する。学習装置１０２は、生成した学習結果を、ネットワーク１０４を介して画像処理サーバ１０３に送信する。

画像処理サーバ１０３は、画像処理装置１０１が取得した変換前画像に対して、画像変換を行う画像変換部１１３として機能する。画像処理サーバ１０３は、変換前画像に対して、学習装置１０２が生成した学習結果を用いて、ニューラルネットワークによる変換を行い、変換後画像を取得する。ニューラルネットワークを用いる機械学習手法の一つとしては、多層ニューラルネットワークを用いるディープラーニングが挙げられる。そして、画像処理サーバ１０３は、変換によって取得した変換後画像を、再び画像処理装置１０１に送信する。画像処理装置１０１は、画像処理サーバ１０３から受信した変換後画像を用いて、印刷出力、ユーザ所望の送信先への送信、画像処理装置１０１内の記憶部への保存を行う。

ネットワーク１０４は、ＬＡＮや公衆回線（ＷＡＮ）等で実現されるものであって、画像処理装置１０１、学習装置１０２、画像処理サーバ１０３の間を互いに接続して、装置間でデータを送受信するための通信部として機能する。

＜利用シーケンス＞
図４（ａ）は画像処理システムの利用シーケンスを示す図である。ここでは、ユーザが画像処理装置１０１ｂを用いて、受信した圧縮ファイルに対して出力指示して印刷出力するケースについて説明する。本実施の形態では、圧縮ファイルとして取得した低品位の変換前画像に対して画像変換を行うことで、高品位の変換後画像（変換後画像データ）を提供することができる。これにより、例えば、ユーザは高品位な画像を用いた印刷物や、高品位な画像を用いたプレビュー結果を取得することができる。また、この高品位の変換後画像に対してＯＣＲを実行することで、画像中に含まれるテキストを高精度に抽出することができる。

本利用シーケンスにおいて、画像処理システム１００を提供するメーカのエンジニアは、学習装置１０２に画像変換ＡＩ用の学習を行わせるべく、学習データの入力を行う（Ｓ４０１）。学習装置１０２は、入力された学習データを用いて、ニューラルネットワークの学習処理を行う（Ｓ４０２）。学習装置１０２は、Ｓ４０２が終了すると、画像処理サーバ１０３に対して、学習結果を送信する（Ｓ４０３）。これらの工程は、以降に説明する工程よりも前に予め行われる工程である。

その後、画像処理装置１０１ａは、画像処理装置１０１ｂに対して、圧縮ファイルを送信する（Ｓ４０４）。画像処理装置１０１ｂは、圧縮ファイルを受信すると、受信した圧縮ファイルを保持する（Ｓ４０５）。その後、ユーザは、画像処理システム１００の利用を開始すべく、画像処理装置１０１ｂが受信した圧縮ファイルに基づく画像の出力を指示する（Ｓ４０６）。画像処理装置１０１ｂは、ユーザから指示された対象ファイルを画像処理サーバ１０３に送信する（Ｓ４０７）。画像処理サーバ１０３は、Ｓ４０７で受信した圧縮ファイル（圧縮画像データ）に基づいて、低品位の変換前画像を入力して高品位の変換後画像を出力する画像変換を行う（Ｓ４０８）。画像処理サーバ１０３は、Ｓ４０８で生成した高品位の変換後画像を画像処理装置１０１ｂに対して送信する（Ｓ４０９）。画像処理装置１０１ｂは、Ｓ４０９で受信した高品位の変換後画像を用いて、Ｓ４０６でユーザから指示された出力形態で印刷等の画像出力を行う（Ｓ４１１）。なお、画像出力の例としては、印刷の他、ユーザ所望の送信先への送信、ストレージ（ネットワークストレージ）への保存、および画面への表示（プレビュー）が挙げられる。

＜装置構成＞
前述した画像処理システム１００を実現するために、画像処理装置１０１、学習装置１０２、画像処理サーバ１０３は、以下に示す構成を備える。図２（ａ）は画像処理装置の構成を示す図である。図２（ａ）に示すように画像処理装置１０１は、次を備える。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０４、プリンタデバイス２０５、スキャナデバイス２０６、原稿搬送デバイス２０７、ストレージ２０８、入力デバイス２０９、表示デバイス２１０、及び外部インタフェース２１１。各デバイスは、データバス２０３によって相互通信可能に接続されている。

ＣＰＵ２０１は、画像処理装置１０１を統括的に制御するためのコントローラ（制御部）である。ＣＰＵ２０１は、ＲＯＭ２０２に格納されているブートプログラムによりＯＳ（オペレーティングシステム）を起動する。このＯＳ上で、ストレージ２０８に記憶されているコントローラプログラムが実行される。コントローラプログラムは、画像処理装置１０１を制御するためのプログラムである。ＣＰＵ２０１は、データバス２０３によって接続されている各デバイスを統括的に制御する。ＣＰＵ２０１は、例えば、ネットワーク１０４を介して受信した画像データに対して、画像変換を実行した後に、印刷又は送信の出力制御を実行する。ＲＡＭ２０４は、ＣＰＵ２０１の主メモリやワークエリア等の一時記憶領域として動作する。ストレージ２０８は、ＨＤＤやＳＳＤなどの、読み出しと書き込みが可能な不揮発メモリ・大容量記憶領域であり、ここには、前述のコントローラプログラムなど、様々なデータが記録される。また、ストレージ２０８は、例えば、画像データをボックス保存するように指示された場合、画像処理装置１０１の内部において画像データを格納するための記憶部としても用いられる。

プリンタデバイス２０５は、画像データを用紙（記録材、シート）上に印刷するデバイス（印刷デバイス、画像形成部、画像形成デバイス）である。これには感光体ドラムや感光体ベルトなどを用いた電子写真印刷方式や、微小ノズルアレイからインクを吐出して用紙上に直接画像を印字するインクジェット方式などがあるが、どの方式でもかまわない。

スキャナデバイス２０６は、ＣＣＤなどの光学読取装置を用いて紙などの原稿上の走査を行い、電気信号データを得てこれを変換し、スキャン画像データを生成するデバイス（画像読取デバイス）である。また、ＡＤＦ（オート・ドキュメント・フィーダ）などの原稿搬送デバイス２０７は、原稿搬送デバイス２０７上の原稿台に載置された原稿を１枚ずつスキャナデバイス２０６に搬送する。スキャナデバイス２０６は、原稿搬送デバイス２０７が搬送してきた原稿を読み取る機能の他に、画像処理装置１０１が持つ原稿台（不図示）上に載置された原稿を読み取る機能を備えていてもよい。

入力デバイス２０９は、タッチパネルやハードキーなどから構成されるデバイス（入力装置）である。入力デバイス２０９は、ユーザの操作指示を受け付ける受付部として機能する。そして、指示位置を含む指示情報をＣＰＵ２０１に伝達する。

表示デバイス２１０は、ＣＰＵ２０１が生成した表示データを表示する表示部である。表示デバイス２１０としては、ＬＣＤやＣＲＴなどの表示装置が用いられる。ＣＰＵ２０１は、入力デバイス２０９より受信した指示情報と、表示デバイス２１０に表示させている表示データとから、いずれの操作が成されたかを判定する。そしてこの判定結果に応じて、画像処理装置１０１を制御するとともに、新たな表示データを生成し表示デバイス２１０に表示させる。

外部インタフェース２１１は、ＬＡＮや電話回線、赤外線といった近接無線などのネットワークを介して、外部機器と、画像データをはじめとする各種データの送受信を行うためのインタフェースである。外部インタフェース２１１は、学習装置１０２やＰＣ（不図示）などの外部機器より、ＰＤＬデータ（ページ記述言語で描画内容を記述したデータ、ＰＤＬ形式のデータ）を受信する。ＣＰＵ２０１は、外部インタフェース２１１が受信したＰＤＬデータを解釈し、画像を生成する。生成した画像は、プリンタデバイス２０５により印刷したり、ストレージ２０８に記憶したりする。また、外部インタフェース２１１は、画像処理サーバ１０３などの外部機器より画像データを受信する。受信した画像データは、プリンタデバイス２０５によって印刷されたり、ストレージ２０８に記憶されたり、外部インタフェース２１１により、他の外部機器に送信されたりする。

データバス２０３は、コントローラの内部で扱う画像データ及び制御情報を各処理部の間で互いに送受信するための通信部である。なお、上述した各デバイスは、Ｉ／Ｆ（不図示）を介してＣＰＵ２０１に接続されている。すなわち、各デバイスとＣＰＵ２０１間の通信信号はＩ／Ｆ（不図示）によって中継される。

なお、画像処理装置１０１内で実行される画像処理は、ＣＰＵ２０１で実行するのではなく、専用の回路で実行してもよい。例えば、ＰＤＬデータの解釈によって生成されるベクタ形式のディスプレイリストに対して、レンダリング処理を実行し、ラスタ形式の画像データを出力するＲＩＰを設けてもよい。また、画像データに対して、回転、変倍、圧縮、伸張等の編集処理を行う画像処理回路を設けてもよい。

図２（ｂ）は学習装置の構成を示す図である。図２（ｂ）に示すように、学習装置１０２は、ＣＰＵ２３１、ＲＯＭ２３２、ＲＡＭ２３４、ストレージ２３５、入力デバイス２３６、表示デバイス２３７、外部インタフェース２３８、ＧＰＵ２３９を備える。各部は、データバス２３３を介して相互にデータを送受信することができる。

ＣＰＵ２３１は、学習装置１０２の全体を制御するためのコントローラである。ＣＰＵ２３１は、データバス２３３などのバスを介して各部を制御する。ＣＰＵ２３１は、不揮発メモリであるＲＯＭ２３２に格納されているブートプログラムによりＯＳを起動する。このＯＳの上で、ストレージ２３５に記憶されている学習プログラムを実行する。ＣＰＵ２３１は、取得した学習データをＲＡＭ２３４やストレージ２３５に記憶する。そして、ＣＰＵ２３１は、ＧＰＵ２３９に対して、学習データを元に学習モデルを更新するための演算処理や、受信した画像データを元に画像変換結果の画像データを生成するための演算処理を実行するように制御する。このように、ＣＰＵ２３１が学習プログラムを実行することにより、画像変換を行うニューラルネットワークの学習が進行していく。

ＲＡＭ２３４は、ＣＰＵ２３１のメインメモリやワークエリア等の一時記憶領域として動作するものである。ストレージ２３５は、読み出しと書き込みが可能な不揮発メモリであり、前述の学習プログラムを記録する。

入力デバイス２３６は、マウスやキーボードなどから構成される入力装置である。表示デバイス２３７は、図２（ａ）を用いて説明した表示デバイス２１０と同様である。

データバス２３３は、学習装置１０２の内部で扱う画像データ及び制御情報を各処理部の間で互いに送受信するための通信部である。外部インタフェース２３８は、学習装置１０２とＬＡＮ等のネットワーク１０４との間を接続するものである。

ＧＰＵ２３９は、画像処理プロセッサであり、ＣＰＵ２３１と協調してニューラルネットワークの学習を行う。すなわち、ＧＰＵ２３９は、ＣＰＵ２３１による制御情報に基づいて、学習データを元に学習モデルを更新するための演算処理を実行する。

図２（Ｃ）は画像処理サーバの構成を示す図である。図２（ｃ）の画像処理サーバ１０３は、ＣＰＵ２６１、ＲＯＭ２６２、ＲＡＭ２６４、ストレージ２６５、入力デバイス２６６、表示デバイス２６７、外部インタフェース２６８を備える。各部は、データバス２６３を介して相互にデータを送受信することができる。

ＣＰＵ２６１は、画像処理サーバ１０３の全体を制御するためのコントローラである。ＣＰＵ２６１は、不揮発メモリであるＲＯＭ２６２に格納されているブートプログラムによりＯＳを起動する。ＣＰＵ２６１は、データバス２６３などのバスを介して各部を制御する。ＣＰＵ２６１は、受信した画像データを元に画像変換結果の画像データを生成するための演算処理を実行したりする。なお、学習装置１０２と同様に、画像処理に関する一部の処理をＧＰＵ（不図示）でおこなってよい。

ＲＡＭ２６４は、ＣＰＵ２６１のメインメモリやワークエリア等の一時記憶領域として動作するものである。ストレージ２６５は、読み出しと書き込みが可能な不揮発メモリであり、前述の画像処理サーバプログラムを記録する。

入力デバイス２６６は、図２（ｂ）を用いて説明した入力デバイス２３６と同様である。表示デバイス２６７は、図２（ａ）を用いて説明した表示デバイス２１０と同様である。

データバス２６３は、画像処理サーバ１０３の内部で扱う画像データ及び制御情報を各処理部の間で互いに送受信するための通信部である。外部インタフェース２６８は、画像処理サーバ１０３とＬＡＮ等のネットワーク１０４との間を接続するものである。

＜学習データ＞
Ｓ４０１においてエンジニアが学習装置１０２に入力した学習データについて説明する。学習データは、学習装置１０２が学習部１１２でニューラルネットワークを学習するために用いるデータである。ニューラルネットワークを学習するためには、入力画像と正解画像の対が必要となる。本実施の形態では、無圧縮の画像を正解画像とし、非可逆圧縮されて圧縮ノイズを備える画像を入力画像として用いる。

図３は、学習データの成り立ちを示す図である。図３に示すように、学習データ３０６は、正解画像と入力画像の対からなるデータである。正解画像３０３は、ＰＤＬデータ３００（電子ドキュメント、元データ）をレンダリングして得られる画像３０１が、無圧縮画像３０２としてそのまま用いられる。入力画像３０５は、ＰＤＬデータ３００をレンダリングして得られる画像３０１に非可逆圧縮を施した圧縮画像３０４が用いられる。

ここでは、エンジニアの開発環境下にある装置で非可逆圧縮処理が施される。なお、非可逆圧縮処理に用いる装置は、画像処理装置１０１ａと同機種であることが望ましい。

また、高品位の画像変換を行うには大量の学習データを用いてニューラルネットワークを学習する必要があるが、ここでは既に十分に学習されている前提で説明を行う。

＜学習処理＞
図６は、図４のＳ４０２における学習装置１０２による学習モデルの学習処理の流れを説明するためのフローチャートである。なお、図６で示す各ステップは、学習装置１０２のＲＯＭ２３２、ＲＡＭ２３４、ストレージ２３５等に記憶され、学習装置１０２のＣＰＵ２３１及びＧＰＵ２３９によって実行される。

図６に示すように、ＣＰＵ２３１は、ＧＰＵ２３９を用いて、学習モデルとして用いられるニューラルネットワークを構成する重みパラメータの値を初期化する（Ｓ６０１）。すなわち、ＣＰＵ２３１は、例えば、ニューラルネットワークを構成する重みパラメータをランダムな値に設定したり、前回学習済の値をロードして再設定したりする。次に、ＣＰＵ２３１は、ＧＰＵ２３９を用いて、図４のＳ４０１で入力された学習データのうち、解像度や階調の条件が合致する入力画像と正解画像のペアを学習データとして取得する（Ｓ６０２）。

次に、ＣＰＵ２３１は、ＧＰＵ２３９を用いて、Ｓ６０１で準備したニューラルネットワークに学習データ（入力画像と正解画像のペア）を入力し、入力画像と正解画像の間における画素値の誤差計算のための演算を実行する（Ｓ６０３）。次に、ＣＰＵ２３１は、ＧＰＵ２３９を用いて、学習モデルの重みパラメータの値を更新する演算を実行する（Ｓ６０４）。この処理は一般に誤差逆伝搬法（バックプロパゲーション）と呼ばれる。次に、ＣＰＵ２３１は、ＧＰＵ２３９を用いて、所定の学習データ数を用いて所定の学習回数だけ演算処理が終了したか否かを判断する（Ｓ６０５）。ここで、ＣＰＵ２３１は、所定の学習データを用いた所定の学習回数が終了したならば（Ｓ６０５でＹＥＳ）、Ｓ６０６に遷移し、終了していなければ、Ｓ６０２に遷移してＳ６０２〜Ｓ６０４の演算を繰り返す。次に、ＣＰＵ２３１は、ＧＰＵ２３９を用いて、学習済モデルのニューラルネットワークを構成する重みパラメータの値をストレージ２３５等の記憶部に保存する（Ｓ６０６）。Ｓ６０６で獲得した学習済モデルは、既知の低品位画像を既知の高品位画像に置きかえるのではなく、未知の画像も含めて低品位画像を高品位画像に変換できるような画像変換部として形成される。

本実施の形態では、Ｓ６０２〜Ｓ６０４における繰り返し処理において、図１１に示すような正解画像および入力画像を用いる。図１１は正解画像および入力画像の例を示す図である。

画像１１１０は、「東京都足立区」という文字列が描写された無圧縮の画像である。画像１１１０は正解画像として用いられる。画像１１２０は画像１１１０にＪＰＥＧ圧縮（品質は中程度）を施すことで生成される画像である。

画像１１２０は、画像部位１１２１に示すように文字の輪郭に沿ったノイズを含む。このノイズは、モスキートノイズと呼ばれ、輪郭部分や色の変化の激しい部分で起こる画像の乱れである。画像１１２０は入力画像として用いられる。

画像１１３０は画像１１１０にＪＰＥＧ圧縮（品質は低程度）を施すことで生成される画像である。画像１１３０は、画像部位１１３１に示すようにブロック状の輪郭を持つノイズが発生する。このノイズは、ブロックノイズと呼ばれ、画像の一部領域がモザイク状に見える画像乱れである。画像１１３０は入力画像として用いられる。

画像１１１０と画像１１２０のペアのような学習データを多数用意して学習モデルを更新すると、モスキートノイズを除去する特性を獲得することができる。画像１１１０と画像１１３０のペアのような学習データを多数用意して学習モデルを更新すると、ブロックノイズを除去する特性を獲得することができる。

本実施の形態では、画像１１１０と画像１１２０のペアのような学習データと画像１１１０と画像１１３０のペアのような学習データを適量ずつ用意し、Ｓ６０２〜Ｓ６０４を繰り返し実行する。これにより、入力画像と正解画像の差分傾向を学習することで、非可逆圧縮によって画像中に発生したモスキートノイズやブロックノイズを除去する画像変換特性を獲得することができる。

＜操作画面＞
図４で説明したＳ４０６において、入力デバイス２０９及び表示デバイス２１０を用いた画面には、ユーザからの出力指示を受け付けるための操作画面が表示される。操作画面の例としては、図８（ａ），図８（ｂ），図９が挙げられる。図８（ａ）は受信済み画像データの一覧画面を示す図である。図８（ｂ）はプレビュー画面を示す図である。図９はＡＩ画像変換の設定画面を示す図である。 図８（ａ）は、プリント、スキャン、ＦＡＸ等の１つ以上の機能を組み合せて実現可能な機能メニューのうち、受信トレイ機能が選択されている状態を示す画面である。

図８（ａ）に示す画面では、画像処理装置１０１ｂを宛先として送信されてきた画像データの出力指示（印刷、装置、閲覧）を実行できる。

図８（ａ）に示すように、受信トレイ機能のジョブ選択画面８０１は、ジョブを選択可能なジョブ一覧８２１と、選択されたジョブに対する操作指示が可能な、閲覧ボタン８２３、プリントボタン８２４、送信ボタン８２５が配置されている。ジョブ一覧８２１には、ジョブ名に対応付けてチェックボックスが配置されており、複数のジョブの中から１つのジョブを指定することができる。ジョブを選択すると、選択されたジョブのサムネイル（簡易プレビュー）８２７が表示される。ここでは、高画質化されていない状態の画像でサムネイル（プレビュー）が行われている。また、本実施の形態では、ジョブ一覧８２１において、ジョブに非可逆圧縮された画像が含まれているか否かのステータスを確認することもできる。このステータスは、ジョブの解析が実行されたタイミングで更新される。また、ジョブ選択画面８０１にはＡＩ画像変換ボタン８２２が配置されている。選択画面８０１において、ＡＩ画像変換ボタン８２２に対するユーザのタッチ操作が検知されると、図９に示すように、ＡＩ画像変換の設定画面９０１が表示される。

設定画面９０１には、ＡＩ画像変換を許可するＯＮボタン９０２と、ＡＩ画像変換を許可しないＯＦＦボタン９０３が配置されている。更に、ＡＩ画像変換を許可するＯＮボタン９０２を選択している状態では、ＡＩ画像変換の詳細設定９０４が表示され、ＡＩ画像変換を適用するタイミング・出力方法を指定することができる。また、設定画面９０１には，ＡＩ画像変換についての留意点がメッセージとして配置されている。設定画面９０１は閉じるボタンで閉じるとジョブ選択画面８０１に戻る。

詳細設定９０４の例としては、プリント時」「送信時」「プレビュー時」「サムネイル時」が挙げられる。例えば、詳細設定９０４において「プレビュー時」を設定している状態において、選択画面８０１で閲覧ボタン８２３を選択すると、図８（ｂ）に示すプレビュー画面に遷移する。また、選択画面８０１で選択されていたジョブのデータが画像処理サーバ１０３に送信され、変換後のデータが画像処理サーバから返ってくる。そして、プレビュー画面には、変換後のデータに基づくプレビュー画像８２８が表示される。なお、変換後のデータが画像処理サーバから返ってくるまでの間、画像変換前のデータに基づくプレビュー表示をおこなってもよいし、行わなくてもよい。また、詳細設定９０４において「プレビュー時」を設定していない場合、閲覧ボタン８２３の選択にしたがって、ストレージ２０８に記憶されている画像変換されていないデータに基づきプレビュー表示が行われる。プレビュー画面において次のページを表示する指示がなされると、次ページのプレビュー画像が表示される。プレビュー画面を閉じるボタンで閉じるとジョブ選択画面８０１に戻る。

また、ＡＩ画像変換は他の出力にも適用される。

例えば、詳細設定９０４において「プレビュー時」を設定している状態において、選択画面８０１でプリントボタン８２４を選択すると、印刷設定画面（不図示）に遷移する。そして、ユーザにより印刷設定が指定され、印刷開始が指示されると、択画面８０１で選択されていたジョブのデータが画像処理サーバ１０３に送信され、変換後のデータが画像処理サーバ１０３から返ってくる。そして、画像処理サーバ１０３から返ってきた変換後画像に基づいて印刷が実行される。詳細設定９０４において「プリント時」を設定していない場合、プリントボタン８２４の選択にしたがって、印刷設定画面（不図示）に遷移する。そして、ストレージ２０８に記憶されている画像変換されていないデータに基づく印刷が可能となる。

例えば、詳細設定９０４において「送信時」を設定している状態において、選択画面８０１で送信ボタン８２５を選択すると、送信設定画面（不図示）に遷移する。そして、ユーザにより送信設定が指定され、送信開始が指示されると、選択画面８０１で選択されていたジョブのデータが画像処理サーバ１０３に送信され、変換後のデータが画像処理サーバ１０３から返ってくる。そして画像処理サーバ１０３から返ってきた変換後画像に基づいて送信が実行される。詳細設定９０４において「送信時」を設定していない場合、送信ボタン８２５の選択にしたがって、送信設定画面（不図示）に遷移する。そして、ストレージ２０８に記憶されている画像変換されていないデータに基づく送信が可能となる。なお、送信設定画面（不図示）では、宛先としては、Ｅメールアドレスの他、ＦＡＸ番号、ネットワークフォルダ、クラウドサービス等を指定することが出来る。

ここでは、受信した画像データを出力指示タイミングで出力する例を説明したが、本体設定を変更することによって、画像データを出力指示タイミングではなく、受信タイミングで出力（印刷・送信）することもできる。すなわち、本体設定が第１の設定であれば、受信した圧縮ファイルが内部ストレージ２０８に格納される。本体設定が第２の設定であれば圧縮ファイルは、受信にともなって印刷される。本体設定が第３の設定であれば圧縮ファイルは、受信にともなって予め指定された宛先（Ｅメールアドレス、ネットワークストレージ、ドキュメント管理クラウドサービス）に送信される。このように自動で出力する場合においても、詳細設定９０４に予め設定されている設定内容を適用してもよい。

＜画像出力処理＞
図５は、画像処理装置１０１による画像出力処理の流れを説明するためのフローチャートである。なお、図５で示す各ステップは、画像処理装置１０１のＲＯＭ２０２、ＲＡＭ２０４、ストレージ２０８等に記憶され、画像処理装置１０１のＣＰＵ２０１によって実行される。なお、フローチャートで示す各ステップの処理の一部は、画像処理サーバ１０３のＲＯＭ２３２、ＲＡＭ２３４、ストレージ２３５等に記憶され、ＣＰＵ２０１の要求に基づいて画像処理サーバ１０３のＣＰＵ２３１によって実行される構成であっても良い。

図５に示すように、ＣＰＵ２０１は、ネットワーク１０４を経由した外部インタフェース２１１で、圧縮ファイルを受信したか否かを判断する（Ｓ５０１）。ここで、ＣＰＵ２０１は、圧縮ファイルを受信していれば（Ｓ５０１でＹＥＳ）、Ｓ５０２に遷移し、受信していなければ（Ｓ５０１でＮＯ）、Ｓ５０１に遷移して圧縮ファイルを受信するまで待つ。

次に、ＣＰＵ２０１は、Ｓ５０１で受信した圧縮ファイルの属性情報を取得する（Ｓ５０２）。属性情報には例えばジョブ種の情報等が含まれる。

次に、ＣＰＵ２０１は、圧縮ファイルの受信時の応答設定を確認する（Ｓ５０３）。自動印刷設定あるいは自動転送設定であった場合（Ｓ５０３でＹＥＳ）、ＣＰＵ２０１は、Ｓ５０４へ処理を進める。Ｓ５０４において、ＣＰＵ２０１は、自動転送設定時の出力設定情報を取得する。

自動印刷設定あるいは自動転送設定でなく、留め置き設定であった場合（Ｓ５０３でＮＯ）、ＣＰＵ２０１は、Ｓ５０５へ処理を進める。ＣＰＵ２０１は、Ｓ５０５において、ストレージ２０８の記憶領域に、受信した圧縮ファイルを格納する。次に、ＣＰＵ２０１は、入力デバイス２０９を介してユーザによる出力指示を受信したか否かを判断する（Ｓ５０６）。ここで、ＣＰＵ２０１は、出力指示を受信するまで（Ｓ５０６でＮＯ）待機し、受信したならば（Ｓ５０６でＹＥＳ）、Ｓ５０７に遷移する。Ｓ５０７において、ＣＰＵ２０１は、Ｓ５０６の出力指示に従い指定された圧縮ファイルを取得する。

次に、ＣＰＵ２０１は、指定された圧縮ファイルがＡＩ画像変換の対象か否かを判定する（Ｓ５０８）。この判定は、例えば、詳細設定９０４の設定に基づき実行される。ＡＩ画像変換の対象である場合（Ｓ５０８：ＹＥＳ）、ＣＰＵ２０１は、低品位の画像データを高品位の画像データに変換する画像変換を実行するように制御する（Ｓ５０９）。Ｓ５０８において、ＡＩ画像変換の対象でないと判定された場合（Ｓ５０８：ＮＯ）、ＣＰＵ２０１は、Ｓ５０９をスキップし、画像変換していないデータを用いて印刷又は送信、プレビューを実行する（Ｓ５１０）。本実施の形態では、Ｓ４０７で示したように、圧縮ファイルを画像処理サーバ１０３に送信することで、画像変換の依頼をおこなう。なお、Ｓ５０９の処理の流れは、図７のフローチャートを用いて別途詳細に説明する。最後に、ＣＰＵ２０１は、Ｓ５０９で生成された変換後画像を用いて、印刷又は送信、プレビューを実行する（Ｓ５１０）。

＜属性情報＞
本実施の形態では、受信データの画像単位毎に圧縮方法の違い、すなわち、画像が非可逆圧縮されているか否かを判断する。そのため、非可逆圧縮がかかっている可能性の高い画像にのみ画像変換処理を実施することができ、処理効率に優れる。上述判断に用いる属性情報は、ドキュメント内のコマンドや画像のヘッダー等から取得される。

図１０（ａ）は入力ファイルの構成例を示す図である。図１０（ｂ）はデータ構造例を説明する図である。画像処理装置１０１ａのＳＥＮＤ機能では、スキャンした画像を複数の画像（ＪＰＥＧ）として送信することや、複数の画像を一つのドキュメント（ＰＤＦ）としてまとめて送信することができる。また、一つのドキュメントとして送信する場合、ドキュメント内に含める画像を様々な形式で圧縮することができる。例えば、ドキュメント内のオブジェクトは、オブジェクト毎に可逆圧縮（例：ＭＭＲ圧縮）または非可逆圧縮（例：ＪＰＥＧ圧縮）がかけられる。図１０（ａ）には、オブジェクト毎に異なる圧縮がかけられたＰＤＦファイルの構成が記載されている。図１０（ａ）のオブジェクトＡには非可逆圧縮が、オブジェクトＢには可逆圧縮がかけられている。図１０（ｂ）には、図１０（ａ）のＰＤＦファイルの構成に埋め込まれたデータ構造が記載されている。図１０（ｂ）において、ヘッダー部１０１１には当該ＰＤＦファイルのバージョン情報が記述される。ボディー部１０１２には、当該ＰＤＦファイルの内容を表す各オブジェクト情報（当該オブジェクトの番号、当該オブジェクトの種類、当該オブジェクトの圧縮方法等）が記述される。相互参照表部１０１３には、各オブジェクトのオフセット位置（ＰＤＦデータの先頭からのバイト位置であり、図中のｎｎｎｎｎｎｎｎｎｎ）を示すテーブルが記述される。トレイラー部１０１４には、相互参照表を読み取るための情報が記述される。

＜画像変換処理＞
図７は、図４のＳ４０８および図５のＳ５０９における画像処理サーバ１０３による画像変換処理の流れを説明するためのフローチャートである。なお、図７で示す各ステップは、画像処理サーバ１０３のＲＯＭ２６２、ＲＡＭ２６４、ストレージ２６５等に記憶され、画像処理サーバ１０３のＣＰＵ２６１によって実行される。

図７に示すように、ＣＰＵ２６１は、画像処理装置１０１ｂから受信した圧縮ファイルおよびこのデータの属性情報を取得する（Ｓ７０１）。本実施の形態では、対象のデータがＰＤＦ等のドキュメントデータである場合、ページ内に含まれるオブジェクト単位での変換が行われ、対象のデータが１又は複数のＪＰＥＧ等の画像データである場合、ページ単位での変換が行われる。ＣＰＵ２６１は、ストレージ２６５等に記憶された学習モデルの読出しを行う。

Ｓ７０５において、ＣＰＵ２６１は受信したデータから最小単位の画像を取得する（Ｓ７０５）。例えば、対象のデータがＰＤＦファイルの場合、ＣＰＵ２６１は、相互参照表部１０１３（データ構造内のｘｒｅｆ以下の記述）を参照して当該オブジェクトの位置情報を取得し、当該オブジェクト領域を抽出してラスタ形式の画像データに変換する。次に、ＣＰＵ２６１は、属性情報等から、取得した画像が非可逆圧縮されているか否かを判定する（Ｓ７０６）。例えば、ボディー部１０１２内の当該オブジェクトに埋め込まれた情報を確認し、オブジェクト種類が画像で非可逆圧縮されている旨の記述（例：ｏｂｊ＜＜Ｉｍａｇｅ／ＤＣＴＤｅｃｏｄｅ＞＞）があるかどうかを判断する。取得した画像が非可逆圧縮されていると判定された場合（Ｓ７０６：ＹＥＳ）、ＣＰＵ２６１は学習モデルに基づく画像変換を実行する（Ｓ７０７）。取得した画像が非可逆圧縮されていないと判定された場合（Ｓ７０６：ＮＯ）、ＣＰＵ２６１は学習モデルに基づく画像変換をスキップする。対象のデータがドキュメントデータである場合、ページ内のすべてのオブジェクトを対象にすべく処理を繰り返す（Ｓ７０４、Ｓ７０８）。そして、ページ内のすべてのオブジェクトについて処理を終えるとオブジェクトを合成して１つのページ画像を作成する（Ｓ７０９）。具体的には、ＣＰＵ２６１は、各オブジェクトの位置情報をもとに、各オブジェクトの画像変換結果を含む全てのオブジェクトを合成した合成画像を生成する。なお、対象のデータが画像データである場合、１ページにつき一度、画像変換のための一連の処理が実行される。こうした処理が１または複数ページ分繰り返されることで（Ｓ７０３、Ｓ７１０）、変換後データの生成が完了する。生成された変換後データは、Ｓ５１０の処理で用いられる。

＜備考＞
以上で述べたように、第１の実施形態によれば、高品位な画像を出力できる。非可逆圧縮画像の出力時に、学習済モデルを用いた画像変換を実現できる。なお、学習済モデルを用いた画像変換の実行は、画像の出力指示時に限定されるものではない。画像処理装置１０１ｂは、例えば、ＳＥＮＤ機能により非可逆圧縮されたファイルを受信した時点で画像処理サーバに画像変換を依頼してもよい。また、第１の実施形態によれば、非可逆圧縮がかかっている、すなわち圧縮ノイズが発生しているオブジェクトのみを処理することで、画像変換に要する待ち時間を短縮した上で、高品位の出力画像を生成できる。なお、高品位な画像を単純に出力するだけであれば、詳細な判定は不要である。例えば、Ｓ５０８における判定処理は省いても構わない。また、Ｓ７０６における判定処理は省いても構わない。

［第２の実施形態］
第１の実施形態では、一つの学習モデルを用いて画像変換を行う例を説明した。第２の実施形態では、複数の学習モデル（ニューラルネットワーク）を用いて画像変換を行う例を説明する。なお、第２の実施形態における画像処理システム１００は、上述した特徴部分を除き、第１の実施形態の画像処理システム１００と同様である。

＜複数の学習モデル＞
図１２は学習モデルの種類を示す図である。第２の実施形態では学習モデルＡ〜学習モデルＮを用いる。これらの学習モデルは、圧縮形式（ＪＰＥＧ，ＷｅｂＰ）、圧縮品質（圧縮率）、出力元（出力機器、圧縮回路、圧縮プログラム）等の情報を考慮して細分化されている。このように複数の学習モデルを用意することで、対象画像に適した画像変換を施すことができるようになる。

例えば、学習モデルＥは、中程度の品質（中程度の圧縮率）で圧縮された画像を入力画像とする学習データを中心に、学習を行ったモデルである。そのため、中程度の品質でＪＰＥＧ圧縮した際に顕著なノイズであるモスキートノイズ（画像部位１１２１参照）を効率的に除去することができる。また、学習モデルＩは、低程度の品質（高程度の圧縮率）でＪＰＥＧ圧縮された画像を入力画像とする学習データを中心に、学習を行ったモデルである。そのため、低程度の品質で圧縮した際に顕著なノイズであるブロックノイズ（画像部位１１３１参照）を効率的に除去することができる。

また、ＷｅｂＰのように異なる圧縮形式ではノイズの発生傾向が異なる。さらには、出力元によって圧縮品質の定義に差異がある場合や、画像に前処理や後処理を施している場合がある。そこで、圧縮品質が同じ高程度であっても、モデルＡ、モデルＢ，モデルＣ，モデルＤのように細分化している。

なお、上述した複数のモデルは、対象の画像の品質情報を取得できる環境で利用することを前提としている。しかしながら、対象画像の圧縮品質が不明なケースも存在する。こうしたケースにも対応できるように、圧縮品質が不明なケースで用いるモデル、例えばモデルＭ、モデルＮを用意するとよい。モデルＭは、圧縮品質が中程度の入力画像を用いる学習データ、および、圧縮品質が低程度の入力画像を用いる学習データ、を同程度学習している。そのため、ＪＰＥＧ圧縮に起因するノイズを汎用的に除去することができる。

＜画像変換処理＞
図１３は、第２の実施形態における画像変換処理のフローチャートを示す図である。なお、図１３で示す各ステップは、画像処理サーバ１０３のＲＯＭ２６２、ＲＡＭ２６４、ストレージ２６５等に記憶され、画像処理サーバ１０３のＣＰＵ２６１によって実行される。なお、図１３は、本発明の第２の実施形態における図７と共通する部分があるため、共通する部分の説明を省略し、差分の説明のみを行う。

Ｓ１３０１は、Ｓ７０１と同様である。ＣＰＵ２６１は、ストレージ２６５等に記憶された学習モデルの読出しを行う。この実施形態では、図１２に示すように複数の学習モデルが読み出される。

Ｓ１３０５において、ＣＰＵ２６１は受信したデータから最小単位の画像を取得する（Ｓ１３０５）。次に、ＣＰＵ２６１は、属性情報等から、取得した画像が非可逆圧縮されているか否かを判定する（Ｓ１３０６）。ここでは、ボディー部１０１２内の当該オブジェクトに埋め込まれた情報を確認することで、判定をおこなう。例えば、オブジェクト種類が画像で非可逆圧縮されている旨の記述（例：ｏｂｊ＜＜Ｉｍａｇｅ／ＤＣＴＤｅｃｏｄｅ＞＞）やオブジェクトの拡張子情報に基づいて、オブジェクトが非可逆圧縮されているか否かを判断することができる。取得した画像が非可逆圧縮されていない場合（Ｓ１３０６：ＮＯ）、ＣＰＵ２６１はＳ１３１４へと処理を進める。取得した画像が非可逆圧縮されていると判定された場合（Ｓ１３０６：ＹＥＳ）、ＣＰＵ２６１は続けて、対象画像の圧縮関連情報を取得する（Ｓ１３０７）。圧縮関連情報とは、圧縮形式の情報（圧縮形式情報）や、圧縮の品質情報や、圧縮画像の出力元の情報である。ここでは圧縮形式の情報（拡張子情報等）は必ず取得される前提で説明する。Ｓ１３０８において、ＣＰＵ２６１は、取得された圧縮関連情報の中に圧縮品質の情報が含まれているか否かを判定する。圧縮品質の情報が含まれていない場合（Ｓ１３０８：ＮＯ）、ＣＰＵ２６１は、利用する学習モデルを決定する材料として、品質不明を指定する（Ｓ１３１０）。その後、画像の圧縮形式・拡張子に基づいて、学習モデルＭまたは学習モデルＮが利用モデルに決定される（Ｓ１３１２）。

圧縮品質の情報が含まれている場合（Ｓ１３０８：ＹＥＳ）、ＣＰＵ２６１は、より正確に学習モデルを選定するために出力元情報の有無を判定する（Ｓ１３０９）。出力元情報が含まれている場合（Ｓ１３０９：ＹＥＳ）、その出力元情報に基づいて学習モデルが決定される。すなわち、学習モデルＡ〜学習モデルＬのいずれかが利用される。出力元情報が含まれていない場合（Ｓ１３０９：ＮＯ），ＣＰＵ２６１は、利用する学習モデルを決定する材料として、規定の出力元を指定する。規定の出力元は、例えば出力元Ａや出力元Ｃである。そのため、Ｓ１３１２では、学習モデルＡ、Ｃ、Ｅ、Ｇ、Ｉ、Ｋのいずれかが選択される。その後、決定された学習モデルに基づく画像変換が実行される（Ｓ１３１３）。オブジェクト毎の繰り返し、ページ毎の繰り返しに関する処理であるＳ１３０３〜Ｓ１３０５、Ｓ１３１４〜Ｓ１３１６は、Ｓ７０３〜Ｓ７０５、Ｓ７０８〜Ｓ７１０と同様であるため説明を省略する。

＜備考＞
以上で述べたように、第２の実施形態によれば、圧縮形式（ＪＰＥＧ，ＷｅｂＰ）、圧縮品質（圧縮率）、出力元（出力機器、圧縮回路、圧縮プログラム）等の情報を考慮して学習モデルを細分化することで、より精度の高い画像変換をおこなうことができる。なお、学習モデルの細分化は、必ずしも、圧縮形式（ＪＰＥＧ，ＷｅｂＰ）、圧縮品質（圧縮率、圧縮モード）、出力元（出力機器、圧縮回路、圧縮プログラム）のすべてを考慮しなくてよい。すなわち、一部の情報のみで学習モデルを細分化してもよい。例えば、圧縮形式（ＪＰＥＧ，ＷｅｂＰ）のみでモデルを細分化してもよい。なお、本実施の形態では、品質値が１００〜７１のものは品質が高程度、品質値が７０〜４１のものは品質が中程度、品質値が４０〜１のものは品質が低程度としているが、数値と高低の関係はこれには限られない。数値と高低の関係は適宜変更してよい。また、高低の分け方は３段階に限られず、２段階や４段階以上であってもよい。また、圧縮形式としてＪＰＥＧ，ＷｅｂＰを挙げたが、「ＪＰＥＧ ２０００」や「ＪＰＥＧ ＸＲ」等の非可逆圧縮可能なその他のフォーマットを用いてもよい。品質不明用の学習モデルについては必ずしも用意しなくてよい。

［第３の実施形態］
第１および第２の実施形態では、エンジニアが学習データを予め用意して学習装置に入力していた。これに対し、第３の実施形態では、画像処理装置が稼働中に受信したＰＤＬジョブを用いて学習データを自動生成する。なお、上述した特徴部分およびその関連部分を除き、第３の実施形態の画像処理システム１００の構成は、第１及び第２の実施形態の画像処理システム１００と同様である。そのため同様の構成には同様の符号を付し、その詳細な説明を省略する。

＜画像処理システム１００＞
図１４は、第３の実施形態における画像処理システム１００の構成を示した図である。図９に示すように、画像処理システム１００は、画像処理装置１０１、学習装置１０２、画像処理サーバ１０３、端末装置１０５で構成され、ネットワーク１０４を介して互いに接続される。画像処理装置１０１、学習装置１０２、画像処理サーバ１０３、ネットワーク１０４については、図１を用いて説明した通りである。

端末装置１０５は、画像処理装置１０１に対して印刷ジョブを送信できるパーソナルコンピュータやタブレットなどである。端末装置１０５は、ユーザが、操作部（不図示）を介して印刷指示を実行すると、印刷ジョブ（ＰＤＬデータを含む）を画像処理装置１０１に送信する。画像処理装置１０１は、端末装置１０５からのジョブに従って印刷処理を行うと共に、学習装置１０２にＰＤＬデータを送信する。学習装置１０２は、ＰＤＬデータ（元データ）から正解画像と入力画像を生成し、生成した画像のペアを学習データとして保持する。端末装置１０５の構成は画像処理サーバ１０３の構成と略同一であるものとし、詳細な説明を省略する。

本実施の形態において、学習装置１０２は、学習データ生成部１１４を備えている。学習データ生成部１１４は、取得したＰＤＬデータに対するＲＩＰ（レンダリング）及び非可逆圧縮処理によって、正解画像と入力画像のペアである学習データを疑似的に生成する。学習データ生成部１１４は、生成した学習データを、ストレージ２３５に保持する。学習データ生成部は、ＣＰＵ２３１が学習データ生成プログラムをＲＡＭ２３４に展開して実行することによって実現される。学習部１１２は、ストレージ２３５に保持された学習データを用いて、ニューラルネットワークを学習する。学習部１１２は、ＣＰＵ２３１が学習プログラムをＲＡＭ２３４に展開して実行することによって実現される。

＜学習シーケンス＞
学習シーケンスについて、図１５を用いて説明する。図１０は、第２の実施形態における画像処理システム１００の学習シーケンスを示す図である。

図１５（ａ）は、学習データ生成、学習モデル更新をいずれも学習装置１０２で実行する場合を示した動作例である。図１５（ａ）に示すように、例えば、ユーザがアプリデータを作成（Ｓ１５０１）し、当該アプリデータを元に、端末装置１０５におけるプリンタドライバ等で生成されたＰＤＬデータを画像処理装置１０１ｂに送信する（Ｓ１５０２）。画像処理装置１０１ｂは、受信したＰＤＬデータを学習装置１０２にデータ転送する（Ｓ１５０３）。これを受けて、学習装置１０２は、学習データ生成（Ｓ１５０４）、学習モデル更新（Ｓ１５０５）を実行する。更新された学習モデルは、画像処理サーバ１０３に送信される（Ｓ１５１０）。一方で、ユーザが画像処理装置１０１ｂに出力指示を与える（Ｓ１５０６）と、画像処理装置１０１ｂは、通常のＰＤＬプリント処理フローと同様に、受信したＰＤＬデータをレンダリング（Ｓ１５０７）し、印刷又は送信等の出力処理（Ｓ１５０８）を実行する。その後、ユーザは出力物を取得する（Ｓ１５０９）。

＜自動学習処理＞
図１６は自動学習処理のフローチャートを示す図である。なお、図１６で示す各ステップは、学習装置１０２のＲＯＭ２３２、ＲＡＭ２３４、ストレージ２３５等に記憶され、学習装置１０２のＣＰＵ２３１及びＧＰＵ２３９によって実行される。

図１１に示すように、ＣＰＵ２３１は、ネットワーク１０４を経由した外部インタフェース２３８で、ＰＤＬ等のベクタ形式の画像データを受信したか否かを判断する（Ｓ１６０１）。ここで、ＣＰＵ２３１は、ＰＤＬデータを受信していれば（Ｓ１６０１でＹＥＳ）、Ｓ１６０２に遷移し、受信していなければ（Ｓ１６０１でＮＯ）、Ｓ１６０１に遷移してＰＤＬデータを受信するまで待つ。次に、ＣＰＵ２３１は、ＰＤＬデータを解釈してディスプレイリストに変換し、ディスプレイリストをレンダリングすることでラスタ形式の画像データを生成する（Ｓ１６０２）。次に、ＣＰＵ２３１は、Ｓ１６０２で生成したラスタ形式の画像データを元に、第１の画像を正解画像として生成する（Ｓ１６０３）。次に、ＣＰＵ２３１は、Ｓ１６０２で生成したラスタ形式の画像データに非可逆圧縮処理を施した第２の画像を入力画像として生成する（Ｓ１６０４）。なお、非可逆圧縮の形式や品質等のパラメータは、学習データを利用する学習モデル等によって調整される。ここで、Ｓ１６０３及びＳ１６０４で生成する画像データは、例えば、同一の描画オブジェクトを含んだページ内の参照領域（主／副走査の位置座標）で、所定の矩形単位（例：５１２×５１２画素）毎に切り出した複数の画像データとして生成するものである。次に、ＣＰＵ２３１は、第１の画像を正解画像、第２の画像を入力画像とした、入力画像と正解画像のペアを学習データとしてストレージ２３５等の記憶部に保存する（Ｓ１６０５）。なお、学習データは、ＰＤＬデータのページ数等に応じて複数作成してよい。次に、ＣＰＵ２３１は、別のモデル用の学習データを生成するか否かを判断する（Ｓ１６０６）。例えば、学習モデルＡ用の学習データを生成後、学習モデルＥ用の学習データを生成するか否かを判断する。学習モデルＡ用の学習データと学習モデルＥ用の学習データの違いは、例えば、入力画像を非可逆圧縮する際の圧縮品質のパラメータである。ここで、ＣＰＵ２３１は、別の学習モデル用の学習データを続けて生成すると判断したならば（Ｓ１６０６でＹＥＳ）、Ｓ１６０２に遷移してＳ１６０２〜Ｓ１６０５を繰り返す。別の学習モデル用の学習データをこれ以上生成しないと判断したならば（Ｓ１６０６でＮＯ）、学習データ生成の処理を終了する。ここでは、出力可能な全ての圧縮形式・圧縮品質の組合せを網羅できるように、正解画像としての第１の画像と入力画像としての第２の画像を生成しても良い。

次に、ＣＰＵ２３１は、更新する学習モデルおよび、その学習モデルの学習に用いる学習データを決定し（Ｓ１６０７）、学習モデルの更新をおこなう（Ｓ１６０８）。学習モデルの更新処理の詳細は、図６で説明した通りである。ＣＰＵ２３１は、更新すべき学習モデルがあるか否かを判断し、学習すべき次の学習データがある場合には（Ｓ１６０９：ＹＥＳ）Ｓ１６０７へ処理に進み、次の学習モデルの更新をおこなう。学習すべき次の学習モデルがない場合には（Ｓ１６０９：ＮＯ）、自動学習の処理を終了する。ここでは、学習能なすべての学習モデルについて学習をおこなってもよい。

＜自動学習設定＞
上述したように、本実施の形態では、投入されたＰＤＬデータに基づいて、学習モデルが自動学習される。すなわち、ユーザの利用環境に最適化されるように学習モデルの学習が進行していく。ところで、自動学習の進行は、ＡＩ画像変換の特性の変化と同義である。すなわち、過去と未来では同じＡＩ画像変換の結果は得られないことを意味する。そのため、これ以上の自動学習を望まないユーザのために自動学習を停止できることが望ましい。

図１７（ａ）は自動学習の設定画面を示す図である。図１７（ａ）に示すように、本実施の形態では、自動学習の設定画面１７０１を画像処理装置１０１ｂの表示デバイス２１０に表示させることができる。設定画面１７０１は、画面９０１において詳細ボタンを選択して詳細画面（不図示）を表示後、詳細画面（不図示）において「自動学習」の項目を指定することで表示される。画像処理装置１０１ｂの表示デバイス２１０に表示させることができる。設定画面１７０１ではＯＮボタンとＯＦＦボタンのいずれかを指定可能である。設定画面１７０１においてＯＮボタンを指定すると自動学習の実行が許可され（自動学習が許容され）、ＯＦＦボタンを指定すると自動学習が無効となる。具体的には、自動学習が無効にする方法としては、学習装置１０２への学習用ＰＤＬデータの送信（Ｓ１５０３）を停止する方法が挙げられる。これにより、学習装置１０２で学習データが生成されなくなるため、学習モデルが更新されなくなる。なお、自動学習を無効にする方法は他の方法で実現してもよい。例えば更新された学習モデルの送信（Ｓ１５１０）があった場合にこれを拒否してもよい。あるいは、学習装置１０２に自動学習の停止要求を送信し、学習装置１０２側で学習モデルの更新を実行しないように制御してもよい。

＜備考＞
以上で述べたように、本実施の形態では、学習モデルを自動学習することで、ユーザの利用環境に最適化していく。そのため、より高い精度でＡＩ画像変換をおこない、ユーザの望む画像を提供することができる。また、本実施例では、印刷等の通常利用で送信されたＰＤＬデータに基づき印刷を行いながら、並行して学習モデルの学習にこのＰＤＬデータを利用している。そのためユーザは、意識して学習データを投入せずに済む。

［その他の実施形態］
本発明は上述した実施の形態に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施形態及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

本発明は、上述した実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。

例えば、第２の実施形態において、学習データ生成部１１４と学習部１１２は、学習装置１０２において実現されるものとしたが、それぞれ別体の装置において実現されるようにしても良い。この場合、学習データ生成部１１４を実現する装置は、学習データ生成部１１４が生成した学習データを、学習部１１２を実現する装置に送信する。そして、学習部１１２は受信した学習データをもとにニューラルネットワークを学習する。また、学習部１１２の機能を、画像処理サーバ１０３や、画像処理装置１０１ｂで実現してもよい。すなわち、学習装置１０２を、画像処理サーバ１０３や、画像処理装置１０１ｂと一体の装置としてもよい。また、画像変換部１１３としての機能を画像処理装置１０１ｂで実現してもよい。すなわち、画像処理サーバ１０３と画像処理装置１０１ｂを一体の装置としてもよい。また、学習データ生成部１１４の機能を、端末装置１０５、画像処理装置１０１ｂ、画像処理サーバ１０３のいずれかで実現してもよい。

学習データ生成を画像処理装置１０１ｂで実行する例を図１５（ｂ）に示す。図１５（ｂ）は画像処理システム１００の変形例における学習シーケンスを示す図である。図１５（ｂ）のシーケンスでは、ユーザがアプリデータを作成（Ｓ１５０１）し、当該アプリデータを元に、端末装置１０５におけるプリンタドライバ等で生成されたＰＤＬデータを画像処理装置１０１に転送する（Ｓ１５０２）。その後、当該ＰＤＬデータを画像処理装置１０１でレンダリングし、通常のＰＤＬプリントジョブと並行して、学習データも生成する（Ｓ１５１１）。更に、画像処理装置１０１は、通常のＰＤＬプリントジョブと並行して、学習データを学習装置１０２に送信する（Ｓ１５１２）。学習装置１０２は、画像処理装置１０１から送信された学習データを受信して、学習モデル更新を実行する（Ｓ１５０５）。更新された学習モデルは、画像処理サーバ１０３に送信される（Ｓ１５１０）。ユーザが画像処理装置１０１に出力指示を与える（Ｓ１５０６）と、画像処理装置１０１は、通常のＰＤＬプリント処理フローと同様に、受信したＰＤＬデータをレンダリング（Ｓ１５０７）し、印刷又は送信の出力処理（Ｓ１５０８）を実行する。その後、ユーザは出力物を取得する（Ｓ１５０９）。

学習データ生成を端末装置１０５で実行する例を図１５（ｃ）に示す。図１５（ｃ）は画像処理システム１００の変形例における学習シーケンスを示す図である。図１５（ｃ）に示すシーケンスでは、ユーザによってアプリデータが作成し、当該アプリデータを元に、端末装置１０５におけるＰＤＬデータを作成する。そして、端末装置１０５上で動作可能な画像処理シミュレータによってＰＤＬデータをレンダリングし、学習データを生成する（Ｓ１５２１）。生成した学習データは、端末装置１０５から学習装置１０２に送信され（Ｓ１５２２）、学習装置１０２は、この学習データを用いて学習モデル更新を実行する（Ｓ１５０５）。更新された学習モデルは画像処理サーバ１０３に送信される（Ｓ１５１０）。画像処理装置１０１ｂは、通常のＰＤＬプリント処理フローと同様に、受信したＰＤＬデータをレンダリング（Ｓ１５０７）し、印刷又は送信の出力処理（Ｓ１５０８）を実行する。その後、ユーザは出力物を取得する（Ｓ１５０９）。なお、学習データ生成、及び、学習モデル更新を実行する装置は、所定の演算処理を実行可能な計算資源（例：ＧＰＵ、ＦＰＧＡ）を有することが望ましい。

また、第１の実施形態では、図４（ａ）で示すように、画像処理装置１０１ａが画像処理装置１０１ｂにデータを送信し、画像処理装置１０１ｂが画像処理サーバにデータを転送する形態を説明した。しかしながら、図４（ｂ）に示すように、画像処理装置１０１ａが画像処理サーバにデータを直接送信する形態であってもよい。図４（ｂ）は画像処理システムの変形例における利用シーケンスを示す図である。本利用シーケンスにおいて、Ｓ４０１〜Ｓ４０３の工程は、図４（ｂ）の工程と同様である。その後、画像処理装置１０１ａは、画像処理サーバ１０３に対して、圧縮ファイルを送信する（Ｓ４５４）。画像処理サーバ１０３は、圧縮ファイルを受信すると、受信した圧縮ファイルを保持する（Ｓ４５５）。その後、ユーザは、画像処理サーバ１０３に蓄積された圧縮ファイルに基づく画像出力をすべく、画像処理装置１０１ｂにファイル指定の操作、指示を行う（Ｓ４５７）。画像処理装置１０１ｂは、ユーザの指示に従い、画像処理サーバ１０３にファイルの要求を行う。画像処理サーバ１０３は、Ｓ４５５で保持した低品位の変換前画像を入力して高品位の変換後画像を出力する画像変換を行う（Ｓ４５９）。画像処理サーバ１０３は、Ｓ４５９で生成した高品位の変換後画像を画像処理装置１０１ｂに対して送信する（Ｓ４６０）。画像処理装置１０１ｂは、Ｓ４６０で受信した高品位の変換後画像を用いて、指示された出力形態（印刷等）で画像出力を行う（Ｓ４６１）。なお、画像出力の例としては、印刷の他、ユーザ所望の送信先への送信、ストレージ（ネットワークストレージ）への保存、および画面への表示（プレビュー）が挙げられる。

また、第２の実施形態では、ＡＩ画像変換のＯＮ／ＯＦＦを用途ごとに設定可能にしたが（画面９０１）、他の条件に基づいてＡＩ画像変換のＯＮ／ＯＦＦを設定可能にしてもよい。例えば、画像の圧縮形式によってＡＩ画像変換のＯＮ／ＯＦＦを設定可能にしてもよい。図１７（ｂ）は対象拡張子の設定画面を示す図である。設定画面１７０２は、画面９０１において詳細ボタンを選択して詳細画面（不図示）を表示後、詳細画面（不図示）において「拡張子」の項目を指定することで表示できる。設定画面１７０２においてＪＰＥＧのチェックボックスにチェックを入れると、ＪＰＥＧ画像がＡＩ画像変換の対象となり、ＪＰＥＧのチェックボックスのチェックを外すとＪＰＥＧ画像がＡＩ画像変換の対象外となる。同様に、ＷｅｂＰのチェックボックスにチェックを入れると、ＷｅｂＰ画像がＡＩ画像変換の対象となり、ＷｅｂＰのチェックボックスのチェックを外すとＷｅｂＰ画像がＡＩ画像変換の対象外となる。

また、図１７（ａ），図１７（ｂ）、図８（ａ）、図８（ｂ）、図９に記載の画面は、他の装置において表示可能にしてもよい。例えば、上述した画面を、端末装置１０５、画像処理サーバ１０３、学習装置１０２のいずれかの装置が備える表示デバイスに表示させてもよい。そして、表示する画面に応じた操作を受け付け可能にしてもよい。画面の情報や操作内容は、例えば、ネットワーク１０４を介して画像処理装置１０１ｂに転送することができる。

ＡＤＦとは、Ａｕｔｏ Ｄｏｃｕｍｅｎｎｔ Ｆｅｅｄｅｒのことである。
ＡＩとは、Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅのことである。
ＡＳＩＣとは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔのことである。
ＣＣＤとは、Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅのことである。
ＣＰＵとは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔのことである。
ＣＲＴとはＣａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅのことである。
ＦＡＸとは、ｆａｃｓｉｍｉｌｅのことである。
ＦＰＧＡとは、ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙのことである。
ＧＰＵとは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔのことである。
ＨＤＤとは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅのことである。
ＪＰＥＧとは、Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐのことである。
ＬＡＮとは、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋのことである。
ＬＣＤとは、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙのことである。
ＭＦＰとは、Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌのことである。
ＯＣＲとは、Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ／Ｒｅａｄｅｒのことである。
ＯＳとは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍのことである。
ＰＣとは、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒのことである。
ＰＤＦとは、Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔのことである。
ＰＤＬとは、Ｐａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅのことである。
ＲＡＭとは、Ｒａｎｄｏｍ‐Ａｃｃｅｓｓ Ｍｅｍｏｒｙのことである。
ＲＩＰとは、Ｒａｓｔｅｒ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｏｒのことである。
ＲＯＭとは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙのことである。
ＳＳＤとは、Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅのことである。
ＷＡＮとは、Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋのことである。

１００ 画像処理システム
１０１ 画像処理装置
１０２ 学習装置
１０３ 画像処理サーバ
１０４ ネットワーク
１０５ 端末装置

Claims (19)

1. 画像処理システムであって、
   圧縮画像データを受信する手段と、
   第１の画像データと前記第１の画像データを非可逆圧縮した第２の画像データの対に基づき学習したニューラルネットワークを取得し、前記取得したニューラルネットワークと前記圧縮画像データに少なくとも基づいて変換後画像データを取得する手段と、
   前記変換後画像データに基づく出力をおこなう手段と、を有することを特徴とする画像処理システム。
2. 前記圧縮画像データの圧縮形式情報を取得する手段を備え、
   前記ニューラルネットワークは、複数のニューラルネットワークの中から少なくとも前記圧縮形式情報に基づき指定されたニューラルネットであることを特徴とする請求項１に記載の画像処理システム。
3. 前記圧縮画像データの品質情報を取得する手段を備え、
   前記ニューラルネットワークは、複数のニューラルネットワークの中から少なくとも前記品質情報に基づき指定されたニューラルネットであることを特徴とする請求項１または２に記載の画像処理システム。
4. 前記圧縮画像データの出力元情報を取得する手段を備え、
   前記ニューラルネットワークは、複数のニューラルネットワークの中から少なくとも前記出力元情報に基づき指定されたニューラルネットであることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理システム。
5. 前記複数のニューラルネットワークは、前記ニューラルネットワークとは異なるニューラルネットワークであって前記第１の画像データと前記第１の画像データを非可逆圧縮した第３の画像データの対に基づき学習したニューラルネットワークであり、前記第２の画像データと前記第３の画像データの圧縮率は異なることを特徴とする請求項２乃至４のいずれか１項に記載の画像処理システム。
6. ＰＤＬデータの受信にしたがって前記ＰＤＬデータに基づく画像データ対を生成し、前記複数のニューラルネットワークのうちの少なくとも１つのニューラルネットワークに対し、前記画像データ対に基づく自動学習を行わせる手段を有することを特徴とする請求項２乃至５のいずれか１項に記載の画像処理システム。
7. 情報を表示する表示部を備え、
   前記表示部は、前記自動学習を許容するか否かを指定可能な画面を表示可能であることを特徴とする請求項６に記載の画像処理システム。
8. 情報を表示する表示部を備え、
   前記表示部は、ニューラルネットワークによる変換の対象とする圧縮画像の形式を指定可能な画面を表示可能であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理システム。
9. 情報を表示する表示部を備え、
   前記表示部は、前記変換後画像を用いる機能をあらかじめ指定可能な画面を表示可能であることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理システム。
10. シートに画像を形成する画像形成部を備え、
    前記出力をおこなう手段は、前記変換後画像データに基づく画像形成を前記画像形成部に実行させる手段であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理システム。
11. 前記出力をおこなう手段は、前記変換後画像データを外部装置に送信する手段であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理システム。
12. 情報を表示する表示部を備え、
    前記出力をおこなう手段は、前記変換後画像データに基づく画面を前記表示部に表示させる手段であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理システム。
13. 前記第１の画像データはブロックノイズを含まず、前記第２の画像データはブロックノイズを含むことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理システム。
14. 前記第１の画像データはモスキートノイズを含まず、前記第２の画像データはモスキートノイズを含むことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理システム。
15. 前記第１の画像データはＰＤＬデータに基づき生成されることを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理システム。
16. 前記第２の画像データは、ＪＰＥＧの形式の画像データであることを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理システム。
17. 前記第２の画像データは、ＷｅｂＰの形式の画像データであることを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理システム。
18. 画像処理装置であって、
    圧縮画像データを受信する手段と、
    第１の画像データと前記第１の画像データを非可逆圧縮した第２の画像データの対に基づき学習したニューラルネットワークを取得し、前記取得したニューラルネットワークと前記圧縮画像データに少なくとも基づいて変換後画像データを取得する手段と、
    前記変換後画像データに基づく出力をおこなう手段と、を有することを特徴とする画像処理装置。
19. 画像処理方法であって、
    圧縮画像データを受信する工程と、
    第１の画像データと前記第１の画像データを非可逆圧縮した第２の画像データの対に基づき学習したニューラルネットワークを取得し、前記取得したニューラルネットワークと前記圧縮画像データに少なくとも基づいて変換後画像データを取得する工程と、
    前記変換後画像データに基づく出力をおこなう工程と、を有することを特徴とする画像処理方法。

Images