JP2020123830A - 画像処理装置、画像読取装置、画像形成装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】推論の外れに起因する弊害を抑制しつつ人工知能を利用する。【解決手段】画像処理装置は、複数のカラーテーブルのいずれか１つを使用して画像データの色変換処理を実行する色変換処理部と、第１のニューラルネットワークで画像データを解析し、複数の画像の種類のいずれであるか識別する画像識別部とを備える。第１のニューラルネットワークは、カルバック・ライブラー・ダイバージェンスを使用する損失関数に基づいて、正規の訓練データを正規の訓練データと識別し、偽画像データを偽画像データと識別する確率を高くするように学習される。色変換処理部は、識別の信頼度が予め設定されている閾値以上の場合には、識別された画像の種類に対応するカラーテーブルを使用して色変換処理を実行し、識別の信頼度が閾値未満の場合には、識別された画像の種類に対応し、カラーテーブルの特徴が減殺されたカラーテーブルを使用して色変換処理を実行する。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関し、特に機械学習を利用する技術に関する。

画像形成装置（たとえばプリンター、多機能プリンター、又は複合機（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）における人工知能の採用が提案されている。具体的には、たとえば特許文献１は、ユーザー装置のディスプレイ能力などに関する情報に応じて、エンコーディングの正しいモード（例えばロスレスまたはロッシイ）を推論するＡＩコンポーネントを提案している。さらに、特許文献１は、ＡＩコンポーネントが入力画像内のピクセルカラーの正しいカラーテーブルを推論することができるとしている。

特開２００５−３２３３７０号公報

Ｄａｎ Ｈｅｎｄｒｙｃｋｓ他著 Ａ ＢＡＳＥＬＩＮＥ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＭＩＳＣＬＡＳＳＩＦＩＥＤ ＡＮＤ ＯＵＴ−ＯＦ−ＤＩＳＴＲＩＢＵＴＩＯＮ ＥＸＡＭＰＬＥＳ ＩＮ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫＳ Ｋｉｍｉｎ Ｌｅｅ他著 Ｔｒａｉｎｉｎｇ Ｃｏｎｆｉｄｅｎｃｅ−ｃａｌｉｂｒａｔｅｄ Ｃｌａｓｓｉｆｉｅｒｓ ｆｏｒ Ｄｅｔｅｃｔｉｎｇ Ｏｕｔ−ｏｆ−Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｓａｍｐｌｅｓ

しかしながら、特許文献１は、推論が外れた場合についての検討が十分ではない。本願発明者は、推論が外れた場合には却って画質に弊害を生じさせることに着目した。一方、非特許文献１は、分布から外れた外れ値、すなわち学習モデルに対して想定外の画像の識別において９１％という高い予測信頼度で誤認識する現象を例示している。

本発明は、このような状況に鑑みてなされたものであり、推論の外れに起因する弊害を抑制しつつ人工知能を利用する技術を提供することを目的とする。

本発明の画像処理装置は、複数の画像の種類に対して予め準備されている複数のカラーテーブルを有し、前記複数のカラーテーブルのいずれか１つを使用して画像データの色変換処理を実行する色変換処理部と、第１のニューラルネットワークを有し、前記第１のニューラルネットワークで前記画像データを解析し、前記複数の画像の種類のいずれであるか識別する画像識別部とを備え、前記第１のニューラルネットワークは、カルバック・ライブラー・ダイバージェンスを使用する損失関数に基づいて、第２のニューラルネットワークを使用して生成された偽画像データと、正規の訓練データとを使用し、前記正規の訓練データを正規の訓練データと識別し、前記偽画像データを偽画像データと識別する確率を高くするように学習され、前記第２のニューラルネットワークは、前記画像識別部によって正規の訓練データと識別される確率の高い偽画像データを生成するように学習され、前記色変換処理部は、前記識別の信頼度が予め設定されている閾値以上の場合には、前記識別された画像の種類に対応するカラーテーブルを使用して前記色変換処理を実行し、前記識別の信頼度が前記閾値未満の場合には、前記識別された画像の種類に対応し、前記カラーテーブルの特徴が減殺されたカラーテーブルを使用して色変換処理を実行する。

本発明の画像処理方法は、複数の画像の種類に対して予め準備されている複数のカラーテーブルを有し、前記複数のカラーテーブルのいずれか１つを使用して画像データの色変換処理を実行する色変換処理工程と、第１のニューラルネットワークを有し、前記第１のニューラルネットワークで前記画像データを解析し、前記複数の画像の種類のいずれであるか識別する画像識別工程とを備え、前記第１のニューラルネットワークは、カルバック・ライブラー・ダイバージェンスを使用する損失関数に基づいて、第２のニューラルネットワークを使用して生成された偽画像データと、正規の訓練データとを使用し、前記正規の訓練データを正規の訓練データと識別し、前記偽画像データを偽画像データと識別する確率を高くするように学習され、前記第２のニューラルネットワークは、前記画像識別工程によって正規の訓練データと識別される確率の高い偽画像データを生成するように学習され、前記色変換処理工程は、前記識別の信頼度が予め設定されている閾値以上の場合には、前記識別された画像の種類に対応するカラーテーブルを使用して前記色変換処理を実行する工程と、前記識別の信頼度が前記閾値未満の場合には、前記識別された画像の種類に対応し、前記カラーテーブルの特徴が減殺されたカラーテーブルを使用して色変換処理を実行する工程とを有する。

本発明の画像処理プログラムは、複数の画像の種類に対して予め準備されている複数のカラーテーブルを有し、前記複数のカラーテーブルのいずれか１つを使用して画像データの色変換処理を実行する色変換処理部、第１のニューラルネットワークを有し、前記第１のニューラルネットワークで前記画像データを解析し、前記複数の画像の種類のいずれであるか識別する画像識別部として前記画像処理装置を機能させ、前記第１のニューラルネットワークは、カルバック・ライブラー・ダイバージェンスを使用する損失関数に基づいて、第２のニューラルネットワークを使用して生成された偽画像データと、正規の訓練データとを使用し、前記正規の訓練データを正規の訓練データと識別し、前記偽画像データを偽画像データと識別する確率を高くするように学習され、前記第２のニューラルネットワークは、前記画像識別部によって正規の訓練データと識別される確率の高い偽画像データを生成するように学習され、前記色変換処理部は、前記識別の信頼度が予め設定されている閾値以上の場合には、前記識別された画像の種類に対応するカラーテーブルを使用して前記色変換処理を実行し、前記識別の信頼度が前記閾値未満の場合には、前記識別された画像の種類に対応し、前記カラーテーブルの特徴が減殺されたカラーテーブルを使用して色変換処理を実行する。

本発明によれば、推論の外れに起因する弊害を抑制しつつ人工知能を利用する技術を提供することができる。

本発明の一実施形態に係る画像形成装置１００の機能構成を示すブロックダイアグラムである。 一実施形態に係るカラーテーブルの内容を示す説明図である。 一実施形態に係る拡張ＧＡＮ学習処理の内容を示すフローチャートである。 一実施形態に係る拡張ＧＡＮ学習処理における誤差逆伝播法の内容を示すブロックダイアグラムである。 一実施形態に係る拡張ＧＡＮ学習処理の内容を示す数式である。 一実施形態に係る画像形成処理の内容を示す説明図である。

以下、本発明を実施するための形態（以下、「実施形態」という）を、図面を参照して説明する。

図１は、本発明の一実施形態に係る画像形成装置１００の機能構成を示すブロックダイアグラムである。画像形成装置１００は、制御部１１０と、画像形成部１２０と、記憶部１４０と、画像読取部１５０と、通信インターフェース部１６０（通信Ｉ／Ｆとも呼ばれる。）とを備えている。画像読取部１５０は、原稿から画像を読み取ってデジタルデータである画像データＩＤを生成する。画像形成装置１００は、通信インターフェース部１６０とＬＡＮとを介して複数のパーソナルコンピュータ２００に接続されている。

パーソナルコンピュータ２００は、画像形成装置１００に対して印刷ジョブを送信し、画像形成装置１００に画像形成処理を実行させることができる。印刷ジョブは、たとえばページ記述言語（ＰＤＬ）で記述することができる。制御部１１０は、ページ記述言語で記述された印刷ジョブを解析して、印刷ジョブに含まれるテキスト（文字）やイメージ、ベクターグラフィックスといったオブジェクトを抽出し、描画処理やフォント処理を実行する。印刷ジョブは、画像形成ジョブとも呼ばれる。

画像形成部１２０は、色変換処理部１２１と、ハーフトーン処理部１２２と、カラーテーブル（色変換テーブルとも呼ばれる。）ＣＴ１〜ＣＴ６と、露光部１２４と、アモルファスシリコン感光体である感光体ドラム（像担持体）１２３ｃ〜１２３ｋと、現像部１２５ｃ〜１２５ｋと、帯電部１２６ｃ〜１２６ｋとを有している。色変換処理部１２１は、ＲＧＢ画像データである画像データＩＤや印刷ジョブ内のＲＧＢ画像データをＣＭＹＫデータに色変換する。ハーフトーン処理部１２２は、ＣＭＹＫデータにハーフトーン処理を実行してＣＭＹＫのハーフトーンデータとして印刷データＰＤを生成する。ハーフトーンデータは、ＣＭＹＫの各トナーによって形成されるドットの形成状態を表し、ドットデータとも呼ばれる。

記憶部１４０は、非一時的な記録媒体であるハードディスクドライブやフラッシュメモリー等からなる記憶装置で、制御部１１０が実行する処理の制御プログラム（画像処理プログラムを含む。）やデータを記憶する。記憶部１４０は、本実施形態では、さらに訓練データ格納領域Ｒ１及び獲得データ格納領域Ｒ２を有している。

制御部１１０は、ＲＡＭやＲＯＭ等の主記憶手段、及びＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の制御手段を備えている。また、制御部１１０は、各種Ｉ／Ｏ、ＵＳＢ（ユニバーサル・シリアル・バス）、バス、その他ハードウェア等のインターフェースに関連するコントローラ機能を備え、画像形成装置１００全体を制御する。

制御部１１０は、画像識別部１１１と偽データ生成部１１２と学習処理部１１３とを備えている。画像識別部１１１及び偽データ生成部１１２は、いずれもニューラルネットワークを有している。ニューラルネットワークは、誤差逆伝播法によって、パーセプトロンの重みやバイアスを調整し、隠れ層のニューロンを増やすことで学習することができる。ニューラルネットワークは、ＰｙｔｈｏｎやＴｅｎｓｏｒｆｌｏｗといったツールを使用して実装することができる。画像識別部１１１は、第１のニューラルネットワークを有し、偽データ生成部１１２は、第２のニューラルネットワークを有している。画像識別部１１１、偽データ生成部１１２及び学習処理部１１３の機能については後述する。

図２は、一実施形態に係るカラーテーブルの内容を示す説明図である。カラーテーブルＣＴ１〜ＣＴ６は、複数の画像の種類のいずれかに対応している。カラーテーブルＣＴ１〜ＣＴ６は、「文書＋図形」に対応する「文書＋図形」用のカラーテーブル、「文書＋写真」に対応する「文書＋写真」用のカラーテーブル、ＤＴＰに対応するＤＴＰ用のカラーテーブル、線画に対応する線画用のカラーテーブル、人物写真に対応する人物写真用のカラーテーブル及び標準のカラーテーブルである。

「文書＋図形」用のカラーテーブルＣＴ１は、文字輪郭の明確化及び図形（たとえばグラフ）の再現用（たとえば図形の均一なトーン）に特化されているカラーテーブルである。「文書＋写真」用のカラーテーブルＣＴ２は、文字輪郭の明確化及び写真の再現（たとえば写真の正確なグラデーションの再現等）に特化されているカラーテーブルである。ＤＴＰ用のカラーテーブルＣＴ３は、文字輪郭の明確化及び図形や写真の再現に特化されているカラーテーブルである。線画用のカラーテーブルＣＴ４は、線画の輪郭の明確化に特化されているカラーテーブルである。人物写真用のカラーテーブルＣＴ５は、記憶色を利用した肌色の再現に特化されているカラーテーブルである。標準のカラーテーブルＣＴ６は、特定の画像の種類に特化されていない再現を目的とするカラーテーブルである。複数のカラーテーブルＣＴ１〜ＣＴ６は、色変換テーブルとも呼ばれる。

図３は、一実施形態に係る拡張ＧＡＮ学習処理（ステップＳ１００）の内容を示すフローチャートである。図４は、一実施形態に係る拡張ＧＡＮ学習処理における誤差逆伝播法の内容を示すブロックダイアグラムである。ＧＡＮ学習処理は、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）の学習処理であり、ＧｅｎｅｒａｔｏｒとＤｉｓｃｒｉｍｉｎａｔｏｒと呼ばれる競合する２つの学習モデルを用いる学習処理である。ＧＡＮは、敵対的生成ネットワークとも呼ばれる。これにより、画像識別部１１１の第１のニューラルネットワークと偽データ生成部１１２の第２のニューラルネットワークとが学習されることになる。

本実施形態では、画像識別部１１１は、画像読取部１５０で読み取られた画像である読取画像が図２の表に示される複数の画像の種類のいずれであるか否かを識別するための学習を実行するものとする。偽データ生成部１１２は、上記複数の画像の種類のいずれかに似せた偽の画像を表す偽画像データを生成するものとする。この例では、ＧＡＮ学習処理（ステップＳ１００）は、一定の間隔、たとえば週に一度程度、金曜日のお昼休みの空き時間時に実行されるものとする。

ステップＳ１１０では、画像識別部１１１は、訓練データ取得処理を実行する。訓練データ取得処理は、画像識別部１１１及び偽データ生成部１１２の学習に使用される学習用のデータを取得する処理である。訓練データは、画像形成装置１００が設置される際に記憶部１４０の訓練データ格納領域Ｒ１に予め初期データとして格納されているデータと、その後に蓄積されているデータとを含んでいる。この例では、訓練データは、正規のデータである旨のラベルに紐づけられ、画像の種類を表すデータも含んでいる。

ステップＳ１２０では、画像識別部１１１は、獲得データ取得処理を実行する。獲得データ取得処理では、画像識別部１１１は、パーソナルコンピュータ２００から受信した印刷ジョブを利用して過去１週間に新たに獲得データ格納領域Ｒ２に格納された訓練データを取得する。訓練データは、学習処理部１１３によって獲得される。学習処理部１１３は、獲得データ格納領域Ｒ２に格納された訓練データを訓練データ格納領域Ｒ１に追加する。これにより、ユーザーによって高い頻度で使用される種類の画像の識別精度を高めることができる。

学習処理部１１３は、複数のパーソナルコンピュータ２００から受信したページ記述言語（ＰＤＬ）で記述された印刷ジョブを解析して、印刷ジョブに含まれるテキスト（文字）やイメージ（Ｊｐｅｇ）、ベクターグラフィックスといったオブジェクトに基づいて画像の種類を特定する。具体的には、画像識別部１１１は、たとえば印刷ジョブがテキストとベクターグラフィックスとを含んでいるときには、画像の種類が「文書＋図形」であり、テキストとイメージ（Ｊｐｅｇ）とを含んでいるときには、画像の種類が「文書＋写真」であり、テキストとベクターグラフィックスとイメージ（Ｊｐｅｇ）とを含んでいるときには、画像の種類が「ＤＴＰ」であると判断することができる。学習処理部１１３は、印刷ジョブから取得されたＲＧＢ画像データと識別された画像の種類とを紐づけて獲得データとして獲得データ格納領域Ｒ２に格納する。

ステップＳ１３０では、画像識別部１１１は、識別処理を実行する（図４参照）。識別処理では、画像識別部１１１は、第１のニューラルネットワークを使用し、訓練データ格納領域Ｒ１から入力されたラベル付きの画像データを解析し、画像データの識別処理を実行し、画像の種類を識別する。

ステップＳ１４０では、学習処理部１１３は、識別正否判定を実行する。識別正否判定では、学習処理部１１３は、（１）正規データである場合に、ラベルに表された画像の種類と画像識別部１１１の識別結果（正規データ且つ画像種類）とが一致した場合と、（２）偽データである場合に、画像識別部１１１の識別結果（偽データ）とが一致した場合には、正解とする。

学習処理部１１３は、（１）正規データである場合に、ラベルに表された画像の種類と画像識別部１１１の識別結果（偽データ）との少なくとも一方が一致しなかった場合と、（２）偽データである場合に、画像識別部１１１の識別結果（正規データ）とが一致しなかった場合には、不正解とする。

ステップＳ１５０では、学習処理部１１３は、識別器学習処理を実行する。識別器学習処理では、識別正否判定に基づいて損失関数ＬＦ（図４参照）を使用して画像識別部１１１の学習処理を実行する。

図５は、一実施形態に係る拡張ＧＡＮ学習処理の内容を示す数式である。数式Ｆ１は、比較例に係る一般的なＧＡＮ学習内容を数式で表したものである。数式Ｆ１において、Ｄは識別部（ｄｉｓｃｒｉｍｉｎａｔｏｒ）で、Ｇはデータ生成部（ｇｅｎｅｒａｔｏｒ）で、ｘは訓練データで、ｚは潜在変数（ノイズ）である。Ｇは、潜在変数ｚを入力として偽データを生成し、Ｄ（ｘ）は、識別結果として各データが訓練データである確率を表している。

比較例に係るＧＡＮ学習は、識別部Ｄの学習として、数式Ｆ１の出力としての確率変数（Ｔ３：本物データを本物と識別する確率とＴ４：偽データを偽物と識別とする確率）を最大化（Ｔ１：識別能力の最大化）するように誤差逆伝播法で学習する（図４参照）。

一実施形態に係る拡張ＧＡＮ学習処理は、損失関数ＬＦを使用している点で一般的なＧＡＮ学習処理と相違している（非特許文献２）。数式Ｆ２は、一実施形態に係る拡張ＧＡＮ学習内容を数式で表したものである。一実施形態に係る拡張ＧＡＮ学習内容は、一般的なＧＡＮ学習処理で損失関数として使用される（ｂ）項に加えて、（ａ）項を有している点で一般的なＧＡＮ学習処理と相違している。（ａ）項は、ＫＬ損失、すなわちカルバック・ライブラー・ダイバージェンス損失を表す項である。

ステップＳ１６０では、偽データ生成部１１２は、偽データ生成処理を実行する。偽データ生成処理では、偽データ生成部１１２は、たとえば正規分布や一様分布から取り出した潜在変数（ノイズ）を入力し、第２のニューラルネットワークを使用し、偽の画像データとして偽データを生成する。ステップＳ１７０では、画像識別部１１１は、偽データについて識別処理を実行する。

ステップＳ１８０では、学習処理部１１３は、識別正否判定を実行する。識別正否判定では、学習処理部１１３は、生成された偽データが正規データと識別された場合には、成功とし、生成された偽データが偽データと識別された場合には、失敗とする。

ステップＳ１９０では、学習処理部１１３は、偽データ生成部学習処理を実行する。偽データ生成部学習処理では、学習処理部１１３は、画像識別部１１１での識別の成否に基づいて偽データ生成部１１２の学習処理を実行する（図４参照）。

学習処理部１１３は、損失関数ＬＦを使用し、すなわち数式Ｆ２の出力としての確率変数（Ｔ４：偽データを偽物と識別）等を最小化（Ｔ２：識別能力の最小化）するように偽データ生成部１１２の学習を実行する。

カルバック・ライブラー・ダイバージェンスは、カルバック・ライブラー情報量とも呼ばれ、２つの確率分布の差異（疑似的な距離）を表している。（ａ）項のＫＬ（Ｕ（ｙ）｜｜Ｐθ（ｙ｜ｘ））は、一様分布と偽データ生成部１１２によって生成される偽画像データの分布の差異を示している。（ａ）項は、一様分布に従って外れ値に相当する偽データを生成しようとさせる一方、（ｂ）項は、訓練データの分布から離れた偽データの損失を大きくするので、外れ値に相当する偽データの生成を実現する一方、特に訓練データの分布の境界（端）（Ｂｏｕｎｄａｒｙ）の近傍領域での偽データの生成が促進されることになる（非特許文献２：第２．２章 ＡＤＶＥＲＳＡＲＩＡＬ ＧＥＮＥＲＡＴＯＲ ＦＯＲ ＯＵＴ−ＯＦ−ＤＩＳＴＲＩＢＵＴＩＯＮ参照）。偽画像データは、単に偽データとも呼ばれる。

これにより、一実施形態に係る拡張ＧＡＮ学習処理は、分布から外れた外れ値、すなわち学習モデルに対して想定外の画像の識別において高い予測信頼度で誤認識する現象を顕著に抑制することができる。

図６は、一実施形態に係る画像形成処理（ステップＳ２００）の内容を示す説明図である。本画像形成処理は、スキャン画像に適したカラーテーブルを自動的に選択して印刷媒体上に画像を形成することができる。

ステップＳ２１０では、画像形成装置１００は、画像読取処理を実行する。画像読取処理では、画像読取部１５０は、スキャン画像として、原稿から画像を読み取ってデジタルデータである画像データＩＤを生成する。画像データＩＤは、０乃至２５５の２５６階調のＲＧＢ画像データである。

ステップＳ２２０では、画像識別部１１１は、画像分類処理を実行する。画像分類処理では、画像識別部１１１は、スキャン画像を解析し、カラーテーブルＣＴ１〜ＣＴ５のいずれの使用に適しているか分類する。

ステップＳ２３０では、色変換処理部１２１は、高い信頼度で分類できたか否かを判断する。具体的には、色変換処理部１２１は、信頼度が閾値Ｔｈ（たとえば８０％）以上でカラーテーブルＣＴ１〜ＣＴ５のいずれの使用に適していると分類できたか否かを判断する。

色変換処理部１２１は、閾値Ｔｈ以上の信頼度で分類できた場合には、処理をステップＳ２４０に進め、閾値未満の信頼度であった場合には、処理をステップＳ２５０に進める。この例では、画像識別部１１１は、閾値Ｔｈ以上の信頼度でスキャン画像が人物写真を表していると推定したものとする。

ステップＳ２４０では、色変換処理部１２１は、カラーテーブル切替処理を実行する。カラーテーブル切替処理では、色変換処理部１２１は、初期設定である標準のカラーテーブルＣＴ６から人物写真用のカラーテーブルＣＴ５に切り替える。カラーテーブルＣＴ６は、特定の画像の種類に特化されていない再現を目的とするカラーテーブルである。

なお、信頼度が閾値Ｔｈ未満の場合には、初期設定である標準のカラーテーブルＣＴ６が使用されるので、推論の外れに起因して誤ったカラーテーブルを選択することに起因する弊害を抑制することができる。

ステップＳ２５０では、色変換処理部１２１は、人物写真用のカラーテーブルＣＴ５を使用して色変換処理を実行する。色変換処理では、色変換処理部１２１は、ＲＧＢ画像データを画像形成部１２０が使用する色材で再現可能なＣＭＹＫ画像データに変換する。

ステップＳ２６０では、ハーフトーン処理部１２２は、ＣＭＹＫ画像データに対して組織的ディザや誤差拡散といった処理を実行して、画像形成部１２０がトナードットで再現可能な階調数に減色する。これにより、ハーフトーン処理部１２２は、ドットの形成状態を表すドットデータを生成する。

ステップＳ２７０では、画像形成部１２０は、露光部１２４、感光体ドラム１２３ｃ〜１２３ｋ、現像部１２５ｃ〜１２５ｋ及び帯電部１２６ｃ〜１２６ｋを使用して電子写真プロセスでドットデータに基づいて印刷媒体上に画像を形成する。印刷媒体は、画像形成媒体とも呼ばれる。

このように、本実施形態に係る画像形成装置１００は、ニューラルネットの推論に基づいてカラーテーブルを自動的に選択することができる一方、分布から外れた外れ値、すなわち学習モデルに対して想定外の画像の識別において高い予測信頼度で誤認識する現象を顕著に抑制することができる。これにより、画像形成装置１００は、信頼度の低い推論結果に応じて標準のカラーテーブルを使用することができるので、推論の外れに起因する弊害を顕著に抑制することができる。

本発明は、上記各実施形態だけでなく、以下のような変形例でも実施することができる。

変形例１：上記実施形態では、５つの画像の種類に対してカラーテーブルＣＴ１〜ＣＴ５が予め準備されているが、必ずしもこれらの画像の種類に限定されない。具体的には、カラーテーブルには、たとえば「鮮やか（花の写真等）」といった画像に高い彩度が望まれるといった意図や青空や海を記憶色で鮮やかに表したい画像、草原や野山を記憶色で鮮やかに表したい画像といった画像の意図の推測に基づくカラーテーブルであってもよい。

すなわち、複数の画像の種類は、画像データによって表される画像を所定の方法で再現することが意図されている特定の種類を含み、色変換処理部は、画像識別部による特定の種類の識別に応じて、所定の方法で再現するためのカラーテーブルを選択するように構成されていてもよい。

記憶色は、人間がイメージとして記憶した色であり、実際の正確な色とは異なる。人間は、視覚で認識した色よりも色鮮やかに記憶する傾向があるので、このイメージを再現するための色が記憶色である。

変形例２：上記実施形態や変形例では、推定の信頼度が閾値未満の場合には、標準のカラーテーブルが使用されているが、必ずしも標準のカラーテーブルの使用に限定されない。具体的には、たとえば最も近い分類のカラーテーブルの特徴であって、減殺（抑制）された特徴を有するカラーテーブル、すなわち特徴が抑制されたカラーテーブルを使用して色変換処理を実行してもよい。なお、標準のカラーテーブルは、任意の画像の再現に使用可能な共通なカラーテーブルであり、特徴が抑制されたカラーテーブルに含まれる。

変形例３：上記実施形態や変形例では、制御部は偽データ生成部と学習処理部とを有しているが、学習処理部は本発明に必須の要素ではない。本発明は、予め学習が行われた画像識別部を有するものであれば良い。具体的には、たとえば学習済みの画像識別部を有する組み込み機器を画像形成装置に実装しても良いし、学習済みのニューラルネットワークをダウンロードして画像形成装置に実装しても良い。

変形例４：上記実施形態や変形例では、本発明は、画像形成装置に適用されているが、画像読取装置や画像処理装置にも適用可能である。

１００ 画像形成装置
１１０ 制御部
１１１ 画像識別部
１１２ 偽データ生成部
１１３ 学習処理部
１２０ 画像形成部
１２１ 色変換処理部
１２２ ハーフトーン処理部
１４０ 記憶部
１５０ 画像読取部
１６０ 通信インターフェース部
２００ パーソナルコンピュータ

Claims (8)

1. 複数の画像の種類に対して予め準備されている複数のカラーテーブルを有し、前記複数のカラーテーブルのいずれか１つを使用して画像データの色変換処理を実行する色変換処理部と、
   第１のニューラルネットワークを有し、前記第１のニューラルネットワークで前記画像データを解析し、前記複数の画像の種類のいずれであるか識別する画像識別部と、
   を備え、
   前記第１のニューラルネットワークは、カルバック・ライブラー・ダイバージェンスを使用する損失関数に基づいて、第２のニューラルネットワークを使用して生成された偽画像データと、正規の訓練データとを使用し、前記正規の訓練データを正規の訓練データと識別し、前記偽画像データを偽画像データと識別する確率を高くするように学習され、
   前記第２のニューラルネットワークは、前記画像識別部によって正規の訓練データと識別される確率の高い偽画像データを生成するように学習され、
   前記色変換処理部は、前記識別の信頼度が予め設定されている閾値以上の場合には、前記識別された画像の種類に対応するカラーテーブルを使用して前記色変換処理を実行し、前記識別の信頼度が前記閾値未満の場合には、前記識別された画像の種類に対応し、前記カラーテーブルの特徴が減殺されたカラーテーブルを使用して色変換処理を実行する画像処理装置。
2. 請求項１記載の画像処理装置であって、さらに、
   前記第２のニューラルネットワークで偽画像データを生成する偽データ生成部と、
   カルバック・ライブラー・ダイバージェンスを使用する損失関数に基づいて、前記正規の訓練データと前記偽画像データを使用し、前記正規の訓練データを正規の訓練データと識別し、前記偽画像データを偽画像データと識別する確率を高くするように前記第１のニューラルネットワークを学習させ、前記画像識別部によって正規の訓練データと識別される確率の高い偽画像データを生成するように前記第２のニューラルネットワークを学習させる学習処理部と、
   を備える画像処理装置。
3. 請求項１又は２記載の画像処理装置であって、
   前記複数の画像の種類は、前記画像データによって表される画像を所定の方法で再現することが意図されている特定の種類を含み、
   前記色変換処理部は、前記画像識別部による前記特定の種類の識別に応じて、前記所定の方法で再現するためのカラーテーブルを選択する画像処理装置。
4. 請求項１乃至３のいずれか１項に記載の画像処理装置であって、
   前記カラーテーブルの特徴が減殺されたカラーテーブルは、任意の画像の再現に使用可能な共通なカラーテーブルである画像処理装置。
5. 原稿上の画像を読み取って読取画像を表す画像データを生成する画像読取部と、
   前記画像データの色変換処理を実行する請求項１乃至４のいずれか１項に記載の画像処理装置と、
   を備える画像読取装置。
6. 画像形成ジョブの受信に応じて画像形成媒体上に画像を形成することが可能な画像形成装置であって、
   請求項５記載の画像読取装置を備え、
   前記画像読取装置は、カルバック・ライブラー・ダイバージェンスを使用する損失関数に基づいて、前記正規の訓練データと前記偽画像データを使用し、前記正規の訓練データを正規の訓練データと識別し、前記偽画像データを偽画像データと識別する確率を高くするように前記第１のニューラルネットワークを学習させ、前記画像識別部によって正規の訓練データと識別される確率の高い偽画像データを生成するように前記第２のニューラルネットワークを学習させる学習処理部を有し、
   前記画像形成ジョブは、ページ記述言語で記述されており、
   前記学習処理部は、前記ページ記述言語で記述された画像形成ジョブを解析して、前記複数の画像の種類のいずれであるか識別し、
   前記学習処理部は、前記画像形成ジョブから取得されたＲＧＢ画像データと前記識別された画像の種類とを紐づけて前記正規の訓練データに追加する画像形成装置。
7. 複数の画像の種類に対して予め準備されている複数のカラーテーブルを有し、前記複数のカラーテーブルのいずれか１つを使用して画像データの色変換処理を実行する色変換処理工程と、
   第１のニューラルネットワークを有し、前記第１のニューラルネットワークで前記画像データを解析し、前記複数の画像の種類のいずれであるか識別する画像識別工程と、
   を備え、
   前記第１のニューラルネットワークは、カルバック・ライブラー・ダイバージェンスを使用する損失関数に基づいて、第２のニューラルネットワークを使用して生成された偽画像データと正規の訓練データとを使用し、前記正規の訓練データを正規の訓練データと識別し、前記偽画像データを偽画像データと識別する確率を高くするように学習され、
   前記第２のニューラルネットワークは、前記画像識別工程によって正規の訓練データと識別される確率の高い偽画像データを生成するように学習され、
   前記色変換処理工程は、前記識別の信頼度が予め設定されている閾値以上の場合には、前記識別された画像の種類に対応するカラーテーブルを使用して前記色変換処理を実行する工程と、前記識別の信頼度が前記閾値未満の場合には、前記識別された画像の種類に対応し、前記カラーテーブルの特徴が減殺されたカラーテーブルを使用して色変換処理を実行する工程とを有する画像処理方法。
8. 画像処理装置を制御する画像処理プログラムであって、
   複数の画像の種類に対して予め準備されている複数のカラーテーブルを有し、前記複数のカラーテーブルのいずれか１つを使用して画像データの色変換処理を実行する色変換処理部、
   第１のニューラルネットワークを有し、前記第１のニューラルネットワークで前記画像データを解析し、前記複数の画像の種類のいずれであるか識別する画像識別部として前記画像処理装置を機能させ、
   前記第１のニューラルネットワークは、カルバック・ライブラー・ダイバージェンスを使用する損失関数に基づいて、第２のニューラルネットワークを使用して生成された偽画像データと正規の訓練データとを使用し、前記正規の訓練データを正規の訓練データと識別し、前記偽画像データを偽画像データと識別する確率を高くするように学習され、
   前記第２のニューラルネットワークは、前記画像識別部によって正規の訓練データと識別される確率の高い偽画像データを生成するように学習され、
   前記色変換処理部は、前記識別の信頼度が予め設定されている閾値以上の場合には、前記識別された画像の種類に対応するカラーテーブルを使用して前記色変換処理を実行し、前記識別の信頼度が前記閾値未満の場合には、前記識別された画像の種類に対応し、前記カラーテーブルの特徴が減殺されたカラーテーブルを使用して色変換処理を実行する画像処理プログラム。