JP2022051008A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】画像データを補正する画像処理を画像データに実行する場合において、常に一定の補正度合いに従って画像データを補正する場合と比べて、画像データに適合する画像処理を画像データに実行することを目的とする。【解決手段】プロセッサは、画像データに表されている対象物を推定するための学習モデルを用いて、処理対象の画像データに表されている対象物を推定し、対象物の推定の正解の確率に応じて、画像データを補正する補正処理のその補正の度合いを変えて、画像データに画像処理を実行する。【選択図】図１

Description

本発明は、情報処理装置及びプログラムに関する。

画像データを出力する場合（例えば画像データを印刷する場合）、画像データを補正する画像処理（例えばスムージングや彩度補正や肌補正等）が実行されることがある。

特許文献１には、画像データを解析し、その解析結果をホワイトバランスの補正に利用する装置が記載されている。

特許文献２には、分類対象データの信頼度である第１信頼度と、分類対象データに関連付けられたラベルの信頼度である第２信頼度とに基づいて、分類対象データとラベルとを含む学習データの信頼度である学習データ信頼度を算出し、複数の学習データと学習データ信頼度とに基づいて、分類対象データにラベル付けを行う分類モデルを構築する装置が記載されている。

特許文献３には、画像データの付帯情報に基づいて、画像を複数の小領域に分割し、分割された小領域のそれぞれについて特徴量を抽出し、抽出された特徴量に基づいて、小領域それぞれのカテゴリを判別する装置が記載されている。

特開２０１３－２１５３４号公報 特開２０１９－４６０５８号公報 特開２０１７－５３８９号公報

ところで、より好ましい画像データ（例えば、ユーザの意図した印象に近い印象を有する画像データや、対象物が鮮明に表現される画像データ等）が出力されるように、画像データの特徴（例えば、色やシーン（例えば屋内や屋外）等）を判定し、ある一定の補正の度合いに従って、その特徴に応じた補正を画像データに実行することが考えられる。しかし、画像データが複雑な場合（例えば、複数の対象物が画像データに表されている場合や、対象物やシーンの判定が困難な場合等）、特徴の判定を誤ることがある。その場合、誤った判定に応じた補正が画像データに実行されたり、実行されるべき補正が画像データに実行されなかったりして、必ずしも、より好ましい画像データが得られるとは限らない。

本発明の目的は、画像データを補正する画像処理を画像データに実行する場合において、常に一定の補正度合いに従って画像データを補正する場合と比べて、画像データに適合する画像処理を画像データに実行することにある。

請求項１に係る発明は、プロセッサを有し、前記プロセッサは、画像データに表されている対象物を推定するための学習モデルを用いて、処理対象の画像データに表されている対象物を推定し、前記対象物の推定の正解の確率に応じて、前記画像データを補正する画像処理のその補正の度合いを変えて、前記画像データに画像処理を実行する、情報処理装置である。

請求項２に係る発明は、前記プロセッサは、正解の確率が下がるほど、補正の度合いを低くする、ことを特徴とする請求項１に記載の情報処理装置である。

請求項３に係る発明は、前記プロセッサは、前記対象物に応じて補正の度合いを変える、ことを特徴とする請求項１又は請求項２に記載の情報処理装置である。

請求項４に係る発明は、補正の度合いを決定するための調整量であって正解の確率に応じた調整量が定められており、正解の第１確率に対応する第１調整量は、前記第１確率よりも低い確率である第２確率に対応する第２調整量以上であり、前記第１確率と前記第２確率との間の確率に対応する調整量は、一定、又は、前記第１確率から前記第２確率にかけて増大し、前記プロセッサは、正解の確率に対応する調整量に基づいて決定された度合いに従って、前記画像データを補正する、ことを特徴とする請求項１に記載の情報処理装置である。

請求項５に係る発明は、前記プロセッサは、更に、前記対象物に応じて前記調整量を変える、ことを特徴とする請求項４に記載の情報処理装置である。

請求項６に係る発明は、前記プロセッサは、更に、前記対象物に応じて画像処理を変える、ことを特徴とする請求項１から請求項５のいずれか一項に記載の情報処理装置である。

請求項７に係る発明は、前記プロセッサは、更に、ユーザが補正の度合いを調整するためのユーザインターフェースを提供し、正解の確率に応じた補正の度合いを、前記ユーザインターフェースに反映させる、ことを特徴とする請求項１から請求項６のいずれか一項に記載の情報処理装置である。

請求項８に係る発明は、コンピュータが、画像データに表されている対象物を推定するための学習モデルを用いて、処理対象の画像データに表されている対象物を推定し、前記対象物の推定の正解の確率に応じて、前記画像データを補正する画像処理のその補正の度合いを変えて、前記画像データに画像処理を実行する、ように動作させるためのプログラムである。

請求項１，４，８に係る発明によれば、画像データを補正する画像処理を画像データに実行する場合において、常に一定の補正度合いに従って画像データを補正する場合と比べて、画像データに適合する画像処理が画像データに実行される。

請求項２に係る発明によれば、正解の確率に関わらず一定の度合いを用いる場合と比べて、画像データに適合する画像処理が画像データに実行される。

請求項３に係る発明によれば、対象物に関わらず一定の度合いを用いる場合と比べて、対象物に適合する画像処理が画像データに実行される。

請求項５に係る発明によれば、対象物に関わらず一定の調整量を用いる場合と比べて、対象物に適合する画像処理が画像データに実行される。

請求項６に係る発明によれば、対象物に適合する画像処理が画像データに実行される。

請求項７に係る発明によれば、正解の確率に応じた補正の度合いが反映されたユーザインターフェースがユーザに提供される。

本実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。 本実施形態に係る画像処理装置の機能的な構成を示すブロック図である。 本実施形態に係る画像処理装置による処理の流れを示すフローチャートを示す図である。 画像データの推定の結果の一例を示す図である。 推定の正解の確率と調整量との関係を示す図である。 推定の正解の確率と調整量との関係を示す図である。 推定の正解の確率と調整量との関係を示す図である。 推定の正解の確率と調整量との関係を示す図である。 画像処理の具体例を示す図である。 画像処理の具体例を示す図である。 画像処理の具体例を示す図である。 画像処理の具体例を示す図である。 画像処理の具体例を示す図である。 画像処理の具体例を示す図である。 画像処理の具体例を示す図である。 画像処理の具体例を示す図である。 ユーザインターフェースの一例を示す図である。 ユーザインターフェースの一例を示す図である。 ユーザインターフェースの一例を示す図である。 ユーザインターフェースの一例を示す図である。 ユーザインターフェースの一例を示す図である。 ユーザインターフェースの一例を示す図である。

図１を参照して、本実施形態に係る画像処理装置について説明する。図１には、本実施形態に係る画像処理装置１０のハードウェアの構成の一例が示されている。

画像処理装置１０は、情報処理装置の一例であり、例えば、ワークステーション、パーソナルコンピュータ（以下、「ＰＣ」と称する）、タブレットＰＣ、スマートフォン、又は、その他の装置（例えば、プリンタや、スキャナや、これらを含む複合機等）であってもよい。また、画像処理装置１０は、プリンタや複合機等の装置に組み込まれてもよい。

画像処理装置１０は、例えば、インターネットやＬＡＮ(Local Area Network)等の通信経路、又は、記憶場体等を介して、画像データを受け付け、その受け付けた画像データに対して画像処理を実行し、画像処理が実行された画像データを出力する。例えば、画像処理が実行された画像データは、プリンタや複合機に出力されてプリントされてもよいし、ディスプレイに出力されて表示されてもよいし、画像処理装置１０又は外部装置のメモリに記憶されてもよい。

図１に示すように、画像処理装置１０は、一例として、通信装置１２と、ＵＩ１４と、メモリ１６と、プロセッサ１８とを含む。

通信装置１２は、通信チップや通信回路等を有する通信インターフェースであり、他の装置に情報を送信する機能、及び、他の装置から送信されてきた情報を受信する機能を有する。通信装置１２による通信は、有線通信であってもよいし、無線通信であってもよい。

ＵＩ１４はユーザインターフェースであり、ディスプレイと操作装置とを含む。ディスプレイは、液晶ディスプレイやＥＬディスプレイ等である。操作装置は、キーボードや入力キーやマウスや操作パネル等である。ＵＩ１４は、ディスプレイと操作装置とを兼ね備えたタッチパネル等のＵＩであってもよい。

メモリ１６は、各種の情報を記憶する１又は複数の記憶領域を構成する装置である。メモリ１６は、例えば、ハードディスクドライブ、各種のメモリ（例えばＲＡＭやＤＲＡＭやＲＯＭ等）、その他の記憶装置（例えば光ディスク等）、又は、それらの組み合わせである。１又は複数のメモリ１６が、画像処理装置１０に含まれている。

プロセッサ１８は、画像処理装置１０の各部の動作を制御するように構成されている。プロセッサ１８は、メモリを有してもよい。

例えば、プロセッサ１８は、画像データに表されている対象物を推定するための学習モデルを用いて、処理対象の画像データに表されている対象物を推定し、当該対象物の推定の正解の確率に応じて、当該処理対象の画像データを補正する画像処理のその補正の度合いを変えて、当該処理対象の画像データに画像処理を実行するように構成されている。また、プロセッサ１８は、推定された対象物に応じた画像処理を決定する。

以下、図２を参照して、プロセッサ１８による処理について詳しく説明する。図２には、画像処理装置１０の機能的な構成の一例が示されている。

画像処理装置１０は、一例として、学習モデル２０と、判別部２２と、画像処理部２４とを含む。学習モデル２０を用いた処理、判別部２２、及び、画像処理部２４は、プロセッサ１８によって実現される。その実現のためにメモリ１６が用いられてもよい。

学習モデル２０は、画像データに表されている対象物を推定するためのモデルであり、例えば、ディープラーニングモデル等の機械学習モデルである。もちろん、機械学習モデル以外のモデルが学習モデル２０として用いられてもよい。公知の学習モデルが用いられてもよい。例えば、画像ＤＢ（データベース）２６に記憶されている複数の画像データを学習することで学習モデル２０が作成される。画像ＤＢ２６には、対象物を推定するための学習用の複数の画像データが記憶されており、当該複数の画像データを学習することで学習モデル２０が作成される。インターネット等の通信経路を介して取得された画像データが学習用の画像データとして用いられることで、学習モデル２０が作成されてもよい。

判別部２２は、処理対象の画像データ２８を受け付け、学習モデル２０を用いて、画像データ２８に表されている対象物を推定するように構成されている。その推定のために人工知能（ＡＩ）が用いられてもよい。推定される対象物は、どのような物であってもよい。例えば、対象物は、人、人以外の動物、植物、又は、建物や車や植物等の物体である。また、対象物の概念の範疇に、画像データに表されているシーンが含まれてもよい。シーンは、例えば屋内や屋外や風景等である。これらの対象物が画像データ２８から推定されるように、学習モデル２０が作成される。処理対象の画像データ２８は、例えばユーザによって指定される。もちろん、ユーザの指定によらずに、処理対象の画像データ２８が選択されてもよい。

また、判別部２２は、推定した対象物の推定の正解の確率を算出する。推定の正解の確率は、推定の確からしさ、つまり、推定の可能性の高さである。判別部２２による処理、つまり、学習モデル２０を用いて対象物を推定する処理は、公知の技術が用いられてもよい。例えば、排他予測、又は、マルチラベル予測が、対象物を推定する処理として用いられる。

排他予測は、画像データ２８から推定された全対象物の正解の確率の合計が、「１．０（つまり１００％）」になるように、各対象物の正解の確率を算出する予測処理である。

マルチラベル予測は、画像データ２８に表されている個々の対象物毎に個別的に正解の確率を算出する予測処理であって、全対象物の正解の確率の合計が必ずしも「１．０」になるとは限らない予測処理である。マルチラベル予測においては、例えば、予め定められた確率（つまり閾値）以上の確率が得られる推定結果を、対象物の推定結果として扱ってもよい。

また、判別部２２は、画像データ２８から推定された対象物に応じた画像処理を決定する。画像処理は、画像データ２８を補正する処理である。例えば、対象物毎に、実行される画像処理が予め定められており、対象物と当該対象物に実行される画像処理との対応付けを示す情報が、メモリ１６に予め記憶されている。画像処理は、例えば、ホワイトバランス調整、コントラスト調整、シャープネス調整、スムージング処理、彩度強調、又は、対象物の色補正（例えば、肌の色補正や空の色補正等）等である。もちろん、これら以外の処理が、本実施形態に係る画像処理の概念の範疇に含まれてもよい。例えば、対象物「人」に実行される画像処理は、肌色補正やスムージング処理であり、対象物「空」に実行される画像処理は、空色補正やスムージング処理であり、対象物「金属物」に実行される画像処理は、シャープネス処理であり、対象物「食品」に実行される画像処理は、彩度補正であり、対象物「動物」に実行される画像処理は、シャープネス処理である。

画像処理部２４は、処理対象の画像データ２８に対して、判別部２２によって決定され画像処理（つまり、画像データを補正する処理）を実行するように構成されている。例えば、画像処理部２４は、画像データ２８から推定された各対象物に対して、対象物に応じた画像処理を実行する。画像処理部２４は、対象物の推定の正解の確率に応じて、補正の度合いを変えて、画像データを補正する画像処理を画像データ２８に実行する。

補正の度合いは、補正の強度や補正量等で定められてもよい。例えば、補正の度合いは、予め定められた基準の度合い（例えば、推定の正解の確率が「１．０」のときの度合い）に、確率に応じた調整量を乗算することで得られる度合いである。その乗算は、判別部２２によって行われる。

確率と調整量とが１：１の線形の関係を有している場合、調整量は確率の値そのものであり、基準の度合いに調整量を乗算することは、基準の度合いに確率の値を乗算することと等しい。例えば、対象物の推定の正解の確率が「１．０（つまり１００％）」である場合、最大の度合いによって、画像データ２８に表されている対象物が補正される。一方、対象物の推定の正解の確率が「０．０（つまり０％）」である場合、画像データ２８に表されている対象物は補正されない。また、対象物の推定の正解の確率が「０．５（つまり５０％）」である場合、最大の度合いの半分の度合いによって、画像データ２８に表されている対象物が補正される。

確率と調整量とが１：１の線形の関係を有していない場合（例えば、その関係が、ステップ状の関係や曲線の関係である場合）、確率に対応する調整量が決定され、その決定された調整量が基準の度合いに乗算されることで、対象物に適用される補正の度合いが算出される。

判別部２２は、画像データ２８から対象物を推定する度に、その推定された対象物に適用される補正の度合いを算出してもよい。別の例として、推定の正解の確率に応じた補正の度合いが、予め定められていてもよい。この場合、判別部２２は、都度、補正の度合いを算出しない。例えば、正解の確率毎の補正の度合いを表す補正曲線やフィルタ等が、予め定められてもよい。

また、画像データ２８に適用される色変換処理が、画像データ２８を補正する画像処理として画像データ２８に実行されてもよい。色変換処理は、例えば、ＬＵＴ（ルックアップテーブル）を用いて実行される。例えば、判別部２２は、推定の正解の確率に応じたＬＵＴを算出してもよいし、確率毎のＬＵＴが予め定められてもよい。画像処理部２４は、確率に応じたＬＵＴを画像データ２８に適用することで画像データ２８の色変換を行ってもよい。

処理対象の画像データ２８に対して画像処理部２４によって画像処理が実行されることで、画像データ３０が生成される。画像データ３０は、例えば、プリンタや複合機に出力されてプリントされてもよいし、ディスプレイに出力されて表示されてもよいし、メモリに記憶されてもよい。

以下、図３を参照して、画像処理装置１０による処理の流れの一例について説明する。図３には、その処理の流れを示すフローチャートが示されている。

まず、判別部２２は、処理対象の画像データ２８を受け付け、学習モデル２０を用いて処理対象の画像データ２８を分析する（Ｓ０１）。より詳しく説明すると、判別部２２は、処理対象の画像データ２８に表されている各対象物を推定し、各対象物の推定の正解の確率を算出する。

判別部２２は、推定された各対象物に実行される画像処理を決定する（Ｓ０２）。また、判別部２２は、対象物毎に、推定の正解の確率に応じた補正の度合いを決定する（Ｓ０３）。ステップＳ０２，Ｓ０３の処理の順番は逆であってもよいし、同時であってもよい。

画像処理部２４は、判別部２２によって決定された補正の度合いに従って、判別部２２によって決定された画像処理を、処理対象の画像データ２８に対して実行する（Ｓ０４）。つまり、画像処理部２４は、対象物に応じて画像処理を変えて、処理対象の画像データ２８に対して画像処理を実行する。これにより、画像データ３０が生成される。

対象物毎に画像処理が定められ、推定の正解の確率に応じた度合いに従って、対象物に応じた画像処理が実行されることで、例えば、対象物がより対象物らしく表現されたり（例えば、人の肌の色がより理想的な色に近い色で表現されたり、空の色がより理想的な色に近い色で表現されたりする）、対象物がよりくっきり表現されたり、対象物がより鮮明に表現されたりする。もちろん、これらは一例に過ぎず、実行される画像処理に応じた結果が得られる。

以下、具体例を挙げて、本実施形態について更に詳しく説明する。

図４を参照して、画像データ２８の推定の結果について説明する。図４には、判別部２２によって画像データ２８から推定されたシーンと対象物とが示されている。具体的には、シーン及び対象物のそれぞれの推定の正解の確率と、シーン又は対象物に実行される画像処理とが、図４に示されている。

屋内、空がない屋外、及び、空がある屋外のそれぞれの推定の正解の確率が、画像データ２８に表されているシーンの推定の正解の確率として算出されている。シーンの推定の正解の確率は、例えば、排他予測による処理の結果である。シーン「屋内」の正解の確率は「０．０（つまり０．０％）」であり、シーン「空がない屋外」の正解の確率は「１．０（つまり１００％）」であり、シーン「空がある屋外」の正解の確率は「０．０（つまり０．０％）」である。つまり、画像データ２８に表されているシーンは、空がない屋外であると推定される。

シーン「屋内」に対応する画像処理は、ホワイトバランス調整である。シーン「空がない屋外」に対応する画像処理は、コントラスト調整である。シーン「空がある屋外」に対応する画像処理は、空の記憶色補正である。図４に示す例では、シーン「空がない屋外」の正解の確率が「１．０」であるため、処理対象の画像データ２８に表されているシーンには、正解の確率である「１．０」に対応する補正の度合いに従って、コントラスト調整が行われる。シーン「屋内」及び「空がない屋外」のそれぞれの正解の確率が「０．０」であるため、処理対象の画像データ２８には、ホワイトバランス調整と空の色補正は行われない。

また、人、光沢な物品、マットな物品、及び、食品のそれぞれの推定の正解の確率が、画像データ２８に表されている対象物の推定の正解の確率として算出されている。対象物の推定の正解の確率は、例えば、マルチラベル予測による処理の結果である。対象物「人」の正解の確率は「１．０（つまり１００％）」であり、対象物「光沢な物品」の正解の確率は「０．６（つまり６０％）」であり、対象物「マットな物品」の正解の確率は「０．４（つまり４０％）」であり、対象物「食品」の正解の確率は「０．０（つまり０．０％）」である。例えば、画像データ２８には、１００％の確率で「人」が表されており、６０％の確率で「光沢な物品」が表されており、４０％の確率で「マットな物品」が表されており、０％の確率で「食品」が表されている。

対象物「人」に対応する画像処理は、肌の記憶色補正である。対象物「光沢な物品」に対応する画像処理は、シャープネス処理である。対象物「マットな物品」に対応する画像処理は、スムージング処理である。対象物「食品」に対応する画像処理は、彩度強調である。図４に示す例では、処理対象の画像データ２８に表されていると推定される対象物「人」に、正解の確率である「１．０」に対応する補正の度合いに従って、肌の記憶色補正が行われる。また、処理対象の画像データ２８に表されていると推定される対象物「光沢な物品」に、正解の確率である「０．６」に対応する補正の度合いに従って、シャープネス処理が実行される。また、処理対象の画像データ２８に表されていると推定される対象物「マットな物品」に、正解の確率である「０．４」に対応する補正の度合いに従って、スムージング処理が実行される。また、処理対象の画像データ２８には、対象物「食品」が表されていないと推定されているため、彩度強調処理は実行されない。

以下、推定の正解の確率と、補正の度合いを決定するための調整量との関係について説明する。

図５には、推定の正解の確率と調整量との関係を表すグラフの一例が示されている。図５中のグラフの横軸は、推定の正解の確率を示しており、縦軸は調整量を示している。

図５に示す例では、推定の正解の確率と調整量は、１：１の線形の関係を有しており、正解の確率が高くなるほど、調整量が多くなる。ここでは一例として、正解の確率が「０．０」である場合、調整量は「０．０」であり、正解の確率が「１．０」である場合、調整量は「１．０」である。

対象物の正解の確率に対応する調整量が、予め定められた基準の補正の度合いに乗算されることで、当該対象物に対して実行される画像処理の補正の度合いが算出される。正解の確率が上がるほど、線形的に調整量が大きくなり、その結果、補正の度合いは高くなる。換言すると、正解の確率が下がるほど、線形的に調整量が小さくなり、その結果、補正の度合いは低くなる。

図６には、推定の正解の確率と調整量との別の関係を表すグラフが示されている。図６に示す例では、正解の確率が「０．０」～「０．４」の範囲では調整量は一定の「０．０」であり、正解の確率が「０．４」～「１．０」の範囲では、正解の確率に応じて調整量が線形的に増加する。つまり、正解の確率が「０．０」～「０．４」の範囲では、その確率を有する対象物に対して画像処理は実行されない。正解の確率が「０．４」～「１．０」の範囲では、正解の確率が上がるほど、線形的に調整量が大きくなり、その結果、補正の度合いは高くなる。また、正解の確率が「１．０」のとき調整量は「１．０」である。調整量が一定となる確率の範囲は、ユーザによって変更されてもよい。

図７には、推定の正解の確率と調整量との更に別の関係を表すグラフが示されている。図５に示す例では、調整量の最大値は「１．０」であるが、図７に示すように、調整量の最大値は、「１．０」未満の値（例えば「０．７」）であってもよい。図６に示す例においても同様である。また、調整量の最大値は、ユーザによって変更されてもよい。

図８には、推定の正解の確率と調整量との更に別の関係を表すグラフが示されている。図８に示す例では、調整量が、正解の確率が応じてステップ状に変わる。例えば、正解の確率が「０．０」～「０．４」の範囲では調整量は「０．０」であり、その確率を有する対象物に対して画像処理は実行されない。正解の確率が「０．４」～「０．７」の範囲では、調整量は一定の「０．３」であり、その確率を有する対象物に対して、その調整量に応じた補正の度合いに従って画像処理が実行される。正解の確率が「０．７」～「１．０」の範囲では、調整量は一定の「０．６」であり、その確率を有する対象物に対して、その調整量に応じた補正の度合いに従って画像処理が実行される。なお、これらの数値は一例に過ぎず、ユーザによって変更されてもよい。

図５から図８に示す例では、各グラフは線形のグラフ（つまり直線状のグラフ）であるが、各グラフは、非線形のグラフ（例えば曲線状のグラフ）であってもよいし、直線と曲線とを含むグラフであってもよい。例えば、各グラフは、下凸の形状を有しないグラフであればよい。

図５から図８に示されている関係は一例に過ぎない。例えば、正解の第１確率に対応する第１調整量が、第１確率よりも低い確率である第２確率に対応する第２調整量以上であり、第１確率と第２確率との間の確率に対応する調整量は、一定、又は、第１確率から第２確率にかけて増大してもよい。つまり、正解の確率と調整量との関係において、調整量が一定となる正解の確率の範囲が定められてもよいし、調整量が一定となる正解の確率の範囲が定められなくてもよい。また、調整量が一定となる確率の範囲が定められるか否かに関わらず、調整量は、全体として正解の確率に応じて増大する。

判別部２２は、処理対象の画像データ２８に表されている対象物に応じて、補正の度合いを変えてもよい。判別部２２は、同じ画像処理が実行される場合であっても、対象物に応じて補正の度合いを変えてもよい。例えば、判別部２２は、対象物に応じて、推定の正解の確率に応じた調整量を変える。具体例を挙げて説明すると、判別部２２は、対象物「花」と対象物「食品」とで調整量を変えてもよい。例えば、図５から図８のいずれかに示されているグラフが用いられる場合において、対象物「花」の調整量の最大値が「０．９」であり、対象物「食品」の調整量の最大値が「１．０」であってもよい。対象物によって、表現されるべき色彩の強度等が異なるため、そのような条件を考慮して、対象物毎に調整量が定められてもよい。別の例として、画像データ２８に表されているシーンが「昼」と「夜」とで、調整量の最大値を変えてもよい。対象物に応じて調整量を変えることで、対象物に応じて補正の度合いが変わる。画像処理として色変換処理が実行される場合、判別部２２は、対象物に応じて、その色変換処理に用いられるＬＵＴを変えてもよい。

以下、画像処理の具体例について説明する。

図９から図１１を参照して、画像処理の一例であるホワイトバランス調整について説明する。図９から図１１にはそれぞれ、補正前の画素値（つまり、ホワイトバランス調整が行われる前の画素値）と、補正後の画素値（つまり、ホワイトバランス調整が行われた後の画素値）とが示されている。横軸は補正前の画素値を示しており、縦軸は補正後の画素値を示している。ここでは画素値の一例として、Ｒ（赤）、Ｇ（緑）及びＢ（青）が用いられる。別の例として、Ｙ（イエロー）、Ｍ（マゼンタ）、Ｃ（シアン）及びＫ（ブラック）等が用いられてもよい。

図９から図１１のそれぞれにおいて、実線は、補正前のＲの値と補正後のＲの値との対応関係を示すグラフであり、点線は、補正前のＧの値と補正後のＧの値との対応関係を示すグラフであり、破線は、補正前のＢの値と補正後のＢの値との対応関係を示すグラフである。

図９には、推定の正解の確率が「１．０（つまり１００％）」のときのホワイトバランス調整用のグラフが示されている。例えば、調整量は「１．０」であり、ホワイトバランス調整の基準の補正の度合いに調整量「１．０」を乗算することで、図９に示されているグラフが得られる。正解の確率が「１．０」のときの補正後のＲ，Ｇ，Ｂのそれぞれの値は、補正前のＲ，Ｇ，Ｂのそれぞれの値とは異なる値である。したがって、ホワイトバランス調整が実行されると、その実行前とは異なる画素値が得られる。図９に示されているグラフは線形のグラフ（つまり直線状のグラフ）であるが、当該グラフは、非線形のグラフ（例えば曲線状のグラフ）であってもよいし、直線と曲線とを含むグラフであってもよい。なお、図９に示されているグラフに対応するＬＵＴが予め用意されてもよい。例えば、画像が全体的にオレンジ色である場合、ホワイトバランス調整を実行することで、Ｒ及びＧの値を減らす。なお、このホワイトバランスの調整方法は一例に過ぎず、他の公知の方法が用いられてもよい。

図１０には、推定の正解の確率が「０．５（つまり５０％）」のときのホワイトバランス調整用のグラフが示されている。例えば、調整量は「０．５」であり、ホワイトバランス調整の基準の補正の度合いに調整量「０．５」を乗算することで、図１０に示されるグラフが得られる。例えば、正解の確率が「０．５」のときのホワイトバランス調整の補正の度合いは、正解の確率が「１．０」のときのホワイトバランス調整の補正の度合いの半分である。なお、半分の値は一例に過ぎず、補正関数等を用いることで、補正の度合いを決定してもよい。正解の確率が「０．５」のときの補正後のＲ，Ｇ，Ｂのそれぞれの値は、補正前のＲ，Ｇ，Ｂのそれぞれの値とは異なる値である。したがって、ホワイトバランス調整が実行されると、その実行前とは異なる画素値が得られる。図１０に示されているグラフは線形のグラフ（つまり直線状のグラフ）であるが、当該グラフは、非線形のグラフ（例えば曲線状のグラフ）であってもよいし、直線と曲線とを含むグラフであってもよい。また、図１０に示されているグラフに対応するＬＵＴが予め用意されてもよい。

図１１には、推定の正解の確率が「０．０（０．０％）」のときのホワイトバランス調整用のグラフが示されている。調整量は「０．０」であり、ホワイトバランス調整の補正の度合いは「０．０」である。補正後のＲ，Ｇ，Ｂのそれぞれの値は、補正前のＲ，Ｇ，Ｂのそれぞれの値と同じ値である。つまり、正解の確率が「０．０」である対象物には、ホワイトバランス調整は実行されない。

正解の確率が上記以外の確率である場合も、その確率に応じた調整量に従って、ホワイトバランス調整用のグラフが作成される。

ホワイトバランス調整の対象となる対象物の推定の正解の確率が「１．０」である場合、画像処理部２４は、図９に示されているグラフに従って、対象物に対してホワイトバランス調整を実行する。より詳しく説明すると、画像処理部２４は、処理対象の画像データ２８を補正前の画像データとして受け付け、その画像データ２８に表されている対象物であってホワイトバランス調整の対象となる対象物のＲの値（つまり補正前のＲの値）を、補正前のＲの値と補正後のＲの値との対応関係に従って、補正後のＲの値に変える。つまり、画像処理部２４は、補正前のＲの値を入力値として受け付け、その補正前のＲの値に対応する補正後のＲの値を出力値として出力する。同様に、画像処理部２４は、補正前のＧの値を、補正前のＧの値と補正後のＧの値との対応関係に従って、補正後のＧに変える。つまり、画像処理部２４は、補正前のＧの値を入力値として受け付け、その補正前のＧの値に対応する補正後のＧの値を出力値として出力する。同様に、画像処理部２４は、補正前のＢの値を、補正前のＢの値と補正後のＢの値との対応関係に従って、補正後のＢに変える。つまり、画像処理部２４は、補正前のＢの値を入力値として受け付け、その補正前のＢの値に対応する補正後のＢの値を出力値として出力する。画像処理部２４は、補正後のＲ，Ｇ，Ｂの値を有する画像データ３０を生成し、その画像データ３０を出力する。

ホワイトバランス調整の対象となる対象物の推定の正解の確率が「０．５」である場合、画像処理部２４は、図１０に示されているグラフに従って、対象物に対してホワイトバランス調整を実行する。画像処理部２４は、正解の確率が「１．０」の場合と同様に、補正前のＲ，Ｇ，Ｂのそれぞれの値を補正後のＲ，Ｇ，Ｂのそれぞれの値に変えて、補正後のＲ，Ｇ，Ｂの値を有する画像データ３０を出力する。

ホワイトバランス調整の対象となる対象物の推定の正解の確率が「０．０」である場合、画像処理部２４は、ホワイトバランス調整を実行しない。つまり、補正前のＲ，Ｇ，Ｂの値（つまり入力値）と、補正後のＲ，Ｇ，Ｂの値（つまり出力値）は、同じ値であり、画像処理部２４は、入力値をそのまま出力値として出力する。

以下、図１２を参照して、画像処理の一例であるコントラスト調整について説明する。図１２には、補正前の画素値（つまり、コントラスト調整が行われる前の画素値）と、補正後の画素値（つまり、コントラスト調整が行われた後の画素値）とが示されている。横軸は補正前の画素値を示しており、縦軸は補正後の画素値を示している。ここでは画素値の一例として、Ｒ（赤）、Ｇ（緑）及びＢ（青）が用いられる。別の例として、Ｙ（イエロー）、Ｍ（マゼンタ）、Ｃ（シアン）及びＫ（ブラック）等が用いられてもよい。

図１２に示されている実線は、対象物の推定の正解の確率が「１．０（つまり１００％）」のときのコントラスト調整用のグラフであって、補正前のＲ，Ｇ，Ｂのそれぞれの値と補正後のＲ，Ｇ，Ｂのそれぞれの値との対応関係を示すグラフである。例えば、調整量は「１．０」であり、コントラスト調整用の基準の補正の度合いに調整量「１．０」を乗算することで、実線で示すグラフが得られる。正解の確率が「１．０」のときのグラフは曲線状のグラフであるが、当該グラフは、線形のグラフ（つまり直線状のグラフ）であってもよいし、直線と曲線とを含むグラフであってもよい。なお、実線で示すグラフに対応するＬＵＴが予め用意されてもよい。

図１２に示されている破線は、対象物の推定の正解の確率が「０．５（つまり５０％）」のときのコントラスト調整用のグラフであって、補正前のＲ，Ｇ，Ｂのそれぞれの値と補正後のＲ，Ｇ，Ｂのそれぞれの値との対応関係を示すグラフである。例えば、調整量は「０．５」であり、コントラスト調整用の基準の補正の度合いに調整量「０．５」を乗算することで、破線で示すグラフが得られる。例えば、正解の確率が「０．５」のときのコントラスト調整用の補正の度合いは、正解の確率が「１．０」のときのコントラスト調整用の補正の度合いの半分である。なお、半分の値は一例に過ぎず、補正関数等を用いることで、補正の度合いを決定してもよい。正解の確率が「０．５」のときのグラフは曲線状のグラフであるが、当該グラフは、線形のグラフ（つまり直線状のグラフ）であってもよいし、直線と曲線とを含むグラフであってもよい。また、破線で示すグラフに対応するＬＵＴが予め用意されてもよい。

図１２に示されている点線は、対象物の推定の正解の確率が「０．０（つまり０．０％）」のときのコントラスト調整用のグラフであって、補正前のＲ，Ｇ，Ｂのそれぞれの値と補正後のＲ，Ｇ，Ｂのそれぞれの値との対応関係を示すグラフである。調整量は「０．０」であり、コントラスト調整用の補正の度合いは「０．０」である。補正後のＲ，Ｇ，Ｂのそれぞれの値は、補正前のＲ，Ｇ，Ｂのそれぞれの値と同じ値である。つまり、正解の確率が「０．０」である対象物には、コントラスト調整は実行されない。

正解の確率が上記以外の確率である場合も、その確率に応じた調整量に従って、コントラスト調整用のグラフが作成される。

コントラスト調整の対象となる対象物の推定の正解の確率が「１．０」である場合、画像処理部２４は、実線で示すグラフに従って、対象物に対してコントラスト調整を実行する。より詳しく説明すると、画像処理部２４は、処理対象の画像データ２８を補正前の画像データとして受け付け、その画像データ２８に表されている対象物であってコントラスト調整の対象となる対象物のＲの値（つまり補正前のＲの値）を、補正前のＲの値と補正後のＲの値との対応関係に従って、補正後のＲの値に変える。つまり、画像処理部２４は、補正前のＲの値を入力値として受け付け、その補正前のＲの値に対応する補正後のＲの値を出力値として出力する。Ｇ，Ｂの値についても同様である。画像処理部２４は、補正後のＲ，Ｇ，Ｂの値を有する画像データ３０を生成し、その画像データ３０を出力する。

コントラスト調整の対象となる対象物の推定の正解の確率が「０．５」である場合、画像処理部２４は、破線で示すグラフに従って、対象物に対してコントラスト調整を実行する。画像処理部２４は、正解の確率が「１．０」の場合と同様に、補正前のＲ，Ｇ，Ｂのそれぞれの値を補正後のＲ，Ｇ，Ｂのそれぞれの値に変えて、補正後のＲ，Ｇ，Ｂの値を有する画像データ３０を出力する。

コントラスト調整の対象となる対象物の推定の正解の確率が「０．０」である場合、画像処理部２４は、コントラスト調整を実行しない。つまり、補正前のＲ，Ｇ，Ｂの値（つまり入力値）と、補正後のＲ，Ｇ，Ｂの値（つまり出力値）は、同じ値であり、画像処理部２４は、入力値をそのまま出力値として出力する。

以下、図１３から図１５を参照して、画像処理の一例である彩度強調について説明する。図１３から図１４にはそれぞれ、補正前の画素値（つまり、彩度強調が行われる前の画素値）と、補正後の画素値（つまり、彩度強調が行われた後の画素値）とが示されている。横軸は補正前の画素値を示しており、縦軸は補正後の画素値を示している。ここでは画素値の一例として、Ｒ（赤）、Ｇ（緑）及びＢ（青）が用いられる。別の例として、Ｙ（イエロー）、Ｍ（マゼンタ）、Ｃ（シアン）及びＫ（ブラック）等が用いられてもよい。

図１３には、対象物の推定の正解の確率が「１．０（つまり１００％）」のときの彩度強調用のグラフであって、補正前のＲ，Ｇ，Ｂのそれぞれの値と補正後のＲ，Ｇ，Ｂのそれぞれの値との対応関係を示すグラフが示されている。例えば、調整量は「１．０」であり、彩度強調の基準の補正の度合いに調整量「１．０」を乗算することで、図１３に示されているグラフが得られる。図１３に示されているグラフは、線形のグラフ（つまり直線状のグラフ）である。ここで、補正前の画素値を規定する横軸を基準とし、その横軸に対するグラフの傾きをθと定義すると、正解の確率が「１．０」のときのグラフの傾きは「θ１」である。傾きθ１は４５度ではない。そのため、補正後のＲ，Ｇ，Ｂのそれぞれの値は、補正前のＲ，Ｇ，Ｂのそれぞれの値と異なる値になる。なお、当該グラフは、非線形のグラフ（例えば曲線状のグラフ）であってもよいし、直線と曲線とを含むグラフであってもよい。また、図１３に示されているグラフに対応するＬＵＴが予め用意されてもよい。

図１４には、対象物の推定の正解の確率が「０．５（つまり５０％）」のときの彩度強調用のグラフであって、補正前のＲ，Ｇ，Ｂのそれぞれの値と補正後のＲ，Ｇ，Ｂのそれぞれの値との対応関係を示すグラフが示されている。例えば、調整量は「０．５」であり、彩度強調の基準の補正の度合いに調整量「０．５」を乗算することで、図１４に示されているグラフが得られる。図１４に示されているグラフは、線形のグラフ（つまり直線状のグラフ）である。正解の確率が「０．５」のときのグラフの傾きは「θ２」である。例えば、傾きθ２は、正解の確率が「１．０」のときの傾きθ１の半分の傾きである。傾きθ２は４５度でない。そのため、補正後のＲ，Ｇ，Ｂのそれぞれの値は、補正前のＲ，Ｇ，Ｂのそれぞれの値と異なる値となる。なお、当該グラフは、非線形のグラフ（例えば曲線状のグラフ）であってもよいし、直線と曲線とを含むグラフであってもよい。また、図１４に示されているグラフに対応するＬＵＴが予め用意されてもよい。

図１５には、対象物の推定の正解の確率が「０．０（つまり０．０％）」のときの彩度強調用のグラフであって、補正前のＲ，Ｇ，Ｂのそれぞれの値と補正後のＲ，Ｇ，Ｂのそれぞれの値との対応関係を示すグラフが示されている。調整量は「０．０」であり、彩度強調の補正の度合いは「０．０」である。正解の確率が「０．０」のときのグラフの傾きθ３は、４５度である。したがって、補正後のＲ，Ｇ，Ｂのそれぞれの値は、補正前のＲ，Ｇ，Ｂのそれぞれの値と同じである。つまり、正解の確率が「０．０」である対象物には、彩度強調は実行されない。

正解の確率が上記以外の確率である場合も、その確率に応じた調整量に従って、彩度強調用のグラフが作成される。

彩度強調の対象となる対象物の推定の正解の確率が「１．０」である場合、画像処理部２４は、図１３に示されているグラフに従って、対象物に対して彩度強調を実行する。より詳しく説明すると、画像処理部２４は、処理対象の画像データ２８を補正前の画像データとして受け付け、その画像データ２８に表されている対象物であって彩度強調の対象となる対象物のＲの値（つまり補正前のＲの値）を、補正前のＲの値と補正後のＲの値との対応関係に従って、補正後のＲの値に変える。つまり、画像処理部２４は、補正前のＲの値を入力値として受け付け、その補正前のＲの値に対応する補正後のＲの値を出力値として出力する。Ｇ，Ｂの値についても同様である。画像処理部２４は、補正後のＲ，Ｇ，Ｂの値を有する画像データ３０を生成し、その画像データ３０を出力する。

彩度強調の対象となる対象物の推定の正解の確率が「０．５」である場合、画像処理部２４は、図１４に示されているグラフに従って、対象物に対して彩度強調を実行する。画像処理部２４は、正解の確率が「１．０」の場合と同様に、補正前のＲ，Ｇ，Ｂのそれぞれの値を補正後のＲ，Ｇ，Ｂのそれぞれの値に変えて、補正後のＲ，Ｇ，Ｂの値を有する画像データ３０を出力する。

彩度強調の対象となる対象物の推定の正解の確率が「０．０」である場合、画像処理部２４は、彩度強調を実行しない。つまり、補正前のＲ，Ｇ，Ｂの値（つまり入力値）と、補正後のＲ，Ｇ，Ｂの値（つまり出力値）は、同じ値であり、画像処理部２４は、入力値をそのまま出力値として出力する。

以下、図１６を参照して、画像処理の一例である色補正について説明する。ここでは一例として、肌色補正について説明する。図１６には、画素値によって規定される色空間の一例が示されている。ここでは画素値の一例として、Ｒ（赤）、Ｇ（緑）及びＢ（青）が用いられており、図１６には、Ｒ，Ｇ，Ｂによって形成される３次元の色空間が示されている。別の例として、Ｙ（イエロー）、Ｍ（マゼンタ）、Ｃ（シアン）及びＫ（ブラック）等が画素値として用いられてもよい。

符号３２が指し示す画素値（Ｒ１，Ｇ１，Ｂ１）は、処理対象の画像データ２８に表されている対象物の画素値であって、肌色補正の対象となる対象物（例えば人の顔）の画素値である。つまり、画素値（Ｒ１，Ｇ１，Ｂ１）は、肌色補正が実行される前の肌の画素値である。

符号３４が指し示す画素値（Ｒ２，Ｇ２，Ｂ２）は、理想的な肌の色を表現するための画素値であって、肌色補正が実行された後の肌の画素値である。理想的な肌の色、及び、その色を表現するための画素値は、予め定められている。

符号３６が指し示す補正量ベクトル（ｄＲ，ｄＧ，ｄＢ）は、補正前の画素値（Ｒ１，Ｇ１，Ｂ１）を、理想的な画素値である補正後の画素値（Ｒ２，Ｇ２，Ｂ２）に変換するためのベクトルである。

肌色補正の対象となる対象物の推定の正解の確率が「１．０（つまり１００％）」である場合、画像処理部２４は、符号３６が指し示す補正量ベクトル（ｄＲ，ｄＧ，ｄＢ）に従って、対象物に対して肌色補正を実行する。

肌色補正の対象となる対象物の推定の正解の確率が「０．５（つまり５０％）」である場合、画像処理部２４は、符号３６が指し示す補正量ベクトル（ｄＲ，ｄＧ，ｄＢ）に「０．５」を乗算することで得られる補正量ベクトルに従って、対象物に対して肌色補正を実行する。

肌色補正の対象となる対象物の推定の正解の確率が「０．０（つまり０．０％）」である場合、画像処理部２４は、肌色補正を実行しない。

正解の確率が上記以外の確率である場合も、その確率に応じた調整量に従って、補正量ベクトルが算出される。

例えば、対象物が「人」であると推定された場合、その推定の正解の確率が「０．５」であれば、確率が「１．０」のときよりも程度の低い度合いに従って、その対象物の色が肌色補正される。その対象物が「人」である場合、肌色補正を全く行わない場合と比べて、その対象物の色が、より肌色に近い色で表現される。確率が「１．０」のときの度合いと比べると肌色補正の程度は弱くなるが、肌色補正を全く行わない場合と比べて、より肌色に近い色で対象物が表現される。仮に、その対象物が「人」ではない場合、肌色補正を行うべきではない対象物に対して肌色補正を行うことになるが、確率が「１．０」のときの度合いに従って肌色補正が行われる場合と比べて、画像処理の不適切さが低減される。このように、正解の確率に応じて補正の度合いを変えることで、肌色補正を行うときには確率が「１．０」のときの度合いに従って肌色補正を行う、又は、肌色補正を全く行わない、といった処理と比べて、対象物をより適切に表現する画像データが生成され得る。

上記の例では、肌色補正について説明したが、空色補正についても同様に実行されてもよい。この場合、符号３２が指し示す画素値（Ｒ１，Ｇ１，Ｂ１）は、画像データ２８に表されている対象物の画素値であって、空色補正の対象となる対象物（例えば空）の画素値である。符号３４が指し示す画素値（Ｒ２，Ｇ２，Ｂ２）は、理想的な空の色を表現するための画素値である。理想的な空の色、及び、その色を表現するための画素値は、予め定められている。画像処理部２４は、肌色補正と同様に、空色補正の対象となる対象物の推定の正解の確率に応じた補正量ベクトルに従って、対象物に対して空色補正を実行する。

上述したホワイトバランス調整、コントラスト調整、彩度強調、及び、色補正は、画像処理の一例に過ぎない。これら以外の画像処理として、例えば、シャープネス処理やスムージング処理が、処理対象の画像データ２８に対して実行されてもよい。

例えば、理想的なシャープネス処理を実行するためのシャープネスフィルタや、理想的なスムージング処理を実行するためのスムージングフィルタが作成される。

シャープネス処理の対象となる対象物の推定の正解の確率が「１．０（つまり１００％）」である場合、画像処理部２４は、理想的なシャープネスフィルタを対象物に適用する。シャープネス処理の対象となる対象物の推定の正解の確率が「０．５（つまり５０％）」である場合、画像処理部２４は、理想的なシャープネスフィルタに調整量「０．５」を乗算することで得られるフィルタを対象物に適用する。シャープネス処理の対象となる対象物の推定の正解の確率が「０．０（つまり０．０％）」である場合、画像処理部２４は、シャープネス処理を実行しない。

スムージング処理についても同様である。つまり、画像処理部２４は、スムージング処理の対象となる対象物の推定の正解の確率が「１．０」である場合、理想的なスムージングフィルタを対象物に適用し、その確率が「０．５」である場合、理想的なスムージングフィルタに調整量「０．５」を乗算することで得られるフィルタを対象物に適用し、その確率が「０．０」である場合、スムージング処理を実行しない。確率がこれら以外の値の場合も同様である。

以下、図１７から図２２を参照して、本実施形態にて提供されるユーザインターフェースについて説明する。図１７から図２２には、ユーザインターフェースの一例である画面が示されている。

プロセッサ１８は、ユーザが補正の度合いを調整するためのユーザインターフェース（例えば画面）を提供する。当該ユーザインターフェースは、例えば、画像処理装置１０のディスプレイに表示される。当該ユーザインターフェースのデータが、画像処理装置１０からユーザが利用する端末装置（例えばＰＣ）に送信され、当該ユーザインターフェースが、当該端末装置のディスプレイに表示されてもよい。プロセッサ１８は、更に、対象物の正解の確率に応じた補正の度合いを、当該ユーザインターフェースに反映させてもよい。

図１７に示されている画面３８は、画像処理装置１０が処理対象の画像データ２８を受け付ける前の状態を表す画面であり、ディスプレイに表示される。

画面３８には表示領域４０が設けられている。画像処理装置１０が処理対象の画像データ２８を受け付けると、その画像データ２８に基づく画像が、表示領域４０に表示される。

また、画面３８には、ボタン４２，４４，４６，４８が表示されている。

ボタン４２は、画像データ２８の読み込みを指示するためのボタンである。ユーザによってボタン４２が押されると、画像処理装置１０は、処理対象の画像データ２８を読み込む。その画像データ２８に基づく画像が、表示領域４０に表示される。

ボタン４４は、画像変換の実施（つまり、上述した画像処理の実行）を指示するためのボタンである。ユーザによってボタン４４が押されると、画像処理装置１０は、処理対象の画像データ２８に対して、上述した画像処理を実行する。

ボタン４６は、画面３８上で設定された画像処理の条件をリセットするためのボタンである。ボタン４８は、画面３８上で設定された画像処理の条件を保存するためのボタンである。画像処理の条件は、例えば、画像処理を実行するか否かについての条件と、補正の度合いとを含む。ユーザによってボタン４６が押されると、画面３８上で設定された画像処理の条件がリセットされる。ユーザによってボタン４８が押されると、画面３８上で設定された画像処理の条件が保存される。

また、画面３８には、画像処理の度合いを設定する項目５０，５２，５４，５６が表示されている。項目５０は、スムージング処理の度合いを設定する項目である。項目５２は、シャープネス処理の度合いを設定する項目である。項目５４は、肌色補正の度合いを設定する項目である。項目５６は、空色補正の度合いを設定するための項目である。例えば、ユーザによって、各画像処理の度合いが設定される。各項目は、画像処理を実行するか否かを指示するためのチェックボックスと、補正の度合いを設定するための設定バーとを含む。

画像処理装置１０によって画像データ２８が読み込まれていない場合、プロセッサ１８は、例えば、ボタン４２を操作の対象として表示し、ボタン４２以外のボタン及び項目を、操作できない対象として表示する。例えば、プロセッサ１８は、ボタン４２以外のボタン及び項目をグレーアウトで表示し、ボタン４２をグレーアウトではなく、操作できる通常の表示形態で表示する。図１７には、その様子が示されている。プロセッサ１８は、ボタン４２に対する押下を受け付けるが、ボタン４２以外のボタンに対する押下、及び、各項目の設定を受け付けない。なお、プロセッサ１８は、ボタン４２以外のボタン及び項目を画面３８上に表示しなくてもよい。

ユーザがボタン４２を押すと、プロセッサ１８は、処理対象の画像データ２８を読み込む。例えば、原稿がスキャンされることで画像データ２８が生成され、プロセッサ１８は、そのスキャンによって生成された画像データ２８を受け付けてもよい。別の例として、プロセッサ１８は、インターネット等の通信経路、又は、記憶媒体を介して、処理対象の画像データ２８を受け付けてもよい。

画像処理装置１０によって画像データ２８が読み込まれると、図１８に示すように、その画像データ２８に基づく画像５８が画面３８に表示される。ここでは一例として、画像５８には、人及びその他の物体が表されており、画像５８に表されているシーンは、空のない屋外である。この段階で表示されている画像５８は、画像処理が実行される前の画像である。

画像データ２８が画像処理装置１０によって読み込まれた後であり、かつ、画像処理が実行される前においては、プロセッサ１８は、ボタン４２，４４を操作の対象として表示し、ボタン４２，４４以外のボタンを、操作できない対象として表示する。例えば、プロセッサ１８は、ボタン４２，４４以外のボタンをグレーアウトで表示し、ボタン４２，４４をグレーアウトではなく、操作できる通常の表示形態で表示する。

また、プロセッサ１８は、項目５０，５２，５４，５６のそれぞれについて、各項目の画像処理を実行するか否かを指示するためのチェックボックスを操作の対象として表示し、補正の度合いを設定するための設定バーを、操作できない対象として表示する。例えば、プロセッサ１８は、設定バーをグレーアウトで表示し、チェックボックスをグレーアウトではなく、操作できる通常の表示形態で表示する。図１８に示す例では、各項目のチェックボックスにて、「画像処理を実行しない」という内容が指定されている。

図１８に示されている画面３８上において、ユーザによってボタン４４が押されることで、画像処理の実行が指示された場合、プロセッサ１８は、処理対象の画像データ２８に対して画像処理を実行することで、画像処理が実行された後の（つまり補正された後の）画像データ３０を生成する。

図１９に示すように、画像処理が実行された後の画像データ３０に基づく画像６０が、表示領域４０に表示される。

プロセッサ１８は、画像データ２８を受け付けた後、上述した判別部２２による処理を実行する。つまり、プロセッサ１８は、画像データ２８に表されている各対象物を推定し、その推定の正解の確率を算出する。更に、プロセッサ１８は、推定された対象物に対応する画像処理を決定し、正解の確率に応じた調整量を特定し、その特定された調整量に基づいて補正の度合いを算出する。なお、上述したように、正解の確率に応じた補正の度合いが予め定められてもよい。判別部２２による処理は、プロセッサ１８が画像データ２８を受け付けた後、ボタン４４が押される前に実行されてもよいし、ボタン４４が押された後に実行されてもよい。

更に、プロセッサ１８は、上述した画像処理部２４による処理を実行する。つまり、プロセッサ１８は、画像データ２８に表されている対象物毎に、対象物の推定の正解の確率に応じた補正の度合いに従って、当該対象物に対応する画像処理を、当該対象物に対して実行する。その結果、画像データ３０が生成され、その画像データ３０に基づく画像６０が、表示領域４０に表示される。

画像処理が実行された後、プロセッサ１８は、ボタン４２，４４，４６，４８を操作の対象として表示する。例えば、プロセッサ１８は、ボタン４２，４４，４６，４８をグレーアウトではなく、操作できる通常の表示形態で表示する。

また、プロセッサ１８は、判別部２２による処理の結果を、ユーザインターフェースである画面３８に反映させる。例えば、プロセッサ１８は、画像処理の実行の有無、及び、補正の度合いを、画面３８に反映させる。

図１９に示す例では、判別部２２によって、スムージング処理及び空色補正を実行しないと判定されている。つまり、スムージング処理の対象となる対象物の推定の正解の確率が「０．０％」であり、同様に、空色補正の対象となる対象物の推定の正解の確率が「０．０％」であると判定されている。換言すると、処理対象の画像データ２８には、スムージング処理の対象となる対象物が表されていないと推定されており、同様に、空色補正の対象となる対象物（例えば空）が表されていないと推定されている。この場合、スムージング処理及び空色補正のそれぞれのチェックボックスにて、「画像処理を実行しない」とう内容が自動的に選択される。また、プロセッサ１８は、スムージング処理及び空色補正のそれぞれの設定バーを、操作できない対象として表示する（例えばグレーアウトで表示する）。

また、判別部２２によって、シャープネス処理及び肌色補正を実行すると判定されている。つまり、シャープネス処理の対象となる対象物の推定の正解の確率が、「０．０％」を超える値であり、同様に、肌色補正の対象となる対象物の推定の正解の確率が、「０．０％」を超える値であると判定されている。換言すると、処理対象の画像データ２８には、シャープネス処理の対象となる対象物が表されていると推定されており、同様に、肌色補正の対象となる対象物が表されていると推定されている。この場合、シャープネス処理及び肌色補正のそれぞれのチェックボックスにて、「画像処理を実行する」という内容が自動的に選択される。

また、プロセッサ１８は、シャープネス処理及び肌色補正のそれぞれの設定バーを、操作の対象として表示する。つまり、プロセッサ１８は、シャープネス処理及び肌色補正のそれぞれの設定バーをグレーアウトで表示せずに、操作できる通常の表示形態で表示する。

また、プロセッサ１８は、判別部２２によって決定された、シャープネス処理及び肌色補正のそれぞれの補正の度合いを、それぞれの設定バーに反映させる。補正の度合いが高いほど、設定バー上にて、より「強い」側の設定が選択される。例えば、シャープネス処理の補正の度合いは低いため、その設定バー上にて、より「弱い」側の設定が選択されている。また、肌色補正の度合いは高いため、その設定バー上にて、より「強い」側の設定が選択されている。

例えば、画像データ２８には、人と車が対象物として表されていると推定されている。対象物「人」に対応する画像処理は肌色補正であり、対象物「車」に対応する画像処理はシャープネス処理である。また、対象物「人」の正解の確率は高い。それ故、肌色補正の度合いが高く設定される。対象物「車」の正解の確率は低い。それ故、シャープネス処理の補正の度合いが低く設定される。このような設定が、画面３８上の各項目に反映される。画像処理部２４は、この設定に従って、処理対象の画像データ２８に対して、シャープネス処理と肌色補正を実行する。

なお、図１９に示されている画面３８上にて、ユーザが、スムージング処理のチェックボックスを操作することで、スムージング処理の実行を指示し、スムージング処理用の設定バーによって、補正の度合いを設定した場合、画像処理部２４は、その設定に従って、処理対象の画像データ２８に対してスムージング処理を実行する。

図１９に示されている画面３８上にて、ユーザが、リセットのボタン４６を押すと、画面３８は、図１８に示されている画面３８に戻る。また、ボタン４４，４６が、画像処理の実行の有無を指示するためのボタンとして用いられてもよい。

図１９に示されている画面３８上にて、シャープネス処理の補正の度合い、及び、肌色補正の度合いが、ユーザによって変更されてもよい。図２０には、補正の度合いがユーザによって変更された後の状態が示されている。ここでは一例として、シャープネス処理及び肌色補正の両方の度合いが、より「強い」側に設定されている。

図２０に示すように、ユーザによって補正の度合いが変更されると、プロセッサ１８は、その変更後の度合いに従って、処理対象の画像データ２８に対してシャープネス処理及び肌色補正を実行し、補正後の画像データ３０を生成する。その画像データ３０に基づく画像６０が、表示領域４０に表示される。このとき表示される画像６０は、ユーザによって指定された補正の度合いが反映された画像である。

また、図２１に示すように、プロセッサ１８は、補正前の画像５８と補正後の画像６０とを並べて画面３８上に表示してもよい。画面３８には、補正前の画像が表示される表示領域４０Ａと、補正後の画像が表示される表示領域４０Ｂとが、並べて設けられる。補正前の画像５８は表示領域４０Ａに表示され、補正後の画像６０は表示領域４０Ｂに表示される。このように、画像５８，６０を見比べることができるように、画像５８，６０を並べて表示してもよい。

処理対象の画像データ２８は、複数のページを含む画像データであってもよい。この場合、画面３８上には、当該複数のページの全部又は一部のページの画像が表示される。以下、図２２を参照して、この処理について説明する。

図２２に示すように、画面３８上には、表示領域４０Ａと表示領域４０Ｂとが設定されている。表示領域４０Ａには、補正前の画像データ２８に含まれる各ページの画像（例えば、画像５８Ａ，５８Ｂ）が表示される。表示領域４０Ｂには、補正後の画像データ３０に含まれる各ページの画像（例えば、画像６０Ａ，６０Ｂ）が表示される。表示領域４０Ａ，４０Ｂには、全ページの画像が表示されてもよいし、一部のページの画像が表示されてもよい。

補正後の画像６０Ａは、補正前の画像５８Ａに対して、判別部２２によって決定された画像処理を実行することで生成された画像である。補正後の画像６２Ａは、補正前の画像５８Ｂに対して、判別部２２によって判定された画像処理を実行することで生成された画像である。

また、ユーザが画面３８上で補正後の画像を指定すると、プロセッサ１８は、その補正後の画像を生成するために補正前の画像に対して実行された画像処理と、そのときの補正の度合いとを、画面３８に反映させる。

例えば、符号６２が指し示すように、補正後の画像６０Ａがユーザによって指定されている。この場合、プロセッサ１８は、補正前の画像５８Ａに対して実行された画像処理と、そのときの補正の度合いとを、画面３８に反映させる。例えば、シャープネス処理と肌色補正が実行されている。シャープネス処理の補正の度合いが、項目５２の設定バーに反映され、肌色補正の度合いが、項目５４の設定バーに反映される。

上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばCPU： Central Processing Unit、等）や、専用のプロセッサ（例えばGPU： Graphics Processing Unit、ASIC： Application Specific Integrated Circuit、FPGA： Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。また上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

１０ 画像処理装置、１８ プロセッサ、２０ 学習モデル、２２ 判定部、２４ 画像処理部。

Claims (8)

1. プロセッサを有し、
   前記プロセッサは、
   画像データに表されている対象物を推定するための学習モデルを用いて、処理対象の画像データに表されている対象物を推定し、
   前記対象物の推定の正解の確率に応じて、前記画像データを補正する画像処理のその補正の度合いを変えて、前記画像データに画像処理を実行する、
   情報処理装置。
2. 前記プロセッサは、
   正解の確率が下がるほど、補正の度合いを低くする、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記プロセッサは、
   前記対象物に応じて補正の度合いを変える、
   ことを特徴とする請求項１又は請求項２に記載の情報処理装置。
4. 補正の度合いを決定するための調整量であって正解の確率に応じた調整量が定められており、
   正解の第１確率に対応する第１調整量は、前記第１確率よりも低い確率である第２確率に対応する第２調整量以上であり、前記第１確率と前記第２確率との間の確率に対応する調整量は、一定、又は、前記第１確率から前記第２確率にかけて増大し、
   前記プロセッサは、
   正解の確率に対応する調整量に基づいて決定された度合いに従って、前記画像データを補正する、
   ことを特徴とする請求項１に記載の情報処理装置。
5. 前記プロセッサは、更に、
   前記対象物に応じて前記調整量を変える、
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記プロセッサは、更に、
   前記対象物に応じて画像処理を変える、
   ことを特徴とする請求項１から請求項５のいずれか一項に記載の情報処理装置。
7. 前記プロセッサは、更に、
   ユーザが補正の度合いを調整するためのユーザインターフェースを提供し、
   正解の確率に応じた補正の度合いを、前記ユーザインターフェースに反映させる、
   ことを特徴とする請求項１から請求項６のいずれか一項に記載の情報処理装置。
8. コンピュータが、
   画像データに表されている対象物を推定するための学習モデルを用いて、処理対象の画像データに表されている対象物を推定し、
   前記対象物の推定の正解の確率に応じて、前記画像データを補正する画像処理のその補正の度合いを変えて、前記画像データに画像処理を実行する、
   ように動作させるためのプログラム。
   

Images