JP2021145239A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】機械学習したモデルを用いて画像の色変換を行う場合に、色変換された全ての画像を確認する場合と比較して、色変換後の画像の確認に必要な工数を減らす技術を提供する。【解決手段】画像処理装置は、プロセッサ２０を備える。プロセッサ２０は、プログラムを実行することで、モデル記憶部３０に記憶されたＬＵＴ３１等の色変換モデルを用いて色変換前の画像から色変換後の画像を生成し、色変換モデルの精度を用いて色変換後の画像の色変換精度を算出する。さらに、色変換精度が閾値以下の領域を特定し、色変換後の画像のうち、色変換精度が閾値以下の領域の大きさが予め定められた基準より大きい色変換後の画像を出力部２８に表示する。【選択図】図２

Description

本発明は、画像処理装置及びプログラムに関する。

デジタルカメラやスマートフォン、タブレット等の機器の普及によりデジタル画像を撮影・閲覧するユーザが増加している。撮影を行なう環境は、照明光等の影響により様々であり、また撮影対象も様々であるので、撮影後に撮影された画像がユーザの意図するようなものとならない場合も少なくない。

そこで、撮影された画像の色味等を変換することが行われている。

特許文献１には、色変換モデルを定量的に評価することができる画像処理装置が記載されている。この装置は、色変換前の画像情報および色変換後の画像情報からなる画像情報の組を受け付ける第１の画像取得手段および第３の画像取得手段と、受け付けた複数の画像情報の組から色変換特性の精度を出力する画像情報取得手段と、出力した精度を色領域毎に表示装置に表示するように制御する第２の精度評価表示手段を備えている。

特開２０１９−０６２４８３号公報

ところで、ユーザが色変換後の画像の品質を確認する場合には、当該色変換の画像を１枚ずつ確認する必要があり、当該色変換後の画像の増大に伴ってその確認作業は膨大なものとなる。

本発明は、機械学習したモデルを用いて画像の色変換を行う場合に、色変換された全ての画像を確認する場合と比較して、色変換後の画像の確認に必要な工数を減らす技術を提供することを目的とする。

請求項１に記載の発明は、プロセッサを備え、前記プロセッサは、プログラムを実行することで、色変換モデルを用いて色変換前の画像から色変換後の画像を生成し、前記色変換モデルの精度を用いて前記色変換後の画像の色変換精度を算出し、前記色変換精度が閾値以下の領域を特定し、前記色変換後の画像のうち、前記色変換精度が閾値以下の領域の大きさが予め定められた基準より大きい色変換後の画像を表示する、画像処理装置である。

請求項２に記載の発明は、前記プロセッサは、前記色変換モデルの精度としてＲＧＢ毎の精度を算出し、前記色変換精度を画素毎に算出する請求項１に記載の画像処理装置である。

請求項３に記載の発明は、前記プロセッサは、前記色変換後の画像を複数のブロックに分割し、前記色変換精度を前記ブロック毎に算出する請求項２に記載の画像処理装置である。

請求項４に記載の発明は、前記プロセッサは、前記色変換精度として、前記ブロックを構成する画素群の統計値を算出する請求項３に記載の画像処理装置である。

請求項５に記載の発明は、前記プロセッサは、前記色変換後の画像のうち注目領域の重みを相対的に大きく、非注目領域の重みを相対的に小さくした重み付け演算により前記色変換精度を算出する請求項１−４のいずれかに記載の画像処理装置である。

請求項６に記載の発明は、前記プロセッサは、前記色変換後の画像のうち重要領域の重みを相対的に大きく、非重要領域の重みを相対的に小さくした重み付け演算により前記色変換精度を算出する請求項１−４のいずれかに記載の画像処理装置である。

請求項７に記載の発明は、前記プロセッサは、前記色変換後の画像のうち色変換の変化量が相対的に大きい領域の重みを相対的に大きく、色変換の変化量が相対的に小さい領域の重みを相対的に小さくした重み付け演算により前記色変換精度を算出する請求項１−４のいずれかに記載の画像処理装置である。

請求項８に記載の発明は、前記プロセッサは、前記色変換精度を前記閾値と比較する場合に、色変換後の画像のうち注目領域と非注目領域とで異なる閾値を用いて比較する請求項１−４のいずれかに記載の画像処理装置である。

請求項９に記載の発明は、前記プロセッサは、前記色変換精度を前記閾値と比較する場合に、色変換後の画像のうち重要領域と非重要領域とで異なる閾値を用いて比較する請求項１−４のいずれかに記載の画像処理装置である。

請求項１０に記載の発明は、前記プロセッサは、前記色変換精度を前記閾値と比較する場合に、色変換後の画像のうち色変換の変化量が相対的に大きい領域とそうでない領域とで異なる閾値を用いて比較する請求項１−４のいずれかに記載の画像処理装置である。

請求項１１に記載の発明は、コンピュータに、色変換モデルを用いて色変換前の画像から色変換後の画像を生成するステップと、前記色変換モデルの精度を用いて前記色変換後の画像の色変換精度を算出するステップと、前記色変換精度が閾値以下の領域を特定するステップと、前記色変換後の画像のうち、前記色変換精度が閾値以下の領域の大きさが予め定められた基準より大きい色変換後の画像を表示するステップと、を実行させるプログラムである。

請求項１，１１に記載の発明によれば、機械学習したモデルを用いて画像の色変換を行う場合に、色変換された全ての画像を確認する場合と比較して、色変換後の画像の確認に必要な工数を減らすことができる。

請求項２に記載の発明によれば、さらに、画像の画素毎に色変換精度を算出できる。

請求項３に記載の発明によれば、さらに、画像のブロック毎に色変換精度を算出できる。

請求項４に記載の発明によれば、さらに、ブロック毎の代表的な色変換精度を算出できる。

請求項５，８に記載の発明によれば、さらに、注目領域を優先して処理できる。

請求項６，９に記載の発明によれば、さらに、重要領域を優先して処理できる。

請求項７，１０に記載の発明によれば、さらに、色変換の変化量が相対的に大きい領域を優先して処理できる。

実施形態の機能ブロック図である。 実施形態の構成ブロック図である。 実施形態の処理フローチャートである。 実施形態の３次元ＬＵＴと色変換モデルの精度を示す説明図である。 実施形態のブロック毎の色変換精度算出説明図である。 変形例の注目領域と非注目領域の説明図である。 変形例の色変換変化量が大きい領域とそうでない領域の説明図である。 変形例の表示例説明図である。 変形例の重要領域と非重要領域の説明図である。

以下、図面に基づき本発明の実施形態について説明する。

＜基本原理＞
まず、本実施形態の基本原理について説明する。

画像の色変換は、例えば色変換作業に習熟したユーザにより色変換なされた複数の画像データを教師データとして色変換モデルを機械学習し、学習済みの色変換モデルを用いることで自動的に実行され得る。

ここで、「色変換モデル」とは、色変換前の画像情報と色変換後の画像情報との関係である。また「色変換モデル」は、色変換前の画像情報と色変換後の画像情報との関係を表す関数であると表現し得る。色変換前の画像情報を始点とし、色変換後の画像情報を終点とする色変換ベクトルを考えたとき、「色変換モデル」は、この色変換ベクトルの集合体（色変換ベクトル群）である。例えば、画像情報がＲｅｄ（Ｒ）、Ｇｒｅｅｎ（Ｇ）、Ｂｌｕｅ（Ｂ）からなるＲＧＢデータの場合、色変換前の画像情報を（Ｒａ、Ｇａ、Ｂａ）、色変換後の画像情報を（Ｒｂ、Ｇｂ、Ｂｂ）とすると、（Ｒａ、Ｇａ、Ｂａ）と（Ｒｂ、Ｇｂ、Ｂｂ）との関係を表す。

但し、機械学習された色変換モデルにより色変換された画像は、必ずしもユーザの意図に合致する色変換がなされているわけではない。例えば、ユーザとしては、背景の空の色をより青くするように色変換することを意図していたにもかかわらず、機械学習された色変換モデルにより色変換された画像の空の色が、ユーザの意図していた青色と異なる等である。また、ユーザが特に注目している被写体、例えば人物について、ユーザの意図していた色と異なる等である。

そこで、本実施形態では、機械学習された色変換モデルの精度を利用することで、色変換後の画像の色変換精度を定量的に評価し、予め設定した閾値以下の画像を抽出してユーザに提供する。これにより、ユーザは、色変換精度の低い画像を集中的に確認することができ、ユーザの工数が大幅に削減される。本実施形態では、色変換後の画像数が増大する程、その効果が顕著となる。

本実施形態では、「色変換モデルの精度」と、「色変換後の画像の色変換精度」とを用いるが、両者の相違は以下の通りである。

すなわち、「色変換モデルの精度」とは、色変換モデル自体の精度であり、色変換モデルを生成する際の機械学習における教師データの精度である。教師データは、色変換前の画像および色変換後の画像の複数のペアから構成されるが、これらのペアの精度が色変換モデルの精度を決定する。具体的には、色変換に習熟した者が関与したペアの精度は高く、そうでない者が関与したペアの精度は相対的に低下する。色変換モデルは、通常、ある色（Ｒ，Ｇ，Ｂ）を別の色（ｒ、ｇ、ｂ）に変換する規則あるいは対応関係として生成されるから、色変換モデルの精度も（Ｒ，Ｇ，Ｂ）毎に決定され得る。

他方で、「色変換後の画像の色変換精度」は、色変換モデルを用いて色変換された画像自体の色変換精度である。色変換後の画像の色変換精度は、色変換モデルを用いているため、必然的に色変換モデルの精度に起因して決定される。色変換前の画像の画素の色は、色変換モデルを用いて色変換後の画像の画素の色に変換される。従って、色変換後の画像の色変換精度は、色変換後の画像の画素毎に決定され得る。そして、色変換後の画像の色変換精度は、これら画素毎の精度の統計値として表現され得る。具体的には、色変換後の画像を複数のブロックに分割し、ブロックを構成する画素群の精度の平均値として表現され得る。勿論、平均値は統計値の一例であり、これに限定されず他の統計値、例えば最頻値、最低値、最高値等を採用することもできる。

以下、本実施形態について、具体的に説明する。

＜構成＞
図１は、本実施形態の画像処理装置の機能ブロック図である。画像処理装置は、画像読取部１０、色変換モデルによる色変換部１２、色変換モデルの精度算出部１４、色変換精度算出部１６、及び表示部１８を備える。

画像読取部１０は、色変換を行うべき画像を読み取る。画像読取部１０は、読み取った画像を色変換モデルによる色変換部１２に供給する。画像読取部１０は、文書に印刷された画像をデジタルデータに変換するスキャナでもよく、あるいは通信回線を介して外部のサーバ等からデジタル画像データを入力する通信インターフェイスでもよい。

色変換モデルによる色変換部１２は、色変換モデル１３を用いて入力された画像の色変換を実行し、色変換後の画像として出力する。色変換モデル１３は、色変換前の画像と色変換後の画像の複数のペアを教師データとして機械学習して得られた色変換モデルである。より詳細には、色変換モデルによる色変換部１２は、色変換モデル１３に基づき、色変換前の原画像の画像情報を色変換後の画像情報に色変換を行なう変換関係を作成する。「変換関係」は、色変換前の画像情報を色変換後の画像情報に変換するための変換情報である。この変換関係は、ＬＵＴ（Look up Table）として作成し得る。ＬＵＴは、多次元ＬＵＴとすることができる。また１次元ＬＵＴとすることもできる。さらに変換関係は、ＬＵＴではなく、多次元マトリクスであってもよい。

変換関係は、画像情報がＲＧＢデータの場合、色変換前の画像情報である（Ｒａ、Ｇａ、Ｂａ）を、色変換後の画像情報である（Ｒｂ、Ｇｂ、Ｂｂ）に変換する、
（Ｒａ、Ｇａ、Ｂａ）→（Ｒｂ、Ｇｂ、Ｂｂ）
とするための情報である。この変換関係を使用することで、先に行なった色変換と同様の色変換を再現することができる。つまり新たに色変換前の画像情報が生じたときに、この変換関係を使用して色変換を行なうことで、先に行なった色変換と同様の色変換を行ない、色変換後の画像情報を生成することができる。

変換関係が多次元ＬＵＴの場合、ここでは３次元ＬＵＴとなり、（Ｒａ、Ｇａ、Ｂａ）を（Ｒｂ、Ｇｂ、Ｂｂ）に直接変換する。すなわち、
（Ｒａ、Ｇａ、Ｂａ）→（Ｒｂ、Ｇｂ、Ｂｂ）
とするものとなる。また変換関係が１次元ＬＵＴの場合、Ｒ、Ｇ、Ｂのそれぞれについて変換する。即ち、
Ｒａ→Ｒｂ
Ｇａ→Ｇｂ
Ｂａ→Ｂｂ
とするものとなる。本実施形態では、ＲＧＢの色空間での変換を例示しているが、ＣＭＹＫ等の他の色空間の変換であってもよい。この場合、画像情報は、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）、Ｋ（黒）の各色からなるＣＭＹＫデータとなる。そして、変換関係が多次元ＬＵＴの場合、ここでは４次元ＬＵＴとなり、色変換前の画像情報である（Ｃａ、Ｍａ、Ｙａ、Ｋａ）を、色変換後の画像情報である（Ｃｂ、Ｍｂ、Ｙｂ、Ｋｂ）に変換する、
（Ｃａ、Ｍａ、Ｙａ、Ｋａ）→（Ｃｂ、Ｍｂ、Ｙｂ、Ｋｂ）
とするものとなる。また変換関係が１次元ＬＵＴの場合、Ｃ、Ｍ、Ｙ、Ｋのそれぞれについて変換する。即ち、
Ｃａ→Ｃｂ
Ｍａ→Ｍｂ
Ｙａ→Ｙｂ
Ｋａ→Ｋｂ
とするものとなる。

色変換モデルの精度算出部１４は、色変換モデル１３のモデル精度を定量的に算出する。色変換モデル１３は、色変換前の画像情報と、これに対応する色変換後の画像情報の複数のペアを教師データとして機械学習して生成されるため、教師データを取得する必要がある。このとき、色変換前の画像情報および色変換後の画像情報の複数のペアについての精度が低いと、精度の高い色変換モデルが作成できず、変換関係の精度が低下する。具体的には、色変換を行なう際に、色変換の方向性が異なるデータが教師データとして入り込む場合があり、これが画像情報の複数のペアから導出される色変換モデルについての精度を低下させ得る。これが生じる要因としては、例えば、色変換を行なうユーザの習熟度に問題がある場合や、色変換を行なう際の環境の差異による場合等である。環境の差異としては、例えば、使用する表示装置のデバイス特性の差異や照明環境の差異である。色変換の方向性が異なるデータが教師データに入り込むと、色変換の方向性の統一性がくずれ、精度の高い色変換モデルが作成しにくくなる。そして、作成された変換関係により色変換を行なうと、ユーザの意図と異なる色変換がなされたり、あるいは色変換の大きさが縮小されて変化量が小さい色変換がなされ得る。

色変換前の画像情報および色変換後の画像情報の複数のペアについての「精度」とは、色変換の方向性がそろっているか否かを表す指標である。また「精度」は、色変換モデルや変換関係を作成する上で、色変換前の画像情報および色変換後の画像情報の複数のペアの質の程度を表す指標と言い得る。「精度」は、色変換前の画像情報を始点とし、色変換後の画像情報を終点とする色変換ベクトルに基づいて数値化し、定量的に評価することができる。「精度」は色変換モデルを作成する元となる画像情報の複数のペアの全体を対象にしてもよいし、色変換モデルを作成する元となる画像情報の複数のペアの一部を対象にしてもよい。

色変換モデルの精度算出部１４は、このように、色変換前の画像情報を始点とし、色変換後の画像情報を終点とする色変換ベクトルに基づいて色変換モデル１３の精度を算出する。具体的には、例えば特開２０１９−０６２４８３号公報に記載されているように、複数の色変換ベクトル相互の角度の大きさから精度を算出する。色変換ベクトルを色変換ベクトルＶｃ１および色変換ベクトルＶｃ２とすると、これらの色変換ベクトルＶｃ１、Ｖｃ２の始点は、色変換前の画像情報（色値）であり、終点は、色変換後の画像情報（色値）を意味する。つまり色変換ベクトルＶｃ１、Ｖｃ２は、色変換による画像情報の移動方向および移動量を示す。そして色変換ベクトルＶｃ１と色変換ベクトルＶｃ２との角度θに着目すると、もし特定の色領域において、色調整の方向性がそろっており、統一性がある場合、複数の色変換ベクトルの方向はそろうため、角度θは、より０に近くなりやすい。対して色調整の方向性がそろっておらず、統一性が乏しい場合、複数の色変換ベクトルの方向はそろいにくく、角度θは、より大きくなりやすい。つまり、画像情報の複数のペアに対する精度が高い場合、複数の色変換ベクトル相互の角度θの大きさは、より小さくなりやすく、精度が低い場合、複数の色変換ベクトル相互の角度θの大きさは、より大きくなりやすい。そこで、複数の色変換ベクトル相互の角度θの大きさから精度を算出することができる。色変換モデルの精度は、色領域毎、あるいはＲＧＢ毎に算出し得る。色変換モデルの精度算出部１４で算出された精度は、後述するように、色変換精度算出部１６において色変換画像の精度を算出するために用いられる。従って、色変換モデルの精度算出部１４は、色変換の方法と整合した態様で精度を算出するのが望ましい。例えば、色変換を３次元ＬＵＴを用いて実行する場合、当該ＬＵＴの各変換ルール毎に精度を算出する等である。より具体的には、ＬＵＴが
（Ｒａ、Ｇａ、Ｂａ）→（Ｒｂ、Ｇｂ、Ｂｂ）
である場合、この変換ルールの精度として
（Ｒａ、Ｇａ、Ｂａ）→（Ｒｂ、Ｇｂ、Ｂｂ）：精度ａ
と算出する。

また、色変換モデルの精度算出部１４は、複数の色変換ベクトルの終点の色差から精度を算出してもよい。色変換ベクトルを色変換ベクトルＶｃ３及び色変換ベクトルＶｃ４とし、色変換ベクトルＶｃ３と色変換ベクトルＶｃ４との終点の画像情報の差（色差）Ｌを考える。色差Ｌは、この画像情報を表す色空間（例えば、ＲＧＢ色空間）中のユークリッド距離であると考えることもできる。もし特定の色領域において、色変換の方向性がそろっており、統一性がある場合、これらの色変換ベクトルＶｃ３、Ｖｃ４の方向や大きさはそろうため、終点の位置は、ばらつきにくい。その結果、色差Ｌは、より小さくなりやすい。対して色変換の方向性がそろっておらず、統一性が乏しい場合、これらの色変換ベクトルＶｃ３、Ｖｃ４の方向や大きさはそろいにくく、終点の位置は、ばらつきやすい。その結果、色差Ｌは、より大きくなりやすい。つまり、画像情報の複数のペアに対する精度が高い場合、これらの色変換ベクトルＶｃ３、Ｖｃ４の終点の色差は、より小さくなりやすく、精度が低い場合、これらの色変換ベクトルＶｃ３、Ｖｃ４の終点の色差は、より大きくなりやすい。よって、これらの色変換ベクトルＶｃ３、Ｖｃ４の終点の色差から精度を算出することができる。

色変換モデルの精度算出部１４は、算出した色変換モデルの精度を色変換精度算出部１６に供給する。

色変換精度算出部１６は、色変換モデルの精度算出部１４で算出された色変換モデルの精度に基づき、色変換モデルによる色変換部１２で色変換された色変換後の画像の色変換精度を算出する。色変換後の画像の色変換精度は、色変換後の画像の全体あるいは一部の色変換精度であり、色変換後の画像の全体の精度は、例えば色変換後の画像の画素毎の精度を画像全体で統計処理して算出される。また、色変換後の画像の一部の精度は、例えば色変換後の画像の特定領域や注目領域を構成する画素毎の精度を当該領域で統計処理して算出される。色変換精度算出部１６は、色変換後の画像とともに、あるいは色変換後の画像とは別個に、算出した色変換後の画像の精度を表示部１８に出力する。

表示部１８は、色変換後の画像及び色変換後の画像の精度を表示してユーザに提示する。表示部１８は、色変換後の画像の精度を順位付けして表示してもよく、色変換後の画像の精度を閾値と比較し、閾値以下と精度が低い画像のみを選択的に表示してもよい。特に、表示部１８は、色変換後の画像の精度を閾値と比較し、色変換後の画像の精度が閾値以下の領域の大きさが予め定められた基準より大きい色変換後の画像のみを選択的に表示するのが好適である。これにより、ユーザは、色変換後の精度が閾値以下と低い領域が相対的に大きい画像のみを他の画像から容易に識別し確認することができる。

図２は、本実施形態における画像処理装置の構成ブロック図を示す。

画像処理装置は、コンピュータで構成され、プロセッサ２０、ＲＯＭ２２、ＲＡＭ２４、入力部２６、出力部２８、及びモデル記憶部３０を備える。

プロセッサ２０は、ＲＯＭ２２あるいはその他のプログラムメモリに記憶された処理プログラムを読み出し、ＲＡＭ２４を作業メモリとして用いて実行することで、色変換処理、色変換モデルの精度算出処理、及び色変換精度算出処理を実現する。プロセッサ２０は、色変換すべき画像３２が入力されると、予めモデル記憶部３０に記憶された色変換モデル１３を用いて色変換処理を実行する。色変換モデル１３は、例えば３次元ＬＵＴ３１として、（Ｒａ、Ｇａ、Ｂａ）と（Ｒｂ、Ｇｂ、Ｂｂ）の変換関係を規定する。プロセッサ２０は、モデル記憶部３０に記憶された３次元ＬＵＴ３１を用いて、色変換前の画像を構成する色成分（Ｒａ、Ｇａ、Ｂａ）を
（Ｒａ、Ｇａ、Ｂａ）→（Ｒｂ、Ｇｂ、Ｂｂ）
と色変換する。

また、プロセッサ２０は、色変換前の画像を始点とし、色変換後の画像を終点とする色変換ベクトルに基づいて色変換モデルの精度を算出する。例えば複数の色変換ベクトル相互の角度の大きさ、あるいは色変換ベクトルの終点の色差から精度を算出する。プロセッサ２０は、色変換モデルの精度をＲＧＢ毎に算出し、例えば０〜１０の範囲に規格化した相対精度として算出する。具体的には、３次元ＬＵＴ３１が、
（０，０，０）→（０，０，５）
と色変換している場合、当該色変換モデルの精度として、０〜１０の範囲に規格化して「８」と算出する等である。

また、プロセッサ２０は、色変換モデル１３の精度と色変換画像から、色変換後の画像の色変換精度を算出する。色変換モデルの精度は、ＲＧＢ毎に算出されているから、色変換後の画像の画素毎に色変換精度が算出される。プロセッサ２０は、色変換後の画像の画素毎の色変換精度を用いて、色変換後の画像の全体あるいは一部の色変換精度を算出する。

さらに、プロセッサ２０は、算出した色変換後の画像の色変換精度を予め設定された第１閾値と比較し、色変換精度が第１閾値以下と低い画像領域を特定する。そして、第１閾値以下と低い画像領域の大きさを予め設定された第２閾値と比較し、第２閾値以上に大きい画像領域を有する色変換後の画像を選択する。

入力部２６は、スキャナや通信インターフェイス等で構成され、画像３２を入力する。

出力部２８は、ディスプレイや通信インターフェイス等で構成され、プロセッサ２０での処理結果、すなわち色変換精度が第１閾値以下となる画像領域が第２閾値以上有する色変換後の画像を出力する。

モデル記憶部３０は、学習済の色変換モデル１３を記憶する。色変換モデル１３は、具体的には３次元ＬＵＴ３１等であるが、１次元ＬＵＴであってもよい。

プロセッサ２０は、広義的なプロセッサを指し、汎用的なプロセッサ（例えばCPU：Central Processing Unit等）や、専用のプロセッサ（例えばGPU：Graphics Processing Unit、ASIC：Application Specific Integrated Circuit、FPGA：Field Programmable Gate Array、プログラマブル論理デバイス等）を含むものである。また、プロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。

＜処理フローチャート＞
図３は、本実施形態の処理フローチャートを示す。

まず、プロセッサ２０は、モデル記憶部３０に記憶された色変換モデル１３を読み込む（Ｓ１０１）。色変換モデル１３が３次元ＬＵＴ３１の場合、当該３次元ＬＵＴ３１を読み込んでＲＡＭ２４に展開する。

次に、プロセッサ２０は、色変換モデル１３の精度を算出する（Ｓ１０２）。色変換モデル１３が３次元ＬＵＴ３１の場合、３次元ＬＵＴ３１の全ての対応関係についてその変換精度を算出することで色変換モデル１３の精度を算出する。

次に、プロセッサ２０は、入力部２６から色変換すべき画像３２を読み取り（Ｓ１０３）、読み取った画像に対して色変換モデル１３を用いて色変換を実行する（Ｓ１０４）。すなわち、読み取った画像のＲＧＢ値を、３次元ＬＵＴ３１に基づいて
（Ｒａ、Ｇａ、Ｂａ）→（Ｒｂ、Ｇｂ、Ｂｂ）
と色変換する。

次に、プロセッサ２０は、色変換後の画像に対し、画素毎の色変換精度を算出する（Ｓ１０５）。Ｓ１０２で３次元ＬＵＴ３１の全ての対応関係についてその変換精度が算出されているから、プロセッサ２０は、この変換精度を用いて色変換後の画像の画素毎の色変換精度を算出する。例えば、色変換後の画像のある画素についてはその精度は「８」、色変換後の画像の別の画素についてはその精度は「９」等と算出する。プロセッサ２０は、色変換後の画像の全ての画素について色変換精度を算出する。

次に、プロセッサ２０は、画素毎に算出された色変換精度を用いて、色変換後の画像の色変換精度を算出する（Ｓ１０６）。具体的には、色変換後の画像を複数のブロックに分割し、各ブロックを構成する画素群の色変換精度の平均を算出することで当該ブロックの色変換精度とする。ブロックのサイズは任意であり、例えば５画素×５画素等と設定し得るがこれに限定されない。

次に、プロセッサ２０は、色変換後の画像のブロック毎に算出された色変換精度を予め設定された第１閾値と比較する（Ｓ１０７）。ブロックの色変換精度が第１閾値以下と低い場合（Ｓ１０７でＹＥＳ）には、当該ブロック全体の領域、すなわち第１閾値以下と判定された全ブロックの領域のサイズを予め設定された第２閾値と比較する（Ｓ１０８）。色変換精度が第１閾値以下の全ブロックの領域のサイズが第２閾値以上の場合（Ｓ１０８でＹＥＳ）、プロセッサ２０は、その色変換後の画像を全体として色変換精度の低い画像とみなして表示する（Ｓ１０９）。

これにより、ユーザは、色変換された全ての画像を確認する必要がなく、表示された画像のみを確認するだけで済む。

なお、プロセッサ２０は、Ｓ１０９で色変換精度の低い画像を表示する際に、Ｓ１０７で第１閾値以下と判定されたブロック、つまり色変換精度が相対的に低い領域をハイライト表示あるいは枠表示する等して強調表示してもよい。

また、プロセッサ２０は、Ｓ１０７で色変換後の画像のブロック毎に算出された色変換精度を第１閾値と比較しているが、色変換後の画像の画素毎の色変換精度を第１閾値と比較してもよい。この場合、Ｓ１０８では、色変換精度が第１閾値以下と判定された全画素の領域のサイズを第２閾値と比較すればよい。

＜ＬＵＴ及び色変換モデル精度＞
図４は、モデル記憶部３０に記憶される３次元ＬＵＴ３１の一例と、プロセッサ２０で算出されるＬＵＴ３１の全対応関係の精度を併せて表３４として示す。プロセッサ２０は、ＬＵＴ３１の全対応関係の精度を算出すると、モデル記憶部３０に記憶されているＬＵＴ３１に対応付けて、算出した精度をモデル記憶部３０に記憶する。

ＬＵＴ３１は、既述したように、
（Ｒａ、Ｇａ、Ｂａ）→（Ｒｂ、Ｇｂ、Ｂｂ）
を規定するテーブルである。具体的には、
（０，０，０）→（０，０，５）
（０，０，１）→（０，０，６）
・・・
（２５５，２５５，２５４）→（２５２，２５２，２５４）
（２５５，２５５，２５５）→（２５５，２５５，２５５）
等と色変換する。そして、プロセッサ２０は、それぞれの対応関係について精度を算出する。具体的には、
（０，０，０）→（０，０，５）：８
（０，０，１）→（０，０，６）：９
・・・
（８０，０，２５５）→（５０，５，２５４）：６
・・・
（２５５，２５５，２５４）→（２５２，２５２，２５４）：１
（２５５，２５５，２５５）→（２５５，２５５，２５５）：１
等である。精度は、０〜１０の範囲に規格化された相対値である。精度はＲＧＢ値に算出されるため、色変換後の画像の注目画素のＲＧＢ値に基づき、当該注目画素の精度が算出される。

＜ブロック毎の色変換精度＞
図５は、色変換後の画像を複数のブロックに分割し、ブロック毎に色変換精度を算出する例を模式的に示す。

ブロック３６は、例えば５画素×５画素で構成され、ブロック３６を構成する画素毎に色変換モデルの精度が算出される。図５において、「１」、「２」、「３」等は、対応する画素の精度を示す。ブロック３６を構成する全ての画素の精度を平均することで、当該ブロック３６の色変換精度が算出される。この場合、
（１＋１＋・・・・・＋５）／２５＝３．４４
として色変換精度が算出される。色変換後の画像を構成するブロックをＢｉ、ブロックＢｉの平均精度をａｉとすると、色変換後の画像に対し、
Ｂ１：ａ１
Ｂ２：ａ２
・・・
Ｂｎ：ａｎ
と全てのブロックの色変換精度が算出される。

プロセッサ２０は、ブロックＢｉ毎に算出された色変換精度ａｉ群を色変換後の画像全体の色変換精度とする。そして、ブロックＢｉ毎に算出された色変換精度ａｉを第１閾値及び第２閾値とそれぞれ比較し、色変換精度ａｉが第１閾値以下となる全てのブロックＢｉのサイズが第２閾値以上であれば、その色変換後の画像を表示してユーザに提示する。例えば、精度ａｉが第１閾値以下であるブロックＢｉがＢ１、Ｂ２、Ｂ３、Ｂ４であり、これらのブロックを加算して得られるブロックサイズ（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４）が第２閾値以上であれば、当該色変換後の画像を表示する。一般に、第１閾値をＴｈ１、第２閾値をＴｈ２とすると
（１）ａｉ≦Ｔｈ１
かつ
（２）ΣＢｉ≧Ｔｈ２
であれば、色変換後の画像が表示される。

＜変形例１＞
本実施形態において、被写体検出技術等を用いて色変換後の画像から画像内の注目領域を特定し、当該注目領域のみを色変換精度の算出対象領域としてもよい。ユーザは、注目領域の色変換精度に特に留意すると考えられるからである。あるいは、注目領域に重みを付けて色変換精度を算出してもよい。言い替えれば、注目領域については色変換精度への寄与度を相対的に上げ、非注目領域については色変換精度への寄与度を相対的に下げるものである。

図６は、この場合の処理を模式的に示す。色変換後の画像から、被写体として人物４０及びその他の背景４２を検出する。人物４０は主要被写体であり、注目領域として特定される。

プロセッサ２０は、色変換後の画像から人物４０を検出すると、人物４０を構成するブロックのみを対象として色変換精度を算出する。そして、人物４０を構成するブロックの色変換精度を第１閾値と比較し、第１閾値以下となる全ブロックのサイズを第２閾値と比較する。そして、第１閾値以下となる全ブロックのサイズが第２閾値以上であれば、当該色変換後の画像を色変換精度の低い画像として表示する。背景４２を構成するブロックの色変換精度は、この処理に関与していない点に留意されたい。

あるいは、プロセッサ２０は、色変換後の画像から人物４０を検出すると、人物４０を構成するブロック及びそれ以外の背景４２を対象として色変換精度を算出する。そして、人物４０を構成するブロック及び背景４２を構成するブロックの色変換精度を第１閾値と比較し、第１閾値以下となる全ブロックのサイズを第２閾値と比較する際に、人物４０を構成するブロックの重みを背景４２を構成するブロックの重みよりも相対的に大きくして比較する。

具体的には、人物４０を構成するブロックのうち、色変換精度が第１閾値以下となるブロックをＢｍｉ、背景４２を構成するブロックのうち、色変換精度が第１閾値以下となるブロックをＢｓｉとすると、
ｐ・ΣＢｍｉ＋ｑ・ΣＢｓｉ≧Ｔｈ２
を満たすか否かを判定する。ここで、ｐ、ｑはそれぞれ重みであり、ｐ＞ｑである。ｑ＝０とすると、上述したように人物４０を構成するブロックのみが対象となる。

なお、人物４０を構成するブロックの色変換精度を第１閾値と比較し、背景４２を構成するブロックの色変換精度を第１閾値よりも低い第３閾値と比較することで、人物４０を構成するブロックの重みを相対的に大きくしてもよい。これにより、人物４０を構成するブロックについては、第１閾値以下であれば抽出されることになるが、背景４２を構成するブロックについては、第３閾値以下とならない限り抽出されないから、結果的に、人物４０を構成するブロックについては色変換精度に対して相対的に敏感となり得る。

＜変形例２＞
本実施形態において、色変換前の画像と色変換後の画像とを比較し、色変換の変化量（色変換前後の差分）が相対的に大きい領域を特定し、当該変化量が相対的に大きい領域のみを色変換精度の算出対象領域としてもよい。ユーザは、変化量が大きい領域の色変換精度に特に留意すると考えられるからである。あるいは、変化量が大きい領域に重みを付けて色変換精度を算出してもよい。

図７は、この場合の処理を模式的に示す。色変換後の画像において、被写体４６は色変換の変化量が相対的に大きく、被写体４４は色変換の変化量が相対的に小さいものとする。色変換の変化量は、色変換ベクトルの大きさとして定義でき、色変換ベクトルの大きさを閾値と比較することで、色変換の変化量が相対的に大きいか否かを判定する。そして、プロセッサ２０は、色変換後の画像から被写体４６を検出すると、被写体４６を構成するブロックのみを対象として色変換精度を算出する。被写体４６を構成するブロックの色変換精度を第１閾値と比較し、第１閾値以下となる全ブロックのサイズを第２閾値と比較する。そして、第１閾値以下となる全ブロックのサイズが第２閾値以上であれば、当該色変換後の画像を色変換精度の低い画像として表示する。被写体４４を構成するブロックの色変換精度は、この処理に関与していない点に留意されたい。

あるいは、プロセッサ２０は、被写体４６を構成するブロック及び被写体４４を構成するブロックを対象として色変換精度を算出する。そして、被写体４６を構成するブロック及び被写体４４を構成するブロックの色変換精度を第１閾値と比較し、第１閾値以下となる全ブロックのサイズを第２閾値と比較する際に、被写体４６を構成するブロックの重みを被写体４４を構成するブロックの重みよりも相対的に大きくして比較する。

具体的には、被写体４６を構成するブロックのうち、色変換精度が第１閾値以下となるブロックをＢｍｉ、被写体４４を構成するブロックのうち、色変換精度が第１閾値以下となるブロックをＢｓｉとすると、
ｐ・ΣＢｍｉ＋ｑ・ΣＢｓｉ≧Ｔｈ２
を満たすか否かを判定する。ここで、ｐ、ｑはそれぞれ重みであり、ｐ＞ｑである。

なお、この変形例では、色変換後の画像全体の色変換精度ではなく、その一部、具体的には被写体４４及び被写体４６を構成するブロックを対象として色変換精度を算出している点にも留意されたい。

＜変形例３＞
本実施形態では、色変換精度が第１閾値以下となる領域サイズが第２閾値以上となる色変換後の画像を表示しているが、当該画像とともに、色変換精度が第１閾値以下となる領域を枠で囲むことでユーザが視認容易となるように表示してもよい。

図８は、この場合の処理を模式的に示す。色変換後の画像のうち、色変換精度が第１閾値以下となる領域を、例えば赤枠４８で囲むように表示する。なお、図において、各画素の数字「１」、「２」・・等は、各画素の色変換精度を示す。色変換精度の低い領域を赤枠４８で囲むのではなく、当該領域をトリミングして表示する、あるいはヒートマップ表示してもよい。

＜変形例４＞
変形例１では、色変換後の画像の注目領域については色変換精度への寄与度を相対的に上げ、非注目領域については色変換精度への寄与度を相対的に下げているが、注目領域の中でもユーザにとり重要な領域については色変換精度への寄与度を相対的に上げ、重要でない領域については色変換精度への寄与度を相対的に下げてもよい。重要であるか否かは、予めユーザが指定して入力部２６から入力してもよく、あるいは過去のユーザ履歴を学習することで自動判定してもよい。ユーザが指定する場合、
・人物を重要とする
・画像の中央領域の被写体を重要とする
・最も占有面積の大きい被写体を重要とする
・特定の色（肌色等）を有する被写体を重要とする
等が例示できる。

図９は、この場合の処理を模式的に示す。色変換後の画像において、被写体５０及び被写体５２が共に注目領域であるとし、被写体５０がユーザにとり重要な被写体で、被写体５２はユーザにとり相対的に重要でない被写体であるとする。プロセッサ２０は、色変換後の画像から被写体５０を検出すると、被写体５０を構成するブロックのみを対象として色変換精度を算出する。被写体５０を構成するブロックの色変換精度を第１閾値と比較し、第１閾値以下となる全ブロックのサイズを第２閾値と比較する。そして、第１閾値以下となる全ブロックのサイズが第２閾値以上であれば、当該色変換後の画像を色変換精度の低い画像として表示する。被写体５２を構成するブロックの色変換精度は、この処理に関与していない。

あるいは、プロセッサ２０は、色変換後の画像から被写体５０及び被写体５２を検出すると、これらのブロックを対象として色変換精度を算出する。そして、被写体５０を構成するブロック及び被写体５２を構成するブロックの色変換精度を第１閾値と比較し、第１閾値以下となる全ブロックのサイズを第２閾値と比較する際に、被写体５０を構成するブロックの重みを被写体５２を構成するブロックの重みよりも相対的に大きくして比較する。

なお、重要な被写体５０については、第１閾値より低い第３閾値と比較してもよい。つまり、重要な被写体５０については、そうでない被写体５２よりも第１閾値を厳しい値に変更してもよい。

また、本変形例では注目領域をさらに重要領域と非重要領域に分けているが、単に、色変換後の画像を重要領域と非重要領域に分けて処理してもよい。要するに、色変換後の画像を
（Ａ）注目領域と非注目領域
（Ｂ）色変換の変化量が大きい領域と小さい領域
（Ｃ）重要領域と非重要領域
のいずれかで分類し、これらの領域で
（ａ）重みを変化させる
（ｂ）閾値を変化させる
のいずれかを用いて色変換精度の低い画像を選択して表示すればよい。（ｂ）の閾値は、第１閾値と第２閾値の少なくともいずれかでよい。

１０ 画像読取部、１２ 色変換モデルによる色変換部、１３ 色変換モデル、１４ 色変換モデルの精度算出部、１６ 色変換精度算出部、１８ 表示部、２０ プロセッサ、２２ ＲＯＭ、２４ ＲＡＭ、２６ 入力部、２８ 出力部、３０ モデル記憶部、３１ ３次元ＬＵＴ（ルックアップテーブル）、３２ 画像。

Claims (11)

1. プロセッサを備え、前記プロセッサは、プログラムを実行することで、
   色変換モデルを用いて色変換前の画像から色変換後の画像を生成し、
   前記色変換モデルの精度を用いて前記色変換後の画像の色変換精度を算出し、
   前記色変換精度が閾値以下の領域を特定し、
   前記色変換後の画像のうち、前記色変換精度が閾値以下の領域の大きさが予め定められた基準より大きい色変換後の画像を表示する、
   画像処理装置。
2. 前記プロセッサは、前記色変換モデルの精度としてＲＧＢ毎の精度を算出し、前記色変換精度を画素毎に算出する
   請求項１に記載の画像処理装置。
3. 前記プロセッサは、前記色変換後の画像を複数のブロックに分割し、前記色変換精度を前記ブロック毎に算出する
   請求項２に記載の画像処理装置。
4. 前記プロセッサは、前記色変換精度として、前記ブロックを構成する画素群の統計値を算出する
   請求項３に記載の画像処理装置。
5. 前記プロセッサは、前記色変換後の画像のうち注目領域の重みを相対的に大きく、非注目領域の重みを相対的に小さくした重み付け演算により前記色変換精度を算出する
   請求項１−４のいずれかに記載の画像処理装置。
6. 前記プロセッサは、前記色変換後の画像のうち重要領域の重みを相対的に大きく、非重要領域の重みを相対的に小さくした重み付け演算により前記色変換精度を算出する
   請求項１−４のいずれかに記載の画像処理装置。
7. 前記プロセッサは、前記色変換後の画像のうち色変換の変化量が相対的に大きい領域の重みを相対的に大きく、色変換の変化量が相対的に小さい領域の重みを相対的に小さくした重み付け演算により前記色変換精度を算出する
   請求項１−４のいずれかに記載の画像処理装置。
8. 前記プロセッサは、前記色変換精度を前記閾値と比較する場合に、色変換後の画像のうち注目領域と非注目領域とで異なる閾値を用いて比較する
   請求項１−４のいずれかに記載の画像処理装置。
9. 前記プロセッサは、前記色変換精度を前記閾値と比較する場合に、色変換後の画像のうち重要領域と非重要領域とで異なる閾値を用いて比較する
   請求項１−４のいずれかに記載の画像処理装置。
10. 前記プロセッサは、前記色変換精度を前記閾値と比較する場合に、色変換後の画像のうち色変換の変化量が相対的に大きい領域とそうでない領域とで異なる閾値を用いて比較する
    請求項１−４のいずれかに記載の画像処理装置。
11. コンピュータに、
    色変換モデルを用いて色変換前の画像から色変換後の画像を生成するステップと、
    前記色変換モデルの精度を用いて前記色変換後の画像の色変換精度を算出するステップと、
    前記色変換精度が閾値以下の領域を特定するステップと、
    前記色変換後の画像のうち、前記色変換精度が閾値以下の領域の大きさが予め定められた基準より大きい色変換後の画像を表示するステップと、
    を実行させるプログラム。
    

Images