JP2019009764A - 画像処理装置、画像処理方法、画像処理システムおよびプログラム - Google Patents

Abstract

【課題】より理想的な色変換モデルを作成するために、レタッチの方向性が異なる色データを排除して、色変換モデルを作成することができる画像処理装置等を提供できる。【解決手段】色変換前の原画像と色変換後の画像のうちいずれか一方の画像について、色データを抽出する領域を指定する領域決定部１２と、領域決定部１２によって指定された、色変換前の原画像または色変換後の画像のうち一方の画像の領域内の画像情報の画素と、他方の画像のこれに対応する画像情報の画素との色変換情報を抽出する色データ抽出部１４と、色データ抽出部１４によって抽出された複数の色変換情報をもとに色変換モデルを作成する色変換モデル作成部１６と、を備える画像処理装置。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、画像処理システム、プログラムに関する。

近年、デジタルカメラやスマートフォン、タブレット等の機器の普及によりデジタル画像を撮影・閲覧するユーザが増加している。このとき撮影を行なう環境は、照明光等の影響により様々であり、また撮影対象も様々である。そのため撮影後に撮影された画像がユーザの意図するようなものとならないことがあり、そのため撮影された画像の色味等を調整することが一般的に行われている。

特許文献１には、画像処理装置として、次の処理を行なうものが記載されている。即ち、チャート画像における各パッチ毎に、基準値と測色値を取得する。基準値と測色値の差分ベクトルのうち、その大きさが閾値を超えるものを処理対象から除外し、残りの差分ベクトルに応じて３Ｄ−ＬＵＴを補正し、さらに４Ｄ−ＬＵＴを作成する。そして、除外された差分ベクトルに対応する測色値からパッチデータを算出して新たなチャートデータを作成し、新たなチャートデータによるキャリブレーションを繰り返す。

また特許文献２には、画像処理装置として、次の処理を行なうものが記載されている。即ち、入出力部は、第一の照明条件で被写体を撮影した第一の画像データ、および、第一の照明条件と異なる第二の照明条件で被写体を撮影した第二の画像データを入力する。色抽出部は、第一の画像データの各領域から色データを抽出し、第一の画像データの各領域に対応する第二の画像データの各領域から色データを抽出する。相関解析部は、第一の画像データの領域から抽出された色データと、第二の画像データの対応する領域から抽出された色データの間の相関性または差分に基づき、抽出された色データから第一および第二の画像データの代表色を設定する。色補正部は、代表色の色データを用いて第一の照明条件に依存する第一の画像データを第二の照明条件に依存する画像データに変換するための色補正条件を作成する。

特開２０１２−１７００１８号公報 特開２０１５−２０４５７１号公報

色調整を行なうための色変換モデルを作成するのに、色変換モデルがより理想的な変換となるようにするため、作成の材料となる色データをレタッチ技術が習熟した人のものを集めて作成することが望ましい。
しかしながら、レタッチ技術に習熟した人でも、画像データの内容（同系色の画像か、複数色の画像か、無地の画像か、模様が入った画像か等）によって、そのレタッチの方向性が異なる場合がある。その場合、このレタッチの方向性が異なる画像データが含まれた状態で色変換モデルを作成しても、理想的な色変換モデルが作成されない場合があった。
本発明は、より理想的な色変換モデルを作成するために、レタッチの方向性が異なる色データを排除して、色変換モデルを作成することができる画像処理装置等を提供することを目的とする。

請求項１に記載の発明は、色変換前の第１の画像と色変換後の第２の画像のうちいずれか一方の画像について、画像情報を抽出する領域を指定する指定手段と、前記指定手段によって指定された、前記第１の画像または前記第２の画像のうち一方の画像の領域内の画像情報の画素と、他方の画像のこれに対応する画像情報の画素との色変換情報を抽出する抽出手段と、前記抽出手段によって抽出された複数の前記色変換情報をもとに色変換特性を作成する作成手段と、を備える画像処理装置である。
請求項２に記載の発明は、前記指定手段により指定された前記領域において画像情報を抽出する間隔を決定する決定手段をさらに備え、前記抽出手段は、前記指定手段で決定された画像情報を抽出する間隔に従い、前記色変換情報を抽出することを決定することを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記決定手段は、前記領域に含まれる色数、階調数および柄の少なくとも１つを基に画像情報を抽出する間隔を決定することを特徴とする請求項２に記載の画像処理装置である。
請求項４に記載の発明は、前記決定手段は、柄を周波数分析により求めることを特徴とする請求項３に記載の画像処理装置である。
請求項５に記載の発明は、前記決定手段は、色空間内を予め定められた方法で区切られた色領域を考えたときに、前記領域に含まれる色が入る当該色領域の個数を基に画像情報を抽出する間隔を決定することを特徴とする請求項３に記載の画像処理装置である。
請求項６に記載の発明は、前記決定手段は、さらに前記色領域内に含まれる色数を基に画像情報を抽出する間隔を決定することを特徴とする請求項５に記載の画像処理装置である。
請求項７に記載の発明は、前記指定手段は、背景以外の箇所を画像情報を抽出する領域とすることを特徴とする請求項１に記載の画像処理装置である。
請求項８に記載の発明は、前記指定手段は、人の肌色の箇所をさらに除外して画像情報を抽出する領域とすることを特徴とする請求項７に記載の画像処理装置である。
請求項９に記載の発明は、前記抽出手段で抽出した前記色変換情報を表示装置で表示するために出力する抽出結果確認手段をさらに備えることを特徴とする請求項１に記載の画像処理装置である。
請求項１０に記載の発明は、前記抽出結果確認手段は、抽出した前記色変換情報の一部をユーザからの指示により削除することを特徴とする請求項９に記載の画像処理装置である。
請求項１１に記載の発明は、前記決定手段は、画像情報を抽出する間隔に加え、または画像情報を抽出する間隔に代わり、抽出した前記色変換情報に対する重みを決定することを特徴とする請求項２に記載の画像処理装置である。
請求項１２に記載の発明は色変換前の第１の画像と色変換後の第２の画像のうちいずれか一方の画像について、画像情報を抽出する領域を指定する指定工程と、前記指定工程によって指定された、前記第１の画像または前記第２の画像のうち一方の画像の領域内の画像情報の画素と、他方の画像のこれに対応する画像情報の画素との色変換情報を抽出する抽出工程と、前記抽出工程によって抽出された複数の前記色変換情報をもとに色変換特性を作成する作成工程と、を含む画像処理方法である。
請求項１３に記載の発明は、撮影対象を撮影する撮影装置と、前記撮影装置により撮影した画像に対し色調整を行なう画像処理装置と、を備え、前記画像処理装置は、色変換前の第１の画像と色変換後の第２の画像のうちいずれか一方の画像について、画像情報を抽出する領域を指定する指定手段と、前記指定手段によって指定された、前記第１の画像または前記第２の画像のうち一方の画像の領域内の画像情報の画素と、他方の画像のこれに対応する画像情報の画素との色変換情報を抽出する抽出手段と、前記抽出手段によって抽出された複数の前記色変換情報をもとに色変換特性を作成する作成手段と、前記色変換特性を基に、前記撮影装置により撮影した画像に対し色調整を行なう色調整手段と、を備える画像処理システムである。
請求項１４に記載の発明は、コンピュータに、色変換前の第１の画像と色変換後の第２の画像のうちいずれか一方の画像について、画像情報を抽出する領域を指定する指定機能と、前記指定機能によって指定された、前記第１の画像または前記第２の画像のうち一方の画像の領域内の画像情報の画素と、他方の画像のこれに対応する画像情報の画素との色変換情報を抽出する抽出機能と、前記抽出機能によって抽出された複数の前記色変換情報をもとに色変換特性を作成する作成機能と、を実現させるためのプログラムである。

請求項１の発明によれば、レタッチの方向性が異なる画像情報を排除して、色変換モデルを作成することで、より理想的な色変換モデルを作成することができる画像処理装置を提供することができる。
請求項２の発明によれば、抽出する画像情報の数がより適度になり、抽出する画像情報にレタッチの方向性が異なるものがさらに入り込みにくくなる。
請求項３の発明によれば、画像情報を抽出する間隔を決定するのにより適したパラメータを使用することができる。
請求項４の発明によれば、より簡単な方法で柄の差異を判断することができる。
請求項５の発明によれば、より簡単な方法で画像情報を抽出する間隔を決定することができる。
請求項６の発明によれば、より簡単な方法で画像情報を抽出する間隔を決定することができる。
請求項７の発明によれば、商品の画像等のより重要な個所を画像情報を抽出する領域とすることができる。
請求項８の発明によれば、人の肌色について、色調整を行なわないようにすることができる。
請求項９の発明によれば、ユーザが画像情報の抽出結果を確認することができる。
請求項１０の発明によれば、抽出した画像情報うち不必要なものをユーザが削除することができる。
請求項１１の発明によれば、精度のよい色変換モデルを作成することができる。
請求項１２の発明によれば、レタッチの方向性が異なる画像情報を排除して、色変換モデルを作成することで、より理想的な色変換モデルを作成することができる画像処理方法を提供することができる。
請求項１３の発明によれば、色調整の精度が低下しにくい変換関係を作成できる画像処理システムが提供できる。
請求項１４の発明によれば、レタッチの方向性が異なる画像情報を排除して、色変換モデルを作成することで、より理想的な色変換モデルを作成することができる機能をコンピュータにより実現できる。

本実施の形態における画像処理システムの構成例を示す図である。 本実施の形態における画像処理装置の機能構成例を表すブロック図である。 （ａ）〜（ｆ）は、画像データ取得部が取得する画像データの例について示した図である。 （ａ）は、領域に含まれる柄を基に色データを抽出する位置の間隔を決定する場合を示している。（ｂ）は、色数や階調数を基に色データを抽出する位置の間隔を決定する場合を示している。（ｃ）は、色数や階調数に加え、ボックス内に含まれる色数を基に色データを抽出する位置の間隔を決定する場合を示している。 （ａ）〜（ｂ）は、第１の色データと第２の色データとの対の例を示した図である。 色データ抽出部で抽出した色データを確認する画面の第１の例である。 色データ抽出部で抽出した色データを確認する画面の第２の例である。 色変換モデルの一例について示した図である。 （ａ）〜（ｂ）は、第１の色データと第２の色データとの関係が単調増加関数になるように色変換モデルを作成した場合と、単調増加関数とならないように色変換モデルを作成した場合を比較した図である。 画像処理装置の動作について説明したフローチャートである。 画像処理装置のハードウェア構成を示した図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜画像処理システム全体の説明＞
図１は、本実施の形態における画像処理システム１の構成例を示す図である。
図示するように本実施の形態の画像処理システム１は、カメラ４０により撮影した原画像に対し色調整（色変換）を行なう画像処理装置１０と、画像処理装置１０により出力された画像データに基づき画像を表示する表示装置２０と、画像処理装置１０に対しユーザが種々の情報を入力するための入力装置３０と、撮影対象Ｓを撮影し画像処理装置１０で色調整するための画像データを生成するカメラ４０とを備える。

画像処理装置１０は、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、画像処理装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、色調整等が行われるようになっている。

表示装置２０は、表示画面２１に画像を表示する。表示装置２０は、例えばＰＣ用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置２０における表示方式は、液晶方式に限定されるものではない。なお、図１に示す例では、表示装置２０内に表示画面２１が設けられているが、表示装置２０として例えばプロジェクタを用いる場合、表示画面２１は、表示装置２０の外部に設けられたスクリーン等となる。

入力装置３０は、キーボードやマウス等で構成される。入力装置３０は、色調整を行なうためのアプリケーションソフトウェアの起動、終了や、詳しくは後述するが、色調整を行なう際に、ユーザが画像処理装置１０に対し色調整を行なうための指示を入力するのに使用する。

カメラ４０は、撮影装置の一例であり、例えば、入射した光を収束する光学系と、光学系により収束された光を検出する撮像手段であるイメージセンサとを備える。
光学系は、単一のレンズまたは複数のレンズを組み合わせて構成される。光学系は、レンズの組み合わせおよびレンズ表面に施されたコーティング等により、各種の収差が除去されている。イメージセンサは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を配列して構成される。

画像処理装置１０および表示装置２０は、ＤＶＩ（Digital Visual Interface）を介して接続されている。なお、ＤＶＩに代えて、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置１０と入力装置３０とは、例えば、ＵＳＢ（Universal Serial Bus）を介して接続されている。なお、ＵＳＢに代えて、ＩＥＥＥ１３９４やＲＳ−２３２Ｃ等を介して接続されていてもよい。
さらに画像処理装置１０およびカメラ４０とは、図示する例では、有線で接続されており、例えば、ＵＳＢ、ＩＥＥＥ１３９４、ＲＳ−２３２Ｃを介して接続されている。これにより有線によりカメラ４０で撮影された画像の画像データが、画像処理装置１０に送られる。ただしこれに限られるものではなく、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）等の無線接続であってもよい。さらに画像処理装置１０およびカメラ４０とを接続せず、ＳＤカード等のメモリカード等を介して画像データを画像処理装置１０に受け渡してもよい。

このような画像処理システム１において、まず最初にユーザが、カメラ４０により撮影対象Ｓを撮影する。カメラ４０により撮影した画像は、第１の画像としての原画像であり、この画像データは、画像処理装置１０に送られる。そして表示装置２０には、色処理を行なう前の画像である原画像が表示される。次にユーザが入力装置３０を使用して、画像処理装置１０に対し色調整を行なうための指示を入力すると、画像処理装置１０により原画像に対し色調整がなされる。この色調整の結果は、例えば、表示装置２０に表示される画像に反映され、第１の画像とは異なる第２の画像としての色調整後の画像が再描画されて表示装置２０に表示される。この場合、ユーザは、表示装置２０を見ながらインタラクティブに色調整を行なうことができ、より直感的に、またより容易に色調整の作業を行える。
また、第２の画像として、画像処理装置１０による色調整後の画像の他、カメラ４０とは機種特性が異なる、即ち撮影条件が異なる他のカメラによって撮影された他の画像としてもよい。この場合は、カメラ４０で撮影した画像を第１の画像とし、撮影条件が異なるカメラで撮影された他の画像を第２の画像として見ることができる。

また画像処理装置１０では、色調整の結果を基に、原画像の色調整を行ない色調整後の画像とすることができる変換関係を作成する。この色調整は、例えば、第１の色データおよび第２の色データがＲｅｄ（Ｒ）、Ｇｒｅｅｎ（Ｇ）、Ｂｌｕｅ（Ｂ）からなるＲＧＢデータであったとき、第１の色データを（Ｒ_ａ、Ｇ_ａ、Ｂ_ａ）、第２の色データを（Ｒ_ｂ、Ｇ_ｂ、Ｂ_ｂ）とすると、（Ｒ_ａ、Ｇ_ａ、Ｂ_ａ）→（Ｒ_ｂ、Ｇ_ｂ、Ｂ_ｂ）とする処理である。この変換関係を使用することで、先に行なった色調整と同様の色調整を再現することができる。この変換関係は、プロファイルとも呼ばれ、例えば、３次元ＬＵＴ（Look up Table）として作成することができる。ただしこれに限られるものではない。例えば、変換関係は、Ｒ_ａ→Ｒ_ｂ、Ｇ_ａ→Ｇ_ｂ、Ｂ_ａ→Ｂ_ｂとする１次元ＬＵＴであってもよい。また変換関係は、（Ｒ_ａ、Ｇ_ａ、Ｂ_ａ）→（Ｒ_ｂ、Ｇ_ｂ、Ｂ_ｂ）とする多次元マトリクスであってもよい。この変換関係を作成する処理については後述する。

なお本実施の形態における画像処理システム１は、図１の形態に限られるものではない。例えば、画像処理システム１としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにタッチ等のユーザの指示が入力される。即ち、タッチパネルが、表示装置２０および入力装置３０として機能する。なおカメラ４０としては、タブレット端末に内蔵されたカメラを用いることができる。また同様に表示装置２０および入力装置３０を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置２０の表示画面２１としてタッチパネルを使用したものである。この場合、画像処理装置１０により出力された画像データに基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで色調整を行なうための指示を入力する。

ここで画像処理装置１０が、変換関係を作成するには、上述したように色調整前（色変換前）の画像である原画像から第１の色データを取得し、色調整後（色変換後）の画像から第２の色データを取得する必要がある。
しかしながらこのとき画像中から色データを取得する箇所が過度に少なく、これらの色データの数が少なすぎると、例えば、必要な階調値の色データが抜け落ち、変換関係の精度が低下する。また画像中から色データを取得する箇所が過度に多く、これらの色データの数が多すぎると、例えば、色変換に必要でない箇所の色データまで取得してしまい、その結果、後述する色変換モデルにノイズが入り込む。つまりレタッチの方向性が異なる色データが入り込む。その結果、精度の高い色変換モデルが作成しにくくなり、変換関係の精度が低下する。
そこで本実施の形態では、画像処理装置１０の構成を以下のようにし、画像処理装置１０で変換関係を作成する際に、上述した問題が生じにくくする。

＜画像処理装置の説明＞
次に画像処理装置１０について説明を行なう。

図２は、本実施の形態における画像処理装置１０の機能構成例を表すブロック図である。なお図２では、画像処理装置１０が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置１０は、画像データを取得する画像データ取得部１１と、画像データから色データを抽出する領域を決定する領域決定部１２と、色データを抽出する方法を決定する抽出決定部１３と、画像データから色データを抽出する色データ抽出部１４と、ユーザに色データの抽出結果を確認させる抽出結果確認部１５と、色変換モデルを作成する色変換モデル作成部１６と、変換関係を作成する変換関係作成部１７と、出力部１８とを備える。

画像データ取得部１１は、色調整前（色変換前）の原画像の画像データである第１の画像データと、色調整後（色変換後）の画像データである第２の画像データとを取得する。これらの画像データは、表示装置２０で表示を行なうためのデータ形式となっており、例えば、前述のＲＧＢデータである。なお画像データ取得部１１は、他のデータ形式で画像データを取得し、これを色変換してＲＧＢデータ等としてもよい。

図３（ａ）〜（ｆ）は、画像データ取得部１１が取得する画像データの例について示した図である。
ここでは、商品である衣服または商品である衣服を着用した人物を撮影したときの画像データを３組用意した場合を示している。このうち図３（ａ）および図３（ｂ）は、それぞれダウンジャケットを撮影したときの第１の画像データ（色調整前の画像データ）および第２の画像データ（色調整後の画像データ）を示している。また図３（ｃ）および図３（ｄ）は、それぞれシャツおよびズボンを着用した人物を撮影したときの第１の画像データおよび第２の画像データを示している。さらに図３（ｅ）および図３（ｆ）は、それぞれワンピースを撮影したときの第１の画像データおよび第２の画像データを示している。

このように第１の画像データと第２の画像データとを複数組用意することで、より多くの色を含む画像データを取得することができる。

領域決定部１２は、指定手段の一例であり、色調整前（色変換前）の原画像と色調整後（色変換後）の画像のうちいずれか一方の画像について、色データ（画像情報）を抽出する領域を指定する。
つまり領域決定部１２は、例えば、図３に示した画像データの中から色データをどの位置から取得するかを決定する。この場合、色調整は商品である衣服の箇所に対して行われる。つまり商品の色は、色再現をより厳密に行ない、実際の商品の色と画像として表示される商品の色とが合致することが要求される。そのため色調整を行なう対象となりやすい。対して商品の背景の領域は、このような要求がされにくく、色調整を行なう対象となりにくい。そのため領域決定部１２は、この衣服の箇所を、色データを抽出する領域とする。

具体的には、領域決定部１２は、背景以外の箇所を色データを抽出する領域とする。そのために領域決定部１２は、背景と背景以外の箇所を判断する必要がある。ここで背景の画像データは、画像の左端の画像データとほぼ同じとなる。そのため画像の左端の画像データと大きく画像データが変化している箇所を背景以外の箇所とすることができる。画像の左端の画像データと比較する画像データをサンプリングするには、例えば、画像中において予め定められた間隔で画素位置を決定し、画像の左端の画素との画像データを比較する。また予め定められたサイズのマスクを画像データに適用し、このマスク内の画像データの平均値と画像の左端の画素との画像データを比較してもよい。

さらに他の方法としては、画像データを基に周波数解析をし、高周波が発生した画素位置を取得する。この画素位置は、背景以外の箇所の輪郭となるため、この輪郭の内側を背景以外の箇所とする。さらに他の方法としては、画像の中央から予め定められたサイズの範囲を規定しておき、この内部を背景以外の箇所とする。

領域決定部１２は、人の肌色の箇所をさらに除外して色データを抽出する領域とすることが好ましい。即ち、人の肌色は、色調整を行なわない方が好ましく、色調整を行なう対象とすると不自然な色になりやすい。そのため色データを抽出する領域として人の肌色の箇所は含めない方がよい。

なお領域決定部１２は、画像データ取得部１１が取得した第１の画像データおよび第２の画像データの組毎に色データを抽出する領域を決定する。図３に示した例では、領域決定部１２は、３組の画像データのそれぞれについて、第１の画像データまたは第２の画像データを使用して色データを抽出する領域を決定する。ただしそれぞれの画像データの組の全てを利用せず、一部を利用してもよい。一部を利用する場合は、領域決定部１２は、例えば、ランダムに選択を行なう。取得した画像データが多い場合は、領域決定部１２は、このように画像データを選択する処理を行なってもよい。

抽出決定部１３は、決定手段の一例であり、領域決定部１２により指定された領域において色データを抽出する間隔を決定する。よってこの色データを抽出する間隔がより小さければ、この領域において色データを抽出する位置のピッチがより小さくなり、抽出される色データの数がより多くなる。対してこの色データを抽出する間隔がより大きければ、この領域において色データを抽出する位置のピッチがより大きくなり、抽出される色データの数がより少なくなる。なお色データを抽出する間隔が同じであれば、領域内の画素数がより少ないほど抽出される色データの数はより少なくなり、領域内の画素数がより多いほど抽出される色データの数はより多くなる。

具体的には、抽出決定部１３は、この領域に含まれる色数、階調数および柄の少なくとも１つを基に色データを抽出する間隔を決定する。

図４（ａ）は、領域に含まれる柄を基に色データを抽出する間隔を決定する場合を示している。
ここでは、抽出決定部１３は、柄を周波数分析により求める。図４（ａ）で横軸は、この領域における周波数を表す。また縦軸は、色データを抽出するデータの数を表す。
このとき、周波数がより低いほど色データを抽出する間隔をより大きくし、周波数がより高いほど色データを抽出する間隔をより小さくする。即ち、衣服等の柄が細かくない場合は、色データを抽出する間隔を大きくし、抽出する色データの数を少なくする。対して衣服等の柄が細かい場合は、色データを抽出する間隔を小さくし、抽出する色データの数を多くする。

図４（ｂ）は、色数や階調数を基に色データを抽出する間隔を決定する場合を示している。
ここでは、抽出決定部１３は、色空間内を予め定められた方法で区切られた色領域（ボックス）を考えたときに、領域決定部１２により決定された領域に含まれる色が入る色領域の個数（ボックス数）を基に色データを抽出する間隔を決定する。領域決定部１２により決定された領域に含まれる色数や階調数が多いほどボックス数はより多くなり、少ないほどボックス数はより少なくなる。図４（ｂ）で横軸は、領域決定部１２により決定された領域に含まれる色が入るボックス数を表す。また縦軸は、色データを抽出するデータの数を表す。

図示するように、ボックス数がより小さいほど色データを抽出する間隔をより大きくすることで抽出する色データの数を小さくし、ボックス数がより大きいほど色データを抽出する間隔をより小さくすることで抽出する色データの数を大きくする。即ち、領域に含まれる色数や階調数が少ない場合は、色データを抽出する間隔を大きくし、抽出する色データの数を少なくする。対して領域に含まれる色数や階調数が多い場合は、色データを抽出する間隔を小さくし、抽出する色データの数を多くする。

また抽出決定部１３は、さらにボックス内に含まれる色数を基に色データを抽出する間隔を決定してもよい。
図４（ｃ）は、色数や階調数に加え、ボックス内に含まれる色数を基に色データを抽出する間隔を決定する場合を示している。図４（ｃ）で横軸は、領域に含まれる色が入るボックスのうち、予め定められた色数以上が含まれるボックス数を表す。また縦軸は、色データを抽出するデータの数を表す。
図示するように、含まれる色数が閾値以上のボックス数がより小さいほど色データを抽出する間隔をより大きくすることで抽出する色データの数をより小さくし、含まれる色数が閾値以上のボックス数がより大きいほど色データを抽出する間隔をより小さくすることで抽出する色データの数をより大きくする。この場合は、少ない色数しか含まれないボックスについてはボックス数としてカウントしない。この場合も、領域に含まれる色数や階調数が少ない場合は、色データを抽出する間隔を大きくし、抽出する色データの数を少なくする。対して領域に含まれる色数や階調数が多い場合は、色データを抽出する間隔を小さくし、抽出する色データの数を多くする。

また色データを抽出する間隔を決定する方法としては、上記方法に限られるものではない。
例えば、色データを抽出する領域内に含まれる柄物の画像の数を基に色データを抽出する間隔を決定してもよい。この場合、この領域内に含まれる柄物の画像の数がより少ないほど色データを抽出する間隔をより大きくし、この領域内に含まれる柄物の画像の数がより多いほど色データを抽出する間隔をより小さくする。

また抽出決定部１３は、色データを抽出する間隔に加え、または色データを抽出する間隔に代わり、抽出した色データに対する重みを決定してもよい。つまり色データを抽出する間隔と抽出した色データに対する重みとを併用してもよく、色データを抽出する間隔は、一定とし、抽出した色データに対する重みを代わりに使用してもよい。

色データ抽出部１４は、抽出決定部１３で決定された色データを抽出する間隔に従い、領域決定部１２によって指定された、原画像(第１の画像)または色調整後の画像(第２の画像)のうち一方の画像の領域内の画像情報の画素と、他方の画像のこれに対応する画像情報の画素とから色データとして色変換情報を抽出する。これは、画像中の互いに対応する位置における色データの組として、第１の画像データから第１の色データを抽出するとともに、第２の画像データから第２の色データを抽出する、と言うこともできる。この場合、抽出した第１の色データと第２の色データの組が色変換情報である。
つまり第１の画像データおよび第２の画像データから、画像中で同じとなる位置において第１の色データおよび第２の色データを抽出する。

図５（ａ）〜（ｂ）は、第１の色データと第２の色データとの対の例を示した図である。
ここで図５（ａ）は、色調整前の画像である原画像と抽出した第１の色データの例を示している。ここでは、原画像がブラウスの画像であり、その中の１〜５で示した箇所において抽出した色データをＲＧＢａ１〜ＲＧＢａ５として示している。この場合、ブラウスは、青単色であり、ＲＧＢａ１〜ＲＧＢａ５は、何れも青色を表すＲＧＢデータとなっている。
また図５（ｂ）は、色調整後の画像と抽出した第２の色データの例を示している。ここでは、図５（ａ）と同様の１〜５で示した箇所において抽出した色データをＲＧＢｂ１〜ＲＧＢｂ５として示している。

抽出結果確認部１５は、抽出結果確認手段の一例であり、色データ抽出部１４で抽出した色データ（色変換情報）を表示装置２０で表示するために出力する。
図６は、色データ抽出部１４で抽出した色データを確認する画面の第１の例である。
ここでは色データ抽出部１４で抽出した色データの分布を、「取得色の分布」として表示している。そして白〜ピンクまでの１２色について抽出できた色数を４段階で示している。この例では、例えば、白、黒、グレー、青、紫、ピンクについては、必要な色数が取得できたが、他の色、特に、黄、緑、水色については、必要な色数が不足している場合を示す。その結果、診断結果として「学習させる画像が少なすぎます。セットする画像の数を増やしてください。」という通知がユーザに対しなされている。つまり画像データ取得部１１で取得した第１の色データと第２の色データとの組数が不足しており、そのため色データ抽出部１４で抽出できた色数が不足した状態となった場合である。抽出できた色数が充足しているか不足しているかの判定は、抽出結果確認部１５が行なうことができる。

図７は、色データ抽出部１４で抽出した色データを確認する画面の第２の例である。
ここでは色データ抽出部１４で抽出した色データの分布をＲＧＢ色空間中でプロットし、色空間画像として表示装置２０で表示した場合を示している。図中、黒丸で示した点が色データ抽出部１４で抽出した色データを表している。
これによりユーザは、抽出した色データの分布を視覚的に把握することができる。またこのとき抽出結果確認部１５は、抽出した第１の色データおよび第２の色データ（色変換情報）の一部をユーザからの指示により削除することができる。これは例えば、ユーザが図７の中から不必要であると判断した色データを削除する作業を行なうことで実現できる。

色変換モデル作成部１６は、作成手段の一例であり、色データ抽出部１４によって抽出された複数の第１の色データおよび第２の色データの組（色変換情報）をもとに色変換特性（色変換モデル）を作成する。つまり色データ抽出部１４で抽出した第１の色データと第２の色データとの関係を表す色変換モデルを作成する。

図８は、色変換モデルの一例について示した図である。
ここで横軸は、色調整前の色データである第１の色データを表し、縦軸は、色調整後の色データである第２の色データを表す。第１の色データおよび第２の色データは、ＲＧＢデータであり、図では、第１の色データは、ＲＧＢａ、第２の色データは、ＲＧＢｂとして図示している。

そして黒丸は、色データ抽出部１４で抽出された第１の色データと第２の色データとをプロットしたものであり、ここでは、色データ抽出部１４で抽出された第１の色データと第２の色データとの対が、１２個であったことを示している。

また実線は、第１の色データと第２の色データとの関係であり、色変換モデル作成部１６で作成された色変換モデルを表す。即ち、色変換モデルは、第１の色データと第２の色データとの関係を表した関数であると言うこともできる。この関数をｆとすると、ＲＧＢｂ＝ｆ（ＲＧＢａ）と表すこともできる。この色変換モデルは、公知の方法で作成することができる。ただし、重み付け回帰モデルやニューラルネットワークなどの非線形特性に対するフィッティング性能が高い方法を使用することが好ましい。ただし、非線形特性に限定されず、Ｍａｔｒｉｘモデルを使用した線形特性を用いてもよい。

また色変換モデル作成部１６は、第１の色データと第２の色データとの関係が非線形の単調増加関数となるように色変換モデルを作成することが好ましい。
図９（ａ）〜（ｂ）は、第１の色データと第２の色データとの関係が単調増加関数になるように色変換モデルを作成した場合と、単調増加関数とならないように色変換モデルを作成した場合を比較した図である。
図中、実線で描かれた曲線は色変換モデルを表す。この色変換モデルのうち太線の方は、第１の色データと第２の色データとの関係が単調増加関数となるように色変換モデルを作成した場合であり、図８と同様の色変換モデルである。また細線の方は、第１の色データと第２の色データとの関係が単調増加関数とならないように色変換モデルを作成した場合である。なおここで単調増加関数とは、色変換モデルを表す実線の接線の傾きが０以上となることであり、傾きが０となる箇所があってもよい。即ち広義の単調増加関数である。

太線で示した色変換モデルは、接線の傾きが０未満（負）となる場合はなく、常に０以上である。
対して細線で示した色変換モデルは、接線の傾きが０未満（負）となる場合がある。即ちＲＧＢａが増加するとＲＧＢｂが減少する箇所がある。この色変換モデルを使用して作成された変換関係を利用して色調整を行なうと、色調整後の画像に階調段差が生じることがある。第１の色データと第２の色データとの関係が単調増加関数になるように色変換モデルを作成すると階調段差が生じるのが低減でき、色調整のばらつきも低減できる。

色変換モデル作成部１６が、太線で示したような色変換モデルを作成するには、例えば、Ｐｒ１、Ｐｒ２およびＰｒ３として図示した第１の色データおよび第２の色データの対がより少ない方が好ましい。このＰｒ１、Ｐｒ２およびＰｒ３として図示したものは、上述したレタッチの方向性が異なる色データである。本実施の形態では、画像データ取得部１１で、色調整前の画像データである第１の画像データと、色調整後の画像データである第２の画像データとを取得し、その中から第１の色データと第２の色データの組として種々の色の色データを取得することでレタッチの方向性が異なる色データが入り込むことを抑制することができる。また抽出決定部１３で色データを抽出する間隔を決定し、色データ抽出部１４で抽出する色データを適度な数とすることで、レタッチの方向性が異なる色データが入り込むことをさらに抑制することができる。また図７で説明したように、ユーザが不必要であると判断した色データを削除する作業を行なうことで、レタッチの方向性が異なる色データが入り込むことをさらに抑制することができる。

また色変換モデル作成部１６は、第１の色データと第２の色データとの対に対し重みを設定した場合は、この重みを使用して色変換モデルを作成する。

変換関係作成部１７は、色変換モデル作成部１６で作成した色変換モデルを基に、第１の画像（原画像）の色調整を再現する変換関係を作成する。色変換モデルは、第１の色データと第２の色データとの組（色変換情報）から作成されるため、変換関係作成部１７は、第１の色データと第２の色データとの組を基に、色調整を再現する変換関係を作成する、と言うこともできる。この変換関係は、ユーザが原画像に対し行なった色調整の結果を再現するものとなる。つまり色調整前の画像（原画像）に対しこの変換関係を使用して色調整を行なうと、ユーザが先に行なった色調整と同様の色調整を再び行ない、色調整後の画像とすることができる。

変換関係が３次元ＬＵＴである場合は、Ｒ、Ｇ、Ｂのそれぞれについて代表となる画素値を選択する。例えば、Ｒ、Ｇ、Ｂのそれぞれのデータが８ｂｉｔの階調で表される場合、画素値は０〜２５５の整数となるが、これを例えば、８分割する。そして８分割したそれぞれの画素値で表すことができるＲＧＢデータを格子点とする（いわゆる９格子点）。この場合、格子点は、９^３＝７２９個となる。そしてこの格子点のそれぞれについて、色変換モデルを基に第１の色データと第２の色データとの対応関係を算出する。この対応関係をＬＵＴ（Look Up Table）で表したものが３次元ＬＵＴである。その結果、３次元ＬＵＴは、各格子点毎に入力値（Ｒ_ａ、Ｇ_ａ、Ｂ_ａ）−出力値（Ｒ_ｂ、Ｇ_ｂ、Ｂ_ｂ）の対応関係として記述される。

このとき変換関係作成部１７は、領域決定部１２により決定された領域に含まれる色については色調整を行なうが、他の色については色調整を行なわない変換関係を作成することが好ましい。例えば、図５で示した画像の場合は、変換関係作成部１７は、青の色領域に対しては色調整を行なうが、他の色については色調整を行なわない変換関係を作成する。変換関係が３次元ＬＵＴである場合、この３次元ＬＵＴは、領域決定部１２により決定された領域に含まれる色に近い格子点の入力値（Ｒ_ａ、Ｇ_ａ、Ｂ_ａ）と出力値（Ｒ_ｂ、Ｇ_ｂ、Ｂ_ｂ）とは異なる値となるが、他の格子点の入力値（Ｒ_ａ、Ｇ_ａ、Ｂ_ａ）と出力値（Ｒ_ｂ、Ｇ_ｂ、Ｂ_ｂ）とは同じ値となる。よって領域決定部１２が、人の肌色の箇所をさらに除外して色データを抽出する領域とした場合、この色は、色調整が行なわれない。

出力部１８は、変換関係を用いて、カメラ４０により撮影した画像に対し色調整を行なう色調整手段の一例であり、色調整後の画像データや変換関係のデータを出力する。色調整後の画像データは、表示装置２０に出力され、表示装置２０では、この画像データに基づいた色調整後の画像が表示される。また変換関係のデータは、例えば、画像処理装置１０に記憶され、この変換関係を用いて色調整を行なうことができる。また画像処理装置１０とは異なる外部機器に対し出力され、この外部機器においてこの変換関係を用いて色調整を行なうことができる。

次に画像処理装置１０の動作について説明する。
図１０は、画像処理装置１０の動作について説明したフローチャートである。なお以下に説明する画像処理装置１０の動作は、画像処理装置１０により行なわれる画像処理方法であると捉えることもできる。

画像データ取得部１１が、色調整前の原画像の画像データである第１の画像データと、色調整後の画像データである第２の画像データとを取得する（ステップ１０１：画像データ取得工程）。

次に領域決定部１２が、色調整前の原画像と色調整後の画像のうちいずれか一方の画像について、色データを抽出する領域を指定する（ステップ１０２：指定工程）。このとき領域決定部１２は、背景以外の箇所を色データを抽出する領域とする。また領域決定部１２は、人の肌色の箇所をさらに除外して色データを抽出する領域とすることが好ましい。

さらに抽出決定部１３が、領域決定部１２により指定された領域において色データを抽出する間隔を決定する（ステップ１０３：決定工程）。このとき抽出決定部１３は、この領域に含まれる色数、階調数および柄の少なくとも１つを基に色データを抽出する間隔を決定する。

そして色データ抽出部１４が、抽出決定部１３で決定された色データを抽出する間隔に従い、領域決定部１２によって指定された、原画像または色調整後の画像のうち一方の画像の領域内の画素と、他方の画像のこれに対応する画素とから色データとして色変換情報を抽出する（ステップ１０４：抽出工程）。

次に抽出結果確認部１５が、色データ抽出部１４で抽出した色データを表示装置２０で表示するために出力する（ステップ１０５：抽出結果確認工程）。
このとき例えば、ユーザは図８で説明したように、不必要であると判断した色データを削除する作業を行なうようにすることもできる。

そして色変換モデル作成部１６が、色データ抽出部１４によって抽出された複数の第１の色データおよび第２の色データの組（色変換情報）をもとに色変換モデルを作成する（ステップ１０６：作成工程）。

さらに変換関係作成部１７が、色変換モデル作成部１６で作成した色変換モデルを基に、色調整を再現する変換関係を作成する（ステップ１０７：変換関係作成工程）。これは、上述の通り、例えば、３次元ＬＵＴで作成される。出力形式としては、ＩＣＣ Ｐｒｏｆｉｌｅの形式等、一般的に知られているフォーマットを使用すればよい。

そして出力部１８が、色調整後の画像データや変換関係のデータを出力する（ステップ１０８）。

本実施の形態では、レタッチの方向性が異なる色データを排除して、色変換モデルを作成することで、より理想的な色変換モデルを作成することができる。そしてより精度の高い変換関係を作成することができる。この色変換モデルを使用して作成した出力データ(例えば、ＩＣＣ Ｐｒｏｆｉｌｅ)を使用して、カメラ４０で撮影した画像を色変換することでより理想的な色調整ができる。

なお上述した例では、原画像としてカメラ４０により撮影された画像を用いたが、原画像については特に限られるものではない。例えば、原画像としてスキャナにより読み込んだ画像を使用してもよい。また市販されている画像データやインターネット等で配布されている画像データをそのまま原画像としてもよい。

＜画像処理装置のハードウェア構成例＞
次に、画像処理装置１０のハードウェア構成について説明する。
図１１は、画像処理装置１０のハードウェア構成を示した図である。
画像処理装置１０は、上述したようにパーソナルコンピュータ等により実現される。そして図示するように、画像処理装置１０は、演算手段であるＣＰＵ（Central Processing Unit）９１と、記憶手段であるメインメモリ９２、およびＨＤＤ（Hard Disk Drive）９３とを備える。ここで、ＣＰＵ９１は、ＯＳ（Operating System）やアプリケーションソフトウェア等の各種プログラムを実行する。また、メインメモリ９２は、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、ＨＤＤ９３は、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。
さらに、画像処理装置１０は、外部との通信を行なうための通信インターフェース（通信Ｉ／Ｆ）９４を備える。

＜プログラムの説明＞
ここで以上説明を行った本実施の形態における画像処理装置１０が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。

よって本実施の形態で画像処理装置１０が行なう処理は、コンピュータに、第１の画像と第２の画像のうちいずれか一方の画像について、色データを抽出する領域を指定する指定機能と、指定機能によって指定された、第１の画像または第２の画像のうち一方の画像の色データの画素と、他方の画像のこれに対応する色データの画素との色変換情報を抽出する抽出機能と、抽出機能によって抽出された複数の色変換情報をもとに色変換モデルを作成する作成機能と、を実現させるためのプログラムとして捉えることができる。

なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

１…画像処理システム、１０…画像処理装置、１１…画像データ取得部、１２…領域決定部、１３…抽出決定部、１４…色データ抽出部、１５…抽出結果確認部、１６…色変換モデル作成部、１７…変換関係作成部、１８…出力部

Claims (14)

1. 色変換前の第１の画像と色変換後の第２の画像のうちいずれか一方の画像について、画像情報を抽出する領域を指定する指定手段と、
   前記指定手段によって指定された、前記第１の画像または前記第２の画像のうち一方の画像の領域内の画像情報の画素と、他方の画像のこれに対応する画像情報の画素との色変換情報を抽出する抽出手段と、
   前記抽出手段によって抽出された複数の前記色変換情報をもとに色変換特性を作成する作成手段と、
   を備える画像処理装置。
2. 前記指定手段により指定された前記領域において画像情報を抽出する間隔を決定する決定手段をさらに備え、
   前記抽出手段は、前記指定手段で決定された画像情報を抽出する間隔に従い、前記色変換情報を抽出することを決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記領域に含まれる色数、階調数および柄の少なくとも１つを基に画像情報を抽出する間隔を決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、柄を周波数分析により求めることを特徴とする請求項３に記載の画像処理装置。
5. 前記決定手段は、色空間内を予め定められた方法で区切られた色領域を考えたときに、前記領域に含まれる色が入る当該色領域の個数を基に画像情報を抽出する間隔を決定することを特徴とする請求項３に記載の画像処理装置。
6. 前記決定手段は、さらに前記色領域内に含まれる色数を基に画像情報を抽出する間隔を決定することを特徴とする請求項５に記載の画像処理装置。
7. 前記指定手段は、背景以外の箇所を画像情報を抽出する領域とすることを特徴とする請求項１に記載の画像処理装置。
8. 前記指定手段は、人の肌色の箇所をさらに除外して画像情報を抽出する領域とすることを特徴とする請求項７に記載の画像処理装置。
9. 前記抽出手段で抽出した前記色変換情報を表示装置で表示するために出力する抽出結果確認手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
10. 前記抽出結果確認手段は、抽出した前記色変換情報の一部をユーザからの指示により削除することを特徴とする請求項９に記載の画像処理装置。
11. 前記決定手段は、画像情報を抽出する間隔に加え、または画像情報を抽出する間隔に代わり、抽出した前記色変換情報に対する重みを決定することを特徴とする請求項２に記載の画像処理装置。
12. 色変換前の第１の画像と色変換後の第２の画像のうちいずれか一方の画像について、画像情報を抽出する領域を指定する指定工程と、
    前記指定工程によって指定された、前記第１の画像または前記第２の画像のうち一方の画像の領域内の画像情報の画素と、他方の画像のこれに対応する画像情報の画素との色変換情報を抽出する抽出工程と、
    前記抽出工程によって抽出された複数の前記色変換情報をもとに色変換特性を作成する作成工程と、
    を含む画像処理方法。
13. 撮影対象を撮影する撮影装置と、
    前記撮影装置により撮影した画像に対し色調整を行なう画像処理装置と、
    を備え、
    前記画像処理装置は、
    色変換前の第１の画像と色変換後の第２の画像のうちいずれか一方の画像について、画像情報を抽出する領域を指定する指定手段と、
    前記指定手段によって指定された、前記第１の画像または前記第２の画像のうち一方の画像の領域内の画像情報の画素と、他方の画像のこれに対応する画像情報の画素との色変換情報を抽出する抽出手段と、
    前記抽出手段によって抽出された複数の前記色変換情報をもとに色変換特性を作成する作成手段と、
    前記色変換特性を基に、前記撮影装置により撮影した画像に対し色調整を行なう色調整手段と、
    を備える画像処理システム。
14. コンピュータに、
    色変換前の第１の画像と色変換後の第２の画像のうちいずれか一方の画像について、画像情報を抽出する領域を指定する指定機能と、
    前記指定機能によって指定された、前記第１の画像または前記第２の画像のうち一方の画像の領域内の画像情報の画素と、他方の画像のこれに対応する画像情報の画素との色変換情報を抽出する抽出機能と、
    前記抽出機能によって抽出された複数の前記色変換情報をもとに色変換特性を作成する作成機能と、
    を実現させるためのプログラム。

Images