JP2017216560A - 画像処理装置、画像処理方法、画像処理システムおよびプログラム - Google Patents

Abstract

【課題】物品の色特性が異なったり、撮影条件が異なる場合であっても、色調整の精度が低下しにくい変換関係を作成できる画像処理装置等を提供する。【解決手段】色補正対象物を表す第１の画像の注目領域中の色データである複数の第１の色データと、第１の画像とは異なる第２の画像における注目領域に対応し、第１の色データと対となる複数の第２の色データとを抽出する色データ抽出部１４と、抽出した第１の色データと第２の色データとの関係を表す色変換モデルを作成する色変換モデル作成部１５と、色変換モデルを基に、第１の画像の色調整を再現する変換関係を作成する変換関係作成部１６と、を備える画像処理装置１０。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、画像処理システム、プログラムに関する。

近年、デジタルカメラやスマートフォン、タブレット等の機器の普及によりデジタル画像を撮影・閲覧するユーザが増加している。このとき撮影を行なう環境は、照明光等の影響により様々であり、また撮影対象も様々である。そのため撮影後に撮影された画像がユーザの意図するようなものとならないことがあり、そのため撮影された画像の色味等を調整することが一般的に行われている。
また、同じ物品を撮影した条件でも、使用した複数のデジタルカメラの機種特性や、同一のデジタルカメラを用いたとしても、撮影環境が異なっている場合は色の再現が異なり、特定の条件で撮影した色に調整（例えば、一方の条件の画像を他方の条件の画像に調整）することもある。

特許文献１には、画像を撮影したデジタルカメラのＩＤが付与された画像を入力し、入力した画像に対して色調整を行ない、そして、色調整を行なう前の元画像と色調整を行なった後の調整済画像との色の差分に基づいて補正用プロファイルを作成し、作成した補正用プロファイルをデジタルカメラのＩＤと関連付けて記憶し、その後、そのデジタルカメラのＩＤが付与された画像を入力したときに作成した補正用プロファイルを画像に添付し、印刷や表示の際にカラーマッチングを行なうことにより、任意の画像に対して補正用プロファイルを作成した際の色調整と同様の色調整を行なうことができる画像処理装置が記載されている。

また特許文献２には、画像に対して任意の色調整を行なった調整済画像と色調整を行なう前の元画像との色の差分に基づいて作成された補正用プロファイルを画像と撮影したデジタルカメラのＩＤとを関連付けて記憶しておき、画像を入力したときに画像データに含まれるデジタルカメラのＩＤを用いて補正用プロファイルを検索し、検索された補正用プロファイルからユーザが選択したプロファイルを入力した画像に添付する画像処理装置が記載されている。

さらに特許文献３には、ＲＧＢ信号あるいはＣＭＹ信号の入力をＣＩＥＸＹＺ信号に変換する変換ステップと、ＣＩＥＸＹＺ信号をＲＧＢ信号あるいはＣＭＹ信号に戻す逆変換ステップとを備え、変換ステップにおいて用いられる行列は、有彩色ベクトルを無彩色ベクトルに平行な方向と垂直な方向とに分割した２つのベクトルに基づいて得られた互いに独立な第１の行列と第２の行列との和で与えられる色補正方法が記載されている。

特開２００４−３０４５３７号公報 特開２００４−３０４５３９号公報 特開平９−１３９８５５号公報

例えば、色見本のカラーパッチを撮影し、これを基に色調整を行なう従来の方法では、衣料品などの物品を撮影した場合、カラーパッチに用いられている色材と衣料品に用いられている色材との分光反射率等の色特性が異なるため、これに起因して色調整の精度が低下することがある。また色調整を行なう画像の数が多くなると、作業量が膨大になりやすい。さらに色調整を行なうユーザ（レタッチャー）の技量や感性の違いにより、色調整の結果にばらつきが生じやすい。
また、デジタルカメラの特性差や、環境の影響による差異によっても、衣料品などの物品を撮影した場合、カラーパッチに用いられている色材と衣料品に用いられている色材との分光反射率等の色特性が異なるため、これに起因して色調整の精度が低下し、撮影結果にバラつきが生じやすい。
本発明は、物品の色特性が異なったり、撮影条件が異なる場合であっても、色調整の精度が低下しにくい変換関係を作成できる画像処理装置等を提供することを目的とする。

請求項１に記載の発明は、色補正対象物を表す第１の画像の注目領域中の色データである複数の第１の色データと、当該第１の画像とは異なる第２の画像における当該注目領域に対応し、当該第１の色データと対となる複数の第２の色データとを抽出する色データ抽出部と、抽出した前記第１の色データと前記第２の色データとの関係を表す色変換モデルを作成する色変換モデル作成部と、前記色変換モデルを基に、前記第１の画像の色調整を再現する変換関係を作成する変換関係作成部と、を備える画像処理装置である。
請求項２に記載の発明は、前記変換関係作成部は、前記第１の画像に対し予め定められたグループ毎に前記変換関係を作成することを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記変換関係作成部は、予め定められたグループ毎に複数の前記第１の画像を使用して前記変換関係を作成することを特徴とする請求項２に記載の画像処理装置である。
請求項４に記載の発明は、前記色変換モデル作成部は、前記第１の色データと前記第２の色データとの関係が非線形の単調増加関数となるように前記色変換モデルを作成することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置である。
請求項５に記載の発明は、前記色変換モデル作成部は、前記第１の色データと前記第２の色データとの対に対し重みを設定して前記色変換モデルを作成することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置である。
請求項６に記載の発明は、前記色変換モデル作成部は、前記第１の色データと前記第２の色データとの関係が単調増加関数となるように前記重みを設定して前記色変換モデルを作成することを特徴とする請求項５に記載の画像処理装置である。
請求項７に記載の発明は、前記色変換モデル作成部は、前記注目領域の大きさに応じて前記重みを設定することを特徴とする請求項５または６に記載の画像処理装置である。
請求項８に記載の発明は、前記変換関係作成部は、前記注目領域に含まれる色については色調整を行なうが、他の色については色調整を行なわない前記変換関係を作成することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置である。
請求項９に記載の発明は、色補正対象物を表す第１の画像の注目領域中の色データである複数の第１の色データと、当該第１の画像とは異なる第２の画像における当該注目領域に対応し、当該第１の色データと対となる複数の第２の色データとを抽出する色データ抽出工程と、抽出した前記第１の色データと前記第２の色データとの関係を表す色変換モデルを作成する色変換モデル作成工程と、前記色変換モデルを基に、前記第１の画像の色調整を再現する変換関係を作成する変換関係作成工程と、を含む画像処理方法である。
請求項１０に記載の発明は、撮影対象を撮影する撮影装置と、前記撮影装置により撮影した第１の画像に対し色調整を行なう画像処理装置と、を備え、前記画像処理装置は、前記第１の画像の注目領域中の色データである複数の第１の色データと、当該第１の画像とは異なる第２の画像における当該注目領域に対応し、当該第１の色データと対となる複数の第２の色データとを抽出する色データ抽出部と、抽出した前記第１の色データと前記第２の色データとの関係を表す色変換モデルを作成する色変換モデル作成部と、前記色変換モデルを基に、前記第１の画像の色調整を再現する変換関係を作成する変換関係作成部と、を備える画像処理システムである。
請求項１１に記載の発明は、コンピュータに、色補正対象物を表す第１の画像の注目領域中の色データである複数の第１の色データと、当該第１の画像とは異なる第２の画像における当該注目領域に対応し、当該第１の色データと対となる複数の第２の色データとを抽出する色データ抽出機能と、抽出した前記第１の色データと前記第２の色データとの関係を表す色変換モデルを作成する色変換モデル作成機能と、前記色変換モデルを基に、前記第１の画像の色調整を再現する変換関係を作成する変換関係作成機能と、を実現させるプログラムである。

請求項１の発明によれば、物品の色特性が異なったり、撮影条件が異なる場合であっても、色調整の精度が低下しにくい変換関係を作成できる画像処理装置を提供することができる。
請求項２の発明によれば、物品の色特性に合わせた変換関係を作成することができる。
請求項３の発明によれば、作成した変換関係を使用して色調整を行なう際に、色調整の精度がより向上する。
請求項４の発明によれば、作成した変換関係を使用して色調整を行なう際に、階調段差が生じにくくなる。
請求項５の発明によれば、より滑らかな特性を有する色変換モデルを作成することができる。
請求項６の発明によれば、単調増加関数となる色変換モデルをより容易に作成することができる。
請求項７の発明によれば、より重要な色に対し色調整の精度が向上する変換関係を作成することができる。
請求項８の発明によれば、変換関係の色調整の精度がより向上する。
請求項９の発明によれば、物品の色特性が異なったり、撮影条件が異なる場合であっても、色調整の精度が低下しにくい変換関係を作成できる画像処理方法を提供することができる。
請求項１０の発明によれば、撮影対象の色特性が異なったり、撮影条件が異なる場合であっても、色調整の精度が低下しにくい変換関係を作成できる画像処理システムが提供できる。
請求項１１の発明によれば、物品の色特性が異なったり、撮影条件が異なる場合であっても、色調整の精度が低下しにくい変換関係を作成することができる機能をコンピュータにより実現できる。

本実施の形態における画像処理システムの構成例を示す図である。 本実施の形態における画像処理装置の機能構成例を表すブロック図である。 （ａ）〜（ｂ）は、第１の色データと第２の色データとの対の例を示した図である。 （ａ）は、色空間内を象限で区切り、区切られた象限から第１の色データと第２の色データとの対を抽出する場合を示した図である。（ｂ）は、色空間内を色相で区切り、区切られた色領域から第１の色データと第２の色データとの対を抽出する場合を示した図である。（ｃ）は、色域内を明度、彩度で区切り、区切られた色領域から第１の色データと第２の色データとの対を抽出する場合を示した図である。 小領域内の画素についてヒストグラムを作成した場合の例を示した図である。 異なる明度の色データを抽出する場合について示した図である。 色変換モデルの一例について示した図である。 （ａ）〜（ｂ）は、第１の色データと第２の色データとの関係が単調増加関数になるように色変換モデルを作成した場合と、単調増加関数とならないように色変換モデルを作成した場合を比較した図である。 画像処理装置の動作について説明したフローチャートである。 画像処理装置のハードウェア構成を示した図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜画像処理システム全体の説明＞
図１は、本実施の形態における画像処理システム１の構成例を示す図である。
図示するように本実施の形態の画像処理システム１は、カメラ４０により撮影した原画像に対し色調整を行なう画像処理装置１０と、画像処理装置１０により出力された画像データに基づき画像を表示する表示装置２０と、画像処理装置１０に対しユーザが種々の情報を入力するための入力装置３０と、撮影対象Ｓを撮影し画像処理装置１０で色調整するための画像データを生成するカメラ４０とを備える。

画像処理装置１０は、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、画像処理装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、色調整等が行われるようになっている。

表示装置２０は、表示画面２１に画像を表示する。表示装置２０は、例えばＰＣ用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置２０における表示方式は、液晶方式に限定されるものではない。なお、図１に示す例では、表示装置２０内に表示画面２１が設けられているが、表示装置２０として例えばプロジェクタを用いる場合、表示画面２１は、表示装置２０の外部に設けられたスクリーン等となる。

入力装置３０は、キーボードやマウス等で構成される。入力装置３０は、色調整を行なうためのアプリケーションソフトウェアの起動、終了や、詳しくは後述するが、色調整を行なう際に、ユーザが画像処理装置１０に対し色調整を行なうための指示を入力するのに使用する。

カメラ４０は、撮影装置の一例であり、例えば、入射した光を収束する光学系と、光学系により収束された光を検出する撮像手段であるイメージセンサとを備える。
光学系は、単一のレンズまたは複数のレンズを組み合わせて構成される。光学系は、レンズの組み合わせおよびレンズ表面に施されたコーティング等により、各種の収差が除去されている。イメージセンサは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を配列して構成される。

画像処理装置１０および表示装置２０は、ＤＶＩ（Digital Visual Interface）を介して接続されている。なお、ＤＶＩに代えて、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置１０と入力装置３０とは、例えば、ＵＳＢ（Universal Serial Bus）を介して接続されている。なお、ＵＳＢに代えて、ＩＥＥＥ１３９４やＲＳ−２３２Ｃ等を介して接続されていてもよい。
さらに画像処理装置１０およびカメラ４０とは、図示する例では、有線で接続されており、例えば、ＵＳＢ、ＩＥＥＥ１３９４、ＲＳ−２３２Ｃを介して接続されている。これにより有線によりカメラ４０で撮影された画像の画像データが、画像処理装置１０に送られる。ただしこれに限られるものではなく、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth)（登録商標）等の無線接続であってもよい。さらに画像処理装置１０およびカメラ４０とを接続せず、ＳＤカード等のメモリカード等を介して画像データを画像処理装置１０に受け渡してもよい。

このような画像処理システム１において、まず最初にユーザが、カメラ４０により撮影対象Ｓを撮影する。カメラ４０により撮影した画像は、第１の画像としての原画像であり、この画像データは、画像処理装置１０に送られる。そして表示装置２０には、色処理を行なう前の画像である原画像が表示される。次にユーザが入力装置３０を使用して、画像処理装置１０に対し色調整を行なうための指示を入力すると、画像処理装置１０により原画像に対し色調整がなされる。この色調整の結果は、例えば、表示装置２０に表示される画像に反映され、第１の画像とは異なる第２の画像としての色調整後の画像が再描画されて表示装置２０に表示される。この場合、ユーザは、表示装置２０を見ながらインタラクティブに色調整を行なうことができ、より直感的に、またより容易に色調整の作業を行える。
また、第２の画像として、画像処理装置１０による色調整後の画像の他、カメラ４０とは機種特性が異なる、即ち撮影条件が異なる他のカメラによって撮影された他の画像としてもよい。この場合は、カメラ４０で撮影した画像を第１の画像とし、撮影条件が異なるカメラで撮影された他の画像を第２の画像として見ることができる。

また表示装置２０では、色調整の結果を基に、原画像の色調整を行ない色調整後の画像とすることができる変換関係を作成する。この色調整は、例えば、第１の色データおよび第２の色データがＲｅｄ（Ｒ）、Ｇｒｅｅｎ（Ｇ）、Ｂｌｕｅ（Ｂ）からなるＲＧＢデータであったとき、第１の色データを（Ｒ_ａ、Ｇ_ａ、Ｂ_ａ）、第２の色データを（Ｒ_ｂ、Ｇ_ｂ、Ｂ_ｂ）とすると、（Ｒ_ａ、Ｇ_ａ、Ｂ_ａ）→（Ｒ_ｂ、Ｇ_ｂ、Ｂ_ｂ）とする処理である。この変換関係を使用することで、先に行なった色調整と同様の色調整を再現することができる。この変換関係は、プロファイルとも呼ばれ、例えば、３次元ＬＵＴ（Look up Table）として作成することができる。ただしこれに限られるものではない。例えば、変換関係は、Ｒ_ａ→Ｒ_ｂ、Ｇ_ａ→Ｇ_ｂ、Ｂ_ａ→Ｂ_ｂとする１次元ＬＵＴであってもよい。また変換関係は、（Ｒ_ａ、Ｇ_ａ、Ｂ_ａ）→（Ｒ_ｂ、Ｇ_ｂ、Ｂ_ｂ）とする多次元マトリクスであってもよい。この変換関係を作成する処理については後述する。

なお本実施の形態における画像処理システム１は、図１の形態に限られるものではない。例えば、画像処理システム１としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにタッチ等のユーザの指示が入力される。即ち、タッチパネルが、表示装置２０および入力装置３０として機能する。なおカメラ４０としては、タブレット端末に内蔵されたカメラを用いることができる。また同様に表示装置２０および入力装置３０を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置２０の表示画面２１としてタッチパネルを使用したものである。この場合、画像処理装置１０により出力された画像データに基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで色調整を行なうための指示を入力する。

＜画像処理装置の説明＞
次に画像処理装置１０について説明を行なう。

図２は、本実施の形態における画像処理装置１０の機能構成例を表すブロック図である。なお図２では、画像処理装置１０が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。なお、本実施の形態では、第２の画像として、原画像に対し色調整がなされた色調整後の画像を用いた場合の例を示す。
図示するように本実施の形態の画像処理装置１０は、画像データを取得する画像データ取得部１１と、ユーザの指示を受け付けるユーザ指示受付部１２と、画像の色調整を行なう色調整部１３と、予め定められた画像データを抽出する色データ抽出部１４と、色変換モデルを作成する色変換モデル作成部１５と、変換関係を作成する変換関係作成部１６と、出力部１７とを備える。

画像データ取得部１１は、色調整を行なう前の原画像の画像データを取得する。この画像データは、表示装置２０で表示を行なうためのデータ形式となっており、例えば、前述のＲＧＢデータである。なお画像データ取得部１１は、他のデータ形式で画像データを取得し、これを色変換してＲＧＢデータ等としてもよい。

ユーザ指示受付部１２は、入力装置３０により入力された色調整に関するユーザによる指示を受け付ける。具体的には、ユーザ指示受付部１２は、色調整を行なう画像中の領域を指定する指示をユーザ指示情報として受け付ける。またユーザ指示受付部１２は、この領域に対する色調整の指示をユーザ指示情報として受け付ける。

色調整部１３は、ユーザ指示受付部１２が受け付けたユーザ指示情報を基に、原画像の画像データに対して色調整を行なう。ユーザは、例えば、選択した領域に対し、色相、彩度、輝度の調整を行なうことで色調整を行なう。

色データ抽出部１４は、色補正対象物を表す原画像（第１の画像）の注目領域中の色データである複数の第１の色データと、原画像（第１の画像）とは異なる第２の画像における注目領域に対応し、第１の色データと対となる複数の第２の色データとを抽出する。ここでは、色データ抽出部１４は、原画像の注目領域中の色データである複数の第１の色データと第１の色データに対し色調整を行なった後の複数の第２の色データとを抽出する。これは色データ抽出部１４は、色補正対象物を表す原画像（第１の画像）の注目領域中の色データである複数の第１の色データと、原画像（第１の画像）に対し色調整を行なった後の画像である第２の画像の注目領域中で、第１の色データに対し色調整を行なった後の第２の色データとを抽出すると、言い換えることもできる。
ここで注目領域とは、色調整が必要な画像中の領域であり、例えば、画像が物品を販売するのに使用されるものであった場合には、その物品の表示領域である。つまり物品の色は、色再現をより厳密に行ない、実際の物品の色と画像として表示される物品の色とが合致することが要求される。そのため色調整を行なう領域の対象となりやすい。対して物品の背景の領域は、このような要求がされにくく、色調整を行なう領域の対象となりにくい。なお注目領域は、例えば、ユーザがユーザ指示情報として指定することができる。
この場合、色データ抽出部１４は、物品が表示される領域における原画像の画像データである第１の色データと、同領域（同じ画素位置）における色調整後の画像データである第２の色データとを抽出する。このとき第１の色データと第２の色データとは対となり、１対１対応で抽出される。

図３（ａ）〜（ｂ）は、第１の色データと第２の色データとの対の例を示した図である。
ここで図３（ａ）は、色調整前の原画像とその画像データである第１の色データの例を示している。ここでは、原画像がブラウスの画像であり、その中の１〜５で示した小領域における色データをＲＧＢａ１〜ＲＧＢａ５として示している。この場合、ブラウスは、青単色であり、ＲＧＢａ１〜ＲＧＢａ５は、何れも青色を表すＲＧＢデータとなっている。
また図３（ｂ）は、色調整後の画像とその画像データである第２の色データの例を示している。ここでは、そして図３（ａ）と同様の１〜５で示した小領域における色データをＲＧＢｂ１〜ＲＧＢｂ５として示している。

第１の色データと第２の色データとの対を抽出するには、例えば、以下の（１）〜（３）の方法を使用することができる。

（１）色空間内を象限や色相で区切り、区切られた色領域内で第１の色データと第２の色データとの対を抽出する。
図４（ａ）は、色空間内を象限で区切り、区切られた象限から第１の色データと第２の色データとの対を抽出する場合を示した図である。
図４（ａ）に示す例では、Ｌ^＊ａ^＊ｂ^＊色空間をａ^＊軸およびｂ^＊軸で区切り、これによりＬ^＊ａ^＊ｂ^＊色空間を、第１象限〜第４象限の４つの象限で区切った例を示している。そしてここではこのうち第４象限にある４つの黒点で示した色データを抽出した場合を示している。この場合、区切られた色領域は４つの各象限であり、そのうち１つの色領域から色データを抽出している。

また図４（ｂ）は、色空間内を色相で区切り、区切られた色領域から第１の色データと第２の色データとの対を抽出する場合を示した図である。なお図４（ｂ）において点線内の領域が表示装置２０の色域であるとする。
図４（ｂ）に示す例では、Ｌ^＊ａ^＊ｂ^＊色空間を色相毎に領域１〜領域６の６つに区切った例を示している。そしてここではこのうち領域３と領域５にある５つの黒点で示した色データを抽出した場合を示している。この場合、区切られた色領域は６つであり、そのうち２つの色領域から色データを抽出している。即ち、複数の色領域から色データを抽出している。

（２）色域内を明度、彩度で区切り、区切られた色領域内で第１の色データと第２の色データとの対を抽出する。
図４（ｃ）は、色域内を明度、彩度で区切り、区切られた色領域から第１の色データと第２の色データとの対を抽出する場合を示した図である。なお図４（ｃ）は、図４（ｂ）を紙面に垂直に切った断面図であり、点線内の領域が表示装置２０の色域であるとする。
図４（ｃ）に示す例では、Ｌ^＊ａ^＊ｂ^＊色空間を明度、彩度毎に領域１〜領域４の４つに区切った例を示している。そしてここでは領域１〜領域４のそれぞれにある４つの黒点で示した色データを抽出した場合を示している。この場合、区切られた色領域は４つであり、全ての色領域から色データを抽出している。即ち、複数の色領域から色データを抽出している。なお図４（ａ）で説明を行なったように何れか１つの色領域から色データを抽出してもよい。

（３）ユーザが指定した画像中の領域や色空間上の範囲内で第１の色データと第２の色データとの対を抽出する。
この場合、ユーザは、例えば、画像中の領域として、図３のブラウスの表示領域を指定する。また色空間上の青色の領域を指定する。

また第１の色データと第２の色データとの対は、予め定められた小領域内で抽出することが好ましい。例えば、選択画素を中心としその周辺１画素を小領域とする。この場合、小領域は、３画素×３画素＝９画素からなる。そしてこの９画素の平均値、最頻値、ヒストグラムのピークなどから、代表色を決定し、第１の色データおよび第２の色データとする。代表色を第１の色データおよび第２の色データとすることで、後述する変換関係を使用した色調整の際に色調整のばらつきが低減できる。

図５は、小領域内の画素についてヒストグラムを作成した場合の例を示した図である。
なお図で横軸は、ＲＧＢデータもしくはＬ^＊ａ^＊ｂ^＊データを表し、縦軸は画素数（Ｃｏｕｎｔとして図示）を表す。
このとき図５の円内で示すようにヒストグラムのピークが複数あった場合は、１つの小領域の中から代表色として第１の色データおよび第２の色データを複数組決定してもよい。このとき代表色とする基準として、例えば、ピークをとる画素値を有する画素の画素数がこの小領域内の全画素数に対し２０％以上のときとすることができる。

また複数の色領域から色データを抽出する場合、互いに大きく異なる色相、彩度または明度の色データが抽出されることがある。
図６は、異なる明度の色データを抽出する場合について示した図である。
図示する例では、原画像が白色のブラウスと黒色のスカートを含む画像であり、その中の１〜８で示した小領域における色データを抽出する場合を示している。この場合、白色のブラウスからは１〜４で示した小領域から第１の色データと第２の色データとの対が抽出され、黒色のスカートからは５〜８で示した小領域から第１の色データと第２の色データとの対が抽出された場合を示す。即ち、互いに大きく異なる明度の色データが抽出されている。この場合、白色のブラウスの表示領域および黒色のスカートの表示領域の双方が注目領域であるためであり、双方から第１の色データと第２の色データとの対を抽出する必要があるためである。

なおこの場合、注目領域の大きさ（面積、画素数、占有率）に応じて、抽出する色データの数を決定することが好ましい。図６の場合は、白色のブラウスと黒色のスカートの双方の注目領域の大きさは、ほぼ同じであるため、同数の色データを抽出している。即ち、抽出する色データの数は、それぞれの注目領域について１：１である。これが仮に白色のブラウスの注目領域と黒色のスカートの注目領域との面積が２：１だったときは、抽出する色データの数は、２：１とする。

色変換モデル作成部１５は、色データ抽出部１４で抽出した第１の色データと第２の色データとの関係を表す色変換モデルを作成する。

図７は、色変換モデルの一例について示した図である。
ここで横軸は、色調整前の色データである第１の色データを表し、縦軸は、色調整後の色データである第２の色データを表す。第１の色データおよび第２の色データは、ＲＧＢデータであり、図では、第１の色データは、ＲＧＢａ、第２の色データは、ＲＧＢｂとして図示している、

そして黒丸は、色データ抽出部１４で抽出された第１の色データと第２の色データとをプロットしたものであり、ここでは、色データ抽出部１４で抽出された第１の色データと第２の色データとの対が、１２個であったことを示している。

また実線は、第１の色データと第２の色データとの関係であり、色変換モデル作成部１５で作成された色変換モデルを表す。即ち、色変換モデルは、第１の色データと第２の色データとの関係を表した関数であると言うこともできる。この関数をｆとすると、ＲＧＢｂ＝ｆ（ＲＧＢａ）と表すこともできる。この色変換モデルは、公知の方法で作成することができる。ただし、重み付け回帰モデルやニューラルネットワークなどの非線形特性に対するフィッティング性能が高い方法を使用することが好ましい。ただし、非線形特性に限定されず、Ｍａｔｒｉｘモデルを使用した線形特性を用いてもよい。

また色変換モデル作成部１５は、第１の色データと第２の色データとの関係が非線形の単調増加関数となるように色変換モデルを作成することが好ましい。
図８（ａ）〜（ｂ）は、第１の色データと第２の色データとの関係が単調増加関数になるように色変換モデルを作成した場合と、単調増加関数とならないように色変換モデルを作成した場合を比較した図である。
図中、実線で描かれた曲線は色変換モデルを表す。この色変換モデルのうち太線の方は、第１の色データと第２の色データとの関係が単調増加関数となるように色変換モデルを作成した場合であり、図７と同様の色変換モデルである。また細線の方は、第１の色データと第２の色データとの関係が単調増加関数とならないように色変換モデルを作成した場合である。なおここで単調増加関数とは、色変換モデルを表す実線の接線の傾きが０以上となることであり、傾きが０となる箇所があってもよい。即ち広義の単調増加関数である。

太線で示した色変換モデルは、接線の傾きが０未満（負）となる場合はなく、常に０以上である。
対して細線で示した色変換モデルは、接線の傾きが０未満（負）となる場合がある。即ちＲＧＢａが増加するとＲＧＢｂが減少する箇所がある。この色変換モデルを使用して作成された変換関係を利用して色調整を行なうと、色調整後の画像に階調段差が生じることがある。第１の色データと第２の色データとの関係が単調増加関数になるように色変換モデルを作成すると階調段差が生じるのが低減でき、色調整のばらつきも低減できる。

色変換モデル作成部１５が、太線で示したような色変換モデルを作成するには、例えば、Ｐｒ１、Ｐｒ２およびＰｒ３として図示した第１の色データおよび第２の色データの対を除去することが考えられる。

また色変換モデル作成部１５は、第１の色データと第２の色データとの対に対し重みを設定して色変換モデルを作成するようにしてもよい。
この場合、色変換モデル作成部１５は、第１の色データと第２の色データとの関係が単調増加関数となるように重みを設定して色変換モデルを作成することができる。つまりＰｒ１やＰｒ２として図示した第１の色データおよび第２の色データの対に対しては小さい重みを設定し、他は大きい重みを設定する。例えば、第１の色データと第２の色データとの対が、平均的な特性差方向との差分が大きい場合は、小さい重みを設定し、平均的な特性差方向との差分が小さい場合は、大きい重みを設定する。なおＰｒ１、Ｐｒ２およびＰｒ３として図示した第１の色データおよび第２の色データの対に対して重みを０とする設定としてもよい。この場合、これらを除去したのと同様の結果となる。

なお重みの使用方法はこれに限られるものではない。例えば、色変換モデル作成部１５は、注目領域の大きさに応じて重みを設定するようにしてもよい。
例えば、図６に示した例では、注目領域の大きさに応じて抽出する色データの数を決めていたが、それぞれの注目領域に対し抽出する色データの数は同数とし、注目領域の大きさに応じ、注目領域が大きいほど大きい重みを設定し、注目領域が小さいほど小さい重みを設定するようにしてもよい。仮に白色のブラウスの注目領域と黒色のスカートの注目領域との面積が２：１だったときは、重みについても２：１とする。

図２に戻り、変換関係作成部１６は、色変換モデル作成部１５で作成した色変換モデルを基に、原画像の色調整を再現する変換関係を作成する。この変換関係は、ユーザが原画像に対し行なった色調整の結果を再現するものとなる。つまり原画像に対しこの変換関係を使用して色調整を行なうと、ユーザが先に行なった色調整と同様の色調整を再び行ない、色調整後の画像とすることができる。

変換関係が３次元ＬＵＴである場合は、Ｒ、Ｇ、Ｂのそれぞれについて代表となる画素値を選択する。例えば、Ｒ、Ｇ、Ｂのそれぞれのデータが８ｂｉｔの階調で表される場合、画素値は０〜２５５の整数となるが、これを例えば、８分割する。そして８分割したそれぞれの画素値で表すことができるＲＧＢデータを格子点とする（いわゆる９格子点）。この場合、格子点は、９^３＝７２９個となる。そしてこの格子点のそれぞれについて、色変換モデルを基に第１の色データと第２の色データとの対応関係を算出する。この対応関係をＬＵＴ（Look Up Table）で表したものが３次元ＬＵＴである。その結果、３次元ＬＵＴは、各格子点毎に入力値（Ｒ_ａ、Ｇ_ａ、Ｂ_ａ）−出力値（Ｒ_ｂ、Ｇ_ｂ、Ｂ_ｂ）の対応関係として記述される。

このとき変換関係作成部１６は、注目領域に含まれる色については色調整を行なうが、他の色については色調整を行なわない変換関係を作成することが好ましい。例えば、図３で示した画像の場合は、変換関係作成部１６は、青の色領域に対しては色調整を行なうが、他の色については色調整を行なわない変換関係を作成する。また図６で示した画像の場合は、変換関係作成部１６は、白と黒の色領域に対しては色調整を行なうが、他の色については色調整を行なわない変換関係を作成する。変換関係が３次元ＬＵＴである場合、この３次元ＬＵＴは、注目領域に含まれる色に近い格子点の入力値（Ｒ_ａ、Ｇ_ａ、Ｂ_ａ）と出力値（Ｒ_ｂ、Ｇ_ｂ、Ｂ_ｂ）とは異なる値となるが、他の格子点の入力値（Ｒ_ａ、Ｇ_ａ、Ｂ_ａ）と出力値（Ｒ_ｂ、Ｇ_ｂ、Ｂ_ｂ）とは同じ値となる。

出力部１７は、色調整後の画像データや変換関係のデータを出力する。色調整後の画像データは、表示装置２０に出力され、表示装置２０では、この画像データに基づいた色調整後の画像が表示される。また変換関係のデータは、例えば、画像処理装置１０に記憶され、この変換関係を用いて色調整を行なうことができる。また画像処理装置１０とは異なる外部機器に対し出力され、この外部機器においてこの変換関係を用いて色調整を行なうことができる。

次に画像処理装置１０の動作について説明する。
図９は、画像処理装置１０の動作について説明したフローチャートである。なお以下に説明する画像処理装置１０の動作は、画像処理装置１０により行なわれる画像処理方法であると捉えることもできる。
まず画像データ取得部１１が、原画像の画像データを取得する（ステップ１０１）。
原画像の画像データは、出力部１７から表示装置２０に対し出力される（ステップ１０２）。その結果、表示装置２０の表示画面２１に原画像が表示される。

次にユーザ指示受付部１２が、色調整を行なう画像中の領域や色調整の指示をユーザ指示情報として受け付ける（ステップ１０３）。
そして色調整部１３が、ユーザ指示情報を基に、原画像の画像データに対して色調整を行なう（ステップ１０４）。
色調整後の画像データは、出力部１７から表示装置２０に対し出力される（ステップ１０５）。その結果、表示装置２０の表示画面２１に色調整後の画像が表示される。

次に色データ抽出部１４が、原画像の注目領域中の色データである複数の第１の色データと第１の色データに対し色調整を行なった後の複数の第２の色データとを抽出する（ステップ１０６：色データ抽出工程）。これは図３〜図６で説明した方法で行なうことができる。

そして色変換モデル作成部１５が、色データ抽出部１４で抽出した第１の色データと第２の色データとの関係を非線形にて表す色変換モデルを作成する（ステップ１０７：色変換モデル作成工程）。これは、図７〜図８で説明した方法で行なうことができる。

さらに変換関係作成部１６が、色変換モデル作成部１５で作成した色変換モデルを基に、色調整部１３で行なった原画像の色調整を再現する変換関係を作成する（ステップ１０８：変換関係作成工程）。これは、上述の通り、例えば、３次元ＬＵＴで作成される。
そして出力部１７が、変換関係のデータを出力する（ステップ１０９）。

本実施の形態では、変換関係作成部１６は、原画像に対し予め定められたグループ毎に変換関係を作成することが好ましい。
このグループは、物品の分光反射率等の色特性が同様になると予想されるもの毎に分けられる。
例えば、グループは、物品のカテゴリにより分けられる。具体的には、物品が、衣類、印刷物、家具、文房具であるかどうかや、色材の種類により分けられる。そして物品の色特性が同様となる物品については、同じ変換関係で色調整を行い、物品の色特性が異なる物品については、それぞれ異なる変換関係で色調整を行なう。これにより色調整の精度が向上する。また同様の理由によりグループを、物品の主要色、物品の柄により分けてもよい。さらにグループを、フラッシュの有無、照明光、露光、背景、撮影モード、カメラの種類（メーカー、型番など）等の撮影条件やカメラ４０の設定条件により分けてもよい。またこのとき撮影条件として、例えば、物品が衣料品であったときに、人が着用しているか、マネキンが着用しているか、または置き撮り（テーブルの上に置いて撮影するなど）であるかなどの条件を加味してもよい。さらにグループは、色調整を行うユーザ（レタッチャー）により分けてよい。

またこのとき変換関係作成部１６は、予め定められたグループ毎に複数の原画像を使用して変換関係を作成することが好ましい。つまり複数の原画像を使用した色調整の結果が得られれば、グループ毎に種々の色に対応する変換関係を作成することができる。さらに同系色の色しかない原画像を使用した場合でも、この色について複数の色調整の結果が得られるため、色調整を行なう変換関係の精度が同様に向上する。

また本実施の形態では、変換関係作成部１６は、注目領域に含まれる色は色調整を行うが、他の色は色調整を行わない変換関係を作成する。これにより色調整の精度を向上させることができる。もし全ての色領域に対し色調整を行なう変換関係を作成した場合、色調整の精度が低下しやすくなる。本実施の形態では、従来の１種類の画像により変換関係を作成する場合に比較して色調整の精度が向上する。つまり従来は、１種類の画像により全ての色領域に対し色調整を行なう変換関係を作成していたため、これに比較して本実施の形態では、色調整の精度を向上させることができる。

このように本実施の形態では、グループ毎に作成された変換関係を用いることで、撮影対象の色特性が異なってもそれに合致するグループの変換関係を選択することで、より精度の高い色調整を行なうことができる。

またこの変換関係を予め用意し、用意された変換関係を使用することで、色調整を行なうユーザ（レタッチャー）の技量や感性の差による色調整の差も生じにくくなり、この点でも色調整の精度が向上する。

なお上述した例では、原画像としてカメラ４０により撮影された画像を用いたが、原画像については特に限られるものではない。例えば、原画像としてスキャナにより読み込んだ画像を使用してもよい。また市販されている画像データやインターネット等で配布されている画像データをそのまま原画像としてもよい。
また上述した例では、色特性として物品の分光反射率を例示したが、撮影等を行なう際に影響を及ぼす特性であれば、これに限られるものではない。例えば、物品表面の凹凸構造、光沢の有無、質感などが挙げられる。

＜画像処理装置のハードウェア構成例＞
次に、画像処理装置１０のハードウェア構成について説明する。
図１０は、画像処理装置１０のハードウェア構成を示した図である。
画像処理装置１０は、上述したようにパーソナルコンピュータ等により実現される。そして図示するように、画像処理装置１０は、演算手段であるＣＰＵ（Central Processing Unit）９１と、記憶手段であるメインメモリ９２、およびＨＤＤ（Hard Disk Drive）９３とを備える。ここで、ＣＰＵ９１は、ＯＳ（Operating System）やアプリケーションソフトウェア等の各種プログラムを実行する。また、メインメモリ９２は、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、ＨＤＤ９３は、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。
さらに、画像処理装置１０は、外部との通信を行なうための通信インターフェース（通信Ｉ／Ｆ）９４を備える。

＜プログラムの説明＞
ここで以上説明を行った本実施の形態における画像処理装置１０が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。

よって本実施の形態で画像処理装置１０が行なう処理は、コンピュータに、色補正対象物を表す第１の画像の注目領域中の色データである複数の第１の色データと、第１の画像とは異なる第２の画像における注目領域に対応し、第１の色データと対となる複数の第２の色データとを抽出する色データ抽出機能と、抽出した第１の色データと第２の色データとの関係を表す色変換モデルを作成する色変換モデル作成機能と、色変換モデルを基に、第１の画像の色調整を再現する変換関係を作成する変換関係作成機能と、を実現させるプログラムとして捉えることができる。

なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

１…画像処理システム、１０…画像処理装置、１１…画像データ取得部、１２…ユーザ指示受付部、１３…色調整部、１４…色データ抽出部、１５…色変換モデル作成部、１６…変換関係作成部、１７…出力部

Claims (11)

1. 色補正対象物を表す第１の画像の注目領域中の色データである複数の第１の色データと、当該第１の画像とは異なる第２の画像における当該注目領域に対応し、当該第１の色データと対となる複数の第２の色データとを抽出する色データ抽出部と、
   抽出した前記第１の色データと前記第２の色データとの関係を表す色変換モデルを作成する色変換モデル作成部と、
   前記色変換モデルを基に、前記第１の画像の色調整を再現する変換関係を作成する変換関係作成部と、
   を備える画像処理装置。
2. 前記変換関係作成部は、前記第１の画像に対し予め定められたグループ毎に前記変換関係を作成することを特徴とする請求項１に記載の画像処理装置。
3. 前記変換関係作成部は、予め定められたグループ毎に複数の前記第１の画像を使用して前記変換関係を作成することを特徴とする請求項２に記載の画像処理装置。
4. 前記色変換モデル作成部は、前記第１の色データと前記第２の色データとの関係が非線形の単調増加関数となるように前記色変換モデルを作成することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記色変換モデル作成部は、前記第１の色データと前記第２の色データとの対に対し重みを設定して前記色変換モデルを作成することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記色変換モデル作成部は、前記第１の色データと前記第２の色データとの関係が単調増加関数となるように前記重みを設定して前記色変換モデルを作成することを特徴とする請求項５に記載の画像処理装置。
7. 前記色変換モデル作成部は、前記注目領域の大きさに応じて前記重みを設定することを特徴とする請求項５または６に記載の画像処理装置。
8. 前記変換関係作成部は、前記注目領域に含まれる色については色調整を行なうが、他の色については色調整を行なわない前記変換関係を作成することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 色補正対象物を表す第１の画像の注目領域中の色データである複数の第１の色データと、当該第１の画像とは異なる第２の画像における当該注目領域に対応し、当該第１の色データと対となる複数の第２の色データとを抽出する色データ抽出工程と、
   抽出した前記第１の色データと前記第２の色データとの関係を表す色変換モデルを作成する色変換モデル作成工程と、
   前記色変換モデルを基に、前記第１の画像の色調整を再現する変換関係を作成する変換関係作成工程と、
   を含む画像処理方法。
10. 撮影対象を撮影する撮影装置と、
    前記撮影装置により撮影した第１の画像に対し色調整を行なう画像処理装置と、
    を備え、
    前記画像処理装置は、
    前記第１の画像の注目領域中の色データである複数の第１の色データと、当該第１の画像とは異なる第２の画像における当該注目領域に対応し、当該第１の色データと対となる複数の第２の色データとを抽出する色データ抽出部と、
    抽出した前記第１の色データと前記第２の色データとの関係を表す色変換モデルを作成する色変換モデル作成部と、
    前記色変換モデルを基に、前記第１の画像の色調整を再現する変換関係を作成する変換関係作成部と、
    を備える画像処理システム。
11. コンピュータに、
    色補正対象物を表す第１の画像の注目領域中の色データである複数の第１の色データと、当該第１の画像とは異なる第２の画像における当該注目領域に対応し、当該第１の色データと対となる複数の第２の色データとを抽出する色データ抽出機能と、
    抽出した前記第１の色データと前記第２の色データとの関係を表す色変換モデルを作成する色変換モデル作成機能と、
    前記色変換モデルを基に、前記第１の画像の色調整を再現する変換関係を作成する変換関係作成機能と、
    を実現させるプログラム。

Images