JP2013105452A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】高度な知識、ノウハウを持たない場合であっても、適切に色空間における色変換の変換規則を設定する。
【解決手段】３次元ルックアップテーブル部は、入力された画像信号の色情報を変換規則に基づいて変換する。補正範囲算出部１１０は、予め設定される色空間における移動元座標と移動先座標の位置関係に基づいて、色空間における補正範囲を算出する。格子点移動量算出部１２０は、移動元座標と移動先座標の位置関係、及び補正範囲内の各点の座標と移動元座標との位置関係、に基づいて、当該各点の変換先座標を算出し、変換規則に反映させる。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

青空の青色や、桜のピンク色等のオブジェクトや背景には、人間がそのオブジェクトや背景に対してイメージしている特定の色が存在する。これらの色は、記憶色と呼ばれている。人間は、あるオブジェクトや背景の色を実世界に即して忠実に再現した画像を見た場合であっても、綺麗な画像とは評価しない。これは、人間がイメージしていた色（記憶色）と再現された色が異なり、色が薄い等の認識をしてしまうためである。

そのため、画像処理装置の多くは、オブジェクトや背景毎に人間がイメージしている色を再現するための補正処理を行う。この補正処理を記憶色補正と呼ぶ。記憶色補正の実施方法には、一般的に以下の２つの方法がある。
（１） 専用回路（特色補正機能）
（２） ３次元ルックアップテーブル

はじめに、（１）専用回路を用いた記憶色補正について説明する。ここで、専用回路は、記憶色補正に特化した処理を行う。具体的には、専用回路に対して、補正したい特定の色を、Ｃｂ／Ｃｒやａ＊／ｂ＊等の色空間上の移動元と移動先の座標形式で設定する。専用回路は、この設定に応じて周辺の色領域を含めた色領域の補正を行う。しかしながら、専用回路は、記憶色補正に特化した回路であるため、他の処理を行うことが出来ない。さらに、２領域以上の特色補正を行う場合、複数の専用回路が必要となる。

次に、（２）３次元ルックアップテーブルを用いた記憶色補正について説明する。３次元ルックアップテーブルの情報は、任意のメモリに格納される。３次元ルックアップテーブルには、主にＲＧＢの３次元色空間を表現した９×９×９または１７×１７×１７等の座標点に相当するテーブルデータが格納される。３次元ルックアップテーブルは、色空間上の、各点の座標と、当該座標の変換先の座標との対応を格納する。例えば、３次元ルックアップテーブルが１７×１７×１７の座標点に対応するテーブルデータを持つ場合、ＲＧＢ座標（０，０，０）とその変換先のＲＧＢ座標、ＲＧＢ座標（１６，１６，１６）とその変換先のＲＧＢ座標、等がそれぞれ格納される。そして、任意の処理部が３次元ルックアップテーブルを参照し、色空間に存在する各座標を各種の補間処理により変換先の座標に移動する。例えば、当該処理部は、ＲＧＢ座標（８，８，８）の変換先座標を、ＲＧＢ座標（０，０，０）の変換先座標、及びＲＧＢ座標（１６，１６，１６）の変換先座標を参照して算出する。

３次元ルックアップテーブルは、単なる変換規則を保持するものにすぎず、それ自体には何らの機能を具備しない。しかし、３次元ルックアップテーブルに対して適切なテーブルデータを設定し、テーブル内の変換規則に従った処理を行うことにより、色域マッピング、６軸補正、記憶色補正、ガンマ補正等の様々な色管理機能を実現することができる。ここで、３次元ルックアップテーブルに設定するテーブルデータは、適宜変更することができる。そのため、単一の処理回路（またはソフトウェアによる処理機能）を設けるのみで、必要な機能（複数領域処理、複数の他機能を同時に実現することを含む）を状況に応じて実現することができる。

このように、３次元ルックアップテーブルを用いた補正は、専用回路機能（特色補正機能）による補正よりも断然高い自由度を有する。そのため、３次元ルックアップテーブルを用いた構成により、開発リソースの削減、回路規模の縮小等の多くのコスト面でのメリット、及びユーザビリティの改善を図ることができる。さらに、不具合が生じた場合や性能向上を図る場合、３次元ルックアップテーブルのテーブルデータを差し替えることにより、ハードウェアの変更等を行うことなく、課題を解決することができる。

以下、上記した事項に関連する画像処理技術を開示した文献について説明する。特許文献１は、入力動画像信号を３次元ルックアップテーブルを用いてカラーマネージメント処理する色信号処理システムを開示している。当該システムは、入力された画像信号の色情報を多次元ルックアップテーブルにより変換する色変換部と、色変換部で変換された画像信号と入力された画像信号を任意の比率で合成した合成画像信号を出力する内挿部と、色変換部における多次元ルックアップテーブルのデータを変更するルックアップテーブル書き換え部と、を備える。当該構成により、このシステムは、ルックアップテーブルのデータ書き換え時にも、高精度なカラーマネージメント処理を実現することができる。

特許文献２は、記憶色補正に対する副作用の少ない自動色調整を行う画像処理装置を開示している。当該画像処理装置は、２つの色度成分（ａ＊／ｂ＊）に基づいて設定された特定範囲の色領域に対し、その領域周辺は小さい補正強度を生成する強度決定手段と、生成された補正強度に応じて補正を行う手段と、を有する。

特開２０１０−１１８８８１号公報 ＷＯ２００４／０３２５２４号公報

しかしながら、３次元ルックアップテーブル等の変換規則を用いた色空間上での補正処理には、記憶色補正をはじめとする変換規則を設定するための高度な知識やノウハウが必要となるという課題があった。当該課題を以下に述べる。

３次元ルックアップテーブルを用いた補正処理システムには、一般にテーブルデータを記憶するメモリと、そのテーブルデータから変換値を算出する回路が存在するのみである。そのため、３次元ルックアップテーブルのテーブルデータの設定の自由度が非常に高い。この３次元ルックアップテーブルのテーブルデータの設定とは、記憶色補正の対象としたい色（対象色）と、当該色の変換先を設定することに加えて、対象色の周辺に存在する色をどこまで補正範囲にするか、及び補正範囲内にある各色の変換先座標、を設定する必要がある。そのため、例えば上述の記憶色補正に関するテーブルデータを設定する場合、設定者は、記憶色補正に関する高度な知識、ノウハウを保持していなければ正しい設定を行うことができない。

仮に設定者が十分な知識やノウハウを保持せずにテーブルデータを設定して記憶色補正を行った場合、３次元色空間内の連続性が保証されず、補正処理後の画像に空間歪みが生じる恐れがある。このようなテーブルデータを持つ画像処理装置に対して色や輝度のなだらかなグラデーションを持つ画像が入力された場合、当該画像処理装置は、本来は存在しないはずの輪郭を持つ画像や、階調特性を損なった画像を出力してしまう恐れがある。

特許文献１及び特許文献２に記載の画像補正手法は、いずれも設定者がテーブルデータを逐次設定することを前提とした手法である。そのため、設定者が色補正に関する十分なノウハウ、知識を有さない場合、意図した補正を行えない恐れがある。

なお、上述の説明では、３次元ルックアップテーブルを参照して記憶色補正を行う場合おいて、ルックアップテーブルの設定者が十分なノウハウ、知識を有さない場合に問題が生じる点を説明した。しかしながら、当該問題は、３次元ルックアップテーブルを用いた補正に限った話ではなく、色空間における色補正を行う際に必要となる任意の変換ルールの設定の際に生じる問題である。さらに、当該問題は、記憶色補正を目的とした補正に限られず、映像に含まれる画素データの補正（色空間上での座標移動）を行う場合に共通する課題であった。

すなわち、映像に含まれる画素データ（画素値）の補正（色空間での座標移動）を行う場合に、所望の補正目的に合致する補正範囲（移動が生じる座標点の範囲）の算出、移動を行う各座標点の移動量・方向を設定するためには、高度な知識を要す。ユーザが高度な知識を持たない場合、適切な設定が行えないという問題があった。

本発明にかかる画像処理装置の一態様は、
入力された画像信号の色情報を変換規則に基づいて変換する変換部と、
予め設定される色空間における移動元座標と移動先座標の位置関係に基づいて、色空間における補正範囲を算出する補正範囲算出部と、
前記移動元座標と前記移動先座標の位置関係、及び前記補正範囲内の各点の座標と前記移動元座標との位置関係、に基づいて、当該各点の変換先座標を算出し、前記変換規則に反映させる各点移動量算出部と、を備えるものである。

本発明にかかる画像処理方法の一態様は、
入力された画像信号の色情報を変換規則に基づいて変換する画像処理方法であって、
予め設定される色空間における移動元座標と移動先座標の位置関係に基づいて、色空間における補正範囲を算出し、
前記移動元座標と前記移動先座標の位置関係、及び前記補正範囲内の各点の座標と前記移動元座標との位置関係、に基づいて、当該各点の変換先座標を算出し、前記変換規則に反映させる、ものである。

本発明にかかる画像処理プログラムの一態様は、
コンピュータに、
入力された画像信号の色情報を変換規則に基づいて変換する処理と、
予め設定される色空間における移動元座標と移動先座標の位置関係に基づいて、色空間における補正範囲を算出する処理と、
前記移動元座標と前記移動先座標の位置関係、及び前記補正範囲内の各点の座標と前記移動元座標との位置関係、に基づいて、当該各点の変換先座標を算出し、前記変換規則に反映させる処理と、を実行させるためのプログラムである。

本発明では、補正範囲算出部は、移動元座標と移動先座標の位置関係から補正範囲を自動算出する。更に、各点移動量算出部は、移動元座標と移動先座標の位置関係、及び前記補正範囲内の各点の座標と前記移動元座標との位置関係、から補正範囲内の各格子点の変換先座標を算出し、当該変換先座標を変換規則（本実施の形態では３次元ルックアップテーブル）に反映する。ここで、ユーザは、移動元座標と移動先座標の情報を提供するのみで良い。これにより、ユーザは、補正範囲の設定に関する知識や各点の移動量等についての知識を有することなく、色空間での補正処理を実現することができる。

本発明によれば、映像に含まれる画素データ（画素値）の補正（色空間での座標移動）を行う場合に、高度な知識を要すことなく、所望の補正目的に合致する補正範囲（移動が生じる座標点の範囲）の算出、移動を行う各座標点の移動量・方向の設定ができる画像処理装置、画像処理方法、画像処理プログラムを提供することができる。

本発明の実施の形態１にかかる画像処理装置１の構成を示すブロック図である。 本発明の実施の形態１にかかるテーブルデータ生成部１００の構成を示すブロック図である。 本発明の実施の形態１にかかる補正範囲算出部１１０の構成を示すブロック図である。 色空間（ＧＢ断面）における移動元座標と、移動先座標との距離Ltoの概念を示す図である。 本発明の実施の形態１にかかる補正範囲算出部１１０による補正範囲の回転の概念を示す図である。 移動元座標、移動先座標、及び補正範囲を示す楕円球の関係を３次元的に示した図である。 本発明の実施の形態１にかかる格子点移動量算出部１２０の構成を示すブロック図である。 影響度Efと移動量特性MEの関係を示す図である。 色空間における補正方向の概念を示す図である。 補正範囲の回転の効果を示す概念図である。 肌色の記憶色補正を示す概念図である。 本発明の実施の形態２にかかる画像処理装置１の構成を示すブロック図である。 本発明の実施の形態２にかかるヒストグラム解析部３０４による画像全体のヒストグラムの解析を示す図である。 補正範囲の干渉を示す概念図である。 本発明の実施の形態１、及び実施の形態２にかかる画像処理装置１による記憶色補正を示す概念図である。 本発明の実施の形態３にかかる補正範囲算出部１１０による補正範囲の回転の概念を示す図である。 補正範囲に含まれる格子点数を算出、楕円球を縮小する再設定の概念を示す図である。 本発明の実施の形態４にかかる補正範囲算出部１１０の構成を示すブロック図である。 本発明の実施の形態４にかかる画像処理装置１の動作イメージを示す概念図である。 本発明の実施の形態４にかかる画像処理装置１の動作イメージを示す概念図である。 本発明の実施の形態５にかかる画像処理装置１の構成を示すブロック図である。 本発明の実施の形態５にかかる画像処理装置１の処理対象とする画像例を示す図である。 ＧＢ断面における青空の補正範囲と、青い花の補正範囲を示す図である。 本発明の実施の形態６にかかる色空間変換部５００の構成を示すブロック図である。 画像処理装置１の各処理部の処理をプログラムとして実行するコンピュータのハードウェア構成の一例を示す図である。

＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、本実施の形態かかる画像処理装置の構成を示すブロック図である。

画像処理装置１は、テーブルデータ生成部１００と、３次元ルックアップテーブル部２００と、を備える。３次元ルックアップテーブル部２００は、アドレス生成部２１０と、テーブルデータメモリ部２２０と、補間部２３０と、を備える。

３次元ルックアップテーブル部２００は、３次元ルックアップテーブルを保持し、入力されたＲＧＢ信号の変換処理をする。３次元ルックアップテーブル部２００は、３次元ルックアップテーブルを用いた一般的な記憶色補正を行う。ここで、３次元ルックアップテーブル部２００が保持する３次元ルックアップテーブルは、８ｂｉｔまたは１０ｂｉｔ精度の９×９×９または１７×１７×１７等の格子点を持つ一般的なＲＧＢ空間の３次元ルックアップテーブルである。３次元ルックアップテーブル部２００は、ＲＧＢ空間上の格子点座標（Ｒ１，Ｇ１，Ｂ１）を（Ｒ２，Ｇ２，Ｂ２）に移動させるというような対応関係を格子点数分だけ保持する。３次元ルックアップテーブル部２００内にて格子点を補間する方法（格子点に含まれない色空間上の座標の移動先を算出する方法）は、一般的な３次元空間における直線補間法やキュービック補間法を用いれば良い。

なお、記憶色補正処理は、３次元色空間内にある特定の色領域を指定して補正を行う。そのため、格子点数が多い方が、高精度な補正を行うことができる。そのため、３次元ルックアップテーブルにおける格子点数は、９×９×９以上の格子点数とすべきである。これにより、実使用上に耐えうる記憶色補正を実施することが可能となる。

続いて、図２を参照してテーブルデータ生成部１００の構成を説明する。テーブルデータ生成部１００は、補正範囲算出部１１０と、格子点移動量算出部１２０と、を備える。ユーザは、記憶色補正を施したい色の移動元座標（ＲＧＢ座標上の座標点）、移動先座標（ＲＧＢ座標上の座標点）、及び補正方向（圧縮方向／平行方向）という３つの設定値をテーブルデータ生成部１００に入力する。なお、ユーザは、影響範囲ゲイン／オフセット、及び移動特性を更に設定しても良い。設定しない場合には、デフォルト値を用いれば良い。同様に、補正方向が設定されない場合には、デフォルト値（例えば圧縮方向）を用いても良い。

補正範囲算出部１１０は、前述の３つの設定値（移動元座標、移動先座標、及び補正方向）を基に記憶色補正を行う色空間上の範囲（補正範囲）を算出する処理部である。なお、ユーザは、補正範囲算出部１１０が算出する補正範囲が適切ではない（広すぎる、狭すぎる）と感じた場合には、影響範囲ゲイン／オフセットを調整することにより補正範囲を調整することができる。詳細は、後述する。

補正範囲算出部１１０は、算出した補正範囲（記憶色補正に伴って色空間上の座標が変化する範囲）を格子点移動量算出部１２０に供給する。格子点移動量算出部１２０は、当該補正範囲内の各格子点の移動量を自動的に算出し、当該移動量を基に３次元ルックアップテーブルのテーブルデータを生成する。

詳細には、格子点移動量算出部１２０は、移動の中心となる移動元座標と、各格子点の座標と、の距離を基準に影響度（各格子点の移動量の指標値であり、詳細は後述する。）を算出する。移動元座標に近い格子点から算出された影響度は、大きくなる。移動元座標からの距離が大きい格子点から算出された影響度は、小さくなる。影響範囲外（補正範囲外）の格子点から算出される影響度は０となる。

格子点移動量算出部１２０は、各格子点についての影響度を算出し、その影響度に応じて各格子点の移動量を算出する。格子点移動量算出部１２０は、各格子点の座標値に、各格子点について算出した移動量を加算することによりテーブルデータを生成する。

なお、ユーザは、影響度から算出する移動量について調整したい場合には、移動特性の入力値を調整すればよい。移動特性についての詳細は、後述する。

続いて、補正範囲算出部１１０、格子点移動量算出部１２０の詳細な構成、動作の説明に先立ち、上記した入力（移動元座標、移動先座標）を基に補正範囲、及び各格子点の移動量を算出する意義について説明する。

本実施の形態にかかる画像処理装置１では、ユーザは、記憶色補正を行う場合に、移動の中心となる移動元の色座標を設定し、その色をどの色にするかを示す移動先の色座標を設定する。当該設定を受けて、補正範囲算出部１１０は、補正範囲を算出する。すなわち、補正範囲算出部１１０は、設定された２つの色座標の周囲に存在する色（座標）も移動対象として選択する。このように選択する理由は、以下の２つである。

１つ目の理由は、３次元色空間内の連続性を保証することにより空間歪みを防ぎ、階調特性を劣化させないためである。

２つ目の理由は、補正したい色は、３次元空間のある１点に集中して存在しているわけではなく、ある色領域に対して補正を要すためである。例えば、青色の記憶色補正を行う場合、補正したい青色は、３次元空間のある一点に集中して存在しているわけではなく、ある当該一点の周辺の一定の色領域が補正の対象となるためである。

一般的に、例えば記憶色補正をしたい肌色の色領域を設定する場合、世の中に存在する肌色のサンプルデータを取得する。そして、取得したデータとは別に好ましい肌色の統計データを収集する。その上で、これらのデータを高度なノウハウを用いて解析することにより、どの肌色を中心（移動元）にして、ある範囲（補正範囲）までを肌色と定義し、どの色を好ましい肌色（移動先）とするかを決めていた。

しかしながら、一言に肌色といっても、様々な人種が存在している。そのため、全ての肌色領域を定義した場合、当該領域は、かなり広いものになってしまう。さらに、撮影環境の光源による肌色の変化や、背景色による肌色の見え方の変化も生じる。そのため、どのような場合に対しても絶対的に好ましい設定を行うことは不可能である。さらに、記憶色とは、そもそも曖昧な定義であるものが多い。そのため、記憶色は、ユーザの好みや地域性により大きく異なる場合がある。要するに、記憶色の補正にかかる移動元座標と移動先座標の設定は、非常に困難な場合が多い。しかしながら、好ましいとされる色と輝度の傾向に画像の色が補正された場合、一定の補正効果があることも事実である。

よって、本実施の形態にかかる画像処理装置では、各ユーザが"この色を中心に、この色に近づくように補正したい"ということを設定（すなわち前述の移動元と移動先の座標を設定）すれば、補正範囲算出部１１０は、自動的に補正範囲を算出する。また、格子点移動量算出部１２０は、自動的に補正範囲内の各格子点の移動量を算出する。これにより本実施の形態にかかる画像処理装置１は、ユーザが上述の統計データや高度な調整ノウハウを保持していない場合でも、容易に実運用上問題の無い記憶色補正の手段を提供できるようにする。

次に、図３を参照して、補正範囲算出部１１０の詳細な構成について説明する。図３は、補正範囲算出部１１０の構成を示すブロック図である。補正範囲算出部１１０は、移動先−移動元距離算出部１１１と、補正範囲ゲイン・オフセット調整部１１２と、移動先−移動元直線傾き算出部１１３と、回転角度算出部１１４と、補正範囲楕円球式算出部１１５と、を備える。なお、図４〜図６は、色空間における移動元座標、移動先座標、及び補正範囲の関係を示す図である。以下、これらの図面を適宜参照して説明する。

移動先−移動元距離算出部１１１には、ユーザが設定した移動元座標と、移動先座標と、が入力される。移動先−移動元距離算出部１１１は、移動先座標から移動元座標を減算することにより、移動先座標から移動元座標までの色空間上での距離を算出する。移動元座標、移動先座標、及び移動先座標から移動元座標までの距離を以下のように定義し、算出式を示す。
移動元座標： O (Ro, Go, Bo)
移動先座標： T (Rt, Gt, Bt)
移動元／移動元間距離： Lto (Rlto, Glto, Blto)
Lto = (Rt-Ro, Gt-Go, Bt-Bo)

図４は、色空間（ＧＢ断面）における移動元座標と、移動先座標との距離Ltoの概念を示している。なお、図４では、図面の制約上、２次元断面を示しているが、移動先−移動元距離算出部１１１は、３次元空間上での距離を算出する。

移動先−移動元距離算出部１１１は、算出した移動元／移動元間距離(Lto)を補正範囲ゲイン・オフセット調整部１１２に供給する。

補正範囲ゲイン・オフセット調整部１１２は、供給された移動元／移動元間距離(Lto)を基に、ＲＧＢの各軸毎の補正範囲を定める。補正範ゲイン、補正範囲オフセットは、ユーザが適宜設定する。設定を行わない場合、デフォルト値が用いられる。以下、補正範囲E、補正範囲ゲインEgain、補正範囲オフセットEofsを定義し、補正範囲ゲイン・オフセット調整部１１２の用いる補正範囲Eの算出式（数１）〜（数３）を記載する。
補正範囲： E (Re, Ge, Be)
補正範囲ゲイン：Egain
補正範囲オフセット：Eofs

なお、補正範囲ゲインEgainは、"１"〜"５"の間でユーザが調整可能であるものとするが、"３"程度に設定されることを前提とする。補正範囲オフセットEofsは、８ｂｉｔ（２５６）階調の場合、８〜６４の間でユーザが調整可能であるものとするが、１６程度に設定されることを前提とする。

ユーザは、補正範囲ゲインEgain、及び補正範囲オフセットEofsを調整することにより、移動元座標と移動先座標の距離Ltoに応じて、自動的に補正範囲Eの大きさを設定することができる。補正範囲ゲインEgain及び補正範囲オフセットEofsを大きくするほど、補正範囲Eの範囲が広くなる（図４において、楕円球範囲が大きくなる）。なお、補正範囲ゲインEgainは、１以下の値とはならないため、補正範囲E内に移動元座標、移動先座標が原則として含まれる。補正範囲ゲイン・オフセット調整部１１２は、算出した補正範囲Eを補正範囲楕円球式算出部１１５に供給する。

移動先−移動元直線傾き算出部１１３は、移動先座標と、移動先座標と、からＲＧ断面の傾き（Δrg）及びＧＢ断面の傾き（Δgb）を算出する。詳細には、移動先−移動元直線傾き算出部１１３は、移動元座標のＲ座標（Ro）、Ｇ座標（Go）と、移動先座標のＲ座標（Rt）、Ｇ座標（Gt）と、の位置関係からＲＧ断面の傾き（Δrg）を算出する。同様に、移動先−移動元直線傾き算出部１１３は、移動元座標のＧ座標（Go）、Ｂ座標（Bo）と、移動先のＧ座標（Gt）、Ｂ座標（Bt）と、の位置関係からＧＢ断面の傾き（Δgb）を算出する。詳細には、移動先−移動元直線傾き算出部１１３は、以下の算出式（数４）、（数５）を用いてＲＧ断面の傾き（Δrg）、及びＧＢ断面の傾き（Δgb）を算出する。

移動先−移動元直線傾き算出部１１３は、算出したＲＧ断面の傾き（Δrg）及びＧＢ断面の傾き（Δgb）を回転角度算出部１１４に供給する。図４では、ＧＢ断面の傾き（Δgb）が示されている。

回転角度算出部１１４は、供給されたＲＧ断面の傾き（Δrg）及びＧＢ断面の傾き（Δgb）から補正範囲Eの外周が構成する楕円球を回転する角度（θrg,θgb）を算出する。詳細には、回転角度算出部１１４は、以下の算出式（数６）、（数７）を用いて回転角度（θrg, θgb）を算出する。

補正範囲楕円球式算出部１１５は、補正範囲の楕円球式を算出する処理部である。補正範囲楕円球式算出部１１５は、補正範囲ゲイン・オフセット調整部１１２が算出した補正範囲Eの外周が示す楕円球を、回転角度算出部１１４が算出した角度（θrg,θgb）だけ各軸において軸回転することにより最終的な補正範囲Eの楕円球式を算出する。具体的には、補正範囲楕円球式算出部１１５は、座標変数(R0,G0,B0)を以下の式（数８）を用いてＲＧ軸回転をした座標(R1,G1,*)を算出する。そして、補正範囲楕円球式算出部１１５は、座標(R1,G1,*)を以下の式（数９）を用いてＲＧ軸回転をして座標(R1,G2,B1)を算出する。補正範囲楕円球式算出部１１５は、この座標点(R1,G2,B1)から、軸回転後の楕円球式の数式（数１０）を算出する。

補正範囲楕円球式算出部１１５は、算出した補正範囲Eの楕円球式を格子点移動量算出部１２０（交点算出部１２２）に供給する。

図５は、補正範囲Eの回転の概念を示す図である。なお、図５は、ＲＧ断面の回転概念を示している。図示するように、補正範囲Eは、移動元座標と移動先座標との位置関係に応じて回転される。すなわち、補正範囲楕円球式算出部１１５は、移動元座標と移動先座標とを結んだ直線が楕円球の長辺方向と等しくなるように補正範囲Eを回転させる。

図６は、移動元座標、移動先座標、及び補正範囲を示す楕円球の関係を３次元的に示した図である。図示するように、楕円球は、移動元座標及び移動先座標を内部に有する。

上述したように、ユーザは、移動元座標と移動先座標を１点ずつ設定する。補正範囲算出部１１０は、上記した一連の処理により自動的に補正範囲Eを算出する。上記した補正範囲Eの算出手法では、補正範囲を示す楕円球の中心は、補正元座標となる。しかしながら、上記の算出手法は、補正範囲Eの楕円球を算出する手法の一例にすぎず、楕円球の中心は、移動元座標と移動先座標の中間座標であっても良く、移動元座標（移動先座標）の近辺座標であっても良い。

さらに、上記した補正範囲Eの算出手法では、補正範囲は楕円球で示される。しかし、補正範囲Eを示す式は必ずしも楕円球式等の複雑な数式である必要はなく、上記の楕円球式に相当した範囲を示すもの（すなわち、移動元座標と移動先座標との位置関係を基に算出された範囲を示すもの）であれば、直線式等の簡易な数式であってもよい。直線式で示される補正範囲Eは、例えば正立方体（８角形）、長立方体（８角形、１０角形、１２角形）等がある。

続いて、格子点移動量算出部１２０の構成を及び動作を図７を参照して説明する。図７は、格子点移動量算出部１２０の構成を示すブロック図である。まず、格子点移動量算出部１２０の処理の概要を説明する。

格子点移動量算出部１２０は、補正範囲楕円球式算出部１１５から入力された補正範囲Eの楕円球式が示す楕円球内の各格子点の移動量を算出する。例えば、格子点移動料算出部２０は、図４（Ａ）の補正範囲内の各格子点の移動量を算出する。

詳細には、まず、格子点移動量算出部１２０は、各格子点と移動元座標を通る直線と、入力された楕円球式が示す楕円球と、の交点を算出する。そして、格子点移動量算出部１２０は、当該交点と、移動元座標と、の距離（正規化距離）を算出する。格子点移動量算出部１２０は、移動元座標と、当該格子点と、の距離も算出する。格子点移動量算出部１２０は、当該距離（移動元座標と当該格子点との距離）と、正規化距離と、の比から移動影響度を算出する。そして、格子点移動量算出部１２０は、当該影響度と、移動元座標、移動先座標、格子点座標との関係から格子点のＲＧＢ座標毎の移動量を算出する。格子点移動量算出部１２０は、格子点座標に対し、ＲＧＢ座標毎の移動量を加算して当該格子点の移動後の座標を算出する。移動後の座標は、記憶色補正のテーブルデータとなる。

なお、以下の説明では、格子点（上下左右との距離が全て均一な座標配置）を扱うこととして説明するが、必ずしもこれに限られない。格子点移動量算出部１２０（各点移動量算出部）は、格子点以外の並びを持つ各座標点の移動量を算出する構成でも良い。この場合、３次元ルックアップテーブル部２００は、各座標点の距離関係を参照して補間処理を行えばよい。

続いて、格子点移動量算出部１２０の詳細な構成、及び各構成処理部の動作について説明する。格子点移動量算出部１２０は、移動元−格子点直線式算出部１２１と、交点算出部１２２と、移動元−交点距離算出部１２３と、移動元−格子点距離算出部１２４と、影響度算出部１２５と、移動特性設定部１２６と、座標算出部１２７と、を備える。

移動元−格子点直線式算出部１２１は、移動元座標と、補正範囲E内に含まれる各座標と、を結ぶ直線の直線式を算出する。ここで、補正範囲E内に含まれる任意の格子点座標D、座標変数INPUTを以下のように定義すると、直線式は一般的な３次元の直線方程式により以下の式（数１１）として算出される。
補正範囲楕円球内の格子点座標： D (Rd, Gd, Bd)
座標変数： (R0,G0,B0)

移動元−格子点直線式算出部１２１は、算出した各格子点にかかる直線式（数１１）を交点算出部１２２に供給する。

交点算出部１２２には、補正範囲楕円球式算出部１１５から入力された補正範囲Eの楕円球式（軸回転後の楕円球式、（数１０））、及び各格子点から算出した直線式（数１１）が入力される。交点算出部１２２は、楕円球（補正範囲Eの楕円球）と直線（移動元座標と任意格子点を結ぶ直線）の交点を、楕円球式に直線式を代入することにより算出する。以下、代入式を示す。はじめにＲ１にかかる代入式（数１２）を示す。

なお、（数１２）では、一部の項を変数Ａと置き換えている。同様に、Ｇ２にかかる代入式（数１３）を示す。なお、代入手法は（数１２）と同様であるため、代入処理の詳細は、簡略化して記載する。

なお、（数１３）では、一部の項を変数Ｂと置き換えている。同様に、Ｂ１にかかる代入式（数１４）を示す。なお、（数１４）では、一部の項を変数Ｃと置き換えている。

上記式より、交点Crは、以下の式（数１５）により求めることができる。
交点Cr (Rcr, Gcr, Bcr)

また、Rd = Roの場合、直線式（数１１）においてゼロ除算が発生する。よって、上述のRcr及びB0は、以下の（数１６）となる。

（数１６）を楕円球式（数１０）に代入すると、以下の式（数１７）〜（数１９）を得る。

上記（数１７）〜（数１９）より、交点Crは、以下の式（数２０）により求めることができる。

また、Gd = Goの場合、直線式（数１１）においてゼロ除算が発生する。よって、上述のRcr及びGcrは、以下の（数２１）となる。

（数２１）を楕円球式（数１０）に代入すると、以下の式（数２２）〜（数２４）を得ることができる。

上記（数２２）〜（数２４）より、交点Crは、以下の式（数２５）により求めることができる。

交点算出部１２２は、以上のように、各格子点に対応する交点Crを算出する。交点算出部１２２は、算出した各格子点に対応する交点Cr（楕円球と、格子点と移動元座標を結ぶ直線と、の交点）の座標を移動元−交点距離算出部１２３に供給する。

移動元−交点距離算出部１２３は、移動元座標と、各格子点に対応する交点（楕円球と、格子点と移動元座標を結ぶ直線と、の交点）の座標と、の距離Locを算出する。移動元−交点距離算出部１２３は、三平方の定理を用い、以下の（数２６）から距離Locを算出する。

距離Locは、移動元座標を中心とした移動が発生する範囲を示すことになる。そのため、距離Locを移動範囲の正規化距離とする。移動元−交点距離算出部１２３は、格子点毎に算出した正規化距離Locを影響度算出部１２５に供給する。

移動元−格子点距離算出部１２４は、移動元座標Oと、任意格子点Dとの距離を算出する。移動元−格子点距離算出部１２４は、三平方の定理を用い、以下の（数２７）から距離Lodを算出する。

移動元−格子点距離算出部１２４は、格子点毎に算出した距離Lodを影響度算出部１２５に供給する。なお、図４（Ｂ）は、正規化距離Loc及び距離Lodの関係を示す図である。

影響度算出部１２５は、各格子点の移動量算出に用いる影響度Efを算出する。影響度算出部１２５には、前述の各格子点の正規化距離Loc及び距離Lodが入力される。影響度Efが大きくなるほど、各格子点の移動量は大きくなる。影響度Efは、移動元座標付近から算出される場合に最大となり、交点Crが０（移動が無くなる値）となる。これは、移動元座標が移動の中心となるためである。影響度算出部１２５は、以下の（数２８）により影響度Efを算出する。

影響度算出部１２５は、補正範囲Eの各格子点に対して上述の影響度Efの算出処理を行う。

以上より、移動元座標に近い格子点の移動量は、大きくなり、移動元座標から遠ざかるにつれて移動量は小さくなる。補正範囲楕円球上の格子点の移動量（影響度Ef）は、０となる。これにより３次元色空間内での連続性が保証される。連続性が保証されることにより、色歪みの無い記憶色補正が可能となる。

影響度算出部１２５は、算出した各格子点の影響度Efを移動特性設定部１２６に供給する。

移動特性設定部１２６は、各格子点の影響度Efから移動量特性MEを算出する。移動量特性MEは、各格子点の移動量の係数となる。上述した各格子点の影響度Efを移動量とした場合、移動元座標から離れるにつれて移動量（移動量特性ME）は小さくなる。移動特性設定部１２６は、例えば以下の式（数２９）により各格子点の影響度Efから移動量特性MEを算出する。

図８は、影響度Efと移動量特性MEの関係を示す図である。上記（数２９）により、影響度Efに応じて移動量（移動量特性ME）が制御される。図８に示すように、当該移動量（移動量特性ME）は、影響度Efのリニアな変化に比べて大きくなる。これにより、より適切な移動量を設定することができる。

なお、ユーザが、移動特性設定部１２６が算出した移動量特性MEに満足しない場合、ユーザが移動量特性MEを適宜調節できるようにしても良い。すなわち、ユーザが移動特性設定部１２６の用いる算出式を適宜設定できるようにしても良い。

移動特性設定部１２６は、算出した各格子点の移動量特性MEを座標算出部１２７に供給する。

座標算出部１２７は、各格子点の移動量特性MEを基に、各格子点の移動量M(Mr, Mg, Mb)を算出し、当該移動量Mを各格子点座標Dに加算して各格子点の補正後座標DC(DCr, DCg, DCb)を算出する。ここで、座標算出部１２７には、各格子点の移動量特性ME、各格子点座標Dに加えて補正方向が入力される。補正方向は、ユーザにより指定され、圧縮方向または平行方向の一方が指定される。以下、図９を参照し、補正方向について説明する。

図９（Ａ）に示すように、圧縮方向の補正は、ユーザに指定された１点の座標に集中するように座標位置を変更する補正である。これにより、どのような色が入力されても、好ましい色（好ましい座標）に近づくように記憶色補正が行われる。換言すると、色再現範囲が狭くなる補正である。

図９（Ｂ）に示すように、平行方向の補正は、補正範囲内の格子点を全て同じ方向に移動させる補正である。移動方向は、ユーザが指定した移動元座標と、移動先座標と、を結ぶ方向となる。換言すると、平行方向の補正は、補正範囲内の格子点を全て同じ方向に移動させるため、圧縮方向の補正と比べて色再現範囲が狭くならない。

ユーザは、記憶色補正の目的に応じて、補正方向を指定する。座標算出部１２７は、指定された補正方向に応じて、以下の算出式から各格子点の移動量M(Mr, Mg, Mb)、及び各格子点の補正後座標DC(DCr, DCg, DCb)を算出する。

圧縮方向の算出式は、以下（数３０）に示される。

平行方向の算出式は、以下（数３１）に示される。

座標算出部１２７は、補正範囲E内の各格子点の補正後座標DCをテーブルデータメモリ部２２０に供給する。これにより、テーブルデータメモリ部２２０は、任意格子点Dを対応する補正後座標DCに変換するルックアップテーブルを保持する。

続いて、本実施の形態にかかる画像処理装置１の効果について説明する。上述の通り、ユーザは、色空間における移動元座標と移動先座標の指定のみを行う。この指定に応じて、補正範囲算出部１１０は、補正範囲Eを自動算出し、格子点移動量算出部１２０は、補正範囲E内の各格子点の変換先座標を算出し、当該変換先座標を変換規則（本実施の形態では３次元ルックアップテーブル）に反映する。すなわち、ユーザは、色空間上での色変換（補正）処理に関する知識、ノウハウを持っていない場合でも容易に色空間上での色変換処理を実現すること（上述の例では、記憶色補正を実現すること）ができる。

さらに、ユーザは、変換規則を逐次設定する必要がない。すなわち、ユーザは、記憶色補正にかかるルックアップテーブルの各テーブルデータを逐次設定する必要がない。ユーザは、移動元座標と移動先座標のみを設定する。これにより、ユーザの設定の工数を削減することができる。

さらに、本実施の形態にかかる補正範囲算出部１１０は、移動元座標と移動先座標の位置関係に応じて、補正範囲Eを回転（ＲＧ軸平面での回転、ＧＢ軸平面での回転）している（図５）。詳細には、補正範囲算出部１１０は、移動元座標と前記移動先座標を結ぶ直線が長軸方向となるように、補正範囲Eを回転している。これにより、色空間歪みがない記憶色補正を行うことができる。この詳細を図１０を参照して説明する。

図１０（Ａ）は、補正範囲を回転しなかった場合の色空間上での座標変化を示す図である。図１０（Ａ）に示すように、移動先座標付近に位置する各座標の移動量が、急激に変化している。

図１０（Ｂ）は、補正範囲を回転した場合（すなわち、本実施の形態にかかる画像処理装置１の構成）の色空間上での座標変化を示す図である。図示するように、移動元座標と、格子点座標が遠ざかるにつれて、当該格子点座標の移動量（移動ベクトルの大きさ）がなだらかに変化する（たとえば、図１０（Ｂ）（２）の示す補正量は、図１０（Ａ）（１）の示す補正量よりも大きい）。補正範囲内の各座標の移動量は、移動元座標との距離が大きくなるにつれて徐々に小さくなるように制御されるためである。色の変化が急激に起きないため、色空間歪みを回避することができる。

さらに、本実施の形態にかかる画像処理装置１によれば、補正したい色のみを補正することができる。図１１を参照して、この効果を説明する。

図１１は、肌色の記憶色補正を示す概念図である。図１１（Ａ）は、補正範囲Eを回転しなかった場合の補正範囲Eを示す図である。補正範囲Eを回転しない場合、補正対象の色（肌色）以外の色を示す座標も補正対象としてしまう。そのため、ユーザとしては補正をしたくない色についての補正（色空間上での座標移動）が行われてしまう。

一方、図１１（Ｂ）は、補正範囲Eを回転した場合（すなわち、本実施の形態にかかる画像処理装置１の構成）の補正範囲Eを示す図である。補正範囲Eを回転した場合、補正対象の色（肌色）を示す座標のみを補正対象とする。さらに、各格子点の変換先座標も肌色の存在範囲内となる。そのため、本実施の形態にかかる画像処理装置１は、補正を行いたくない色の補正は行わず、補正したい色のみを適切に補正することができる。

図１０、図１１を参照して説明したように、本実施の形態にかかる画像処理装置１は、ノウハウ無しでの補正処理の実現、工数の削減という効果に加えて補正品質の向上も図れるという効果を奏する。ユーザが手動で設定を行う場合、各設定項目の最適化に注力してしまうため、最終的な色空間歪みの発生等を引き起こす場合がある。一方、本実施の形態にかかる画像処理装置は、移動元座標と移動先座標との関係から補正範囲Eを定める。補正範囲E内の座標の移動量は、移動元座標との距離が大きくなるにつれて小さくなるように制御される。このため、画像処理装置は、前述のように色空間歪み等の無い最適な画像を生成することができる。

なお、本実施の形態の画像処理装置１内の格子点移動量算出部１２０は、移動特性設定部１２６を備える構成としたが、必ずしもこれに限られず影響度Efから直接変換先座標を算出しても良い。

＜実施の形態２＞
本実施の形態にかかる画像処理装置は、画像毎（たとえば動画像用のフレーム毎）の絵柄を考慮した記憶色補正を実現できることを特徴とする。本実施の形態にかかる画像処理装置について、以下に説明する。

図１２は、本実施の形態にかかる画像処理装置の構成を示すブロック図である。画像処理装置１は、テーブルデータ生成部１００、３次元ルックアップテーブル部２００に加え、絵柄適応部３００を備える。なお、テーブルデータ生成部１００及び３次元ルックアップテーブル部２００の構成及び処理は、実施の形態１と同様であるため、絵柄適応部３００の構成及び動作について以下に説明する。

絵柄適応部３００は、記憶色補正対象検出部３０１と、記憶色補正決定部３０２と、３次元ヒストグラム生成部３０３と、ヒストグラム解析部３０４と、移動元・移動先算出部３０５と、を備える。

記憶色補正対象検出部３０１は、画像内の記憶色補正の対象となるオブジェクトや背景等（以下の記載では、オブジェクトや背景等を総称して記憶色補正対象とも記載する。）を検出する。記憶色補正対象としては、例えば顔、空、海、もみじ、桜、木々の緑等が挙げられる。記憶色補正対象検出部３０１は、これらの記憶色補正対象の形状、色、輝度、画像内の位置（たとえば、画面上部：空、画面下部：海）等を検出、解析する。当該検出処理には、一般的に用いられる画像認識技術を用いれば良い。近年、固有の記憶色補正対象を検出する画像認識技術が各分野で広く開発されている。特に、多くのデジタルスチルカメラ等の商品は、顔検出等の機能を備えている。

記憶色補正対象検出部３０１は、これらの一般的な記憶色補正対象の検出技術を利用し、検出した情報（記憶色補正対象が存在するか、形状、色、輝度、画像内の位置）を記憶色補正決定部３０２及び３次元ヒストグラム取得部３０３に供給する。

記憶色補正決定部３０２は、記憶色補正を行うか否かを判定する処理部である。記憶色補正決定部３０２には、ユーザが補正を行いたい記憶色補正対象の情報が入力される。本実施の形態において、ユーザは、補正したい記憶色補正対象を指定する。ここで、ユーザは、記憶色補正対象を複数指定しても良い。複数設定する場合、ユーザは、記憶色補正対象毎に移動元座標のプリセット値と移動先座標のプリセット値を設定する。例えば、青空と桜の花の記憶色補正を同時に行う場合、ユーザは、青空に関する移動元座標のプリセット値と移動先座標のプリセット値、及び桜の花に関する移動元座標のプリセット値と移動先座標のプリセット値を設定する。

記憶色補正決定部３０２は、記憶色補正対象検出部３０１の検出した情報（記憶色補正対象が画像内に存在するか、形状、色、輝度、画像内の位置）と、ユーザの指定する記憶色補正対象と、を比較し、記憶色補正を行うか否かを判定する。

画像内にユーザの指定する記憶色補正対象が存在しない場合、記憶色補正を行っても補正による効果が生じない可能性がある。さらに、対象ではない記憶色補正対象に対して記憶色補正を行ってしまう恐れがある。これらの理由により、記憶色補正決定部３０２は、記憶色補正を行うか否かを判定する。

記憶色補正決定部３０２による判定は、画像（フレーム）毎に判定される。しかしながら、３次元ルックアップテーブルを複数保持しているシステム（後述）や３次元ルックアップテーブルにより補正する補正エリアを指定できるシステムにおいては、記憶色補正決定部３０２は、画面のエリア毎に上述の判定（記憶色補正を行うか否かの判定）を行っても良い。これにより、更に精度の良い記憶色補正を実現することができる。

記憶色補正決定部３０２は、判定結果を移動元・移動先算出部３０５に供給する。

３次元ヒストグラム生成部３０３には、入力画像全体のＲＧＢ値が入力されるとともに、記憶色補正対象検出部３０１が検出した情報が入力される。３次元ヒストグラム取得部３０３は、画面全体、及び記憶色補正対象が検出された画像領域の３次元ヒストグラムを生成する。３次元ヒストグラム生成部３０３は、生成した２種類の３次元ヒストグラムをヒストグラム解析部３０４に供給する。

ヒストグラム解析部３０４は、入力された２種類の３次元ヒストグラム（記憶色補正対象を検出した画像領域の３次元ヒストグラム、画像全体の３次元ヒストグラム）を解析する。まず、記憶色補正対象を検出した画像領域の３次元ヒストグラムの解析について説明する。

記憶色補正対象を検出した画像領域には同一オブジェクト、または同一背景が表示されている。例えば、青空を検出した領域には、青空を構成する画素が存在する。そのため、色空間上のヒストグラムでは、３次元空間内のある領域に値が集中していることが想定される。ここで、ヒストグラムにおいて、ある一定頻度以下の色座標を無視する。すると、３次元空間内のある色座標を中心とした楕円球形状のヒストグラムを得ることができる。ヒストグラム解析部３０４は、当該楕円球形状の中心の座標、すなわち記憶色補正対象の中心的な色の座標を解析結果として検出する。当該検出方法には、楕円球位置中心検出、楕円球重心検出の２種類が主に考えられる。まず、楕円球位置中心検出について説明する。

ヒストグラム解析部３０４は、上述のヒストグラムに関する楕円球内のＲＧＢの各軸における最大値、最小値、中心値を以下のように定義し、以下の式により楕円球の中心値を算出する。
楕円球内最大値 Rmax, Gmax, Bmax
楕円球内最小値 Rmin, Gmin, Bmin
楕円球内中心値 Rcen, Gcen, Bcen

続いて、楕円球重心検出について説明する。ヒストグラム解析部３０４は、上述の楕円球内のＲＧＢの各軸における累積値、楕円球重心値を以下のように定義し、以下の式（数３３）により楕円球の重心値を算出する。
楕円球内累積値 Rsgm, Gsgm, Bsgm
総画素数 Dot
楕円球内重心値 Rgra, Ggra, Bgra

なお、ヒストグラム解析部３０４は、上記以外の方法によりヒストグラム内の楕円球の中心／重心（すなわちオブジェクトや背景の中心的な色の座標）を算出しても良い。ヒストグラム解析部３０４は、解析により得られた座標を移動元・移動先算出部３０５に供給する。

次に、ヒストグラム解析部３０４による画像全体のヒストグラムの解析について説明する。ヒストグラム解析部３０４は、ユーザが記憶色補正対象毎に設定した移動元座標のプリセット値と移動先座標のプリセット値との間、及び周辺の色座標においてヒストグラムがどのような形状になっているかを解析する。具体的には、ヒストグラム解析部３０４は、記憶色補正前の状態において、すでに移動先座標のプリセット値の近辺に色が存在しているか（移動先の色と似た色を持つ座標が複数存在しているか）を解析する。また、ヒストグラム解析部３０４は、移動元座標のプリセット値から移動先座標のプリセット値の間の色の分布割合を解析する。

ヒストグラム解析部３０４による画像全体のヒストグラムの解析の詳細を図１３を参照して詳細に説明する。図１３では、移動元座標のプリセット値OPと移動先座標のプリセット値TPとの間に７つのエリアを設定している。なお、図１３では、説明の便宜上、２次元の座標空間を示しているが、ヒストグラム解析部３０４は、実際には３次元の座標空間を扱う。

ヒストグラム解析部３０４は、この７つのエリア毎にヒストグラムを解析する。ヒストグラム解析部３０４は、各エリアに位置する画素数が所定閾値を超えているか否かを判定する。超えている場合、ヒストグラム解析部３０４は、補正前に当該エリアに色が存在する（補正前に当該エリアに所定数以上の画素が存在する）と判定する。当該判定は、移動元座標のプリセット値に近いエリア１からエリア７まで順に行われる。ヒストグラム解析部３０４は、所定数以上の画素が確認できたエリアを検出した時点で、判定処理を終了する。ヒストグラム解析部３０４は、所定数以上の画素が確認できたエリアの代表座標を存在座標TE(TEr, TEg, TEb)として検出する。ヒストグラム解析部３０４は、存在座標TE(TEr, TEg, TEb)を移動元・移動先算出部３０５に供給する。

例えば、エリア１には所定数以上の画素が存在せず、エリア２に所定数以上の画素が存在していた場合、ヒストグラム解析部３０４は、エリア３以降の判定は行わない。そして、ヒストグラム解析部３０４は、エリア２の代表座標を存在座標TE(TEr, TEg, TEb)として検出する。なお、エリア７までの判定を行い、所定数以上の画素が存在したエリアがなかった場合、ヒストグラム解析部３０４は、存在座標TEが存在しないとみなす。

なお、図１３の説明では、ヒストグラム内のエリアを７つとしたが必ずしもこれに限られない。エリア数をより多くした場合、ヒストグラム解析部３０４は、詳細な存在座標の検出を行うことができる、すなわち存在判定の精度を向上することができる。これにより、後述する記憶色補正の移動先座標の設定精度を向上させることができる。

次に、移動元・移動先算出部３０５について説明する。本実施の形態において、ユーザは、補正対象となるオブジェクトや背景毎に移動元座標Oのプリセット値OPと移動先座標Tのプリセット値TPとを設定する。移動元・移動先算出部３０５は、当該プリセット値と、記憶色補正決定部３０２の判定結果と、ヒストグラム解析部３０４の解析結果と、を基にテーブルデータ生成部１００に供給する移動元座標Oと移動先座標Tとを算出する。すなわち、本実施の形態では、ユーザが入力した移動元座標と移動先座標とをそのまま使うのではなく、座標位置を調整してテーブルデータ生成部１００に供給する。

はじめに、移動元・移動先算出部３０５による移動元座標Oの算出処理について説明する。ユーザは、記憶色補正対象毎の移動元座標Oのプリセット値OP(OPr, OPg, ORb)を設定する。移動元・移動先算出部３０５は、ヒストグラム解析部３０４の解析結果を受信する。解析結果とは、ユーザが指定する記憶色補正対象の中心色座標OC(OCr, OCg, OCb)である。移動元・移動先算出部３０５は、プリセット値OP(OPr, OPg, ORb)と、中心色座標OC(OCr, OCg, OCb)と、の間に移動元座標O(Ro, Go, Bo)を後述の式（数３４）により算出する。ユーザは、中心色座標OC(OCr, OCg, OCb)に移動元座標OPのプリセット値をどれだけ近づけるかの指標である追従度F1（０〜１００％）を設定できる。追従度F1を０％とした場合、移動元座標Oは、移動元座標Oのプリセット値OP(OPr, OPg, ORb)と等しくなる。追従度F1を１００％とした場合、移動元座標Oは、中心色座標OC(OCr, OCg, OCb)と等しくなる。追従度F1を５０％とした場合、移動元座標Oは、移動元座標Oのプリセット値OP(OPr, OPg, ORb)と、中心色座標OC(OCr, OCg, OCb)と、の中間値となる。以下、移動元座標O(Ro, Go, Bo)の算出式（数３４）を示す。

なお、追従度F1は、５０％程度を前提に設定されるものとし、ユーザが明示の指定をしない場合のデフォルト値も５０％程度とする。

次に、移動元・移動先算出部３０５による移動先座標の算出処理について説明する。ユーザは、記憶色補正対象毎の移動元座標のプリセット値TP(TPr, TPg, TRb)を設定する。移動元・移動先算出部３０５は、ヒストグラム解析部３０４の解析結果を受信し、補正前の状態において既に移動先の方向に一定画素数以上の画素が存在しているかを判定する。存在している場合、移動元・移動先算出部３０５は、入力された存在座標TE(TEr, TEg, TEb)と移動先座標Tのプリセット値TP(TPr, TPg, TRb)と、を基に最終的な移動先座標Tを後述の式（数３５）により算出する。ユーザは、存在座標TEに移動先座標Tのプリセット値をどれだけ近づけるかの指標である追従度F2（０〜１００％）を設定できる。追従度F2を０％とした場合、移動先座標Tは、移動先座標Tのプリセット値TP(TPr, TPg, TRb)と等しくなる。追従度F2を１００％とした場合、移動先座標Tは、存在座標TE(TEr, TEg, TEb)と等しくなる。追従度F2を５０％とした場合、移動先座標Tは、移動先座標Tのプリセット値TP(TPr, TPg, TRb)と、存在座標TE(TEr, TEg, TEb)と、の中間値となる。以下、移動先座標T(Rt, Gt, Bt)の算出式（数３５）を示す。

なお、追従度F2は、５０％程度を前提に設定されるものとし、ユーザが明示の指定をしない場合のデフォルト値も５０％程度とする。

移動元・移動先算出部３０５は、算出した移動元座標O(Ro, Go, Bo)及び移動先座標T(Rt, Gt, Bt)をテーブルデータ生成部１００に供給する。

続いて、絵柄を考慮しない記憶色補正の問題点と、本実施の形態にかかる画像処理装置１の効果について説明する。はじめに、絵柄を考慮しない記憶色補正の問題点を説明する。

絵柄を考慮しない記憶色補正では、記憶色補正対象の有無に関わらず、定常的な１つのパターンが入力されたルックアップテーブルを用いて補正処理が行われる。このため、補正対象とすることを意図していない記憶色補正対象にかかる画素を補正してしまう危険がある。

さらに、画像内にユーザが補正を行いたい記憶色補正対象が存在する場合であっても、記憶色補正対象（たとえば人の顔）がその記憶色補正対象として想定していた色領域とは異なる色をしているため、補正したい画素を補正範囲内に十分に含めることが出来ない恐れがあった。

ルックアップテーブルを用いた記憶色補正では、複数の記憶色補正対象に対して補正を同時に行うことが多い。この場合、補正範囲が干渉する場合がある。図１４を参照して、当該状況を説明する。図示するように、ある記憶色補正対象に関する補正範囲と、他の記憶色補正対象に関する補正範囲に干渉が生じる場合がある。この場合、干渉する領域内における補正をどのように行えばよいかが不明となる。そのため、一般に理想とする補正量よりも補正強度を抑えて処理を行う必要が生じる。すなわち、図１４に示すように補正範囲を縮小した上で補正処理を行う。このため、十分な補正効果を得ることが出来ない。

次に、本実施の形態にかかる画像処理装置１の効果を説明する。本実施の形態にかかる画像処理装置１は、記憶色補正対象の検出を行い、当該記憶色補正対象や画像全体のヒストグラムを基に移動元座標と移動先座標を自動的に算出している。これにより、本実施の形態１にかかる画像処理装置１は、以下の２つの効果を得ることができる。
（１） ユーザが補正を行いたい記憶色補正対象に対してのみ補正処理を行うことができる。
（２） ユーザが補正を行いたい記憶色補正対象に対して十分な強度の補正を行うことができる。

まず、本実施の形態にかかる画像処理装置１において、「ユーザが補正を行いたい記憶色補正対象に対してのみ補正処理を行うことができる」という効果を奏する理由を説明する。

記憶色補正決定部３０２は、ユーザが指定した記憶色補正対象があるか否かを算出する。ユーザが指定した記憶色補正対象が存在する場合にのみ、移動元移動先算出部３０５は、移動元座標Oと移動先座標Tとを算出する。これにより、画像処理装置１（３次元ルックアップテーブル部２００）は、当該記憶色補正対象に関する記憶色補正のみを行う、すなわち上述の（１）の効果を奏することができる。

記憶色補正対象が１画面内に複数存在しない場合、すなわち１つしかない場合、画像処理装置１は、唯一の記憶色補正対象について記憶色補正を行う。そのため、画像処理装置１は、補正範囲の干渉に対する対応を行う必要が無くなる。

なお、記憶色補正決定部３０２がユーザの指定する記憶色補正対象が複数あると判定し、両者の補正範囲が干渉する場合、画像処理装置１は、この干渉領域に属する色座標に対して意図しない変換を行うことがあり得る。しかし、後述する実施の形態４または５の構成によりこの問題は解消する。

次に、本実施の形態にかかる画像処理装置１において、「（２）ユーザが補正を行いたい記憶色補正対象に対して十分な強度の補正を行うことができる。」という効果を奏する理由を説明する。当該理由は、以下の２点である。

第１の理由は、以下のとおりである。前述のように、記憶色補正決定部３０２は、ユーザが指定した記憶色補正対象があるか否かを算出する。そして、移動元移動先算出部３０５は、ユーザが指定し、かつ検出された記憶色補正対象のみについて補正範囲を設定する。すなわち、例えば図１４において、補正範囲をユーザが指定した記憶色補正対象に関するもののみに限定することができる。そのため、色空間上での補正範囲を示す楕円球の数を減らすことができる。これにより、記憶色補正の補正範囲の干渉を考慮する必要が減少し、補正範囲を縮小する等の対応を行う必要を減らすことができる。補正範囲を縮小する必要が減るため、十分な強度の補正を行うことが可能となる。

次に上述の（２）の効果を奏する第２の理由を図１５を参照しつつ説明する。なお図１５の説明において、処理を行う画像に青空を表示した領域、及び青い花を表示した領域があるものとする。なお、ユーザは、青空の記憶色補正のみを行いたいものとする。

図１５（Ａ）は、実施の形態１にかかる画像処理装置１による記憶色補正を示す概念図である。この場合、画像処理装置１は、ユーザが入力した移動元座標と移動先座標をそのまま用いて補正範囲を定める。そのため、画像内において青空と青い花のように似た色のオブジェクトが存在していた場合、画像処理装置１は、補正を意図していない青い花の色まで変化させてしまう。

図１５（Ｂ）は、本実施の形態にかかる画像処理装置１による記憶色補正を示す概念図である。ヒストグラム解析部３０４は、色空間において、移動元座標のプリセット値と、移動先座標のプリセット値との間に所定数以上の画素が存在するか否かを判定する。仮に、所定数以上の画素が存在しない場合、移動元・移動先算出部３０５は、移動元座標のプリセット値をそのまま移動元座標とし、移動先座標のプリセット値をそのまま移動先座標とする。これにより、画像処理装置１は、十分な強度の記憶色補正を行うことができる。

一方、所定数以上の画素が存在した場合、移動元・移動先算出部３０５は、上述の式により、移動先座標のプリセット値（座標）を移動元座標のプリセット値に近づける方向に移動させ、当該移動点を移動先座標と決定する。例えば、画像内に青空と青い花が表示されている場合、画像処理装置１は、移動先座標のプリセット値を移動元座標のプリセット値に近づけた上で記憶色補正を行う（図１５（Ｂ）参照）。ここで、移動元・移動先算出部３０５は、所定数以上の画素が存在するエリアに応じて、プリセット値（座標）の移動量を適宜調節している。これにより、図１５（Ｂ）に示すように、画像処理装置１は、補正対象ではないオブジェクト（背景）に影響が出ない範囲を自動算出しつつ、補正対象のオブジェクト（背景）の記憶色補正を行うことができる。

上述のように、一般的な画像処理装置は、他のオブジェクト（背景）への弊害を考慮して記憶色補正の補正範囲を一律に縮小していた。しかし、本実施の形態にかかる画像処理装置１は、色空間内での色の存在位置を解析することにより（上述のヒストグラム解析を行うことにより）、補正を意図しない他のオブジェクトが存在する可能性を検知し、フレーム（画像）毎に最適な補正範囲を定めることができる。これにより、本実施の形態にかかる画像処理装置１は、画像（フレーム）の絵柄に応じ、十分な補正量を持つ記憶色補正を実現することができる。

動画像は、時間の経過に応じて絵柄が変化する。本実施の形態にかかる画像処理装置１は、絵柄の変化に追従して記憶色補正に用いる移動元座標、移動先座標を適宜調整する。そのため、本実施の形態にかかる画像処理装置１は、動画像に対して、精度の良い記憶色補正を実現することができる。

なお、上述の説明では、絵柄適応部３００は、移動元座標のプリセット値及び移動先座標のプリセット値の調整を行ったが、必ずしもこれに限られず、一方の調整のみを行ってもよい。例えば、絵柄適応部３００は、移動元座標のプリセット値の調整のみを行い、移動先座標に関してはユーザ入力をそのまま採用する。このような構成であっても、画像処理装置１は、一定の効果を奏することができる。

＜実施の形態３＞
本実施の形態にかかる画像処理装置は、３次元ルックアップテーブルの保持するテーブルデータ数を制限できることを特徴とする。本実施の形態にかかる画像処理装置は、主に動画像に対するダイナミック処理（絵柄を解析し、当該絵柄に応じた記憶色補正を行う処理）を前提とする。本実施の形態にかかる画像処理装置は、実施の形態２の変形であるため、実施の形態２と異なる点（補正範囲算出部１１０の構成、動作）を中心に説明する。

図１６は、本実施の形態にかかる補正範囲算出部１１０の構成を示すブロック図である。補正範囲算出部１１０は、図３の構成に加えて変換座標数制限部１１６を備える。

ユーザは、３次元ルックアップテーブルに設定するテーブルデータ制限数を変換座標数制限部１１６に設定する。ここで、テーブルデータ制限数は、３次元ルックアップテーブルに変換対象として設定する格子点の上限数を意味する。例えば、ユーザは、記憶色補正の対象とする動画像データの種別、動画像データの画像データサイズ（縦と横のピクセル数）、要求動作スピード等を考慮して設定するテーブルデータ制限数を設定すればよい。

変換座標数制限部１１６には、補正範囲楕円球式算出部１１５が算出した各記憶色補正対象の楕円球式が入力される。たとえば、青空の記憶色補正と、桜の花の記憶色補正を行う場合、２つの楕円球式が入力される。変換座標数制限部１１６は、これらの楕円球式を基に補正対象となる格子点の総数を算出する。楕円球式から当該楕円球内に含まれる格子点数は、格子点距離を基に算出可能である（図１７（Ａ））。ここで、変換座標数制限部１１６は、補正対象とする全ての楕円球式を基に補正対象となる格子点の総数を算出する。変換座標数制限部１１６は、ユーザから入力されたテーブルデータ制限数と、楕円球式を基に算出した補正対象となる格子点の総数と、を比較する。

テーブルデータ制限数が補正対象となる格子点の総数以上である場合、変換座標数制限部１１６は、補正範囲楕円球式算出部１１５に楕円球式の出力を指示する。

一方、テーブルデータ制限数が補正対象となる格子点の総数よりも少ない場合、変換座標数制限部１１６は、補正範囲ゲイン・オフセット調整部１１２にゲイン及び／またはオフセットの再調整を指示する。ここで、変換座標数制限部１１６は、補正範囲ゲイン・オフセット調整部１１２にテーブルデータ制限数と補正対象となる格子点の総数との比率を合わせて通知する。そして、変換座標数制限部１１６は、補正範囲楕円球式算出部１１５に楕円球式の出力の禁止を指示する。

補正範囲ゲイン・オフセット調整部１１２は、通知された比率を参照して、楕円球が小さくなるようにゲイン及び／またはオフセットを再設定する（図１７（Ｂ））。なお、比率を参照して再設定するため、補正範囲ゲイン・オフセット調整部１１２は、必要以上に楕円球を小さくしすぎることを回避することができる。

ゲイン及び／またはオフセットの再設定の後に、補正範囲楕円球式算出部１１５は、再び楕円球式を算出する。

なお、上述の説明では、ゲイン及び／またはオフセットの調整により補正範囲を縮小したが、必ずしもこれに限られない。例えば、記憶色補正対象にかかる移動先座標及び／または移動先座標を移動させることにより補正範囲を縮小しても良い。例えば、図１７（Ｂ）の例では、移動先座標を点線で示す位置に移動させることにより、記憶色補正対象の補正範囲を縮小している。これは、例えば変換座標数制限部１１６が、対象となる記憶理路対象の移動元座標及び／または移動先座標の位置を変更することを、絵柄適応部３００に対して指示すればよい。

続いて、本実施の形態にかかる画像処理装置の効果について説明する。３次元ルックアップテーブルを用いたダイナミック処理の一般的な課題として、設定するテーブルデータ数の多さが挙げられる。テーブルデータ数が多いために、逐次的にデータが入力される動画像データの処理に３次元ルックアップテーブルを使用することが困難であった。

本実施の形態にかかる画像処理装置は、ユーザの入力したテーブルデータ制限数以下となるようにテーブルデータ数を制限している。すなわち、本実施の形態にかかる画像処理装置１は、たとえば７２９個（９×９×９）や４９１３個（１７×１７×１７）といったテーブルサイズのルックアップテーブルに対して格納するデータサイズ数をテーブルデータ制限数以下とする。例えば、７２９個（９×９×９）の容量を持つルックアップテーブルに対して格納するテーブルデータ数を２００個に制限する。これにより、単位時間内に転送されるデータ数の増大が防止でき、システム全体の処理高速化を実現することができる。

なお、上述の説明では、楕円球を小さくすることにより３次元ルックアップテーブルに格納するデータ数を減らすこととしたが、必ずしもこれに限られない。例えば、範囲楕円球式算出部１１５は、処理を行う記憶色補正対象を減らすこと等によってデータ数を減らしても良い。

＜実施の形態４＞
本実施の形態にかかる画像処理装置は、記憶色補正対象が複数存在する場合に、優先順位を考慮して記憶色補正を行う。上述したように、１つの３次元ルックアップテーブルを用いた記憶色補正では、色領域の干渉が生じてしまうケースがある。これにより、複数の対象に対する記憶色補正を同時に実行できない、または十分な補正を行えないことがある。本実施の形態では、画像処理装置に対して、ユーザがオブジェクトや背景毎に記憶色補正の優先順位を設定する。本実施の形態にかかる画像処理装置は、複数のオブジェクトが記憶色補正の対象となった場合であっても、この優先順位に応じて最適な記憶色補正を行う。以下、図１８を参照して、本実施の形態にかかる画像処理装置の構成を説明する。さらに、図１９を適宜参照して、本実施の形態にかかる動作イメージを説明する。

補正範囲算出部１１０は、図３の構成に加え、補正範囲重複検出部１１７を備える。補正範囲重複検出部１１７には、記憶色補正対象の優先順位（数値が少ないほど優先順位が高い）が供給される。この優先順位は、ユーザが設定する。例えば、ユーザは、「優先順位１：青空」、「優先順位２：青い花」、「優先順位３：桜の花」を入力する。

補正範囲重複検出部１１７には、さらに補正範囲楕円球式算出部１１５が算出した各記憶色補正対象の楕円球式が入力される。補正範囲重複検出部１１７は、複数の楕円球式が存在する場合に、楕円球に重複部分があるか否かを判定する。例えば、図１９の例では、優先順位１のオブジェクトにかかる記憶色補正の楕円球と、優先順位２のオブジェクトにかかる記憶色補正の楕円球と、の間に重複箇所が存在する。なお、補正範囲重複箇所検出部１１７は、与えられた楕円球式から公知の３次元空間上の処理により重複があるか否かを判定すればよい。

重複がある場合、補正範囲重複検出部１１７は、優先順位の低い記憶色補正対象、及び重複範囲の大きさを補正範囲ゲイン・オフセット調整部１１２に通知する。そして、補正範囲重複検出部１１７は、補正範囲楕円球式算出部１１５の楕円球式の出力の禁止を指示する。

重複がない場合、補正範囲重複検出部１１７は、補正範囲楕円球式算出部１１５に楕円球式の出力を指示する。

補正範囲ゲイン・オフセット調整部１１２は、補正範囲重複検出部１１７からの通知を受信した場合、優先順位の低い記憶色補正対象にかかる楕円球が小さくなるようにゲイン又は／及びオフセットを調整する。ここで、補正範囲ゲイン・オフセット調整部１１２は、重複範囲の大きさに応じてゲイン又は／及びオフセットを調整する。そして、補正範囲ゲイン・オフセット調整部１１２は、調整後に算出したＲＧＢ毎の補正範囲を補正範囲楕円球式算出部１１５に供給する。

図１９の例では、補正範囲ゲイン・オフセット調整部１１２は、優先順位２の補正範囲（優先順位の低い方の補正範囲）をゲイン及び／またはオフセットの調整により点線で示す補正範囲に変更し、この補正範囲を補正範囲楕円球式算出部１１５に供給する。

なお、重複がある場合、優先順位の低い記憶色補正対象に関しての記憶色補正を行わないことにしてもよい。

続いて、本実施の形態にかかる画像処理装置の効果について説明する。はじめに、優先順位を考慮しない記憶色補正の課題について説明する。図１９に示すように、複数の記憶色補正対象を扱う場合、補正範囲の重複が生じる場合がある。この場合、一方の記憶色補正対象の補正を断念する等の対応を行う必要があった。そのため、意図した記憶色補正効果が得られない場合が生じていた。

一方、本実施の形態にかかる画像処理装置は、記憶色補正対象が複数ある場合に、記憶色補正対象に対して優先順位を設定することができる。そして、本実施の形態にかかる画像処理装置は、優先順位の高い記憶色補正対象に対しては確実に所望の強度の記憶色補正を行うことを担保することができる。さらに、本実施の形態にかかる画像処理装置は、補正範囲に重複がない場合には、優先順位の低い記憶色補正対象に対しても十分な補正強度の記憶色補正を行うことができる。

さらに、補正範囲に重複がある場合、補正範囲ゲイン・オフセット調整部１１２は、重複が無くなる程度にゲイン及び／またはオフセットを調整する。そのため、本実施の形態にかかる画像処理装置は、補正範囲に重複がある場合であっても、優先順位の低い記憶色補正対象に対して一定の記憶色補正を行うことができる。

すなわち、本実施の形態にかかる画像処理装置によれば、同一（近似）色領域に属する複数の記憶色補正対象に対して、ユーザの意図通りに記憶色補正を実行することができる。

さらに、実施の形態３にかかる構成と、実施の形態４にかかる構成とを、組み合わせることも可能である。すなわち、画像処理装置１は、テーブルデータ制限数以下のテーブルデータ数となるように、優先順位に応じて補正範囲を狭くするように調整しても良い。この場合、補正範囲に重複がない場合であっても補正範囲の縮小を行う。当該概念について以下に説明を行う。

はじめに、補正範囲算出部１１０は、テーブルデータ制限数を考慮することなく、各記憶色補正対象に対する補正範囲（楕円球式）を算出する。この場合、フレーム毎に設定すべきテーブルデータ数がテーブルデータ制限数を超える（システムの能力を超える）ことが予想される。しかしながら、ユーザが各記憶色補正対象の優先順位を定めていた場合には、画像処理装置１は、テーブルデータ制限数以下となるように、優先順位が低くなるほど記補正範囲の縮小率が高くなるように各補正範囲を調整する。

図２０を参照して、動作概念を説明する。図２０の例では、３つの記憶色補正対象が設定されている。図２０（Ａ）では、優先順位１の記憶色補正対象がフレーム内に存在していない。そのため、補正範囲算出部１１０は、優先順位２の記憶色補正対象の補正範囲と、優先順位３の記憶色補正対象の補正範囲と、の縮小を大幅にすることなく補正範囲を調整している。

一方、図２０（Ｂ）では、優先順位１の記憶色補正対象がフレーム内に存在する。そのため、補正範囲算出部１１０は、優先順位２の記憶色補正対象の補正範囲と、優先順位３の記憶色補正対象の補正範囲と、を大幅に縮小している。一方、補正範囲算出部１１０は、優先順位１の記憶色補正対象の補正範囲の縮小を最小限としている。

なお、優先順位に応じた縮小率の具体的な数値は、ユーザが適宜指定することが可能である。

このように、優先順位とテーブルデータ制限数を共に考慮することにより、画像処理装置１は、テーブルデータを所望の数まで制限しつつ、記憶色補正を行いたい記憶色補正対象の補正強度を十分に確保することができる。

＜実施の形態５＞
本実施の形態にかかる画像処理装置は、複数の３次元ルックアップテーブルを保持できることを特徴とする。本実施の形態にかかる画像処理装置は、実施の形態２にかかる画像処理装置の変形であるため、実施の形態２にかかる画像処理装置との差異を中心に説明する。

図２１は、本実施の形態にかかる画像処理装置１の構成を示すブロック図である。画像処理装置１は、図１の構成に加え、複数の３次元ルックアップテーブル部２００〜２０２、及びセレクタ４００を備える。

記憶色補正対象検出部３０１は、記憶色補正対象の検出を行うとともに、各記憶色補正対象が画像内のどの領域に存在しているか、各記憶色補正対象の画像内での表示領域を検出する。図２２を参照して、記憶色補正対象検出部３０１の処理について説明する。

以下の例では、記憶色補正対象検出部３０１は、記憶色補正対象として「青空」、「青い花」、「人の肌」の３つを検出する。また、ユーザは、「青空」、「青い花」を記憶色補正対象として設定している。図２２は、補正処理を行う画像の例を示す図である。図示するように画像の上部に青空が存在し、画面左下部に青い花が存在する。ユーザは、「青空」、「青い花」について色空間における移動元座標（ＲＧＢ値）と移動先座標（ＲＧＢ値）を設定する。記憶色補正対象検出部３０１は、画像内の各画素についてどの記憶色補正対象が存在するかをセレクタ４００に通知する。例えば、記憶色補正対象検出部３０１は、図２２の画素１（Ｘ１，Ｙ１）には青空が存在することを通知する。同様に、記憶色補正対象検出部３０１は、図２２の画素２（Ｘ２，Ｙ２）には青い花が存在することを通知する。なお、記憶色補正対象検出部３０１は、処理対象の画素に記憶色補正対象が存在しない場合、その旨を通知する。

補正範囲算出部１１０は、実施の形態１と同様の手法で各記憶色補正対象の補正範囲を算出する。図２３は、青空の補正範囲と、青い花の補正範囲を示す図である。ここで、青空の補正範囲と青い花の補正範囲との重複範囲Ｄ１が存在する。

格子点移動量算出部１２０は、入力された記憶色補正対象毎に、各格子点の移動量を算出する。図２３の例では、格子点移動量算出部１２０は、青空の補正範囲内に含まれる各格子点の変換先座標を算出し、かつ、青い花の補正範囲内に含まれる各格子点の変換先座標を算出する。そのため、補正範囲移動量算出部１２０は、青空の補正範囲内に含まれる格子点として座標Ｐ１を扱う場合には変換座標としてＰ２を算出し、青い花の補正範囲内に含まれる格子点として座標Ｐ１を扱う場合には変換座標としてＰ３を算出する。

格子点移動量算出部１２０は、記憶色補正対象毎に各格子点の変換座標を算出する。そして、格子点移動量算出部１２０は、記憶色補正対象毎に３次元ルックアップテーブルを設定する。以下の例では、格子点移動量算出部１２０は、３次元ルックアップテーブル部２００に青空の記憶色補正に関するテーブルデータを設定し、３次元ルックアップテーブル部２０１に青い花の記憶色補正に関するテーブルデータを設定し、３次元ルックアップテーブル部２０２に他の色補正用のテーブルデータを設定する。

各ルックアップテーブル部（２００〜２０２）は、設定されたルックアップテーブルに従って各画素の色空間上での補正を行う。各ルックアップテーブル部（２００〜２０２）は、補正により得られた各画素のＲＧＢ値をセレクタ４００に出力する。

前述のように、セレクタ４００には、各記憶色補正対象の存在座標が記憶色補正対象検出部３０１から通知される。セレクタ４００は、画素位置と各記憶色補正対象の存在座標との関係に応じて、ルックアップテーブル部（２００〜２０２）から出力されるＲＧＢ値の一つを選択して出力する。例えば、図２２の画素１の補正を行っている場合、セレクタ４００は、ルックアップテーブル部２００（青空の記憶色補正のテーブルデータが設定されている処理部）からの出力を選択して出力する。同様に、図２２の画素２の補正を行っている場合、セレクタ４００は、ルックアップテーブル部２０１（青い花の記憶色補正のテーブルデータが設定されている処理部）からの出力を選択して出力する。

続いて本実施の形態にかかる画像処理装置の効果について説明する。上述したように、本実施の形態にかかる画像処理装置１は、記憶色補正対象毎にルックアップテーブルを設ける。画像処理装置１は、画像内の各記憶色補正対象の存在位置に応じて、複数のルックアップテーブルの変換結果から適切な値を選択する。これにより、図２３に示すように、色空間における補正範囲に重複がある場合であっても、画像処理装置１は、補正範囲の重複の影響を受けることなく適切に記憶色補正を行うことができる。

なお、上述の説明では、画像処理装置１が記憶色補正対象毎にルックアップテーブルを備える構成を説明したが、必ずしもこれに限られない。画像処理装置１は、補正範囲に重複がある場合にのみ別のルックアップテーブルにテーブルデータを格納すればよい。例えば、青空の補正範囲と青い花の補正範囲は重複するが、青空の補正範囲と桜の花の補正範囲は重複しない場合を考える。この場合、第１のルックアップテーブルに青空の補正範囲にかかるテーブルデータに加え、桜の花の補正範囲にかかるテーブルデータを格納する。そして、第２のルックアップテーブルに青い花の補正範囲にかかるテーブルデータを格納する。これにより、ルックアップテーブルの数の増加を最小限に抑えつつ、補正範囲の重複の影響を受けない記憶色補正処理を実現することができる。

＜実施の形態６＞
本実施の形態にかかる画像処理装置は、ＲＧＢ以外の画像信号を扱うことができることを特徴とする。本実施の形態にかかる画像処理装置では、ユーザは、記憶色補正対象の移動元座標と当該座標からの移動量を設定することができる。本実施の形態に画像処理装置について、実施の形態１と異なる点を中心に説明する。

本実施の形態にかかる画像処理装置１は、テーブルデータ生成部１００（または絵柄適応部３００）の前段に色空間変換部５００を有することを特徴とする。図２４は、色空間変換部５００の構成を示すブロック図である。色空間変換部５００は、ＲＧＢ／ＨＳＶ変換部５１０と、加算器５２０と、ＨＳＶ／ＲＧＢ変換部５３０と、を備える。

ユーザは、移動元座標O (Ro, Go, Bo)、及び当該移動元座標からの変化量を指定する。ここで、変化量は、例えば色相（Ｈ）、彩度（Ｓ）、輝度（Ｖ）の各項目について指定する。

ＲＧＢ／ＨＳＶ変換部５１０は、ユーザが指定した移動元座標をＲＧＢ値からＨＳＶ値に変換する。当該変換は、既知の手法により行えばよい。ＲＧＢ／ＨＳＶ変換部５１０は、変換したＨＳＶ値（Ｈｏ，Ｓｏ，Ｖｏ）を加算器５２０に出力する。

加算器５２０は、入力されたＨＳＶ値（Ｈｏ，Ｓｏ，Ｖｏ）に、色相（Ｈ）、彩度（Ｓ）、輝度（Ｖ）の各項目の変化量（ΔＨ，ΔＳ，ΔＶ）を加算する。加算器５２０は、加算値（Ｈｔ，Ｓｔ，Ｖｔ）をＨＳＶ／ＲＧＢ変換部５３０に出力する。

ＨＳＶ／ＲＧＢ変換部５３０は、入力された加算値であるＨＳＶ値（Ｈｔ，Ｓｔ，Ｖｔ）をＲＧＢ値に変換する。このＲＧＢ値は、移動先座標T (Rt, Gt, Bt)を示す。ＨＳＶ／ＲＧＢ変換部５３０は、移動先座標Tをテーブルデータ生成部１００に供給する。なお、テーブルデータ生成部１００には、ユーザが指定したＲＧＢ形式の移動元座標も供給される。

以上の処理により、テーブルデータ生成部１００には、移動元座標O及び移動先座標Tが設定される。以降の各処理は、実施の形態１と同様である。

続いて、本実施の形態にかかる画像処理装置１の効果について説明する。記憶色補正を行いたい場合であっても、目標とする色座標が定まっていない場合がある。本実施の形態では、ユーザは、移動先座標にかわり移動元座標からの変化量を指定することができる。そのため、ユーザは、例えば「ちょっと黄色く」、「もっと色を濃く」、「かなり明るく」のようにあいまいな指定を行い、当該指定を変化量に換算することが可能となる。これにより、ユーザの設定の負担がさらに軽減する。

なお、上述の例では、ＨＳＶとＲＧＢの変換を行う構成として説明したが、必ずしもこれに限られない。例えば、ユーザは、移動元座標と変化量をＲＧＢ形式で入力する。そして、加算器が加算処理により移動先座標を算出する構成であっても良い。

なお、図２４の例では、ＨＳＶ値とＲＧＢ値の変換について説明したが必ずしもこれに限られず、ＨＳＵ値、ＹＵＶ値、ＨＬＳ値、Ｌａｂ値、ＹＣＭ値等とＲＧＢ値との変換を行っても良い。

以上、本発明にかかる画像処理装置について実施の形態に沿って説明した。しかしながら、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。上述の実施の形態では、色空間としてＲＧＢ空間を前提として座標変換処理を行ったが、本発明は他の色空間に応用することも可能である。すなわち、画像処理装置は、ＨＳＶ、ＨＳＵ、ＹＵＶ、ＨＬＳ、Ｌａｂ、ＹＣＭ等の色空間において上述の各処理を行っても良い。

上述の画像処理装置１は、例えばプリンタ装置、テレビ受像機、複写機、デジタル複合機、プロジェクタ装置、携帯電話端末、デジタルスチルカメラ、スマートフォン、デジタルフォトフレーム、ディスプレイ装置等に組み込まれて使用される。すなわち、画像処理装置１は、表示部に画像を表示する装置、表示部を有する装置に接続可能な装置、画像を印刷または表示する装置において利用される。

画像処理装置１内の各処理部（テーブルデータ生成部１００、３次元ルックアップテーブル部２００、絵柄適応部３００、セレクタ４００、色空間変換部５００）の処理の一部又は全部は、回路によるハードウェア構成とすることができる。さらに、画像処理装置１内の各処理部（テーブルデータ生成部１００、３次元ルックアップテーブル部２００、絵柄適応部３００、セレクタ４００、色空間変換部５００）の処理の一部又は全部は、任意のコンピュータ内で動作するプログラムとして実現してもよい。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

画像処理装置１の各処理部の処理をプログラムとして実行するコンピュータのハードウェア構成の一例を図２５に示す。当該コンピュータは、中央処理装置（ＣＰＵ, Central Processing Unit）６００と、メモリ６１０と、を含んでいる。ＣＰＵ６００及びメモリ６１０は、バスを介して補助記憶装置としてのハードディスク装置（ＨＤＤ）６２０に接続される。ハードディスク装置６２０等の記憶媒体にはオペレーティングシステムと協働してＣＰＵ６００等に命令を与え、上述した画像処理装置１の各処理を実施するためのコンピュータ・プログラムを記憶することができる。

１ 画像処理装置
１００ テーブルデータ生成部
１１０ 補正範囲算出部
１１１ 移動先−移動元距離算出部
１１２ 補正範囲ゲイン・オフセット調整部
１１３ 移動先−移動元直線傾き算出部
１１４ 回転角度算出部
１１５ 補正範囲楕円球式算出部
１１６ 変換座標数制限部
１１７ 補正範囲重複検出部
１２０ 格子点移動量算出部
１２１ 移動元−格子点直線式算出部
１２２ 交点算出部
１２３ 移動元−交点距離算出部
１２４ 移動元−格子点距離算出部
１２５ 影響度算出部
１２６ 移動特性設定部
１２７ 座標算出部
２００ ３次元ルックアップテーブル部
２１０ アドレス生成部
２２０ テーブルデータメモリ部
２３０ 補間部
３００ 絵柄適応部
３０１ オブジェクト・背景検出部
３０２ 記憶色補正決定部
３０３ ３次元ヒストグラム生成部
３０４ ヒストグラム解析部
３０５ 移動元・移動先算出部
４００ セレクタ
５００ 色空間変換部
５１０ ＲＧＢ／ＨＳＶ変換部
５２０ 加算器
５３０ ＨＳＶ／ＲＧＢ変換部
６００ ＣＰＵ
６１０ メモリ
６２０ ＨＤＤ

Claims (23)

1. 入力された画像信号の色情報を変換規則に基づいて変換する変換部と、
   予め設定される色空間における移動元座標と移動先座標の位置関係に基づいて、色空間における補正範囲を算出する補正範囲算出部と、
   前記移動元座標と前記移動先座標の位置関係、及び前記補正範囲内の各点の座標と前記移動元座標との位置関係、に基づいて、当該各点の変換先座標を算出し、前記変換規則に反映させる各点移動量算出部と、を備える画像処理装置。
2. 前記各点移動量算出部は、前記移動元座標からの距離が大きくなるにつれて各点の移動量を小さくすることを特徴とする請求項１に記載の画像処理装置。
3. 前記補正範囲は、前記移動元座標と前記移動先座標を結ぶ第１直線が長軸方向となる楕円球体であることを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記補正範囲算出部は、
   前記移動元座標と、前記移動先座標と、の距離を算出する第１距離算出部と、
   前記第１直線の傾きを算出する直線傾き算出部と、
   予め設定された調整値と、前記第１距離算出部が算出した距離と、に基づいて、座標範囲を算出する補正範囲調整部と、
   前記直線傾き算出部が算出した前記第１直線の傾きに基づいて、前記座標範囲を回転させる回転角度を算出する回転角度算出部と、
   前記補正範囲調整部が算出した前記座標範囲を前記回転角度だけ回転させることにより前記楕円球体の数式を算出する補正範囲楕円球式算出部と、を備えることを特徴とする請求項３に記載の画像処理装置。
5. 前記直線傾き算出部は、前記色空間の前記移動元座標をO(Ro, Go, Bo)、前記移動先座標をT(Rt, Gt, Bt)とした場合、前記色空間における前記第１直線の第１断面の傾きΔ１、第２断面の傾きΔ２を以下の式（数３６）、（数３７）により算出することを特徴とする請求項４に記載の画像処理装置。
   

   

   
6. 前記回転角度算出部は、前記色空間における前記第１断面での前記回転角度をθ１、前記第１断面での前記回転角度θ２を以下の式（数３８）、（数３９）により算出することを特徴とする請求項５に記載の画像処理装置。
   

   

   
7. 前記各点移動量算出部は、
   前記補正範囲に含まれる第１座標点と、前記移動元座標と、を結ぶ第２直線の直線式を算出する直線式算出部と、
   前記楕円球体の数式と、前記第２直線の直線式と、に基づいて、前記楕円球体と前記第２直線の交点を算出する交点算出部と、
   前記移動元座標と、前記交点と、の距離を算出する第２距離算出部と、
   前記第１座標点と、前記移動元座標と、の距離を算出する第３距離算出部と、
   前記第２距離算出部の算出した距離と、前記第３距離算出部の算出した距離と、の比率に応じて前記第１座標点の移動量の基準となる影響度を算出する影響度算出部と、
   前記影響度に基づいて、前記第１座標点の変換先座標を算出する座標算出部と、を備えることを特徴とする請求項３乃至請求項６のいずれか１項に記載の画像処理装置。
8. 前記座標算出部は、ユーザが指定した補正方向（圧縮方向または平行方向）に応じて、前記第１座標点の変換先座標を算出することを特徴とする請求項７に記載の画像処理装置。
9. 前記各点移動量算出部は、
   前記影響度を、リニアな変化よりも増加させるように調整した移動特性を算出し、前記移動特性を前記座標算出部が前記第１座標点の変換先座標を算出する際のパラメータとして設定する移動特性調整部を備えることを特徴とする請求項７または請求項８に記載の画像処理装置。
10. 前記各点移動量算出部の処理する前記補正範囲内の各点の座標は、隣接点との距離が全て等しい格子点座標であることを特徴とする請求項１乃至請求項９のいずれか１項に記載の画像処理装置。
11. 前記移動元座標及び前記移動先座標は、ユーザが指定した入力値であることを特徴とする請求項１乃至請求項１０のいずれか１項に記載の画像処理装置。
12. 記憶色補正対象の種別、補正を行いたい各記憶色補正対象にかかる前記移動元座標の第１プリセット値、前記移動先座標の第２プリセット値をユーザから受け付け、
    前記画像信号が構成する画像内にユーザが指定した前記記憶色補正対象が存在するか否かを判定するとともに、前記画像の色分布を解析し、
    前記画像内に存在する前記補正対象毎の前記第１プリセット値、及び前記第２プリセット値の少なくとも一方を、前記画像の色分布の解析結果に基づいて調整し、調整値を前記記憶色補正対象毎の前記移動元座標、前記移動先座標に設定する絵柄適応部、を更に備える請求項１乃至請求項１１のいずれか１項に記載の画像処理装置。
13. 前記絵柄適応部は、
    前記画像内において記憶色補正の対象となり得るオブジェクトまたは背景の有無、及び前記画像内での記憶色補正対象の検出領域を検出する補正対象検出部と、
    前記補正対象検出部の検出結果と、前記ユーザが指定した前記記憶色補正対象の種別と、を比較して処理を行う記憶色補正対象を決定する記憶色補正決定部と、
    前記画像の色空間ヒストグラムを生成するヒストグラム生成部と、
    前記色空間ヒストグラムに基づいて、前記検出領域内での色分布解析にかかる第１解析結果、及び前記第１プリセット値と前記第２プリセット値の示す色空間座標間の色分布解析にかかる第２解析結果を算出するヒストグラム解析部と、
    前記記憶色補正決定部の決定した記憶色補正対象、前記第１及び前記第２解析結果、前記第１及び前記第２プリセット値、に基づいて前記画像内に存在する前記記憶色補正対象毎の前記移動元座標、前記移動先座標を算出する移動元移動先算出部と、
    を備えることを特徴とする請求項１２に記載の画像処理装置。
14. 前記ヒストグラム解析部は、
    前記検出領域の中心的な色を示す中心色座標を前記第１解析結果とし、
    前記第１プリセット値と前記第２プリセット値の示す色空間座標間を複数エリアに分割し、前記第１プリセット値に近いエリアから順に所定画素数以上の画素が存在するか否かを判定し、所定画素数以上存在しているエリアの代表座標である存在座標を前記第２解析結果とする、ことを特徴とする請求項１３に記載の画像処理装置。
15. 前記移動元移動先算出部は、前記中心色座標をOC(OCr, OCg, OCb)、前記存在座標をTE(TEr, TEg, TEb)、前記第１プリセット値をOP(OPr, OPg, ORb)、前記第２プリセット値をTP(TPr, TPg, TRb)、前記移動元座標をO(Ro, Go, Bo)、前記移動先座標をT(Rt, Gt, Bt)、ユーザが調整可能な追従度をF1（０〜１００％）、F2（０〜１００％）とした場合、以下の式（数４０）、（数４１）により前記移動元座標、及び前記移動先座標を算出することを特徴とする請求項１４に記載の画像処理装置。
    

    

    
16. 前記補正範囲算出部は、
    ユーザからの前記変換規則の規則制限数の入力を受け付け、前記補正範囲の大きさから算出される前記補正範囲内の各点座標の個数と、前記規則制限数を比較し、
    前記規則制限数が前記補正範囲内の各点座標の個数よりも少ない場合、領域範囲が小さくなるように前記補正範囲の再算出を行うことを特徴とする請求項１乃至請求項１５のいずれか１項に記載の画像処理装置。
17. 前記補正範囲算出部は、
    ユーザからの記憶色補正対象の優先順位の入力を受け付け、各記憶色補正対象にかかる前記補正範囲に重複があるか否かを判定し、
    重複がある場合、前記優先順位の低い順序で記憶色補正対象にかかる前記補正範囲の縮小率が大きくなるように、各記憶色補正対象にかかる前記補正範囲を再算出することを特徴とする請求項１乃至請求項１６のいずれか１項に記載の画像処理装置。
18. 前記補正範囲算出部は、
    前記移動元座標と前記移動元座標の距離が小さくなるように少なくとも一方の座標を調整した後に前記再算出を行うことを特徴とする請求項１６または請求項１７に記載の画像処理装置。
19. 前記画像処理装置は、前記変換部として第１変換部及び第２変換部を少なくとも有し、
    前記絵柄適応部は、前記ユーザが指定した前記記憶色補正対象である第１記憶色補正対象、第２記憶色補正対象のそれぞれの前記画像内での表示領域を検出し、
    前記補正範囲算出部は、前記第１、前記第２記憶色補正対象のそれぞれに対応する前記補正範囲を算出し、
    前記各点移動量算出部は、前記第１記憶色補正対象にかかる前記補正範囲内の各点の変換先座標を算出して前記第１変換部の有する前記変換規則に反映し、前記第２記憶色補正対象にかかる前記補正範囲内の各点の変換先座標を算出して前記第２変換部の有する前記変換規則に反映する、ことを特徴とする請求項１３乃至請求項１８のいずれか１項に記載の画像処理装置。
20. 前記色空間は、ＲＧＢ、ＨＳＶ、ＨＳＵ、ＹＵＶ、ＨＬＳ、Ｌａｂ、ＹＣＭのいずれかであることを特徴とする請求項１乃至請求項１９のいずれか１項に記載の画像処理装置。
21. 前記変換規則は、ＬＵＴ（ルックアップテーブル）であることを特徴とする請求項１乃至請求項２０のいずれか１項に記載の画像処理装置。
22. 入力された画像信号の色情報を変換規則に基づいて変換する画像処理方法であって、
    予め設定される色空間における移動元座標と移動先座標の位置関係に基づいて、色空間における補正範囲を算出し、
    前記移動元座標と前記移動先座標の位置関係、及び前記補正範囲内の各点の座標と前記移動元座標との位置関係、に基づいて、当該各点の変換先座標を算出し、前記変換規則に反映させる、画像処理方法。
23. コンピュータに、
    入力された画像信号の色情報を変換規則に基づいて変換する処理と、
    予め設定される色空間における移動元座標と移動先座標の位置関係に基づいて、色空間における補正範囲を算出する処理と、
    前記移動元座標と前記移動先座標の位置関係、及び前記補正範囲内の各点の座標と前記移動元座標との位置関係、に基づいて、当該各点の変換先座標を算出し、前記変換規則に反映させる処理と、を実行させるためのプログラム。

Images