JP2009225346A - 画像補正プログラム、画像補正装置および画像補正方法 - Google Patents

Abstract

【課題】誤補正を防止して、適切に色かぶりを補正することを課題とする。
【解決手段】画像補正装置１０は、デジタルカメラ２０から画像データが入力されると、明るさのヒストグラムを採取して、画像データのハイライト部分を抽出して画素統計量を算出する。そして、画像補正装置１０は、画像データのハイライト部分の色温度を算出する。続いて、画像補正装置１０は、算出された色温度を色度図上にプロットし、同一色温度の昼光軌跡の点との距離が所定の距離内であるか判定する。その結果、画像補正装置１０は、所定の距離内であると判定された場合には、カラーバランス補正を行い、プリンタ３０に補正後の画像データを出力する。一方、画像補正装置１０は、所定の距離内でないと判定された場合には、カラーバランス補正を行わずに、画像データの画素値を維持して、プリンタ３０に画像データを出力する。
【選択図】 図１

Description

この発明は、撮影された画像データに対して補正処理を行う画像補正プログラム、画像補正装置および画像補正方法に関する。

従来より、人間の視覚では、光源環境が変化した場合でも、順応性によって本来の色を正しくとらえることが可能であることが知られている。これに対して、デジタルカメラ等では、光源の違い（つまり、「色温度」の違い）によって画像が青っぽくなったり赤っぽくなったりする色かぶり事象が発生していた。

このような色かぶり事象が発生した画像を補正する技術として、カラーバランス補正（またはホワイトバランス補正）が行われている（例えば、特許文献１）。例えば、カラーバランス補正として、画像中のグレー候補画素を採取し、これらを昼光軌跡上の規定のグレー点に近づけるようにして画像を補正する。

特開２００２−１５２７７２号公報

ところで、上記したカラーバランス補正を行う技術では、グレー候補画素として、明るい画素や暗い画素の区別無く採取するので、光源の色温度相違による「色かぶり」なのか元来の物体の色であるのか推測が困難である結果、誤補正を行って、適切に色かぶりを補正することができない場合があるという課題があった。

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、誤補正を防止して、適切に色かぶりを補正する画像補正プログラム、画像補正装置および画像補正方法を提供することを目的とする。

この装置は、画像データのハイライト部分の色温度を算出し、算出された色温度が昼光軌跡の値に対して所定の距離内であるかを判定し、色温度が昼光軌跡の値に対して所定の距離内であると判定された場合には、画像データに対してカラーバランス補正を行うことを要件とする。

開示の装置は、光源の色温度相違による「色かぶり」なのか元来の物体の色であるのかを精度良く判別して、誤補正を防止して、適切に色かぶりを補正するという効果を奏する。

以下に添付図面を参照して、この発明に係る画像補正プログラム、画像補正装置および画像補正方法の実施例を詳細に説明する。

以下の実施例では、実施例１に係る画像補正装置の構成および処理の流れを順に説明し、最後に実施例１による効果を説明する。なお、以下では、デジタルカメラで撮影された画像のデータを補正し、接続されたプリンタに出力する場合の例を説明する。

［画像補正装置の構成］
次に、図１を用いて、実施例１に係る画像補正装置１０の構成を説明する。図１は、実施例１に係る画像補正装置１０の構成を示すブロック図である。同図に示すように、この画像補正装置１０は、デジタルカメラＩ／Ｆ１１、プリンタＩ／Ｆ１２、制御部１３、記憶部１４を備え、ケーブルやネットワーク等を介してデジタルカメラ２０およびプリンタ３０と接続される。以下にこれらの各部の処理を説明する。

デジタルカメラＩ／Ｆ１１は、接続されるデジタルカメラ２０との間でやり取りする各種情報に関する通信を制御する。具体的には、デジタルカメラＩ／Ｆ１１は、デジタルカメラ２０から撮影画像データを受信する。

プリンタＩ／Ｆ１２は、接続されるプリンタ３０との間でやり取りする各種情報に関する通信を制御する。具体的には、プリンタＩ／Ｆ１２は、補正処理を行った画像データをプリンタ３０に送信する。

記憶部１４は、制御部１３による各種処理に必要なデータおよびプログラムを格納するが、特に本発明に密接に関連するものとしては、昼光軌跡記憶部１４ａおよびＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ、以下ＬＵＴと略す）１４ｂを備える。

昼光軌跡記憶部１４ａは、ＣＩＥ（commission internationale de l'eclairage、国際照明委員会）が昼光の測定結果に基づきｘｙ色度図上にプロットした色度座標に近似する曲線である昼光軌跡に関する情報を記憶する。

ＬＵＴ１４ｂは、図２に例示するように、Ｒ，Ｇ，Ｂ成分の各入力レベルと出力レベルとの対応関係を表わす変換テーブルを記憶する。また、ＬＵＴ１４ａでは、例えば、Ｒ成分の出力レベルを落とすカラーバランス補正を行う場合に、図２の（１）に例示するように、後述する距離判定部１３ｃによって変換テーブルが書き換えられる。その後、ＬＵＴ１４ａは、後述する画像補正部１３ｄによって変換テーブルが読み出され、カラーバランス補正に用いられる。

制御部１３は、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行するが、特に本発明に密接に関連するものとしては、画素統計情報算出部１３ａ、色温度算出部１３ｂ、距離判定部１３ｃ、画像補正部１３ｄを備える。

画素統計情報算出部１３ａは、画像データのハイライト部分（例えば、画像中の明るさ輝度上位１％の画素）を抽出して、画素統計量（例えば、ハイライト部分の画素の平均値）を算出する。具体的には、画素統計情報算出部１３ａは、デジタルカメラ２０から画像データが入力されると、明るさのヒストグラムを採取する。

そして、画素統計情報算出部１３ａは、画像データのハイライト部分として、画像中の明るさ輝度上位１％の画素を抽出する。続いて、画素統計情報算出部１３ａは、抽出された画素のＲ，Ｇ，Ｂ成分の各入力レベルの平均値を算出し、色温度算出部１３ｂに通知する。なお、ここで、画像データのハイライト部分とは、画像データ中の明るい部分であり、画像データの光源が現れている部分であると考えられる。

色温度算出部１３ｂは、画像データのハイライト部分の色温度を算出する。具体的には、色温度算出部１３ｂは、色温度算出部１３ｂから通知されたＲ，Ｇ，Ｂ成分の各入力レベルの平均値から下記（１）式、（２）式および（３）式を用いて、「Ｘ、Ｙ、Ｚ」を算出する。

そして、色温度算出部１３ｂは、下記（４）式および（５）式を用いて、「Ｘ、Ｙ、Ｚ」から「ｘ、ｙ」を算出する。その後、色温度算出部１３ｂは、下記（６）式および（７）式を用いて、「ｘ、ｙ」から色温度Ｔを算出して、距離判定部１３ｃに通知する。

なお、色温度とは、ある色を放つ光源に含まれる青紫光と赤色光の相対的な強さを表す数値であり、その光と同じ色の光を完全黒体が放射する時の黒体の温度である。また、色温度の単位はＫ（ケルビン）である。この色温度が高いほど青っぽく、低いほど赤っぽくなり、真昼の日光は５５００〜６０００Ｋと言われており、日陰などはこれより高く、室内光はこれより低くなる。

距離判定部１３ｃは、算出された色温度が昼光軌跡の値に対して所定の距離内であるかを判定する。具体的には、距離判定部１３ｃは、色温度算出部１３ｂから色温度を受け付けると、昼光軌跡記憶部１４ａから昼光軌跡に関する情報を読み出し、受け付けられた色温度を、図３に例示するように、色度図上にプロット（図３の例では、「プロット位置」にプロット）する。

そして、距離判定部１３ｃは、色温度のプロット位置と、当該色温度と同一色温度の昼光軌跡上の点との距離を測定し、当該距離が所定の距離内であるか否かを判定し、画像補正部１３ｄに距離判定結果を通知する。なお、ここでの所定の距離として、色温度毎に異なる距離を予め設定するようにしてもよいし、色温度に関係なく一つの距離を予め設定するようにしてもよい。

また、距離判定部１３ｃは、所定の距離内であると判定した場合には、色温度のプロット位置に応じて、ＬＵＴ１４ａを書き換える。例えば、図３の例では、プロット位置がＲ（赤）の位置にあるので、距離判定部１３ｃは、図２の（１）に例示するように、Ｒ成分の出力レベルを落とすように、Ｒ成分の変換テーブルを書き換える。なお、Ｒ成分の出力レベルを落とす代わりに、Ｇ成分の出力レベルとＢ成分の出力レベルを上げるようにしてもよい。

画像補正部１３ｄは、色温度が昼光軌跡の値に対して所定の距離内であると判定された場合には、画像データに対してカラーバランス補正を行う。具体的には、画像補正部１３ｄは、距離判定部１３ｃから通知された距離判定結果を受け付け、その距離判定結果として、算出された色温度のプロット位置が昼光軌跡の値に対して所定の距離内であると判定された場合には、ＬＵＴ１４ｂを用いてカラーバランス補正を行い、プリンタ３０に補正後の画像データを出力する。なお、画像補正部１３ｄは、カラーバランス補正として、例えば、色が偏った明るい点を白く変換し、これに比例しその他の画素についても同様の処理を行う。

また、画像補正部１３ｄは、距離判定結果として、算出された色温度のプロット位置が昼光軌跡の値に対して所定の距離内でないと判定された場合には、カラーバランス補正を行わずに、画像データの画素値を維持して、プリンタ３０に画像データを出力する。つまり、所定の距離外である場合には、元来の物体の色であるとして、カラーバランス補正を行わない。なお、カラーバランス補正を行わないとせずに、所定の距離内であると判定された場合に行うカラーバランス補正よりも弱いカラーバランス補正を行うようにしてもよい。

具体的な例として図３を用いて説明すると、図３の例では、色温度算出部１３ｂによって色温度「３５００Ｋ（ケルビン）」が算出された場合であり、画像補正部１３ｄは、その色温度のプロット位置と、３５００Ｋの昼光軌跡上との距離が所定の距離内であるか判定する。その結果、距離内である場合には、図３の例では、プロット位置がＲ（赤）の位置にあるので、画像補正部１３ｄは、Ｒ成分の出力レベルを落とすように書き換えられたＬＵＴ１４ｂを用いて、画像データの画素全体にカラーバランス補正を行う。

［画像補正装置による処理］
次に、図４を用いて、実施例１に係る画像補正装置１０による処理を説明する。図４は、実施例１に係る画像補正装置１０の処理動作を示すフローチャートである。

同図に示すように、画像補正装置１０は、デジタルカメラ２０から画像データが入力されると（ステップＳ１０１）、明るさのヒストグラムを採取して、画像データのハイライト部分を抽出して画素統計量を算出する（ステップＳ１０２）。

そして、画像補正装置１０は、画像データのハイライト部分の色温度を算出する（ステップＳ１０３）。続いて、画像補正装置１０は、算出された色温度を色度図上にプロットし（ステップＳ１０４）、同一色温度の昼光軌跡の点との距離が所定の距離内であるか判定する（ステップＳ１０５）。

その結果、画像補正装置１０は、所定の距離内であると判定された場合には（ステップＳ１０５肯定）、カラーバランス補正を行い（ステップＳ１０６）、プリンタ３０に補正後の画像データを出力する（ステップＳ１０７）。一方、画像補正装置１０は、所定の距離内でないと判定された場合には（ステップＳ１０５否定）、カラーバランス補正を行わずに、画像データの画素値を維持して、プリンタ３０に画像データを出力する（ステップＳ１０７）。

[実施例１の効果]
上述してきたように、画像補正装置１０は、画像データのハイライト部分の色温度を算出し、算出された色温度が昼光軌跡の値に対して所定の距離内であるかを判定し、色温度が昼光軌跡の値に対して所定の距離内であると判定された場合には、画像データに対してカラーバランス補正を行うので、光源の色温度による色かぶりが発生しているのか、元来の物体の色であるのかを精度よく推測し、色かぶりと判定した場合に、カラーバランス補正を行ってバランスのよい画像データを得る結果、誤補正を防止して、適切に色かぶりを補正する。

また、実施例１によれば、色温度が昼光軌跡の値に対して所定の距離外であると判定された場合には、画像データの画素値を維持するので、元来の物体の色であれば、誤ってこれを白く変換してしまう誤補正を防止することが可能である。

また、実施例１によれば、ハイライト部分として、画像データの画素から輝度上位の複数の画素を抽出し、当該複数の画素の平均の色温度を算出するので、最も明るい一画素のみをハイライト部分として抽出して色温度を算出する場合と比較して、例えば、光源が表れている画素ではなくノイズ等をハイライト部分として抽出してしまった場合の影響を低減して、誤補正を防止することが可能である。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では実施例２として本発明に含まれる他の実施例を説明する。

（１）デジタルカメラ
また、上記の実施例１では、デジタルカメラが外部の画像補正装置に画像データを送信し、画像補正装置が当該画像データを補正する場合を説明したが、本発明はこれに限定されるものではなく、デジタルカメラに上記した画像補正装置を適用し、デジタルカメラ自身が撮影した画像データに補正処理を行うようにしてもよい。

（２）システム構成等
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、距離判定部１３ｃと画像補正部１３ｄを統合してもよい。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

（３）プログラム
ところで、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをコンピュータで実行することによって実現することができる。そこで、以下では、図５を用いて、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図５は、画像補正プログラムを実行するコンピュータを示す図である。

同図に示すように、画像補正装置としてのコンピュータ６００は、ＨＤＤ６１０、ＲＡＭ６２０、ＲＯＭ６３０およびＣＰＵ６４０をバス６５０で接続して構成される。

そして、ＲＯＭ６３０には、上記の実施例と同様の機能を発揮する画像補正プログラム、つまり、図５に示すように、画素統計情報算出プログラム６３１、色温度算出プログラム６３２、距離判定プログラム６３３、画像補正プログラム６３４が予め記憶されている。なお、プログラム６３１〜６３４については、図１に示した画像補正装置の各構成要素と同様、適宜統合または分散してもよい。

そして、ＣＰＵ６４０が、これらのプログラム６３１〜６３４をＲＯＭ６３０から読み出して実行することで、図５に示すように、各プログラム６３１〜６３４は、画素統計情報算出プロセス６４１、色温度算出プロセス６４２、距離判定プロセス６４３、画像補正プロセス６４４として機能するようになる。各プロセス６４１〜６４４は、図１に示した画素統計情報算出部１３ａ、色温度算出部１３ｂ、距離判定部１３ｃ、画像補正部１３ｄにそれぞれ対応する。

また、ＨＤＤ６１０には、図５に示すように、ＬＵＴ６１１が設けられる。なお、ＬＵＴ６１１は、図１に示したＬＵＴ１４ｂに対応する。そして、ＣＰＵ６４０は、ＬＵＴ６１１を用いて、画像補正処理を実行する。

以上の実施例１〜２を含む実施形態に関し、更に以下の付記を開示する。

（付記１）撮影部によって撮影された画像データに対して補正処理を行う画像補正方法をコンピュータに実行させる画像補正プログラムであって、
前記画像データのハイライト部分の色温度を算出する色温度算出手順と、
前記色温度算出手順によって算出された前記色温度が昼光軌跡の値に対して所定の距離内であるかを判定する距離判定手順と、
前記距離判定手順によって前記色温度が昼光軌跡の値に対して所定の距離内であると判定された場合には、前記画像データに対してカラーバランス補正を行う画像補正手順と、
をコンピュータに実行させることを特徴とする画像補正プログラム。

（付記２）前記画像補正手順は、前記距離判定手順によって前記色温度が昼光軌跡の値に対して所定の距離外であると判定された場合には、前記画像データの画素値を維持することを特徴とする付記１に記載の画像補正プログラム。

（付記３）前記画像補正手順は、前記距離判定手順によって前記色温度が昼光軌跡の値に対して所定の距離外であると判定された場合には、前記所定の距離内であると判定された場合に行うカラーバランス補正よりも弱いカラーバランス補正を行うことを特徴とする付記１に記載の画像補正プログラム。

（付記４）前記ハイライト部分として、前記画像データの画素から輝度上位の複数の画素を抽出し、当該複数の画素の平均の色温度を算出することを特徴とする付記１〜３のいずれか一つに記載の画像補正プログラム。

（付記５）撮影部によって撮影された画像データに対して補正処理を行う画像補正装置であって、
前記画像データのハイライト部分の色温度を算出する色温度算出手段と、
前記色温度算出手段によって算出された前記色温度が昼光軌跡の値に対して所定の距離内であるかを判定する距離判定手段と、
前記距離判定手段によって前記色温度が昼光軌跡の値に対して所定の距離内であると判定された場合には、前記画像データに対してカラーバランス補正を行う画像補正手段と、
を備えることを特徴とする画像補正装置。

（付記６）前記画像補正手段は、前記距離判定手段によって前記色温度が昼光軌跡の値に対して所定の距離外であると判定された場合には、前記画像データの画素値を維持することを特徴とする付記５に記載の画像補正装置。

（付記７）前記画像補正手段は、前記距離判定手段によって前記色温度が昼光軌跡の値に対して所定の距離外であると判定された場合には、前記所定の距離内であると判定された場合に行うカラーバランス補正よりも弱いカラーバランス補正を行うことを特徴とする付記５に記載の画像補正装置。

（付記８）前記色温度算出手段は、前記ハイライト部分として、前記画像データの画素から輝度上位の複数の画素を抽出し、当該複数の画素の平均の色温度を算出することを特徴とする付記５〜７のいずれか一つに記載の画像補正装置。

（付記９）撮影部によって撮影された画像データに対して補正処理を行う画像補正方法であって、
前記画像データのハイライト部分の色温度を算出する色温度算出工程と、
前記色温度算出工程によって算出された前記色温度が昼光軌跡の値に対して所定の距離内であるかを判定する距離判定工程と、
前記距離判定工程によって前記色温度が昼光軌跡の値に対して所定の距離内であると判定された場合には、前記画像データに対してカラーバランス補正を行う画像補正工程と、
を含んだことを特徴とする画像補正方法。

（付記１０）前記画像補正工程は、前記距離判定工程によって前記色温度が昼光軌跡の値に対して所定の距離外であると判定された場合には、前記画像データの画素値を維持することを特徴とする付記９に記載の画像補正方法。

（付記１１）前記画像補正工程は、前記距離判定工程によって前記色温度が昼光軌跡の値に対して所定の距離外であると判定された場合には、前記所定の距離内であると判定された場合に行うカラーバランス補正よりも弱いカラーバランス補正を行うことを特徴とする付記９に記載の画像補正方法。

（付記１２）前記色温度算出工程は、前記ハイライト部分として、前記画像データの画素から輝度上位の複数の画素を抽出し、当該複数の画素の平均の色温度を算出することを特徴とする付記９〜１１のいずれか一つに記載の画像補正方法。

実施例１に係る画像補正装置の構成を示すブロック図である。 ＬＵＴを説明するための図である。 色度図を用いて、昼光軌跡との距離を判定する処理について説明するための図である。 実施例１に係る画像補正装置の処理手順を説明するためのフローチャートである。 画像補正プログラムを実行するコンピュータを示す図である。

符号の説明

１０ 画像補正装置
１１ デジタルカメラＩ／Ｆ
１２ プリンタＩ／Ｆ
１３ 処理部
１３ａ 画素統計情報算出部
１３ｂ 色温度算出部
１３ｃ 距離判定部
１３ｄ 画像補正部
１４ 記憶部
１４ａ 昼光軌跡記憶部
１４ｂ ＬＵＴ
２０ デジタルカメラ
３０ プリンタ

Claims (6)

1. 撮影部によって撮影された画像データに対して補正処理を行う画像補正方法をコンピュータに実行させる画像補正プログラムであって、
   前記画像データのハイライト部分の色温度を算出する色温度算出手順と、
   前記色温度算出手順によって算出された前記色温度が昼光軌跡の値に対して所定の距離内であるかを判定する距離判定手順と、
   前記距離判定手順によって前記色温度が昼光軌跡の値に対して所定の距離内であると判定された場合には、前記画像データに対してカラーバランス補正を行う画像補正手順と、
   をコンピュータに実行させることを特徴とする画像補正プログラム。
2. 前記画像補正手順は、前記距離判定手順によって前記色温度が昼光軌跡の値に対して所定の距離外であると判定された場合には、前記画像データの画素値を維持することを特徴とする請求項１に記載の画像補正プログラム。
3. 前記画像補正手順は、前記距離判定手順によって前記色温度が昼光軌跡の値に対して所定の距離外であると判定された場合には、前記所定の距離内であると判定された場合に行うカラーバランス補正よりも弱いカラーバランス補正を行うことを特徴とする請求項１に記載の画像補正プログラム。
4. 前記色温度算出手順は、前記ハイライト部分として、前記画像データの画素から輝度上位の複数の画素を抽出し、当該複数の画素の平均の色温度を算出することを特徴とする請求項１〜３のいずれか一つに記載の画像補正プログラム。
5. 撮影部によって撮影された画像データに対して補正処理を行う画像補正装置であって、
   前記画像データのハイライト部分の色温度を算出する色温度算出手段と、
   前記色温度算出手段によって算出された前記色温度が昼光軌跡の値に対して所定の距離内であるかを判定する距離判定手段と、
   前記距離判定手段によって前記色温度が昼光軌跡の値に対して所定の距離内であると判定された場合には、前記画像データに対してカラーバランス補正を行う画像補正手段と、
   を備えることを特徴とする画像補正装置。
6. 撮影部によって撮影された画像データに対して補正処理を行う画像補正方法であって、
   前記画像データのハイライト部分の色温度を算出する色温度算出工程と、
   前記色温度算出工程によって算出された前記色温度が昼光軌跡の値に対して所定の距離内であるかを判定する距離判定工程と、
   前記距離判定工程によって前記色温度が昼光軌跡の値に対して所定の距離内であると判定された場合には、前記画像データに対してカラーバランス補正を行う画像補正工程と、
   を含んだことを特徴とする画像補正方法。

Images