JP2004120400A - 画像処理方法および装置並びにプログラム - Google Patents

Abstract

【課題】ＹＣＣ空間上においてホワイトバランス補正を行う際に、良質な補正画像を得ると共に、処理速度を早くする。
【解決手段】ＤＶＤプレーヤー３のＹＣＣ変換手段３２は、読出手段３０により記録媒体２のＣＤ−ＲまたはＤＶＤ−Ｒから読み出した画像データＤをテレビ表示に適した７２０×４８０画素のＹＣＣ画像データＰ（Ｙ，Ｃｂ，Ｃｒ）に変換する。縮小手段３４は、ＹＣＣ画像データＰを縮小して１２０×８０画素の縮小ＹＣＣ画像データＰ１を得、ＲＧＢ変換手段３６は、縮小ＹＣＣ画像データをＲＧＢ変換して縮小縮小ＲＧＢ画像データＤ１を得る。補正量算出手段３８は、縮小ＲＧＢ画像データＤ１を用いて補正量ΔＲ、ΔＧ、ΔＢを算出し、ＬＵＴ作成手段４０は、式（１４）に従って９つの１次元ＬＵＴを作成する。処理手段５０は、ＬＵＴ作成手段４０により作成した９つの１次元ＬＵＴをＹＣＣ画像データＰに適用すると共に、式（１５）に示す加算処理を行って、ホワイトバランス補正済みの目的ＹＣＣ画像データＰ’を得る。
【選択図】　　　　　図２

Description

【０００１】
【発明の属する技術分野】
本発明はＹＣＣ空間において画像データに対してホワイトバランス補正を施す画像処理方法および装置ならびに前記画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
近年、デジタルカメラの普及に伴って、デジタルカメラにより撮像して得たデジタル画像データ（以下略して画像データという）は様々な形態で利用されている。例えば、デジタルカメラにより取得した画像データをパソナルコンピュータ（以下パソコンという）に転送したり、パソコンからＣＤ−Ｒや、ＤＶＤ−Ｒなどの大容量記憶媒体に書き込んで保存したり、ＤＶＤプレーヤーなどの再生装置でＣＤ−Ｒ、ＤＶＤ−Ｒなどの記録媒体に記憶された画像データをＹＣＣ画像データに変換してテレビに再生させたりすることが行われている。
【０００３】
一般にデジタルカメラによって取得した画像データは撮影時の光源の影響が顕著に現れる傾向があり、画像全体に色の偏りが見られることがある。例えば蛍光灯の下で撮影を行って得た画像の場合、画像全体に青みがかかった状態になることが多いし、デジタルカメラの機種の違いによっても、同じ環境で撮影が行われても画像における色の偏り具合に差が見られることがある。画像に存在する色の偏りを解消し、満足できる再生画像を得るため、ＤＶＤプレーヤーなどの再生装置において、画像データに対してホワイトバランス補正を施すことが必要である。
【０００４】
画像データに対するホワイトバランス補正は、ＲＧＢ空間において行ってもよいし、ＹＣＣ空間において行ってもよいが、ＤＶＤプレーヤーなどの再生装置の場合、テレビに出力することを前提とするため、画像データをまずＹＣＣデータに変換するのが普通である。ホワイトバランス補正を行う際に、一旦ＹＣＣデータになった画像データをＲＧＢデータに逆変換し、ＲＧＢ空間でホワイトバランス補正を行った後再びＹＣＣデータに変換する方法を用いると、変換する手間を必要とし、処理時間がかかるため、ＹＣＣデータとなる画像データに対してはＹＣＣ空間上でホワイトバランス補正を行う、すなわちＹＣＣ画像データをＲＧＢ画像データに変換せずにＹＣＣ画像データのまま直接に補正を行うことが好ましい。
【０００５】
特許文献１において、ＹＣｂＣｒ空間でホワイトバランス補正を行う方法が提案されている。この方法は、画像における顔領域の色に重点を置きながら画像全体の良好なバランスを図るものであり、顔領域のデータの平均値となるＲＧＢデータをＹＣｂＣｒデータに変換し、そのＣｂ、Ｃｒ値が、Ｃｂ−Ｃｒ平面にプロットされたときの位置に応じてＣｂ、Ｃｒ値の補正を行うものである。
【０００６】
【特許文献１】
特開２００２−４４４６９号公報
【０００７】
【発明が解決しようとする課題】
しかし、画像データの輝度値Ｙも画像のホワイトバランスに影響を与えるものである。例えばデジタルカメラによりタングステン光源下で明るいグレー（輝度値Ｙが高いグレー）と暗いグレー（輝度値Ｙが低いグレー）を撮像した場合、画像のＣｂ、Ｃｒ値が異なり、上述の方法のように、輝度値Ｙの情報なしにＣｂ、Ｃｒ値だけに基づいてホワイトバランス補正を行うのでは、ハイライトからシャドウまでグレーバランスを取ることができず、良質な再生画像を得ることができない。
【０００８】
ＹＣＣ空間上でハイライトからシャドウまでグレーバランスが取れるようにするには、輝度値Ｙも入れて３次元（Ｙ、Ｃ１、Ｃ２）ＬＵＴ（ルックアップテーブル）を用いる方法が考えられるが、この方法では演算時間がかかるという問題がある。
【０００９】
本発明は、上記事情を鑑みなされたものであり、ＹＣＣ空間上でホワイトバランス補正を行う際に、処理時間を短縮すると共に、良質な再生画像を得ることを可能にする画像処理方法および装置な並びにそのためのプログラムを提供することを目的とするものである。
【００１０】
【課題を解決するための手段】
本発明による画像処理方法は、下記式（１）により定義されるＹＣＣ空間においてＹＣＣ画像データ（Ｙ，Ｃ１，Ｃ２）に対してホワイトバランス補正を施して目的ＹＣＣ画像データ（Ｙ’，Ｃ１’，Ｃ２’）を得る画像処理方法であって、
前記ＹＣＣ画像データを縮小して縮小ＹＣＣ画像データを得、
前記縮小ＹＣＣ画像データをＲＧＢ画像データに変換して縮小ＲＧＢ画像データを得、
前記縮小ＲＧＢ画像データを用いてホワイトバランス補正量ΔＲ，ΔＧ，ΔＢを求め、
下記式（２）に従ってＬＵＴ１からＬＵＴ９までの９つの１次元ルックアップテーブルを作成し、
前記９つの１次元ルックアップテーブルおよび下記式（３）を用いて前記ＹＣＣ画像データを前記目的ＹＣＣ画像データに変換することを特徴とするものである。
【００１１】
【数４】

【数５】

【数６】

すなわち、本発明の画像処理方法は、ＹＣＣ空間上においてホワイトバランス補正を行う際に、ＹＣＣ画像データ（Ｙ，Ｃ１，Ｃ２）を縮小して得た縮小ＹＣＣ画像データをさらに色変換して得た縮小ＲＧＢ画像データを用いてホワイトバランス補正量ΔＲ、ΔＢ、ΔＣを求め、このホワイトバランス補正量を用いて、補正前のＹＣＣ画像データ（Ｙ，Ｃ１，Ｃ２）を補正済みＹＣＣ画像データ、すなわち目的ＹＣＣ画像データ（Ｙ’，Ｃ１’，Ｃ２’）との変換に上記式（２）および式（３）に示す線形的な変換式を適用することによって、輝度値Ｙの影響を考慮すると共に、３次元ＬＵＴの代わりに上記式（２）に示す９つの１次元ＬＵＴと上記式（３）に示す加算処理を用いてホワイトバランス補正を行うためのものである。ここで、式（２）および式（３）の導出の方法を説明する。
【００１２】
まず、ＲＧＢ空間においてＲＧＢ画像データ（Ｒ，Ｇ，Ｂ）に対してホワイトバランス補正を行って補正済ＲＧＢ画像データ（Ｒ’，Ｇ’，Ｂ’）を得る際に、下記の式（４）に示す近似式を用いることができる。
【００１３】
【数７】

本発明におけるＹＣＣ画像データは上記式（１）により定義されるものであるので、補正済ＹＣＣ画像データ、すなわち目的ＹＣＣ画像データ（Ｙ’，Ｃ１’，Ｃ２’）を下記の式（５）により表すことができる。
【００１４】
【数８】

式（５）に用いられる補正済ＲＧＢ値（Ｒ’，Ｇ，Ｂ’）に式（４）を適用すると、式（６）に示す、補正済ＹＣＣ画像データのＹ’、Ｃ１’、Ｃ２’と補正前の画像データのＲ，Ｇ，Ｂ値との関係を導出することができる。
【００１５】
【数９】

一方、上記式（１）を逆変換すると、下記の式（７）を得ることができる。
【００１６】
【数１０】

式（６）の右辺に式（７）に示すＲ，Ｇ，Ｂ値を代入し、さらに下記の式（８）に示す変換式を適用すると、式（９）に示す補正済ＹＣＣ画像データのＹ’，Ｃ１’，Ｃ２’と補正前のＹＣＣ画像データのＹ，Ｃ１，Ｃ２との関係式を導出することができる。
【００１７】
【数１１】

【数１２】

式（９）を分解することによって、上記式（２）と式（３）を得ることができる。
【００１８】
ここで、ＹＣＣ空間上における色差値をＣ１とＣ２として表しているが、Ｃｂ、Ｃｒを用いることが好ましい。
【００１９】
本発明における画像処理装置は、上記式（１）により定義されるＹＣＣ空間においてＹＣＣ画像データ（Ｙ，Ｃ１，Ｃ２）に対してホワイトバランス補正を施して目的ＹＣＣ画像データ（Ｙ’，Ｃ１’，Ｃ２’）を得る画像処理装置であって、
前記ＹＣＣ画像データを縮小して縮小ＹＣＣ画像データを得る縮小手段と、
前記縮小ＹＣＣ画像データをＲＧＢ画像データに変換して縮小ＲＧＢ画像データを得る色変換手段と、
前記縮小ＲＧＢ画像データを用いてホワイトバランス補正量ΔＲ，ΔＧ，ΔＢを求める補正量算出手段と、
上記式（２）に従ってＬＵＴ１からＬＵＴ９までの９つの１次元ルックアップテーブルを作成するＬＵＴ作成手段と、
前記９つの１次元ルックアップテーブルおよび上記式（３）を用いて前記ＹＣＣ画像データを前記目的ＹＣＣ画像データに変換する変換手段とを備えたことを特徴とするものである。
【００２０】
本発明によるプログラムは、上記式（１）により定義されるＹＣＣ空間においてＹＣＣ画像データ（Ｙ，Ｃ１，Ｃ２）に対してホワイトバランス補正を施して目的ＹＣＣ画像データ（Ｙ’，Ｃ１’，Ｃ２’）を得る処理をコンピュータに実行させるためのプログラムであって、
前記処理が、前記ＹＣＣ画像データを縮小して縮小ＹＣＣ画像データを得る縮小処理と、
前記縮小ＹＣＣ画像データをＲＧＢ画像データに変換して縮小ＲＧＢ画像データを得る色変換処理と、
前記縮小ＲＧＢ画像データを用いてホワイトバランス補正量ΔＲ，ΔＧ，ΔＢを求める補正量算出処理と、
上記式（２）に従ってＬＵＴ１からＬＵＴ９までの９つの１次元ルックアップテーブルを作成するＬＵＴ作成処理と、
前記９つの１次元ルックアップテーブルおよび上記式（３）を用いて前記ＹＣＣ画像データを前記目的ＹＣＣ画像データに変換する変換処理とからなることを特徴とするものである。
【００２１】
【発明の効果】
本発明の画像処理方法、装置および本発明のプログラムが実装されたコンピュータによれば、ＹＣＣ空間上で画像データに対してホワイトバランス補正を行う際に、輝度値Ｙの影響を計算に入れているので、ハイライトからシャドウまでグレーバランスを取ることができ、良質な補正画像を得ることができると共に、３次元ＬＵＴの代わりに９つの一元ＬＵＴと加算処理を用いるようにし、演算時間を短縮しているので、処理速度を速くすることができる。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
【００２３】
図１は本発明の実施形態による画像再生システムの構成を示す概略ブロック図である。図１に示すように、本実施形態の画像再生システムは、デジタルカメラにより取得した画像データ（ＩＴＵ−Ｒ　ＢＴ．７０９（ＲＥＣ．７０９））に準拠したものである）を保管すると共に、これらの画像データを記録媒体２（ＣＤ−ＲまたはＤＶＤ−Ｒ）に書き込むことが可能なパソコン１と、記録媒体２に記録された画像データに対してＹＣＣ変換を行うと共に、ホワイトバランス補正を施すＤＶＤプレーヤー３と、ＤＶＤプレーヤー３から出力された画像データを表示するテレビ４とを備えたものである。
【００２４】
図２は、本発明の実施形態である、図１に示す画像再生システムにおけるＤＶＤプレーヤー３の構成を示すブロック図である。図示のように、ＤＶＤプレーヤー３は、記録媒体２のＣＤ−ＲまたはＤＶＤ−Ｒから、ＪＰＥＧ圧縮された画像データＤを読み出す読出手段３０と、画像データＤを解凍してテレビ表示に適した７２０×４８０画素のＹＣＣ画像データＰ（Ｙ，Ｃｂ，Ｃｒ）に変換するＹＣＣ変換手段３２と、ＹＣＣ画像データＰを縮小して１２０×８０画素の縮小ＹＣＣ画像データＰ１を得る縮小手段３４と、縮小ＹＣＣ画像データＰ１をＲＧＢ画像データに変換して縮小ＲＧＢ画像データＤ１を得るＲＧＢ変換手段３６と、縮小ＲＧＢ画像データＤ１を用いて補正量ΔＲ、ΔＧ、ΔＢを算出する補正量算出手段３８と、補正量ΔＲ、ΔＧ、ΔＢを用いて９個の１次元ＬＵＴを作成するＬＵＴ作成手段４０と、ＹＣＣ画像データＰの各画素に対して、ＬＵＴ作成手段４０により作成した９個の１次元ＬＵＴを適用して目的ＹＣＣ画像データＰ’（Ｙ’、Ｃ’ｂ，Ｃ’ｒ）を得る処理手段５０と、目的ＹＣＣ画像データＰ’をテレビ４に出力して表示させる出力手段６０とを備えてなるものである。
【００２５】
補正量算出手段３８は、縮小ＲＧＢ画像データＤ１からホワイトバランス補正量ΔＲ、ΔＧ、ΔＢを算出するものである。本実施形態において、ＲＧＢ空間上におけるホワイトバランス補正は下記式（１０）に示すように行うことができ、式（１１）に用いられるホワイトバランス補正量ΔＲ、ΔＧ、ΔＢは式（１１）に従って求めることができる。
【００２６】
【数１３】

【数１４】

なお、ここで、ホワイトバランス補正量を求める際に上述した縮小ＲＧＢ画像データＤ１を用いているので、式（１１）における総画素数ｎは９６００（１２０×８０）となる。
【００２７】
ＬＵＴ作成手段４０は、ＹＣＣ画像データＰに対してホワイトバランス補正を行う際に用いる９つの１次元ＬＵＴ（式（２）に示すＬＵＴ１〜ＬＵＴ９に相当するもの）を作成するものである。本実施形態において、記録媒体２に記録された画像データＤは、ＩＴＵ−Ｒ　ＢＴ．７０９（ＲＥＣ．７０９）に準拠したものであるので、そのＹＣＣ空間は下記の式（１２）に示すように定義される。
【００２８】
【数１５】

輝度値Ｙが０．０８１以上であるとき、Ｒ、Ｇ、Ｂ値のいずれも０．０８１以上であり、輝度値Ｙが０．０８１より小さいとき、Ｒ、Ｇ、Ｂ値のいずれも０．０８１より小さいと仮定し、式（１０）と式（１２）とに基づいて、上述した式（９）の導出と同様の方法でＹＣＣ空間上におけるホワイトバランス補正の計算式を導出することができる。
【００２９】
【数１６】

式（１３）に基づいて、上述した式（２）に相当する９つの１次元ＬＵＴおよび式（３）に相当する加算処理を下記の式（１４）、式（１５）のように導出することができる。なお、式（１４）は、８ビットの画像データを例にして導出したものである。
【００３０】
【数１７】

【数１８】

本実施形態におけるＬＵＴ作成手段４０は、式（１４）に基づいて、９つの１次元ＬＵＴ：ＹＹｔｂｌ「Ｙ」、ＹＣｂｔｂｌ「Ｃｂ」、ＹＣｒｔｂｌ「Ｃｒ」、ＣｂＹｔｂｌ「Ｙ」、ＣｂＣｂｔｂｌ「Ｃｂ」、ＣｂＣｒｔｂｌ「Ｃｒ」、ＣｒＹｔｂｌ「Ｙ」、ＣｒＣｂｔｂｌ「Ｃｂ」、ＣｒＣｒｔｂｌ「Ｃｒ」を作成して、処理手段５０に供する。
【００３１】
処理手段５０は、ＬＵＴ作成手段４０により得られた９つのＬＵＴをＹＣＣ画像データＰに適用すると共に、上記式（１５）に示す加算処理を行って、目的ＹＣＣ画像データＰ’を得る。
【００３２】
図３は、図２に示すＤＶＤプレーヤー３の動作を示すフローチャートである。図示のように、ＤＶＤプレーヤー３は、画像データをテレビ４に表示させるために、まず読出手段３０により、テレビ４に表示させる画像データＤを読み出す（Ｓ１０）。ＹＣＣ変換手段３２は、読出手段３０に読み出された画像データＤをテレビ表示に適した７２０×４８０画素のＹＣＣ画像データＰ（Ｙ，Ｃｂ，Ｃｒ）に変換する（Ｓ１５）。縮小手段３４は、ＹＣＣ変換手段３２により得られたＹＣＣ画像データＰを１２０×８０画素の縮小ＹＣＣ画像データＰ１に縮小し、ＲＧＢ変換手段３６に出力する（Ｓ２０）。ＲＧＢ変換手段３６は、縮小ＹＣＣ画像データＰ１をＲＧＢ画像データに変換して縮小ＲＧＢ画像データＤ１を得る（Ｓ２５）。補正量算出手段３８は、縮小ＲＧＢ画像データＤ１を用いて、式（１１）に従ってホワイトバランス補正量ΔＲ、ΔＧ、ΔＢを算出して、ＬＵＴ作成手段４０に供する（Ｓ３５）。処理手段５０は、ＹＣＣ変換手段３２により得られたＹＣＣ画像データＰに対して、ＬＵＴ作成手段４０により作成した９つの１次元ＬＵＴを適用すると共に、式（１５）に示す加算処理を施してホワイトバランス補正を行って、目的ＹＣＣ画像データＰ’を得る（Ｓ４０）。出力手段６０は、処理手段５０によりホワイトバランス補正を施して得た目的ＹＣＣ画像データＰ’をテレビ４に出力する（Ｓ４５）。
【００３３】
このように、本実施形態の画像再生システムにおいて、ＤＶＤプレーヤー３は、ＹＣＣ空間上で画像データに対してホワイトバランス補正を行う際に、輝度値Ｙの影響を計算に入れることによって、画像のハイライトからシャドウまでグレーバランスを取ることができ、良質な補正画像を得ることができると共に、３次元ＬＵＴの代わりに９つの一元ＬＵＴと加算処理を用いるようにし、演算時間を短縮しているので、処理速度が速い。
【００３４】
上述において本発明の一実施形態となる画像再生システムについて説明したが、本発明は、上述の実施形態に限られるものではなく、本発明の主旨を変えない限り種々の変更を加えることができる。
【００３５】
例えば、図１に示す画像再生システムにおいて、再生する画像データＤはデジタルカメラにより取得した、ＩＴＵ−Ｒ　ＢＴ．７０９（ＲＥＣ．７０９）に準拠したものであるので、ＤＶＤプレーヤー３においてホワイトバランス補正を行う際に、式（１４）に示す９つのＬＵＴを用いたが、本発明は、ＩＴＵ−Ｒ　ＢＴ．７０９（ＲＥＣ．７０９）に準拠した画像データだけではなく、式（１）により定義される空間上におけるいかなるＹＣＣ画像データにも適用することができる。その際、その画像データの準拠した規格などに応じて式（２）に示す９つの１次元ＬＵＴを作成するようにすればよい。
【図面の簡単な説明】
【図１】本発明の実施形態による画像再生システムの構成を示すブロック図
【図２】図１に示す画像再生システムにおけるＤＶＤプレーヤー３のの構成を示すブロック図
【図３】図２に示すＤＶＤプレーヤーの動作を示すフローチャート
【符号の説明】
１　　ＰＣ
２　　記録媒体
３　　ＤＶＤプレーヤー
４　　テレビ
３０　　読出手段
３２　　ＹＣＣ変換手段
３４　　縮小手段
３６　　ＲＧＢ変換手段
３８　　補正量算出手段
４０　　ＬＵＴ作成手段
５０　　処理手段
６０　　出力手段
Ｄ　　圧縮画像データ
Ｄ１　　縮小ＲＧＢ画像データ
Ｐ　　ＹＣＣ画像データ
Ｐ１　　縮小ＹＣＣ画像データ
Ｐ’　　目的ＹＣＣ画像データ
ΔＲ，ΔＢ　　ホワイトバランス補正量

Claims (3)

1. 下記式（１）により定義されるＹＣＣ空間においてＹＣＣ画像データ（Ｙ，Ｃ１，Ｃ２）に対してホワイトバランス補正を施して目的ＹＣＣ画像データ（Ｙ’，Ｃ１’，Ｃ２’）を得る画像処理方法であって、
   前記ＹＣＣ画像データを縮小して縮小ＹＣＣ画像データを得、
   前記縮小ＹＣＣ画像データをＲＧＢ画像データに変換して縮小ＲＧＢ画像データを得、
   前記縮小ＲＧＢ画像データを用いてホワイトバランス補正量ΔＲ，ΔＧ，ΔＢを求め、
   下記式（２）に従ってＬＵＴ１からＬＵＴ９までの９つの１次元ルックアップテーブルを作成し、
   前記９つの１次元ルックアップテーブルおよび下記式（３）を用いて前記ＹＣＣ画像データを前記目的ＹＣＣ画像データに変換することを特徴とする画像処理方法。
   

   

   

   
2. 請求項１記載の式（１）により定義されるＹＣＣ空間においてＹＣＣ画像データ（Ｙ，Ｃ１，Ｃ２）に対してホワイトバランス補正を施して目的ＹＣＣ画像データ（Ｙ’，Ｃ１’，Ｃ２’）を得る画像処理装置であって、
   前記ＹＣＣ画像データを縮小して縮小ＹＣＣ画像データを得る縮小手段と、
   前記縮小ＹＣＣ画像データをＲＧＢ画像データに変換して縮小ＲＧＢ画像データを得る色変換手段と、
   前記縮小ＲＧＢ画像データを用いてホワイトバランス補正量ΔＲ，ΔＧ，ΔＢを求める補正量算出手段と、
   請求項１記載の式（２）に従ってＬＵＴ１からＬＵＴ９までの９つの１次元ルックアップテーブルを作成するＬＵＴ作成手段と、
   前記９つの１次元ルックアップテーブルおよび請求項１記載の式（３）を用いて前記ＹＣＣ画像データを前記目的ＹＣＣ画像データに変換する変換手段とを備えたことを特徴とする画像処理装置。
3. 請求項１記載の式（１）により定義されるＹＣＣ空間においてＹＣＣ画像データ（Ｙ，Ｃ１，Ｃ２）に対してホワイトバランス補正を施して目的ＹＣＣ画像データ（Ｙ’，Ｃ１’，Ｃ２’）を得る処理をコンピュータに実行させるためのプログラムであって、
   前記処理が、前記ＹＣＣ画像データを縮小して縮小ＹＣＣ画像データを得る縮小処理と、
   前記縮小ＹＣＣ画像データをＲＧＢ画像データに変換して縮小ＲＧＢ画像データを得る色変換処理と、
   前記縮小ＲＧＢ画像データを用いてホワイトバランス補正量ΔＲ，ΔＧ，ΔＢを求める補正量算出処理と、
   請求項１記載の式（２）に従ってＬＵＴ１からＬＵＴ９までの９つの１次元ルックアップテーブルを作成するＬＵＴ作成処理と、
   前記９つの１次元ルックアップテーブルおよび請求項１記載の式（３）を用いて前記ＹＣＣ画像データを前記目的ＹＣＣ画像データに変換する変換処理とからなることを特徴とするプログラム。

Images