JP2011211328A

JP2011211328A - パープルフリンジ補正装置およびその制御方法，ならびにパープルフリンジを補正するためのプログラム

Info

Publication number: JP2011211328A
Application number: JP2010074865A
Authority: JP
Inventors: Kimihiro Irie; 公祐入江
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2010-03-29
Filing date: 2010-03-29
Publication date: 2011-10-20
Anticipated expiration: 2030-03-29
Also published as: JP5378282B2

Abstract

【目的】パープルフリンジの検出精度を高める。
【構成】撮像によって得られた画像データは，第１のホワイトバランス処理回路10と，第２のホワイトバランス処理回路20とに与えられる。第１のホワイトバランス処理回路10ではパープルフリンジの検出に適するゲインを用いたホワイトバランス調整が行われる。第２のホワイトバランス処理回路20ではユーザによって設定（選択）されたゲインが用いられてホワイトバランス調整が行われる。第１のホワイトバランス処理回路10によって調整されたパープルフリンジ検出用画像11が用いられてパープルフリンジ画素が検出される。その検出結果が用いられて第２のホワイトバランス処理回路20によって調整された記録用画像21においてパープルフリンジ画素が補正される。
【選択図】図１

Description

この発明は，パープルフリンジ補正装置およびその制御方法，ならびにパープルフリンジを補正するためのプログラムに関する。

ディジタル・スチル・カメラ等による撮像によって得られた画像中にパープルフリンジが視認されることがある。高輝度の被写体（たとえば，光源）が撮像されることで輝度差（輝度勾配）の大きな輪郭（エッジ）が撮像画像中に存在する場合に，画像輪郭の周辺にパープルフリンジは生じやすい。

パープルフリンジを除去ないし低減する場合，パープルフリンジが発生している画素が見つけられ，見つかったパープルフリンジ画素の色等が補正される。特許文献１，２では紫色を帯びた画素がパープルフリンジ画素として選択されている。いずれも精度の高いパープルフリンジ画素の検出ではない。

特開２００６−１１５０３９号公報特開２００７−１２９３６１号公報

この発明はパープルフリンジの検出精度を高めることを目的とする。

この発明によるパープルフリンジ補正装置は，パープルフリンジ補正対象画像データの入力を受付け，上記パープルフリンジ補正対象画像データに対して第１および第２のホワイトバランス・ゲインをそれぞれ適用してホワイトバランスを調整して，第１の調整済み画像データおよび第２の調整済み画像データを出力するホワイトバランス調整手段，上記ホワイトバランス調整手段から出力される第１の調整済み画像データの入力を受付け，第１の調整済み画像データを用いてパープルフリンジ画素を検出するパープルフリンジ検出手段，ならびに上記ホワイトバランス調整手段から出力される第２の調整済み画像データの入力を受付け，上記パープルフリンジ検出手段において検出されたパープルフリンジ画素に対応する，第２の調整済み画像データによって表される第２の調整済み画像中の画素を補正するパープルフリンジ補正手段を備え，上記第１のホワイトバランス・ゲインが上記パープルフリンジ画素の検出に適するものであることを特徴とする。

この発明は上記パープルフリンジ補正装置の制御に適する方法も提供する。この方法は，ホワイトバランス調整手段が，パープルフリンジ補正対象画像データの入力を受付け，上記パープルフリンジ補正対象画像データに対して第１および第２のホワイトバランス・ゲインをそれぞれ適用してホワイトバランスを調整して，第１の調整済み画像データおよび第２の調整済み画像データを出力し，パープルフリンジ検出手段が，上記ホワイトバランス調整手段から出力される第１の調整済み画像データの入力を受付け，第１の調整済み画像データを用いてパープルフリンジ画素を検出し，パープルフリンジ補正手段が，上記ホワイトバランス調整手段から出力される第２の調整済み画像データの入力を受付け，第２の調整済み画像データによって表される第２の調整済み画像について，上記パープルフリンジ検出手段において検出されたパープルフリンジ画素に対応する画素を補正するようにパープルフリンジ補正装置を制御するものであって，上記第１のホワイトバランス・ゲインが上記パープルフリンジ画素の検出に適するものであることを特徴とする。

この発明はさらに，コンピュータを上記パープルフリンジ補正装置として機能させるプログラムも提供する。

パープルフリンジ画素を検出するために用いられる画像（第１の調整済み画像）と，パープルフリンジ画素を補正するために用いられる画像（第２の調整済み画像）の２つの画像が用いられて，パープルフリンジ補正が行われる。第１の調整済み画像はパープルフリンジ画素の検出に適する第１のホワイトバランス・ゲインを用いて，処理対象の画像データをホワイトバランス調整したものである。第２の調整済み画像は上記第２のホワイトバランス・ゲインを用いてホワイトバランス調整したものである。第１のホワイトバランス・ゲインと第２のホワイトバランス・ゲインは一般には異なる値（ゲイン値）であるが，同一である場合も含む。

この発明によると，第１の調整済み画像がパープルフリンジ画素の検出に適する第１のホワイトバランス・ゲインを用いてホワイトバランス調整されたものであるから，第１の調整済み画像を用いるとパープルフリンジ画素を高い精度で検出することができる。そして，高い精度で検出されたパープルフリンジ画素に対応する，第２の調整済み画像中の画素に対してパープルフリンジ補正は行われる。第２のホワイトバランス・ゲインを用いてホワイトバランス調整された第２の調整済み画像がパープルフリンジ画素を見つけにくい画像であったとしても，第２の調整済み画像において高精度にパープルフリンジ画素を補正することができる。第２のホワイトバランス・ゲインがユーザの好み（ユーザによる設定）にしたがうものであれば，ユーザの好みにしたがってホワイトバランス調整された画像であって，かつ高精度にパープルフリンジ画素が補正された画像を得ることができる。

一実施態様では，上記パープルフリンジ補正装置は，画素位置ごとに，パープルフリンジ画素であるかどうかを表すパープルフリンジ・フラグを少なくとも記憶するパープルフリンジ処理情報テーブルを備え，上記パープルフリンジ検出手段は，パープルフリンジ画素の検出に応じて，その画素位置に対応する上記パープルフリンジ・フラグをオンするものであり，上記パープルフリンジ補正手段は，上記第２の調整済み画像において，パープルフリンジ処理情報テーブルに記憶されている上記パープルフリンジ・フラグがオンされている画素位置の画素を補正するものである。パープルフリンジ検出手段において検出されたパープルフリンジ画素の画素位置と，これに対応する第２の調整済み画像中の補正すべき画素の画素位置とが対応付けられる。

好ましくは，上記パープルフリンジ補正対象画像データの入力を受付け，上記パープルフリンジ補正対象画像がどのような光源種類の光源下で得られたものかを推定する光源推定手段を備え，上記ホワイトバランス調整手段は，上記光源推定手段によって推定された光源種類の光源色を白色に色補正するためのホワイトバランス・ゲインを上記第１のホワイトバランス・ゲインに用いる。

パープルフリンジは，光源に代表される高い輝度を有する被写体が撮像されたときに撮像画像中の輝度差の大きな輪郭（エッジ）付近に現れる。光源色を白色に近づける色補正，すなわち光源色補正を行うホワイトバランス処理が行われると，被写体像中の高輝度部分（光源画像部分）がより白色に近づくように色補正され，その高輝度部分（光源画像部分）の周囲に存在するパープルフリンジがより紫色に明確に表わされた画像を得ることができる。推定される光源種類に対応するホワイトバランス・ゲインを上記第１のホワイトバランス・ゲインとして用いることによって，第１の調整済み画像を用いた高い精度によるパープルフリンジ画素の検出を達成することができる。

上記光源推定手段によって推定される光源種類ごとに，光源色を白色に近づけるためのホワイトバランス・ゲインを記憶したゲイン記憶手段を備えてもよい。ゲイン記憶手段二記憶されているホワイトバランス・ゲインのうち，推定された光源種類に対応するホワイトバランス・ゲインが第１のホワイトバランス・ゲインとして用いられる。

好ましくは，ホワイトバランスの調整の強さが強められるようにホワイトバランス・ゲインを変更する調整強化手段を備え，上記ホワイトバランス調整手段は，上記調整強化手段によって変更されたホワイトバランス・ゲインを上記第１のホワイトバランス・ゲインとして用いる。推定される光源種類に対応するホワイトバランス・ゲインを，光源色をさらに白色に近づけるように変更する（光源色補正を強化する）ことによって，高輝度部分（光源）の周囲に存在するパープルフリンジがより紫色に明確に表わされた画像が得られるので，パープルフリンジ画素をさらに精度良く検出することができる。

一実施態様では，上記光源推定手段によって複数の光源種類が推定された場合に，上記ホワイトバランス調整手段は，推定された複数の光源種類のそれぞれについて，光源色を白色に近づけるためのホワイトバランス・ゲインのそれぞれを用いて，複数の第１の調整済み画像データを出力するものであり，上記パープルフリンジ検出手段は，複数の第１の調整済み画像データのそれぞれについてパープルフリンジ画素を検出するものであり，上記パープルフリンジ補正手段は，複数の第１の調整済み画像データのそれぞれにおいて検出されたパープルフリンジ画素に対応する，第２の調整済み画像中の画素を補正するものである。複数種類の光源下で撮像された画像が処理対象であっても，精度良くパープルフリンジ画素を見つけることができる。

他の実施態様では，第１の調整済み画像データについて検出されたパープルフリンジ画素の数をカウントするパープルフリンジ画素数カウンタを備え，上記光源推定手段によって複数の光源種類が推定された場合に，上記ホワイトバランス調整手段は，推定された複数の光源種類のそれぞれについて，光源色を白色に近づけるためのホワイトバランス・ゲインのそれぞれを用いて，複数の第１の調整済み画像データを出力するものであり，上記パープルフリンジ補正手段は，上記パープルフリンジ画素数カウンタによるカウント数にしたがって，複数の第１の調整済み画像データのうちパープルフリンジ画素が最も多い第１の調整済み画像データにおいて検出されたパープルフリンジ画素に対応する，第２の調整済み画像中の画素を補正するものである。パープルフリンジ補正の効率化が図られ，パープルフリンジ補正手段における補正処理の負荷を軽減することができる。

好ましくは，上記第２のホワイトバランス・ゲインがパープルフリンジ画素を目立ちにくくするゲインであるかを判断するゲイン判断手段，および上記ゲイン判断手段によって上記第２のホワイトバランス・ゲインがパープルフリンジ画素を目立ちにくくするゲインであることが判断された場合に，上記パープルフリンジ補正手段による補正を停止する補正停止手段を備える。

パープルフリンジは紫色で画像中に表れる。紫色はＲＧＢ成分で言えば赤（Ｒ）成分および青（Ｂ）成分を多く含む。したがって，パープルフリンジ補正装置においてパープルフリンジ補正の対象とされる第２の処理済み画像の生成に用いられる第２のホワイトバランス・ゲインが赤成分および青成分を弱めるものであれば，第２の処理済み画像においてパープルフリンジ画素があるとしても，第２のホワイトバランス・ゲインによって紫色が弱められていることになる。また，第２のホワイトバランス・ゲインが赤成分および青成分を大きく強めるものであれば，第２の処理済み画像においてパープルフリンジ画素があるとしても，画像全体が紫色の傾向を持つことになるのでパープルフリンジ画素は目立ちにくくなる。このように，第２のホワイトバランス・ゲインがパープルフリンジ画素を目立ちにくくするゲインである場合に，上記パープルフリンジ補正手段による補正が停止される。パープルフリンジ画素の誤補正を未然に防止することができる。

この発明は，被写体を撮像し，撮像によって得られる画像データを出力する撮像手段，および上述したパープルフリンジ補正装置を備え，上記撮像手段から出力される画像データが上記パープルフリンジ補正対象画像データとして用いる撮像装置も提供する。

パープルフリンジ画素の色相値を示すプロット図である。第１実施例の撮像装置の電気的構成を概略的に示すブロック図である。第１実施例のパープルフリンジ補正処理の手順を示すフローチャートである。第１のホワイトバランス処理回路において用いられるゲインと第２のホワイトバランス処理回路において用いられるゲインの違いの一例を示す。パープルフリンジ処理情報テーブルを示す。第２実施例の撮像装置の電気的構成を概略的に示すブロック図である。第２実施例のパープルフリンジ補正処理の手順を示すフローチャートである。光源種類ごとのホワイトバランス・ゲインを格納したテーブルを示す。第３実施例の撮像装置の電気的構成を概略的に示すブロック図である。第３実施例のパープルフリンジ補正処理の手順を示すフローチャートである。第４実施例の撮像装置の電気的構成を概略的に示すブロック図である。第４実施例のパープルフリンジ補正処理の手順を示すフローチャートである。第５実施例の撮像装置の電気的構成を概略的に示すブロック図である。第５実施例のパープルフリンジ補正処理の手順を示すフローチャートである。第５実施例のパープルフリンジ補正処理の手順を示すフローチャートである。

図１はパープルフリンジが発生している画像に対して互いに異なるホワイトバランス・ゲインを用いてホワイトバランス調整を行ったときの，ホワイトバランス調整後の画像中のパープルフリンジ画素の色相値をａ＊ｂ＊色空間にプロットしたものを示している。

パープルフリンジは光源に代表される高輝度の被写体が撮像されることで輝度差（輝度勾配）の大きな輪郭（エッジ）が撮像画像中に存在する場合に，画像輪郭の周辺に表れる。

パープルフリンジが発生している画像についてホワイトバランス処理が行われると，パープルフリンジの色も変化する。図１において，光源と無関係にホワイトバランス調整を行った画像では青に近い色でパープルフリンジが表れている。他方，光源に合わせたホワイトバランス調整を行った画像ではパープル（マゼンタ）に近い色でパープルフリンジが表れている。

この実施例の撮像装置は，ホワイトバランス調整によってパープルフリンジの色が変化することに着目して，ホワイトバランス調整を利用してパープルフリンジの検出精度を高めるものである。

図２はパープルフリンジ補正機能を有する，第１実施例の撮像装置の電気的構成を概略的に示すブロック図である。図３は図２に示す撮像装置におけるパープルフリンジ補正処理の手順を，後述する２つの画像（パープルフリンジ検出用画像11および記録用画像21）のそれぞれに対する処理の観点から示すフローチャートである。

図２を参照して，撮像装置はＣＣＤ１を備え，その前方にレンズ２が設けられている。被写体像を表す光線束はレンズ２を通してＣＣＤ１の受光面上に入射する。ＣＣＤ１には多数のフォトダイオード（光電変換素子）が受光面上に二次元的に配置され，かつ受光面上には所定の配列構造（ベイヤー配列，Ｇストライプ配列など）を持って配列された赤（Ｒ），緑（Ｇ），青（Ｂ）のカラーフィルタが設けられている。ＣＣＤ１はタイミング・ジェネレータ５から出力されるタイミング・パルスにもとづいて動作する。

ＣＣＤ１から出力された被写体像を表すアナログ信号はアナログ／ディジタル変換回路３に入力し，ディジタル画像データに変換される。アナログ／ディジタル変換回路３も，タイミング・ジェネレータ５から出力されるタイミング・パルスにもとづいて動作する。ディジタル画像データは信号配列変換回路４に入力し，点順次配列の画像データが面順次配列の画像データに変換される。画素ごとにＲ（赤）成分，Ｇ（緑）成分およびＢ（青）成分のデータを有する１フレーム分の画像データがメモリ６に一時的に記憶される。

撮像装置は第１のホワイトバランス処理回路10と第２のホワイトバランス処理回路20の２つのホワイトバランス処理回路を備えている。メモリ６に記憶された画像データは第１のホワイトバランス処理回路10と第２のホワイトバランス処理回路20の両方に与えられる。後述するように，第１のホワイトバランス処理回路10と第２のホワイトバランス処理回路20では基本的に互い異なるゲインが用いられて画像データに対するホワイトバランス調整が行われる。

第１のホワイトバランス処理回路10によってホワイトバランス調整された画像11はパープルフリンジ検出回路30に入力し，パープルフリンジ画素の検出に用いられる。パープルフリンジ画素が検出されると，検出されたパープルフリンジ画素の位置を表すデータ（ＰＦフラグ）がパープルフリンジ補正回路31に与えられる。

パープルフリンジ補正回路31には，第２のホワイトバランス処理回路20によってホワイトバランス調整された画像21が与えられる。パープルフリンジ検出回路30において検出されたパープルフリンジ画素に対応する位置にある画像21中の画素に対して，パープルフリンジ補正回路31によってパープルフリンジを低減する処理が行われる。

パープルフリンジ補正された画像21はガンマ補正回路32に入力しガンマ補正が行われる。ガンマ補正後の画像21はＲＧＢ／ＹＣ変換回路33において輝度データおよび色差データに変換され，表示装置（ＬＣＤ）34に与えられて画像再生される。また，輝度データおよび色差データは圧縮回路35において圧縮され，圧縮画像データが記録媒体36に記録される。

図３に示すフローチャートを参照して，第１のホワイトバランス処理回路10，第２のホワイトバランス処理回路20，パープルフリンジ検出回路30およびパープルフリンジ補正回路31の処理を説明する。

上述のように，メモリ６に記憶された画像データは，第１のホワイトバランス処理回路10と第２のホワイトバランス処理回路20の両方に与えられる。第１のホワイトバランス処理回路10および第２のホワイトバランス処理回路20は，いずれも画像データによって表される画像のホワイトバランスを調整するものであるが，調整に用いられるホワイトバランス・ゲイン（以下，ＷＢゲインという）が異なる。

図４は，第１のホワイトバランス処理回路10において用いられるＷＢゲインと第２のホワイトバランス処理回路20において用いられるＷＢゲインの違いの一例を，Ｒ／Ｇ−Ｂ／Ｇ色空間上に示すものである。

ホワイトバランス調整では，一般に，白色で表されるべき物体を白色によって表現するためのＷＢゲイン（Ｒ成分に対するＷＢゲイン，Ｇ成分に対するＷＢゲインおよびＢ成分に対するＷＢゲイン）が画像データに乗算される。

図４においてＲ：Ｇ：Ｂの比が１：１：１である点が符号Ｗによって示されている。符号Ｗは白色を示す（以下，白色点Ｗという）。

処理対象の画像データがタングステン光源下で得られたものであり，白色で表されるべき物体が画像中において黄色を帯びているとする。この場合，黄色の色味を白色に近づける処理が，第１のホワイトバランス処理回路10および第２のホワイトバランス処理回路20において行われる。

図４の符号Ｔで示す画素（以下，画素Ｔという）を白色点Ｗに向けて調節するためのホワイトバランス調整が行われるとする。画素Ｔの色を白色点Ｗに近づける処理が行われるのは，第１のホワイトバランス処理回路10および第２のホワイトバランス処理回路20において共通する。ここで，第１のホワイトバランス処理回路10は，第２のホワイトバランス処理回路20よりも，画素Ｔの色をより白色点Ｗに近づける処理を行う。すなわち，第１のホワイトバランス処理回路10と第２のホワイトバランス処理回路20とではホワイトバランス処理に用いられるＷＢゲインが異なっており，第１のホワイトバランス処理回路10は，第２のホワイトバランス処理回路20よりも，画素Ｔの色をより白色点Ｗに近づける（光源色補正を強める）ＷＢゲインを用いて画像データをホワイトバランス調整する。図４において，画素Ｔを第１のホワイトバランス処理回路10によってホワイトバランス調整した後のものが符号ＰＦ（□印）によって示されている。画素Ｔを第２のホワイトバランス処理回路20によってホワイトバランス調整した後のものが符号Ｎ（△印）によって示されている。

パープルフリンジは，光源のような高い輝度を有する被写体が撮像されたときに，撮像画像中の輝度差の大きな輪郭（エッジ）付近に現れる。光源色補正が行われるようにホワイトバランス処理を行うと，被写体像中の高輝度部分（光源画像部分）がより白色に近づくように色補正（光源色補正）され，その高輝度部分（光源画像部分）の周囲に存在するパープルフリンジはほぼ正確に紫色を帯びた画像となる。光源色補正するＷＢゲインを用いて画像データをホワイトバランス調整する第１のホワイトバランス処理回路10によってホワイトバランス調整された画像は，パープルフリンジ画素の検出に適したものと言える。次に説明するように，第１のホワイトバランス処理回路10によってホワイトバランス調整された画像はパープルフリンジ画素の検出に用いられる。第１のホワイトバランス処理回路10によってホワイトバランス調整された画像を，以下，「パープルフリンジ検出用画像11」（またはＰＦ検出用画像11）と呼ぶ。第１のホワイトバランス処理回路10におけるホワイトバランス調整に用いられるＷＢゲインを「パープルフリンジ強調ゲイン」（またはＰＦ強調ゲイン）と呼ぶ。

他方，第２のホワイトバランス処理回路20は，たとえば撮影者による設定に応じたＷＢゲインを用いて画像データをホワイトバランス調整する。第２のホワイトバランス処理回路20によってホワイトバランス調整された画像データが記録媒体36に記録されることになる。以下，第２のホワイトバランス処理回路20によってホワイトバランス調整された画像を「記録用画像21」と呼ぶ。第２のホワイトバランス処理回路20におけるホワイトバランス調整に用いられるＷＢゲインを「ユーザ設定ゲイン」と呼ぶ。ユーザによって任意に設定されたユーザ設定ゲインが用いられると，一般に，図４に示す符号Ｎ（△印）（画素Ｔを第２のホワイトバランス処理回路20によってホワイトバランス調整した後の画素の色）は，画素Ｔと白色点Ｗを結ぶ直線上から外れることになる。

第１のホワイトバランス処理回路10においてパープルフリンジ強調ゲインが用いられて画像データがホワイトバランス調整される（ステップ51）。パープルフリンジ検出用画像11が得られる。他方，第２のホワイトバランス処理回路10ではユーザ設定ゲインが用いられて画像データがホワイトバランス調整される（ステップ41）。記録用画像21が得られる。

図２に戻って，パープルフリンジ検出用画像11がパープルフリンジ検出回路30（以下，ＰＦ検出回路30という）に与えられる。ＰＦ検出回路30において，パープルフリンジ検出用画像11中にパープルフリンジ画素（偽色画素）が含まれるかどうかが検出される。

ＰＦ検出回路30は，パープルフリンジ検出用画像11を構成する画素ごとに，それが紫色を有する画素であるかどうかを判断し（たとえば，ＣｒデータおよびＣｂデータに基づいて判断する），紫色であると判断された画素（以下，ＰＦ画素という）についてパープルフリンジ・フラグ（以下，ＰＦフラグという）をオンする処理を行う（ステップ52でYES ，ステップ53）。

図５は，ＰＦフラグのオン／オフ・データを含むパープルフリンジ処理情報テーブル22（以下，ＰＦ処理情報テーブル22という）の一例を示している。

ＰＦ処理情報テーブル22には，処理対象の画像データによって表される画像を構成する画素のそれぞれについて，画素位置（Ｘ座標，Ｙ座標），ＰＦフラグ（１または０），輝度，彩度等のデータが含まれている。上記パープルフリンジ検出回路30によって処理対象画素（注目画素）がＰＦ画素であると判断されると，その注目画素の画素位置に対応するＰＦフラグがオンされてＰＦ処理情報テーブル22に書き込まれる（ステップ52でYES ）。注目画素がＰＦ画素ではないと判断された場合には，その注目画素についてＰＦフラグがオンされないのは言うまでもない（ステップ52でNO）。ＰＦ処理情報テーブル22は撮像装置が有する記憶装置（図示略）に記憶される。

ＰＦ検出回路30によるパープルフリンジ画素の検出処理が終わると，パープルフリンジ補正回路31（以下，ＰＦ補正回路31という）による処理に進む。

ＰＦ補正回路31は，ＰＦ検出回路30によってＰＦフラグがオンされた画素位置を上記ＰＦ処理情報テーブル22から取得し，その画素位置にある記録用画像21中の画素に対して紫色を目立たなくする処理（パープルフリンジ補正）（以下，ＰＦ補正）を行う（ステップ42でYES ，ステップ43）。ＰＦ補正は色度値（Ｃｒデータ，Ｃｂデータ）を変更する補正であってもよいし，彩度を低める補正であってもよい。ＰＦフラグがオフである画素位置にある画素についてＰＦ補正回路31におけるＰＦ補正は行われないのは言うまでもない（ステップ42でNO）。

記録用画像21のすべての画素についての処理が終了すると，ＰＦ補正後の記録用画像21を表すデータがガンマ補正回路32，ＲＧＢ／ＹＣ変換回路33を経てＬＣＤ34における画像表示に用いられ，または記録媒体36に圧縮された上で記録される。

このように，パープルフリンジ強調ゲインが用いられてホワイトバランス調整されたＰＦ検出用画像11が用いられてＰＦ画素が検出されるので，ＰＦ画素の検出精度は高い。ＰＦ補正は高い精度で検出されたＰＦ画素に対応する位置にある記録用画像21中の画素に対して行われる。記録用画像21はユーザ設定ゲインにしたがって撮影者の意図に沿ってホワイトバランス調整されたものである。したがって，パープルフリンジが精度良く補正され，かつ撮影者の好みに沿うホワイトバランス調整が施された記録用画像21を得ることができる。

上述した第１実施例において，第１，第２の２つのホワイトバランス処理回路10，20が用いられているが，もちろん一つのホワイトバランス処理回路を用いてＰＦ検出用画像11および記録用画像21を生成してもよい。また，基本的には第１のホワイトバランス処理回路10において用いられるパープルフリンジ強調ゲインと，第２のホワイトバランス処理回路20において用いられるユーザ設定ゲインは異なる値であるが，ユーザによる設定によっては，ユーザ設定ゲインがパープルフリンジ強調ゲインと同じになることがあるのは言うまでもない。

また，第１実施例においてハードウエア回路（ホワイトバランス処理回路10，20，ＰＦ検出回路30，およびＰＦ補正回路31）が用いられて，パープルフリンジ画素の検出処理，パープルフリンジ画素の補正処理等が行われているが，コンピュータまたは信号処理装置にこれらの処理を実行させてもよい。この場合には，記憶装置（図示略）にホワイトバランス調整処理，パープルフリンジ画素の検出処理，パープルフリンジ画素の補正処理等を実行するプログラムが記憶され，このプログラムがコンピュータまたは信号処理装置によって実行される。このことは，後述する他の実施例でも同様である。

第２実施例
図６は第２実施例のパープルフリンジ補正機能を有する撮像装置の電気的構成を概略的に示すブロック図である。図２に示す第１実施例の撮像装置のブロック図とは，ＣＰＵ７および光源種類ごとのホワイトバランス・ゲインが記憶されたメモリ（ＡＷＢメモリ）７ａが追加されている点が異なる。ＡＷＢメモリ７ａはＣＰＵ７に接続されている。図７は，図６に示す撮像装置におけるパープルフリンジ補正処理の手順を，パープルフリンジ検出用画像11および記録用画像21のそれぞれに対する処理の観点から示すフローチャートである。

第２実施例の撮像装置では，ＣＰＵ７によって撮影シーン光源推定処理が行われる（ステップ44）。たとえば，撮像によって得られた画像データ中の赤（Ｒ），緑（Ｇ），青（Ｂ）の各色についての色データの積算値がＣＰＵ７によって算出され，その積算値（ヒストグラム）に基づいて撮影が行われた際の光源種類（色温度でもよい）が推定される。推定される光源種類には晴天の日の太陽，雲りの日の太陽，蛍光灯，タングステンなどがある。撮影シーン光源推定処理において，メモリ６に記憶された画像データが複数の光源種類のうちのいずれの光源種類の光源下における撮像によって得られたのかが推定（識別）される。

推定される光源種類に応じて色再現の目標は変わってくるので，目標を満たすようなホワイトバランス・ゲインがあらかじめ求められている。すなわち，上述した複数の光源種類のそれぞれに対応するホワイトバランス・ゲインがＡＷＢメモリ７ａに記憶されている。図８はＡＷＢメモリ７ａに記憶されている光源種類のそれぞれに対応するホワイトバランス・ゲインを示している。

ＣＰＵ７は推定された光源種類に対応するホワイトバランス・ゲインをＡＷＢメモリ７ａから読出し，第１のホワイトバランス処理回路10に与える。もちろん，読出されたホワイトバランス・ゲインに対して，撮像によって得られた画像データに基づいて微調整を行ってもよい。すなわち，第１のホワイトバランス処理回路10では自動ホワイトバランス調整（ＡＷＢ）が行われる（ステップ51）。以下，ＡＷＢメモリ７ａに記憶されているホワイトバランス・ゲインを，ＡＷＢゲインと呼ぶ。もちろん，自動ホワイトバランス調整（ＡＷＢ）に用いられるゲインは撮像によって得られた画像データのみを用いて（すなわち，ＡＷＢメモリ７ａを用いずに）所定のアルゴリズムにしたがって決定してもよい。

自動ホワイトバランス調整では，推定される光源種類に対応するＡＷＢゲインが用いられてホワイトバランス調整が行われ，光源色を白色に近づける色補正が行われる。パープルフリンジ画素がより紫色を持つように色補正されるから，ＡＷＢゲインはパープルフリンジ強調ゲインであると言える。ＡＷＢゲインを用いてホワイトバランス調整が行われることによって，光源画像部分の周囲に存在するパープルフリンジがより明確に表わされた画像が得られる。自動ホワイトバランス調整された画像がＰＦ検出用画像11として用いられる。

他方，第２のホワイトバランス処理回路20では，上述のように，たとえば撮影者による設定に応じたユーザ設定ゲインが用いられてホワイトバランス調整が行われる（ステップ41）。撮影者の意図に沿ったホワイトバランス調整が，第２のホワイトバランス処理回路20において行われる。

ＰＦ検出用画像11が用いられてＰＦ検出回路30においてＰＦ画素検出処理が行われ，見つかったＰＦ画素に対応する位置にある記録用画像21中の画素に対して，ＰＦ補正回路31においてＰＦ補正処理が行われるのは，第１実施例と同様である（ステップ52，42，43）。

ＡＷＢメモリ７ａに記憶されている光源種類のそれぞれに対応するＡＷＢゲインそのものではなく，光源色をより白色に近づける（光源色補正を強める）ようにＡＷＢゲインを調整したゲイン（光源色補正効果を強めたゲイン）（図４参照）を用いて，第１のホワイトバランス処理回路10におけるホワイトバランス調整を行ってもよい。光源画像部分の周囲に存在するパープルフリンジがさらに紫色を帯びて表わされたＰＦ検出用画像11を得ることができる。ＡＷＢゲインの調整はＣＰＵ７によって行われる。

第３実施例
図９はパープルフリンジ補正機能を有する第３実施例の撮像装置の電気的構成を概略的に示すブロック図である。図１０は図９に示す撮像装置におけるパープルフリンジ補正処理の手順を示すフローチャートである。

第３実施例は，複数種類の光源を表す画像が処理対象画像に含まれる場合に好適な実施例である。

第３実施例の撮像装置には，撮像装置によって推定可能な光源種類の数に対応する数の第１のホワイトバランス処理回路10₁〜10_Ｎが設けられている。第１のホワイトバランス処理回路10_１〜10_Ｎのそれぞれに対応して，複数のＰＦ検出回路30_１〜30_Ｎが設けられている。

ＣＰＵ７による撮影シーン光源推定処理の結果，処理対象の画像データによって表される画像が複数種類の光源が混在した状況下で撮影されたものであることが推定された場合に，推定された光源種類の数に対応する数のＰＦ検出用画像11_１〜11_Ｎが作成される。たとえば，ＣＰＵ７によって３つの光源種類の存在が推定された場合，その３つの光源種類に対応するＡＷＢゲインがＡＷＢメモリ７ａから読出され，３つの第１のホワイトバランス処理回路10_１，10_２および10_３にそれぞれ与えられる。第１のホワイトバランス処理回路10_１，10_２および10_３のそれぞれにおいてＰＦ検出用画像11_１〜11_３が作成される。ＰＦ検出用画像11_１〜11_３はＰＦ検出回路30_１〜30_３にそれぞれ与えられる。ＰＦ検出回路30_１〜30_３のそれぞれにおいてＰＦ画素検出処理が行われる（ステップ51_１，51_２，51_Ｎ，ステップ52_１，52_２，52_Ｎ）。

複数のＰＦ画素検出処理のそれぞれにおいて，ＰＦ画素が検出されるとその画素位置についてＰＦフラグ（図５参照）がオンされる（ステップ53_１，53_２，53_Ｎ）。

ＰＦフラグがオンされている画素位置の画素について，記録用画像21が用いられてＰＦ補正回路31におけるＰＦ補正が行われるのは第１実施例と同様である（ステップ42，43）。

第３実施例では，上述のように，複数種類の光源画像が含まれる場合に，光源種類ごとのＡＷＢゲインが用いられてホワイトバランス調整が行われ，複数のＰＦ検出用画像11_１〜11_Ｎを用いてＰＦ画素検出処理が行われる。一のＰＦ検出用画像では見つからなかったＰＦ画素であっても，他のＰＦ検出用画像においては見つけることができる可能性が高まる。ＰＦ画素を精度良く見つけることができる。

パープルフリンジは輝度差の大きな画像輪郭周辺に発生するので，複数のＰＦ検出用画像11_１〜11_Ｎのうち，所定値以上の輝度の画像部分（ハイライト部分）を有するＰＦ検出用画像11_１〜11_ＮだけについてＰＦ検出回路30_１〜30_３においてＰＦ画素を検出するようにしてもよい。複数のＰＦ検出用画像11_１〜11_Ｎにおいて画像輪郭（エッジ）を検出し，検出された画像輪郭の周辺の画素のみをＰＦ検出回路30_１〜30_３におけるＰＦ画素の検出対象としてもよい。所定値以上の輝度の画像部分（ハイライト部分）を最も多く有するＰＦ検出用画像のみを用いてＰＦ画素を検出するようにしてもよい。

第４実施例
図１１はパープルフリンジ補正機能を有する第４実施例の撮像装置の電気的構成を概略的に示すブロック図である。第３実施例のブロック図とはＰＦフラグカウンタ38が設けられている点が異なる。図１２は図１１に示す撮像装置におけるパープルフリンジ補正処理の手順を示すフローチャートである。

第３実施例と同様に，複数のＰＦ検出用画像11_１〜11_Ｎのそれぞれに対するＰＦ画素検出処理が行われ，複数のＰＦ検出用画像11_１〜11_Ｎのそれぞれにおいて，画素ごとにＰＦフラグがオン／オフされる（ステップ51_１〜51_Ｎ，ステップ52_１〜52_Ｎ，ステップ53_１〜53_Ｎ）。

ＰＦフラグカウンタ38において，複数のＰＦ検出用画像11_１〜11_Ｎのそれぞれにおいて見つかったＰＦ画素の数が，ＰＦ検出用画像11_１〜11_Ｎごとに，オンされているＰＦフラグにしたがって算出（カウント）され，複数のＰＦ検出用画像11_１〜11_Ｎのうち，見つかったＰＦ画素の数が最も多いＰＦ検出用画像が用いられて（見つかったＰＦ画素の数が最も多いＰＦ検出用画像において検出されたＰＦ画素に対応する，記録用画像21中の画素について），ＰＦ補正回路31におけるＰＦ補正処理が行われる（ステップ54，ステップ42，43）。

見つかったＦＰ画素が最も多いＰＦ検出用画像が用いられてＰＦ補正が行われるので，高い精度でＰＦ補正を行うことができる。また，第３実施例と比べてＰＦ補正回路31におけるＰＦ補正の負荷を小さくすることができる。

第４実施例においても，所定値以上の輝度の画像部分（ハイライト部分）を有するＰＦ検出用画像11_１〜11_ＮだけＰＦ検出回路30_１〜30_３においてＰＦ画素を検出するようにしてもよい。複数のＰＦ検出用画像11_１〜11_Ｎにおいて画像輪郭（エッジ）を検出し，検出された画像輪郭の周辺の画素のみをＰＦ検出回路30_１〜30_３におけるＰＦ画素の検出対象としてもよい。

第５実施例
図１３はパープルフリンジ補正機能を有する第５実施例の撮像装置の電気的構成を概略的に示すブロック図である。図６に示す第２実施例の撮像装置のブロック図とはセレクタ71が加えられている点が異なる。図１４および図１５は，図１３に示す撮像装置におけるパープルフリンジ補正処理の手順を示すフローチャートである。

第２のホワイトバランス処理回路20において用いられ，記録用画像21を得るためのユーザ設定ゲインにおけるＲゲインおよびＢゲインがいずれも小さい値であるとすると，記録用画像21にＰＦ画素が存在しても，その色（パープル色）は第２のホワイトバランス処理回路20におけるホワイトバランス調整において弱められて目立たないものになる。第５実施例では，記録用画像21を得るために用いられるユーザ設定ゲインにおけるＲゲインおよびＢゲインがいずれも小さい値である場合に，ＰＦ補正回路31におけるＰＦ補正を行わないようにすることによってＰＦ補正による誤補正リスクを小さくするものである。

他方，記録用画像21を得るためのユーザ設定ゲインにおけるＲゲインおよびＢゲインがいずれも大きい値であるとすると，記録用画像21は画像全体がパープル色の傾向を持つことになり，ＰＦ画素が存在してもそのＰＦ画素が目立ちにくくなる。第５実施例では，記録用画像21を得るために用いられるユーザ設定ゲインにおけるＲゲインおよびＢゲインがいずれも大きい値である場合にも，ＰＦ補正回路31におけるＰＦ補正を行わないようにすることによってＰＦ補正による誤補正リスクを小さくするものでもある。

図１４を参照して，図１４は，記録用画像21を得るためのユーザ設定ゲインにおけるＲゲインおよびＢゲインがいずれも小さい値である場合に，ＰＦ補正回路31におけるＰＦ補正を行わないようにする処理を示している。

ＣＰＵ７によって，ユーザ設定ゲインにおけるＲゲインおよびＢゲインが小さいかどうかが判断される（ステップ81）。たとえば，ユーザ設定ゲイン中のＲゲインおよびＢゲインのいずれもが，色温度５０００Ｋのときを白基準としたときのＲおよびＢゲインの０．７５倍以下の値であれば，ユーザ設定ゲインにおけるＲゲインおよびＢゲインは小さいと判断される（ステップ81でYES ）。この場合，セレクタ71によってすべてのＰＦフラグをオフにする命令がＰＦ検出回路30に与えられる。ＰＦ検出回路30はＰＦ検出用画像11においてＰＦ画素を検出したとしてもＰＦフラグをオンしない。これにより，ＰＦ補正回路31においてはＰＦ補正が行われないことになる（ステップ42でNO）。

他方，ユーザ設定ゲインにおけるＲゲインおよびＢゲインが小さくはない（たとえば，ユーザ設定ゲイン中のＲゲインおよびＢゲインのいずれかが，色温度５０００Ｋのときを白基準としたときのＲおよびＢゲインの０．７５倍よりも大きい値）場合には（ステップ81でNO），第１実施例と同様，ＰＦ検出用画像11が用いられてＰＦ画素の検出処理が行われ，見つかったＰＦ画素に対応する位置にある記録用画像21中の画素に対してＰＦ補正処理が行われる（ステップ53，ステップ42でYES ，ステップ43）。

図１５を参照して，図１５は，記録用画像21を得るためのユーザ設定ゲインにおけるＲゲインおよびＢゲインがいずれも大きい値である場合に，ＰＦ補正回路31におけるＰＦ補正を行わないようにする処理である。

ＣＰＵ７によって，ユーザ設定ゲインにおけるＲゲインおよびＢゲインが大きいかどうかが判断される（ステップ82）。たとえば，ユーザ設定ゲイン中のＲゲインおよびＢゲインのそれぞれが，色温度５０００Ｋのときを白基準としたときのＲゲインおよびＢゲインの３倍以上の値であれば，ユーザ設定ゲインにおけるＲゲインおよびＢゲインは大きいと判断される（ステップ82でYES ）。この場合，セレクタ71によってすべてのＰＦフラグをオフする命令がＰＦ検出回路30に与えられる。ＰＦ検出回路30はＰＦ検出用画像11においてＰＦ画素を検出したとしてもＰＦフラグをオンしない。これにより，ＰＦ補正回路31においてはＰＦ補正が行われないことになる（ステップ42でNO）。

他方，ユーザ設定ゲインにおけるＲゲインおよびＢゲインが大きくはない（たとえば，ユーザ設定ゲイン中のＲゲインおよびＢゲインのいずれかが，色温度５０００Ｋのときを白基準としたときのＲゲインおよびＢゲインの３倍よりも小さい値）と判断されると（ステップ82でNO），第１実施例と同様に，ＰＦ検出用画像11が用いられてＰＦ画素検出処理が行われ，見つかったＰＦ画素に対応する位置にある記録用画像21中の画素に対してＰＦ補正処理が行われる（ステップ53，ステップ42でYES ，ステップ43）。

もちろん，図１４に示す処理と図１５に示す処理とを組合わせた処理を行ってもよいのは言うまでもない。図１４のステップ81の判断と図１５のステップ82の判断の両方が行われて，ＰＦ補正の実行または非実行が判断される。

１ＣＣＤ
２レンズ
６メモリ
７ＣＰＵ
７ａＡＷＢメモリ
10 第１のホワイトバランス処理回路
20 第２のホワイトバランス処理回路
30 パープルフリンジ検出回路
31 パープルフリンジ補正回路
38 パープルフリンジ・フラグ・カウンタ
71 セレクタ

Claims

パープルフリンジ補正対象画像データの入力を受付け，上記パープルフリンジ補正対象画像データに対して第１および第２のホワイトバランス・ゲインをそれぞれ適用してホワイトバランスを調整して，第１の調整済み画像データおよび第２の調整済み画像データを出力するホワイトバランス調整手段，
上記ホワイトバランス調整手段から出力される第１の調整済み画像データの入力を受付け，第１の調整済み画像データを用いてパープルフリンジ画素を検出するパープルフリンジ検出手段，ならびに
上記ホワイトバランス調整手段から出力される第２の調整済み画像データの入力を受付け，上記パープルフリンジ検出手段において検出されたパープルフリンジ画素に対応する，第２の調整済み画像データによって表される第２の調整済み画像中の画素を補正するパープルフリンジ補正手段を備え，
上記第１のホワイトバランス・ゲインが上記パープルフリンジ画素の検出に適するものであることを特徴とする，
パープルフリンジ補正装置。
画素位置ごとに，パープルフリンジ画素であるかどうかを表すパープルフリンジ・フラグを少なくとも記憶するパープルフリンジ処理情報テーブルを備え，
上記パープルフリンジ検出手段は，
パープルフリンジ画素の検出に応じて，その画素位置に対応するパープルフリンジ・フラグをオンするものであり，
上記パープルフリンジ補正手段は，
上記第２の調整済み画像において，パープルフリンジ処理情報テーブルに記憶されている上記パープルフリンジ・フラグがオンされている画素位置の画素を補正するものである，
請求項１に記載のパープルフリンジ補正装置。
上記パープルフリンジ補正対象画像データの入力を受付け，上記パープルフリンジ補正対象画像がどのような光源種類の光源下で得られたものかを推定する光源推定手段を備え，
上記ホワイトバランス調整手段は，
上記光源推定手段によって推定された光源種類の光源色を白色に色補正するためのホワイトバランス・ゲインを上記第１のホワイトバランス・ゲインに用いる，
請求項１に記載のパープルフリンジ補正装置。
上記光源推定手段によって推定される光源種類ごとに，光源色を白色に近づけるためのホワイトバランス・ゲインを記憶したゲイン記憶手段を備えている，
請求項３に記載のパープルフリンジ補正装置。
ホワイトバランスの調整の強さが強められるようにホワイトバランス・ゲインを変更する調整強化手段を備え，
上記ホワイトバランス調整手段は，
上記調整強化手段によって変更されたホワイトバランス・ゲインを上記第１のホワイトバランス・ゲインに用いる，
請求項３に記載のパープルフリンジ補正装置。
上記光源推定手段によって複数の光源種類が推定された場合に，
上記ホワイトバランス調整手段は，
推定された複数の光源種類のそれぞれについて，光源色を白色に近づけるためのホワイトバランス・ゲインのそれぞれを用いて，複数の第１の調整済み画像データを出力するものであり，
上記パープルフリンジ検出手段は，
複数の第１の調整済み画像データのそれぞれについてパープルフリンジ画素を検出するものであり，
上記パープルフリンジ補正手段は，
複数の第１の調整済み画像データのそれぞれにおいて検出されたパープルフリンジ画素に対応する，第２の調整済み画像中の画素を補正するものである，
請求項３に記載のパープルフリンジ補正装置。
第１の調整済み画像データについて検出されたパープルフリンジ画素の数をカウントするパープルフリンジ画素数カウンタを備え，
上記光源推定手段によって複数の光源種類が推定された場合に，
上記ホワイトバランス調整手段は，
推定された複数の光源種類のそれぞれについて，光源色を白色に近づけるためのホワイトバランス・ゲインのそれぞれを用いて，複数の第１の調整済み画像データを出力するものであり，
上記パープルフリンジ検出手段は，
複数の第１の調整済み画像データのそれぞれについてパープルフリンジ画素を検出するものであり，
上記パープルフリンジ補正手段は，
上記パープルフリンジ画素数カウンタによるカウント数にしたがって，複数の第１の調整済み画像データのうちパープルフリンジ画素が最も多い第１の調整済み画像データにおいて検出されたパープルフリンジ画素に対応する，第２の調整済み画像中の画素を補正するものである，
請求項３に記載のパープルフリンジ補正装置。
上記第２のホワイトバランス・ゲインがパープルフリンジ画素を目立ちにくくするゲインであるかを判断するゲイン判断手段，および
上記ゲイン判断手段によって上記第２のホワイトバランス・ゲインがパープルフリンジ画素を目立ちにくくするゲインであることが判断された場合に，上記パープルフリンジ補正手段による補正を停止する補正停止手段を備える，
請求項１に記載のパープルフリンジ補正装置。
被写体を撮像し，撮像によって得られる画像データを出力する撮像手段，および
請求項１から８のいずれか一項に記載をパープルフリンジ補正装置を備え，
上記撮像手段から出力される画像データが上記パープルフリンジ補正対象画像データとして用いられる，
撮像装置。
ホワイトバランス調整手段が，パープルフリンジ補正対象画像データの入力を受付け，上記パープルフリンジ補正対象画像データに対して第１および第２のホワイトバランス・ゲインをそれぞれ適用してホワイトバランスを調整して，第１の調整済み画像データおよび第２の調整済み画像データを出力し，
パープルフリンジ検出手段が，上記ホワイトバランス調整手段から出力される第１の調整済み画像データの入力を受付け，第１の調整済み画像データを用いてパープルフリンジ画素を検出し，
パープルフリンジ補正手段が，上記ホワイトバランス調整手段から出力される第２の調整済み画像データの入力を受付け，第２の調整済み画像データによって表される第２の調整済み画像について，上記パープルフリンジ検出手段において検出されたパープルフリンジ画素に対応する画素を補正するようにパープルフリンジ補正装置を制御する方法であって，
上記第１のホワイトバランス・ゲインが上記パープルフリンジ画素の検出に適するものである，
方法。
コンピュータを，
パープルフリンジ補正対象画像データの入力を受付け，上記パープルフリンジ補正対象画像データに対して第１および第２のホワイトバランス・ゲインをそれぞれ適用してホワイトバランスを調整して，第１の調整済み画像データおよび第２の調整済み画像データを出力するホワイトバランス調整手段，
上記ホワイトバランス調整手段から出力される第１の調整済み画像データの入力を受付け，第１の調整済み画像データを用いてパープルフリンジ画素を検出するパープルフリンジ検出手段，
上記ホワイトバランス調整手段から出力される第２の調整済み画像データの入力を受付け，上記パープルフリンジ検出手段において検出されたパープルフリンジ画素に対応する，第２の調整済み画像データによって表される第２の調整済み画像中の画素を補正するパープルフリンジ補正手段として機能させるプログラムであって，
上記第１のホワイトバランス・ゲインが上記パープルフリンジ画素の検出に適するものである，
プログラム。