JP2004242125A

JP2004242125A - 画像処理装置

Info

Publication number: JP2004242125A
Application number: JP2003030316A
Authority: JP
Inventors: Kenji Ito; 研治伊藤
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2003-02-07
Filing date: 2003-02-07
Publication date: 2004-08-26

Abstract

【課題】光学歪みの補正に起因する画質の劣化を抑制することのできる画像処理装置を得る。
【解決手段】レンズ１２を介した撮影により得られたデジタル画像データに含まれる光学歪みをディストーション補正部２８によって補正し、当該光学歪みの補正量が大きくなるほど補正量が大きくなるように補正係数（ゲイン）をＣＰＵ２１によって設定し、アパーチャ補正部２９により、光学歪みが補正されたデジタル画像データに対し、ＣＰＵ２１によって設定された補正係数を用いてアパーチャ補正を行う。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に係り、特に、光学レンズを介した撮影により得られた画像情報に含まれる光学歪みを補正すると共に、当該画像情報に対してアパーチャ補正を行う画像処理装置に関する。
【０００２】
【従来の技術】
銀塩カメラやデジタルカメラなどの光学レンズを通して被写体像を撮像して、被写体像を表す画像を取得する撮像装置では、光学レンズの屈折により取得した画像の周辺に歪みが生じてしまう。この歪みは、一般に光学歪み（ディストーション）と称され、撮像装置に用いられるレンズは、この光学歪みを打ち消すように構成されるが、ズームレンズの場合、同一のレンズ構成でテレ端及びワイド端を共に補正することは難しく、大きな光学歪みが発生し易い。また、単焦点のレンズにおいても、補正するために高価な素材レンズ或いはレンズ構成を増やすことが必要とされ、薄くて安価なレンズ構成とするのは難しく、やはり光学歪みが残ってしまう。このように、撮像装置に用いられるレンズの歪み特性はコストや大きさの制限から０％にすることは難しく、１％前後が視覚上妥当であると考えられている。
【０００３】
銀塩カメラのように取得された画像がフイルムに記録される場合は、記録後の画像の補正は不可能であり、レンズ性能によって光学歪みが決まってしまう。一方、デジタルカメラのようにデジタルデータで画像が取得されて記録メディアに記録される場合は、記録後でも演算処理によって画像を補正することが可能である。このため、デジタルカメラの分野では、従来より、光学歪み補正に関する技術が提案されている。
【０００４】
ここで、光学歪みは、図９（Ａ）に示すように、画像の角部が外側に伸びる「糸巻き型」と、図９（Ｂ）に示すように、逆に角部が縮む「たる型」の２種類に分けられ、何れも光学中心からの距離によって歪み量（変位量）が決まることが一般に知られている。すなわち、変位量が線形であれば、単に縮小或いは拡大されるだけであるが、実際には、図９（Ｃ）に示すように非線形であり、正の変位量の場合は、各画素は本来の位置から中心より遠ざかる位置にずれるので「糸巻き型」となり、負の変位量の場合は、各画素は本来の位置から中心へ近づく位置になるので「たる型」となる。
【０００５】
従来、このような光学歪みを補正するための技術として、光学歪みを補正するにあたり、所定数のピクセルを含むブロックに分割し、ブロック毎にその領域の平均の歪み量を予め算出した第１の歪み補正テーブルと、ブロックに含まれるピクセルに応じて微調整をするための歪み量を予め算出した第２の歪み補正テーブルとを設け、第１の歪み補正テーブルを索引して割り出される補正量と、第２の歪み補正テーブルを索引して得られる補正量とを乗算して補正する技術があった（例えば、特許文献１参照。）。
【０００６】
この技術によれば、歪み補正テーブルを２段階に設けているので、歪み補正に関するメモリ占有容量を削減することができる。
【０００７】
また、光学歪みを補正するための技術として、レンズの収差に関する情報を取得し、当該情報に基づいて、上記レンズを介して得られた、被写体像を輝度データ及び色差データで表す画像データに対し、該画像データが表す被写体像の上記レンズの収差に起因する画質の低下を補正する技術もあった（例えば、特許文献２参照。）。
【０００８】
【特許文献１】
特開平１１−１９６３１３号公報
【特許文献２】
特開２０００−３４３７公報
【０００９】
【発明が解決しようとする課題】
しかしながら、光学歪みは光学レンズの中心部から周辺部に向かうに従って大きくなるため、これらの技術を含め、光学歪みを補正する殆どの技術では、当該レンズを介して得られた画像情報により示される画像の中心部から周辺部に向かうに従って移動量が大きくなる座標変換を行っており、この結果として補正後の画像情報によって示される画像が中心部から周辺部に向かうに従って解像感が低下して画質が劣化する、という問題点があった。
【００１０】
例えば、上記座標変換を行うに際して画素補間を伴う場合には、図１０に示すように、画素補間によって得られた画素ＧＨの光学歪みに応じた移動量は画像の中心部から周辺部に向かうほど移動量が大きくなる。この問題は、光学歪みが糸巻き型であっても、たる型であっても生じる。
【００１１】
本発明は上記問題点を解決するためになされたものであり、光学歪みの補正に起因する画質の劣化を抑制することのできる画像処理装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の画像処理装置は、光学レンズを介した撮影により得られた画像情報に含まれる光学歪みを補正する歪み補正手段と、前記歪み補正手段による光学歪みの補正量が大きくなるほど補正量が大きくなるように補正係数を設定する設定手段と、前記歪み補正手段により光学歪みが補正された前記画像情報に対して前記設定手段により設定された前記補正係数を用いてアパーチャ補正を行うアパーチャ補正手段と、が備えられている。
【００１３】
請求項１に記載の画像処理装置によれば、光学レンズを介した撮影により得られた画像情報に含まれる光学歪みが歪み補正手段によって補正される。なお、当該補正の手法としては、前述したような歪み補正テーブルを用いる手法、当該テーブルを設けることなく当該テーブルによって示される情報を高次の関数等を用いた演算により導出して適用する手法等、光学歪みを補正するあらゆる手法を適用することができる。
【００１４】
ここで、本発明では、歪み補正手段による光学歪みの補正量が大きくなるほど補正量が大きくなるように設定手段により補正係数が設定され、アパーチャ補正手段によって、歪み補正手段により光学歪みが補正された画像情報に対して上記設定手段により設定された補正係数が用いられてアパーチャ補正が行われる。
【００１５】
なお、アパーチャ補正は、被写体の輪郭強調等によりエッジ補正を施して開口歪み等を補償する処理であり、画像処理の分野において以前より広く行われてきた処理である。
【００１６】
そこで本発明では、このようなアパーチャ補正を利用して、光学歪みの補正量が大きくなるほど補正量が大きくなるように補正係数を設定し、当該補正係数を用いて、光学歪みが補正された画像情報に対してアパーチャ補正を行うようにしており、これによって光学歪みの補正に起因する解像感の低下を的確に補うようにしている。
【００１７】
このように、請求項１に記載の画像処理装置によれば、光学レンズを介した撮影により得られた画像情報に含まれる光学歪みを補正し、当該光学歪みの補正量が大きくなるほど補正量が大きくなるように補正係数を設定し、光学歪みが補正された画像情報に対して、上記設定した補正係数を用いてアパーチャ補正を行っているので、光学歪みの補正に起因する解像感の低下を的確に補うことができ、この結果として画質の劣化を的確に抑制することができる。
【００１８】
ところで、光学歪みは光学レンズの中心部から周辺部に向かうに従って大きくなることは前述した通りである。
【００１９】
この点に着目し、請求項２記載の画像処理装置は、請求項１に記載の発明において、前記設定手段は、前記画像情報によって示される画像の中心から遠くなるほど補正量が大きくなるように前記補正係数を設定するものである。
【００２０】
請求項２に記載の画像処理装置によれば、本発明の設定手段により、画像情報によって示される画像の中心から遠くなるほど補正量が大きくなるように本発明の補正係数が設定される。
【００２１】
このように、請求項２に記載の画像処理装置によれば、画像情報によって示される画像の中心から遠くなるほど補正量が大きくなるようにアパーチャ補正による補正量を示す補正係数を設定しているので、直接光学歪みの補正量に応じて設定する場合に比較して、より容易に補正係数を設定することができる。
【００２２】
なお、アパーチャ補正は、通常、ユーザによって指定された度合いに応じて行われるものであり、本発明の設定手段は、請求項３記載の発明のように、予め指定されたアパーチャ補正の度合いを示す指定係数が反映された状態で前記補正係数を設定することが好ましい。これによって、指定された度合いも加味してアパーチャ補正が行われるので、より要求に応じた状態で光学歪みの補正に起因する画質の劣化を抑制することができる。
【００２３】
また、本発明の設定手段は、必ずしも前記補正係数を連続的に設定する必要はなく、請求項４に記載の発明のように、段階的に設定するものとすることもできる。
【００２４】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、ここでは、本発明の画像処理装置をデジタルカメラに適用した場合について説明する。
【００２５】
まず、図１を参照して、本実施の形態に係るデジタルカメラ１０の構成を説明する。同図に示されるように、このデジタルカメラ１０には、被写体像を結像させるためのレンズ１２と、レンズ１２の光軸後方に配設された電荷結合素子（以下、「ＣＣＤ」という。）１４と、入力されたアナログ信号に対してＣＤＳ（相関２重サンプリング処理）等の各種のアナログ信号処理を行った後にデジタルデータに変換する前処理部１６と、撮影を実行する際に押圧操作されるシャッター（所謂レリーズボタン）１８と、デジタルカメラ１０の全体的な動作を司る主制御部２０と、ＣＣＤ１４に対する垂直同期信号を生成する垂直ドライバ３１と、が備えられている。
【００２６】
一方、主制御部２０には、設定手段としてのＣＰＵ（中央演算処理装置）２１と、入力されたデジタルデータに対して各種デジタル信号処理を行う信号処理部２２と、入力された未圧縮のデジタルデータに対して予め定められた圧縮形式（本実施の形態では、ＪＰＥＧ形式）で圧縮処理を施す一方、入力された圧縮済みのデジタルデータに対して圧縮形式に応じた伸張形式で伸張処理を施す圧縮・伸張部２３と、主制御部２０の外部に配置された各部との間の情報の授受を司る入出力制御部（以下、「Ｉ／Ｏ」という。）２４と、が備えられている。
【００２７】
また、主制御部２０には、装着された記録媒体に対するアクセスの制御を行うメディアインタフェース（以下、「メディアＩ／Ｆ」という。）２５と、被写体像やメニュー画面等を不図示の液晶ディスプレイに表示させるための信号を生成して当該液晶ディスプレイに供給する表示制御部２６と、外部装置との間のＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）規格による相互通信を司るＵＳＢインタフェース（以下、「ＵＳＢＩ／Ｆ」という。）２７と、内部メモリに対するアクセスの制御を行うメモリ制御部３０と、が備えられている。
【００２８】
更に、主制御部２０には、レンズ１２を介した撮影により得られたデジタル画像データに含まれる光学歪みを補正する歪み補正手段としてのディストーション補正部２８と、ディストーション補正部２８により光学歪みが補正されたデジタル画像データに対してアパーチャ補正を行うアパーチャ補正手段としてのアパーチャ補正部２９と、が備えられている。
【００２９】
ＣＰＵ２１、信号処理部２２、圧縮・伸張部２３、Ｉ／Ｏ２４、メディアＩ／Ｆ２５、表示制御部２６、ＵＳＢＩ／Ｆ２７、ディストーション補正部２８、アパーチャ補正部２９、及びメモリ制御部３０は、バスＢ１を介して相互に接続されている。
【００３０】
従って、ＣＰＵ２１は、信号処理部２２、圧縮・伸張部２３、ディストーション補正部２８、アパーチャ補正部２９の作動の制御、Ｉ／Ｏ２４を介した各部との間の情報の授受、装着された記録媒体へのメディアＩ／Ｆ２５を介したアクセス、不図示の液晶ディスプレイへの表示制御部２６を介した各種情報の表示、外部装置との間のＵＳＢＩ／Ｆ２７を介したＵＳＢ規格による相互通信、及び内部メモリへのメモリ制御部３０を介したアクセス、を各々行うことができる。
【００３１】
一方、シャッター１８はＣＰＵ２１に接続されており、ＣＰＵ２１は、シャッター１８に対する押圧操作の状態を常時把握することができる。
【００３２】
また、信号処理部２２の入力端は前処理部１６を介してＣＣＤ１４の出力端に接続されており、Ｉ／Ｏ２４の出力端は垂直ドライバ３１を介してＣＣＤ１４の入力端に接続されている。従って、被写体に対する撮像によってＣＣＤ１４から出力された被写体像を示すアナログ信号は前処理部１６において各種アナログ信号処理が施された後にデジタル画像データに変換されて信号処理部２２に入力され、各種デジタル信号処理が施された後にメモリ制御部３０を介して内部メモリ（詳細には、後述するＳＤＲＡＭ３２）に一旦記憶される。また、このときのＣＣＤ１４による撮像動作は、ＣＰＵ２１によるＩ／Ｏ２４を介した制御によって垂直ドライバ３１により生成された垂直同期信号に同期して行われる。
【００３３】
なお、信号処理部２２で行われる各種デジタル信号処理には、ホワイトバランス調整処理や、ガンマ処理等の他、入力されたデジタル画像データ（Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色毎の画像データ）を用いて輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂを生成するＹＣ信号処理も含まれており、信号処理部２２は、ＹＣ信号処理後の輝度信号Ｙ及びクロマ信号Ｃｒ、Ｃｂを内部メモリに記憶する。
【００３４】
一方、デジタルカメラ１０には、上記内部メモリとしてＳＤＲＡＭ（ＳｙｎｃｈｒｏｎｏｕｓＤＲＡＭ）３２及びＲＯＭ３４が備えられており、これらのメモリはバスＢ２を介してメモリ制御部３０に接続されている。従って、ＣＰＵ２１は、メモリ制御部３０及びバスＢ２を介してＳＤＲＡＭ３２及びＲＯＭ３４にアクセスすることができる。
【００３５】
また、デジタルカメラ１０には、記録媒体３６Ａ及び記録媒体３６Ｂの２枚の記録媒体が装着可能とされており、これらの記録媒体は装着された状態でバスＢ３を介してメディアＩ／Ｆ２５に接続される。従って、ＣＰＵ２１は、メディアＩ／Ｆ２５及びバスＢ３を介して記録媒体３６Ａ及び記録媒体３６Ｂにアクセスすることができる。なお、本実施の形態のデジタルカメラ１０では、記録媒体３６Ａとしてスマート・メディアが、記録媒体３６Ｂとしてコンパクト・フラッシュが、各々適用されている。
【００３６】
次に、図２及び図３を参照して、本実施の形態に係るディストーション補正部２８による光学歪みの補正の手法について説明する。
【００３７】
図９で示したように、光学歪みによる変位量を示す光学ディストーションカーブは、画像中心からの距離の多次元関数で近似表現することができ、以下では、一例として、次式（１）で示す４次関数で表わす。
【００３８】
Ｆ（ｄ）＝α×ｄ^４＋β×ｄ^２＋γ ・・・（１）
ただし、ｄ：光学中心からの距離、α、β、γ：係数、である。
【００３９】
なお、上記式（１）において奇数次の項を省略したのは、光学歪みが無い状態、すなわち補正後の画像における画素の座標を（ｘ、ｙ）とした場合に（ｘ、ｙは整数）、これに対応する補正前の画像の座標（Ｘ，Ｙ）は、以下の式（２）で表される。
【００４０】
（Ｘ，Ｙ）＝（ｘ×Ｆ（ｄ）、ｙ×Ｆ（ｄ））、ｄ＝（ｘ^２＋ｙ^２）^１／２・・・（２）
式（２）からも分かるように、奇数次の項が含まれると光学中心からの距離ｄの演算に平方根の計算が必要となり、ハード構成が複雑になるためである。すなわち、奇数次の項を省略して偶数次の項のみの関数でこのように光学歪みを表わすことで、平方根の計算を回避し、回路構成の簡素化を図ることができる。
【００４１】
一方、光学歪みを補正するための補正曲線は、光学ディストーションカーブと逆のカーブを描けばよく、大きく分けて３つのパターンが考えられる。例えば、糸巻き型の光学歪みの補正曲線は、光学ディストーションカーブとは逆に、必ず右下がりになるような（微分値が常に負）カーブを描き、図２に示す如く３種類の補正パターンが考えられる。
【００４２】
すなわち、図２（Ａ）に示されているように、光学中心を固定し、周辺部を中心方向に引き寄せるように補正する補正パターン（補正パターン１）と、図２（Ｂ）、（Ｃ）に示されているように、例えば周辺部近傍などの中心と周辺部の中間部、或いは周辺部を固定し、中心部を移動させるように補正する補正パターン（補正パターン２、３）とがある。
【００４３】
このような補正パターンの種類については、前述した式（１）における係数γの値により定まり、すなわち、前述した式（１）における係数α、βは、実際の光学歪みに基づいて設定されるが、γについては、採用した補正パターンに応じて設定される。補正パターン１はγ＝０、補正パターン２、３は、γ＞０の場合である。
【００４４】
光学歪みの補正は、補正後の画像の座標（ｘ、ｙ）に対応する補正前の画像の座標（Ｘ、Ｙ）を求めたら、該補正前の画像における座標（Ｘ、Ｙ）にある画素データＰを補正後の画像の座標（ｘ、ｙ）に移動することで行うことができるが、通常、上記式（２）により求めた補正前の画像の座標（Ｘ、Ｙ）は整数値にならず、補正前の画像には対応する画素データが存在しない。
【００４５】
このため、求めた補正前の画像の座標（Ｘ、Ｙ）に対応する画素データＰを、当該補正前の画像の座標（Ｘ、Ｙ）近傍の実在する画素データから内挿によって求めて補間する必要がある。
【００４６】
この場合の補間方法（内挿方法）としては、最近傍補間法（ｎｅａｒｅｓｔｎｅｉｇｈｂｏｒｉｎｔｅｒｐｏｌａｔｉｏｎ）、線形補間法（ｂｉ−ｌｉｎｅａｒｉｎｔｅｒｐｏｌａｔｉｏｎ）を挙げることができる。
【００４７】
線形補間法とは、図３に示すように、補正前の画像の座標（Ｘ、Ｙ）に対応する画素データＰを、当該補正前の画像において、座標（Ｘ、Ｙ）の周囲にある近傍の４画素のデータＤ_１、Ｄ_２、Ｄ_３、Ｄ_４により内挿するものであり、当該補正前の画像の座標からの距離に応じて重みを決定して、この近傍の４画素の画素データＤ_１、Ｄ_２、Ｄ_３、Ｄ_４の重み付け平均を求める。
【００４８】
すなわち、前述の式（２）により求められる、補正後の画像の座標（ｘ、ｙ）に対応する補正前の画像の座標（Ｘ、Ｙ）の整数部を（ｉｎｔＸ、ｉｎｔＹ）とし、小数部を（Δｘ、Δｙ）とすると、当該補正前の画像の座標の周囲にある近傍の４画素のデータＤ_１、Ｄ_２、Ｄ_３、Ｄ_４の座標は、（ｉｎｔＸ、ｉｎｔＹ）、（ｉｎｔＸ、ｉｎｔＹ＋１）、（ｉｎｔＸ＋１、ｉｎｔＹ）、（ｉｎｔＸ＋１、ｉｎｔＹ＋１）となり、それぞれの画素データＤ_１、Ｄ_２、Ｄ_３、Ｄ_４に対する重みは、（１−Δｘ）×（１−Δｙ）、（１−Δｘ）×Δｙ、Δｘ×（１−Δｙ）、Δｘ×Δｙとなる。求める画素データＰは、補正前の画像における近傍４画素の画素データの値をＤ_１、Ｄ_２、Ｄ_３、Ｄ_４として、次の式（３）のようになる。

また、最近傍補間法とは、補正後の画像の座標の画素データＰを、当該補正前の画像の座標に最も近い位置にある画素のデータにより内挿するものである。
【００４９】
すなわち、前述の式（２）により、補正後の画像の座標（ｘ、ｙ）に対応する補正前の画像の座標（Ｘ，Ｙ）＝（ｘ×Ｆ（ｄ）、ｙ×Ｆ（ｄ））を求め、この補正前の画像の座標（Ｘ、Ｙ）の小数部を四捨五入して整数値の座標にし、この整数値の座標の位置にある補正前の画像の画素データを、補正前の画像の座標（Ｘ，Ｙ）の画素データＰとする。
【００５０】
また、高速演算処理可能であれば、演算がより複雑になるがその分より高画質の画像を得ることができる３次たたみ込み補間法（ｃｕｂｉｃｃｏｎｖｏｌｕｔｉｏｎｉｎｔｅｒｐｏｌａｔｉｏｎ）により補間するようにしてもよい。
【００５１】
何れの補間方法であっても、補正後の画像における座標（ｘ、ｙ）に対応する補正前の画像の座標（Ｘ，Ｙ）を演算により求め、該求めた座標（Ｘ，Ｙ）近傍の補正前の画像の画素データを用いて、当該補間方法に従って、画素データＰを求める。そして、この求めた画素データＰを補正後の画像における座標（ｘ、ｙ）の画素データとすることで、光学歪みを補正することができる。
【００５２】
なお、本実施の形態に係るディストーション補正部２８では、補間方法として線形補間法を適用している。
【００５３】
次に、図４を参照して、本実施の形態に係るアパーチャ補正部２９の構成を詳細に説明する。同図に示すように、アパーチャ補正部２９は、予め定められた高周波数帯域を通過させるバンド・パス・フィルタ（以下、「ＢＰＦ」という。）２９Ａと、乗算器２９Ｂと、加算器２９Ｃと、ルック・アップ・テーブル（以下、「ＬＵＴ」という。）２９Ｄと、乗算器２９Ｅと、を含んで構成されている。
【００５４】
ＢＰＦ２９Ａは、ＳＤＲＡＭ３２に記憶された輝度信号Ｙが入力されるものであり、当該輝度信号Ｙから所定高周波帯域の成分を抽出して乗算器２９Ｂに出力する。例えば、入力された輝度信号Ｙが図５（Ａ）に示すような状態である場合、ＢＰＦ２９Ａから乗算器２９Ｂには、図５（Ｂ）に示すような輝度信号Ｙのエッジの位置に対応するパルス（以下、「エッジ・パルス」という。）が出力される。すなわち、ＢＰＦ２９Ａは、輝度信号Ｙにより示される被写体像の輪郭部を抽出する役割を有している。
【００５５】
乗算器２９Ｂでは、ＢＰＦ２９Ａから入力されたエッジ・パルスに対して乗算器２９Ｅから入力されたゲインを乗算し、一方の入力端に上記輝度信号Ｙが入力される加算器２９Ｃの他方の入力端に出力する。
【００５６】
従って、加算器２９Ｃでは、入力された輝度信号Ｙに対して、乗算器２９Ｂにより上記ゲインに応じて増幅されたエッジ・パルスが加算され、一例として図５（Ｃ）に示すような、被写体像の輪郭が強調された状態の輝度信号Ｙ’が生成されて出力される。
【００５７】
一方、本実施の形態に係るデジタルカメラ１０は、ユーザによってアパーチャ補正部２９によるアパーチャ補正の度合いを指定することができるように構成されており、ユーザによって指定された当該度合いを示すデータ（本発明の「指定係数」に相当し、以下「指定画質調整ゲイン」という。）は不図示のレジスタに記憶される。
【００５８】
アパーチャ補正部２９における乗算器２９Ｅの一方の入力端には、この指定画質調整ゲインが入力される。
【００５９】
一方、アパーチャ補正部２９のＬＵＴ２９Ｄは、アパーチャ補正の処理対象とする画素の位置を示すアドレス（本実施の形態では、処理対象とするデジタル画像データにより示される被写体像の左上端部に位置する画素のアドレスを起点とした水平方向及び垂直方向の画素単位のアドレス）が入力され、当該アドレスにより示される当該画素の被写体像上の位置に対応する補正係数を、当該画素に対するディストーション補正部２８による光学歪みの補正量が大きくなるほどアパーチャ補正の補正量（乗算器２９Ｂに入力される上記ゲイン）を増加させるものとして乗算器２９Ｅの他方の入力端に出力する。
【００６０】
ここで、本実施の形態に係るＬＵＴ２９Ｄでは、一例として図６に示すように、被写体像を当該被写体像の中心を中心軸とした同心円状に複数（同図では４つ）の領域に分割し、各分割領域に対して、上記中心軸から遠くなるほど大きな値となるように補正係数が割り振られており、入力されたアドレスによって示される処理対象とする画素の被写体像上の位置に対応する補正係数が出力される構成とされている。
【００６１】
従って乗算器２９Ｅでは、指定画質調整ゲインと、処理対象とする画素の位置が被写体像の中心から遠くなるに従って大きな値となる補正係数と、が乗算され、この乗算によって得られた値が乗算器２９Ｂにゲインとして入力されることになる。
【００６２】
この結果、アパーチャ補正部２９から出力される輝度信号Ｙ’は、処理対象とする画素の位置が被写体像の中心から遠くなるほど補正量が大きくされたアパーチャ補正が行われたものとなる。
【００６３】
このように、本実施の形態に係るアパーチャ補正部２９は、レンズ１２の光学歪みが当該レンズ１２の中心部から周辺部に向かうに従って大きくなることを利用して、デジタル画像データによって示される被写体像の中心から遠くなるほど補正量が大きくなるように上記ゲインを設定することにより、ディストーション補正部２８による光学歪みの補正量が大きくなるほど補正量が大きくなるように当該ゲインを設定するものとされており、直接光学歪みの補正量に応じて設定する場合に比較して、より容易に当該ゲインを設定することができるようにしている。
【００６４】
また、本実施の形態に係るアパーチャ補正部２９では、ユーザによって予め指定されたアパーチャ補正の度合いを示す指定画質調整ゲインが反映された状態で上記ゲインを設定しており、指定された度合いも加味してアパーチャ補正が行われるので、より要求に応じた状態で光学歪みの補正に起因する画質の劣化を抑制することができる。
【００６５】
なお、本実施の形態では、図６に示すように、被写体像の中心が含まれる分割領域に補正係数として‘１．０’が割り振られており、周辺部に向かうに従って‘１．０’より大きな値が割り振られているが、これらの値は、各分割領域に対応するレンズ１２の入射光の通過領域における光学歪みの平均的な大きさ、すなわち、各分割領域に対するディストーション補正部２８による平均的な補正量に応じて割り振られたものである。
【００６６】
次に、本実施の形態に係るデジタルカメラ１０の作用を説明する。まず、ＣＣＤ１４は、レンズ１２を介して被写体の撮像を行い、被写体像を示すＲ（赤）、Ｇ（緑）、Ｂ（青）毎のアナログ信号を前処理部１６に順次出力する。前処理部１６は、ＣＣＤ１４から入力されたアナログ信号に対してＣＤＳ等の各種のアナログ信号処理を行った後にデジタル画像データに変換して信号処理部２２に順次出力する。
【００６７】
信号処理部２２は、前処理部１６から入力されたデジタル画像データに対してホワイトバランス調整処理、ガンマ処理等の各種デジタル信号処理を行った後にＹＣ信号処理を行って輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂを生成し、これらの信号をデジタル画像データとしてメモリ制御部３０を介してＳＤＲＡＭ３２の所定領域に格納する。
【００６８】
ＳＤＲＡＭ３２の所定領域に格納されたデジタル画像データは、ＣＰＵ２１による制御に応じてディストーション補正部２８によって読み出され、前述した手法による光学歪みの補正が行われた後に再度ＳＤＲＡＭ３２の所定領域に格納される。
【００６９】
その後、以上によって光学歪みの補正が行われ、ＳＤＲＡＭ３２に格納されたデジタル画像データに対し、ＣＰＵ２１による制御の下でアパーチャ補正部２９によりアパーチャ補正が行われる。
【００７０】
以下、図７を参照して、アパーチャ補正部２９によりアパーチャ補正を行う際にＣＰＵ２１において実行される処理について説明する。なお、ここでは、ユーザによって指定された指定画質調整ゲインが上記不図示のレジスタに予め設定されている場合について説明する。
【００７１】
同図のステップ１００では、上記不図示のレジスタから指定画質調整ゲインを読取り、次のステップ１０２では、当該指定画質調整ゲインのアパーチャ補正部２９における乗算器２９Ｅへの出力を開始する。
【００７２】
次のステップ１０４では、アパーチャ補正の対象とするデジタル画像データの何れかの画素（以下、「処理対象画素」という。）に対応する輝度信号ＹをＳＤＲＡＭ３２から読取り、次のステップ１０６では、処理対象画素の被写体像上の位置を示す前述したアドレスのアパーチャ補正部２９におけるＬＵＴ２９Ｄへの出力を開始する。これによって、処理対象画素の位置に対応する補正係数のＬＵＴ２９Ｄから乗算器２９Ｅへの出力が開始され、乗算器２９Ｅから乗算器２９Ｂに対するゲインの出力が開始される。
【００７３】
次のステップ１０８では、上記ステップ１０４において読取った輝度信号Ｙの値をアパーチャ補正部２９におけるＢＰＦ２９Ａ及び加算器２９Ｃに出力する。
【００７４】
以上の処理によって、アパーチャ補正部２９の加算器２９Ｃからは、ディストーション補正部２８による光学歪みの補正量が大きくなるほど補正量が大きくなるように設定されたゲインを用いてアパーチャ補正が行われた輝度信号Ｙ’が出力されるので、当該輝度信号Ｙ’をステップ１１０において入力し、ステップ１１２にてＳＤＲＡＭ３２の対応する輝度信号Ｙの値に上書き記憶する。
【００７５】
次のステップ１１４では、処理対象とするデジタル画像データの全ての画素について上記ステップ１０４〜ステップ１１２の処理が終了したか否かを判定し、否定判定の場合は上記ステップ１０４に戻って再びステップ１０４〜ステップ１１４の処理を実行し、肯定判定となった時点で本処理を終了する。なお、上記ステップ１０４〜ステップ１１４の処理を繰り返して実行する際には、それまでに処理対象としなかった画素を処理対象画素とする。
【００７６】
本処理によって、ディストーション補正部２８による光学歪み補正後の１被写体像分のデジタル画像データが、アパーチャ補正部２９によってアパーチャ補正が施されたものとされる。
【００７７】
なお、本実施の形態に係るデジタルカメラ１０の不図示の液晶ディスプレイは、ＣＣＤ１４による連続的な撮像によって得られた動画像（スルー画像）を表示してファインダとして使用することができるものとして構成されており、当該液晶ディスプレイをファインダとして使用する場合には、アパーチャ補正部２９によりアパーチャ補正が施された輝度信号Ｙ’と、クロマ信号Ｃｒ、Ｃｂとを、表示制御部２６を介して順次液晶ディスプレイに出力する。これによって液晶ディスプレイにスルー画像が表示されることになる。
【００７８】
また、シャッター１８がユーザによって半押し状態とされた場合、ＡＥ機能が働いて露出状態が設定された後、ＡＦ機能が働いて合焦制御され、その後、引き続き全押し状態とされた場合、この時点でＳＤＲＡＭ３２に格納されている輝度信号Ｙ’と、クロマ信号Ｃｒ、Ｃｂとを、圧縮・伸張部２３によって所定の圧縮形式（本実施の形態では、ＪＰＥＧ形式）で圧縮した後にメディアＩ／Ｆ２５及びバスＢ３を介して、ユーザによって予め指定された記録媒体３６Ａ又は３６Ｂに記録する。これにより撮影が行われる。
【００７９】
以上詳細に説明したように、本実施の形態に係るデジタルカメラ１０は、レンズ１２を介した撮影により得られたデジタル画像データに含まれる光学歪みを補正し、当該光学歪みの補正量が大きくなるほど補正量が大きくなるように補正係数（ゲイン）を設定し、光学歪みが補正されたデジタル画像データに対して、上記設定した補正係数を用いてアパーチャ補正を行っているので、光学歪みの補正に起因する解像感の低下を的確に補うことができ、この結果として画質の劣化を的確に抑制することができる。
【００８０】
また、本実施の形態に係るデジタルカメラ１０は、デジタル画像データによって示される画像の中心から遠くなるほど補正量が大きくなるようにアパーチャ補正による補正量を示す補正係数（ゲイン）を設定しているので、直接光学歪みの補正量に応じて設定する場合に比較して、より容易に補正係数を設定することができる。
【００８１】
また、本実施の形態に係るデジタルカメラ１０は、予めユーザによって指定された指定画質調整ゲインが反映された状態で上記補正係数を設定しているので、指定画質調整ゲインも加味してアパーチャ補正が行われるため、より要求に応じた状態で光学歪みの補正に起因する画質の劣化を抑制することができる。
【００８２】
更に、本実施の形態に係るデジタルカメラ１０は、上記補正係数を複数の分割領域毎に段階的に設定しているので、連続的に設定する場合に比較して、より簡易にＬＵＴ２９Ｄを構成することができる。
【００８３】
なお、本実施の形態では、デジタル画像データによって示される被写体像の中心から遠くなるほど補正量が大きくなるようにアパーチャ補正で用いる補正係数（ゲイン）を設定する場合について説明したが、本発明はこれに限定されるものではなく、例えば、直接光学歪みの補正量（補正前の画像における座標（Ｘ、Ｙ）にある画素データＰの補正後の画像の座標（ｘ、ｙ）への移動量）に応じて設定する形態とすることもできる。
【００８４】
図８には、この場合のアパーチャ補正部２９’の形態の一例が示されている。なお、同図における図４と同一の構成要素には、図４と同一の符号が付してある。同図に示す例では、ＣＰＵ２１において画素毎の上記移動量をディストーション補正部２８から取得し、当該移動量とユーザによって予め指定された指定画質調整ゲインとに基づいて、当該移動量が大きくなるほど大きな値となるようにゲインを導出して乗算器２９Ｂに直接出力する。この場合も、本実施の形態と同様の効果を奏することができる。
【００８５】
また、本実施の形態では、ＳＤＲＡＭ３２に一旦記憶された画像データに対してアパーチャ補正を行う場合について説明したが、本発明はこれに限定されるものではなく、例えば、信号処理部２２とバスＢ１との間にディストーション補正部２８及びアパーチャ補正部２９を介在させて、ＣＣＤ１４によって取得された画像データに対してリアルタイムでディストーション補正及びアパーチャ補正を行い、その後にＳＤＲＡＭ３２に記憶する形態とすることもできる。この場合は、ディストーション補正及びアパーチャ補正を行う際に行っていたＳＤＲＡＭ３２へのアクセスを省略することができる。
【００８６】
また、本実施の形態では、本発明の補正係数を、ＬＵＴ２９Ｄを用いて導出する場合について説明したが、本発明はこれに限定されるものではなく、例えば、処理対象画素の被写体像の中心からの距離に応じて演算結果が大きくなる演算式を用いて導出する形態とすることもできる。この場合は、当該演算式による演算のための負荷が増加するものの、ＬＵＴ２９Ｄを用意する必要がなくなり、本実施の形態に比較して低コスト化及び省スペース化できる。
【００８７】
また、本実施の形態では、アパーチャ補正部２９によるアパーチャ補正処理にＣＰＵ２１を関与させた場合について説明したが、本発明はこれに限定されるものではなく、例えば、図７に示される処理を実行するプロセッサをアパーチャ補正部２９に設け、当該プロセッサによって当該処理を実行することによりＣＰＵ２１を関与させない形態とすることもできる。この場合は、ＣＰＵ２１の負荷を低減することができる。
【００８８】
また、ディストーション補正部２８で行う光学歪みの補正手法は本実施の形態で説明したものに限らず、前述した歪み補正テーブルを用いる手法等、光学歪みを補正する既存のあらゆる手法を適用することができる。
【００８９】
また、本実施の形態で図７を参照して説明した処理の流れは一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。
【００９０】
更に、本実施の形態に係るデジタルカメラ１０及びアパーチャ補正部２９の構成（図１及び図４参照）も一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。
【００９１】
【発明の効果】
以上説明した如く本発明によれば、光学レンズを介した撮影により得られた画像情報に含まれる光学歪みを補正し、当該光学歪みの補正量が大きくなるほど補正量が大きくなるように補正係数を設定し、光学歪みが補正された画像情報に対して、上記設定した補正係数を用いてアパーチャ補正を行っているので、光学歪みの補正に起因する解像感の低下を的確に補うことができ、この結果として画質の劣化を的確に抑制することができる、という効果が得られる。
【図面の簡単な説明】
【図１】実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図２】（Ａ）〜（Ｃ）は、補正パターンの種類を示す図である。
【図３】線形補間法を説明するための概念図である。
【図４】実施の形態に係るアパーチャ補正部２９の構成を示すブロック図である。
【図５】実施の形態に係るアパーチャ補正部２９の動作の説明に供する波形図である。
【図６】実施の形態に係るＬＵＴ２９Ｄの説明に供する模式図である。
【図７】実施の形態に係るアパーチャ補正部２９によりアパーチャ補正を行う際にＣＰＵ２１において実行される処理の流れを示すフローチャートである。
【図８】アパーチャ補正部の他の構成例を示すブロック図である。
【図９】（Ａ）は糸巻き型の光学歪みの形状、（Ｂ）はたる型の光学歪みの形状を示し、（Ｃ）は、糸巻き型及びたる型の各々の光学歪みの変位量（光学ディストーション）を示す図である。
【図１０】従来技術の問題点の説明に供する模式図である。
【符号の説明】
１０デジタルカメラ
２１ＣＰＵ（設定手段）
２８ディストーション補正部（歪み補正手段）
２９アパーチャ補正部（アパーチャ補正手段）

Claims

光学レンズを介した撮影により得られた画像情報に含まれる光学歪みを補正する歪み補正手段と、
前記歪み補正手段による光学歪みの補正量が大きくなるほど補正量が大きくなるように補正係数を設定する設定手段と、
前記歪み補正手段により光学歪みが補正された前記画像情報に対して前記設定手段により設定された前記補正係数を用いてアパーチャ補正を行うアパーチャ補正手段と、
を備えた画像処理装置。
前記設定手段は、前記画像情報によって示される画像の中心から遠くなるほど補正量が大きくなるように前記補正係数を設定する
請求項１記載の画像処理装置。
前記設定手段は、予め指定されたアパーチャ補正の度合いを示す指定係数が反映された状態で前記補正係数を設定する
請求項１又は請求項２記載の画像処理装置。
前記設定手段は、前記補正係数を段階的に設定する
請求項１乃至請求項３の何れか１項記載の画像処理装置。