JP2009303194A - 画像処理装置、撮像装置及び画像処理プログラム - Google Patents

Abstract

【課題】 焦点検出画素の位置に輪郭や細線構造等がある場合であっても高精度に撮像用の画素値を補間できる技術を提供することを目的とする。
【解決手段】 複数の色成分の各々に対応する分光特性を有する複数の撮象用画素と複数の撮像用画素とは異なる分光特性を有する焦点検出用画素とを備えた撮像素子の焦点検出用画素の位置を記憶する記憶部と、撮像素子によって生成された画像のうち焦点検出用画素の近傍の撮像用画素の画素値を用いて焦点検出用画素の補間画素値を生成する画素補間部と、近傍の撮像用画素が焦点検出用画素と同じ分光特性を有した場合の画素値である評価画素値を算出する近傍画素推定部と、焦点検出用画素の画素値と評価画素値とを用いて画像の高周波成分を算出する高周波成分算出部と、補間画素値に高周波成分を付加して焦点検出用画素の撮像用の画素値を算出する高周波成分付加部とを備える。
【選択図】 図１

Description

本発明は、画像処理装置、撮像装置及び画像処理プログラムに関する。

受光面の一部の領域に焦点検出用の画素が配置され、撮像画素による撮像した被写体像の画像信号を出力すると同時に、焦点検出画素による被写体像の合焦状態を検出する検出信号を出力する撮像素子が知られている（例えば、特許文献１）。

特許文献１では、焦点検出画素の位置における撮像用の画素値を補間するために、焦点検出画素の近傍にある撮像画素の画素値を単純平均して求める技術が開示されている。

しかしながら、従来技術である特許文献１の単純平均による補間方法では、補間すべき焦点検出画素の近傍領域において、被写体の輪郭や細線構造等の構造がある場合、それらの構造を消失したり偽色や偽構造が生じたり、画像の画質が劣化してしまうという問題があった。

上記従来技術が有する問題に鑑み、本発明の目的は、焦点検出画素の位置に輪郭や細線構造等がある場合であっても高精度に撮像用の画素値を補間できる技術を提供することにある。

上記課題を解決するために、本発明の画像処理装置は、複数の色成分の各々に対応する分光特性を有する複数の撮像用画素と複数の撮像用画素とは異なる分光特性を有する焦点検出用画素とを備えた撮像素子の焦点検出用画素の位置を記憶する記憶部と、撮像素子によって生成された画像のうち焦点検出用画素の近傍の撮像用画素の画素値を用いて焦点検出用画素の補間画素値を生成する画素補間部と、近傍の撮像用画素が焦点検出用画素と同じ分光特性を有した場合の画素値である評価画素値を算出する近傍画素推定部と、焦点検出用画素の画素値と評価画素値とを用いて画像の高周波成分を算出する高周波成分算出部と、補間画素値に高周波成分を付加して焦点検出用画素の撮像用の画素値を算出する高周波成分付加部とを備える。

また、記憶部は、焦点検出用画素の分光特性を複数の撮像用画素の各々の分光特性の加重和によって表すための加重係数を記憶し、近傍画素推定部は、加重係数とともに焦点検出用画素の近傍の複数の撮像用画素の画素値を用いて加重和を求めることにより、評価画素値を算出しても良い。

また、近傍画素推定部は、近傍の撮像用画素が自身の有する色成分とは異なる色成分を有した場合の画素値を算出し、算出した画素値と近傍の撮像用画素の画素値とを用いて評価画素値を算出しても良い。

また、焦点検出用画素は撮影光学系を瞳分割する画素で複数あり、高周波成分算出部は、焦点検出用画素の画素値と焦点検出用画素とは異なる瞳分割を有する他の焦点検出用画素の画素値とを加算した加算画素値を焦点検出用画素の画素値として用いても良い。

また、高周波成分算出部は、焦点検出用画素の近傍の複数の撮像用画素を用いて、複数の色成分の各々の画素値の変動の大きさである色変動値を色成分毎に算出する色変動算出部をさらに備え、高周波成分算出部は、色変動値を用いて焦点検出画素の高周波成分を算出しても良い。

また、高周波成分算出部は、一の色成分の色変動値と色成分全ての色変動値の総合的な値との比率である色成分変動率を算出し、画像の高周波成分を色成分変動率に応じて調整して、焦点検出用画素が一の色成分の分光特性を有した場合の画像の高周波成分である高周波色成分を算出し、高周波成分付加部は、補間画素値に高周波色成分を付加して焦点検出用画素の撮像用の画素値を算出しても良い。

また、色変動算出部は、焦点検出用画素の近傍で第１の色成分を有する複数の撮像画素の画素値のばらつきを求めることにより第１の色成分の色変動値を算出し、焦点検出用画素の近傍で第１の色成分を有する複数の撮像用画素の画素密度より大きい第２の色成分を有する複数の撮像画素の画素値のばらつきを、第１の色成分を有する複数の撮像用画素の各々の画素位置に第２の色成分を有する複数の焦点検出用画素の画素値を補間生成した値のばらつきとして求めることにより、第２の色成分の色変動値を算出しても良い。

また、高周波成分付加部は、高周波成分の大きさが所定値よりも小さい場合には高周波成分の付加を抑制しても良い。

また、所定値は、複数の撮像画素の画素値の変化率が小さい平地な領域における高周波成分の推定誤差の最大値であることが好ましい。

また、焦点検出用画素の近傍の複数の撮像用画素の画素値を用いて、複数の方向それぞれについての画素値の変化率である方向変動を算出する方向変動算出部をさらに備え、画素補間部は、焦点検出用画素に対して方向変動が最も小さい方向に位置する撮像用画素の画素値から補間画素値を算出しても良い。

また、焦点検出用画素は所定の配列方向に一次元的に配列し、高周波成分付加部は配列方向に対して交わる方向における方向変動が所定値よりも小さい場合には高周波成分の付加を抑制しても良い。

また、焦点検出用画素は、複数で所定の配列方向に一次元的に配列し、高周波成分付加部は、配列方向における方向変動が所定値よりも大きい場合には高周波成分の付加を抑制しても良い。

また、画像の撮影に用いた光学系に関する情報を取得する光学情報取得部と、光学情報に応じて焦点検出用画素の画素値または評価画素値の少なくとも一方を調整する、画素値調整部とを備え、高周波成分算出部は、画素値調整部によって少なくとも一方が調整された焦点検出用画素の画素値と評価画素値とを用いて画像の高周波成分を算出しても良い。

また、画像の撮影に用いた光学系に関する情報を取得する光学情報取得部と、光学情報に応じて加重係数を調整する加重係数調整部とを備えても良い。

また、光学情報取得部は、光学系のＦ値、ＰＯ値、焦点検出用画素位置のうちの少なくとも１つを取得しても良い。

また、焦点検出用画素の画素値または焦点検出用画素の近傍の撮像用画素の画素値の飽和を判定する飽和判定部を備え、高周波成分付加部は、飽和判定部による判定結果に応じて高周波成分の付加を抑制しても良い。

また、高周波成分付加部は、飽和判定部によって焦点検出用画素の画素値が飽和したと判定され且つ高周波成分が負である場合に、高周波成分の付加を抑制しても良い。

また、高周波成分付加部は、飽和判定部によって焦点検出用画素の近傍の撮像用画素の画素値が飽和したと判定され且つ高周波成分が正である場合に、高周波成分の付加を抑制しても良い。

本発明の撮像装置は、撮像素子と、本発明の画像処理装置とを備える。

本発明の画像処理プログラムは、本発明の画像処理装置の計算をコンピュータで実現する。

本発明によると、焦点検出用画素の位置に輪郭や細線構造等がある場合であっても高精度に撮像用の画素値を補間できる。

本発明の一の実施形態に係る電子カメラ１０の構成を示すブロック図 撮像素子のセルの配置を示す図 本実施形態の電子カメラ１０での画像処理のフローチャート 凸構造を含む縦５画素の画像構造を縦断した図 微細な色構造を有する画像の画像構造を縦断した図

図１は、本発明の一の実施形態に係る電子カメラ１０の構成図である。

電子カメラ１０は、撮像レンズ１、撮像素子２、Ａ／Ｄ変換部３、バッファメモリ４、ＣＰＵ５、カードインタフェース（カードＩ／Ｆ）６、操作部材８、記憶部９、表示部１１及び画像処理部１２から構成される。バッファメモリ４、ＣＰＵ５、カードＩ／Ｆ６、操作部材８、記憶部９、表示部１１及び画像処理部１２は、バス１３を介して情報伝達可能に接続されている。なお、図１は電子カメラ１０の主要部分のみを示す。例えば、図１において、ＣＰＵ５の指令に従って、撮像素子２及びＡ／Ｄ変換部３に撮影指示のタイミングパルスを発するタイミングジェネレータ等は省略されている。

撮像レンズ１は、複数の光学レンズにより構成され、被写体像を撮像素子２の受光面に結像する。

撮像素子２は、その受光面上にある複数の撮像画素の各々に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかの原色透過フィルタがベイヤ配列型に設けられたＣＣＤやＣＭＯＳの半導体イメージセンサ等を適宜選択して用いる。さらに、本実施形態の撮像素子２は、受光面上の一部の領域に、水平走査方向に一次元的に配置された複数の焦点検出画素（ＡＦ画素）を有する。それらのＡＦ画素は、撮像画素の原色透過フィルタは設置されておらず、且つ撮像レンズ１の光学系の瞳の左側又は右側を通過する光束を受光する２種類存在する。したがって、本実施形態におけるＡＦ画素の各々は、白色光の輝度に応じた左側又は右側の瞳分割された検出信号を出力する。図２は、撮像素子２によって撮像された画像データのうち、ＡＦ画素が配置された領域を中心とした画像データの一部を示す。それぞれのセルが１つの画素を表す。各セルの先頭の記号Ｒ、Ｇ及びＢは、各原色透過フィルタを有する撮像画素を示す。一方、記号Ｘ及びＹは、左側又は右側からの光束に感度を有するＡＦ画素を示し、それらが交互に水平走査方向に一次元的に配列されている。これらの記号に続く２桁の番号は画素の位置を示す。

この撮像素子２は、ＣＰＵ５の指令を受けてタイミングジェネレータ（不図示）が発するタイミングパルスに基づいて動作し、前方に設けられた撮像レンズ１によって結像される被写体像を取得する。撮像素子２から出力された画像信号は、Ａ／Ｄ変換部３にてデジタル信号に変換される。デジタルの画像信号は、フレームメモリ（不図示）に一時的に記録された後、バッファメモリ４に記録される。なお、バッファメモリ４には、半導体メモリのうち、任意の不揮発性メモリを適宜選択して用いることができる。

ＣＰＵ５は、ユーザによる操作部材８の電源釦操作によって電子カメラ１０の電源が入れられると、記憶部９に記憶されている制御プログラムや画像処理プログラムを読み込み、電子カメラ１０を初期化する。ＣＰＵ５は、操作部材８を介してユーザからの指示を受け付けると、制御プログラムに基づいて、タイミングジェネレータ（不図示）に被写体の撮像指令を出力したり、画像処理部１２に撮像した画像の画像処理をさせたり、カードメモリ７への記録や表示部１１への表示等の制御を行う。ＣＰＵ５には、一般的なコンピュータのＣＰＵが使用できる。

カードＩ／Ｆ６には、カードメモリ７が脱着可能に装着される。バッファメモリ４に記録されている画像は、ＣＰＵ５の指示に基づいて画像処理部１２で画像処理された後、ＪＰＥＧ形式やＹＵＶ形式等のファイルとしてカードメモリ７に記録される。

操作部材８は、ユーザによる部材操作の内容に応じた操作信号をＣＰＵ５に出力する。操作部材８には、例えば、電源釦、撮影モード等のモード設定釦及びレリーズ釦等の操作部材を有する。なお、操作部材８は、後述する表示部１１の画面に表示されるタッチパネル式の釦であっても良い。

記憶部９は、電子カメラ１０が撮像した画像データを記録したり、ＣＰＵ５が電子カメラ１０を制御するための制御プログラムや画像処理部１２に行わせる画像処理プログラム等の各種プログラム等を記憶する。さらに、記憶部９は、撮像素子２のＡＦ画素の位置情報のデータ、予め求めておいた画像処理プログラムに用いる各種閾値や加算係数等のデータをも記憶する。記憶部９に記憶されるプログラムやデータは、バス１３を介して、ＣＰＵ５から適宜参照することができる。記憶部９は、一般的なハードディスク装置や光磁気ディスク装置等の記憶装置を適宜選択して用いることができる。

表示部１１は、スルー画や撮影した画像又はモード設定画面等を表示する。表示部１１には、液晶モニタ等を適宜選択して用いることができる。

画像処理部１２は、ＣＰＵ５の画像処理に指示に基づいて、輪郭強調処理やホワイトバランス補正等の画像処理とともに、ＡＦ画素の画素位置における撮像画素値を補間計算を行うディジタルフロントエンド回路である。

次に、本実施形態に係る電子カメラ１０について、図３のフローチャートを参照しながら説明する。

ユーザにより操作部材８の電源釦が押されると、ＣＰＵ５は、電子カメラ１０の記憶部９に記憶されている制御プログラム及び画像処理プログラムを読み込み、電子カメラ１０を初期化する。ＣＰＵ５は、ユーザからの被写体の撮像指示が出されるまで待機する。ユーザによって操作部材８のレリーズ釦が押されると、ＣＰＵ５は、撮像指示が出されたと判断して、ステップＳ１０〜ステップＳ２３の処理を行う。なお、本実施形態において、撮像画素の各々に設置される原色透過フィルタがベイヤ配列のパターンであることから、記号ＸのＡＦ画素の位置には緑色（Ｇ）の撮像画素値が補間され、記号ＹのＡＦ画素の画素位置には青色（Ｂ）の撮像画素値が補間される。以下の説明では、Ｙ４４の青色の撮像画素値とＸ４５の緑色の撮像画素値とをそれぞれ補間する場合について説明する。他のＡＦ画素における撮像画素値を補間する手順も同様である。

ステップＳ１０：ＣＰＵ５は、タイミングジェネレータ（不図示）に対して撮像指令を出す。タイミングジェネレータ（不図示）は、タイミングパルスを撮像素子２に発し、撮像素子２は撮像レンズ１によって結像される被写体を撮像する。撮像した画像データは、Ａ／Ｄ変換部３を介して、バッファメモリ４に記録される。

ステップＳ１１：ＣＰＵ５は、ステップＳ１０で撮影された画像データをバッファメモリ４から読み込むとともに、ＡＦ画素の位置情報のデータ、後述する閾値及び加算係数を記憶部９から読み込む。ＣＰＵ５は、それらの画像データ、ＡＦ画素の位置情報、閾値及び加算係数をバス１３を介して画像処理部１２へ転送し、画像処理部１２に対して、輪郭強調処理やホワイトバランス補正等の画像処理とともに、ＡＦ画素の位置における撮像画素値を補間計算で求める。画像処理部１２は、Ｘ４５及びＹ４４のＡＦ画素での撮像画素値を補間するために、Ｘ４５及びＹ４４の周辺の撮像画素の画素値を用いて４方向の画素値の変化率である方向変動Ｈ１〜Ｈ４の値を、次式（１）〜（４）を用いてそれぞれ求める。なお、本実施形態における４方向とは、水平走査方向、垂直走査方向、水平走査方向に対して４５度及び１３５度方向である。
水平走査方向の方向変動Ｈ１＝
２×（｜Ｇ３４−Ｇ３６｜＋｜Ｇ５４−Ｇ５６｜）＋｜Ｒ３３−Ｒ３５｜＋｜Ｒ５３−Ｒ５５｜＋｜Ｂ２４−Ｂ２６｜＋｜Ｂ６４−Ｂ６６｜ …（１）
垂直走査方向の方向変動Ｈ２＝
２×（｜Ｇ３４−Ｇ５４｜＋｜Ｇ３６−Ｇ５６｜）＋｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜ …（２）
水平走査方向に対して４５度の方向変動Ｈ３＝
２×（｜Ｇ２７−Ｇ３６｜＋｜Ｇ５４−Ｇ６３｜）＋｜Ｒ３５−Ｒ５３｜＋｜Ｒ３７−Ｒ５５｜＋｜Ｂ２６−Ｂ６２｜＋｜Ｂ２８−Ｂ６４｜ …（３）
水平走査方向に対して１３５度の方向変動Ｈ４＝
２×（｜Ｇ２３−Ｇ３４｜＋｜Ｇ５６−Ｇ６７｜）＋｜Ｒ３３−Ｒ５５｜＋｜Ｒ３５−Ｒ５７｜＋｜Ｂ２２−Ｂ６６｜＋｜Ｂ２４−Ｂ６８｜ …（４）
ステップＳ１２：画像処理部１２は、ステップＳ１１で求めた方向変動Ｈ１〜Ｈ４のうち最も小さい値の方向変動の方向を選択し、その方向にある撮像画素の画素値を用いて、ＡＦ画素Ｘ４５の位置でのＧの撮像画素値Ｇ_Ｘ４５及びＡＦ画素Ｙ４４の位置でのＢの撮像画素値Ｂ_Ｙ４４を、次式（５）〜（８）のうち選択した方向に対応する式を用いて求める。これにより、変動の小さい方向にある撮像画素の画素値を用いることにより、より正確にＸ４５及びＹ４４等のＡＦ画素の位置での撮像画素値を補間することが可能となる。
方向変動Ｈ１が最小の場合
Ｂ_Ｙ４４＝（Ｂ２４＋Ｂ６４）／２ …（５）
Ｇ_Ｘ４５＝（Ｇ３４＋Ｇ３６＋Ｇ５４＋Ｇ５６）／４
方向変動Ｈ２が最小の場合
Ｂ_Ｙ４４＝（Ｂ２４＋Ｂ６４）／２ …（６）
Ｇ_Ｘ４５＝（Ｇ２５＋Ｇ６５）／２
方向変動Ｈ３が最小の場合
Ｂ_Ｙ４４＝（Ｂ２６＋Ｂ６２）／２ …（７）
Ｇ_Ｘ４５＝（Ｇ３６＋Ｇ５４）／２
方向変動Ｈ４が最小の場合
Ｂ_Ｙ４４＝（Ｂ２２＋Ｂ６６）／２ …（８）
Ｇ_Ｘ４５＝（Ｇ３４＋Ｇ５６）／２
ステップＳ１３：画像処理部１２は、ＡＦ画素の配列方向である水平走査方向において、ＡＦ画素の画素値の方向変動Ｈ５を、例えば、ＡＦ画素のＹ４４及びＸ４５の白色光の画素値Ｗ４４及びＷ４５と次式（９）とを用いて算出する。
Ｈ５＝｜Ｗ４４−Ｗ４５｜ …（９）
画像処理部１２は、その方向変動Ｈ５の値が閾値ｔｈ１より大きいか否かを判定する。閾値ｔｈ１より方向変動Ｈ５が大きい場合（ＹＥＳ側）、画像処理部１２は、ステップＳ１２で求めたＢ_Ｙ４４及びＧ_Ｘ４５の補間した値をＹ４４及びＸ４５における撮像画素値とし、画像データを更新する。画像処理部１２は、更新した画像データをバス１３を介してバッファメモリ４に記録し、ステップＳ２３へ移行する。一方、方向変動Ｈ５が閾値ｔｈ１以下の場合（ＮＯ側）、画像処理部１２は、ステップＳ１４へ移行する。なお、閾値ｔｈ１は、例えば、１２ビット画像を処理する場合、５１２程度の値にすれば良い。

ステップＳ１４：画像処理部１２は、ステップＳ１１で求めた方向変動Ｈ２の値が、閾値ｔｈ２より小さいか否かを判定する。閾値ｔｈ２よりＨ２が小さい場合（ＹＥＳ側）、画像処理部１２は、ステップＳ１２で求めたＢ_Ｙ４４及びＧ_Ｘ４５の補間した値をＹ４４及びＸ４５における撮像画素値とし、画像データを更新する。画像処理部１２は、更新した画像データをバス１３を介してバッファメモリ４に記録し、ステップＳ２３へ移行する。一方、方向変動Ｈ２が閾値ｔｈ２以下の場合（ＮＯ側）、画像処理部１２は、ステップＳ１５へ移行する。なお、閾値ｔｈ２は、例えば、１２ビット画像を処理する場合、６４程度の値にすれば良い。

ステップＳ１５：画像処理部１２は、右側からの光束に感度を有するＹ４４等のＡＦ画素における白色光の平均画素値＜Ｗ４４＞等を、近傍にある色成分Ｒ、Ｇ及びＢの撮像画素の画素値を用いて算出する。具体的には、ステップＳ１２において、例えば、画像処理部１２が方向変動Ｈ２を最小であると判定した場合、Ｂの撮像画素の画素値は式（６）にあるＢ２４とＢ６４とを用いる。一方、Ｒ及びＧの画素値については、Ｂの撮像画素Ｂ２４とＢ６４との位置におけるＲ及びＧの画素値を次式（１０）の４式を用いて補間計算する。
Ｒ_Ｂ２４＝（Ｒ１３＋Ｒ１５＋Ｒ３３＋Ｒ３５）／４ …（１０）
Ｇ_Ｂ２４＝（Ｇ１４＋Ｇ２３＋Ｇ２５＋Ｇ３４）／４
Ｒ_Ｂ６４＝（Ｒ５３＋Ｒ５５＋Ｒ７３＋Ｒ７５）／４
Ｇ_Ｂ６４＝（Ｇ５４＋Ｇ６３＋Ｇ６５＋Ｇ７４）／４
そして、画像処理部１２は、撮像画素Ｂ２４及びＢ６４の位置における白色光の画素値Ｗ２４及びＷ６４を、ＣＰＵ５から転送されてきたＲ、Ｇ及びＧの加重係数ＷＲ、ＷＧ及びＷＢを用いて、式（１１）の加重和によって算出する。なお、加重係数ＷＲ、ＷＧ及びＷＢの求め方については後述する。
Ｗ２４＝ＷＲ×Ｒ_Ｂ２４＋ＷＧ×Ｇ_Ｂ２４＋ＷＢ×Ｂ２４ …（１１）
Ｗ６４＝ＷＲ×Ｒ_Ｂ６４＋ＷＧ×Ｇ_Ｂ６４＋ＷＢ×Ｂ６４
そして、画像処理部１２は、Ｙ４４における白色光の平均画素値＜Ｗ４４＞＝（Ｗ２４＋Ｗ６４）／２を算出する。

ステップＳ１６：画像処理部１２は、左側からの光束に感度を有するＸ４５等のＡＦ画素における白色光の平均画素値＜Ｗ４５＞等を、ステップＳ１５の場合と同様に、近傍にある色成分Ｒ、Ｇ及びＢの撮像画素の画素値を用いて算出する。ステップＳ１２において、画像処理部１２が方向変動Ｈ２を最小であると判定した場合、Ｇの撮像画素の画素値は式（６）にあるＧ２５とＧ６５とを用いる。一方、Ｒ及びＢの画素値については、Ｇの撮像画素Ｇ２５とＧ６５との位置におけるＲ及びＢの画素値を次式（１２）の４式を用いて補間計算する。
Ｒ_Ｇ２５＝（Ｒ１５＋Ｒ３５）／２ …（１２）
Ｂ_Ｇ２５＝（Ｂ２４＋Ｂ２６）／２
Ｒ_Ｇ６５＝（Ｒ５５＋Ｒ７５）／２
Ｂ_Ｇ６５＝（Ｂ６４＋Ｇ６６）／２
そして、画像処理部１２は、撮像画素Ｇ２５及びＧ６５の位置における白色光の画素値Ｗ２５及びＷ６５を、式（１３）の加重和によって算出する。
Ｗ２５＝ＷＲ×Ｒ_Ｇ２５＋ＷＧ×Ｇ２５＋ＷＢ×Ｂ_Ｇ２５ …（１３）
Ｗ６５＝ＷＲ×Ｒ_Ｇ６４＋ＷＧ×Ｇ２５＋ＷＢ×Ｂ_Ｇ６５
そして、画像処理部１２は、Ｘ４５における白色光の平均画素値＜Ｗ４５＞＝（Ｗ２５＋Ｗ６５）／２を算出する。

ステップＳ１７：画像処理部１２は、撮像素子２の各ＡＦ画素における白色光の画素値の高周波成分を、ステップＳ１５及びステップＳ１６において求めた白色光の平均画素値を用いて求める。画像処理部１２は、撮像素子２の各ＡＦ画素の画素値から、各ＡＦ画素の画素位置における白色光の平均画素値を最初に求める。つまり、各ＡＦ画素の画素値は、左側又は右側からの光束を瞳分割した値である。したがって、各ＡＦ画素の位置における白色光の画素値を得るためには、左側及び右側からの光束の画素値を互いに加算する必要がある。そこで、本実施形態の画像処理部１２は、各ＡＦ画素の画素値及び隣接するＡＦ画素の画素値を用いて、例えば、ＡＦ画素Ｙ４４やＸ４５の位置における白色光の平均画素値を次式（１４）のように算出する。
＜Ｗ４４＞’＝Ｗ４４＋（Ｗ４３＋Ｗ４５）／２ …（１４）
＜Ｗ４５＞’＝Ｗ４５＋（Ｗ４４＋Ｗ４６）／２
そして、画像処理部１２は、次式（１５）から、Ｙ４４及びＸ４５の位置における白色光の高周波成分ＨＦ_Ｙ４４及びＨＦ_Ｘ４５を求める。
ＨＦ_Ｙ４４＝＜Ｗ４４＞’−＜Ｗ４４＞ …（１５）
ＨＦ_Ｘ４５＝＜Ｗ４５＞’−＜Ｗ４５＞
ステップＳ１８：画像処理部１２は、ステップＳ１７で求めた各ＡＦ画素の位置における白色光の画素値の高周波成分ＨＦがその白色光の画素値に占める割合が、閾値ｔｈ３（本実施形態では、例えば、１０％程度）より小さいか否かを判定する。閾値ｔｈ３より高周波成分ＨＦが小さい場合（ＹＥＳ側）、画像処理部１２は、ステップＳ１２で求めたＢ_Ｙ４４及びＧ_Ｘ４５の補間した値をＹ４４及びＸ４５における撮像画素値とし、画像データを更新する。画像処理部１２は、更新した画像データをバス１３介してバッファメモリ４に記録し、ステップＳ２３へ移行する。一方、高周波成分ＨＦが閾値ｔｈ３以上の場合（ＮＯ側）、画像処理部１２は、ステップＳ１９へ移行する。なお、閾値ｔｈ３の値についての説明は、後の加算係数ＷＲ、ＷＧ及びＷＢの説明とともに行う。

ステップＳ１９：画像処理部１２は、Ｙ４４やＸ４５の近傍における各色成分Ｒ、Ｇ又はＢの撮像画素の画素値の色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂを算出する。ここで、色変動ＶＧｒ及びＶＧｂは、Ｒ又はＢの撮像画素の位置におけるＧの色変動を示す。画像処理部１２は、次式（１６）の２式に基づいて、色変動ＶＲとＶＧｒとを求める。
ＶＲ ＝｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｒ３７−Ｒ５７｜
ＶＧｒ＝｜（Ｇ３２＋Ｇ３４）／２−（Ｇ５２＋Ｇ５４）／２｜＋｜（Ｇ３４＋Ｇ３６）／２−（Ｇ５４＋Ｇ５６）／２｜＋｜（Ｇ３６＋Ｇ３８）／２−（Ｇ５６＋Ｇ５８）／２｜ …（１６）
なお、本実施形態の画像処理部１２は、Ｒの撮像画素の位置Ｒ３３、Ｒ３５、Ｒ３７、Ｒ５３、Ｒ５５及びＲ５７におけるＧの画素値の平均値を求めてからＶＧｒの値を計算する。

一方、画像処理部１２は、次式（１７）の２式に基づいて、色変動ＶＢとＶＧｂとを求める。
ＶＢ ＝｜Ｂ２２−Ｂ６２｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜
ＶＧｂ＝｜（Ｇ２１＋Ｇ２３）／２−（Ｇ６１＋Ｇ６３）／２｜＋｜（Ｇ２３＋Ｇ２５）／２−（Ｇ６３＋Ｇ６３）／２｜＋｜（Ｇ２５＋Ｇ２７）／２−（Ｇ６５＋Ｇ６７）／２｜ …（１７）
なお、本実施形態の画像処理部１２は、Ｂの撮像画素の位置Ｂ２２、Ｂ２４、Ｂ２６、Ｂ６２、Ｂ６４及びＢ６６におけるＧの画素値の平均値を求めてからＶＧｂの値を計算する。

ステップＳ２０：画像処理部１２は、ステップＳ１９で算出した色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂを用いて、色成分Ｇ及びＢの白色光に対する色変動率Ｋ_ＷＧ及びＫ_ＷＢを算出する。まず、画像処理部１２は、色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂから次式（１８）の色変動ＶＲ２、ＶＧ２及びＶＢ２を求める。
ＶＲ２＝（ＶＲ＋α）×（ＶＧｂ＋α） …（１８）
ＶＢ２＝（ＶＢ＋α）×（ＶＧｒ＋α）
ＶＧ２＝（ＶＧｂ＋α）×（ＶＧｒ＋α）
ここで、αは、色変動率の値を安定させるための適当な定数であり、例えば、１２ビット画像を処理する場合には、α＝２５６程度の値にすれば良い。

そして、画像処理部１２は、色変動ＶＲ２、ＶＧ２及びＶＢ２を用いて、次式（１９）の白色光における色変動ＶＷを算出する。
ＶＷ＝ＶＲ２＋ＶＧ２＋ＶＢ２ …（１９）
よって、画像処理部１２は、色変動率Ｋ_ＷＧ及びＫ_ＷＢを次式（２０）から算出する。
Ｋ_ＷＢ＝ＶＧ２／ＶＷ …（２０）
Ｋ_ＷＢ＝ＶＢ２／ＶＷ
ステップＳ２１：画像処理部１２は、ステップＳ１７において求めた各ＡＦ画素の位置における白色光の画素値の高周波成分ＨＦと、ステップＳ２０で算出した色変動率Ｋ_ＷＧ及びＫ_ＷＢとを用いて、各ＡＦ画素の位置における色成分Ｇ及びＢの画素値の高周波成分を次式（２１）から算出する。
ＨＦＢ_Ｙ４４＝ＨＦ_Ｙ４４×Ｋ_ＷＢ …（２１）
ＨＦＧ_Ｘ４５＝ＨＦ_Ｘ４５×Ｋ_ＷＧ
ステップＳ２２：画像処理部１２は、ステップＳ２１で求めた各ＡＦ画素における各色成分の高周波成分を、ステップＳ１２で補間して求めた撮像画素値に付加する。ＣＰＵ５は、例えば、次式（２２）に基づいて、Ｙ４４及びＸ４５の撮像画素値Ｂ’及びＧ’をそれぞれ算出する。
Ｂ’_Ｙ４４＝Ｂ_Ｙ４４＋ＨＦ_Ｙ４４
Ｇ’_Ｘ４５＝Ｇ_Ｘ４５＋ＨＦ_Ｘ４５ …（２２）
画像処理部１２は、Ｙ４４やＸ４５等のＡＦ画素の位置において補間して求めたＢ’_Ｙ４４及びＧ’_Ｘ４５等の画素値を、それぞれの位置における撮像画素値として、画像データを更新する。画像処理部１２は、更新した画像データをバス１３を介してバッファメモリ４に記録する。

ステップＳ２３：ＣＰＵ５は、バッファメモリ４にある画像データをＪＰＥＧ形式やＹＵＶ形式等のファイルにして、バス１３とカードＩ／Ｆ６とを介して、カードメモリ７に記録して、一連の作業を終了する。

次に、加重係数ＷＲ、ＷＧ及びＷＢの求め方について、閾値ｔｈ３とともに説明する。

そうした加算係数や閾値を求めるにあたり、製品に組み込まれる撮像素子２又はその撮像素子２と同じ性能を持つ撮像素子を用意する。その撮像素子２にほぼ一様な照度の照明を波長帯域を様々に変えて照射し、それぞれの波長帯域についての撮像画像データを取得する。そして、各波長帯域の撮像画像データｎについて、式（１４）のように瞳分割の異なるＡＦ画素の画素値を加算することにより白色光の画素値Ｗｎを算出する。同時に、ＡＦ画素の近傍にある各色成分の撮像画素の画素値Ｒｎ、Ｇｎ、Ｂｎについても抽出する。

そして、未知の加重係数ＷＲ、ＷＧ及びＷＢの関数として二乗誤差Ｅを次のように定義する。
Ｅ＝Σ_ｎ（ＷＲ×Ｒｎ＋ＷＧ×Ｇｎ＋ＷＢ×Ｂｎ−Ｗｎ）^２
そして、Ｅを最小とする加重係数ＷＲ、ＷＧ及びＷＢを求める（ＥをＷＲ、ＷＧ又はＷＢでそれぞれ偏微分した値を０にする加重係数ＷＲ、ＷＧ及びＷＢを求める）。このようにして、加重係数ＷＲ、ＷＧ及びＷＢを求めることにより、ＡＦ画素の分光特性を各色成分Ｒ、Ｇ及びＢの撮像画素の分光特性の加重和によって表される加重係数が求められる。このように求めた加重係数ＷＲ、ＷＧ及びＷＢを電子カメラ１０の記憶部９に記録する。

さらに、求めた加重係数ＷＲ、ＷＧ及びＷＢにもとづいて各撮像画像データｎについて誤差率Ｋｎを次の式で求める。
Ｋｎ＝｜ＷＲ×Ｒｎ＋ＷＧ×Ｇｎ＋ＷＢ×Ｂｎ−Ｗｎ｜／Ｗｎ
Ｋｎの最大値を求め、閾値ｔｈ３として電子カメラ１０の記憶部９に記録する。

図４は、本実施形態の効果が発揮される画像構造の一例を表す。図４は凸構造（明るい線あるいは点）を含む縦５画素の画像構造を縦断した図であり、横軸は垂直走査方向（ｙ座標）であり縦軸は光量または画素値である。そして、凸構造がちょうど水平走査方向に配列されたＡＦ画素列上にある。

図４の○印は、Ｇの撮像画素で撮像された画素値である。ただし、ＡＦ画素の位置にはＧの撮像画素が存在しないので、その位置でのＧの画素値は得られない。従って、丁度ＡＦ画素の位置に凸構造がある場合には、ＡＦ画素の近傍のＧの撮像画素の画素値からだけでは、図４の凸構造を再現できない。実際、ステップＳ１２において、ＡＦ画素の近傍のＧの撮像画素の画素値を用いてＡＦ画素の位置で補間して求めたＧの画素値（図４の●印）は、凸構造を再現していない。

一方、ＡＦ画素の位置では、白色光の画素値が得られる。ただし、通常の画素は瞳の全領域を通過する光を受光するのに対し、ＡＦ画素は瞳の右側あるいは左側を通過する光のみを受光するので、瞳分割の異なる隣接するＡＦ画素を加算することにより通常の（瞳の全領域を通過した光の）白色光の画素値が算出される（式（１４））。

また、ＡＦ画素の近傍のＧの撮像画素の位置に、他の色成分Ｒ及びＧを補間生成して、色成分Ｒ、Ｇ及びＢの加重和を求めることにより、多くの場合には充分な精度で白色光の画素値を求めることができる（式（１１）及び式（１３））。

図４の□印は、そのようにして求めた白色光の画素値の分布である。多くの場合白色光の画素値の高周波成分と色成分Ｇの画素値の高周波成分とは比例するので、白色光の画素値から算出した高周波成分はＧの画素値の凸構造成分の情報を持つ。よって、白色光の画素値の高周波成分に基づいてＧの画素値の高周波成分を求め、その値を●印のデータに加えることにより、☆印のＧの画素値が得られ、凸構造を再現する（式（２１））。

なお、図５は、微細な色構造を持つ画像についても、本実施形態によって適切に色構造が再現されることを表す例である。この色構造では、ＡＦ画素が配列されている位置にちょうど黄色い線があり、その周囲は白色である。黄色い線なので、ＡＦ画素が配列される位置では色成分Ｂの画素値は小さくなり、色成分Ｒ及びＧの画素値はほぼ一様である。○印はＧの撮像画素の画素値であり、△印はＢの撮像画素の画素値である。そして、●印は、ステップＳ１２の処理でＧの画素値から補間生成された画素値であり、▲印は、ステップＳ１２の処理でＢの画素値から補間生成された画素値である。図５が示すように、●印及び▲印は、凹み構造を持たない。一方、□印はステップＳ１５又はステップＳ１６で求めた白色光の画素値であり、その分布は凹み構造を示す。したがって、上述のように、ＡＦ画素列の位置において、Ｂの画素値は小さい値にならないといけないことから、▲印の画素値が誤りである。

そこで、図３のステップＳ１９及びステップＳ２０において、ＡＦ画素の近傍の各色成分Ｒ、Ｇ及びＢの撮像画素の画素値のばらつきを求め、各色成分が変動する比率である色変動率を算出する。多くの場合、色構造は広がりを持つことから、ＡＦ画素の近傍で求めた色変動率をＡＦ画素の位置における色変動率とすることには問題ない。ただし、色成分Ｒ、Ｇ及びＢの撮像画素の位置が異なるので、単にＲとＧとＢとについての画素値のばらつきをそれぞれ算出して比較するだけでは、画像構造が位置によって異なることに起因する影響を大きく受ける。そこで、ＲとＧの変動を比較する際には、Ｒの撮像画素の画素値のばらつき（ＶＲ）に対して、Ｒの撮像画素の位置に補間したＧの画素値のばらつき（ＶＧｒ）を比較することにより、位置に起因する影響を抑制している（式（１６））。すなわち、
Ｒの画素値の変動（ＶＲ２）：Ｇの画素値の変動（ＶＧ２）＝ ＶＲ：ＶＧｒ
である。同様に、
Ｂの画素値の変動（ＶＢ２）：Ｇの画素値の変動（ＶＧ２） ＝ ＶＢ：ＶＧｂ
であり、それらの関係をまとめたのが式（１８）である。白色光の画素値の変動（ＶＷ）を、式（１９）と見積もれば、白色光の画素値の変動（ＶＷ）に対するＢの画素値の色変動率Ｋ_ＷＢ及びＧの画素値の色変動率Ｋ_ＷＧは、式（２０）から算出できる。そして、ステップＳ２１では、それらの色変動率Ｋ_ＷＢとＫ_ＷＧとに基づいて、白色光の画素値の高周波成分ＨＦを調整することにより、Ｇの画素値の高周波成分ＨＦＧ及びＢの画素値の高周波成分ＨＦＢを算出することができる。

図５の画像の場合には、白色光の画素値に対するＢの画素値の色変動率Ｋ_ＷＢは１に近い値となり、▲印の画素値を補間して求めたＢの画素値に高周波成分ＨＦＢを付加した画素値（図５の☆印）は、凹み構造を正しく再現する。一方、白色光の画素値に対するＧの画素値の色変動率Ｋ_ＷＧは０に近い値となり、●印の画素値を補間して求めたＢの画素値には、高周波成分ＨＦＧはほとんど付加されないので、凹構造とはならず一定の値の構造のままである。

なお、ステップＳ１７の式（１４）において、ＡＦ画素の配列方向に隣接するＡＦ画素の画素値を用いて、各ＡＦ画素の位置における白色光の画素値を算出するので、白色光の画素値の配列方向の解像力が失われる。したがって、配列方向に強い変動がある場合には、高周波成分の計算が不正確になるが、ステップＳ１３では、そのような場合には高周波成分の付加を中止する。

また、ＡＦ画素の配列方向に変動はなくても、各色成分の撮像画素の分光特性の加重和とＡＦ画素の分光特性とのズレ等に起因して、白色光の画素値の高周波成分が若干の誤差を持つ。垂直走査方向（ＡＦ画素の配列方向に交わる方向）に画像の大きな変動がない場合には、高周波成分を付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じる恐れがある。そこで、ステップＳ１４では、そのような場合には高周波成分の付加を抑制する。また、算出された高周波成分が充分小さい場合にはそれを付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じる恐れがあるため、ステップＳ１８ではそのような場合には高周波成分の付加を抑制する。

ステップＳ１７の式（１４）で、瞳分割の異なるＡＦ画素の画素値の和を求めることにより、通常の（瞳の全領域を通過した光の）白色光の画素値を算出している。ただし、ＡＦ画素値の和を通常の白色光の画素値とみなせるのは、ＡＦ画素が瞳を厳密に半分ずつに分割している場合である。

一方、ＡＦ画素の設計しだいでは上記とは異なる場合もある。例えば、ＡＦ画素が瞳の中間付近を受光せず、瞳の全領域の右側の３割程度の光と左側の３割程度の光とをそれぞれのＡＦ画素で受光するように設計する場合もある。このタイプのＡＦ画素によると像の位相差が大きくなるので、（Ｆ値が所定値以下である場合には）高いＡＦ精度を実現できる。

上記ＡＦ画素を採用した場合、式（１４）で算出されるＡＦ画素の画素値の和は通常の白色光の画素値に比例した値になるが、その比例関係は撮影光学系の条件（Ｆ値、ＰＯ値、焦点検出用画素位置など）に応じて異なる。

そこで、撮影光学条件を取得して、それに応じてＡＦ画素の画素値の和を調整することにより、ＡＦ画素位置における通常の白色光の画素値を求めても良い。

あるいは、ＡＦ画素近傍における白色成分を推定するための加重係数である、ＷＲ、ＷＧおよびＷＢを調整することにより、ＡＦ画素近傍における白色成分の推定値がＡＦ画素の画素値の和に相当するように調整しても良い。この方法によると、ＡＦ画素の画素値の和と通常の白色光の画素値との比例関係が入射光の波長に若干依存することに対応できる。

あるいは、上記２つのタイプの調整を組み合わせても良い。

なお、ＡＦ画素が瞳を半分ずつに分割するように設計した場合であっても、ＡＦ画素の構造上の制限や製造誤差により、厳密にはそれが実現されない場合があるが、上記調整はそのような場合にも有効である。

なお、ＡＦ画素値が飽和している場合、ＡＦ画素値に基づいて推定された白色成分は実際よりも小さな値になるので、式（１５）で算出される高周波成分は実際よりも小さな値になる。その場合、特に負の高周波成分を補間値に加算すると、偽の画像構造が生成されてしまう場合がある。そこで、ＡＦ画素値が飽和して高周波成分が負である場合には、高周波成分の加算を抑制することが望ましい。

なお、ＡＦ画素の近傍の撮像画素値が飽和している場合、その画素値に基づいて推定された近傍の白色成分は実際よりも小さな値になるので、式（１５）で算出される高周波成分は実際よりも大きな値になる。その場合、特に正の高周波成分を補間値に加算すると、偽の画像構造が生成されてしまう場合がある。そこで、ＡＦ画素の近傍の撮像画素値が飽和して高周波成分が正である場合には、高周波成分の加算を抑制することが望ましい。

なお、本実施形態では、ＡＦ画素の配列方向を水平走査方向としたが、本発明はこれに限定されず、ＡＦ画素は垂直走査方向又はその他の方向に配列されていても良い。

なお、本実施形態では、ＡＦ画素の各々は左側又は右側からの光束を瞳分割する焦点検出画素としたが、本発明はこれに限定されず、ＡＦ画素の各々は左側及び右側からの光束を瞳分割する画素を有する焦点検出画素でも良い。

なお、本発明に係る画像処理装置における処理をコンピュータで実現するためのプログラムに対しても適用可能である。

１ 撮像レンズ、２ 撮像素子、３ Ａ／Ｄ変換部、４ バッファメモリ、５ ＣＰＵ、６ カードＩ／Ｆ、７ カードメモリ、８ 操作部材、９ 記憶部、１０ 電子カメラ、１１ 表示部、１２ 画像処理部、１３ バス

特開２０００−３０５０１０号公報

Claims (20)

1. 複数の色成分の各々に対応する分光特性を有する複数の撮像用画素と前記複数の撮像用画素とは異なる分光特性を有する焦点検出用画素とを備えた撮像素子の前記焦点検出用画素の位置を記憶する記憶部と、
   前記撮像素子によって生成された画像のうち前記焦点検出用画素の近傍の撮像用画素の画素値を用いて前記焦点検出用画素の補間画素値を生成する画素補間部と、
   前記近傍の撮像用画素が前記焦点検出用画素と同じ分光特性を有した場合の画素値である評価画素値を算出する近傍画素推定部と、
   前記焦点検出用画素の画素値と前記評価画素値とを用いて前記画像の高周波成分を算出する高周波成分算出部と、
   前記補間画素値に前記高周波成分を付加して前記焦点検出用画素の撮像用の画素値を算出する高周波成分付加部と
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記記憶部は、前記焦点検出用画素の分光特性を前記複数の撮像用画素の各々の分光特性の加重和によって表すための加重係数を記憶し、
   前記近傍画素推定部は、前記加重係数とともに前記焦点検出用画素の近傍の複数の撮像用画素の画素値を用いて加重和を求めることにより、前記評価画素値を算出することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記近傍画素推定部は、前記近傍の撮像用画素が自身の有する色成分とは異なる色成分を有した場合の画素値を算出し、算出した前記画素値と前記近傍の撮像用画素の画素値とを用いて前記評価画素値を算出することを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記焦点検出用画素は撮影光学系を瞳分割する画素で複数あり、
   前記高周波成分算出部は、前記焦点検出用画素の画素値と前記焦点検出用画素とは異なる瞳分割を有する他の焦点検出用画素の画素値とを加算した加算画素値を前記焦点検出用画素の画素値として用いることを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記高周波成分算出部は、前記焦点検出用画素の近傍の複数の撮像用画素を用いて、前記複数の色成分の各々の画素値の変動の大きさである色変動値を前記色成分毎に算出する色変動算出部をさらに備え、
   前記高周波成分算出部は、前記色変動値を用いて前記焦点検出画素の高周波成分を算出する
   ことを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記高周波成分算出部は、一の色成分の前記色変動値と色成分全ての前記色変動値の総合的な値との比率である色成分変動率を算出し、前記画像の高周波成分を前記色成分変動率に応じて調整して、前記焦点検出用画素が前記一の色成分の分光特性を有した場合の前記画像の高周波成分である高周波色成分を算出し、
   前記高周波成分付加部は、前記補間画素値に前記高周波色成分を付加して前記焦点検出用画素の撮像用の画素値を算出する
   ことを特徴とする画像処理装置。
7. 請求項５に記載の画像処理装置において、
   前記色変動算出部は、前記焦点検出用画素の近傍で第１の色成分を有する複数の撮像画素の画素値のばらつきを求めることにより前記第１の色成分の色変動値を算出し、前記焦点検出用画素の近傍で前記第１の色成分を有する複数の撮像用画素の画素密度より大きい第２の色成分を有する複数の撮像画素の画素値のばらつきを、前記第１の色成分を有する複数の撮像用画素の各々の画素位置に前記第２の色成分を有する複数の焦点検出用画素の画素値を補間生成した値のばらつきとして求めることにより、前記第２の色成分の色変動値を算出することを特徴とする画像処理装置。
8. 請求項１に記載の画像処理装置において、
   前記高周波成分付加部は、前記高周波成分の大きさが所定値よりも小さい場合には前記高周波成分の付加を抑制することを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記所定値は、前記複数の撮像画素の画素値の変化率が小さい平地な領域における高周波成分の推定誤差の最大値であることを特徴とする画像処理装置。
10. 請求項１に記載の画像処理装置において、
    前記焦点検出用画素の近傍の複数の撮像用画素の画素値を用いて、複数の方向それぞれについての前記画素値の変化率である方向変動を算出する方向変動算出部をさらに備え、
    前記画素補間部は、前記焦点検出用画素に対して前記方向変動が最も小さい方向に位置する撮像用画素の画素値から前記補間画素値を算出することを特徴とする画像処理装置。
11. 請求項１０に記載の画像処理装置において、
    前記焦点検出用画素は所定の配列方向に一次元的に配列し、
    前記高周波成分付加部は前記配列方向に対して交わる方向における前記方向変動が所定値よりも小さい場合には前記高周波成分の付加を抑制することを特徴とする画像処理装置。
12. 請求項１０に記載の画像処理装置において、
    前記焦点検出用画素は、複数で所定の配列方向に一次元的に配列し、
    前記高周波成分付加部は、前記配列方向における前記方向変動が所定値よりも大きい場合には前記高周波成分の付加を抑制することを特徴とする画像処理装置。
13. 請求項１に記載の画像処理装置において、
    前記画像の撮影に用いた光学系に関する情報を取得する光学情報取得部と、
    前記光学情報に応じて前記焦点検出用画素の画素値または前記評価画素値の少なくとも一方を調整する、画素値調整部と
    を備え、
    前記高周波成分算出部は、前記画素値調整部によって少なくとも一方が調整された前記焦点検出用画素の画素値と前記評価画素値とを用いて前記画像の高周波成分を算出することを特徴とする画像処理装置。
14. 請求項２に記載の画像処理装置において、
    前記画像の撮影に用いた光学系に関する情報を取得する光学情報取得部と、
    前記光学情報に応じて前記加重係数を調整する加重係数調整部と
    を備えることを特徴とする画像処理装置。
15. 請求項１３または１４に記載の画像処理装置において、
    前記光学情報取得部は、前記光学系のＦ値、ＰＯ値、焦点検出用画素位置のうちの少なくとも１つを取得することを特徴とする画像処理装置。
16. 請求項１に記載の画像処理装置において、
    前記焦点検出用画素の画素値または前記焦点検出用画素の近傍の撮像用画素の画素値の飽和を判定する飽和判定部を備え、
    前記高周波成分付加部は、前記飽和判定部による判定結果に応じて前記高周波成分の付加を抑制することを特徴とする画像処理装置。
17. 請求項１６に記載の画像処理装置において、
    前記高周波成分付加部は、前記飽和判定部によって前記焦点検出用画素の画素値が飽和したと判定され且つ前記高周波成分が負である場合に、前記高周波成分の付加を抑制することを特徴とする画像処理装置。
18. 請求項１６に記載の画像処理装置において、
    前記高周波成分付加部は、前記飽和判定部によって前記焦点検出用画素の近傍の撮像用画素の画素値が飽和したと判定され且つ前記高周波成分が正である場合に、前記高周波成分の付加を抑制することを特徴とする画像処理装置。
19. 撮像素子と、
    請求項１ないし１８のいずれか１項に記載の画像処理装置と
    を備えることを特徴とする撮像装置。
20. 請求項１ないし１８のいずれか１項に記載の画像処理装置の計算をコンピュータで実現するための画像処理プログラム。

Images