JP2017085240A - 焦点検出装置、撮像装置および焦点検出プログラム - Google Patents

Abstract

【課題】画像データの圧縮により発生したノイズの影響を低減して良好な焦点検出を行う。
【解決手段】画像処理装置は、複数の光電変換画素を有する撮像素子１０２を備え、複数の光電変換画素の出力から生成された画像データに対して画素ブロックごとに圧縮処理を行うことにより圧縮データを生成する撮像装置１００において用いられる。該画像処理装置は、圧縮データに対して伸張処理を行って伸張データを生成する伸張手段１０８と、伸張データに対してノイズを低減するノイズ低減処理を行う処理手段１１１と、処理手段からの出力を用いて撮像装置の焦点検出を行う焦点検出手段１１２とを有する。処理手段は、各画素ブロックのうち隣接する画素ブロックとの境界を含む境界領域と非境界領域とでノイズ低減処理の強度を変更する。
【選択図】図１

Description

本発明は、圧縮処理されたデータを伝送する撮像装置に関し、特にオートフォーカス（ＡＦ）を行う撮像装置に関する。

撮像装置において、高解像度、高速連写および動画フレームレートの向上という要求を実現するためには、装置内で大量のデータを高速に処理する必要がある。ただし、大量のデータを伝送するために伝送路の帯域を増やすと、コスト増を招く。特許文献１には、撮像素子内に設けられた圧縮部にて画像データを圧縮して画像処理装置に伝送し、該画像処理装置にて圧縮データに対して伸張処理を行うことで、伝送路の帯域を広げることなく大量のデータを伝送可能とした撮像装置が開示されている。

一方、撮像装置にはＡＦを有するものが多い。ＡＦには、撮像素子によって取得された信号に基づいて演算を行うことで焦点検出を行う方式がある。特許文献２には、１つのマイクロレンズに対して対の光電変換部を設けた画素を複数配置した撮像素子により対の視差像を取得し、該対の視差像のずれ量を用いた位相差検出方式の焦点検出を行う撮像装置が開示されている。また、特許文献３には、レンズを移動させながら複数の周波数帯域をフィルタ処理によって抽出し、コントラストの変化を評価することによってコントラスト検出方式の焦点検出を行う撮像装置が開示されている。

特開２０１４−１０３５４３号公報 特開２０１４−１４６０２３号公報 特開２０１５−６４５５６号公報

特許文献１にて開示されたように撮像素子内で画像データの圧縮処理を行う場合において、帯域を確実に制限するためには、可逆圧縮処理ではなく、非可逆圧縮処理を行うことが一般的である。しかしながら、非可逆圧縮処理を行うと、該圧縮に起因する歪みや信号の劣化が生ずる。特に、一定の画素数単位（固定長）で圧縮処理を行う際に、圧縮単位（マクロブロック）の境界に顕著に信号の劣化（ノイズ）が生じる。

このため、特許文献１にて開示された構成を特許文献２，３にて開示された撮像装置に適用すると、一定間隔で信号の劣化が顕著になるため、特定の周波数帯域に信号劣化が存在することとなる。この結果、焦点検出の精度が低下する。

本発明は、画像データの圧縮によって発生したノイズの影響を低減して良好な焦点検出を行えるようにした焦点検出装置、撮像装置および焦点検出プログラムを提供する。

本発明の一側面としての画像処理装置および画像処理プログラムは、画素ブロックごとに圧縮された圧縮データを伸張して得られた伸張データを用いて焦点検出を行う場合に、各画素ブロックのうち隣接する画素ブロックとの境界を含む境界領域と非境界領域とでノイズ低減処理の強度を変更することを特徴とする。なお、上記画像処理装置を含む撮像装置も本発明の他の一側面を構成する。

本発明によれば、画像データの圧縮処理によって発生したノイズの影響を低減して良好な焦点検出を行うことができる。

本発明の実施例１（および実施例２）である撮像装置の構成を示すブロック図。 実施例１の撮像装置における圧縮部の構成を示すブロック図。 圧縮部での圧縮処理を示すフローチャート。 実施例１の撮像装置における帯域抽出フィルタの構成を示すブロック図。 実施例１におけるＲＡＷデータと圧縮されるマクロブロックとの関係を示す図。 実施例１におけるブロックノイズの周波数特性を示す図。 実施例１におけるデブロッキングフィルタの構成を示すブロック図。 本発明の実施例２において撮像面位相差ＡＦを行うための撮像素子の構成を示す図。 実施例２における帯域抽出フィルタの構成を示すブロック図。 実施例１（および実施例２）における処理を示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である撮像装置１００の構成を示す。１０１は撮像光学系である。撮像光学系１０１は、被写体からの光を、不図示の複数のレンズ群および絞りを介して撮像素子１０２に導く。撮像光学系１０１を通過した光は、撮像素子１０２上に光学像（被写体像）を形成する。

撮像光学系１０１にはフォーカスレンズ群が含まれている。フォーカスレンズ群は、後述するレンズ駆動制御部１１３からの駆動命令を受けた不図示のフォーカスアクチュエータによって駆動されることにより又は不図示のフォーカス操作リングがユーザにより手動操作されることにより、光軸方向に移動して焦点調節を行う。

本実施例では、コントラスト検出方式でのＡＦ（コントラストＡＦ）を行う。コントラストＡＦでは、フォーカスレンズ群を至近側から無限遠側に移動させながら、焦点検出部１１４が後述する伸張部１０８から取得した画像データ（伸張データ）に基づいてコントラスト評価値を生成するスキャン動作を行う。スキャン動作が完了すると、焦点検出部１１４にてコントラスト評価値が最大となる合焦位置が特定され、その合焦位置の情報に応じてレンズ駆動制御部１１３がフォーカスアクチュエータを駆動する。これにより、フォーカスレンズ群が合焦位置に移動して合焦状態が得られる。以下の説明において、フォーカスレンズ群の位置をフォーカス位置ともいう。

撮像素子１０２は、光学像を光電変換し、該光電変換により得られた信号に対する所定の符号化処理により符号化データを生成する。そして、符号化データをバス１０６に出力する。撮像素子１０２は、受光部１０３と、Ａ／Ｄ変換部１０４と、圧縮部（圧縮手段）１０５とにより構成される。

受光部１０３の撮像面には、それぞれマイクロレンズと光電変換素子とにより構成される複数の光電変換画素が二次元配置されている。また、これら複数の光電変換画素に対して、ベイヤー配列のカラーフィルタ（Ｒ，Ｇ，Ｇ，Ｂ）が設けられている。各光電変換画素は、撮像光学系１０１から入射した光（光学像の一部）を光電変換してアナログ信号をＡ／Ｄ変換部１０４に出力する。

Ａ／Ｄ変換部１０４は、受光部１０３から出力されたアナログ信号をＡ／Ｄ変換してデジタル信号としてＲＡＷデータ（画像データ）を生成する。

圧縮部１０５は、Ａ／Ｄ変換部１０４から出力されたＲＡＷデータに対して所定の符号化処理（圧縮処理）を行うことによって圧縮データとしての符号化データを生成し、該符号化データをバス１０６を介して画像処理部１０７に出力する。

次に、図２および図３を用いて圧縮部１０５についてより詳しく説明する。図２に示すように、圧縮部１０５は、ＲＡＷデータを互いに同一数の複数の画素（ｍ×ｎ画素またはｍ×ｍ画素）を含む、すなわち固定長の複数の画素ブロック（マクロブロック：以下、単にブロックともいう）５０１に分割し、該ブロックごとに非可逆圧縮処理を行う。

圧縮部１０５は、量子化部２０１と、エントロピー符号化部２０２と、符号量計測部２０３と、符号量制御部２０４とにより構成されている。

量子化部２０１は、ブロック内において互いに隣接する画素間の差分値（以下、画素差分値という）を抽出し、該画素差分値の量子化データを生成する。エントロピー符号化部２０２は、入力されたデータ（シンボル）の出現頻度に基づいて、それぞれの量子化データに符号を割り当てて符号化データを生成する。エントロピー符号化の方式としては、ゴロム符号化やハフマン符号化が知られているが、どのような符号化方式を用いてもよい。

符号量計測部２０３は、ブロック単位の符号化データ量を計測する。符号量制御部２０４は、符号量計測部２０３により計測された符号化データ量に基づいて、符号量の制御および符号化データの出力を行う。

図３のフローチャートには、圧縮部１０５にて行われる圧縮処理を示している。圧縮処理が開始されると、ブロック単位のＲＡＷデータが量子化部２０１に入力される。

ステップＳ３０１では、量子化部２０１は、入力されたブロック内の隣接画素間の画素差分値を算出する。

次にステップＳ３０２では、量子化部２０１は、ステップＳ３０１で算出された画素差分値を所定値を用いて量子化する。ここにいう所定値は量子化ステップを決定するパラメータであり、符号量制御部２０４によって動的に決定される。以下、この所定値をＱＰ（Quantization Parameter：量子化パラメータ）という。画素差分値は、ＱＰにより除算され、その除算結果の小数部を四捨五入することによって量子化される。

次にステップＳ３０３では、エントロピー符号化部２０２は、量子化された画素差分値に対して符号を割り当てて符号化データを生成する。

次にステップＳ３０４では、符号量計測部２０３は、生成された符号化データの量（符号化データ量）を計測する。そして、符号量制御部２０４は、計測された符号化データ量が目標となるデータ量(以下、目標符号化データ量という)内に収まっているか否かを判定する。本実施例では、目標符号化データ量として、バス１０６の帯域に収まる符号化データ量が設定される。符号化データ量が目標符号化データ量内に収まっていないと判定した場合はステップＳ３０５に進み、符号化データ量が目標符号化データ量内に収まっていると判定した場合はステップＳ３０６に進む。

ステップＳ３０５では、符号量制御部２０４は、符号化データ量と目標符号化データ量との差分に応じてＱＰを上げたり下げたりして調整する。これにより、再びステップＳ３０２，Ｓ３０３の処理を経た後のステップＳ３０４にて符号化データ量が目標符号化データ量内に収まるように符号量の制御を行う。

一方、ステップＳ３０６では、圧縮部１０５は、エントロピー符号化部２０２で生成された符号化データを出力する。この際、圧縮部１０５は、各ブロックの量子化に用いたＱＰや符号化の際の符号割り当て情報(以下、符号化パラメータという)を出力する符号化データに対応付けて出力する。

図５を用いて、撮像素子１０２で取得されるＲＡＷデータに対する圧縮部１０５での圧縮単位であるマクロブロックとブロックノイズについて説明する。前述したように、ＲＡＷデータ５００は、マクロブロック５０１ごとに圧縮される。圧縮された画像データには、画素を指定してのランダムアクセスが困難である。このため、リスタートマーカーの挿入やマクロブロック単位での固定長圧縮を行うことにより、画像データに対するランダムアクセスを可能とする技術が一般的に知られている。このとき、符号化データ量を目標符合化データ量に収める目的でＱＰを調整するため、ブロックの切り替わり点（境界）において符合化による歪みが顕著に発生する。このような圧縮に伴う歪み（ノイズ）は、圧縮歪み、ブロック歪みまたはブロックノイズと呼ばれる。

図１において、バス１０６は、撮像素子１０２と画像処理部１０７とを接続する物理的な配線部である。撮像素子１０２および画像処理部１０７はそれぞれ１つの集積回路で構成されるため、高速な転送レートに対応することが可能である。しかし、集積回路間をつなぐバス１０６は、ノイズやＡＣ特性の影響により、集積回路内部のバスに比べて遅い転送レートにしか対応することができない。

なお、本実施例では、撮像素子１０２と画像処理部１０７との間のバス１０６の転送レートが撮像素子１０２および画像処理部１０７の処理速度を律速する場合において、圧縮部１０５を撮像素子１０２に含んでいるが、必ずしも撮像素子１０２に含む必要はない。例えば、撮像素子１０２と画像処理部１０７との間に圧縮部１０５の機能を含むＦＰＧＡ（field-programmable gate array）のような集積回路を設けてもよい。また、以下に説明する画像処理部１０７に圧縮部１０５を含ませてもよい。

画像処理部１０７は、伸張部（伸張手段）１０８、デジタル信号処理部１０９、記録部１１０、前述した焦点検出部１１４およびレンズ駆動制御部１１３を含む。画像処理部１０７は、画像処理コンピュータにより構成されており、コンピュータプログラムとしての画像処理プログラムに従って動作する。画像処理部１０７は、伸張部１０８、デジタル信号処理部１０９、記録部１１０、焦点検出部１１４およびレンズ駆動制御部１１３に、図１０のフローチャートに従って以下に説明する処理（動作）を行わせる。以下の説明において、括弧書き中のＳはステップを意味する。なお、前述したように圧縮部１０５が画像処理部１０７に含まれる場合は、画像処理部１０７は、圧縮部１０５での圧縮処理も画像処理プログラムに従って実行させる。

伸張部１０８は、圧縮部１０５からの符号化データと符号化パラメータとを取得する（Ｓ１００１）。伸張部１０８は、入力された符号化パラメータからＱＰ等の伸張処理に必要な情報を読み取る。また、伸張部１０８は、読み取った情報に基づいて、入力された符号化データに対して伸張処理を行い（Ｓ１００２）、伸張処理後の画像データである伸張データをデジタル信号処理部１０９および焦点検出部１１４に出力する。

デジタル信号処理部１０９は、伸張データに対して黒引きによる画素補正を行った上で、現像処理に代表されるデジタル信号処理および圧縮処理を行い、圧縮データを記録部１１０に出力する。黒引きは、撮像素子１０２において画像データを得るための撮像時間（露光時間）と同じ時間だけシャッタを閉じた状態で電荷蓄積を行い、この電荷蓄積の結果得られた暗電流成分を画像データから差し引く処理である。これにより、画像データから、暗電流成分による固定パターンノイズを低減することができる。記録部１１０は、半導体メモリカード等の記録媒体に圧縮データを記録する。

焦点検出部（焦点検出手段）１１４は、伸張データを焦点検出用データとして用いて撮像装置１００（撮像光学系１０１）の焦点状態を検出する焦点検出を行う（ステップＳ１００３〜Ｓ１００６）。焦点検出部１１４は、帯域抽出フィルタ１１１と、焦点検出演算部１１２とにより構成され、フォーカスレンズ群の単位駆動量ごとにコントラスト評価値（以下、単に評価値ともいう）を算出し、レンズ駆動制御部１１３に出力する。

図４を用いて帯域抽出フィルタ１１１について詳しく説明する。帯域抽出フィルタ１１１は、複数のフィルタを有するフィルタバンクであり、第１のバンドパスフィルタ４００、デブロッキングフィルタ（処理手段）４０１および第２のバンドパスフィルタ４０２を有する。第１および第２のバンドパスフィルタ４００，４０２にはそれぞれ、フォーカス位置による被写体像のぼけ具合に応じたフィルタ係数が設定されている。

図６（ａ），（ｂ）には、ぼけ具合と空間周波数成分との関係を示している。横軸は空間周波数を、縦軸は輝度の頻度を示す。横軸の中央位置はナイキスト周波数を示す。図６（ａ）は、フォーカスレンズ群がある被写体に対する合焦位置およびその近傍に位置していない非合焦状態での周波数特性を示している。この状態では、低周波数成分が高周波数成分に対して比較的多い。また、ブロックノイズに起因した特性が周波数成分に対して周期的に発生している。

一方、図６（ｂ）は、フォーカスレンズ群がある被写体に対する合焦位置またはその近傍に位置する合焦近傍状態での周波数特性を示している。この状態では、図６（ａ）の非合焦状態に比べて高周波数成分が多い。また、ブロックノイズに起因した特性が周波数成分に対して周期的に発生しているか否かは、図６（ｂ）からだけでは判定することが困難である。

このような周波数特性において、画像が大きくぼけているか否かを判定する（以下、大ぼけ判定を行うという）ための評価値に使用される帯域は低周波帯域であり、この低周波帯域の評価値を用いることで簡易的な合焦度評価を行うことが可能である。一方、合焦近傍状態か否かを判定するための評価値に使用される帯域はより高周波の帯域である。

本実施例では、第１のバンドパスフィルタ４００として、合焦近傍状態か否かを判定する評価値を得るために、伸張データのうちナイキスト周波数付近の高周波帯域（第１の周波数帯域）の成分を抽出するバンドパスフィルタを用いる。また、第２のバンドパスフィルタ４０２として、大ぼけ判定に用いられる評価値を得るために、伸張データのうち低周波帯域（第２の周波数帯域）の成分を抽出するバンドパスフィルタを用いる。さらに、第２のバンドパスフィルタ４０２の前処理用フィルタとして、デブロッキングフィルタ４０１を設けている。

図７には、デブロッキングフィルタ４０１の構成を示している。デブロッキングフィルタ４０１は、ブロック境界判定部（判定手段）６０１と、ノイズ除去フィルタ６００と、切替え部（切替え手段）６０２とを有する。切替え部６０２は、デブロッキングフィルタ４０１に入力された画素データをそのまま出力するスルー出力（０）かノイズ除去フィルタ６００によりノイズ低減処理が行われた画素データを出力するノイズ除去出力（１）かを切り替える。言い換えれば、切替え部６０２は、ノイズ低減処理の強度を０（ノイズ低減処理を行わない）と１（第１の強度）との間で変更する。

ブロック境界判定部６０１は、入力された伸張データの画素数を数えるカウンタを有し、そのカウント値により処理対象の画素データ（画素値）がブロックの境界を含む境界領域の画素データか境界領域ではない非境界領域の画素データかを判定する（Ｓ１００３）。そして、ブロック境界判定部６０１は、その判定結果に応じて処理対象の画素データに対してノイズ除去フィルタ６００を適用する（ノイズ低減処理を行う）か否かを切り替えるための切替え信号を切替え部３０２に出力する。

ブロックの境界とは、図５に実線の矩形枠として示す互いに隣接するブロック５０１間の境界である。また、ブロックの境界領域とは、ブロックの境界に接する画素および該境界から所定画素数（例えば２画素）の範囲内にある画素である。

ブロック境界判定部６０１は、判定対象の画素データが非境界領域の画素データである場合はスルー出力が設定されるように切替え信号を出力する（Ｓ１００４）。一方、判定対象の画素データが境界領域の画素データである場合はノイズ除去出力が設定されるように切替え信号を出力する（Ｓ１００５）。言い換えれば、ブロック境界判定部６０１および切替え部６０２は、境界領域の画素データに対するノイズ低減処理の強度を第１の強度に設定し、非境界領域の画素データに対するノイズ低減処理の強度を第１の強度より低い第２の強度（本実施例では０）に設定する。

なお、切替え信号は１と０に限らず、スルー出力とノイズ除去出力との混合比を選択する０より大きく１より小さい信号であってもよい（例えば、０．２であればスルー出力とノイズ除去出力とが１：４で混合されることを示す）。

ノイズ除去フィルタ６００は、ブロックの境界にて発生するノイズを低減（望ましくは除去）するノイズ低減処理を行うための低域通過フィルタである。ノイズ除去フィルタ６００としては、単純な線形フィルタを用いてもよいし、フィルタ強度（ノイズ低減処理の強度）を変更できるものを用いてもよい。

本実施例では、ノイズ除去フィルタ６００として、ブロックの境界にて発生する低域のセットアップ成分を閾値とした式（１）で定義されるイプシロン（ε）フィルタを用いる。イプシロンフィルタは、各ブロックにおける注目画素と該注目画素の周辺の複数の周辺画素との画素値の差分を算出し、その差分の絶対値が予め設定されたε値より小さい周辺画素の画素値の平均値を注目画素の画素値とするフィルタである。イプシロンフィルタを用いることで、画像データの大振幅成分（例えば被写体像の成分）を残して、小振幅成分（例えばブロックノイズの成分）を低減することが可能である。

ただし、ｘは入力画素値、ｙは出力画素値、ｎは入力画素の位置、ｋはフィルタタップ、Ｎはタップ数、ａ_ｋは低域通過フィルタのフィルタ係数、Ｆは±ε以内の非線形関数である。

このようにノイズ除去フィルタ６００を用いることで、ブロック単位で生ずるブロックノイズを低減（または除去）することができる。なお、デブロッキングフィルタにおいて用いるノイズ除去フィルタはイプシロンフィルタに限らず、ブロックノイズを低減できるものであればどのようなフィルタであってもよい。

以上のように構成されるデブロッキングフィルタ４０１は、ブロックの境界領域において急峻に変化する画素値を平坦な画素値に置き換える（平滑化する）特性を有する。この特性は、画像データがナイキスト周波数周辺の合焦画像データであるか否かを判定する評価値に使用される高周波帯域に影響を及ぼすことが多い。したがって、デブロッキングフィルタ４０１は、大ぼけ判定のための低周波帯域抽出用の第２のバンドパスフィルタ４０２の前段に配置することが望ましい。

帯域抽出フィルタ１１１における第１および第２のバンドパスフィルタ４００，４０２から出力されたデータ成分は焦点検出演算部１１２に出力される。焦点検出演算部１１２は、各バンドパスフィルタから出力されたデータ成分から、その積分値、最大値および最小値のようなコントラスト評価値を取得し、レンズ駆動制御部１１３に出力する。

レンズ駆動制御部１１３は、以下のように焦点検出を行う（Ｓ１００６）。まず、レンズ駆動制御部１１３は、前述したスキャン動作中には主に第２のバンドパスフィルタ４０２の出力である低周波帯域の第２のコントラスト評価値を用いて、フォーカスレンズ群の移動（フォーカスアクチュエータの駆動）の細かさを制御する。

また、レンズ駆動制御部１１３は、合焦位置付近では、第２のバンドパスフィルタ４０２の出力から得られる第２のコントラスト評価値を用いて簡易的に合焦評価を行う。さらに、この第２のコントラスト評価値が閾値としての所定値より高く（または所定値以上であり）、かつ第１のバンドパスフィルタ４００の出力から得られる第１のコントラスト評価値が最大となるフォーカス位置を合焦位置と判定する。これは、高周波帯域抽出用の第１のバンドパスフィルタ４００の出力から得られる第１のコントラスト評価値のみで合焦位置判定を行うと、撮像素子１０２を高ＩＳＯ感度で駆動した際に高周波帯域に存在するノイズ成分により誤判定がなされるおそれがあるためである。

そして、レンズ駆動制御部１１３は、判定された合焦位置にフォーカスレンズ群を移動させるようにフォーカスアクチュエータを駆動する（Ｓ１００７）。このように高周波数帯域と低周波数帯域のそれぞれで得られたコントラスト評価値を用いてフォーカスレンズ群を移動させることで、良好なコントラストＡＦを行うことができる。

本実施例によれば、撮像素子１０２において画像データに圧縮処理を行う際に、特定の周波数成分を抽出するフィルタの前にデブロッキングフィルタを挿入することで、ブロックノイズ（圧縮歪み）の影響を低減した焦点検出を行うことができる。

なお、本実施例では、ブロック境界判定部６０１によるブロックの境界領域か非境界領域かの判定結果に応じてノイズ除去処理の強度を変更する場合について説明した。しかし、このような判定を行うことなく境界領域と非境界領域とでノイズ除去処理の強度を変更してもよい。例えば、周期性のある歪みを低減するフィルタとして、周期的な周波数特性を有するコムフィルタを用いてもよい。このことは、後述する実施例２でも同じである。

実施例１では、コントラスト評価値を用いたコントラストＡＦを行う際の処理について説明したが、本発明の実施例２では、撮像素子を用いた位相差検出方式でのＡＦ（撮像面位相差ＡＦ）を行う際の処理について説明する。なお、本実施例の撮像装置の基本的な構成は実施例１の撮像装置１００と同じであり、共通する構成要素には同符号を付す。また、ＡＦの方式は異なるが、本実施例における処理も図１０に示したフローチャートに沿った流れで行われる。

図８には、本実施例にて用いる撮像素子１０２′を示している。撮像素子１０２′の受光部（図１中の１０３に相当する）の撮像面には、複数の光電変換画素８０３が二次元マトリクス状に配列されている。各光電変換画素は、マイクロレンズ８００と、該マイクロレンズ８００を介して撮像光学系の射出瞳を分割するように配置された対の光電変換部（サブ画素）としてのフォトダイオード（ＰＤ）８０１，８０２とを有する。各ＰＤは、入射した光（光学像）を光電変換してサブ画素信号を生成する。

受光部（図１中の１０４に相当する）は、複数の光電変換画素のＰＤ８０１からサブ画素信号を第１の像信号（以下、Ａ像信号という）として不図示のフローティングディフュージョン（ＦＤ）に読み出し、Ａ／Ｄ変換部に出力する。続いて、受光部は、ＦＤの電荷をリセットせずに複数の光電変換画素のＰＤ８０２からサブ画素信号を第２の像信号（以下、Ｂ像信号という）として読み出すことでＡ＋Ｂ像信号を生成し、Ａ／Ｄ変換部に出力する。Ａ／Ｄ変換部は、Ａ＋Ｂ像信号とＡ像信号をＡ／Ｄ変換としてデジタル画像データとしてのＡ＋Ｂ像信号とＡ像信号を生成する。

圧縮部（図１中の１０５に相当する）は、Ａ／Ｄ変換部から出力されたＡ＋Ｂ像信号とＡ像信号のそれぞれに対して、固定長での圧縮処理を行い、圧縮データとしてのＡ＋Ｂ像信号とＡ像信号をバス１０６に出力する。なお、互いに隣接するＡ＋Ｂ像信号とＡ像信号は、デフォーカスが発生している際に信号としての連続性が乏しいため、個別に圧縮処理されることが望ましい。

伸張部（図１中の１０８に相当する）は、それぞれ圧縮データであるＡ＋Ｂ像信号とＡ像信号の伸張処理を行う。そして、伸張データとしてのＡ＋Ｂ像信号をデジタル信号処理部（図１中の１０９に相当する）に出力する。また、伸張データとしてのＡ像信号とＡ＋Ｂ像信号から該Ａ像信号を減算して生成した伸張データとしてのＢ像信号とを焦点検出部（（図１中の１１４に相当する）に出力する。

焦点検出部は、以下に説明する帯域抽出フィルタ１１１′において、伸張処理後のＡ像信号およびＢ像信号を用いて焦点検出処理の前処理を行う。帯域抽出フィルタ１１１′について図９を用いて説明する。伸張データとしてのＡ像およびＢ像信号は、ほぼ同時に帯域抽出フィルタ１１１′に入力される。Ａ像信号は、実施例１と同様に、合焦近傍状態の判定のための高周波帯域抽出用の第１のバンドパスフィルタ４００と、大ぼけ判定のための低周波帯域抽出用のデブロッキングフィルタ４０１および第２のバンドパスフィルタ４０２に入力される。そして、バンドパスフィルタ４００，４０２からの出力が、焦点検出演算部１１２′に入力される。

一方、Ｂ像信号も、合焦近傍状態の判定のための高周波帯域抽出用の第１のバンドパスフィルタ４００と、大ぼけ判定のための低周波帯域抽出用のデブロッキングフィルタ９００および第２のバンドパスフィルタ４０２に入力される。そして、第１および第２のバンドパスフィルタ４００，４０２からの出力（信号成分）が焦点検出演算部１１２′に入力される。ただし、Ｂ像信号用のデブロッキングフィルタ９００の強度は、Ａ像信号用のデブロッキングフィルタ４０１のフィルタ強度と異なることが望ましい。

これは以下の理由による。例えば、Ａ＋Ｂ像信号の圧縮とＡ像信号の圧縮とによってそれぞれ１ｄｂの信号劣化が発生する場合、Ａ＋Ｂ像信号からＡ像を減算して得られるＢ像信号は２ｄｂの信号劣化を有することになる。このため、Ａ像信号とＢ像信号のそれぞれに対して同一強度のデブロッキングフィルタを用いると、良好な焦点検出を行うことが困難となる。このため、Ａ像信号とＢ像信号の信号劣化の度合いに応じてデブロッキングフィルタ４０１，９００のそれぞれ強度を設定することが望ましい。

焦点検出演算部１１２′は、Ａ像信号とＢ像信号に対してＳＡＤ（Sum of Absolute Difference）に代表される相関演算処理を行い、これらのずれ量である位相差を算出してレンズ駆動制御部（図１中の１１３に相当する）に出力する。レンズ駆動制御部は、位相差に対して、主として絞り値に応じて決定される固定係数を乗算することでデフォーカス量を算出し、該デフォーカス量に対応する移動量だけフォーカスレンズ群を移動させるようにフォーカスアクチュエータを駆動する。

本実施例によれば、撮像面位相差ＡＦを行う場合においても、ブロックノイズ（圧縮歪み）の影響を低減した焦点検出を行うことができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０２ 撮像素子
１０５ 圧縮部
１０７ 画像処理部
１０８ 伸張部
１１１ 帯域抽出フィルタ
１１２ 焦点検出演算部
４０１ デブロッキングフィルタ
６００ ノイズ除去フィルタ

Claims (15)

1. 複数の光電変換画素を有する撮像素子を備え、前記複数の光電変換画素の出力から生成した画像データに対して画素ブロックごとに圧縮処理を行うことにより圧縮データを生成する撮像装置に用いられる画像処理装置であって、
   前記圧縮データに対して伸張処理を行って伸張データを生成する伸張手段と、
   前記伸張データに対してノイズを低減するノイズ低減処理を行う処理手段と、
   前記処理手段からの出力を用いて前記撮像装置の焦点検出を行う焦点検出手段とを有し、
   前記処理手段は、前記各画素ブロックのうち隣接する画素ブロックとの境界を含む境界領域と非境界領域とで前記ノイズ低減処理の強度を変更することを特徴とする画像処理装置。
2. 前記ノイズは、前記境界で発生するブロック歪みであることを特徴とする請求項１に記載の画像処理装置。
3. 前記ノイズ低減処理の強度の変更は、前記ノイズ低減処理を行わなくすることを含むことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記圧縮処理は、互いに同一数の複数の画素を含む複数の前記画素ブロックのそれぞれに対して行われる非可逆圧縮処理であることを特徴する請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記処理手段は、
   前記伸張データのうち処理対象の画素データが前記境界領域の画素データか前記非境界領域の画素データかを判定し、
   前記処理対象の画素データが前記境界領域の画素データである場合は前記ノイズ低減処理の強度を第１の強度とし、前記処理対象の画素データが前記非境界領域の画素データである場合は前記ノイズ低減処理の強度を前記第１の強度より低い第２の強度とすることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記処理手段は、イプシロンフィルタを用いて前記ノイズ低減処理を行うことを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
7. 前記伸張データのうち互いに異なる周波数帯域の成分を抽出する複数のバンドパスフィルタを有し、
   前記焦点検出手段は、前記複数のバンドパスフィルタから出力される前記成分を用いて前記焦点検出を行い、
   前記処理手段は、前記複数のバンドパスフィルタのうち少なくとも１つに入力される前の前記伸張データに対する前記ノイズ低減処理の強度を変更することを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
8. 前記複数のバンドパスフィルタは、前記伸張データのうち第１の周波数帯域の成分を抽出する第１のバンドパスフィルタと、前記伸張データのうち前記第１の周波数帯域より低い第２の周波数帯域の成分を抽出する第２のバンドパスフィルタとを含み、
   前記処理手段は、前記第２のバンドパスフィルタに入力される前の前記伸張データに対する前記ノイズ低減処理の強度を変更することを特徴とする請求項７に記載の画像処理装置。
9. 前記焦点検出手段は、前記第１のバンドパスフィルタの出力から得られる第１のコントラスト評価値と前記第２のバンドパスフィルタの出力から得られる第２のコントラスト評価値とを用いてコントラスト検出方式による焦点検出を行うことを特徴とする請求項８に記載の画像処理装置。
10. 前記焦点検出手段は、前記第２のコントラスト評価値が所定値より高く、かつ前記第２のコントラスト評価値が最大となるフォーカス位置を合焦位置と判定することを特徴とする請求項９に記載の画像処理装置。
11. 前記撮像素子の前記各光電変換画素は、マイクロレンズと、第１の光電変換部および第２の光電変換部とを含み、
    前記伸張手段は、前記第１の光電変換部の出力から得られる前記伸張データとしての第１の像信号と、前記第２の光電変換部の出力から得られる前記伸張データとしての第２の像信号とを出力し、
    前記焦点検出手段は、前記第１の像信号に対して設けられた前記第１および第２のバンドパスフィルタからの出力と前記第２の像信号に対して設けられた前記第１および第２のバンドパスフィルタからの出力とを用いて位相差検出方式による焦点検出を行うことを特徴とする請求項８に記載の画像処理装置。
12. 前記第１の像信号に対して設けられた前記処理手段における前記ノイズ低減処理の強度と、前記第２の像信号に対して設けられた前記処理手段における前記ノイズ低減処理の強度とが互いに異なることを特徴とする請求項１１に記載の画像処理装置。
13. 前記圧縮処理は、前記撮像素子に設けられた圧縮手段により行われることを特徴とする請求項１から１２のいずれか一項に記載の画像処理装置。
14. 複数の光電変換画素を有する撮像素子と、
    請求項１から１３のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
15. 複数の光電変換画素を有する撮像素子を備え、前記複数の光電変換画素の出力から生成した画像データに対して画素ブロックごとに圧縮処理を行うことにより圧縮データを生成する撮像装置に用いられる画像処理コンピュータを動作させるコンピュータプログラムであって、
    前記画像処理コンピュータに、
    前記圧縮データに対して伸張処理を行って伸張データを生成する処理と、
    前記伸張データに対してノイズを低減するノイズ低減処理を含み、焦点検出用データを生成する処理と、
    前記焦点検出用データを用いて前記撮像装置の焦点検出を行う処理とを行わせ、
    前記各画素ブロックのうち隣接する画素ブロックとの境界を含む境界領域と非境界領域とで前記ノイズ低減処理の強度を変更することを特徴とする画像処理プログラム。