JP2017041738A - 固体撮像装置 - Google Patents

Abstract

【課題】画像信号の補間処理におけるキズの影響を低減可能とする固体撮像装置を提供すること。
【解決手段】実施形態によれば、固体撮像装置は、画素領域、第１回路および第２回路を備える。画素領域は、撮像画素および焦点検出画素を含む。撮像画素は、第１画素および第２画素を含む。第１画素は、第１色光を検出する。第２画素は、第２色光を検出する。第１回路である変化量比較回路５１は、焦点検出画素を中心とする複数の方向における輝度の変化量を比較する。第２回路である色差補間回路５２は、参照画素の信号値を使用して、焦点検出画素への補間値を算出する。参照画素は、第１回路による比較結果を基に選択された第２画素である。第２回路は、参照画素の周辺の第１画素の信号値と、焦点検出画素の周辺の第１画素の信号値とを使用する調整を参照画素の信号値へ施して、補間値を算出する。
【選択図】図６

Description

本実施形態は、固体撮像装置に関する。

カメラシステムのオートフォーカスの方式の１つとして、固体撮像装置の画素領域に配置された焦点検出画素を用いる方式が知られている。カメラシステムは、焦点検出画素に対する画像信号の補間処理を実施する。補間処理では、正常に機能していない画素によるデジタル画像信号の欠損部分であるキズの影響を低減できることが望まれている。

特開２０１４−１７９９３９号公報

一つの実施形態は、画像信号の補間処理におけるキズの影響を低減可能とする固体撮像装置を提供することを目的とする。

一つの実施形態によれば、固体撮像装置は、画素領域、第１回路および第２回路を備える。画素領域は、撮像画素および焦点検出画素を含む。撮像画素は、第１画素および第２画素を含む。第１画素は、第１色光を検出する。第２画素は、第２色光を検出する。焦点検出画素は、被写体と焦点とのずれを検出する。第１回路は、焦点検出画素を中心とする複数の方向における輝度の変化量を比較する。第２回路は、参照画素の信号値を使用して、焦点検出画素への補間値を算出する。参照画素は、第１回路による比較結果を基に選択された第２画素である。第２回路は、参照画素の周辺の第１画素の信号値と、焦点検出画素の周辺の第１画素の信号値とを使用する調整を参照画素の信号値へ施して、補間値を算出する。

図１は、実施形態の固体撮像装置を備えるカメラシステムの構成を示すブロック図である。 図２は、図１に示す固体撮像装置の概略構成を示すブロック図である。 図３は、図１に示す撮像処理回路の構成を示すブロック図である。 図４は、図２に示す画素領域における位相差画素の第１配置例を示す図である。 図５は、図２に示す画素領域における位相差画素の第２配置例を示す図である。 図６は、図３に示す補間処理回路の構成を示すブロック図である。 図７は、図６に示す補間処理回路による補間処理について説明する図である。 図８は、図６に示す補間処理回路による補間処理について説明する図である。 図９は、図６に示す補間処理回路による補間処理の手順を説明するフローチャートである。 図１０は、図２に示す画素領域における位相差画素の第３配置例を示す図である。

以下に図面を参照して、実施形態にかかる固体撮像装置を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

（実施形態）
図１は、実施形態の固体撮像装置を備えるカメラシステムの構成を示すブロック図である。カメラシステム１は、カメラモジュール２を備える電子機器であって、例えばカメラ付き携帯端末である。カメラシステム１は、デジタルカメラ等の電子機器であっても良い。

カメラシステム１は、カメラモジュール２および後段処理部３を備える。カメラモジュール２は、レンズモジュール４および固体撮像装置５を備える。レンズモジュール４は、撮像光学系６およびレンズ駆動部７を備える。

撮像光学系６は、被写体からの光を取り込む。撮像光学系６は、被写体像を結像させる撮像レンズ（図示省略）を備える。レンズ駆動部７は、撮像レンズを移動させる駆動機構である。レンズ駆動部７は、フォーカスドライバ１１からの制御信号に応じて、撮像光学系６の光軸に平行な方向へ撮像レンズを動作させる。レンズ駆動部７は、撮像レンズの繰り出し量を調節することで、撮像光学系６のフォーカスを調節する。

固体撮像装置５は、イメージセンサ８、撮像処理回路９、位相差検出回路１０およびフォーカスドライバ１１を備える。イメージセンサ８は、被写体像を撮像する。撮像処理回路９は、イメージセンサ８からの画像信号に対し、各種の信号処理を実施する。撮像処理回路９は、後述する撮像画素からの信号をＩＳＰ１２へ出力する。撮像処理回路９は、後述する位相差画素からの信号を位相差検出回路１０へ出力する。

カメラモジュール２は、位相差画素を用いて、いわゆる瞳分割方式による撮像を実施する。位相差検出回路１０は、撮像により得られた２つの像の位相差を基に、デフォーカス量を求める。焦点調節部であるフォーカスドライバ１１は、デフォーカス量に応じた制御信号を生成する。フォーカスドライバ１１は、レンズ駆動部７へ制御信号を出力する。

イメージセンサ８は、裏面照射型のＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。裏面照射型のＣＭＯＳイメージセンサは、光電変換素子を含む半導体層のうち入射光が入射する側とは逆側に配線層が設けられている。なお、イメージセンサ８は、裏面照射型のＣＭＯＳイメージセンサに限られず、表面照射型のＣＭＯＳイメージセンサ、ＣＣＤ（Charge Coupled Device）等であっても良い。

後段処理部３は、イメージシグナルプロセッサ（Image Signal Processor；ＩＳＰ）１２、記録部１３および表示部１４を備える。ＩＳＰ１２は、カメラモジュール２からの画像信号の信号処理を実施する。ＩＳＰ１２は、デモザイク処理、ホワイトバランス調整、カラーマトリクス処理、ガンマ補正等の各種信号処理を実施する。記録部１３は、ＩＳＰ１２での信号処理を経た画像を記憶媒体等へ記録する。

表示部１４は、ＩＳＰ１２からの画像信号、あるいは記録部１３から読み出された画像信号に応じて、画像を表示する。表示部１４は、例えば、液晶ディスプレイである。カメラシステム１は、ＩＳＰ１２での信号処理を経たデータに基づき、固体撮像装置５のフィードバック制御を実施する。

図２は、図１に示す固体撮像装置の概略構成を示すブロック図である。イメージセンサ８は、画素領域２０、制御回路２１、行走査回路２２、列走査回路２３およびカラム処理回路２４を備える。

画素領域２０は、行列状に配列された画素を備える領域である。各画素は、光電変換素子であるフォトダイオードを備える。光電変換素子は、入射光量に応じた信号電荷を生成する。画素は、入射光量に応じて生成された信号電荷を蓄積する。画素領域２０は、撮像画素および位相差画素を含む。撮像画素は、被写体像を検出するための画素である。焦点検出画素である位相差画素は、撮像光学系の焦点と被写体とのずれ量であるデフォーカス量を検出するための画素である。

制御回路２１、行走査回路２２、列走査回路２３、カラム処理回路２４、撮像処理回路９、位相差検出回路１０およびフォーカスドライバ１１は、画素領域２０が実装されているチップ上に集積された周辺回路部を構成する。

イメージセンサ８の駆動のための各種データおよびクロック信号は、チップ外部のＩＳＰ１２から、撮像処理回路９を経て制御回路２１へ供給される。制御回路２１は、クロック信号に応じて、周辺回路部の駆動を制御するための各種パルス信号を生成する。制御回路２１は、駆動タイミングを指示するパルス信号を、行走査回路２２、列走査回路２３、カラム処理回路２４および撮像処理回路９のそれぞれに供給する。

行走査回路２２は、シフトレジスタおよびアドレスデコーダ等を備える。画素駆動回路である行走査回路２２は、画素領域２０の画素へ駆動信号を供給する。制御回路２１は、垂直同期信号に応じたパルス信号を、行走査回路２２へ供給する。行走査回路２２は、画素信号が読み出される画素行を、制御回路２１からのパルス信号に応じて順次選択する。行走査回路２２は、選択された画素行において画素ごとに順次読み出し信号を供給することによる読み出し走査を行う。読み出し信号は、入射光量に応じて生成された画素信号を画素から読み出すための駆動信号である。

行走査回路２２は、画素ごとへの読み出し信号の供給に先行して、各画素へのリセット信号の供給による掃き出し走査を行う。リセット信号は、光電変換素子に残存されている電荷を排出させるための駆動信号である。各画素は、リセット信号が供給されたときから読み出し信号が供給されるまでの間、入射光量に応じて生成された信号電荷を蓄積する。

駆動信号は、行走査回路２２から各画素へ、画素駆動線２５を通じて伝送される。画素駆動線２５は、画素領域２０の画素行ごとに設けられている。画素行は、行方向（水平方向）へ配列された画素からなる。

画素信号は、各画素からカラム処理回路２４へ、垂直信号線２６を通じて伝送される。垂直信号線２６は、画素領域２０の画素列ごとに設けられている。画素列は、列方向（垂直方向）へ配列された画素からなる。

カラム処理回路２４は、垂直信号線２６を伝送した画素信号を、画素列ごとに設けられた単位回路（図示省略）にて処理する。カラム処理回路２４は、画素信号へ、固定パターンノイズの低減のための相関二重サンプリング処理（ＣＤＳ）を施す。カラム処理回路２４は、アナログ信号である画素信号へ、デジタル信号への変換であるＡＤ変換を施す。カラム処理回路２４は、ＣＤＳおよびＡＤ変換以外の処理を実施しても良い。カラム処理回路２４は、ＣＤＳおよびＡＤ変換を経た画素信号を、単位回路ごとに保持する。

列走査回路２３は、シフトレジスタおよびアドレスデコーダ等を備える。制御回路２１は、水平同期信号に応じたパルス信号を、列走査回路２３へ供給する。列走査回路２３は、画素信号を読み出す画素列を、制御回路２１からのパルス信号に応じて順次選択する。カラム処理回路２４は、列走査回路２３による選択走査に応じて、各単位回路に保持されている画素信号を順次出力する。イメージセンサ８は、カラム処理回路２４からの画素信号を成分とする信号を出力する。

図３は、図１に示す撮像処理回路の構成を示すブロック図である。撮像処理回路９は、黒レベル補正回路３１、デジタルゲイン回路３２、ラインメモリ３３および補間処理回路３４を備える。

黒レベル補正回路３１は、イメージセンサ８からの信号の黒レベルを補正する。黒レベルは、輝度のレベルを階調として表す際の基準とする信号レベルであって、最低階調を示す信号レベルである。黒レベル補正回路３１は、撮像画素からの画像信号をデジタルゲイン回路３２へ出力する。

固体撮像装置５は、画素領域２０における位相差画素の位置を示す位置情報を予め保持する。制御回路２１は、位相差画素の位置情報に応じたパルス信号を撮像処理回路９へ供給する。パルス信号は、位相差画素からの信号が撮像処理回路９へ入力されるタイミングを示す。黒レベル補正回路３１は、制御回路２１からのパルス信号に応じて、位相差画素からの信号を位相差検出回路１０へ出力する。

デジタルゲイン回路３２は、画像信号へのデジタルゲイン調整を行う。ラインメモリ３３は、画像信号を一時保持することで、画素領域２０の行ごとに画像信号を遅延させる。ラインメモリ３３は、４つの画素行の信号（４Ｈ）を保持する。ラインメモリ３３は、例えばＳＲＡＭである。補間処理回路３４は、制御回路２１からのパルス信号に応じて、焦点検出画素である位相差画素に対する画像信号の補間処理を実施する。

なお、撮像処理回路９は、図３に示す構成以外に、信号処理のためのいずれの構成を備えていても良い。撮像処理回路９は、キズ補正、ガンマ補正、ノイズ低減処理、レンズシェーディング補正、ホワイトバランス調整、歪曲補正、解像度復元等のための構成を備えていても良い。

固体撮像装置５は、撮像処理回路９での信号処理を経た画像信号をチップ外部へ出力する。固体撮像装置５は、撮像処理回路９での信号処理を経たデータに基づき、イメージセンサ８のフィードバック制御を実施する。

なお、カメラシステム１は、本実施形態において固体撮像装置５内で実施するものとした信号処理を、画素領域２０と同じチップ上の周辺回路部以外の回路で実施しても良い。信号処理は、周辺回路部に代えて、例えば後段処理部３のＩＳＰ１２が実施しても良い。カメラシステム１は、周辺回路部で実施するものとした信号処理を、周辺回路部とＩＳＰ１２の双方で実施しても良い。周辺回路部およびＩＳＰ１２は、本実施形態で説明する信号処理以外の信号処理を実施しても良い。

図４および図５は、図２に示す画素領域における位相差画素の配置例を示す図である。図４および図５において、「Ｒ」、「Ｇ」および「Ｂ」と示した箇所は、それぞれ撮像画素である赤（Ｒ）画素、緑（Ｇ）画素および青（Ｂ）画素を表す。

Ｒ画素、Ｇ画素およびＢ画素は、それぞれＲカラーフィルタ、ＧカラーフィルタおよびＢカラーフィルタ（いずれも図示省略）を備える。Ｒカラーフィルタは、Ｒ光を選択的に透過させるカラーフィルタである。Ｇカラーフィルタは、Ｇ光を選択的に透過させるカラーフィルタである。Ｂカラーフィルタは、Ｂ光を選択的に透過させるカラーフィルタである。図４および図５において、各色の撮像画素はベイヤー配列をなす。

図４および図５に示すＹ方向は画素領域２０の列方向であって、Ｘ方向は画素領域２０の行方向とする。Ｙ方向のうち矢印で示す方向をプラスＹ方向とし、矢印と逆の方向をマイナスＹ方向とする。Ｘ方向のうち矢印で示す方向をプラスＸ方向とし、矢印と逆の方向をマイナスＸ方向とする。

位相差画素４１は、遮光層を備える。図４および図５において、位相差画素４１のうち斜線を付した部分は、遮光層により覆われた部分を示している。遮光層は、光を遮蔽する。遮光層は、光を反射させる金属材料を含む層である。遮光層は、光吸収性の材料を含む層であっても良い。

位相差画素４１のうち遮光層により覆われた部分以外の部分には、光電変換素子へ進行する光を通過させる開口が設けられている。位相差画素４１Ｌは、マイナスＸ側の半分の領域に開口、プラスＸ側の半分の領域に遮光層がそれぞれ設けられた位相差画素４１である。位相差画素４１Ｒは、プラスＸ側の半分の領域に開口、マイナスＸ側の半分の領域に遮光層がそれぞれ設けられた位相差画素４１である。

図４に示す第１配置例では、例えば８行８列（８×８）のベイヤー配列において１つのＢ画素が位相差画素４１Ｌに置き換えられ、１つのＲ画素が位相差画素４１Ｒに置き換えられている。第１配置例では、位相差画素４１Ｌおよび位相差画素４１Ｒは、Ｘ方向およびＹ方向に対して斜めの方向において互いに隣り合う。位相差画素４１Ｒは、位相差画素４１Ｌに対してプラスＸ方向およびプラスＹ方向の間の斜めの方向の位置にある。

位相差画素４１Ｌおよび位相差画素４１Ｒは、Ｘ方向あるいはＹ方向における位置関係が図４に示す場合とは逆になるように配置されていても良い。位相差画素４１Ｌおよび位相差画素４１Ｒは、互いに隣り合う配置とされる以外に、１つ以上の画素を隔てて配置されていても良い。画素領域２０には、かかる位置関係をなす２つの位相差画素４１Ｌ，４１Ｒの組み合わせが複数組配置されている。なお、ベイヤー配列の１つのＲ画素および１つのＢ画素が、それぞれ位相差画素４１Ｌおよび位相差画素４１Ｒに置き換えられても良い。

２つの位相差画素４１Ｌ，４１Ｒの組み合わせは、画素領域２０においていずれの割合で配置されていても良く、８×１６のベイヤー配列に１つ、あるいは１６×１６のベイヤー配列に１つの割合で配置されていても良い。

図５に示す第２配置例では、例えば８×８のベイヤー配列のうち１つのＢ画素が、位相差画素４１Ｌに置き換えられている。また、位相差画素４１ＬからプラスＹ方向において３つの画素を隔てた位置のＢ画素が、位相差画素４１Ｒに置き換えられている。

位相差画素４１Ｌおよび位相差画素４１Ｒは、Ｙ方向における位置関係が図５に示す場合とは逆になるように配置されていても良い。位相差画素４１Ｌおよび位相差画素４１Ｒは、３つの画素を隔てて配置される以外に、１つあるいは３つ以上の画素を隔てて配置されていても良い。画素領域２０には、かかる位置関係をなす２つの位相差画素４１Ｌ，４１Ｒの組み合わせが複数組配置されている。なお、ベイヤー配列の２つのＲ画素が、２つの位相差画素４１Ｌ，４１Ｒにそれぞれ置き換えられても良い。２つの位相差画素４１Ｌ，４１Ｒの組み合わせは、第１配置例と同様に、画素領域２０においていずれの割合で配置されていても良い。

Ｇ画素で検出される信号成分は、Ｒ画素およびＢ画素で検出される信号成分に比べて被写体の輝度情報が多く含まれている。Ｇ画素は、Ｒ画素およびＢ画素に比べて画像の輝度および解像感に及ぼす影響が大きい画素とされている。第１配置例および第２配置例では、ベイヤー配列のＧ画素は、位相差画素４１Ｌ，４１Ｒへの置き換えがなされず、いずれも画像情報の検出に使用される。このため、固体撮像装置５は、高輝度かつ高い解像感を備える画像を取得できる。

位相差画素４１Ｌ，４１Ｒは、画素領域２０の全体あるいは一部の領域に分散させて配置されている。画素領域２０における位相差画素４１Ｌ，４１Ｒの配置態様は、第１および第２配置例に限られず、任意であるものとする。位相差画素４１Ｌ，４１Ｒは、少なくとも画素領域２０の一部の領域に、所定のパターンで配置されたものであれば良い。

位相差画素４１Ｌ，４１Ｒの開口には、撮像画素におけるカラーフィルタに代えて、透明フィルタが設けられている。透明フィルタは、撮像画素に設けられるカラーフィルタに比べて広い波長域の光を透過させる。位相差画素４１Ｌ，４１Ｒに透明フィルタを設けることで、位相差画素４１Ｌ，４１Ｒは、高い感度で輝度情報を得ることができる。

位相差画素４１Ｌ，４１Ｒには、透明フィルタに代えて、Ｇカラーフィルタを設けても良い。位相差画素４１Ｌ，４１Ｒは、Ｇカラーフィルタが設けられることで、ＲカラーフィルタあるいはＢカラーフィルタが設けられる場合に比べて高い感度で輝度情報を得ることができる。

カメラモジュール２は、複数の位相差画素４１Ｌで得られる像と、複数の位相差画素４１Ｒで得られる像とを同時に取得する。カメラモジュール２は、互いに開口がＸ方向において対称とされた位相差画素４１Ｌ，４１Ｒを用いることにより、瞳分割方式による撮像を実施する。

合焦状態において、複数の位相差画素４１Ｌで得られる像と、複数の位相差画素４１Ｒで得られる像とは一致する。複数の位相差画素４１Ｌで得られる像と、複数の位相差画素４１Ｒで得られる像との位相差はゼロとなる。

撮像光学系６の焦点が被写体からずれた状態では、複数の位相差画素４１Ｌで得られる像と、複数の位相差画素４１Ｒで得られる像とに位相差が生じる。位相差検出回路１０は、２つの像の位相差を求め、位相差から撮像光学系６のデフォーカス量を算出する。フォーカスドライバ１１は、位相差検出回路１０で得られたデフォーカス量に応じて、被写体へ焦点を合わせるフォーカス動作のための制御信号を生成する。

図６は、図３に示す補間処理回路の構成を示すブロック図である。補間処理回路３４は、第１回路である変化量比較回路５１、第２回路である色差補間回路５２、第３回路である平均回路５３、および第４回路であるクリップ回路５４を備える。

変化量比較回路５１は、位相差画素４１を中心とする複数の方向における輝度の変化量を比較する。色差補間回路５２は、位相差画素４１への補間値を算出する。平均回路５３は、色差補間回路５２で生成された補間値を平均する。クリップ回路５４は、平均回路５３で算出された平均値へのクリップ処理を実施する。

図７および図８は、図６に示す補間処理回路による補間処理について説明する図である。補間処理回路３４には、ラインメモリ３３に保持された４つの画素行からの信号が入力される。また、補間処理回路３４には、ラインメモリ３３へ格納される直前の１つの画素行からの信号が入力される。補間処理回路３４には、５つの画素行からの信号が入力される。

補間処理回路３４は、５つの画素行からの信号を行方向について遅延させる。補間処理回路３４は、５行５列の行列状に画素が配列された画素ブロックの信号についてタイミングを一致させる。補間処理回路３４は、１つの位相差画素４１を中心とする画素ブロックの信号を使用して、中心の位相差画素４１に対する補間処理を実施する。

図７および図８には、ベイヤー配列のＢ画素に代えて配置された位相差画素４１Ｒを中心とする画素ブロック５５を示している。以下に、かかる位相差画素４１Ｒを例として、補間処理回路３４による補間処理を説明する。補間処理回路３４は、画素ブロック５５におけるＧ画素の信号値とＢ画素の信号値を、補間処理において使用する。この例において、Ｇ画素は、第１色光であるＧ光を検出する第１画素である。Ｂ画素は、第２色光であるＢ光を検出する第２画素である。

図７および図８に示すように、第１方向ｄ１、第２方向ｄ２、第３方向ｄ３および第４方向ｄ４は、それぞれマイナスＹ方向、プラスＹ方向、マイナスＸ方向およびプラスＸ方向とする。第５方向ｄ５は、マイナスＹ方向およびマイナスＸ方向の間の斜めの方向とする。第６方向ｄ６は、プラスＹ方向およびプラスＸ方向の間の斜めの方向とする。第７方向ｄ７は、マイナスＹ方向およびプラスＸ方向の間の斜めの方向とする。第８方向ｄ８は、プラスＹ方向およびマイナスＸ方向の間の斜めの方向とする。

図９は、図６に示す補間処理回路による補間処理の手順を説明するフローチャートである。変化量比較回路５１は、位相差画素４１Ｒを中心とする８つの方向ｄ１〜ｄ８について、方向ごとのスコアを算出する（ステップＳ１）。スコアは、輝度の変化量を比較するための評価値である。変化量比較回路５１は、画素ブロックに含まれる第１画素であるＧ画素の信号値を使用して、スコアを算出する。

変化量比較回路５１は、図７に示す画素群Ｐ１に含まれるＧ画素の信号値を使用して、第１方向ｄ１におけるスコアであるＳＣ１を算出する。画素群Ｐ１は、位相差画素４１Ｒから第１方向ｄ１側にある画素を含む。変化量比較回路５１は、例えば次の式（１）により、ＳＣ１を算出する。
ＳＣ１＝｜Ｇ２−Ｇ５｜＋｜Ｇ４−Ｇ１２｜ ・・（１）

式（１）における｜Ｇ２−Ｇ５｜は、２つのＧ画素「Ｇ２」、「Ｇ５」の信号値の差分の絶対値であって、画素群Ｐ１の範囲のうち位相差画素４１ＲのマイナスＸ側部分における輝度の変化量を表す。｜Ｇ４−Ｇ１２｜は、２つのＧ画素「Ｇ４」、「Ｇ１２」の信号値の差分の絶対値であって、画素群Ｐ１の範囲のうち位相差画素４１ＲのプラスＸ側部分における輝度の変化量を表す。変化量比較回路５１は、ＳＣ１が低いほど、第１方向ｄ１における輝度の変化量が小さいとみなす。

変化量比較回路５１は、第１方向ｄ１の場合と同様に、第２方向ｄ２から第８方向ｄ８におけるスコアであるＳＣ２〜ＳＣ８を算出する。変化量比較回路５１は、図７に示す画素群Ｐ２，Ｐ３およびＰ４の信号値から、それぞれＳＣ２，ＳＣ３およびＳＣ４を求める。画素群Ｐ２は、位相差画素４１Ｒから第２方向ｄ２側にある画素を含む。画素群Ｐ３は、位相差画素４１Ｒから第３方向ｄ３側にある画素を含む。画素群Ｐ４は、位相差画素４１Ｒから第４方向ｄ４側にある画素を含む。

変化量比較回路５１は、例えば次の式（２）から（４）により、ＳＣ２，ＳＣ３およびＳＣ４を算出する。
ＳＣ２＝｜Ｇ２−Ｇ８｜＋｜Ｇ４−Ｇ９｜ ・・（２）
ＳＣ３＝｜Ｇ１−Ｇ６｜＋｜Ｇ３−Ｇ７｜ ・・（３）
ＳＣ４＝｜Ｇ１−Ｇ１１｜＋｜Ｇ３−Ｇ１０｜ ・・（４）

変化量比較回路５１は、図８に示す画素群Ｐ５，Ｐ６，Ｐ７およびＰ８の信号値から、それぞれＳＣ５，ＳＣ６，ＳＣ７およびＳＣ８を求める。画素群Ｐ５は、位相差画素４１Ｒから第５方向ｄ５側にある画素を含む。画素群Ｐ６は、位相差画素４１Ｒから第６方向ｄ６側にある画素を含む。画素群Ｐ７は、位相差画素４１Ｒから第７方向ｄ７側にある画素を含む。画素群Ｐ８は、位相差画素４１Ｒから第８方向ｄ８側にある画素を含む。

変化量比較回路５１は、例えば次の式（５）から（８）により、ＳＣ５，ＳＣ６，ＳＣ７およびＳＣ８を算出する。
ＳＣ５＝｜Ｇ４−Ｇ５｜＋｜Ｇ３−Ｇ６｜ ・・（５）
ＳＣ６＝｜Ｇ１−Ｇ１０｜＋｜Ｇ２−Ｇ９｜ ・・（６）
ＳＣ７＝｜Ｇ２−Ｇ１２｜＋｜Ｇ３−Ｇ１１｜ ・・（７）
ＳＣ８＝｜Ｇ１−Ｇ７｜＋｜Ｇ４−Ｇ８｜ ・・（８）

変化量比較回路５１は、算出されたスコアＳＣ１〜ＳＣ８を比較する。変化量比較回路５１は、ＳＣ１〜ＳＣ８のうち最も小さい２つを検出する。変化量比較回路５１は、８つの方向ｄ１〜ｄ８のうち、最も小さいスコアを持つ２つの方向ｄｍ１，ｄｍ２を選択する（ステップＳ２）。変化量比較回路５１は、２つの方向ｄｍ１，ｄｍ２が、８つの方向ｄ１〜ｄ８のうち輝度の変化量が最も小さい２つの方向と判断する。２つの方向ｄｍ１，ｄｍ２は、８つの方向ｄ１〜ｄ８のうち、画像に含まれる線状のパターンの方向である可能性が高い方向である。

なお、変化量比較回路５１は、式（１）から（８）に示すスコア以外の評価値を基に、輝度の変化量を比較しても良い。変化量比較回路５１は、位相差画素４１を中心とする方向ごとにおける輝度の変化量を、いずれの手法により比較しても良い。

色差補間回路５２は、変化量比較回路５１による比較結果を基に選択された参照画素の信号値を使用して、位相差画素４１Ｒへの補間値を算出する。参照画素は、位相差画素４１Ｒから方向ｄｍ１の位置のＢ画素と、位相差画素４１Ｒから方向ｄｍ２の位置のＢ画素である。本実施形態では、色差補間回路５２は、８つの方向ｄ１〜ｄ８について８つの補間値を求める（ステップＳ３）。色差補間回路５２は、得られた８つの補間値から、方向ｄｍ１についての補間値と、方向ｄｍ２についての補間値とを選択する。なお、色差補間回路５２で得られた８つの補間値は、後述するクリップ回路５４での参照値の設定にて使用される。

色差補間回路５２は、図７に示す画素群Ｐ１に含まれるＧ画素およびＢ画素の信号値を使用して、第１方向ｄ１における補間値Ｖｄ１を算出する。色差補間回路５２は、例えば次の式（９）により、Ｖｄ１を算出する。式（９）は、式（９’）から変形された式である。
Ｖｄ１＝Ｂ１−（Ｇ５＋Ｇ１２）／２＋（Ｇ２＋Ｇ４）／２ ・・（９）
Ｖｄ１−（Ｇ２＋Ｇ４）／２＝Ｂ１−（Ｇ５＋Ｇ１２）／２ ・・（９’）

式（９’）の右辺は、Ｇ画素「Ｇ５」および「Ｇ１２」とＢ画素「Ｂ１」とにおけるＧ成分およびＢ成分の色差を表す。式（９’）の左辺は、位相差画素４１ＲとＧ画素「Ｇ２」および「Ｇ４」におけるＧ成分およびＢ成分の色差を表す。Ｇ画素「Ｇ２」および「Ｇ４」は、第１方向ｄ１に対して垂直なＸ方向において位相差画素４１Ｒに隣り合うＧ画素である。

式（９’）は、位相差画素４１Ｒとその隣のＧ画素「Ｇ２」、「Ｇ４」における色差と、Ｂ画素「Ｂ１」とその隣のＧ画素「Ｇ５」、「Ｇ１２」における色差とが等しいという相関関係を表す。色差補間回路５２は、式（９’）の関係が成立するものとみなして、Ｂ成分についての信号値である補間値Ｖｄ１を算出する。

変化量比較回路５１で選択された２つの方向ｄｍ１，ｄｍ２の１つが第１方向ｄ１であった場合、色差補間回路５２は、補間値Ｖｄ１を選択する。位相差画素４１Ｒから第１方向ｄ１の位置のＢ画素「Ｂ１」は、変化量比較回路５１での比較結果を基に選択された参照画素である。Ｇ画素「Ｇ２」および「Ｇ４」は、位相差画素４１Ｒの周辺の第１画素である。Ｇ画素「Ｇ５」および「Ｇ１２」は、参照画素の周辺の第１画素である。本実施形態において、位相差画素４１Ｒの周辺の第１画素には、位相差画素４１Ｒに隣り合う第１画素が含まれるものとする。参照画素の周辺の第１画素には、参照画素に隣り合う第１画素が含まれるものとする。

式（９）のうち、右辺の第２項である（Ｇ５＋Ｇ１２）／２は、参照画素に隣り合うＧ画素の信号値の平均値である。右辺の第３項である（Ｇ２＋Ｇ４）／２は、位相差画素４１Ｒに隣り合うＧ画素の信号値の平均値である。色差補間回路５２は、式（９）によると、これらの差分｛（Ｇ２＋Ｇ４）／２−（Ｇ５＋Ｇ１２）／２｝を、参照画素の信号値「Ｂ１」に加算する。色差補間回路５２は、かかる差分の加算による調整が施された参照画素の信号値を、補間値Ｖｄ１に採用する。

色差補間回路５２は、第１方向ｄ１の場合と同様に、第２方向ｄ２から第８方向ｄ８における補間値Ｖｄ２〜Ｖｄ８を算出する。色差補間回路５２は、例えば次の式（１０）から（１６）により、Ｖｄ２〜Ｖｄ８を算出する。
Ｖｄ２＝Ｂ３−（Ｇ８＋Ｇ９）／２＋（Ｇ２＋Ｇ４）／２ ・・（１０）
Ｖｄ３＝Ｂ２−（Ｇ６＋Ｇ７）／２＋（Ｇ１＋Ｇ３）／２ ・・（１１）
Ｖｄ４＝Ｂ４−（Ｇ１０＋Ｇ１１）／２＋（Ｇ１＋Ｇ３）／２ ・・（１２）
Ｖｄ５＝Ｂ５−（Ｇ５＋Ｇ６）／２＋（Ｇ４＋Ｇ３）／２ ・・（１３）
Ｖｄ６＝Ｂ７−（Ｇ９＋Ｇ１０）／２＋（Ｇ１＋Ｇ２）／２ ・・（１４）
Ｖｄ７＝Ｂ８−（Ｇ１２＋Ｇ１１）／２＋（Ｇ２＋Ｇ３）／２ ・・（１５）
Ｖｄ８＝Ｂ６−（Ｇ７＋Ｇ８）／２＋（Ｇ１＋Ｇ４）／２ ・・（１６）

色差補間回路５２は、８つの補間値Ｖｄ１〜Ｖｄ８から、２つの方向ｄｍ１，ｄｍ２についての２つの補間値を選択する。色差補間回路５２は、選択された２つの補間値を平均回路５３へ出力する。色差補間回路５２は、８つの補間値Ｖｄ１〜Ｖｄ８をクリップ回路５４へ出力する。

パターンの方向である可能性が高いと判断された方向では、他の方向に比べて輝度の変化量は少ないと判断される一方、若干の輝度変化が含まれる場合があり得る。このため、参照画素とするＢ画素の信号値をそのまま位相差画素４１への補間値とした場合に、位相差画素４１への不十分な補間による輝度のずれ（アーティファクト）が画像に残る可能性がある。

本実施形態では、補間処理回路３４は、パターンの方向においては色差変化がほとんどないものとみなして、参照画素の信号値に調整を施して、補間値を算出する。補間処理回路３４は、位相差画素４１およびＧ画素の色差と、参照画素およびＧ画素の色差との相関関係を基に、参照画素の信号値に対する色差補償を施す。色差補間回路５２は、かかる調整により、アーティファクトを低減させる。なお、色差補間回路５２は、式（９）から（１６）に示す式による演算以外の演算により、補間値Ｖｄ１〜Ｖｄ８を求めても良い。

平均回路５３は、２つの方向ｄｍ１，ｄｍ２についての２つの補間値の平均値Ｖａｖを算出する（ステップＳ４）。平均回路５３は、８つの方向ｄ１〜ｄ８のうち画像に含まれるパターンの方向である可能性が高いと判断された２つの方向の輝度情報および色差情報が反映された補間値である平均値Ｖａｖを算出する。

補間処理回路３４は、パターンの方向である可能性が高い２つの方向ｄｍ１，ｄｍ２の補間値を平均回路５３にて平均する。補間処理回路３４は、位相差画素４１から互いに異なる２つの方向へのパターンが画像に含まれる場合に、かかる２つの方向の画像情報が反映された補間値を求めることができる。固体撮像装置５は、位相差画素４１におけるアーティファクトを低減させ、不自然さが低減された画像を得ることができる。

クリップ回路５４は、クリップ処理における参照値とするＲｍａｘおよびＲｍｉｎを設定する（ステップＳ５）。クリップ回路５４は、位相差画素４１への補間値のレベルを、Ｒｍａｘを上限およびＲｍｉｎを下限とするレベルに制限するクリップ処理を実施する。クリップ回路５４は、ステップＳ３で求めた８つの補間値Ｖｄ１〜Ｖｄ８をレベル順に並べ替える。クリップ回路５４は、補間値Ｖｄ１〜Ｖｄ８のうち、最上位から２番目のレベルの補間値を、参照値の１つであるＲｍａｘに設定する。クリップ回路５４は、補間値Ｖｄ１〜Ｖｄ８のうち、最下位から２番目のレベルの補間値を、参照値の１つであるＲｍｉｎに設定する。クリップ回路５４は、次のステップＳ６およびステップＳ７の手順によるクリップ処理を実施する。

ステップＳ６では、クリップ回路５４は、ステップＳ４で得られた平均値Ｖａｖと参照値Ｒｍｉｎとを比較する。ステップＳ７では、クリップ回路５４は、ステップＳ４で得られた平均値Ｖａｖと参照値Ｒｍａｘとを比較する。

ＶａｖがＲｍｉｎより小さい場合（ステップＳ６、Ｙｅｓ）、クリップ回路５４は、Ｒｍｉｎを選択する。これにより、クリップ回路５４は、平均回路５３からのＶａｖに対し、補間値の下限とするＲｍｉｎによるクリップ処理を施す。補間処理回路３４は、位相差画素４１Ｒへの補間値ＶｉｎにＲｍｉｎを設定する（ステップＳ８）。

ＶａｖがＲｍｉｎ以上（ステップＳ６、Ｎｏ）であって、ＶａｖがＲｍａｘより大きい場合（ステップＳ７、Ｙｅｓ）、クリップ回路５４は、Ｒｍａｘを選択する。これにより、クリップ回路５４は、平均回路５３からのＶａｖに対し、補間値の上限とするＲｍａｘによるクリップ処理を施す。補間処理回路３４は、位相差画素４１Ｒへの補間値ＶｉｎにＲｍａｘを設定する（ステップＳ９）。

ＶａｖがＲｍｉｎ以上（ステップＳ６、Ｎｏ）、かつＶａｖがＲｍａｘ以下である場合（ステップＳ７、Ｎｏ）、クリップ回路５４は、Ｖａｖを選択する。クリップ回路５４は、平均回路５３からのＶａｖを、クリップ処理を施さずに通過させる。補間処理回路３４は、位相差画素４１Ｒへの補間値ＶｉｎにＶａｖを設定する（ステップＳ１０）。

補間処理回路３４は、位相差画素４１Ｒの信号を、ステップＳ８からＳ１０のいずれかにおいて設定された補間値Ｖｉｎに置き換える。これにより、補間処理回路３４は、位相差画素４１Ｒへの補間処理を終了する。

補間処理回路３４は、Ｂ画素に代えて配置された位相差画素４１を対象とする場合と同様に、Ｒ画素に代えて配置された位相差画素４１を対象とする補間処理を実施する。この場合、補間処理回路３４は、Ｇ画素を第１画素、Ｒ画素を第２画素とする補間処理を実施する。

２つの方向ｄｍ１，ｄｍ２のいずれか一方についての補間値の算出には、白キズである第２画素の信号値が使用されることがあり得る。白キズは、画素が正常に機能しているときに比べて高い信号レベルを示すキズである。キズは、正常に機能していない画素によるデジタル画像信号の欠損部分である。白キズによる異常な信号が使用されることで、補間値は、被写体が持つ色情報に関わらず高い値が算出されることになる。

補間処理回路３４は、色差補間回路５２で算出された補間値Ｖｄ１〜Ｖｄ８から得られたＲｍａｘより高いレベルの補間値を、白キズの影響を受けた結果とみなす。補間処理回路３４は、白キズの影響を含むと判断された補間値に対してＲｍａｘによるクリップ処理を施すことで、白キズである第２画素の影響を低減できる。

また、２つの方向ｄｍ１，ｄｍ２のいずれか一方についての補間値の算出には、黒キズである第２画素の信号値が使用されることもあり得る。黒キズは、画素が正常に機能しているときに比べて低い信号レベルを示すキズである。黒キズによる異常な信号が使用されることで、補間値は、被写体が持つ色情報に関わらず低い値が算出されることになる。

補間処理回路３４は、色差補間回路５２で算出された補間値Ｖｄ１〜Ｖｄ８から得られたＲｍｉｎより低いレベルの補間値を、黒キズの影響を受けた結果とみなす。補間処理回路３４は、黒キズの影響を含むと判断された補間値に対してＲｍｉｎによるクリップ処理を施すことで、黒キズである第２画素の影響を低減できる。

画像に含まれるパターンの方向が８つの方向ｄ１〜ｄ８のいずれとも一致しない場合、選択される２つの方向ｄｍ１，ｄｍ２と画像に含まれる実際のパターンの方向とには、ずれが生じることとなる。この場合に、色差補間回路５２では、実際のパターンの方向にある第１画素以外の第１画素の信号値が、２つの方向ｄｍ１，ｄｍ２の補間値の算出に使用される可能性がある。

補間処理回路３４は、このような色差補間回路５２での補間値の算出における誤差が要因となって、正常なレベルより異常に高いレベルの補間値あるいは低いレベルの補間値が算出される可能性がある。補間処理回路３４は、このような異常なレベルとなった補間値に対し、クリップ回路５４でのクリップ処理を施すことで、正常なレベルに近い値へ補間値を修正する。

クリップ回路５４は、平均回路５３までの処理では対処しきれない要因により異常なレベルとなった補間値を、正常なレベルへ補正する。固体撮像装置５は、位相差画素４１におけるアーティファクトを低減させ、不自然さが低減された画像を得ることができる。なお、クリップ処理における参照値は、補間値Ｖｄ１〜Ｖｄ８のいずれかである場合に限られない。参照値は、いずれの手法により設定されたものであっても良い。クリップ処理回路５４は、例えばあらかじめ設定された参照値によるクリップ処理を行うこととしても良い。

画素ブロックには、白キズである第１画素が含まれることがあり得る。変化量比較回路５１におけるスコアの算出に、白キズである第１画素の信号が使用された場合、スコアは、被写体が持つ輝度情報に関わらず高い値が算出されることになる。かかる高い値となったスコアを持つ方向は、変化量比較回路５１における方向の選択において除外されることとなる。補間処理回路３４は、白キズである第１画素の影響を含む補間値を除外できる。

固体撮像装置５は、画素ブロックに含まれるＧ画素、Ｂ画素あるいはＲ画素のキズを、撮像処理回路９でのキズ補正処理によって補正する。固体撮像装置５は、補間処理回路３４で生成された補間値を、キズ補正処理に使用しても良い。

位相差画素４１は、ベイヤー配列の中に配置されたものに限られない。位相差画素４１は、ベイヤー配列以外の画素配列の中に配置されたものでも良い。画素配列は、例えば、ベイヤー配列のＧ画素に代えて、白（Ｗ）画素が設けられたものでも良い。Ｗ画素は、白色光を検出する撮像画素である。白色光は、可視領域全般における波長の光を含む。固体撮像装置５は、撮像画素にＷ画素が含まれることで、高い感度で被写体像を取り込むことができる。

図１０は、図２に示す画素領域における位相差画素の第３配置例を示す図である。図１０に示す画素配列では、ベイヤー配列のＧ画素が、いずれもＷ画素に置き換えられている。Ｗ画素は、白色光を透過させる透明フィルタ（図示省略）を備える。画素配列は、Ｗ画素、Ｒ画素およびＢ画素を含む。撮像処理回路９は、Ｗ，ＲおよびＢの各色成分の光の検出結果である画像信号を、ベイヤー配列に応じた画像信号へ変換する。

第３配置例でも、第１配置例および第２配置例と同様に、２つの位相差画素４１Ｌ，４１Ｒの組み合わせが、画素領域２０において所定の割合で配置されている。Ｗ画素は、Ｒ画素およびＢ画素に比べて広い波長領域の光を検出する。Ｗ画素で検出される信号成分は、Ｒ画素およびＢ画素で検出される信号成分に比べて被写体の輝度情報が多く含まれている。第３配置例では、画素配列のＷ画素は、位相差画素４１Ｌ，４１Ｒへの置き換えがなされず、いずれも画像情報の検出に使用される。固体撮像装置５は、高輝度かつ高い解像感を備える画像を取得できる。

図１０には、Ｂ画素に代えて配置された位相差画素４１Ｒを中心とする５×５の画素ブロック６０を示している。補間処理回路３４は、画素ブロック６０におけるＷ画素の信号値とＢ画素の信号値を、補間処理において使用する。この例において、Ｗ画素は、第１色光であるＷ光を検出する第１画素である。Ｂ画素は、第２色光であるＢ光を検出する第２画素である。本実施形態において、白色光は「色光」に含まれるものとする。第３配置例の場合も、固体撮像装置５は、アーティファクトを低減させ、かつ補間処理におけるキズの影響を低減できる。

実施形態によると、補間処理回路３４は、変化量比較回路５１にて輝度の変化量を比較した結果から、参照画素とする第２画素を選択する。補間処理回路３４は、参照画素の信号値を使用して、位相差画素４１への補間値を算出する。補間処理回路３４は、輝度の変化量の比較結果を基に参照画素を選択することで、キズの影響を含む補間値を除外できる。補間処理回路３４は、補間値の算出において、参照画素の信号値へ第１画素の信号値による調整を施すことで、アーティファクトを低減させる。また、補間処理回路３４は、クリップ回路５４でのクリップ処理により、キズの影響を受けた補間値を補正できる。これにより、固体撮像装置５は、画像信号の補間処理におけるキズの影響を低減させ、高精度な補間処理を実施できるという効果を得ることができる。

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

５ 固体撮像装置、２０ 画素領域、３４ 補間処理回路、４１，４１Ｌ，４１Ｒ 位相差画素、５１ 変化量比較回路、５２ 色差補間回路、５３ 平均回路、５４ クリップ回路。

Claims (7)

1. 第１色光を検出する第１画素と、第２色光を検出する第２画素とを有する撮像画素と、被写体と焦点とのずれを検出する焦点検出画素と、を含む画素領域と、
   前記焦点検出画素を中心とする複数の方向における輝度の変化量を比較する第１回路と、
   前記第１回路による比較結果を基に選択された第２画素である参照画素の信号値を使用して、前記焦点検出画素への補間値を算出する第２回路と、を備え、
   前記第２回路は、前記参照画素の周辺の第１画素の信号値と、前記焦点検出画素の周辺の第１画素の信号値とを使用する調整を前記参照画素の信号値へ施して、前記補間値を算出することを特徴とする固体撮像装置。
2. 前記第２回路は、前記焦点検出画素に隣り合う第１画素の信号値から前記参照画素に隣り合う第１画素の信号値を差し引いた差分を、前記参照画素の信号値へ加算することで、前記補間値を算出することを特徴とする請求項１に記載の固体撮像装置。
3. 前記第１回路は、第１画素の信号値を基に、前記輝度の変化量を比較する評価値を算出することを特徴とする請求項１または２に記載の固体撮像装置。
4. 前記参照画素である第１参照画素の信号値を使用して算出された補間値と、前記参照画素である第２参照画素の信号値を使用して算出された補間値との平均値を算出する第３回路を備えることを特徴とする請求項１から３のいずれか一項に記載の固体撮像装置。
5. 前記第３回路で算出された前記平均値へのクリップ処理を施す第４回路を備えることを特徴とする請求項４に記載の固体撮像装置。
6. 前記第１色光は緑色光であって、前記第２色光は青色光または赤色光であることを特徴とする請求項１から５のいずれか一項に記載の固体撮像装置。
7. 前記第１色光は、可視領域全般における波長の光を含む白色光であって、
   前記第２色光は、青色光または赤色光であることを特徴とする請求項１から５のいずれか一項に記載の固体撮像装置。

Images