JP2018019162A

JP2018019162A - 撮像装置及び信号処理方法

Info

Publication number: JP2018019162A
Application number: JP2016146135A
Authority: JP
Inventors: 小西　隆夫; Takao Konishi; 隆夫小西; 滋巳山崎; Shigemi Yamasaki
Original assignee: Sigma Corp
Current assignee: Sigma Corp
Priority date: 2016-07-26
Filing date: 2016-07-26
Publication date: 2018-02-01
Anticipated expiration: 2036-07-26
Also published as: JP6837652B2

Abstract

【課題】機能画素の出力信号を適切に補正しつつ、後段で画像処理すべきデータ量を減らすことが可能な撮像装置及び信号処理方法を提供する。【解決手段】積層された複数の光電変換層のうち一部が複数の光電変換部を有する高解像度光電変換層である撮像素子は、通常画素と、通常画素よりもそれぞれ低感度な光電変換層を有する機能画素とを含み、信号処理部は機能画素において、高解像度光電変換層のうち第１の光電変換部の出力信号を高解像度光電変換層の全ての光電変換部の出力信号から算出した算出値に置換する置換処理を施す置換処理部と、高解像度光電変換層のうち第１の光電変換部を除く光電変換部の出力信号に第１の補正処理を施して撮像用の出力信号に補正する第１の補正処理部とを有し、画像処理部は置換処理を施した第１の光電変換部の出力信号に第２の補正処理を施して撮像用の出力信号に補正する第２の補正処理部を有する。【選択図】図４

Description

本発明は、低感度画素の出力信号を適切に補正しつつ、後段で画像処理すべきデータ量を減らすことが可能な撮像装置及び信号処理方法に関する。

ＣＣＤやＣＭＯＳに代表される撮像素子の持つ特性の一つとしてダイナミックレンジがある。ダイナミックレンジとは、光電変換により生じる電荷の蓄積量の最大値と最小値の比率を意味する。このダイナミックレンジの範囲内の電荷蓄積量であれば撮像素子は適切な信号出力が行え、階調性のある画像データが得られる。

一方、撮像素子の飽和レベル以上の明るさの被写体領域は全て飽和レベルで変換され、白とびと呼ばれる現象となって現れる。また、輝度差の大きな被写体の場合、白とびだけでなく、暗い部分の階調性が低下する黒つぶれが発生し、さらに画質が低下してしまうことがある。

このように、輝度差の大きな被写体について階調性の良好な画像を得るための手法として、ダイナミックレンジを拡大させる技術が従来より提案されている。

例えば、特許文献１に開示の発明では、画素センサアレイは、第１の利得を有する複数の画素センサと、第１の利得よりも少ない第２の利得を有する複数の画素センサとを含み、第１の利得を有する画素の画素値が飽和するハイライト画素において、その近傍で利用可能な不飽和通常光感度画素の平均値または加重平均値とハイライト画素値との比として算出した補正値で補正する構成としている。一般的な画素と比べて光感度が低下したフォトダイオードを製造するのに、光遮蔽体が使用され、感度を低下させるために画素に入る光の一部を阻止することになる。感度を低下させた画素は、薄黒い遮蔽材料３２の層によって生成された減少した開口サイズを有する。

この発明によれば、全てが同じ光感度を有する光センサを使用する従来の画像センサと異なり、異なる光感度を有するフォトダイオードを使用するセンサを提示し、特に、センサセルが、通常、飽和する明るい画像領域において画像の品質およびダイナミックレンジの両方を向上させる、としている。

ここで、撮像素子の構造について説明する。特許文献２に開示の撮像素子は、広く知られたベイヤー型の撮像素子とは異なり、シリコンの特性を利用した垂直色分離型の撮像素子であり、さらに、最上層（青色センサ）が、中間層（緑色センサ）および第３層（赤色センサ）の解像度よりも４倍高い解像度を持つ「１１４」構造のアレイとして読み出される撮像素子である。

この発明によれば、充分な解像度で最上層を読み出し、中間層及び第３層を充分な解像度より小さい解像度で読み出すことで、最上層の青色チャネルにおける高い空間解像度を保ちながら、中間層及び第３層の赤色および緑色チャネルにおける信号対ノイズ比（ＳＮ比）を増大させることができる、としている。

特開２０１３−０８１１５４号公報特許５０３３８０８号公報

ここで、特許文献２に開示の構造を有する撮像装置に特許文献１に開示の手法を適用しようとした場合を考える。この場合、１１４構造を持つ垂直色分離型センサを低感度化させようとすると、最上層に複数ある青色センサの全てを遮光する必要がある。これは、中間及び最下層の緑色及び赤色センサにおいても遮光による感度低下の効果を得るためである。

このように低感度の色センサの数が増えると、最終的な画像データを生成する際に補正が必要なデータ量も増加する。すなわち、通常の垂直色分離型センサである１１１構造であれば、後段の処理で補正処理を行うデータ量は最上層１、中間層１、第３層１で合計３つとなるところ、特許文献２に開示の１１４構造の場合は最上層４、中間層１、第３層１の合計６つになり補正処理が必要なデータ量が増加してしまう。

本発明はこのような状況に鑑みてなされたものであり、一部の層が高解像層である垂直色分離型の低感度画素の出力信号を適切に補正しつつ、後段で画像処理すべきデータ量を減らすことが可能な撮像装置及び信号処理方法を提供することを目的とする。

上記目的を達成するために、本発明を実施の撮像装置は、光軸垂直方向に複数の光電変換層を積層してなる垂直色分離構造を有する複数の画素が２次元方向に配列され、複数の画素は、複数の光電変換層のうち一部の光電変換層が２次元方向に複数の光電変換部を有してなる高解像度光電変換層である撮像素子と、撮像素子から出力信号を読み出す読出し制御部と、読み出された出力信号に対して所定の信号処理を行う信号処理部と、信号処理部から送られてきた出力信号に対して所定の画像処理を行う画像処理部と、を有し、複数の画素は、撮像用の出力信号を生成する通常画素と、通常画素の複数の光電変換層の感度よりもそれぞれ低感度な複数の光電変換層を有する機能画素とを含み、信号処理部は、機能画素において、高解像度光電変換層の複数の光電変換部のうち第１の光電変換部の出力信号を、高解像度光電変換層の全ての光電変換部の出力信号に基づいて算出される算出値に置換する置換処理を施す置換処理部と、高解像度光電変換層のうち第１の光電変換部を除く光電変換部の出力信号に第１の補正処理を施して撮像用の出力信号に補正する第１の補正処理部とを有し、画像処理部は、置換処理を施した第１の光電変換部の出力信号に第２の補正処理を施して撮像用の出力信号に補正する第２の補正処理部を有すること特徴とする。

さらに本発明を実施の撮像装置は、上記発明において、信号処理部はハードウェア処理により処理を行い、画像処理部はソフトウェア処理により処理を行うことを特徴とする。

さらに本発明を実施の撮像装置は、上記発明において、算出値は、高解像度光電変換層の全ての光電変換部の出力信号の単純平均値又は加重平均値であることを特徴とする。

さらに本発明を実施の撮像装置は、上記発明において、第１の補正処理部は、第１の補正処理として、高解像度光電変換層のうち第１の光電変換部を除く光電変換部の出力信号に対してゲイン補正を行い、第２の補正処理部は、第２の補正処理として算出値に対して補間補正を行うことを特徴とする。

さらに本発明を実施の撮像装置は、上記発明において、第２の補正処理部は、第２の補正処理として、複数の光電変換層のうち高解像度光電変換層を除く光電変換層の出力信号に対してゲイン補正又は補間補正を行うことを特徴とする。

さらに本発明を実施の撮像装置は、上記発明において、信号処理部はさらに欠陥画素判別部を有し、欠陥画素判別部は、高解像度光電変換層の複数の光電変換部が欠陥画素であるか否かの判別を行い、複数の光電変換部のいずれかが欠陥画素であった場合に、置換処理部は欠陥画素の出力信号を除外して置換処理を行うことを特徴とする。

さらに本発明を実施の撮像装置は、上記発明において、垂直色分離構造を有する複数の画素は３層の光電変換層を積層してなり、高解像度光電変換層は最上層の光電変換層に設けられることを特徴とする。

さらに本発明を実施の撮像装置は、上記発明において、機能画素は、内部に入射する光量を所定の割合に制限する遮光部を最上層の光電変換層の上方に有することを特徴とする。

また、本発明を実施の信号処理方法は、光軸垂直方向に３層の光電変換層を積層し、最上層の光電変換層が２次元方向に複数の光電変換部を有する高解像度光電変換層である垂直色分離構造を有する複数の画素からなる撮像素子の信号処理方法であって、高解像度光電変換層の複数の光電変換部のうち第１の光電変換部の出力信号を、高解像度光電変換層の全ての光電変換部の出力信号の平均値に置換する置換処理ステップと、高解像度光電変換層のうち第１の光電変換部を除く光電変換部の出力信号を撮像用の出力信号に補正する第１の補正処理ステップと、置換処理を施した第１の光電変換部の出力信号を撮像用の出力信号に補正する第２の補正処理ステップと、を有し、置換処理ステップ及び第１の補正処理ステップはハードウェア処理回路で行い、第２の補正処理ステップはソフトウェア処理回路で行うこと特徴とする。

本発明を実施の撮像装置及び信号処理方法によれば、低感度画素の出力信号を適切に補正しつつ、後段で画像処理すべきデータ量を減らすことが可能となる。

本発明の一実施形態である撮像装置の主要な構成を示したブロック図である。撮像素子を説明する図であり、（ａ）は入射光とその吸収関係を説明する断面図、（ｂ）は１１４構造を説明する模式図である。撮像素子中の低感度画素の分布を説明するための上面図である。信号処理部と画像処理部とで行われる処理を説明するためのブロック図である。信号処理部における主要な処理の流れを示したフローチャートである。

以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。なお、この実施の形態により本発明が限定されるものではない。

図１に示すブロック図には、本発明の一実施形態である撮像装置の主要な構成が示されている。本図に示す撮像装置１００は、撮影光学系１１０と、撮像素子１２０と、読出し制御部１３０と、信号処理部１４０と、画像処理部１５０と、カメラＣＰＵ１６０と、ユーザインターフェース（Ｉ／Ｆ）１６１と、記録媒体インターフェース（Ｉ／Ｆ）１６３と、画像表示部１７０と、を備えている。撮影光学系１１０は、フォーカスレンズ群やズームレンズ群を含む、複数の不図示のレンズ群で構成されている。本図においては、簡単のために１枚のレンズのみ記載している。

撮像素子１２０は、撮影光学系１１０により集光された光線を受光して光電変換し、画像信号を出力する。本実施形態の撮像素子１２０としては、ＣＭＯＳイメージセンサが用いられている。撮像素子１２０の受光面は多数の画素から構成されている。これらの画素は、その内部において、入射光の波長により光電変換される深さの違いを用いることで、単一画素からＲＧＢの各色成分信号を出力可能な垂直色分離型のイメージセンサである。垂直色分離型のイメージセンサについて詳しくは後述する。

また、撮像素子１２０には通常画素と低感度画素とがそれぞれ複数含まれており、それらは所定の配列をもって撮像素子１２０を構成している。撮像素子１２０は内部に不図示のゲイン可変アンプ、ゲイン補正回路、Ａ／Ｄコンバータを備えており、画像信号はデジタルデータとして出力される。

低感度画素は、例えばダイナミックレンジが拡張された撮影画像（いわゆるＨＤＲ画像）を得る目的で使用される画素である。本実施形態においては、この低感度画素を機能画素の一種類として採用しているが、これに限られるものではなく、機能画素としていわゆる撮像面位相差ＡＦを実現するための位相差検出用画素を採用してもよい。低感度画素についても詳しくは後述する。

読出し制御部１３０は、撮像素子１２０の駆動タイミングを決定するための信号を出力する。これにより画素毎の水平駆動並びに垂直駆動が制御され、各画素からＲＧＢの各色成分信号が読み出される。撮像素子１２０から出力された色成分信号は信号処理部１４０内に設けられているメモリ部１４１に記録される。メモリ部１４１は、この他にも各種データのバッファとして機能する。

信号処理部１４０は撮像素子１２０から読み出されメモリ部１４１に記録された色成分信号に対して各種の信号処理を施す。信号処理として、色成分信号に対して第１の補正処理や置換処理が施される。この第１の補正処理及び置換処理では低感度画素からの出力信号に対して補正が行われる。第１の補正処理及び置換処理について詳しくは後述する。

その他の処理としては、例えば、読み出した色成分信号を増幅するための増幅処理がある。

この信号処理部１４０は撮像素子１２０の出力に対して前段処理を行うフロントエンド装置である。例えばＦＰＧＡやＡＳＩＣといった画像処理を実行するＩＣ（半導体）で構成され、所定のハードウェア処理（専用ハードウェアによる特定のデータ処理）を行うロジック回路である。

画像処理部１５０は、信号処理部１４０から送られてきた色成分信号に対して各種の画像処理を施す。画像処理として、色成分信号に対して第２の補正処理やＲＡＷデータ生成、ＨＤＲ画像生成が施される。この第２の補正処理では低感度画素及び通常画素の出力信号の補正が行われる。第２の補正処理について詳しくは後述する。

その他の処理として、例えば、ホワイトバランス処理、色再現処理、ＪＰＥＧ形式やＴＩＦＦ形式の画像データへの現像処理等がある。

この画像処理部１５０は信号処理部１４０から出力された信号に対して後段処理を行うバックエンド装置である。例えばＤＳＰといった、ソフトウェアによってプログラミングされた所定のデータ処理を実行するプロセッサである。

カメラＣＰＵ１６０は、撮像装置１００全体の包括的な制御を行う。

ユーザＩ／Ｆ１６１は、例えば、レリーズボタン、電源ボタン、コマンドダイヤル、十字キー等の操作部材を有しており、ユーザがこれらの操作部材を操作すると、カメラＣＰＵ１６０は所定の動作を行う指示を出す。

記録媒体Ｉ／Ｆ１６３は、不図示の記録媒体との間でＲＡＷデータや現像後の画像データの記録又は読み出しを行う。この記録媒体は、半導体メモリ等の着脱可能な記録媒体である。

画像表示部１７０は、撮影画像や不図示の記録媒体から読み出された画像等を表示する。

なお、上述したゲイン可変アンプ、ゲイン補正回路、Ａ／Ｄコンバータを内蔵していない撮像素子１２０を採用する場合には、これらのデバイスを個別に搭載すればよい。

図２（ａ）は、撮像装置１００に実装される垂直色分離型の撮像素子１２０の３層のフォトダイオードを単純化して示した断面図である。上述したように、本実施形態の撮像素子１２０はいわゆる垂直色分離型のイメージセンサであり、簡単には、光電変換層であるところのフォトダイオードが深さ方向に３つ積層されて構成されている。

ある画素に光が入射すると、入射光中の青色（Ｂ）成分は主に最上層に位置するＢフォトダイオード１２１で光電変換される。同様に、入射光中の緑色（Ｇ）成分は主に中間層に位置するＧフォトダイオード１２３で光電変換され、赤色（Ｒ）成分は主に最下層に位置するＲフォトダイオード１２５で光電変換される。これらの垂直方向の色分離は、撮像素子１２０の材料として用いるシリコン（Ｓｉ）の特性を利用したものである。３層のフォトダイオードは、Ｓｉ基板内部の異なる深さに所定のドープ処理を行うことで形成される。具体的には、Ｂフォトダイオード１２１は約０．２〜０．５μｍの間の深さに形成され、Ｇフォトダイオード１２３は約０．５〜１．５μｍの間の深さに形成され、Ｒフォトダイオード１２５は約１．５〜３．０μｍの間の深さに形成される。

従って、本実施形態の撮像素子１２０はベイヤー型イメージセンサに必須のカラーフィルタが不要でありながら、１つの画素でＲＧＢ３色の色成分信号を取得することが可能である。各画素が３色全ての波長成分を光電変換できるため、ベイヤー型イメージセンサにおいては必須の画素補間を行う必要がないというメリットもある。

さらに本図（ｂ）に示すように、本実施形態の撮像素子１２０は上述した特許文献２に開示の「１１４」構造を有している。すなわち、Ｂフォトダイオード１２１の数が対応するＧフォトダイオード１２３及びＲフォトダイオード１２５の数と比べて４倍になっており、ＧＲフォトダイオードと比べてＢフォトダイオード１２１自体の面積は小さくなっている。

不図示のマイクロレンズがそれぞれのＢフォトダイオード１２１と対応するようにしてＢフォトダイオード１２１上方に設けられている。Ｂ０、Ｂ１、Ｂ２、Ｂ３との記載は後述するＢフォトダイオード１２１の信号読み出しの順番を示しており、そのまま各画素をそれぞれそのように呼ぶこととする。

本実施例において「画素」と記載した場合には、主に、上述したような４つのＢフォトダイオード１２１と１つのＧフォトダイオード１２３及びＲフォトダイオードから成る１１４構造の最小構成を意味することとする。これによれば、１つの「画素」から合計６種類の色成分信号が得られることになる。

なお、フォトダイオードに換えて、有機物や無機物等により形成され特定の吸収特性を有する光電変換膜を光電変換層として複数積層させた構成としてもよい。

上述したように本実施形態の撮像素子１２０は通常画素と低感度画素とを有しており、どちらも上述した１１４構造を有している。低感度画素とは、通常画素に比べて各フォトダイオードが低感度となるように構成された画素であり、それ以外の構造は通常画素と同様であるとする。

低感度画素を得る構造としては複数考えられるが、例えば、金属等を画素上面にエッチングしてマスクとなる遮光部を形成し、これによって開口面積が制限されることで画素中のフォトダイオードに届く光量を減少させる方法がある。本実施形態の低感度画素については、最上層である４つのＢフォトダイオード１２１のそれぞれに対応する不図示のメタルマスクを各フォトダイオード上方に設ける構成としている。

この構成とすることで、Ｂフォトダイオード１２１全体としての入射光量を減少させられるだけでなく、それよりも下層に位置するＧフォトダイオード１２３及びＲフォトダイオード１２５についても同様に入射する光量を減らすことが可能となる。これにより、低感度画素の各フォトダイオードはそれぞれ通常画素の各フォトダイオードよりも低感度となる。

図３は、撮像素子１２０上方から見た各画素の配置を模式的に表した図であり、各矩形がそれぞれ上述した１１４構造の画素を表している。白い矩形が通常画素を、濃い色の矩形が低感度画素を表している。本図に示すように、低感度画素は２次元状に配置された通常画素の中に離散的に分布する構成となっている。

読出し制御部１３０は、画素列毎に読み出しを行うために撮像素子１２０の駆動タイミングを決定する信号を出力する。これにより画素毎の水平駆動並びに垂直駆動が制御され、各画素からＲＧＢの各色成分信号が読み出される。詳しくは、水平駆動信号によって選択された行において、まず、最上層の４つあるＢフォトダイオード１２１を所定の順序に従って読み出す。撮像素子１２０から読み出された各色成分信号は、順次信号処理部１４０に送られる。

本実施例では上述したように、所定の読み出し順序としてＢ０、Ｂ１、Ｂ２、Ｂ３の順に各Ｂフォトダイオード１２１に蓄積された色成分信号を読み出す。すなわち、ある行が選択され読み出しが開始されると、まず初めにその行内の全ての画素のＢ０が端から順番に読み出され、Ｂ０の読み出しが完了すると次に同一行の全画素からＢ１が読み出され、続けてＢ２、さらにＢ３が読み出される。４種類のＢフォトダイオード１２１からの読み出しが完了すると、続いて同一行から中間層のＧフォトダイオード１２３の信号を読み出し、最後に最下層のＲフォトダイオード１２５の信号を読み出す。

これにより１行の全ての画素からＢ０、Ｂ１、Ｂ２、Ｂ３、Ｇ、Ｒの６種類の色成分信号が読み出されたことになる。そして、以上の読み出しを撮像素子１２０上の全ての行に対して行うことで、画像１フレーム分の各色成分信号の読み出しが完了する。

上述したように本撮像素子１２０では低感度画素が離散的に分布しているので、選択された行によっては読み出される色成分信号の中に低感度画素からの信号も含まれることになる。この低感度画素からの出力信号を適切に取り扱うための処理が、前段処理を担う信号処理部１４０と後段処理を担う画像処理部１５０とで施される。図４は、この信号処理部１４０と画像処理部１５０とで行われる本発明に係る処理を示した模式図である。

上述したように、信号処理部１４０はハードウェア処理を行うロジック回路であるので、後段の画像処理部１５０と比べて高速処理が可能という特徴がある。一方、画像処理部１５０はソフトウェア処理を行うプロセッサであるので、前段の信号処理部１４０と比べて処理プログラムの変更が容易に行えるという特徴がある。

まず初めに信号処理部１４０について説明する。撮像素子１２０から信号処理部１４０に入力された色成分信号は、まず信号判別部１４３で所定の条件を満たすか否かが判別され、条件を満たす信号が適宜第１の補正処理部１４５や置換処理部１４７に送られる。

第１の補正処理部１４５では、低感度画素から読み出されたＢ成分信号のうち、後述する代表フォトダイオードＢｒ以外の３つのＢフォトダイオード１２１から読み出されたＢ成分信号に対して所定の補正処理を行う。これらの処理が施された３つのＢ成分信号は画像処理部１５０へと送られる。

一方、置換処理部１４７では、低感度画素から読み出されたＢ成分信号のうち、例えば上述したＢ０に位置するＢフォトダイオード１２１から読み出されたＢ成分信号に対して所定の置換処理を行う。置換処理部１４７において置換処理の対象となるこのＢ０フォトダイオードを代表フォトダイオードＢｒと呼ぶこととする。

なお、代表フォトダイオードＢｒとなるのはＢ０に限られない。４つのＢフォトダイオード１２１のいずれであっても代表フォトダイオードＢｒとして設定することが可能である。

代表フォトダイオードＢｒの信号値は信号処理部１４０で置換処理された後、置換信号値として画像処理部１５０へと送られる。

上記の信号処理部１４０における主要な処理の流れを示したものが図５のフローチャートである。上述したように、信号処理部１４０では、色成分信号が読み出された画素やフォトダイオードの種類に応じて異なる処理が行われる。

まずステップＳ１０１では、画素から読み出された色成分信号が低感度画素から読み出された信号であるか否かの判断を行う。低感度画素から読み出された信号ではなかった場合にはフローチャートを終了し、何の処理も施すことなく後段の画像処理部１５０に送られる。一方、低感度画素から読み出された信号であった場合には、ステップＳ１０２に進む。

次にステップＳ１０２では、読み出された色成分信号がＢフォトダイオード１２１から読み出された信号であるか否かの判断を行う。Ｂフォトダイオード１２１から読み出された信号ではなかった場合にはフローチャートを終了し、何の処理も施すことなく後段の画像処理部１５０に送られる。一方、Ｂフォトダイオード１２１から読み出された信号であった場合には、ステップＳ１０３に進む。

次にステップＳ１０３では、読み出された色成分信号が代表フォトダイオードＢｒから読み出された信号であるか否かの判断を行う。代表フォトダイオードＢｒから読み出された信号ではなかった場合にはステップＳ１０４に進み、一方、代表フォトダイオードＢｒから読み出された信号であった場合にはステップＳ１０５に進む。

フローチャートにおけるこれらの判別は、信号処理部１４０内に設けられた信号判別部１４３が行う。判別に際して信号判別部１４３は、例えば読み出したＢフォトダイオード１２１の数を同一行の端からカウントし、カウントされた数と予め記憶されていた低感度画素の位置（端から何個目かについての情報）を比較することで判別を行う。

ステップＳ１０４では、読み出された色成分信号に対して第１の補正処理が施される。詳しくは、信号処理部１４０内の第１の補正処理部１４５は、代表フォトダイオードＢｒ以外の３種類のＢフォトダイオード１２１から読み出された信号値に対して、感度低下により失われた信号値を補正した補正信号値Ｂ１’、Ｂ２’、Ｂ３’を算出する第１の補正処理を行う。この補正は、予め記憶しておいたゲイン値を用いたゲイン補正と、周囲の通常画素の信号値から当該低感度画素位置における信号値を補間する補間補正のいずれであってもよい。

またステップＳ１０５では、読み出された色成分信号に対して置換処理が施される。詳しくは、信号処理部１４０内の置換処理部１４７は、代表フォトダイオードＢｒを含む４種類のＢフォトダイオード１２１の補正前の信号値の平均値Ｂａｖを算出し、その平均信号値Ｂａｖを代表フォトダイオードＢｒの信号値と置換する処理を行う。

なお、上述した代表フォトダイオードＢｒは４種類のＢフォトダイオード１２１の信号値の平均値としたが、これは単純平均値であっても加重平均値であってもよい。重み付け係数の決定は任意であるが、例えば、配線層等の画素内部構造に基づくＢフォトダイオード間の感度の微小な差異を考慮して決定することができる。配線層の影響によりＢ０の感度が相対的に低いことが明らかな場合には、このＢ０に対する重み付け係数を低く設定することで、平均値Ｂａｖに対する不要なノイズの影響を低減することができる。

以上の２種類の処理によって、低感度状態にあった４種類のＢフォトダイオード１２１の信号値から、低感度状態の信号値が１つ（Ｂａｖ）と画像データに利用可能に補正がなされた信号値が３つ（Ｂ１’、Ｂ２’、Ｂ３’）算出されたことになる。これらの信号は画像処理部１５０に出力される。これによって本フローチャートが終了する。

図４の説明に戻り、後段処理を担う画像処理部１５０について説明する。信号処理部１４０から入力された平均信号値ＢａｖとＧ成分信号及びＲ成分信号は、画像処理部１５０内部に設けられた第２の補正処理部１５１に送られる。また、これらの信号値は後述するＨＤＲ画像生成部１５５にも送られる。

第２の補正処理部１５１では、信号処理部１４０から入力された平均信号値Ｂａｖに対して所定の補正処理が施される。この第２の補正処理部１５１では、同様に、低感度画素から読み出されたＧ成分信号及びＲ成分信号に対しても所定の補正処理を施す。

第２の補正処理部１５１で行うこれらの補正処理は、低感度画素で得られた信号値に対して感度の低下により失われた信号値を補正する処理となっている。

詳しくは、第２の補正処理部１５１は平均信号値Ｂａｖに対して公知の画素補間処理を行い、補正後の信号値Ｂａｖ’を生成する。この画素補間処理とは、周囲の通常画素の信号値から当該画素位置の信号値を推定して補正する処理のことである。

この画素補間処理は平均信号値Ｂａｖに専用の補間処理として用意することも可能であるが、いわゆる欠陥画素補正処理を適用することも可能である。欠陥画素補正処理とは、例えば工場出荷前の調整工程において欠陥状態の画素をカメラ内に登録しておき、撮影時に当該欠陥画素位置の信号値を周囲の正常な画素信号値を用いて補間補正する処理である。

この欠陥画素補正処理は、一般に後段の画像処理部内で行うことが多いので、平均信号値Ｂａｖの補正についてもこの処理を適用することで開発リソースの削減やプログラム容量の圧縮等のメリットとなる。

また、低感度画素から読み出されたＧ成分信号及びＲ成分信号に対しては、第２の補正処理部１５１において、置換信号値に対して行った画素補間処理を行ってもいいし、予め記憶しておいたゲイン値をかけて信号値を補正するゲイン補正を行ってもいい。これにより補正後の信号値Ｇ’及びＲ’が生成される。

第２の補正処理部１５１で補正処理を受けた各信号値はＲＡＷデータ生成部１５３に送られる。ＲＡＷデータ生成部１５３に入力された６種類の信号値（Ｂａｖ’、Ｂ１’、Ｂ２’、Ｂ３’、Ｇ’、Ｒ’）は、低感度画素から読み出された当初は低感度状態の信号値であったものの、上述した第１の補正処理及び第２の補正処理によって信号値の補正が行われていたものである。ＲＡＷデータ生成部１５３では、これらの信号値と通常画素から読み出された信号値とからＲＡＷデータを生成する。

ＨＤＲ画像生成部１５５では、必要に応じて、生成されたＲＡＷデータと同一低感度画素から読み出された低感度状態の３種類の信号値（Ｂａｖ、Ｇ、Ｒ）とを用いてＨＤＲ（ハイダイナミックレンジ）画像が生成される。ＨＲＤ画像の生成については上述した特許文献１等の公知の技術を用いることができる。このＨＤＲ画像生成処理を行うか否かについては、例えばユーザがユーザＩ／Ｆ１６１を介して任意に設定することができる。

生成されたＲＡＷデータやＨＤＲ画像は、カメラＣＰＵ１６０を介して記憶媒体Ｉ／Ｆに送られて記録される。また、画像表示部１７０には、撮影結果の確認用画像が表示される。

以上で説明したように、１１４構造によりＢ色成分に低感度状態の信号値が複数含まれるような撮像素子１２０において、前段の信号処理部１４０ではＢ成分の低感度信号を１つだけ残して予め他の３つの低感度信号を補正処理しておき、残り１つのＢ成分低感度信号は後段の画像処理部１５０において補正処理することとした。このような構成とすることにより、処理速度に優れた信号処理部での処理の分担を大きくでき、その他の一般的な処理も行う画像処理部の負荷を軽減して処理遅延の発生を防ぐことが可能となる。

また、残す１つのＢ成分低感度信号として代表フォトダイオードＢｒの信号値をそのまま利用するのではなく、画素を構成するその他のＢフォトダイオードの信号値を含めた４信号分の平均値Ｂａｖを置換して利用することにより、１１４構造とすることで相対的に増加した各Ｂフォトダイオードのノイズを平均化して低減することが可能となる。

一方で、代表フォトダイオードＢｒの信号値を平均値Ｂａｖで置換せずにそのままの信号値Ｂ０を使うことも可能である。

次に、画素を構成するフォトダイオードが欠陥だった場合を考える。例えば、代表フォトダイオードＢｒであるＢ０が欠陥画素であった場合、その情報は撮像装置１００の工場出荷前の調整工程においてカメラ内に登録されているので、信号処理部１４０内部に設けた不図示の欠陥画素判別部において登録情報を参照して欠陥画素を判別特定し、欠陥画素を除外したＢ１〜Ｂ３の３つのＢフォトダイオード１２１の信号値から平均信号値Ｂａｖを算出する。これにより、欠陥画素であるＢ０が出力する異常な信号値によって平均信号値Ｂａｖが影響を受けるのを防ぐことが可能となる。

同様に、代表フォトダイオードＢｒであるＢ０と同一画素内に位置するＢ１〜Ｂ３の中に欠陥画素が含まれていた場合にも、信号処理部１４０は登録情報を参照して欠陥画素を除外して平均信号値Ｂａｖを算出することができる。

なお、代表フォトダイオードＢｒの信号値を平均値で置換せずにそのまま使用する構成とした場合、その代表フォトダイオードＢｒが欠陥画素となってしまうとＨＤＲ画像の生成に必要な情報の精度が低下してしまう。従って、代表フォトダイオードＢｒが欠陥画素である場合に限って同一画素内のＢ１〜Ｂ３の信号値の平均信号値Ｂａｖで置換する構成とすることも可能である。

なお、上述した実施形態の撮像装置ではいわゆる１１４構造を有した撮像素子について本発明を適用した例を示したが、これに限られるものではない。

例えば、最上層が２等分された１１２構造や８等分された１１８構造を持つ撮像素子であっても、本発明の有する効果を発揮することができる。すなわち、これらの撮像素子の場合でも上述した実施例と同様に、信号処理部において代表フォトダイオードＢｒの信号値を平均信号値Ｂａｖと置換し、それ以外のＢフォトダイオードの信号値を補間処理すればよい。

さらに、上述した実施形態では最上層であるＢ感光層を４分割した高解像層としていたが、これに限られるものではない。すなわち、最上層以外の中間層であるＧ感光層や最下層であるＲ感光層を高解像層としてフォトダイオードを複数に分割して構成してもよい。この場合も上述した実施例と同様に、複数の光電変換部の１つを平均値で置換する処理を信号処理部にて行えばよい。

以上で説明したように、本発明に記載の撮像装置によれば、一部の層が高解像層である垂直色分離型の低感度画素を有する撮像素子において、前段の信号処理部では高解像層の低感度信号のうち１つだけ残して他の低感度信号を予め補正処理しておき、残り１つの低感度信号を後段の画像処理部において補正処理することとした。

このような構成とすることにより、処理速度に優れた信号処理部での処理の分担を大きくでき、その他の一般的な処理も行う画像処理部の負荷を軽減して処理遅延の発生を防ぐことが可能となる。

１００撮像装置、１１０撮影光学系、１２０撮像素子、１２１Ｂフォトダイオード、１２３Ｇフォトダイオード、１２５Ｒフォトダイオード、１３０読出し制御部、１４０信号処理部、１４１メモリ部、１４３信号判別部、１４５第１の補正処理部、１４７置換処理部、１５０画像処理部、１５１第２の補正処理部、１５３ＲＡＷデータ生成部、１５５ＨＤＲ画像生成部、１６０カメラＣＰＵ、１６１ユーザインターフェース、１６３記録媒体インターフェース、１７０画像表示部

Claims

光軸垂直方向に複数の光電変換層を積層してなる垂直色分離構造を有する複数の画素が２次元方向に配列され、複数の前記画素は、複数の前記光電変換層のうち一部の光電変換層が２次元方向に複数の光電変換部を有してなる高解像度光電変換層である撮像素子と、
前記撮像素子から出力信号を読み出す読出し制御部と、
読み出された前記出力信号に対して所定の信号処理を行う信号処理部と、
前記信号処理部から送られてきた前記出力信号に対して所定の画像処理を行う画像処理部と、
を有し、
複数の前記画素は、撮像用の出力信号を生成する通常画素と、前記通常画素の複数の前記光電変換層の感度よりもそれぞれ低感度な複数の前記光電変換層を有する機能画素とを含み、
前記信号処理部は、前記機能画素において、
前記高解像度光電変換層の複数の前記光電変換部のうち第１の光電変換部の出力信号を、前記高解像度光電変換層の全ての前記光電変換部の出力信号に基づいて算出される算出値に置換する置換処理を施す置換処理部と、
前記高解像度光電変換層のうち前記第１の光電変換部を除く前記光電変換部の出力信号に第１の補正処理を施して撮像用の出力信号に補正する第１の補正処理部と、
を有し、
前記画像処理部は、前記置換処理を施した前記第１の光電変換部の出力信号に第２の補正処理を施して撮像用の出力信号に補正する第２の補正処理部を有する
こと特徴とする撮像装置。
前記信号処理部はハードウェア処理により処理を行い、前記画像処理部はソフトウェア処理により処理を行う
ことを特徴とする請求項１に記載の撮像装置。
前記算出値は、前記高解像度光電変換層の全ての前記光電変換部の出力信号の単純平均値又は加重平均値である
ことを特徴とする請求項１又は２に記載の撮像装置。
前記第１の補正処理部は、前記第１の補正処理として、前記高解像度光電変換層のうち前記第１の光電変換部を除く前記光電変換部の出力信号に対してゲイン補正を行い、
前記第２の補正処理部は、前記第２の補正処理として前記算出値に対して補間補正を行う
ことを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
前記第２の補正処理部は、前記第２の補正処理として、複数の前記光電変換層のうち前記高解像度光電変換層を除く前記光電変換層の出力信号に対してゲイン補正又は補間補正を行う
ことを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
前記信号処理部はさらに欠陥画素判別部を有し、
前記欠陥画素判別部は、前記高解像度光電変換層の複数の前記光電変換部が欠陥画素であるか否かの判別を行い、
複数の前記光電変換部のいずれかが欠陥画素であった場合に、前記置換処理部は前記欠陥画素の出力信号を除外して前記置換処理を行う
ことを特徴とする請求項１乃至５のいずれかに記載の撮像装置。
前記垂直色分離構造を有する複数の前記画素は３層の前記光電変換層を積層してなり、
前記高解像度光電変換層は最上層の前記光電変換層に設けられる
ことを特徴とする請求項１乃至６に記載の撮像装置。
前記機能画素は、内部に入射する光量を所定の割合に制限する遮光部を最上層の前記光電変換層の上方に有する
ことを特徴とする請求項１乃至７に記載の撮像装置。
光軸垂直方向に３層の光電変換層を積層し、最上層の前記光電変換層が２次元方向に複数の光電変換部を有する高解像度光電変換層である垂直色分離構造を有する複数の画素からなる撮像素子の信号処理方法であって、
前記高解像度光電変換層の複数の前記光電変換部のうち第１の光電変換部の出力信号を、前記高解像度光電変換層の全ての前記光電変換部の出力信号の平均値に置換する置換処理ステップと、
前記高解像度光電変換層のうち前記第１の光電変換部を除く前記光電変換部の出力信号を撮像用の出力信号に補正する第１の補正処理ステップと、
前記置換処理を施した前記第１の光電変換部の出力信号を撮像用の出力信号に補正する第２の補正処理ステップと、
を有し、
前記置換処理ステップ及び前記第１の補正処理ステップはハードウェア処理回路で行い、前記第２の補正処理ステップはソフトウェア処理回路で行う
こと特徴とする撮像装置。