JP2016063467A - 画像信号処理方法及びそれを用いた撮像装置 - Google Patents

Abstract

【課題】積層型の画像信号からベイヤー型の画像信号に変換後の補間演算処理にて発生する偽色が目立つ色となることを抑制する画像信号処理方法と撮像装置を提供する。【解決手段】複数の光電変換層が積層された積層型固体撮像素子１０１が検出する画像信号に、色空間変換部１０２１で色変換行列を適用する。画像信号変換部１０２２で画像信号に間引き処理を行いベイヤー型の画像信号へ変換する。信号処理部１０４２で拡大処理を行う。色空間変換部は積層型の画像信号に行列演算することで赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の特性を最終出力の状態に近づける。【選択図】図１

Description

本発明は、複数の受光部を有する光電変換層を積層した撮像素子、これら光電変換層の各受光部から各々読み出した画像信号を処理する技術に関する。

従来ベイヤー型固体撮像素子は、１画素に１受光部が配置されており、各受光部には、例えば赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタのうち１つが積層されている。各画素は、それぞれ積層されているカラーフィルタに対応した１色の光を検出する構成となっている。そのため、各画素は、検出した色以外の色については、周りの受光部の検出した画像信号を基にして補間して演算することで求めている。一方、下記特許文献１に記載されている積層型固体撮像素子は、赤色（Ｒ）を検出する光電変換層と、緑色（Ｇ）を検出する光電変換層と、青色（Ｂ）を検出する光電変換層とを３層積層することで、同一画素で、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３つの色信号を検出することができる。よって、積層型固体撮像素子は、ベイヤー型固体撮像素子のようにカラーフィルタに対応した色の光のみ検出して他の色の光を検出しないという事態が起こらない。従って、積層型固体撮像素子は各画素の全ての色情報を持っていることからベイヤー型固体撮像素子のようにカラーフィルタに対応しない色の色情報を補間演算処理をするといった必要がない。

それ故、積層型固体撮像素子は、補間演算処理による偽色も発生しない。また、補間演算処理をしないため、積層型固体撮像素子はローパスフィルタが不要となる。従って、積層型固体撮像素子は、解像感が低下しない。つまり、積層型固体撮像素子は、ベイヤー型固体撮像素子が抱えている偽色が発生する、解像感が低下する、といった問題が起こらないのである。

次に、積層型固体撮像素子の持つ問題点を述べる。下記特許文献１に記載の積層型固体撮像素子のように検出したすべての画像信号に画像信号処理を行う場合、ベイヤー型固体撮像素子と積層型固体撮像素子の画素数が同じだとすると、ベイヤー型固体撮像素子は１画素から青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）のいずれか１色の検出が可能である。一方、積層型固体撮像素子は１画素から青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）の３色を検出が可能である。故に、積層型固体撮像素子の検出する画像信号（以下、積層型の画像信号とする。）の方がベイヤー型固体撮像素子の検出する画像信号（以下、ベイヤー型の画像信号とする。）よりも情報量が多くなる。よって、積層型の画像信号は情報量が多いため画像信号処理に要する時間がベイヤー型の画像信号と比べて多くなるという問題がある。

さらに、１画素から３色が検出される積層型固体撮像素子と１画素から１色が検出されるベイヤー型固体撮像素子とでは、撮像素子の画素数が同じであっても出力される画像信号の内容が異なる。よって、世の中に多く流通しているベイヤー型の画像信号処理回路はそのままでは積層型の画像信号処理へ流用できない。そのため、積層型の画像信号用に画像信号処理回路を作製する必要がある。その結果、コストが嵩んでしまうという問題もある。

積層型固体撮像素子の検出した積層型の画像信号のまま画像信号処理をしようとすると上述した問題が生じる。そこで、前述した問題を回避する方法の一つに積層型の画像信号をベイヤー型の画像信号へ変換してから画像信号処理を行う方法がある。この方法を行うことで積層型の画像信号の情報量を減らすと共に、ベイヤー型の画像信号処理回路を流用することが可能となる。

しかし、積層型の画像信号をベイヤー型の画像信号に変換して画像信号処理をした場合、ベイヤー型の画像信号と同様に画像信号処理の過程で各位置に対して周辺画素から色情報を補間演算処理する必要がある。従って、補間演算処理をした際に偽色が発生してしまう。この補間演算処理の際に発生した偽色は、後に色補正行列を適用した際の拡大処理に含まれる彩度を上げる処理や色相を変更する回転処理によって、偽色が目立つ色となってしまうというベイヤー型固体撮像素子が抱えている問題が発生する。

下記特許文献１に記載の積層型固体撮像素子の検出した画像信号をベイヤー型の画像信号に変換し、画像信号処理を行うと、前述したように補間演算処理を行うため偽色が発生し、その後の画像信号処理によって、最終的に出力される画像は、目立った偽色が現れるという問題がある。

なぜなら、特許文献１に記載の積層型固体撮像素子はＳｉ半導体の吸収係数の波長依存性を利用して、光電変換層を積層して構成し、その深さ方向で色分離を行っている。しかし、特許文献１に記載の積層型固体撮像素子は、以下に説明するように色分離がよくない。撮像素子の光入射面から最も浅い光電変換層は青色（Ｂ）を検出し、中間の光電変換層は緑色（Ｇ）を検出し、最も深い光電変換層は赤色（Ｒ）を検出する。しかしながら、この構成では、青色（Ｂ）検出用の光電変換層においても緑色（Ｇ）及び赤色（Ｒ）も一定の割合で吸収してしまう。つまり、青色（Ｂ）光電変換層の本来検出する色は青色（Ｂ）のみであるのに、青色（Ｂ）の光電変換層は赤色（Ｒ）や緑色（Ｇ）なども検出しまうからである。つまり、色分離のよくない積層型固体撮像素子の検出した画像信号は、被写体の正確な色を再現したものでなく色ずれを起こした画像信号となる。そして、この色ずれを起こした積層型固体撮像素子の検出した画像信号に間引き処理を行いベイヤー型の画像信号に変換した後、画像信号処理を行うと、補間演算処理にて偽色が発生する。補間演算処理にて発生した偽色は後の色補正行列を適用した際に拡大処理に含まれる彩度を上げる処理や色相を変更する回転処理によって、さらに目立つ色の偽色となって最終的に出力される画像に現れる。

下記の特許文献１、特許文献２は、積層型固体撮像素子に関する発明を開示している。

特許文献１に開示されている積層型固体撮像素子は、Ｓｉ（シリコン）の光吸収係数の波長依存性を利用して、Ｓｉ基板の深さ方向にＢ（青色）光用のＰＮ接合部とＧ（緑色）光用のＰＮ接合部とＲ（赤色）光用ＰＮ接合部とを設け、色分離を行う積層型固体撮像素子が開示されている。

次に、特許文献２に開示されている積層型固体撮像素子は、有機材料製の光電変換層を３層積層することで、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の光吸収特性を改善した積層型固体撮像素子が開示されている。

米国特許第５９６５８７５号公報 特開２００５−２６９５２６号公報

上記特許文献１、特許文献２に開示される発明は、上述したように色分離の良い積層型固体撮像素子とするものであった。しかし、色分離の良い積層型固体撮像素子にしようとすると以下の課題が生じる。そこで、本発明は、従来の積層型固体撮像素子を用いて信号処理を工夫することで色分離の良い画像信号を作成することとした。

本発明は、上述した課題に鑑みてなされたものであり、画像信号処理を工夫することで色分離のよい積層型の画像信号を生成し、積層型の画像信号から情報量を減らしたベイヤー型の画像信号に変換後の補間演算処理にて発生する偽色が、その後の拡大処理を行うことでより目立つ色となることを抑制する画像信号処理方法とそれを用いた撮像装置を提供することを目的とする。

上記の課題を解決するための第１の発明は、画像信号処理方法であって、１画素に３層以上のＮ層の光電変換層が基板の上部に積層された積層型固体撮像素子が検出する積層型の画像信号において、前記積層型の画像信号の色分離を変更する色空間変換ステップと、色分離の変更した前記積層型の画像信号に間引き処理を行うことでベイヤー型の画像信号へと画像信号変換を行う画像信号変換ステップと、前記ベイヤー型の画像信号に拡大処理を行う信号処理ステップとを有し、前記色空間変換ステップは、前記積層型の画像信号に行列演算することで色分離を変更し、前記信号処理ステップは、前記ベイヤー型の画像信号に行列演算することで拡大処理を行うことを特徴とする。

また、上記課題を解決するための第２の発明は、第１の発明である画像信号処理方法であって、前記色空間変換ステップにて用いる色変換行列は３行Ｎ列であり、前記色変換行列の各行は正の値の行列要素を有し、前記積層型固体撮像素子が検出した積層型の画像信号を波長の長いものを上から順に行列として並べると前記各行の正の値の行列要素は、１行ａ列，２行ｂ列，３行ｃ列となり、ａ，ｂ，ｃは以下の条件を満たすことを特徴とする。
（１）１≦ａ≦Ｎ−２
（２）ａ≦ｂ≦Ｎ−１
（３）ｂ≦ｃ≦Ｎ
（４）ａ≦ｂ≦ｃ

また、上記課題を解決するための第３の発明は、第１の発明である画像信号処理方法であって、１画素に３層の光電変換層が基板の上部に積層された前記積層型固体撮像素子において、前記色空間変換手段にて用いる色変換行列の行要素と列要素の数は、光電変換層の層数とが同じである正方行列であり、色変換行列の対角成分は正値であることを特徴とする。

また、上記課題を解決するための第４の発明は、撮像装置であって、第１から第３の発明のいずれかに記載の画像信号処理方法を備えたことを特徴とする。

本発明によれば、画像信号処理を工夫することで色分離のよい積層型の画像信号を生成し、積層型の画像信号から情報量を減らしたベイヤー型の画像信号に変換後の補間演算処理にて発生する偽色が、その後の拡大処理を行うことでより目立つ色となることを抑制する画像信号処理方法とそれを用いた撮像装置を提供することができる。

本発明に係る画像処理方法を適用した撮像装置の構成を示した構成図 本発明における画像処理方法のフローチャート 積層型の画像信号の分光感度を示した曲線図 色変換行列を適用した後の積層型の画像信号の分光感度を示した曲線図 各光電変換層の分光感度を示した曲線図

以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。なお、この実施の形態により本発明が限定されるものではない。

図１は、本発明に係る画像処理方法を適用した撮像装置の構成を示した構成図である。

１００は、撮像装置である。本実施形態における撮像装置１００は、デジタルカメラであり、被写体を撮影し、撮影した画像データを保存する。撮像装置１００は、光学系２００の交換が可能な構成となっている。

１０１は、積層型固体撮像素子である。積層型固体撮像素子１０１は、光学系２００を通じて検出した光を画像信号に変換するＣＭＯＳやＣＣＤである。積層型固体撮像素子１０１は、複数の光電変換層が積層されており、光電変換層には複数の受光部が行列状に配置されている。

ここで、画像信号について説明する。

積層型固体撮像素子の検出する画像信号を積層型の画像信号とする。ベイヤー型固体撮像素子の検出する画像信号をベイヤー型の画像信号とする。本発明の固体撮像素子は、積層型の撮像素子である。よって、積層型固体撮像素子１０１の検出した画像信号は、積層型の画像信号である。この積層型の画像信号は、画像信号変換部１０２２にて信号処理することで、積層型の画像信号からベイヤー型の画像信号へと変換される。変換方法は、後述する。

さらに、積層型固体撮像素子１０１の検出した画像信号は、センサー毎に分光特性が異なりセンサーの備えるカメラ特有の色空間となっている状態である。この状態の画像信号をカメラＲＧＢと呼ぶ。撮像素子の検出した画像信号はその後信号処理部１０４２にて画像信号処理を行うことでｓＲＧＢとして出力される。出力される画像信号の状態は、Ａｄｏｂｅ（登録商標） ＲＧＢなどでも構わない。

本実施例においては、積層型固体撮像素子１０１は、１画素に３層の光電変換層を積層した積層型固体撮像素子を用いている。しかし、積層型固体撮像素子の１画素に積層される光電変換層は、３層に限定したものでなく、４層、５層若しくはそれ以上としても良い。

１０２は、ＦＰＧＡである。ＦＰＧＡ１０２は、内部回路によって、色空間変換部１０２１、画像信号変換部１０２２を構成する。１０２は、ＦＰＧＡの代わりにＡＳＩＣなどを用いることも可能である。

１０３は、ＣＰＵである。ＣＰＵ１０３は、不図示のＡＥ機構やＡＦ機構などの各種デバイスの制御も行う。また、ＣＰＵ１０３は、積層型固体撮像素子１０１が検出しＦＰＧＡ１０２の内部回路に構成される画像信号変換部１０２２で画像信号処理された後のベイヤー型の画像信号に対して、例えばガンマ補正、ＹＣｂＣｒ変換、ノイズ除去などの各種画像信号処理を行うことも可能である。

１０４は、ＤＳＰである。ＤＳＰ１０４は、内部にＣＰＵ１０３を有しておりベイヤー型の画像信号に画像信号処理を行う。ＤＳＰ１０４は、積層型固体撮像素子１０１が検出しＦＰＧＡ１０２で画像信号処理を適用された後のベイヤー型の画像信号に対して信号処理を行う信号形式変換部１０４１とガンマ補正、ＹＣｂＣｒ変換、ノイズ除去などの各種信号処理を行う信号処理部１０４２とを内部に構成する。尚、ガンマ補正、ＹＣｂＣｒ変換、ノイズ除去などの各種信号処理は、ＣＰＵ１０３、ＤＳＰ１０４のどちらで行っても良い。

１０５は、ＳＤＲＡＭである。ＳＤＲＡＭ１０５は、ＤＳＰ１０４と接続されている。

１０６は、外部記憶装置である。外部記憶装置１０６は、撮影画像を保存するためのメディアである。外部記憶装置１０６の例としては、撮像装置に着脱自在なＳＤメモリカード（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光磁気ディスク、など、種々の記録媒体を用いることができる。

１０７は、外部表示装置である。外部表示装置１０７は、撮影直後の画像や外部記憶装置１０６から読み出した画像などを表示できる。また、外部表示装置１０７は、カメラの動作モードやホワイトバランス、画像のピクセル数、感度などをマニュアル設定する際の各種メニュー画面を表示させ、ユーザーの操作に応じてマニュアル設定が可能なユーザ・インタフェイス用の画面を表示する。外部表示装置１０７としては、例えば液晶や有機ＥＬなどを用いることができる。

２００は、交換が可能な光学系である。光学系２００は、レンズ光学系の他、不図示のレンズＣＰＵや絞りなどを有している。

次に、以上の構成のうち、本発明において特徴的な構成について説明する。

１０２１は、色空間変換部である。色空間変換部１０２１は、積層型固体撮像素子１０１から送られてきた積層型の画像信号に、色変換行列を適用する。なお、色空間変換部１０２１は、色空間変換手段に該当する。

１０２２は、画像信号変換部である。画像信号変換部１０２２は、積層型の画像信号を変換してベイヤー型の画像信号に変換する。なお、画像信号変換部１０２２は、画像信号変換手段に該当する。

１０４１は、信号形式変換部である。信号形式変換部１０４１は、画像信号変換部１０２２にてベイヤー型の画像信号に変換された画像信号をｓＲＧＢやＡｄｏｂｅ（登録商標） ＲＧＢなどの信号形式へ変換するとともに補間演算処理を行う。

１０４２は、信号処理部である。信号処理部１０４２は、信号形式変換部１０４１にてｓＲＧＢなどの信号形式に変換された画像信号に対して、例えばガンマ補正、ＹＣｂＣｒ変換、ノイズ除去等の各種画像処理を行う。また、色補正行列を適用する。なお、信号処理部１０４２は、信号処理手段に該当する。

次に、本発明における撮像装置の行う画像信号処理について図２のフローチャートを用いて実施例について説明する。

ステップ＃１では、色空間変換部１０２１が、積層型固体撮像素子１０１が検出した積層型の画像信号に、色変換行列を適用する。色変換行列については後述する。

ステップ＃２では、画像信号変換部１０２２が、積層型固体撮像素子１０１によって検出され、色空間変換部１０２１によって色変換行列を適用された積層型の画像信号をベイヤー型の画像信号へ変換する。変換方法は、積層型の画像信号から間引き読み出しである。読み出された画像信号はベイヤー型の画像信号となる。変換の具体的な方法を説明する。積層型の画像信号は、各画素に赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）夫々の色の画像信号が存在する。そこで、画像信号変換部１０２２が奇数行奇数列の画素から赤色（Ｒ）の信号を読み出し、奇数行偶数列の画素から緑色（Ｇ）の信号を読み出し、偶数行奇数列の画素から緑色（Ｇ）を読み出し、偶数行偶数列から青色（Ｂ）の信号を読み出す。以上に示した読み出し方を画像信号変換部１０２２が、全ての画素について行うことで、積層型固体撮像素子１０１の検出した積層型の画像信号をベイヤー型の画像信号へと変換できる。なお、本実施例は、各画素から読み出すカラーパターンとして、一般的なベイヤーパターンの一例を示したが、このカラーパターンに限らない。

ステップ＃３では、ＤＳＰ１０４の信号形式変換部１０４１が、画像信号変換部１０２２にてベイヤー型の画像信号へ変換された画像信号をｓＲＧＢ形式の画像信号に変換し、補間演算処理を行う。

ステップ＃４では、ＤＳＰ１０４の信号形式変換部１０４１にてｓＲＧＢ形式の画像信号に変換されたベイヤー型の画像信号に対して、同ＤＳＰ１０４の信号処理部１０４２が、ノイズ除去、ガンマ補正、ＹＣｂＣｒ変換などの各種画像信号処理と色補正行列を画像信号に適用する。

ステップ＃５では、ステップ＃４にて画像信号処理と色補正の行われた画像信号をＳＤＲＡＭ１０５が一時的に保存する。

ステップ＃６では、外部表示装置１０７が、ステップ＃５にてＳＤＲＡＭ１０５へ一時的に保存された画像信号を読み出しプレビュー画像として表示する。外部記憶装置１０６は、ＳＤＲＡＭ１０５から画像信号を読み出し撮影画像として保存する。

以上のステップを行うことで、色分離のよい積層型の画像信号を生成し、補間演算処理にて発生した偽色がその後の拡大処理によって目立つ色となることを抑制する。同時に、積層型の画像信号からベイヤー型の画像信号へと変換することで、画像信号のデータ量が減るため、画像信号処理に要する時間を減らすことが可能となる。

以下に、積層型の画像信号からベイヤー型の画像信号に変換後の補間演算処理にて発生する偽色がその後の拡大処理にて目立つ色となることを抑制することになる理由を述べる。

始めに、ステップ＃１にて積層型の画像信号に適用した色変換行列について説明する。

Ｎ層の光電変換層が積層された積層型固体撮像素子の受光層が検出した画像信号値は、Ｎ行１列の行列で表すことができる。また、画像信号値を表した行列の順によって、色変換行列も変化する。本発明の実施例では、画像信号値を表した行列は、上から下へ分光感度のピークが長い波長から低い波長の順とする。説明を容易とするため画像信号値を表した行列は、この順とする。

３層以上のＮ層の光電変換層を有する積層型固体撮像素子について、色変換行列は３行Ｎ列の行列となる。色変換行列は、列であれば左、行であれば上に行くにつれて長い波長に係る係数となる。また、色変換行列に画像信号を表した行列をかけることで、色分離特性を変更し、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の特性を最終出力（ｓＲＧＢやＡｄｏｂｅ（登録商標） ＲＧＢ）の状態に近づける。

次に、色変換行列の要素について説明する。画像信号を表した行列を上に述べたように、行列の上から下へ分光感度のピークが長い波長から短い波長の順（つまり、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の順）とした場合、色分離特性を変更した画像信号のＲ（赤色）は、色変換行列の１行目の各要素に依存する。同様に、変更した画像信号のＧ（緑色）は色変換行列の２行目の各要素、変更した画像信号のＢ（青色）は色変換行列の３行目の各要素にそれぞれ依存する。これは、画像信号を表した行列のＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の波長の長い順に対応している。次に、色分離特性を変更するにあたり、変更後の画像信号は、積層型固体撮像素子の受光層が検出した画像信号のうち理想とする画像信号の分光感度を示す曲線と隣接する画像信号を用いる。従って、画像信号に隣接する分光感度を示す曲線に対応する２つの色変換行列の要素はいずれかが正の値となる。

３層の光電変換層を有する積層型固体撮像素子の場合を一例として、以下に色変換行列の行列１を示す。

行列１に示すような色変換行列を画像信号に適用することで図３に示すような積層型の画像信号の分光感度を図４に示すような分光感度の画像信号に変換することができる。

３層積層された積層型固体撮像素子が検出する画像信号に適用する場合、色変換行列は、３行３列の行列である。例えば、３層積層された積層型の固体撮像素子を用いて、受光層で検出した本来のＲ（赤色）の画像信号値を作成する場合、Ｒ（赤色）の画像信号値に色変換行列の１行１列目の値を、Ｇ（緑色）の画像信号値に１行２列目の値を、Ｂ（青色）の画像信号値に１行３列目の値をそれぞれ掛ける。ここで、行列１の１行目の要素に着目する。Ｒ（赤色）に掛かる要素は１．０９０９である。このことから従来のＲ（赤色）の画像信号値が拡大されていることが分かる。次にＧ（緑色）に掛かる要素は、−０．０９０９である。このことからＧ（緑色）の画像信号値は縮小された後減算されることが分かる。最後にＢ（青色）に係る要素は、０．００００である。このことからＢ（青色）の画像信号値は全く影響を与えない。それらの和を取ることで積層型固体撮像装置１０１の検出したＲ（赤色）の画像信号はＲ（赤色）の画像信号を拡大した後、Ｇ（緑色）が減算される補正処理が行われる。この補正処理後のＲ（赤色）の画像信号値は、本来のＲ（赤色）だけを受光して検出するべきＲ(赤色)の画像信号値に近いものとすることができる。Ｒ（赤色）の画像信号値と同様に受光層で検出したＧ（緑色）の画像信号値を本来のＧ（緑色）だけを受光して検出するべきＧ（緑色）の画像信号値に近いものとする場合、Ｇ（緑色）と同様にＲ（赤色）の画像信号値に色変換行列の２行１列目の値を、Ｇ（緑色）の画像信号値に２行２列目の値を、Ｂ（青色）の画像信号値に２行３列目の値をそれぞれ掛ける。それらの和を取ることで補正処理後のＧ（緑色）の画像信号値を作成することができる。再度同様に受光層で検出した本来のＢ（青色）の画像信号値を本来のＢ（青色）だけを受光して検出するべきＢ（青色）の画像信号値に近いものとする場合、Ｇ（緑色）と同様にＲ（赤色）の画像信号値に色変換行列の３行１列目の値を、Ｇ（緑色）の画像信号値に３行２列目の値を、Ｂ（青色）の画像信号値に３行３列目の値をそれぞれ掛ける。それらの和を取ることで補正処理後のＢ値（青色）の画像信号値を作成することができる。

色変換行列を積層型の画像信号に適用することで、適用された積層型の画像信号は、色分離がよくなる。また、色変換行列は画像信号の拡大処理の一部も担っている。

３層の光電変換層を有する積層型固体撮像素子の場合、色変換行列は、３行３列の行列となり、対角成分が正値である。このことから、色変換行列を画像信号値に適用し乗算することで積層型の画像信号は、色分離を良くするとともに彩度を上げることとなる。また、色変換行列の非対角成分は負値となることが多い。これは、画像信号値に色変換行列を適用することで、受光層で検出した本来の色以外の色信号成分を減算することを示す。その結果、積層型の画像信号は色変換行列を適用することで受光層が検出する本来の色のみの信号とすることが可能となり色分離の良い画像信号となる。

（行列１）

次に、色変換行列を用いることで色分離がよくなったことを図３と図４とを用いて説明する。

図３は、積層型固体撮像素子が検出した画像信号、つまり積層型の画像信号の分光感度を示した曲線図である。

図４は、積層型の画像信号に色変換行列を適用した後の積層型の画像信号の分光感度を示した曲線図である。

図３の状態のままステップ＃２以降の画像信号処理を進めた場合、色分離がよくないために目立つ偽色が発生する。

図３の状態で画像信号処理を進めた場合に、偽色が発生する理由を述べる。

図３の波形は、長い波長から順に波形のピークを迎える波形からそれぞれ主に赤色（Ｒ）を検出する受光層、主に緑色（Ｇ）を検出する受光層、主に青色（Ｂ）を検出する受光層の分光感度を表している。

図３の状態は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の分光感度を示した曲線からも分かるように色分離が不十分であることを示している。色分離が不十分であるが故に、本来受光されるべきでない光が受光層で受光されてしまうという問題が生じる。つまり、受光層は検出するべき本来の画像信号とは異なった画像信号を検出してしまうこととなる。そうすると、本来受光すべき光からのみ検出された画像信号（以下、本来の画像信号とする。）とは異なった画像信号を基にベイヤー型の画像信号に変換した後の補間演算処理を行うので、補間演算処理を行ったことで作成された画像信号は本来の画像信号と異なる。この偽色が発生する。発生した偽色は、色補正行列を適用することで拡大処理がなされることで、結果出力される画像には本来の画像信号から生成される色とは極端に異なる目立った色となって現れる。

そこで、画像信号処理を行う前に、色空間変換部に１０２１にて色変換行列を適用することで図４に示すような色分離のよい積層型の画像信号を作成する。色変換行列を適用して色分離のよい積層型の画像信号とすることで、本来受光すべき光からのみ検出された画像信号である本来の画像信号に近づく。色変換行列を適用することで色分離を良くした積層型の画像信号と本来の画像信号との差を小さく抑えることで、以後の補間演算処理にて発生する偽色の程度も色変換行列を適用しない場合と比べると改善される。色変換行列を適用することで偽色の程度は改善されたので、色補正行列に含まれる拡大処理を行っても偽色が極端に目立つ色としてしまうことを防ぐことが可能となる。

上記色変換行列を用いて色分離特性を変更し、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の特性を最終出力（ｊｐｅｇやＴｉｆｆ）の状態に近づける。

以上では、３層の光電変換層を有する積層型固体撮像素子を例に用いて説明を行ってきたが、以下に５層の光電変換層を有する積層型固体撮像素子の画像信号値の色分離特性を変更する場合について説明する。

５層の光電変換層の分光感度は、波長の長い順にＣ１からＣ５までの５つの分光感度曲線で示すことができる（図５）。図５に示されるようなＲ（赤色）を検出するのに理想とした色分離特性を作成するには、Ｒ（赤色）の分光感度曲線に隣接するＣ１とＣ２を主に用いることとなる。そうすると、前述したようにＲ（赤色）に影響を及ぼすのは、色変換行列の１行目であることと今回分光感度曲線がＣ１とＣ２の受光層を用いる。以上のことから色変換行列の１行１列又は１行２列の要素の少なくともいずれかは正の値となる。

次に、Ｇ（緑色）の場合も同様に、不図示のＧ（緑色）を検出するのに理想とした色分離特性を作成するためにＣ１〜Ｃ５の中からＧ（緑色）の分光感度曲線に隣接する分光感度曲線を決定する。Ｃ１〜Ｃ５の分光感度曲線の中から用いる曲線に対応した列の要素を正の値とするので、不図示のＧ（緑色）を検出するのに理想とした色分離特性に隣接する分光感度曲線がＣ２とＣ３となった場合、不図示のＧ（緑色）を検出するのに理想とした色分離特性を作成するのにＣ２とＣ３を用いるので、色変換行列の列要素のうち正の値となるのは２列目と３列目の要素となる。前述したように、Ｇ（緑色）であるので色変換行列の２行目となる。従って、色変換行列の２行２列又は２行３列の要素の少なくともいずれかは正の値となる。Ｂ（青色）も同様にすることで、色分離特性を変更することができる。

色分離特性を変更する。光電変換層Ｃ１〜Ｃ５までの５つの分光感度から色変換行列を用いることで３つの分光感度曲線とする。これは３つの分光感度曲線に従った画像信号値を検出することと等しい。そして、３つの分光感度曲線は色分離特性が変更されている。結果、色分離の良い画像信号が検出することとなる。上記実施例では、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の３色に対応した分光感度曲線とすることで、色分離のいいＲ（赤色）、Ｇ（緑色）、Ｂ（青色）夫々の画像信号を検出することとした。しかし、この３色に限定しなくても良い。

また、前述したように、色変換行列は画像信号を表した行列によって変わる。本発明が示す実施例に用いた画像信号値を表した行列は、いずれも上から下へ分光感度のピークが長い波長から低い波長の順としている。しかし、画像信号値を表した行列は、分光感度のピークが長い波長からの順でなくても問題ない。なぜなら、画像信号値を表した行列に対応して、色変換行列の構成を変更すれば同じ事であるからである。

次に、色補正行列について説明する。

色補正行列は、拡大処理を行う行列である。この拡大処理は、彩度を上げる処理を含んでいる。色変換行列を適用せずに色分離が悪い状態のままベイヤー型の画像信号へ変換し、変換した画像信号に補間演算処理を行ったのち色補正行列を適用した場合、補間演算処理で発生した偽色は、色補正行列を適用することで彩度を上げることとなり、より目立つ色となってしまう。

さらに、本発明では、色変換行列が拡大処理の一部を担っている。３層の光電変換層を有する積層型固体撮像素子の色変換行列を例に説明すると、色変換行列の対角成分が正の値であることからも分かる。色変換行列の対角成分が正の値であることにより、色変換行列の適用された画像信号は彩度が上がる。このことで、色補正行列を適用することで行う拡大処理の影響を小さくすることができる。つまり、色変換行列が拡大処理の一部を担うことは、補間演算処理で発生した偽色がより目立つ色となることを抑制することに貢献する。なぜなら、偽色は補間演算処理を行った際に発生する。そのため、偽色の発生する補間演算処理を行う前に拡大処理を行っておくことで、補間演算処理にて発生した偽色は、その後の色補正行列を適用することで行われる拡大処理にて拡大されたとしても、目立つ色となる影響を小さくすることが可能となるからである。これは、３層の光電変換層を有する積層型固体撮像素子の色変換行列に限らないことは、言うまでもない。

最後に、画像信号処理に要する時間を減らすことが可能となる理由について述べる。

１画素にＮ層の光電変換層が基板の上部に積層された積層型固体撮像素子は１画素でＮ個の色情報を検出することができ、ベイヤー型の固体撮像素子は１画素で１色を検出することができる。積層型固体撮像素子とベイヤー型固体撮像素子の画素数が同じだとすると、積層型の画像信号の方が情報量は多い。その為、ステップ＃２にて積層型の画像信号からベイヤー型の画像信号へ画像信号変換をすることで情報量が減る。従って、画像信号処理に要する時間を減らすことが可能となる。

また、本発明は、中間デバイスが、積層型の画像信号に色分離改善処理を行い、積層型の画像信号からベイヤー型の画像信号へと変換を行った後、主な画像処理を行う。従って、本発明は、ベイヤー型の画像信号に変換後に画像処理を行うことから、積層型の画像信号用の画像処理回路（以下、ＤＳＰ）を用意する必要がない。

加えて、従来の積層型固体撮像素子を用いる。従って、撮像素子の信頼性、新たな撮像素子の開発や作製面の課題や歩留まりなどの面において、新たな課題が生じない。

これまで、画像信号処理方法について述べてきたが、これらの画像信号処理方法を積層型固体撮像素子を用いた撮像装置に適用することは可能であることは言うまでもない。

１００ 撮像装置
１０１ 積層型固体撮像装置
１０２ ＦＰＧＡ
１０２１ 色空間変換部
１０２２ 画像信号変換部
１０３ ＣＰＵ
１０４ ＤＳＰ
１０４１ 信号形式変換部
１０４２ 信号処理部
１０５ ＳＤＲＡＭ
１０６ 外部記憶装置
１０７ 外部表示装置

Claims (4)

1. １画素に３層以上のＮ層の光電変換層が基板の上部に積層された積層型固体撮像素子が検出する積層型の画像信号において、
   前記積層型の画像信号の色分離を変更する色空間変換ステップと、
   色分離の変更した前記積層型の画像信号に間引き処理を行うことでベイヤー型の画像信号へと画像信号変換を行う画像信号変換ステップと、
   前記ベイヤー型の画像信号に拡大処理を行う信号処理ステップとを有し、
   前記色空間変換ステップは、前記積層型の画像信号に行列演算することで色分離を変更し、
   前記信号処理ステップは、前記ベイヤー型の画像信号に行列演算することで拡大処理を行うことを特徴とする画像信号処理方法。
   
2. 前記色空間変換ステップにて用いる色変換行列は３行Ｎ列であり、
   前記色変換行列の各行は正の値の行列要素を有し、
   前記積層型固体撮像素子が検出した積層型の画像信号を波長の長いものを上から順に行列として並べると前記各行の正の値の行列要素は、１行ａ列，２行ｂ列，３行ｃ列となり、
   ａ，ｂ，ｃは以下の条件を満たすことを特徴とする請求項１に記載の画像信号処理方法。
   （１）１≦ａ≦Ｎ−２
   （２）ａ≦ｂ≦Ｎ−１
   （３）ｂ≦ｃ≦Ｎ
   （４）ａ≦ｂ≦ｃ
   
3. １画素に３層の光電変換層が基板の上部に積層された前記積層型固体撮像素子において、
   前記色空間変換手段にて用いる色変換行列の行要素と列要素の数は、光電変換層の層数とが同じである正方行列であり、色変換行列の対角成分は正値であることを特徴とする請求項１に記載の画像信号処理方法。
   
4. 請求項１から３のいずれかに記載の画像信号処理方法を備えたことを特徴とする撮像装置。

Images