JP2006203457A - カラー画像生成方法 - Google Patents

カラー画像生成方法 Download PDF

Info

Publication number
JP2006203457A
JP2006203457A JP2005011842A JP2005011842A JP2006203457A JP 2006203457 A JP2006203457 A JP 2006203457A JP 2005011842 A JP2005011842 A JP 2005011842A JP 2005011842 A JP2005011842 A JP 2005011842A JP 2006203457 A JP2006203457 A JP 2006203457A
Authority
JP
Japan
Prior art keywords
signal
color signal
color
sample point
photoelectric conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005011842A
Other languages
English (en)
Other versions
JP4414901B2 (ja
Inventor
Masashi Kantani
正史 乾谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2005011842A priority Critical patent/JP4414901B2/ja
Priority to US11/292,349 priority patent/US20060119724A1/en
Publication of JP2006203457A publication Critical patent/JP2006203457A/ja
Application granted granted Critical
Publication of JP4414901B2 publication Critical patent/JP4414901B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Solid State Image Pick-Up Elements (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】偽色を抑えたカラー画像データを生成することが可能なカラー画像生成方法を提供する。
【解決手段】信号電荷蓄積部3に蓄積される信号電荷に応じたカラー画像データの全画素データに対応する数の緑色信号と、R光電変換素子2から得られるカラー画像データの全画素データの一部に対応する数の赤色信号と、B光電変換素子4から得られる該一部以外に対応する数の青色信号とを取得するステップと、該色信号の同一サンプル点の赤色信号又は青色信号から緑色信号を減算して色信号xを生成するステップと、色信号xに基づいて、サンプル点に存在していないカラー画像データの1画素データを構成する色信号を生成するステップとを含むカラー画像生成方法。
【選択図】図1

Description

本発明は、被写体を撮像して得られる少なくとも3種類の色信号からカラー画像データを生成するカラー画像生成方法に関する。
従来、カラーフィルタを用いない構成の固体撮像素子として、例えば特許文献1記載の積層型固体撮像素子が提案されている。この積層型固体撮像素子は、半導体基板上方に赤色(R),緑色(G),青色(B)の光を検出する3つの有機材料からなる光電変換膜を積層し、各膜で発生した信号電荷を半導体基板上に形成された蓄積ダイオードに蓄積し、蓄積ダイオードに蓄積した信号電荷を、半導体基板上に形成されている垂直CCD及び水平CCD等の信号読み出し回路で読み出して転送するという構成になっている。この積層型固体撮像素子によれば、光利用効率を向上させ、偽色を抑えて、高画質のカラー画像を生成することが可能となる。
上記積層型固体撮像素子は、半導体基板上方に積層した各光電変換膜を挟む2つの電極膜の一方と半導体基板上に形成された蓄積ダイオードとを接続するコンタクト配線が必要となる。このコンタクト配線の材料は、タングステン、銅、モリブテン等の金属であり、配線構造を形成するためには300度以上の高温が必要となる。一方、半導体基板上方に積層される光電変換膜は、有機材料で構成されているため、200度以上の高温にさらされると明らかに性能が劣化してしまう。上記積層型固体撮像素子は、例えば、コンタクト配線を形成した後、光電変換膜を形成するという製造工程を3度繰り返すため、先に形成した光電変換膜の性能が、コンタクト配線の形成時の温度によって劣化してしまうという問題があった。
そこで、このような問題を解決する固体撮像素子として、半導体基板上にRとBを検出するシリコンからなる光電変換素子を集積すると共に、その半導体基板上方にGを検出する有機材料からなる光電変換膜を1つ積層したハイブリッド型のものが提案されている(例えば特許文献2参照)。このハイブリッド型の固体撮像素子は、シリコンが300度以上の高温であっても性能劣化しないことから、下層部(光電変換素子やコンタクト配線)を高温プロセスで先に形成した後、光電変換膜を低温プロセスで形成することで製造が可能であり、光電変換膜の性能劣化を防ぐことができる。
特開2002−83946号公報 特開2003−332551号公報(段落0035)
上記ハイブリッド型の固体撮像素子では、カラー画像データの1画素データを構成するR,G,Bの3つの色信号を同一位置から得ることができない。このため、カラー画像データを生成する際、RとBの色信号については、もともと得られた色信号を用いて信号補間を行う必要があり、偽色が目立ってしまうという問題がある。
本発明は、上記事情に鑑みてなされたものであり、偽色を抑えたカラー画像データを生成することが可能なカラー画像生成方法を提供することを目的とする。
本発明のカラー画像生成方法は、被写体を撮像して得られる少なくとも3種類の色信号からカラー画像データを生成するカラー画像生成方法であって、前記3種類の色信号は、前記カラー画像データの全画素データに対応する数の第1の色信号と、前記カラー画像データの全画素データの一部に対応する数の第2の色信号と、前記一部以外に対応する数の第3の信号とを含み、前記第1の色信号、前記第2の色信号、及び前記第3の色信号を取得する色信号取得ステップと、前記色信号の同一サンプル点の前記第2の色信号から前記第1の色信号を減算して第4の色信号を生成する第4の色信号生成ステップと、前記色信号の同一サンプル点の前記第3の色信号から前記第1の色信号を減算して第5の色信号を生成する第5の色信号生成ステップと、前記第4及び第5の色信号に基づいて、前記カラー画像データの1画素データを構成する色信号を生成する色信号生成ステップとを含む。
本発明のカラー画像生成方法は、記色信号生成ステップが、前記第4の色信号の存在しない点であってかつ前記第5の色信号の存在する点に、該点の周辺にある前記第4の色信号を用いて、前記第4の色信号を補間する第1の補間ステップと、前記第5の色信号の存在しない点であってかつ前記第4の色信号の存在する点に、該点の周辺にある前記第5の色信号を用いて、前記第5の色信号を補間する第2の補間ステップと、もともと前記第4の色信号が存在していなかったサンプル点に補間した前記第4の色信号と、該サンプル点の周辺にある前記第4の色信号とを所定の割合で加算して、該サンプル点に第6の色信号を生成する第6の色信号生成ステップと、もともと前記第5の色信号が存在していなかったサンプル点に補間した前記第5の色信号と、該サンプル点の周辺にある前記第5の色信号とを所定の割合で加算して、該サンプル点に第7の色信号を生成する第7の色信号生成ステップと、前記色信号の同一サンプル点にある前記第6の色信号又は前記第7の色信号と前記第1の色信号とを加算する加算ステップとを含み、前記加算ステップによって、前記1画素データを構成する色信号を生成する。
本発明のカラー画像生成方法は、前記色信号生成ステップが、前記第4の色信号の存在しない点であってかつ前記第5の色信号の存在する点に、該点の周辺にある前記第4の色信号を用いて、前記第4の色信号を補間する第1の補間ステップと、前記第5の色信号の存在しない点であってかつ前記第4の色信号の存在する点に、該点の周辺にある前記第5の色信号を用いて、前記第5の色信号を補間する第2の補間ステップと、各サンプル点にある前記第4の色信号と、各サンプル点の周辺にある前記第4の色信号とを所定の割合で加算して、各サンプル点に第6の色信号を生成する第6の色信号生成ステップと、各サンプル点にある前記第5の色信号と、各サンプル点の周辺にある前記第5の色信号とを所定の割合で加算して、各サンプル点に第7の色信号を生成する第7の色信号生成ステップと、前記色信号の同一サンプル点にある前記第6の色信号と前記第1の色信号とを加算し、前記色信号の同一サンプル点にある前記第7の色信号と前記第1の色信号とを加算する加算ステップとを含み、前記加算ステップによって、前記1画素データを構成する色信号を生成する。
本発明のカラー画像生成方法は、前記第2の色信号と、前記第2の色信号の存在するサンプル点の周辺のサンプル点にある同一種類の色信号とを所定の割合で加算して、該サンプル点に新たな前記第2の色信号を生成するステップと、前記第3の色信号と、前記第3の色信号の存在するサンプル点の周辺のサンプル点にある同一種類の色信号とを所定の割合で加算して、該サンプル点に新たな前記第3の色信号を生成するステップとを有し、前記第4の色信号生成ステップは、前記第2の色信号の代わりに、前記新たな第2の色信号を用いて前記第4の色信号を生成し、前記第5の色信号生成ステップは、前記第3の色信号の代わりに、前記新たな第3の色信号を用いて前記第5の色信号を生成する。
本発明のカラー画像生成方法は、前記第1〜第3の色信号が、半導体基板上方に積層された1つの光電変換膜と、前記光電変換膜で発生した信号電荷を蓄積する前記半導体基板表面に形成された信号電荷蓄積部と、前記半導体基板表面に形成されたそれぞれ異なる色を検出する2種類の光電変換素子とを含む固体撮像素子から得られるものであり、前記信号電荷蓄積部は、前記カラー画像データの全画素データに対応する数だけ形成され、前記2種類の光電変換素子は、それぞれを合わせて前記カラー画像データの全画素データに対応する数だけ形成され、前記第1の色信号は、前記信号電荷蓄積部に蓄積された信号電荷に応じた信号であり、前記第2の色信号は、前記2種類の光電変換素子の一方で発生した信号電荷に応じた信号であり、前記第3の色信号は、前記2種類の光電変換素子の他方で発生した信号電荷に応じた信号である。
本発明によれば、偽色を抑えたカラー画像データを生成することが可能なカラー画像生成方法を提供することができる。
以下、本発明の実施形態について図面を参照して説明する。
(第一実施形態)
図1は、本発明の第一実施形態を説明するための固体撮像素子100の表面模式図である。図2は、図1のI―I線断面模式図である。
半導体基板1の表面部には、シリコンからなる複数の光電変換素子2,4及び複数の信号電荷蓄積部3が、行方向(図1のX方向)及び列方向(図1のY方向)に配列されている。本実施形態において、光電変換素子2と光電変換素子4とを併せた数は、信号電荷蓄積部3の数と等しいものとする。信号電荷蓄積部3の数は、固体撮像素子100から得られる色信号に基づいて生成可能なカラー画像データの最大画素データ数に等しい。
図1に示すように、奇数行には、赤色(R)を検出すると共に、それに応じた赤色の信号電荷を発生して蓄積する光電変換素子(フォトダイオード、以下R光電変換素子という)2と、青色(B)を検出すると共に、それに応じた青色の信号電荷を発生して蓄積する光電変換素子(フォトダイオード、以下B光電変換素子という)4とが交互に配列されており、偶数行には緑色の信号電荷を蓄積する信号電荷蓄積部3(蓄積ダイオード)が配列されている。奇数行は、R光電変換素子2から配列が開始される行と、B光電変換素子4から配列が開始される行とが列方向に交互に配列されている。奇数行と偶数行とは、それぞれの行方向の配列ピッチの略1/2だけ行方向にずらして配列されている。
半導体基板1の表面の上方には、緑色の光を検出すると共に、それに応じた緑色の信号電荷を発生する光電変換膜19(図2参照)が積層されている。光電変換膜19に設けられた画素電極膜5は、信号電荷蓄積部3と、それに隣接するR光電変換素子2またはB光電変換素子4とを覆うように設けられている。光電変換膜19は、有機材料を含んで構成される。
半導体基板1の表面部には、光電変換素子2,4及び信号電荷蓄積部3に蓄積された信号電荷をY方向に転送する垂直転送路6(垂直CCD)が設けられており、半導体基板1の下辺部には垂直転送路6から転送されてきた信号電荷をX方向に転送する水平転送路7(水平CCD)と、記水平転送路7から転送されてきた信号電荷に応じた色信号を出力する出力部8とが設けられている。
垂直転送路6は、X方向に配列される光電変換素子2,4の間と、X方向に配列される信号電荷蓄積部3の間に、それぞれ2つづつ設けられ、且つ、光電変換素子列と信号電荷蓄積部列の間を蛇行してY方向に延びるように形成されている。
このような構成にすることにより、X方向に隣り合う垂直転送路6同士が、光電変換素子又は信号電荷蓄積部同士の間で隣接することができるため、ここの部分に垂直転送路同士を接続する配線を設けることができる。したがって、インターラインCCDのような構成に比べて、垂直転送路6の信号電荷転送容量を大きくすることができ、光電変換素子2,4や信号電荷蓄積部3に蓄積される信号電荷量の増大にも十分対応することができる。
尚、図1に示す垂直転送路6の構成は、特開平10―136391号公報に詳細が記載されているため、これを参照されたい。
R光電変換素子2,信号電荷蓄積部3,B光電変換素子4に蓄積された信号電荷は、読み出しゲート20(図1では模式的に矢印で示してある)から垂直転送路6に読み出されて水平転送路7まで転送され、その後に水平転送路7によって出力部8まで転送された後、出力部8から各信号電荷に応じた色信号(赤色信号,緑色信号,青色信号)が出力される。このようにして、固体撮像素子100から赤色信号,緑色信号,青色信号が読み出される。
R光電変換素子2、B光電変換素子4、及び信号電荷蓄積部3の各読み出しゲート20は、R光電変換素子2、B光電変換素子4、及び信号電荷蓄積部3のそれぞれの左側に配置された垂直転送路6側に設けられる。つまり、信号電荷蓄積部3の左側に配置された垂直転送路6は、緑色の信号電荷のみを転送するための専用の転送路となり、光電変換素子2,4の左側に配置された垂直転送路6は、赤色及び青色の信号電荷のみを転送するための専用の転送路となる。
図2に示すように、n型半導体基板1の表面部にはpウェル層11が形成され、pウェル層11の表面部の青色(B)画素領域にはn領域4が形成され、pウェル層11とn領域4との間に、B光電変換素子4としてのフォトダイオードが形成され、発生した信号電荷は、n領域4に蓄積される。
図示の例では、2つのn領域4の間のpウェル層11の表面部にn領域3が形成され、このn領域3が、緑色の信号電荷蓄積部3となる。各n領域3,4の右側には、夫々少し離間してn領域6が設けられ、夫々のn領域6が、図1に示す垂直転送路6を構成する。n領域6の表面部にはn領域3,4まで達する読み出し電極12を兼用する転送電極が形成され、各転送電極の上には、遮光膜13が設けられている。読み出し電極12と重なるpウェル層11の部分が、図1の読み出しゲート20に相当する。
各n領域3,4の左側面部及び表面部にはp+領域14が設けられ、隣接垂直転送路6との分離が図られると共に、表面部の欠陥準位低減が図られる。半導体基板1の最表面には、図示しない酸化シリコン膜が形成され、その上に、上記の転送電極12が形成される。
n領域4の上方の遮光膜13の開口位置の上部には、青色を透過するカラーフィルタ15が設けられる。カラーフィルタ15及び遮光膜13,転送電極12は透明の絶縁層17内に埋設される。
絶縁層17の表面には、図1で説明した透明の画素電極膜5が区分けして形成され、各画素電極膜5とn領域3とは、縦配線18によって接続される。この縦配線18は、接続される画素電極膜5及びn領域3以外とは電気的に絶縁される。各画素電極膜5の上には、半導体基板1全面にわたる光電変換膜19が積層され、その上に、共通の透明の対向電極膜20が形成される。画素電極膜5は、光電変換膜19における光電変換領域を決定するものであり、対向電極膜20と画素電極膜5で挟まれた光電変換膜19の領域が、光電変換領域となる。そして、信号電荷蓄積部3には、この光電変換領域で発生した信号電荷が蓄積される。
尚、図2はB光電変換素子4と信号電荷蓄積部3とを含む部分の断面を示したが、R光電変換素子2と信号電荷蓄積部3とを含む部分の断面については、図2においてn領域4がn領域2となり、カラーフィルタ15が赤色を透過する赤色用カラーフィルタになる以外は同様の構成であるため、その説明を省略する。
斯かる構成の固体撮像素子100に光が入射すると、入射光の内の緑色の波長領域の光は光電変換膜19に吸収され、緑色の信号電荷が光電変換膜19内に発生するが、この信号電荷は、画素電極膜5にバイアス電位を印加することで、縦配線18を通ってn領域3に流れ込み、ここで蓄積される。
入射光のうちの赤色(R)及び青色(B)の波長領域の光は光電変換膜19を透過し、赤色光は赤色用カラーフィルタを透過してn領域2に入射する。これにより、赤色光の光量に応じた信号電荷が発生しn領域2に蓄積される。同様に、青色光はカラーフィルタ15を透過してn領域4に入射し、青色光の光量に応じた信号電荷がn領域4に蓄積される。
各n領域2,3,4に蓄積された赤色,緑色,青色の各信号電荷は、読み出し電極12に高電位が加わることで垂直転送路6に読み出され、ここから水平転送路7まで転送され、水平転送路7において出力部8まで転送された後、出力部8から各信号電荷に応じた色信号が出力される。
以上のように、本実施形態の固体撮像素子100によれば、垂直転送路6の電荷転送容量を、インターライン型CCDよりも大きくすることができる。図2に示すような構成の固体撮像素子100において、信号読み出し回路として電荷転送容量の大きい垂直転送路を採用することは、画素電極膜5の面積や光電変換素子の大きさの拡大を図ることに繋がり、より高品質のカラー画像データを生成することが可能になる。
又、本実施形態の固体撮像素子100によれば、既存のCCD型イメージセンサの信号読み出し方式をそのまま適用可能となり、製造コストの低減を図ることができる。
又、本実施形態の固体撮像素子100によれば、半導体基板1として、既存の単板式カラーCCD型イメージセンサやCMOS型イメージセンサの設計をそのまま利用して半導体基板1を製造し、既存のセンサで設ける必要のある緑色のカラーフィルタの代わりに縦配線18を形成し、上層部に画素電極膜5,光電変換膜19,対向電極膜20を形成するだけで製造することができるため、製造コストの低減を図ることができる。
尚、本実施形態の固体撮像素子100においては、図3に示すように、対向電極膜20の上部にマイクロレンズ50を搭載し、赤色,青色の入射光を各n領域2,4の遮光膜13開口内側に集光するのが好ましい。又、図4に示すように、カラーフィルタ15及び赤色カラーフィルタと画素電極膜5との間にマイクロレンズ60を搭載し、赤色,青色の入射光を各n領域2,4の遮光膜13開口内側に集光するのが好ましい。
又、R光電変換素子2,B光電変換素子4,信号電荷蓄積部3の配置や、R光電変換素子2,B光電変換素子4,画素電極膜5の大きさや形状等は、図1に示したものに限らず、図5に示したような構成をとることもできる。図5において図1と同様の構成には同一符号を付してある。
図5に示した構成は、R光電変換素子2及びB光電変換素子4と、画素電極膜5とが重ならないようにしたものである。このような構成にした場合には、画素電極膜5と光電変換素子2,4とが重ならないため、画素電極膜5をアルミニウムやタングステン等の透明でない金属で形成することが可能になり、その製造が容易になるという利点がある。又、図5のような構成にした場合には、緑色信号の重心位置が、信号電荷蓄積部3の位置と完全に一致するため、信号処理が容易であるという利点がある。
又、本実施形態では、固体撮像素子100の半導体基板に、赤色を検出する光電変換素子と、青色を検出する光電変換素子の2種類の光電変換素子を設けた構成としているが、これに限らず、2種類以上の光電変換素子を設けた構成であっても良い。
又、本実施形態では、信号読み出し回路をCCD型イメージセンサと同様に電荷転送路で構成したが、各n領域2,3,4の脇に信号読み出し用のMOSトランジスタを形成し、従来のCMOS型イメージセンサと同様に各n領域2,3,4から色信号を読み出すことも可能である。
固体撮像素子100は、図2に示すように、下層部に設けられたR光電変換素子2やB光電変換素子4の開口率が、上層部に設けられた光電変換膜19の開口率よりも遥かに低い。又、一定光量の入射光が固体撮像素子100に入射した場合、下層部に設けられたR光電変換素子2やB光電変換素子4に入射する光の量は、カラーフィルタ、遮光膜13、縦配線18、及び開口率等の影響により、光電変換膜19に入射する光の量よりも少なくなる。このため、上層部で得られる色信号の感度と下層部で得られる色信号の感度にばらつきが生じたり、下層部で得られる色信号のS/N(信号対雑音比)が劣化したりして、固体撮像素子100から得られる色信号を用いてカラー画像データを生成した場合、その品質が低下してしまう。以下、上記感度ばらつきやS/Nの劣化を防ぐことが可能な撮像装置について説明する。
本発明の第一実施形態を説明するための撮像装置は、被写体を撮影してカラー画像データを生成することが可能なものであり、例えばデジタルカメラである。
図6は、本発明の第一実施形態を説明するためのデジタルカメラの概略構成を示す図である。
図6のデジタルカメラは、撮像部31と、アナログ信号処理部32と、A/D変換部33と、駆動部34と、ストロボ35と、デジタル信号処理部36と、圧縮/伸張処理部37と、表示部38と、システム制御部39と、内部メモリ40と、メディアインタフェース41と、記録メディア42と、操作部43とを備える。デジタル信号処理部36、圧縮/伸張処理部37、表示部38、システム制御部39、内部メモリ40、及びメディアインタフェース41は、システムバス44に接続されている。
撮像部31は、撮影レンズ等の光学系及び図1に示した固体撮像素子100によって被写体の撮影を行うものであり、アナログの色信号(赤色信号、青色信号、及び緑色信号)を出力する。アナログ信号処理部32は、撮像部31で得られた色信号に所定のアナログ信号処理を施す。A/D変換部33は、アナログ信号処理部32で処理後のアナログの色信号をデジタル変換する。
撮影に際しては、駆動部34を介して光学系及び固体撮像素子100の制御が行われる。固体撮像素子100は、操作部43の一部であるレリーズボタン(図示せず)の操作によるレリーズスイッチ(図示せず)オンを契機として、所定のタイミングで、駆動部34に含まれるタイミングジェネレータ(図6ではTGと記載)からの駆動信号によって駆動され、R光電変換素子2,B光電変換素子4,信号電荷蓄積部3に蓄積された信号電荷に応じたアナログの色信号がアナログ信号処理部32に出力される。本実施形態では、固体撮像素子100からの色信号の読み出しを、固体撮像素子100の奇数行と偶数行の2回に分けて読み出すインターレース読み出しにより行うが、奇数行と偶数行とを一緒に読み出すプログレッシブ読み出しを採用することも可能である。駆動部34は、システム制御部39によって所定の駆動信号を出力する。
デジタル信号処理部36は、A/D変換部33からのデジタルの色信号に対して、操作部43によって設定された動作モードに応じたデジタル信号処理を行う。デジタル信号処理部36が行う処理には、黒レベル補正処理(OB処理)、リニアマトリクス補正処理、ホワイトバランス調整処理、ガンマ補正処理、カラー画像データ生成処理、及びY/C変換処理等が含まれる。デジタル信号処理部36は、例えばDSPで構成される。
圧縮/伸張処理部37は、デジタル信号処理部36で得られたY/Cデータに対して圧縮処理を施すとともに、記録メディア42から得られた圧縮画像データに対して伸張処理を施す。
表示部38は、例えばLCD表示装置を含んで構成され、撮影されてデジタル信号処理を経たカラー画像データに基づくカラー画像を表示する。記録メディア42に記録された圧縮画像データを伸張処理して得た画像データに基づく画像の表示も行う。また、撮影時のスルー画像、デジタルカメラの各種状態、操作に関する情報の表示等も可能である。
内部メモリ40は、例えばDRAMであり、デジタル信号処理部36やシステム制御部39のワークメモリとして利用される他、記録メディア42に記録される撮影画像データを一時的に記憶するバッファメモリや表示部38への表示画像データのバッファメモリとしても利用される。メディアインタフェース41は、メモリカード等の記録メディア42との間のデータの入出力を行うものである。
システム制御部39は、所定のプログラムによって動作するプロセッサを主体に構成され、撮影動作を含むデジタルカメラ全体の制御を行う。
操作部43は、デジタルカメラ使用時の各種操作を行うものである。
図6に示すデジタルカメラは、カラー画像データの1画素データを構成する緑色信号については、固体撮像素子100の上層部から得られる緑色信号をそのまま用い、カラー画像データの1画素データを構成する赤色信号,青色信号については、下層部から得られる赤色信号,青色信号を用いてカラー画像データの画素数分の赤色信号,青色信号を生成することで、カラー画像データを生成する。つまり、本実施形態のデジタルカメラは、カラー画像データの画素数に等しい数の緑色信号のみを出力する固体撮像素子と、カラー画像データの画素数に等しい数の赤色信号及び青色信号のみを出力する固体撮像素子の2つの固体撮像素子を用いてカラー画像データを生成するデジタルカメラと同じ処理を行うものであり、公知の2板式や3板式CCD型イメージセンサを備えるデジタルカメラと同様の処理によってカラー画像データを生成する。
以下、図6に示すデジタルカメラの動作について説明する。
レリーズスイッチがオンとなると、駆動部34によって固体撮像素子100が駆動され、固体撮像素子100により被写体の撮像が行われる。まず、R光電変換素子2,B光電変換素子4に蓄積された信号電荷に応じた赤色信号及び青色信号が固体撮像素子100からアナログ信号処理部32に出力され、次に、信号電荷蓄積部3に蓄積された信号電荷に応じた緑色信号が固体撮像素子100からアナログ信号処理部32に出力される。赤色信号,青色信号,緑色信号は、アナログ信号処理部32、A/D変換部33を経て、デジタル信号処理部36に入力される。
デジタル信号処理部36は、入力された赤色信号,青色信号,緑色信号を、各色信号が得られたn領域2,3,4の配置と対応付けて内部メモリ40上でマッピングする。
以下では、カラー画像データの1画素データに対応する光電変換素子2又は4を中心とする3行3列の9つの光電変換素子から得られた色信号と、カラー画像データの1画素データに対応する信号電荷蓄積部3を中心とする3行3列の9つの信号電荷蓄積部3から得られた色信号とを用いて、デジタル信号処理部36によるカラー画像データ生成処理を説明する。
図7は、内部メモリ40にマッピングされた色信号を示す図である。図7(a)は、カラー画像データの1画素データに対応する信号電荷蓄積部3を中心とする9つの信号電荷蓄積部3から得られた色信号(図では“G”で示す)をマッピングした状態を示す図であり、図7(b)は、カラー画像データの1画素データに対応するR光電変換素子2を中心とする9つの光電変換素子から得られた色信号(図では赤色信号を“R”、青色信号を“B”で示す)をマッピングした状態を示す図である。尚、図1に示す構成では、緑色信号の重心位置は、実際には画素電極膜5の中心位置になるが、本実施形態では、緑色信号の重心位置を信号電荷蓄積部3の位置とした。
図7では、各色信号において、カラー画像データの1画素データに対応する点をサンプル点と定義し、各サンプル点に符号a〜iを付した。
デジタル信号処理部36は、図7に示す各サンプル点に赤色信号、青色信号、緑色信号の3色の信号を持たせて1画素データを生成する処理を行う。
以下、各サンプル点にカラー画像データを生成するときの信号処理について説明する。
各サンプル点には、緑色信号が存在しており、この緑色信号については、上述したように十分な信号量が得られており、S/Nも良好であるため、デジタル信号処理部36は、各サンプル点における緑色信号を、そのまま1画素データを構成する緑色信号とする(図8(a)参照)。
赤色信号と青色信号については、R光電変換素子2,B光電変換素子4に蓄積された信号電荷に応じた色信号であるため、上述したように信号量が少なく、S/Nが良くない。
そこで、デジタル信号処理部36は、赤色信号のあるサンプル点については、そのサンプル点にある赤色信号と、そのサンプル点の周辺のサンプル点(例えば、そのサンプル点に隣接するサンプル点)にある赤色信号とを用いて、赤色信号のあるサンプル点に、1画素データを構成する赤色信号を生成する(図8(b)参照)。
例えば、サンプル点aと、それに隣接するサンプル点f〜iにある各赤色信号に予め定めた係数を乗じて、係数を乗じた後の各赤色信号を積算して得られる信号を、サンプル点aにおける1画素データを構成する赤色信号とする。この係数は例えば、1/5(図9(a)参照)や1等の任意の数値にすることができる。
係数を1/5とした場合、新しく生成したサンプル点aの赤色信号の信号量は、1つのR光電変換素子2から得られる赤色信号の信号量とほぼ同じであり、赤色信号の感度を上げることはできないが、その分、S/Nは良くすることができる。一方、係数を1とした場合、新しく生成したサンプル点aの赤色信号の信号量は、1つのR光電変換素子2から得られる赤色信号の信号量の5倍にすることができるため、赤色信号の感度を上げることはできるが、その分、S/Nは劣化する。
デジタル信号処理部36は、青色信号についても同様に、青色信号のあるサンプル点については、そのサンプル点にある青色信号と、そのサンプル点に隣接するサンプル点にある青色信号とを用いて、青色信号のあるサンプル点に、1画素データを構成する青色信号を生成する。
次に、デジタル信号処理部36は、1画素データを構成する赤色信号又は青色信号が存在していないサンプル点に、1画素データを構成する赤色信号又は青色信号を補間する処理を行う。この補間は公知の様々な手法を用いることができる。例えば、サンプル点aに青色信号を補間する場合には、サンプル点aの周辺のサンプル点b〜eにある各青色信号に、予め定めた係数を乗じて、係数を乗じた後の各青色信号を積算して得られる信号を、サンプル点aにおける1画素データを構成する青色信号とする。この係数は例えば1/4(図9(b)参照)や1等の任意の数値にすることができる。
このようにしてデジタル信号処理部36は、各サンプル点に1画素データを構成する赤色信号,青色信号,緑色信号を持たせる処理を行う。
カラー画像データを構成する赤色信号及び青色信号の生成は、感度を優先するのか、S/Nを優先するのかを、デジタルカメラの動作モードに応じて決定することが可能である。例えば、撮影ISO感度が高く設定された場合や光量が足りないシーンでの撮影の場合等には、上記係数を1にして感度をアップさせたカラー画像データを生成したり、撮影ISO感度が低く設定された場合や光量が多すぎるシーンでの撮影の場合等には、上記係数を1/4や1/5にしてS/Nを良好にしたカラー画像データを生成したりすれば良い。
サンプル点のマップ上の座標を、サンプル点aを原点として(m,n)としたとき、赤色信号が存在するサンプル点に、1画素データを構成する赤色信号、青色信号、緑色信号を生成する際の上記処理を数式で示すと以下のようになる。
以下の式において、k(m,n)は座標(m,n)のサンプル点に設定される係数、g(m,n)は座標(m,n)のサンプル点における1画素データの生成処理前の緑色信号(1画素データに対応する信号電荷蓄積部3から得られた緑色信号)、b(m,n)は座標(m,n)のサンプル点における1画素データの生成処理前の青色信号(1画素データに対応するB光電変換素子4から得られた青色信号)、r(m,n)は座標(m,n)のサンプル点における1画素データの生成処理前の赤色信号(1画素データに対応するR光電変換素子2から得られた赤色信号)、G(m,n)は座標(m,n)のサンプル点における1画素データの生成処理後の緑色信号、B(m,n)は座標(m,n)のサンプル点における1画素データの生成処理後の青色信号、R(m,n)は座標(m,n)のサンプル点における1画素データの生成処理後の赤色信号である。
G(m,n)=g(m,n)
B(m,n)=k(m,n+1)*b(m,n+1)+k(m−1,n)*b(m−1,n)+k(m+1,n)*b(m+1,n)+k(m,n−1)*b(m,n−1)
R(m,n)=k(m−1,n+1)*r(m−1,n+1)+k(m+1,n+1)*r(m+1,n+1)+k(m,n)*r(m,n)+k(m−1,n−1)*r(m−1,n−1)+k(m+1,n−1)*r(m+1,n−1)
ただし、b(m,n)は、加算処理後の新しく生成した青色信号とする。
一方、青色信号が存在するサンプル点に、1画素データを構成する赤色信号、青色信号、緑色信号を生成する際の上記処理を数式で示すと以下のようになる。
G(m,n)=g(m,n)
B(m,n)=k(m−1,n+1)*b(m−1,n+1)+k(m+1,n+1)*b(m+1,n+1)+k(m,n)*b(m,n)+k(m−1,n−1)*b(m−1,n−1)+k(m+1,n−1)*b(m+1,n−1)
R(m,n)=k(m,n+1)*r(m,n+1)+k(m−1,n)*r(m−1,n)+k(m+1,n)*r(m+1,n)+k(m,n−1)*r(m,n−1)
ただし、r(m,n)は、加算処理後の新しく生成した赤色信号とする。
以上のように本実施形態のデジタルカメラによれば、被写体を撮影してカラー画像データを生成する際、カラー画像データの各画素データを構成する赤色信号及び青色信号の感度をアップさせたり、又はS/Nを向上させたりすることができるため、高品質のカラー画像データを生成することができる。
尚、以上の説明では、デジタル信号処理部36によってカラー画像データを生成するものとしたが、デジタル信号処理部36の行う処理を、アナログ信号処理部32において行うことも可能である。この場合、アナログ信号処理部32は、撮像部31から入力されたアナログの赤色信号,青色信号,緑色信号を用い、上記デジタル信号処理部36が行ったのと同じ処理を行って、アナログのカラー画像データを生成すれば良い。又、アナログ信号処理部32では、赤色信号同士の加算処理や青色信号同士の加算処理をローパスフィルタを用いて行うことも可能である。
又、以上の説明では、撮像部31から出力された色信号に信号処理を行うことで、高品質のカラー画像データを生成可能としているが、信号処理ではなく、色信号の読み出し方法を制御することでも、同様の効果を得ることが可能である。
この場合は、駆動部34が、固体撮像素子100から色信号を読み出す駆動制御を行う際に、1画素データに対応する光電変換素子に蓄積される信号電荷と、その光電変換素子に隣接する同一種類の光電変換素子に蓄積される信号電荷とが、垂直転送路6及び水平転送路7において混合されるように固体撮像素子100を駆動すれば良い。
例えば、1画素データに対応する光電変換素子を、図1に示す固体撮像素子100の3行目の左から2番目のR光電変換素子2とすると、駆動部34は、R光電変換素子2に蓄積される信号電荷と、R光電変換素子2に隣接する同一種類の4つのR光電変換素子2の各々に蓄積される4つの信号電荷とが垂直転送路6及び水平転送路7において混合されるように駆動パルスのタイミングを制御する。
又、駆動部34は、B光電変換素子4についても同様に、B光電変換素子4に蓄積される信号電荷と、B光電変換素子4に隣接する同一種類の4つのB光電変換素子4の各々に蓄積される4つの信号電荷とが垂直転送路6及び水平転送路7において混合されるように駆動パルスのタイミングを制御する。
そして、デジタル信号処理部36は、固体撮像素子100から得られた赤色信号及び青色信号を用いて信号補間処理を行い、固体撮像素子100から得られた緑色信号と共にカラー画像データを生成すれば良い。
この場合は、固体撮像素子100から得られる赤色信号及び青色信号の数がそれぞれ1/5となってしまうため、解像度が落ちてしまうが、デジタル信号処理部36が行う処理で用いる係数を1にしたのと同様の効果を得ることができる。したがって、固体撮像素子100からは高感度の赤信号,青信号,緑信号を取り出すことができ、高品質のカラー画像データを生成することができる。
(第二実施形態)
図1に示したように、緑色信号についてはカラー画像データの全画素データ数分が出力されるが、赤色及び青色信号についてはそれぞれカラー画像データの全画素データ数分が出力されないような固体撮像素子の場合は、赤色信号及び青色信号を補間する処理を行うため、偽色が発生する恐れがある。本実施形態では、この偽色の発生を抑えることが可能な信号処理について説明する。この信号処理は、図6に示すデジタル信号処理部36又はアナログ信号処理部32で実行される。
以下では、カラー画像データの1画素データに対応する光電変換素子2又は4を中心とする3行3列の9つの光電変換素子から得られた色信号と、カラー画像データの1画素データに対応する信号電荷蓄積部3を中心とする3行3列の9つの信号電荷蓄積部3から得られた色信号とを用いて、信号処理方法を説明する。
図10は、内部メモリ40にマッピングされた色信号を示す図である。図10(a)は、カラー画像データの1画素データに対応する信号電荷蓄積部3を中心とする9つの信号電荷蓄積部3から得られた色信号(図では“G”で示す)をマッピングした状態を示す図であり、図10(b)は、カラー画像データの1画素データに対応するB光電変換素子4を中心とする9つの光電変換素子から得られた色信号(図では赤色信号を“R”、青色信号を“B”で示す)をマッピングした状態を示す図である。
図10において、各色信号のサンプル点には符号a〜iを付した。又、図10において、サンプル点aの座標を原点(m,n)とし、座標(m,n)に設定される係数をk(m,n)とする。又、座標(m,n)のサンプル点にある緑色信号をg(m,n)、座標(m,n)のサンプル点にある赤色信号をr(m,n)、座標(m,n)のサンプル点にある青色信号をb(m,n)とする。
以下、各サンプル点にカラー画像データを生成するときの信号処理について説明する。
図11は、本実施形態のデジタルカメラのデジタル信号処理部が行う信号処理を説明するためのフローチャートである。
デジタル信号処理部36は、固体撮像素子100から緑色信号(第1の色信号)、赤色信号(第2の色信号)、及び青色信号(第3の色信号)を取得し(S1)、各サンプル点a〜iの赤色又は青色信号から、それらのサンプル点と同一のサンプル点にある緑色信号を減算して、各サンプル点について赤色信号と緑色信号の差分である色信号x(第4の色信号)と、青色信号と緑色信号の差分である色信号y(第5の色信号)を生成する(S2,図12参照)。座標(m,n)にある色信号xをx(m,n)、座標(m,n)にある色信号yをy(m,n)とすると、x(m,n)及びy(m,n)は以下の式(1)、(2)により求まる。
x(m,n)=r(m,n)−g(m,n) (1)
y(m,n)=b(m,n)−g(m,n) (2)
次に、デジタル信号処理部36は、各サンプル点に色信号x及び色信号yの2つが存在するように、色信号xや色信号yの信号補間を行う(S3,図13参照)。例えば、色信号xの存在しないサンプル点であってかつ色信号yの存在するサンプル点に、そのサンプル点の周辺の色信号xを用いて色信号xを補間したり、色信号yの存在しないサンプル点であってかつ色信号xの存在するサンプル点に、そのサンプル点の周辺の色信号yを用いて色信号yを補間したりする。信号補間については様々な手法があるので、ここでは説明を省略する。
次に、デジタル信号処理部36は、各サンプル点にある緑色信号、色信号x、又は色信号yと、各サンプル点の周辺のサンプル点にある緑色信号、色信号x、又は色信号yとを所定の割合で加算して、各サンプル点に、色信号xをぼかした色信号X(第6の色信号),色信号yをぼかした色信号Y(第7の色信号),緑色信号をぼかした色信号G’を生成する(S4)。
デジタル信号処理部36は、例えば、サンプル点aにある色信号xと、サンプル点aの周辺のサンプル点b〜iにある各色信号xに予め定めた係数を乗じて、係数を乗じた後の各色信号xを積算して得られる信号を、サンプル点aの色信号Xとする(図14(a)参照)。
又、サンプル点aにある色信号yと、サンプル点aの周辺のサンプル点b〜iにある各色信号yに予め定めた係数を乗じて、係数を乗じた後の各色信号yを積算して得られる信号を、サンプル点aの色信号Yとする(図14(b)参照)。
又、サンプル点aにある緑色信号と、サンプル点aの周辺のサンプル点b〜iにある各緑色信号に予め定めた係数を乗じて、係数を乗じた後の各緑色信号を積算して得られる信号を、サンプル点aの色信号G’とする(図14(c)参照)。
各サンプル点に設定する係数としては、例えば、図15(a)に示すようにサンプル点aに重み付けしたものや、図15(b)に示すように各点に均等にしたものを用いる。
座標(m,n)のサンプル点に生成する色信号X(m,n),色信号Y(m,n),色信号G’(m,n)は以下の式(3)、(4)、(5)により求まる。
G’(m,n)=k(m−1,n+1)*g(m−1,n+1)+k(m,n+1)*g(m,n+1)+k(m+1,n+1)*g(m+1,n+1)+k(m−1,n)*g(m−1,n)+k(m,n)*g(m,n)+k(m+1,n)*g(m+1,n)+k(m−1,n−1)*g(m−1,n−1)+k(m,n−1)*g(m,n−1)+k(m+1,n−1)*g(m+1,n−1) (3)
X(m,n)=k(m−1,n+1)*x(m−1,n+1)+k(m,n+1)*x(m,n+1)+k(m+1,n+1)*x(m+1,n+1)+k(m−1,n)*x(m−1,n)+k(m,n)*x(m,n)+k(m+1,n)*x(m+1,n)+k(m−1,n−1)*x(m−1,n−1)+k(m,n−1)*x(m,n−1)+k(m+1,n−1)*x(m+1,n−1) (4)
Y(m,n)=k(m−1,n+1)*y(m−1,n+1)+k(m,n+1)*y(m,n+1)+k(m+1,n+1)*y(m+1,n+1)+k(m−1,n)*y(m−1,n)+k(m,n)*y(m,n)+k(m+1,n)*y(m+1,n)+k(m−1,n−1)*y(m−1,n−1)+k(m,n−1)*y(m,n−1)+k(m+1,n−1)*y(m+1,n−1) (5)
色信号xは、もともと赤色信号から緑色信号を減算した信号であるため、ぼけた色信号Xにぼけた色信号G’を加算すると、ぼけた赤色の色信号Rを得ることができる。同様に、色信号yは、青色信号から緑色信号を減算した信号であるため、ぼけた色信号Yにぼけた色信号G’を加算すると、ぼけた青色の色信号Bを得ることができる。デジタル信号処理部36は、以下の式(6)、(7)により、ぼけた色信号R及び色信号Bを求める(S5)。
R(m,n)=X(m,n)+G’(m,n) (6)
B(m,n)=Y(m,n)+G’(m,n) (7)
ここで、R(m,n):座標(m,n)のサンプル点にあるぼけた色信号R、B(m,n):座標(m,n)のサンプル点にあるぼけた色信号B
最後に、デジタル信号処理部36は、ぼけた色信号Rとぼけた色信号Bから、1画素データを構成する赤色の色信号R’と、1画素データを構成する青色の色信号B’とを以下の式(8)、(9)により求め、1画素データを構成する緑色の色信号G’’を以下の式(10)により求める(S6)。
R’(m,n)=R(m,n)+{g(m,n)−G’(m,n)}=X(m,n)+g(m,n) (8)
B’(m,n)=B(m,n)+{g(m,n)−G’(m,n)}=Y(m,n)+g(m,n) (9)
G’’(m,n)=G’(m,n)+{g(m,n)−G’(m,n)}=g(m,n) (10)
ここで、R’(m,n):座標(m,n)のサンプル点に生成する色信号R’、B’(m,n):座標(m,n)のサンプル点に生成する色信号B’、G’’(m,n):座標(m,n)のサンプル点に生成する色信号G’’
デジタル信号処理部36は、以上の信号処理により、各サンプル点に赤色信号R’,青色信号B’,緑色信号G’’を生成する。
以上のように、本実施形態の信号処理によれば、全てのサンプル点について存在している緑色信号を利用して、1画素データを構成する色信号R’及び色信号B’を生成しているため、各サンプル点にある赤色信号又は青色信号のみを用いて色信号R’及び色信号B’を生成する場合に比べて、偽色を目立たなくすることができる。
尚、式(8)〜(10)を見てわかるように、1画素データを構成する赤色信号R’は、同一サンプル点にある色信号Xと緑色信号を加算して求めることができ、1画素データを構成する青色信号B’は、同一サンプル点にある色信号Yと緑色信号を加算して求めることができ、1画素データを構成する緑色信号G’’は、緑色信号そのものである。このため、図11のフローは図16のように簡略化することができる。
図16は、本実施形態のデジタルカメラのデジタル信号処理部が行う信号処理を説明するためのフローチャートの変形例である。図16において図11と同様の処理には同一符号を付してある。
S3で各サンプル点に色信号x、yを補間した後、デジタル信号処理部36は、各サンプル点にある色信号x又は色信号yと、各サンプル点の周辺のサンプル点にある色信号x又は色信号yとを所定の割合で加算して、各サンプル点に、色信号xをぼかした色信号X(第6の色信号),色信号yをぼかした色信号Y(第7の色信号)を生成する(S7)。
次に、デジタル信号処理部36は、同一サンプル点にある色信号Xと緑色信号を加算して1画素データを構成する赤色信号R’を各サンプル点に生成し、同一サンプル点にある色信号Yと緑色信号を加算して1画素データを構成する青色信号B’を各サンプル点に生成する(S8)。S1で取得した各サンプル点にある緑色信号は1画素データを構成する緑色信号G’’となるため、これらの処理によって各サンプル点に赤色信号R’,青色信号B’,緑色信号の3つの信号を持たせることができる。
又、図16のフローでは、S4において、各サンプル点に色信号X、色信号Yを生成しているが、S2の処理後に色信号xが存在するサンプル点(赤色信号が存在しているサンプル点と等価)については、そのサンプル点に存在している赤色信号を、そのまま赤色信号R’として扱うことができるため、そのサンプル点については、色信号Xを生成してから緑色信号を加算して赤色信号R’を生成する処理は行わなくても良い。同様に、S2の処理後に色信号yが存在するサンプル点(青色信号が存在しているサンプル点と等価)については、そのサンプル点に存在している青色信号を、そのまま青色信号B’として扱うことができるため、そのサンプル点については、色信号Yを生成してから緑色信号を加算して青色信号B’を生成する処理は行わなくても良い。以下、この場合のフローについて図17を参照して説明する。
図17は、本実施形態のデジタルカメラのデジタル信号処理部が行う信号処理を説明するためのフローチャートの変形例である。図17において図16と同様の処理には同一符号を付してある。
S3で各サンプル点に色信号x、yを補間した後、デジタル信号処理部36は、もともと色信号xが存在していなかったサンプル点に補間した色信号xと、該サンプル点の周辺にある色信号xとを所定の割合で加算して、該サンプル点に色信号Xを生成し、もともと色信号yが存在していなかったサンプル点に補間した色信号yと、該サンプル点の周辺にある色信号yとを所定の割合で加算して、該サンプル点に色信号Yを生成する(S9、図18左図参照)。
次に、デジタル信号処理部36は、同一サンプル点にある色信号Xと緑色信号を加算して、1画素データを構成する赤色信号R’を生成し、同一サンプル点にある色信号Yと緑色信号を加算して、1画素データを構成する青色信号B’を生成する(S10、図18右図参照)。赤色信号R’および赤色信号B’を生成しなかったサンプル点については、S1で取得した赤色信号,青色信号をそのまま赤色信号R‘,青色信号B’として扱うことができるため、各サンプル点に赤色信号R’,青色信号B’,緑色信号の3つの信号を持たせることができる。
又、本実施形態の信号処理においては、図11,図16,図17のそれぞれのS1の処理の前に、第一実施形態で説明したような信号処理(各サンプル点にある赤色信号又は青色信号と、そのサンプル点の周辺のサンプル点(例えばそのサンプル点に隣接するサンプル点)にある赤色信号又は青色信号とを所定の割合で加算して、新たな赤色信号又は青色信号を生成する処理)を行っておき、この信号処理によって得られた赤色信号及び青色信号を用いて、図11,図16,図17のそれぞれのS1以降の処理を行うことが好ましい。このようにすることで、偽色が目立たず、且つ、感度アップ又はS/N向上がなされたカラー画像データを生成することができる。
又、本実施形態で説明した信号処理は、図1に示したような単板式の固体撮像素子を搭載する撮像装置に限らず、例えば、カラー画像データの最大画素データ数に等しい数の緑色信号のみを出力する固体撮像素子と、カラー画像データの最大画素データ数に等しい数の赤色信号及び青色信号のみを出力する固体撮像素子の2つの固体撮像素子を用いてカラー画像データを生成する撮像装置にも適用することができる。
又、本実施形態では、固体撮像素子の上層部に設ける光電変換膜を緑色を検出する光電変換膜とし、下層部に設ける光電変換素子を赤色及び青色を検出する光電変換素子としているが、これに限らない。本発明を実現するためには、上層部に設ける光電変換膜で検出する色と、下層部に設ける光電変換素子で検出する色とが異なっていれば良い。例えば、上層部に赤色を検出する光電変換膜を設け、下層部に青色と緑色を検出する光電変換素子を設けた構成や、上層部に青色を検出する光電変換膜を設け、下層部に赤色と緑色を検出する光電変換素子を設けた構成にすることも可能である。緑色は人間の視感度が他の色に比べて高いため、最も受光面積を大きくとることのできる上層部の光電変換膜を、緑色を検出するものにすることで、人間の感覚に近いカラー画像データを生成することができる。
本発明の第一実施形態を説明するための固体撮像素子の表面模式図 図1のI―I線断面模式図 本発明の第一実施形態を説明するための固体撮像素子にマイクロレンズを搭載した状態の断面模式図 本発明の第一実施形態を説明するための固体撮像素子にマイクロレンズを搭載した状態の断面模式図 本発明の第一実施形態を説明するための固体撮像素子の光電変換素子及び信号電荷蓄積部の別の配列例を示す図 本発明の第一実施形態を説明するためのデジタルカメラの概略構成を示す図 本発明の第一実施形態を説明するための固体撮像素子から得られる色信号をメモリ上にマッピングした状態を示す図 カラー画像データ生成処理を説明するための図 カラー画像データ生成処理に用いる係数を示す図 本発明の第二実施形態を説明するための固体撮像素子から得られる色信号をメモリ上にマッピングした状態を示す図 本発明の第二実施形態における信号処理を説明するためのフローチャート 本発明の第二実施形態における信号処理方法を説明するための図 本発明の第二実施形態における信号処理方法を説明するための図 本発明の第二実施形態における信号処理方法を説明するための図 本発明の第二実施形態における信号処理方法にて用いる係数の一例を示す図 本発明の第二実施形態における信号処理を説明するためのフローチャートの変形例 本発明の第二実施形態における信号処理を説明するためのフローチャートの変形例 本発明の第二実施形態における信号処理方法の変形例を説明するための図
符号の説明
100 固体撮像素子
1 半導体基板
2 R光電変換素子
3 信号電荷蓄積部
4 B光電変換素子
5 画素電極膜
6 垂直転送路
7 水平転送路
8 出力部
18 縦配線
20 読み出しゲート

Claims (5)

  1. 被写体を撮像して得られる少なくとも3種類の色信号からカラー画像データを生成するカラー画像生成方法であって、
    前記3種類の色信号は、前記カラー画像データの全画素データに対応する数の第1の色信号と、前記カラー画像データの全画素データの一部に対応する数の第2の色信号と、前記一部以外に対応する数の第3の信号とを含み、
    前記第1の色信号、前記第2の色信号、及び前記第3の色信号を取得する色信号取得ステップと、
    前記色信号の同一サンプル点の前記第2の色信号から前記第1の色信号を減算して第4の色信号を生成する第4の色信号生成ステップと、
    前記色信号の同一サンプル点の前記第3の色信号から前記第1の色信号を減算して第5の色信号を生成する第5の色信号生成ステップと、
    前記第4及び第5の色信号に基づいて、前記カラー画像データの1画素データを構成する色信号を生成する色信号生成ステップとを含むカラー画像生成方法。
  2. 請求項1記載のカラー画像生成方法であって、
    前記色信号生成ステップは、
    前記第4の色信号の存在しない点であってかつ前記第5の色信号の存在する点に、該点の周辺にある前記第4の色信号を用いて、前記第4の色信号を補間する第1の補間ステップと、
    前記第5の色信号の存在しない点であってかつ前記第4の色信号の存在する点に、該点の周辺にある前記第5の色信号を用いて、前記第5の色信号を補間する第2の補間ステップと、
    もともと前記第4の色信号が存在していなかったサンプル点に補間した前記第4の色信号と、該サンプル点の周辺にある前記第4の色信号とを所定の割合で加算して、該サンプル点に第6の色信号を生成する第6の色信号生成ステップと、
    もともと前記第5の色信号が存在していなかったサンプル点に補間した前記第5の色信号と、該サンプル点の周辺にある前記第5の色信号とを所定の割合で加算して、該サンプル点に第7の色信号を生成する第7の色信号生成ステップと、
    前記色信号の同一サンプル点にある前記第6の色信号又は前記第7の色信号と前記第1の色信号とを加算する加算ステップとを含み、
    前記加算ステップによって、前記1画素データを構成する色信号を生成するカラー画像生成方法。
  3. 請求項1記載のカラー画像生成方法であって、
    前記色信号生成ステップは、
    前記第4の色信号の存在しない点であってかつ前記第5の色信号の存在する点に、該点の周辺にある前記第4の色信号を用いて、前記第4の色信号を補間する第1の補間ステップと、
    前記第5の色信号の存在しない点であってかつ前記第4の色信号の存在する点に、該点の周辺にある前記第5の色信号を用いて、前記第5の色信号を補間する第2の補間ステップと、
    各サンプル点にある前記第4の色信号と、各サンプル点の周辺にある前記第4の色信号とを所定の割合で加算して、各サンプル点に第6の色信号を生成する第6の色信号生成ステップと、
    各サンプル点にある前記第5の色信号と、各サンプル点の周辺にある前記第5の色信号とを所定の割合で加算して、各サンプル点に第7の色信号を生成する第7の色信号生成ステップと、
    前記色信号の同一サンプル点にある前記第6の色信号と前記第1の色信号とを加算し、前記色信号の同一サンプル点にある前記第7の色信号と前記第1の色信号とを加算する加算ステップとを含み、
    前記加算ステップによって、前記1画素データを構成する色信号を生成するカラー画像生成方法。
  4. 請求項1〜3のいずれか記載のカラー画像生成方法であって、
    前記第2の色信号と、前記第2の色信号の存在するサンプル点の周辺のサンプル点にある同一種類の色信号とを所定の割合で加算して、該サンプル点に新たな前記第2の色信号を生成するステップと、
    前記第3の色信号と、前記第3の色信号の存在するサンプル点の周辺のサンプル点にある同一種類の色信号とを所定の割合で加算して、該サンプル点に新たな前記第3の色信号を生成するステップとを有し、
    前記第4の色信号生成ステップは、前記第2の色信号の代わりに、前記新たな第2の色信号を用いて前記第4の色信号を生成し、
    前記第5の色信号生成ステップは、前記第3の色信号の代わりに、前記新たな第3の色信号を用いて前記第5の色信号を生成するカラー画像生成方法。
  5. 請求項1〜4のいずれか記載のカラー画像生成方法であって、
    前記第1〜第3の色信号は、半導体基板上方に積層された1つの光電変換膜と、前記光電変換膜で発生した信号電荷を蓄積する前記半導体基板表面に形成された信号電荷蓄積部と、前記半導体基板表面に形成されたそれぞれ異なる色を検出する2種類の光電変換素子とを含む固体撮像素子から得られるものであり、
    前記信号電荷蓄積部は、前記カラー画像データの全画素データに対応する数だけ形成され、
    前記2種類の光電変換素子は、それぞれを合わせて前記カラー画像データの全画素データに対応する数だけ形成され、
    前記第1の色信号は、前記信号電荷蓄積部に蓄積された信号電荷に応じた信号であり、
    前記第2の色信号は、前記2種類の光電変換素子の一方で発生した信号電荷に応じた信号であり、
    前記第3の色信号は、前記2種類の光電変換素子の他方で発生した信号電荷に応じた信号であるカラー画像生成方法。
JP2005011842A 2004-12-02 2005-01-19 カラー画像生成方法 Active JP4414901B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005011842A JP4414901B2 (ja) 2005-01-19 2005-01-19 カラー画像生成方法
US11/292,349 US20060119724A1 (en) 2004-12-02 2005-12-02 Imaging device, signal processing method on solid-state imaging element, digital camera and controlling method therefor and color image data generating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005011842A JP4414901B2 (ja) 2005-01-19 2005-01-19 カラー画像生成方法

Publications (2)

Publication Number Publication Date
JP2006203457A true JP2006203457A (ja) 2006-08-03
JP4414901B2 JP4414901B2 (ja) 2010-02-17

Family

ID=36961072

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005011842A Active JP4414901B2 (ja) 2004-12-02 2005-01-19 カラー画像生成方法

Country Status (1)

Country Link
JP (1) JP4414901B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006261402A (ja) * 2005-03-17 2006-09-28 Fuji Photo Film Co Ltd 光電変換膜積層型カラー固体撮像素子
JP2007311550A (ja) * 2006-05-18 2007-11-29 Fujifilm Corp 光電変換膜積層型カラー固体撮像装置
JP2008085159A (ja) * 2006-09-28 2008-04-10 Fujifilm Corp 撮像素子及び内視鏡装置
JP2010067829A (ja) * 2008-09-11 2010-03-25 Fujifilm Corp 固体撮像素子及び撮像装置
WO2012169127A1 (ja) * 2011-06-07 2012-12-13 パナソニック株式会社 固体撮像装置
KR101387182B1 (ko) * 2006-09-28 2014-04-21 후지필름 가부시키가이샤 촬상 소자 및 내시경 장치
KR101389790B1 (ko) * 2012-05-24 2014-04-29 한양대학교 산학협력단 이미지 센서 및 그 구동 방법
KR20140148103A (ko) * 2013-06-21 2014-12-31 삼성전자주식회사 이미지 센서, 이의 제조 방법, 및 상기 이미지 센서를 포함하는 이미지 처리 장치
JP2017098533A (ja) * 2015-11-18 2017-06-01 三星電子株式会社Samsung Electronics Co.,Ltd. イメージセンサ及びこれを含む電子装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023084A (ja) * 1998-06-30 2000-01-21 Nikon Corp デジタルカメラ及び画像信号処理用記憶媒体
JP2001061157A (ja) * 1999-06-14 2001-03-06 Nikon Corp 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置
JP2003070010A (ja) * 2001-08-24 2003-03-07 Nikon Corp 2板式画像取り込み装置
JP2003332551A (ja) * 2002-05-08 2003-11-21 Canon Inc カラー撮像素子及びカラー受光素子

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023084A (ja) * 1998-06-30 2000-01-21 Nikon Corp デジタルカメラ及び画像信号処理用記憶媒体
JP2001061157A (ja) * 1999-06-14 2001-03-06 Nikon Corp 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置
JP2003070010A (ja) * 2001-08-24 2003-03-07 Nikon Corp 2板式画像取り込み装置
JP2003332551A (ja) * 2002-05-08 2003-11-21 Canon Inc カラー撮像素子及びカラー受光素子

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006261402A (ja) * 2005-03-17 2006-09-28 Fuji Photo Film Co Ltd 光電変換膜積層型カラー固体撮像素子
JP4580789B2 (ja) * 2005-03-17 2010-11-17 富士フイルム株式会社 光電変換膜積層型カラー固体撮像素子
JP2007311550A (ja) * 2006-05-18 2007-11-29 Fujifilm Corp 光電変換膜積層型カラー固体撮像装置
KR101387182B1 (ko) * 2006-09-28 2014-04-21 후지필름 가부시키가이샤 촬상 소자 및 내시경 장치
JP2008085159A (ja) * 2006-09-28 2008-04-10 Fujifilm Corp 撮像素子及び内視鏡装置
US8848047B2 (en) 2006-09-28 2014-09-30 Fujifilm Corporation Imaging device and endoscopic apparatus
JP2010067829A (ja) * 2008-09-11 2010-03-25 Fujifilm Corp 固体撮像素子及び撮像装置
WO2012169127A1 (ja) * 2011-06-07 2012-12-13 パナソニック株式会社 固体撮像装置
KR101389790B1 (ko) * 2012-05-24 2014-04-29 한양대학교 산학협력단 이미지 센서 및 그 구동 방법
US9711569B2 (en) 2012-05-24 2017-07-18 Iucf-Hyu Image sensor and method for driving same
KR20140148103A (ko) * 2013-06-21 2014-12-31 삼성전자주식회사 이미지 센서, 이의 제조 방법, 및 상기 이미지 센서를 포함하는 이미지 처리 장치
KR102105284B1 (ko) * 2013-06-21 2020-04-28 삼성전자 주식회사 이미지 센서, 이의 제조 방법, 및 상기 이미지 센서를 포함하는 이미지 처리 장치
JP2017098533A (ja) * 2015-11-18 2017-06-01 三星電子株式会社Samsung Electronics Co.,Ltd. イメージセンサ及びこれを含む電子装置
JP7125832B2 (ja) 2015-11-18 2022-08-25 三星電子株式会社 イメージセンサ及びこれを含む電子装置

Also Published As

Publication number Publication date
JP4414901B2 (ja) 2010-02-17

Similar Documents

Publication Publication Date Title
US9866771B2 (en) Solid-state imaging device, signal processing method of solid-state imaging device, and electronic apparatus
JP4067054B2 (ja) 固体撮像装置および撮像システム
JP4414901B2 (ja) カラー画像生成方法
JP5232118B2 (ja) 撮像デバイスおよび電子カメラ
KR101696463B1 (ko) 고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치
JP5089017B2 (ja) 固体撮像装置及び固体撮像システム
US7663685B2 (en) Hybrid solid-state image pickup element and image pickup apparatus using the same
JP6229652B2 (ja) 撮像装置および撮像方法、電子機器、並びにプログラム
JP2010130657A (ja) 固体撮像装置及びそれを用いた撮像システム
JP2005286104A (ja) 広ダイナミックレンジカラー固体撮像装置及びこの固体撮像装置を搭載したデジタルカメラ
JP4997359B2 (ja) 撮像装置及び混色補正方法
WO2019208412A1 (ja) 撮像装置及び撮像装置の駆動方法
WO2017159362A1 (ja) 固体撮像素子およびその製造方法、並びに電子機器
JP7314061B2 (ja) 撮像装置及び電子機器
JP2004186407A (ja) 光電変換装置
JP2009065478A (ja) 固体撮像素子の駆動方法及び撮像装置
JP4724414B2 (ja) 撮像装置、デジタルカメラ、及びカラー画像データ生成方法
JP2019161577A (ja) 撮像装置、画素補正処理回路、及び、画素補正処理方法
JP5033711B2 (ja) 撮像装置及び撮像装置の駆動方法
JP4538337B2 (ja) 固体撮像素子
JP2005175893A (ja) 2板式カラー固体撮像装置及びデジタルカメラ
JP4251313B2 (ja) 固体撮像装置
JP5619093B2 (ja) 固体撮像装置及び固体撮像システム
JP5511205B2 (ja) 撮像装置及び撮像方法
JP2009303020A (ja) 撮像装置及び欠陥画素補正方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070621

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071108

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071115

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091120

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121127

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4414901

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121127

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131127

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250