JP2009049524A - Imaging apparatus and method for processing signal - Google Patents
Imaging apparatus and method for processing signal Download PDFInfo
- Publication number
- JP2009049524A JP2009049524A JP2007211507A JP2007211507A JP2009049524A JP 2009049524 A JP2009049524 A JP 2009049524A JP 2007211507 A JP2007211507 A JP 2007211507A JP 2007211507 A JP2007211507 A JP 2007211507A JP 2009049524 A JP2009049524 A JP 2009049524A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- photoelectric conversion
- pixel
- conversion film
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
本発明は、多数の画素を有する固体撮像素子を備える撮像装置に関する。 The present invention relates to an imaging apparatus including a solid-state imaging device having a large number of pixels.
近年、広ダイナミックレンジ撮像が可能な撮像装置が種々提案されている(例えば特許文献1参照)。特許文献1には、各受光セルが高感度受光領域と低感度受光領域に分割されている固体撮像素子を用いて時間的及び空間的にズレの少ない高感度画像と低感度画像を取得し、これら2つの画像のうち一方の画像から白とび或いは黒つぶれなどの画質劣化領域を自動判別するとともに、その画質劣化領域の情報に従って他方の画像から該当領域を切り抜き、切り抜いた画像部分を画質劣化領域の部分に合成する。その後、合成画像の全領域若しくは合成境界の近傍領域についてローパスフィルタ処理を行い、画像を滑らかにつないだ後に、輪郭強調処理を行うといった画像合成方法が開示されている。
In recent years, various imaging devices capable of wide dynamic range imaging have been proposed (see, for example, Patent Document 1). In
上記従来の方法では、低感度受光セルによる撮像画像と高感度受光セルによる撮像画像とを部分的に切り貼りして1枚の広ダイナミックレンジ画像を合成しているが、低感度受光セルは高感度受光セルに対してS/N比が低下するため、それらを部分的に合成した場合、不自然な画像となってしまう。又、低感度受光セルと高感度受光セルは、近接しているとは言え、別の位置に配置されているため、低感度受光セルによる撮像画像と高感度受光セルによる撮像画像には時間的及び空間的に微妙なズレが生じてしまい、不自然な画像となってしまう。 In the above conventional method, the image picked up by the low sensitivity light receiving cell and the image picked up by the high sensitivity light receiving cell are partially cut and pasted to synthesize one wide dynamic range image. Since the S / N ratio is lowered with respect to the light receiving cell, when they are partially combined, an unnatural image is obtained. In addition, although the low-sensitivity light-receiving cell and the high-sensitivity light-receiving cell are close to each other, they are arranged at different positions. Also, a spatially subtle shift occurs, resulting in an unnatural image.
本発明は、上記事情に鑑みてなされたものであり、被写体像を忠実に再現することが可能な撮像装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide an imaging apparatus capable of faithfully reproducing a subject image.
本発明の撮像装置は、多数の画素を有する固体撮像素子を備える撮像装置であって、前記多数の画素の各々は、半導体基板上方に形成された特定の波長域の光を吸収してこれに応じた電荷を発生する光電変換膜と、前記光電変換膜下方の前記半導体基板内に形成された光電変換素子とを含み、前記多数の画素に含まれる前記光電変換素子は、可視光のうちのそれぞれ異なる波長域の光を検出するための少なくとも3種類の光電変換素子からなり、前記光電変換膜が、前記少なくとも3種類の光電変換素子で検出される波長域とは異なる波長域の光を吸収してこれに応じた電荷を発生するものであり、前記多数の画素の前記光電変換膜から得られた第一の撮像信号から、各画素に対応する画素データに前記光電変換膜から得られる色情報を持たせた単色画像データを生成する単色画像データ生成手段と、前記多数の画素の前記光電変換膜から得られた第一の撮像信号と前記多数の画素の前記光電変換素子から得られた第二の撮像信号のうち、少なくとも前記第二の撮像信号を用いて、各画素に対応する画素データに3つの色情報を持たせたカラー画像データを生成するカラー画像データ生成手段と、前記単色画像データと前記カラー画像データとを用いて記録用画像データを生成する記録用画像データ生成手段とを備える。 The imaging device of the present invention is an imaging device including a solid-state imaging device having a large number of pixels, and each of the large number of pixels absorbs light in a specific wavelength region formed above the semiconductor substrate. A photoelectric conversion film that generates a corresponding charge, and a photoelectric conversion element formed in the semiconductor substrate below the photoelectric conversion film, wherein the photoelectric conversion element included in the plurality of pixels includes: It comprises at least three types of photoelectric conversion elements for detecting light in different wavelength ranges, and the photoelectric conversion film absorbs light in a wavelength range different from the wavelength range detected by the at least three types of photoelectric conversion elements. A color obtained from the photoelectric conversion film from the first imaging signal obtained from the photoelectric conversion film of the large number of pixels to pixel data corresponding to each pixel. Have information Monochromatic image data generating means for generating monochromatic image data, a first imaging signal obtained from the photoelectric conversion film of the multiple pixels, and a second imaging obtained from the photoelectric conversion elements of the multiple pixels. Of the signals, color image data generating means for generating color image data in which three color information is given to pixel data corresponding to each pixel using at least the second imaging signal, the monochromatic image data, Recording image data generating means for generating recording image data using color image data.
本発明の撮像装置は、前記複数種類の光電変換素子が、可視光のうちのそれぞれ異なる波長域の光を検出するための3種類の光電変換素子であり、前記光電変換膜が、赤外の波長域の光を吸収してこれに応じた電荷を発生するものであり、前記カラー画像データ生成手段が、前記第二の撮像信号を用いて前記カラー画像データを生成するものである。 In the imaging apparatus of the present invention, the plurality of types of photoelectric conversion elements are three types of photoelectric conversion elements for detecting light in different wavelength regions of visible light, and the photoelectric conversion film is an infrared ray The color image data generating means generates the color image data using the second imaging signal by absorbing light in the wavelength band and generating a charge corresponding thereto.
本発明の撮像装置は、前記複数種類の光電変換素子が、可視光のうちのそれぞれ異なる波長域の光を検出するための3種類の光電変換素子であり、前記光電変換膜が、可視光のうちの前記3種類の光電変換素子で検出される波長域とは異なる波長域の光を吸収してこれに応じた電荷を発生するものであり、前記カラー画像データ生成手段が、前記第一の撮像信号と前記第二の撮像信号とを用いて前記カラー画像データを生成するものである。 In the imaging apparatus of the present invention, the plurality of types of photoelectric conversion elements are three types of photoelectric conversion elements for detecting light in different wavelength regions of visible light, and the photoelectric conversion film is formed of visible light. The light of a wavelength range different from the wavelength range detected by the three types of photoelectric conversion elements is absorbed to generate a charge corresponding to the light. The color image data is generated using the imaging signal and the second imaging signal.
本発明の撮像装置は、前記記録用画像データ生成手段が、前記単色画像データから輪郭情報を抽出した輪郭画像データを生成する輪郭画像データ生成手段と、前記カラー画像データと前記輪郭画像データとを合成した画像データを前記記録用画像データとして出力する画像合成手段とを含む。 In the imaging apparatus of the present invention, the recording image data generation unit includes contour image data generation unit that generates contour image data obtained by extracting contour information from the single-color image data, the color image data, and the contour image data. Image synthesizing means for outputting the synthesized image data as the recording image data.
本発明の撮像装置は、前記画像合成手段は、被写体照度が前記光電変換素子からの出力が飽和しないレベルである場合、前記カラー画像データを前記記録用画像データとしてそのまま出力し、被写体照度が前記光電変換素子からの出力が飽和するレベルである場合、前記カラー画像データと前記輪郭画像データを合成した画像データを前記記録用画像データとして出力する。 In the imaging apparatus of the present invention, when the subject illuminance is at a level where the output from the photoelectric conversion element is not saturated, the image synthesizing unit outputs the color image data as the recording image data as it is, and the subject illuminance is When the output from the photoelectric conversion element is saturated, image data obtained by combining the color image data and the contour image data is output as the recording image data.
本発明の撮像装置は、多数の画素を有する固体撮像素子を備える撮像装置であって、前記多数の画素の各々は、半導体基板上方に形成された特定の波長域の光を吸収してこれに応じた電荷を発生する光電変換膜と、前記光電変換膜下方の前記半導体基板内に形成された光電変換素子とを含み、前記多数の画素に含まれる前記光電変換素子は、可視光のうちのそれぞれ異なる波長域の光を検出するための2種類の光電変換素子からなり、前記光電変換膜が、可視光のうちの前記2種類の光電変換素子で検出される波長域とは異なる波長域の光を吸収してこれに応じた電荷を発生するものであり、前記多数の画素の前記光電変換膜から得られた第一の撮像信号から、各画素に対応する画素データに前記光電変換膜から得られる色情報を持たせた単色画像データを生成する単色画像データ生成手段と、前記多数の画素の前記光電変換膜から得られた第一の撮像信号と前記多数の画素の前記光電変換素子から得られた第二の撮像信号とを用いて、各画素に対応する画素データに3つの色情報を持たせたカラー画像データを生成するカラー画像データ生成手段と、前記単色画像データと前記カラー画像データとを用いて記録用画像データを生成する記録用画像データ生成手段とを備える。 The imaging device of the present invention is an imaging device including a solid-state imaging device having a large number of pixels, and each of the large number of pixels absorbs light in a specific wavelength region formed above the semiconductor substrate. A photoelectric conversion film that generates a corresponding charge, and a photoelectric conversion element formed in the semiconductor substrate below the photoelectric conversion film, wherein the photoelectric conversion element included in the plurality of pixels includes: It consists of two types of photoelectric conversion elements for detecting light of different wavelength ranges, and the photoelectric conversion film has a wavelength range different from the wavelength range detected by the two types of photoelectric conversion elements of visible light. From the first imaging signal obtained from the photoelectric conversion film of the large number of pixels to the pixel data corresponding to each pixel from the photoelectric conversion film. Single unit with color information obtained Monochromatic image data generating means for generating image data, a first imaging signal obtained from the photoelectric conversion film of the multiple pixels, and a second imaging signal obtained from the photoelectric conversion elements of the multiple pixels And color image data generating means for generating color image data in which three color information is given to pixel data corresponding to each pixel, and recording image data using the monochrome image data and the color image data Recording image data generation means.
本発明の撮像装置は、前記記録用画像データ生成手段が、前記単色画像データから輪郭情報を抽出した輪郭画像データを生成する輪郭画像データ生成手段と、前記カラー画像データと前記輪郭画像データとを合成した画像データを前記記録用画像データとして出力する画像合成手段とを含む。 In the imaging apparatus of the present invention, the recording image data generation unit includes contour image data generation unit that generates contour image data obtained by extracting contour information from the single-color image data, the color image data, and the contour image data. Image synthesizing means for outputting the synthesized image data as the recording image data.
本発明の撮像装置は、前記画像合成手段が、被写体照度が前記光電変換素子からの出力が飽和しないレベルである場合、前記カラー画像データを前記記録用画像データとしてそのまま出力し、被写体照度が前記光電変換素子からの出力が飽和するレベルである場合、前記カラー画像データと前記輪郭画像データを合成した画像データを前記記録用画像データとして出力する。 In the image pickup apparatus of the present invention, when the subject illuminance is at a level at which the output from the photoelectric conversion element is not saturated, the color image data is directly output as the recording image data, and the subject illuminance is When the output from the photoelectric conversion element is saturated, image data obtained by combining the color image data and the contour image data is output as the recording image data.
本発明の撮像装置は、前記光電変換素子の露光条件を決定する露光条件決定手段と、前記露光条件決定手段によって決定された露光条件での撮像において、前記多数の画素に含まれる前記光電変換膜からの信号に飽和レベルを超えるものが存在しないように、前記光電変換膜に印加する電圧を調整する印加電圧調整手段とを備え、前記印加電圧調整手段で調整された電圧を前記光電変換膜に印加した状態で、前記露光条件に基づいた撮像を行う。 The imaging apparatus according to the present invention includes an exposure condition determining unit that determines an exposure condition of the photoelectric conversion element, and the photoelectric conversion film included in the large number of pixels in imaging under the exposure condition determined by the exposure condition determining unit. Application voltage adjusting means for adjusting the voltage applied to the photoelectric conversion film so that there is no signal exceeding the saturation level, and the voltage adjusted by the applied voltage adjusting means is applied to the photoelectric conversion film. In the applied state, imaging based on the exposure condition is performed.
本発明の信号処理方法は、多数の画素を有する固体撮像素子から得られた信号を処理する信号処理方法であって、前記多数の画素の各々は、半導体基板上方に形成された特定の波長域の光を吸収してこれに応じた電荷を発生する光電変換膜と、前記光電変換膜下方の前記半導体基板内に形成された光電変換素子とを含み、前記多数の画素に含まれる前記光電変換素子は、可視光のうちのそれぞれ異なる波長域の光を検出するための少なくとも3種類の光電変換素子からなり、前記光電変換膜が、前記少なくとも3種類の光電変換素子で検出される波長域とは異なる波長域の光を吸収してこれに応じた電荷を発生するものであり、前記多数の画素の前記光電変換膜から得られた第一の撮像信号から、各画素に対応する画素データに前記光電変換膜から得られる色情報を持たせた単色画像データを生成する単色画像データ生成ステップと、前記多数の画素の前記光電変換膜から得られた第一の撮像信号と前記多数の画素の前記光電変換素子から得られた第二の撮像信号のうち、少なくとも前記第二の撮像信号を用いて、各画素に対応する画素データに3つの色情報を持たせたカラー画像データを生成するカラー画像データ生成ステップと、前記単色画像データと前記カラー画像データとを用いて記録用画像データを生成する記録用画像データ生成ステップとを備える。 The signal processing method of the present invention is a signal processing method for processing a signal obtained from a solid-state imaging device having a large number of pixels, and each of the large number of pixels has a specific wavelength range formed above a semiconductor substrate. The photoelectric conversion film included in the plurality of pixels includes a photoelectric conversion film that absorbs light and generates a charge corresponding thereto, and a photoelectric conversion element formed in the semiconductor substrate below the photoelectric conversion film The element is composed of at least three types of photoelectric conversion elements for detecting light in different wavelength ranges of visible light, and the photoelectric conversion film has a wavelength range detected by the at least three types of photoelectric conversion elements; Absorbs light in different wavelength ranges and generates charges corresponding thereto, and from the first imaging signal obtained from the photoelectric conversion film of the large number of pixels, to pixel data corresponding to each pixel The photoelectric conversion A monochrome image data generating step for generating monochrome image data having color information obtained from the first imaging signal obtained from the photoelectric conversion films of the multiple pixels and the photoelectric conversion elements of the multiple pixels A color image data generation step of generating color image data in which three color information is given to pixel data corresponding to each pixel using at least the second imaging signal among the second imaging signals obtained from And a recording image data generation step of generating recording image data using the monochrome image data and the color image data.
本発明の信号処理方法は、多数の画素を有する固体撮像素子から得られた信号を処理する信号処理方法であって、前記多数の画素の各々は、半導体基板上方に形成された特定の波長域の光を吸収してこれに応じた電荷を発生する光電変換膜と、前記光電変換膜下方の前記半導体基板内に形成された光電変換素子とを含み、前記多数の画素に含まれる前記光電変換素子は、可視光のうちのそれぞれ異なる波長域の光を検出するための2種類の光電変換素子からなり、前記光電変換膜が、可視光のうちの前記2種類の光電変換素子で検出される波長域とは異なる波長域の光を吸収してこれに応じた電荷を発生するものであり、前記多数の画素の前記光電変換膜から得られた第一の撮像信号から、各画素に対応する画素データに前記光電変換膜から得られる色情報を持たせた単色画像データを生成する単色画像データ生成ステップと、前記多数の画素の前記光電変換膜から得られた第一の撮像信号と前記多数の画素の前記光電変換素子から得られた第二の撮像信号とを用いて、各画素に対応する画素データに3つの色情報を持たせたカラー画像データを生成するカラー画像データ生成ステップと、前記単色画像データと前記カラー画像データとを用いて記録用画像データを生成する記録用画像データ生成ステップとを備える。 The signal processing method of the present invention is a signal processing method for processing a signal obtained from a solid-state imaging device having a large number of pixels, and each of the large number of pixels has a specific wavelength range formed above a semiconductor substrate. The photoelectric conversion film included in the plurality of pixels includes a photoelectric conversion film that absorbs light and generates a charge corresponding thereto, and a photoelectric conversion element formed in the semiconductor substrate below the photoelectric conversion film The element includes two types of photoelectric conversion elements for detecting light in different wavelength regions of visible light, and the photoelectric conversion film is detected by the two types of photoelectric conversion elements of visible light. It absorbs light in a wavelength region different from the wavelength region and generates a charge corresponding to this, and corresponds to each pixel from the first imaging signal obtained from the photoelectric conversion film of the large number of pixels. From the photoelectric conversion film to the pixel data A monochrome image data generation step for generating monochrome image data having color information to be obtained; a first imaging signal obtained from the photoelectric conversion film of the multiple pixels; and a photoelectric conversion element of the multiple pixels. A color image data generating step for generating color image data in which three color information is given to pixel data corresponding to each pixel, using the second image pickup signal, and the monochrome image data and the color image data And a recording image data generation step for generating recording image data.
本発明の信号処理方法は、前記記録用画像データ生成ステップが、前記単色画像データから輪郭情報を抽出した輪郭画像データを生成する輪郭画像データ生成ステップと、前記カラー画像データと前記輪郭画像データとを合成して前記記録用画像データを出力する画像合成ステップとを含む。 In the signal processing method of the present invention, the recording image data generation step includes a contour image data generation step of generating contour image data obtained by extracting contour information from the monochrome image data, the color image data, and the contour image data. Synthesizing and outputting the recording image data.
本発明によれば、被写体像を忠実に再現することが可能な撮像装置を提供することができる。 According to the present invention, it is possible to provide an imaging apparatus capable of faithfully reproducing a subject image.
以下、本発明の実施形態について図面を参照して説明する。以下の説明では、入射光のうちの青色(B)の波長域(一般的には約380nm〜約520nm)の光をB光といい、緑色(G)の波長域(一般的には約450nm〜約610nm)の光をG光といい、赤色(R)の波長域(一般的には約550nm〜約700nm)の光をR光といい、赤外(IR)の波長域(一般的には約680nm〜約3000nm)の光をIR光という。 Embodiments of the present invention will be described below with reference to the drawings. In the following description, light in the blue (B) wavelength region (generally about 380 nm to about 520 nm) of the incident light is referred to as B light, and the green (G) wavelength region (generally about 450 nm). (About 610 nm) is called G light, red (R) wavelength region (generally about 550 nm to about 700 nm) light is called R light, and infrared (IR) wavelength region (generally) Is about 680 nm to about 3000 nm) is called IR light.
(第一実施形態)
図1は、本発明の第一実施形態である固体撮像素子の概略構成を示す平面模式図である。
図1に示す固体撮像素子200は、入射光のうちのR光に応じたR信号を出力可能な画素202Rと、入射光のうちのG光に応じたG信号を出力可能な画素202Gと、入射光のうちのB光に応じたB信号を出力可能な画素202Bとの3種類の画素を備え、これらの画素が、シリコン等の基板201上の行方向Xとこれに直交する列方向Yに二次元状に配列されている。
(First embodiment)
FIG. 1 is a schematic plan view showing a schematic configuration of the solid-state imaging device according to the first embodiment of the present invention.
A solid-
図1に示すように、固体撮像素子200の画素配列は、画素202Gと画素202Rとを行方向Xに交互に配列した画素行であるGR画素行と、画素202Bと画素202Gとを行方向Xに交互に配列した画素行であるBG画素行とを、列方向Yに交互に配列したものとなっている。固体撮像素子200の画素配列は図1に示したものにかぎらず、画素202Rと画素202Gと画素202Bとを縦ストライプや横ストライプ状に配列したものとしても良い。
As shown in FIG. 1, the pixel array of the solid-
基板201の側部には行選択走査部203が設けられ、下辺部には画像信号処理部204が設けられている。又、基板201には、画素を選択するためのタイミングパルスを生成したり、画素を駆動するための各種制御信号を生成したりする制御部205が適宜箇所に設けられている。
A row
各画素行の上側部には、その画素行に対応させてリセット信号線206と行選択信号線207の2本の信号線が行方向Xに延びて設けられている。リセット信号線206と行選択信号線207は、それに対応する画素行の各画素と、行選択走査部203とに接続されている。
Two signal lines of a
列方向Yに配列された複数の画素からなる画素列の右側部には、その画素列に対応させて列信号線208と列信号線209との2本の信号線が列方向Yに延びて設けられている。列信号線208と列信号線209は、それに対応する画素列の各画素と、画像信号処理部204とに接続されている。
On the right side of the pixel column composed of a plurality of pixels arranged in the column direction Y, two signal lines of a
図2は、図1に破線(イ)で囲った4つの画素の断面を1つに合成して図示した図である。
基板201は例えばn型のシリコン基板であり、この上にはpウェル層211が形成されている。基板201とpウェル層211とを合わせた部分が半導体基板を構成している。pウェル層211上には入射光に対して透明な絶縁層220が形成されている。絶縁層220上には、画素202Rの構成要素であるR光を透過するカラーフィルタ222R、画素202Gの構成要素であるG光を透過するカラーフィルタ222G、及び画素202Bの構成要素であるB光を透過するカラーフィルタ222Bからなるカラーフィルタ層が形成されている。カラーフィルタ層上には、画素毎に分割された入射光に対して透明な材料(例えば、ITOや薄い金属膜)からなる画素電極225が形成されている。画素電極225上には、IR光を吸収してこれに応じた電荷を発生する光電変換膜226が形成されている。光電変換膜226上には、入射光に対して透明な材料(例えば、ITOや薄い金属膜)からなる共通電極227が形成されている。共通電極227上には、入射光に対して透明な保護層228が形成されている。これら光電変換膜226、共通電極227、及び保護層228は、全ての画素で共通の1枚構成となっている。保護層228上の各画素に対応する位置には、各画素に入射光を集光するためのマイクロレンズ229が形成されている。
FIG. 2 is a diagram illustrating the four pixels surrounded by a broken line (A) in FIG. 1 combined into one.
The
光電変換膜226は、IR光を吸収してこの光に応じた電荷を発生すると共に、可視光を透過する有機光電変換材料(例えば、フタロシアニン系有機材料やナフタロシアニン系有機材料)で構成されている。光電変換膜226は、無機材料で構成したものであっても良い。画素電極225と共通電極227とに所定のバイアス電圧を印加して光電変換膜226に電界を印加すると、光電変換膜226では、入射したIR光の光量に応じた信号電荷が発生する。光電変換膜226は、上記光電変換材料を、スパッタ法やレーザアブレーション法,印刷技術,スプレー法等で画素電極225上に積層することで形成される。
The
尚、光電変換膜226と共通電極227は、それぞれ画素毎に対応して分割してあっても良い。共通電極227を画素毎に分割した場合は、分割した共通電極227を共通配線で接続して、それぞれに同一のバイアス電圧が印加できるようにしておけば良い。
The
画素202R、画素202G、及び画素202Bは、それぞれ、pウェル層211の一部と、カラーフィルタと、画素電極225と、光電変換膜226の一部と、共通電極227の一部と、マイクロレンズ229とを含んで構成されている。画素202R、画素202G、及び画素202Bの各々の構造は、カラーフィルタを除いて共通であるため、以下では、この共通の構造を、画素202Rを代表して説明する。
The
画素202Rのカラーフィルタ222Rの上には画素電極225が形成されている。この画素電極225と、この画素電極225に対向する共通電極227と、これらに挟まれた光電変換膜226とにより、IR光を検出する有機光電変換素子が構成される。
A
画素202Rのpウェル層211内には、その表面から内側に形成されたn型の不純物層(以下、n層という)212が形成されている。n層212の表面から内側には、n層212よりも不純物濃度の高い暗電流抑制用のp型の不純物層(以下、p層という)213が形成されている。このpウェル層211とn層212とp層213とにより、光電変換素子であるフォトダイオード(PD)214が構成されている。フォトダイオード214で発生した電荷はn層212に蓄積される。
In the p well layer 211 of the
フォトダイオード214の左隣には、少し離間して信号読出回路215が形成されている。信号読出回路215は、例えば既存のCMOS型イメージセンサで用いられる3トランジスタ構成または4トランジスタ構成等のトランジスタ回路が用いられ、行選択走査部203や画像信号処理部204も既存のCMOS型イメージセンサで用いられるものと同じものを用いることができる。
A
信号読出回路215の出力は列信号線209に接続されている。信号読出回路215は、行選択信号線207にも接続されており、ここからパルスが印加されると、n層212に蓄積された電荷に応じた電圧信号を列信号線209に出力する。又、信号読出回路215は、リセット信号線206にも接続されており、ここからパルスが印加されると、n層212に蓄積されている電荷をリセットドレインへと掃き出すリセット動作を行う。
The output of the
フォトダイオード214の右隣には、少し離間して、その表面から内側に、画素202Rの有機光電変換素子の光電変換膜226で発生した電荷を蓄積するための例えばn層からなる電荷蓄積部216が形成されている。電荷蓄積部216の右隣には、少し離間して信号読出回路217が形成されている。
Next to the right side of the
信号読出回路217は、例えば既存のCMOS型イメージセンサで用いられる3トランジスタ構成または4トランジスタ構成等のトランジスタ回路が用いることができる。
As the
信号読出回路217の出力は列信号線208に接続されている。信号読出回路217は、行選択信号線207にも接続されており、ここからパルスが印加されると、電荷蓄積部216に蓄積された電荷に応じた電圧信号を列信号線208に出力する。又、信号読出回路217は、リセット信号線206にも接続されており、ここからパルスが印加されると、電荷蓄積部216に蓄積されている電荷をリセットドレインへと掃き出すリセット動作を行う。
The output of the
尚、信号読出回路215と信号読出回路217は、既存のCCD(電荷結合素子)型固体撮像素子と同様に、各画素で検出された信号電荷を電荷転送路(垂直電荷転送路VCCD,水平電荷転送路HCCD)でアンプまで転送し、アンプにて信号を出力する構造を採用しても良い。
Note that the
電荷蓄積部216上の無機層220及びカラーフィルタ222Rにはアルミニウム等からなるコンタクト部224が画素電極225まで貫通して形成されている。コンタクト部224は、画素電極225と電荷蓄積部216とに直接接続され、これらを電気的に接続する接続手段として機能する。
A
絶縁層220内には、ポリ配線層218と3層メタル配線層219が設けられている。これらの配線層の数は、信号読出回路215,217の回路動作に必要な配線の数によって決まっている。3層メタル層219は、信号読出回路215,217を遮光する遮光膜としても機能する。絶縁層220の上面は平坦化されており、この上にカラーフィルタ層が形成されている。
A
以上までに説明した構造が、各画素で共通の構造である。次に、各画素で異なる構造部分について説明する。 The structure described above is a structure common to each pixel. Next, a different structure portion for each pixel will be described.
画素202Rのフォトダイオード214上方には、このフォトダイオード214に対応するカラーフィルタ222Rが形成されている。画素202Gのフォトダイオード214上方には、このフォトダイオード214に対応するカラーフィルタ222Gが形成されている。画素202Bのフォトダイオード214上方には、このフォトダイオード214に対応するカラーフィルタ222Bが形成されている。
A
このような構成により、画素202Rのフォトダイオード214は、R光を検出する第1の光電変換素子として機能し、画素202Gのフォトダイオード214は、G光を検出する第2の光電変換素子として機能し、画素202Bのフォトダイオード214は、B光を検出する第3の光電変換素子として機能する。このように、固体撮像素子200の各画素には、有機光電変換素子とフォトダイオード214とが含まれた構成となっている。
With such a configuration, the
次に、このような構成の固体撮像素子200の動作について説明する。
Next, the operation of the solid-
固体撮像素子200に光が入射すると、画素202Rでは、入射光のうちのIR光が光電変換膜226で吸収され、R光、G光、B光、紫外光が光電変換膜226を透過する。透過した光のうちのR光はカラーフィルタ222Rを透過し、フォトダイオード214に吸収される。
When light is incident on the solid-
画素202Gでは、入射光のうちのIR光が光電変換膜226に吸収され、R光、G光、B光、紫外光が光電変換膜226を透過する。透過した光のうちのG光はカラーフィルタ222Gを透過し、フォトダイオード214に吸収される。
In the
画素202Bでは、入射光のうちのIR光が光電変換膜226で吸収され、R光、G光、B光、紫外光が光電変換膜226を透過する。透過した光のうちのB光はカラーフィルタ222Bを透過し、フォトダイオード214に吸収される。
In the
画素202Rにおける光電変換膜226では、入射したIR光の光量に応じた信号電荷が発生する。画素202Rの光電変換膜226で発生した信号電荷は、画素202Rの画素電極225に集約され、画素202Rのコンタクト部224を通り、画素202Rの信号読出回路217で信号に変換されて、列信号線208にIR信号として出力される。
In the
画素202Gにおける光電変換膜226では、入射したIR光の光量に応じた信号電荷が発生する。画素202Gの光電変換膜226で発生した信号電荷は、画素202Gの画素電極225に集約され、画素202Gのコンタクト部224を通り、画素202Gの信号読出回路217で信号に変換されて、列信号線208にIR信号として出力される。
In the
画素202Bにおける光電変換膜226では、入射したIR光の光量に応じた信号電荷が発生する。画素202Bの光電変換膜226で発生した信号電荷は、画素202Bの画素電極225に集約され、画素202Bのコンタクト部224を通り、画素202Bの信号読出回路217で信号に変換されて、列信号線208にIR信号として出力される。
In the
列信号線208から出力される画素202R,202G,202Bから得られたIR信号を処理することで、固体撮像素子200の総画素数からなる赤外画像データ(各画素に対応する画素データにIR信号を持たせたデータ)を生成することができる。
By processing IR signals obtained from the
画素202Rのフォトダイオード214では、入射したR光の光量に応じたR信号電荷が発生する。R信号電荷に応じたR信号は、画素202Rの信号読出回路215から列信号線209に出力される。
In the
画素202Gのフォトダイオード214では、入射したG光の光量に応じたG信号電荷が発生する。G信号電荷に応じたG信号は、画素202Gの信号読出回路215から列信号線209に出力される。
In the
画素202Bのフォトダイオード214では、入射したB光の光量に応じたB信号電荷が発生する。B信号電荷に応じたB信号は、画素202Bの信号読出回路215から列信号線209に出力される。
In the
そして、このようにして出力されたR信号、G信号、B信号を用いることにより、各画素に対応する画素データにRGBの3つの色情報を持たせたRGBカラー画像データを生成することができる。 Then, by using the R signal, G signal, and B signal output in this way, RGB color image data in which the pixel data corresponding to each pixel has three color information of RGB can be generated. .
上記手法により、RGBカラー画像データと赤外画像データとを、1回の撮像によって精度良く得ることが可能となる。 By the above method, it is possible to obtain RGB color image data and infrared image data with high accuracy by one imaging.
以上のような構成の固体撮像素子200は、デジタルカメラやデジタルビデオカメラ等の撮像装置に搭載して用いることができる。以下に、固体撮像素子200を搭載した撮像装置の一例であるデジタルカメラの構成について説明する。
図3は、図1に示す固体撮像素子200を搭載した撮像装置の一例であるデジタルカメラの概略構成を示す図である。
図示するデジタルカメラの撮像系は、撮影レンズ1と、上述した構成の固体撮像素子200と、この両者の間に設けられた絞り2と、光学ローパスフィルタ4とを備える。
The solid-
FIG. 3 is a diagram illustrating a schematic configuration of a digital camera which is an example of an imaging apparatus in which the solid-
The imaging system of the digital camera shown in the figure includes a
デジタルカメラの電気制御系全体を統括制御するシステム制御部11は、フラッシュ発光部12及び受光部13を制御し、レンズ駆動部8を制御して撮影レンズ1の位置をフォーカス位置に調整したりズーム調整を行ったりし、絞り駆動部9を介し絞り2の開口量を制御して露光量調整を行う。
A system control unit 11 that performs overall control of the electrical control system of the digital camera controls the flash
又、システム制御部11は、撮像素子駆動部10を介して固体撮像素子200を駆動し、撮影レンズ1を通して撮像した被写体画像を色信号として出力させる。システム制御部11には、操作部14を通してユーザからの指示信号が入力される。
Further, the system control unit 11 drives the solid-
デジタルカメラの電気制御系は、更に、固体撮像素子200の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部6と、このアナログ信号処理部6から出力された信号をデジタル信号に変換するA/D変換回路7とを備え、これらはシステム制御部11によって制御される。
The electric control system of the digital camera further includes an analog signal processing unit 6 that performs analog signal processing such as correlated double sampling processing connected to the output of the solid-
更に、このデジタルカメラの電気制御系は、メインメモリ16と、メインメモリ16に接続されたメモリ制御部15と、補間演算やガンマ補正演算等の各種信号処理を行って記録用の画像データを生成するデジタル信号処理部17と、デジタル信号処理部17で生成された画像データをJPEG形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部18と、測光データを積算しデジタル信号処理部17が行うホワイトバランス補正のゲインを求める積算部19と、着脱自在の記録媒体21が接続される外部メモリ制御部20と、カメラ背面等に搭載された液晶表示部23が接続される表示制御部22とを備え、これらは、制御バス24及びデータバス25によって相互に接続され、システム制御部11からの指令によって制御される。
Furthermore, the electric control system of this digital camera generates image data for recording by performing various signal processing such as interpolation calculation and gamma correction calculation with the
図4は、図3に示すデジタル信号処理部17の詳細構成を示したブロック図である。
デジタル信号処理部17は、カラー画像データ生成部171と、赤外画像データ生成部172と、輪郭画像データ生成部173と、画像合成部174とを備えている。これらのブロックの機能は、デジタル信号処理部17が所定のプログラムを実行することによって実現されるものである。
FIG. 4 is a block diagram showing a detailed configuration of the digital
The digital
カラー画像データ生成部171は、固体撮像素子200の各画素のフォトダイオード214から得られたR,G,B信号から、1つの画素データにR,G,Bの色信号を持たせたカラー画像データを生成する。具体的に、カラー画像データ生成部171は、固体撮像素子200の各画素に対応する画素位置に、各画素のフォトダイオード214から得られない他の色信号を補間する同時化処理を行って、該画素位置にR,G,Bの3つの色信号を生成し、この3つの色信号を該画素位置に対応する画素データとして、固体撮像素子200の総画素数と同じ数の画素データからなるカラー画像データを生成する。例えば、画素202Rに対応する画素位置には、R信号は存在しているが、G,B信号は存在していないため、この画素位置に、周囲の画素位置にあるG,B信号を用いてG,B信号を補間して、画素202Rに対応する画素位置にR,G,Bの3つの色信号を生成する。
The color image
赤外画像データ生成部172は、固体撮像素子200の各画素の有機光電変換素子から得られたIR信号から、1つの画素データにIR信号を持たせた赤外画像データを生成する。具体的に、赤外画像データ生成部172は、固体撮像素子200の各画素に対応する画素位置に、各画素の有機光電変換素子から得られたIR信号を配置し、このIR信号を該画素位置に対応する画素データとして、固体撮像素子200の総画素数と同じ数の画素データからなる赤外画像データを生成する。
The infrared image
輪郭画像データ生成部173は、赤外画像データ生成部172で生成された赤外画像データから輪郭情報のみ抽出した輪郭画像データを生成する。輪郭情報の抽出方法については公知であるため説明を省略する。
The contour image
画像合成部174は、カラー画像データ生成部171で生成されたカラー画像データと、輪郭画像データ生成部173で生成された輪郭画像データとを合成して、記録媒体21への記録用の画像データを生成し、これを圧縮伸張処理部18に出力する。
The
図5は、被写体照度に対する光電変換素子214からの出力信号(PD信号)と有機光電変換素子からの出力信号(膜信号)の関係を示した図である。
有機光電変換素子は、光電変換素子214よりも受光面積が大きいため、そのダイナミックレンジが光電変換素子214のダイナミックレンジよりも大きくなっている。つまり、被写体に、光電変換素子214では出力信号が飽和して白とびしてしまう高照度領域があった場合でも、有機光電変換素子によってこの高照度領域を、白とびを起こすことなく撮像することが可能となっている。
FIG. 5 is a diagram showing the relationship between the output signal (PD signal) from the
Since the organic photoelectric conversion element has a larger light receiving area than the
例えば、図6(a)に示すように、雲の存在する青空を背景にした建物を撮像する場合を考える。この被写体では、雲と青空のある領域が、光電変換素子214からの出力信号が飽和してしまう照度レベルである高照度領域となっているものとする。このような被写体を本実施形態のデジタルカメラで撮影すると、カラー画像データ生成部171で生成されたカラー画像データは、図6(b)に示すように、高照度領域が白とびしたものとなってしまい、雲の部分の輪郭が消されたものとなってしまう。これに対し、赤外画像データ生成部172で生成された赤外画像データは、図6(c)に示すように、高照度領域が白とびしていないものとなる。
For example, as shown in FIG. 6A, consider the case of imaging a building against a blue sky with clouds. In this subject, it is assumed that an area with clouds and a blue sky is a high illuminance area that is an illuminance level at which the output signal from the
本実施形態のデジタルカメラでは、輪郭画像データ生成部173が、図6(c)に示した赤外画像データから輪郭情報を抽出して図6(d)に示したような輪郭画像データを生成し、画像合成部174が、図6(d)に示す輪郭画像データと図6(b)に示したカラー画像データとを合成して、図6(e)に示すような合成画像データを生成するものとしている。図6(d)に示す輪郭画像データには雲の輪郭が残っているため、これと図6(b)に示すカラー画像データとを合成することで、図6(b)の高照度領域で白とびして消えてしまっていた雲の輪郭を再現することが可能となる。
In the digital camera of this embodiment, the contour image
次に、デジタルカメラの動作を説明する。図7は、本実施形態のデジタルカメラの撮影動作を説明するためのフローチャートである。
撮影指示がなされると、撮像素子駆動部10の制御によって、光電変換素子214の電子シャッタが“開”となり、画素電極225及び共通電極227間に所定のバイアス電圧が印加されて、光電変換素子214と有機光電変換素子とで被写体の撮像が同時に開始される(ステップS1,S3)。露光期間が終了すると、光電変換素子214から得られたR,G,B信号からカラー画像データが生成される(ステップS2)。更に、有機光電変換素子から得られたIR信号からIR画像データが生成され、このIR画像データから輪郭情報を抽出した輪郭画像データが生成される(ステップS4)。尚、ステップS2とステップS4は、同時に行っても良いし、どちらを先に行っても良い。
Next, the operation of the digital camera will be described. FIG. 7 is a flowchart for explaining the photographing operation of the digital camera of this embodiment.
When a photographing instruction is given, the electronic shutter of the
ステップS2とステップS4の後、カラー画像データと輪郭画像データとが合成され(ステップS5)、被写体の輪郭を忠実に再現した記録媒体記録用のカラー画像データが出力され(ステップS6)、このカラー画像データが圧縮された後、記録媒体21に記録される。
After step S2 and step S4, the color image data and the contour image data are synthesized (step S5), and color image data for recording medium recording that faithfully reproduces the contour of the subject is output (step S6). After the image data is compressed, it is recorded on the
以上のように、本実施形態のデジタルカメラは、ダイナミックレンジの狭い光電変換素子214から得られた信号により生成したカラー画像データに、ダイナミックレンジの広い有機光電変換素子から得られた信号により生成した被写体の輪郭を表す輪郭画像データを合成して、記録媒体21への記録用画像データを生成している。このため、光電変換素子214だけでは白とびしてしまう高照度領域が被写体にあったとしても、この高照度領域にある被写体の輪郭を忠実に再現した画像データを得ることができる。
As described above, the digital camera according to the present embodiment generates the color image data generated from the signal obtained from the
又、本実施形態のデジタルカメラは、固体撮像素子200の光電変換膜がIR光を吸収してこれに応じた電荷を発生する光電変換材料で構成されている。このため、暗闇における撮影においても、その暗闇の中にある建物の輪郭を忠実に再現した画像データを得ることができる。本実施形態のデジタルカメラは、どのような被写体(明るすぎる被写体や暗すぎる被写体)であっても、その輪郭を忠実に再現した画像データを得ることができるため、監視カメラ等のように、どんな状況でも被写体の動きを検出できることが重要となるシステムに適したものとなる。
In the digital camera according to the present embodiment, the photoelectric conversion film of the solid-
又、固体撮像素子200の光電変換膜226を構成する有機光電変換材料は、シリコンに比べて赤外光の平均自由工程が短いため、シリコンで赤外撮像を行う場合に比べて、画素間クロストークの少ない、つまり高解像度の赤外画像データを得ることができる。赤外画像データが高解像度となることで、輪郭の抽出精度が向上し、輪郭の再現性が向上するため、光電変換膜226は無機よりも有機の光電変換材料で構成することが好ましい。
In addition, since the organic photoelectric conversion material constituting the
又、固体撮像素子200は、光電変換素子214と有機光電変換素子とが同一位置で積層された構造となっているため、カラー画像データ生成部171で生成されたカラー画像データと、赤外画像データ生成部172で生成された赤外画像データとを、空間的、時間的に全くズレのないものにすることができる。又、このズレのないカラー画像データ全体と、赤外画像データから生成された輪郭画像データ全体とを合成して記録用の画像データを生成しているため、記録用の画像データに基づく画像をより違和感のないものにすることができる。
Further, since the solid-
尚、本実施形態では、固体撮像素子200に含まれる多数の光電変換素子214が、R光を検出する光電変換素子と、G光を検出する光電変換素子と、B光を検出する光電変換素子との3種類の光電変換素子からなるものとして説明したが、これに限らず、多数の光電変換素子214を4種類以上の光電変換素子からなるものとしても良い。
In the present embodiment, a large number of
又、光電変換膜226を構成する光電変換材料は、IR光を吸収してこれに応じた電荷を発生する材料に限らず、光電変換膜226から得られる信号から輪郭画像データを生成することができる材料であれば何でも良い。ただし、光電変換素子214で吸収させたい光を吸収してしまう材料を採用すると、光電変換素子214に光が入射されなくなってしまうため、光電変換素子214に吸収させたい光を透過する材料であることが望ましい。
The photoelectric conversion material constituting the
又、本実施形態では、画像合成部174が、常に、カラー画像データと輪郭画像データとを合成した画像データを記録用画像データとして出力するようにしているが、デジタル信号処理部17内に、光電変換素子214からの信号が飽和レベルに達しているか否かを判定する手段を設け、この判定結果に応じて、出力する内容を変更することも可能である。この場合、画像合成部174は、光電変換素子214からの信号が飽和レベルに達していなかった場合、カラー画像データ生成371で生成されたカラー画像データをそのまま記録用画像データとして出力し、光電変換素子214からの信号が飽和レベルに達していた場合、カラー画像データ生成371で生成されたカラー画像データと輪郭画像データとを合成したものを記録用画像データとして出力すれば良い。
In this embodiment, the
(第二実施形態)
本実施形態で説明するデジタルカメラの全体構成は、図3に示したものとほぼ同じであるが、固体撮像素子200とデジタル信号処理部17の構成が若干異なっている。
本実施形態のデジタルカメラの固体撮像素子200は、光電変換膜226として、G光の一部の波長域(約480nm〜約520nm)の光(以下エメラルド(E)光という)を吸収してこれに応じた電荷を発生する光電変換材料を用いている。このような構成により、有機光電変換素子の出力信号を用いてE成分のみからなるE画像データを生成し、光電変換素子214の出力信号と有機光電変換素子の出力信号とを用いて、色再現性を向上させたRGBカラー画像データを生成することが可能となっている。
(Second embodiment)
The overall configuration of the digital camera described in the present embodiment is almost the same as that shown in FIG. 3, but the configurations of the solid-
The solid-
図8は、本発明の第二実施形態のデジタルカメラのデジタル信号処理部の詳細構成を示したブロック図である。
図8に示したデジタル信号処理部17は、カラー画像データ生成部271と、E画像データ生成部272と、輪郭画像データ生成部273と、画像合成部274と、飽和レベル判定部275とを備えている。
FIG. 8 is a block diagram showing a detailed configuration of the digital signal processing unit of the digital camera according to the second embodiment of the present invention.
The digital
カラー画像データ生成部271は、固体撮像素子200の各画素のフォトダイオード214から得られたR,G,B信号と、光電変換膜226から得られたE信号とから、1つの画素データにR,G,Bの色信号を持たせたカラー画像データを生成する。具体的に、カラー画像データ生成部271は、固体撮像素子200の各画素に対応する画素位置に、各画素のフォトダイオード214から得られない他の色信号を補間する同時化処理を行って、該画素位置にR,G,B,Eの4つの色信号を生成し、この4つの色信号のうちのR信号の視感度特性を、E信号を用いて補正する。そして、補正後のR信号と、G信号と、B信号との3つの色信号を該画素位置に対応する画素データとして、固体撮像素子200の総画素数と同じ数の画素データからなるカラー画像データを生成する。
The color image
波長480〜520nmのエメラルド色の光を検出する利点は、人間の視感度に応じて赤色を補正するためである。人間の視感度は、固体撮像素子200の光電変換素子214でR,G,Bの正の感度のみ検出して色再現を行っても、人間の見た画像を再現することはできない。そこで、負感度の一番大きい赤の負感度をエメラルド膜によって検出し、光電変換素子214で検出した赤の感度から、この負感度分を差し引く信号処理を、特許第2872759号公報記載の信号処理と同様に行うことで、人間の赤色に対する感度を再現することができ、色再現性を向上させることができる。
The advantage of detecting the light of emerald color with a wavelength of 480 to 520 nm is to correct red according to the human visual sensitivity. As for human visibility, even if only the R, G, and B positive sensitivities are detected by the
E画像データ生成部272は、固体撮像素子200の各画素の有機光電変換素子から得られたE信号から、1つの画素データにE信号を持たせたE画像データを生成する。具体的に、E画像データ生成部272は、固体撮像素子200の各画素に対応する画素位置に、各画素の有機光電変換素子から得られたE信号を配置し、このE信号を該画素位置に対応する画素データとして、固体撮像素子200の総画素数と同じ数の画素データからなるE画像データを生成する。
The E image
輪郭画像データ生成部273は、E画像データ生成部272で生成されたE画像データから輪郭情報のみ抽出した輪郭画像データを生成する。輪郭情報の抽出方法については公知であるため説明を省略する。
The contour image
飽和レベル判定部275は、光電変換素子214から得られたR,G,B信号に、飽和レベルに達しているものがあるか否かを判定し、判定結果を画像合成部274に通知する。
The saturation
画像合成部274は、光電変換素子214から得られたR,G,B信号に、飽和レベルに達しているものがなかった場合、即ち、被写体照度が、光電変換素子214からの出力が飽和しないレベルであった場合、カラー画像データ生成部271で生成されたカラー画像データを記録用画像データとしてそのまま出力する。一方、光電変換素子214から得られたR,G,B信号に、飽和レベルに達しているものがあった場合、即ち、被写体照度が、光電変換素子214からの出力が飽和するレベルであった場合、カラー画像データ生成部271で生成されたカラー画像データと、輪郭画像データ生成部273で生成された輪郭画像データとを合成して、記録用画像データを生成し、これを出力する。
When the R, G, B signals obtained from the
次に、デジタルカメラの動作を説明する。
撮影指示がなされると、撮像素子駆動部10の制御によって、光電変換素子214の電子シャッタが“開”となり、画素電極225及び共通電極227間に所定のバイアス電圧が印加されて、光電変換素子214と有機光電変換素子とで被写体の撮像が同時に開始される。露光期間が終了すると、光電変換素子214から得られたR,G,B信号と有機光電変換素子から得られたE信号とからカラー画像データが生成される。
Next, the operation of the digital camera will be described.
When a photographing instruction is given, the electronic shutter of the
次に、光電変換素子214から得られたR,G,B信号が飽和レベルに達しているか否かが判定され、飽和レベルに達していない場合、生成されたカラー画像データが記録用画像データとして出力される。一方、飽和レベルに達していた場合、有機光電変換素子から得られたE信号からE画像データが生成され、これから輪郭画像データが生成される。そして、この輪郭画像データとカラー画像データとが合成されて、記録用画像データとして出力される。この記録用画像データは圧縮された後、記録媒体21に記録される。
Next, it is determined whether or not the R, G, and B signals obtained from the
以上のように、本実施形態のデジタルカメラによれば、被写体照度が、光電変換素子214からの出力が飽和しないレベルであった場合には、R,G,B信号とE信号とを用いて、色再現性を向上させたカラー画像データを生成し、これを記録用画像データとして出力させることができ、被写体照度が、光電変換素子214からの出力が飽和するレベルであった場合には、色再現性を向上させたカラー画像データと輪郭画像データとを合成した画像データを記録用画像データとして出力させることができる。このため、被写体照度が低く、白つぶれ等がない場合は、色再現性の高いカラー画像データを得ることができ、被写体照度が高く、白つぶれがある場合は、色再現性が高く且つ被写体の輪郭を忠実に再現したカラー画像データを得ることができる。
As described above, according to the digital camera of the present embodiment, when the illuminance of the subject is at a level where the output from the
尚、図8に示した飽和レベル判定部275を省略し、画像合成部274が、常に、カラー画像データと輪郭画像データとを合成した画像データを記録用画像データとして出力するようにしても良い。
Note that the saturation
(第三実施形態)
本実施形態で説明するデジタルカメラの全体構成は、図3に示したものと同じであるが、固体撮像素子200とデジタル信号処理部17の構成が若干異なっている。
本実施形態のデジタルカメラの固体撮像素子200は、図1に示したGR画素行の画素202Gを画素202Bに変更し、図1に示したBG画素行の画素202Gを画素202Rに変更し、光電変換膜226として、G光を吸収してこれに応じた電荷を発生する光電変換材料を用いた構成となっている。このような構成により、有機光電変換素子の出力信号を用いてG成分のみからなる白黒画像データを生成し、光電変換素子214の出力信号と有機光電変換素子の出力信号とを用いて、RGBカラー画像データを生成することが可能となっている。
(Third embodiment)
The overall configuration of the digital camera described in the present embodiment is the same as that shown in FIG. 3, but the configurations of the solid-
The solid-
図9は、本発明の第三実施形態のデジタルカメラのデジタル信号処理部の詳細構成を示したブロック図である。
図9に示したデジタル信号処理部17は、カラー画像データ生成部371と、G画像データ生成部372と、輪郭画像データ生成部373と、画像合成部374と、飽和レベル判定部375とを備えている。
FIG. 9 is a block diagram showing a detailed configuration of the digital signal processing unit of the digital camera according to the third embodiment of the present invention.
The digital
カラー画像データ生成部371は、固体撮像素子200の各画素のフォトダイオード214から得られたR,B信号と、光電変換膜226から得られたG信号とから、1つの画素データにR,G,Bの色信号を持たせたカラー画像データを生成する。具体的に、カラー画像データ生成部371は、固体撮像素子200の各画素に対応する画素位置に、各画素のフォトダイオード214から得られない他の色信号を補間する同時化処理を行って、該画素位置にR,G,Bの3つの色信号を生成し、この3つの色信号を該画素位置に対応する画素データとして、固体撮像素子200の総画素数と同じ数の画素データからなるカラー画像データを生成する。例えば、画素202Rに対応する画素位置には、R信号とG信号は存在しているが、B信号は存在していないため、この画素位置に、周囲の画素位置にあるB信号を用いてB信号を補間して、画素202Rに対応する画素位置にR,G,Bの3つの色信号を生成する。
The color image
G画像データ生成部372は、固体撮像素子200の各画素の有機光電変換素子から得られたG信号から、1つの画素データにG信号を持たせたG画像データを生成する。具体的に、G画像データ生成部372は、固体撮像素子200の各画素に対応する画素位置に、各画素の有機光電変換素子から得られたG信号を配置し、このG信号を該画素位置に対応する画素データとして、固体撮像素子200の総画素数と同じ数の画素データからなるG画像データを生成する。
The G image
輪郭画像データ生成部373は、G画像データ生成部372で生成されたG画像データから輪郭情報のみ抽出した輪郭画像データを生成する。輪郭情報の抽出方法については公知であるため説明を省略する。
The contour image
飽和レベル判定部375は、光電変換素子214から得られたR,B信号に、飽和レベルに達しているものがあるか否かを判定し、判定結果を画像合成部374に通知する。
The saturation
画像合成部374は、光電変換素子214から得られたR,B信号に、飽和レベルに達しているものがなかった場合、即ち、被写体照度が、光電変換素子214からの出力が飽和しないレベルであった場合、カラー画像データ生成部371で生成されたカラー画像データを記録用画像データとしてそのまま出力する。一方、光電変換素子214から得られたR,B信号に、飽和レベルに達しているものがあった場合、即ち、被写体照度が、光電変換素子214からの出力が飽和するレベルであった場合、カラー画像データ生成部371で生成されたカラー画像データと、輪郭画像データ生成部373で生成された輪郭画像データとを合成して、記録用画像データを生成し、これを出力する。
When the R and B signals obtained from the
図10は、被写体照度に対する光電変換素子214からの出力信号(PD信号)と有機光電変換素子からの出力信号(膜信号)の関係を示した図である。
図10に示すように、PDダイナミックレンジ内では、PDが飽和していないため、輪郭画像データを合成しなくとも、輪郭を忠実に再現したカラー画像データを得ることができる。一方、PDダイナミックレンジ外では、PDが飽和してしまうため、輪郭画像データを合成することで、輪郭を忠実に再現したカラー画像データを得ることができる。
FIG. 10 is a diagram showing the relationship between the output signal (PD signal) from the
As shown in FIG. 10, since the PD is not saturated within the PD dynamic range, color image data faithfully reproducing the contour can be obtained without synthesizing the contour image data. On the other hand, since the PD is saturated outside the PD dynamic range, color image data that faithfully reproduces the contour can be obtained by synthesizing the contour image data.
次に、デジタルカメラの動作を説明する。
撮影指示がなされると、撮像素子駆動部10の制御によって、光電変換素子214の電子シャッタが“開”となり、画素電極225及び共通電極227間に所定のバイアス電圧が印加されて、光電変換素子214と有機光電変換素子とで被写体の撮像が同時に開始される。露光期間が終了すると、光電変換素子214から得られたR,B信号と有機光電変換素子から得られたG信号とからカラー画像データが生成される。
Next, the operation of the digital camera will be described.
When a photographing instruction is given, the electronic shutter of the
次に、光電変換素子214から得られたR,B信号が飽和レベルに達しているか否かが判定され、飽和レベルに達していない場合、生成されたカラー画像データが記録用画像データとして出力される。一方、飽和レベルに達していた場合、有機光電変換素子から得られたG信号からG画像データが生成され、これから輪郭画像データが生成される。そして、この輪郭画像データとカラー画像データとが合成されて、記録用画像データとして出力される。この記録用画像データは圧縮された後、記録媒体21に記録される。
Next, it is determined whether or not the R and B signals obtained from the
以上のように、本実施形態のデジタルカメラによれば、被写体照度が、光電変換素子214からの出力が飽和しないレベルであった場合には、R,B信号とG信号とを用いてカラー画像データを生成し、これを記録用画像データとして出力させることができ、被写体照度が、光電変換素子214からの出力が飽和するレベルであった場合には、カラー画像データと輪郭画像データとを合成した画像データを記録用画像データとして出力させることができる。このため、被写体照度が低く、白つぶれ等がない場合は、輪郭抽出を行うことなくカラー画像データを得ることができ、被写体照度が高く、白つぶれがある場合は、被写体の輪郭を忠実に再現したカラー画像データを得ることができる。
As described above, according to the digital camera of the present embodiment, when the illuminance of the subject is at a level where the output from the
尚、図9に示した飽和レベル判定部375を省略し、画像合成部374が、常に、カラー画像データと輪郭画像データとを合成した画像データを記録用画像データとして出力するようにしても良い。
Note that the saturation
(第四実施形態)
第一実施形態〜第三実施形態で説明したように、光電変換素子214の出力が飽和していても、輪郭を忠実に再現したカラー画像データを得られるという効果は、光電変換膜226からの出力信号が飽和してしまっていては得ることができない。そこで、本実施形態では、図3に示したデジタルカメラの撮像素子駆動部10が、光電変換膜226からの出力信号が飽和レベルに達しないように、画素電極225及び共通電極227間に印加するバイアス電圧を調整した上で、被写体の撮像を行うように固体撮像素子200を駆動するものとしている。
(Fourth embodiment)
As described in the first to third embodiments, even if the output of the
図11は、光電変換膜226に印加するバイアス電圧と光電変換膜226からの出力信号との関係を示した図である。
図11に示すように、光電変換膜226からの出力信号は、同じ被写体照度であっても、バイアス電圧が大きい程、そのレベルが大きくなっていることが分かる。言い換えると、光電変換膜226の感度は、バイアス電圧に比例していることが分かる。このため、被写体に高照度領域が存在しており、この高照度領域では出力信号が飽和レベルに達してしまっている場合(ダイナミックレンジが足りない場合)は、光電変換膜226に印加する電圧を小さくしてダイナミックレンジを広げ、逆に、高照度領域における出力信号が飽和レベルまでだいぶ余裕がある場合(ダイナミックレンジが十分である場合)は、光電変換膜226に印加する電圧を大きくし、ダイナミックレンジを狭くして感度を向上させることが有効となる。
本実施形態のデジタルカメラは、第一実施形態〜第三実施形態で説明したデジタルカメラにおいて、システム制御部11が光電変換膜226からの出力信号が飽和レベルに達しているか否かを判定し、飽和レベルに達していた場合には、光電変換膜226への印加電圧を小さくしてダイナミックレンジを広げるように撮像素子駆動部10を制御することで、光電変換膜226の出力信号が飽和しない状態で、撮影を開始できるようにしている。
FIG. 11 is a diagram showing the relationship between the bias voltage applied to the
As shown in FIG. 11, it can be seen that the level of the output signal from the
In the digital camera of the present embodiment, in the digital camera described in the first to third embodiments, the system control unit 11 determines whether or not the output signal from the
以下、本実施形態のデジタルカメラの動作を説明する。
図12は、本発明の第四実施形態デジタルカメラの撮影動作を説明するためのフローチャートである。図12において図7と同じ処理には同一符号を付してある。図13は、図12に示すステップS13の処理の詳細なフローを示した図である。
システム制御部11は、シャッタボタンが半押しされると、受光部13から得られた測光データ等に基づいて、光電変換素子214の露光条件(レンズ絞り値、シャッター速度等)を決定する(ステップS11)。次に、システム制御部11は、決定した露光条件での撮像において、光電変換膜226からの出力信号に飽和レベルに達しているものが存在しないように、撮像素子駆動部10を介して、光電変換膜226に印加する電圧を調整する(ステップS12)。
Hereinafter, the operation of the digital camera of this embodiment will be described.
FIG. 12 is a flowchart for explaining the photographing operation of the digital camera according to the fourth embodiment of the present invention. In FIG. 12, the same processes as those in FIG. FIG. 13 is a diagram showing a detailed flow of the process of step S13 shown in FIG.
When the shutter button is half-pressed, the system control unit 11 determines the exposure conditions (lens aperture value, shutter speed, etc.) of the
具体的には、まず、システム制御部11は、撮像素子駆動部10を制御して、決定した露光条件で仮撮像を行い、仮撮像によって光電変換膜226から得られた信号から、光電変換膜226からの出力信号が飽和レベルに達している領域(画素)があるか否かを判定する(ステップS121)。飽和している領域があった場合、システム制御部11は、撮像素子駆動部10を介して、光電変換膜226に印加する電圧を小さくする(ステップS122)。次に、システム制御部11は、再び仮撮像を行い、仮撮像によって光電変換膜226から得られた信号から、光電変換膜226からの出力信号が飽和レベルに達している領域(画素)があるか否かを判定する(ステップS123)。飽和している領域があった場合はステップS122に処理を移行し、飽和している領域がなかった場合は、光電変換膜226への印加電圧の調整を終了する(ステップS127)。
Specifically, first, the system control unit 11 controls the image
ステップS121の判定において、飽和している領域がなかった場合、システム制御部11は、撮像素子駆動部10を介して、光電変換膜226に印加する電圧を大きくする(ステップS124)。次に、システム制御部11は、再び仮撮像を行い、仮撮像によって光電変換膜226から得られた信号から、光電変換膜226からの出力信号が飽和レベルに達している領域(画素)があるか否かを判定する(ステップS125)。飽和している領域がなかった場合はステップS124に処理を移行し、飽和している領域があった場合は、光電変換膜226への印加電圧を、直前のステップS124の処理で設定した電圧に設定し(ステップS126)、調整を終了する(ステップS127)。
If there is no saturated region in the determination of step S121, the system control unit 11 increases the voltage applied to the
システム制御部11は、光電変換膜226に印加する電圧の調整後、シャッタボタンが全押しされて撮影指示がなされると、決定した露光条件に基づく駆動及び調整した電圧の光電変換膜226への印加を撮像素子駆動部10を介して行って、ステップS1、S3以降の動作を行う。
After adjusting the voltage to be applied to the
このように、本実施形態によれば、光電変換膜226からの出力信号が飽和しない状態で本撮像を開始することができるため、光電変換素子214の出力が飽和していても、輪郭を忠実に再現したカラー画像データを得られるという効果を確実に得ることが可能となる。
As described above, according to the present embodiment, since the main imaging can be started in a state where the output signal from the
200 固体撮像素子
202R,G,B 画素
214 光電変換素子
226 光電変換膜
17 デジタル信号処理部
171 カラー画像データ生成部
172 赤外画像データ生成部
173 輪郭画像データ生成部
174 画像合成部
200 Solid-
Claims (12)
前記多数の画素の各々は、半導体基板上方に形成された特定の波長域の光を吸収してこれに応じた電荷を発生する光電変換膜と、前記光電変換膜下方の前記半導体基板内に形成された光電変換素子とを含み、
前記多数の画素に含まれる前記光電変換素子は、可視光のうちのそれぞれ異なる波長域の光を検出するための少なくとも3種類の光電変換素子からなり、
前記光電変換膜が、前記少なくとも3種類の光電変換素子で検出される波長域とは異なる波長域の光を吸収してこれに応じた電荷を発生するものであり、
前記多数の画素の前記光電変換膜から得られた第一の撮像信号から、各画素に対応する画素データに前記光電変換膜から得られる色情報を持たせた単色画像データを生成する単色画像データ生成手段と、
前記多数の画素の前記光電変換膜から得られた第一の撮像信号と前記多数の画素の前記光電変換素子から得られた第二の撮像信号のうち、少なくとも前記第二の撮像信号を用いて、各画素に対応する画素データに3つの色情報を持たせたカラー画像データを生成するカラー画像データ生成手段と、
前記単色画像データと前記カラー画像データとを用いて記録用画像データを生成する記録用画像データ生成手段とを備える撮像装置。 An imaging device including a solid-state imaging device having a large number of pixels,
Each of the plurality of pixels is formed in the semiconductor substrate below the photoelectric conversion film, which absorbs light in a specific wavelength region formed above the semiconductor substrate and generates a charge corresponding thereto. A photoelectric conversion element,
The photoelectric conversion elements included in the multiple pixels are composed of at least three types of photoelectric conversion elements for detecting light in different wavelength regions of visible light,
The photoelectric conversion film absorbs light in a wavelength range different from the wavelength range detected by the at least three types of photoelectric conversion elements, and generates a charge corresponding thereto.
Monochromatic image data for generating monochromatic image data in which color information obtained from the photoelectric conversion film is included in pixel data corresponding to each pixel from the first imaging signal obtained from the photoelectric conversion film of the multiple pixels Generating means;
Of the first imaging signal obtained from the photoelectric conversion film of the multiple pixels and the second imaging signal obtained from the photoelectric conversion element of the multiple pixels, at least the second imaging signal is used. Color image data generating means for generating color image data in which three pieces of color information are given to pixel data corresponding to each pixel;
An imaging apparatus comprising: recording image data generation means for generating recording image data using the monochrome image data and the color image data.
前記複数種類の光電変換素子が、可視光のうちのそれぞれ異なる波長域の光を検出するための3種類の光電変換素子であり、
前記光電変換膜が、赤外の波長域の光を吸収してこれに応じた電荷を発生するものであり、
前記カラー画像データ生成手段が、前記第二の撮像信号を用いて前記カラー画像データを生成するものである撮像装置。 The imaging apparatus according to claim 1,
The plurality of types of photoelectric conversion elements are three types of photoelectric conversion elements for detecting light in different wavelength regions of visible light,
The photoelectric conversion film absorbs light in the infrared wavelength region and generates a charge corresponding to this,
An image pickup apparatus, wherein the color image data generation means generates the color image data using the second image pickup signal.
前記複数種類の光電変換素子が、可視光のうちのそれぞれ異なる波長域の光を検出するための3種類の光電変換素子であり、
前記光電変換膜が、可視光のうちの前記3種類の光電変換素子で検出される波長域とは異なる波長域の光を吸収してこれに応じた電荷を発生するものであり、
前記カラー画像データ生成手段が、前記第一の撮像信号と前記第二の撮像信号とを用いて前記カラー画像データを生成するものである撮像装置。 The imaging apparatus according to claim 1,
The plurality of types of photoelectric conversion elements are three types of photoelectric conversion elements for detecting light in different wavelength regions of visible light,
The photoelectric conversion film absorbs light in a wavelength range different from the wavelength range detected by the three types of photoelectric conversion elements of visible light, and generates a charge corresponding thereto.
An image pickup apparatus, wherein the color image data generation means generates the color image data using the first image pickup signal and the second image pickup signal.
前記記録用画像データ生成手段は、
前記単色画像データから輪郭情報を抽出した輪郭画像データを生成する輪郭画像データ生成手段と、
前記カラー画像データと前記輪郭画像データとを合成した画像データを前記記録用画像データとして出力する画像合成手段とを含む撮像装置。 The imaging apparatus according to any one of claims 1 to 3,
The recording image data generation means includes:
Contour image data generating means for generating contour image data obtained by extracting contour information from the monochromatic image data;
An image pickup apparatus comprising: image combining means for outputting image data obtained by combining the color image data and the contour image data as the recording image data.
前記画像合成手段は、被写体照度が前記光電変換素子からの出力が飽和しないレベルである場合、前記カラー画像データを前記記録用画像データとしてそのまま出力し、被写体照度が前記光電変換素子からの出力が飽和するレベルである場合、前記カラー画像データと前記輪郭画像データを合成した画像データを前記記録用画像データとして出力する撮像装置。 The imaging apparatus according to claim 4,
When the subject illuminance is at a level at which the output from the photoelectric conversion element is not saturated, the image composition means outputs the color image data as the recording image data as it is, and the subject illuminance is output from the photoelectric conversion element. An image pickup apparatus that outputs, as the recording image data, image data obtained by combining the color image data and the contour image data when the level is saturated.
前記多数の画素の各々は、半導体基板上方に形成された特定の波長域の光を吸収してこれに応じた電荷を発生する光電変換膜と、前記光電変換膜下方の前記半導体基板内に形成された光電変換素子とを含み、
前記多数の画素に含まれる前記光電変換素子は、可視光のうちのそれぞれ異なる波長域の光を検出するための2種類の光電変換素子からなり、
前記光電変換膜が、可視光のうちの前記2種類の光電変換素子で検出される波長域とは異なる波長域の光を吸収してこれに応じた電荷を発生するものであり、
前記多数の画素の前記光電変換膜から得られた第一の撮像信号から、各画素に対応する画素データに前記光電変換膜から得られる色情報を持たせた単色画像データを生成する単色画像データ生成手段と、
前記多数の画素の前記光電変換膜から得られた第一の撮像信号と前記多数の画素の前記光電変換素子から得られた第二の撮像信号とを用いて、各画素に対応する画素データに3つの色情報を持たせたカラー画像データを生成するカラー画像データ生成手段と、
前記単色画像データと前記カラー画像データとを用いて記録用画像データを生成する記録用画像データ生成手段とを備える撮像装置。 An imaging device including a solid-state imaging device having a large number of pixels,
Each of the plurality of pixels is formed in the semiconductor substrate below the photoelectric conversion film, which absorbs light in a specific wavelength region formed above the semiconductor substrate and generates a charge corresponding thereto. A photoelectric conversion element,
The photoelectric conversion elements included in the multiple pixels are composed of two types of photoelectric conversion elements for detecting light in different wavelength regions of visible light,
The photoelectric conversion film absorbs light in a wavelength range different from the wavelength range detected by the two types of photoelectric conversion elements of visible light, and generates a charge corresponding thereto,
Monochromatic image data for generating monochromatic image data in which color information obtained from the photoelectric conversion film is included in pixel data corresponding to each pixel from the first imaging signal obtained from the photoelectric conversion film of the multiple pixels Generating means;
Using the first imaging signal obtained from the photoelectric conversion film of the large number of pixels and the second imaging signal obtained from the photoelectric conversion element of the large number of pixels, pixel data corresponding to each pixel is obtained. Color image data generating means for generating color image data having three color information;
An imaging apparatus comprising: recording image data generation means for generating recording image data using the monochrome image data and the color image data.
前記記録用画像データ生成手段は、
前記単色画像データから輪郭情報を抽出した輪郭画像データを生成する輪郭画像データ生成手段と、
前記カラー画像データと前記輪郭画像データとを合成した画像データを前記記録用画像データとして出力する画像合成手段とを含む撮像装置。 The imaging apparatus according to claim 6,
The recording image data generation means includes:
Contour image data generating means for generating contour image data obtained by extracting contour information from the monochromatic image data;
An image pickup apparatus comprising: image combining means for outputting image data obtained by combining the color image data and the contour image data as the recording image data.
前記画像合成手段は、被写体照度が前記光電変換素子からの出力が飽和しないレベルである場合、前記カラー画像データを前記記録用画像データとしてそのまま出力し、
被写体照度が前記光電変換素子からの出力が飽和するレベルである場合、前記カラー画像データと前記輪郭画像データを合成した画像データを前記記録用画像データとして出力する撮像装置。 The imaging apparatus according to claim 7,
When the subject illuminance is at a level at which the output from the photoelectric conversion element is not saturated, the image composition means outputs the color image data as the recording image data as it is,
An imaging apparatus that outputs, as the recording image data, image data obtained by combining the color image data and the contour image data when the illuminance of the subject is at a level at which the output from the photoelectric conversion element is saturated.
前記光電変換素子の露光条件を決定する露光条件決定手段と、
前記露光条件決定手段によって決定された露光条件での撮像において、前記多数の画素に含まれる前記光電変換膜からの信号に飽和レベルを超えるものが存在しないように、前記光電変換膜に印加する電圧を調整する印加電圧調整手段とを備え、
前記印加電圧調整手段で調整された電圧を前記光電変換膜に印加した状態で、前記露光条件に基づいた撮像を行う撮像装置。 The imaging apparatus according to any one of claims 1 to 8,
Exposure condition determining means for determining an exposure condition of the photoelectric conversion element;
In imaging under the exposure condition determined by the exposure condition determining means, the voltage applied to the photoelectric conversion film so that there is no signal exceeding the saturation level in the signals from the photoelectric conversion film included in the multiple pixels And an applied voltage adjusting means for adjusting
An imaging apparatus that performs imaging based on the exposure condition in a state where a voltage adjusted by the applied voltage adjusting unit is applied to the photoelectric conversion film.
前記多数の画素の各々は、半導体基板上方に形成された特定の波長域の光を吸収してこれに応じた電荷を発生する光電変換膜と、前記光電変換膜下方の前記半導体基板内に形成された光電変換素子とを含み、
前記多数の画素に含まれる前記光電変換素子は、可視光のうちのそれぞれ異なる波長域の光を検出するための少なくとも3種類の光電変換素子からなり、
前記光電変換膜が、前記少なくとも3種類の光電変換素子で検出される波長域とは異なる波長域の光を吸収してこれに応じた電荷を発生するものであり、
前記多数の画素の前記光電変換膜から得られた第一の撮像信号から、各画素に対応する画素データに前記光電変換膜から得られる色情報を持たせた単色画像データを生成する単色画像データ生成ステップと、
前記多数の画素の前記光電変換膜から得られた第一の撮像信号と前記多数の画素の前記光電変換素子から得られた第二の撮像信号のうち、少なくとも前記第二の撮像信号を用いて、各画素に対応する画素データに3つの色情報を持たせたカラー画像データを生成するカラー画像データ生成ステップと、
前記単色画像データと前記カラー画像データとを用いて記録用画像データを生成する記録用画像データ生成ステップとを備える信号処理方法。 A signal processing method for processing a signal obtained from a solid-state imaging device having a large number of pixels,
Each of the plurality of pixels is formed in the semiconductor substrate below the photoelectric conversion film, which absorbs light in a specific wavelength region formed above the semiconductor substrate and generates a charge corresponding thereto. A photoelectric conversion element,
The photoelectric conversion elements included in the multiple pixels are composed of at least three types of photoelectric conversion elements for detecting light in different wavelength regions of visible light,
The photoelectric conversion film absorbs light in a wavelength range different from the wavelength range detected by the at least three types of photoelectric conversion elements, and generates a charge corresponding thereto.
Monochromatic image data for generating monochromatic image data in which color information obtained from the photoelectric conversion film is included in pixel data corresponding to each pixel from the first imaging signal obtained from the photoelectric conversion film of the multiple pixels Generation step;
Of the first imaging signal obtained from the photoelectric conversion film of the multiple pixels and the second imaging signal obtained from the photoelectric conversion element of the multiple pixels, at least the second imaging signal is used. A color image data generation step for generating color image data in which three pieces of color information are given to pixel data corresponding to each pixel;
A signal processing method comprising: a recording image data generation step of generating recording image data using the monochrome image data and the color image data.
前記多数の画素の各々は、半導体基板上方に形成された特定の波長域の光を吸収してこれに応じた電荷を発生する光電変換膜と、前記光電変換膜下方の前記半導体基板内に形成された光電変換素子とを含み、
前記多数の画素に含まれる前記光電変換素子は、可視光のうちのそれぞれ異なる波長域の光を検出するための2種類の光電変換素子からなり、
前記光電変換膜が、可視光のうちの前記2種類の光電変換素子で検出される波長域とは異なる波長域の光を吸収してこれに応じた電荷を発生するものであり、
前記多数の画素の前記光電変換膜から得られた第一の撮像信号から、各画素に対応する画素データに前記光電変換膜から得られる色情報を持たせた単色画像データを生成する単色画像データ生成ステップと、
前記多数の画素の前記光電変換膜から得られた第一の撮像信号と前記多数の画素の前記光電変換素子から得られた第二の撮像信号とを用いて、各画素に対応する画素データに3つの色情報を持たせたカラー画像データを生成するカラー画像データ生成ステップと、
前記単色画像データと前記カラー画像データとを用いて記録用画像データを生成する記録用画像データ生成ステップとを備える信号処理方法。 A signal processing method for processing a signal obtained from a solid-state imaging device having a large number of pixels,
Each of the plurality of pixels is formed in the semiconductor substrate below the photoelectric conversion film, which absorbs light in a specific wavelength region formed above the semiconductor substrate and generates a charge corresponding thereto. A photoelectric conversion element,
The photoelectric conversion elements included in the multiple pixels are composed of two types of photoelectric conversion elements for detecting light in different wavelength regions of visible light,
The photoelectric conversion film absorbs light in a wavelength range different from the wavelength range detected by the two types of photoelectric conversion elements of visible light, and generates a charge corresponding thereto,
Monochromatic image data for generating monochromatic image data in which color information obtained from the photoelectric conversion film is included in pixel data corresponding to each pixel from the first imaging signal obtained from the photoelectric conversion film of the multiple pixels Generation step;
Using the first imaging signal obtained from the photoelectric conversion film of the large number of pixels and the second imaging signal obtained from the photoelectric conversion element of the large number of pixels, pixel data corresponding to each pixel is obtained. A color image data generation step for generating color image data having three pieces of color information;
A signal processing method comprising: a recording image data generation step of generating recording image data using the monochrome image data and the color image data.
前記記録用画像データ生成ステップは、前記単色画像データから輪郭情報を抽出した輪郭画像データを生成する輪郭画像データ生成ステップと、前記カラー画像データと前記輪郭画像データとを合成して前記記録用画像データを出力する画像合成ステップとを含む信号処理方法。 The signal processing method according to claim 10 or 11,
The recording image data generation step includes a contour image data generation step of generating contour image data obtained by extracting contour information from the monochrome image data, and the recording image data by combining the color image data and the contour image data. A signal processing method including an image synthesis step of outputting data.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007211507A JP2009049524A (en) | 2007-08-14 | 2007-08-14 | Imaging apparatus and method for processing signal |
US12/190,198 US8169518B2 (en) | 2007-08-14 | 2008-08-12 | Image pickup apparatus and signal processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007211507A JP2009049524A (en) | 2007-08-14 | 2007-08-14 | Imaging apparatus and method for processing signal |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009049524A true JP2009049524A (en) | 2009-03-05 |
Family
ID=40501354
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007211507A Pending JP2009049524A (en) | 2007-08-14 | 2007-08-14 | Imaging apparatus and method for processing signal |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009049524A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016117381A1 (en) * | 2015-01-22 | 2016-07-28 | ソニー株式会社 | Solid-state image-capturing device and electronic device |
JP2017038011A (en) * | 2015-08-12 | 2017-02-16 | 株式会社ソニー・インタラクティブエンタテインメント | Imaging element, image sensor, imaging apparatus, and information processing device |
WO2017110515A1 (en) * | 2015-12-24 | 2017-06-29 | ソニー株式会社 | Image capture device and electronic equipment |
-
2007
- 2007-08-14 JP JP2007211507A patent/JP2009049524A/en active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016117381A1 (en) * | 2015-01-22 | 2016-07-28 | ソニー株式会社 | Solid-state image-capturing device and electronic device |
US10115752B2 (en) | 2015-01-22 | 2018-10-30 | Sony Semiconductor Solutions Corporation | Solid-state imaging device and electronic apparatus |
US10535687B2 (en) | 2015-01-22 | 2020-01-14 | Sony Semiconductor Solutions Corporation | Solid-state imaging device and electronic apparatus |
JP2017038011A (en) * | 2015-08-12 | 2017-02-16 | 株式会社ソニー・インタラクティブエンタテインメント | Imaging element, image sensor, imaging apparatus, and information processing device |
US10515999B2 (en) | 2015-08-12 | 2019-12-24 | Sony Interactive Entertainment Inc. | Imaging element, image sensor, imaging apparatus, and information processing apparatus |
WO2017110515A1 (en) * | 2015-12-24 | 2017-06-29 | ソニー株式会社 | Image capture device and electronic equipment |
JPWO2017110515A1 (en) * | 2015-12-24 | 2018-10-11 | ソニー株式会社 | Imaging devices, electronic devices |
US10546898B2 (en) | 2015-12-24 | 2020-01-28 | Sony Corporation | Imaging apparatus and electronic device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230132892A1 (en) | Digital cameras with direct luminance and chrominance detection | |
US8169518B2 (en) | Image pickup apparatus and signal processing method | |
JP4421793B2 (en) | Digital camera | |
JP2021093767A (en) | Image pickup device | |
CN104081245B (en) | Solid camera head and electronic camera | |
JP5537905B2 (en) | Imaging device and imaging apparatus | |
JP5045012B2 (en) | Solid-state imaging device and imaging apparatus using the same | |
JP2009049525A (en) | Imaging apparatus and method for processing signal | |
KR100827238B1 (en) | Apparatus and method for supporting high quality image | |
TW201143076A (en) | Solid-state imaging device and electronic equipment | |
JP2004222154A (en) | Image pickup device | |
JP5995416B2 (en) | Imaging device and imaging apparatus | |
WO2018198766A1 (en) | Solid-state image capturing device and electronic instrument | |
KR20090023186A (en) | Imaging apparatus and method for driving solid-state imaging device | |
JP2006157600A (en) | Digital camera | |
TWI469635B (en) | Solid-state imaging device and electronic apparatus | |
JP4579043B2 (en) | Solid-state imaging device and imaging apparatus | |
JP2007135200A (en) | Imaging method, imaging device, and driver | |
JP2006014117A (en) | Physical information acquisition method, physical information acquisition apparatus and semiconductor device for detecting physical quantity distribution | |
JP2009004605A (en) | Image sensor and imaging device | |
JP2006094263A (en) | Imaging apparatus | |
JP2004335803A (en) | Mos type solid state imaging device and its driving method | |
JP2009049524A (en) | Imaging apparatus and method for processing signal | |
JP6733159B2 (en) | Imaging device and imaging device | |
JP4759396B2 (en) | Solid-state image sensor |