JP2012147334A - Crosstalk amount measurement device, color correction device using the same, and crosstalk amount measurement method - Google Patents
Crosstalk amount measurement device, color correction device using the same, and crosstalk amount measurement method Download PDFInfo
- Publication number
- JP2012147334A JP2012147334A JP2011005226A JP2011005226A JP2012147334A JP 2012147334 A JP2012147334 A JP 2012147334A JP 2011005226 A JP2011005226 A JP 2011005226A JP 2011005226 A JP2011005226 A JP 2011005226A JP 2012147334 A JP2012147334 A JP 2012147334A
- Authority
- JP
- Japan
- Prior art keywords
- mtf
- crosstalk
- crosstalk amount
- amount
- color correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、固体撮像素子のクロストーク量を測定するクロストーク量測定装置、これを用いた色補正装置およびクロストーク量測定方法に関するものであり
、特に 、固体撮像素子の隣接画素へのクロストーク量の測定を行う装置に関するものである。
The present invention relates to a crosstalk amount measuring apparatus that measures a crosstalk amount of a solid-state image sensor, a color correction device using the same, and a crosstalk amount measuring method, and more particularly to a crosstalk to adjacent pixels of a solid-state image sensor. The present invention relates to an apparatus for measuring quantities.
近年、表示画像の高画質化に伴い、CMOSやCCD等の固体撮像素子におけるクロストークの低減が強く要望されている。 In recent years, there has been a strong demand for reduction in crosstalk in a solid-state imaging device such as a CMOS or a CCD with an increase in display image quality.
このような固体撮像素子、特にCMOSにおいては、信号が隣接画素へ漏れこむクロストークが生じ易い。主な原因としては、隣接する画素上の位置を通過した入射光が光学的に混入する場合と、シリコン基板内部で発生した光電子が隣接する画素に拡散して電気的に混入する場合がある。 In such a solid-state imaging device, particularly a CMOS, crosstalk in which a signal leaks to an adjacent pixel is likely to occur. The main causes are that incident light that has passed through a position on an adjacent pixel is optically mixed, and that photoelectrons generated inside the silicon substrate are diffused into an adjacent pixel and electrically mixed.
クロストークが生じると、固体撮像素子の各画素の上に色フィルタを搭載した単板カラー固体撮像素子では、隣接する画素間で色フィルタの色が互いに異なるため、隣接する相異なる色用の画素間で互いに色が混ざってしまう混色現象が生じ色再現性を劣化させてしまう。 When crosstalk occurs, in a single-plate color solid-state image sensor in which a color filter is mounted on each pixel of the solid-state image sensor, the colors of the color filters differ between adjacent pixels, so adjacent pixels for different colors A color mixing phenomenon in which colors are mixed with each other occurs and color reproducibility is deteriorated.
上記光電変換が行なわれるシリコン単結晶では、照射された光は結晶の中で波長毎に異なる深さで吸収される(表1(光の色と吸収の深さ「CCD/CMOSイメージ・センサの基礎と応用」より)を参照)。したがって、例えば空乏層厚が2μmの場合、波長の短い青、緑の光は空乏層内で光電変換され光電子が電位勾配によりドリフトでN領域に集まるが、波長の長い赤の光は空乏層の外で光電変換され光電子が拡散により隣接する光ダイオードに混入する可能性がある。 In the silicon single crystal to which the photoelectric conversion is performed, the irradiated light is absorbed in the crystal at a different depth for each wavelength (Table 1 (light color and absorption depth “CCD / CMOS image sensor See "Basics and Applications"). Therefore, for example, when the thickness of the depletion layer is 2 μm, blue and green light having a short wavelength is photoelectrically converted in the depletion layer, and photoelectrons are collected in the N region by drift due to a potential gradient. There is a possibility that photoelectric conversion is performed outside and photoelectrons are mixed into adjacent photodiodes due to diffusion.
Furumiyaらのシミュレーション例(下記非特許文献1に記載)では、波長の短い紫の光(400nm)は隣接画素にほとんど漏れてこないが、波長の長い赤の光(700nm)は隣接画素に漏れてくることが報告されている。
またMutohのシミュレーション例(下記非特許文献2に記載)でも、隣接画素へのクロストーク量が入射光の波長に応じて変化することが報告されている。
In the simulation example of Furumiya et al. (Described in Non-Patent
Also in the Mutoh simulation example (described in
しかしながら、下記非特許文献1、2には、隣接画素へのクロストーク量を、例えばMTF等を用いて簡易に測定することについての記載や示唆は一切なされていない。
一方、下記特許文献3には、スポット光測定装置と画素サイズの大きな撮像素子を用いて行ったクロストーク量の測定結果がMTFとの関係において記載されている。
However,
On the other hand, in Patent Document 3 below, a measurement result of a crosstalk amount performed using a spot light measurement device and an image sensor having a large pixel size is described in relation to MTF.
しかしながら、上記非特許文献3には、スポット光測定装置と画素サイズの大きな撮像素子を用いて実際に測定した結果しか記載されていない。また、使用されている、装置自体も特殊で非常に高価である。さらに、一般にスポット光測定装置では画素サイズが小さい撮像素子の測定は光のビームスポットを小さくすることに困難を伴うとともに、被測定物である撮像素子を移動させる移動ステージの制御を精度よく行うことが容易ではない。 However, Non-Patent Document 3 only describes the result of actual measurement using a spot light measurement device and an image sensor having a large pixel size. Also, the device itself used is special and very expensive. Furthermore, in general, in a spot light measurement device, measurement of an image sensor with a small pixel size is accompanied by difficulty in reducing the light beam spot, and the moving stage that moves the image sensor as the object to be measured must be accurately controlled. Is not easy.
なお、上記非特許文献3においては、500nm〜800nmの光について水平、垂直方向のMTF特性を測定し、散乱により電荷が隣接画素に漏れることによって空間ローパスフィルタ(LPF)効果をもたらし、長波長ほどMTFが低下すること、およびナイキスト周波数におけるMTF値とクロストーク量の関係を測定し、ほぼ比例する関係があると報告している。しかしながら、この文献には、実験による測定結果が示されているだけであり、このような現象をどのように解析し、応用していくかということについては、何ら示唆されていない。 In Non-Patent Document 3, horizontal and vertical MTF characteristics are measured with respect to light of 500 nm to 800 nm, and a spatial low pass filter (LPF) effect is brought about by leakage of charges to adjacent pixels due to scattering. It has been reported that the MTF decreases and the relationship between the MTF value at the Nyquist frequency and the amount of crosstalk is approximately proportional. However, this document only shows experimental measurement results, and no suggestion is made as to how to analyze and apply such a phenomenon.
本発明は、このような事情に鑑みなされたものであり、まず、固体撮像素子の隣接画素へのクロストーク量を、簡易かつ安価に測定することができるクロストーク量測定装置を提供すること、およびこれに加えて、クロストーク量測定装置を用いた色補正装置およびクロストーク量測定方法を提供することを目的とするものである。 The present invention has been made in view of such circumstances, and first, to provide a crosstalk amount measuring apparatus capable of easily and inexpensively measuring the amount of crosstalk to adjacent pixels of a solid-state imaging device, Another object of the present invention is to provide a color correction device and a crosstalk amount measuring method using the crosstalk amount measuring device.
本発明のクロストーク量測定装置は、
被写体を撮像する固体撮像素子のクロストーク量を測定するクロストーク量測定装置において、
該固体撮像素子からの出力に基づき、MTF特性を測定するMTF測定部と、
予めMTF値とクロストーク量の関係が記憶され、前記MTF測定部からのMTF値に基づき前記クロストーク量を算出するクロストーク量算出部と、
を備えたことを特徴とするものである。
The crosstalk amount measuring apparatus of the present invention is
In a crosstalk amount measuring apparatus that measures the amount of crosstalk of a solid-state imaging device that images a subject,
An MTF measurement unit that measures MTF characteristics based on the output from the solid-state imaging device;
A crosstalk amount calculation unit that stores a relationship between an MTF value and a crosstalk amount in advance and calculates the crosstalk amount based on an MTF value from the MTF measurement unit;
It is characterized by comprising.
また、前記クロストーク量算出部に記憶される、前記MTF値と前記クロストーク量の関係が、被写体としてのMTF測定用チャートを用いて取得されたデータに基づいて求められることが好ましい。 Moreover, it is preferable that the relationship between the MTF value and the crosstalk amount stored in the crosstalk amount calculation unit is obtained based on data acquired using an MTF measurement chart as a subject.
また、前記固体撮像素子は、少なくとも可視光領域の全域に感度を有するイメージセンサであることが好ましい。 The solid-state imaging device is preferably an image sensor having sensitivity at least over the entire visible light region.
また、本発明の色補正装置は、上記クロストーク量測定装置と、クロストーク量および当該クロストーク量を補償し得る色補正値との関連付けが予め記憶され、入力された被写体の像情報を担持した画像データに対し、該クロストーク量測定装置からの当該画像データのクロストーク量に基づく混色を補正し得る色補正値を算出する色補正値算出部と、当該クロストーク量に係る情報の該色補正値算出部への入力に応じてその色補正値算出部から出力された色補正値に基づき、前記固体撮像素子により受光された被写体像の色補正を行う色補正部と、を備えたことを特徴とするものである。 Further, the color correction device of the present invention stores the association between the crosstalk amount measuring device, the crosstalk amount and a color correction value capable of compensating for the crosstalk amount, and carries input image information of the subject. A color correction value calculation unit that calculates a color correction value that can correct a color mixture based on the crosstalk amount of the image data from the crosstalk amount measurement apparatus from the crosstalk amount measurement device, and the information on the crosstalk amount A color correction unit that performs color correction of a subject image received by the solid-state imaging device based on a color correction value output from the color correction value calculation unit in response to an input to the color correction value calculation unit. It is characterized by this.
また、本発明のクロストーク量測定方法は、被写体を撮像する固体撮像素子のクロストーク量を測定するものにおいて、
該測定された被写体の像のMTF値から、予めメモリに記憶された、MTF値とクロストーク量の関係に基づいて、前記クロストーク量が求められるものであり、
前記MTF値とクロストーク量の関係は、前記被写体を撮像して得られたMTF特性から、レンズ形状に依存するMTF特性、および画素開口におけるアパーチャー効果によるMTF特性を差し引くことにより得ることを特徴とするものである。
Further, the crosstalk amount measuring method of the present invention is a method for measuring the crosstalk amount of a solid-state imaging device that images a subject.
The crosstalk amount is obtained from the measured MTF value of the image of the subject based on the relationship between the MTF value and the crosstalk amount stored in the memory in advance.
The relationship between the MTF value and the amount of crosstalk is obtained by subtracting the MTF characteristic depending on the lens shape and the MTF characteristic due to the aperture effect in the pixel aperture from the MTF characteristic obtained by imaging the subject. To do.
なお、本願明細書において、「MTF」との用語は、撮像レンズと固体撮像装置(イメージセンサ)の各部材を組み合わせたシステムについて評価する場合と、個々の部材について評価する場合、のいずれについても用いるものとする。 In the specification of the present application, the term “MTF” is used for both a case of evaluating a system in which each member of an imaging lens and a solid-state imaging device (image sensor) is combined, and a case of evaluating each member. Shall be used.
本発明のクロストーク量測定装置によれば、MTF測定部において、固体撮像素子からの出力に基づきMTF特性を測定し、この後、クロストーク量算出部において、測定されたMTF値から前記クロストーク量を算出しており、固体撮像装置のクロストーク量自体を測定することなく、測定されたMTF値からクロストーク量を推定して求めるようにしていることから、固体撮像素子のクロストーク量を簡易かつ安価な装置により算出することができる。 According to the crosstalk amount measuring apparatus of the present invention, the MTF measurement unit measures the MTF characteristics based on the output from the solid-state imaging device, and then the crosstalk amount calculation unit calculates the crosstalk from the measured MTF value. The amount of crosstalk of the solid-state imaging device is calculated by estimating the amount of crosstalk from the measured MTF value without measuring the amount of crosstalk itself of the solid-state imaging device. It can be calculated by a simple and inexpensive device.
また、本発明の色補正装置によれば、クロストーク量測定装置からの出力値を色補正値算出部に入力した際に、その色補正値算出部から出力される色補正値に基づき、前記固体撮像素子により受光された被写体像の色補正を行うようにしているから、隣接する画素間でクロストークがおきて混色が生じても、簡易かつ安価な被写体像の色補正を行うことができる。 Further, according to the color correction device of the present invention, when the output value from the crosstalk amount measurement device is input to the color correction value calculation unit, based on the color correction value output from the color correction value calculation unit, Since color correction of the subject image received by the solid-state imaging device is performed, even if crosstalk occurs between adjacent pixels and color mixing occurs, simple and inexpensive color correction of the subject image can be performed. .
さらに、本発明のクロストーク量測定方法によれば、測定された被写体のMTF値から、予めメモリに記憶された、MTF値とクロストーク量の関係に基づいて、前記クロストーク量を求めるようにしており、また、前記MTF値とクロストーク量の関係は、前記被写体を撮像して得られたMTF特性から、レンズ形状に依存するMTF特性、および画素開口におけるアパーチャー効果によるMTF特性を差し引くことにより得ているから、測定処理を簡易かつ安価に行うことができる。 Furthermore, according to the crosstalk amount measuring method of the present invention, the crosstalk amount is obtained from the measured MTF value of the subject based on the relationship between the MTF value and the crosstalk amount stored in advance in the memory. Further, the relationship between the MTF value and the crosstalk amount is obtained by subtracting the MTF characteristic depending on the lens shape and the MTF characteristic due to the aperture effect in the pixel aperture from the MTF characteristic obtained by imaging the subject. Therefore, the measurement process can be performed easily and inexpensively.
以下、本発明の実施形態に係るクロストーク量測定装置およびクロストーク量測定方法を図面を参照しつつ説明する。 Hereinafter, a crosstalk amount measuring apparatus and a crosstalk amount measuring method according to embodiments of the present invention will be described with reference to the drawings.
図1は、カメラなどの撮像装置に搭載された、本実施形態に係るクロストーク量測定装置10を示す概略図であり、被写体31からの光束を収束させる、撮像レンズ12、この撮像レンズ12により収束された光束を受光するCMOS(またはCCD)等の単板型イメージセンサ13、この単板型イメージセンサ13からの信号出力のプロセス処理を行うためのプロセス回路14、このプロセス回路14からの出力に基づき、MTF特性を測定するMTF測定部15と、予めMTF値とクロストーク量の関係が記憶され、前記MTF測定部15において測定されたMTF値から前記クロストーク量を算出するクロストーク量算出部16を備えている。なお、MTF測定部15とクロストーク量算出部16とは、通常、パソコン内におけるCPU等のハードとROM等に格納されたソフトの組み合わせによって構成される。
FIG. 1 is a schematic diagram showing a crosstalk
ところで、クロストーク量算出部16に予め記憶されるMTF値とクロストーク量の関係に係る情報は、装置製造時に以下の如くして設定される。
By the way, information related to the relationship between the MTF value and the crosstalk amount stored in advance in the crosstalk
すなわち、まず、テスト用のチャート(インメガチャート(またはスランテッドエッジチャート)等のMTF測定用に用いられるチャート)11の像を、撮像レンズ12によってイメージセンサ13の受光面上に結像する。イメージセンサ13において光電変換され、電気信号とされたチャート11の画像信号は、プロセス回路14においてプロセス処理がなされる。次に、MTF測定部15において、プロセス処理がなされたチャート11の画像信号についてMTF値が算出される。算出されたMTF値はクロストーク量算出部16に入力されるが、このクロストーク量算出部16では、測定されたMTF値とクロストーク量との関係がテーブル(または計算式)によって関連付けられた状態で記憶されることになる。なお、このテーブル(または計算式)作成のためのクロストーク量の測定は、例えば特開2006−121164号公報における、図8等に係る記載等に類似した手法を採用することができる。
That is, first, an image of a test chart (a chart used for MTF measurement such as an Inmega chart (or a slanted edge chart)) 11 is formed on the light receiving surface of the
このようにして上記関係が設定された後、実際の測定においては、被検体31の像が、撮像レンズ12によってイメージセンサ13の受光面上に結像する。イメージセンサ13において光電変換され、電気信号とされた被写体31の画像信号は、プロセス回路14を介して、MTF測定部15に入力され、MTF値が算出される。算出されたMTF値はクロストーク量算出部16に入力され、上記の如くして設定されたテーブル(または計算式)によって関連付けられたMTF値とクロストーク量との関係に基づき、入力されたMTF値から、クロストーク量が算出される。
After the above relationship is set in this way, in actual measurement, an image of the subject 31 is formed on the light receiving surface of the
なお、装置製造時に用いられる上記チャート11としては、前述したように、インメガチャートのほかスランテッドエッジチャート等を使用し得るが、クロストークに伴う色収差の発生が大きな問題となっていることから、チャート11としては、種々の波長の光によって測定可能なように、カラーインメガチャート等の色補正を行い得るようなチャートを用いることが好ましい。 As the chart 11 used at the time of manufacturing the apparatus, as described above, a slanted edge chart or the like can be used in addition to the Inmega chart, but the occurrence of chromatic aberration due to crosstalk is a serious problem. As the chart 11, it is preferable to use a chart that can perform color correction such as a color mega chart so that it can be measured by light of various wavelengths.
また、MTFの測定方法は、例えばISO12233に準拠した解像度測定方法に基づく方法とすればよい。すなわち、チャート11を撮像し、イメージセンサ13よりの信号のステップ応答からインパルス応答を求め、それについてフーリエ変換を施しMTFを求める、等の周知の手法を用いることができる。
The MTF measurement method may be a method based on a resolution measurement method based on, for example, ISO12233. That is, it is possible to use a well-known method such as imaging the chart 11, obtaining an impulse response from the step response of the signal from the
本実施形態装置においては、上述したような構成とされていることから、隣接する画素上の位置を通過した入射光が光学的に混入する場合と、シリコン基板内部で発生した光電子が隣接する画素に拡散して電気的に混入する場合のいずれであっても、クロストーク量を簡易かつ正確に算出することができる。特に、装置製造時に用いられるチャート11をカラーインメガチャートとし、イメージセンサ13として、少なくとも可視光領域の全域に亘る光を撮像し得るものを用いれば、混色の要因となるクロストーク量とMTF値との関係を容易かつ正確に把握することができる。
In the present embodiment device, since it is configured as described above, incident light that has passed through a position on an adjacent pixel is optically mixed, and photoelectrons generated inside a silicon substrate are adjacent to each other. The crosstalk amount can be calculated easily and accurately in any case where the signal is diffused and electrically mixed. In particular, if the chart 11 used at the time of manufacturing the apparatus is a color inmega chart and the
上述した説明からも明らかなように、本願発明は、クロストーク量の大きさがMTF値の大きさに影響を及ぼすとの知見(M. Estribeau et. al, “Pixel Crosstalk and Correlation with Modulation Transfer Function of CMOS Image Sensor”) に基づきなされたものである。
したがって、装置製造時に、クロストーク量算出部16において記憶される、MTF値とクロストーク量との関係がどのようにして求められるか、について詳しく説明する。
As is clear from the above description, the present invention is based on the knowledge that the magnitude of the crosstalk affects the magnitude of the MTF value (M. Estribeau et. Al, “Pixel Crosstalk and Correlation with Modulation Transfer Function of CMOS Image Sensor ”).
Therefore, how the relationship between the MTF value and the crosstalk amount stored in the crosstalk
まず、画素内蓄積電荷のクロストークのモデルを図2のように設定する。すなわち、列状に配列された5つの画素17A〜Eにおける入射光量を順に、x(n−2)、x(n−1)、x(n)、x(n+1)、x(n+2)とし、射出光量を順に、x´(n−2)、x´(n−1)、x´(n)、x´(n+1)、x´(n+2)とし、各画素から隣接する画素への漏れ割合をkとすると、画素17Cからの読み出し信号y(n)は以下の式(1)で表わされる。
First, the crosstalk model of the charge accumulated in the pixel is set as shown in FIG. That is, the incident light amounts in the five
y(n)=α{k* x´(n−1)+(1−2k)* x´(n)+k* x´(n+1)}
……(1)
y (n) = α {k * x ′ (n−1) + (1-2k) * x ′ (n) + k * x ′ (n + 1)}
...... (1)
すなわち、入出力信号の空間周波数の関係が、以下の式(2)で表わされる。
H(z)=k+(1−2k)z−1+kz−2 ……(2)
That is, the relationship between the spatial frequencies of the input / output signals is expressed by the following equation (2).
H (z) = k + (1-2k) z −1 + kz −2 (2)
このことは、図2に示される系が、{k、(1−2k)、k}のローパスフィルタ(LPF)であると考えることができる。なお、上記kとしては、例えば0.1とする。 This can be considered that the system shown in FIG. 2 is a {k, (1-2k), k} low-pass filter (LPF). The k is set to 0.1, for example.
次に、図2の系のLPF効果によるMTF特性を、図3のグラフにより表す(ただし、クロストーク量を各々2、4、6、8、10%としたときの計算結果を示す)。また、横軸はTVL(テレビ本)、縦軸はMTFを表す(図4、5および6において同じ)。このMTF特性の低下は、クロストークのLPF効果のみにより生じるものである。 Next, the MTF characteristic due to the LPF effect of the system of FIG. 2 is represented by the graph of FIG. The horizontal axis represents TVL (television book), and the vertical axis represents MTF (the same applies to FIGS. 4, 5 and 6). This decrease in MTF characteristics is caused only by the crosstalk LPF effect.
一方、理想レンズの回折(波長を460、530、700nmとしたときの計算結果を示す)によるMTF特性、および画素開口率が水平方向に82%であるときのMTF特性を、それぞれ図4,5のグラフにより表す。なお、これら図4、5に示す、MTF特性の低下は、クロストーク量の変化とは直接には関係せず、図4に示す、MTF特性の低下はレンズ形状に依存するものであり、図5に示すMTF特性の低下は、画素開口におけるアパーチャー効果によるものである。 On the other hand, the MTF characteristics due to the diffraction of the ideal lens (showing the calculation results when the wavelengths are 460, 530, and 700 nm) and the MTF characteristics when the pixel aperture ratio is 82% in the horizontal direction are shown in FIGS. This is represented by the graph. 4 and 5 is not directly related to the change in the amount of crosstalk, and the decrease in MTF characteristic shown in FIG. 4 depends on the lens shape. The decrease in the MTF characteristics shown in FIG. 5 is due to the aperture effect in the pixel aperture.
図3、図4および図5に示されたMTF特性を総合したものが図6に表わす総合MTF特性(波長530nmの場合)であり、実際に測定される態様のMTF特性に対応するものである。 The total MTF characteristics shown in FIG. 3, FIG. 4, and FIG. 5 are the total MTF characteristics shown in FIG. 6 (in the case of a wavelength of 530 nm) and correspond to the MTF characteristics of the mode actually measured. .
なお、TVLの最大値は2160本とされ、スーパーハイビジョンの走査線数4320本の1/2となっている。 Note that the maximum value of TVL is 2160 lines, which is 1/2 of the number of scanning lines for Super Hi-Vision 4320 lines.
このように、図6に示す総合MTF特性は各MTF特性を総合したものであり、実際にはこのように各種MTF特性が重畳された形式(掛け合わせた形式)となるので、測定されたMTF特性からクロストークのLPF効果のみが反映されたMTF特性を得るためには、図6に示すような総合MTF特性を、図4に示すようなレンズ形状に依存するMTF特性、および図5に示すような画素開口におけるアパーチャー効果によるMTF特性により除算することにより、図3に示すような、クロストークのLPF効果のみが反映されたMTF特性を得ることができる。 As described above, the total MTF characteristics shown in FIG. 6 are obtained by combining the respective MTF characteristics. Actually, the various MTF characteristics are superimposed in this manner (multiplied form), and thus the measured MTF is measured. In order to obtain the MTF characteristic reflecting only the crosstalk LPF effect from the characteristic, the total MTF characteristic as shown in FIG. 6 is changed to the MTF characteristic depending on the lens shape as shown in FIG. 4 and FIG. By dividing by the MTF characteristic due to the aperture effect in such a pixel aperture, it is possible to obtain the MTF characteristic reflecting only the crosstalk LPF effect as shown in FIG.
上述した、図4に示す、理想レンズの回折効果によるMTF特性(MTFdif(μ))は下記条件式(3)によって表わされる。 The MTF characteristic (MTF dif (μ)) due to the diffraction effect of the ideal lens shown in FIG. 4 is expressed by the following conditional expression (3).
また、上記図5に示す、画素開口におけるアパーチャー効果によるMTF特性(MTFapt(μ))は下記条件式(4)により表わされる。 Further, the MTF characteristic (MTF apt (μ)) due to the aperture effect in the pixel aperture shown in FIG. 5 is expressed by the following conditional expression (4).
したがって、図6に示す総合MTF特性(MTFtotal(μ))は、下記条件式(5)で表わされる。
MTFtotal(μ)= MTFdif(μ)×MTFapt(μ)× MTFlpf(μ) ……(5)
Therefore, the total MTF characteristic (MTF total (μ)) shown in FIG. 6 is expressed by the following conditional expression (5).
MTF total (μ) = MTF dif (μ) x MTF apt (μ) x MTF lpf (μ) (5)
また、より厳密には、各種MTF特性の中には、現実のレンズ自体のMTF特性(MTFlens(μ))も加える必要があることから、実際の総合MTF特性(MTFtotal(μ))は、下記条件式(6)で表わされることが好ましい。
MTFtotal(μ)= MTFdif(μ)×MTFapt(μ)× MTFlens(μ)× MTFlpf(μ)
……(6)
Strictly speaking, since it is necessary to add the MTF characteristic (MTF lens (μ)) of the actual lens itself among the various MTF characteristics, the actual total MTF characteristic (MTF total (μ)) is The following conditional expression (6) is preferable.
MTF total (μ) = MTF dif (μ) x MTF apt (μ) x MTF lens (μ) x MTF lpf (μ)
...... (6)
したがって、上記条件式(5)または条件式(6)を用い、測定により得られた総合MTF特性(MTFtotal(μ))から逆算して、クロストークのLPF効果のみが反映されたMTF特性(MTFlpf(μ))を得る。 Therefore, using the conditional expression (5) or the conditional expression (6), the MTF characteristic (MTF total (μ)) obtained by the measurement is calculated backward to reflect only the crosstalk LPF effect ( MTF lpf (μ)) is obtained.
なお、MTFlens(μ)については、別途レンズ単体で測定した結果を用いてもかまわない。また、クロストークのLPF効果が反映されたMTF特性(MTFlpf(μ))は下記条件式(7)によって表わされる。 As for the MTF lens (μ), the result of separately measuring the lens may be used. Further, the MTF characteristic (MTF lpf (μ)) reflecting the LPF effect of crosstalk is expressed by the following conditional expression (7).
このようにして得られたクロストークのLPF効果のみが反映されたMTF特性から、所定の周波数、例えば、ナイキスト周波数(TVL=2160本に相当)において、MTF値とクロストーク量(%)との関係を抽出し、それをテーブルまたは近似式の形式で算出部16に格納しておくことにより、MTF測定部15からのMTF値の入力に基づきクロストーク量算出部16からクロストーク量を出力することができる。
From the MTF characteristics reflecting only the crosstalk LPF effect obtained in this way, at a predetermined frequency, for example, the Nyquist frequency (equivalent to TVL = 2160), the MTF value and the amount of crosstalk (%) By extracting the relationship and storing it in the
以下、上記クロストーク量算出部16における演算処理の具体的な内容について付言する。
Hereinafter, specific details of the arithmetic processing in the crosstalk
図6のナイキスト周波数(TVL=2160本に相当)におけるMTFの値をクロストーク量によってプロットしたものを図7に表す(波長λ=460、530、700nmにおける各場合)。その代表的な数値(CT=0%の場合とCT=10%の場合)を表2に示す。 FIG. 7 shows the MTF values plotted at the Nyquist frequency (corresponding to TVL = 2160) in FIG. 6 by the amount of crosstalk (in each case at wavelengths λ = 460, 530, and 700 nm). Table 2 shows representative numerical values (when CT = 0% and CT = 10%).
表2からも明らかなように、クロストーク量が0%から10%に増えると、色(光の波長)の変化に応じて、MTFが相対値で0.13〜0.18ポイント低下し、クロストーク量が0%のときの方が、クロストーク量が10%のときよりも色(光の波長)の変化に応じたMTFの変化量が大きい。これにより、ナイキスト周波数等のなるべく高い周波数におけるMTFの値を測定することにより、クロストーク量を推定し、測定することが可能となる。 As is clear from Table 2, when the crosstalk amount increases from 0% to 10%, the MTF decreases by 0.13 to 0.18 points in relative value according to the change in color (wavelength of light), When the crosstalk amount is 0%, the amount of change in MTF corresponding to the change in color (light wavelength) is larger than when the crosstalk amount is 10%. Accordingly, it is possible to estimate and measure the crosstalk amount by measuring the MTF value at the highest possible frequency such as the Nyquist frequency.
さらに既測定のクロストーク量のデータを使用することにより、色(光の波長)の変化に応じて変化するMTFの変化量の相対値に基づいてクロストーク量を推定し、測定することができ、これにより、レンズの影響などを受けずにクロストーク量を推定することが可能となる。 Furthermore, by using the measured crosstalk amount data, the crosstalk amount can be estimated and measured based on the relative value of the change amount of the MTF that changes according to the change of the color (light wavelength). As a result, the crosstalk amount can be estimated without being affected by the lens.
次に、本発明の実施形態に係る色補正装置20を図面を参照しつつ説明する。
図8は、本実施形態に係る色補正装置20を示す概略図であり、クロストーク量測定装置10、クロストーク量測定装置10から出力されたクロストーク量とこのクロストーク量を補償し得る色補正値との関連付けが予め記憶されている色補正値算出部21と、このクロストーク量測定装置10からの出力値を該色補正値算出部21に入力せしめた際に、その色補正値算出部21から出力された色補正値に基づき、イメージセンサ13´により受光されプロセス回路を介して入力された被写体像の色補正を行う色補正部22を備えている。なお、色補正値算出部21と色補正部22とは、通常、パソコン内におけるCPU等のハードとROM等に格納されたソフトの組み合わせによって構成される。
Next, the
FIG. 8 is a schematic diagram showing the
また、この場合、装置製造時に、クロストーク量測定装置10で使用されるチャート11はカラーのインメガチャートが用いられ、クロストーク量測定装置10で使用されるイメージセンサ13としては、少なくとも可視光領域の全域に亘る波長範囲で感度を有するものを用いることが肝要である。
In this case, the chart 11 used in the crosstalk
また、上記色補正値とクロストーク量との関係に係る情報は以下の如くして設定される。
すなわち、装置製造時には、クロストーク量測定装置10からの、上記チャート11を用いて得られたクロストーク量情報が、色補正値算出部21に入力され、クロストーク量と、このクロストーク量により発生する混色を補償し得る色補正値との関係が、テーブル(または計算式)によって関連付けられた状態で記憶される。なお、このテーブル(または計算式)作成のためのクロストーク量の測定は、例えば上記特許文献1に係る記載等に類似した手法を採用することができる。
Information relating to the relationship between the color correction value and the crosstalk amount is set as follows.
That is, at the time of manufacturing the device, the crosstalk amount information obtained by using the chart 11 from the crosstalk
また、この色補正値算出部21では、MTF値をクロストーク量ごとに測定または計算によって求め、この求めたクロストーク量に基づいて、イメージセンサ13から出力される画像信号中からクロストーク成分(混色成分)を低減させ、その画像信号を色補正するような補正係数を、例えばテーブルにして色補正値算出部21に記憶させる。なお、上記補正係数を決定する演算は、例えば外部の演算手段によって行うか、またはデータ記憶用のメモリの内部にクロストーク補正係数決定部のような演算手段を設けることにより行う。
Further, the color correction
一方、実際の測定時においては、クロストーク量測定装置10から出力された、被写体31のクロストーク量の測定情報は、色補正値算出部21に入力され、この色補正値算出部21で、クロストーク量と、このクロストーク量により発生する混色を補償し得る色補正値との関係を、上記の如くして設定されたテーブル(または計算式)に基づき、入力されたクロストーク量から色補正値が算出される。
On the other hand, in the actual measurement, the measurement information of the crosstalk amount of the subject 31 output from the crosstalk
この色補正値算出部21から出力された色補正値データは、色補正部22に入力される。この色補正部22においては、撮像レンズ12´を介してイメージセンサ13´で撮像された被写体31の像が入力されると、この被写体31の像に対して上記色補正値に基づく色補正がなされ、これにより、クロストークに応じて発生している混色が改善される。
The color correction value data output from the color correction
なお、さらに説明すれば、イメージセンサ13の出力側には、CDS(Correlate Double Sampling )回路およびAGC〔Automatic Gain Control〕回路からなるCDS/AGC回路(図示せず)が接続されている。このCDS/AGC回路によって、アナログサンプル値信号から画像信号成分を抽出し、それを増幅して出力する。さらにCDS/AGC回路の出力側にはA/D変換器が接続されている。
More specifically, a CDS / AGC circuit (not shown) including a CDS (Correlate Double Sampling) circuit and an AGC [Automatic Gain Control] circuit is connected to the output side of the
このA/D変換器の出力側には、上記デジタルデータ画像信号を入力して、いわゆるビデオプロセス処理を行うデジタル信号処理手段が接続されている。このデジタル信号処理手段は、例えば、色信号処理回路(色分離、RGBマトリクス、γ補正を行う回路等)、輝度信号処理回路(Yフィルタ、エンハンサ、γ補正を行う回路等)、信号処理回路(NTSC/PAL色変調、同期付加を行うエンコーダ処理等を行う回路等)、同期信号発生回路(上記信号処理回路と外部タイミングジェネレータに同期信号を供給する回路等)、外部のマイクロコンピュータとのインターフェース回路(外部マイクロコンピュータとの間で画像情報、パラメータを入出力する回路等)、さらには上記色補正値算出部21および色補正部22とで構成されている。
Connected to the output side of the A / D converter is a digital signal processing means for inputting the digital data image signal and performing so-called video process processing. The digital signal processing means includes, for example, a color signal processing circuit (color separation, RGB matrix, γ correction circuit, etc.), a luminance signal processing circuit (Y filter, enhancer, γ correction circuit, etc.), signal processing circuit ( NTSC / PAL color modulation, a circuit for performing encoder processing for adding synchronization, etc.), a synchronization signal generating circuit (such as a circuit for supplying a synchronizing signal to the signal processing circuit and the external timing generator), and an interface circuit for an external microcomputer (A circuit for inputting / outputting image information and parameters to / from an external microcomputer), and the color correction
なお、この色補正装置20において、実際の被写体を撮像する場合に用いられる撮像レンズ12´およびイメージセンサ13´は、色補正値を求めるために用いられた撮像レンズ12およびイメージセンサ13と同一のものを用いることが好ましい。
In this
なお、本発明のクロストーク量測定装置およびこれを用いた色補正装置としては上記実施形態のものに限られるものではなく、その他の種々の態様の変更が可能である。例えば、上記実施形態においては、MTF測定用チャートとして、カラーインメガチャートを用いるようにしているが、その他のカラーチャートを用いるようにしてもよく、また、色補正がそれほど問題とならないような場合には、白黒のインメガチャート等のチャートを用いるようにしてもよい。 Note that the crosstalk amount measuring apparatus and the color correction apparatus using the same according to the present invention are not limited to those of the above-described embodiment, and various other modifications can be made. For example, in the above-described embodiment, the color inmega chart is used as the MTF measurement chart, but other color charts may be used, and color correction is not so problematic. For this, a chart such as a black and white Inmega chart may be used.
また、上記実施形態においては、光電子の拡散によるMTF低下のモデルとして、読み出し信号を、自身の画素信号と隣接画素からの漏れ信号とを加算した信号であるとし、入出力信号の空間周波数の相対関係を隣接する複数の画素信号からなるLPFであるとして推定処理を行うようにしており、この複数の画素の数を3つとしているが、例えば5つあるいは9つとすることも可能であり、それ以外の複数の数とすることが可能である。 In the above embodiment, as a model of MTF reduction due to photoelectron diffusion, the readout signal is a signal obtained by adding the own pixel signal and the leakage signal from the adjacent pixel, and the relative spatial frequency of the input and output signals The estimation processing is performed assuming that the relationship is an LPF composed of a plurality of adjacent pixel signals, and the number of the plurality of pixels is three. However, for example, five or nine can be used, It is possible to use a plurality of numbers other than.
さらに、上記実施形態においては、単板型CMOSを用いているが、本発明の装置は単板型CCDについても同様に適用でき、さらに3板型のCMOSやCCDを用いることを排除するものではない。 Further, in the above embodiment, a single plate type CMOS is used. However, the apparatus of the present invention can be similarly applied to a single plate type CCD, and it is not excluded to use a three plate type CMOS or CCD. Absent.
10 クロストーク量測定装置
11 チャート
12、12´ 撮像レンズ
13、13´ イメージセンサ
14、14´ プロセス回路
15 MTF測定部
16 クロストーク量算出部
17A〜E 画素
20 色補正装置
21 色補正値算出部
22 色補正部
31 被写体
DESCRIPTION OF
Claims (5)
該固体撮像素子からの出力に基づき、MTF特性を測定するMTF測定部と、
予めMTF値とクロストーク量の関係が記憶され、前記MTF測定部からのMTF値に基づき前記クロストーク量を算出するクロストーク量算出部と、
を備えたことを特徴とするクロストーク量測定装置。 In a crosstalk amount measuring apparatus that measures the amount of crosstalk of a solid-state imaging device that images a subject,
An MTF measurement unit that measures MTF characteristics based on the output from the solid-state imaging device;
A crosstalk amount calculating unit that stores a relationship between an MTF value and a crosstalk amount in advance and calculates the crosstalk amount based on an MTF value from the MTF measuring unit;
An apparatus for measuring the amount of crosstalk, comprising:
を備えたことを特徴とする色補正装置。 An association between the crosstalk amount measuring apparatus according to any one of claims 1 to 3, a crosstalk amount and a color correction value capable of compensating for the crosstalk amount is stored in advance, and input image information of a subject is stored. A color correction value calculation unit that calculates a color correction value that can correct color mixing based on the crosstalk amount of the image data from the crosstalk amount measurement apparatus from the crosstalk amount measurement device, and information on the crosstalk amount A color correction unit that performs color correction of a subject image received by the solid-state imaging device based on a color correction value output from the color correction value calculation unit in response to an input to the color correction value calculation unit;
A color correction apparatus comprising:
該測定された被写体の像のMTF値から、予めメモリに記憶された、MTF値とクロストーク量の関係に基づいて、前記クロストーク量が求められるものであり、
前記MTF値とクロストーク量の関係は、前記被写体を撮像して得られたMTF特性から、レンズ形状に依存するMTF特性、および画素開口におけるアパーチャー効果によるMTF特性を差し引くことにより得ることを特徴とするクロストーク量測定方法。
In a crosstalk amount measuring method for measuring a crosstalk amount of a solid-state imaging device that images a subject,
The crosstalk amount is obtained from the measured MTF value of the image of the subject based on the relationship between the MTF value and the crosstalk amount stored in the memory in advance.
The relationship between the MTF value and the amount of crosstalk is obtained by subtracting the MTF characteristic depending on the lens shape and the MTF characteristic due to the aperture effect in the pixel aperture from the MTF characteristic obtained by imaging the subject. To measure the amount of crosstalk.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011005226A JP5496922B2 (en) | 2011-01-13 | 2011-01-13 | Crosstalk amount measuring device, color correction device using the same, and crosstalk amount measuring method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011005226A JP5496922B2 (en) | 2011-01-13 | 2011-01-13 | Crosstalk amount measuring device, color correction device using the same, and crosstalk amount measuring method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012147334A true JP2012147334A (en) | 2012-08-02 |
JP5496922B2 JP5496922B2 (en) | 2014-05-21 |
Family
ID=46790422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011005226A Expired - Fee Related JP5496922B2 (en) | 2011-01-13 | 2011-01-13 | Crosstalk amount measuring device, color correction device using the same, and crosstalk amount measuring method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5496922B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130113958A1 (en) * | 2010-10-21 | 2013-05-09 | Taiwan Semiconductor Manufacturing Co., Ltd. | Color image sensor array with color crosstalk test patterns |
US10225495B2 (en) | 2017-04-24 | 2019-03-05 | Samsung Electronics Co., Ltd. | Crosstalk processing module, method of processing crosstalk and image processing system |
CN112689104A (en) * | 2019-10-17 | 2021-04-20 | 爱思开海力士有限公司 | Image sensor with a plurality of pixels |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005069216A1 (en) * | 2004-01-15 | 2005-07-28 | Matsushita Electric Industrial Co., Ltd. | Measuring method for optical transfer function, image restoring method, and digital imaging device |
JP2007142697A (en) * | 2005-11-17 | 2007-06-07 | Sony Corp | Signal processor and signal processing method for solid-state image pickup element, and image pickup device |
JP2010016419A (en) * | 2008-06-30 | 2010-01-21 | Sony Corp | Image signal correcting device, imaging device, image signal correcting method, and program |
JP2010130583A (en) * | 2008-11-28 | 2010-06-10 | Canon Inc | Image capturing apparatus and system, and method of correcting signal in image capturing apparatus |
-
2011
- 2011-01-13 JP JP2011005226A patent/JP5496922B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005069216A1 (en) * | 2004-01-15 | 2005-07-28 | Matsushita Electric Industrial Co., Ltd. | Measuring method for optical transfer function, image restoring method, and digital imaging device |
JP2007142697A (en) * | 2005-11-17 | 2007-06-07 | Sony Corp | Signal processor and signal processing method for solid-state image pickup element, and image pickup device |
JP2010016419A (en) * | 2008-06-30 | 2010-01-21 | Sony Corp | Image signal correcting device, imaging device, image signal correcting method, and program |
JP2010130583A (en) * | 2008-11-28 | 2010-06-10 | Canon Inc | Image capturing apparatus and system, and method of correcting signal in image capturing apparatus |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130113958A1 (en) * | 2010-10-21 | 2013-05-09 | Taiwan Semiconductor Manufacturing Co., Ltd. | Color image sensor array with color crosstalk test patterns |
US8767100B2 (en) * | 2010-10-21 | 2014-07-01 | Taiwan Semiconductor Manufacturing Co., Ltd. | Color image sensor array with color crosstalk test patterns |
US10225495B2 (en) | 2017-04-24 | 2019-03-05 | Samsung Electronics Co., Ltd. | Crosstalk processing module, method of processing crosstalk and image processing system |
CN112689104A (en) * | 2019-10-17 | 2021-04-20 | 爱思开海力士有限公司 | Image sensor with a plurality of pixels |
CN112689104B (en) * | 2019-10-17 | 2024-01-23 | 爱思开海力士有限公司 | Image sensor |
Also Published As
Publication number | Publication date |
---|---|
JP5496922B2 (en) | 2014-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8890981B2 (en) | Method and apparatus for eliminating crosstalk amount included in an output signal | |
US8175378B2 (en) | Method and system for noise management for spatial processing in digital image/video capture systems | |
JP5786149B2 (en) | Universally packed pixel array camera system and method | |
US8436910B2 (en) | Image processing apparatus and image processing method | |
JP5163319B2 (en) | Image signal correction apparatus, imaging apparatus, image signal correction method, and program | |
US8508618B2 (en) | Image pickup apparatus and restoration gain data generation method | |
JP2011010108A (en) | Imaging control apparatus, imaging apparatus, and imaging control method | |
KR101536060B1 (en) | Solid-state imaging device and camera module | |
JP5634331B2 (en) | Image processing device | |
JP2011254321A (en) | Image processing system, image processing method, and program | |
US10750108B2 (en) | Image sensor with correction of non-uniform dark current | |
JPWO2012153532A1 (en) | Imaging device | |
JP5496922B2 (en) | Crosstalk amount measuring device, color correction device using the same, and crosstalk amount measuring method | |
JP2007006061A (en) | Color filter and image pickup apparatus having the same | |
JP4379006B2 (en) | Imaging device | |
JP6529109B2 (en) | Imaging apparatus, image processing method | |
JP5547548B2 (en) | Measuring method of electron multiplication factor | |
US8508613B2 (en) | Image capturing apparatus | |
JP2007053659A (en) | Measurement imaging device | |
US8964071B2 (en) | Solid-state imaging device, camera module, and imaging method having first and second green pixel cells | |
JP2011234148A (en) | Image signal processing apparatus | |
JP5551510B2 (en) | Method for measuring electron multiplication factor and imaging apparatus | |
JP2011055280A (en) | Image processing apparatus, image processing method and electronic camera | |
Joo et al. | Advantages of Color Filter Array Removal from Digital Cameras | |
Florin et al. | Resolution analysis of an image acquisition system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140305 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5496922 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |