JP2008028447A - Method and apparatus for reducing noise in image signal - Google Patents

Method and apparatus for reducing noise in image signal Download PDF

Info

Publication number
JP2008028447A
JP2008028447A JP2006195604A JP2006195604A JP2008028447A JP 2008028447 A JP2008028447 A JP 2008028447A JP 2006195604 A JP2006195604 A JP 2006195604A JP 2006195604 A JP2006195604 A JP 2006195604A JP 2008028447 A JP2008028447 A JP 2008028447A
Authority
JP
Japan
Prior art keywords
pixel
value
pixels
image signal
noise reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006195604A
Other languages
Japanese (ja)
Other versions
JP4919723B2 (en
Inventor
Nobuyoshi Tanaka
伸欣 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Winbond Electronics Corp
Original Assignee
Winbond Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Winbond Electronics Corp filed Critical Winbond Electronics Corp
Priority to JP2006195604A priority Critical patent/JP4919723B2/en
Publication of JP2008028447A publication Critical patent/JP2008028447A/en
Application granted granted Critical
Publication of JP4919723B2 publication Critical patent/JP4919723B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method and an apparatus for reducing a noise in an image signal by which the noise in the image signal is reduced so as to produce a color image with a high resolution. <P>SOLUTION: The method of reducing the noise in the image signal from a solid-state imaging element with a color pixel arrangement is provided. This method includes: a first step of selecting a noise reduction object pixel at the prescribed position of the color pixel arrangement as a center pixel and selecting a plurality of pixels around the center pixel as surrounding pixels; a second step of calculating the correction pixel value of the center pixel on the basis of the pixel value of the center pixel and respective pixel values of the surrounding pixel values; and a third step of replacing the original pixel value of the center pixel with the correction pixel value. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、画像信号処理に関し、特に、固体撮像素子からのカラー画像信号のノイズ削減方法及び装置に関する。   The present invention relates to image signal processing, and more particularly, to a noise reduction method and apparatus for color image signals from a solid-state image sensor.

従来、ビデオカメラやデジタルカメラなどの撮像装置では、CCDイメージセンサやCMOSイメージセンサのような固体撮像素子が一般に用いられている。このような撮像装置において、カラー撮像を行うために、通常、固体撮像素子上にカラーフィルタを設け、信号処理によってカラー画像信号を得る方法が広く用いられている。   Conventionally, in an imaging apparatus such as a video camera or a digital camera, a solid-state imaging device such as a CCD image sensor or a CMOS image sensor is generally used. In such an imaging apparatus, in order to perform color imaging, generally, a method of providing a color filter on a solid-state imaging device and obtaining a color image signal by signal processing is widely used.

しかし、このように得られたカラー画像信号には、固体撮像素子の構造に起因する各種のノイズが多数含まれている。特に、画素毎にトランジスタを持つCMOSイメージセンサにおいては、トランジスタの特性にばらつきがあり、ノイズが多い。よって、固体撮像素子をイメージセンサとして用いる場合、ノイズを削減することが重要となる。   However, the color image signal obtained in this way contains a large number of various noises resulting from the structure of the solid-state imaging device. In particular, in a CMOS image sensor having a transistor for each pixel, the transistor characteristics vary and there is a lot of noise. Therefore, when using a solid-state image sensor as an image sensor, it is important to reduce noise.

ノイズを大別すると、前述のような画素毎のトランジスタの特性のばらつきによる固定パターンノイズ(Fixed Pattern Noise:FPN)と、画像信号に含まれる不規則な揺らぎ成分によるランダムノイズ(Random Noise:RN)とがある。   Noise is roughly divided into fixed pattern noise (FPN) due to variations in transistor characteristics for each pixel as described above, and random noise (RN) due to irregular fluctuation components included in image signals. There is.

これらノイズの一般的な対処法として、低域通過フィルタ(Low Pass Filter:LPF)に画像信号を通す方法が多く採用されている。これは、ノイズが最も多く含まれる画像信号の高域成分に対し、カットオフ周波数として設定した一定の周波数以上の成分を一律にカットする方法である。   As a general countermeasure against these noises, a method of passing an image signal through a low pass filter (LPF) is often employed. This is a method of uniformly cutting a component having a frequency equal to or higher than a predetermined frequency set as a cut-off frequency with respect to a high frequency component of an image signal containing the most noise.

しかし、LPFをそのまま用いた従来のノイズ削減方法では、当然ながら、ノイズのない画像信号の高域成分までも減少させてしまう。画像信号の高域成分は、画像のシャープネスに関係しているので、LPFでノイズを除去しようとすればするほど、画像のシャープネスが低下してしまうことになる。言い換えると、LPFは、画像の平坦部に生じた固定パターンノイズに対して有効であるが、画像のエッジ部に生じた固定パターンノイズに対しては、データとノイズを区別せず、一様にカットしてしまい、画像輪郭部を平滑化してしまう。そのため、画像のシャープネスが低下し、ぼやけた画像となってしまう。よって、LPFを一様に用いるノイズ削減方法は、画像の解像度を低下させる欠点がある。   However, in the conventional noise reduction method using the LPF as it is, the high frequency component of the image signal without noise is naturally reduced. Since the high-frequency component of the image signal is related to the sharpness of the image, the sharpness of the image decreases as the noise is removed by the LPF. In other words, the LPF is effective for fixed pattern noise generated in the flat portion of the image, but for fixed pattern noise generated in the edge portion of the image, the data and the noise are uniformly distinguished. The image is cut and the image outline is smoothed. As a result, the sharpness of the image is reduced, resulting in a blurred image. Therefore, the noise reduction method using the LPF uniformly has a drawback of reducing the resolution of the image.

固体撮像素子は固定パターンノイズの影響を受けやすいので、この固定パターンノイズの削減が大きな課題となる。従来のLPFを一様に用いた方法では、カットオフ周波数を調整するなどをして、ノイズ低減と解像度低下との妥協点でトレードオフを取っている。従って、低ノイズ化と高解像度化を両立できるより効果的なノイズ削減方法が望まれる。   Since solid-state imaging devices are easily affected by fixed pattern noise, reduction of this fixed pattern noise becomes a major issue. In the method using the conventional LPF uniformly, the cutoff frequency is adjusted to make a trade-off between the noise reduction and the resolution reduction. Therefore, a more effective noise reduction method that can achieve both low noise and high resolution is desired.

本発明の目的は、画像信号のノイズを削減し、高解像度のカラー画像を生成することができる画像信号のノイズ削減方法及び装置を提供することにある。   An object of the present invention is to provide an image signal noise reduction method and apparatus capable of reducing noise of an image signal and generating a high-resolution color image.

前述の目的を達成するために、本発明は、カラー画素配列を有する固体撮像素子における画像信号のノイズを削減する方法を提供する。この方法は、前記カラー画素配列の所定位置におけるノイズ削減対象画素を中心画素として選択し、当該中心画素の周囲にある複数の画素を周囲画素として選択する第一の工程と、前記中心画素の画素値と前記複数の周囲画素のそれぞれの画素値により、前記中心画素の補正画素値を計算する第二の工程と、前記中心画素のもとの画素値を前記補正画素値で置き換える第三の工程とを含む。   In order to achieve the above object, the present invention provides a method for reducing noise of an image signal in a solid-state imaging device having a color pixel array. This method includes a first step of selecting a noise reduction target pixel at a predetermined position of the color pixel array as a central pixel, and selecting a plurality of pixels around the central pixel as peripheral pixels, and the pixel of the central pixel A second step of calculating a correction pixel value of the central pixel from the pixel value of each of the plurality of surrounding pixels and a third step of replacing the original pixel value of the central pixel with the correction pixel value Including.

前記第二の工程において、前記中心画素の画素値に第一の係数を乗じた値と、前記複数の周囲画素の画素値の平均値に第二の係数を乗じた値とを加算することにより、前記補正画素値を得る。前記第一の係数と前記第二の係数は、前記中心画素の画素値と前記複数の周囲画素の画素値により前記中心画素ごとに決められる。   In the second step, by adding a value obtained by multiplying a pixel value of the central pixel by a first coefficient and a value obtained by multiplying an average value of pixel values of the plurality of surrounding pixels by a second coefficient. The correction pixel value is obtained. The first coefficient and the second coefficient are determined for each central pixel based on a pixel value of the central pixel and pixel values of the plurality of surrounding pixels.

好ましくは、前記第二の工程において、前記複数の周囲画素は、第一の周囲画素グループと第二の周囲画素グループを有し、前記中心画素の画素値に第一の係数を乗じた値と、前記第一の周囲画素グループにおける画素の画素値の平均値に第二の係数を乗じた値と、前記第二の周囲画素グループにおける画素の画素値の平均値に第三の係数を乗じた値とを加算し、前記補正画素値を得る。前記第一の係数、前記第二の係数及び前記第三の係数は、前記中心画素の画素値、前記第一の周囲画素グループにおける画素の画素値及び前記第二の周囲画素グループにおける画素の画素値により、前記中心画素ごとに決められる。   Preferably, in the second step, the plurality of surrounding pixels include a first surrounding pixel group and a second surrounding pixel group, and a value obtained by multiplying a pixel value of the center pixel by a first coefficient; , A value obtained by multiplying the average value of the pixel values of the pixels in the first surrounding pixel group by a second coefficient, and a value obtained by multiplying the average value of the pixel values of the pixels in the second surrounding pixel group by a third coefficient. The corrected pixel value is obtained by adding the value. The first coefficient, the second coefficient, and the third coefficient are the pixel value of the central pixel, the pixel value of the pixel in the first surrounding pixel group, and the pixel of the pixel in the second surrounding pixel group. Depending on the value, it is determined for each central pixel.

前記カラー画素配列は、ベイヤー配列である。前記固体撮像素子は、CMOSイメージセンサを含む。   The color pixel array is a Bayer array. The solid-state imaging device includes a CMOS image sensor.

また、本発明は、カラー画像信号のノイズ削減装置を提供する。この装置は、カラー画素配列を有する固体撮像素子と、前記固体撮像素子からのカラー画像信号を処理する信号処理ユニットと、前記信号処理ユニットにより処理された前記カラー画像信号を出力する出力ユニットとを有する。前記信号処理ユニットは、前記カラー画像信号のノイズを削減する際に、まず、前記カラー画素配列の所定位置におけるノイズ削減対象画素を中心画素として選択し、当該中心画素の周囲にある複数の画素を周囲画素として選択し、次に、前記中心画素の画素値と前記複数の周囲画素のそれぞれの画素値により、前記中心画素の補正画素値を計算し、最後に、前記中心画素のもとの画素値を前記補正画素値で置き換える。   The present invention also provides a noise reduction device for color image signals. The apparatus includes: a solid-state imaging device having a color pixel array; a signal processing unit that processes a color image signal from the solid-state imaging device; and an output unit that outputs the color image signal processed by the signal processing unit. Have. When the signal processing unit reduces noise of the color image signal, first, the noise reduction target pixel at a predetermined position of the color pixel array is selected as a central pixel, and a plurality of pixels around the central pixel are selected. Selecting as a surrounding pixel, and then calculating a correction pixel value of the center pixel from the pixel value of the center pixel and the respective pixel values of the plurality of surrounding pixels, and finally, the original pixel of the center pixel Replace the value with the corrected pixel value.

本発明は、ノイズを削除しながら、画像のエッジ情報は維持することにより、相反する低ノイズ化と高解像度化とを両立させ、高品質なカラー画像を生成することを可能とする。   The present invention maintains the edge information of the image while deleting the noise, thereby making it possible to achieve both a low noise and a high resolution, and to generate a high-quality color image.

次に、添付した図面を参照しながら、本発明の好適な実施形態を詳細に説明する。   Next, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

実施形態1
図1は、本実施形態に係る固体撮像素子のカラー画素配列である。
Embodiment 1
FIG. 1 is a color pixel array of the solid-state imaging device according to the present embodiment.

図1におけるGは緑画素、Rは赤画素、Bは青画素を表し、添字は、その画素の2次元的位置を示す。   In FIG. 1, G represents a green pixel, R represents a red pixel, and B represents a blue pixel, and the subscript indicates the two-dimensional position of the pixel.

図1に示すようなカラー画素配列では、総画素数Nに対して、緑の画素数は実質的にN/2、赤および青の画素数は実質的にN/4である。このようなカラー画素配列は、ベイヤーカラー画素配列と称される。   In the color pixel array as shown in FIG. 1, the number of green pixels is substantially N / 2 and the number of red and blue pixels is substantially N / 4 with respect to the total number of pixels N. Such a color pixel array is called a Bayer color pixel array.

ここで、緑の画素を2倍設けるのは、人間の眼の分光感度が緑付近をピークとしており、緑の解像度が見かけ上の解像度を向上させるためである。各画素はそれぞれ画像データとしての値を有しており、これら値にノイズ成分が含まれているとする。   Here, the reason why the green pixels are doubled is that the spectral sensitivity of the human eye has a peak around green, and the green resolution improves the apparent resolution. Each pixel has a value as image data, and a noise component is included in these values.

一般的なノイズ削減方法では、ノイズ成分を含んだ各画素のデータに対し、隣接する画素の平均値で置き換えるという処理が取られる。例えば、図1の5個の緑画素G10、G12、G16、G20及びG22において、ノイズを除去しようとしている中心画素G16に対しては、同じ緑の周辺画素である左上画素G10、右上画素G12、左下画素G20、右下画素G22の値から数式1のようにして得た値
[外1]

Figure 2008028447
でG16を置き換える。 In a general noise reduction method, processing is performed in which data of each pixel including a noise component is replaced with an average value of adjacent pixels. For example, in the five green pixels G10, G12, G16, G20, and G22 in FIG. 1, for the central pixel G16 from which noise is to be removed, the upper left pixel G10, the upper right pixel G12, A value obtained by Equation 1 from the values of the lower left pixel G20 and the lower right pixel G22.
[Outside 1]
Figure 2008028447
To replace G16.

Figure 2008028447
図2及び図3は、この平均値で置き換える方法を概念的に表したものである。
Figure 2008028447
2 and 3 conceptually show a method of replacing with this average value.

図2及び図3における横軸が画素の並びを示し、縦軸がその画素値(輝度)をそれぞれ表現している。図中の小さなジグザグ状の凹凸がノイズを表し、段差の部分がエッジを表している。   2 and 3, the horizontal axis indicates the arrangement of pixels, and the vertical axis indicates the pixel value (luminance). The small zigzag irregularities in the figure represent noise, and the stepped portions represent edges.

エッジとは、画の輪郭や縁に当たる部分であり、エッジの形成には、画像データの高周波成分が関係している。エッジ部分の高低差が大きくハッキリしているほど、画像は高解像度の状態にあり、シャープな画像となる。逆に、エッジ部分の高低差が小さくなだらかであると、低解像となり、画像のシャープネスは失われ、ぼやけた状態となる。いわゆる鈍った画の状態である。   An edge is a portion that touches the outline or edge of an image, and the formation of the edge is related to a high-frequency component of image data. The greater the difference in the height of the edge portion, the higher the resolution of the image and the sharper the image. On the contrary, if the height difference of the edge portion is small and gentle, the resolution becomes low, the sharpness of the image is lost, and the image becomes blurred. It is a so-called dull picture.

図2のようにノイズの周囲にエッジがなければ、平均値で置き換える方法は有効であるが、ノイズはどの部分にも均一に発生するので、図3のように、エッジに近い部分にノイズがある場合、ノイズが除去されるのに伴いエッジも併せて平滑化されてしまう。その結果、画像のシャープネスは著しく低下し、鈍った画となる。   If there is no edge around the noise as shown in FIG. 2, the method of replacing with the average value is effective. However, since noise is generated uniformly in any part, the noise is close to the edge as shown in FIG. In some cases, as noise is removed, edges are also smoothed. As a result, the sharpness of the image is significantly reduced, resulting in a dull image.

一般的なローパスフィルタのような単純な移動平均によるノイズ削減処理を行うと、画像の高周波成分は失われ、解像度は下がり、画像のシャープネスは失われてしまう。   When noise reduction processing using a simple moving average such as a general low-pass filter is performed, the high frequency components of the image are lost, the resolution is lowered, and the sharpness of the image is lost.

そのため、本実施形態では、数式1の代わりに次の数式2を用いる。   Therefore, in this embodiment, the following formula 2 is used instead of formula 1.

Figure 2008028447
ここで、α、βは、0≦β≦α≦1及びα≠0の条件を満たす任意の係数である。係数α、βは、数式2を用いたノイズ削減において、周辺の画素値と中心の画素値のどちらに重み付けをして平滑化するかという加重平均の分配比率を表現している。例えば、ノイズ削減を全く行わない状態は、α=1、β=0である。周辺画素の平均値が中心画素の値を超えてしまうことがないように、β≦αとしてある。αとβの値を周辺画素の値により、適応的に変化させていくことで、画像のあらゆる部分においてエッジを保ちながらローパスフィルタ処理を施していく。なお、αとβの比β/αを平滑度として定義しておく。
Figure 2008028447
Here, α and β are arbitrary coefficients that satisfy the conditions of 0 ≦ β ≦ α ≦ 1 and α ≠ 0. The coefficients α and β represent a weighted average distribution ratio indicating which of the peripheral pixel value and the central pixel value is weighted and smoothed in the noise reduction using Expression 2. For example, a state where no noise reduction is performed is α = 1 and β = 0. Β ≦ α is set so that the average value of the peripheral pixels does not exceed the value of the central pixel. By adaptively changing the values of α and β according to the values of surrounding pixels, low-pass filter processing is performed while maintaining edges in every part of the image. The ratio β / α between α and β is defined as smoothness.

また、中心画素値と周辺の画素値のうち、値が最大のものをGmax、最小のものをGminとし、その差ΔGを精鋭度として数式3のように定義しておく。   In addition, among the central pixel value and the peripheral pixel values, the largest value is Gmax, the smallest value is Gmin, and the difference ΔG is defined as the sharpness, as shown in Equation 3.

Figure 2008028447
ノイズ削減処理は、具体的には以下の通りである。
Figure 2008028447
Specifically, the noise reduction processing is as follows.

(1)注目5画素にエッジ情報が含まれない場合
通常のLPF処理を行う。すなわち、エッジ情報が含まれない(すなわち、精鋭度ΔGの値が低い)場合には、中心画素の値とその周辺画素の平均値を揃えてフラットにする(すなわち、α:β=1:1にする)ことによりノイズを除去する。
(1) When edge information is not included in five pixels of interest Normal LPF processing is performed. That is, when the edge information is not included (that is, the value of the sharpness ΔG is low), the value of the center pixel and the average value of the surrounding pixels are made flat (that is, α: β = 1: 1). To eliminate noise.

(2)注目5画素にエッジ情報が含まれる場合
エッジの状況により、LPF処理効果を弱めていく、若しくはLPF処理を行わない。すなわち、精鋭度ΔGが大きくなるにつれ、平滑度β/αを下げていく(すなわち、αに対するβの値を下げていく)。このとき、ノイズ除去効果は下がっていくが、その分エッジ保持効果が上がっていく。さらに、精鋭度ΔGが一定の値以上大きいとき、β=0として、ノイズ削減処理を施さない。
(2) When edge information is included in five pixels of interest Depending on the state of the edge, the LPF processing effect is weakened or LPF processing is not performed. That is, as the sharpness ΔG increases, the smoothness β / α is decreased (that is, the value of β with respect to α is decreased). At this time, the noise removal effect decreases, but the edge retention effect increases accordingly. Further, when the sharpness ΔG is larger than a certain value, β = 0 and no noise reduction processing is performed.

図4は、精鋭度ΔGと平滑度β/αとの関係を示した図である。   FIG. 4 is a diagram showing the relationship between the sharpness ΔG and the smoothness β / α.

実験により、精鋭度ΔGと平滑度β/αの連続的変化は、図4のように直線的に変化させることが効果的であることが分かっている。さらに、β=0とする精鋭度ΔGの値を閾値Thとして設定し、閾値Thを超える場合はローパスフィルタ処理を行わない方が、ノイズ削減処理としてより良い効果をもたらすことも実験により分かっている。   Experiments show that it is effective to change the sharpness ΔG and the smoothness β / α linearly as shown in FIG. Furthermore, it has been experimentally known that setting the value of the sharpness ΔG with β = 0 as the threshold Th and performing the low-pass filter processing when the threshold Th is exceeded results in better noise reduction processing. .

この方法が有効である理由は、ノイズが画像情報の細密なエリアよりも均一なエリアでより目立つ傾向がある、という視覚特性が人間にあるからである。   This method is effective because humans have the visual characteristic that noise tends to stand out more in a uniform area than in a fine area of image information.

図5は、精鋭度の輝度による正規化の必要性を示す概念図である。   FIG. 5 is a conceptual diagram showing the necessity of normalization based on brightness of sharpness.

固体撮像素子には、ノイズが画像の明るい部分より暗い部分で発生しやすい、という性質がある。これを考慮し、同じ精鋭度であっても、その精鋭度が全体の画素レベルからみて高い位置(明るい部分)にあるものなのか、低い位置(暗い部分)にあるものなのかを判断するために精鋭度の正規化を行う。精鋭度が画像の明るい部分にある場合は、ノイズ発生率が低くなるのでノイズ除去よりエッジ保持を優先し、暗い部分にある場合は、ノイズ発生率が高くなるのでエッジ保持よりノイズ除去を優先する。   A solid-state imaging device has a property that noise is likely to occur in a dark portion of an image. In consideration of this, even if the sharpness is the same, it is judged whether the sharpness is at a high position (bright part) or low position (dark part) as seen from the whole pixel level. Normalization of sharpness is performed. When the sharpness is in the bright part of the image, the noise generation rate is low, so the edge retention is prioritized over noise removal. When it is in the dark part, the noise generation rate is high, so the noise removal is prioritized over edge retention. .

この正規化の具体的なひとつの方法として、精鋭度ΔGに注目5画素の平均値を乗じたものを正規化した値として用いる。例えば、図1におけるG10、G12、G16、G20及びG22の5画素値のうち、最大値から最小値を引いた精鋭度ΔG16に、5画素の平均値Ga16を乗じた値ΔG16・Ga16を正規化した精鋭度の値として用いる。これにより、精鋭度に輝度が反映される。   As one specific method of normalization, a value obtained by multiplying the sharpness ΔG by the average value of the five pixels of interest is used as a normalized value. For example, among the five pixel values of G10, G12, G16, G20 and G22 in FIG. 1, the value ΔG16 · Ga16 obtained by multiplying the sharpness ΔG16 obtained by subtracting the minimum value from the maximum value and the average value Ga16 of five pixels is normalized. Used as the value of sharpness. Thereby, the brightness is reflected on the sharpness.

図6は、平滑度β/αと輝度との関係を示した図である。   FIG. 6 is a diagram showing the relationship between the smoothness β / α and the luminance.

これは、輝度が高い部分ほど、ローパスフィルタ処理効果を低めてエッジ保持効果を高めた方が良いことを示している。その関係は、やはり直線的な変化とした方がより良い結果が得られることが実験から分かっている。   This indicates that it is better to increase the edge retention effect by lowering the low-pass filter processing effect in the higher luminance portion. Experiments have shown that better results can be obtained with linear changes.

以上のようにして、数式2の演算を適時α、βの値を変えながら、画像データ全ての緑画素について繰り返し行うことによって、画像のエッジ情報が保持されたままノイズが削減された高品質なカラー画像信号が得られる。   As described above, the calculation of Equation 2 is repeatedly performed for all the green pixels of the image data while changing the values of α and β in a timely manner, thereby reducing noise while retaining the edge information of the image. A color image signal is obtained.

さらに、固体撮像素子がCMOSセンサの場合、赤画素に隣接する緑画素と、青画素に隣接する緑画素との間に輝度差が発生してしまうという構造的な欠点があるので、数式2を元にした処理がこの欠点を自動的に補正できるという利点をも有する。そしてこの処理は、固定パターンノイズやランダムノイズといったノイズの種類によらず有効である。   Further, when the solid-state imaging device is a CMOS sensor, there is a structural defect that a luminance difference is generated between a green pixel adjacent to the red pixel and a green pixel adjacent to the blue pixel. The original process also has the advantage that this defect can be corrected automatically. This processing is effective regardless of the type of noise such as fixed pattern noise or random noise.

本実施形態では、固体撮像素子上での3原色の画素(赤、緑、青)配列のうち、ノイズ削減効果とCMOSセンサにおける輝度差の補正効果の最も大きい緑画素について説明してきたが、同様の操作を赤画素と青画素についても施すことが可能である。   In the present embodiment, among the three primary color pixel (red, green, and blue) arrays on the solid-state imaging device, the green pixel having the largest noise reduction effect and the luminance difference correction effect in the CMOS sensor has been described. This operation can also be performed for red and blue pixels.

図7は、本発明の好適な実施形態に係る固体撮像素子上での他のカラー画素配列である。   FIG. 7 shows another color pixel arrangement on the solid-state imaging device according to the preferred embodiment of the present invention.

図7におけるGは緑画素、Rは赤画素、Bは青画素を表し、添字は、その画素の2次元的位置を示す。図7において、赤画素に着目してR37を中心画素とした場合、周辺画素はR17、R35、R39、R57として式2に当てはめると数式4となる。   In FIG. 7, G represents a green pixel, R represents a red pixel, and B represents a blue pixel, and the subscript indicates the two-dimensional position of the pixel. In FIG. 7, when R37 is set as the central pixel by paying attention to the red pixel, when the peripheral pixels are applied to Expression 2 as R17, R35, R39, and R57, Expression 4 is obtained.

Figure 2008028447
同様に青画素に着目して、
Figure 2008028447
Similarly, paying attention to the blue pixel,

Figure 2008028447
となる。以降、緑画素のときと同様の処理を行う。
Figure 2008028447
It becomes. Thereafter, the same processing as that for the green pixel is performed.

従って、本実施形態に係る画像信号のノイズ削減方法は、具体的に以下のように実行される。   Therefore, the image signal noise reduction method according to the present embodiment is specifically executed as follows.

まず、全ての画素の画素値を取得して記憶する。次に、所定の画素Iの画素値GIとその周辺にある所定の複数の画素(例えば、図1に示されている中心画素G16とその周辺画素G10、G12、G20及びG22)の画素値により精鋭度ΔGを計算し、事前に決められた精鋭度閾値Thと比較する。ΔGはThより小さければ、ノイズ削減処理を行う。この場合、図4に示されている平滑度β/αと精鋭度ΔGとの関係、及び、図6に示されている平滑度β/αと画像全体の輝度との関係により、係数αとβの値を決定し、数式2に従って画素Iの補正画素値
[外2]

Figure 2008028447
を計算する。そして、画素Iの補正画素値
[外3]
Figure 2008028447
で画素Iの元の画素値GIを置き換える。また、このような操作を全ての画素に対して繰り返し行う。 First, the pixel values of all the pixels are acquired and stored. Then, predetermined pixels I of the pixel values G I and the predetermined plurality of pixels located around it (e.g., the center pixel G16 shown in FIG. 1 surrounding pixels G10, G12, G20 and G22) pixel values of Then, the sharpness ΔG is calculated and compared with a predetermined sharpness threshold Th. If ΔG is smaller than Th, noise reduction processing is performed. In this case, the coefficient α is determined by the relationship between the smoothness β / α and the sharpness ΔG shown in FIG. 4 and the relationship between the smoothness β / α and the brightness of the entire image shown in FIG. The value of β is determined, and the corrected pixel value of pixel I according to Equation 2
[Outside 2]
Figure 2008028447
Calculate And the corrected pixel value of pixel I
[Outside 3]
Figure 2008028447
In replace the original pixel value G I of the pixel I. Such an operation is repeated for all pixels.

図8は、本実施形態に係る撮像装置の構成図である。   FIG. 8 is a configuration diagram of the imaging apparatus according to the present embodiment.

図8に示すように、この撮像装置は、ベイヤー配列のようなカラー画素配列を有する撮像素子1と、AD変換器2と、画像データ前処理3を行う画像データ前処理部、ノイズ削減処理4を行うノイズ削減処理部、ベイヤー補間処理5を行うベイヤー補間処理部及び画像データ後処理6を行う画像データ後処理部からなる処理ユニット(図示せず)と、この処理ユニットにより処理された画像データを出力する出力ユニット(図示せず)とを有する。   As illustrated in FIG. 8, the imaging apparatus includes an imaging device 1 having a color pixel array such as a Bayer array, an AD converter 2, an image data preprocessing unit that performs image data preprocessing 3, and noise reduction processing 4. A processing unit (not shown) including a noise reduction processing unit for performing image processing, a Bayer interpolation processing unit for performing Bayer interpolation processing 5 and an image data post-processing unit for performing image data post-processing 6, and image data processed by the processing unit Output unit (not shown).

撮像素子1は、受光した光を電気信号に変換し、アナログ光学画像データを得る。AD変換器2は、撮像素子により得られたアナログ光学画像データをデジタル画像データに変換する。AD変換器2により変換されたデジタル信号データに対して、黒レベル調整などの画像データ前処理3を実施した後、前述のノイズ削減方法によるノイズ削減処理4を行う。その後、ベイヤー補間処理5がノイズ削減処理の後で行われ、そして、各種の画像データ後処理6が行われる。最後に、処理ユニットにより処理された画像データは、出力ユニットにより出力される。   The image sensor 1 converts the received light into an electrical signal to obtain analog optical image data. The AD converter 2 converts analog optical image data obtained by the image sensor into digital image data. Image data preprocessing 3 such as black level adjustment is performed on the digital signal data converted by the AD converter 2, and then noise reduction processing 4 by the above-described noise reduction method is performed. Thereafter, a Bayer interpolation process 5 is performed after the noise reduction process, and various image data post-processes 6 are performed. Finally, the image data processed by the processing unit is output by the output unit.

実施形態2
また、前述の数式2を用いて中心画素の補正画素値を計算する際に用いられる画素の数は、五つに限定せず、三つや七つなどの画素数でもよく、その配列も一様に限定されるものではない。また、画素配列は、エッジ検出とローパスフィルタ処理演算とで別々のものを用いることも可能であるし、3原色の画素(赤、緑、青)配列のうち、異なる色でエッジ検出を行い、異なる色でローパスフィルタ処理演算を行うことも可能である。
Embodiment 2
In addition, the number of pixels used when calculating the correction pixel value of the central pixel using the above-described formula 2 is not limited to five, and may be three or seven, and the arrangement is also uniform. It is not limited to. In addition, it is possible to use separate pixel arrays for edge detection and low-pass filter processing, and edge detection is performed with different colors among the three primary color pixel (red, green, blue) arrays, It is also possible to perform low-pass filter processing calculations with different colors.

本実施形態は、エッジ検出に13画素(中心1画素+周囲12画素)の配列を用い、ローパスフィルタ処理に9画素(中心1画素+周囲8画素)の配列を用いる。さらに、R(赤)赤画素、B(青)画素のノイズ削減処理においては、検出にG(緑)画素の配列を用いる。   In the present embodiment, an array of 13 pixels (center 1 pixel + around 12 pixels) is used for edge detection, and an array of 9 pixels (center 1 pixel + around 8 pixels) is used for low-pass filter processing. Furthermore, in the noise reduction processing of R (red) red pixels and B (blue) pixels, an array of G (green) pixels is used for detection.

図9は、本実施形態に係る固体撮像素子のカラー画素配列である。   FIG. 9 is a color pixel array of the solid-state imaging device according to the present embodiment.

図9におけるカラー画像配列は、G(緑)画素ノイズ削減時のエッジ検出用の画素配列である。検出画素を増やすと同時に、高周波(High Frequency:HF)のエッジを検出する部分HF(例えば、G16、G18、G22、G26、G28)と中周波(Midle Frequency:MF)のエッジを検出する部分MF(例えば、G10、G12、G14、G20、G24、G30、G32、G34)とに分けている。それに伴い、精鋭度も高周波部から導いた精鋭度ΔGHと中周波部から導いた精鋭度ΔGMとになり、以下のようになる。   The color image array in FIG. 9 is a pixel array for edge detection when G (green) pixel noise is reduced. A part HF (for example, G16, G18, G22, G26, G28) for detecting a high frequency (High Frequency) edge and a part MF for detecting an edge of a medium frequency (Middle Frequency (MF)) while increasing the number of detection pixels. (For example, G10, G12, G14, G20, G24, G30, G32, G34). Along with this, the sharpness becomes the sharpness ΔGH derived from the high frequency part and the sharpness ΔGM derived from the medium frequency part as follows.

Figure 2008028447
図10は、本実施形態に係る固体撮像素子の他のカラー画素配列である。
Figure 2008028447
FIG. 10 shows another color pixel arrangement of the solid-state imaging device according to the present embodiment.

図10におけるカラー画像配列は、G(緑)画素のローパスフィルタ処理を行う画素配列である。図9と比べて明らかのように、エッジ検出を行う画素配列と配列が異なっている。   The color image array in FIG. 10 is a pixel array that performs low-pass filter processing of G (green) pixels. As apparent from the comparison with FIG. 9, the pixel arrangement for edge detection is different from the arrangement.

そして、この場合の数式2は、次の数式7のようになる。   In this case, Expression 2 is expressed as Expression 7 below.

Figure 2008028447
ここで、α、β、γは、0≦γ≦β≦α≦1及びα≠0の条件を満たす任意の係数である。精鋭度ΔGに対する閾値ThもTh1とTh2(ただし、Th1>Th2とする)を設定し、以下のようにノイズ削減処理を行う。
Figure 2008028447
Here, α, β, and γ are arbitrary coefficients that satisfy the conditions of 0 ≦ γ ≦ β ≦ α ≦ 1 and α ≠ 0. The threshold Th for the sharpness ΔG is also set to Th1 and Th2 (where Th1> Th2), and noise reduction processing is performed as follows.

(1)ΔGH≧Th1の場合
重要なエッジ情報が含まれていると判断し、エッジ保持を優先し、ローパスフィルタ処理は行わない。すなわち、α=1、β=0、γ=0とする。
(1) When ΔGH ≧ Th1 It is determined that important edge information is included, the edge holding is prioritized, and the low-pass filter process is not performed. That is, α = 1, β = 0, and γ = 0.

(2)ΔGH<Th1かつΔGM≧Th2の場合
HF検出部(中心画素のすぐ近傍)にはエッジ情報がないが、MF検出部(中心画素の周囲)にはエッジ情報が存在していると判断し、弱いローパスフィルタ処理を行う。すなわち、γ=0とし、αとβの値は前述のように適応的に変えて処理を行う。
(2) When ΔGH <Th1 and ΔGM ≧ Th2 There is no edge information in the HF detection unit (immediately adjacent to the central pixel), but it is determined that there is edge information in the MF detection unit (around the central pixel). Then, weak low-pass filter processing is performed. That is, processing is performed with γ = 0 and the values of α and β are adaptively changed as described above.

(3)ΔGH<Th1かつΔGM<Th2の場合
エッジ情報がなく、画像の平坦部(低周波部)であると判断し、強いLPF処理を行う。すなわち、α、β、γの3つの係数について、値を前述のように適応的に変えて処理を行う。
(3) When ΔGH <Th1 and ΔGM <Th2 It is determined that there is no edge information and the image is a flat portion (low frequency portion), and strong LPF processing is performed. In other words, the three coefficients α, β, and γ are processed by changing the values adaptively as described above.

同様の操作を赤画素と青画素についても施すことが可能である。   A similar operation can be performed for red pixels and blue pixels.

図11は、本実施形態に係る固体撮像素子の他のカラー画素配列である。   FIG. 11 shows another color pixel arrangement of the solid-state imaging device according to the present embodiment.

図11は、図7における青画素に着目して施した操作に同様に当てはめた場合である。具体的には、R37を中心画素とし、周辺画素にR15、R17、R19、R35、R39、R55、R57、R59として、式2に次の式8のように当てはめる。   FIG. 11 shows a case where the same operation is applied to the operation performed paying attention to the blue pixel in FIG. Specifically, R37 is set as the central pixel, and R15, R17, R19, R35, R39, R55, R57, and R59 are applied to the peripheral pixels, and the following formula 8 is applied to formula 2.

Figure 2008028447
ここで、エッジ検出用の画素配列として緑画素の配列を用いて、HF部にG27、G36、G38、G47を、MF部にG16、G18、G25、G29、G45、G49、G56、G58を設定する。検出用に緑画素を用いる理由は、エッジ検出は輝度の変化を見ており、一番輝度の大きな緑画素の変化を検出した方が、精度が向上するからである。
Figure 2008028447
Here, G27, G36, G38, and G47 are set in the HF section, and G16, G18, G25, G29, G45, G49, G56, and G58 are set in the MF section by using the green pixel array as the pixel array for edge detection. To do. The reason for using a green pixel for detection is that edge detection looks at a change in luminance, and the accuracy is improved when the change in the green pixel having the highest luminance is detected.

図12は、本実施形態に係る固体撮像素子の他のカラー画素配列である。   FIG. 12 shows another color pixel arrangement of the solid-state imaging device according to the present embodiment.

図12は、同様に青画素に着目した場合である。B42を中心画素とし、周辺画素にB20、B22、B24、B40、B44、B60、B62、B64として、式2に次の式9のように当てはめる。   FIG. 12 similarly shows a case where attention is paid to blue pixels. B42 is set as the central pixel, and B20, B22, B24, B40, B44, B60, B62, and B64 are applied to the peripheral pixels, and the following formula 9 is applied to formula 2.

Figure 2008028447
エッジ検出用の画素配列には、同様にして緑画素の配列を用いて、HF部にG32、G41、G43、G52を、MF部にG21、G23、G30、G34、G50、G54、G61、G63を設定する。以降、緑画素のときと同様の処理を行う。
Figure 2008028447
Similarly, for the pixel array for edge detection, an array of green pixels is used, and G32, G41, G43, and G52 are used for the HF part, and G21, G23, G30, G34, G50, G54, G61, and G63 are used for the MF part. Set. Thereafter, the same processing as that for the green pixel is performed.

本実施形態に係る方法は、エッジ検出エリアを広げ、LPF処理を2段階の強度に分けることで、エッジ保持処理とローパスフィルタ処理という相反する処理を、よりバランスよく、より効果的に同時に行うことを可能としている。   In the method according to the present embodiment, the edge detection area is expanded, and the LPF processing is divided into two levels of intensity, so that the conflicting processes of the edge holding process and the low-pass filter process are simultaneously performed in a more balanced and more effective manner. Is possible.

なお、本実施形態に係る撮像装置は、実施形態1に係る撮像装置と同じである。   Note that the imaging apparatus according to the present embodiment is the same as the imaging apparatus according to the first embodiment.

以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の範囲に属する。   The preferred embodiment of the present invention has been described above, but the present invention is not limited to this embodiment, and all modifications to the present invention are within the scope of the present invention unless departing from the spirit of the present invention.

本発明の好適な実施形態に係る固体撮像素子のカラー画素配列である。It is a color pixel arrangement | sequence of the solid-state image sensor which concerns on suitable embodiment of this invention. 精鋭度が低い状態にローパスフィルタをかけた状態を示す概念図である。縦軸方向が画素値(輝度)で、横軸方向が画素値の分布である。It is a conceptual diagram which shows the state which applied the low-pass filter to the state where sharpness is low. The vertical axis direction is the pixel value (luminance), and the horizontal axis direction is the pixel value distribution. 精鋭度が高い状態にローパスフィルタをかけた状態を示す概念図である。縦軸方向が画素値(輝度)で、横軸方向が画素値の分布である。図中の段差部分が画像のエッジを表している。It is a conceptual diagram which shows the state which applied the low-pass filter to the state with high sharpness. The vertical axis direction is the pixel value (luminance), and the horizontal axis direction is the pixel value distribution. The step portion in the figure represents the edge of the image. 精鋭度と平滑度との関係を示す図である。It is a figure which shows the relationship between sharpness and smoothness. 精鋭度の輝度による正規化の必要性を示す概念図である。It is a conceptual diagram which shows the necessity for the normalization by the brightness | luminance of sharpness. 画像全体の輝度と平滑度との関係を示す図である。It is a figure which shows the relationship between the brightness | luminance of the whole image, and smoothness. 本発明の好適な実施形態に係る固体撮像素子の他のカラー画素配列である。It is another color pixel arrangement | sequence of the solid-state image sensor which concerns on suitable embodiment of this invention. 本発明の撮像装置の構成図である。It is a block diagram of the imaging device of this invention. 本発明の他の好適な実施形態に係る固体撮像素子のカラー画素配列である。It is a color pixel arrangement | sequence of the solid-state image sensor which concerns on other preferable embodiment of this invention. 本発明の他の好適な実施形態に係る固体撮像素子のカラー画素配列である。It is a color pixel arrangement | sequence of the solid-state image sensor which concerns on other preferable embodiment of this invention. 本発明の他の好適な実施形態に係る固体撮像素子のカラー画素配列である。It is a color pixel arrangement | sequence of the solid-state image sensor which concerns on other preferable embodiment of this invention. 本発明の他の好適な実施形態に係る固体撮像素子のカラー画素配列である。It is a color pixel arrangement | sequence of the solid-state image sensor which concerns on other preferable embodiment of this invention.

符号の説明Explanation of symbols

G 緑画素
R 赤画素
B 青画素
β/α 平滑度
ΔG 精鋭度
Th 精鋭度の閾値
1 撮像素子
2 AD変換器
3 画像データ前処理
4 ノイズ削減処理
5 ベイヤー補間処理
6 画像データ後処理
G Green pixel R Red pixel B Blue pixel β / α Smoothness ΔG Sharpness
Th Threshold of sharpness 1 Image sensor 2 AD converter 3 Image data preprocessing 4 Noise reduction processing 5 Bayer interpolation processing 6 Image data postprocessing

Claims (8)

カラー画素配列を有する固体撮像素子における画像信号のノイズを削減する方法であって、
前記カラー画素配列の所定位置におけるノイズ削減対象画素を中心画素として選択し、当該中心画素の周囲にある複数の画素を周囲画素として選択する第一の工程と、
前記中心画素の画素値と前記複数の周囲画素のそれぞれの画素値により、前記中心画素の補正画素値を計算する第二の工程と、
前記中心画素のもとの画素値を前記補正画素値に置き換える第三の工程と、
を含む、
カラー画像信号のノイズ削減方法。
A method for reducing noise of an image signal in a solid-state imaging device having a color pixel array,
A first step of selecting a noise reduction target pixel at a predetermined position of the color pixel array as a central pixel and selecting a plurality of pixels around the central pixel as peripheral pixels;
A second step of calculating a correction pixel value of the central pixel from a pixel value of the central pixel and a pixel value of each of the plurality of surrounding pixels;
A third step of replacing the original pixel value of the central pixel with the corrected pixel value;
including,
A noise reduction method for color image signals.
前記第二の工程において、前記中心画素の画素値に第一の係数を乗じた値と、前記複数の周囲画素の画素値の平均値に第二の係数を乗じた値とを加算し、前記補正画素値を得る、
請求項1に記載のカラー画像信号のノイズ削減方法。
In the second step, a value obtained by multiplying a pixel value of the central pixel by a first coefficient and a value obtained by multiplying an average value of pixel values of the plurality of surrounding pixels by a second coefficient are added, To obtain a corrected pixel value,
The color image signal noise reduction method according to claim 1.
前記第一の係数と前記第二の係数は、前記中心画素の画素値と前記複数の周囲画素の画素値により、前記中心画素ごとに決められる、
請求項2に記載のカラー画像信号のノイズ削減方法。
The first coefficient and the second coefficient are determined for each central pixel by a pixel value of the central pixel and pixel values of the plurality of surrounding pixels.
The color image signal noise reduction method according to claim 2.
前記第二の工程において、
前記複数の周囲画素は、第一の周囲画素グループと第二の周囲画素グループを有し、
前記中心画素の画素値に第一の係数を乗じた値と、前記第一の周囲画素グループにおける画素の画素値の平均値に第二の係数を乗じた値と、前記第二の周囲画素グループにおける画素の画素値の平均値に第三の係数を乗じた値とを加算し、前記補正画素値を得る、
請求項1に記載のカラー画像信号のノイズ削減方法。
In the second step,
The plurality of surrounding pixels have a first surrounding pixel group and a second surrounding pixel group;
A value obtained by multiplying a pixel value of the central pixel by a first coefficient, a value obtained by multiplying an average value of pixel values of pixels in the first surrounding pixel group by a second coefficient, and the second surrounding pixel group Adding a value obtained by multiplying the average value of the pixel values of the pixels by a third coefficient to obtain the corrected pixel value;
The color image signal noise reduction method according to claim 1.
前記第一の係数、前記第二の係数及び前記第三の係数は、前記中心画素の画素値、前記第一の周囲画素グループにおける画素の画素値及び前記第二の周囲画素グループにおける画素の画素値により、前記中心画素ごとに決められる、
請求項4に記載のカラー画像信号のノイズ削減方法。
The first coefficient, the second coefficient, and the third coefficient are the pixel value of the central pixel, the pixel value of the pixel in the first surrounding pixel group, and the pixel of the pixel in the second surrounding pixel group. Depending on the value, it is determined for each central pixel,
The noise reduction method for a color image signal according to claim 4.
前記カラー画素配列は、ベイヤー配列である、
請求項1に記載のカラー画像信号のノイズ削減方法。
The color pixel array is a Bayer array.
The color image signal noise reduction method according to claim 1.
前記固体撮像素子は、CMOSイメージセンサを含む、
請求項1に記載のカラー画像信号のノイズ削減方法。
The solid-state imaging device includes a CMOS image sensor,
The color image signal noise reduction method according to claim 1.
カラー画素配列を有する固体撮像素子と、
前記固体撮像素子からのカラー画像信号を処理する信号処理ユニットと、
前記信号処理ユニットにより処理された前記カラー画像信号を出力し、前記カラー画像信号のノイズを削減可能な出力ユニットと、
を有し、
前記信号処理ユニットは、前記カラー画像信号のノイズを削減する際に、
前記カラー画素配列の所定位置におけるノイズ削減対象画素を中心画素として選択し、当該中心画素の周囲にある複数の画素を周囲画素として選択し、
前記中心画素の画素値と前記複数の周囲画素のそれぞれの画素値により、前記中心画素の補正画素値を計算し、
前記中心画素のもとの画素値を前記補正画素値に置き換える、
カラー画像信号のノイズ削減装置。
A solid-state imaging device having a color pixel array;
A signal processing unit for processing a color image signal from the solid-state imaging device;
An output unit capable of outputting the color image signal processed by the signal processing unit and reducing noise of the color image signal;
Have
When the signal processing unit reduces noise of the color image signal,
Selecting a noise reduction target pixel at a predetermined position of the color pixel array as a central pixel, and selecting a plurality of pixels around the central pixel as peripheral pixels;
Based on the pixel value of the central pixel and the pixel values of the plurality of surrounding pixels, the correction pixel value of the central pixel is calculated,
Replacing the original pixel value of the central pixel with the corrected pixel value;
Noise reduction device for color image signals.
JP2006195604A 2006-07-18 2006-07-18 Image signal noise reduction method and apparatus Active JP4919723B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006195604A JP4919723B2 (en) 2006-07-18 2006-07-18 Image signal noise reduction method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006195604A JP4919723B2 (en) 2006-07-18 2006-07-18 Image signal noise reduction method and apparatus

Publications (2)

Publication Number Publication Date
JP2008028447A true JP2008028447A (en) 2008-02-07
JP4919723B2 JP4919723B2 (en) 2012-04-18

Family

ID=39118692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006195604A Active JP4919723B2 (en) 2006-07-18 2006-07-18 Image signal noise reduction method and apparatus

Country Status (1)

Country Link
JP (1) JP4919723B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012117583A1 (en) * 2011-02-28 2012-09-07 富士フイルム株式会社 Color imaging device
CN113365000A (en) * 2020-03-04 2021-09-07 爱思开海力士有限公司 Image sensing apparatus and method of operating the same
CN114679551A (en) * 2020-12-24 2022-06-28 广东京之映科技有限公司 Solid-state imaging device, signal processing method for solid-state imaging device, and electronic apparatus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0686104A (en) * 1992-09-04 1994-03-25 Matsushita Electric Ind Co Ltd Noise reduction device
JP2004054884A (en) * 2002-05-31 2004-02-19 Sanyo Electric Co Ltd Image processing device
JP2005149266A (en) * 2003-11-18 2005-06-09 Olympus Corp Image processing apparatus, image processing method, and image processing program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0686104A (en) * 1992-09-04 1994-03-25 Matsushita Electric Ind Co Ltd Noise reduction device
JP2004054884A (en) * 2002-05-31 2004-02-19 Sanyo Electric Co Ltd Image processing device
JP2005149266A (en) * 2003-11-18 2005-06-09 Olympus Corp Image processing apparatus, image processing method, and image processing program

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012117583A1 (en) * 2011-02-28 2012-09-07 富士フイルム株式会社 Color imaging device
JP5054857B1 (en) * 2011-02-28 2012-10-24 富士フイルム株式会社 Color imaging device
US8531563B2 (en) 2011-02-28 2013-09-10 Fujifilm Corporation Color imaging apparatus
US8704922B2 (en) 2011-02-28 2014-04-22 Fujifilm Corporation Mosaic image processing method
CN113365000A (en) * 2020-03-04 2021-09-07 爱思开海力士有限公司 Image sensing apparatus and method of operating the same
CN114679551A (en) * 2020-12-24 2022-06-28 广东京之映科技有限公司 Solid-state imaging device, signal processing method for solid-state imaging device, and electronic apparatus
CN114679551B (en) * 2020-12-24 2024-01-02 广东京之映科技有限公司 Solid-state imaging device, signal processing method for solid-state imaging device, and electronic apparatus

Also Published As

Publication number Publication date
JP4919723B2 (en) 2012-04-18

Similar Documents

Publication Publication Date Title
US8941762B2 (en) Image processing apparatus and image pickup apparatus using the same
US8849055B2 (en) Image processing apparatus and method
CN102984527A (en) Image processing apparatus, image processing method, information recording medium, and program
JP6538819B2 (en) Image processing apparatus, image processing method and program
JP5541205B2 (en) Image processing apparatus, imaging apparatus, image processing program, and image processing method
JP4066803B2 (en) Image processing apparatus, image processing program, image processing method, and electronic camera
JP5524133B2 (en) Image processing device
JP2008147980A (en) Image processor, image sensing device, method for processing image, program and recording medium
JP2010268426A (en) Image processing apparatus, image processing method, and program
JPH10214339A (en) Picture filtering method
WO2016143134A1 (en) Image processing device, image processing method, and program
JP4919723B2 (en) Image signal noise reduction method and apparatus
JP2005012479A (en) Data processor, image processor, camera, and data processing method
KR100690171B1 (en) Image correction circuit and image correction method
JP7423033B2 (en) Image signal processing method
JP2004007462A (en) Method for correcting digital image against influence of flare light
JP2004133919A (en) Device and method for generating pseudo three-dimensional image, and program and recording medium therefor
JP6957665B2 (en) Image processing equipment, image processing methods and programs
JP2010178226A (en) Imaging apparatus, chromatic aberration suppressing method, and chromatic aberration suppressing circuit, and program
JP2006237686A (en) Imaging apparatus
JP6889336B2 (en) Image demosaic processing system and method
JP6115410B2 (en) Image processing apparatus and image processing method
JP7277156B2 (en) IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM
JP2004005424A (en) Signal processor for reducing noise of image signal, signal processing program and signal processing method
KR101872015B1 (en) Apparatus and method for generating infrared image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090721

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110621

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110907

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120131

R150 Certificate of patent or registration of utility model

Ref document number: 4919723

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150210

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250