JP2010098442A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2010098442A JP2010098442A JP2008266457A JP2008266457A JP2010098442A JP 2010098442 A JP2010098442 A JP 2010098442A JP 2008266457 A JP2008266457 A JP 2008266457A JP 2008266457 A JP2008266457 A JP 2008266457A JP 2010098442 A JP2010098442 A JP 2010098442A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- noise component
- mode
- unit
- extraction unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、例えば、デジタルスチルカメラ、カムコーダに適用される、撮像装置に関する。 The present invention relates to an imaging apparatus applied to, for example, a digital still camera and a camcorder.
近年、デジタルスチルカメラやカムコーダに代表される撮像装置には、CCD(Charge Coupled Device)イメージセンサ(以下、CCDと称する)や、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ(以下、CMOSと称する)に代表される固体撮像素子が搭載されているが、これらの固体撮像素子の有効画素領域から出力される被写体像(以下、撮影画像と称する)には、固体撮像素子のカラム方向に沿った縦筋状の固定パターンノイズ(以下、縦筋ノイズと称する)が発生することが知られている。なお、縦筋ノイズは、CCDにおけるVキズ、CMOSにおけるカラムノイズ、カラムFPN(Fixed Pattern Noise)と表現されることもある。 In recent years, imaging devices represented by digital still cameras and camcorders include CCD (Charge Coupled Device) image sensors (hereinafter referred to as CCD) and CMOS (Complementary Metal Oxide Semiconductor) image sensors (hereinafter referred to as CMOS). A representative solid-state image sensor is mounted, but a subject image (hereinafter referred to as a photographed image) output from an effective pixel area of these solid-state image sensors has vertical stripes along the column direction of the solid-state image sensor. It is known that a fixed pattern noise (hereinafter referred to as vertical stripe noise) occurs. The vertical stripe noise may be expressed as V scratch in CCD, column noise in CMOS, or column FPN (Fixed Pattern Noise).
このような縦筋ノイズ成分を除去する方法として、固体撮像素子の欠陥ラインのアドレスを記憶しておき、欠陥ラインのアドレスに従ってCCDの縦筋ノイズ成分を除去する方法が知られており(例えば、特許文献1参照)、同様に、CMOSにおける縦筋ノイズ成分を除去する方法も知られている(例えば、特許文献2参照)。 As a method of removing such vertical stripe noise component, a method of storing the address of the defective line of the solid-state imaging device and removing the vertical stripe noise component of the CCD according to the address of the defective line is known (for example, Similarly, a method of removing a vertical stripe noise component in a CMOS is also known (see, for example, Patent Document 2).
このほか、遮光した固体撮像素子の領域にも縦筋ノイズ成分が発生することを利用して、固体撮像素子の遮光した領域から出力される画像(以下、遮光画像と称する)から、固体撮像素子が備えるキャパシタをリセット操作することにより縦筋ノイズ成分を抽出し、撮影画像を用いて相関二重サンプリング(Correllated Double Sampling)(以下、CDSと称する)を行い、撮影画像から縦筋ノイズ成分を除去する方法が知られている。 In addition, by utilizing the fact that vertical streak noise components are also generated in the area of the solid-state image sensor that is shielded from light, an image output from the light-shielded area of the solid-state image sensor (hereinafter referred to as a light-shielded image) is used. The vertical streak noise component is extracted by resetting the capacitor included in the image, and correlated double sampling (hereinafter referred to as CDS) is performed using the captured image, and the vertical streak noise component is removed from the captured image. How to do is known.
遮光画像から縦筋ノイズ成分を抽出する場合は、例えばアルミ薄膜等により固体撮像素子に、光を当たらないよう遮光処理を施した光学的ブラック(Optical Black)領域(以下、OB領域と称する)を予め設けておき、OB領域から縦筋ノイズ成分を抽出しておくことで、撮影画像から縦筋ノイズ成分を除去する方法が知られている。また、被写体を撮影する前に予めシャッターを閉じておき、固体撮像素子を遮光した状況下で遮光画像を撮影し、その遮光画像から縦筋ノイズ成分を抽出しておくことで、撮影画像から縦筋ノイズ成分を除去する方法も知られている。 When extracting vertical stripe noise components from a light-shielded image, an optical black region (hereinafter referred to as an OB region) in which a solid-state image sensor is subjected to a light-shielding process so as not to be exposed to light, for example, by an aluminum thin film or the like. A method of removing a vertical stripe noise component from a captured image by providing a vertical stripe noise component from the OB area in advance is known. Also, before shooting the subject, the shutter is closed in advance, a light-shielded image is taken in a situation where the solid-state image sensor is shielded from light, and the vertical streak noise component is extracted from the light-shielded image. A method for removing the streak noise component is also known.
また、固体撮像素子の画素ばらつき等に起因するランダムノイズ成分が、遮光画像に含まれている場合は、複数の撮影フレームを用いてランダムノイズを時間的に平均化してから縦筋ノイズ成分を抽出する方法が知られているが、時間的に平均化することで縦筋ノイズ成分の抽出に時間を要してしまうという欠点があった。このことを解決するため、従来技術(例えば、特許文献3参照)では、IIR(Infinite Impulse Response)フィルタの帰還係数を変化させることにより、フィルタ計算を早く収束させることで、縦筋ノイズ成分を抽出する方法が示されている。
しかしながら、特許文献3に示された方法では、フィルタ計算の途中でIIRフィルタの帰還係数を変更することにより、縦筋ノイズ成分を抽出する時間を短縮することには成功しているものの、この方法では完全にフィルタ計算を収束させることができないため、精度が悪い縦筋ノイズ成分を撮影画像から除去することになり、本来のノイズ除去効果が得られないという問題があった。さらに、複数の撮影フレームを用いてランダムノイズを時間的に平均化してから縦筋ノイズ成分を抽出する方法は、ランダムノイズの平均化に時間を要するため、連写撮影の高速化が困難になるという問題もあった。 However, although the method disclosed in Patent Document 3 has succeeded in reducing the time for extracting the vertical streak noise component by changing the feedback coefficient of the IIR filter in the middle of the filter calculation, However, since the filter calculation cannot be completely converged, the vertical stripe noise component with poor accuracy is removed from the photographed image, and the original noise removal effect cannot be obtained. Furthermore, the method of extracting vertical stripe noise components after temporally averaging random noise using a plurality of shooting frames requires time to average random noise, so that it is difficult to speed up continuous shooting. There was also a problem.
本発明は前記の諸点に鑑みてなされたものであり、固体撮像素子に発生する縦筋ノイズ成分を遮光画像から高速に精度よく抽出し、撮影画像から縦筋ノイズ成分を高速に精度よく除去する撮像装置を提供することを目的としている。 The present invention has been made in view of the above-described points, and extracts a vertical stripe noise component generated in a solid-state imaging device with high accuracy at high speed from a light-shielded image, and removes a vertical stripe noise component from a captured image with high accuracy at high speed. An object is to provide an imaging device.
本発明は、固体撮像素子と、前記固体撮像素子の遮光された領域から出力される遮光画像データからノイズ成分を抽出するノイズ成分抽出部と、前記固体撮像素子の遮光されていない領域から出力される撮影画像データから前記ノイズ成分を減算する処理を行うノイズ減算部と、を備え、前記ノイズ成分抽出部は、前記遮光画像データに初期化係数を乗算する初期化係数乗算部と、累積値を記憶する記憶部と、前記記憶部に記憶されている累積値に帰還係数を乗算する帰還係数乗算部と、加算部と、を備え、前記遮光画像データに前記初期化係数を乗算した値に、前記記憶部から取得した累積値を前記加算部が加算し、当該加算結果を新たな累積値として前記記憶部に記憶する第1のモードを実行することで、前記記憶部に累積値の初期値を記憶させ、次に、前記遮光画像データに、前記記憶部から取得した累積値に前記帰還係数を乗算した値を前記加算部が加算し、当該加算結果を新たな累積値として前記記憶部に記憶する第2のモードを実行する、ことを特徴とする撮像装置である。 The present invention provides a solid-state image sensor, a noise component extraction unit that extracts a noise component from light-shielded image data output from a light-shielded region of the solid-state image sensor, and a non-light-shielded region of the solid-state image sensor. A noise subtractor that performs a process of subtracting the noise component from the captured image data. The noise component extractor includes an initialization coefficient multiplier that multiplies the shading image data by an initialization coefficient, and a cumulative value. A storage unit for storing, a feedback coefficient multiplication unit for multiplying a cumulative value stored in the storage unit by a feedback coefficient, and an addition unit, and a value obtained by multiplying the shading image data by the initialization coefficient, The addition unit adds the accumulated value acquired from the storage unit, and executes the first mode in which the addition result is stored in the storage unit as a new accumulated value, whereby the initial value of the accumulated value is stored in the storage unit. The Next, the adding unit adds a value obtained by multiplying the accumulated value acquired from the storage unit by the feedback coefficient to the shading image data, and stores the addition result as a new accumulated value in the storage unit. The imaging device is characterized in that the second mode is executed.
また本発明は、前記第1のモードにおいて、前記ノイズ成分抽出部は、前記遮光画像データのライン本数と前記初期化係数との積と、前記帰還係数により算出されるフィルタ増幅率と、が等しくなるよう前記累積値を初期化することを特徴とする撮像装置である。 According to the present invention, in the first mode, the noise component extraction unit is configured such that a product of the number of lines of the shaded image data and the initialization coefficient is equal to a filter amplification factor calculated by the feedback coefficient. The cumulative value is initialized so that the image pickup apparatus has the following characteristics.
また本発明は、前記ノイズ成分抽出部は、前記遮光画像データの水平方向における平均値を算出する水平平均値算出部を備え、前記第1のモードにおいて、前記水平平均値算出部で算出した平均値を用いて前記累積加算処理を実行することを特徴とする撮像装置である。 Further, in the present invention, the noise component extraction unit includes a horizontal average value calculation unit that calculates an average value in the horizontal direction of the light-shielded image data, and the average calculated by the horizontal average value calculation unit in the first mode. An image pickup apparatus that performs the cumulative addition process using a value.
また本発明は、前記ノイズ成分抽出部は、前記第1のモードを実行し、前記第2のモードの実行を省略し、前記ノイズ減算部は、前記撮影画像データから前記ノイズ成分を減算する処理を行うことを特徴とする撮像装置である。 In the present invention, the noise component extraction unit executes the first mode, omits the execution of the second mode, and the noise subtraction unit subtracts the noise component from the captured image data. It is an imaging device characterized by performing.
また本発明は、前記ノイズ成分抽出部は、前記遮光画像データに対して前記第1のモードを実行し、以降に取得した前記遮光画像データに対して前記第2のモードを実行し、前記ノイズ減算部は、前記撮影画像データから前記ノイズ成分を減算する処理を行うことを特徴とする撮像装置である。 According to the present invention, the noise component extraction unit executes the first mode for the shading image data, executes the second mode for the shading image data acquired thereafter, and the noise. The subtracting unit is an imaging apparatus that performs a process of subtracting the noise component from the captured image data.
また本発明は、前記第2のモードにおいて用いる前記以降に取得した前記遮光画像データのライン本数が、前記第1のモードにおいて用いる前記遮光画像データのライン本数よりも、少ないことを特徴とする撮像装置である。 According to the present invention, the number of lines of the shading image data acquired after that used in the second mode is smaller than the number of lines of the shading image data used in the first mode. Device.
本発明によれば、撮像装置が、第1のモードにおいてIIRフィルタのフィルタ増幅率を考慮した初期化を行い、第2のモードへと移行するため、遮光画像から取得されるライン数が少ない場合であっても、縦筋ノイズ成分を遮光画像から精度よく高速に抽出することができ、撮影画像から縦筋ノイズ成分を高速に精度よく除去することで、良好な撮影画像を高速に得ることができる。 According to the present invention, when the imaging apparatus performs initialization in consideration of the filter amplification factor of the IIR filter in the first mode and shifts to the second mode, the number of lines acquired from the light-shielded image is small. Even so, the vertical streak noise component can be extracted from the light-shielded image with high accuracy and at high speed, and by removing the vertical streak noise component from the captured image with high speed and accuracy, a good captured image can be obtained at high speed. it can.
次に、本発明の実施の形態について図面を参照して詳細に説明する。図1は、本実施の一形態による撮像装置のブロック図である。図1において撮像装置は、光学レンズ101と、絞り102と、シャッター103と、固体撮像素子104と、縦筋ノイズ補正部105と、前処理部106と、画像処理部107と、表示IF(InterFace)部108と、表示パネル109と、カードIF(InterFace)部110と、記録メディア111と、データバス112と、メモリコントローラ113と、メモリ114と、CPU(Central Processing Unit)115と、を備える。
Next, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram of an imaging apparatus according to the present embodiment. 1, the imaging apparatus includes an optical lens 101, a diaphragm 102, a shutter 103, a solid-
光学レンズ101は、被写体からの入射光を屈折させる。絞り102は入射光の一部を通し、被写体からの入射光を固体撮像素子104に投影させる。これにより被写体像は固体撮像素子104に結像される。また、シャッター103が開いている場合、入射光は固体撮像素子104に投影されるが、シャッター103が閉まっている場合は、入射光を遮ることができ、固体撮像素子104に遮光画像を作り出すことができる。固体撮像素子104は、例えば、CCD、CMOSにより実現される。
The optical lens 101 refracts incident light from a subject. The diaphragm 102 passes a part of the incident light and projects the incident light from the subject onto the solid-
縦筋ノイズ補正部105は、縦筋ノイズ減算部140と、縦筋ノイズ成分抽出部150と、を備える。縦筋ノイズ成分抽出部150は、固体撮像素子104から、遮光画像を取得し、遮光画像から縦筋ノイズ成分を抽出する。縦筋ノイズ減算部140は、抽出された縦筋ノイズ成分を撮影画像から減算することで、撮影画像から縦筋ノイズ成分を除去する。
The vertical stripe
図2は、OB領域を設けている場合の固体撮像素子104を示す。OB領域からは、縦筋ノイズ成分を抽出するための遮光画像が1ライン毎に縦筋ノイズ成分抽出部150に出力され、有効領域202からは、撮影画像が1ライン毎に縦筋ノイズ減算部140に出力される。なお、OB領域は必ずしも図2に示された配置に限られる必要はなく、例えば、有効領域202の上に配置(OB領域201)、有効領域202の下に配置(OB領域203)、有効領域202の上下に配置(OB領域201とOB領域203)してもよい。したがって、縦筋ノイズ成分抽出部150は、OB領域201若しくはOB領域203、又はその両方のOB領域から出力された遮光画像を用いて、縦筋ノイズ成分を抽出することができる。
FIG. 2 shows the solid-
また、固体撮像素子104にOB領域を設けていない場合は、CPU115がシャッター103を閉じることで、入射光が遮光された有効領域202を、OB領域として使用することができる。シャッター103が閉じられている場合、縦筋ノイズ成分抽出部150は、シャッター103により遮光された有効領域202から画素の並び1ライン毎に出力された遮光画像を用いて、縦筋ノイズ成分を抽出することができる。また、CPU115がシャッター103を開くことで、入射光を有効領域202に投影させれば、縦筋ノイズ減算部140は、有効領域202から画素の並び1ライン毎に撮影画像を取得することが出来る。
When the OB area is not provided in the solid-
したがって、OB領域を設けている固体撮像素子104を用いる場合は、同時に撮影した遮光画像と撮影画像により、縦筋ノイズ減算部140が、抽出された縦筋ノイズ成分を、被写体像から減算することで、被写体像から縦筋ノイズ成分を除去する。シャッター103が閉じられることで有効領域202から出力される遮光画像を用いる場合は、まずシャッター103により遮光された有効領域202から遮光画像を取得し、次に、シャッター103を開いて、有効領域202から撮影画像を取得する。これにより、縦筋ノイズ減算部140は、抽出された縦筋ノイズ成分を被写体像から減算することで、被写体像から縦筋ノイズ成分を除去する。なお、OB領域を設けている固体撮像素子104を用いる場合でも、シャッター103により遮光された有効領域202から遮光画像を取得するようにしてもよい。
Therefore, when using the solid-
さらに縦筋ノイズ減算部140は、撮影画像の全体に対して縦筋ノイズ成分を減算する処理を行っても良いが、撮影画像の一部分に対して縦筋ノイズ成分を減算する処理を行うとしても良い。例えば、固体撮像素子104において縦筋ノイズ成分のレベルが大きい座標(カラム)に対して特に減算処理を行うとしても良く、あるいは固体撮像素子104において予め縦筋ノイズ成分のレベルが大きい座標(カラム)を決め、縦筋ノイズ成分を減算する処理を施すとしても良い。CMOSの場合は、列(カラム)方向の特性のばらつきは列(カラム)全体に発生する傾向にある為、列(カラム)全体に対して縦筋ノイズ成分を減算する処理を行うとしても良い。またCCDの場合は、垂直CCDの欠陥により特定の列(カラム)に縦筋ノイズ成分が発生する傾向にある為、特定の列(カラム)のみに対して縦筋ノイズ成分を減算する処理を行うとしても良い。
Further, the vertical streak
図3に、縦筋ノイズ成分抽出部150を示す。縦筋ノイズ成分150は、初期化係数乗算器151と、セレクタ(以下、SELと称する)152と、累積加算器153と、SEL156と、帰還係数乗算器155と、ラインバッファ154と、補正係数乗算器157と、動作モード切替部158と、を備える。動作モード切替部158は、入力された遮光画像データのライン数をカウントし、SEL152と、SEL156と、を用いて縦筋ノイズ成分抽出部150の動作モードである、累積加算モードと、IIRフィルタモードと、補正モードと、を切り替える。動作モードの詳細については後述する。
FIG. 3 shows the vertical stripe noise
初期化係数乗算器151は、固体撮像素子104から取得した遮光画像データに対して、初期化係数Kxを乗算する。ここで初期化係数Kxは、フィルタ計算の初期値に用いられる係数である。SEL152は、動作モード切替部158の制御により遮光画像データの流れを切り替えるセレクタである。累積加算器153は、遮光画像データを累積加算し、ラインバッファ154に出力する。累積加算モード動作開始前におけるラインバッファ154には、例として値0が記憶されているものとする。ラインバッファ154には、累積加算器153により累積加算された遮光画像データが記憶される。なお、ラインバッファ154を複数とし、複数ライン(カラム)分の遮光画像データを記憶させるようにしてもよい。
The initialization coefficient multiplier 151 multiplies the shading image data acquired from the solid-
帰還係数乗算器155は、ラインバッファ154に記憶されている累積加算された遮光画像データに帰還係数Kyを乗算する。SEL156は、動作モード切替部158の制御に基づいて画像データの流れを切り替えるセレクタである。補正係数乗算器157は、ラインバッファ154に記憶されている累積加算された遮光画像データに補正係数Kzを乗算する。
The feedback coefficient multiplier 155 multiplies the cumulatively added shading image data stored in the
図4に、図3に示す縦筋ノイズ成分抽出部150における遮光画像データと撮影画像データの流れを動作モード別に示す。縦筋ノイズ成分抽出部150の動作モードには、累積加算モードと、IIRフィルタモードと、補正モードと、がある。縦筋ノイズ成分抽出部150に遮光画像データが入力されると、縦筋ノイズ成分抽出部150は、まず累積加算モードにて動作を行う。図4(A)に累積加算モードにおける遮光画像データの流れを示す。SEL152とSEL156は、動作モード切替部158の制御により、累積加算モードを実行するよう、縦筋ノイズ成分抽出部150のデータの流れを切り替える。
FIG. 4 shows the flow of shaded image data and captured image data in the vertical streak noise
固体撮像素子104から縦筋ノイズ成分抽出部150に入力された遮光画像データは、初期化係数乗算器151により初期化係数Kxが乗算され、SEL152を経由して累積加算器153に入力される。累積加算器153は、入力された遮光画像データに初期化係数Kxを乗算した遮光画像データと、ラインバッファ154から取得した前回までに累積加算された遮光画像データと、を加算して、今回累積加算した遮光画像データとしてラインバッファ154に記憶させる。
The shading image data input from the solid-
縦筋ノイズ成分抽出部150が累積加算モードで動作する場合、n本(nは1以上の整数)のラインを累積加算した遮光画像データSnは[数1]で表される。ここで、Dnはn本目のラインの遮光画像データ、Kxは初期化係数、である。
When the vertical streak noise
縦筋ノイズ成分抽出部150が累積加算モードで動作する場合、縦筋ノイズ成分抽出部150は、入力された遮光画像データに初期化係数Kxを乗じて累積加算を繰り返すことで、[数1]のSnで示される値をラインバッファ154に記憶させる。
When the vertical streak noise
[数2]に、遮光画像のn本のラインを累積加算した場合の、入力データに対する累積値の増幅度を示す。すなわち累積値の増幅度は、入力された遮光画像データのラインn本を累積加算した場合に、遮光画像データの累積値がどれだけ増幅するかを示している。 [Equation 2] shows the degree of amplification of the cumulative value with respect to the input data when the n lines of the light-shielded image are cumulatively added. That is, the degree of amplification of the accumulated value indicates how much the accumulated value of the light-shielded image data is amplified when n lines of input light-shielded image data are cumulatively added.
次に、動作モード切替部158は、遮光画像データが何ライン入力されたかをカウントしておき、そのカウント値が所定のライン数に達すると、SEL152と、SEL156と、を切り替えることで、縦筋ノイズ成分抽出部150をIIRフィルタモードに切り替える。
Next, the operation
IIRフィルタモードでは、縦筋ノイズ成分抽出部150は、ラインバッファ154に記憶された遮光画像データに帰還係数Kyを乗算し、これを入力された遮光画像データに加算するIIRフィルタとして動作する。なお、IIRフィルタモードとして動作するまでに行っていた累積加算モードの動作によってラインバッファ154に記憶されていた遮光画像データは、IIRフィルタモードの動作を開始する際のラインバッファ154の初期値として、そのまま引き継がれるものとする。
In the IIR filter mode, the vertical streak noise
図4(B)にIIRフィルタモードにおける遮光画像データの流れを示す。縦筋ノイズ成分抽出部150に入力された遮光画像は、SEL152を経由して累積加算器153に入力される。累積加算器153は、帰還係数乗算器155によって帰還係数Kyが乗算された前回までに累積加算された遮光画像データに、入力された遮光画像データを加算して、今回累積加算した遮光画像データとしてラインバッファ154に記憶させる。
FIG. 4B shows the flow of shaded image data in the IIR filter mode. The shaded image input to the vertical streak noise
縦筋ノイズ成分抽出部150がIIRフィルタモードで動作する場合、n本のラインを累積加算した遮光画像データSnは[数3]で表される。ここで、Dnはn本目のラインの遮光画像データ、Kyは帰還係数(0<Ky<1)、である。
When the vertical streak noise
縦筋ノイズ成分抽出部150がIIRフィルタモードで動作する場合、縦筋ノイズ成分抽出部150は、n本目のラインの遮光画像データが入力された際、前回までに入力された(n−1)本のラインを累積加算した遮光画像データSn−1に帰還係数Kyを乗算して、これに今回入力されたn本目のラインの遮光画像データDnを加算することで、垂直IIRフィルタとして動作し、[数3]のSnをラインバッファ154に記憶させる。
When the vertical streak noise
[数4]に、n本のラインの遮光画像データを累積加算した場合の、入力された遮光画像データに対するフィルタ増幅率を示す。ここでフィルタ増幅率は、入力された遮光画像データがIIRフィルタによりどれだけ増幅するか、を示している。 [Equation 4] shows the filter amplification factor for the input light-shielded image data when the light-shielded image data of n lines is cumulatively added. Here, the filter amplification factor indicates how much the input shaded image data is amplified by the IIR filter.
また、nが無限大の場合は[数4]は[数5]と一致する。例えば、帰還係数Ky=63/64である場合、フィルタ増幅率は[数5]により64になる。 Further, when n is infinite, [Equation 4] matches [Equation 5]. For example, when the feedback coefficient Ky = 63/64, the filter amplification factor becomes 64 according to [Equation 5].
帰還係数Kyの(n−1)乗を、遮光画像データをIIRフィルタモードで累積加算する際のn本目のラインに対するゲインと呼ぶ。すなわち図4(B)、[数3]に示されるように、遮光画像データDnが入力された際に、前回の入力までにラインバッファ154に累積された(n−1)本のラインの累積値Sn−1に帰還係数Kyが乗算され、今回入力された遮光画像データDnと乗算結果が累積加算器153によって加算され、ラインバッファ154にSnとして入力されるため、遮光画像データをIIRフィルタモードで累積加算する際のn本目のラインに対するゲインは、帰還係数Kyの(n−1)乗となる。
The (n−1) th power of the feedback coefficient Ky is referred to as a gain for the nth line when the light-shielded image data is cumulatively added in the IIR filter mode. That is, as shown in FIG. 4B, [Equation 3], when the light-shielded image data Dn is input, the (n-1) lines accumulated in the
したがって、フィルタ計算においてゲインとは重み付けであり、ゲインの大きいラインはノイズ成分減算への影響度が大きい。図5と図6に、累積加算モードからIIRフィルタ動作モードに切り替えた場合の、累積加算ライン本数とゲインとの関係を示す。図5と図6で累積加算ライン本数は、累積加算モードと、累積加算モードの次に実行されるIIRフィルタモードと、において累積加算器153により加算されるラインの本数である。 Therefore, gain is weighting in filter calculation, and a line having a large gain has a large influence on noise component subtraction. FIG. 5 and FIG. 6 show the relationship between the number of cumulative addition lines and the gain when the cumulative addition mode is switched to the IIR filter operation mode. In FIGS. 5 and 6, the cumulative number of added lines is the number of lines added by the cumulative adder 153 in the cumulative addition mode and the IIR filter mode executed next to the cumulative addition mode.
例として、計算条件を図5(F)に示す、初期化係数Kx=1、帰還係数Ky=63/64、初期化ライン数=(フィルタ増幅率)/(初期化係数Kx)=(1/(1−Ky))/Kx=64とした場合の、累積加算ライン本数(横軸)と、ゲイン(縦軸)との関係を、図5の(A)から(E)に示す。ここで初期化ライン数は、累積加算モードにおいて累積するラインの本数を示す。すなわち「初期化」とは、縦筋ノイズ成分抽出部150が、累積加算モードによる累積加算を実行することにより、ラインバッファ154の初期値を決めることであり、「初期化あり」とは、縦筋ノイズ成分抽出部150が累積加算モードによる累積加算を実行した後にIIRフィルタ動作に移行したことを意味し、「初期化なし」とは、縦筋ノイズ成分抽出部150が累積加算モードによる累積加算を実行せずにIIRフィルタ動作に移行したことを意味する。図5と図6では「初期化あり」と「初期化なし」の場合を容易に比較するため、無限本数のラインを累積加算した場合のライン毎のゲインを破線で示している。
As an example, the calculation conditions shown in FIG. 5F are the initialization coefficient Kx = 1, the feedback coefficient Ky = 63/64, the number of initialization lines = (filter amplification factor) / (initialization coefficient Kx) = (1 / The relationship between the cumulative number of added lines (horizontal axis) and the gain (vertical axis) when (1-Ky)) / Kx = 64 is shown in FIGS. Here, the number of initialized lines indicates the number of lines accumulated in the cumulative addition mode. That is, “initialization” means that the vertical streak noise
図5(A)は、累積加算モードによる初期化が完了した状態での累積加算ライン本数とゲインとの関係を示す。初期化係数Kx=1を高さとし、初期化ライン数=64を底辺とする長方形で示される網掛け部分の面積は64であり、[数2]に初期化係数Kx=1、n=64を代入しても面積が得られる。すなわち、図5(A)の網掛け部分の面積は入力データに対する累積値の増幅度であり、初期化が完了した状態でラインバッファ154に記憶されているSnを示す。
FIG. 5A shows the relationship between the number of cumulative addition lines and the gain in the state where the initialization in the cumulative addition mode is completed. The area of the shaded portion indicated by the rectangle with the initialization coefficient Kx = 1 as the height and the number of initialization lines = 64 as the base is 64, and the initialization coefficient Kx = 1 and n = 64 in [Equation 2]. The area can also be obtained by substituting. That is, the area of the shaded portion in FIG. 5A is the degree of amplification of the cumulative value with respect to the input data, and indicates Sn stored in the
図5(B)は、縦筋ノイズ成分抽出部150がIIRフィルタモードに移行し、遮光画像データを累積加算している状態であり、50本目まで遮光画像データを累積加算した場合の累積加算ライン本数とゲインとの関係を示す。網掛け部分400は、IIRフィルタモードで入力された遮光画像データのライン毎のゲインを示す領域であり、縦筋ノイズ成分抽出部150に遮光画像データが入力される毎に、前回までにラインバッファ154に記憶された累積値に帰還係数Ky=63/64が乗算されるため、ライン毎のゲインは網掛け部分400に示される勾配をもつ。また網掛け部分400の面積は、[数4]にn=50を代入することで計算され、約35となる。
FIG. 5B shows a state in which the vertical streak noise
網掛け部分401は、累積加算モードで決まったラインバッファ154の初期値が、IIRフィルタモードにおいてライン毎に有しているゲインを示す領域である。累積加算モードで決まったラインバッファ154の初期値を使ってIIRフィルタモードを開始することを考慮すると、ラインバッファ154の初期値に対してはIIRフィルタモードにおける1本目の遮光画像データ入力から帰還係数Ky=63/64が乗算される。したがって、網掛け部分の面積は、IIRフィルタモードにおいて50本目まで遮光画像データを累積加算した場合、ゲイン(帰還係数Ky=(63/64)の50乗)を高さとし、初期化ライン数(64本)を網掛け部分の底辺とする長方形の面積で示され、約29となるので、網掛け部分400の面積と網掛け部分401の面積を合計すると、64となる。
A shaded
図5(C)は、同様に100本目まで遮光画像データを累積加算した場合の累積加算ライン本数とゲインとの関係を示し、図5(D)は、同様に150本目まで遮光画像データを累積加算した場合の累積加算ライン本数とゲインとの関係を示す。またそれぞれの網掛け部分の面積は同様に64である。 FIG. 5C shows the relationship between the cumulative number of added lines and gain when the shading image data is cumulatively added up to the 100th line, and FIG. 5D similarly shows the cumulative shading image data up to the 150th line. The relationship between the number of cumulative addition lines and the gain when added is shown. Similarly, the area of each shaded portion is 64.
図5(E)は、無限本目まで遮光画像データを累積加算した場合の累積加算ライン本数とゲインとの関係である。網掛け部分の面積は、帰還係数Ky=63/64を[数5]に代入することにより64と判る。 FIG. 5E shows the relationship between the cumulative number of added lines and the gain when the shading image data is cumulatively added up to the infinite number. The area of the shaded portion is found to be 64 by substituting the feedback coefficient Ky = 63/64 into [Equation 5].
同様に、計算条件を図6(F)に示す、初期化係数Kx=2、帰還係数Ky=63/64、初期化ライン数=(フィルタ増幅率)/(初期化係数Kx)=(1/(1−Ky))/Kx=32とした場合の、累積加算ライン本数(横軸)と、ゲイン(縦軸)との関係を、図6の(A)から(E)に示す。 Similarly, the calculation conditions are shown in FIG. 6F. The initialization coefficient Kx = 2, the feedback coefficient Ky = 63/64, the number of initialization lines = (filter amplification factor) / (initialization coefficient Kx) = (1 / The relationship between the cumulative number of added lines (horizontal axis) and the gain (vertical axis) when (1-Ky)) / Kx = 32 is shown in FIGS.
図6(A)は、累積加算モードによる初期化が完了した状態での累積加算ライン本数とゲインとの関係を示す。例として、初期化ライン数=32の遮光画像データが、初期化係数Kx=2で入力された場合を示しているため、初期化係数Kx=2を高さとし、初期化ライン数を底辺とする長方形で示される網掛け部分の面積は64となっている。すなわち、初期化ライン数を図5(A)の場合よりも少ない32本として、累積に必要な時間を短くする代わりに、初期化係数Kxを2とすることで、ラインバッファ154の初期値を64としている。
FIG. 6A shows the relationship between the number of cumulative addition lines and the gain in the state where the initialization in the cumulative addition mode is completed. As an example, since the shading image data with the number of initialization lines = 32 is input with the initialization coefficient Kx = 2, the initialization coefficient Kx = 2 is the height, and the number of initialization lines is the base. The area of the shaded portion indicated by a rectangle is 64. That is, the number of initialization lines is set to 32, which is smaller than that in the case of FIG. 5A, and instead of shortening the time required for accumulation, the initialization coefficient Kx is set to 2 so that the initial value of the
図6(B)は、縦筋ノイズ成分抽出部150がIIRフィルタモードに移行し遮光画像データを累積加算する途中の状態であり、50本目まで遮光画像データを累積加算した場合の累積加算ライン本数とゲインとの関係を示す。図5(B)の場合と同様の計算により、網掛け部分の面積は、64となる。
FIG. 6B shows a state in which the vertical streak noise
図6(C)は、同様に100本目まで遮光画像データを累積加算した場合の累積加算ライン本数とゲインとの関係を示し、図6(D)は、同様に150本目まで遮光画像データを累積加算した場合の累積加算ライン本数とゲインとの関係を示す。またそれぞれの網掛け部分の面積は同様に64である。 FIG. 6C shows the relationship between the number of accumulated addition lines and the gain when the shading image data is cumulatively added up to the 100th, and FIG. 6D similarly shows the cumulative shading image data up to the 150th. The relationship between the number of cumulative addition lines and the gain when added is shown. Similarly, the area of each shaded portion is 64.
図6(E)は、無限本目まで遮光画像データを累積加算した場合の累積加算ライン本数とゲインとの関係である。網掛け部分の面積は、帰還係数Ky=63/64を[数5]に代入することにより64と判る。 FIG. 6E shows the relationship between the cumulative number of added lines and the gain when the shading image data is cumulatively added up to the infinite number. The area of the shaded portion is found to be 64 by substituting the feedback coefficient Ky = 63/64 into [Equation 5].
したがって、図5(A)から(E)のそれぞれの網掛け部分面積は等しい。図6についても、同様である。すなわち、縦筋ノイズ成分抽出部150は、累積加算モードにより初期化を行ってから(図5(A)、図6(A))IIRフィルタモードへと移行することで((図5(B)、図6(B)))、遮光画像データの累積加算を少ないライン数で止めたとしても(例えば、図5(C)、図6(C))、無限本のライン数をIIRフィルタモードで動作させた場合と同じフィルタ増幅率(図5、図6のそれぞれの網掛け部分の面積)を用いて縦筋ノイズ成分を抽出する計算を行うことができるため、遮光画像データから縦筋ノイズ成分を高い精度で抽出することができる。
Therefore, the shaded areas of FIGS. 5A to 5E are equal. The same applies to FIG. That is, the vertical streak noise
また、縦筋ノイズ成分抽出部150は遮光画像データの累積加算を少ないライン数で止めた場合、フィルタ計算に時間を要することなく縦筋ノイズ成分を高速に抽出することができる。なお、IIRフィルタモードを省略して、累積加算モードから直接、補正モードに移行するとしても良い。
Further, when the cumulative addition of the shading image data is stopped with a small number of lines, the vertical stripe noise
また、初期化係数乗算器151からの入力がない累積加算器(不図示)を、累積加算器153のほかに設けてもよい。その場合、動作モード切替部158は、SEL152によりデータの流れを切り替える代わりに、動作モードに応じて累積加算器(不図示)を選択すれば、SEL152によらずデータの流れを切り替えることができる。また、帰還係数乗算器155からの入力がない累積加算器(不図示)を、累積加算器153のほかに設けてもよい。その場合、動作モード切替部158は、SEL156によりデータの流れを切り替える代わりに、動作モードに応じて累積加算器(不図示)を選択すれば、SEL156によらずデータの流れを切り替えることができる。
Further, a cumulative adder (not shown) that does not receive an input from the initialization coefficient multiplier 151 may be provided in addition to the cumulative adder 153. In this case, the operation
図4(C)に、縦筋ノイズ成分抽出部150の補正モードにおける撮影画像データの流れを示す。縦筋ノイズ成分抽出部150は、累積加算モードと、所定のライン本数まで累積加算したIIRフィルタモードと、により縦筋ノイズ成分を抽出した後、補正モードに移行する。
FIG. 4C shows the flow of captured image data in the correction mode of the vertical streak noise
補正係数乗算器157は、ラインバッファ154から遮光画像データの累積値を取得し、補正係数Kzを乗算した値を、縦筋ノイズ成分として縦筋ノイズ減算部140に出力する。ここで補正係数Kzは、フィルタにより増幅された遮光画像データを増幅前のレベルに戻すため、例えばフィルタ増幅率の逆数を設定するとしてもよい。あるいは、固体撮像素子104の特性、温度、撮像装置にユーザが設定する撮影条件などに応じて、補正係数Kzの値を決めても良い。例えば過補正を防止する目的で、補正係数Kzを小さめに設定してもよく、補正を強める目的で補正係数Kzを大きめに設定してもよい。
The correction coefficient multiplier 157 acquires the accumulated value of the light-shielded image data from the
縦筋ノイズ成分抽出部150は、図3に示す構成以外に次のような構成としてもよい。図7に示す縦筋ノイズ成分抽出部150は、図3に示す構成に水平平均値算出器301が追加されている。水平平均値算出器301は、固体撮像素子104から、遮光画像データを取得する。
The vertical streak noise
図8に、図7に示す縦筋ノイズ成分抽出部150における遮光画像データと撮影画像データの流れを動作モード別に示す。縦筋ノイズ成分抽出部150の動作モードとして、累積加算モード1と、累積加算モード2と、IIRフィルタモードと、補正モードと、がある。水平平均値算出器301は、累積加算器302と、フリップフロップ(FF)303と、平均値算出器304と、SEL305と、を備える。
FIG. 8 shows the flow of shaded image data and captured image data in the vertical streak noise
図8(A1)に累積加算モード1における遮光画像データの流れを示す。縦筋ノイズ成分抽出部150に遮光画像データが入力されると、縦筋ノイズ成分抽出部150は、累積加算モード1にて動作を行う。動作モード切替部158は、SEL152と、SEL156と、を用いて縦筋ノイズ成分抽出部150のデータの流れを切り替える。
FIG. 8A1 shows the flow of light-shielded image data in the
水平平均値算出器301は、例えば固体撮像素子104の水平方向の遮光画像の平均値を1ライン全体に関して算出する。
The horizontal
次に、初期化係数乗算器151は、水平平均値算出器301から遮光画像データの平均値を取得し、これに初期化係数Kxを乗算後、SEL152に出力する。SEL152は、累積加算器153に遮光画像データの平均値を出力し、累積加算器153はラインバッファ154に遮光画像データの累積値を記憶させる。
Next, the initialization coefficient multiplier 151 acquires the average value of the light-shielded image data from the horizontal
縦筋ノイズ成分抽出部150に再び遮光画像データが入力されると、水平平均値算出器301は、固体撮像素子104の水平方向の遮光画像の平均値を1ライン全体に関して算出する。次に、初期化係数乗算器151は、水平平均値算出器301から遮光画像データの平均値を取得し、これに初期化係数Kxを乗算後、SEL152に出力する。SEL152は、累積加算器153に遮光画像データの平均値を出力し、累積加算器153は遮光画像データの累積値をラインバッファ154からSEL156経由で取得し、これに遮光画像の平均値を加算した結果をラインバッファ154に記憶させる。
When the shading image data is input again to the vertical streak noise
次に縦筋ノイズ成分抽出部150は、累積加算モード2に移行する(図8(A2))。累積加算モード2では、水平平均値算出器301は遮光画像データに対して特に処理を行わず、初期化係数乗算器151に遮光画像データを転送する。累積加算モード2の以降の縦筋ノイズ成分抽出部150の動作は、前述の図4(A)に示す累積加算モードと同様である。
Next, the vertical streak noise
次に縦筋ノイズ成分抽出部150は、IIRフィルタモードに移行し(図8(B))、前述の図4(B)に示すIIRフィルタモードと同様の動作を行う。さらに、縦筋ノイズ成分抽出部150は、補正モードに移行し(図8(C))、前述の図4(C)に示す補正モードと同様の動作を行う。なお、累積加算モード1で初期化した後、IIRフィルタモードに移行するとしても良い。また、累積加算モード1で初期化した後に、累積加算モード2でさらに初期化を行い、次にIIRフィルタモードに移行するとしても良い。
Next, the vertical streak noise
すなわち、図3に示した縦筋ノイズ成分抽出部150は、遮光画像データに対して垂直方向に累積値を算出していたが、図7に示した縦筋ノイズ成分抽出部150は、遮光画像データに対して水平方向に平均値を算出した後、垂直方向に累積値を算出する点が異なる。
That is, the vertical streak noise
図3に示した縦筋ノイズ成分抽出部150は、OB領域のライン本数が少ない場合、初期化係数Kxを大きくすることでフィルタの初期化を行うが、ライン本数が少ないデータで初期化すると、ランダムノイズの影響を受けやすくなるという問題がある。しかし、図7に示した縦筋ノイズ成分抽出部150は、水平方向の平均値を用いてから初期化を行うので、ライン本数が少ないデータで初期化した場合でもランダムノイズの影響を受け難いという点で有効である。
The vertical streak noise
図9に、動画撮影状態あるいは動画撮影待機状態における、固体撮像素子104から縦筋ノイズ補正部105への入力データと、縦筋ノイズ成分抽出部150の動作モードと、縦筋ノイズ減算部140の動作と、の関係について示す。なお、ここに示す各値は一例である。
FIG. 9 shows the input data from the solid-
固体撮像素子104のOB領域201若しくはOB領域203、又はOB領域201とOB領域203と、から縦筋ノイズ抽出部150に遮光画像データが入力される。縦筋ノイズ抽出部150は、初期化ライン数=8、初期化係数Kx=4で、累積加算モードの動作を実行し、初期化が完了する。縦筋ノイズ減算部140は、動作停止中である(ステップS1)。
Light-shielded image data is input to the vertical streak
固体撮像素子104の有効領域202から縦筋ノイズ減算部140に、撮影画像データが入力される。縦筋ノイズ減算部140が撮影画像データから縦筋ノイズ成分を減算するために、縦筋ノイズ抽出部150は、初期化ライン数=8と初期化係数Kx=4を掛けた値が32であるので、例えば補正係数Kz=1/32で補正モードの動作を、ステップS1で取得した遮光画像データに対して実行し、縦筋ノイズ成分を抽出して縦筋ノイズ減算部140に出力する。縦筋ノイズ減算部140は、撮影画像データから縦筋ノイズ成分を減算する(ステップS2)。
Captured image data is input from the
固体撮像素子104のOB領域201若しくはOB領域203、又はOB領域201とOB領域203と、から縦筋ノイズ抽出部150に遮光画像データが入力される。縦筋ノイズ抽出部150は、帰還係数Ky=31/32で、IIRフィルタモードの動作を、8本のラインに対し実行する。縦筋ノイズ減算部140は、動作停止中である(ステップS3)。
Light-shielded image data is input to the vertical streak
ステップS4では、ステップS2と同様の動作を行い、ステップS5では、ステップS3と同様の動作を行い、ステップS6では、ステップS2と同様の動作を行い、以降は同様の繰り返しにより、動画撮影状態あるいは動画撮影待機状態を続ける。 In step S4, the same operation as in step S2 is performed. In step S5, the same operation as in step S3 is performed. In step S6, the same operation as in step S2 is performed. Continue movie shooting standby.
このように、縦筋ノイズ抽出部150は、OB領域201、OB領域203から遮光画像データを取得し、ステップS1において初期化を済ませているので、ステップS3以降の遮光画像データに対してはIIRフィルタモードの動作を行うことができ、動画撮影状態あるいは動画撮影待機状態において、シャッター103による遮光画像データを使わなくとも、縦筋ノイズ成分の抽出を行うことができる。
As described above, the vertical streak
図10に、静止画撮影状態における、固体撮像素子104から縦筋ノイズ補正部105への入力データと、縦筋ノイズ成分抽出部150の動作モードと、縦筋ノイズ減算部140の動作と、の関係について示す。なお、ここに示す各値は一例である。
FIG. 10 shows the input data from the solid-
CPU115は、シャッター103を閉じる。固体撮像素子104の有効領域202から縦筋ノイズ抽出部150に遮光画像データが入力される。この場合、遮光画像データは複数本のラインから入力されてもよい。縦筋ノイズ抽出部150は、初期化ライン数=32、初期化係数Kx=2で、累積加算モードの動作を実行し、初期化が完了する。縦筋ノイズ減算部140は、動作停止中である(ステップS10)。
The
CPU115は、シャッター103を閉じたまま、固体撮像素子104の有効領域202から縦筋ノイズ抽出部150に遮光画像データが入力される。縦筋ノイズ抽出部150は、帰還係数Ky=63/64で、IIRフィルタモードの動作を8本のラインに対し実行する。縦筋ノイズ減算部140は、動作停止中である(ステップS11)。
The
CPU115は、シャッター103を開く。固体撮像素子104の有効領域202から縦筋ノイズ減算部140に、撮影画像データが入力される。縦筋ノイズ抽出部150は、ステップS11までに取得した遮光画像データに対して、補正係数Kz=1/64で補正モードの動作を実行し、縦筋ノイズ成分を抽出して縦筋ノイズ減算部140に出力する。縦筋ノイズ減算部140は、撮影画像データから縦筋ノイズ成分を減算する(ステップS12)。
The
このように、縦筋ノイズ抽出部150は、シャッター103による遮光画像データを取得することで、固体撮像素子104にOB領域201、OB領域203が無い場合でも静止画撮影状態において縦筋ノイズ成分の抽出を行うことができる。
As described above, the vertical streak
図11に、静止画撮影状態における、固体撮像素子104から縦筋ノイズ補正部105への入力データと、縦筋ノイズ成分抽出部150の動作モードと、縦筋ノイズ減算部140の動作と、の関係について、図10の手順とは異なる手順を示す。なお、ここに示す各値は一例である。
FIG. 11 shows the input data from the solid-
CPU115は、シャッター103を閉じる。固体撮像素子104の有効領域202から縦筋ノイズ抽出部150に遮光画像データが入力される。この場合、遮光画像データは複数本のラインから入力されてもよい。縦筋ノイズ抽出部150は、初期化ライン数=64、初期化係数Kx=1で、累積加算モードの動作を実行し、初期化が完了する。縦筋ノイズ減算部140は、動作停止中である(ステップS20)。
The
CPU115は、シャッター103を開く。固体撮像素子104の有効領域202から縦筋ノイズ減算部140に、撮影画像データが入力される。縦筋ノイズ抽出部150は、ステップS20で取得した遮光画像データに対して、補正係数Kz=1/64で補正モードの動作を実行し、縦筋ノイズ成分を抽出して縦筋ノイズ減算部140に出力する。縦筋ノイズ減算部140は、撮影画像データから縦筋ノイズ成分を減算する(ステップS21)。
The
このように、縦筋ノイズ抽出部150は、シャッター103による遮光画像データを取得し、累積加算モードによる初期化後のIIRフィルタモードにおける動作を実行せずに、静止画撮影状態において縦筋ノイズ成分の抽出を行うことも可能である。
As described above, the vertical streak
図12に、静止画撮影の連写状態における、固体撮像素子104から縦筋ノイズ補正部105への入力データと、縦筋ノイズ成分抽出部150の動作モードと、縦筋ノイズ減算部140の動作と、の関係について示す。なお、ここに示す各値は一例である。
FIG. 12 shows the input data from the solid-
CPU115は、シャッター103を閉じる。固体撮像素子104の有効領域202から縦筋ノイズ抽出部150に遮光画像データが入力される。この場合、遮光画像データは複数本のラインから入力されてもよい。縦筋ノイズ抽出部150は、初期化ライン数=64、初期化係数Kx=1で、累積加算モードの動作を実行し、初期化が完了する。縦筋ノイズ減算部140は、動作停止中である(ステップS30)。
The
CPU115は、シャッター103を開く。固体撮像素子104の有効領域202から縦筋ノイズ減算部140に、撮影画像データが入力される。縦筋ノイズ抽出部150は、ステップS20で取得した遮光画像データに対して、補正係数Kz=1/64で補正モードの動作を実行し、縦筋ノイズ成分を抽出して縦筋ノイズ減算部140に出力する。縦筋ノイズ減算部140は、撮影画像データから縦筋ノイズ成分を減算する(ステップS31)。
The
CPU115は、シャッター103を閉じ、固体撮像素子104の有効領域202から縦筋ノイズ抽出部150に遮光画像データが入力される。縦筋ノイズ抽出部150は、帰還係数Ky=63/64で、IIRフィルタモードの動作を16本のラインに対し実行する。縦筋ノイズ減算部140は、動作停止中である(ステップS32)。
The
ステップS33では、ステップS31と同様の動作を行い、ステップS34では、ステップS32と同様の動作を行い、ステップS35では、ステップS31と同様の動作を行い、以降は同様の繰り返しにより、静止画撮影の連写状態を続ける。 In step S33, the same operation as in step S31 is performed. In step S34, the same operation as in step S32 is performed. In step S35, the same operation as in step S31 is performed. Continue shooting continuously.
このように、縦筋ノイズ抽出部150は、少ない本数のラインに対してIIRフィルタモードにおける動作を実行するため、縦筋ノイズ成分の抽出を高速に行うことができ、静止画撮影の高速連写に有利である。
As described above, since the vertical streak
縦筋ノイズ減算部140は、固体撮像素子104から撮影画像と、縦筋ノイズ成分抽出部150から縦筋ノイズ成分と、を取得し、撮影画像から縦筋ノイズ成分を減算したデータを前処理部106に出力する。
The vertical streak
前処理部106と、画像処理部107と、表示IF部108と、カードIF部110と、はデータバス112で接続されており、これらのブロックの起動タイミングや、動作モードはCPU115により制御される。
The
前処理部106は、縦筋ノイズ成分が減算された撮影画像に対し、必要に応じて例えば、画像全体が平均的に一様な明るさとなるようシェーディング補正等の処理を施し、画像処理部107に撮影画像データを出力する。
The
画像処理部107は、必要に応じて例えば、撮影画像データに対して輝度クロマ(YC)生成処理等の画像処理を行い、撮影画像データをメモリコントローラ113に出力する。メモリコントローラ113は、撮影画像データをメモリ114に記憶させる。カードIF部110は、メモリ114から撮影画像データを取得し、記録メディア111に撮影画像データを記憶させる。また、表示IF部108は、メモリ114から撮影画像データを取得し、表示パネル109に表示する。
The
このように、縦筋ノイズ成分抽出部150は、累積加算モードにおいてIIRフィルタのフィルタ増幅率を考慮した初期化を行い、IIRフィルタモードへと移行するため、遮光画像から取得されるライン数が少ない場合であっても、縦筋ノイズ成分を遮光画像から精度よく高速に抽出することができ、良好な撮影画像を高速に得ることができる。
As described above, the vertical streak noise
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、固体撮像素子を90度回転して撮像装置に配置した場合や、画像信号処理、画像信号記録処理等によって、縦筋状のノイズが横筋状のノイズとして見えることもあるため、縦筋ノイズの方向は縦に限定されなくてもよい。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention. For example, when a solid-state image sensor is rotated 90 degrees and placed in an imaging device, or vertical line noise may appear as horizontal line noise due to image signal processing, image signal recording processing, or the like, vertical line noise The direction may not be limited to the vertical direction.
また、累積加算モードにおける初期化は、初期化ライン数と初期化係数との積が、IIRフィルタモードにおけるフィルタ増幅率となるよう限定されなくてもよい。 Further, the initialization in the cumulative addition mode may not be limited so that the product of the number of initialization lines and the initialization coefficient becomes the filter gain in the IIR filter mode.
また、本発明に記載のノイズ成分抽出部は、縦筋ノイズ成分抽出部150に対応し、ノイズ減算部は、縦筋ノイズ減算部140に対応し、初期化係数乗算部は、初期化係数乗算器151に対応し、記憶部は、ラインバッファ154に対応し、帰還係数乗算部は、帰還係数乗算器155に対応し、加算部は、累積加算器153に対応し、水平平均値算出部は、水平平均値算出器301に対応する。
The noise component extraction unit according to the present invention corresponds to the vertical stripe noise
また、図9、図10、図11、図12に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、通信端末の実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺機器等のハードウェアを含むものであってもよい。 Also, a program for realizing the steps shown in FIGS. 9, 10, 11, and 12 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system. Execution processing of the communication terminal may be performed by executing. Here, the “computer system” may include hardware such as an OS (Operating System) and peripheral devices.
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。 Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used. The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Further, the “computer-readable recording medium” refers to a volatile memory (for example, DRAM (Dynamic) in a computer system serving as a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Random Access Memory)) that holds a program for a certain period of time is also included.
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
The program may be for realizing a part of the functions described above.
Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
101…光学レンズ 102…絞り 103…シャッター 104…固体撮像素子 105…縦筋ノイズ補正部 106…前処理部 107…画像処理部 108…表示IF部 109…表示パネル 110…カードIF部 111…記録メディア 112…データバス 113…メモリコントローラ 114…メモリ 115…CPU 140…縦筋ノイズ減算部 150…縦筋ノイズ成分抽出部 151…初期化係数乗算器 152…SEL 153…累積加算器 154…ラインバッファ 155…帰還係数乗算器 156…SEL 157…補正係数乗算器 158…動作モード切替部 201…OB領域 202…有効領域 203…OB領域 301…水平平均値算出器 302…累積加算器 303…フリップフロップ(FF) 304…平均値算出器 305…SEL 400…網掛け部分 401…網掛け部分
DESCRIPTION OF SYMBOLS 101 ... Optical lens 102 ... Aperture 103 ... Shutter 104 ... Solid-
Claims (6)
前記固体撮像素子の遮光された領域から出力される遮光画像データからノイズ成分を抽出するノイズ成分抽出部と、
前記固体撮像素子の遮光されていない領域から出力される撮影画像データから前記ノイズ成分を減算する処理を行うノイズ減算部と、
を備え、
前記ノイズ成分抽出部は、
前記遮光画像データに初期化係数を乗算する初期化係数乗算部と、
累積値を記憶する記憶部と、
前記記憶部に記憶されている累積値に帰還係数を乗算する帰還係数乗算部と、
加算部と、
を備え、
前記遮光画像データに前記初期化係数を乗算した値に、前記記憶部から取得した累積値を前記加算部が加算し、当該加算結果を新たな累積値として前記記憶部に記憶する第1のモードを実行することで、前記記憶部に累積値の初期値を記憶させ、
次に、前記遮光画像データに、前記記憶部から取得した累積値に前記帰還係数を乗算した値を前記加算部が加算し、当該加算結果を新たな累積値として前記記憶部に記憶する第2のモードを実行する、
ことを特徴とする撮像装置。 A solid-state image sensor;
A noise component extraction unit that extracts a noise component from light-shielded image data output from a light-shielded region of the solid-state imaging device;
A noise subtracting unit that performs processing of subtracting the noise component from captured image data output from an unshielded region of the solid-state imaging device;
With
The noise component extraction unit
An initialization coefficient multiplier for multiplying the shading image data by an initialization coefficient;
A storage unit for storing cumulative values;
A feedback coefficient multiplier for multiplying a cumulative value stored in the storage by a feedback coefficient;
An adder;
With
A first mode in which the addition unit adds a cumulative value acquired from the storage unit to a value obtained by multiplying the shading image data by the initialization coefficient, and stores the addition result as a new cumulative value in the storage unit. To store the initial value of the cumulative value in the storage unit,
Next, the addition unit adds a value obtained by multiplying the accumulated value acquired from the storage unit by the feedback coefficient to the shaded image data, and stores the addition result as a new accumulated value in the storage unit. Run the mode
An imaging apparatus characterized by that.
前記遮光画像データのライン本数と前記初期化係数との積と、
前記帰還係数により算出されるフィルタ増幅率と、
が等しくなるよう前記累積値を初期化することを特徴とする請求項1に記載の撮像装置。 In the first mode, the noise component extraction unit
A product of the number of lines of the shading image data and the initialization coefficient;
A filter amplification factor calculated from the feedback coefficient;
The image pickup apparatus according to claim 1, wherein the accumulated value is initialized so that the two are equal.
前記遮光画像データの水平方向における平均値を算出する水平平均値算出部
を備え、
前記第1のモードにおいて、前記水平平均値算出部で算出した平均値を用いて前記累積加算処理を実行することを特徴とする請求項1に記載の撮像装置。 The noise component extraction unit
A horizontal average value calculating unit for calculating an average value in the horizontal direction of the shading image data,
The imaging apparatus according to claim 1, wherein, in the first mode, the cumulative addition process is executed using an average value calculated by the horizontal average value calculation unit.
前記第1のモードを実行し、前記第2のモードの実行を省略し、
前記ノイズ減算部は、
前記撮影画像データから前記ノイズ成分を減算する処理を行うことを特徴とする請求項1に記載の撮像装置。 The noise component extraction unit
Execute the first mode, omit the execution of the second mode,
The noise subtraction unit
The imaging apparatus according to claim 1, wherein a process of subtracting the noise component from the captured image data is performed.
前記遮光画像データに対して前記第1のモードを実行し、
以降に取得した前記遮光画像データに対して前記第2のモードを実行し、
前記ノイズ減算部は、
前記撮影画像データから前記ノイズ成分を減算する処理を行うことを特徴とする請求項1に記載の撮像装置。 The noise component extraction unit
Executing the first mode on the shading image data;
The second mode is executed on the shading image data acquired thereafter,
The noise subtraction unit
The imaging apparatus according to claim 1, wherein a process of subtracting the noise component from the captured image data is performed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008266457A JP5244533B2 (en) | 2008-10-15 | 2008-10-15 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008266457A JP5244533B2 (en) | 2008-10-15 | 2008-10-15 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010098442A true JP2010098442A (en) | 2010-04-30 |
JP5244533B2 JP5244533B2 (en) | 2013-07-24 |
Family
ID=42259832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008266457A Active JP5244533B2 (en) | 2008-10-15 | 2008-10-15 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5244533B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2381648A2 (en) | 2010-04-22 | 2011-10-26 | Yokogawa Electric Corporation | Field communication system and field communication method |
JP2012090185A (en) * | 2010-10-21 | 2012-05-10 | Canon Inc | Image processing apparatus and control method therefor |
US11341616B2 (en) * | 2020-03-23 | 2022-05-24 | Ge Precision Healthcare | Methods and system for selective removal of streak artifacts and noise from images using deep neural networks |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1079893A (en) * | 1996-09-05 | 1998-03-24 | Sony Corp | Clamp circuit for video signal |
JP2002094885A (en) * | 2000-09-13 | 2002-03-29 | Nikon Corp | Image pickup device and image pickup method |
JP2003244556A (en) * | 2002-02-18 | 2003-08-29 | Nikon Corp | Imaging device |
JP2006025146A (en) * | 2004-07-07 | 2006-01-26 | Sony Corp | Solid-state image pickup element device and signal processing method |
JP2006094474A (en) * | 2004-08-24 | 2006-04-06 | Matsushita Electric Ind Co Ltd | Imaging apparatus and image data correcting method |
JP2006293196A (en) * | 2005-04-14 | 2006-10-26 | Olympus Corp | Focus detector |
JP2008042240A (en) * | 2006-08-01 | 2008-02-21 | Canon Inc | Imaging apparatus |
-
2008
- 2008-10-15 JP JP2008266457A patent/JP5244533B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1079893A (en) * | 1996-09-05 | 1998-03-24 | Sony Corp | Clamp circuit for video signal |
JP2002094885A (en) * | 2000-09-13 | 2002-03-29 | Nikon Corp | Image pickup device and image pickup method |
JP2003244556A (en) * | 2002-02-18 | 2003-08-29 | Nikon Corp | Imaging device |
JP2006025146A (en) * | 2004-07-07 | 2006-01-26 | Sony Corp | Solid-state image pickup element device and signal processing method |
JP2006094474A (en) * | 2004-08-24 | 2006-04-06 | Matsushita Electric Ind Co Ltd | Imaging apparatus and image data correcting method |
JP2006293196A (en) * | 2005-04-14 | 2006-10-26 | Olympus Corp | Focus detector |
JP2008042240A (en) * | 2006-08-01 | 2008-02-21 | Canon Inc | Imaging apparatus |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2381648A2 (en) | 2010-04-22 | 2011-10-26 | Yokogawa Electric Corporation | Field communication system and field communication method |
JP2012090185A (en) * | 2010-10-21 | 2012-05-10 | Canon Inc | Image processing apparatus and control method therefor |
US11341616B2 (en) * | 2020-03-23 | 2022-05-24 | Ge Precision Healthcare | Methods and system for selective removal of streak artifacts and noise from images using deep neural networks |
Also Published As
Publication number | Publication date |
---|---|
JP5244533B2 (en) | 2013-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4462299B2 (en) | Imaging apparatus, image processing method, and computer program | |
JP4577565B2 (en) | Image processing method, image processing apparatus, program, and photographing apparatus | |
JP2006121521A (en) | Imaging device and image processing program | |
JP2009027220A5 (en) | ||
JP2007300595A (en) | Method of avoiding shaking during still image photographing | |
JP2009033321A (en) | Image device, image processing method, and computer program | |
JP5013812B2 (en) | Imaging apparatus and correction method | |
JP6351271B2 (en) | Image composition apparatus, image composition method, and program | |
JP2008109501A (en) | Imaging device and correcting method | |
JP5244533B2 (en) | Imaging device | |
US20180084209A1 (en) | Image pickup apparatus, signal processing method, and signal processing program | |
JP7065417B2 (en) | Image generation method, image pickup device, and program | |
JP4529563B2 (en) | False signal suppression processing method, false signal suppression processing circuit, and imaging apparatus | |
KR101608347B1 (en) | Apparatus and method for processing digital image signal | |
JP7277251B2 (en) | Imaging device and its control method | |
JP5251700B2 (en) | Imaging device | |
JP2009260871A (en) | Imaging apparatus | |
JP2007096607A (en) | Image processing apparatus | |
JP2010056733A (en) | Imaging device and method, program, and recording medium | |
JP2009027555A (en) | Imaging apparatus and signal processing method | |
JP4322258B2 (en) | Noise processing apparatus and imaging apparatus | |
JP6463159B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP5630996B2 (en) | Imaging apparatus, correction control method thereof, correction control program, and recording medium | |
JP5404217B2 (en) | Imaging apparatus and control method thereof | |
JP2010166479A (en) | Imaging device and method of correcting imaged image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110829 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20121214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130408 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |