JP2011010113A

JP2011010113A - Imaging device

Info

Publication number: JP2011010113A
Application number: JP2009152628A
Authority: JP
Inventors: Yoshizo Mori; 吉造森; Hiroyoshi Yamazaki; 弘喜山▲崎▼
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-06-26
Filing date: 2009-06-26
Publication date: 2011-01-13
Anticipated expiration: 2029-06-26
Also published as: JP5387167B2

Abstract

PROBLEM TO BE SOLVED: To provide a means for effectively removing the influence of a defective line of an imaging element in thinning-out readout.SOLUTION: The imaging device includes the imaging element and a control part. The imaging element has a plurality of pixels arranged two-dimensionally, and also can selectively output a signal of the pixel corresponding to the designated line of the oriented pixels. The control part thins out by line from the orientation, and provides to the imaging element the thinning-out readout instructions of obtaining a signal from a plurality of readout lines set at given intervals. Further, when any of the readout lines is the defective line that causes failures by line in outputting the pixel, the control part keeps the regularity of intervals while changing a setting position of each readout line.

Description

本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.

従来から、撮像素子での半導体や配線の局所的な欠損に起因して、撮像素子の画素出力にライン単位で異常が生じることがある。また、撮像素子の欠陥画素の補正方法は、種々の提案がされている。一例として、特許文献１には、欠陥画素周辺の画素に対してメディアンフィルタを適用することで欠陥画素を補正する構成が開示されている。 2. Description of the Related Art Conventionally, abnormalities may occur in line output in the pixel output of an image sensor due to local defects in the semiconductor or wiring in the image sensor. Various proposals have been made for methods of correcting defective pixels of an image sensor. As an example, Patent Document 1 discloses a configuration in which a defective pixel is corrected by applying a median filter to pixels around the defective pixel.

特開２００３−５１９９０号公報JP 2003-51990 A

しかし、特許文献１の技術では、間引き読み出しされた画像にライン単位の欠陥が存在する場合、補正に使用する画素と欠陥画素との相関が低くなるので、適切な補正が比較的困難となる。また、特許文献１の技術では、ファームウェアによるため、補正処理の時間が長くかかってしまう。 However, in the technique of Patent Document 1, when a line-by-line defect exists in the thinned and read image, the correlation between the pixel used for correction and the defective pixel is low, and thus appropriate correction is relatively difficult. Further, since the technique of Patent Document 1 uses firmware, the correction process takes a long time.

そこで、本発明の目的は、間引き読み出しにおける撮像素子の欠陥ラインの影響を効果的に除去する手段を提供することにある。 Therefore, an object of the present invention is to provide means for effectively removing the influence of a defective line of an image sensor in thinning readout.

一の態様の撮像装置は、撮像素子と、制御部とを備える。撮像素子は、二次元的に配列された複数の画素を有するとともに、上記配列のうちで指定されたラインに対応する画素の信号を選択的に出力可能である。制御部は、上記配列からライン単位で間引きをして、配列の所定間隔おきに設定される複数の読み出しラインから信号を取得する間引き読み出し指示を撮像素子に与える。また、制御部は、読み出しラインのいずれかが画素の出力にライン単位で異常をきたす欠陥ラインであるときに、間隔の規則性を保ちつつ各々の読み出しラインの設定位置を変更する。 An imaging device according to one aspect includes an imaging element and a control unit. The imaging device has a plurality of pixels arranged two-dimensionally and can selectively output a pixel signal corresponding to a line designated in the array. The control unit thins out the line by line from the array, and gives a thinning-out readout instruction for acquiring signals from a plurality of readout lines set at predetermined intervals of the array to the imaging element. Further, the control unit changes the setting position of each readout line while maintaining regularity of the interval when any of the readout lines is a defective line that causes an abnormality in the pixel output in units of lines.

上記の一の態様において、制御部は、位置変更後の読み出しラインのいずれかが欠陥ラインであるときに、間隔の規則性を変化させて読み出しラインの設定位置を再変更してもよい。 In the one aspect described above, the control unit may re-change the set position of the read line by changing the regularity of the interval when any of the read lines after the position change is a defective line.

上記の一の態様において、制御部は、動画撮影またはライブビュー撮影のときに間引き読み出し指示を行うようにしてもよい。また、制御部は、固定パターンノイズの補正データを取得するときに間引き読み出し指示を行うようにしてもよい。 In the one aspect described above, the control unit may instruct thinning-out readout during moving image shooting or live view shooting. In addition, the control unit may instruct thinning out when acquiring correction data of fixed pattern noise.

本発明は、読み出しラインのいずれかが画素の出力にライン単位で異常をきたす欠陥ラインであるときに、間隔の規則性を保ちつつ各々の読み出しラインの設定位置を変更し、間引き読み出しにおける撮像素子の欠陥ラインの影響を効果的に除去する。 The present invention provides an image pickup device for thinning readout by changing the setting position of each readout line while maintaining regularity of intervals when any of the readout lines is a defective line that causes an abnormality in the pixel output in units of lines. The effect of the defective line is effectively removed.

一の実施形態における撮像装置の構成例を示すブロック図1 is a block diagram illustrating a configuration example of an imaging apparatus according to an embodiment. 一の実施形態における撮像素子の構成例を示す図The figure which shows the structural example of the image pick-up element in one Embodiment. 一の実施形態での動画撮影時の間引き読み出しのパターン例を説明する図The figure explaining the example of a thinning-out reading pattern at the time of video photography in one embodiment 間隔の規則性を保ちつつ読み出し列の位置を変更した例を示す図The figure which shows the example which changed the position of the read-out row | line | column, maintaining the regularity of an interval 間隔の規則性を変化させて読み出し列の位置を変更した例を示す図The figure which shows the example which changed the position of the read-out row | line | column by changing the regularity of a space | interval 間隔の規則性を保ちつつ読み出し行の位置を変更した例を示す図The figure which shows the example which changed the position of the read-out line, maintaining the regularity of a space | interval 間隔の規則性を変化させて読み出し行の位置を変更した例を示す図The figure which shows the example which changed the position of the read-out row by changing the regularity of the interval

図１は、一の実施形態における撮像装置の構成例を示すブロック図である。撮像装置は、撮像光学系１１と、メカニカルシャッタ１２と、撮像素子１３と、ＡＦＥ１４と、タイミングジェネレータ（ＴＧ）１５と、バッファメモリ１６と、画像処理部１７と、メディアＩ／Ｆ１８と、制御部１９と、記憶部２０と、ユーザの各種操作を受け付ける操作部２１とを有している。なお、メカニカルシャッタ１２、ＴＧ１５、画像処理部１７、メディアＩ／Ｆ１８、記憶部２０、操作部２１は、それぞれ制御部１９と接続されている。 FIG. 1 is a block diagram illustrating a configuration example of an imaging apparatus according to an embodiment. The imaging apparatus includes an imaging optical system 11, a mechanical shutter 12, an imaging device 13, an AFE 14, a timing generator (TG) 15, a buffer memory 16, an image processing unit 17, a media I / F 18, and a control unit. 19, a storage unit 20, and an operation unit 21 that receives various user operations. The mechanical shutter 12, the TG 15, the image processing unit 17, the media I / F 18, the storage unit 20, and the operation unit 21 are connected to the control unit 19, respectively.

撮像光学系１１は、ズームレンズ、フォーカシングレンズを含む複数のレンズで構成されている。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。また、メカニカルシャッタ１２は、制御部１９の指示に応じて駆動するシャッタ羽根（先幕および後幕）によって、撮像素子１３の露光状態を制御する。例えば、メカニカルシャッタ１２は、先幕および後幕の走行間隔を変更することで撮像素子１３の露光時間を調整する。 The imaging optical system 11 includes a plurality of lenses including a zoom lens and a focusing lens. For simplicity, the imaging optical system 11 is illustrated as a single lens in FIG. The mechanical shutter 12 controls the exposure state of the image sensor 13 by shutter blades (front curtain and rear curtain) that are driven in accordance with instructions from the control unit 19. For example, the mechanical shutter 12 adjusts the exposure time of the image sensor 13 by changing the travel interval between the front curtain and the rear curtain.

撮像素子１３は、撮像光学系１１およびメカニカルシャッタ１２を通過した光束による被写体の像を撮像する。一の実施形態での撮像素子１３は、任意の画素の信号をアドレス指定によるランダムアクセスで読み出し可能なＣＭＯＳ型のイメージセンサで構成される。なお、撮像素子１３の出力はＡＦＥ１４に接続されている。 The image sensor 13 captures an image of a subject by a light beam that has passed through the imaging optical system 11 and the mechanical shutter 12. The imaging device 13 in one embodiment is configured by a CMOS type image sensor that can read a signal of an arbitrary pixel by random access by addressing. Note that the output of the image sensor 13 is connected to the AFE 14.

図２に一の実施形態における撮像素子１３の構成例を示す。撮像素子１３は、複数の画素３１と、垂直デコーダ３２と、水平デコーダ３３と、信号読み出し回路３４と、カラムアンプ３５とを有している。図２の例では、簡単のため８×８個の画素を示すが、実際の撮像素子１３の受光面にはさらに多数の受光素子が配列されることはいうまでもない。 FIG. 2 shows a configuration example of the image sensor 13 in one embodiment. The image sensor 13 includes a plurality of pixels 31, a vertical decoder 32, a horizontal decoder 33, a signal readout circuit 34, and a column amplifier 35. In the example of FIG. 2, 8 × 8 pixels are shown for simplicity, but it goes without saying that a larger number of light receiving elements are arranged on the light receiving surface of the actual image pickup element 13.

撮像素子１３の受光面には、複数の画素３１がマトリックス状に配列されている。各画素３１は、入射光束を光電変換する受光素子と、受光素子により生成された信号電荷を蓄積する蓄積部と、蓄積された信号電荷に応じて画像信号を出力する増幅部などを含んでいる（受光素子、蓄積部、増幅部などの図示は省略する）。また、各画素３１には、公知のベイヤ配列にしたがって、赤色（Ｒ）、緑色（Ｇｒ，Ｇｂ）、青色（Ｂ）に対応するカラーフィルタがそれぞれ配置されている。そのため、各画素３１は、カラーフィルタの色に対応した画像信号をそれぞれ出力する（図２では、各画素３１にカラーフィルタの色を併せて表記する）。 A plurality of pixels 31 are arranged in a matrix on the light receiving surface of the image sensor 13. Each pixel 31 includes a light receiving element that photoelectrically converts an incident light beam, a storage unit that stores signal charges generated by the light receiving element, an amplification unit that outputs an image signal in accordance with the stored signal charges, and the like. (The illustration of the light receiving element, storage unit, amplification unit, etc. is omitted). Each pixel 31 is provided with a color filter corresponding to red (R), green (Gr, Gb), and blue (B) according to a known Bayer array. For this reason, each pixel 31 outputs an image signal corresponding to the color of the color filter (in FIG. 2, the color of the color filter is also shown in each pixel 31).

また、撮像素子１３の受光面には、図２の横方向に延長する複数の走査線３６と、図２の縦方向に延長する複数のデータ出力線３７とがマトリクス状に配線されている。そして、各画素３１は、いずれかの走査線３６およびデータ出力線３７と接続されている。また、各々のデータ出力線３７の出力側にはカラムアンプ３５が接続されている。 A plurality of scanning lines 36 extending in the horizontal direction in FIG. 2 and a plurality of data output lines 37 extending in the vertical direction in FIG. 2 are wired on the light receiving surface of the image sensor 13 in a matrix. Each pixel 31 is connected to one of the scanning lines 36 and the data output line 37. A column amplifier 35 is connected to the output side of each data output line 37.

垂直デコーダ３２には、各走査線３６の一端がそれぞれ接続されている。垂直デコーダ３２は、読み出し対象の行を指定するパルスを走査線３６から各画素３１に与える。水平デコーダ３３は、信号読み出し回路３４に対して、読み出し対象の列を指定するパルスを出力する。 One end of each scanning line 36 is connected to the vertical decoder 32. The vertical decoder 32 gives a pulse designating a row to be read from the scanning line 36 to each pixel 31. The horizontal decoder 33 outputs a pulse for designating a readout target column to the signal readout circuit 34.

信号読み出し回路３４には、データ出力線３７の出力端（下端）が接続されている。この信号読み出し回路３４は、データ出力線３７およびカラムアンプ３５を介して各画素３１から画像信号を読み出すとともに、読み出した画素３１の信号を外部に出力する。 An output end (lower end) of a data output line 37 is connected to the signal read circuit 34. The signal readout circuit 34 reads out the image signal from each pixel 31 via the data output line 37 and the column amplifier 35 and outputs the signal of the readout pixel 31 to the outside.

図１に戻って、ＡＦＥ１４は、撮像素子１３の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１４は、相関二重サンプリングや、画像信号の増幅や、画像信号のＡ／Ｄ変換を行う。このＡＦＥ１４から出力される画像信号は画像処理部１７に入力される。 Returning to FIG. 1, the AFE 14 is an analog front-end circuit that performs analog signal processing on the output of the image sensor 13. The AFE 14 performs correlated double sampling, image signal amplification, and image signal A / D conversion. The image signal output from the AFE 14 is input to the image processing unit 17.

ＴＧ１５は、制御部１９の出力に基づいて、撮像素子１３、ＡＦＥ１４、画像処理部１７に対して、同期用の駆動信号をそれぞれ供給する。 The TG 15 supplies a driving signal for synchronization to the image sensor 13, the AFE 14, and the image processing unit 17 based on the output of the control unit 19.

バッファメモリ１６は、画像処理部１７に接続されたメモリであって、画像処理の前工程や後工程で画像のデータを一時的に記憶する。例えば、バッファメモリ１６は、揮発性の記憶媒体であるＳＤＲＡＭにより構成される。 The buffer memory 16 is a memory connected to the image processing unit 17 and temporarily stores image data in the pre-process and post-process of image processing. For example, the buffer memory 16 is configured by an SDRAM that is a volatile storage medium.

画像処理部１７は、デジタルの画像信号に対して各種の画像処理（色補間処理、階調変換処理、ホワイトバランス調整など）を施す。なお、画像処理部１７の出力はメディアＩ／Ｆ１８に接続されている。 The image processing unit 17 performs various types of image processing (color interpolation processing, gradation conversion processing, white balance adjustment, etc.) on the digital image signal. The output of the image processing unit 17 is connected to the media I / F 18.

メディアＩ／Ｆ１８は、不揮発性の記憶媒体２２を接続するためのコネクタが形成されている。そして、メディアＩ／Ｆ１８は、コネクタに接続された記憶媒体２２に対してデータの書き込み／読み込みを実行する。上記の記憶媒体２２は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２２の一例としてメモリカードを図示する。 The media I / F 18 is formed with a connector for connecting the nonvolatile storage medium 22. The media I / F 18 writes / reads data to / from the storage medium 22 connected to the connector. The storage medium 22 is composed of a hard disk, a memory card incorporating a semiconductor memory, or the like. In FIG. 1, a memory card is illustrated as an example of the storage medium 22.

制御部１９は、撮像装置の動作を統括的に制御するプロセッサである。例えば、制御部１９は、プログラムにしたがって、静止画撮影モードにおける静止画撮影の動作や動画撮影モードにおける動画撮影の動作などを制御する。また、制御部１９は、ＴＧ１５を介して、全画素読み出しの指示や、間引き読み出しの指示を撮像素子１３に与える。 The control unit 19 is a processor that comprehensively controls the operation of the imaging apparatus. For example, the control unit 19 controls the still image shooting operation in the still image shooting mode, the moving image shooting operation in the moving image shooting mode, and the like according to the program. Further, the control unit 19 gives an instruction to read out all pixels or an instruction to read out thinning out to the image sensor 13 via the TG 15.

記憶部２０は、上記の静止画撮影モードおよび動画撮影モードの各プログラムや、上記の間引き読み出しのときに撮像素子１３の画素配列のうちから信号を読み出すラインの位置情報などを記憶した不揮発性のメモリである。 The storage unit 20 is a non-volatile storage that stores each program of the above-described still image shooting mode and moving image shooting mode, position information of a line for reading a signal from the pixel array of the image sensor 13 at the time of the thinning-out reading, and the like. It is memory.

（動画撮影時の動作例）
以下、一の実施形態の撮像装置における動画撮影時の動作例を説明する。例えば、動画撮影モードでの撮像装置は、ユーザの動画撮影指示に応じて、不揮発性の記憶媒体２２への記録を伴う動画像の撮影を実行する。また、静止画撮影モードでの撮像装置は、ユーザの静止画撮影指示を待機しているときに、所定のフレームレートで観測用の画像（スルー画像）を動画撮影（ライブビュー撮影）する。なお、上記のスルー画像のデータは、例えば不図示のモニタでの動画表示や、制御部１９によるＡＦ演算やＡＥ演算で用いられる。 (Operation example when shooting movies)
Hereinafter, an operation example at the time of moving image shooting in the imaging apparatus of one embodiment will be described. For example, the imaging device in the moving image shooting mode performs shooting of a moving image accompanied by recording in the non-volatile storage medium 22 in response to a user's moving image shooting instruction. Further, the imaging device in the still image shooting mode performs moving image shooting (live view shooting) of an observation image (through image) at a predetermined frame rate while waiting for a user's still image shooting instruction. The through image data is used for, for example, moving image display on a monitor (not shown), AF calculation or AE calculation by the control unit 19.

一の実施形態での制御部１９は、上記の動画撮影において、ＴＧ１５を介して撮像素子１３に間引き読み出しを指示する。この間引き読み出しでは、撮像素子１３は、画素配列の水平方向にライン単位で間引きをして、画素配列の所定間隔おきに設定される複数の読み出し列の画素から信号を出力する。図３は、一の実施形態での間引き読み出しのパターン例を説明する図である。この図３の例では、画素配列の水平方向に間引きを行い、縦方向に延在する１列分の読み出し列が画素配列の２列おきに等間隔で設定されている（水平方向の１／３間引き）。 In one embodiment, the control unit 19 instructs the image pickup device 13 to perform decimation readout via the TG 15 in the above moving image shooting. In this thinning readout, the image sensor 13 thins out in units of lines in the horizontal direction of the pixel array, and outputs signals from pixels in a plurality of readout columns set at predetermined intervals of the pixel array. FIG. 3 is a diagram for explaining an example of the thinning-out reading pattern in the embodiment. In the example of FIG. 3, thinning is performed in the horizontal direction of the pixel array, and one reading column extending in the vertical direction is set at equal intervals every two columns of the pixel array (1/1 in the horizontal direction). 3 thinning).

ところで、撮像素子１３には、例えば、走査線３６、データ出力線３７、カラムアンプ３５の不良などにより、画素配列の縦方向または横方向に欠陥ライン（ライン単位で画素の出力に異常をきたす部分）が存在する場合もある。そして、間引き読み出しにおける読み出し列の位置が撮像素子１３の縦方向の欠陥ラインと一致する場合には、間引き読み出しで取得した画像に異常が生じる。 By the way, in the image pickup device 13, for example, defective lines in the vertical or horizontal direction of the pixel array due to defects in the scanning line 36, the data output line 37, the column amplifier 35, etc. ) May exist. If the position of the readout column in the thinning readout matches the vertical defect line of the image sensor 13, an abnormality occurs in the image acquired by the thinning readout.

そのため、一の実施形態の制御部１９は、以下の要領で間引き読み出しでの読み出し列の位置の調整処理を行う。なお、上記の読み出し列の位置調整は、例えば撮像装置の工場検査の工程で行われる。 For this reason, the control unit 19 according to one embodiment performs the adjustment process of the position of the readout column in the thinning readout in the following manner. Note that the position adjustment of the readout row is performed, for example, in a factory inspection process of the imaging apparatus.

まず、制御部１９は、撮像素子１３の画素配列における欠陥ラインの位置情報を取得する。この欠陥ラインの位置情報は、撮像装置の工場検査の段階で予め生成されるものとする。 First, the control unit 19 acquires position information of a defective line in the pixel array of the image sensor 13. It is assumed that the position information of the defective line is generated in advance at the stage of the factory inspection of the imaging device.

次に、制御部１９は、間引き読み出しでの読み出し列の初期設定位置と、欠陥ラインの位置とが一致するか否かを判定する。初期設定位置の読み出し列がいずれも欠陥ラインではない場合には、制御部１９は、読み出し列の初期設定位置を変更することなく調整処理を終了させる。 Next, the control unit 19 determines whether or not the initial setting position of the readout column in the thinning readout matches the position of the defective line. When none of the read columns at the initial setting position is a defective line, the control unit 19 ends the adjustment process without changing the initial set position of the read column.

一方、読み出し列の位置と欠陥ラインの位置とが一致する場合、制御部１９は、読み出し列の間隔の規則性（水平方向の１／３間引き）を保ちつつ各々の読み出し列の設定位置を２列分ずらす（図４参照）。また、位置変更後の読み出し列が欠陥ラインに該当する場合、制御部１９は、さらに各々の読み出し列の設定位置を１列分ずらして上記工程を繰り返す。 On the other hand, when the position of the read column coincides with the position of the defective line, the control unit 19 sets the set position of each read column to 2 while maintaining the regularity of the interval between the read columns (1/3 thinning in the horizontal direction). Shift the column (see FIG. 4). When the read column after the position change corresponds to a defective line, the control unit 19 further shifts the set position of each read column by one column and repeats the above process.

なお、上記の場合においても、位置変更後の読み出し列が欠陥ラインとなるときには、制御部１９は、読み出し列の間隔の規則性を変化させて調整処理を行えばよい。例えば、制御部１９は、画素配列の４列おきに２列分の読み出し列を設定するパターン（水平方向の２／６間引き）に変更し、間引き読み出しの読み出し列の位置が欠陥ラインと重ならないように調整すればよい（図５参照）。 Even in the above case, when the read column after the position change becomes a defective line, the control unit 19 may perform the adjustment process by changing the regularity of the interval between the read columns. For example, the control unit 19 changes to a pattern (horizontal direction 2/6 decimation) that sets two readout columns every four columns of the pixel array, and the position of the readout column for decimation readout does not overlap with the defective line. (See FIG. 5).

そして、位置変更後の読み出し列がいずれも欠陥ラインではない場合、制御部１９は、調整後の読み出し列の位置情報を記憶部２０に書き込んで調整処理を終了する。その後、動画撮影の間引き読み出しを行うときには、制御部１９は、記憶部２０に記憶された位置情報を参照して、間引き読み出しの読み出し列を指定する。これにより、動画撮影で間引き読み出しされた画像には欠陥ラインの出力が含まれなくなるため、高速処理が要求される動画撮影時において、欠陥ラインに起因する画像補正処理が不要となる。 If none of the read columns after the position change is a defective line, the control unit 19 writes the position information of the read column after adjustment in the storage unit 20 and ends the adjustment process. Thereafter, when performing thinning readout of moving image shooting, the control unit 19 refers to the position information stored in the storage unit 20 and designates a readout column for thinning readout. As a result, the defect line output is not included in the image that has been thinned and read out during moving image shooting, so that image correction processing due to the defective line is not required during moving image shooting that requires high-speed processing.

（固定パターンノイズ除去での動作例）
次に、一の実施形態の撮像装置における固定パターンノイズ（ＦＰＮ）除去の動作例を説明する。 (Operation example with fixed pattern noise removal)
Next, an operation example of fixed pattern noise (FPN) removal in the imaging apparatus of one embodiment will be described.

撮像素子１３で撮影した画像には、オフセット性のＦＰＮによる縦筋が現れることがある。このようなオフセット性のＦＰＮは、各カラムアンプ３５の特性差などに起因するものであり、撮像素子１３における各列の出力の不均一を反映している。 Vertical stripes due to offset FPN may appear in an image captured by the image sensor 13. Such an offset FPN is caused by a characteristic difference between the column amplifiers 35 and reflects the non-uniformity of the output of each column in the image sensor 13.

このようなオフセット性のＦＰＮを画像から除去するため、制御部１９は、メカニカルシャッタ１２を閉じた遮光状態で撮影を行ない、撮像素子１３のノイズ成分を記録した暗黒画像からＦＰＮデータを生成する。そして、画像処理部１７は、上記のＦＰＮデータに基づいて、非遮光状態で撮影された画像からＦＰＮの成分を減算することで、被写体の像に応じた信号成分からなる画像データを得ることができる。 In order to remove such an offset FPN from the image, the control unit 19 performs imaging with the mechanical shutter 12 closed and generates FPN data from a dark image in which the noise component of the image sensor 13 is recorded. Then, the image processing unit 17 can obtain image data composed of signal components corresponding to the image of the subject by subtracting the FPN component from the image photographed in a non-shielded state based on the FPN data. it can.

ここで、ＦＰＮデータを生成するときには、制御部１９は、撮像素子１３の複数行（例えば１００行分）にわたる暗黒画像の出力をライン間で加算平均することで、ランダムノイズ成分を低減した１行分のＦＰＮデータを生成する。 Here, when generating the FPN data, the control unit 19 performs averaging of the output of the dark image over a plurality of rows (for example, 100 rows) of the image sensor 13 between the lines, thereby reducing one random noise component. FPN data for minutes is generated.

ところで、ＦＰＮデータを生成するときに、上記の読み出し行の位置が撮像素子１３の横方向の欠陥ラインと一致する場合には、ＦＰＮデータが示すノイズ成分の誤差が大きくなり、ＦＰＮの除去が適切に行われなくなる。そのため、一の実施形態の制御部１９は、ＦＰＮデータに係る暗黒画像の間引き読み出しを行い、読み出し行の位置の調整を行う。なお、上記の読み出し行の位置調整は、例えば撮像装置の工場検査の工程で行われる。 By the way, when generating the FPN data, if the position of the readout row coincides with the defect line in the horizontal direction of the image sensor 13, the error of the noise component indicated by the FPN data becomes large, and the FPN removal is appropriate. Will not be done. For this reason, the control unit 19 according to one embodiment performs thinning-out readout of the dark image related to the FPN data and adjusts the position of the readout row. Note that the position adjustment of the readout row is performed, for example, in a factory inspection process of the imaging device.

具体的には、制御部１９は、撮像素子１３の画素配列における欠陥ラインの位置情報を取得するとともに、間引き読み出しでの読み出し行の初期設定位置と、欠陥ラインの位置とが一致するか否かを判定する。そして、読み出し行の位置と欠陥ラインの位置とが一致する場合、制御部１９は、読み出し行の間隔の規則性（例えば、垂直方向の１／３間引き）を保ちつつ各々の読み出し行の設定位置を１列分ずらす（図６参照）。位置変更後の読み出し行が欠陥ラインに該当する場合、制御部１９は、さらに各々の読み出し行の設定位置を１行分ずらして上記工程を繰り返す。また、位置変更後の読み出し行が欠陥ラインとなるときには、制御部１９は、動画撮影の場合と同様に、読み出し行の間隔の規則性を変化させて調整処理を行ってもよい（図７参照）。 Specifically, the control unit 19 acquires the position information of the defective line in the pixel array of the image sensor 13 and determines whether or not the initial setting position of the read line in the thinning readout matches the position of the defective line. Determine. When the position of the read line matches the position of the defective line, the control unit 19 maintains the regularity of the interval between the read lines (for example, 1/3 thinning in the vertical direction) while setting the position of each read line. Are shifted by one column (see FIG. 6). When the read line after the position change corresponds to the defective line, the control unit 19 further repeats the above process by shifting the set position of each read line by one line. Further, when the read line after the position change becomes a defective line, the control unit 19 may perform adjustment processing by changing the regularity of the interval between the read lines as in the case of moving image shooting (see FIG. 7). ).

そして、位置変更後の読み出し列がいずれも欠陥ラインではない場合には、制御部１９は、調整後の読み出し行の位置情報を記憶部２０に書き込んで調整処理を終了する。これにより、上記のＦＰＮデータを生成するときには欠陥ラインの出力が除外されるようになるので、撮像装置は精度の高いＦＰＮ除去処理を行うことが可能となる。 When none of the read columns after the position change is a defective line, the control unit 19 writes the adjusted position information of the read row in the storage unit 20 and ends the adjustment process. As a result, when the FPN data is generated, the output of the defective line is excluded, so that the imaging apparatus can perform highly accurate FPN removal processing.

（実施形態の補足事項）
（１）上記実施形態では、撮像素子がＣＭＯＳである場合について説明した。しかし、本発明は、撮像素子がＣＣＤの場合にも適用しうる。一例として、複数の垂直ＣＣＤの出力を１つの水平ＣＣＤを介して読み出すイメージセンサにおいて、水平ＣＣＤの読み出しを指示するパルスのタイミングを調整することで、イメージセンサの任意の行を読み出すことが可能となる。そのため、ＣＣＤ型のイメージセンサにおいて、水平ＣＣＤの延長方向（水平方向）に延在する欠陥ラインがあり、垂直方向での行間引きを行うケースでは、上記実施形態と同様に、制御部は、読み出し行が欠陥ラインと重ならないように調整処理を行うようにしてもよい。 (Supplementary items of the embodiment)
(1) In the above embodiment, the case where the image sensor is a CMOS has been described. However, the present invention can also be applied when the image sensor is a CCD. As an example, in an image sensor that reads out the outputs of a plurality of vertical CCDs through a single horizontal CCD, it is possible to read out any row of the image sensor by adjusting the timing of a pulse that instructs the horizontal CCD to be read out. Become. Therefore, in a CCD type image sensor, in the case where there is a defect line extending in the extending direction (horizontal direction) of the horizontal CCD and row thinning is performed in the vertical direction, the control unit reads out as in the above embodiment. The adjustment process may be performed so that the line does not overlap the defective line.

（２）上記実施形態では、動画撮影時に水平方向に間引きを行う例を説明したが、かかる場合にも垂直方向の間引きを行って画像を取得するようにしてもよい。 (2) In the above-described embodiment, the example in which the thinning is performed in the horizontal direction during moving image shooting has been described. However, in such a case, the image may be acquired by performing thinning in the vertical direction.

（３）なお、本発明において、撮像素子から全画素読み出しで画像の信号を取得した場合、欠陥ラインに対応する画素については周囲の画素の画素値を用いて補間処理を行えばよい。 (3) In the present invention, when an image signal is acquired by reading all pixels from the image sensor, interpolation processing may be performed using pixel values of surrounding pixels for pixels corresponding to the defective line.

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。 From the above detailed description, features and advantages of the embodiments will become apparent. It is intended that the scope of the claims extend to the features and advantages of the embodiments as described above without departing from the spirit and scope of the right. Further, any person having ordinary knowledge in the technical field should be able to easily come up with any improvements and modifications, and there is no intention to limit the scope of the embodiments having the inventive features to those described above. It is also possible to use appropriate improvements and equivalents within the scope disclosed in.

１３…撮像素子、１５…タイミングジェネレータ（ＴＧ）、１９…制御部、２０…記憶部 DESCRIPTION OF SYMBOLS 13 ... Image sensor, 15 ... Timing generator (TG), 19 ... Control part, 20 ... Memory | storage part

Claims

An image sensor having a plurality of pixels arranged two-dimensionally and capable of selectively outputting a signal of the pixel corresponding to a line designated in the array;
A controller that performs thinning out in units of lines from the array and provides the image sensor with a thinning readout instruction for acquiring the signals from a plurality of readout lines set at predetermined intervals of the array;
The control unit changes the setting position of each readout line while maintaining regularity of the interval when any of the readout lines is a defective line that causes an abnormality in the output of the pixel in units of lines. An imaging device that is characterized.

The imaging device according to claim 1,
The control unit re-changes the set position of the readout line by changing the regularity of the interval when any of the readout lines after the position change is the defective line. .

In the imaging device according to claim 1 or 2,
The image pickup apparatus, wherein the control unit issues the thinning-out readout instruction during moving image shooting or live view shooting.

In the imaging device according to claim 1 or 2,
The image pickup apparatus, wherein the control unit issues the thinning readout instruction when acquiring correction data of fixed pattern noise.