JP2007228152A - Solid-state image pick up device and method - Google Patents
Solid-state image pick up device and method Download PDFInfo
- Publication number
- JP2007228152A JP2007228152A JP2006045410A JP2006045410A JP2007228152A JP 2007228152 A JP2007228152 A JP 2007228152A JP 2006045410 A JP2006045410 A JP 2006045410A JP 2006045410 A JP2006045410 A JP 2006045410A JP 2007228152 A JP2007228152 A JP 2007228152A
- Authority
- JP
- Japan
- Prior art keywords
- light receiving
- level
- receiving elements
- pixel
- black level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Abstract
Description
本発明は、入射光を電気信号に変換して被写界の像を装置に取り込む固体撮像装置および撮像方法に関し、とくに、黒レベル等を精度よく決定できるものであり、電子スチルカメラ装置、画像入力装置、ムービカメラ、携帯電話等に用いて好適なものである。 The present invention relates to a solid-state imaging device and an imaging method for converting incident light into an electrical signal and capturing an image of an object scene into the device, and in particular, can determine a black level and the like with high accuracy. It is suitable for use in input devices, movie cameras, mobile phones and the like.
光電変換素子によって撮像し、電荷結合素子（以下、CCDという）や金属酸化膜半導体(以下、MOSという)を用いて信号の転送を行う撮像装置では、映像の黒レベルを一定値にクランプするために、光電変換素子の信号出力の黒レベル補正を行う。すなわち、集光面の一部に設けられた光電変換素子（オプティカルブラック）の出力信号を求め、それを黒レベルとして、オプティカルブラック以外の有効画素領域にある光電変換素子の出力信号を補正することにより、黒レベル補正が行われてきた。 In an imaging device that captures an image with a photoelectric conversion element and transfers a signal using a charge coupled device (hereinafter referred to as CCD) or a metal oxide semiconductor (hereinafter referred to as MOS), the image black level is clamped to a constant value. In addition, the black level correction of the signal output of the photoelectric conversion element is performed. That is, an output signal of a photoelectric conversion element (optical black) provided on a part of the light condensing surface is obtained, and the output signal of the photoelectric conversion element in an effective pixel region other than the optical black is corrected using the output signal as a black level. Thus, black level correction has been performed.
これは、たとえば特許文献１に開示されている。特許文献１は、CCDを用いて信号の転送を行うデジタルカメラにおいて、オプティカルブラックを用いて黒レベルを求めることを開示する。
従来は、光電変換素子の出力信号に対して黒レベル補正を行うために、オプティカルブラックの信号を黒レベル（OBレベル）として求め、光電変換素子の出力信号を補正していた。 Conventionally, in order to perform black level correction on an output signal of a photoelectric conversion element, an optical black signal is obtained as a black level (OB level) and the output signal of the photoelectric conversion element is corrected.
しかし、有効画素領域の光電変換素子の実際の黒レベルは、OBレベルとレベル段差（OB段差）を持っており、そのレベル段差は、素子温度や露光時間により一定とならない場合があった。このため、とくに長時間露光時の黒レベルは、実際の黒レベルに対して誤差を有し、正確な補正が不可能であった。 However, the actual black level of the photoelectric conversion element in the effective pixel region has an OB level and a level step (OB step), and the level step may not be constant depending on the element temperature and exposure time. For this reason, the black level during long exposure has an error with respect to the actual black level, and accurate correction is impossible.
本発明はこのような課題に鑑み、OBレベルを使用しないで、黒レベル等の基準レベルを求めて、上記OB段差を排除して、正確な基準レベル補正を可能とする固体撮像装置および撮像方法を提供することを目的とする。 In view of such a problem, the present invention obtains a reference level such as a black level without using an OB level, eliminates the OB step, and enables accurate reference level correction and an imaging method. The purpose is to provide.
本発明は上述の課題を解決するために、入射光が集光する集光面に入射光を光電変換する複数の受光素子が配され、受光素子の出力信号から画像信号を生成するとともに、出力信号の基準レベルを設定する固体撮像装置において、受光素子には、少なくとも２種類の、光電感度特性が異なる第１の受光素子と第２の受光素子とがあり、装置は、第１および第２の受光素子の出力信号から基準レベルを決定するレベル決定手段と、決定された基準レベルにより、第１および第２の受光素子の出力信号を補正する補正手段とを含むこととしたものである。 In order to solve the above-described problems, the present invention provides a plurality of light receiving elements that photoelectrically convert incident light on a condensing surface on which incident light is collected, generates an image signal from the output signal of the light receiving element, and outputs the image signal. In a solid-state imaging device for setting a reference level of a signal, the light receiving elements include at least two types of first light receiving elements and second light receiving elements having different photoelectric sensitivity characteristics. The apparatus includes first and second light receiving elements. Level determining means for determining a reference level from the output signals of the light receiving elements, and correction means for correcting the output signals of the first and second light receiving elements according to the determined reference levels.
これにより、第１および第２の受光素子、たとえば感度の高い主感光画素と感度の低い副感光画素の撮影データのみから、演算によりたとえば黒レベルを算出することができ、OBレベルを使用せずに、正確な黒レベルを算出できる。 As a result, for example, the black level can be calculated by calculation from only the photographing data of the first and second light receiving elements, for example, the main photosensitive pixel having high sensitivity and the sub photosensitive pixel having low sensitivity, and the OB level is not used. In addition, an accurate black level can be calculated.
さらに、第１および第２の受光素子の基準レベルが同等と考えられる場合、レベル決定手段は、第１および第２の受光素子における基準レベルは同一であるとして、基準レベルを決定することができる。 Further, when the reference levels of the first and second light receiving elements are considered to be equivalent, the level determining means can determine the reference level on the assumption that the reference levels of the first and second light receiving elements are the same. .
第１および第２の受光素子の基準レベルが異なると考えられる場合、レベル決定手段は、第１および第２の受光素子における基準レベルは異なることがありうるとして、基準レベルを決定することもできる。 When it is considered that the reference levels of the first and second light receiving elements are different, the level determining means can determine the reference level, assuming that the reference levels in the first and second light receiving elements may be different. .
なお、レベル決定手段は、集光面内の特定の領域に含まれる第１および第２の受光素子の出力信号から、基準レベルを決定することができる。すなわち、有効画素領域における黒レベルが、集光面全体でほぼ均一であるとして、特定領域の情報、たとえば、画面の中心領域の黒レベルの平均値を使用して、黒レベルの決定を行う。 The level determining means can determine the reference level from the output signals of the first and second light receiving elements included in a specific region within the light collection surface. In other words, assuming that the black level in the effective pixel region is substantially uniform over the entire condensing surface, the black level is determined using information on the specific region, for example, the average value of the black level in the central region of the screen.
また、レベル決定手段は、集光面を複数の領域に分割し、領域ごとに、領域に含まれる第１および第２の受光素子の出力信号から、基準レベルを決定し、基準レベルの決定を領域ごとに行うこともできる。補正手段は、領域ごとの基準レベルを用いて、領域ごとに第１および第２の受光素子の出力信号を補正する。 The level determining means divides the condensing surface into a plurality of regions, determines a reference level from the output signals of the first and second light receiving elements included in each region, and determines the reference level. It can also be done for each region. The correcting means corrects the output signals of the first and second light receiving elements for each region using the reference level for each region.
このように、受光素子を領域に区分して、領域単位で、補正を行えば、ダークシェーディング補正も同時に可能である。なお、領域境界では、隣接する領域のデータを用いて、補間処理を行ってもよい。 In this way, if the light receiving element is divided into regions and correction is performed in units of regions, dark shading correction can be performed simultaneously. Note that at the region boundary, interpolation processing may be performed using data of adjacent regions.
ダークシェーディング補正とは、画像の周辺で絵が暗くなる周辺光量低下というレンズの特性を補正することをいう。レンズは、周辺にいくほど光量が低下する性質を持っているからである。光量低下は、画角の大きい広角レンズほど大きく、画角の小さい望遠レンズほど小さくなる。 Dark shading correction refers to correcting lens characteristics such as a decrease in the amount of peripheral light that darkens a picture around an image. This is because the lens has a property that the amount of light decreases toward the periphery. The reduction in the amount of light is larger as the wide-angle lens has a larger angle of view, and decreases as the telephoto lens has a smaller angle of view.
ところで、入射光を三原色赤緑青にそれぞれ色分解する色フィルタが受光素子に対して配されている場合、レベル決定手段は、領域における基準レベルを、三原色赤緑青ごとに決定し、補正手段は、三原色赤緑青ごとに決定された基準レベルを用いて、領域における第１および第２の受光素子の出力信号を補正することとしてもよい。すなわち、RGB画素の黒レベル等の基準レベルを一定としてもよいし、RGB画素の黒レベルをそれぞれ独立に補正してもよい。 By the way, when the color filters for separating the incident light into the three primary colors red green blue are arranged on the light receiving element, the level determining means determines the reference level in the region for each of the three primary colors red green blue, and the correcting means The reference signals determined for each of the three primary colors red, green, and blue may be used to correct the output signals of the first and second light receiving elements in the region. That is, the reference level such as the black level of the RGB pixel may be constant, or the black level of the RGB pixel may be independently corrected.
また、第１および第２の受光素子が、対を構成している場合、レベル決定手段は、各対ごとに、対に含まれる第１および第２の受光素子の出力信号から、基準レベルを決定し、補正手段は、対ごとの基準レベルを用いて、対ごとに第１および第２の受光素子の出力信号を補正することができる。たとえば、各１個の第１および第２の受光素子により、１画素が構成されている場合、黒レベル補正のための黒レベル算出を各画素ごとに行うことができる。画素単位で行えば、転送路起因の傷に起因する画像の不良部分、これは主に縦筋であるが、これの補正およびダークシェーディング補正も、黒レベル補正と同時に可能である。 In addition, when the first and second light receiving elements form a pair, the level determining means determines the reference level from the output signals of the first and second light receiving elements included in the pair for each pair. The correction means can correct the output signals of the first and second light receiving elements for each pair using the reference level for each pair. For example, when one pixel is constituted by each of the first and second light receiving elements, black level calculation for black level correction can be performed for each pixel. If performed in units of pixels, a defective portion of an image due to a flaw caused by a transfer path, which is mainly a vertical stripe, correction and dark shading correction can be performed simultaneously with black level correction.
なお、レベル決定手段は、露光時間を考慮して、基準レベルを決定することとしてもよい。たとえば、露光時間の長さを考慮して、基準レベルを決定することができる。 The level determining means may determine the reference level in consideration of the exposure time. For example, the reference level can be determined in consideration of the length of the exposure time.
さらに、補正手段も、露光時間を考慮して、第１および第２の受光素子の出力信号を補正することができる。たとえば、処理時間削減のため、本発明に従った黒レベル捕正を長時間露光の場合のみ行うこととしてもよい。すなわち、黒レベル補正が効果的である長時間露光時のみに限って、黒レベル補正を行ってもよい。通常露光時は、従来の方法で黒レベル補正を行ってもよい。 Further, the correction means can also correct the output signals of the first and second light receiving elements in consideration of the exposure time. For example, to reduce processing time, black level correction according to the present invention may be performed only in the case of long exposure. That is, the black level correction may be performed only during the long time exposure in which the black level correction is effective. During normal exposure, black level correction may be performed by a conventional method.
本発明によれば、OBレベルを使用せずに、異なる感度を有する受光素子の撮影データから黒レベル等の基準レベルの補正量を決定するため、既述のOB段差等の誤差要因を排除可能であり、正確な黒レベル補正等が可能となる。 According to the present invention, since the correction amount of the reference level such as the black level is determined from the photographing data of the light receiving elements having different sensitivities without using the OB level, the above-described error factors such as the OB step can be eliminated. Therefore, accurate black level correction and the like can be performed.
次に添付図面を参照して本発明による固体撮像装置および撮像方法の実施例を詳細に説明する。 Next, embodiments of a solid-state imaging device and an imaging method according to the present invention will be described in detail with reference to the accompanying drawings.
本実施例の固体撮像装置では、入射光が集光する集光面に入射光を光電変換する複数の受光素子が２次元的に配され、受光素子の出力信号から画像信号を生成するとともに、出力信号の基準レベルを設定する。受光素子には、２種類の、光電感度特性が異なる主画素と副画素とがあり、装置は、主画素と副画素の出力信号から黒レベルを決定するレベル決定手段と、決定された基準レベルにより、主画素と副画素の出力信号を補正する補正手段とを含む。 In the solid-state imaging device according to the present embodiment, a plurality of light receiving elements that photoelectrically convert incident light are two-dimensionally arranged on a condensing surface on which incident light is collected, and an image signal is generated from an output signal of the light receiving element. Set the reference level of the output signal. The light receiving element has two types of main pixels and sub-pixels having different photoelectric sensitivity characteristics. The apparatus includes a level determining unit that determines a black level from output signals of the main pixel and the sub-pixel, and a determined reference level. Thus, correction means for correcting the output signals of the main pixel and the sub-pixel are included.
レベル決定手段は、主画素と副画素における黒レベルは同一であるとして、黒レベルを決定する。レベル決定手段は、集光面内の中心領域に含まれる主画素と副画素の出力信号から、黒レベルを決定し、補正手段は、黒レベルを用いて、主画素と副画素の出力信号を補正する。 The level determining means determines the black level on the assumption that the black level is the same in the main pixel and the sub-pixel. The level determining means determines the black level from the output signals of the main pixel and the sub-pixel included in the central area in the light converging surface, and the correcting means uses the black level to output the output signal of the main pixel and the sub-pixel. to correct.
この固体撮像装置をデジタルスチルカメラ10に適用した場合について図１〜図８を参照しながら説明する。デジタルスチルカメラ10には、図１に示すように、撮像系10A、信号処理系10B、駆動信号生成部10C、信号出力系10D、モード指定部10Eおよびシステム制御部12が備えられている。以下では、本発明に直接関係のない部分の説明は省略する。 The case where this solid-state imaging device is applied to the digital still camera 10 will be described with reference to FIGS. As shown in FIG. 1, the digital still camera 10 includes an imaging system 10A, a signal processing system 10B, a drive signal generation unit 10C, a signal output system 10D, a mode designation unit 10E, and a system control unit 12. In the following, description of parts not directly related to the present invention is omitted.
撮像系10Aには、撮像レンズ102、撮像部104、および絞り機構を含むAE調整部108が備えられている。この他、図示しないが撮像部104の入射光の側に入射光を完全に遮光するためのシャッタ機構がある。撮像レンズ102は、被写界からの入射光を撮像部104の受光面上に焦点を結ぶように集光する光学系である。 The imaging system 10A includes an imaging lens 102, an imaging unit 104, and an AE adjustment unit 108 including a diaphragm mechanism. In addition, although not shown, there is a shutter mechanism for completely blocking incident light on the incident light side of the imaging unit 104. The imaging lens 102 is an optical system that condenses incident light from the object scene so as to focus on the light receiving surface of the imaging unit 104.
撮像部104では、入射光を光電変換する主画素140および副画素142が受光面を形成しており、図２に示すように主画素140および副画素142は行方向および列方向に２次元配列されている。図２は、主画素140、副画素142、色フィルタ、および垂直転送路144の配置を示す模式図である。 In the imaging unit 104, a main pixel 140 and a sub pixel 142 that photoelectrically convert incident light form a light receiving surface, and the main pixel 140 and the sub pixel 142 are two-dimensionally arranged in the row direction and the column direction as shown in FIG. Has been. FIG. 2 is a schematic diagram showing the arrangement of the main pixel 140, the sub-pixel 142, the color filter, and the vertical transfer path 144.
受光素子には、本実施例では、光電感度特性の高い主画素140と、光電感度特性の低い副画素142の２種類がある。主画素140は副画素142よりも受光面積が大きい。主画素140および副画素142は、２次元の縦方向において交互に配置される。主画素140およびその上にある副画素142により１画素が構成される。たとえば、主画素R1およびその上にある副画素R4により１画素が構成される。 In this embodiment, there are two types of light receiving elements: a main pixel 140 with high photoelectric sensitivity characteristics and a sub-pixel 142 with low photoelectric sensitivity characteristics. The main pixel 140 has a larger light receiving area than the sub pixel 142. The main pixel 140 and the sub-pixel 142 are alternately arranged in the two-dimensional vertical direction. One pixel is constituted by the main pixel 140 and the sub-pixel 142 located thereon. For example, one pixel is constituted by the main pixel R1 and the sub-pixel R4 provided thereon.
入射光量が適切なときは、主画素140の出力信号のみで、画像を生成することができ、入射光量が多いときは、副画素142の出力信号を主画素140の出力信号に加算することにより、ダイナミックレンジを広げることができる。 When the amount of incident light is appropriate, an image can be generated using only the output signal of the main pixel 140, and when the amount of incident light is large, the output signal of the sub-pixel 142 is added to the output signal of the main pixel 140. , Can expand the dynamic range.
なお、光電感度特性の高低は、本実施例のように受光面積の大きさで調整する方法以外に、受光素子の前面に設けた膜の光透過性を変える方法、受光素子の前面に設けるマイクロレンズによる集光能力を変える方法等がある。 In addition to the method of adjusting the size of the light receiving area as in this embodiment, the photoelectric sensitivity characteristics can be adjusted by changing the light transmittance of the film provided on the front surface of the light receiving element, There is a method of changing the light collecting ability by the lens.
撮像部104には、主画素140および副画素142より入射光の側に入射光を色分解する色フィルタ（色分解フィルタ）CFを設ける。色分解フィルタCFは、主画素140および副画素142のそれぞれに対応しており、主画素140および副画素142と一体的に形成されている。色分解フィルタCFの配設により、主画素140および副画素142には、三原色RGBに色分解された入射光が入射することになる。色分解フィルタCFは一体的に形成されているので、図２では、各主画素140および副画素142に三原色RGBのうちのいずれを割り当てたかを示すために、各主画素140および副画素142内に、三原色RGBを示す記号R、G、Bを図示した。 The imaging unit 104 is provided with a color filter (color separation filter) CF that separates incident light from the main pixel 140 and the sub-pixel 142 on the incident light side. The color separation filter CF corresponds to each of the main pixel 140 and the sub-pixel 142, and is formed integrally with the main pixel 140 and the sub-pixel 142. With the arrangement of the color separation filter CF, incident light that has been color-separated into the three primary colors RGB is incident on the main pixel 140 and the sub-pixel 142. Since the color separation filter CF is integrally formed, in FIG. 2, in order to indicate which of the three primary colors RGB is assigned to each main pixel 140 and each sub-pixel 142, the inside of each main pixel 140 and each sub-pixel 142. In the figure, symbols R, G and B indicating the three primary colors RGB are shown.
縦方向に隣接する主画素R1、B5、G1、G5、B1、R5と、副画素R4、B8、G4、G8、B4、R8は、それぞれペアを形成する。ペアを形成する受光素子の色フィルタは同一色である。なお、受光素子R1、B5等の参照符号に含まれる数字1〜8は、後述する垂直転送電極の識別番号と対応する。 The main pixels R1, B5, G1, G5, B1, and R5 adjacent in the vertical direction and the sub-pixels R4, B8, G4, G8, B4, and R8 form a pair. The color filters of the light receiving elements forming the pair have the same color. Note that numerals 1 to 8 included in reference numerals of the light receiving elements R1, B5, and the like correspond to identification numbers of vertical transfer electrodes described later.
本実施例では、緑色であるペアは、縦方向の１列全体に配され、この緑色である列は、一列おきに配され、赤色および青色であるペアは、残りの列に、縦方向および横方向において交互に配される。ペアにより１つの画素が形成され、画素について見ると、図２の色フィルタCFの配列は、GストライプRB完全市松である。 In this example, green pairs are arranged in the entire vertical column, this green column is arranged in every other row, and red and blue pairs are arranged in the vertical direction and in the remaining columns. Alternatingly arranged in the horizontal direction. One pixel is formed by the pair. Looking at the pixels, the arrangement of the color filter CF in FIG.
さらに撮像部104の構成を説明する。撮像部104は、後述する駆動信号生成部10Cから出力される駆動信号に応動する。主画素140および副画素142と、主画素140および副画素142に隣接配設された転送素子、すなわち垂直転送素子との間に、受光して変換した信号電荷を垂直転送素子に読み出すための信号読出しゲート（トランスファゲート）146が形成されている。 Further, the configuration of the imaging unit 104 will be described. The imaging unit 104 responds to a drive signal output from a drive signal generation unit 10C described later. A signal for reading the signal charge received and converted into the vertical transfer element between the main pixel 140 and the sub-pixel 142 and the transfer element adjacent to the main pixel 140 and the sub-pixel 142, that is, the vertical transfer element. A read gate (transfer gate) 146 is formed.
信号読出しゲート146は、電極を介して供給されるフィールドシフトパルスにより、信号電荷を主画素140および副画素142から垂直転送路144に転送する。垂直転送路144は、読み出した信号電荷を列方向、すなわち垂直方向に順次転送する。垂直転送路144は、CCDで構成されている。なお、本発明は、信号の転送にMOSを用いた撮像素子にも適用可能である。 The signal readout gate 146 transfers signal charges from the main pixel 140 and the sub-pixel 142 to the vertical transfer path 144 by a field shift pulse supplied via the electrodes. The vertical transfer path 144 sequentially transfers the read signal charges in the column direction, that is, in the vertical direction. The vertical transfer path 144 is composed of a CCD. Note that the present invention is also applicable to an image sensor using MOS for signal transfer.
垂直転送により、信号電荷のラインシフトが行われ、最終的に行方向の転送素子、すなわち水平転送路148に供給される。水平転送路148は、駆動信号に応動してこの信号電荷を、アンプ150を介して前述したように信号処理系10Bに出力する。 By vertical transfer, the signal charge is line-shifted and finally supplied to the transfer element in the row direction, that is, the horizontal transfer path 148. The horizontal transfer path 148 outputs this signal charge to the signal processing system 10B via the amplifier 150 in response to the drive signal as described above.
ところで、４相もしくは８相の駆動信号を用いて垂直方向に信号電荷の転送を行う場合、信号電荷の混合を防ぐためには、主画素140および副画素142から垂直転送路144に信号電荷の読出しを行う間隔として、信号電荷が読み出される隣接する転送素子の間に、信号電荷が読み出されない転送素子が３個必要である。 By the way, when signal charges are transferred in the vertical direction using four-phase or eight-phase drive signals, signal charges are read from the main pixel 140 and the sub-pixel 142 to the vertical transfer path 144 in order to prevent mixing of the signal charges. As an interval for performing the above, three transfer elements from which signal charges are not read out are required between adjacent transfer elements from which signal charges are read out.
また、全画素を読み出すとき、インタレースしてすべての主画素140および副画素142から信号電荷を読み出す。これらのことを考慮して、主画素140および副画素142と垂直転送路144との間に配される信号読出しゲート146を図２に示すように配置する。 When all the pixels are read out, signal charges are read out from all the main pixels 140 and sub-pixels 142 by interlacing. In consideration of these points, the signal readout gate 146 disposed between the main pixel 140 and the sub-pixel 142 and the vertical transfer path 144 is disposed as shown in FIG.
インタレースで全画素を読み出すときは、たとえば、第１フィールドでは、垂直転送素子V1、V5に接続された主画素140から読み出し、第２フィールドでは、垂直転送素子V4、V8に接続された副画素142から読み出す。この際に、読出し部が図２のように配置されているため、読み出された信号電荷が混合することはない。 When all pixels are read out in an interlaced manner, for example, in the first field, reading is performed from the main pixels 140 connected to the vertical transfer elements V1 and V5, and in the second field, subpixels connected to the vertical transfer elements V4 and V8. Read from 142. At this time, since the reading unit is arranged as shown in FIG. 2, the read signal charges are not mixed.
静止画撮影時、被写体の輝度が主画素140でカバーできる範囲にあるときは、主画素140のデータのみから映像信号を生成する。被写体の輝度が主画素140でカバーできない範囲にあるときは、主画素140および副画素142のデータから映像信号を生成する。たとえば主画素140のデータと副画素142のデータを加算して、ダイナミックレンジを広げることができる。撮像部104の基本的な構成は以上の通りである。 At the time of still image shooting, if the luminance of the subject is in a range that can be covered by the main pixel 140, a video signal is generated only from data of the main pixel 140. When the luminance of the subject is in a range that cannot be covered by the main pixel 140, a video signal is generated from the data of the main pixel 140 and the sub-pixel 142. For example, the dynamic range can be expanded by adding the data of the main pixel 140 and the data of the sub-pixel 142. The basic configuration of the imaging unit 104 is as described above.
AE調整部108は、被写体を含む被写界の測光値の算出が行われるシステム制御部12内に設けられる露光制御部（図示せず）からの制御により絞り機構の絞り位置を変位させ、入射する光束量を調整する。測光は、撮像信号の一部を用いている。この場合もシステム制御部12で測光値に基づいて露光量が算出され、この露光量になるように絞り値とシャッタ速度値(露光時間)を制御する制御信号をAE調整部108に供給する。算出された露光時間に従って、黒レベルの決定や黒レベル補正を選択することができる。これについては、後述する。AE調整部108は、この制御信号に応じて絞り機構およびシャッタ機構をそれぞれ調整している。この調整により露出を最適にすることができる。 The AE adjusting unit 108 displaces the aperture position of the aperture mechanism under the control of an exposure control unit (not shown) provided in the system control unit 12 in which the photometric value of the object scene including the subject is calculated. Adjust the amount of luminous flux. Photometry uses part of the image signal. Also in this case, the exposure amount is calculated based on the photometric value by the system control unit 12, and a control signal for controlling the aperture value and the shutter speed value (exposure time) is supplied to the AE adjustment unit 108 so as to be the exposure amount. According to the calculated exposure time, it is possible to select black level determination or black level correction. This will be described later. The AE adjustment unit 108 adjusts the diaphragm mechanism and the shutter mechanism in accordance with the control signal. This adjustment can optimize the exposure.
システム制御部12で測光値に基づいて露光量が算出されると、さらに、受光素子140がカバーする範囲内にあるかどうかが判断され、カバーする範囲内にあるときは、後述する信号処理部114は、その情報を受けて、主画素140からの信号のみを処理する。カバーする範囲内にないときは、信号処理部114は、その情報を受けて、主画素140および副画素142からの信号を既述のように加算処理する。 When the exposure amount is calculated based on the photometric value by the system control unit 12, it is further determined whether or not it is within the range covered by the light receiving element 140, and if it is within the range covered, the signal processing unit described later 114 receives the information and processes only the signal from the main pixel 140. When the signal is not within the range to be covered, the signal processing unit 114 receives the information and adds the signals from the main pixel 140 and the sub-pixel 142 as described above.
駆動信号生成部10Cは、後述する駆動信号を生成する。信号処理系10Bには、前処理部110、A/D変換部112、信号処理部114が備えられている。前処理部110は、たとえば、供給される信号電荷に対して相関二重サンプリング（CDS）処理を施して雑音の低減を図り、さらに信号にガンマ変換処理を施し、この信号を増幅させてA/D変換部112に出力する。 The drive signal generation unit 10C generates a drive signal described later. The signal processing system 10B includes a preprocessing unit 110, an A / D conversion unit 112, and a signal processing unit 114. The preprocessing unit 110 performs, for example, a correlated double sampling (CDS) process on the supplied signal charge to reduce noise, further performs a gamma conversion process on the signal, amplifies the signal, and performs A / A The data is output to the D conversion unit 112.
A/D変換部112は、システム制御部12からの制御信号12A、およびタイミング信号等を発生させる駆動信号生成部10Cからのクロック信号120を用いて撮像部104から供給されるアナログ信号をサンプリングし、量子化することによってデジタル信号に変換する。変換したデジタル信号は信号処理部114に供給される。 The A / D conversion unit 112 samples the analog signal supplied from the imaging unit 104 using the control signal 12A from the system control unit 12 and the clock signal 120 from the drive signal generation unit 10C that generates a timing signal and the like. The digital signal is converted by quantization. The converted digital signal is supplied to the signal processing unit 114.
信号処理部114は、A/D変換部112から供給された主画素140および副画素142の出力信号に対して黒レベルの決定および補正を行う。すなわち、主画素140および副画素142の出力信号から黒レベルを決定し、決定された黒レベルにより、主画素140および副画素142の出力信号を補正することが行われる。信号処理部114は、補正された信号に、自動絞り調整（AE）、白バランス調整（AWB）、アパーチャ補正等を行う。 The signal processing unit 114 determines and corrects the black level for the output signals of the main pixel 140 and the sub-pixel 142 supplied from the A / D conversion unit 112. That is, the black level is determined from the output signals of the main pixel 140 and the sub-pixel 142, and the output signals of the main pixel 140 and the sub-pixel 142 are corrected based on the determined black level. The signal processing unit 114 performs automatic aperture adjustment (AE), white balance adjustment (AWB), aperture correction, and the like on the corrected signal.
黒レベル補正について、以下説明する。撮像装置においては、出力信号の黒レベルを一定値にクランプすることが必要であり、そのために黒レベル補正が行われる。黒レベル補正は、本実施例では、主画素140および副画素142の出力信号から、実際の黒レベルを決定し、実際の黒レベルと、黒レベルの所定値との差を求めて補正量とし、主画素140および副画素142の出力信号からこの補正量を減算することにより行われる。たとえば、黒レベルの所定値を64と定めた場合、実際の黒レベルが66であったなら、その差２を主画素140および副画素142の出力信号から減算する。これにより、映像信号の生成に用いられる主画素140および副画素142の出力信号が補正されて、その黒レベルが64になる。 The black level correction will be described below. In the imaging apparatus, it is necessary to clamp the black level of the output signal to a constant value, and for this reason, black level correction is performed. In this embodiment, the black level correction is performed by determining the actual black level from the output signals of the main pixel 140 and the sub-pixel 142 and calculating the difference between the actual black level and a predetermined value of the black level as a correction amount. The correction amount is subtracted from the output signals of the main pixel 140 and the sub-pixel 142. For example, when the predetermined value of the black level is set to 64 and the actual black level is 66, the difference 2 is subtracted from the output signals of the main pixel 140 and the sub-pixel 142. As a result, the output signals of the main pixel 140 and the sub-pixel 142 used for generating the video signal are corrected, and the black level becomes 64.
実際の黒レベルを決定する方法について、図３により説明する。図３は、A/D変換部112から供給される主画素140および副画素142の出力信号20、22を示し、図の縦軸は、出力信号の大きさである。出力信号20、22はそれぞれ、輝度レベル24、26と、黒レベル28、30からなる。本実施例では、黒レベル28と黒レベル30の大きさは同じである。出力信号20、22、輝度レベル24、26と、黒レベル28、30の大きさをそれぞれ、Ａ、Ｂ、ａ、ｂ、ｃとする。主画素の感度と副画素の感度の比を1/x、すなわち、
a:b=1:x (式１)
とする。
A method of determining the actual black level will be described with reference to FIG. FIG. 3 shows the output signals 20 and 22 of the main pixel 140 and the sub-pixel 142 supplied from the A / D conversion unit 112, and the vertical axis in the figure is the magnitude of the output signal. The output signals 20 and 22 are composed of luminance levels 24 and 26 and black levels 28 and 30, respectively. In this embodiment, the black level 28 and the black level 30 are the same. The magnitudes of the output signals 20 and 22, the luminance levels 24 and 26, and the black levels 28 and 30 are A, B, a, b, and c, respectively. The ratio of the main pixel sensitivity to the sub-pixel sensitivity is 1 / x, that is,
a: b = 1: x (Formula 1)
And
感度の比は、たとえば、カメラの製造工程中の撮像調整を行う段階で、カメラごとに、または、カメラのロットごとに感度比を求めて、信号処理部114内のPROM(再書込み可能な読出し専用メモリ)に記憶させておき、撮影時に、PROMから読み出す。感度の比は、製造時だけではなく、ユーザが撮影時に求めることもできる。感度の比の決定方法については、後述する。 For example, the sensitivity ratio is calculated at the stage of imaging adjustment during the camera manufacturing process, and the sensitivity ratio is obtained for each camera or for each camera lot, and the PROM (re-writable readout) in the signal processing unit 114 is obtained. It is stored in the dedicated memory and read from the PROM during shooting. The ratio of sensitivity can be obtained not only at the time of manufacture but also by the user at the time of photographing. A method for determining the sensitivity ratio will be described later.
図３を参照すると、A=a+c、B=b+cであるから、式１を考慮して、
a=A-c
b=B-c
b=a*x
が成立することがわかる。この連立方程式を解くと
c=(B-A*x)/(1-x)
となる。このように、黒レベルｃは、出力信号20、22および感度の比から算出できる。信号処理部114は、このようにして黒レベルｃを決定するとともに、得られた黒レベルｃを用いて、既述のように出力信号20、22に対して黒レベル補正を行う。
Referring to FIG. 3, since A = a + c and B = b + c, considering Equation 1,
a = Ac
b = Bc
b = a * x
It can be seen that Solving these simultaneous equations
c = (BA * x) / (1-x)
It becomes. Thus, the black level c can be calculated from the ratio between the output signals 20 and 22 and the sensitivity. The signal processing unit 114 determines the black level c in this way, and performs black level correction on the output signals 20 and 22 as described above using the obtained black level c.
撮影時の黒レベル算出の際は、図７に示すように、撮像素子の有効画素領域40のうち、特定領域、たとえば画面の中心領域42のデータを用いて、中心領域42の画素から得られた複数の黒レベルを平均して、黒レベルを決定する。黒レベル補正は、画面全体、すなわち有効画素領域40に対して、決定された黒レベルを一律に用いて、行う。なお、特定領域は有効画素領域40の全体でもよい。 When calculating the black level at the time of shooting, as shown in FIG. 7, it is obtained from the pixels in the central area 42 using data of a specific area, for example, the central area 42 of the screen, among the effective pixel areas 40 of the image sensor. A plurality of black levels are averaged to determine the black level. The black level correction is performed by uniformly using the determined black level for the entire screen, that is, the effective pixel region 40. The specific area may be the entire effective pixel area 40.
システム制御部12の制御により、信号処理部114は、上述した信号処理後の信号に、既述のように受光素子140、142からの信号の加算処理を行い、もしくは行わない。 Under the control of the system control unit 12, the signal processing unit 114 performs or does not add the signal from the light receiving elements 140 and 142 to the signal after the above-described signal processing as described above.
なお信号処理部114は、撮像信号を信号出力系10Dの表示部124に表示させるように垂直間引き処理等も行う。信号処理部114は、記録可能な映像信号にするために、必要に応じて、出力信号の圧縮／伸張処理も行う。そして、信号処理部114は、その信号を記録再生部126に出力する。 The signal processing unit 114 also performs vertical thinning processing and the like so as to display the imaging signal on the display unit 124 of the signal output system 10D. The signal processing unit 114 also performs compression / decompression processing of the output signal as necessary to obtain a recordable video signal. Then, the signal processing unit 114 outputs the signal to the recording / reproducing unit 126.
駆動信号生成部10Cは、たとえば、現行の放送方式（NTSC/PAL）でデジタルスチルカメラ10が駆動するように発生させた原発振のクロックを基に同期信号を生成して信号処理部114に供給する。駆動信号生成部10Cは、前処理部110、A/D変換部112にもサンプリング信号や書込み／読出し信号のクロックとして信号を供給する。 The drive signal generation unit 10C generates, for example, a synchronization signal based on the original oscillation clock generated so that the digital still camera 10 is driven by the current broadcasting system (NTSC / PAL), and supplies it to the signal processing unit 114 To do. The drive signal generation unit 10C also supplies signals to the preprocessing unit 110 and the A / D conversion unit 112 as a clock for sampling signals and write / read signals.
駆動信号生成部10Cは、原発振のクロックから同期信号を生成し、さらにこれらの信号を用いて各種のタイミング信号を生成している。生成されるタイミング信号には、撮像部104で得られた信号電荷の読出しに用いるタイミング信号、たとえば、垂直転送路の駆動タイミングを供給する垂直タイミング信号、水平転送路の駆動タイミングを供給する水平タイミング信号、フィールドシフトやラインシフトを行わせるタイミング信号等がある。また、AE調整部108の動作を制御する際にも駆動信号生成部10Cからの信号を用いている（ここでは信号線をそれぞれをあらわには図示しない）。 The drive signal generator 10C generates a synchronization signal from the original oscillation clock, and further generates various timing signals using these signals. The generated timing signal includes a timing signal used for reading the signal charge obtained by the imaging unit 104, for example, a vertical timing signal for supplying driving timing for the vertical transfer path, and a horizontal timing for supplying driving timing for the horizontal transfer path. There are signals, timing signals for performing field shift and line shift. Also, when controlling the operation of the AE adjustment unit 108, the signal from the drive signal generation unit 10C is used (here, signal lines are not shown).
信号出力系10Dには、表示部124および記録再生部126が備えられている。表示部124には、たとえば、デジタルRGB入力によるVGA（Video Graphics Array）規格の液晶表示モニタなどが備えられている。記録再生部126は、磁気記録媒体、メモリカード等に用いられる半導体メモリ、光記録媒体、または光磁気記録媒体に、供給された映像信号を記録する。また、記録再生部126は、記録した映像信号を読み出して表示部124に表示させることもできる。 The signal output system 10D includes a display unit 124 and a recording / reproducing unit 126. The display unit 124 includes, for example, a VGA (Video Graphics Array) standard liquid crystal display monitor with digital RGB input. The recording / reproducing unit 126 records the supplied video signal on a magnetic recording medium, a semiconductor memory used for a memory card or the like, an optical recording medium, or a magneto-optical recording medium. The recording / reproducing unit 126 can also read out the recorded video signal and display it on the display unit 124.
モード指定部10Eには、レリーズシャッタ128およびキースイッチ130が備えられている。レリーズシャッタ128は、本実施例において、２段押し機能を備えている。すなわち、第１段の半押し状態では、測光制御モードを指定して、システム制御部12にこのモード設定がなされていることを信号として供給し、第２段の全押し状態では、画像の取込みタイミングをシステム制御部12に提供する。 The mode designating unit 10E is provided with a release shutter 128 and a key switch 130. In this embodiment, the release shutter 128 has a two-step push function. That is, in the first-stage half-pressed state, the photometry control mode is designated and a signal indicating that this mode setting has been made is supplied as a signal to the system control unit 12, and in the second-stage fully pressed state, an image is captured. Timing is provided to the system controller 12.
また、キースイッチ130は、十字キーであり、表示部124の画面に表示される画面内のカーソルを上下左右に移動させて項目・画像の選択等を行うことができる。この選択した情報もシステム制御部12に送られる。モード指定手段であるモード指定部10Eを用いて、ユーザは、既述の感度の比を求める処理を実行することをカメラに指示することもできる。 The key switch 130 is a cross key, and can select items and images by moving the cursor in the screen displayed on the screen of the display unit 124 up and down and left and right. The selected information is also sent to the system control unit 12. Using the mode designating unit 10E, which is a mode designating unit, the user can also instruct the camera to execute the processing for obtaining the above-described sensitivity ratio.
システム制御部12は、カメラ全体の動作を制御するコントローラである。システム制御部12には、中央演算装置（CPU）が含まれている。システム制御部12は、レリーズシャッタ128からの入力信号によりどのモードが選択されたかの判断を行う。また、システム制御部12は、上述したようにキースイッチ130からの選択情報により、画像信号に対する処理等の制御を行う。このように供給された情報に基づいてシステム制御部12は、どのような処理を行うべきかを判断し、判断結果を基に駆動信号生成部10Cの動作を制御する。 The system control unit 12 is a controller that controls the operation of the entire camera. The system control unit 12 includes a central processing unit (CPU). The system control unit 12 determines which mode is selected based on an input signal from the release shutter 128. Further, as described above, the system control unit 12 controls processing on the image signal and the like based on the selection information from the key switch 130. Based on the supplied information, the system control unit 12 determines what processing should be performed, and controls the operation of the drive signal generation unit 10C based on the determination result.
このように構成したデジタルスチルカメラ10の動作について、図４のフローチャートにより説明する。まず、通常の撮影動作である全画素読出しについて説明する。その後、カメラの製造工程で行われる感度の比を求める撮像調整工程について説明する。 The operation of the digital still camera 10 configured as described above will be described with reference to the flowchart of FIG. First, all pixel readout, which is a normal photographing operation, will be described. Then, the imaging adjustment process for obtaining the ratio of sensitivity performed in the camera manufacturing process will be described.
一般的なデジタルスチルカメラ10の撮影手順に従うと、最初にデジタルスチルカメラ10では、撮影を行う前に被写界に対して測光を行う。被写界の撮像の際にレリーズシャッタ128を半押し状態にして測光制御モードにする。そして、AF調整制御、AE調整制御が行われる。 According to a general shooting procedure of the digital still camera 10, the digital still camera 10 first performs photometry on the object field before shooting. At the time of imaging the object scene, the release shutter 128 is pressed halfway to enter the photometric control mode. Then, AF adjustment control and AE adjustment control are performed.
この後、ユーザは所望の撮影タイミングでレリーズシャッタ128を全押し状態にする。その後、撮像系10Aで被写界からの入射光の撮像が行われる。デジタルスチルカメラ10は、全画素読出しを行える撮像部104を有するカメラであり、レリーズシャッタ128が全押しされた場合(ステップS1)、色分解フィルタCFを介して入射する光がすべての画素について処理される。受光素子140、142の各々では、受光した際に光電変換することによって信号電荷が蓄積される。 Thereafter, the user fully presses the release shutter 128 at a desired shooting timing. Thereafter, imaging of incident light from the object scene is performed by the imaging system 10A. The digital still camera 10 is a camera having an imaging unit 104 that can read out all pixels, and when the release shutter 128 is fully pressed (step S1), light incident through the color separation filter CF is processed for all pixels. Is done. In each of the light receiving elements 140 and 142, signal charges are accumulated by photoelectric conversion when light is received.
蓄積された信号電荷を各受光素子140、142から読み出す場合、図５に示すように、信号出力系10Dでは垂直同期信号VDが生成される。また、信号出力系10Dでは、垂直同期信号VDに同期させて垂直転送路144の転送素子V1〜V8に供給する垂直駆動信号V1〜V8および信号読出しゲート146に供給する垂直タイミング信号TG1、TG4、TG5、TG8が生成される。垂直タイミング信号TG1、TG4、TG5、TG8は、転送素子V1〜V8を介して信号読出しゲート146に供給される。 When the accumulated signal charge is read from each of the light receiving elements 140 and 142, as shown in FIG. 5, the signal output system 10D generates a vertical synchronization signal VD. Further, the signal output system 10D, the vertical timing signal TG1 supplied to the vertical drive signal V 1 ~V 8 and the signal readout gate 146 supplies to the transfer device V1~V8 of the vertical transfer path 144 in synchronization with the vertical synchronizing signal VD, TG4, TG5, TG8 are generated. The vertical timing signals TG1, TG4, TG5, and TG8 are supplied to the signal read gate 146 via the transfer elements V1 to V8.
図4、5において、各垂直同期期間中、主画素読出しを行う第１フィールド(ステップS12)では垂直タイミング信号TG1、TG5が立ち上がり信号であり、続いて行われる副画素読出しを行う第２フィールド(ステップS14)では垂直タイミング信号TG4、TG8が立ち上がり信号である。また、垂直タイミング信号TG1、TG4、TG5、TG8は、垂直同期信号VDに同期して信号電荷を読み出すように生成されている。 4 and 5, during each vertical synchronization period, the vertical timing signals TG1 and TG5 are rising signals in the first field (step S12) in which main pixel reading is performed, and the second field (in which subpixel reading is performed subsequently) ( In step S14), the vertical timing signals TG4 and TG8 are rising signals. The vertical timing signals TG1, TG4, TG5, and TG8 are generated so as to read the signal charges in synchronization with the vertical synchronization signal VD.
第１フィールドでは、トランスファゲートをオンにする際に転送素子V1、V5に対応する位置の受光素子だけから信号電荷を読み出し、次の垂直同期信号VDが供給されるまでフィールドシフトが行われない。そして、フィールドシフト後、各垂直駆動信号V1〜V8が順次供給される。この供給により、垂直転送路144にシフトされた信号電荷が水平転送路148に向かって転送されていく。第２フィールドでは、転送素子V4、V8に対応する位置の受光素子だけから信号電荷を読み出すように、トランスファゲートをオンにする。フィールドシフト後、各垂直駆動信号V1〜V8が順次供給される。垂直駆動信号V1〜V8は、第１フィールドおよび第２フィールドにおいて、同じである。 In the first field, when the transfer gate is turned on, the signal charge is read only from the light receiving elements at the positions corresponding to the transfer elements V1 and V5, and the field shift is not performed until the next vertical synchronizing signal VD is supplied. Then, after the field shift, the vertical drive signals V 1 to V 8 are sequentially supplied. With this supply, the signal charge shifted to the vertical transfer path 144 is transferred toward the horizontal transfer path 148. In the second field, the transfer gate is turned on so that the signal charge is read out only from the light receiving elements at positions corresponding to the transfer elements V4 and V8. After the field shift, the vertical drive signals V 1 to V 8 are sequentially supplied. The vertical drive signals V 1 to V 8 are the same in the first field and the second field.
垂直同期信号VDがレベル"L"にレベル変化して、信号電荷が垂直転送路144に読み出された後（このときを時刻ｔ0とする）、各垂直駆動信号V1〜V8の各タイミングを図６のタイミングチャートに時間的に拡大して示す。時刻ｔ0に続いて、時刻ｔ1、t2、t3、...、t8において図６に示す垂直駆動信号V1〜V8が印加される。転送素子には、８個おきに同一の駆動電圧が印加される。すなわち、図２において、８個おきの転送素子は共通接続される。 After the vertical synchronizing signal VD changes to the level “L” and the signal charge is read out to the vertical transfer path 144 (this time is time t 0 ), each of the vertical drive signals V 1 to V 8 The timing is shown in the timing chart of FIG. Following a time t 0, the time t 1, t 2, t 3 , ..., vertical drive signal V 1 ~V 8 shown in FIG. 6 at t 8 it is applied. The same drive voltage is applied to every eight transfer elements. That is, in FIG. 2, every eight transfer elements are connected in common.
図６に示すように、垂直駆動信号は、垂直転送素子V1〜V4に対するものと、垂直転送素子V5〜V8に対するものは、同じ信号である。すなわち、実質的には４つの異なる位相の信号で駆動している。垂直転送された信号電荷にラインシフトを施して、水平転送路148に転送した後、水平転送路148上を順次転送させて、撮像部104から全画素の信号電荷を所定の時間内に一度に読み出している。 As shown in FIG. 6, the vertical drive signals for the vertical transfer elements V1 to V4 and the vertical drive elements V5 to V8 are the same signal. That is, it is driven by signals of substantially four different phases. A line shift is applied to the signal charges that have been vertically transferred and transferred to the horizontal transfer path 148, and then sequentially transferred on the horizontal transfer path 148, so that the signal charges of all the pixels from the image pickup unit 104 at once within a predetermined time. Reading out.
撮像系10Aで得られた画像信号は、システム制御部12の制御により信号処理系10Bに供給される。撮像した画像信号は、信号処理系10BのA/D変換部112でデジタル信号にされた後、信号処理部114に供給される。信号処理部114は、既述のようにして、黒レベルの算出を行う(ステップS16)。続いて、主画素、副画素について、黒レベルの補正を既述のように行う(ステップS18)。 The image signal obtained by the imaging system 10A is supplied to the signal processing system 10B under the control of the system control unit 12. The captured image signal is converted into a digital signal by the A / D conversion unit 112 of the signal processing system 10B, and then supplied to the signal processing unit 114. The signal processing unit 114 calculates the black level as described above (step S16). Subsequently, the black level is corrected as described above for the main pixel and the sub-pixel (step S18).
その後、信号処理部114は、補正後の出力信号20、22に基づいて、受光素子140でカバーできる範囲であるかどうかに応じて異なる処理が行われる。得られた画像データに、既述の各種の画像信号処理を施す(ステップS20)。そして、処理後の画像データが、信号出力系10Dに出力され、全画素の画像データが記録再生部126に記録される。 Thereafter, the signal processing unit 114 performs different processing based on the corrected output signals 20 and 22 depending on whether or not the range can be covered by the light receiving element 140. The obtained image data is subjected to the various image signal processes described above (step S20). Then, the processed image data is output to the signal output system 10D, and the image data of all the pixels is recorded in the recording / reproducing unit 126.
次に、カメラの製造工程で行われる感度の比を求める撮像調整工程について、図８のフローチャートにより説明する。以下の感度比取得のための処理をカメラ各部に行わせるプログラムをシステム制御部12内のROM(読出し専用メモリ)に格納しておき、製造ラインに設けられた調整装置から、カメラに設けた調整用の端子を介して、この処理の開始をシステム制御部12に指示する(ステップS22)。 Next, the imaging adjustment process for obtaining the sensitivity ratio performed in the camera manufacturing process will be described with reference to the flowchart of FIG. A program that causes each part of the camera to perform the following processing to acquire the sensitivity ratio is stored in the ROM (read only memory) in the system control unit 12, and the adjustment provided on the production line is used to adjust the camera. The system control unit 12 is instructed to start this process via the terminal for use (step S22).
このとき、カメラは、標準的な明るさを有する被写体に対向させておく。システム制御部12は、既述のようにカメラ各部を制御して、この被写体を撮影させる。信号処理部114は、A/D変換部112から、第１フィールドにおいて、主画素の信号レベルである撮影データを入力される。このデータを主画素信号レベルデータと呼ぶ。このデータを記録再生部126に送り、記録再生部126はデータを記録する(ステップS24)。 At this time, the camera is kept facing a subject having standard brightness. The system control unit 12 controls each part of the camera as described above so that the subject is photographed. In the first field, the signal processing unit 114 receives imaging data that is the signal level of the main pixel from the A / D conversion unit 112. This data is called main pixel signal level data. This data is sent to the recording / reproducing unit 126, and the recording / reproducing unit 126 records the data (step S24).
次に、調整装置は、カメラを、たとえば暗室に入れて遮光状態にする。その後、調整用の端子を介して、カメラに撮影を指示する。システム制御部12は、カメラ各部を制御して、撮影を行う。信号処理部114は、A/D変換部112から、第１フィールドにおいて、主画素の遮光状態における撮影データを入力される。このデータを主画素遮光レベルデータと呼ぶ。このデータを記録再生部126に送り、記録再生部126はデータを記録する(ステップS26)。 Next, the adjustment device puts the camera into a dark room, for example, and puts it in a light-shielded state. Thereafter, the camera is instructed to shoot through the adjustment terminal. The system control unit 12 controls each part of the camera to perform shooting. In the first field, the signal processing unit 114 receives imaging data in the light-shielded state of the main pixel from the A / D conversion unit 112. This data is called main pixel shading level data. This data is sent to the recording / reproducing unit 126, and the recording / reproducing unit 126 records the data (step S26).
システム制御部12は、記録再生部126から、特定領域42の主画素信号レベルデータと主画素遮光レベルデータを読み出し、その差を取ることにより、図３に示す主画素の輝度レベル24を算出し、記録再生部126に記録する(ステップS28)。 The system control unit 12 reads the main pixel signal level data and main pixel shading level data in the specific area 42 from the recording / playback unit 126, and calculates the luminance level 24 of the main pixel shown in FIG. Then, it is recorded in the recording / reproducing unit 126 (step S28).
次に、調整装置は、カメラを、標準的な明るさを有する被写体に再度、対向させ、カメラに撮影を指示する。信号処理部114は、第２フィールドにおいて、副画素の信号レベルである撮影データを取得する。このデータを副画素信号レベルデータと呼ぶ。このデータを記録再生部126に送り、記録再生部126はデータを記録する(ステップS30)。 Next, the adjustment device causes the camera to again face a subject having standard brightness, and instructs the camera to take a picture. The signal processing unit 114 acquires shooting data that is a signal level of the sub-pixel in the second field. This data is called subpixel signal level data. This data is sent to the recording / reproducing unit 126, and the recording / reproducing unit 126 records the data (step S30).
その後、調整装置は、カメラを、再び遮光状態にする。そして、調整用の端子を介して、カメラに撮影を指示する。信号処理部114は、第２フィールドにおいて、副画素の遮光状態における撮影データを取得する。このデータを副画素遮光レベルデータと呼ぶ。このデータを記録再生部126に送り、記録再生部126はデータを記録する(ステップS32)。 Thereafter, the adjustment device puts the camera in a light-shielding state again. Then, the camera is instructed to shoot through the adjustment terminal. In the second field, the signal processing unit 114 acquires shooting data in the light shielding state of the subpixel. This data is called subpixel light shielding level data. This data is sent to the recording / reproducing unit 126, and the recording / reproducing unit 126 records the data (step S32).
システム制御部12は、記録再生部126から、特定領域42の副画素信号レベルデータと副画素遮光レベルデータを読み出し、その差を取ることにより、図３に示す副画素の輝度レベル26を算出する(ステップS34)。システム制御部12は、副画素の輝度レベル26を、記録再生部126から読み出した主画素の輝度レベル24で除算することにより、画素ごとに感度比Ｘを求め、その平均を取って感度比を算出し(ステップS36)、既述のPROMに、平均化された感度比Ｘを記録する(ステップS38)。 The system control unit 12 reads the subpixel signal level data and the subpixel light shielding level data of the specific area 42 from the recording / reproducing unit 126, and calculates the luminance level 26 of the subpixel shown in FIG. (Step S34). The system control unit 12 divides the luminance level 26 of the sub-pixel by the luminance level 24 of the main pixel read from the recording / reproducing unit 126, thereby obtaining the sensitivity ratio X for each pixel, and taking the average to obtain the sensitivity ratio. It is calculated (step S36), and the averaged sensitivity ratio X is recorded in the above-mentioned PROM (step S38).
なお本実施例では、感度比Ｘは、特定領域42の画素について求めたが、有効領域40全体の画素について求めることもできる。また、本実施例では、感度比Ｘを求めるために、４回の撮影を行ったが、２回の撮影により感度比を求めることもできる。すなわち、標準的な明るさを有する被写体を１回撮影したときに、主画素の信号レベルデータを第１フィールドで取得し、副画素の信号レベルデータを第２フィールドで取得する。２回目の撮影として、遮光状態で撮影を行ない、主画素の遮光レベルデータを第１フィールドで取得し、副画素の遮光レベルデータを第２フィールドで取得する。 In the present embodiment, the sensitivity ratio X is obtained for the pixels in the specific area 42, but can also be obtained for the pixels in the entire effective area 40. Further, in this embodiment, four times of photographing are performed in order to obtain the sensitivity ratio X, but the sensitivity ratio can also be obtained by two times of photographing. That is, when a subject having standard brightness is photographed once, the signal level data of the main pixel is acquired in the first field, and the signal level data of the sub-pixel is acquired in the second field. As the second shooting, shooting is performed in a light-shielded state, the light-shielding level data of the main pixel is acquired in the first field, and the light-shielding level data of the sub-pixel is acquired in the second field.
次に、本発明の第２の実施例について説明する。この実施例では、主画素の黒レベルと、副画素の黒レベルが異なる。このような場合の黒レベルの決定方法について述べる。黒レベル補正方法および撮影方法については、最初の実施例と同様であるので、それについては説明を省略する。 Next, a second embodiment of the present invention will be described. In this embodiment, the black level of the main pixel is different from the black level of the sub-pixel. A method for determining the black level in such a case will be described. Since the black level correction method and the photographing method are the same as those in the first embodiment, description thereof will be omitted.
本実施例における黒レベルを決定する方法について、図９により説明する。図９は、A/D変換部112から供給される主画素140および副画素142の出力信号20a、22aを示し、図の縦軸は、出力信号の大きさである。出力信号20a、22aはそれぞれ、輝度レベル24a、26aと、黒レベル28a、30aからなる。本実施例では、黒レベル28aと黒レベル30aの大きさは異なる。出力信号20a、22a、輝度レベル24a、26aと、黒レベル28a、30aの大きさをそれぞれ、Ａ、Ｂ、ａ、ｂ、ｃ、ｄとする。主画素の感度と副画素の感度の比を1/x、すなわち、
a:b=1:x (式１)
とする。また、主画素の黒レベルと副画素の黒レベルの比を1/y、すなわち、
c:d=1:y (式２)
とする。
A method for determining the black level in this embodiment will be described with reference to FIG. FIG. 9 shows the output signals 20a and 22a of the main pixel 140 and the sub-pixel 142 supplied from the A / D conversion unit 112, and the vertical axis in the figure is the magnitude of the output signal. The output signals 20a and 22a are composed of luminance levels 24a and 26a and black levels 28a and 30a, respectively. In this embodiment, the sizes of the black level 28a and the black level 30a are different. The sizes of the output signals 20a and 22a, the luminance levels 24a and 26a, and the black levels 28a and 30a are A, B, a, b, c, and d, respectively. The ratio of the main pixel sensitivity to the sub-pixel sensitivity is 1 / x, that is,
a: b = 1: x (Formula 1)
And The ratio of the black level of the main pixel to the black level of the sub-pixel is 1 / y, that is,
c: d = 1: y (Formula 2)
And
感度の比および黒レベルの比は、たとえば、カメラの製造工程中の撮像調整を行う段階で、カメラごとに、または、カメラのロットごとに求めて、カメラ内のPROMに記憶させておき、撮影時に、PROMから読み出す。これらの比は、製造時だけではなく、ユーザが撮影時に求めることもできる。感度の比および黒レベルの比の決定方法については、後述する。 The sensitivity ratio and the black level ratio are obtained for each camera or for each camera lot at the stage of imaging adjustment during the camera manufacturing process, for example, and stored in the PROM in the camera for shooting. Sometimes read from PROM. These ratios can be obtained not only at the time of manufacture but also by the user at the time of photographing. The method for determining the sensitivity ratio and the black level ratio will be described later.
図９を参照すると、A=a+c、B=b+dであるから、式1、2を考慮して、
b=B-d
a=A-c
b=a*x
d=c*y
が成立することがわかる。この連立方程式を解くと
c=(B-A*x)/(y-x)
d=(B-A*x)*y/(y-x)
となる。このように、黒レベルｃ、ｄは、出力信号20a、22aおよび感度の比x、yから算出できる。信号処理部は、このようにして黒レベルｃ、ｄを決定するとともに、得られた黒レベルｃ、ｄを用いて、既述のように出力信号20a、22aに対して黒レベル補正を行う。
Referring to FIG. 9, since A = a + c and B = b + d, considering equations 1 and 2,
b = Bd
a = Ac
b = a * x
d = c * y
It can be seen that Solving these simultaneous equations
c = (BA * x) / (yx)
d = (BA * x) * y / (yx)
It becomes. Thus, the black levels c and d can be calculated from the output signals 20a and 22a and the sensitivity ratios x and y. The signal processing unit determines the black levels c and d in this way, and performs black level correction on the output signals 20a and 22a as described above using the obtained black levels c and d.
撮影時の黒レベル算出の際は、図７に示すように、撮像素子の有効画素領域40のうち、特定領域、たとえば画面の中心領域42のデータを用いて、中心領域42の画素から得られた複数の黒レベルを平均して、黒レベルを決定する。黒レベル補正は、画面全体、すなわち有効画素領域40に対して、決定された黒レベルを一律に用いて、行う。なお、特定領域は有効画素領域40の全体でもよい。 When calculating the black level at the time of shooting, as shown in FIG. 7, it is obtained from the pixels in the central area 42 using data of a specific area, for example, the central area 42 of the screen, among the effective pixel areas 40 of the image sensor. A plurality of black levels are averaged to determine the black level. The black level correction is performed by uniformly using the determined black level for the entire screen, that is, the effective pixel region 40. The specific area may be the entire effective pixel area 40.
本実施例における撮影動作は、図４に示すフローチャートにおいて、信号処理部が行う黒レベル算出方法(ステップS16)が異なるのみであるため、撮影動作については、これ以上の説明は省略する。 Since the shooting operation in the present embodiment is different only in the black level calculation method (step S16) performed by the signal processing unit in the flowchart shown in FIG. 4, further description of the shooting operation is omitted.
次に、カメラの製造工程で行われる感度および黒レベルの比を求める撮像調整工程について、図10のフローチャートにより説明する。本実施例における撮像調整工程は、図８に示す撮像調整工程と、ステップS38までは、同様であるので、説明を省略する。ステップS40から説明する。 Next, the imaging adjustment process for obtaining the ratio of sensitivity and black level performed in the camera manufacturing process will be described with reference to the flowchart of FIG. Since the imaging adjustment process in this embodiment is the same as the imaging adjustment process shown in FIG. 8 up to step S38, the description thereof is omitted. This will be described from step S40.
システム制御部は、記録再生部126から、特定領域42の主画素遮光レベルデータと副画素遮光レベルデータとを読み出し、副画素の黒レベルを主画素の黒レベルで除算することにより、主画素の黒レベルと副画素の黒レベルとの比を画素ごとに求め、その平均を取って黒レベルの比を算出し(ステップS40)、既述のPROMに、平均化された黒レベルの比Ｙを記録する(ステップS42)。 The system control unit reads the main pixel shading level data and subpixel shading level data of the specific area 42 from the recording / playback unit 126, and divides the black level of the subpixel by the black level of the main pixel, thereby The ratio of the black level to the black level of the sub-pixel is obtained for each pixel, and the average is taken to calculate the ratio of the black level (step S40). The average black level ratio Y is calculated in the PROM described above. Record (step S42).
次に、本発明の第３の実施例について説明する。本実施例では、第２の実施例と同様に、黒レベルが、主画素と副画素では異なるとして撮影時の黒レベルを決定するが、撮影時の黒レベルの決定を、分割領域ごとに行う。 Next, a third embodiment of the present invention will be described. In the present embodiment, as in the second embodiment, the black level at the time of shooting is determined on the assumption that the black level is different between the main pixel and the sub-pixel, but the black level at the time of shooting is determined for each divided region. .
すなわち、図11に示すように、有効画素領域40を、縦方向および横方向に複数の分割領域44に分割し、各分割領域44において画素ごとに黒レベルを求め、得られた黒レベルを分割領域44において平均し、平均値を求める。分割領域44ごとの平均値を用いて、黒レベル補正を行う。そのために、黒レベルの決定に用いる感度比および黒レベル比は、撮像調整工程において分割領域ごとに求める。 That is, as shown in FIG. 11, the effective pixel area 40 is divided into a plurality of divided areas 44 in the vertical direction and the horizontal direction, the black level is obtained for each pixel in each divided area 44, and the obtained black level is divided. An average is obtained in the region 44 by averaging. Using the average value for each divided area 44, black level correction is performed. Therefore, the sensitivity ratio and the black level ratio used for determining the black level are obtained for each divided region in the imaging adjustment process.
分割領域44ごとに、黒レベルを決定し、補正を行うことにより、ダークシェーディングが補正可能となる。なぜならば、ダークシェーディングは、有効画素領域40の周辺部で生じるものであり、中心部と周辺部で異なる基準レベルを用いることにより、周辺部で生じているダークシェーディングに対応することができるからである。ダークシェーディングによる信号電荷の低下分を黒レベルの低下分とみなして、画素ごとに黒レベルを決定して、補正するため、適正な輝度レベルが得られて、ダークシェーディングを補正できる。 Dark shading can be corrected by determining and correcting the black level for each divided region 44. This is because dark shading occurs in the periphery of the effective pixel region 40, and by using different reference levels in the center and the periphery, it can cope with dark shading occurring in the periphery. is there. Since the decrease in signal charge due to dark shading is regarded as the decrease in black level, and the black level is determined and corrected for each pixel, an appropriate luminance level can be obtained and dark shading can be corrected.
ただし、信号レベルが飽和している画素がある分割領域44では、黒レベル決定および黒レベル補正を行わない。信号レベルが飽和していると、第１の実施例または第２の実施例に関して説明した黒レベル決定のための計算式が成立していないためである。 However, the black level determination and the black level correction are not performed in the divided region 44 in which the signal level is saturated. This is because when the signal level is saturated, the calculation formula for determining the black level described with respect to the first embodiment or the second embodiment is not established.
黒レベル補正では、各分割領域44の黒レベルの平均値を用いて、画素ごとに補正が行われるが、各分割領域44の境界近傍にある画素については、隣接する分割領域44の黒レベルで補間した黒レベルを用いて画素ごとに補正する。補間方法としては、たとえば、隣接する分割領域44の黒レベルの平均値を用いる。これを図12により説明する。図12において、縦軸は、分割領域44ごとの決定された黒レベルを示し、横軸は、有効画素領域の水平方向、または垂直方向、または斜め方向に位置する分割領域44の位置を示す。黒レベル46が分割領域44に対応する。 In the black level correction, correction is performed for each pixel using the average value of the black level of each divided region 44, but for the pixels near the boundary of each divided region 44, the black level of the adjacent divided region 44 is set. Correction is performed for each pixel using the interpolated black level. As an interpolation method, for example, an average value of black levels of adjacent divided regions 44 is used. This will be described with reference to FIG. In FIG. 12, the vertical axis indicates the determined black level for each divided region 44, and the horizontal axis indicates the position of the divided region 44 located in the horizontal direction, the vertical direction, or the diagonal direction of the effective pixel region. The black level 46 corresponds to the divided area 44.
黒レベル46aに対応する分割領域44aと、黒レベル46bに対応する分割領域44bとの境界近傍に位置する分割領域44a、44ｂの画素については、黒レベル46aと黒レベル46bの平均値48を用いて、黒レベル補正を行う。境界近傍に含まれる画素としては、画素１列分でもよく、複数列分でもよい。 For the pixels of the divided areas 44a and 44b located near the boundary between the divided area 44a corresponding to the black level 46a and the divided area 44b corresponding to the black level 46b, the average value 48 of the black level 46a and the black level 46b is used. To correct the black level. The pixels included in the vicinity of the boundary may be one column of pixels or a plurality of columns.
撮影時の動作については、図４のフローチャートと同様であるが、ステップS16、S18において、分割領域44ごとに黒レベル決定と、黒レベル補正を行う点が異なる。撮像調整工程については、図10のフローチャートと同様であるが、ステップS36、S38において、分割領域44ごとに主画素と副画素の感度比を算出し、記録する点、およびステップS40、S42において、分割領域44ごとに黒レベル比を算出し、記録する点が異なる。 The operation at the time of shooting is the same as that in the flowchart of FIG. 4 except that the black level is determined and the black level is corrected for each divided region 44 in steps S16 and S18. The imaging adjustment process is the same as the flowchart of FIG. 10, but in steps S36 and S38, the sensitivity ratio of the main pixel and subpixel is calculated and recorded for each divided region 44, and in steps S40 and S42, The black level ratio is calculated for each divided area 44 and recorded.
次に、本発明の第４の実施例について説明する。本実施例では、第２の実施例と同様に、黒レベルが、主画素と副画素では異なるとして撮影時の黒レベルを決定するが、撮影時の黒レベルの決定を、有効領域40の画素全体について、画素ごとに行う。また、黒レベル補正も対応する画素ごとに行う。これにより、ダークシェーディングと、転送路起因の傷（主に縦筋）が補正可能となる。 Next, a fourth embodiment of the present invention will be described. In the present embodiment, as in the second embodiment, the black level at the time of shooting is determined on the assumption that the black level is different between the main pixel and the sub-pixel, but the black level at the time of shooting is determined by the pixels of the effective area 40. The entire process is performed for each pixel. Black level correction is also performed for each corresponding pixel. This makes it possible to correct dark shading and scratches (mainly vertical stripes) due to the transfer path.
縦筋が補正できる理由は、次の通りである。縦筋は、転送路の欠陥に起因して転送路の転送効率が低下するために、生じる。この傷は、たとえば撮像面の縦１列に発生する。本実施例によれば、転送効率の低下による信号電荷の低下分を黒レベルの低下分とみなして、画素ごとに黒レベルを決定して、補正するため、適正な輝度レベルが得られて、縦筋を補正できる。 The reason why the vertical stripe can be corrected is as follows. Longitudinal streaks occur because the transfer efficiency of the transfer path decreases due to a defect in the transfer path. This scratch occurs, for example, in one vertical column of the imaging surface. According to the present embodiment, the decrease in signal charge due to the decrease in transfer efficiency is regarded as the decrease in black level, and the black level is determined and corrected for each pixel, so that an appropriate luminance level is obtained, Can correct vertical stripes.
ただし、信号レベルが飽和している画素では、黒レベルの算出は行わない。信号レベルが飽和していると、既述の黒レベル決定のための計算式が使えないためである。信号レベルが飽和している画素については、その画素の黒レベルは、隣接する画素の黒レベルを補間して求める。たとえば、隣接する両隣の画素の黒レベルの平均値を、飽和している画素の黒レベルとする。 However, the black level is not calculated for a pixel in which the signal level is saturated. This is because when the signal level is saturated, the above-described calculation formula for determining the black level cannot be used. For a pixel whose signal level is saturated, the black level of that pixel is obtained by interpolating the black level of adjacent pixels. For example, an average value of black levels of adjacent pixels adjacent to each other is set as a black level of a saturated pixel.
撮影時の動作については、図４のフローチャートと同様であるが、ステップS16、S18において、画素ごとに黒レベルを決定することと、黒レベル補正を行う点が異なる。撮像調整工程については、図10のフローチャートと同様であるが、ステップS36、S38において、画素ごとに主画素と副画素の感度比を算出し、記録する点、およびステップS40、S42において、画素ごとに黒レベル比を算出し、記録する点が異なる。 The operation at the time of shooting is the same as that in the flowchart of FIG. 4 except that the black level is determined for each pixel and the black level is corrected in steps S16 and S18. The imaging adjustment process is the same as that in the flowchart of FIG. 10, but in steps S36 and S38, the sensitivity ratio of the main pixel and subpixel is calculated and recorded for each pixel, and in steps S40 and S42, the pixel is adjusted. The difference is that the black level ratio is calculated and recorded.
次に、本発明の第５の実施例について説明する。本実施例では、第２の実施例と同様に、黒レベルが、主画素と副画素では異なるとして撮影時の黒レベルを決定するが、撮影時の黒レベルの決定を、RGB画素ごとに行う。また、黒レベル補正も対応するRGB画素ごとに行う。これにより、色の違いに依存する黒レベルの違い、すなわちRGB画素のダークレベルの違いが補正可能となる。 Next, a fifth embodiment of the present invention will be described. In this embodiment, as in the second embodiment, the black level at the time of shooting is determined on the assumption that the black level is different between the main pixel and the sub-pixel, but the black level at the time of shooting is determined for each RGB pixel. . Black level correction is also performed for each corresponding RGB pixel. Thereby, a difference in black level depending on a difference in color, that is, a difference in dark level of RGB pixels can be corrected.
RGB画素ごととは、１画素ごとに黒レベルを算出するのではなく、ある領域におけるR画素、G画素、B画素の黒レベルの平均値を用いることを意味する。ある領域とは、特定領域42または有効画素領域40を指す。この平均値を用いて、RGB画素ごとに、たとえばR画素については、算出されたR画素の黒レベルを用いて黒レベル補正を行う。 For each RGB pixel, the black level is not calculated for each pixel, but the average value of the black levels of R, G, and B pixels in a certain region is used. A certain area refers to the specific area 42 or the effective pixel area 40. Using this average value, for each RGB pixel, for example, for the R pixel, black level correction is performed using the calculated black level of the R pixel.
撮影時の動作については、図４のフローチャートと同様であるが、ステップS16、S18において、RGB画素ごとに黒レベルを決定することと、黒レベル補正を行う点が異なる。撮像調整工程については、図10のフローチャートと同様であるが、ステップS36、S38において、ある領域についてRGB画素ごとに主画素と副画素の感度比を算出し、記録する点、およびステップS40、S42において、この領域についてRGB画素ごとに黒レベル比を算出し、記録する点が異なる。 The operation at the time of shooting is the same as that in the flowchart of FIG. 4 except that the black level is determined for each RGB pixel and the black level is corrected in steps S16 and S18. The imaging adjustment process is the same as the flowchart of FIG. 10, but in steps S36 and S38, the sensitivity ratio between the main pixel and the sub-pixel is calculated and recorded for each RGB pixel in a certain area, and steps S40 and S42. However, in this area, the black level ratio is calculated for each RGB pixel and recorded.
次に、本発明の第６の実施例について説明する。本実施例では、第２の実施例と同様に、黒レベルが、主画素と副画素では異なるとして撮影時の黒レベルを決定するが、露光時間を考慮して、撮影時の黒レベルを決定するとともに、主画素、副画素の出力信号を黒レベル補正する。すなわち露光時間が、所定の長時間露光閾値より大きい場合にのみ、本発明による黒レベルの決定を行い、そうでない場合は、本発明による黒レベルの決定を行わず、撮像調整工程において取得しておいた黒レベルを、PROMから読み出してきて使用する。本発明による黒レベルの決定を、より効果の期待できる長時間露光時のみ行う。これにより、信号処理時間が短縮される。 Next, a sixth embodiment of the present invention will be described. In this embodiment, as in the second embodiment, the black level at the time of shooting is determined on the assumption that the black level is different between the main pixel and the sub-pixel, but the black level at the time of shooting is determined in consideration of the exposure time. At the same time, the black level correction is performed on the output signals of the main and sub-pixels. That is, the black level is determined according to the present invention only when the exposure time is larger than a predetermined long exposure threshold, and otherwise, the black level is not determined according to the present invention and is acquired in the imaging adjustment process. Read the black level from the PROM and use it. The determination of the black level according to the present invention is performed only at the time of long time exposure that can be expected to be more effective. Thereby, the signal processing time is shortened.
すなわち、長時間露光の場合は、本発明による黒レベルの算出を既述のRGB画素別に行う。長時間露光条件下で撮像調整工程時に得られた主画素と副画素の感度比、および主画素と副画素の黒レベル比をPROMから読出して使用する。 That is, in the case of long exposure, the black level according to the present invention is calculated for each RGB pixel described above. The sensitivity ratio between the main pixel and the sub-pixel and the black level ratio between the main pixel and the sub-pixel obtained during the imaging adjustment process under the long exposure condition are read from the PROM and used.
長時間露光でない場合は、撮像調整工程時に通常露光時間で取得したRGB画素別の黒レベル(黒レベル比ではなく)を使用する。撮像調整工程時に得られて記録済みの主画素および副画素の黒レベルをPROMから読み出して使用する。 When the exposure is not long time, the black level (not the black level ratio) for each RGB pixel acquired in the normal exposure time during the imaging adjustment process is used. The black levels of the main pixels and sub-pixels obtained and recorded during the imaging adjustment process are read from the PROM and used.
撮影時の動作について、図13のフローチャートにより説明する。図４のフローチャートと同様であるものについては、同一のステップ番号を使用し、その説明は省略する。ステップS10、S12、S14、S18、S20が、図４のフローチャートと同様である。 The operation at the time of shooting will be described with reference to the flowchart of FIG. The same steps as those in the flowchart of FIG. 4 are denoted by the same step numbers, and the description thereof is omitted. Steps S10, S12, S14, S18, and S20 are the same as those in the flowchart of FIG.
図13のステップS14において、画素データを取り込んだ後、システム制御部12は、露光時間が、所定の長時間露光閾値(Th)より大きいかどうかを判断する(ステップS44)。長時間露光の場合は(ステップS44で、YESの場合)、本発明による黒レベルの算出をRGB画素別に既述のように行う(ステップS46)。長時間露光条件下で撮像調整工程時に得られた主画素と副画素の感度比、および主画素と副画素の黒レベル比をPROMから読出して、既述のように、RGB画素ごとに黒レベルを決定する。 In step S14 of FIG. 13, after fetching the pixel data, the system control unit 12 determines whether or not the exposure time is longer than a predetermined long-time exposure threshold (Th) (step S44). In the case of long exposure (YES in step S44), the black level according to the present invention is calculated for each RGB pixel as described above (step S46). Read out the sensitivity ratio between the main pixel and sub-pixel and the black level ratio between the main pixel and sub-pixel obtained during the imaging adjustment process under the long exposure condition from the PROM. To decide.
長時間露光でない通常露光の場合は(ステップS44で、NOの場合)、撮像調整工程時に通常露光時間で取得したRGB画素別の黒レベルをPROMから読み出す(ステップS48)。このようにして長時間露光および通常露光の場合にそれぞれ得られた黒レベルを用いて、ステップS18では、既述のように黒レベル補正を行う。 In the case of normal exposure that is not long exposure (NO in step S44), the black level for each RGB pixel acquired in the normal exposure time during the imaging adjustment process is read from the PROM (step S48). In step S18, black level correction is performed as described above using the black levels obtained in the case of long exposure and normal exposure in this way.
次に、撮像調整工程について、図14のフローチャートにより説明する。図10のフローチャートと同様であるものについては、同一のステップ番号を使用し、その説明は省略する。ステップS22〜S38が、図10のフローチャートと同様である。 Next, the imaging adjustment process will be described with reference to the flowchart of FIG. Components similar to those in the flowchart of FIG. 10 are denoted by the same step numbers, and description thereof is omitted. Steps S22 to S38 are the same as those in the flowchart of FIG.
図14においては、理解の容易化のために、長時間露光条件と通常露光条件のいずれで行われる処理であるかを明記することとし、図中に「(長時間露光)」、「(通常露光)」と記載する。ステップS38で、ある領域についてRGB画素ごとに主画素と副画素の感度比が記録された後、信号処理部は、ステップS26、S32で得られた主画素、副画素の遮光レベルデータから、RGB画素ごとに平均を求め、平均値を主画素、副画素の黒レベルデータとして、PROMに記録する(ステップS44)。 In FIG. 14, for easy understanding, it is clearly indicated whether the processing is performed under long exposure conditions or normal exposure conditions. In the figure, “(long exposure)”, “(normal Exposure) ”. In step S38, after the sensitivity ratio of the main pixel and the sub-pixel is recorded for each RGB pixel in a certain area, the signal processing unit calculates the RGB from the shading level data of the main pixel and the sub-pixel obtained in steps S26 and S32. An average is obtained for each pixel, and the average value is recorded in the PROM as black level data of the main pixel and subpixel (step S44).
その後、調整装置は、カメラを、再び遮光状態にする。そして、調整用の端子を介して、カメラに長時間露光条件での撮影を指示する。信号処理部114は、第１フィールドにおいて、主画素の遮光状態における撮影データを取得し、第２フィールドにおいて、副画素の遮光状態における撮影データを取得する。これらのデータを記録再生部126に送り、記録再生部126はデータを記録する(ステップS46、S48)。 Thereafter, the adjustment device puts the camera in a light-shielding state again. Then, the camera is instructed to shoot under long exposure conditions via the adjustment terminal. The signal processing unit 114 acquires shooting data of the main pixel in the light shielding state in the first field, and acquires shooting data of the sub pixel in the light shielding state in the second field. These data are sent to the recording / reproducing unit 126, and the recording / reproducing unit 126 records the data (steps S46 and S48).
システム制御部は、記録再生部126から、特定領域42の長時間露光条件での主画素遮光レベルデータと副画素遮光レベルデータとを読み出し、画素ごとに、副画素の黒レベルを主画素の黒レベルで除算することにより、主画素の黒レベルと副画素の黒レベルとの比を求め、その平均をRGB画素ごとに求めて黒レベルの比を算出する(ステップS50)。さらにPROMに、特定領域42においてRGB画素ごとに平均化された黒レベルの比Ｙとして記録する(ステップS52)。 The system control unit reads the main pixel shading level data and the sub pixel shading level data under the long exposure condition of the specific area 42 from the recording / playback unit 126, and sets the black level of the sub pixel to the black level of the main pixel for each pixel. By dividing by the level, the ratio between the black level of the main pixel and the black level of the sub-pixel is obtained, and the average is obtained for each RGB pixel to calculate the ratio of the black level (step S50). Further, it is recorded in the PROM as the black level ratio Y averaged for each RGB pixel in the specific area 42 (step S52).
10 デジタルスチルカメラ
12 システム制御部
10A 撮像系
10B 信号処理系
10C 駆動信号生成部
10D 信号出力系
10E モード指定部
20、22、20a、22a 出力信号
24、26、24a、26a 輝度レベル
28、30、28a、30a 黒レベル
104 撮像部
108 AE調整部
140、142、R1、R4、R5、R8、G1、G4、G5、G8、B1、B4、B5、B8 受光素子
146 信号読出しゲート（トランスファゲート）
144 垂直転送路
148 水平転送路
150 出力アンプ
V1〜V8 転送素子
10 Digital still camera
12 System controller
10A imaging system
10B signal processing system
10C drive signal generator
10D signal output system
10E mode specification part
20, 22, 20a, 22a Output signal
24, 26, 24a, 26a Luminance level
28, 30, 28a, 30a black level
104 Imaging unit
108 AE adjustment section
140, 142, R1, R4, R5, R8, G1, G4, G5, G8, B1, B4, B5, B8
146 Signal readout gate (transfer gate)
144 Vertical transfer path
148 Horizontal transfer path
150 output amplifier
V1 to V8 transfer element
Claims (12)
前記受光素子には、少なくとも２種類の、光電感度特性が異なる第１の受光素子と第２の受光素子とがあり、
該装置は、第１および第２の受光素子の出力信号から前記基準レベルを決定するレベル決定手段と、
該決定された基準レベルにより、第１および第２の受光素子の出力信号を補正する補正手段とを含むことを特徴とする固体撮像装置。 Solid-state imaging in which a plurality of light receiving elements that photoelectrically convert the incident light are arranged on a condensing surface on which incident light is collected, generate an image signal from an output signal of the light receiving element, and set a reference level of the output signal In the device
The light receiving element includes at least two types of first and second light receiving elements having different photoelectric sensitivity characteristics,
The apparatus includes level determining means for determining the reference level from output signals of the first and second light receiving elements;
A solid-state imaging device comprising: correction means for correcting the output signals of the first and second light receiving elements based on the determined reference level.
前記補正手段は、該基準レベルを用いて、第１および第２の受光素子の出力信号を補正することを特徴とする固体撮像装置。 4. The solid-state imaging device according to claim 1, wherein the level determination unit is configured to output the reference from output signals of first and second light receiving elements included in a specific region in the light collection surface. Determine the level,
The correction unit corrects the output signals of the first and second light receiving elements by using the reference level.
前記補正手段は、該領域ごとの基準レベルを用いて、該領域ごとに第１および第２の受光素子の出力信号を補正することを特徴とする固体撮像装置。 4. The solid-state imaging device according to claim 1, wherein the level determining unit divides the light collection surface into a plurality of regions, and each of the regions includes a first and a second included in the region. The reference level is determined from the output signal of the light receiving element of
The correction unit corrects the output signals of the first and second light receiving elements for each region using a reference level for each region.
前記入射光を三原色赤緑青にそれぞれ色分解する色フィルタが前記受光素子に対して配されており、
前記レベル決定手段は、前記領域における前記基準レベルを、三原色赤緑青ごとに決定し、
前記補正手段は、三原色赤緑青ごとに決定された基準レベルを用いて、該領域における第１および第２の受光素子の出力信号を補正することを特徴とする固体撮像装置。 The solid-state imaging device according to claim 4 or 5,
A color filter that separates the incident light into three primary colors, red, green, and blue, respectively, is disposed on the light receiving element,
The level determining means determines the reference level in the region for each of the three primary colors red green blue,
The solid-state imaging device, wherein the correction unit corrects the output signals of the first and second light receiving elements in the region using a reference level determined for each of the three primary colors red green blue.
第１および第２の受光素子は、対を構成しており、
前記レベル決定手段は、各対ごとに、該対に含まれる第１および第２の受光素子の出力信号から、前記基準レベルを決定し、
前記補正手段は、該対ごとの基準レベルを用いて、該対ごとに第１および第２の受光素子の出力信号を補正することを特徴とする固体撮像装置。 In the solid-state imaging device according to any one of claims 1 to 3,
The first and second light receiving elements constitute a pair,
The level determining means determines, for each pair, the reference level from the output signals of the first and second light receiving elements included in the pair,
The correction unit corrects the output signals of the first and second light receiving elements for each pair using the reference level for each pair.
前記受光素子として、少なくとも２種類の、光電感度特性が異なる第１の受光素子と第２の受光素子とを前記集光面に配する工程と、
第１および第２の受光素子の出力信号から前記基準レベルを決定する工程と、
該決定された基準レベルにより、第１および第２の受光素子の出力信号を補正する工程とを含むことを特徴とする撮像方法。 A plurality of light receiving elements arranged two-dimensionally on a condensing surface on which incident light is collected photoelectrically converts the incident light to generate an image signal from an output signal of the light receiving element, and a reference level of the output signal In the imaging method of setting
Disposing at least two types of first light receiving elements and second light receiving elements having different photoelectric sensitivity characteristics on the light collecting surface as the light receiving elements;
Determining the reference level from output signals of the first and second light receiving elements;
And a step of correcting output signals of the first and second light receiving elements based on the determined reference level.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006045410A JP2007228152A (en) | 2006-02-22 | 2006-02-22 | Solid-state image pick up device and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006045410A JP2007228152A (en) | 2006-02-22 | 2006-02-22 | Solid-state image pick up device and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007228152A true JP2007228152A (en) | 2007-09-06 |
Family
ID=38549534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006045410A Withdrawn JP2007228152A (en) | 2006-02-22 | 2006-02-22 | Solid-state image pick up device and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007228152A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010041436A (en) * | 2008-08-05 | 2010-02-18 | Canon Inc | Imaging apparatus, and control method and program thereof |
| JP2011024246A (en) * | 2009-06-15 | 2011-02-03 | Konica Minolta Opto Inc | Imaging apparatus |
| JP2016213594A (en) * | 2015-05-01 | 2016-12-15 | 株式会社シグマ | Imaging device |
-
2006
- 2006-02-22 JP JP2006045410A patent/JP2007228152A/en not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010041436A (en) * | 2008-08-05 | 2010-02-18 | Canon Inc | Imaging apparatus, and control method and program thereof |
| JP2011024246A (en) * | 2009-06-15 | 2011-02-03 | Konica Minolta Opto Inc | Imaging apparatus |
| JP2016213594A (en) * | 2015-05-01 | 2016-12-15 | 株式会社シグマ | Imaging device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101469400B1 (en) | Image sensor and image capturing apparatus | |
| US9843735B2 (en) | Image processing apparatus, imaging apparatus comprising the same, and image processing method | |
| JP4051674B2 (en) | Imaging device | |
| US8982236B2 (en) | Imaging apparatus | |
| WO2012128154A1 (en) | Color image sensor, imaging device, and control program for imaging device | |
| JP2003189183A (en) | Image pickup device | |
| JP2010074813A (en) | Imaging apparatus and imaging method | |
| JP4639406B2 (en) | Imaging device | |
| WO2012127701A1 (en) | Color image capturing element, image capturing device, and image capturing program | |
| JP2020053771A (en) | Image processing apparatus and imaging apparatus | |
| US20060197854A1 (en) | Image capturing apparatus and computer software product | |
| WO2014041845A1 (en) | Imaging device and signal processing method | |
| US8970747B2 (en) | Imaging device | |
| JP5033711B2 (en) | Imaging device and driving method of imaging device | |
| JP4317117B2 (en) | Solid-state imaging device and imaging method | |
| JP2007027845A (en) | Imaging apparatus | |
| JP2007251611A (en) | Imaging apparatus | |
| JP2007228152A (en) | Solid-state image pick up device and method | |
| JP2004007133A (en) | Image pickup device | |
| JP6929106B2 (en) | Imaging device and control method of imaging device | |
| JP4051701B2 (en) | Defective pixel correction method and imaging apparatus for solid-state imaging device | |
| JP2007088842A (en) | Imaging apparatus, and method of driving imaging device | |
| JP2004222158A (en) | Method for controlling solid-state image pickup device | |
| JP2004194248A (en) | Image pickup element and image pickup device | |
| JP5550333B2 (en) | Imaging apparatus, development method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090512 |