JP2011015205A - Digital camera and method for driving solid-state imaging device - Google Patents

Digital camera and method for driving solid-state imaging device Download PDF

Info

Publication number
JP2011015205A
JP2011015205A JP2009157822A JP2009157822A JP2011015205A JP 2011015205 A JP2011015205 A JP 2011015205A JP 2009157822 A JP2009157822 A JP 2009157822A JP 2009157822 A JP2009157822 A JP 2009157822A JP 2011015205 A JP2011015205 A JP 2011015205A
Authority
JP
Japan
Prior art keywords
subject
pixel
brightness
solid
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009157822A
Other languages
Japanese (ja)
Inventor
Hiroki Suzuki
裕樹 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2009157822A priority Critical patent/JP2011015205A/en
Publication of JP2011015205A publication Critical patent/JP2011015205A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To capture a high-quality image of a subject, irrespective of whether the subject is light or dark, even when photographing takes place, with the ISO sensitivity fixed at a predetermined value.SOLUTION: A digital camera includes a solid-state imaging device which includes a plurality of pixels, arranged in a two-dimensional array on a surface of a semiconductor substrate, receives incident light from the subject, and outputs a captured image signal of the subject; a controller which selects a drive mode from a plurality of previously prepared drive modes (S2, S3, S4) depending on the brightness of the subject, when shooting takes place, based on a predetermined ISO sensitivity setting value; and a driver which drives the solid-state imaging device in the drive mode selected by the controller.

Description

本発明は、ISO感度を所定感度に固定して撮影する場合でも撮影シーンの明暗によらず高品質な被写体画像を撮影することができるデジタルカメラ及び固体撮像素子の駆動方法に関する。   The present invention relates to a digital camera and a solid-state imaging device driving method capable of shooting a high-quality subject image regardless of the brightness of a shooting scene even when shooting with ISO sensitivity fixed to a predetermined sensitivity.

デジタルカメラで被写体を撮影する場合、シャッタ速度,絞り開口量,ISO感度が撮影シーンに応じて夫々調整される。例えば、明るい撮影シーンの場合、シャッタ速度は高速に設定され、絞り開口量は小さく設定され、ISO感度は低く(例えばISO100)設定される。暗い撮影シーンの場合は、シャッタ速度は低速に、絞り開口量は大きく、ISO感度は高く(例えばISO400)設定される。   When a subject is photographed with a digital camera, the shutter speed, aperture opening amount, and ISO sensitivity are adjusted according to the photographing scene. For example, in the case of a bright shooting scene, the shutter speed is set to a high speed, the aperture opening amount is set to a small value, and the ISO sensitivity is set to a low value (for example, ISO 100). In the case of a dark scene, the shutter speed is set low, the aperture opening amount is large, and the ISO sensitivity is set high (for example, ISO 400).

これらの調整パラメータ(シャッタ速度,絞り開口量,ISO感度)は相互に関連するため、例えば、高速撮影が必要でシャッタ速度をマニュアルで高速に設定すると、ISO感度は自動的に高く設定され、絞り開口量は大きく設定される。また、深い被写界深度が必要なときは絞り開口量を小さくするが、これだと入射光量が少なくなるため、シャッタ速度は低速に、ISO感度は高感度に設定される。   Since these adjustment parameters (shutter speed, aperture opening amount, ISO sensitivity) are related to each other, for example, when high-speed shooting is required and the shutter speed is manually set to a high speed, the ISO sensitivity is automatically set to a high value. The opening amount is set large. In addition, when a deep depth of field is required, the aperture opening amount is reduced. However, since the amount of incident light is reduced, the shutter speed is set low and the ISO sensitivity is set high.

ISO感度は、例えばCCD型の固体撮像素子の場合、出力段アンプのゲインで設定される。受光量が大きい明るいシーンの場合(信号電荷量が多くなる場合)には、アンプゲインは低くてもよいため、ISO感度は低感度に設定される。受光量が少ない暗いシーンでは、アンプゲインを高くして信号量を増幅するため、ISO感度を高感度に設定する。しかし、アンプゲインを高くすると、ノイズ成分も信号と同様に増幅してしまうため、被写体の画像はノイズの多い画像になる。   For example, in the case of a CCD type solid-state imaging device, the ISO sensitivity is set by the gain of the output stage amplifier. In the case of a bright scene with a large amount of received light (when the signal charge amount increases), the amplifier gain may be low, so the ISO sensitivity is set to a low sensitivity. In a dark scene where the amount of received light is small, the ISO sensitivity is set to a high sensitivity in order to amplify the signal amount by increasing the amplifier gain. However, when the amplifier gain is increased, the noise component is also amplified in the same manner as the signal, so that the subject image becomes a noisy image.

このため、特許文献1記載の従来技術では、アンプゲインを高くしたとき、固体撮像素子で発生するノイズ量が少なくなるように固体撮像素子を駆動している。この従来技術では、信号電荷の転送中の待機パケット数を少なくし、ノイズ量の低減を図っている。   For this reason, in the prior art described in Patent Document 1, when the amplifier gain is increased, the solid-state image sensor is driven so that the amount of noise generated in the solid-state image sensor is reduced. In this prior art, the number of standby packets during signal charge transfer is reduced to reduce the amount of noise.

しかしながら、この従来技術では、ISO感度を所定感度に決めて固定したとき、アンプゲインも決まり、待機パケット数も決まってしまう。従って、ISO感度を所定感度に固定して撮影する場合、撮影シーンの明暗によって被写体画像の品質が左右されてしまうことになる。   However, in this prior art, when the ISO sensitivity is fixed at a predetermined sensitivity, the amplifier gain is determined and the number of standby packets is also determined. Therefore, when shooting with the ISO sensitivity fixed to a predetermined sensitivity, the quality of the subject image depends on the brightness of the shooting scene.

固体撮像素子の駆動方法を、撮影モードに応じて変更する従来技術として、下記の特許文献2がある。しかし、この従来技術における撮影モードとは、全画素読出しモード、2ライン間引きモード、フレーム読み出しモード等をいい、明るさに応じた撮影モードではなく、ISO感度が所定感度に固定されたときの駆動方法の変更についての記載は見当たらない。   As a conventional technique for changing the driving method of the solid-state imaging device in accordance with the photographing mode, there is Patent Document 2 below. However, the imaging mode in this prior art means an all-pixel readout mode, a 2-line thinning mode, a frame readout mode, and the like, and is not an imaging mode according to brightness, but driving when the ISO sensitivity is fixed to a predetermined sensitivity. There is no description about the change of the method.

特開2004―221339号公報JP 2004-221339 A 特開2001―128066号公報Japanese Patent Laid-Open No. 2001-128066

本発明の目的は、ISO感度を所定感度に固定して撮影する場合でも、撮影シーンの明暗に関わらず高品質な被写体画像を撮影することができるデジタルカメラ及び固体撮像素子の駆動方法を提供することにある。   SUMMARY OF THE INVENTION An object of the present invention is to provide a digital camera and a solid-state image sensor driving method capable of shooting a high-quality subject image regardless of the brightness of the shooting scene even when shooting with the ISO sensitivity fixed to a predetermined sensitivity. There is.

本発明のデジタルカメラは、複数の画素が半導体基板の表面に二次元アレイ状に配列され被写体からの入射光を受光して該被写体の撮像画像信号を出力する固体撮像素子と、所定のISO感度設定値に基づく撮影を行うに当たり予め用意された複数の駆動モードの中から前記被写体の明るさに応じた駆動モードを選択する制御手段と、該制御手段によって選択された前記駆動モードにより前記固体撮像素子を駆動する駆動手段とを備えることを特徴とする。   The digital camera of the present invention includes a solid-state imaging device in which a plurality of pixels are arranged in a two-dimensional array on the surface of a semiconductor substrate, receives incident light from a subject, and outputs a captured image signal of the subject, and a predetermined ISO sensitivity. Control means for selecting a drive mode according to the brightness of the subject from among a plurality of drive modes prepared in advance for shooting based on a set value, and the solid-state imaging according to the drive mode selected by the control means Drive means for driving the element.

本発明の固体撮像素子の駆動方法は、複数の画素が半導体基板の表面に二次元アレイ状に配列され被写体からの入射光を受光して該被写体の撮像画像信号を出力する固体撮像素子の駆動方法であって、所定のISO感度設定値に基づく撮影を行うに当たり予め用意された複数の駆動モードの中から前記被写体の明るさに応じた駆動モードを選択して前記固体撮像素子を駆動することを特徴とする。   The solid-state imaging device driving method according to the present invention drives a solid-state imaging device in which a plurality of pixels are arranged in a two-dimensional array on the surface of a semiconductor substrate, receives incident light from a subject, and outputs a captured image signal of the subject. A method for driving the solid-state imaging device by selecting a driving mode corresponding to the brightness of the subject from a plurality of driving modes prepared in advance for performing shooting based on a predetermined ISO sensitivity setting value. It is characterized by.

本発明によれば、ISO感度を所定感度に固定して撮影する場合でも、撮影シーンの明暗に関わらず高品質な被写体画像を撮影することができる。   According to the present invention, even when shooting with ISO sensitivity fixed to a predetermined sensitivity, a high-quality subject image can be shot regardless of the brightness of the shooting scene.

本発明の一実施形態に係るデジタルカメラの機能ブロック図である。It is a functional block diagram of the digital camera which concerns on one Embodiment of this invention. 図1に示す固体撮像素子の表面模式図である。It is a surface schematic diagram of the solid-state image sensor shown in FIG. 図1に示す信号処理部が行う第1実施形態の撮像手順を示すフローチャートである。It is a flowchart which shows the imaging procedure of 1st Embodiment which the signal processing part shown in FIG. 1 performs. 図2に示す画素配列(カラーフィルタ配列)の簡略図である。FIG. 3 is a simplified diagram of the pixel array (color filter array) shown in FIG. 2. 図4の状態から1行置きの画素行から信号電荷を垂直電荷転送路に読み出した状態を示す図である。FIG. 5 is a diagram showing a state in which signal charges are read out from every other pixel row from the state of FIG. 4 to a vertical charge transfer path. 図5の状態から垂直電荷転送路上の信号電荷を垂直方向に2段分転送した状態を示す図である。FIG. 6 is a diagram showing a state where signal charges on the vertical charge transfer path are transferred in two stages in the vertical direction from the state of FIG. 5. 図6の状態から残りの画素行から信号電荷を垂直電荷転送路に読み出した状態を示す図である。FIG. 7 is a diagram illustrating a state in which signal charges are read from the remaining pixel rows to the vertical charge transfer path from the state of FIG. 6. 図7の状態で垂直転送を行い、水平電荷転送路上の信号電荷を出力側に水平転送する状態を示す図である。FIG. 8 is a diagram illustrating a state in which vertical transfer is performed in the state of FIG. 7 and signal charges on the horizontal charge transfer path are horizontally transferred to the output side. 図8の水平転送で空になった水平電荷転送路にラインメモリから信号電荷を転送する様子を示す図である。It is a figure which shows a mode that a signal charge is transferred from a line memory to the horizontal charge transfer path emptied by the horizontal transfer of FIG. 水平電荷転送路上で行う画素混合の様子を示す図である。It is a figure which shows the mode of the pixel mixing performed on a horizontal charge transfer path. 広ダイナミックレンジ駆動方法を説明する画素配列の簡略図である。It is a simplified diagram of a pixel arrangement for explaining a wide dynamic range driving method. 広ダイナミックレンジ駆動方法を説明するタイミングチャートである。It is a timing chart explaining a wide dynamic range drive method. 本発明の第2実施形態の撮像手順を示すフローチャートである。It is a flowchart which shows the imaging procedure of 2nd Embodiment of this invention. 広ダイナミックレンジ駆動方法でダイナミックレンジ幅を変更する例を説明するタイミングチャートである。It is a timing chart explaining the example which changes a dynamic range width with a wide dynamic range drive method. 本発明の第3実施形態の撮像手順を示すフローチャートである。It is a flowchart which shows the imaging procedure of 3rd Embodiment of this invention. 4画素混合,8画素混合の説明図である。It is explanatory drawing of 4 pixel mixing and 8 pixel mixing. 本発明の第4実施形態の撮像手順を示すフローチャートである。It is a flowchart which shows the imaging procedure of 4th Embodiment of this invention.

以下、本発明の一実施形態について、図面を参照して説明する。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

図1は、本発明の一実施形態に係るデジタルスチルカメラの機能ブロック図である。このデジタルスチルカメラ1は、CCD型の固体撮像素子100と、固体撮像素子100の前段に配置された撮影光学系を構成する撮影レンズ2,絞り3,メカニカルシャッタ4と、固体撮像素子100を制御すると共に固体撮像素子100の出力信号を処理するAFE&TG部(AFE:アナログフロントエンド、TG:タイミングジェネレータ)5と、このデジタルスチルカメラ1の全体を統括制御するCPU(中央演算処理部)を含む信号処理部6と、上記の撮影光学系を制御する駆動制御部7と、被写体に対してフラッシュ光を発光するフラッシュ発光部8と、フラッシュ光の被写体からの反射光を受光する受光部9とを備える。   FIG. 1 is a functional block diagram of a digital still camera according to an embodiment of the present invention. The digital still camera 1 controls a CCD type solid-state imaging device 100, a photographic lens 2, an aperture 3, a mechanical shutter 4, and a solid-state imaging device 100 that constitute a photographic optical system disposed in front of the solid-state imaging device 100. In addition, a signal including an AFE & TG unit (AFE: analog front end, TG: timing generator) 5 that processes an output signal of the solid-state imaging device 100 and a CPU (central processing unit) that performs overall control of the digital still camera 1 as a whole. A processing unit 6, a drive control unit 7 that controls the above-described photographing optical system, a flash light emitting unit 8 that emits flash light to the subject, and a light receiving unit 9 that receives reflected light from the subject of the flash light. Prepare.

駆動制御部7とAFE&TG部5は夫々信号処理部6に接続され、信号処理部6によって制御される。また、フラッシュ発光部8と受光部9も信号処理部6に接続され、フラッシュ発光部8は、受光部9の受光量を検知した信号処理部6によって発光量制御が行われる。   The drive control unit 7 and the AFE & TG unit 5 are respectively connected to the signal processing unit 6 and controlled by the signal processing unit 6. The flash light emitting unit 8 and the light receiving unit 9 are also connected to the signal processing unit 6, and the flash light emitting unit 8 is controlled by the signal processing unit 6 that detects the amount of light received by the light receiving unit 9.

信号処理部6には、更に、ユーザからの操作指示(シャッタ操作を含む)を入力する操作部11と、撮影した被写体画像データを格納する外部メモリ12と、カメラ背面等に設けられる液晶表示部13と、図示しない外部機器と接続する入出力(I/O)部14とが接続される。   The signal processing unit 6 further includes an operation unit 11 for inputting an operation instruction (including shutter operation) from a user, an external memory 12 for storing photographed subject image data, and a liquid crystal display unit provided on the back of the camera. 13 and an input / output (I / O) unit 14 connected to an external device (not shown).

AFE&TG部5は、固体撮像素子100から出力されるアナログの撮像画像信号を相関二重サンプリング処理するCDS部5aと、可変利得制御するVGA部5bと、デジタル信号に変換するA/D部5cと、固体撮像素子100に対して各種駆動パルス信号(垂直転送パルス及び読出パルスφV、水平転送パルスφH、ラインメモリ制御パルスφLM)を生成し出力するタイミングジェネレータTG部5dを備える。   The AFE & TG unit 5 includes a CDS unit 5a that performs correlated double sampling processing on an analog captured image signal output from the solid-state imaging device 100, a VGA unit 5b that performs variable gain control, and an A / D unit 5c that converts digital signals. And a timing generator TG unit 5d that generates and outputs various drive pulse signals (vertical transfer pulse and readout pulse φV, horizontal transfer pulse φH, line memory control pulse φLM) to the solid-state imaging device 100.

図2は、図1に示すCCD型固体撮像素子100の表面模式図である。この固体撮像素子100には、半導体基板の表面部に、複数のフォトダイオード(図中の斜め四角で示す部分)101が二次元アレイ状に配列形成されている。   FIG. 2 is a schematic view of the surface of the CCD solid-state imaging device 100 shown in FIG. In the solid-state imaging device 100, a plurality of photodiodes (portions shown by diagonal squares in the drawing) 101 are arranged in a two-dimensional array on the surface portion of a semiconductor substrate.

奇数行のフォトダイオード群を第1画素群とし、偶数行のフォトダイオード群を第2画素群としたとき、第1画素群と第2画素群とは、垂直方向,水平方向共に1/2画素ピッチづつずらして形成され、全体として、所謂ハニカム画素配列となっている。   When the odd-numbered photodiode group is the first pixel group and the even-numbered photodiode group is the second pixel group, the first pixel group and the second pixel group are ½ pixels in both the vertical and horizontal directions. They are formed by shifting the pitch and have a so-called honeycomb pixel arrangement as a whole.

第1画素群だけ見れば各画素101は正方格子配列され、各画素上に、赤(R),緑(G),青(B)の三原色のカラーフィルタがベイヤ配列されている。第2画素群だけ見ても各画素101は正方格子配列され、各画素上に、赤(R),緑(G),青(B)の三原色のカラーフィルタがベイヤ配列されている。   If only the first pixel group is viewed, the pixels 101 are arranged in a square lattice, and the color filters of the three primary colors of red (R), green (G), and blue (B) are arranged on each pixel in a Bayer arrangement. Even when only the second pixel group is viewed, the pixels 101 are arranged in a square lattice, and the color filters of the three primary colors of red (R), green (G), and blue (B) are Bayer arranged on each pixel.

各画素列に沿って垂直電荷転送路(VCCD)102が蛇行して形成され、各垂直電荷転送路102の転送方向端部に沿って水平電荷転送路(HCCD)103が形成され、水平電荷転送路103の出力端部には、転送されてきた信号電荷の電荷量に応じた電圧値信号を撮像画像信号として出力するアンプ104が設けられている。また、各垂直電荷転送路102の転送方向端部と水平電荷転送路103との間には、各垂直電荷転送路102毎にバッファ領域を持つラインメモリ105が設けられている。   A vertical charge transfer path (VCCD) 102 is formed to meander along each pixel column, and a horizontal charge transfer path (HCCD) 103 is formed along the transfer direction end of each vertical charge transfer path 102 for horizontal charge transfer. An amplifier 104 is provided at the output end of the path 103 to output a voltage value signal corresponding to the amount of signal charge transferred as a captured image signal. In addition, a line memory 105 having a buffer area for each vertical charge transfer path 102 is provided between the transfer direction end of each vertical charge transfer path 102 and the horizontal charge transfer path 103.

このラインメモリ105は、例えば特開2002―112119号公報や特開2002―112122号公報に記載されている様なラインメモリであり、ラインメモリ制御パルス(φLM)に従って垂直電荷転送路102から受け取った信号電荷を一時的に保持し、保持した信号電荷を、水平電荷転送路103の転送タイミングに合わせて水平電荷転送路103に転送する機能を有する。これにより、例えば、或るR画素(カラーフィルタRを搭載した画素)の信号電荷と、このR画素の左斜め下位置のR画素の信号電荷とを、詳細は後述する様に、水平電荷転送路103上で画素加算することが可能となる。   The line memory 105 is a line memory as described in, for example, Japanese Patent Application Laid-Open No. 2002-112119 and Japanese Patent Application Laid-Open No. 2002-112122, and is received from the vertical charge transfer path 102 in accordance with a line memory control pulse (φLM). The signal charge is temporarily held, and the held signal charge is transferred to the horizontal charge transfer path 103 in accordance with the transfer timing of the horizontal charge transfer path 103. Thereby, for example, the signal charge of a certain R pixel (the pixel on which the color filter R is mounted) and the signal charge of the R pixel diagonally to the lower left of the R pixel are transferred horizontally as will be described in detail later. Pixel addition can be performed on the path 103.

各画素101には、1画素につき4枚の転送電極が設けられており、画素に隣接する中央2枚の転送電極のうち一方たとえば下側(HCCD103側)の転送電極が読出電極兼用となっている。第1画素群の読出電極には第1画素群用の読出パルスが共通に印加され、第2画素群の読出電極には第2画素群用の読出パルスが印加される接続構成となっている。図中で、各画素101から右斜め下方向に出ている矢印は、信号電荷の読み出し方向,読み出し位置を示している。   Each pixel 101 is provided with four transfer electrodes for each pixel. Of the two central transfer electrodes adjacent to the pixel, one of the transfer electrodes on the lower side (HCCD 103 side), for example, serves also as a readout electrode. Yes. The readout electrode for the first pixel group is commonly applied to the readout electrode of the first pixel group, and the readout pulse for the second pixel group is applied to the readout electrode of the second pixel group. . In the figure, an arrow that protrudes diagonally downward to the right from each pixel 101 indicates the signal charge readout direction and readout position.

なお、「垂直」「水平」という用語を用いて説明したが、これは、半導体基板の表面に沿う「1方向」「この1方向に対して略直角の方向」という意味に過ぎない。   Although the terms “vertical” and “horizontal” have been described, this means only “one direction” along the surface of the semiconductor substrate and “a direction substantially perpendicular to the one direction”.

図3は、図1に示す信号処理部6のCPUが実行する撮像手順を示すフローチャートである。図1には図示を省略した電源スイッチが投入されると、固体撮像素子100からは撮像画像信号が所定周期で、例えば1秒間に30フレームの撮像画像信号が出力される。各フレームの撮像画像信号はAFE&TG部5を通って信号処理部6に取り込まれ、周知の画像処理が施されたあとスルー画像としてLCD表示部13に動画状態で表示される。   FIG. 3 is a flowchart showing an imaging procedure executed by the CPU of the signal processing unit 6 shown in FIG. When a power switch (not shown in FIG. 1) is turned on, a captured image signal is output from the solid-state imaging device 100 at a predetermined cycle, for example, 30 frames of captured image signals per second. The captured image signal of each frame is taken into the signal processing unit 6 through the AFE & TG unit 5 and is displayed on the LCD display unit 13 as a through image after being subjected to known image processing.

この様な状態の下で、CPU6は、固体撮像素子100から出力される撮像画像信号を解析し、被写体までの焦点距離を決定して撮影レンズ2の焦点調整を駆動部7を介して行うと共に、シャッタ速度,絞り開口量を決定し、更に、ISO感度を所要の固定値に設定する。また、撮像画像信号を解析して得られた被写体の明るさデータ(EV値)が、「7」より小さいか、「7」から「13」の間にあるか、「13」より大きいかを判定する(ステップS1)。   Under such a state, the CPU 6 analyzes the captured image signal output from the solid-state imaging device 100, determines the focal distance to the subject, and adjusts the focus of the photographing lens 2 via the drive unit 7. The shutter speed and the aperture opening amount are determined, and the ISO sensitivity is set to a required fixed value. Whether the brightness data (EV value) of the subject obtained by analyzing the captured image signal is smaller than “7”, between “7” and “13”, or larger than “13”. Determine (step S1).

この判定の結果、EV値が「7」より小さい場合すなわち暗い撮影シーンの場合には、ステップS2に進み、EV値が「7」と「13」の間にある場合すなわち普通の明るさの撮影シーンの場合には、ステップS3に進み、EV値が「13」より大きい場合すなわち明るい撮影シーンの場合には、ステップS4に進む。   As a result of this determination, if the EV value is smaller than “7”, that is, in the case of a dark shooting scene, the process proceeds to step S2, and if the EV value is between “7” and “13”, that is, shooting with normal brightness. If it is a scene, the process proceeds to step S3. If the EV value is larger than “13”, that is, if the scene is bright, the process proceeds to step S4.

各ステップS2,S3,S4では、詳細は後述するように、撮影シーンの明るさに応じた固体撮像素子100の駆動方法が設定され、ステップS5に進む。   In each of Steps S2, S3, and S4, as will be described in detail later, a driving method of the solid-state imaging device 100 corresponding to the brightness of the shooting scene is set, and the process proceeds to Step S5.

ステップS5では、撮像素子100の駆動方法に応じた撮影処理が行われる。例えば、CPU6は、AFE&TG部5を通して設定した駆動方法で固体撮像素子100を駆動させ、操作部11から入力されるシャッタレリーズボタンの全押しを検知したとき、固体撮像素子100から出力される撮像画像信号を取り込む。そして、この撮像画像信号に対して、固体撮像素子100の駆動方法に応じた画像処理を施し、JPEG画像データに変換するなどして外部メモリ12に格納する。   In step S <b> 5, photographing processing is performed according to the driving method of the image sensor 100. For example, when the CPU 6 drives the solid-state imaging device 100 by the driving method set through the AFE & TG unit 5 and detects the full press of the shutter release button input from the operation unit 11, the captured image output from the solid-state imaging device 100. Capture the signal. Then, the captured image signal is subjected to image processing according to the driving method of the solid-state imaging device 100, converted into JPEG image data, and stored in the external memory 12.

本実施形態では、固体撮像素子100の駆動方法として、ステップS2で設定する画素混合駆動モード、ステップS3で設定する通常の全画素駆動モード、ステップS4で設定する広ダイナミックレンジ駆動モードの3種類が予め用意されており、各駆動モードを実現する駆動タイミングデータが、CPU6内の図示しないROM等に格納されている。そして、被写体の明るさに応じて、使用する駆動タイミングデータが読み出されてタイミングジェネレータ5dに渡され、その駆動タイミングで固体撮像素子100が駆動される。   In this embodiment, there are three types of driving methods for the solid-state imaging device 100: the pixel mixture driving mode set in step S2, the normal all-pixel driving mode set in step S3, and the wide dynamic range driving mode set in step S4. Drive timing data that is prepared in advance and that realizes each drive mode is stored in a ROM (not shown) in the CPU 6. Then, the driving timing data to be used is read out according to the brightness of the subject and transferred to the timing generator 5d, and the solid-state imaging device 100 is driven at the driving timing.

先ず、ステップS3で設定される全画素駆動モードについて説明する。図4は、図2に示す固体撮像素子100の画素配列(カラーフィルタ配列)の簡略図である。図示する様に、本実施形態の固体撮像素子100では、右斜め上45度の方向に延びる画素行は1行置きに全画素がGのカラーフィルタを持ち、残りの1行置きの画素行は、連続する2画素づつ同色のカラーフィルタ(R,B)を交互に持つ構成となっている。   First, the all pixel drive mode set in step S3 will be described. FIG. 4 is a simplified diagram of a pixel array (color filter array) of the solid-state imaging device 100 shown in FIG. As shown in the figure, in the solid-state imaging device 100 according to the present embodiment, every other pixel row extending in the direction of 45 degrees diagonally to the upper right has a G color filter for every other row, and the remaining pixel rows are every other row. The color filter (R, B) of the same color is alternately provided for every two consecutive pixels.

図中のV1〜V8は、垂直転送電極を示している。転送電極V1,V3,V5,V7は、読出電極兼用である。図5に示す様に、読出電極V1,V5に読出パルスを印加すると、読出電極V1,V5下に形成される電位パケット内に、当該画素の受光量に応じた信号電荷(R画素の信号電荷を「R」、G画素の信号電荷を「G」、B画素の信号電荷を「B」としている。)が読み出される。   V1 to V8 in the figure indicate vertical transfer electrodes. The transfer electrodes V1, V3, V5 and V7 are also used as readout electrodes. As shown in FIG. 5, when a read pulse is applied to the read electrodes V1 and V5, a signal charge (signal charge of the R pixel) corresponding to the amount of light received by the pixel is included in a potential packet formed under the read electrodes V1 and V5. Is “R”, the signal charge of the G pixel is “G”, and the signal charge of the B pixel is “B”).

この図5の状態で、転送電極V1〜V8に垂直転送パルスφVを印加し、垂直電荷転送路上の信号電荷を垂直方向に2段分だけ転送した状態が、図6である。この図6の状態では、垂直電荷転送路上の信号電荷は、転送電極V3,V7下の電位パケット内に収納されている。   FIG. 6 shows a state where the vertical transfer pulse φV is applied to the transfer electrodes V1 to V8 in the state of FIG. 5 and the signal charge on the vertical charge transfer path is transferred by two stages in the vertical direction. In the state of FIG. 6, the signal charge on the vertical charge transfer path is stored in a potential packet below the transfer electrodes V3 and V7.

ここで、読出電極V3,V7に読出パルスを印加すると、図5では信号電荷が読み出されていない残りの画素から信号電荷が電極V3,V7下の電位パケット内に読み出され、図7に示す状態となる。即ち、上下に隣接する奇数行と偶数行の各画素行の信号電荷が個々に連続的に横一行に並ぶことになる。   Here, when a read pulse is applied to the read electrodes V3 and V7, the signal charge is read into the potential packet below the electrodes V3 and V7 from the remaining pixels where the signal charge is not read in FIG. It will be in the state shown. That is, the signal charges of the odd-numbered and even-numbered pixel rows adjacent vertically are individually arranged in a horizontal row.

以後、この状態で、垂直電荷転送路を垂直方向に転送駆動することで、信号電荷は横一行の状態を保ったまま転送され、図8に示す様に、ラインメモリ105を通して水平電荷転送路103まで転送される。   Thereafter, in this state, the vertical charge transfer path is driven to transfer in the vertical direction, whereby the signal charge is transferred while maintaining the state of one horizontal line, and the horizontal charge transfer path 103 is passed through the line memory 105 as shown in FIG. Is transferred.

水平電荷転送路103に、横一行の個々の信号電荷が転送されたとき、垂直転送を一時停止し、水平電荷転送路103を水平方向に転送して横一行の個々の信号電荷をアンプ104まで順に転送し、個々の信号電荷の電圧値信号を撮像画像信号として個別に出力する。   When individual signal charges in one horizontal row are transferred to the horizontal charge transfer path 103, vertical transfer is temporarily stopped, and the horizontal signal transfer path 103 is transferred in the horizontal direction to transfer individual signal charges in the horizontal row to the amplifier 104. The voltage value signals of the individual signal charges are individually output as captured image signals.

そして、水平電荷転送路103が空になった後、再び、図9に示す様に垂直転送を行って次の横一行の個々の信号電荷を水平電荷転送路103に入れる、という動作を繰り返すことで、1画面分の個々の画素101の各撮像画像信号を個別に出力する。   Then, after the horizontal charge transfer path 103 becomes empty, the operation of performing vertical transfer again and putting the individual signal charges in the next horizontal row into the horizontal charge transfer path 103 is repeated as shown in FIG. Thus, each captured image signal of each pixel 101 for one screen is individually output.

この固体撮像素子の全画素駆動モードは、上述した様に、各画素101が検出した信号電荷量に応じた電圧値信号を個別にアンプ104から出力するため、被写体の高精細な画像を再生することができる。   In the all-pixel drive mode of this solid-state imaging device, as described above, a voltage value signal corresponding to the signal charge amount detected by each pixel 101 is individually output from the amplifier 104, so that a high-definition image of the subject is reproduced. be able to.

次に、ステップS2で設定される画素混合駆動モード(画素加算駆動モード)について説明する。図8,図9に示す様に、ラインメモリ105の個々のバッファ領域に、横一行の個々の信号電荷が転送されるまでは、上述した全画素駆動方法と同じである。本実施形態の画素混合駆動モードは、ラインメモリ105から水平電荷転送路103への転送時の駆動タイミングが異なる。   Next, the pixel mixture drive mode (pixel addition drive mode) set in step S2 will be described. As shown in FIGS. 8 and 9, the process is the same as the above-described all-pixel driving method until each horizontal row of individual signal charges is transferred to each buffer area of the line memory 105. The pixel mixture drive mode of the present embodiment is different in drive timing at the time of transfer from the line memory 105 to the horizontal charge transfer path 103.

ラインメモリ105は、例えば、横一行の各バッファ領域に設ける転送電極(制御電極)のうち1つ置きに異なる転送パルスを印加できる配線接続にしておく。例えば、パルスφLM1を1つ置きの制御電極に印加し、残りの1つ置きの制御電極にパルスφLM2を印加する配線接続としておく。   For example, the line memory 105 has a wiring connection in which different transfer pulses can be applied to every other transfer electrode (control electrode) provided in each buffer region in one horizontal row. For example, a wiring connection is made in which the pulse φLM1 is applied to every other control electrode, and the pulse φLM2 is applied to the remaining every other control electrode.

全画素駆動モードの時は、ラインメモリ(LM)105に印加するパルスを、φLM1=φLM2とすることで、ラインメモリ105の全バッファ領域を同一駆動するが、この画素混合駆動モードのときはφLM1≠φLM2とし、駆動タイミングを変える。   In the all pixel drive mode, the pulse applied to the line memory (LM) 105 is set to φLM1 = φLM2, so that all the buffer areas of the line memory 105 are driven in the same manner. In this pixel mixed drive mode, φLM1 ≠ φLM2, and the drive timing is changed.

図8に示す様に、図2の画素配列(カラーフィルタ配列)では、…GGBBGGBBGGBB…と水平方向横一行に各色の信号電荷が並ぶ行と、…RRGGRRGGRR…と水平方向横一行に各色の信号電荷が並ぶ行とが交互に垂直方向に転送される。即ち、同色の信号電荷が横に2つづつ並ぶことになる。   As shown in FIG. 8, in the pixel array (color filter array) shown in FIG. 2,... GGBBGGBBGGBB. Are alternately transferred in the vertical direction. That is, two signal charges of the same color are arranged side by side.

そこで、先ず、図10(a)→図10(b)に示す様に、ラインメモリ105上の各バッファの1つ置きの信号電荷を水平電荷転送路103に転送し、次に図10(c)に示す様に、水平電荷転送路103を水平方向に1段分転送する。これにより、ラインバッファ105上に残っている信号電荷の色と、水平電荷転送路103で1段分転送された信号電荷の色とが同色で整列することになる。このとき、図10(d)に示す様に、ラインメモリ105上の信号電荷を水平電荷転送路に転送することで、同色の2画素分の信号電荷が水平電荷転送路上で加算(混合)される。   Therefore, first, as shown in FIG. 10A → FIG. 10B, every other signal charge of each buffer on the line memory 105 is transferred to the horizontal charge transfer path 103, and then FIG. ), The horizontal charge transfer path 103 is transferred by one stage in the horizontal direction. As a result, the color of the signal charge remaining on the line buffer 105 and the color of the signal charge transferred by one stage in the horizontal charge transfer path 103 are aligned in the same color. At this time, as shown in FIG. 10D, by transferring the signal charges on the line memory 105 to the horizontal charge transfer path, the signal charges for two pixels of the same color are added (mixed) on the horizontal charge transfer path. The

その後、水平電荷転送路103を水平方向に転送し、2画素加算した信号電荷量に応じた電圧値信号を撮像画像信号としてアンプ104から出力し、水平電荷転送路が空になったとき、垂直転送を行って次の横一行の信号電荷を垂直電荷転送路からラインメモリ105に転送する。この様な動作を繰り返すことで、2画素加算した撮像画像信号が固体撮像素子100から出力される。   Thereafter, the horizontal charge transfer path 103 is transferred in the horizontal direction, and a voltage value signal corresponding to the signal charge amount obtained by adding two pixels is output from the amplifier 104 as a picked-up image signal. When the horizontal charge transfer path becomes empty, Transfer is performed to transfer the next horizontal row of signal charges from the vertical charge transfer path to the line memory 105. By repeating such an operation, a captured image signal obtained by adding two pixels is output from the solid-state imaging device 100.

この画素混合駆動モードでは、近接する2つの同色画素が検出する信号電荷を画素加算して撮像画像信号として出力するため、被写体画像の画像解像度は全画素駆動モードに比較して低下するが、信号電荷量が2画素分に増えるため、暗いシーンでも黒潰れしない高感度な被写体画像を得ることが可能になる。   In this pixel mixture drive mode, signal charges detected by two adjacent pixels of the same color are added together and output as a picked-up image signal, so that the image resolution of the subject image is lower than in the all-pixel drive mode. Since the amount of charge is increased by two pixels, it is possible to obtain a highly sensitive subject image that is not crushed black even in a dark scene.

次に、ステップS4で設定される広ダイナミックレンジ駆動モードについて説明する。図10で説明した画素混合駆動モードでは、例えば或る信号電荷Bと、その右斜め上の信号電荷Bとを2画素加算して出力したが、この2つの信号電荷Bを得る2つの画素(フォトダイオード)では、同時に露光開始し、同時に露光終了し、その露光期間を同一とする駆動タイミングで固体撮像素子が駆動されている。これに対し、本実施形態の広ダイナミックレンジ駆動モードでは、2つの画素の露光期間を変える駆動タイミングで固体撮像素子を駆動し、2つの露光時間の異なる信号電荷の夫々の電圧値信号(撮像信号)を個別に出力した後、信号処理で、長時間露光の撮像信号と短時間露光の撮像信号とを2画素加算している。   Next, the wide dynamic range drive mode set in step S4 will be described. In the pixel mixed drive mode described with reference to FIG. 10, for example, a certain signal charge B and a signal charge B on the upper right are added and output, but two pixels (2) that obtain these two signal charges B ( In the photodiode), exposure is started at the same time, exposure is ended at the same time, and the solid-state imaging device is driven at a drive timing with the same exposure period. On the other hand, in the wide dynamic range driving mode of the present embodiment, the solid-state imaging device is driven at a driving timing for changing the exposure period of two pixels, and each voltage value signal (imaging signal) of the signal charges having two different exposure times is used. ) Are individually output, and then two pixels of the long-exposure imaging signal and the short-exposure imaging signal are added by signal processing.

本実施形態では、図4と同じカラーフィルタ配列において、転送電極V1,V5を読出電極とする画素を短時間露光用画素とし、転送電極V3,V7を読出電極とする画素を長時間露光用画素とする。長時間露光による信号電荷をR,G,Bの大文字で示し、短時間露光による信号電荷をr,g,bの小文字で示した図が図11である。   In the present embodiment, in the same color filter array as in FIG. 4, pixels having transfer electrodes V1 and V5 as readout electrodes are pixels for short exposure, and pixels having transfer electrodes V3 and V7 as readout electrodes are pixels for long exposure. And FIG. 11 is a diagram in which signal charges due to long exposure are indicated by capital letters R, G, and B, and signal charges due to short exposure are indicated by small letters r, g, and b.

図12は、広ダイナミックレンジ駆動モードを示すタイミングチャートである。メカニカルシャッタ「開」の状態下で、OFD(オーバーフロードレイン)パルスの印加停止タイミングxで、長時間露光用画素と短時間露光用画素の夫々で露光が開始し、信号電荷の蓄積が始まる。   FIG. 12 is a timing chart showing the wide dynamic range drive mode. Under the mechanical shutter “open” state, at the OFD (overflow drain) pulse application stop timing x, exposure starts at each of the long-time exposure pixel and the short-time exposure pixel, and accumulation of signal charges starts.

次の任意タイミングyで、読出電極V1,V5に読出パルス21を印加すると、タイミングx〜yの間で短時間露光用画素に蓄積されていた信号電荷が垂直電荷転送路に読み出されてしまうことになる。読出電極V3,V7にはタイミングyでの読出パルスの印加はないため、長時間露光用画素ではタイミングxからの信号電荷の蓄積が続いている。タイミングyで一旦「空」となった短時間露光用画素には再び信号電荷の蓄積が開始する。   When the read pulse 21 is applied to the read electrodes V1 and V5 at the next arbitrary timing y, the signal charge accumulated in the short-time exposure pixel between the timings x to y is read to the vertical charge transfer path. It will be. Since no readout pulse is applied to the readout electrodes V3 and V7 at the timing y, signal charge accumulation from the timing x continues in the long-time exposure pixels. Accumulation of signal charges starts again in the short-time exposure pixels that are once “empty” at the timing y.

シャッタスピードで決まる次のタイミングzで、メカニカルシャッタが「閉」となり、長時間露光用画素,短時間露光用画素の露光が終了する。次に、垂直電荷転送路を高速掃出パルス22で駆動すると、タイミングyで短時間露光用画素から垂直電荷転送路に読み出されたタイミングx〜yまでの信号電荷は廃棄されてしまう。   At the next timing z determined by the shutter speed, the mechanical shutter is “closed”, and the exposure of the long exposure pixels and the short exposure pixels is completed. Next, when the vertical charge transfer path is driven by the high-speed sweep pulse 22, the signal charge from timing x to y read from the short-time exposure pixel to the vertical charge transfer path at timing y is discarded.

これにより、長時間露光用画素には、タイミングx〜z(露光期間T)の信号電荷が蓄積され、短時間露光用画素には、タイミングy〜z(露光期間t)の信号電荷が蓄積されることになる。   Thereby, signal charges at timings x to z (exposure period T) are accumulated in the long-time exposure pixels, and signal charges at timings y to z (exposure period t) are accumulated in the short-time exposure pixels. Will be.

以後、全画素駆動モードで説明した図4〜図9の読出処理により、例えば図8に対応する或る画素行の読出処理では、…gBbGgBbG…の順に各信号電荷量に応じた撮像画像信号が固体撮像素子100から出力され、次行の読出処理では…rGgRrGgR…の順に各信号電荷量に応じた撮像画像信号が固体撮像素子100から出力される。固体撮像素子100から出力された撮像画像信号は後段の信号処理部6で信号処理されるが、このとき、連続する同色2画素(図11で述べれば、斜め方向に並ぶ同色2画素)の撮像画像信号が画素加算(R+r,G+g,B+b)され、広ダイナミックレンジの撮像画像信号が生成される。   4 to 9 described in the all pixel drive mode, for example, in a reading process of a certain pixel row corresponding to FIG. 8, the picked-up image signals corresponding to the respective signal charge amounts in order of... GBbGgBbG. Output from the solid-state imaging device 100, and in the readout processing of the next row, a captured image signal corresponding to each signal charge amount is output from the solid-state imaging device 100 in the order of... RGgRrGgR. The picked-up image signal output from the solid-state image sensor 100 is subjected to signal processing by the signal processing unit 6 at the subsequent stage. At this time, two continuous pixels of the same color (two pixels of the same color arranged in an oblique direction in FIG. 11) are picked up. The image signal is subjected to pixel addition (R + r, G + g, B + b), and a wide dynamic range captured image signal is generated.

これにより、撮影シーンが明るい場合でも、白飛びしない被写体画像を撮影することが可能となる。   As a result, even when the shooting scene is bright, it is possible to shoot a subject image that does not white out.

この様に、本実施形態によれば、ISO感度を所定感度に固定して撮影する場合においても、被写体の明るさに応じて固体撮像素子100の駆動方法を変えることにより、被写体の高品質な画像を被写体の明暗に関わらず撮影することが可能となる。   As described above, according to the present embodiment, even when shooting with the ISO sensitivity fixed to a predetermined sensitivity, by changing the driving method of the solid-state imaging device 100 according to the brightness of the subject, it is possible to improve the quality of the subject. Images can be taken regardless of the brightness of the subject.

図13は、本発明の別実施形態に係る撮像手順を示すフローチャートである。図3の撮像手順では、固体撮像素子の駆動方法として、画素混合駆動モード,全画素駆動モード,広ダイナミックレンジ駆動モードの3つを用意したが、本実施形態では、更に広ダイナミックレンジ駆動モードを、被写体明るさに応じた、ダイナミックレンジ200%モード,400%モード,800%モードの3つに細分している。   FIG. 13 is a flowchart showing an imaging procedure according to another embodiment of the present invention. In the imaging procedure of FIG. 3, three methods of a pixel mixing driving mode, an all-pixel driving mode, and a wide dynamic range driving mode are prepared as driving methods of the solid-state imaging device. In this embodiment, a wider dynamic range driving mode is further provided. The dynamic range is subdivided into three modes of 200% mode, 400% mode, and 800% mode according to subject brightness.

即ち、ステップS1の判定の結果、EV値が「13」より大きい場合には次のステップS1aで、EV値が「13」であるのか、EV値が「14」であるかの、EV値が「15」であるのかを判定する。   That is, if the EV value is greater than “13” as a result of the determination in step S1, the EV value in step S1a indicates whether the EV value is “13” or the EV value is “14”. It is determined whether it is “15”.

EV値=13の場合には、ステップS4aに進んでダイナミックレンジ200%モードを設定し、EV値=14の場合には、ステップS4bに進んでダイナミックレンジ400%モードを設定し、EV値=15の場合には、ステップS4cに進んでダイナミックレンジ800%モードを設定し、ステップS5に進む。他のステップS2,S3は、図3の実施形態と同じである。   If the EV value = 13, the process proceeds to step S4a to set the dynamic range 200% mode. If the EV value = 14, the process proceeds to step S4b to set the dynamic range 400% mode, and the EV value = 15. In this case, the process proceeds to step S4c, the dynamic range 800% mode is set, and the process proceeds to step S5. Other steps S2 and S3 are the same as those in the embodiment of FIG.

図14は、ダイナミックレンジ200%モード,400%モード,800%モードを切り替える駆動タイミングを示す図である。タイミングx,zに対し、図12のタイミングyを、タイミングy1,y2,y3に切り替えることで、ダイナミックレンジ200%,400%,800%を実現している。   FIG. 14 is a diagram illustrating drive timing for switching between the dynamic range 200% mode, 400% mode, and 800% mode. The dynamic ranges 200%, 400%, and 800% are realized by switching the timing y in FIG. 12 to the timings y1, y2, and y3 with respect to the timings x and z.

即ち、タイミングx〜zの露光期間Tに対して、例えばT/2となるタイミングy1を設定することで、ダイナミックレンジ200%を実現する短時間露光期間T200を決めている。また、例えばT/4となるタイミングy2を設定してダイナミックレンジ400%を実現する短時間露光期間T400を決め、T/8となるタイミングy3を設定してダイナミックレンジ800%を実現する短時間露光期間T800を決めている。   That is, by setting a timing y1 that is T / 2, for example, with respect to the exposure period T of the timings x to z, a short exposure period T200 that realizes a dynamic range of 200% is determined. Further, for example, a short exposure period T400 that realizes a dynamic range of 400% by setting a timing y2 that becomes T / 4 is determined, and a short exposure that realizes a dynamic range of 800% by setting a timing y3 that becomes T / 8. Period T800 is decided.

この様にすることで、撮影シーンが明るすぎる場合でもきめ細かなダイナミックレンジの設定を自動的に行い、白飛びの無い高品質な被写体画像を得ることが可能となる。   This makes it possible to automatically set a fine dynamic range even when the shooting scene is too bright, and to obtain a high-quality subject image without overexposure.

図15は、本発明の更に別実施形態に係る撮像手順を示すフローチャートである。図13の撮像手順では、図3の固体撮像素子の駆動方法のうち広ダイナミックレンジ駆動モードを3つに細分したが、本実施形態では、図3の画素混合駆動モードを被写体明るさに応じた加算画素数で3つに細分している。   FIG. 15 is a flowchart showing an imaging procedure according to still another embodiment of the present invention. In the imaging procedure of FIG. 13, the wide dynamic range driving mode is subdivided into three in the driving method of the solid-state imaging device of FIG. 3, but in the present embodiment, the pixel mixture driving mode of FIG. The number of added pixels is subdivided into three.

即ち、本実施形態では、被写体のEV値が「7」より小さい場合にはステップS1bに進み、EV値=5or6の場合にはステップS2aに進んで2画素混合駆動モードを設定し、EV値=3or4の場合にはステップS2bに進んで4画素混合駆動モードを設定し、EV値=1or2の場合にはステップS2cに進んで8画素混合駆動モードを設定し、ステップS5に進む。他のステップS3,S4は図3の実施形態と同じである。   That is, in this embodiment, when the EV value of the subject is smaller than “7”, the process proceeds to step S1b. When the EV value = 5 or 6, the process proceeds to step S2a to set the two-pixel mixed drive mode, and the EV value = In the case of 3 or 4, the process proceeds to step S2b to set the 4-pixel mixed drive mode, and in the case of EV value = 1 or 2, the process proceeds to step S2c to set the 8-pixel mixed drive mode, and the process proceeds to step S5. Other steps S3 and S4 are the same as those in the embodiment of FIG.

2画素混合駆動モードとは図10で説明した水平電荷転送路上での2画素加算と同じであり、図15のステップS2aは、図3のステップS2と同じである。   The two-pixel mixed drive mode is the same as the two-pixel addition on the horizontal charge transfer path described in FIG. 10, and step S2a in FIG. 15 is the same as step S2 in FIG.

ステップS2bの4画素混合駆動モードとは、例えば、図16の或る画素列に沿って垂直方向に隣接する2つのG信号電荷51,52を垂直電荷転送路に読み出してこの垂直電荷転送路上で混合してしまう。   In the four-pixel mixed drive mode in step S2b, for example, two G signal charges 51 and 52 that are adjacent in the vertical direction along a certain pixel column in FIG. 16 are read out to the vertical charge transfer path, and on this vertical charge transfer path. It will mix.

このとき、G信号電荷51,52間のB信号電荷61の垂直電荷転送路への読み出しは行わずに、G信号電荷51,52の読み出し,混合,アンプ104からの出力後に、B信号電荷の読み出し,混合,出力を行う。隣接する垂直電荷転送路上でも、2つのG信号電荷53,54を画素混合を行う。   At this time, the B signal charge 61 between the G signal charges 51 and 52 is not read out to the vertical charge transfer path, but after the G signal charges 51 and 52 are read, mixed, and output from the amplifier 104, Read, mix and output. Also on the adjacent vertical charge transfer paths, the two G signal charges 53 and 54 are subjected to pixel mixing.

そして、垂直電荷転送路上で2画素混合したG信号電荷(51,52)及びG信号電荷(53,54)を、図10で説明した様にして、水平電荷転送路上で加算し、計4画素の信号電荷の混合を行ってから、アンプ104から出力する。同様に、G信号電荷55,56,57,58の同色4画素の画素混合を行い、アンプ104から出力する。他色のB信号電荷,R信号電荷についても同様に4画素混合を行い、アンプ104から出力する。   Then, the G signal charge (51, 52) and the G signal charge (53, 54) mixed in two pixels on the vertical charge transfer path are added on the horizontal charge transfer path as described in FIG. The signal charges are mixed and then output from the amplifier 104. Similarly, the G signal charges 55, 56, 57, and 58 are mixed from four pixels of the same color and output from the amplifier 104. Similarly, the B signal charge and R signal charge of other colors are mixed by four pixels and output from the amplifier 104.

この場合、垂直転送電極として、図4の8相駆動用の電極V1〜V8ではなく、図16に示す様に16相駆動用の電極V1〜V16を設けた方が、垂直電荷転送路上での画素加算の垂直駆動が容易となる。この16相駆動用の電極配線とした場合に8相駆動する必要が生じたとき(例えば、図4〜図8で説明した駆動方法を行う時)は、電極V1と電極V9に同一パルスφV1を印加し、V2,V10に同一パルスφV2を印加し、…とすることで、問題はなく8相駆動が実現される。   In this case, instead of the 8-phase driving electrodes V1 to V8 shown in FIG. 4 as the vertical transfer electrodes, the 16-phase driving electrodes V1 to V16 are provided on the vertical charge transfer path as shown in FIG. The vertical drive of pixel addition becomes easy. When the electrode wiring for 16-phase driving is necessary, when it is necessary to perform 8-phase driving (for example, when the driving method described in FIGS. 4 to 8 is performed), the same pulse φV1 is applied to the electrode V1 and the electrode V9. By applying the same pulse φV2 to V2 and V10, and so on, there is no problem and 8-phase driving is realized.

ステップS2cの8画素混合駆動モードとは、例えば図16において、同色で隣接するG信号電荷51,52,55,56を垂直電荷転送路上で混合し、隣接する垂直電荷転送路上でもG信号電荷53,54,57,58を混合し、これらを水平電荷転送路上で画素混合して8画素加算を行う。B信号電荷,R信号電荷についても同様に8画素加算を行う。   For example, in FIG. 16, the adjacent G signal charges 51, 52, 55 and 56 of the same color are mixed on the vertical charge transfer path, and the G signal charge 53 is also set on the adjacent vertical charge transfer path. , 54, 57, 58 are mixed, and these are mixed on the horizontal charge transfer path to perform 8-pixel addition. Similarly, 8-pixel addition is performed for the B signal charge and the R signal charge.

この様に、近接する同色画素で画素混合する画素数が増えるほど、暗いシーンでも高感度な信号電荷量を得ることができ、画像解像度は低下するが、高品質な被写体画像を得ることが可能となる。   In this way, as the number of adjacent pixels of the same color increases, the signal charge amount with high sensitivity can be obtained even in a dark scene, and the image resolution decreases, but a high-quality subject image can be obtained. It becomes.

図17は、本発明の更に別実施形態に係る撮像手順を示すフローチャートである。本実施形態は、図13の実施形態と図15の実施形態とを併せた撮像手順となっている。暗すぎる撮影シーンから明るすぎる撮影シーンまで、どの様な撮影シーンであっても、撮影シーンの明るさに応じて、駆動タイミングの異なる固体撮像素子の駆動方法すなわち駆動モードを適切に選択することで、常に高品質な被写体画像を得ることが可能となる。   FIG. 17 is a flowchart showing an imaging procedure according to still another embodiment of the present invention. The present embodiment is an imaging procedure that combines the embodiment of FIG. 13 and the embodiment of FIG. Depending on the brightness of the shooting scene, it is possible to appropriately select the driving method of the solid-state imaging device, that is, the driving mode, depending on the brightness of the shooting scene. Therefore, it is possible to always obtain a high-quality subject image.

なお、上述した実施形態では、図2に示すCCD型固体撮像素子すなわち、カラーフィルタ配列をベイヤ配列とした正方格子配列の第1画素群と、これと垂直方向,水平方向に1/2画素ピッチづつずらした正方格子配列の第2画素群であって同じくカラーフィルタ配列をベイヤ配列とした第2画素群とを混在させたハニカム画素配列の固体撮像素子を例に説明したが、本発明はこの固体撮像素子に限るものではない。例えば、各画素が正方格子配列された固体撮像素子に適用することができ、また、CCD型でなくても、画素混合して同色信号を読み出すことができ、また、露光期間の異なる同色信号を混合して読み出すことができる固体撮像素子であれば、本発明を適用可能である。   In the embodiment described above, the CCD type solid-state imaging device shown in FIG. 2, that is, a first pixel group in a square lattice arrangement in which the color filter array is a Bayer arrangement, and a ½ pixel pitch in the vertical and horizontal directions. A solid-state imaging device having a honeycomb pixel arrangement in which a second pixel group having a square lattice arrangement and a second pixel group having the same color filter arrangement as a Bayer arrangement is mixed has been described as an example. It is not limited to a solid-state image sensor. For example, it can be applied to a solid-state imaging device in which each pixel is arranged in a square lattice, and even if it is not a CCD type, it can read out the same color signal by mixing pixels, and can also output the same color signal with different exposure periods. The present invention can be applied to any solid-state imaging device that can be read by mixing.

なお、上述した実施形態では、被写体の露光条件に基づいてCPUがISO感度を所定感度に設定した後、被写体の明るさに応じて固体撮像素子の駆動モードをCPUが自動的に設定したが、ユーザがマニュアルでISO感度を所定感度に設定したとき、被写体の明るさに応じて固体撮像素子の駆動モードをCPU側が自動的に設定する構成とすることでも良い。   In the above-described embodiment, the CPU automatically sets the drive mode of the solid-state imaging device according to the brightness of the subject after the CPU sets the ISO sensitivity to a predetermined sensitivity based on the exposure condition of the subject. When the user manually sets the ISO sensitivity to a predetermined sensitivity, the CPU side may automatically set the drive mode of the solid-state imaging device according to the brightness of the subject.

以上述べた様に、実施形態によるデジタルカメラ及び固体撮像素子の駆動方法は、複数の画素が半導体基板の表面に二次元アレイ状に配列され被写体からの入射光を受光して該被写体の撮像画像信号を出力する固体撮像素子を搭載したデジタルカメラ及び固体撮像素子の駆動方法であって、所定のISO感度設定値に基づく撮影を行うに当たり予め用意された複数の駆動モードの中から前記被写体の明るさに応じた駆動モードを選択して前記固体撮像素子を駆動することを特徴とする。   As described above, in the digital camera and the solid-state image sensor driving method according to the embodiment, the plurality of pixels are arranged in a two-dimensional array on the surface of the semiconductor substrate and receive the incident light from the subject, and the captured image of the subject A digital camera equipped with a solid-state imaging device that outputs a signal and a driving method of the solid-state imaging device, wherein the brightness of the subject is selected from a plurality of driving modes prepared in advance for performing shooting based on a predetermined ISO sensitivity setting value. The solid-state imaging device is driven by selecting a driving mode according to the height.

また、実施形態のデジタルカメラ及び固体撮像素子の駆動方法は、前記被写体の明るさが暗く該明るさを表すEV値が第1所定値より小さいときに選択され近接する複数の画素の検出信号を加算して出力する画素混合駆動モードと、前記被写体の明るさが明るく前記EV値が前記第1所定値より大きな第2所定値より大きいときに選択され近接する長時間露光画素と短時間露光画素の各検出信号を個別に出力した後、信号処理で加算させる広ダイナミックレンジ駆動モードと、前記EV値が前記第1所定値と前記第2所定値との間のときに選択され各画素の検出信号を独立して読み出す全画素駆動モードとが、前記複数の駆動モードとして予め用意されることを特徴とする。   In the digital camera and the solid-state image sensor driving method according to the embodiment, detection signals of a plurality of adjacent pixels selected when the brightness of the subject is dark and the EV value representing the brightness is smaller than a first predetermined value are detected. A pixel mixture drive mode for adding and outputting, and a long-time exposure pixel and a short-time exposure pixel that are selected when the subject is bright and the EV value is greater than a second predetermined value that is greater than the first predetermined value. Each of the detection signals is output individually, and then is selected when the wide dynamic range driving mode is added by signal processing, and the EV value is between the first predetermined value and the second predetermined value. An all-pixel drive mode in which signals are read independently is prepared in advance as the plurality of drive modes.

また、実施形態のデジタルカメラ及び固体撮像素子の駆動方法は、前記画素混合駆動モードとして、前記加算する画素数が異なる複数の画素混合駆動モードが前記被写体の明るさに応じて用意されることを特徴とする。   In the driving method of the digital camera and the solid-state imaging device according to the embodiment, as the pixel mixture driving mode, a plurality of pixel mixture driving modes having different numbers of pixels to be added are prepared according to the brightness of the subject. Features.

また、実施形態のデジタルカメラ及び固体撮像素子の駆動方法は、前記広ダイナミックレンジ駆動モードとして、前記長時間露光画素の露光期間と前記短時間露光画素の露光期間との比が異なる複数の広ダイナミックレンジ駆動モードが前記被写体の明るさに応じて用意されることを特徴とする。   Further, in the driving method of the digital camera and the solid-state imaging device according to the embodiment, as the wide dynamic range driving mode, a plurality of wide dynamics having different ratios of the exposure period of the long exposure pixel and the exposure period of the short exposure pixel are used. A range driving mode is prepared according to the brightness of the subject.

これにより、ISO感度を所定値に固定した撮影を行う場合でも、被写体の明暗によらずに高品質な被写体画像を得ることが可能となる。   As a result, even when shooting is performed with the ISO sensitivity fixed to a predetermined value, a high-quality subject image can be obtained regardless of the brightness of the subject.

本発明に係るデジタルカメラ及びその固体撮像素子駆動方法は、ISO感度の設定が所定感度に固定された状態でも、撮影シーンの明暗によって固体撮像素子の駆動方法(駆動タイミング)を変更して被写体画像の高品質撮影を可能としたため、デジタルスチルカメラ,デジタルビデオカメラ,カメラ付携帯電話機,カメラ付電子装置,複数台のデジタルカメラを配置して全周囲360度の画像を撮影する全方位撮像装置等に適用すると有用である。   The digital camera and the solid-state imaging device driving method according to the present invention change the driving method (driving timing) of the solid-state imaging device according to the brightness of the shooting scene even when the ISO sensitivity setting is fixed to a predetermined sensitivity. Digital still cameras, digital video cameras, camera-equipped mobile phones, camera-equipped electronic devices, omnidirectional imaging devices that place multiple digital cameras and shoot 360-degree images, etc. It is useful to apply to.

1 デジタルスチルカメラ
2 撮影レンズ
3 絞り
4 メカニカルシャッタ
5 AFE&TG部
5a CDS部
5b VGA部
5c A/D部
5d TG(駆動手段)
6 信号処理部(CPUを含む)
100 固体撮像素子
101 画素(フォトダイオード)
102 垂直電荷転送路(VCCD)
103 水平電荷転送路(HCCD)
104 出力アンプ
105 ラインメモリ
DESCRIPTION OF SYMBOLS 1 Digital still camera 2 Shooting lens 3 Aperture 4 Mechanical shutter 5 AFE & TG part 5a CDS part 5b VGA part 5c A / D part 5d TG (drive means)
6 Signal processor (including CPU)
100 Solid-state image sensor 101 Pixel (photodiode)
102 Vertical charge transfer path (VCCD)
103 Horizontal charge transfer path (HCCD)
104 Output amplifier 105 Line memory

Claims (8)

複数の画素が半導体基板の表面に二次元アレイ状に配列され被写体からの入射光を受光して該被写体の撮像画像信号を出力する固体撮像素子と、所定のISO感度設定値に基づく撮影を行うに当たり予め用意された複数の駆動モードの中から前記被写体の明るさに応じた駆動モードを選択する制御手段と、該制御手段によって選択された前記駆動モードにより前記固体撮像素子を駆動する駆動手段とを備えるデジタルカメラ。   A plurality of pixels are arranged in a two-dimensional array on the surface of a semiconductor substrate, receive incident light from a subject, and output a picked-up image signal of the subject, and photographing based on a predetermined ISO sensitivity setting value Control means for selecting a drive mode according to the brightness of the subject from a plurality of drive modes prepared in advance, and drive means for driving the solid-state imaging device in the drive mode selected by the control means; Digital camera equipped with. 請求項1に記載のデジタルカメラであって、前記被写体の明るさが暗く該明るさを表す値が第1所定値より小さいときに選択され近接する複数の画素の検出信号を加算して出力する画素混合駆動モードと、前記被写体の明るさが明るく該明るさを表す値が前記第1所定値より大きな第2所定値より大きいときに選択され近接する長時間露光画素と短時間露光画素の各検出信号を出力して加算させる広ダイナミックレンジ駆動モードと、前記被写体の明るさを表す値が前記第1所定値と前記第2所定値との間のときに選択され各画素の検出信号を独立して読み出す全画素駆動モードとが、前記複数の駆動モードとして予め用意されるデジタルカメラ。   2. The digital camera according to claim 1, wherein when the brightness of the subject is dark and a value representing the brightness is smaller than a first predetermined value, detection signals of a plurality of adjacent pixels selected and added are output. Each of the adjacent long exposure pixel and the short exposure pixel that is selected when the brightness of the subject is bright and the value representing the brightness is greater than a second predetermined value that is greater than the first predetermined value. A wide dynamic range drive mode in which detection signals are output and added, and a value representing the brightness of the subject is selected between the first predetermined value and the second predetermined value, and the detection signal of each pixel is independent. A digital camera in which all pixel drive modes to be read out are prepared in advance as the plurality of drive modes. 請求項2に記載のデジタルカメラであって、前記画素混合駆動モードとして、前記加算する画素数が異なる複数の画素混合駆動モードが前記被写体の明るさに応じて用意されるデジタルカメラ。   3. The digital camera according to claim 2, wherein a plurality of pixel mixture drive modes having different numbers of pixels to be added are prepared as the pixel mixture drive mode according to the brightness of the subject. 請求項2又は請求項3に記載のデジタルカメラであって、前記広ダイナミックレンジ駆動モードとして、前記長時間露光画素の露光期間と前記短時間露光画素の露光期間との比が異なる複数の広ダイナミックレンジ駆動モードが前記被写体の明るさに応じて用意されるデジタルカメラ。   4. The digital camera according to claim 2, wherein, as the wide dynamic range driving mode, a plurality of wide dynamics having different ratios between an exposure period of the long exposure pixel and an exposure period of the short exposure pixel. A digital camera in which a range driving mode is prepared according to the brightness of the subject. 複数の画素が半導体基板の表面に二次元アレイ状に配列され被写体からの入射光を受光して該被写体の撮像画像信号を出力する固体撮像素子の駆動方法であって、所定のISO感度設定値に基づく撮影を行うに当たり予め用意された複数の駆動モードの中から前記被写体の明るさに応じた駆動モードを選択して前記固体撮像素子を駆動する固体撮像素子の駆動方法。   A method of driving a solid-state imaging device in which a plurality of pixels are arranged in a two-dimensional array on the surface of a semiconductor substrate and receive incident light from a subject and output a captured image signal of the subject, and a predetermined ISO sensitivity setting value A solid-state image sensor driving method for driving the solid-state image sensor by selecting a drive mode corresponding to the brightness of the subject from among a plurality of drive modes prepared in advance for shooting based on the above. 請求項5に記載の固体撮像素子の駆動方法であって、前記被写体の明るさが暗く該明るさを表す値が第1所定値より小さいときに選択され近接する複数の画素の検出信号を加算して出力する画素混合駆動モードと、前記被写体の明るさが明るく前記被写体の明るさを表す値が前記第1所定値より大きな第2所定値より大きいときに選択され近接する長時間露光画素と短時間露光画素の各検出信号を出力して加算させる広ダイナミックレンジ駆動モードと、前記被写体の明るさを表す値が前記第1所定値と前記第2所定値との間のときに選択され各画素の検出信号を独立して読み出す全画素駆動モードとが、前記複数の駆動モードとして予め用意される固体撮像素子の駆動方法。   6. The method of driving a solid-state imaging device according to claim 5, wherein detection signals of a plurality of adjacent pixels selected when the brightness of the subject is dark and a value representing the brightness is smaller than a first predetermined value are added. And a pixel mixture driving mode to be output, and a long-exposure pixel that is selected and close when the brightness of the subject is bright and the value representing the brightness of the subject is greater than a second predetermined value that is greater than the first predetermined value. A wide dynamic range driving mode for outputting and adding detection signals of short-time exposure pixels, and a value representing the brightness of the subject selected between the first predetermined value and the second predetermined value. A solid-state imaging device driving method in which an all-pixel driving mode for independently reading out pixel detection signals is prepared in advance as the plurality of driving modes. 請求項6に記載の固体撮像素子の駆動方法であって、前記画素混合駆動モードとして、前記加算する画素数が異なる複数の画素混合駆動モードが前記被写体の明るさに応じて用意される固体撮像素子の駆動方法。   The solid-state imaging device driving method according to claim 6, wherein a plurality of pixel mixture drive modes having different numbers of pixels to be added are prepared according to brightness of the subject as the pixel mixture drive mode. Device driving method. 請求項6又は請求項7に記載の固体撮像素子の駆動方法であって、前記広ダイナミックレンジ駆動モードとして、前記長時間露光画素の露光期間と前記短時間露光画素の露光期間との比が異なる複数の広ダイナミックレンジ駆動モードが前記被写体の明るさに応じて用意される固体撮像素子の駆動方法。   8. The method for driving a solid-state imaging device according to claim 6, wherein a ratio between an exposure period of the long exposure pixel and an exposure period of the short exposure pixel is different as the wide dynamic range driving mode. A method for driving a solid-state imaging device, wherein a plurality of wide dynamic range drive modes are prepared according to the brightness of the subject.
JP2009157822A 2009-07-02 2009-07-02 Digital camera and method for driving solid-state imaging device Pending JP2011015205A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009157822A JP2011015205A (en) 2009-07-02 2009-07-02 Digital camera and method for driving solid-state imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009157822A JP2011015205A (en) 2009-07-02 2009-07-02 Digital camera and method for driving solid-state imaging device

Publications (1)

Publication Number Publication Date
JP2011015205A true JP2011015205A (en) 2011-01-20

Family

ID=43593640

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009157822A Pending JP2011015205A (en) 2009-07-02 2009-07-02 Digital camera and method for driving solid-state imaging device

Country Status (1)

Country Link
JP (1) JP2011015205A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013093778A (en) * 2011-10-26 2013-05-16 Ricoh Co Ltd Imaging apparatus and signal reading method
JP2018523323A (en) * 2015-11-25 2018-08-16 華為技術有限公司Huawei Technologies Co.,Ltd. Imaging method, imaging apparatus, and terminal

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013093778A (en) * 2011-10-26 2013-05-16 Ricoh Co Ltd Imaging apparatus and signal reading method
JP2018523323A (en) * 2015-11-25 2018-08-16 華為技術有限公司Huawei Technologies Co.,Ltd. Imaging method, imaging apparatus, and terminal
US10742889B2 (en) 2015-11-25 2020-08-11 Huawei Technologies Co., Ltd. Image photographing method, image photographing apparatus, and terminal

Similar Documents

Publication Publication Date Title
US8174590B2 (en) Image pickup apparatus and image pickup method
JP5245370B2 (en) Solid-state imaging device, electronic camera
JP5034840B2 (en) Solid-state imaging device and electronic camera using the same
US20080258045A1 (en) Solid-state imaging device, method of driving solid-state imaging device and imaging apparatus
JP4622790B2 (en) Imaging device and imaging apparatus
US7791665B2 (en) Imaging apparatus and driving method of solid-state imaging device
US20110122301A1 (en) Imaging device and imaging method
US7952636B2 (en) Method for driving solid-state imaging device and imaging apparatus
JP2009130582A (en) Solid-state imaging apparatus, and electronic camera
US20110050965A1 (en) Image capture device and control method thereof
US8866948B2 (en) Imaging apparatus
JP2010283743A (en) Omnidirectional imaging device, and method and program for synthesizing panorama image
US20100277634A1 (en) Imaging apparatus and method of driving the same
JP2007208885A (en) Imaging unit and image sensor
JP2006014117A (en) Physical information acquisition method, physical information acquisition apparatus and semiconductor device for detecting physical quantity distribution
JP2011015205A (en) Digital camera and method for driving solid-state imaging device
JP2009302946A (en) Solid-state image pickup element, driving method for solid-state image pickup element and image pickup device
JP2007088842A (en) Imaging apparatus, and method of driving imaging device
JP2010136078A (en) Imaging apparatus and driving control method thereof
JP2007088843A (en) Imaging apparatus, and method of driving imaging device
JP5629568B2 (en) Imaging device and pixel addition method thereof
WO2016203966A1 (en) Imaging device, imaging method, and program
JP4158767B2 (en) Imaging device
JP2008301328A (en) Ccd solid-state imaging element and driving method thereof, and imaging element
JP2005045435A (en) Driving method for imaging element, and imaging apparatus

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20111216