JP2010206769A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2010206769A
JP2010206769A JP2009191216A JP2009191216A JP2010206769A JP 2010206769 A JP2010206769 A JP 2010206769A JP 2009191216 A JP2009191216 A JP 2009191216A JP 2009191216 A JP2009191216 A JP 2009191216A JP 2010206769 A JP2010206769 A JP 2010206769A
Authority
JP
Japan
Prior art keywords
unit
reset
read
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009191216A
Other languages
English (en)
Other versions
JP5215262B2 (ja
Inventor
Tsutomu Honda
努 本田
Yoshinao Shimada
義尚 島田
Kazuhiro Haneda
和寛 羽田
Yuichi Gomi
祐一 五味
Jun Aoki
潤 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Priority to JP2009191216A priority Critical patent/JP5215262B2/ja
Priority to CN2009102657341A priority patent/CN101795345B/zh
Priority to US12/693,699 priority patent/US8174590B2/en
Publication of JP2010206769A publication Critical patent/JP2010206769A/ja
Application granted granted Critical
Publication of JP5215262B2 publication Critical patent/JP5215262B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/532Control of the integration time by controlling global shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/65Noise processing, e.g. detecting, correcting, reducing or removing noise applied to reset noise, e.g. KTC noise related to CMOS structures by techniques other than CDS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】静止画像撮像時にライブビュー(LV)画像が更新されない時間を短縮し得る撮像装置を提供する。
【解決手段】光電変換部PDと光電変換部PDの信号電荷を一旦蓄積する信号蓄積部FDとを含む画素28を2次元状に配列した画素部を備え、静止画像を露光する前に信号蓄積部FDをリセットして静止画像のリセットノイズを除去するのに用いるリセットデータを読み出す撮像装置において、画素部を複数の画素群に分割して各画素群の信号蓄積部FDをトランジスタMrにより順次リセットし、リセット信号を選択トランジスタMbにより順次読み出し、信号蓄積部FDを順次リセットする時間区間内に、所定画素群により露光して生成されたLV用の信号電荷を、所定画素群の信号蓄積部FDがリセットされる前に選択トランジスタMbにより1回以上読み出すようにした撮像装置。
【選択図】図3

Description

本発明は、静止画記録用の画像データと画像表示用の画像データとを取得し得る撮像装置に関する。
デジタルカメラやデジタルビデオカメラ等の撮像装置には、光学像を電気信号に変換する撮像素子が搭載されているが、この撮像素子は、近年、CCDからCMOSへとマーケットシェアーが移行しつつある。
撮像装置に搭載されているCMOS等のMOS型撮像素子は、撮像面に2次元状に配列された多数の画素の電荷を順次読み出すようになっているが、そのままでは露光開始時刻および露光終了時刻が画素毎に(あるいはライン毎に)異なることになる。そこで、全画素の露光開始時刻を同一にしかつ全画素の露光終了時刻を同一にすることができるように(つまり、グローバルシャッタによる制御が可能となるように)構成されたMOS型撮像素子は、露光量に応じた信号を発生させるフォトダイオード等の光電変換部を備えるとともに、光電変換部において発生した信号電荷を一時的に蓄積する信号蓄積部を備え、さらに、電荷の転送やリセットを行う際にスイッチとして機能するトランジスタ等を備えた構成となっている。
このような撮像素子の画素の構成の一例を示すと、本発明の実施形態に係る図3に示すような、1画素内に5つのトランジスタが設けられた構成が挙げられる。この図3に示すような構成は、信号蓄積部FDを画素内メモリとして利用して、グローバルシャッタによる制御を可能とするものとなっている。この撮像素子をデジタルカメラに用いる場合に、KTCノイズ(リセットノイズ)を抑圧するために、以下のようなシーケンスにより駆動させる技術が、例えば特開2005−65184号公報に記載されている。
(1)信号蓄積部FDをトランジスタMrによりリセットし、リセットデータをライン毎に順次走査して読み出し、記憶しておく。
(2)全画素の光電変換部PDを一括してリセットし、所定の露光時間が経過した後に、光電変換部PDの画素データを一括して信号蓄積部FDへ転送する。
(3)信号蓄積部FDへ転送された画素データを、ライン毎に順次走査して読み出し、(1)において記憶しておいたリセットデータを減算する(差分をとる)。
特開2005−65184号公報
しかしながら、上述したようなシーケンスで撮像素子を駆動した場合には、画像を得るための一連の動作中にライブビュー(画像表示)の更新を行うことができず、同一の画像が表示部に表示され続けたり、あるいは表示部がブラックアウトして画像が表示されないなどの現象が発生してしまう。
特に、上述したシーケンスにおいては、露光前のリセットデータ用の全画素信号読み出し動作と、露光後の画素データ用の全画素信号読み出し動作と、の両方が必要となるために、1シーケンス期間が長くなることになる。とりわけ、近年の撮像素子は、画素数が増加し、全画素信号読み出し動作に要する時間が長くなる傾向にあるために、ライブビュー用の画像を取得することができない期間が長くなるというのがより重要な課題になりつつある。
また、ライブビュー用の画像は、表示部における表示に用いられるだけでなく、オートフォーカス(AF)や自動露光制御(AE)などにも用いられるために、露光期間の直前の時点までライブビュー用の画像を取得できることが望ましい。
本発明は上記事情に鑑みてなされたものであり、静止画像を撮像する際にライブビュー画像が更新されない時間を短縮することができる撮像装置を提供することを目的としている。
上記の目的を達成するために、本発明のある態様による撮像装置は、露光量に応じた信号電荷を発生させる光電変換部を含む画素が2次元状に配列された画素部と、前記画素部の信号電荷を一旦蓄積するものであり、遮光された蓄積部と、前記画素部の画素を相互に重複しない複数の画素群に分割して、該複数の画素群の蓄積部を順次リセットする第2リセット部と、前記第2リセット部によりリセットされた前記複数の画素群の蓄積部のリセット信号を順次読み出すリセット信号読出部と、前記第2リセット部により前記複数の画素群の蓄積部を順次リセットする時間区間内において、該複数の画素群の内の所定の画素群により露光して生成された信号電荷を、該所定の画素群の蓄積部が前記第2リセット部によりリセットされるより前に1回以上読み出す第2信号電荷読出部と、前記第2信号電荷読出部により読み出された信号電荷に基づいて、画像表示用の第2画像データを生成する第2画像処理部と、前記リセット信号読出部による前記複数の画素群のリセット信号の読み出しが完了した後に、前記複数の画素群に属する全ての光電変換部を一括してリセットする第1リセット部と、前記第1リセット部によりリセットしてから所定時間だけ前記光電変換部を露光した後に、該光電変換部により生成された信号電荷を一括して該蓄積部へ転送する転送部と、前記転送部により転送された蓄積部の信号電荷を読み出す第1信号電荷読出部と、前記第1信号電荷読出部により読み出された信号電荷と、前記リセット信号読出部により読み出されたリセット信号と、に基づいて、静止画記録用の第1画像データを生成する第1画像処理部と、を具備したものである。
本発明の撮像装置によれば、静止画像を撮像する際にライブビュー画像が更新されない時間を短縮することが可能となる
本発明の実施形態1における撮像装置の構成を示すブロック図。 上記実施形態1における撮像部のより詳細な構成を示す図。 上記実施形態1の撮像素子の画素部における画素のある構成例をより詳細に示す回路図。 上記実施形態1において、半導体基板における画素の構成を基板厚み方向に示す図。 上記実施形態1において、撮像装置のグローバルシャッタ動作を示すタイミングチャート。 上記実施形態1の画素部においてライブビューに使用するために読み出されるラインの例を示す図。 上記実施形態1において、ライブビューを行っている最中に、撮像部を第1の駆動方法により駆動して静止画像を撮像するときの例を示す図。 上記実施形態1において、ライブビューを行っている最中に、撮像部を第2の駆動方法により駆動して静止画像を撮像するときの例を示す図。 上記実施形態1において、ライブビューを行っている最中に、撮像部を第2の駆動方法により駆動して静止画像を撮像するときの他の例を示す図。 上記実施形態1の図7に示した処理をより詳細に示すタイミングチャート。 上記実施形態1の図8に示した処理の内の、リセットデータ読出期間においてのみ、LV用画像データを取得する処理例を示すタイミングチャート。 上記実施形態1の図8に示した処理のより詳細な一例を示すタイミングチャート。 上記実施形態1における撮像装置の撮影モードに応じた処理を示すフローチャート。 上記実施形態1における撮像装置のAFモードに応じた処理を示すフローチャート。 本発明の実施形態2における撮像部の構成を示す図。 上記実施形態2の撮像素子の画素部における画素の構成例を示す回路図。 上記実施形態2において、撮像部を第2の駆動方法により駆動してグローバルシャッタによる静止画像を撮像するときの第1の動作例を示すタイミングチャート。 上記実施形態2において、撮像部を第2の駆動方法により駆動してグローバルシャッタによる静止画像を撮像するときの第2の動作例を示すタイミングチャート。 上記各実施形態に適用される第1の技術における垂直制御回路の構成を示すブロック図。 上記各実施形態に適用される第1の技術を用いてグローバルシャッタにより静止画像を撮像する前後にLV表示を行うときの動作例を示すタイミングチャート。 上記各実施形態に適用される第2の技術における第2画像処理部の構成を示すブロック図。 上記各実施形態に適用される第2の技術において、画素部から読み出されたフルサイズ静止画像に係るデータを示す図。 上記各実施形態に適用される第2の技術において、画素部から読み出されたライブビュー画像に係るデータを示す図。 上記各実施形態に適用される第2の技術において、フルサイズ静止画像に係るシェーディングレベルの例を示す線図。 上記各実施形態に適用される第2の技術において、ライブビュー画像に係るシェーディングレベルの例を示す線図。 上記各実施形態に適用される第2の技術において、フルサイズ静止画像に係る補正されたシェーディングレベルの例を示す線図。 上記各実施形態に適用される第2の技術において、ライブビュー画像に係る補正されたシェーディングレベルの例を示す線図。 上記各実施形態に適用される第2の技術において、リセットデータ読出と静止画像データ読出とによって得られる2枚の画像から一枚の静止画を作成した場合のシェーディング補正結果を示す線図。 上記各実施形態に適用される第2の技術において、分割読み出しにより得られたリセットデータに基づき、ライブビュー画像用に算出されたシェーディング補正値によりシェーディングレベルを補正した結果を示す線図。 上記各実施形態に適用される第2の技術において、補正値の算出に用いる画素の行数に応じて補正精度が向上しシェーディングレベルがクランプレベルへ収束していく様子を示す線図。 上記各実施形態に適用される第2の技術において、分割読み出しにより得られたリセットデータの様子を示す図。 上記各実施形態に適用される第2の技術において、分割読み出しにより得られたリセットデータをライブビュー画像に合わせてリサイズしたときの様子を示す図。 上記各実施形態に適用される第3の技術において、画素部におけるブルーミング発生の様子を示す図。 上記各実施形態に適用される第3の技術において、図3に示したような画素構造におけるブルーミング発生時の電荷の移動経路の例を示す図。 上記各実施形態に適用される第3の技術において、飽和した光電変換部PDから信号電荷が漏れ出しブルーミングが発生している様子を示す図。 上記各実施形態に適用される第3の技術において、光電変換部PDをリセットしているときのポテンシャルの様子を示す図。 上記各実施形態に適用される第3の技術において、リセットデータ読出期間に5N(Nは整数)ラインのリセットデータの分割読み出しと(5N+2)ラインのライブビュー画像の読み出しを行っているときの様子を示す図。 上記各実施形態に適用される第3の技術において、リセットデータ読出期間に(5N+1)ラインのリセットデータの分割読み出しと(5N+3)ラインのライブビュー画像の読み出しを行っているときの様子を示す図。 上記各実施形態に適用される第3の技術において、リセットデータ読出期間に(5N+2)ラインのリセットデータの分割読み出しを行っているときの様子を示す図。 上記各実施形態に適用される第3の技術において、リセットデータ読出期間に(5N+3)ラインのリセットデータの分割読み出しを行っているときの様子を示す図。 上記各実施形態に適用される第3の技術において、リセットデータ読出期間に(5N+4)ラインのリセットデータの分割読み出しを行っているときの様子を示す図。 上記各実施形態に適用される第3の技術において、静止画像データ読出期間に5Nラインの静止画像データの分割読み出しを行っているときの様子を示す図。 上記各実施形態に適用される第3の技術において、静止画像データ読出期間に(5N+1)ラインの静止画像データの分割読み出しを行っているときの様子を示す図。 上記各実施形態に適用される第3の技術において、静止画像データ読出期間に(5N+2)ラインの静止画像データの分割読み出しを行っているときの様子を示す図。 上記各実施形態に適用される第3の技術において、静止画像データ読出期間に(5N+3)ラインの静止画像データの分割読み出しと(5N+1)ラインのライブビュー画像の読み出しを行っているときの様子を示す図。 上記各実施形態に適用される第3の技術において、静止画像データ読出期間に(5N+4)ラインの静止画像データの分割読み出しと(5N+2)ラインのライブビュー画像の読み出しを行っているときの様子を示す図。 上記各実施形態に適用される第4の技術において、トランジスタMtx2のゲート電極下におけるポテンシャルの例を示す図。 上記各実施形態に適用される第4の技術において、撮像部を第2の駆動方法により駆動してグローバルシャッタによる静止画像を撮像するときの信号線TX2に印加される信号の例を示すタイミングチャート。
以下、図面を参照して本発明の実施の形態を説明する。
[実施形態1]
図1から図14は本発明の実施形態1を示したものであり、図1は撮像装置の構成を示すブロック図である。
この撮像装置は、図1に示すように、レンズ1と、撮像部2と、画像処理部3と、AF評価値演算部4と、表示部5と、手振れ検出部7と、手振れ補正部8と、露光制御部9と、AF制御部10と、カメラ操作部11と、カメラ制御部12と、を備えている。なお、図面にはメモリカード6も記載されているが、このメモリカード6は撮像装置に対して着脱可能に構成されているために、撮像装置に固有の構成でなくても構わない。
レンズ1は、被写体の光学像を撮像部2の撮像素子21(図2参照)の撮像面に結像するための撮影レンズである。
撮像部2は、レンズ1により結像された被写体の光学像を光電変換して、後述するようにデジタル信号に変換してから、出力するものである。この撮像部2は、少なくとも、全画素の露光開始時刻および露光終了時刻を同一とするグローバルシャッタによる動作を行い得るように構成されている(これに加えて、例えばライン単位(または画素単位)で順次露光を行うローリングシャッタによる動作を行い得るように構成されていても構わない)。
画像処理部3は、撮像部2から出力される画像信号に、種々のデジタル的な画像処理を施すものである。この画像処理部3は、画像データを記録用に処理する第1画像処理部3aと、画像データを表示用に処理する第2画像処理部3b(第3画像処理部を兼ねる)と、を備えている。
AF評価値演算部4は、撮像部2から出力される画像信号(例えば、画像信号中の輝度信号(あるいは輝度相当信号)など)に基づいて、被写体への合焦度合いを示すAF評価値を演算するものである。このAF評価値演算部4により算出されたAF評価値は、カメラ制御部12へ出力される。
表示部5は、画像処理部3の第2画像処理部3bにより表示用に画像処理された信号に基づき、画像を表示するものである。この表示部5は、静止画像を再生表示することができると共に、被撮像範囲をリアルタイムに表示するライブビュー(LV)表示を行うことができるようになっている。
メモリカード6は、画像処理部3の第1画像処理部3aにより記録用に画像処理された信号を保存するための記録媒体である。
手振れ検出部7は、この撮像装置の手振れを検出するものである。
手振れ補正部8は、手振れ検出部7により検出された手振れ情報に基づいて、撮像される画像への手振れの影響を相殺するように、レンズ1や撮像部2を駆動するもの(ぶれ補正部)である。
露光制御部9は、カメラ制御部12からの指令に基づいて、撮像部2を駆動し、露光制御を行うものである。
AF制御部10は、AF評価値演算部4からAF評価値を受けたカメラ制御部12の制御に基づいて、レンズ1に含まれるフォーカスレンズを駆動し、撮像部2に結像される被写体像が合焦されるようにするものである。
カメラ操作部11は、この撮像装置に対する各種の操作入力を行うためのものである。このカメラ操作部11に含まれる操作部材の例としては、撮像装置の電源をオン/オフするための電源スイッチ、静止画撮影を指示入力するための2段式押圧ボタンでなるレリーズボタン、撮影モードを単写モードと連写モードとに切り換えるための撮影モードスイッチ、AFモードをシングルAFモードとコンティニュアスAFモードとに切り換えるためのAFモードスイッチなどが挙げられる。
カメラ制御部12は、AF評価値演算部4からのAF評価値や手振れ検出部7からの手振れ情報、カメラ操作部11からの操作入力などに基づいて、画像処理部3、メモリカード6、手振れ補正部8、露光制御部9、AF制御部10等を含むこの撮像装置全体を制御するものである。
次に、図2は、撮像部2のより詳細な構成を示す図である。
この撮像部2は、例えばMOS型の固体撮像素子として構成された撮像素子21と、A/D変換部22と、KTCノイズ除去部23と、を備えている。
これらの内の撮像素子21は、画素部24と、CDS部25と、垂直制御回路26と、水平走査回路27と、を備えて構成されている。
画素部24は、複数の画素28を行方向および列方向に2次元状に配列して構成されている。
垂直制御回路26は、画素部24に配列された画素に行(ライン)単位で各種の信号を印加するものであり、垂直走査回路、リセット制御部、信号読出制御部を兼ねたものとなっている。この垂直制御回路26により選択された行の画素からの信号は、列毎に設けられている垂直転送線VTL(図3参照)へ出力されるようになっている。
CDS部25は、撮像部2がローリングシャッタにより動作するときに、垂直転送線VTLから転送されてくる画素信号に相関二重サンプリングを行うものである。
水平走査回路27は、垂直制御回路26により選択されて垂直転送線VTLからCDS部25を介しCDSされてもしくはCDSされないで転送される1行分の画素の信号を取り込み、その行の画素の信号を水平方向の画素並びの順で時系列に出力するものである。
A/D変換部22は、撮像素子21から出力されてくるアナログの画像信号をデジタルの画像信号に変換するものである。
KTCノイズ除去部23は、撮像部2がグローバルシャッタにより動作するときに、A/D変換部22から出力されてくるデジタルの画像信号に、KTCノイズ除去の処理を行うものである。
続いて、図3は、撮像素子21の画素部24における画素28のある構成例をより詳細に示す回路図である。
図3において、PD(フォトダイオード)は光電変換部であり、FD(フローティングディフュージョン)は光電変換部PDの信号を一時的に保持する信号蓄積部(蓄積部、第1電荷蓄積部)である。
Mtx2は光電変換部PDをリセットする第1リセット部として機能するトランジスタであり、電流源VDDに接続されると共に、PDリセットパルスを印加するための信号線TX2に接続されている。
Mtx1は光電変換部PDの信号を信号蓄積部FDへ転送する転送部、ゲート部として機能するトランジスタであり、転送パルスを印加するための信号線TX1に接続されている。
Maは増幅部として機能する増幅用トランジスタであり、電流源VDDとでソースフォロアンプを構成する。信号蓄積部FDの信号は、増幅用トランジスタMaにより増幅され、信号電荷読出部(第1信号電荷読出部、第2信号電荷読出部、リセット信号読出部、第3信号電荷読出部)として機能する選択トランジスタMbを介して垂直転送線VTLに出力される。選択トランジスタMbは、選択パルスを印加するための信号線SELに接続されている。
Mrは信号蓄積部FDおよび増幅用トランジスタMaの入力部をリセットする第2リセット部として機能するトランジスタであり、FDリセットパルスを印加するための信号線RESに接続されている。なお、上述したトランジスタMtx1への転送パルスの印加と、このトランジスタMrへのFDリセットパルスの印加と、を同時に行えば、信号蓄積部FDをリセットすることができるだけでなく、同時にさらに光電変換部PDをリセットすることができる。従って、トランジスタMtx1およびトランジスタMrの組み合わせは、光電変換部PDに対する第1リセット部としても機能するものとなっている。
次に、図4は、半導体基板における画素28の構成を基板厚み方向に示す図である。
この図4に示す例においては、半導体基板としてP型基板を用いている。
光電変換部PDは、n−領域として形成されていて、その配線層側にはp領域が形成されている。これにより光電変換部PDは埋め込み型として形成され、暗電流を少なくすることが可能となっている。さらに、この光電変換部PDに対応する部分以外の基板表面は、所定の遮光性能を備えた遮光膜により遮光されている。
信号蓄積部FDは、光電変換部PDと所定の間隔を離してn+領域として形成されている。このn+領域は、増幅用トランジスタMa側へ接続されるようになっている。このように信号蓄積部FDは、配線層に直接接続されているために、暗電流を少なくすることは困難である。
また、光電変換部PDと信号蓄積部FDとの間の基板表面にはゲート電極が形成され、トランジスタMtx1が構成されている。このトランジスタMtx1のゲート電極は、信号線TX1に接続されている。
さらに、信号蓄積部FDを構成するn+領域から所定の間隔を離した位置に、他のn+領域が形成されており、後者のn+領域に電流源VDDが接続されている。そして、これら2つのn+領域の間の基板表面にゲート電極が形成されて、トランジスタMrが構成されている。このトランジスタMrのゲート電極は、信号線RESに接続されている。
なお、図4には示していないが、光電変換部PDと電流源VDDが接続されているn+領域との間には、ゲート電極が形成され、トランジスタMtx2が構成されている。このトランジスタMtx2のゲート電極は、信号線TX2に接続されている。
続いて、図5は、撮像装置のグローバルシャッタ動作を示すタイミングチャートである。
グローバルシャッタ動作による露光を行う前に、まず、リセットデータ読出期間において、信号蓄積部FDのリセットおよびリセットノイズの読み出しを行う。すなわち、まず、画素部24の第1行目に配列された各画素28のトランジスタMrに、信号線RESからリセットパルスを印加して、第1行目の信号蓄積部FDのリセットを行う。さらに、画素部24の第1行目に配列された各画素28の選択トランジスタMbに、信号線SELから選択パルスを印加することにより、第1行目の信号蓄積部FDからリセットノイズの読み出しを行う。
このような動作を、画素部24の第1行目から第n行目(最終行目)へ向かって順次行うことにより、全画素のリセットノイズを読み出す。ここで読み出されたリセットノイズは、CDS部25(CDS動作なし)、水平走査回路27、A/D変換部22を順に介して、KTCノイズ除去部23に記憶される。
次に、このグローバルシャッタ動作時には、信号線TX2を介して全ラインの全画素のトランジスタMtx2を同時にオフにすることにより、全画素の光電変換部PDへの電荷の蓄積を開始し、つまり全画素の露光を同時に開始する。
露光を開始してから所定の露光期間(この露光期間は、AE演算により決定されたシャッタ速度に対応する)が経過したところで、信号線TX1を介して全ラインの全画素のトランジスタMtx1に転送パルスを同時に印加することにより、光電変換部PDに蓄積されていた電荷が信号蓄積部FDへ転送され、つまり全画素の露光が同時に終了する。
そして、その後は画素データ読出期間に入って、信号蓄積部FDに蓄積されている電荷が、増幅用トランジスタMaおよび選択トランジスタMbを介して、第1行目から第n行目(最終行目)へ向かってライン単位で垂直転送線VTLへ順次転送される。
そして、少なくともリセットデータ読出期間の開始時(第2リセット部であるトランジスタMrによるリセット開始時)から画素データ読出期間の終了時までは、手振れ検出部7の検出結果に基づく手振れ補正部8による手振れ補正を行うようになっている。このように手振れ補正を行っているのは、被写界内に高輝度被写体があるときに、高輝度被写体が結像した位置の高輝度部の漏れ光や漏れ電流による影響範囲が広がるのを防ぐためである。
すなわち、通常の高輝度被写体は、例えば12〜13程度のBV値を上限とすると考えられ、撮像素子21の遮光膜の遮光性能もこの程度の高輝度被写体からの光を遮光することができるように設計されている。これに対して、被写体が例えば太陽である場合にはBV値が27にも達することがあり、通常想定し得る範囲を超えた高輝度被写体であるということができる。このような場合には、遮光膜により遮光されている信号蓄積部FDであっても、ある程度の漏れ光や漏れ電流が発生すると考えなければならないが、リセットデータ読出期間や画素データ読出期間において手振れが発生すると、漏れ光や漏れ電流の影響が広い範囲に広がる可能性がある。
そこで、この図5に示すように、少なくともリセットデータ読出期間の開始時(第2リセット部によるリセット開始時)から画素データ読出期間の終了時までは、手振れ検出部7の検出結果に基づく手振れ補正部8による手振れ補正を行っている。これにより、漏れ光や漏れ電流の影響が広がるのを抑制することができ、画質がより劣化してしまうのを未然に防止することができる。
次に、図6は画素部24においてライブビューに使用するために読み出されるラインの例を示す図である。
この図6に示す例においては、画素部24に構成された全ライン数が1200ラインとなっている。そして、これら全ラインから、6ラインに1ラインの割合でライブビュー(LV)用の画素データの読み出しが行われる例が示されている。ただし、撮像素子21が単板カラー撮像素子である場合には、画素部24の前面に例えばベイヤー配列のカラーフィルタが配置されているために、単純に6の倍数のラインだけを読み出すと、得られる色成分がGおよびRのみ、またはGおよびBのみとなってしまうために、ここでは、LV用の奇数ラインとして、全ラインの中の(12m−6)ライン(ここに、mは1〜100の整数)を読み出し、LV用の偶数ラインとして、全ラインの中の(12m−1)ライン(ここに、mは1〜100の整数)を読み出すことにより、RGBの全ての色成分が得られるようにしている。
続いて、図7は、ライブビューを行っている最中に、撮像部2を第1の駆動方法により駆動して静止画像を撮像するときの例を示す図である。
図6に例示したような全1200ラインの画素データを全て読み出す場合には、例えば60msの時間を要するが、LV用の200ラインの画素データを間引き読み出しするだけであるならば、例えば約17ms(より正確には、例えば16.67ms)で読み出すことが可能である(後述する図10も参照)。前者の場合には、1秒間に16枚の静止画像を読み出すのがせいぜいであるが、後者の場合には毎秒60フレームの画像データを取得することができる。
従って、ライブビューを行っているときには、レリーズボタンの押圧(ここでは、2段目の押圧)があるまでは、例えば毎秒60フレームで画像データが取得され、表示部5に表示される。このときには、図示のように、あるフレームにおいて画像データを取得すると、次のフレームおいて取得した画像データがライブビュー表示される。
このライブビューを行っている最中に、レリーズボタンの押圧があると、この図7に示すような場合、つまり撮像部2を第1の駆動方法により駆動して静止画像を撮像する場合には、ライブビュー用の画像データの取り込みが中止されて、図5に示したような撮像動作が行われる。この撮像動作を行っている最中は、ライブビュー用の画像データが取得されないために、図7に示すように最後に取り込んだライブビュー用の画像データFを表示し続ける処理が行われる。なお、最後に取り込んだライブビュー用の画像データFを表示し続ける代わりに、撮像動作中はライブビュー表示を行わないようにしても構わない。
そして、図5に示したような静止画の撮像動作が終了したところで、再びライブビュー用の画像データを取得し、次のフレームおいて取得した画像データがライブビュー表示される。なお、この図7に示す例においては、ライブビューが行われない期間を1フレームでも少なくするために、太実線で示す静止画の撮像動作が終了した次のフレームにおいて、静止画用に取得した画像データからライブビュー用の画像データαを生成してライブビュー表示を行っている。
次に、図8は、ライブビューを行っている最中に、撮像部2を第2の駆動方法により駆動して静止画像を撮像するときの例を示す図である。
撮像部2を図7に示したような第1の駆動方法により駆動する場合には、レリーズボタンが押されてから撮像動作が終了するまでの間はライブビュー画像が取得されないために、表示が更新されないことになる。これに対して、この図8に示す第2の駆動方法により撮像部2を駆動する場合には、レリーズボタンが押されてから撮像動作が終了するまでの間においてもライブビュー画像を取得し、ライブビュー表示の更新を行うようにしたものとなっている。
この図8に示す動作は、レリーズボタンが押されるまでは図7に示した動作と同じである。
そして、レリーズボタンが押されたところで、リセットデータの読み出しが開始されるが、幾つかのラインのリセットデータの読み出しを行ったところで、リセットデータをまだ読み出していないラインからライブビュー画像を取得する動作を行う。リセットデータの読み出しが終了するまでに、1回以上ライブビュー画像を取得し、ライブビュー画像を取得するのに用いた各ラインのリセットデータは、リセットデータ読出期間の最後に取得するようにする。また、2回以上ライブビュー画像を取得する場合には、間にリセットデータの読み出しを挟みながら行う。このようにしてリセットデータ読出期間中に取得するライブビュー画像は、通常のライブビュー画像に比べて取得される画像のフレームレートが低くなるために、同一のライブビュー画像を複数表示フレームに渡って表示し続け、新しいライブビュー画像を取得し終えたところで表示の更新を行うことになる。
その後、光電変換部PDのリセットより露光期間が開始され、光電変換部PDの電荷を信号蓄積部FDへ転送したところで露光期間が終了するのは図7に示した動作と同じである。
続いて、画素データ読出期間が開始されるが、このときにはまず最初に、ライブビュー画像を取得するのに用いる各ラインの画素データの読み出しを行い、その後にそれ以外のラインの画素データの読み出しを行う。そして、ライブビュー画像を取得するのに用いる各ラインの画素データの読み出しが完了した後の適宜の時点(画素データ読出期間内の適宜の時点)で、1回以上ライブビュー画像を取得する。このとき、2回以上ライブビュー画像を取得する場合には、間に画素データの読み出しを挟みながら行う。
なお、この図8に示す例においても、上述した図7に示した例と同様に、ライブビューが行われない期間を1フレームでも少なくするために、ライブビュー画像を取得するのに用いる各ラインの静止画用の画素データを取得し終えた次のフレームにおいて、静止画用に取得した画像データからライブビュー用の画像データαを生成してライブビュー表示を行っている。
そして、画素データ読出期間が終了したところで、再び通常のライブビューに戻るのは図7に示した例と同様である。
次に、図9は、ライブビューを行っている最中に、撮像部2を第2の駆動方法により駆動して静止画像を撮像するときの他の例を示す図である。
この図9に示す例は、図8に示した例よりも、ライブビュー画像が取得されない期間をさらに短縮するように工夫されたものとなっている。
すなわち、図8に示した例においては、リセットデータの読み出しが全ラインについて完了した後に、光電変換部PDをリセットして露光を開始していた。これに対して、この図9に示す例においては、リセットデータ読出期間における最後のライブビュー画像を取得し終えた後に、直ちに光電変換部PDのリセットを行い、露光期間が開始された後も、残りのリセットデータの読み出しを続けて行うようにしたものとなっている。図3に示したような画素構成を参照すれば分かるように、トランジスタMtx1をオフにしておけば、信号蓄積部FDから増幅用トランジスタMaおよび選択トランジスタMbを介したリセットデータの読み出しは、トランジスタMtx2をオフにすることによって開始される光電変換部PDにおける画素電荷の蓄積に影響を与えることはない。従って、このように露光とリセットデータの読み出しとを同時に行うことが可能となっている。
このような処理を行うことにより、図8に示した例に比して、ライブビュー画像を取得することができない期間を図示のような時間t1だけ短縮することを達成している。また、このような処理を行うと、リセットデータを読み出してから画素データを読み出すまでに要する時間を、図8に示した例に比して時間t1だけ短縮することも達成している。図4に示したように、信号蓄積部FDは配線層に直接接続されていて、暗電流を少なくすることが困難である。従って、リセットデータを読み出してから画素データを読み出すまでに要する時間を短縮することは、暗電流の発生量を少なくすることに繋がり、画素データにリセットデータが影響を与えるのを低減することが可能となるという利点もある。
続いて、図10は、図7に示した処理をより詳細に示すタイミングチャートである。
図7において述べたように、この図10も、ライブビューを行っている最中に、撮像部2を第1の駆動方法により駆動して静止画像を撮像するときの処理を示している。
レリーズボタンがオンされる前のライブビュー表示期間においては、例えば図6に示したようなLV用ラインについて、LV用の露光開始およびLV用の露光終了を表示フレーム毎に行い、次の表示フレームで表示している。
そして、レリーズボタンの押圧があったところで、リセットデータの読み出しが行われるが、静止画用のリセットデータの読み出しは画素部24の全ライン(図6に示した例では全1200ライン)について行われるために、リセットデータの読み出しに要する時間は上述したように例えば60msとなっている。そして、リセットデータ読出期間が開始される前に最後に取得されたLV用画像データ(図示の例では画像データC)のLV表示を行った後は、期間BLに入る。この期間BLは、上述したように、LV表示が行われない(ブラックアウト)か、もしくは、画像更新されることなく画像データCが引き続いてLV表示される期間である。
そして、その後に、露光期間(シャッタ速度Tex)と画素データ読出期間(リセットデータ読出期間と同様に、例えば60ms)とを経た後に、再びLV用画像データの取得が開始され、取得後の次の表示フレームにおいてLV表示が行われる。なお、この図10に示す例においては、静止画像取得後に最初にLV表示が更新されるのは画像データDとなっているが、図7を参照して説明したのと同様に、静止画像に取得した画像データに基づいて、LV用の画像データαを生成して画像データDの前にLV表示するようにしても構わない。
次に、図11は、図8に示した処理の内の、リセットデータ読出期間においてのみ、LV用画像データを取得する処理例を示すタイミングチャートである。すなわち、この図11に示す例においては、図8に示した例と異なり、画素データ読出期間においてはLV用画像データの取得は行っていない。
この図11に示す例では、レリーズボタンが押圧された後のリセットデータの読み出しおよびLV用画像データの取得は、以下のような原理に基づいて行われている。
まず、上述したように、ライブビュー画像を取得するのに用いる各ライン(以下では、「LV用ライン」ということにする。また、全ラインの内のLV用ライン以外のラインを、以下では、「非LV用ライン」ということにする。)のリセットデータは、リセットデータ読出期間の最後に行う。
LV用画像データの取得は、例えば、複数表示フレームに1回の割合で行う(図11に示す例では、2表示フレームに1回の割合でLV用画像データC,Dを取得している。この場合には、レリーズボタン押圧前に最後に取得されたLV用画像データBが2回繰り返してLV表示され、同様に、画像データCも2回繰り返してLV表示されている。また、光電変換部PDのリセット前に最後に取得されたLV用画像データDは、図11に示す例では1回のみLV表示されているが、上述したように、期間BLにおいて繰り返し表示するようにしても構わない。)。なお、LV用画像データの取得は、必ずしも表示フレームに同期したタイミングで行う必要があるわけではない。
そして、LV用画像データを取得していない期間(この図11に示す例においては、レリーズボタンが押圧されてからLV用画像データCの読み出しを開始するまでの期間、LV用画像データCの読み出しを終了してからLV用画像データDの読み出しを開始するまでの期間、および、LV用画像データDの読み出しを終了した以降の期間)に、非LV用ラインのリセットデータの読み出しを、例えばライン番号が若い順に行う。
その後、上述したように、LV用ラインのリセットデータの読み出しを、リセットデータ読出期間の最後に行う。
続いて、露光期間および画素データ読出期間を経た後に、再びライブビューが開始されるが、この図11に示す例では、レリーズボタンが押圧される前と同じLV用ラインによりライブビューが行われる。
また、この図11に示す例においても、静止画の撮像動作が終了した次の表示フレームにおいて、静止画用に取得した画像データからライブビュー用の画像データαを生成してライブビュー表示を行い、ライブビューが行われない期間を1フレームでも少なくするようにしている。
次に、図12は、図8に示した処理のより詳細な一例を示すタイミングチャートである。この図12に示す例においては、図11に示した例と異なり、リセットデータ読出期間および画素データ読出期間の両方においてLV用画像データの取得を行っている。
さらに、この図12に示す例においては、露光期間前にLV用画像データが取得されるLV用ラインと、露光期間後にLV用画像データが取得されるLV用ラインと、を異ならせる(特に、重複しないように異ならせる)ようになっている。
この図12に示す例では、レリーズボタンが押圧された後のリセットデータの読み出しおよびLV用画像データの取得は、以下のような原理に基づいて行われている。
まず、露光期間後のLV用ラインのリセットデータの読み出しを、リセットデータ読出期間の最初(この図12に示す例においては、レリーズボタンが押圧されてからLV用画像データCの読み出しを開始するまでの期間)に行う。
また、LV用画像データの取得を、例えば、複数表示フレームに1回の割合で行う。なお、上述したように、LV用画像データの取得は、必ずしも表示フレームに同期したタイミングで行う必要があるわけではない。
そして、LV用画像データを取得していない期間(この図12に示す例においては、LV用画像データCの読み出しを終了してからLV用画像データDの読み出しを開始するまでの期間、および、LV用画像データDの読み出しを終了した以降の期間)に、非LV用ライン(なお、この図12の説明においては、露光期間前のLV用ラインと、露光期間後のLV用ラインと、の何れにも該当しないラインを非LV用ラインということにする。)のリセットデータの読み出しを、例えばライン番号が若い順に行う。
その後、露光期間前のLV用ラインのリセットデータの読み出しを、リセットデータ読出期間の最後(この図12に示す例においては、LV用画像データDの読み出しを終了した以降であって、かつ非LV用ラインのリセットデータの読み出しを完了した後の期間)に行う。
続いて、露光期間を経た後に、画素データ読出期間が開始される。するとまず最初(この図12に示す例においては、露光期間が終了してからLV用画像データEの読み出しを開始するまでの期間)に、露光期間後のLV用ラインの画素データの読み出しを行う。この読み出しが完了した時点以降は、露光期間後のLV用ラインからのLV用画像データの読み出しが、画素データ読出期間内であっても可能となる。
そして、この図12に示す例においても、露光期間後のLV用ラインから静止画用に読み出した画素データに基づいてライブビュー用の画像データαを生成し、直後の表示フレームにおいてライブビュー表示を行っている。
その後、LV用画像データの取得を、例えば、複数表示フレームに1回の割合で行う(LV用画像データの取得を表示フレームに同期したタイミングで行う必要があるわけではないことは、上述の通りである)。
次に、LV用画像データを取得していない期間(この図12に示す例においては、LV用画像データEの読み出しを終了してからLV用画像データFの読み出しを開始するまでの期間、および、LV用画像データFの読み出しを終了した以降の期間)に、非LV用ラインのリセットデータの読み出しを、例えばライン番号が若い順に行う。
さらに、画素データ読出期間の最後(この図12に示す例においては、LV用画像データFの読み出しを終了した以降であって、かつ非LV用ラインのリセットデータの読み出しを完了した後の期間)に、露光期間前のLV用ラインの画素データの読み出しを行う。
これによって静止画像の撮像が終了するために、その後は通常のライブビュー表示が行われる。
この図12に示す例においては、リセットデータの読み出し時点から画素データの読み出し時点までの時間が、各ラインについて、基本的に(タイミングに応じて、幾つかの例外は生じるかもしれないが)同一となるようにしている。これによって、暗電流に起因するノイズ量を、(上述したように、多少の例外を除いて)何れのラインについても同一とすることが可能となる。従って、ラインに応じてノイズ量が異なることによる画質の劣化を未然に防止することが可能となる。
なお、図12においてはリセットデータ読出期間および画素データ読出期間の両方においてLV用画像データを読み出し、図11においてはこれらの内の一方のリセットデータ読出期間のみにおいてLV用画像データを読み出しているが、さらに、上記の内の他方の画素データ読出期間のみにおいてLV用画像データを読み出しようにすることももちろん可能である。すなわち、リセットデータ読出期間と画素データ読出期間との少なくとも一方の期間内において、LV用画像データを読み出すことが可能となっている。
また、図12に示す処理を行うと、露光期間前と露光期間後とではライブビュー表示される画像が数ライン程度上下にずれることになるが、撮像装置がデジタルカメラ等である場合には、その表示部5の画面サイズがパーソナルコンピュータ等の表示部に比して小型であるために、表示したときにこのずれがさほど目立つことはなく、実用上の問題が生じることはほとんどない。
さらに、図11および図12に示した処理では、リセットデータを読み出すのと同時に、LV用画像データの蓄積開始(LV露光開始)を行っている。具体的には、図11、図12において、点線で示したLV用画像データC,Dの露光開始タイミングの一部が、太点線で示したリセットデータ読出タイミングと重なっている。また、図12に示した処理では、静止画像データを読み出すのと同時に、LV用画像データの蓄積開始(LV露光開始)を行っている。具体的には、図12において、点線で示したLV用画像データFの露光開始タイミングの一部が、太線で示した静止画像データの読出タイミングと重なっている。このように、LV露光開始をリセットデータ分割読出または静止画像データ分割読出と時間的に重なるように行うことにより、時間的に重ならないように行う場合よりもLV露光時間を長くとることが可能となり、被写体の輝度が低い場合に、より明るいLV画像、あるいは信号増幅のゲインを抑制したよりノイズの少ないLV画像を得ることが可能となる。
次に、図13は撮像装置の撮影モードに応じた処理を示すフローチャートである。
例えば、カメラ操作部11のレリーズボタンが押圧されたところでこの処理に移行すると、まず、撮像装置による撮影動作を開始する(ステップS1)。
続いて、カメラ制御部12は、撮影モードの設定が単写モードであるか連写モードであるかを判定する(ステップS2)。
ここで単写モードであると判定された場合には、第1の駆動方法(図5、図7、図10等参照)により撮像部2を駆動して静止画像を撮影し(ステップS3)、この処理を終了する。
また、ステップS2において、連写モードであると判定された場合には、第2の駆動方法(図8、図9、図11、図12等参照)により撮像部2を駆動して静止画像を撮影し(ステップS4)、この処理を終了する。
連写モード時には、1枚の画像撮影が終了したとしても、次の画像撮影を行うために、AF用のデータやAE用のデータを取得でき、かつ撮影者が被写体を確認できることが望ましい。そして、LV用の画像データは、表示部5にライブビュー表示するために用いられるだけでなく、さらにAF用のデータやAE用のデータとしても用いられるために、連写時には第2の駆動方法により撮像部2を駆動するようにしたものである。これにより、連写による撮影を行う際にLV用画像が更新されないまたはブラックアウトする時間を短縮することができ、被写体が移動する被写体であったとしても、撮影者がその被写体を撮影範囲内に収めるように撮像装置の撮影方向を変更することが容易となる。さらに、連写時に撮影される各画像が、AF追従に基づくより高い精度で合焦した画像、AE追従に基づくより適正な露光の画像となることが可能となる。一方、単写モード時には通常のAF動作やAE動作を行えば足りるために、第1の駆動方法により撮像部2を駆動するようにして、レリーズボタンが押圧されてからメモリカード6への記録が終了するまでの時間を短縮するようにしたものである。
続いて、図14は撮像装置のAFモードに応じた処理を示すフローチャートである。
例えば、カメラ操作部11のレリーズボタンが押圧されたところでこの処理に移行すると、まず、撮像装置による撮影動作を開始する(ステップS1)。
続いて、カメラ制御部12は、AFモードの設定がシングルAFモードであるかコンティニュアスAFモードであるかを判定する(ステップS5)。
ここでシングルAFモードであると判定された場合には、第1の駆動方法(図5、図7、図10等参照)により撮像部2を駆動して静止画像を撮影し(ステップS3)、この処理を終了する。
また、ステップS5において、コンティニュアスAFモードであると判定された場合には、第2の駆動方法(図8、図9、図11、図12等参照)により撮像部2を駆動して静止画像を撮影し(ステップS4)、この処理を終了する。
コンティニュアスAFモード時には、レリーズボタンが半押しされた後であっても、露光期間が開始される直前までAF用のデータ(可能であれば、さらにAE用のデータ)を取得できることが望ましい。そして、LV用の画像データはAF用のデータやAE用のデータとして用いられるために、コンティニュアスAFモード時には第2の駆動方法により撮像部2を駆動するようにしたものである。これにより、コンティニュアスAFモード時に撮影される画像が、高いAF追従性により撮影される画像となり、高速に移動する被写体を撮影する場合にも高い精度で合焦させることが可能となる。一方、シングルAFモード時には通常のAF動作(および通常のAE動作)を行えば足りるために、第1の駆動方法により撮像部2を駆動するようにして、レリーズボタンが押圧されてからメモリカード6への記録が終了するまでの時間を短縮するようにしている。
なお、上述では、撮像部2を、第1の駆動方法と第2の駆動方法との何れで駆動するかを、撮影モードやAFモードに応じて選択していたが、選択するための要因となるのはこれらに限るものではなく、その他の要因に応じて選択するようにしても構わない。
このような実施形態1によれば、リセットデータ読出期間と画素データ読出期間との少なくとも一方において、第2の駆動方法によりLV用画像データを読み出す場合に、LV表示が非表示となる期間あるいは更新されない期間を短縮することが可能となる。
また、連写モード時やコンティニュアスAFモード時には、第2の駆動方法によりLV用画像データを取得するようにしたために、高いAF追従性能や高いAE追従性能を確保することが可能となる。一方、単写モード時やシングルAFモード時には、第1の駆動方法により撮像部2を駆動するようにしたために、レリーズボタンが押圧されてからメモリカード6への記録が終了するまでの時間を短縮することが可能となる。
そして、少なくともレリーズボタンが押圧されてから画素データの読み出しが終了するまでの期間は撮像素子上に結像される画像がぶれることのないようにしているために、高輝度被写体からの光が高輝度部として結像している場合であっても、遮光された部分に漏れ込む電荷によって不自然な軌跡が生じるのを防止するとができる。これにより、画質の劣化を防いだ自然な画像を取得することができる。
[実施形態2]
図15から図18は本発明の実施形態2を示したものであり、図15は撮像部2の構成を示す図、図16は撮像素子21の画素部24における画素28の構成例を示す回路図、図17は撮像部2を第2の駆動方法により駆動してグローバルシャッタによる静止画像を撮像するときの第1の動作例を示すタイミングチャート、図18は撮像部2を第2の駆動方法により駆動してグローバルシャッタによる静止画像を撮像するときの第2の動作例を示すタイミングチャートである。
この実施形態2において、上述の実施形態1と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
本実施形態の撮像部2は、画素部24からの画素データおよびリセットデータの読み出しを、2つの出力回路から行うことができるようになっていて、いわゆる多線読み出しの撮像部として構成されたものとなっている。
すなわち、複数の画素28が2次元状に配列された画素部24は、垂直走査回路、リセット制御部、信号読出制御部を兼ねた垂直制御回路36により、行(ライン)単位で信号を印加され、選択された行の画素からの信号が、列毎に設けられている垂直転送線VTL1またはVTL2(図16も参照)の何れか選択された方へ出力されるようになっている。
画素部24に構成された全ての垂直転送線VTL1は、第1出力回路31へ接続されている。この第1出力回路31は、図2に示した構成の内の、例えば、水平走査回路27、A/D変換部22、KTCノイズ除去部23を含んでいる(ただし、さらにCDS部25を含むことを妨げるものではない)。そして、第1出力回路31からは、静止画用の出力が行われるようになっている。
画素部24に構成された全ての垂直転送線VTL2は、第2出力回路32へ接続されている。この第2出力回路32は、図2に示した構成の内の、例えば、CDS部25、水平走査回路27、A/D変換部22を含んでいる(ただし、さらにKTCノイズ除去部23を含むことを妨げるものではない)。そして、第2出力回路32からは、ライブビュー用の出力が行われるようになっている。
こうして、垂直制御回路36は、ライブビューデータ読出制御部とリセットデータ/画素データ読出制御部とを兼ねたもとなっている。
次に、図16を参照して、画素28のより詳細な構成について説明する。
まず、本実施形態の撮像素子21には、上述したように、垂直転送線VTL1と垂直転送線VTL2とが各列に設けられている。
そして、図16に示す画素28において、光電変換部PD、トランジスタMtx2、トランジスタMtx1、信号蓄積部FD、トランジスタMr、増幅用トランジスタMaの構成は、図3に示した画素28と同様である。
ただし、この図16に示す画素28は、増幅用トランジスタMaに接続する信号電荷読出部として、第1の選択トランジスタMb1(第1信号電荷読出部、リセット信号読出部)と第2の選択トランジスタMb2(第2信号電荷読出部、第3信号電荷読出部)との2つを備えている。第1の選択トランジスタMb1は、垂直転送線VTL1に接続されるとともに、第1の選択パルスを印加するための信号線SEL1に接続されている。また、第2の選択トランジスタMb2は、垂直転送線VTL2に接続されるとともに、第2の選択パルスを印加するための信号線SEL2に接続されている。
従って、信号蓄積部FDに蓄積されている電荷は、信号線SEL1に選択パルスを印加することにより垂直転送線VTL1へ出力され、信号線SEL2に選択パルスを印加することにより垂直転送線VTL2へ出力されるようになっている。そして、異なる2つのラインに対しては、垂直転送線VTL1への出力と、垂直転送線VTL2への出力と、を同時に行うことが可能である。
次に、図17を参照して、撮像部2を第2の駆動方法により駆動してグローバルシャッタによる静止画像を撮像するときの第1の動作例について説明する。この図17および次の図18においては、簡単のために、画素部24に設けられた水平ラインの総数が9ライン(画素部24の上端側から下端側へ向けて、ラインL01〜L09の順に並んでいるものとする)であるとして説明する。
また、この図17に示す例においては、LV用ラインは、L03、L06、L09に固定されているものとする。従って、非LV用ラインは、ラインL01,L02,L04,L05,L07,L08となる。
レリーズボタンが押圧されることによりリセットデータ読出期間が開始されると、まず、ラインL01について、トランジスタMrをオンして信号蓄積部FDをリセットし、第1の選択トランジスタMb1をオンしてリセットデータを読み出す。これと同時に、ラインL03について、トランジスタMrをオンして信号蓄積部FDをリセットし、第2の選択トランジスタMb2をオンしてリセットデータを読み出すとともに、トランジスタMtx1をオンして画素データを光電変換部PDから信号蓄積部FDへ転送し、第2の選択トランジスタMb2をオンして画素データを読み出す。
従って、この動作により、第1出力回路31から静止画用出力としてラインL01の静止画用リセットデータが、第2出力回路32からライブビュー用出力としてラインL03のLV用画像データが、それぞれ出力される。ここに、ラインL03からのLV用画像データの読み出しは、より詳しくは、リセットデータの読み出しと画素データの読み出しとを連続して行い、第2出力回路32に含まれるCDS部25により後者から前者を減算する処理を行うことになる。
続いて、同様の処理を行い、ラインL02から静止画用リセットデータを、ラインL06からLV用画像データを、それぞれ読み出す。
さらに続いて、同様に、ラインL04(ラインL03はLV用ラインであるために、この時点ではまだ読み出しを行わない)から静止画用リセットデータを、ラインL09からLV用画像データを、それぞれ読み出す。
これにより、1フレーム分のLV用画像データAが出力されたために、次の表示フレームにおいて表示部5によりライブビュー表示を行うことができる。
同様にして、ラインL05から静止画用リセットデータを、ラインL03からLV用画像データを、それぞれ読み出し、ラインL07から静止画用リセットデータを、ラインL06からLV用画像データを、それぞれ読み出し、ラインL08から静止画用リセットデータを、ラインL09からLV用画像データを、それぞれ読み出すことで、次の1フレーム分のLV用画像データBが出力される。
この時点で非LV用ラインの静止画用リセットデータの読み出しが完了したために、次は、LV用ラインの静止画用リセットデータの読み出しを開始する。従って、この時点以降は、露光期間が終了して画素データ読出期間にLV用ラインからLV用画像データを取得可能になるまでは、ライブビュー表示は更新されないかまたはブラックアウトする期間BLに入ることになる(ただし、図17に示す期間BLは、ライブビュー用出力のタイムチャート上に表示しているが、実際のLV表示はLV用画像データを取得した次の表示フレームにおいて行われるために、表示部5における表示上の期間BLとは約1表示フレーム分ずれていることになる。なお、以下の説明においても同様である。)。すなわち、このリセットデータ読出期間の最後には、ラインL03から静止画用リセットデータを、ラインL06から静止画用リセットデータを、ラインL09から静止画用リセットデータを、順に読み出す。
その後、信号線TX2を介して全ラインの全画素のトランジスタMtx2をオンして光電変換部PDをリセットした後に同時にオフにすることにより、全画素の露光を同時に開始する。なお、トランジスタMtx2は露光の開始直前のみオンさせているが、ライブビューや撮影のために光電変換部PDを露光させる必要がある期間を除けば、オンして光電変換部PDをリセット状態としておいても構わない。
そして、所定の露光期間が経過したところで、信号線TX1を介して全ラインの全画素のトランジスタMtx1に転送パルスを同時に印加することにより、画素電荷を信号蓄積部FDへ転送し、全画素の露光を同時に終了する。なお、図17に示した信号線TX1の信号は、全画素のトランジスタMtx1を同時にオンさせるタイミングのみを記している(すなわち、ライブビュー用の画素電荷を光電変換部PDから信号蓄積部FDへ転送する際には、ライブビュー用に読み出すライン毎にトランジスタMtx1をオンさせるタイミングが異なっているために、図示を省略している)。
続いて、画素データの読出期間が開始される。
すると、なるべく早い時点でLV用ラインからLV用画像データを取得可能にするために、まず最初に、LV用ラインの静止画用画素データの読み出しを開始する。すなわち、この画素データ読出期間の最初には、ラインL03から静止画用画素データを、ラインL06から静止画用画素データを、ラインL09から静止画用画素データを、順に読み出す。従って、この読み出しが完了した時点で期間BLが終了し、この時点以降は、LV用画像データを取得可能となる。
なお、本実施形態においては、静止画用画像とライブビュー用画像とは出力系統が異なることを前提としているために、この図17に示す流れにおいては、画素データ読出期間の最初にLV用ラインから読み出した静止画用画素データに基づいてライブビュー用の画像データαを生成することは行っていないが、画像データαを生成して1表示フレーム分早い時点からライブビュー表示をするようにしても構わない。
次に、ラインL01から静止画用画素データを、ラインL03からLV用画像データを、それぞれ読み出し、ラインL02から静止画用画素データを、ラインL06からLV用画像データを、それぞれ読み出し、ラインL04から静止画用画素データを、ラインL09からLV用画像データを、それぞれ読み出すことで、1フレーム分のLV用画像データCが出力される。
同様にして、ラインL05から静止画用画素データを、ラインL03からLV用画像データを、それぞれ読み出し、ラインL07から静止画用画素データを、ラインL06からLV用画像データを、それぞれ読み出し、ラインL08から静止画用画素データを、ラインL09からLV用画像データを、それぞれ読み出すことで、次の1フレーム分のLV用画像データDが出力される。
この時点で全ラインの静止画用画素データの読み出しが完了したために、静止画像の撮像が完了したことになり、この時点以降は通常のライブビュー表示を行うことになる。
続いて、図18を参照して、撮像部2を第2の駆動方法により駆動してグローバルシャッタによる静止画像を撮像するときの第2の動作例について説明する。
上述した実施形態1において、図11および図12を参照して説明したように、リセットデータの読み出し時点から画素データの読み出し時点までの時間が各ライン毎に異なると、暗電流に起因するノイズ量がライン毎に異なることになる。このことは、図17に示したような処理の流れにも同様に該当する。そこで、図17に示したような処理の流れを変更して、各ラインのノイズ量が基本的に一定となるようにしたのがこの図18に示す処理の流れである。
すなわち、この図18に示す例においては、図17に示した例とは異なり、露光期間前にLV用画像データが取得されるLV用ライン(ラインL03,L06,L09)と、露光期間後にLV用画像データが取得されるLV用ライン(ラインL01,L04,L07)と、を重複しないように異ならせている。ここに、露光期間前のLV用ラインおよび露光期間後のLV用ラインは、画素部24の全面をなるべく均等にカバーすることができるように一定ライン間隔で選択されたラインとなっている。
レリーズボタンが押圧されることによりリセットデータ読出期間が開始されると、まず、露光期間後のLV用ラインのリセットデータの読み出しが行われる。すなわち、ラインL01から静止画用リセットデータを、ラインL03からLV用画像データを、それぞれ読み出し、ラインL04から静止画用リセットデータを、ラインL06からLV用画像データを、それぞれ読み出し、ラインL07から静止画用リセットデータを、ラインL09からLV用画像データを、それぞれ読み出すことで、露光期間後のLV用ラインのリセットデータが出力されると共に、1フレーム分のLV用画像データAが出力される。
続いて、ラインL02から静止画用リセットデータを、ラインL03からLV用画像データを、それぞれ読み出し、ラインL05から静止画用リセットデータを、ラインL06からLV用画像データを、それぞれ読み出し、ラインL08から静止画用リセットデータを、ラインL09からLV用画像データを、それぞれ読み出すことで、リセットデータと、次の1フレーム分のLV用画像データBと、が出力される。
そして、リセットデータ読出期間の最後に、ラインL03から静止画用リセットデータを、ラインL06から静止画用リセットデータを、ラインL09から静止画用リセットデータを、順に読み出す。
続く露光期間における処理は、図17に示した処理と同様である。
露光期間が終了すると、次に、画素データ読出期間が開始される。
するとまず、リセットデータ読出期間において最初にリセットデータが読み出された露光期間後のLV用ライン(ラインL01,L04,L07)の静止画用画素データが順に読み出される。この時点以降は、露光期間後のLV用ラインから、LV用画像データを取得することが可能となる。
なお、この図18に示す流れにおいても、画素データ読出期間の最初にLV用ラインから読み出した静止画用画素データに基づいてライブビュー用の画像データαを生成し、1表示フレーム分早い時点からライブビュー表示をするようにしても構わない。
次に、ラインL02から静止画用画素データを、ラインL01からLV用画像データを、それぞれ読み出し、ラインL05から静止画用画素データを、ラインL04からLV用画像データを、それぞれ読み出し、ラインL08から静止画用画素データを、ラインL07からLV用画像データを、それぞれ読み出すことで、1フレーム分のLV用画像データCが出力される。
同様にして、ラインL03から静止画用画素データを、ラインL01からLV用画像データを、それぞれ読み出し、ラインL06から静止画用画素データを、ラインL04からLV用画像データを、それぞれ読み出し、ラインL09から静止画用画素データを、ラインL07からLV用画像データを、それぞれ読み出すことで、次の1フレーム分のLV用画像データDが出力される。
この時点で全ラインの静止画用画素データの読み出しが完了したために、静止画像の撮像が完了したことになり、この時点以降は通常のライブビュー表示を行うことになる。
なお、図18を参照すれば分かるように、この図18に示したような処理は、画素部24を複数のフィールド(ライン群、あるいは画素群)に分割して読み出しを行い、ある時間において、これら複数のフィールドの内の例えば1つのフィールドをLV用の読み出しに用いていると見ることができる。すなわち、露光前のリセットデータ読出期間においては、他のフィールドのリセットデータを読み出しているときに、最後に読み出すフィールドをLV用の画素データを読み出すのに用いている。また、露光後の画素データ読出期間においては、他のフィールドの画素データを読み出しているときに、最初に読み出したフィールドをLV用の画素データを読み出すのに用いている。
そして、この図18に示したような処理を行えば、ラインに応じてノイズ量が異なることによる画質の劣化を未然に防止することが可能となる。
なお、本実施形態においては、多線読み出しの一方の出力系統から静止画用画像を読み出し、他方の出力系統からライブビュー用画像を読み出しているために、ラインが異なれば同時読み出しが可能であり、リセットデータ読出期間や画素データ読出期間が実施形態1の第1の駆動方法に比して長くなることはない。従って、撮影モードやAFモードに応じて第1の駆動方法と第2の駆動方法とを選択する必要に迫られるものではない。
しかしながら、第1出力回路31と第2出力回路32とを同一の構成とする場合(つまり、上述したように、第1出力回路31にCDS部25を含ませ、かつ第2出力回路32にKTCノイズ除去部23を含ませる場合)には、第1出力回路31からライブビュー用の出力を行うことと、第2出力回路32から静止画用の出力を行うことと、の何れもが可能である。従って、本実施形態において、第1の駆動方法により静止画用の出力を行うときには、第1出力回路31および第2出力回路32から2線読み出しを行うことが可能であり、読み出しを高速化することができる。従って、第1の駆動方法による読み出しを2線読み出しとする場合には、撮影モードやAFモードに応じて第1の駆動方法と第2の駆動方法とを選択することが効果的となる。
なお、上述においては、多線読み出しの例として2線読み出しを挙げているが、3線もしくはそれ以上の多線読み出しであってももちろん構わない。
このような実施形態2によれば、多線読み出し方式の撮像部を備える構成において、上述した実施形態1とほぼ同様の効果を奏することができる。さらに、多線読み出しを採用しているために、読出期間(リセットデータ読出期間および/または画素データ読出期間)を実施形態1に比して短縮することも可能となる。そして、実施形態1とは異なり、リセットデータ読出期間および画素データ読出期間におけるLV用画像データの取得を、1つの表示フレームに1回の割合で行うことが可能となる。
次に、図19および図20を参照して、上述した各実施形態に適用可能な第1の技術について説明する。図19は垂直制御回路26の構成を示すブロック図、図20は第1の技術を用いてグローバルシャッタにより静止画像を撮像する前後にLV表示を行うときの動作例を示すタイミングチャートである。
この第1の技術は、上述した実施形態1において図11および図12を参照して説明したように、LV露光開始(図20において細点線で示す斜線参照)を、リセットデータの分割読出(図20において太点線で示す斜線参照)または静止画像データの分割読出(図20において太線で示す斜線参照)と時間的に重なるように行うものとなっている。これにより、上述したように、LV露光時間を長くとることが可能となり、被写体の輝度が低い場合に、より明るいLV画像、あるいは信号増幅のゲインを抑制したよりノイズの少ないLV画像を得ることが可能となる利点がある。
さらに、この第1の技術は、第2リセット部(トランジスタMr)および選択トランジスタMbが、リセットデータを読み出すために画素部24の画素28を相互に重複しない複数の画素群に分割することを、第2信号電荷読出部(第2の選択トランジスタMb)により読み出されるLV用の信号電荷が生成される所定の画素群を構成するライン数を単位とした等分割により行うようにしたものとなっている。
加えて、この第1の技術は、第1信号電荷読出部(選択トランジスタMb)が、画素部24の画素を相互に重複しない複数の画素群に分割して静止画像データを読み出すものであって、該分割を、第2信号電荷読出部(第2の選択トランジスタMb)により読み出されるLV用の信号電荷が生成される所定の画素群を構成するライン数を単位とした等分割により行うようにしたものとなっている。
すなわち、まず図19に示すように、垂直制御回路26は、PDリセット用デコーダ26aと、FDリセット・読出用デコーダ26bと、を備えて構成されている。これらPDリセット用デコーダ26aおよびFDリセット・読出用デコーダ26bには、タイミングジェネレータ29からタイミング制御信号が入力されるようになっている。
ここに、PDリセット用デコーダ26aは、画素28内の光電変換部PDをリセットするためのリセットパルスを信号線TX2を介してトランジスタMtx2へ印加するためのものである。
また、FDリセット・読出用デコーダ26bは、画素28内の信号蓄積部FDをリセットするためのリセットパルスを信号線RESを介してトランジスタMrへ印加しかつ信号蓄積部FDから信号電荷を読み出すための選択パルスを信号線SELを介して選択トランジスタMbへ印加するためのものである。
次に、画素部24の複数の画素群への等分割は、具体的には以下のように行われる。
まず、画素部24のライン数をnとし、ライブビュー用画像を読み出すライン数をm(m≦n)とする。このときに、静止画用信号を分割読み出しするための分割数を、n/mとする。ここでは、以下の説明を簡単にするために、n/mが2以上の整数になるものとする。すると、第1行目〜第n行目までの画素を、(n/m)を法として合同である画素群(グループ)に分割する[つまり、n mod (n/m)が等しいグループに分割する]。すなわち、画素部24を、行番号を(n/m)で割ったときの余りが等しくなる複数のグループに分割する。ここに、余りは1〜{(n/m)−1}または0の何れかであるから、画素部24は、余りが1になるグループ、…、余りが{(n/m)−1}になるグループ、余りが0になるグループ、の合計(n/m)個のグループに分割されることが分かる。
具体例として、n=3000(行)、m=1000(行)であるときを挙げると、分割数はn/m=3000/1000=3となる。そして、画素部24は、
(グループ1)余りが1のグループ:第1行、第4行、第7行、…、第2998行
(グループ2)余りが2のグループ:第2行、第5行、第8行、…、第2999行
(グループ3)余りが0のグループ:第3行、第6行、第9行、…、第3000行
の3つのグループに分割される。
このような例において、グローバル露光前のライブビュー用画像は、静止画リセットデータの分割読み出しをまだ行っていないグループのデータを用いることになる。
具体例としては、
グループ1(ライブビュー画像)
グループ1(分割読み出し静止画リセットデータ)
グループ2(ライブビュー画像)
グループ2(分割読み出し静止画リセットデータ)
グループ3(ライブビュー画像)
グループ3(分割読み出し静止画リセットデータ)
のような順序でデータの読み出しを行うことが考えられる。
従って、ライブビュー用画像の露光を開始するために信号線TX2へリセットパルスを印加するPDリセット用デコーダ26aと、静止画リセットデータを読み出すために信号線RESへリセットパルスを印加し信号線SELへ選択パルスを印加するFDリセット・読出用デコーダ26bと、へタイミングジェネレータ29から出力するタイミング制御信号を、送信時刻を除いて、同一の波形のものとすることができる。従って、タイミングジェネレータ29は、先行する方へ送信するタイミング制御信号を、時間的遅延をもって後続する方へ送信すれば良く、遅延回路は公知の技術を利用することができるために、回路構成を簡単にすることが可能となる。
一方、グローバル露光後のライブビュー用画像は、静止画像データの分割読み出しを実行済みのグループのデータを用いることになる。
具体例としては、
グループ1(分割読み出し静止画像データ)
グループ1(ライブビュー画像)
グループ2(分割読み出し静止画像データ)
グループ2(ライブビュー画像)
グループ3(分割読み出し静止画像データ)
グループ3(ライブビュー画像)
のような順序でデータの読み出しを行うことが考えられる。
従って、この場合にも、ライブビュー用画像の露光を開始するために信号線TX2へリセットパルスを印加するPDリセット用デコーダ26aと、静止画像データを読み出すために信号線SELへ選択パルスを印加するFDリセット・読出用デコーダ26bと、へタイミングジェネレータ29から出力するタイミング制御信号を、送信時刻を除いて、同一の波形のものとすることができる。従って、タイミングジェネレータ29は、先行する方へ送信するタイミング制御信号を、時間的遅延をもって後続する方へ送信すれば良く、遅延回路は公知の技術を利用することができるために、回路構成を簡単にすることが可能となる。
続いて、図21〜図32を参照して、上述した各実施形態に適用可能な第2の技術について説明する。
まず、図21は、第2画像処理部3bの構成を示すブロック図である。
第2画像処理部3bは、撮像部2から出力される信号に基づいてシェーディングを補正するための補正値を算出するシェーディング演算部3b1と、このシェーディング演算部3b1により算出された補正値に基づいて撮像部2から出力されるLV用画像データのシェーディング補正を行うシェーディング補正部3b2と、を備え、シェーディング補正部3b2により補正された信号電荷に基づいて、画像表示用の第2画像データを生成し表示部5へ出力するものである。なお、この図21に示す構成例においては、シェーディング演算部3b1およびシェーディング補正部3b2が第2画像処理部3b内に設けられているが、この構成に限るものではなく、少なくとも一方が第2画像処理部3bの外部に設けられていても構わない。
ここに、シェーディング演算部3b1は、通常のライブビューを行っているときには、リアルタイムで取得したLV用画像データに係るOB領域(光学黒領域)(後述する)もしくはそれ以前の時点で取得したLV用画像データに係るOB領域の信号に基づいてシェーディングを補正するための補正値を算出するようになっている。一方、シェーディング演算部3b1は、静止画像の連写が開始される等により、リセットデータまたは静止画像データの分割読み出しと共にライブビューを行っているときには、リセットデータの信号に基づいてシェーディングを補正するための補正値を算出するようになっている。
次に、図22は画素部24から読み出されたフルサイズ静止画像に係るデータを示す図、図23は画素部24から読み出されたライブビュー画像に係るデータを示す図である。
画素部24は、後述する図33に示すように、光が照射されて光電変換が行われる有効領域24effと、この有効領域24effの周囲に遮光領域として設けられたOB領域と、を備えている。これらの内のOB領域は、有効領域24effの上側(または下側)に水平方向の帯状に設けられたVOB領域24vobと、有効領域24effの左側(または右側)に垂直方向の帯状に設けられたHOB領域24hobと、に分けられる。
従って、画素部24からフルサイズ静止画像に対応して読み出されるデータは、図22に示すように、有効領域データ41effと、VOB領域データ41vobと、HOB領域データ41hobと、を含んでいる。ここで一例として、有効領域データ41effの行数41Hは3000行、VOB領域データ41vobの行数41Gは64行であるものとする。
一方、図23に示すように、画素部24からライブビュー画像に対応して読み出されるデータも、フルサイズ静止画像に対応して読み出されるデータと同様に、有効領域データ42effと、VOB領域データ42vobと、HOB領域データ42hobと、を含んでいる。ただし、ライブビュー画像は、有効領域とOB領域との何れも、間引き読み出しや加算読み出し等により読み出され、読み出される画素数はフルサイズ静止画像よりも少ない。ここで、ライブビュー画像のサイズは、例えばフルサイズ静止画像の縦1/2、横1/2(つまり、面積は1/4)であるものとする。この場合には、有効領域データ42effの行数42Hは1500行、VOB領域データ42vobの行数42Gは32行となる。
続いて、図24はフルサイズ静止画像に係るシェーディングレベルの例を示す線図、図25はライブビュー画像に係るシェーディングレベルの例を示す線図である。
CMOS等のMOS型撮像素子は、一般に、固定パターンノイズ(FPN)として水平方向の暗時シェーディングが発生することが知られている。このシェーディングは、センサ駆動における信号伝達特性の違いに起因して発生する。より具体的には、撮像素子は、左右両端側から駆動信号が印加されるが、駆動信号が伝達されるまでの信号線の長さが画素の左右方向位置(列位置)によって異なるために、駆動信号の伝達時間が画素部の左右方向における中央部の画素と周辺部の画素とでは異なることになる(具体的には、中央部への駆動信号の伝達は、周辺部への駆動信号の伝達よりも時間的に遅れることになる)。さらに、画素の左右方向位置によって信号が伝達されるまでの信号線の長さが相違するが、この長さの違いに応じて信号線のインピーダンス等が異なることになる。このインピーダンス等の相違により、中央部の画素に伝達される駆動信号は、周辺部の画素に伝達される駆動信号よりも波形がややなまる(例えば、信号のエッジが滑らかになる等)ことになり、波形がなまる分だけトランジスタ等のオン/オフのタイミングがずれる。
このような原因により、画素部24の左右方向における中央部と周辺部とでは露光時間の相違が発生し、これがいわゆる暗時シェーディングとして撮像画像に現れることになる。このような1ライン上における暗時シェーディングの様子を、フルサイズ静止画像に関して示すのが図24、ライブビュー画像に関して示すのが図25である。これら図24、図25に示す例においては、クランプレベルLCに対して、シェーディングレベルのピーク位置PAのシェーディングレベルLAは高い値となる。ただし、何らの補正をしていない状態においては、フルサイズ静止画像におけるシェーディングレベルLAは、ライブビュー画像におけるシェーディングレベルLAと基本的には同じである。
このような暗時シェーディングは、一般に、VOB領域の暗信号データに基づき補正される。すなわち、通常のライブビュー時には、シェーディング演算部3b1が、例えばIIRフィルタ等のデジタルローパスフィルタを用いて、VOB領域における複数行分の暗信号データを列方向に統計処理(IIRフィルタは時間方向の重み付け加算平均処理の一種)することにより、水平方向の暗時シェーディングのレベルを第1列〜最終列まで求めて、求めた暗時シェーディンレベルを補正値とする。そして、シェーディング補正部3b2が、有効領域のデータから求めた補正値を減算する等により、暗時シェーディングの補正を行う。
このような処理により暗時シェーディングが補正された様子を、図26および図27を参照して説明する。ここに、図26はフルサイズ静止画像に係る補正されたシェーディングレベルの例を示す線図、図27はライブビュー画像に係る補正されたシェーディングレベルの例を示す線図である。なお、第1画像処理部3a内にも、第2画像処理部3bと同様にシェーディング演算部とシェーディング補正部とが設けられていて、静止画像に係るシェーディング補正を行うことができるようになっている。
図示のように、フルサイズ静止画像に係るピーク位置PAのシェーディングレベルLA’Sは、ライブビュー画像に係るピーク位置PAのシェーディングレベルLA’Lよりも低い値となっている。これは、補正値を算出する際に、フルサイズ静止画像では上述したように例えば64行分のVOB領域データ41vobを用いるのに対して、ライブビュー画像では上述したように例えば32行分のVOB領域データ42vobを用いることになるために、ライブビュー画像よりもフルサイズ静止画像の方が補正値の統計的な信頼性が高くなるからである。
このように、補正値の信頼性を高めるには、より多くの行数のVOB領域データを用いれば良いために、例えば動画像や静止画像の連写などにおいては、あるフレーム画像に関する補正値を得るのに、該フレーム画像のVOB領域データと、それよりも以前に取得されたフレーム画像のVOB領域データと、の複数フレームのVOB領域データを用いることが行われる。
図28は、リセットデータ読出と静止画像データ読出とによって得られる2枚の画像から一枚の静止画を作成した場合のシェーディング補正結果を示す線図である。静止画ではこのような2枚減算処理を行うことにより、シェーディングレベルを良好に補正することができる(そしてこの場合には、VOB領域データを使用してIIRフィルタ等によりデジタル処理で補正値を求める必要はない)。
ただし、一般的な2枚減算を行うことなく静止画を生成することができる撮像素子においては、VOBラインの不足を補うために、静止画像データ読出に先だって、シェーディング補正値生成用に十分なライン数(例えば、400ライン)を空読みする手法がとられることを指摘しておく。
一方、ライブビュー画像は上述したようにフルサイズ静止画像よりも小さいために、ライブビュー画像に係るVOB領域データは行数が少なく、フルサイズ静止画像と同様の補正効果を得るためには、より多くのフレーム数のライブビュー画像が必要になる。従って、連写モードに入ってライブビューが開始された直後のライブビュー画像は、シェーディングによる画質の低下がより大きいことになる。
そこで、この第2の技術は、連写モードに入った直後のライブビュー画像についても、シェーディングをより効果的に補正するためのものとなっている。
すなわち、図3や図16に示したような1画素内に5つのトランジスタが設けられた構成では、グローバル露光を行う前に静止画リセットデータの読み出しを行い、グローバル露光を行った後に静止画像データの読み出しを行う。
そこで、図21に示したシェーディング演算部3b1は、連写が開始される等によりリセットデータの分割読み出しや静止画データの分割読み出しと共にライブビューが行われるときには、リセット信号読出部(選択トランジスタMb)により読み出された静止画用のリセット信号における、同一列に属する複数画素のリセット信号の統計値に基づいて、行方向のシェーディングを演算するようになっている。なお、統計値の一例としては、加算平均値が挙げられる。ここに、加算平均値は、単純加算平均値、重み付け加算平均値等の何れであっても構わない。ただし、統計値は加算平均値であるに限るものではなく、中央値や最頻値やその他の統計的な値を広く用いることが可能である。
また、シェーディング補正部3b2は、第2信号電荷読出部(選択トランジスタMb)によりLV用に読み出された信号電荷を、シェーディング演算部3b1により演算されたシェーディングに基づき補正する(具体的には、信号電荷から、シェーディングとして算出された補正値を減算する)ようになっている。
図29は分割読み出しにより得られたリセットデータに基づきライブビュー画像用に算出されたシェーディング補正値によりシェーディングレベルを補正した結果を示す線図、図30は補正値の算出に用いる画素の行数に応じて補正精度が向上しシェーディングレベルがクランプレベルへ収束していく様子を示す線図、図31は分割読み出しにより得られたリセットデータの様子を示す図、図32は分割読み出しにより得られたリセットデータをライブビュー画像に合わせてリサイズしたときの様子を示す図である。
1回の分割読み出しで得られるリセットデータは、画素部24をどのように分割してどのような順序で読み出すかによって異なるが、ここでは例えば図31に示すように、フルサイズ静止画像に係る読出データやライブビュー画像に係る読出データと同様に、有効領域データ43effと、VOB領域データ43vobと、HOB領域データ43hobと、を含んでいるものとする。このとき読み出されるリセットデータは、水平方向の画素数はフルサイズ静止画像の水平方向画素数と同一であり、垂直方向の画素数はフルサイズ静止画像の垂直方向画素数を分割読み出しにおける分割数で割った数となる。例えば、フルサイズ静止画像の垂直方向の行数(垂直方向画素数)が3000行であって、3分割読み出しされるとすると、分割読み出しされたリセットデータの垂直方向の行数43Hは1000行となる。
分割読み出しの行数をライブビューの行数に合わせてある場合には、この分割読み出しにより得られたリセットデータを、図32に示すように、ライブビュー画像に合わせて有効領域データ43’effと、VOB領域データ43’vobと、HOB領域データ43’hobと、を含むデータにリサイズ(このリサイズは、公知の技術により容易に行うことができる)したときであっても、垂直方向の行数は1000行のままである。この1000行分のデータは充分に大きい行数のデータであるために、図32に示すリセットデータに基づいて統計的にシェーディングレベルを算出すれば、充分に信頼性の高いデータが得られると考えられる。
そして、図29は、分割読み出しにより得られたリセットデータに基づき、ライブビュー画像用に算出されたシェーディングレベルの例を示している。図29に示すシェーディングレベルLA”は、図27に示したシェーディングレベルLA’Lよりも充分にクランプレベルへ収束しており、信頼性の高い補正データとなっていることが分かる。
さらに、図30に示すように、シェーディングレベルは、補正値の算出に用いる画素の行数に応じて、クランプレベルへ収束する(この図30には、例えばIIRフィルタを使用したときの補正精度収束カーブの様子を概略的に示している)。そして、上述したような1000行分のリセットデータに基づいて算出されたシェーディングレベルは、クランプレベルへの収束度合いが十分であることが分かる。
なお、リセットデータを分割読み出しする期間内に、ライブビュー画像を複数フレーム分取得して表示する場合には、各フレームを取得する直前に分割読み出しされたリセットデータを用いてシェーディング用の補正値を算出することが考えられる。一方、グローバル露光後の静止画像データを分割読み出しする期間内に、ライブビュー画像を表示する場合には、グローバル露光前に分割読み出しされたリセットデータを用いてシェーディング用の補正値を算出することが考えられる。また、直前のリセットデータで決定した補正値に、さらに、ライブビュー画像のVOB領域データを使用して補正値を継続して算出することも可能である(例えば、IIRフィルタを用いれば、このような処理を容易に行うことができる。また、加算平均処理を行った場合には移動平均となる)。
このような第2の技術によれば、連写中のブラックアウト(表示部5によりライブビュー画像が観察できない状態)を軽減するために連写中ライブビュー(図13のステップS4参照)を行う際に、リセットデータを用いてライブビュー用の暗時シェーディング補正を行うようにしたために、連写中ライブビューの開始直後から、シェーディングが良好に補正された画像を観察することが可能となる。
次に、図33〜図46を参照して、上述した各実施形態に適用可能な第3の技術について説明する。
まず、図33は、画素部24におけるブルーミング発生の様子を示す図である。
上述したように、画素部24は、光が照射されて光電変換が行われる有効領域24effと、この有効領域24effの周囲に遮光領域として設けられたVOB領域24vobおよびHOB領域24hobと、を備えている。
そして、画素部24の有効領域24effの一部に強い光が照射されると、強い光が照射された画素(例えば、図33においてNラインの○で示した信号電荷が発生している画素)の信号電荷が垂直方向(V方向)に隣接する画素(例えば、図33においてN+1ライン上の隣接している画素)へ溢れ出して、隣接する画素まで明るく見えてしまうブルーミングの現象が発生することが、従来より知られている。
この隣接する画素間における電荷の移動は、電荷蓄積を行っているPDが発生原因であるために、隣接画素でPD蓄積を行っているか否かが大きく影響する。図20に示したような読出しフレームを超えた長秒時露光、すなわち、リセットデータや静止画像データの読み出しを行っている最中にライブビュー用の露光を開始するような長秒時露光は、主に暗い撮影シーンに対して行われるが、夜景等の暗い撮影シーンでは光源と光源以外の被写体との輝度差が大きくなるために、一般に、PDが飽和レベルを超えるシーンが発生する確率やその超える程度が増して、ブルーミングがより発生し易くなる(あるいは、発生するブルーミングの程度が大きくなる)と考えられる。
このブルーミングにおける電荷の移動経路の例を、図34および図35を参照して説明する。図34は図3に示したような画素構造におけるブルーミング発生時の電荷の移動経路の例を示す図、図35は飽和した光電変換部PDから信号電荷が漏れ出しブルーミングが発生している様子を示す図である。
図34に示すように、例えばNライン上のある画素に強い光が照射されて光電変換部PDが飽和する(図35参照)と、光電変換部PDから溢れ出た電荷が、自己の信号蓄積部FDや、あるいは垂直方向(V方向)に隣接する例えばN+1ライン上の画素の信号蓄積部FDや光電変換部PDへ移動することがある。
図3や図16に示したような1画素内に5つのトランジスタが設けられた構成では、ブルーミングが発生すると、グローバル露光後に読み出される静止画像データに影響を及ぼすだけでなく、グローバル露光前に読み出される静止画リセットデータにも影響を及ぼすことになる。さらに、ライブビュー時に隣接するラインを読み出すことがある場合には、ブルーミングの発生はライブビュー画像にも影響を及ぼすことになる。
そこで、この第3の技術は、第2信号電荷読出部(選択トランジスタMb)により読み出すための信号電荷(ライブビュー用の信号電荷)を所定の画素群により露光している期間は、所定の画素群に隣接するラインを少なくとも含むラインの画素の光電変換部PDを、図36に示すように、第3リセット部(トランジスタMtx2)によりリセットした状態に保持して、光電変換部PDに発生した電荷を電流源VDDへ流すようにしたものとなっている。ここに図36は、光電変換部PDをリセットしているときのポテンシャルの様子を示す図である。
そして、この第3の技術においては、リセット状態にしておくことが可能な光電変換部PDについて、可能な限り、電流源VDDに接続するようにしている。ここに、「可能な限り」とは、「蓄積動作していない光電変換部PDを原則的に全てリセットする」という意味である(ただし、より詳細な条件については後述する)。なお、信号蓄積部FDも電流源VDDへ接続してリセットすることが可能となるように構成されているが、不要電荷の発生源は光電変換部PDであるために、ここでは光電変換部PDのリセットのみを考慮することにする。ただし、リセット可能な信号蓄積部FDについても電流源VDDに接続するようにしても構わない。
まず、図37〜図41は、リセットデータ読出期間にリセットデータを5:1の割合で(つまり、5ラインに1ラインの割合で)分割読み出しすると共にライブビュー画像の読み出しを行っているときの、画素部24におけるブルーミング抑圧のための光電変換部PDのリセットの様子を示している。ここに、図37はリセットデータ読出期間に5N(Nは整数)ラインのリセットデータの分割読み出しと(5N+2)ラインのライブビュー画像の読み出しを行っているときの様子を示す図、図38はリセットデータ読出期間に(5N+1)ラインのリセットデータの分割読み出しと(5N+3)ラインのライブビュー画像の読み出しを行っているときの様子を示す図、図39はリセットデータ読出期間に(5N+2)ラインのリセットデータの分割読み出しを行っているときの様子を示す図、図40はリセットデータ読出期間に(5N+3)ラインのリセットデータの分割読み出しを行っているときの様子を示す図、図41はリセットデータ読出期間に(5N+4)ラインのリセットデータの分割読み出しを行っているときの様子を示す図である。
そして、図37〜図41は、ライブビュー画像の露光開始をリセットデータの読み出しと同時に行っている場合(図20参照)を図示したものである。ただし、以下に説明する原則は、ライブビュー画像の露光開始をリセットデータの読み出しと同時に行っている場合はもちろんのこと、露光開始がリセットデータの読出しと同時でない場合にも適用される。
このとき、次のような原則に基づいて、光電変換部PDのリセット動作が行われる。
(A1)リセットデータの読み出しは、信号蓄積部FDをリセットして読み出す動作であって、光電変換部PDの動作には影響を及ぼさない。さらに、リセットデータを読み出したライン(ここに、「リセットデータを読み出したライン」は、「リセットデータを読み出し終えたライン」を含むだけでなく、さらに「リセットデータを今読み出しているライン」も含むものとする)は、グローバル露光後に静止画像データを読み出すまではその状態を保持しなければならず、その間にブルーミングの影響があると画質の低下の原因となる。そこで、リセットデータを読み出したラインの光電変換部PDをリセットする。
(A2)さらに、隣接するラインからリセットデータを読み出したラインへのブルーミングの影響も取り除く必要がある。そこで、リセットデータを読み出したラインの少なくとも上下に隣接するラインについては、光電変換部PDをリセットする。
(A3)(A1)および(A2)の帰結として、リセットデータを読み出したライン、およびリセットデータを読み出したラインの上下に隣接するラインは、ライブビュー用の露光を開始するライン(図中に△を付したライン)(次にLV用画像データの読み出しを行うライン(図中に□を付したライン))とすることはできない(この禁止条件に該当するラインの右側に図中で×を付している)。従って、ライブビュー用の露光を開始するラインの上下に隣接するラインは、リセットデータを読み出したラインとはならない。そこで、このような禁止条件に該当しないラインの内の何れかを、ライブビュー用の露光を開始するラインに設定する。なお、分割読み出しの割合が3:1以上(1/3以上)の場合には、上述した禁止条件に該当しないラインは存在しない。つまり、ここで説明しているブルーミング抑圧は、リセットデータ(あるいは後述する静止画像データ)を4:1以下(1/4以下)の割合で分割読み出しする場合(例えば、分割読み出しの割合が5:1や6:1の場合、あるいは11:2、13:3の場合など)にのみ実現することが可能である。そして、ライブビュー用の露光が開始されたラインは、光電変換部PDに信号電荷を蓄積中であるのだから、当然にして光電変換部PDのリセットは行わない。
(A4)リセットデータ(あるいは後述する静止画像データについても同様)を分割読み出しする割合が5:1以下(1/5以下)である場合には、リセットデータを読み出したライン、リセットデータを読み出したラインの上下に隣接するライン、ライブビュー用の露光を開始するライン、の何れにも該当しないラインが、少なくともリセットデータの第1回目の分割読み出しを行っている時点では存在し得る。この場合には、この何れにも該当しないラインについても、光電変換部PDをリセットする。
以上述べた(A1)〜(A4)を、光電変換部PDのリセットの観点から簡単にまとめると、次の(A)となる。
(A)ライブビュー用の信号電荷蓄積を行っていない光電変換部PDは、全てリセット状態に保つ。
図37〜図41を参照すれば、ライブビュー用の信号電荷蓄積を行っているライン(△または□が付されたライン)以外のラインは、全て光電変換部PDがリセットされ、原則(A)が満たされていることが分かる。そして、原則(A)の帰結として、ライブビュー用の信号電荷蓄積を行っているラインは、それ以外のラインからのブルーミングの影響を受けることがないことが分かる。
次に、図42〜図46は、静止画像データ読出期間に静止画像データを5:1の割合で分割読み出しすると共にライブビュー画像の読み出しを行っているときの、画素部24におけるブルーミング抑圧のための光電変換部PDのリセットの様子を示している。ここに、図42は静止画像データ読出期間に5Nラインの静止画像データの分割読み出しを行っているときの様子を示す図、図43は静止画像データ読出期間に(5N+1)ラインの静止画像データの分割読み出しを行っているときの様子を示す図、図44は静止画像データ読出期間に(5N+2)ラインの静止画像データの分割読み出しを行っているときの様子を示す図、図45は静止画像データ読出期間に(5N+3)ラインの静止画像データの分割読み出しと(5N+1)ラインのライブビュー画像の読み出しを行っているときの様子を示す図、図46は静止画像データ読出期間に(5N+4)ラインの静止画像データの分割読み出しと(5N+2)ラインのライブビュー画像の読み出しを行っているときの様子を示す図である。
そして、図42〜図46は、ライブビュー画像の露光開始を静止画像データの読み出しと同時に行っている場合(図20参照)を図示したものである。ただし、以下に説明する原則は、ライブビュー画像の露光開始を静止画像データの読み出しと同時に行っている場合はもちろんのこと、露光開始が静止画像データの読出しと同時でない場合にも適用される。
このとき、次のような原則に基づいて、光電変換部PDのリセット動作が行われる。
(B1)静止画像データは、グローバルシャッタ閉動作時に光電変換部PDから信号蓄積部FDへ転送される。従って、その後の静止画像データの読み出しは、信号蓄積部FDから信号電荷を読み出す動作となり、光電変換部PDの動作には影響を及ぼさない。さらに、静止画像データをまだ読み出していないラインは、ブルーミングの影響があると画質の低下の原因となる。そこで、静止画像データをまだ読み出していないラインの光電変換部PDは、全てリセットする。
(B2)さらに、隣接するラインから静止画像データをまだ読み出していないラインへのブルーミングの影響も取り除く必要がある。そこで、静止画像データをまだ読み出していないラインの少なくとも上下に隣接するラインについては、光電変換部PDをリセットする。
(B3)(B1)および(B2)の帰結として、静止画像データをまだ読み出していないライン、および静止画像データをまだ読み出していないラインの上下に隣接するラインは、ライブビュー用の露光を開始するライン(図中に△を付したライン)(次にLV用画像データの読み出しを行うライン(図中に□を付したライン))とすることはできない(この禁止条件に該当するラインの右側に図中で×を付している)。そこで、このような禁止条件に該当しないラインの内の何れかを、ライブビュー用の露光を開始するラインに設定する。なお、分割読み出しの割合が4:1以下(1/4以下)の場合にのみ、上述した禁止条件に該当しないラインが存在するのは上述と同様である。そして、ライブビュー用の露光が開始されたラインは、光電変換部PDに信号電荷を蓄積中であるのだから、当然にして光電変換部PDのリセットは行わない。
(B4)静止画像データを分割読み出しする割合が5:1以下(1/5以下)である場合には、静止画像データをまだ読み出していないライン、静止画像データをまだ読み出していないラインの上下に隣接するライン、ライブビュー用の露光を開始するライン、の何れにも該当しないラインが、少なくともリセットデータの最終回目の分割読み出しを行っている時点では存在し得る。この場合には、この何れにも該当しないラインについても、光電変換部PDをリセットする。
以上述べた(B1)〜(B4)を、光電変換部PDのリセットの観点から簡単にまとめると、次の(B)となる。
(B)ライブビュー用の信号電荷蓄積を行っていない光電変換部PDは、全てリセット状態に保つ。
図42〜図46を参照すれば、ライブビュー用の信号電荷蓄積を行っているライン(△または□が付されたライン)以外のラインは、全て光電変換部PDがリセットされ、原則(B)が満たされていることが分かる。そして、原則(B)の帰結として、ライブビュー用の信号電荷蓄積を行っているラインは、それ以外のラインからのブルーミングの影響を受けることがないことが分かる。
そして、原則(A)と原則(B)とを合わせて総合的に考えると、次の(AB)のようにいうことができる。
(AB)静止画用またはライブビュー用の信号電荷蓄積を行っていない光電変換部PDは、全てリセット状態に保つ。
この原則(AB)は、少なくともリセットデータ読出期間の開始から静止画像データ読出期間の終了までは満たされる必要があるが、この期間に限らず、さらに広く一般に適用することが可能である。
なお、図39〜図44に示したように、ライブビュー用のラインを選択することができない場合も生じるが、分割読み出しする割合を小さくすれば(つまり、m:1の割合におけるmの値を大きくすれば)、選択することができる場合に対する選択することができない場合の割合が小さくなるために、フレームレートが不均一になるのを軽減して、ライブビュー画像の見映えとブルーミングの低減との両立を図ることが可能となる。
このような第3の技術によれば、ライブビュー用のラインが、それ以外のラインからのブルーミングの影響を受けることはないために、ブルーミングの抑圧されたライブビュー画像信号を得ることができる。従って、ブルーミングが発生し易い図20に示したような長秒時露光のライブビューの場合に、この第3の技術は一層効果的となる。
さらに、リセットデータを読み出した画素または静止画像データをまだ読み出していない画素に、ブルーミングによるノイズが混入するのを防止することができる。従って、ブルーミングの抑圧された静止画像を得ることができる。
次に、図47および図48を参照して、上述した各実施形態に適用可能な第4の技術について説明する。図47はトランジスタMtx2のゲート電極下におけるポテンシャルの例を示す図、図48は撮像部2を第2の駆動方法により駆動してグローバルシャッタによる静止画像を撮像するときの信号線TX2に印加される信号の例を示すタイミングチャートである。
この第4の技術は、第2信号電荷読出部(選択トランジスタMb)により読み出すための信号電荷(LV用の信号電荷)を所定の画素群により露光している期間は、オーバーフロー制御部(トランジスタMtx2)が、少なくとも所定の画素群の各画素の光電変換部PDを、電荷を蓄積する状態(トランジスタMtx2のゲート電極の電位がゲートオフ電位Voffとなった状態)と、第1リセット部(トランジスタMtx2)によりリセットする状態(トランジスタMtx2のゲート電極の電位がゲートオン電位Vonとなった状態)と、の中間の、所定ポテンシャル以下のエネルギーの電荷を蓄積し所定ポテンシャルを超えるエネルギーの電荷をオーバーフローさせる状態(トランジスタMtx2のゲート電極の電位が所定電位Vm(Voff<Vm<Von)となった状態)に保持するようにしたものとなっている。
つまり、図48に示すように、ライブビュー用の駆動を行っている期間は、少なくともライブビュー用の駆動を行っている画素の信号線TX2に印加する信号(トランジスタMtx2のゲートを制御する信号)の電位を、光電変換部PDに電荷を蓄積するゲートオフ電位Voffと、光電変換部PDをリセットするゲートオン電位Vonとの中間の所定電位Vmにする。
これにより、図47に示すように、トランジスタMtx2のゲート電極下のポテンシャルがリセット時よりも高くなる(負電荷をもつ電子にとってのポテンシャルが高くなるということであり、電位は低くなる)ために、このポテンシャルで決るレベル以上のエネルギーをもつ電荷は電流源VDD側へ排出され、光電変換部PDはオーバーフロー動作を行うことになる。
従って、ライブビュー用の駆動を行っている画素に強い光が照射されたとしても、余剰電荷が電流源VDD側へ確実に排出されるために、ライブビュー用の画素に発生した余剰電荷が隣接する画素に漏れ込むことはなく、ライブビュー用画像および静止画像に対してブルーミング現象が発生するのを抑制することができる。
なお、この第4の技術を適用すると、ライブビュー用の画素の飽和レベル(光電変換部PDに蓄積可能な電荷の個数)は通常の駆動動作時よりも低くなることになるために、撮像素子から読み出された信号をアナログ的に増幅するか、または第2画像処理部3b等においてデジタル的に階調変換等を行うと良い。
そして、この第4の技術は、単独で用いることも可能であるが、上述した第3の技術と共に用いるとさらに良い。すなわち、第3の技術を適用すれば、ライブビュー用の駆動を行っている画素以外の画素のブルーミングを抑制することができ、また、第4の技術を適用すればライブビュー用の駆動を行っている画素のブルーミングを抑制することができるために、画素部24内の全画素についてブルーミングの抑制を行うことが可能となるからである。
なお、上述では、トランジスタMtx2に印加する信号の電位を制御することにより、光電変換部PDのオーバーフロー動作を行うようにしていたが、これに限るものではない。例えば、トランジスタMtx2に印加する信号の電位は通常のリセット時のゲートオン電位Vonにして、トランジスタMtx2が接続されている電流源VDDの電位を上述した中間の電位Vmに制御することにより、光電変換部PDのオーバーフロー動作を行う技術を採用しても構わない。
なお、上述した各実施形態においては、主として撮像装置についてを説明しているが、本発明は撮像装置に限定されるものではなく、例えば、撮像装置においてライブビュー画像と静止画像とを上述したように撮像する方法、つまり撮像装置の撮像方法であっても構わないし、撮像装置の撮像処理プログラム、撮像装置の撮像処理プログラムを記録する記録媒体等であっても構わない。
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
1…レンズ(撮影レンズ)
2…撮像部
3…画像処理部
3a…第1画像処理部
3b…第2画像処理部(第3画像処理部を兼ねる)
3b1…シェーディング演算部
3b2…シェーディング補正部
4…AF評価値演算部
5…表示部
6…メモリカード
7…手振れ検出部
8…手振れ補正部(ぶれ補正部)
9…露光制御部
10…AF制御部
11…カメラ操作部
12…カメラ制御部
21…撮像素子
22…A/D変換部
23…KTCノイズ除去部
24…画素部
24eff…有効領域
24hob…HOB領域
24vob…VOB領域
25…CDS部
26…垂直制御回路
26a…PDリセット用デコーダ
26b…FDリセット・読出用デコーダ
27…水平走査回路
28…画素
29…タイミングジェネレータ
31…第1出力回路
32…第2出力回路
36…垂直制御回路
PD…光電変換部
FD…信号蓄積部(蓄積部、第1電荷蓄積部、第2電荷蓄積部)
Ma…増幅用トランジスタ
Mb…選択トランジスタ(第1信号電荷読出部、第2信号電荷読出部、リセット信号読出部、第3信号電荷読出部)
Mb1…選択トランジスタ(第1信号電荷読出部、リセット信号読出部)
Mb2…選択トランジスタ(第2信号電荷読出部、第3信号電荷読出部)
Mr…トランジスタ(第2リセット部)
Mtx1…トランジスタ(転送部、ゲート部)
Mtx2…トランジスタ(第1リセット部、第3リセット部)

Claims (11)

  1. 露光量に応じた信号電荷を発生させる光電変換部を含む画素が2次元状に配列された画素部と、
    前記画素部の信号電荷を一旦蓄積するものであり、遮光された蓄積部と、
    前記画素部の画素を相互に重複しない複数の画素群に分割して、該複数の画素群の蓄積部を順次リセットする第2リセット部と、
    前記第2リセット部によりリセットされた前記複数の画素群の蓄積部のリセット信号を順次読み出すリセット信号読出部と、
    前記第2リセット部により前記複数の画素群の蓄積部を順次リセットする時間区間内において、該複数の画素群の内の所定の画素群により露光して生成された信号電荷を、該所定の画素群の蓄積部が前記第2リセット部によりリセットされるより前に1回以上読み出す第2信号電荷読出部と、
    前記第2信号電荷読出部により読み出された信号電荷に基づいて、画像表示用の第2画像データを生成する第2画像処理部と、
    前記リセット信号読出部による前記複数の画素群のリセット信号の読み出しが完了した後に、前記複数の画素群に属する全ての光電変換部を一括してリセットする第1リセット部と、
    前記第1リセット部によりリセットしてから所定時間だけ前記光電変換部を露光した後に、該光電変換部により生成された信号電荷を一括して該蓄積部へ転送する転送部と、
    前記転送部により転送された蓄積部の信号電荷を読み出す第1信号電荷読出部と、
    前記第1信号電荷読出部により読み出された信号電荷と、前記リセット信号読出部により読み出されたリセット信号と、に基づいて、静止画記録用の第1画像データを生成する第1画像処理部と、
    を具備したことを特徴とする撮像装置。
  2. 前記所定の画素群は、前記第2リセット部により前記複数の画素群の蓄積部を順次リセットする時間区間内において、最後にリセットされる画素群であることを特徴とする請求項1に記載の撮像装置。
  3. 前記第1信号電荷読出部は、前記転送部により転送された蓄積部の信号電荷を、前記画素部の画素を相互に重複しない複数の画素群に分割して順次読み出すものであり、
    当該撮像装置は、
    前記複数の画素群の内の第2の所定の画素群の信号電荷が前記第1信号電荷読出部により読み出された後で、且つ前記第1信号電荷読出部により前記信号電荷が読み出される時間区間内において、該第2の所定の画素群により露光して生成された信号電荷を1回以上読み出す第3信号電荷読出部と、
    前記第3信号電荷読出部により読み出された信号電荷に基づいて、画像表示用の第3画像データを生成する第3画像処理部と、
    をさらに具備したことを特徴とする請求項2に記載の撮像装置。
  4. 前記第3信号電荷読出部により読み出される前記第2の所定の画素群は、第2信号電荷読出部により読み出される前記所定の画素群とは重複する画素がない異なる画素群であることを特徴とする請求項3に記載の撮像装置。
  5. 前記第1信号電荷読出部は、前記第2リセット部による蓄積部のリセットから、前記転送部により転送された蓄積部の信号電荷を読み出すまでの時間が、全ての画素について略同一となるように読み出すことを特徴とする請求項4に記載の撮像装置。
  6. 静止画記録用の前記第1画像データを、単写と連写との何れにより取得するかを制御するためのカメラ制御部をさらに具備し、
    単写により取得する場合には、上記第2信号電荷読出部および上記第2画像処理部の動作を行わず、連写により取得する場合には、該第2信号電荷読出部および該第2画像処理部の動作を行うことを特徴とする請求項1に記載の撮像装置。
  7. 撮影レンズと、
    前記撮影レンズをオートフォーカス制御するAF制御部と、
    静止画記録用の前記第1画像データを取得する際に、前記AF制御部をシングルAFとコンティニュアスAFとの何れかにより制御させるためのカメラ制御部と、
    をさらに具備し、
    シングルAFにより制御する場合には、上記第2信号電荷読出部および上記第2画像処理部の動作を行わず、コンティニュアスAFにより制御する場合には、該第2信号電荷読出部および該第2画像処理部の動作を行うことを特徴とする請求項1に記載の撮像装置。
  8. 前記第2リセット部は、前記画素部の画素を相互に重複しない複数の画素群に分割することを、前記第2信号電荷読出部により読み出される信号電荷が生成される前記所定の画素群を構成するライン数を単位とした等分割により行うことを特徴とする請求項1に記載の撮像装置。
  9. 前記リセット信号読出部により読み出されたリセット信号における、同一列に属する複数画素のリセット信号の統計値に基づいて、行方向のシェーディングを演算するシェーディング演算部と、
    前記第2信号電荷読出部により読み出された信号電荷を前記シェーディング演算部により演算されたシェーディングに基づき補正するシェーディング補正部と、
    をさらに具備し、
    前記第2画像処理部は、前記シェーディング補正部により補正された信号電荷に基づいて、画像表示用の第2画像データを生成することを特徴とする請求項1に記載の撮像装置。
  10. 前記第2信号電荷読出部により読み出すための信号電荷を前記所定の画素群により露光している期間は、該所定の画素群に隣接するラインを少なくとも含むラインの画素の前記光電変換部をリセットした状態に保持する第3リセット部をさらに具備したことを特徴とする請求項1に記載の撮像装置。
  11. 前記第2信号電荷読出部により読み出すための信号電荷を前記所定の画素群により露光している期間は、少なくとも該所定の画素群の各画素の前記光電変換部を、電荷を蓄積する状態と、前記第1リセット部によりリセットする状態と、の中間の、所定ポテンシャル以下のエネルギーの電荷を蓄積し該所定ポテンシャルを超えるエネルギーの電荷をオーバーフローさせる状態に保持するオーバーフロー制御部をさらに具備したことを特徴とする請求項1に記載の撮像装置。
JP2009191216A 2009-02-03 2009-08-20 撮像装置 Expired - Fee Related JP5215262B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009191216A JP5215262B2 (ja) 2009-02-03 2009-08-20 撮像装置
CN2009102657341A CN101795345B (zh) 2009-02-03 2009-12-29 摄像装置、摄像方法
US12/693,699 US8174590B2 (en) 2009-02-03 2010-01-26 Image pickup apparatus and image pickup method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009023035 2009-02-03
JP2009023035 2009-02-03
JP2009191216A JP5215262B2 (ja) 2009-02-03 2009-08-20 撮像装置

Publications (2)

Publication Number Publication Date
JP2010206769A true JP2010206769A (ja) 2010-09-16
JP5215262B2 JP5215262B2 (ja) 2013-06-19

Family

ID=42397373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009191216A Expired - Fee Related JP5215262B2 (ja) 2009-02-03 2009-08-20 撮像装置

Country Status (3)

Country Link
US (1) US8174590B2 (ja)
JP (1) JP5215262B2 (ja)
CN (1) CN101795345B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018088119A1 (ja) * 2016-11-09 2018-05-17 富士フイルム株式会社 撮像装置、撮像方法、及び、撮像プログラム
WO2018088121A1 (ja) * 2016-11-14 2018-05-17 富士フイルム株式会社 撮像装置、撮像方法、及び、撮像プログラム
JP2020113944A (ja) * 2019-01-16 2020-07-27 キヤノン株式会社 撮像装置および撮像装置の制御方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5163708B2 (ja) * 2010-08-16 2013-03-13 株式会社ニコン 撮像装置
US8531537B2 (en) * 2010-09-08 2013-09-10 Olympus Corporation Imaging apparatus for processing still picture signals and live view signals output from an image sensor
JP2012129799A (ja) * 2010-12-15 2012-07-05 Sony Corp 固体撮像素子および駆動方法、並びに電子機器
JP5718069B2 (ja) * 2011-01-18 2015-05-13 オリンパス株式会社 固体撮像装置および撮像装置
CN110572586A (zh) * 2012-05-02 2019-12-13 株式会社尼康 拍摄元件及电子设备
KR20150016232A (ko) * 2012-05-25 2015-02-11 소니 주식회사 촬상 소자, 구동 방법 및 전자 장치
KR101889932B1 (ko) * 2012-07-25 2018-09-28 삼성전자주식회사 촬영 장치 및 이에 적용되는 촬영 방법
JP2014179735A (ja) * 2013-03-14 2014-09-25 Toshiba Corp 固体撮像装置
CN111314632B (zh) * 2013-03-14 2023-04-21 株式会社尼康 摄像单元及摄像装置
WO2015045375A1 (ja) * 2013-09-26 2015-04-02 株式会社ニコン 撮像素子および撮像装置
US10110826B2 (en) * 2014-02-25 2018-10-23 Sony Corporation Imaging with adjustment of angle of view
JP6522919B2 (ja) * 2014-10-15 2019-05-29 オリンパス株式会社 撮像素子、撮像装置
EP3035669B1 (en) * 2014-12-16 2017-08-23 Canon Kabushiki Kaisha Driving method for image pickup apparatus
JP6700740B2 (ja) * 2014-12-16 2020-05-27 キヤノン株式会社 撮像装置
JP6486151B2 (ja) * 2015-03-05 2019-03-20 キヤノン株式会社 撮像システム
CN105163027A (zh) * 2015-09-09 2015-12-16 韩叔桓 一种镜头消抖的方法
JP6746421B2 (ja) * 2016-07-29 2020-08-26 キヤノン株式会社 撮像装置
CN109792494B (zh) * 2016-10-04 2021-01-08 富士胶片株式会社 摄像装置、静态图像摄像方法及记录介质
WO2018180257A1 (ja) * 2017-03-28 2018-10-04 富士フイルム株式会社 撮像装置、撮像方法、及び撮像プログラム
JP7148265B2 (ja) * 2018-04-26 2022-10-05 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
CN109411493B (zh) * 2018-09-28 2020-10-02 上海集成电路研发中心有限公司 一种防漏光全局像素单元的结构和形成方法
CN110611782B (zh) * 2019-10-28 2024-06-18 思特威(上海)电子科技股份有限公司 全局曝光图像传感器
KR20220060297A (ko) * 2020-11-04 2022-05-11 에스케이하이닉스 주식회사 이미지 센싱 장치
CN114143520B (zh) * 2021-11-29 2023-09-26 中船重工(武汉)凌久电子有限责任公司 一种实现多路hdmi接口传输及自动校正的方法
CN116389898B (zh) * 2023-02-27 2024-03-19 荣耀终端有限公司 图像处理方法、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007324985A (ja) * 2006-06-01 2007-12-13 Olympus Corp 固体撮像装置及びそれを用いた撮像装置システム
JP2008028517A (ja) * 2006-07-19 2008-02-07 Olympus Corp 固体撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005065184A (ja) * 2003-08-20 2005-03-10 Canon Inc 固体撮像装置及びその駆動方法、並びにそれを用いたビデオカメラ及びスチルカメラ
US20050065184A1 (en) * 2003-08-29 2005-03-24 Aaipharma Inc. Method of reducing the risk of oxidative stress
CN100574376C (zh) * 2006-03-27 2009-12-23 精工爱普生株式会社 摄像装置、摄像系统以及摄像方法
JP4986771B2 (ja) * 2006-08-31 2012-07-25 キヤノン株式会社 撮像装置、その駆動方法及び放射線撮像システム
JP4054839B1 (ja) * 2007-03-02 2008-03-05 キヤノン株式会社 光電変換装置およびそれを用いた撮像システム
JP2009027238A (ja) * 2007-07-17 2009-02-05 Olympus Corp 固体撮像装置
JP5053869B2 (ja) * 2008-01-10 2012-10-24 キヤノン株式会社 固体撮像装置、撮像システム、及び固体撮像装置の駆動方法
JP5156434B2 (ja) * 2008-02-29 2013-03-06 キヤノン株式会社 撮像装置および撮像システム
US20100259639A1 (en) * 2009-04-13 2010-10-14 Qualcomm Incorporated Automatic backlight detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007324985A (ja) * 2006-06-01 2007-12-13 Olympus Corp 固体撮像装置及びそれを用いた撮像装置システム
JP2008028517A (ja) * 2006-07-19 2008-02-07 Olympus Corp 固体撮像装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018088119A1 (ja) * 2016-11-09 2018-05-17 富士フイルム株式会社 撮像装置、撮像方法、及び、撮像プログラム
CN109906604A (zh) * 2016-11-09 2019-06-18 富士胶片株式会社 摄像装置、摄像方法及摄像程序
JPWO2018088119A1 (ja) * 2016-11-09 2019-08-08 富士フイルム株式会社 撮像装置、撮像方法、及び、撮像プログラム
US10778880B2 (en) 2016-11-09 2020-09-15 Fujifilm Corporation Imaging device, imaging method, and imaging program
CN109906604B (zh) * 2016-11-09 2021-04-20 富士胶片株式会社 摄像装置、摄像方法及记录介质
WO2018088121A1 (ja) * 2016-11-14 2018-05-17 富士フイルム株式会社 撮像装置、撮像方法、及び、撮像プログラム
CN110024373A (zh) * 2016-11-14 2019-07-16 富士胶片株式会社 摄像装置、摄像方法及摄像程序
JPWO2018088121A1 (ja) * 2016-11-14 2019-08-08 富士フイルム株式会社 撮像装置、撮像方法、及び、撮像プログラム
US10742876B2 (en) 2016-11-14 2020-08-11 Fujifilm Corporation Imaging device, imaging method, and imaging program
CN110024373B (zh) * 2016-11-14 2021-05-28 富士胶片株式会社 摄像装置、摄像方法及存储介质
JP2020113944A (ja) * 2019-01-16 2020-07-27 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP7286323B2 (ja) 2019-01-16 2023-06-05 キヤノン株式会社 撮像装置および撮像装置の制御方法

Also Published As

Publication number Publication date
CN101795345A (zh) 2010-08-04
US8174590B2 (en) 2012-05-08
US20100194922A1 (en) 2010-08-05
JP5215262B2 (ja) 2013-06-19
CN101795345B (zh) 2012-05-09

Similar Documents

Publication Publication Date Title
JP5215262B2 (ja) 撮像装置
JP5226552B2 (ja) 撮像装置
US9185308B2 (en) Imaging apparatus and imaging method
JP5342969B2 (ja) 撮像装置及び撮像方法
US9030589B2 (en) Image sensor and image sensing apparatus
JP5614993B2 (ja) 撮像装置及び固体撮像素子の駆動方法
US9071781B2 (en) Image capturing apparatus and defective pixel detection method
JP5128889B2 (ja) 固体撮像素子及びそれを用いた固体撮像システム
JP2014154982A (ja) 撮像装置およびその制御方法
JP2014014069A (ja) 撮像装置、及びその制御方法
JP2004282552A (ja) 固体撮像素子および固体撮像装置
JP5885431B2 (ja) 撮像素子及び撮像装置
US20110050965A1 (en) Image capture device and control method thereof
JP2005051282A (ja) 駆動装置および撮像装置
JP5452269B2 (ja) 撮像装置
JP5106055B2 (ja) 撮像装置及びそのフリッカ検出方法
JP2014175778A (ja) 撮像装置および撮像方法
JP4847281B2 (ja) 撮像装置及びその制御方法並びに撮像システム
JP5106056B2 (ja) 撮像装置及びそのフリッカ検出方法
JP2009188650A (ja) 撮像装置
JP2007336333A (ja) 撮像装置
JP4334893B2 (ja) 電子的撮像装置および方法
JP2012085013A (ja) 固体撮像装置および撮像装置
JP2011114786A (ja) 固体撮像装置およびカメラシステム
JP2003008996A (ja) 固体電子撮像装置およびその制御方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130228

R150 Certificate of patent or registration of utility model

Ref document number: 5215262

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees