JP2015109503A - イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラム - Google Patents

イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラム Download PDF

Info

Publication number
JP2015109503A
JP2015109503A JP2013250116A JP2013250116A JP2015109503A JP 2015109503 A JP2015109503 A JP 2015109503A JP 2013250116 A JP2013250116 A JP 2013250116A JP 2013250116 A JP2013250116 A JP 2013250116A JP 2015109503 A JP2015109503 A JP 2015109503A
Authority
JP
Japan
Prior art keywords
exposure time
image sensor
pixel signal
image
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013250116A
Other languages
English (en)
Inventor
宮腰　大輔
Daisuke Miyakoshi
大輔 宮腰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013250116A priority Critical patent/JP2015109503A/ja
Priority to US14/551,493 priority patent/US20150156387A1/en
Publication of JP2015109503A publication Critical patent/JP2015109503A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】ユーザが入射光量を意識することなく、絞りを自由に設定しても、最適な画像を撮像できるようにする。
【解決手段】撮像に際して必要とされる露光時間である撮像素子の露光時間Ｔが、設定され、所望の絞り開度が設定される場合、信号レベルが高く、飽和しているとき、動作Ｅ２で示されるように、必要とされる露光時間を４分割して、分割された分割露光時間を、垂直同期信号ＶＳＹＮＣ同期期間内で、所定の時間間隔で設定し、分割露光時間毎に蓄積された信号を加算して画素信号が生成されることにより、絞り開度が固定された状態で、シャッタスピードが高速になってもジャーキネスを抑制することが可能となる。本技術は、撮像装置に適用することができる。
【選択図】図５

Description

本技術は、イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラムに関し、特に、明るいシーンなどでも、ND（Neutral Density：減光）フィルタなどを利用しなくても画素信号を飽和させず、かつ、ジャーキネスを抑制して使用できるようにしたイメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラムに関する。
撮像時の絞りやシャッタスピード（露光時間）は、一定時間に画素で光電変換される電荷量（感度）と、画素ごとに蓄積することができる飽和信号量（Qs）から決まる。
低照度の場面や、画面内の暗部のノイズを減少させるために、少ない光量でも画像信号を多く取得できるように、画素の感度を上げる場合、飽和信号量も同時に上げる必要がある。
しかしながら、感度と飽和信号量をある一定の面積で同時に上げることは、画素面積の制約により難しく、感度と飽和信号量とのバランスを取った設計を行う必要がある。
そこで、飽和信号量に比べて感度比率が高い撮像素子では、画素で蓄積できる飽和信号量を超えるような明るいシーンを撮像する場合、外部にNDフィルタを挿入したり、アイリスを絞ったり、シャッタスピードを速くする（すなわち、露光時間を短くする）ことで、入射される光量を落としていた（特許文献１参照）。
特開２００２−１３５６４６号公報
しかしながら、上述した技術においては、NDフィルタの付け替えによる撮像手順が煩雑であり、操作性を低減させてしまう恐れがあった。
また、アイリス（F値）による被写界深度の調整や、シャッタスピードによる流れる被写体の見せ方など、写真表現の自由度に制約が生じていた。
さらに、レンズのアイリスを絞ることにより、光学的な集光限界（エアリディスク）が広がることで、単位画素の大きさに集光しきれずにピントが合わなくなる、いわゆる小絞りボケと呼ばれる現象が生じてしまう恐れがあった。
また、動画像を撮像する場合、シャッタスピードを短くすると、連続する動画像の中で、動きがある被写体が、飛び飛びに動くように見えるジャーキネスと呼ばれる現象が生じる恐れがあった。
本技術は、このような状況に鑑みてなされたものであり、特に、設定された露光時間を複数に分割し、かつ、所定の時間間隔に設定した上で、分割された露光時間で得られた画素信号を加算することで、ユーザが入射される光量を気にすることなく、絞り、およびシャッタスピードを自由に設定しても、最適な画像出力が得られるようにすると共に、動画を撮像する動画モード時においては、総露光時間を短くしつつ、ジャーキネスを改善するものである。
本技術の一側面のイメージセンサは、露光時間を可変にして光電変換により画素信号を発生する撮像素子と、前記撮像素子により発生された画素信号を蓄積する蓄積部とを含み、前記撮像素子は、１フレームの画像の撮像時間内に、所定の時間間隔で、前記画像の撮像に必要とされる必要露光時間を複数に分割した分割露光時間毎に光電変換により画素信号を繰り返し発生し、前記蓄積部は、前記撮像素子により発生された前記画素信号を蓄積し、前記必要露光時間だけ蓄積した画素信号を出力する。
前記撮像素子により出力されるアナログ信号からなる画素信号をデジタル信号に変換する変換部をさらに含ませるようにすることができ、前記蓄積部には、前記変換部によりデジタル信号に変換された画素信号を蓄積させるようにすることができる。
前記分割露光時間毎に前記撮像素子により前記画素信号が生成されるとき、前記蓄積部に蓄積された画素信号を読み出して、前記変換部によりデジタル信号に変換された画素信号を加算し、前記蓄積部に書き戻す演算部をさらに含ませるようにすることができる。
前記蓄積部より出力される画素信号の信号レベルに基づいて、前記分割露光時間を決定する分割露光時間決定部をさらに含ませるようにすることができる。
前記分割露光時間決定部には、所定の絞り開度で動画像を撮像する場合、前記蓄積部より出力される画素信号の信号レベルが飽和するとき、前記分割露光時間を所定時間だけ短くさせるようにすることができる。
前記蓄積部は、前記撮像素子内に設けられるようにすることができる。
前記蓄積部には、前記画素信号をアナログ信号のまま蓄積させるようにすることができる。
本技術の一側面のイメージセンサの動作方法は、露光時間を可変にして光電変換により画素信号を発生する撮像素子と、前記撮像素子により発生された画素信号を蓄積する蓄積部とを含むイメージセンサの動作方法において、前記撮像素子が、１フレームの画像の撮像時間内に、所定の時間間隔で、前記画像の撮像に必要とされる必要露光時間を複数に分割した分割露光時間毎に光電変換により画素信号を繰り返し発生し、前記蓄積部が、前記撮像素子により発生された前記画素信号を蓄積し、前記必要露光時間だけ蓄積した画素信号を出力する。
本技術の一側面のプログラムは、露光時間を可変にして光電変換により画素信号を発生する撮像素子と、前記撮像素子により発生された画素信号を蓄積する蓄積部とを含むイメージセンサの動作を制御するコンピュータに、前記撮像素子が、１フレームの画像の撮像時間内に、所定の時間間隔で、前記画像の撮像に必要とされる必要露光時間を複数に分割した分割露光時間毎に光電変換により画素信号を繰り返し発生し、前記蓄積部が、前記撮像素子により発生された前記画素信号を蓄積し、前記必要露光時間だけ蓄積した画素信号を出力するステップを含む処理を実行させる。
本技術の一側面の撮像装置は、露光時間を可変にして光電変換により画素信号を発生する撮像素子と、前記撮像素子により発生された画素信号を蓄積する蓄積部とを含み、前記撮像素子は、１フレームの画像の撮像時間内に、所定の時間間隔で、前記画像の撮像に必要とされる必要露光時間を複数に分割した分割露光時間毎に光電変換により画素信号を繰り返し発生し、前記蓄積部は、前記撮像素子により発生された前記画素信号を蓄積し、前記必要露光時間だけ蓄積した画素信号を出力する。
本技術の一側面の電子機器は、露光時間を可変にして光電変換により画素信号を発生する撮像素子と、前記撮像素子により発生された画素信号を蓄積する蓄積部とを含み、前記撮像素子は、１フレームの画像の撮像時間内に、所定の時間間隔で、前記画像の撮像に必要とされる必要露光時間を複数に分割した分割露光時間毎に光電変換により画素信号を繰り返し発生し、前記蓄積部は、前記撮像素子により発生された前記画素信号を蓄積し、前記必要露光時間だけ蓄積した画素信号を出力する。
本技術の一側面においては、撮像素子により露光時間を可変にして光電変換により画素信号が発生され、蓄積部により、前記撮像素子により発生された画素信号が蓄積され、前記撮像素子により、１フレームの画像の撮像時間内に、所定の時間間隔で、前記画像の撮像に必要とされる必要露光時間を複数に分割した分割露光時間毎に光電変換により画素信号が繰り返し発生され、前記蓄積部により、前記撮像素子により発生された前記画素信号が蓄積されて、前記必要露光時間だけ蓄積した画素信号が出力される。
本技術の一側面によれば、ユーザが入射光量を意識することなく、絞りを自由に設定しても、最適な画像を撮像することが可能となる。
本技術を適用した撮像装置の一実施の形態の構成成を説明する図である。 図１の撮像素子の詳細な構成例を説明する図である。 図２のメモリ部の構成例を説明する図である。 図２の受光素子アレイを構成する受光素子の構成例を説明する図である。 図２の受光素子アレイを備えた撮像素子の動作を説明するタイミングチャートである。 撮像処理を説明するフローチャートである。 撮像処理における撮像素子の動作を説明する図である。 撮像処理を説明する図である。 露光制御処理を説明するフローチャートである。 露光制御処理を説明する図である。 露光制御処理を説明する図である。 図２の受光素子アレイを構成する受光素子の変形例を説明する図である。 図１２の受光素子アレイを備えた撮像素子の動作を説明するタイミングチャートである。 汎用のパーソナルコンピュータの構成例を説明する図である。
＜撮像装置の構成例＞
図１は、本技術を適用した撮像装置の構成例を示すブロック図である。
図１の撮像装置は、絞り機構部１１、絞り駆動部１２、レンズ部１３、撮像素子１４、RAW補正処理部１５、カメラ信号処理部１６、信号レベル検出部１７、カメラ制御部１８、画像表示処理部１９、画像表示装置２０、画像出力装置２１、画像記録再生処理部２２、および画像記録装置２３を備えている。
絞り機構部１１は、例えば、複数の羽根状の機構を動かすことで絞り開口部の径を可変にする動作する機構であり、絞り駆動部１２からの制御信号により開口部の径を変更するように動作ことで撮像素子１４に入射される光量を調整する。
レンズ部１３は、撮像光学系を構成するレンズ群で構成され、フォーカス調整と、必要に応じてズーム調整を行う。
撮像素子１４は、レンズ部１３により集光された光を受光素子アレイ５２（図２）に２次元状に配置された受光素子Ｐ１乃至Ｐｎ（図３）により光電変換を行い、光を電気信号に変換することで画素信号を生成し、複数の画素の画素信号からなる画像信号としてRAW補正処理部１５に出力する。尚、撮像素子１４の内部構造については、図２を参照して詳細は後述する。
RAW補正処理部１５は、撮像素子１４から出力された画像信号の、画素欠陥やレンズ部１３による歪みなどについて、面内での画質の製造ばらつきを補正すると共に、後段の信号処理のレベルダイアグラムに合わせて、黒レベル、および白レベルを調整する。RAW補正処理部１５は、画質の製造ばらつきを補正すると共に、黒レベル、および白レベルを調整した画像信号を、カメラ信号処理部１６、および信号レベル検出部１７に供給する。
カメラ信号処理部１６は、RAW補正処理部１５から供給されてくる画像信号に対して、画素補間処理、色補正処理、エッジ補正、ガンマ補正、および解像度変換などのカメラ信号処理を行い、画像表示処理部１９、および画像記録再生処理部２２に出力する。
信号レベル検出部１７は、所定の有効領域における画像信号を構成する画素信号のそれぞれの信号レベルを演算することにより、画面全体の積分値、最も明るい部分の信号レベル、および信号レベルの分布を表すヒストグラムなどの情報をカメラ制御部１８に供給する。
カメラ制御部１８は、信号レベル検出部１７より供給される現在の画像信号、現在のアイリス（絞り開度）の状態（Ｆ値）、シャッタスピード、ゲインおよび露光時間分割数などの情報から、画像信号の信号レベルが最適な状態になるよう、所定の時間間隔で分割露光時間を設定し、絞り駆動部１２、および撮像素子１４に制御信号を供給することでフィードバック制御する。また、カメラ制御部１８は、ユーザが意図的に設定したアイリス、シャッタスピード、およびゲインに基づいて、フィードバックを行うマニュアル動作を行うことも可能である。尚、分割露光時間の設定については、詳細を後述する。
画像表示処理部１９は、カメラ信号処理部１６より供給される画像信号、および画像記録再生処理部２２から、画像表示装置２０に表示させるための画像信号、および画像出力装置２１に出力するための画像信号を生成する。
画像表示装置２０は、例えば、LCD（Liquid Crystal Display）または有機EL（Electro Luminescence）からなり、撮像中のカメラスルー画像、および画像記録装置２３に記録された画像の再生画像を表示する。
画像出力装置２１は、例えば、HDMI（登録商標）（High Definition Multimedia Interface）等の一般的な映像出力規格に則したデータ形式、およびコネクタを備えており、外部のテレビジョン等に撮像中のカメラスルー画像、および画像記録装置２３に記録された画像の再生画像を出力する。
画像記録再生処理部２２は、カメラ信号処理部１６より供給されてくる画像信号を、例えば、MPEG（Moving Picture Experts Group）などの画像の符号化方式で圧縮符号化処理を施すと共に、画像記録装置２３から供給された画像の符号化データに対して伸長復号処理を施し、画像表示処理部１９に出力する。
画像記録装置２３は、例えば、HDD（Hard Disk Drive）、フラッシュメモリなどの半導体メモリ、およびDVD（Digital Versatile Disk）などの光ディスクなど、ランダムアクセスが可能な媒体、および、DV（Digital Video）テープなどの連続アクセスが可能な媒体などであり、圧縮符号化処理された画像信号を記録、または読み出す。
＜撮像素子の構成例＞
次に、図２を参照して、撮像素子１４の詳細な構成例について説明する。
撮像素子１４は、タイミング生成部５１、受光素子アレイ５２、A/D（Analog/Digital）変換回路５３、演算回路５４、メモリ部５５、および伝送部５６を備えている。
タイミング生成部５１は、カメラ制御部１８より供給される制御信号に基づいて、撮像素子１４のそれぞれのブロックの動作タイミングを制御するタイミング制御信号を供給する。
受光素子アレイ５２は、例えば、行または列からなる２次元状に配置された受光素子Ｐ１乃至Ｐｎの集合体である。受光素子アレイ５２は、２次元状に配置された受光素子Ｐ１乃至Ｐｎの個々において、光が受光されるにより光電変換で生成された電気信号を、各列ごとに画素信号としてA/D変換回路５３に順次転送する。
A/D変換回路５３は、各列ごとに、受光素子アレイからの出力であるアナログ信号からなる画素信号をデジタル信号の画素信号に変換する。A/D変換回路５３は、例えば、追従比較型のA/D変換器で構成されており、それぞれに１クロックごとに１デジタル値ずつカウントアップしていくカウンタ値と、アナログ入力信号を逐次比較し、比較器により値が一致したところでカウンタ値を停止させ、デジタル信号からなる画素信号として出力する。
演算回路５４は、A/D変換回路５３からの信号を直接メモリ部５５に書き込んで蓄積させる、または、A/D変換回路５３からの信号と、メモリ部５５に蓄積された画素信号とを加算し、結果を再びメモリ部５５に蓄積する。
メモリ部５５は、タイミング生成部５１より供給されてくるタイミング制御信号に基づいて、演算回路５４へ信号を読み出す動作、演算回路５４での演算結果を書き込む蓄積動作、および、伝送部５６へ信号を順次送り出す転送動作を行う。
伝送部５６は、タイミング生成部５１からの制御信号に従い、メモリ部５５から読みだされた複数の画素信号を画像信号として、RAW補正処理部１５（図１）へと転送する。
＜メモリ部の構成例＞
次に、図３を参照してメモリ部５５の構成例について説明する。
メモリ部５５は、セレクタ７１−１乃至７１−３、およびバンク７２−１，７２−２を備えている。
メモリ部５５は、セレクタ７１−１乃至７１−３を制御することにより、バンク７２−１，７２−２を１フレーム毎に交互に切り替えて、記憶すべき画素信号を蓄積する。すなわち、セレクタ７１−１乃至７１−３は、それぞれ端子７１ａ−１乃至７１ａ−３、および７１ｂ−１乃至７１ｂ−３を備えている。
まず、第１の状態において、セレクタ７１−１は、演算回路５４より供給される画素信号を端子７１ａ−１より出力し、バンク７２−１に蓄積させる。このとき、セレクタ７１−３は、端子７１ａ−３よりバンク７２−１に蓄積された画素信号を読み出して演算回路５４に供給する。そして、第１の状態において、前１フレーム分の画素信号がバンク７２−２に蓄積されている場合、セレクタ７１−２は、端子７１ｂ−２よりバンク７２−２に蓄積された画素信号を伝送部５６に供給する。
そして、次のフレーム分の画素信号が受け付けられる際、第１の状態から第２の状態に遷移する。すなわち、第２の状態において、セレクタ７１−１は、演算回路５４より供給される画素信号を端子７１ｂ−１より出力しバンク７２−２に蓄積させる。このとき、セレクタ７１−３は、端子７１ｂ−３よりバンク７２−２に蓄積された画素信号を読み出して演算回路５４に供給する。そして、第２の状態において、前１フレーム分の画素信号がバンク７２−１に蓄積されている場合、セレクタ７１−２は、端子７１ａ−２よりバンク７２−１に蓄積された画素信号を伝送部５６に供給する。
さらに、次のフレーム分の画素信号が受け付けられる際には、第１の状態に遷移し、この状態遷移が１フレーム毎に交互に繰り返される。
＜受光素子の構成例＞
次に、図４を参照して、受光素子アレイ５２を構成する受光素子の構成例について説明する。尚、図４で示される受光素子は、４個のトランジスタより構成される一般的な形式なものであるが、これ以外の構成であってもよいものである。
受光素子Ｐ１乃至Ｐｎはいずれも同様の構成とされており、フォトダイオードＰＤ、転送トランジスタＴＧ、フローティングディフュージョンＦＤ、リセットトランジスタＲＳＴ、増幅トランジスタＡＭＰ、および選択トランジスタＳＥＬより構成されている。また、垂直方向に配置された受光素子Ｐ１乃至Ｐｎの転送ラインにはA/D変換回路１０１が設けられている。尚、A/D変換回路５３は、カラム方向に並んだ複数のA/D変換回路１０１の集合体である。
フォトダイオードＰＤは、カソードが転送トランジスタＴＧに接続されており、受光に応じた光電変換により発生した電気信号である電荷を蓄積し、転送トランジスタＴＧの開閉に応じてフローティングディフュージョンＦＤに出力する。
転送トランジスタＴＧは、転送信号に基づいて開閉することでトランスファーゲートを構成し、フォトダイオードＰＤにより蓄積された電荷をフローティングディフュージョンＦＤに転送する。
フローティングディフュージョンＦＤは、配線容量により形成されるコンデンサ領域であり、転送トランジスタＴＧを介してフォトダイオードＰＤより転送されてきた電荷を蓄積し、増幅トランジスタＡＭＰのゲートに供給する。
リセットトランジスタＲＳＴは、リセット信号に基づいて開閉することでリセットゲートを構成し、オンにされるとフローティングディフュージョンＦＤに蓄積された電荷を排出する。尚、リセットトランジスタＲＳＴは、転送トランジスタＴＧと共にオンにされるとき、フローティングディフュージョンＦＤに蓄積された電荷を排出すると共に、フォトダイオードＰＤに蓄積された電荷も排出することでリセット動作を実現する。
増幅トランジスタＡＭＰは、フローティングディフュージョンＦＤに蓄積された電荷がゲートに入力されることにより開閉することで、電荷量に基づいて電源電圧を増幅して画素信号として出力する。
選択トランジスタＳＥＬは、選択信号に基づいて開閉することでセレクトゲートを構成し、オンにされると増幅トランジスタＡＭＰにより増幅された画素信号をA/D変換回路１０１に出力する。
A/D変換回路１０１は、デジタル変換した画素信号をフレームメモリ１０２に出力する。フレームメモリ１０２は、１フレーム分の画素信号を蓄積して、画素信号として出力する。
尚、図４においては、列ごとに１つのA/D変換回路１０１で構成されているが、複数の列で１つのA/D変換回路１０１や、１つの列で複数のA/D変換器を持つものもあり、列に対するA/D変換器の構成比率を増やすことで、高速化を図ることが可能となる。
＜露光タイミングについて＞
次に、図５のタイミングチャートを参照して、撮像素子１４における露光タイミングについて説明する。
まず、動作Ｅ１で示されるタイミングチャートを参照して、通常動作となる露光タイミングについて説明する。尚、図５において、動作Ｅ１，Ｅ２は、いずれも上から垂直同期信号ＶＳＹＮＣ、選択信号ＳＥＬ、リセット信号ＲＳＴ、および転送信号ＴＧのタイミング、並びにフォトダイオードＰＤに蓄積された画素値（PD画素値）を表したものであり、横軸は時間である。従って、選択信号ＳＥＬ、リセット信号ＲＳＴ、および転送信号ＴＧがＨｉのタイミングにおいて、図３の選択トランジスタＳＥＬ、リセットトランジスタＲＳＴ、および転送トランジスタＴＧがオンの状態とされ、それ以外のタイミングにおいてはオフとされる。
すなわち、時刻ｔｖ１において、垂直同期信号ＶＳＹＮＣが発生すると、そのタイミングから次の時刻ｔｖ２の垂直同期信号ＶＳＹＮＣが発生するまでの期間が１フレーム分の撮像期間とされる。垂直同期信号ＶＳＹＮＣが発生した時刻ｔｖ１より所定の時間が経過する時刻ｔ０において、図３のリセットトランジスタＲＳＴ、および転送トランジスタＴＧが同時にオンの状態とされ、直後にオフにされることでフォトダイオードＰＤ、およびフローティングディフュージョンＦＤが同時にリセットされ、電荷の蓄積が開始できる状態にセットされる。したがって、時刻ｔ０乃至ｔ２で示されるように、この間に受光されることにより、フォトダイオードＰＤには光電変換により生成される電荷が画素信号として時間に応じて蓄積されていく。尚、ここで、上述した時刻ｔｖ１乃至ｔ０となる所定の時間とは、時刻ｔｖ１乃至ｔｖ２における垂直同期信号ＶＳＹＮＣの同期期間内において露光時間ではない期間とされる。
次に、図５の２段目で示されるように、予め設定された露光時間Ｔが経過する時刻ｔ２に近い時刻ｔ１になったところで、選択トランジスタＳＥＬがオンにされてアナログ信号からなる画素信号がA/D変換回路１０１によりデジタル信号に変換されるように設定された後、一度リセットトランジスタＲＳＴがオンにされ、暗電流によってフローティングディフュージョンＦＤに徐々に蓄積された電荷が再度リセットされ、そのときの画素信号がリセット値としてデジタル信号に変換される。
その後、時刻ｔ２において、転送トランジスタＴＧがオンにされてフォトダイオードＰＤに蓄積された電荷がフローティングディフュージョンＦＤに転送され、デジタル信号に変換される。転送トランジスタＴＧがオフおよびオンにされた状態で得られる２つの値が減算（CDS）されることで、リセットトランジスタＲＳＴのオフ時に印加されるスイッチノイズ（ｋT/Cノイズ）がキャンセルされ、ノイズの少ない良好な画素信号が得られることになる。
次に、動作Ｅ２を参照して、露光時間Ｔを４分割して読み出す際の露光タイミングについて説明する。
すなわち、垂直同期信号ＶＳＹＮＣで設定された時刻Ｔｖ１１乃至Ｔｖ１２における露光時間Ｔを４分割し、それぞれの分割露光時間Ｔｄ内で上記の通常の読み出しシーケンスを行うことで、露光されない時間と露光される時間を細かく分割することが可能となる。すなわち、１枚の撮像に必要な分割数を大きくすることで、巨視的には連続して露光を続けることが可能であるとともに、１枚の画像の撮像にかかる総露光時間を短くすることが可能となる。
尚、ここで、上述した通常の読み出しシーケンスとは、選択トランジスタＳＥＬをオンの状態とし、リセットトランジスタＲＳＴをオンにしてフローティングディフュージョンＦＤのリセット値をデジタル信号に変換した後、転送トランジスタＴＧをオンにして画素信号をフローティングディフュージョンＦＤに保持してからデジタル信号に変換し、差分を求めて画素信号を求めるシーケンスである。
より詳細には、時刻ｔｖ１１において、垂直同期信号ＶＳＹＮＣが発生すると、そのタイミングから次の時刻ｔｖ１２の垂直同期信号ＶＳＹＮＣが発生するまでの期間が１フレーム分の撮像期間とされる。垂直同期信号ＶＳＹＮＣが発生した時刻ｔｖ１１より所定の時間（露光がされない時間）が経過する時刻ｔ１１（＝ｔ２１）において、図３のリセットトランジスタＲＳＴ、および転送トランジスタＴＧが同時にオンの状態とされ、直後にオフにされることでフォトダイオードＰＤ、およびフローティングディフュージョンＦＤが同時にリセットされ、電荷の蓄積が開始できる状態にセットされる。したがって、時刻ｔ１１乃至ｔ１２で示される分割露光時間Ｔｄで示されるように、この間に受光されることにより、フォトダイオードＰＤには光電変換により画素信号が生成され、画素信号が時間に応じて蓄積されていく。
次に、予め設定された必要とされる露光時間Ｔの１／４となる分割露光時間Ｔｄが経過しようとする時刻ｔ２２に近くなった時刻ｔ１２において、選択トランジスタＳＥＬがオンにされてアナログ信号からなる画素信号がA/D変換回路１０１によりデジタル信号に変換されるように設定された後、一度リセットトランジスタＲＳＴがオンにされ、暗電流によってフローティングディフュージョンＦＤに徐々に蓄積された電荷が再度リセットされ、そのリセット値がデジタル信号に変換される。
その後、時刻ｔ２２において、転送トランジスタＴＧがオンにされてフォトダイオードＰＤに蓄積された電荷がフローティングディフュージョンＦＤに転送され、デジタル信号に変換される。転送トランジスタＴＧがオフおよびオンにされた状態で得られる２つの値が減算（CDS）されることで、リセットトランジスタＲＳＴのオフ時に印加されるスイッチノイズ（ｋT/Cノイズ）がキャンセルされ、ノイズの少ない良好な画素信号が得られることになる。
以降において、時刻ｔｖ１乃至ｔ２２における処理と同様の処理が、時刻ｔ２２乃至ｔ２４，ｔ２４乃至ｔ２６，ｔ２６乃至ｔ２８において繰り返されることにより、必要とされる露光時間の１／４の分割露光時間Ｔｄに取得される画素信号が４回分蓄積される。このため、分割露光時間Ｔｄにおける４回分の画素信号が積算されることにより、必要とされる露光時間Ｔに対応する画素信号が得られる。
この結果、必要とされる露光時間Ｔが、１フレーム分の画像を取得するのに必要とされる期間（垂直同期信号ＶＳＹＮＣが発生される時刻ｔｖ１１乃至ｔｖ１２の期間）内において、所定の時間間隔で露光される期間である分割露光時間Ｔｄとして分散させることが可能となる。このため、１フレーム分の画像を取得するのに必要とされる期間において、総露光時間である露光時間Ｔを変えることなく、全体として露光タイミングが分散された画素信号を取得することが可能となるので、必要とされる露光時間Ｔで表される総露光時間を短縮しつつ、ジャーキネスを抑制することが可能となる。
結果として、シャッタスピードを高速にしても、ジャーキネスの発生を抑制した画像を撮像することが可能となる。
＜撮像処理＞
次に、図６のフローチャートを参照して、撮像処理について説明する。
ステップＳ１１において、カメラ制御部１８は、信号レベル検出部１７より供給されてくる直前のフレームの画像信号に信号レベルに基づいて、絞り駆動部１２に制御信号を供給して絞り機構部１１を設定された開度になるように制御すると共に、設定されたシャッタスピード応じて、必要とされる露光時間を算出し、分割露光回数で除算することで分割露光時間、および分割露光時間の間隔となる、露光がされない、所定の時間をタイミング生成部５１に対し設定する。このとき、例えば、カメラ制御部１８は、垂直同期信号ＶＳＹＮＣの間隔である１フレームの画像の撮像時間を４分割する場合は、露光回数カウンタＥＣを４に設定するとともに、４分割された時間内に、露光時間を４分割した分割露光時間と、それ以外の露光がなされない時間とを割り付ける。また、カメラ制御部１８は、必要とされる露光時間を算出するに当たって、図９を参照して後述する処理により、適切なシャッタスピード、および絞り開度を設定している。尚、最初の処理においては、直前の画像信号が存在しないので、所定の信号レベルをデフォルト値として設定しておくようにしてもよい。
ステップＳ１２において、タイミング生成部５１は、分割露光時間の間隔として所定の時間が経過したか否かを判定する。より詳細には、タイミング生成部５１は、図５の動作Ｅ２を参照して説明した時刻ｔｖ１１乃至ｔ１１で示される分割露光時間の間隔となる露光がなされない所定の時間が経過したか否かを判定し、所定の時間が経過したと判定した場合、処理は、ステップＳ１３に進む。
ステップＳ１３において、タイミング生成部５１は、カメラ制御部１８からの分割露光回数、および露光時間の設定に応じて、受光素子アレイ５２の各受光素子Ｐに対して、タイミング信号を発生し供給する。そして、このタイミング信号に応じて、受光素子アレイ５２の各受光素子Ｐは露光を開始する。
より詳細には、タイミング生成部５１は、カメラ制御部１８からの設定値に基づいて、リセットトランジスタＲＳＴおよび転送トランジスタＴＧを同時に極短時間だけオンに制御することで、残留する電荷を解放してリセットさせる。この処理によりフォトダイオードＰＤとフローティングディフュージョンＦＤに蓄積されている電荷がリセットされ、蓄積が可能な状態となる。
ステップＳ１４において、タイミング生成部５１は、図５の動作Ｅ２を参照して説明した時刻ｔ１１乃至ｔ１２で示される時間が経過したか否かを判定し、経過したと判定するまで、同様の処理を繰り返し、経過したと判定した場合、処理は、ステップＳ１５に進む。
ステップＳ１５において、タイミング生成部５１は、選択トランジスタＳＥＬをオンに制御して、A/D変換回路１０１に電荷を転送できる状態にする。さらに、タイミング生成部５１は、リセットトランジスタＲＳＴを極短時間だけオンに制御して暗電流によりフローティングディフュージョンＦＤに蓄積された電荷による信号を、増幅トランジスタＡＭＰを介して増幅させて、リセット信号としてA/D変換回路１０１に転送させる。すなわち、リセット状態の画素値が転送される。
ステップＳ１６において、A/D変換回路５３（A/D変換回路１０１）は、供給されてきたリセット信号をアナログ信号からデジタル信号に変換して負の値としてA/D変換回路５３内で保持する。すなわち、この処理により、暗電流により生じるスイッチノイズのみからなるリセット信号が負の値としてA/D変換回路５３内で保持される。
ステップＳ１７において、タイミング生成部５１は、転送トランジスタＴＧをオンに制御し、フォトダイオードＰＤに蓄積されていた電荷をフローティングディフュージョンＦＤに転送させる。このとき選択トランジスタＳＥＬはオンの状態であるので、フローティングディフュージョンＦＤに蓄積された電荷は、増幅トランジスタＡＭＰを介して増幅された画素信号としてA/D変換回路１０１に転送される。すなわち、蓄積された画素値が転送される。
ステップＳ１８において、A/D変換回路５３（A/D変換回路１０１）は、供給されてきた画素信号をアナログ信号からデジタル信号に正の値として変換する。すなわち、この処理により、暗電流により生じるスイッチノイズを含むフォトダイオードＰＤで蓄積された電荷に対応する画素信号が正の値として変換される。
ステップＳ１９において、A/D変換回路５３（A/D変換回路１０１）は、スイッチノイズのみからなる負の値として保持されたリセット信号と、スイッチノイズを含むフォトダイオードＰＤで蓄積された電荷に対応する正の値としてA/D変換された画素信号とを連続して変換することで、スイッチノイズをキャンセルした画素信号を算出する。
ステップＳ２０において、演算回路５４は、メモリ部５５に記憶されている画素信号を読み出す。尚、１回目の露光の場合、メモリ部５５に記憶されている画素信号は存在しないので、ステップＳ２０の処理はスキップするようにしてもよい。
ステップＳ２１において、演算回路５４は、メモリ部５５より読み出した画素信号と、A/D変換回路５３（A/D変換回路１０１）で変換された画素信号とを加算する。ステップＳ２１の処理についても、１回目の露光の場合、メモリ部５５に記憶されている画素信号は存在しないので、ステップＳ２０の処理と同様にスキップするようにしてもよい。
ステップＳ２２において、演算回路５４は、メモリ部５５より読み出した画素信号とA/D変換回路５３（A/D変換回路１０１）で変換された画素信号との加算結果である画素信号をメモリ部５５に書き戻して記憶させる。
ステップＳ２２の処理についても、１回目の露光の場合であって、かつ、ステップＳ２０，Ｓ２１の処理がスキップされる場合には、演算により求められる画素信号は存在しないので、A/D変換回路５３（A/D変換回路１０１）が、演算回路５４を通さずに画素信号を直接メモリ部５５に転送してバンク７２−１または７２−２に記憶させる。
ステップＳ２３において、タイミング生成部５１は、露光回数カウンタＥＣが１であるか、すなわち、分割露光回数だけ処理が繰り返されたか否かを判定する。ステップＳ２３において、露光回数カウンタＥＣが示す値が、分割露光回数に達していないことを示す場合、すなわち、露光回数カウンタＥＣが１でない場合、処理は、ステップＳ２４に進む。
ステップＳ２４において、タイミング生成部５１は、露光回数カウンタＥＣを１デクリメントして、処理は、ステップＳ１２に戻る。すなわち、ステップＳ２３において、露光回数カウンタＥＣが１になるまで、ステップＳ１２乃至Ｓ２４の処理が分割露光回数だけ繰り返される。そして、ステップＳ２３において、露光回数カウンタＥＣが１となり、分割露光回数だけ処理が繰り返されたとみなされた場合、処理は、ステップＳ２５に進む。
ステップＳ３５において、タイミング生成部５１は、メモリ部５５におけるバンク７２−１，７２−２を切り替えるように指示する。これに応じて、セレクタ７１−１乃至７１−３が、それぞれ端子７１ａ−１乃至７１ａ−３、および７１ｂ−１乃至７１ｂ−３を、直前の状態から切り替え、分割露光が完了したバンクのデータを伝送部５６へ送るとともに、伝送部への転送が完了したバンクを次のフレームの分割露光動作に使用する切り替えを行う。なお、本シーケンスと同時に、メモリ部５５に蓄積されている分割露光が完了した前のフレームの画素信号を転送させる制御信号を供給すると共に伝送部５６を制御して、１フレーム分の画素信号として読み出して伝送させる。
すなわち、通常ならば、撮像素子１４においては、図７の状態Ｍ１で示されるように、タイミング生成部５１により、適切な露光時間が露光時間として設定されて、画素信号となる電荷が受光素子アレイ５２に蓄積される。そして、受光素子アレイ５２より画素信号が読み出されて、A/D変換回路５３によりデジタル信号に変換され、変換された画素信号が演算回路５４をそのまま通過してメモリ部５５に供給され、伝送部５６が、メモリ部５５に記憶されている画素信号を出力する。
尚、図７においては、タイミング生成部５１乃至伝送部５６のうち、動作が停止している構成については、斜線が付加されている。
一方、図６のフローチャートを参照して説明した処理の場合、例えば、分割露光回数が４回であるとき、ステップＳ１２乃至Ｓ２２の処理により、図７の状態Ｍ２で示されるような処理がなされる。すなわち、適切な露光時間を４分割した最初の分割露光時間において、受光素子アレイ５２に電荷が蓄積され、A/D変換回路５３によりデジタル信号に変換された画素信号がメモリ部５５に蓄積される。
そして、露光時間を４分割にした２回目以降の時間においては、ステップＳ２２乃至Ｓ２２の処理により、図７の状態Ｍ３で示されるように、受光素子アレイ５２に電荷が蓄積され、A/D変換回路５３によりデジタル信号に変換された画素信号と、メモリ部５５に蓄積された画素信号とが合算されて再びメモリ部５５に蓄積される処理が繰り返される。
露光時間が終了すると、図７の状態Ｍ４で示されるように、ステップＳ２５の処理により、伝送部５６により、メモリ部５５に記憶されている画素信号が伝送される。
すなわち、以上のような処理により、より具体的には、図８のタイミングチャートで示されるような処理が実現される。尚、図８において、必要とされる露光時間を４分割する例について説明する。また、図８の上段における動作Ｅ１１においては、従来の処理が示されており、動作Ｅ１２においては、本技術を適用した処理が示されている。
さらに、動作Ｅ１１においては、上から垂直同期信号ＶＳＹＮＣ、受光素子アレイ５２において画素信号が蓄積される期間（画素）、A/D変換回路５３によるアナログデジタル変換処理がなされる期間（A/D変換回路）、画素信号のメモリ部５５への書き込み期間（メモリ書き込み）、画素信号のメモリ部５５からの読み出し期間（メモリ読み出し）、および伝送部５６によりメモリ部５５に蓄積された画素信号の転送期間（伝送部）がそれぞれ示されている。
また、動作Ｅ１２においては、上から垂直同期信号ＶＳＹＮＣ、受光素子アレイ５２において画素信号が蓄積される期間（画素）、A/D変換回路５３によるアナログデジタル変換処理がなされる期間（A/D変換回路）、演算回路５４によるA/D変換回路５３からの画素信号とメモリ部５５より読み出された画素信号とを積算する期間（演算回路）、画素信号のメモリ部５５のバンク７２−１への書き込み期間（第１バンク書き込み）、画素信号のメモリ部５５のバンク７２−１からの読み出し期間（第１バンク読み出し）、画素信号のメモリ部５５のバンク７２−２への書き込み期間（第２バンク書き込み）、画素信号のメモリ部５５のバンク７２−２からの読み出し期間（第２バンク読み出し）、および伝送部５６によりメモリ部５５に蓄積された画素信号の転送期間（伝送部）が示されている。尚、いずれも、横軸は時間である。
すなわち、従来においては、図８の動作Ｅ１１の上から５段目および６段目で示されるように、最初の垂直同期信号ＶＳＹＮＣの同期期間（Ｖ同期期間Ｔｖ）の全期間において、直前のフレームである画像Ｐ０の画素信号が伝送部５６によりメモリ部５５より読み出されて所定のデータレートで伝送される。そして、図８の動作Ｅ１１の最上段で示されるように、最初の垂直同期信号ＶＳＹＮＣの同期期間（Ｖ同期期間Ｔｖ）になってから、所定の時間が経過した後、動作Ｅ１１の２段目で示されるように、受光素子アレイ５２により画像Ｐ１の画素信号が蓄積される。
さらに、動作Ｅ１１の３段目および４段目で示されるように、２番目の垂直同期信号ＶＳＹＮＣの同期期間（Ｖ同期期間Ｔｖ）が開始されると、最初の垂直同期信号ＶＳＹＮＣの同期期間（Ｖ同期期間Ｔｖ）で蓄積された画像Ｐ１の画素信号が、A/D変換回路５３によりデジタル信号に変換されて、メモリ部５５に記録される。同時に、動作Ｅ１１の５段目および６段目で示されるように、伝送部５６は、メモリ部５５に書き込まれた画素信号Ｐ１を、所定のデータレートで伝送する。そして、所定の時間が経過した後、受光素子アレイ５２により画像Ｐ２の画素信号が蓄積される。
３番目の垂直同期信号ＶＳＹＮＣの同期期間（Ｖ同期期間Ｔｖ）においては、２番目の垂直同期信号ＶＳＹＮＣの同期期間（Ｖ同期期間Ｔｖ）における処理と同様の処理が、画像Ｐ３の画素信号に対して実行され、以降において、同様の処理が繰り返される。
一方、図６のフローチャートを参照して説明した処理により、動作Ｅ１２で示されるような処理が実現される。
すなわち、動作Ｅ１２の最上段で示されるように、最初の垂直同期信号ＶＳＹＮＣの同期期間（Ｖ同期期間Ｔｖ）になってから、所定の時間が経過すると、動作Ｅ１２の２段目で示されるように、画像Ｐ１の必要な露光時間が４分割された最初の分割露光時間の画素信号Ｐ１−１が受光素子アレイ５２に蓄積される（ステップＳ１３）。
動作Ｅ１２の３段目で示されるように、受光素子アレイ５２に蓄積された画素信号Ｐ１−１がA/D変換回路５３によりデジタル信号に変換される（ステップＳ１５乃至Ｓ１９）。
動作Ｅ１２の５段目で示されるように、画素信号Ｐ１−１がメモリ部５５のバンク（第１バンク）７２−１に記憶される。
また、動作Ｅ１２の２段目で示されるように、画素信号Ｐ１−１が蓄積されたタイミングから所定の時間が経過すると、画像Ｐ１の必要な露光時間が４分割された２番目の分割露光時間の画素信号Ｐ１−２が受光素子アレイ５２に蓄積される（ステップＳ１３）。
動作Ｅ１２の３段目で示されるように、受光素子アレイ５２に蓄積された画素信号Ｐ１−２がA/D変換回路５３によりデジタル信号に変換される（ステップＳ１５乃至Ｓ１９）。
動作Ｅ１２の６段目で示されるように、演算回路５４が、メモリ部５５のバンク（第１バンク）７２−１に格納されている画素信号Ｐ１−１を読み出し（ステップＳ２０）、動作Ｅ１２の３段目で示されるように、画素信号Ｐ１−２と加算する演算により、画素信号Ｐ１ａを生成する（ステップＳ２１）。さらに、動作Ｅ１２の５段目で示されるように、演算回路５４は、演算した画素信号Ｐ１ａをメモリ部５５のバンク（第１バンク）７２−１に書き込む（ステップＳ２２）。
また、動作Ｅ１２の２段目で示されるように、画素信号Ｐ１−２が蓄積されたタイミングから所定の時間が経過すると、画像Ｐ１の必要な露光時間が４分割された３番目の分割露光時間の画素信号Ｐ１−３が受光素子アレイ５２に蓄積される（ステップＳ１３）。
動作Ｅ１２の上から３段目で示されるように、受光素子アレイ５２に蓄積された画素信号Ｐ１−３がA/D変換回路５３によりデジタル信号に変換される（ステップＳ１５乃至Ｓ１９）。
動作Ｅ１２の６段目で示されるように、演算回路５４が、メモリ部５５のバンク（第１バンク）７２−１に格納されている画素信号Ｐ１ａを読み出し（ステップＳ２０）、動作Ｅ１２の４段目で示されるように、画素信号Ｐ１−３と加算する演算により、画素信号Ｐ１ｂを生成する（ステップＳ２１）。さらに、動作Ｅ１２の５段目で示されるように、演算回路５４は、演算した画素信号Ｐ１ｂをメモリ部５５のバンク（第１バンク）７２−１に書き込む（ステップＳ２２）。
以下同様に、動作Ｅ１２の２段目で示されるように、画素信号Ｐ１−３が蓄積されたタイミングから所定の時間が経過すると、画像Ｐ１の必要な露光時間が４分割された４番目の分割露光時間の画素信号Ｐ１−４が受光素子アレイ５２に蓄積される（ステップＳ１３）。
動作Ｅ１２の上から３段目で示されるように、受光素子アレイ５２に蓄積された画素信号Ｐ１−４がA/D変換回路５３によりデジタル信号に変換される（ステップＳ１５乃至Ｓ１９）。
動作Ｅ１２の６段目で示されるように、演算回路５４が、メモリ部５５のバンク（第１バンク）７２−１に格納されている画素信号Ｐ１ｂを読み出し（ステップＳ２０）、動作Ｅ１２の４段目で示されるように、画素信号Ｐ１−４と加算する演算により、画素信号Ｐ１を生成する（ステップＳ２１）。さらに、動作Ｅ１２の５段目で示されるように、演算回路５４は、演算した画素信号Ｐ１をメモリ部５５のバンク（第１バンク）７２−１に書き込む（ステップＳ２２）。
尚、動作Ｅ１２の８段目および９段目で示されるように、最初の垂直同期信号ＶＳＹＮＣの同期期間（Ｖ同期期間Ｔｖ）の全期間には、直前となるメモリ部５５のバンク（第２バンク）７２−２に書き込まれている画像Ｐ０の画素信号が伝送部５６により読み出されて伝送される。
さらに、動作Ｅ１２の６段目および９段目で示されるように、２番目の垂直同期信号ＶＳＹＮＣの同期期間の全期間において、直前となるメモリ部５５のバンク（第１バンク）７２−１に書き込まれている画像Ｐ１の画素信号が伝送部５６により読み出されて伝送される。
また、以下同様に、２番目の垂直同期信号ＶＳＹＮＣの同期期間の全期間においては、最初の垂直同期信号ＶＳＹＮＣの同期期間において画像Ｐ２の画素信号が、３番目の垂直同期信号ＶＳＹＮＣの同期期間の全期間においては、最初の垂直同期信号ＶＳＹＮＣの同期期間において画像Ｐ３の画素信号が生成されて伝送される。
尚、この際、動作Ｅ１２の５段目乃至９段目で示されるように、垂直同期信号ＶＳＹＮＣの同期期間が切り替わる毎に、メモリ部５５のバンク（第１バンク）７２−１，（第２バンク）７２−２が順次切り替えられて（ステップＳ２５）使用される。
以上のような処理により、１フレームの画像を撮像する期間において、必要とされる露光時間を分割して分割露光時間を設定し、さらに、分割露光時間を所定の時間間隔で設定することで、撮像素子１４により発生する画素信号を１フレームの画像を撮像する期間内において分散して設定させることが可能となる。
結果として、１フレームの画像を撮像する期間において、分散して設定された分割露光時間で撮像された信号を積算して画素信号が構成されることで、総露光時間である、必要とされる露光時間が短縮されても、ジャーキネスを抑制することが可能となる。
また、光学的な集光限界（エアリーディスク）の広がりを抑制することができるので、単位画素の大きさに集光しきれずにピントが合わなくなる、小絞りボケと呼ばれる現象を抑制することが可能となる。
さらに、繰り返し蓄積して画素信号を生成することが可能となるので、撮像素子１４により蓄積される電荷の飽和量に対して分割数倍の飽和量とすることが可能となる。結果として、明るいシーンを撮像するような場合にでも、NDフィルタなどをつけることなく、適切に高ダイナミックレンジな画像を撮像することが可能となる。また、ゲインを下げることにより調整されるISO感度を低くした状態での撮像が可能となるので、絞りを解放側に設定した撮像が可能となり、明るいシーンでも、被写界深度を浅くした、いわゆるボケ味を付けた撮像が可能となる。
＜露光制御処理＞
次に、図９のフローチャートを参照して、露光制御処理について説明する。
ステップＳ４１において、カメラ制御部１８は、信号レベル検出部１７より供給されてくる直前のフレームの画素信号の信号レベルが最適レベルであるか否かを判定する。ここでは、最適レベルであるとは、過露光していない信号レベルであることを示す。ステップＳ４１において、信号レベルが過露光であり、最適ではないと判定された場合、処理は、ステップＳ４２に進む。
ステップＳ４２において、カメラ制御部１８は、現在の撮像画像モードが静止画である静止画モードであるか否かを判定する。本技術を適用した撮像装置は、静止画像と動画像とのいずれかを撮像することができ、それぞれの撮像モードを静止画モードと動画像モードと称する。ステップＳ４２において、例えば、静止画モードではなく、すなわち、動画モードであると判定された場合、処理は、ステップＳ４３に進む。
ステップＳ４３において、カメラ制御部１８は、撮像に係る動作モードが、シャッタスピード優先であるか否かを判定する。動作モードには、シャッタスピードに合わせて絞りを調整するシャッタスピード優先モードと、絞りに合わせてシャッタスピードを調整する絞り優先モードが存在する。
ステップＳ４３において、例えば、シャッタスピード優先ではない、すなわち、絞り優先モードである場合、処理は、ステップＳ４４に進む。
ステップＳ４４において、カメラ制御部１８は、分割露光時間の設定を、総露光時間を短縮する設定に変更する。すなわち、過露光であるため、シャッタスピードをより高速にして、露光時間がより短時間露光に設定変更される。この場合、総露光時間が短くなるので、分割露光時間についても同様の比率で短縮される。しかしながら、１フレームの画像を生成する期間については、垂直同期信号ＶＳＹＮＣの同期期間となるため、分割露光時間として設定された期間の間隔が長くなるので、ステップＳ１２，Ｓ２２における露光しない期間が長くなる。結果として、分割露光時間として設定される期間が、垂直同期信号ＶＳＹＮＣの同期期間において、より疎らな状態に設定され、総露光時間が短縮される。
一方、ステップＳ４３において、シャッタスピード優先であると判定された場合、処理は、ステップＳ４５に進む。
ステップＳ４５において、カメラ制御部１８は、絞り機構部１１の絞り開度をより狭く入射光量を抑制するように制御する。
また、ステップＳ４２において、静止画であると判定された場合、処理は、ステップＳ４６に進む。
ステップＳ４６において、カメラ制御部１８は、シャッタスピード優先であるか否かを判定し、シャッタスピード優先でではない、すなわち、絞り優先である場合、ステップＳ４７において、シャッタスピードを制御する。尚、この例においては、静止画において、露光時間は分割されないことを前提とした処理とするため、従来において説明した処理と同様に、１回の露光時間の総露光時間が短く設定される。
一方、ステップＳ４５にシャッタスピード優先である場合、処理は、ステップＳ４８に進み、カメラ制御部１８は、絞り機構部１１の絞り開度をより狭くして入射光量を抑制するように設定を変更させる。
従来においては、被写体の明るさが明るすぎるような動画像を撮像する場合、図１０の上段で示されるように、ジャーキネスによる動きの不自然さを回避するため、まずは絞り開度を狭くすることで画像の明るさを抑制する。すなわち、この場合、動作モードは、シャッタスピード優先モードとされる。
尚、図１０においては、横軸が入射光の光量であり、縦軸の実線の波形Ａ１、Ａ２が絞り開度の制御量を示し、制御量が大きいほど絞り開度が狭くなることを表す。また、縦軸の２点鎖線の波形Ｓ１，Ｓ２が、シャッタスピードの制御量を示し、シャッタスピードの制御量が大きいほどシャッタスピードが高速、すなわち、露光時間がより短時間にされ、本技術を適用した場合、分割露光時間として設定される期間が、垂直同期信号ＶＳＹＮＣの同期期間内において、疎らな状態とされることを表す。
この後、光量が高い場合、光の集光範囲の物理的制限により、それぞれの画素の大きさよりも広い範囲に集光してしまうことで解像度が劣化する、いわゆる“小絞りボケ”の現象が目立つ光量Ｌ１０１まで絞り開度が狭くなると、絞り開度の制御を抑えて、ジャーキネスを許容できる範囲まで、シャッタスピードの制御量を上げて、より高速のシャッタスピード、すなわち、より露光時間が短時間にされるように設定される。
さらに、光量が高い場合、ジャーキネスにより、動きの不自然さが目立つ光量Ｌ１０２までシャッタスピードの制御量を上げて、より高速のシャッタスピードにした後、小絞りボケを許容し、再度絞り開度を狭くすることで、動画像として撮像されるフレーム画像の画質のバランスを取るような制御がなされていた。
一方、本技術においては、図１０の下段で示されるように、シャッタスピードをより高速に設定しても、ジャーキネスの発生が抑えられるため、小絞りボケによる解像度劣化がより目立たない段階で、シャッタスピードを短くすることが可能となり、動画像として撮像されるフレーム画像の画質のバランスの選択の幅を向上させることが可能となる。
また、映像表現として、シャッタスピードまたは絞り開度をユーザが固定にして撮像する際にも、シャッタスピードをより高速にしても、分割露光時間が設定される実時間の範囲を長くとることが可能であるため、ユーザの設定で、より自由な撮像を実現することが可能となる。
すなわち、従来においては、シャッタスピードが高速になりすぎると、図１１の上段における動画像のフレーム画像Ｐ１０１乃至Ｐ１０４で示されるように、図中の右方向に移動する車両は、固定されたタイミングで高速に撮像されることから、ボケの少ない鮮明な画像として撮像されている。
しかしながら、このように撮像されることから、連続的にフレーム画像Ｐ１０１乃至Ｐ１０４が再生されても、連続性のあるスムーズな流れを表現することができず、いわゆるジャーキネスが生じる恐れがあった。
これに対して、本技術を適用した場合、総露光時間が分割された分割露光時間が、垂直同期信号ＶＳＹＮＣの同期期間において、所定の間隔で疎らに設定されることにより、図１１の下段のフレーム画像Ｐ１１１乃至Ｐ１１４で示されるように、個々のフレーム画像内において、必要とされる総露光時間を変えることなく、動きに応じたボケが付された画像が、連続的に撮像される。結果として、フレーム画像Ｐ１１１乃至Ｐ１１４が連続的に動画像として再生される場合、いずれも被写体である車の動きに応じたボケが付された画像であるので、画像間に連続性が認められ、ジャーキネスを抑制することが可能となる。
また、上述したように、従来の処理では、シャッタスピードが高速になりすぎると、図１１の上段における動画像のフレーム画像Ｐ１０１乃至Ｐ１０４で示されるように、各フレーム画像Ｐ１０１乃至Ｐ１０４に図中の右方向に移動する車両は、固定されたタイミングで高速に撮像されることから、ボケの少ない鮮明な画像として撮像されるので、静止画モードにおいては、従来の処理によりボケの少ない鮮明な静止画を撮像することが可能となる。
＜受光素子の変形例＞
以上においては、撮像素子１４において、受光素子Ｐ１乃至Ｐｎは、いずれも分割露光時間において画素信号を生成するとA/D変換回路１０１に供給し、メモリ部５５においてデジタル信号に変換された画素信号を蓄積する例について説明してきた。しかしながら、分割露光時間において生成された画素信号は、デジタル信号でなくてもよく、例えば、受光素子Ｐ１乃至Ｐｎのそれぞれにおいて、アナログ信号のまま蓄積するようにしてもよい。
図１２は、分割露光時間において生成された画素信号は、デジタル信号でなくてもよく、例えば、受光素子Ｐ１乃至Ｐｎのそれぞれにおいて、総露光時間分の画素信号をアナログ信号のまま蓄積した後、A/D変換回路５３に出力して、デジタル信号に変換するようにした受光素子Ｐ１乃至Ｐｎの構成例である。尚、図４を参照して説明した受光素子の構成と同一の機能を備えた構成については、同一の符号、および同一の名称を付しているので、その説明は適宜省略するものとする。
すなわち、図１２の受光素子において、図４の受光素子と異なる点は、新たにフォトダイオードリセットトランジスタＰＲＳＴ、蓄積転送トランジスタＣＴＧ、および蓄積部ＣＡＰを設けた点である。
フォトダイオードリセットトランジスタＰＲＳＴは、フォトダイオードＰＤに蓄積された電荷を排出するためのトランジスタであり、オンのとき、フォトダイオードＰＤの電荷を排出する。
蓄積転送トランジスタＣＴＧは、分割露光時間にフォトダイオードＰＤに蓄積された電荷を順次蓄積部ＣＡＰに転送する。
蓄積部ＣＡＰは、分割露光時間にフォトダイオードＰＤで蓄積された電荷を順次蓄積し、総露光時間分だけ蓄積された電荷を、転送トランジスタＴＧを介してフローティングディフュージョンＦＤに転送する。
＜図１２の受光素子の動作＞
次に、図１３のタイミングチャートを参照して、図１２の受光素子の動作について説明する。尚、図１３のタイミングチャートにおいては、露光時間が４分割される場合の例である。また、図１３において、上から垂直同期信号ＶＳＹＮＣ、フォトダイオードリセット信号ＰＲＳＴのタイミング、蓄積転送信号ＣＴＧのタイミング、フォトダイオードＰＤに蓄積された画素値（ＰＤ画素値）、蓄積部ＣＡＰに蓄積された画素値（ＣＡＰ画素値）、リセット信号ＲＳＴのタイミング、転送信号ＴＧのタイミング、および選択信号ＳＥＬのタイミング、並びにフローティングディフュージョンＦＤに蓄積された画素値（ＦＤ画素値）を表したものであり、横軸は時間である。
従って、フォトダイオードリセット信号ＰＲＳＴ、蓄積転送信号ＣＴＧ、リセット信号ＲＳＴ、転送信号ＴＧ、および選択信号ＳＥＬがＨｉのタイミングにおいて、図１２のフォトダイオードリセットトランジスタＰＲＳＴ、蓄積転送トランジスタＣＴＧ、リセットトランジスタＲＳＴ、転送トランジスタＴＧ、および選択トランジスタＳＥＬがオンの状態とされ、それ以外のタイミングにおいてはオフとされる。
すなわち、図１３の最上段乃至３段目、６段目、および７段目で示されるように、垂直同期信号ＶＳＹＮＣの同期期間となる時刻ｔ１０１より所定の時間が経過した時刻ｔ１１１（＝ｔ１２１＝ｔ１３１＝ｔ１４１）において、フォトダイオードリセット信号ＰＲＳＴ、蓄積転送信号ＣＴＧ、リセット信号ＲＳＴ、転送信号ＴＧが、全てＨｉとされる。これにより、フォトダイオードリセットトランジスタＰＲＳＴ、蓄積転送トランジスタＣＴＧ、リセットトランジスタＲＳＴ、転送トランジスタＴＧが全てオンにされ、フォトダイオードＰＤ、蓄積部ＣＡＰ、およびフローティングディフュージョンＦＤが全てリセットされ、受光素子アレイ５２により最初の露光が開始される。
次に、図１３の上から３段目乃至５段目で示されるように、時刻ｔ１１１より分割露光時間が経過した時刻ｔ１２２において、蓄積転送信号ＣＴＧがＨｉとされることにより、蓄積転送トランジスタＣＴＧが極短時間オンとされ、フォトダイオードＰＤに蓄積されていた画素が、蓄積部ＣＡＰに転送され、総露光時間の最初の１／４の分割露光時間における画素値が蓄積される。
この後、図１３の最上段、２段目、および４段目で示されるように、蓄積転送トランジスタＣＴＧがオフとされた時刻ｔ１２２より、所定の時間が経過した時刻ｔ１１２において、フォトダイオードリセット信号がＨｉとされて、フォトダイオードリセットトランジスタＰＲＳＴがオンにされて、フォトダイオードＰＤに残留していた電荷が排出されてリセットされ、２番目の分割露光時間の露光が開始される。
図１３の上から３段目乃至５段目で示されるように、２番目の分割露光が開始された時刻ｔ１１２より、分割露光時間が経過した時刻ｔ１２３において、蓄積転送信号ＣＴＧが極短時間Ｈｉとされることにより、蓄積転送トランジスタＣＴＧが極短時間オンとされ、フォトダイオードＰＤに蓄積されていた画素が、蓄積部ＣＡＰに転送され、総露光時間の２番目の１／４の分割露光時間における画素値が加算されて蓄積される。
以降、同様の処理が繰り返されて、時刻ｔ１１３乃至ｔ１２４、および時刻ｔ１１４乃至ｔ１２５において、３回目、および４回目の分割露光時間における画素値が、時刻ｔ１２５において蓄積部ＣＡＰに蓄積される。
次の垂直同期信号ＶＳＹＮＣの同期期間の開始時刻であるｔ１０２が経過した後、所定の時間が経過すると、図１３の８段目で示されるように、時刻ｔ１３２において、選択信号ＳＥＬがＨｉにされることにより、選択トランジスタＳＥＬがオンとされ、このタイミングで、図１３の６段目で示されるように、極短時間リセット信号ＲＳＴがＨｉとされる。
これによりリセットトランジスタＲＳＴがオンとされ、フローティングディフュージョンＦＤがリセットされ、このリセット時の暗電流によるスイッチノイズを含むリセット信号がA/D変換回路１０１に供給されて、デジタル信号に変換される。さらに、図１３の７段目および９段目で示されるように、時刻ｔ１４２において転送信号ＴＧが極短時間Ｈｉとされることにより、蓄積部ＣＡＰに蓄積されていた総露光時間のアナログ信号からなる画素信号がフローティングディフュージョンＦＤに転送される。このとき、選択トランジスタＳＥＬは、オンの状態となっているので、総露光時間分だけ露光により生成されたアナログ信号からなる画素信号が、A/D変換回路１０１に転送され、デジタル信号に変換されて、フレームメモリ１０２に蓄積される。
すなわち、このような処理により、分割露光時間において蓄積されたアナログ信号からなる画素信号を、総露光時間分だけ加算した後、デジタル信号に変換して出力することが可能となる。結果として、本技術に係る上述した効果に加えて、演算回路５４の負荷を低減することが可能となる。また、受光素子内に蓄積部ＣＡＰが設けられることにより、図４におけるフレームメモリ１０２を省略しても、分割露光による画素信号の生成を実現することが可能となる。
従って、受光素子の構成に関しては、図４を参照して説明したデジタル信号に変換された画素信号を蓄積するフレームメモリ１０２を内蔵型に加えて、図１２を参照して説明した画素内に蓄積部ＣＡＰを備えた構成とするようにしてもよい。
尚、以上においては、必要とされる露光時間を均等に分割した例について説明してきたが、必ずしも均等に分割されていなくてもよく、分割露光時間の積算時間が、必要とされる露光時間となるように分割されていれば、不均等に分割された分割露光時間であってもよい。また、分割露光時間の間隔、すなわち、露光されない時間についても均等でなくてもよい。さらに、以上においては、必要とされる露光時間の分割数は、２回、または４回の場合について説明してきたが、分割数は、さらに多くするようにしてもよく、例えば、PWM（Pulse Width Modulation）制御などを利用して、分割露光時間が設定される期間をレートコントロールにより制御するようにしてもよい。
以上のような処理により、露光時間を複数に分割し、それぞれの分割露光時間におけるシャッタスピードを可変にすることで、総露光時間を短くしながら、実時間の露光を長くすることが可能となり、動画像モードにおける短シャッタ時のジャーキネスを抑制することで、撮像されるフレーム画像の画質を向上させることが可能となる。
また、これにより、シャッタスピードを、光量を落とすために使用することが可能となり、撮像装置としては、NDフィルタ等の光量を落とすアタッチメントを付け替えることなく、感度を落とした撮像が可能となるので、ユーザの操作性を向上させることが可能となる。
さらに、静止画撮像時には、従来のように露光時間を短くする動作に切り替えることで、動体のボケを押さえる効果を出すことが可能であり、動画モードと静止画モードとの、それぞれ撮像対象や表現方法が異なる場合に最適なシャッタ制御を行うことが可能となる。
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
図１４は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
尚、本技術は、以下のような構成も取ることができる。
（１） 露光時間を可変にして光電変換により画素信号を発生する撮像素子と、
前記撮像素子により発生された画素信号を蓄積する蓄積部とを含み、
前記撮像素子は、１フレームの画像の撮像時間内に、所定の時間間隔で、前記画像の撮像に必要とされる必要露光時間を複数に分割した分割露光時間毎に光電変換により画素信号を繰り返し発生し、
前記蓄積部は、前記撮像素子により発生された前記画素信号を蓄積し、前記必要露光時間だけ蓄積した画素信号を出力する
イメージセンサ。
（２） 前記撮像素子により出力されるアナログ信号からなる画素信号をデジタル信号に変換する変換部をさらに含み、
前記蓄積部は、前記変換部によりデジタル信号に変換された画素信号を蓄積する
（１）に記載のイメージセンサ。
（３）
前記分割露光時間毎に前記撮像素子により前記画素信号が生成されるとき、前記蓄積部に蓄積された画素信号を読み出して、前記変換部によりデジタル信号に変換された画素信号を加算し、前記蓄積部に書き戻す演算部をさらに含む
（２）に記載のイメージセンサ。
（４） 前記蓄積部より出力される画素信号の信号レベルに基づいて、前記分割露光時間を決定する分割露光時間決定部をさらに含む
（１）乃至（３）のいずれかに記載のイメージセンサ。
（５） 前記分割露光時間決定部は、所定の絞り開度で動画像を撮像する場合、前記蓄積部より出力される画素信号の信号レベルが飽和するとき、前記分割露光時間を所定時間だけ短くさせる
（４）に記載のイメージセンサ。
（６） 前記蓄積部は、前記撮像素子内に設けられる
（１）に記載のイメージセンサ。
（７） 前記蓄積部は、前記画素信号をアナログ信号のまま蓄積する
（６）に記載のイメージセンサ。
（８） 露光時間を可変にして光電変換により画素信号を発生する撮像素子と、
前記撮像素子により発生された画素信号を蓄積する蓄積部とを含むイメージセンサの動作方法において、
前記撮像素子が、１フレームの画像の撮像時間内に、所定の時間間隔で、前記画像の撮像に必要とされる必要露光時間を複数に分割した分割露光時間毎に光電変換により画素信号を繰り返し発生し、
前記蓄積部が、前記撮像素子により発生された前記画素信号を蓄積し、前記必要露光時間だけ蓄積した画素信号を出力する
イメージセンサの動作方法。
（９） 露光時間を可変にして光電変換により画素信号を発生する撮像素子と、
前記撮像素子により発生された画素信号を蓄積する蓄積部とを含むイメージセンサの動作を制御するコンピュータに、
前記撮像素子が、１フレームの画像の撮像時間内に、所定の時間間隔で、前記画像の撮像に必要とされる必要露光時間を複数に分割した分割露光時間毎に光電変換により画素信号を繰り返し発生し、
前記蓄積部が、前記撮像素子により発生された前記画素信号を蓄積し、前記必要露光時間だけ蓄積した画素信号を出力する
ステップを含む処理を実行させるプログラム。
（１０） 露光時間を可変にして光電変換により画素信号を発生する撮像素子と、
前記撮像素子により発生された画素信号を蓄積する蓄積部とを含み、
前記撮像素子は、１フレームの画像の撮像時間内に、所定の時間間隔で、前記画像の撮像に必要とされる必要露光時間を複数に分割した分割露光時間毎に光電変換により画素信号を繰り返し発生し、
前記蓄積部は、前記撮像素子により発生された前記画素信号を蓄積し、前記必要露光時間だけ蓄積した画素信号を出力する
撮像装置。
（１１） 露光時間を可変にして光電変換により画素信号を発生する撮像素子と、
前記撮像素子により発生された画素信号を蓄積する蓄積部とを含み、
前記撮像素子は、１フレームの画像の撮像時間内に、所定の時間間隔で、前記画像の撮像に必要とされる必要露光時間を複数に分割した分割露光時間毎に光電変換により画素信号を繰り返し発生し、
前記蓄積部は、前記撮像素子により発生された前記画素信号を蓄積し、前記必要露光時間だけ蓄積した画素信号を出力する
電子機器。
１１ 絞り機構部， １２ 絞り駆動部， １３ レンズ部， １４ 撮像素子， １５ RAW補正処理部， １６ カメラ信号処理部， １７ 信号レベル検出部， １８ カメラ制御部， １９ 画像表示処理部， ２０ 画像表示装置， ２１ 画像出力装置， ２２ 画像記録再生処理部， ２３ 画像記録装置， ５１ タイミング生成部， ５２ 受光素子アレイ， ５３ A/D変換回路， ５４ 演算回路， ５５ メモリ部， ５６ 伝送部， １０１ A/D変換回路， １０２ フレームメモリ

Claims (11)

  1. 露光時間を可変にして光電変換により画素信号を発生する撮像素子と、
    前記撮像素子により発生された画素信号を蓄積する蓄積部とを含み、
    前記撮像素子は、１フレームの画像の撮像時間内に、所定の時間間隔で、前記画像の撮像に必要とされる必要露光時間を複数に分割した分割露光時間毎に光電変換により画素信号を繰り返し発生し、
    前記蓄積部は、前記撮像素子により発生された前記画素信号を蓄積し、前記必要露光時間だけ蓄積した画素信号を出力する
    イメージセンサ。
  2. 前記撮像素子により出力されるアナログ信号からなる画素信号をデジタル信号に変換する変換部をさらに含み、
    前記蓄積部は、前記変換部によりデジタル信号に変換された画素信号を蓄積する
    請求項１に記載のイメージセンサ。
  3. 前記分割露光時間毎に前記撮像素子により前記画素信号が生成されるとき、前記蓄積部に蓄積された画素信号を読み出して、前記変換部によりデジタル信号に変換された画素信号を加算し、前記蓄積部に書き戻す演算部をさらに含む
    請求項２に記載のイメージセンサ。
  4. 前記蓄積部より出力される画素信号の信号レベルに基づいて、前記分割露光時間を決定する分割露光時間決定部をさらに含む
    請求項１に記載のイメージセンサ。
  5. 前記分割露光時間決定部は、所定の絞り開度で動画像を撮像する場合、前記蓄積部より出力される画素信号の信号レベルが飽和するとき、前記分割露光時間を所定時間だけ短くさせる
    請求項４に記載のイメージセンサ。
  6. 前記蓄積部は、前記撮像素子内に設けられる
    請求項１に記載のイメージセンサ。
  7. 前記蓄積部は、前記画素信号をアナログ信号のまま蓄積する
    請求項６に記載のイメージセンサ。
  8. 露光時間を可変にして光電変換により画素信号を発生する撮像素子と、
    前記撮像素子により発生された画素信号を蓄積する蓄積部とを含むイメージセンサの動作方法において、
    前記撮像素子が、１フレームの画像の撮像時間内に、所定の時間間隔で、前記画像の撮像に必要とされる必要露光時間を複数に分割した分割露光時間毎に光電変換により画素信号を繰り返し発生し、
    前記蓄積部が、前記撮像素子により発生された前記画素信号を蓄積し、前記必要露光時間だけ蓄積した画素信号を出力する
    イメージセンサの動作方法。
  9. 露光時間を可変にして光電変換により画素信号を発生する撮像素子と、
    前記撮像素子により発生された画素信号を蓄積する蓄積部とを含むイメージセンサの動作を制御するコンピュータに、
    前記撮像素子が、１フレームの画像の撮像時間内に、所定の時間間隔で、前記画像の撮像に必要とされる必要露光時間を複数に分割した分割露光時間毎に光電変換により画素信号を繰り返し発生し、
    前記蓄積部が、前記撮像素子により発生された前記画素信号を蓄積し、前記必要露光時間だけ蓄積した画素信号を出力する
    ステップを含む処理を実行させるプログラム。
  10. 露光時間を可変にして光電変換により画素信号を発生する撮像素子と、
    前記撮像素子により発生された画素信号を蓄積する蓄積部とを含み、
    前記撮像素子は、１フレームの画像の撮像時間内に、所定の時間間隔で、前記画像の撮像に必要とされる必要露光時間を複数に分割した分割露光時間毎に光電変換により画素信号を繰り返し発生し、
    前記蓄積部は、前記撮像素子により発生された前記画素信号を蓄積し、前記必要露光時間だけ蓄積した画素信号を出力する
    撮像装置。
  11. 露光時間を可変にして光電変換により画素信号を発生する撮像素子と、
    前記撮像素子により発生された画素信号を蓄積する蓄積部とを含み、
    前記撮像素子は、１フレームの画像の撮像時間内に、所定の時間間隔で、前記画像の撮像に必要とされる必要露光時間を複数に分割した分割露光時間毎に光電変換により画素信号を繰り返し発生し、
    前記蓄積部は、前記撮像素子により発生された前記画素信号を蓄積し、前記必要露光時間だけ蓄積した画素信号を出力する
    電子機器。
JP2013250116A 2013-12-03 2013-12-03 イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラム Pending JP2015109503A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013250116A JP2015109503A (ja) 2013-12-03 2013-12-03 イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラム
US14/551,493 US20150156387A1 (en) 2013-12-03 2014-11-24 Image sensor, image sensor operation method, and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013250116A JP2015109503A (ja) 2013-12-03 2013-12-03 イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2015109503A true JP2015109503A (ja) 2015-06-11

Family

ID=53266367

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013250116A Pending JP2015109503A (ja) 2013-12-03 2013-12-03 イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラム

Country Status (2)

Country Link
US (1) US20150156387A1 (ja)
JP (1) JP2015109503A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016119652A (ja) * 2014-12-17 2016-06-30 キヤノン株式会社 撮像装置及び撮像素子の駆動方法
WO2018012068A1 (ja) * 2016-07-12 2018-01-18 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
JPWO2017183451A1 (ja) * 2016-04-21 2018-11-08 パナソニックＩｐマネジメント株式会社 撮像装置及びそれを備えたカメラシステム
US10142574B2 (en) 2016-07-29 2018-11-27 Canon Kabushiki Kaisha Imaging device, imaging system, and moving object
US10623642B2 (en) 2017-06-13 2020-04-14 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof with change, in exposure period for generating frame, of conversion efficiency
JP2020065236A (ja) * 2018-10-19 2020-04-23 キヤノン株式会社 撮像装置及び撮像素子の駆動方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9723233B2 (en) 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
US9549158B2 (en) 2012-04-18 2017-01-17 Brightway Vision Ltd. Controllable single pixel sensors
WO2013157001A1 (en) 2012-04-18 2013-10-24 Brightway Vision Ltd. Mulitple gated pixel per readout
JP6077786B2 (ja) * 2012-08-22 2017-02-08 キヤノン株式会社 撮像装置
JP2015109502A (ja) * 2013-12-03 2015-06-11 ソニー株式会社 イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラム
JP6549409B2 (ja) * 2015-05-13 2019-07-24 オリンパス株式会社 撮像装置、撮像方法、およびプログラム
JP6466786B2 (ja) * 2015-06-12 2019-02-06 オリンパス株式会社 撮像装置、撮像方法およびプログラム
FR3042912A1 (fr) 2015-10-26 2017-04-28 Stmicroelectronics (Grenoble 2) Sas Capteur d'images a grande gamme dynamique
US9800807B2 (en) 2016-02-26 2017-10-24 Intel Corporation Image sensor operation for shutter modulation and high dynamic range
US9998693B2 (en) 2016-02-26 2018-06-12 Stmicroelectronics (Grenoble 2) Sas Image sensor adapted to blinking sources
CN113225498A (zh) * 2016-03-24 2021-08-06 株式会社尼康 摄像元件和摄像装置
US10469775B2 (en) * 2017-03-31 2019-11-05 Semiconductor Components Industries, Llc High dynamic range storage gate pixel circuitry
JP2018182554A (ja) * 2017-04-14 2018-11-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および固体撮像装置の制御方法、並びに電子機器
JP7062430B2 (ja) 2017-12-15 2022-05-06 キヤノン株式会社 撮像素子、撮像装置および画像処理方法
US11176652B2 (en) * 2019-04-05 2021-11-16 Waymo Llc High bandwidth camera data transmission

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4357471B2 (ja) * 2005-09-30 2009-11-04 三洋電機株式会社 画像取得装置及びプログラム
US20090135295A1 (en) * 2007-11-20 2009-05-28 Keiji Kunishige Imaging device and control method for imaging device
US8228400B2 (en) * 2009-04-17 2012-07-24 Sony Corporation Generation of simulated long exposure images in response to multiple short exposures
JP6046905B2 (ja) * 2012-04-02 2016-12-21 キヤノン株式会社 撮像装置、露出制御方法、及びプログラム
US9094628B2 (en) * 2013-10-27 2015-07-28 Raytheon Company Address mapped repartitioned digital pixel

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016119652A (ja) * 2014-12-17 2016-06-30 キヤノン株式会社 撮像装置及び撮像素子の駆動方法
JPWO2017183451A1 (ja) * 2016-04-21 2018-11-08 パナソニックＩｐマネジメント株式会社 撮像装置及びそれを備えたカメラシステム
WO2018012068A1 (ja) * 2016-07-12 2018-01-18 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
US10142574B2 (en) 2016-07-29 2018-11-27 Canon Kabushiki Kaisha Imaging device, imaging system, and moving object
US10623642B2 (en) 2017-06-13 2020-04-14 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof with change, in exposure period for generating frame, of conversion efficiency
JP2020065236A (ja) * 2018-10-19 2020-04-23 キヤノン株式会社 撮像装置及び撮像素子の駆動方法
JP7252730B2 (ja) 2018-10-19 2023-04-05 キヤノン株式会社 撮像制御装置及び撮像素子の駆動方法

Also Published As

Publication number Publication date
US20150156387A1 (en) 2015-06-04

Similar Documents

Publication Publication Date Title
JP2015109503A (ja) イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラム
US8736748B2 (en) Image capturing apparatus and control method controlling exposure time of image sensor
WO2016072289A1 (ja) 撮像素子および駆動方法、並びに電子機器
JP6580118B2 (ja) 撮像素子および撮像装置
JP2007020156A (ja) 撮像装置及び撮像システム
JP2010147816A (ja) 撮像装置及びその制御方法
US20130329090A1 (en) Image capturing apparatus and control method thereof
US11290648B2 (en) Image capture apparatus and control method thereof
JP2014154982A (ja) 撮像装置およびその制御方法
JP2011259492A (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
US8325246B2 (en) Imaging apparatus and imaging method capable of imaging at a low frame rate
US11095815B2 (en) Image processing apparatus and method
US10924693B2 (en) Image sensor and image capturing apparatus
JP2014146850A (ja) 撮像装置およびその制御方法
US20180234605A1 (en) Imaging element and imaging apparatus
JP5340374B2 (ja) 撮像装置及び撮像システム
JP2015109502A (ja) イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラム
JP6362099B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6057630B2 (ja) 撮像装置
JP7234015B2 (ja) 撮像装置およびその制御方法
JP2014057189A5 (ja)
JP2020022034A (ja) 撮像素子、撮像装置および制御方法
JP2019004257A (ja) 撮像装置及びその制御方法
US11368610B2 (en) Image capture apparatus and control method therefor
JP6302217B2 (ja) 撮像装置及びその制御方法