JP2018011162A - 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 - Google Patents

固体撮像素子、撮像装置、および、固体撮像素子の制御方法 Download PDF

Info

Publication number
JP2018011162A
JP2018011162A JP2016138087A JP2016138087A JP2018011162A JP 2018011162 A JP2018011162 A JP 2018011162A JP 2016138087 A JP2016138087 A JP 2016138087A JP 2016138087 A JP2016138087 A JP 2016138087A JP 2018011162 A JP2018011162 A JP 2018011162A
Authority
JP
Japan
Prior art keywords
data
gain
image
unit
time exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016138087A
Other languages
English (en)
Inventor
乾一 佐野
Kenichi Sano
乾一 佐野
文仁 安間
Fumihito Yasuma
文仁 安間
亮 広野
Akira Hirono
亮 広野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016138087A priority Critical patent/JP2018011162A/ja
Priority to PCT/JP2017/013518 priority patent/WO2018012051A1/ja
Priority to US16/314,548 priority patent/US10652476B2/en
Publication of JP2018011162A publication Critical patent/JP2018011162A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767—Horizontal readout lines, multiplexers or registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】複数の画像を合成する撮像装置において、露光時間を長くすることを目的とする。【解決手段】ゲイン処理部は、複数の画像信号のそれぞれを互いに異なるゲインにより増減する。アナログデジタル変換部は、増減された複数の画像信号に対するアナログデジタル変換により複数の画像データを生成する。演算部は、複数の画像データのいずれかである短時間露光データに前記ゲインの比率を乗算したデータと複数の画像データのうち短時間露光データに該当しないデータとを加算して長時間露光データとして出力する。合成部は、短時間露光データと長時間露光データとを所定の合成比率により合成する。【選択図】図１０

Description

本技術は、固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。詳しくは、複数の画像データを合成する固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。
従来より、撮像装置においては、通常より広いダイナミックレンジを実現するために、ＨＤＲ（High Dynamic Range）合成と呼ばれる画像合成技術が用いられている。例えば、露光時間の比較的長い露光により画像を撮像した後に、露光時間の比較的短い露光により画像を撮像し、それらの画像を合成する撮像装置が提案されている（例えば、特許文献１参照。）。
特開２００９−８８９２７号公報
上述の従来技術では、撮像時の周辺光量が少なく、絞り値を調整しても十分な輝度の合成画像が得られない場合には露光時間を長くする必要がある。しかしながら、上述の従来技術では、一定の撮像間隔で複数の合成画像を撮像する際に、その撮像間隔以上の露光時間を設定することはできない。また、合成画像を１枚のみ撮像する際であっても、露光時間を長くし過ぎると、被写体が動いた際にブレが生じて画質が低下するおそれがある。このように、上述の撮像装置では、露光時間を長くすることが困難であるという問題がある。
本技術はこのような状況に鑑みて生み出されたものであり、複数の画像を合成する撮像装置において、露光時間を長くすることを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、複数の画像信号のそれぞれを互いに異なるゲインにより増減するゲイン処理部と、上記増減された複数の画像信号に対するアナログデジタル変換により複数の画像データを生成するアナログデジタル変換部と、上記複数の画像データのいずれかである短時間露光データに上記ゲインの比率を乗算したデータと上記複数の画像データのうち上記短時間露光データに該当しないデータとを加算して長時間露光データとして出力する演算部と、上記短時間露光データと上記長時間露光データとを所定の合成比率により合成する合成部とを具備する固体撮像素子、および、その制御方法である。これにより、短時間露光データにゲインの比率を乗算したデータと短時間露光データに該当しないデータとが加算されるという作用をもたらす。
また、この第１の側面において、所定方向に複数の画素がそれぞれに配列された所定数のラインが設けられた画素アレイ部をさらに具備し、上記ゲイン処理部は、上記所定数のラインのうち特定のラインからの画素信号を第１のゲインにより増減する第１のアンプと、上記所定数のラインのうち上記特定のラインに該当しないラインからの画素信号を第２のゲインにより増減する第２のアンプとを備えてもよい。これにより、特定のラインの画像信号と、それ以外のラインの画像信号とが第１および第２のゲインにより増減されるという作用をもたらす。
また、この第１の側面において、上記アナログデジタル変換部は、上記第１のアンプにより増減された画素信号に対するアナログデジタル変換により第１の画素データを生成する第１のアナログデジタル変換器と、上記第２のアンプにより増減された画素信号に対するアナログデジタル変換により第２の画素データを生成する第２のアナログデジタル変換器とを備えてもよい。これにより、第１および第２の画素データが生成されるという作用をもたらす。
また、この第１の側面において、第１の露光終了時刻が経過すると上記所定数のラインを順に駆動して上記画素信号を出力させ、上記所定数のラインの出力が完了する前の第２の露光終了時刻が経過すると上記所定数のラインを順に駆動して上記画素信号を出力させるドライバをさらに具備してもよい。これにより、上記所定数のラインの出力が完了する前に、それらのラインが順に駆動するという作用をもたらす。
また、この第１の側面において、上記複数の画像信号は、第１および第２の画像信号を含み、上記ゲイン処理部は、上記第１の画像信号を第１のゲインにより増減し、上記第２の画像信号を第２のゲインにより増減し、上記アナログデジタル変換部は、上記第１および第２の画像信号に対するアナログデジタル変換により第１および第２の画像データを生成し、上記演算部は、上記第２の画像データを上記短時間露光データとして上記第１のゲインに対する上記第２のゲインの比率を上記短時間露光データに乗算したデータと上記第１の画像データとを加算して長時間露光データとして出力してもよい。これにより、第１のゲインに対する第２のゲインの比率を短時間露光データに乗算したデータと第１の画像データとが加算されるという作用をもたらす。
また、この第１の側面において、上記複数の画像信号は２枚より多くの画像信号を含み、上記合成部は、上記複数の画像信号の枚数より１つ少ない所定数の上記長時間露光データと上記短時間露光データとを合成し、上記演算部は、上記第２の画像データを上記短時間露光データとして上記第１のゲインに対する上記第２のゲインの比率を上記短時間露光データに乗算したデータと上記第１の画像データとを加算して上記長時間露光データとして出力する処理を上記所定数の回数に亘って行ってもよい。これにより、一定数の上記画像データのいずれかと一定数の画像データの残りの画像データのそれぞれに上記ゲインの比率を乗算したデータとが加算されるという作用をもたらす。
また、この第１の側面において、上記演算部は、上記複数の画像データのそれぞれに所定値を乗算する乗算部と、上記乗算された短時間露光データに上記ゲインの比率を乗算したデータと上記乗算された複数の画像データのうち上記短時間露光データに該当しないデータとを加算して上記長時間露光データとして出力する長時間データ演算部とを備えてもよい。これにより、複数の画像データのそれぞれに所定値が乗算されるという作用をもたらす。
また、本技術の第２の側面は、複数の画像信号のそれぞれを互いに異なるゲインにより増減するゲイン処理部と、上記増減された複数の画像信号に対するアナログデジタル変換により複数の画像データを生成するアナログデジタル変換部と、上記複数の画像データのいずれかである短時間露光データに上記ゲインの比率を乗算したデータと上記複数の画像データのうち上記短時間露光データに該当しないデータとを加算して長時間露光データとして出力する演算部と、上記短時間露光データと上記長時間露光データとを所定の合成比率により合成して合成フレームとして出力する合成部と、上記合成フレームに対して所定のデジタル信号処理を実行するデジタル信号処理部とを具備する固体撮像素子である。これにより、短時間露光データにゲインの比率を乗算したデータと短時間露光データに該当しないデータとが加算され、合成フレームに対して所定のデジタル信号処理が実行されるいう作用をもたらす。
本技術によれば、複数の画像を合成する撮像装置において、露光時間を長くすることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の積層構造の一例を示す図である。 本技術の第１の実施の形態における上層基板の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素アレイ部の一構成例を示す平面図である。 本技術の第１の実施の形態における画素ブロックの一構成例を示す回路図である。 本技術の第１の実施の形態における奇数ブロック行に対応する信号処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態における偶数ブロック行に対応する信号処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態における中層基板の一構成例を示す図である。 本技術の第１の実施の形態における下層基板の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の合成処理を説明するための図である。 比較例における画素の駆動タイミングについて説明するための図である。 本技術の第１の実施の形態における画素の駆動タイミングの一例を示す図である。 本技術の第１の実施の形態における露光比を１：８に設定した場合のモードごとの駆動タイミングを示す図である。 本技術の第１の実施の形態における露光比を１：２に設定した場合のモードごとの駆動タイミングを示す図である。 本技術の第１の実施の形態における露光比を１：１に設定した場合のモードごとの駆動タイミングを示す図である。 本技術の第１の実施の形態における固体撮像素子の動作の一例を示すフローチャートである。 本技術の第１の実施の形態の変形例におけるフレーム加算部の一構成例を示す図である。 本技術の第２の実施の形態における固体撮像素子の合成処理を説明するための図である。 本技術の第２の実施の形態における画素の駆動タイミングの一例を示す図である。 体内情報取得システムの概略的な構成の一例を示すブロック図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（ゲイン比を乗算してから２枚を加算する例）
２．第２の実施の形態（ゲイン比を乗算してから３枚以上を加算する例）
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、光学部１１０、固体撮像素子２００、ＤＳＰ（Digital Signal Processing）回路１２０、表示部１３０、操作部１４０、バス１５０、電源部１６０、記録部１７０およびフレームメモリ１８０を備える。
光学部１１０は、被写体からの入射光を集光して固体撮像素子２００に導くものである。光学部１１０は、例えば、複数のレンズ、絞り、および、シャッターなどにより構成される。
固体撮像素子２００は、入射光を光電変換して画像データを撮像するものである。この固体撮像素子２００は、フレーム加算モードおよびフレーム非加算モードのいずれかの動作モードで動作する。ここで、フレーム加算モードは、複数の画像データ（フレーム）を加算するモードであり、フレーム非加算モードは、フレームを加算しないモードである。フレーム加算モードにおいて固体撮像素子２００は、複数のフレームを加算し、その加算したデータと、加算前のフレームとを合成して合成フレームを生成する。一方、フレーム非加算モードにおいて固体撮像素子２００は、複数のフレームを合成して合成フレームを生成する。
また、固体撮像素子２００は、画像データを生成する際に、光電変換により生成したアナログの画素信号を、設定されたゲインにより増減する。
ＤＳＰ回路１２０は、固体撮像素子２００からの合成フレームに対して所定のデジタル信号処理を実行するものである。例えば、デモザイク処理、ホワイトバランス処理やフィルタ処理などを含む様々なデジタル信号処理が実行される。これらの処理において、ＤＳＰ回路１２０は、必要に応じて合成フレームをフレームメモリ１８０に保持させる。そして、ＤＳＰ回路１２０は、処理した合成フレームを表示部１３０や記録部１７０に出力する。なお、ＤＳＰ回路１２０は、特許請求の範囲に記載のデジタル信号処理部の一例である。
表示部１３０は、合成フレームや操作画面などを表示するものである。操作部１４０は、ユーザの操作に従って操作信号を生成するものである。この操作信号に従って、様々な設定値が固体撮像素子２００に設定される。この設定値は、露光比、ゲイン、動作モード、および、合成率などを含む。ここで、露光比は、合成される２つのフレームのそれぞれの露光時間の比率である。また、ゲインは、固体撮像素子２００内の画素の画素信号を増減する際の増減率である。
なお、露光比、ゲイン、動作モード、および、合成率の全てをユーザが設定しているが、それらの一部をＤＳＰ回路１２０や固体撮像素子２００自身が設定してもよい。
バス１５０は、固体撮像素子２００、ＤＳＰ回路１２０、表示部１３０、操作部１４０、電源部１６０、記録部１７０およびフレームメモリ１８０が互いにデータをやり取りするための共通の経路である。
電源部１６０は、撮像装置１００内の回路に電源を供給するものである。記録部１７０は、フレームを記録するものである。フレームメモリ１８０は、フレームを保持するものである。
なお、光学部１１０、固体撮像素子２００、ＤＳＰ回路１２０、表示部１３０、操作部１４０、バス１５０、電源部１６０、記録部１７０およびフレームメモリ１８０を同一の装置に設けているが、これらを複数の装置に分散して設けてもよい。例えば、光学部１１０や固体撮像素子２００を撮像装置に配置し、ＤＳＰ回路１２０などを情報処理装置に配置してもよい。
図２は、第１の実施の形態における固体撮像素子２００の積層構造の一例を示す図である。この固体撮像素子２００は、積層された３枚の半導体基板を備える。これらの半導体基板のうち、光学部１１０に最も近いものを上層基板２０１とし、光学部１１０から最も遠いものを下層基板２０３とする。また、３枚のうち上層基板２０１と下層基板２０３との間の基板を中層基板２０２とする。
固体撮像素子２００内の回路は、上層基板２０１、中層基板２０２および下層基板２０３のそれぞれに分散して配置される。なお、固体撮像素子２００内の回路を１枚の半導体基板に配置してもよいし、２枚の半導体基板に分散して配置してもよい。
［上層基板の構成例］
図３は、第１の実施の形態における上層基板２０１の一構成例を示すブロック図である。上層基板２０１には、画素領域２１０が設けられる。この画素領域２１０には、ランプ信号生成部２１１および２１３と、ドライバ２１２と、信号処理部２６０および２７０と、画素アレイ部２２０とが配置される。
ランプ信号生成部２１１および２１３は、ＤＡ（Digital to Analog）変換により、のこぎり刃状のランプ信号を生成するものである。ランプ信号生成部２１１は、生成したランプ信号を信号処理部２６０に供給する。一方、ランプ信号生成部２１３は、生成したランプ信号を信号処理部２７０に供給する。
画素アレイ部２２０には、二次元格子状に複数の画素が配列される。以下、所定方向（水平方向など）に配列された画素の集合を「行」と称し、行に垂直な方向に配列された画素の集合を「列」と称する。
ドライバ２１２は、画素アレイ部２２０を駆動してアナログの画素信号を出力させるものである。このドライバ２１２には、合成する２つのフレームのそれぞれの露光時間が下層基板２０３により入力される。また、ドライバ２１２は、所定の周波数ｆＶＳＹＮＣ（６０ヘルツなど）の垂直同期信号に同期して、画素アレイ部２２０を駆動する。例えば、ドライバ２１２は、１／ｆＶＳＹＮＣの周期ＴＶＳＹＮＣごとに、全行を順に露光させる処理を２回行って、周期ＴＶＳＹＮＣごとに２枚の画像信号を生成させる。
また、ドライバ２１２は、フレームの出力先を変更させるための切替信号ＳＷを生成して信号処理部２６０および２７０に供給する。
信号処理部２６０および２７０は、画素アレイ部２２０からの画素信号に対して、増減処理と、ＡＤ（Analog to Digital）変換処理とを行うものである。また、信号処理部２６０は、信号処理部２７０と異なる行に接続される。
また、信号処理部２６０および２７０には、ゲインを示すデジタル信号であるデジタルゲインＤｇが下層基板２０３により入力される。信号処理部２６０等は、そのデジタルゲインＤｇをＤＡ変換したアナログゲインにより画素信号を増減し、画素信号をＡＤ変換して画素データを生成する。そして、信号処理部２６０等は、切替信号ＳＷに従って、画素データからなるフレームを中層基板２０２または下層基板２０３に供給する。
ドライバ２１２は、切替信号ＳＷにより、周期ＴＶＳＹＮＣ内において最初に生成されたフレームを中層基板２０２に供給させ、次に生成されたフレームを下層基板２０３に供給させる。
［画素アレイ部の構成例］
図４は、第１の実施の形態における画素アレイ部２２０の一構成例を示す平面図である。画素アレイ部２２０は、それぞれが複数（４行×２列の８個など）の画素からなる複数の画素ブロック２３０に分割される。また、それぞれの画素は、Ｒ（Red）、Ｇ(Green)およびＢ（Blue）のいずれかの色信号を生成し、それぞれの色に対応する画素は例えば、ベイヤー配列により配列される。
以下、所定方向（水平方向など）に配列された画素ブロック２３０の集合を「ブロック行」と称し、ブロック行に垂直な方向に配列された画素ブロック２３０の集合を「ブロック列」と称する。ブロック行の行数は、Ｉであり、ブロック列の列数はＪである。ここで、ＩおよびＪは整数である。
ブロック列ごとに、垂直信号線２２８−ｊ（ｊは、０乃至Ｊ−１の整数）および２２９−ｊの２本が配線される。また、ブロック行ごとに１０本の水平信号線が配線される。図４において水平信号線は省略されている。行ごとの１０本の水平信号線のうち、１本は、リセット信号ＲＳＴｉ（ｉは、０乃至Ｉ−１の整数）を伝送し、１本は選択信号ＳＥＬｉを伝送し、残りの８本は、転送信号ＴＲＧ０ｉ乃至ＴＲＧ７ｉを伝送する。
水平信号線はドライバ２１２と、配線されたブロック行内の画素ブロック２３０とに接続される。垂直信号線２２８−ｊは、奇数のブロック行と信号処理部２６０に接続され、垂直信号線２２９−ｊは、偶数のブロック行と信号処理部２７０に接続される。
［画素ブロックの構成例］
図５は、第１の実施の形態における画素ブロック２３０の一構成例を示す回路図である。この画素ブロック２３０は、転送トランジスタ２３１、２３２、２３５、２３６、２３９、２４０、２４３および２４４と、光電変換素子２３３、２３４、２３７、２３８、２４１、２４２、２４５および２４６とを備える。また、画素ブロック２３０は、リセットトランジスタ２４７、浮遊拡散層２４８、増幅トランジスタ２４９および選択トランジスタ２５０を備える。
光電変換素子２３３、２３４、２３７、２３８、２４１、２４２、２４５および２４６は、入射光を光電変換して電荷を生成するものである。これらの光電変換素子は、互いに異なる転送トランジスタに接続される。
転送トランジスタ２３１、２３２、２３５、２３６、２３９、２４０、２４３および２４４は、転送信号ＴＲＧ０ｉ乃至ＴＲＧ７ｉに従って、対応する光電変換素子から浮遊拡散層２４８へ電荷を転送するものである。浮遊拡散層２４８は、電荷を蓄積して蓄積した電荷量に応じた電圧を生成するものである。
リセットトランジスタ２４７は、リセット信号ＲＳＴｉに従って、浮遊拡散層２４８の電荷を電源へ掃きだして、電荷量を初期化するものである。
増幅トランジスタ２４９は、浮遊拡散層２４８の電圧の信号を増幅するものである。選択トランジスタ２５０は、選択信号ＳＥＬｉに従って、増幅トランジスタ２４９により増幅された信号を画素信号として、垂直信号線２２８−ｊおよび２２９−ｊのうち接続された方に出力するものである。
ドライバ２１２は、画素の行を順に選択して、その行にリセット信号ＲＳＴｉを供給することにより、行の露光を開始させる。また、ドライバ２１２は、選択した行に選択信号ＳＥＬｉを供給する。そして、設定された露光時間が経過するとドライバ２１２は、転送信号ＴＲＧ０ｉを供給することにより、露光を終了させる。行のそれぞれの露光は、前の行から一定時間が経過したときに開始される。このように、行を順に選択して露光させる制御方式は、ローリングシャッター方式と呼ばれる。
［信号処理部の構成例］
図６は、第１の実施の形態における奇数ブロック行に対応する信号処理部２６０の一構成例を示すブロック図である。この信号処理部２６０は、ＤＡ変換部２６１と、複数のアンプ２６２と、複数のＡＤ変換器２６３と、複数のスイッチ２６６とを備える。アンプ２６２、ＡＤ変換器２６３およびスイッチ２６６は、ブロック列ごとに設けられる。ブロック列の列数がＪである場合、アンプ２６２、ＡＤ変換器２６３およびスイッチ２６６のそれぞれもＪ個ずつ設けられる。
ＤＡ変換部２６１は、デジタルゲインＤｇをアナログゲインＡｇに変換するものである。このデジタルゲインＤｇは、操作部１４０などにより設定される。また、デジタルゲインＤｇは、合成対象の２つのフレームのうち露光時間の長い方に対するデジタルゲインＤｇＬと、露光時間の短い方に対するデジタルゲインＤｇＳとを含む。また、アナログゲインは、周期ＴＶＳＹＮＣ内の１枚目の画像信号に対するアナログゲインＡｇ１と、２枚目の画像信号に対するアナログゲインＡｇ２とを含む。
デジタルゲインＤｇとアナログゲインＡｇとの対応関係は、１枚目および２枚目のいずれの露光時間の方を短時間とするかにより決定される。例えば、２枚目の方を短時間露光とする際は、デジタルゲインＤｇＬをＤＡ変換したアナログ信号がアナログゲインＡｇ１として用いられ、デジタルゲインＤｇＳをＤＡ変換したアナログ信号がアナログゲインＡｇ２として用いられる。ＤＡ変換部２６１は、切替信号ＳＷに従って、アナログゲインＡｇ１およびＡｇ２のいずれかをＪ個のアンプ２６２に供給する。
アンプ２６２は、供給されたアナログゲインＡｇにより、対応するブロック列の画素信号を増減するものである。このアンプ２６２は、増減した画素信号を対応するＡＤ変換器２６３に供給する。なお、アンプ２６２は、特許請求の範囲に記載のゲイン処理部の一例である。
ＡＤ変換器２６３は、増減された画素信号に対してＡＤ変換を行うものである。このＡＤ変換器２６３は、コンパレータ２６４およびカウンタ２６５を備える。コンパレータ２６４は、アンプ２６２からの画素信号と、ランプ信号ＲＥＦとを比較して比較結果をカウンタ２６５に供給するものである。カウンタ２６５は、所定のクロック信号に同期して、比較結果が反転するまで計数値を計数するものである。このカウンタ２６５は、計数値を示すデータを画素データとしてスイッチ２６６に供給する。なお、ＡＤ変換器２６３は、特許請求の範囲に記載のアナログデジタル変換部の一例である。
スイッチ２６６は、切替信号ＳＷに従って、中層基板２０２および下層基板２０３のいずれかに出力先を切り替えて画素データを出力するものである。
図７は、第１の実施の形態における偶数ブロック行に対応する信号処理部２７０の一構成例を示すブロック図である。この信号処理部２７０の構成は、接続されるブロック行が異なる点以外は、信号処理部２６０と同様である。
［中層基板の構成例］
図８は、第１の実施の形態における中層基板２０２の一構成例を示す図である。この中層基板２０２には、メモリ領域２８０が設けられる。このメモリ領域２８０には、フレームメモリ２８１が配置される。フレームメモリ２８１は、上層基板２０１から出力された画素データからなるフレームを保持するものである。フレームメモリ２８１に保持されたフレームは、下層基板２０３により読み出される。このフレームメモリ２８１として、例えば、ＤＲＡＭ（Dynamic Random Access Memory）が用いられる。
［下層基板の構成例］
図９は、第１の実施の形態における下層基板２０３の一構成例を示すブロック図である。この下層基板２０３にはロジック領域２９０が設けられる。このロジック領域２９０には、制御部２９１、フレーム加算部２９２、および、ＨＤＲ（High Dynamic Range）合成部２９６が配置される。
制御部２９１は、固体撮像素子２００全体を制御するものである。この制御部２９１には、バス１５０を介して、デジタルゲインＤｇ（ＤｇＬおよびＤｇＳ）と、露光比と、動作モードとが設定値として入力される。また、合成対象の２つのフレームのそれぞれの露光時間のうち短い方をｔｓとし、長い方をｔＬとしてｔｓ：ｔＬが露光比として入力される。
制御部２９１は、露光比に基づいて、合成対象の２つのフレームのうち１枚目の露光時間ｔ１と２枚目の露光時間ｔ２とを設定する。フレーム非加算モードにおいては、例えば、露光時間ｔ１に露光時間ｔＬの値が設定され、露光時間ｔ２に露光時間ｔＳの値が設定される。これにより、１枚目の露光時間の方が長くなる。
一方、フレーム加算モードにおいては、１枚目のフレームと２枚目のフレームとを加算したフレームが露光時間の長い方のフレームとして、２枚目のフレームと合成される。このため、制御部２９１は、露光時間ｔ１およびｔ２の合計が露光時間ｔＬとなるように、露光時間ｔ１およびｔ２を設定する。例えば、制御部２９１は、露光時間ｔＬおよびｔＳの差分を露光時間ｔ１とし、露光時間ｔＳを露光時間ｔ２とする。
また、制御部２９１は、入力されたデジタルゲインＤｇＬおよびＤｇＳを保持し、保持したデジタルゲインＤｇＬおよびＤｇＳと、露光時間ｔ１およびｔ２とを上層基板２０１に出力する。さらに、フレーム加算モードにおいて制御部２９１は、ゲイン比ＤｇＬ／ＤｇＳをフレーム加算部２９２に供給する。
フレーム加算部２９２は、乗算器２９３、加算器２９４およびスイッチ２９５を備える。乗算器２９３は、上層基板２０１からの１枚目のフレーム内のそれぞれの画素データとゲイン比ＤｇＬ／ＤｇＳとを乗算するものである。乗算器２９３は、乗算したデータを加算器２９４に供給する。
スイッチ２９５は、動作モードに従って、中層基板２０２からの１枚目のフレーム内の画素データのそれぞれを加算器２９４およびＨＤＲ合成部２９６のいずれかに出力するものである。フレーム非加算モードにおいてスイッチ２９５は、画素データをＨＤＲ合成部２９６に出力する。一方、フレーム加算モードにおいてスイッチ２９５は、画素データを加算器２９４に出力する。
加算器２９４は、スイッチ２９５からの画素データと、乗算器２９３からの乗算データとを加算するものである。スイッチ２９５からの画素データ、または、加算器２９４により加算されたデータは、長時間露光データＩＬとしてＨＤＲ合成部２９６に出力される。また、上層基板２０１からの１枚目のフレーム内の画素データは、短時間露光データＩＳとしてＨＤＲ合成部２９６に出力される。なお、フレーム加算部２９２は、特許請求の範囲に記載の演算部の一例である。
ＨＤＲ合成部２９６は、長時間露光データＩＬと短時間露光データＩＳとを所定の合成比率により合成するものである。例えば、合成比率をＲＨＤＲとすると、次の式により合成フレーム内の画素データＩＨＤＲが算出される。ＨＤＲ合成部２９６は、生成した画素データＩＨＤＲをＤＳＰ回路１２０に供給する。なお、ＨＤＲ合成部２９６は、特許請求の範囲に記載の合成部の一例である。
ＩＨＤＲ＝ＲＨＤＲ×ＩＬ＋（１−ＲＨＤＲ）×ＩＳ
なお、フレーム加算部２９２は、動作モードに従って加算するか否かを判断しているが、動作モードをフレーム加算モードとフレーム非加算モードとに分けずに、加算を常に行う構成としてもよい。この場合には、スイッチ２９５は不要となる。
図１０は、第１の実施の形態における固体撮像素子の合成処理を説明するための図である。フレーム加算モードにおいて画素アレイ部２２０は、２枚の画像信号を順に生成する。一方、ＤＡ変換部２６１は、露光時間の長いフレームに対するデジタルゲインＤｇＬを１枚目の画像信号に対するアナログゲインＡｇ１に変換したものとする。また、ＤＡ変換部２７１は、露光時間の短いフレームに対するデジタルゲインＤｇＳを２枚目の画像信号に対するアナログゲインＡｇ２に変換したものとする。
そして、アンプ２７２は、１枚目の画像信号内の画素信号のぞれぞれをアナログゲインＡｇ１により増減し、アンプ２７２は、２枚目の画像信号内の画素信号のぞれぞれをアナログゲインＡｇ２により増減する。ＡＤ変換器２６３および２７３は、増減された画素信号のそれぞれを画素データにＡＤ変換する。これにより、２枚のフレームが生成される。これらのうち１枚目のフレームは、フレームメモリ２８１に保持される。一方、２枚目のフレーム内の画素データは、短時間露光データＩＳとして出力される。
フレーム加算部２９２は、短時間露光データＩＳに対してゲイン比ＤｇＬ／ＤｇＳを乗算したデータと、１枚目のフレーム内の画素データとを加算して長時間露光データＩＬを生成する。上述のアンプ２６２、２７２、および、フレーム加算部２９２により行われた演算は、次の式により表される。
ＩＬ＝Ａｇ１×Ｉ１＋（Ａｇ２×Ｉ２）×ＤｇＬ／ＤｇＳ ・・・式１
ＩＳ＝Ａｇ２×Ｉ２ ・・・式２
ここで、前述したように、ＤＡ変換部２６１および２７１は、デジタルゲインＤｇＬをアナログゲインＡｇ１に変換し、ＤＡ変換部２７１は、デジタルゲインＤｇＳをアナログゲインＡｇ２に変換している。このため、式１および式２のＡｇ１をＤｇＬに、Ａｇ２をＤｇＳに置き換えることができる。この結果、次の式が得られる。
ＩＬ＝ＤｇＬ×Ｉ１＋（ＤｇＳ×Ｉ２）×ＤｇＬ／ＤｇＳ
＝ＤｇＬ×（Ｉ１＋Ｉ２） ・・・式３
ＩＳ＝ＤｇＳ×Ｉ２ ・・・式４
式３に例示するように、ゲイン比ＤｇＬ／ＤｇＳを乗算することにより、２枚目の画像信号（Ｉ２）の増減率を、長時間露光データに対応するデジタルゲインＤｇＬに調整することができる。一方、式４より、２枚目の画像信号（Ｉ２）の方は、対応するゲインＤｇＳで増減されているため、ＤｇＬ／ＤｇＳの乗算は必要ない。
例えば、ユーザがデジタルゲインＤｇＬに１．１を設定し、デジタルゲインＤｇＳに０．９を設定したものとする。式３および式４に、これらの数値を代入すると、次の式が得られる。
ＩＬ＝１．１×Ｉ１＋（０．９×Ｉ２）×１．１／０．９
＝１．１×（Ｉ１＋Ｉ２） ・・・式５
ＩＳ＝０．９×Ｉ２
ここで、仮に、式５においてゲイン比１．１／０．９を乗算せずに加算を行うと、１．１倍に増減された信号Ｉ１と、０．９倍に増減された信号Ｉ２とが加算されてしまう。このため、加算した信号（Ｉ１＋Ｉ２）に対する増減率は、設定した１．１と異なる値になってしまう。
これに対して、ゲイン比１．１／０．９を短時間露光データ（０．９×Ｉ２）に乗算してから加算すれば、加算した信号（Ｉ１＋Ｉ２）に対する増減率を、設定した１．１に調整することができる。
また、２枚のフレームを加算して長時間露光データとすることにより、加算しない場合と比較して、長時間露光データの露光時間を長くすることができる。
なお、アナログゲインで増減しないままでＡＤ変換した後にフレーム加算し、その加算データにデジタルゲインＤｇＬを乗算すれば、ゲイン比ＤｇＬ／ＤｇＳの乗算が不要となるが、この構成は望ましくない。デジタルゲインにより増減すると、オーバーフローなどにより、階調が失われて信号品質が低下するおそれがある理由による。
また、固体撮像素子２００は、１枚目のフレームを短時間露光データＩＳとして合成しているが、１枚目の代わりに２枚目のフレームを短時間露光データＩＳとして合成してもよい。この場合にＤＡ変換部２６１等は、デジタルゲインＤｇＳをアナログゲインＡｇ１に変換し、デジタルゲインＤｇＬをアナログゲインＡｇ２に変換する。
また、メモリ領域２８０およびロジック領域２９０の両方を固体撮像素子２００の内部に設けているが、これらの少なくとも一部を固体撮像素子２００の外部に設けてもよい。例えば、ロジック領域２９０をＤＳＰ回路１２０に配置してもよい。ただし、メモリ領域２８０およびロジック領域２９０を固体撮像素子２００内に配置した方が、データ転送の負荷を軽減して高速な処理が可能となるほか、後段のＤＳＰ回路１２０に新たな回路を追加しなくてもよい。このため、メモリ領域２８０およびロジック領域２９０を固体撮像素子２００内に配置した方が好ましい。
図１１は、比較例における画素の駆動タイミングについて説明するための図である。周期ＴＶＳＹＮＣごとに２枚のフレームを撮像して合成する場合、それぞれのフレームの露光時間は、周期ＴＶＳＹＮＣ以下に設定される。同図において、縦軸は、行（言い換えれば、ライン）を示し、横軸は時間を示す。また、斜線部分は、１枚目のフレームを示し、白抜きの部分は、２枚目のフレームを示す。
ここで、列ごとにＡＤ変換器を１つのみ配置した比較例を想定する。この比較例では、固体撮像素子が同時に２行のＡＤ変換を行うことができないため、１枚目の読出しが完了した後でないと２枚目の読出しを開始することができない。
図１１におけるａは、１枚目の全行の読出しが完了したタイミングｔｅ１から一定時間が経過したタイミングｔｓ２に２枚目の読出しを開始した場合を示す図である。また、同図におけるｂは、１枚目の露光時間をさらに長くして、１枚目の全行の読出しが完了したタイミングｔｅ１において、２枚目の読出しを開始した場合を示す図である。比較例では同時に２行を読み出すことができないため、２枚目の露光時間を短くしない限り、１枚目の露光時間を同図におけるｂよりも長くすることはできない。
したがって、２枚目の露光時間をｔ２とし、全行の読出しに要する時間をｔreadとすると、１枚目の露光終了時と２枚目の露光開始時との間の時間を、ｔreadおよびｔ２の差分ｄｔ以上に設定する必要がある。すなわち、１枚目の露光終了と同時に２枚目の露光を開始することができない。
これに対して、固体撮像素子２００では、列ごとにＡＤ変換器２６３およびＡＤ変換器２７３の２つを配置しているため、固体撮像素子２００は、２行を同時に読み出してＡＤ変換することができる。
図１２は、第１の実施の形態における画素の駆動タイミングの一例を示す図である。同図において、縦軸は、行（ライン）を示し、横軸は時間を示す。また、斜線部分は、１枚目のフレームを示し、白抜きの部分は、２枚目のフレームを示す。前述したように、固体撮像素子２００は２行を同時に読み出すことができるため、１枚目の読出しの途中のタイミングｔｓ２において、２枚目のフレームの読出しを開始することができる。
例えば、１枚目のＬ１行の読出しの際に、２枚目のＬ２行を読み出す場合を考える。Ｌ１行が奇数ブロック行内の行で、Ｌ２行が偶数ブロック行内の行である場合、Ｌ１行はＡＤ変換器２６３を含む信号処理部２６０により読み出され、Ｌ２行はＡＤ変換器２７３を含む信号処理部２７０により読み出される。ドライバ２１２は、切替信号ＳＷにより１枚目のフレームをフレームメモリ２８１へ出力させ、２枚目のフレームをロジック領域２９０へ出力させる。Ｌ１行以降の１枚目のフレームの行は、奇数ブロック行内のものであれば信号処理部２６０により読み出され、偶数ブロック行内のものであれば、信号処理部２７０により読み出される。２枚目のフレームについても同様である。ブロック行は、４行であるため、ドライバ２１２は、４行の読出しのたびに、信号処理部２６０と信号処理部２７０とのそれぞれの出力先を切替信号ＳＷにより変更させる。
このように、固体撮像素子２００は、１枚目の全行の読出し終了を待たずに、２枚目の読出しを開始することができる。このため、１枚目の露光終了時と２枚目の露光開始時との間にｄｔを設ける必要がなくなり、１枚目の露光時間を比較例よりも長くすることができる。
なお、固体撮像素子２００は、信号処理部２６０および２７０により、２行を同時に読み出しているが、互いに異なる行に接続された３つ以上の信号処理部を設け、３行以上を同時に読み出してもよい。
図１３は、第１の実施の形態における露光比を１：８に設定した場合のモードごとの駆動タイミングを示す図である。同図における縦軸は、行（ライン）を示し、横軸は時間を示す。また、斜線部分は、１枚目のフレームを示し、白抜きの部分は、２枚目のフレームを示す。同図におけるａは、フレーム加算モードの駆動タイミングを示し、同図におけるｂは、フレーム非加算モードの駆動タイミングを示す。
フレーム加算モードでは、１枚目のフレームと２枚目のフレームとが加算されるため、２枚目の露光時間ｔ２と、１枚目の露光時間ｔ１および露光時間ｔ２の合計（ｔ１＋ｔ２）との比率が１：８になるように、露光時間ｔ１およびｔ２が設定される。周期ＴＶＳＹＮＣが３０ミリ秒（ｍｓ）である場合、例えば、露光時間ｔ２を３．７５ミリ秒（ｍｓ）にし、合計（ｔ１＋ｔ２）を３０ミリ秒（ｍｓ）に設定すれば、露光比が１：８になる。露光時間ｔ１には、それらの差分である２６．２５ミリ秒（ｍｓ）が設定される。
一方、フレーム非加算モードでは、フレームが加算されないため、２枚目の露光時間ｔ２と、１枚目の露光時間ｔ１との比率が１：８になるように、露光時間ｔ１およびｔ２が設定される。例えば、露光時間ｔ２を３．３３ミリ秒（ｍｓ）にし、露光時間ｔ１を２６．６７ミリ秒（ｍｓ）に設定すれば、露光比が１：８になる。
図１３におけるａおよびｂに例示したように、露光比を同一にして比較すると、フレーム加算モードでは、フレーム非加算モードよりも長時間露光データの露光時間を長く設定することができる。
図１４は、第１の実施の形態における露光比を１：２に設定した場合のモードごとの駆動タイミングを示す図である。同図における縦軸は、行（ライン）を示し、横軸は時間を示す。また、斜線部分は、１枚目のフレームを示し、白抜きの部分は、２枚目のフレームを示す。同図におけるａは、フレーム加算モードの駆動タイミングを示し、同図におけるｂは、フレーム非加算モードの駆動タイミングを示す。
フレーム加算モードでは、１枚目のフレームと２枚目のフレームとが加算されるため、露光時間ｔ２と、合計（ｔ１＋ｔ２）との比率が１：２になるように、露光時間ｔ１およびｔ２が設定される。周期ＴＶＳＹＮＣが３０ミリ秒（ｍｓ）である場合、例えば、露光時間ｔ２を１５ミリ秒（ｍｓ）にし、合計（ｔ１＋ｔ２）を３０ミリ秒（ｍｓ）に設定すれば、露光比が１：２になる。露光時間ｔ１には、それらの差分である１５ミリ秒（ｍｓ）が設定される。
一方、フレーム非加算モードでは、フレームが加算されないため、２枚目の露光時間ｔ２と、１枚目の露光時間ｔ１との比率が１：２になるように、露光時間ｔ１およびｔ２が設定される。例えば、露光時間ｔ２を１０ミリ秒（ｍｓ）にし、露光時間ｔ１を２０ミリ秒（ｍｓ）に設定すれば、露光比が１：２になる。
図１５は、第１の実施の形態における露光比を１：１に設定した場合のモードごとの駆動タイミングを示す図である。同図における縦軸は、行（ライン）を示し、横軸は時間を示す。また、斜線部分は、１枚目のフレームを示し、白抜きの部分は、２枚目のフレームを示す。同図におけるａは、フレーム加算モードの駆動タイミングを示し、同図におけるｂは、フレーム非加算モードの駆動タイミングを示す。
フレーム加算モードでは、１枚目のフレームと２枚目のフレームとが加算されるため、露光時間ｔ２と、合計（ｔ１＋ｔ２）との比率が１：１になるように、露光時間ｔ１およびｔ２が設定される。周期ＴＶＳＹＮＣが３０ミリ秒（ｍｓ）である場合、例えば、露光時間ｔ２を３０ミリ秒（ｍｓ）にし、合計（ｔ１＋ｔ２）を３０ミリ秒（ｍｓ）に設定すれば、露光比が１：１になる。
一方、フレーム非加算モードでは、フレームが加算されないため、２枚目の露光時間ｔ２と、１枚目の露光時間ｔ１との比率が１：１になるように、露光時間ｔ１およびｔ２が設定される。例えば、露光時間ｔ２を１５ミリ秒（ｍｓ）にし、露光時間ｔ１を１５ミリ秒（ｍｓ）に設定すれば、露光比が１：１になる。
図１３乃至図１５に例示したように、フレーム加算モードでは、露光比を如何なる値に設定しても、長時間露光データの露光時間（ｔ１＋ｔ２）を、周期ＴＶＳＹＮＣにすることができる。
［固体撮像素子の動作例］
図１６は、第１の実施の形態における固体撮像素子の動作の一例を示すフローチャートである。この動作は、例えば、フレーム加算モードが設定された場合に開始される。固体撮像素子２００は、１枚目の画像を撮像し（ステップＳ９０１）、その画像信号をアナログゲインにより増減する（ステップＳ９０２）。そして、固体撮像素子２００は、増減後の画像信号を画像データ（フレーム）にＡＤ変換してフレームメモリ２８１に保持する（ステップＳ９０３）。
また、固体撮像素子２００は、２枚目の画像を撮像し（ステップＳ９０４）、その画像信号をアナログゲインにより増減する（ステップＳ９０５）。そして、固体撮像素子２００は、増減後の画像信号をフレームにＡＤ変換し（ステップＳ９０６）、そのフレームにゲイン比を乗算する（ステップＳ９０７）。そして、固体撮像素子２００は、１枚目のフレームに乗算結果を加算して長時間露光データを生成し（ステップＳ９０８）、２枚目のフレーム（短時間露光データ）と加算結果（長時間露光データ）とを合成する（ステップＳ９０９）。
続いて、固体撮像素子２００は、撮像を終了するための操作などにより、撮像の終了が指示されたか否かを判断する（ステップＳ９１０）。撮像の終了が指示されていない場合に（ステップＳ９１０：Ｎｏ）、固体撮像素子２００は、ステップＳ９０１以降を繰り返し実行する。一方、撮像の終了が指示された場合に（ステップＳ９１０：Ｙｅｓ）、固体撮像素子２００は、撮像のための動作を終了する。
このように、本技術の第１の実施の形態によれば、ゲインＤｇＳで増減した２枚目のフレームにゲイン比ＤｇＬ／ＤｇＳを乗算してから１枚目のフレームと加算するため、露光時間を長くし、２枚目に対する増減率を、設定したＤｇＬに調整することができる。これにより、設定したゲインで増幅した、適切なレベルの合成フレームを生成することができる。
［変形例］
上述の第１の実施の形態では、ＡＤ変換前に画像信号をアナログゲインにより増幅していたが、アナログゲインに設定することができる値は、アンプの仕様により一定範囲内に制限される。このため、アナログゲインによる増幅では、ゲインが不足する場合がある。この場合は、ＡＤ変換後にさらに増幅すればよい。この第１の実施の形態の変形例の固体撮像素子２００は、ＡＤ変換後にさらに増幅する点において第１の実施の形態と異なる。
図１７は、第１の実施の形態の変形例におけるフレーム加算部２９２の一構成例を示す図である。この第１の実施の形態の変形例におけるフレーム加算部２９２は、乗算器２９７および２９８をさらに備える。
乗算器２９７は、中層基板２０２からの１枚目のフレームにゲイン比ＤｇＬ／Ｄｇ１を乗算するものである。この乗算器２９７は、乗算結果をスイッチ２９５に供給する。また、乗算器２９８は、上層基板２０１からの２枚目のフレームにゲイン比ＤｇＳ／Ｄｇ２を乗算するものである。この乗算器２９８は、乗算結果を乗算器２９３およびＨＤＲ合成部２９６に供給する。
ＤｇＬが、アンプに設定可能なゲイン範囲外である場合には、そのゲイン範囲内でＤｇＬに最も近いアナログゲインＡｇ１により１枚目が増減される。この場合には、アナログゲインＡｇ１に対応するＤｇ１とＤｇＬとのゲイン比を乗算器２９７が乗算することにより、ゲインの不足を補うことができる。
同様に、ＤｇＳが、アンプに設定可能なゲイン範囲を超える場合には、そのゲイン範囲内でＤｇＳに最も近いアナログゲインＡｇ２により２枚目が増減される。この場合には、アナログゲインＡｇ２に対応するＤｇ２とＤｇＳとのゲイン比を乗算器２９８が乗算することにより、ゲインの不足を補うことができる。
また、ユーザが誤ってゲインを設定した場合や、デジタルゲインＤｇＳに長時間露光データに対するゲインが設定された場合などにも、乗算器２９７および２９８により補正することができる。
このように、本技術の第１の実施の形態の変形例によれば、アナログゲインで増減し、ＡＤ変換後に乗算器２９７および２９８がフレームをさらに増減するため、アナログゲインが不足する場合であっても、その不足を補うことができる。
＜２．第２の実施の形態＞
上述の第１の実施の形態では、２枚のフレームを合成して合成フレームを生成していたが、合成枚数が２枚では、階調を十分に表現することができないおそれがある。一般に、合成する枚数が多いほど、階調が滑らかで自然な合成フレームを生成することができる。この第２の実施の形態の固体撮像素子２００は、３枚以上のフレームを合成する点において第１の実施の形態と異なる。
図１８は、第２の実施の形態における固体撮像素子２００の合成処理を説明するための図である。この第２の実施の形態の固体撮像素子２００は、３枚以上のフレームを合成する。また、ロジック領域２９０には合成枚数より１つ少ない個数のフレーム加算部２９２が設けられる。例えば、５枚を合成する場合には、４個のフレーム加算部２９２が設けられる。また、メモリ領域２８０には、フレーム加算部２９２と同じ個数のフレームメモリ２８１が設けられる。
合成枚数をＮとし、最後のフレームの画素データを短時間露光データＩＳとし、残りのＮ−１枚のそれぞれの画素データを長時間露光データＩＬ１乃至ＩＬ（Ｎ−１）とする。また、短時間露光データＩＳに対応するデジタルゲインをＤｇＳとし、長時間露光データＩＬ１乃至ＩＬＮ−１に対応するデジタルゲインをＤｇＬ１乃至ＤｇＬ（Ｎ−１）とする。この場合、１枚目からＮ−１枚目の画像の画素信号は、デジタルゲインＤｇＬ１乃至ＤｇＬ（Ｎ−１）を変換したアナログゲインＡｇ１乃至ＡｇＮ−１により増減される。また、Ｎ枚目の画像の画素信号は、デジタルゲインＤｇＳを変換したアナログゲインＡｇＮにより増減される。
そして、１枚目からＮ−１枚目のフレームは、Ｎ−１個のフレームメモリ２８１に保持される。また、ｎ（ｎは１乃至Ｎ−１の整数）枚目に対応するフレーム加算部２９２には、ｎ枚目からＮ枚目までのフレームが入力される。例えば、１枚目に対応するフレーム加算部２９２には、１枚目からＮ枚目までの計Ｎ枚のフレームが入力され、２枚目に対応するフレーム加算部２９２には、２枚目からＮ枚目までの計Ｎ−１枚のフレームが入力される。
また、ｎ枚目に対応するフレーム加算部２９２において、ｋ（ｋはｎ＋１からＮまでの整数）枚目のフレーム内の画素データに、ゲイン比ＤｇＬｎ／Ｄｇｋが乗算される。例えば、２枚目に対応するフレーム加算部２９２において、３枚目のフレーム内の画素データにゲイン比ＤｇＬ２／Ｄｇ３が乗算される。
そして、乗算結果のそれぞれと、ｎ枚目のフレームとが加算されて、長時間露光データＩＬｎが生成される。例えば、２枚目に対応するフレーム加算部２９２では、３枚目からＮ枚目までに対する乗算結果のそれぞれと、２枚目のフレームとが加算される。
上述の演算は、次の式により表される。
Figure 2018011162
図１９は、第２の実施の形態における画素の駆動タイミングの一例を示す図である。周期ＴＶＳＹＮＣ内においてＮ枚のフレームが順に生成される。そして、１枚目からＮ枚目までの加算により、露光時間ｔＬ１の長時間露光データが生成される。また、２枚目からＮ枚目までの加算により、露光時間ｔＬ２の長時間露光データが生成される。以下、同様に、ｎ枚目からＮ枚目までの加算により、露光時間ｔＬｎの長時間露光データが生成される。そして、Ｎ枚目のフレームは、露光時間ｔＮの短時間露光データとして、長時間露光データのそれぞれと合成される。
このように、本技術の第２の実施の形態によれば、３枚以上のフレームを合成するため、２枚を合成する場合よりも階調を滑らかにして合成フレームの画質を向上させることができる。
＜体内情報取得システムへの応用例＞
図２０は、本開示に係る技術（本技術）が適用され得る、カプセル型内視鏡を用いた患者の体内情報取得システムの概略的な構成の一例を示すブロック図である。
体内情報取得システム10001は、カプセル型内視鏡10100と、外部制御装置10200とから構成される。
カプセル型内視鏡10100は、検査時に、患者によって飲み込まれる。カプセル型内視鏡10100は、撮像機能及び無線通信機能を有し、患者から自然排出されるまでの間、胃や腸等の臓器の内部を蠕動運動等によって移動しつつ、当該臓器の内部の画像（以下、体内画像ともいう）を所定の間隔で順次撮像し、その体内画像についての情報を体外の外部制御装置10200に順次無線送信する。
外部制御装置10200は、体内情報取得システム10001の動作を統括的に制御する。また、外部制御装置10200は、カプセル型内視鏡10100から送信されてくる体内画像についての情報を受信し、受信した体内画像についての情報に基づいて、表示装置（図示せず）に当該体内画像を表示するための画像データを生成する。
体内情報取得システム10001では、このようにして、カプセル型内視鏡10100が飲み込まれてから排出されるまでの間、患者の体内の様子を撮像した体内画像を随時得ることができる。
カプセル型内視鏡10100と外部制御装置10200の構成及び機能についてより詳細に説明する。
カプセル型内視鏡10100は、カプセル型の筐体10101を有し、その筐体10101内には、光源部10111、撮像部10112、画像処理部10113、無線通信部10114、給電部10115、電源部10116、及び制御部10117が収納されている。
光源部10111は、例えばLED(light emitting diode)等の光源から構成され、撮像部10112の撮像視野に対して光を照射する。
撮像部10112は、撮像素子、及び当該撮像素子の前段に設けられる複数のレンズからなる光学系から構成される。観察対象である体組織に照射された光の反射光（以下、観察光という）は、当該光学系によって集光され、当該撮像素子に入射する。撮像部10112では、撮像素子において、そこに入射した観察光が光電変換され、その観察光に対応する画像信号が生成される。撮像部10112によって生成された画像信号は、画像処理部10113に提供される。
画像処理部10113は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等のプロセッサによって構成され、撮像部10112によって生成された画像信号に対して各種の信号処理を行う。画像処理部10113は、信号処理を施した画像信号を、RAWデータとして無線通信部10114に提供する。
無線通信部10114は、画像処理部10113によって信号処理が施された画像信号に対して変調処理等の所定の処理を行い、その画像信号を、アンテナ10114Aを介して外部制御装置10200に送信する。また、無線通信部10114は、外部制御装置10200から、カプセル型内視鏡10100の駆動制御に関する制御信号を、アンテナ10114Aを介して受信する。無線通信部10114は、外部制御装置10200から受信した制御信号を制御部10117に提供する。
給電部10115は、受電用のアンテナコイル、当該アンテナコイルに発生した電流から電力を再生する電力再生回路、及び昇圧回路等から構成される。給電部10115では、いわゆる非接触充電の原理を用いて電力が生成される。
電源部10116は、二次電池によって構成され、給電部10115によって生成された電力を蓄電する。図２０では、図面が煩雑になることを避けるために、電源部10116からの電力の供給先を示す矢印等の図示を省略しているが、電源部10116に蓄電された電力は、光源部10111、撮像部10112、画像処理部10113、無線通信部10114、及び制御部10117に供給され、これらの駆動に用いられ得る。
制御部10117は、CPU等のプロセッサによって構成され、光源部10111、撮像部10112、画像処理部10113、無線通信部10114、及び、給電部10115の駆動を、外部制御装置10200から送信される制御信号に従って適宜制御する。
外部制御装置10200は、CPU，GPU等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイクロコンピュータ若しくは制御基板等で構成される。外部制御装置10200は、カプセル型内視鏡10100の制御部10117に対して制御信号を、アンテナ10200Aを介して送信することにより、カプセル型内視鏡10100の動作を制御する。カプセル型内視鏡10100では、例えば、外部制御装置10200からの制御信号により、光源部10111における観察対象に対する光の照射条件が変更され得る。また、外部制御装置10200からの制御信号により、撮像条件（例えば、撮像部10112におけるフレームレート、露出値等）が変更され得る。また、外部制御装置10200からの制御信号により、画像処理部10113における処理の内容や、無線通信部10114が画像信号を送信する条件（例えば、送信間隔、送信画像数等）が変更されてもよい。
また、外部制御装置10200は、カプセル型内視鏡10100から送信される画像信号に対して、各種の画像処理を施し、撮像された体内画像を表示装置に表示するための画像データを生成する。当該画像処理としては、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、NR(Noise reduction)処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の信号処理を行うことができる。外部制御装置10200は、表示装置の駆動を制御して、生成した画像データに基づいて撮像された体内画像を表示させる。あるいは、外部制御装置10200は、生成した画像データを記録装置（図示せず）に記録させたり、印刷装置（図示せず）に印刷出力させてもよい。
以上、本開示に係る技術が適用され得る体内情報取得システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部10112に適用され得る。撮像部10112に本開示に係る技術を適用することにより、露光時間を長くすることができるため、画像を明るくして検査の精度を向上させることができる。
＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図２１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図２１に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２１の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図２２は、撮像部12031の設置位置の例を示す図である。
図２２では、撮像部12031として、撮像部12101，12102，12103，12104，12105を有する。
撮像部12101，12102，12103，12104，12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102，12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図２２には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112，12113は、それぞれサイドミラーに設けられた撮像部12102，12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化（車両12100に対する相対速度）を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度（例えば、0km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。撮像部12031に本開示に係る技術を適用することにより、、露光時間を長くすることができるため、画像を明るくして、見やすい撮影画像を得ることができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
（１）複数の画像信号のそれぞれを互いに異なるゲインにより増減するゲイン処理部と、
前記増減された複数の画像信号に対するアナログデジタル変換により複数の画像データを生成するアナログデジタル変換部と、
前記複数の画像データのいずれかである短時間露光データに前記ゲインの比率を乗算したデータと前記複数の画像データのうち前記短時間露光データに該当しないデータとを加算して長時間露光データとして出力する演算部と、
前記短時間露光データと前記長時間露光データとを所定の合成比率により合成する合成部と
を具備する固体撮像素子。
（２）所定方向に複数の画素がそれぞれに配列された所定数のラインが設けられた画素アレイ部をさらに具備し、
前記ゲイン処理部は、
前記所定数のラインのうち特定のラインからの画素信号を第１のゲインにより増減する第１のアンプと、
前記所定数のラインのうち前記特定のラインに該当しないラインからの画素信号を第２のゲインにより増減する第２のアンプと
を備える前記（１）記載の固体撮像素子。
（３）前記アナログデジタル変換部は、
前記第１のアンプにより増減された画素信号に対するアナログデジタル変換により第１の画素データを生成する第１のアナログデジタル変換器と、
前記第２のアンプにより増減された画素信号に対するアナログデジタル変換により第１の画素データを生成する第２のアナログデジタル変換器と
を備える前記（２）記載の固体撮像素子。
（４）第１の露光終了時刻が経過すると前記所定数のラインを順に駆動して前記画素信号を出力させ、前記所定数のラインの出力が完了する前の第２の露光終了時刻が経過すると前記所定数のラインを順に駆動して前記画素信号を出力させるドライバをさらに具備する前記（２）または（３）に記載の固体撮像素子。
（５）前記複数の画像信号は、第１および第２の画像信号を含み、
前記ゲイン処理部は、前記第１の画像信号を第１のゲインにより増減し、前記第２の画像信号を第２のゲインにより増減し、
前記アナログデジタル変換部は、前記第１および第２の画像信号に対するアナログデジタル変換により第１および第２の画像データを生成し、
前記演算部は、前記第２の画像データを前記短時間露光データとして前記第１のゲインに対する前記第２のゲインの比率を前記短時間露光データに乗算したデータと前記第１の画像データとを加算して前記長時間露光データとして出力する
前記（１）から（４）のいずれかに記載の固体撮像素子。
（６）前記複数の画像信号は２枚より多くの画像信号を含み、
前記合成部は、前記複数の画像信号の枚数より１つ少ない所定数の前記長時間露光データと前記短時間露光データとを合成し、
前記演算部は、前記所定数を超えない一定数の前記画像データのいずれかと前記一定数の画像データの残りの画像データのそれぞれに前記ゲインの比率を乗算したデータとを加算して前記所定数の長時間画像データのいずれかとして出力する処理を前記所定数の回数に亘って行う
前記（１）から（５）のいずれかに記載の固体撮像素子。
（７）前記演算部は、
前記複数の画像データのそれぞれに所定値を乗算する乗算部と、
前記乗算された短時間露光データに前記ゲインの比率を乗算したデータと前記乗算された複数の画像データのうち前記短時間露光データに該当しないデータとを加算して前記長時間露光データとして出力する長時間データ演算部と
を備える前記（１）から（６）のいずれかに記載の固体撮像素子。
（８）複数の画像信号のそれぞれを互いに異なるゲインにより増減するゲイン処理部と、
前記増減された複数の画像信号に対するアナログデジタル変換により複数の画像データを生成するアナログデジタル変換部と、
前記複数の画像データのいずれかである短時間露光データに前記ゲインの比率を乗算したデータと前記複数の画像データのうち前記短時間露光データに該当しないデータとを加算して長時間露光データとして出力する演算部と、
前記短時間露光データと前記長時間露光データとを所定の合成比率により合成して合成フレームとして出力する合成部と、
前記合成フレームに対して所定のデジタル信号処理を実行するデジタル信号処理部と
を具備する固体撮像素子。
（９）複数の画像信号のそれぞれを互いに異なるゲインにより増減するゲイン処理手順と
前記増減された複数の画像信号に対するアナログデジタル変換により複数の画像データを生成するアナログデジタル変換手順と、
前記複数の画像データのいずれかである短時間露光データに前記ゲインの比率を乗算したデータと前記複数の画像データのうち前記短時間露光データに該当しないデータとを加算して長時間露光データとして出力する演算手順と、
前記短時間露光データと前記長時間露光データとを所定の合成比率により合成する合成手順と
を具備する固体撮像素子の制御方法。
１００ 撮像装置
１１０ 光学部
１２０ ＤＳＰ回路
１３０ 表示部
１４０ 操作部
１５０ バス
１６０ 電源部
１７０ 記録部
１８０、２８１ フレームメモリ
２００ 固体撮像素子
２０１ 上層基板
２０２ 中層基板
２０３ 下層基板
２１０ 画素領域
２１１、２１３ ランプ信号生成部
２１２ ドライバ
２２０ 画素アレイ部
２３０ 画素ブロック
２３１、２３２、２３５、２３６、２３９、２４０、２４３、２４４ 転送トランジスタ
２３３、２３４、２３７、２３８、２４１、２４２、２４５、２４６ 光電変換素子
２４７ リセットトランジスタ
２４８ 浮遊拡散層
２４９ 増幅トランジスタ
２５０ 選択トランジスタ
２６０、２７０ 信号処理部
２６１、２７１ ＤＡ変換部
２６２、２７２ アンプ
２６３、２７３ ＡＤ変換器
２６４、２７４ コンパレータ
２６５、２７５ カウンタ
２６６、２７６、２９５ スイッチ
２８０ メモリ領域
２９０ ロジック領域
２９１ 制御部
２９２ フレーム加算部
２９３、２９７、２９８ 乗算器
２９４ 加算器
２９６ ＨＤＲ合成部

Claims (9)

  1. 複数の画像信号のそれぞれを互いに異なるゲインにより増減するゲイン処理部と、
    前記増減された複数の画像信号に対するアナログデジタル変換により複数の画像データを生成するアナログデジタル変換部と、
    前記複数の画像データのいずれかである短時間露光データに前記ゲインの比率を乗算したデータと前記複数の画像データのうち前記短時間露光データに該当しないデータとを加算して長時間露光データとして出力する演算部と、
    前記短時間露光データと前記長時間露光データとを所定の合成比率により合成する合成部と
    を具備する固体撮像素子。
  2. 所定方向に複数の画素がそれぞれに配列された所定数のラインが設けられた画素アレイ部をさらに具備し、
    前記ゲイン処理部は、
    前記所定数のラインのうち特定のラインからの画素信号を第１のゲインにより増減する第１のアンプと、
    前記所定数のラインのうち前記特定のラインに該当しないラインからの画素信号を第２のゲインにより増減する第２のアンプと
    を備える請求項１記載の固体撮像素子。
  3. 前記アナログデジタル変換部は、
    前記第１のアンプにより増減された画素信号に対するアナログデジタル変換により第１の画素データを生成する第１のアナログデジタル変換器と、
    前記第２のアンプにより増減された画素信号に対するアナログデジタル変換により第２の画素データを生成する第２のアナログデジタル変換器と
    を備える請求項２記載の固体撮像素子。
  4. 第１の露光終了時刻が経過すると前記所定数のラインを順に駆動して前記画素信号を出力させ、前記所定数のラインの出力が完了する前の第２の露光終了時刻が経過すると前記所定数のラインを順に駆動して前記画素信号を出力させるドライバをさらに具備する請求項２記載の固体撮像素子。
  5. 前記複数の画像信号は、第１および第２の画像信号を含み、
    前記ゲイン処理部は、前記第１の画像信号を第１のゲインにより増減し、前記第２の画像信号を第２のゲインにより増減し、
    前記アナログデジタル変換部は、前記第１および第２の画像信号に対するアナログデジタル変換により第１および第２の画像データを生成し、
    前記演算部は、前記第２の画像データを前記短時間露光データとして前記第１のゲインに対する前記第２のゲインの比率を前記短時間露光データに乗算したデータと前記第１の画像データとを加算して前記長時間露光データとして出力する
    請求項１記載の固体撮像素子。
  6. 前記複数の画像信号は２枚より多くの画像信号を含み、
    前記合成部は、前記複数の画像信号の枚数より１つ少ない所定数の前記長時間露光データと前記短時間露光データとを合成し、
    前記演算部は、前記所定数を超えない一定数の前記画像データのいずれかと前記一定数の画像データの残りの画像データのそれぞれに前記ゲインの比率を乗算したデータとを加算して前記所定数の長時間画像データのいずれかとして出力する処理を前記所定数の回数に亘って行う
    請求項１記載の固体撮像素子。
  7. 前記演算部は、
    前記複数の画像データのそれぞれに所定値を乗算する乗算部と、
    前記乗算された短時間露光データに前記ゲインの比率を乗算したデータと前記乗算された複数の画像データのうち前記短時間露光データに該当しないデータとを加算して前記長時間露光データとして出力する長時間データ演算部と
    を備える請求項１記載の固体撮像素子。
  8. 複数の画像信号のそれぞれを互いに異なるゲインにより増減するゲイン処理部と、
    前記増減された複数の画像信号に対するアナログデジタル変換により複数の画像データを生成するアナログデジタル変換部と、
    前記複数の画像データのいずれかである短時間露光データに前記ゲインの比率を乗算したデータと前記複数の画像データのうち前記短時間露光データに該当しないデータとを加算して長時間露光データとして出力する演算部と、
    前記短時間露光データと前記長時間露光データとを所定の合成比率により合成して合成フレームとして出力する合成部と、
    前記合成フレームに対して所定のデジタル信号処理を実行するデジタル信号処理部と
    を具備する固体撮像素子。
  9. 複数の画像信号のそれぞれを互いに異なるゲインにより増減するゲイン処理手順と
    前記増減された複数の画像信号に対するアナログデジタル変換により複数の画像データを生成するアナログデジタル変換手順と、
    前記複数の画像データのいずれかである短時間露光データに前記ゲインの比率を乗算したデータと前記複数の画像データのうち前記短時間露光データに該当しないデータとを加算して長時間露光データとして出力する演算手順と、
    前記短時間露光データと前記長時間露光データとを所定の合成比率により合成する合成手順と
    を具備する固体撮像素子の制御方法。
JP2016138087A 2016-07-13 2016-07-13 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 Pending JP2018011162A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016138087A JP2018011162A (ja) 2016-07-13 2016-07-13 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
PCT/JP2017/013518 WO2018012051A1 (ja) 2016-07-13 2017-03-31 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US16/314,548 US10652476B2 (en) 2016-07-13 2017-03-31 Solid-state image pickup element, image pickup apparatus, and control method of solid-state image pickup element

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016138087A JP2018011162A (ja) 2016-07-13 2016-07-13 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Publications (1)

Publication Number Publication Date
JP2018011162A true JP2018011162A (ja) 2018-01-18

Family

ID=60952003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016138087A Pending JP2018011162A (ja) 2016-07-13 2016-07-13 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Country Status (3)

Country Link
US (1) US10652476B2 (ja)
JP (1) JP2018011162A (ja)
WO (1) WO2018012051A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019176177A1 (ja) 2018-03-16 2019-09-19 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2020022142A (ja) * 2018-08-03 2020-02-06 キヤノン株式会社 撮像装置
CN111770282A (zh) * 2020-06-28 2020-10-13 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质及终端设备
WO2021246093A1 (ja) * 2020-06-02 2021-12-09 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
WO2022113528A1 (ja) * 2020-11-30 2022-06-02 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、固体撮像素子の制御方法、および、撮像装置
WO2023062947A1 (ja) * 2021-10-15 2023-04-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US11678080B2 (en) 2021-02-04 2023-06-13 Canon Kabushiki Kaisha Photoelectric conversion device and photoelectric conversion system
WO2023162471A1 (ja) * 2022-02-28 2023-08-31 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112189261A (zh) * 2018-06-21 2021-01-05 株式会社半导体能源研究所 摄像装置及其工作方法以及电子设备
JPWO2021157237A1 (ja) * 2020-02-03 2021-08-12
WO2023105916A1 (ja) * 2021-12-08 2023-06-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4609428B2 (ja) * 2006-12-27 2011-01-12 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP5988744B2 (ja) 2012-07-18 2016-09-07 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP2014039170A (ja) 2012-08-16 2014-02-27 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9544505B2 (en) * 2014-04-11 2017-01-10 Hanwha Techwin Co., Ltd. Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof
JP6385192B2 (ja) * 2014-08-14 2018-09-05 キヤノン株式会社 撮像装置、撮像システム及び撮像システムの駆動方法
JP2016053849A (ja) 2014-09-03 2016-04-14 ソニー株式会社 画像処理装置および画像処理方法、並びに固体撮像装置
US10880504B2 (en) * 2016-12-27 2020-12-29 Canon Kabushiki Kaisha Image pickup device, image capturing system, and movable body

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019176177A1 (ja) 2018-03-16 2019-09-19 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11379961B2 (en) 2018-03-16 2022-07-05 Sony Corporation Information processing apparatus, information processing method, and program
JP2020022142A (ja) * 2018-08-03 2020-02-06 キヤノン株式会社 撮像装置
JP7129264B2 (ja) 2018-08-03 2022-09-01 キヤノン株式会社 撮像装置
WO2021246093A1 (ja) * 2020-06-02 2021-12-09 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
CN111770282A (zh) * 2020-06-28 2020-10-13 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质及终端设备
WO2022113528A1 (ja) * 2020-11-30 2022-06-02 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、固体撮像素子の制御方法、および、撮像装置
US11678080B2 (en) 2021-02-04 2023-06-13 Canon Kabushiki Kaisha Photoelectric conversion device and photoelectric conversion system
WO2023062947A1 (ja) * 2021-10-15 2023-04-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023162471A1 (ja) * 2022-02-28 2023-08-31 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Also Published As

Publication number Publication date
US20190364188A1 (en) 2019-11-28
WO2018012051A1 (ja) 2018-01-18
US10652476B2 (en) 2020-05-12

Similar Documents

Publication Publication Date Title
WO2018012051A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2019029985A (ja) 固体撮像装置、及び電子機器
WO2020105314A1 (ja) 固体撮像素子、および、撮像装置
US11394913B2 (en) Solid-state imaging element, electronic device, and method for controlling correction of luminance in the solid-state imaging element
US11252367B2 (en) Solid-stage image sensor, imaging device, and method of controlling solid-state image sensor
JP2020088722A (ja) 固体撮像素子、および、撮像装置
US20210218923A1 (en) Solid-state imaging device and electronic device
WO2017163890A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
WO2017169233A1 (ja) 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
JP2019012968A (ja) 固体撮像装置、及び電子機器
JPWO2019003675A1 (ja) 撮像装置とフリッカー補正方法およびプログラム
KR102493027B1 (ko) 촬상 소자 및 그 구동 방법, 그리고 전자 기기
WO2021060118A1 (ja) 撮像装置
WO2018105372A1 (ja) 固体撮像装置、駆動方法、および電子機器
WO2017169274A1 (ja) 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器
WO2018139187A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
US11889207B2 (en) Solid-state imaging element, imaging device, and method for controlling solid-state imaging element
WO2020255496A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
CN111801935B (zh) 摄像装置和电子设备
CN111713100B (zh) 摄像器件和电子设备
WO2023105916A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020017552A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2021192459A1 (ja) 撮像装置
JP2018113615A (ja) 固体撮像素子、駆動方法、および電子機器
JP2022086116A (ja) 固体撮像素子、固体撮像素子の制御方法、および、撮像装置