JP2023036384A - 固体撮像装置 - Google Patents

Abstract

【課題】HDR合成のフレームレートを向上する。【解決手段】固体撮像装置は、領域分類回路と、露光時間決定回路と、露光制御回路と、を備える。領域分類回路は、アレイ状に配置されている画素を所定領域ごとに分割し、分割された前記所定領域ごとに、長時間露光をする長蓄領域と、短時間露光する短蓄領域とを分類する。露光時間決定回路は、分類された前記長蓄領域及び前記短蓄領域の露光時間を決定する。露光制御回路は、決定した前記露光時間に基づいて、前記所定領域ごとに前記画素の露光時間を制御する。【選択図】図１

Description

本開示は、固体撮像装置に関する。

グローバルシャッタを用いた固体撮像装置は、今日広く用いられるようになってきている。グローバルシャッタは、受光画素がメモリを有することにより、1フレームの画像をそれぞれの画素において同じタイミングで取得する技術である。

また、固体撮像装置においては、HDR(High Dynamic Range)の技術が求められることが多い。HDRは、画像内に明るい領域と暗い領域とが存在する場合に、その双方について、ダイナミックレンジを確保する技術である。

グローバルシャッタを搭載した機器においても、HDRの機能が望まれるが、グローバルシャッタでは、メモリからデータを出力し終わるまで、次のデータをメモリに格納することができない。このため、センサからデータ出力可能なフレームレートには上限があり、フレームの時間を一定時間よりも短くすることが困難である。HDRにおいては、長時間露光(長蓄)した画素情報と短時間露光(短蓄)した画素情報とに基づいて処理を実行するが、グローバルシャッタにおいては、この露光タイミング間の時間が存在するため、アーティファクトが発生しうる。また、長蓄と短蓄の全てのデータを出力することにフレームレートが律速するという問題も発生する。

国際公開第2019/069532号

そこで、本開示では、グローバルシャッタにおける高精度なHDR処理をする固体撮像装置を提供する。

一実施形態によれば、固体撮像装置は、領域分類回路と、露光時間決定回路と、露光制御回路と、を備える。領域分類回路は、アレイ状に配置されている画素を所定領域ごとに分割し、分割された前記所定領域ごとに、長時間露光をする長蓄領域と、短時間露光する短蓄領域とを分類する。露光時間決定回路は、分類された前記長蓄領域及び前記短蓄領域の露光時間を決定する。露光制御回路は、決定した前記露光時間に基づいて、前記所定領域ごとに前記画素の露光時間を制御する。

前記画素において取得される画像に対する距離画像を生成する、距離検出回路、をさらに備えてもよく、前記領域分類回路は、前記距離画像に基づいて前記所定領域を分類してもよい。

前記画素の輝度値を検出する、輝度検出回路、をさらに備えてもよく、前記露光時間決定回路は、前記輝度値に基づいて前記長蓄領域及び前記短蓄領域の露光時間を決定してもよい。

前記所定領域ごとの前記画素において取得される画素値のヒストグラムを生成する、ヒストグラム生成回路、をさらに備えてもよく、前記領域分類回路は、生成された前記ヒストグラムに基づいて領域を分類してもよい。

前記露光時間決定回路は、前記ヒストグラムに基づいて前機長蓄領域及び前記短蓄領域の露光時間を決定してもよい。

前記画素からの画素値の読み出しは、グローバルシャッタ方式で実行されてもよい。

分類された前記所定領域ごとに、読み出しタイミングを制御する、読出制御回路、をさらに備えてもよい。

前記画素は、光電変換したアナログ信号を格納する画素メモリを備えてもよく、前記読出制御回路は、前記画素メモリから画素データを出力するタイミングを制御してもよい。

前記所定領域に属する前記画素において共有して備えられる、ADC(Analog to Digital Converter)、をさらに備えてもよい。

前記長蓄領域と、前記短蓄領域は、重複して設定可能であってもよい。

前記画素として、赤外光を受光する画素を備えてもよく、前記長蓄領域において長時間露光をするタイミングにおいて、前記赤外光を受光する画素において赤外光を受光してもよい。

赤外光を照射する、LEDをさらに備えてもよい。

前記短蓄領域として、全ての前記所定領域を分類してもよい。

一実施形態に係る半導体基板を模式的に示す図。 一実施形態に係る半導体基板を模式的に示す図。 一実施形態に係る画素周辺の回路の一部を模式的に示す図。 一実施形態に係る画素回路の一部を模式的に示す図。 一実施形態に係る固体撮像装置のデータ転送の様子の概略を示すタイミングチャート。 比較例に係る固体撮像装置のデータ転送の様子の概略を示すタイミングチャート。 撮像画像の一例を示す図。 一実施形態に係るROIの一例を示す図。 一実施形態に係るROI設定単位の一例を示す図。 一実施形態に係るROIの一例を示す図。 一実施形態に係るROIの一例を示す図。 一実施形態における長蓄領域を示す図。 一実施形態における短蓄領域を示す図。 一実施形態に係る処理を示すフローチャート。 一実施形態に係る像面位相差画素の埋め込みの一例を模式的に示す図。 一実施形態に係る固体撮像装置を模式的に示すブロック図。 領域における輝度値のヒストグラムの一例を示す図。 領域における輝度値のヒストグラムの一例を示す図。 領域における輝度値のヒストグラムの一例を示す図。 一実施形態に係る処理を示すフローチャート。 一実施形態に係る固体撮像装置を模式的に示すブロック図。 一実施形態に係る固体撮像装置のデータ転送の様子の概略を示すタイミングチャート。 一実施形態に係るROIの一例を示す図。 一実施形態に係る撮像素子の実装例を示す図。 一実施形態に係る撮像素子の実装例を示す図。 一実施形態に係る撮像素子の実装例を示す図。 車両制御システムの概略的な構成の一例を示すブロック図。 車外情報検出部及び撮像部の設置位置の一例を示す説明図。

以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、又は、他の構成とのサイズの比等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。

まず、本開示の内容を実現するためのADC(Analog to Digital Converter)について、限定されない一実装について説明する。

図1は、撮像画素がアレイ状に配置される画素アレイにおいて、領域ごとにADCを備える一例を示す図である。

半導体基板1は、第1基板10と、第2基板11と、を備える。第1基板10と、第2基板11は、後述で詳しく説明するように、例えば、積層された半導体チップとして構成されてもよい。図示していないが、第1基板10と第2基板11は、絶縁層を介して積層され、この絶縁層において、それぞれの基板における適切な箇所同士が電気的に接続されるような導電体(限定されない異例として、Cu等の金属)がこの絶縁層内に構成される。それぞれの基板は、例えば、Siを用いた半導体基板であってもよい。

この半導体基板1は、例えば、固体撮像装置における受光部を構成する半導体チップとして形成される。

第1基板10は、画素アレイ100と、画素駆動回路102と、を備える。

画素アレイ100には、画素101が2次元のアレイ状に配置される。画素101は、受光素子(光電変換素子)、例えば、フォトダイオード(PD)を備え、画素101ごとに、この受光素子において受光した光を光電変換してアナログ信号を出力する。この他、出力に必要となる画素回路等を備えていてもよい。本開示においては、受光した光の強さに応じて発生した電荷を格納するメモリ領域がそれぞれの画素101を構成する受光素子に備えられていてもよい。受光素子は、例えば、一般的なPDの他、APD(Avalanche Photo Diode)、SPAD(Single Photon Avalanche Diode)であってもよい。

画素駆動回路102は、画素101を駆動する回路である。画素駆動回路102は、例えば、画素101に備えられるフォトダイオードのアノードに適切な電圧を印加することにより、画素101を待機状態とし、適切なタイミングにおいて画素101による光電変換がされるように駆動する。また、メモリからの転送を制御する回路を備えていても良いし、この転送回路を別途備えていてもよい。

画素駆動回路102により駆動され、画素101により受光した光は、その強度におうじたアナログ信号を、第2基板11へと出力する。

第2基板11は、ADC 110と、出力回路111と、センスアンプ112と、垂直走査回路113と、タイミング生成回路114と、DAC 115(Digital to Analog Converter)と、を備える。

ADC 110は、第1基板10の画素101に対応する位置にしたがって配置される。図1の例では、ADC 110は、2 × 2個の画素101ごとに備えられる。この場合、1個のADC 110は、4個の画素101を処理し、ADC 110を並列に動作させることにより、それぞれのADC 110は、4個の画素についてのAD変換を実行する。上記は、限定されない一例として示されるものであり、1つのADC 110が対応する画素101の個数は、これより少なくても、これより多くてもよい。

出力回路111は、第2基板11においてAD変換された画素101が受光した光の強度に基づいたデジタル信号を出力する。

センスアンプ112は、ADC 110の出力を適切に増幅する回路であり、ADC 110から出力された画素101が受光した光の強度に基づいたデジタル信号を増幅し、この増幅された信号が出力回路111を介して出力される。

垂直走査回路113は、画素101からの信号を出力するタイミングを制御する回路である。垂直走査回路113は、例えば、ラインごとのADC 110を選択することで、適切に出力回路111から順番にデジタル信号を出力する。

タイミング生成回路114は、画素101及び出力に関するタイミングを制御するための信号を生成する回路である。半導体基板1の各構成要素は、このタイミング生成回路114の出力するタイミングで種々の制御が実行される。

DAC 115は、ADC 110においてAD変換に用いるためのアナログ信号を生成する回路である。DAC 115は、例えば、入力されたクロック信号を適切にアナログ信号に変換し、ADC 110におけるカウンタ回路等に用いるアナログ信号へと変換して出力する。DAC 115は、例えば、所定のデジタル信号を変換して、アナログのランプ信号を生成する。このランプ信号をADC 110の比較回路に入力することでクロック信号を適切な時間出力し、この出力されたクロック信号の数をカウンタ回路により適切に加減算して計数することで画素値に応じたデジタル信号を出力する。

ADC 110におけるアナログ信号からデジタル信号への変換についての詳細な動作については、一般的なADCの動作と同様であるので省略する。このADC 110は、上述したように、所定のエリアに含まれる画素101から出力されるアナログ信号をデジタル信号へと変換する。エリアに含まれる画素101は、例えば、フローティングディフュージョン(FD)を共有する。画素101の受光素子に備えられるメモリからの転送を制御することで、適切にAD変換を実行することができる。

このような構成は、例えば画素101のカラムごとにADCが備えられる場合よりも細かい単位でADCが動作するため、細かい画像領域において適切なデジタル信号をより高速に及び／又は精度良く取得することが可能となる。

図2は、撮像画素がアレイ状に配置される画素アレイにおいて、領域ごとにADCを備える別の例を示す図である。この図2は、画素ごとにADCを備える場合に本開示における形態に用いることのできる構成を説明する図である。

半導体基板1は、例えば、第1基板10を備えて構成される。第1基板10は、画素アレイ100と、画素駆動回路102と、時刻コード発生回路103と、時刻コード転送回路104と、出力回路111と、垂直走査回路113と、タイミング生成回路114と、DAC 115と、を備える。図1と同じ符号は、同じ構成要素であるため、詳しい説明は省略する。

なお、図2においては、出力回路111、垂直走査回路113、タイミング生成回路114及びDAC 115が第1基板10に配置されているが、図1と同様にこれらの要素は、第1基板10に備えられる必要は無く、半導体基板1は、さらに第2基板を備え、この第2基板に適宜適切な構成要素が備えられる構成であってもよい。

時刻コード発生回路103は、時刻コードを生成する回路である。時刻コードは、画素の情報とともに格納される。

時刻コード転送回路104は、時刻コード発生回路103により生成された時刻コードを画素101へと出力する回路である。

図3は、図2の半導体基板1に配置される画素101の接続の一例を模式的に示す図である

画素101において光電変換され、図示しない画素回路において適切に格納、転送された信号は、ADC 110に入力される。ADC 110において、DAC 115から出力されるランプ信号に基づいて、画素101が出力するアナログ信号を適切にデジタル信号に変換し、出力回路111を介して適切なタイミングで出力される。

時刻コード発生回路103が生成した時刻コードは、ADC 110に接続される図示しない記憶部に、デジタルの画像信号とともに格納される。記憶部は、時刻コードの書き込み動作と読み出し動作を制御するラッチ制御回路と、時刻コードを記憶するラッチ記憶回路と、を備えて構成される。

ラッチ制御回路は、時刻コードの書き込み動作においては、ADC 110内の比較回路からHighの信号が出力されている間に、時刻コード転送回路104から供給される単位時間ごとに更新される時刻コードをラッチ記憶部に格納する。

そして、画素101から出力されるアナログ信号と、DAC 115から出力されるランプ信号の大小関係が入れ替わるタイミングで比較回路から出力される信号がLowに反転したタイミングで、時刻コードの格納を終了する。

記憶部は、ラッチ記憶部に記憶された時刻コードを保持させ、この保持された時刻コードが、ADC 110において画素101の出力とDAC 115が出力するランプ信号の大小関係が反転したタイミングを示す。そして、このタイミングにおける画素101からの出力された信号が、当該時刻の基準電圧であったことを示すデータ、すなわち、デジタル化された光量値(デジタル画素信号)を表す。

時刻コード発生回路103は、画素アレイ100に対して複数個備えられてもよく、画素アレイ100内には、時刻コード発生回路103に対応する数だけ、時刻コード転送回路104が備えられる。すなわち、時刻コードを生成する時刻コード発生回路103と、生成された時刻コードを転送する時刻コード転送回路104は、1対1対応する。

垂直走査回路113は、画素101内で生成されたデジタル画素信号をタイミング生成回路114から供給されるタイミング信号に基づいて、所定の順番で出力回路111に出力する制御を行う。画素101から出力されたデジタル画素信号は、出力回路111から半導体基板1の外部へと出力される。

出力回路111は、適切にこの他の信号処理、画像処理を実行してから出力してもよい。出力回路111は、例えば、黒レベル補正処理、CDS(Correlated Double Sampling)処理、色合成処理、色補正処理、画素欠陥補正処理等、所定のデジタル信号処理を実行する。また、適切に処理可能であれば、これらの処理の少なくとも一部は、ADC 110において実装されていてもよい。

画素回路(図3において画素101とADC 110との間に配置される図示しない回路)は、受光した光量に応じた電荷信号をアナログの画素信号としてADC 110に出力する。ADC 110は、画素回路から供給されたアナログの画素信号をデジタル信号へと変換する。

ADC 110は、上述したように、例えば、比較回路と、記憶部と、を備えて構成される。

比較回路は、アナログの画素信号と、DAC 115から供給される参照信号とを比較し、比較結果を表す比較結果信号として、出力信号を出力する。比較回路は、参照信号(ランプ信号)と、画素信号が同一の電圧となったタイミングで、出力信号を反転させる。

比較回路は、例えば、差動入力回路と、電圧変換回路と、正帰還回路により構成されるが、これに限定されるものではなく、適切にアナログの画素信号と参照信号とを比較して出力可能な回路により構成されていればよい。

図4は、上記の回路構成をより詳細に示す図である。この図4では画素101ごとにADC 110を備える構成について説明する。

画素101に対して、半導体基板1において画素回路105と、差動入力回路116と、電圧変換回路117と、正帰還回路118と、が備えられる。画素101の受光素子から出力されたアナログ信号は、差動入力回路116により適切な倍率で増幅され、電圧変換回路117により適切に変換される。そして、正帰還回路118は、比較結果信号へと変換されて出力される。

画素回路105は、画素101が出力するアナログ信号を適切なタイミングで出力する回路であり、例えば、第1基板10又は第2基板11に備えられる。画素回路105は、PD 120と、排出トランジスタ121と、転送トランジスタ122と、リセットトランジスタ123と、FD 124と、を備える。

PD 120は、上述した画素101における光電変換素子であり、このPD 120において受光した光の強度に基づいたアナログ信号を生成する。上述したように、このPD 120は、メモリ領域を有していてもよい。メモリ領域を有することにより、グローバルシャッタの動作を実現することができる。

排出トランジスタ121は、PD 120のカソードに接続され、露光期間を調整する場合に使用される。具体的には、露光期間を任意のタイミングで開始したい場合に、排出トランジスタ121をオンすることにより、それまでの間にPD 120に蓄積されていた電荷が排出されるので、排出トランジスタ121がオフされた以降から、露光時間が開始される。

転送トランジスタ122は、PD 120のカソードとFD 124との間に接続され、PD 120で生成された電荷を適切なタイミングでFD 124に転送する。

リセットトランジスタ123は、FD 124と差動入力回路116のトランジスタ131のドレインとの間に接続され、FD 124に保持されている電荷をリセットする。

FD 124は、差動入力回路116のトランジスタ131のゲートに接続される。これにより、差動入力回路116のトランジスタ131は、画素回路105の増幅トランジスタとして動作する。

リセットトランジスタ123のソースは、差動入力回路116のトランジスタ131のゲート、及び、FD 124に接続され、リセットトランジスタ123のドレインは、トランジスタ131のドレインと接続される。このため、FD 124の電荷をリセットするための固定のリセット電圧がない。これは、差動入力回路116の回路状態を制御することにより、FD 125をリセットするリセット電圧を、参照信号REFを用いて任意で設定できること、及び、回路の固定パターンノイズをFD 124に記憶して、CDS処理をすることで、このノイズの成分をキャンセル可能とするためである。

差動入力回路116は、画素101内の画素回路105から出力された画素信号SIGと、DAC 115から出力された参照信号REFとを比較し、画素信号SIGが参照信号REFよりも高い場合に、所定の信号(電流)を出力する。

差動入力回路116は、差動対となるトランジスタ130、131、カレントミラーを構成するトランジスタ132、133、入力バイアス電流Vbに応じた電流Icmを供給する定電流源としてのトランジスタ135を備える。

トランジスタ130、131、134は、nMOS(Negative channel Metal-Oxide Semiconductor)トランジスタで構成され、トランジスタ132、133、135は、pMOS(Positive channer MOS)トランジスタで構成される。

差動対となるトランジスタ130、131の内、トランジスタ130のゲートには、DAC 115から出力された参照信号REFが入力され、トランジスタ131のゲートには、画素101内の画素回路105から出力された画素信号SIGが入力される。

トランジスタ130、131のソースは、トランジスタ134のドレインと接続され、トランジスタ134のソースは、所定の電圧VSS(VSS < VDD2 < VDD1)に接続される。

トランジスタ130のドレインは、カレントミラーを構成するトランジスタ132、133のゲート及びトランジスタ132のドレインと接続され、トランジスタ131のドレインは、トランジスタ133のドレイン及びトランジスタ135のゲートと接続される。トランジスタ132、133、135のソースは、第1電源電圧VDD1に接続されている。

電圧変換回路117は、例えば、nMOS型のトランジスタ140を備えて構成される。

トランジスタ140のドレインは、差動入力回路116のトランジスタ135のドレインと接続され、トランジスタ140のソースは、正帰還回路118内の所定のノードに接続され、トランジスタ140のゲートは、バイアス電圧VBIASに接続される。

差動入力回路116に備えられるトランジスタ130、131、132、133、134、135は、第1電源電圧VDD1までの高電圧で動作する回路であり、正帰還回路118は、第1電源電圧VDD1よりも低い第2電源電圧VDD2で動作する回路である。電圧変換回路117は、差動入力回路116から入力される出力信号HVOを、正帰還回路118が動作可能な定電圧の信号(変換信号LVI)に変換し、正帰還回路118に供給する。

バイアス電圧VBIASは、定電圧で動作する正帰還回路118のトランジスタ150、151、152、153、154を破壊しない電圧に変換するための電圧であればよい。バイアス電圧VBIASは、例えば、正帰還回路118の第2電源電圧VDD2と同じ電圧、すなわち、VBIAS = VDD2としてもよい。

正帰還回路118は、差動入力回路116からの出力信号HVOが第2電源電圧VDD2に対応する信号に変換された変換信号LVIに基づいて、画素信号SIGが参照信号REFよりも高いときに反転する比較結果信号を出力する。また、正帰還回路118は、比較結果信号として出力する出力信号VCOが反転する場合に、この反転に関する遷移速度を高速化する。

正帰還回路118は、トランジスタ150、151、152、153、154、155、156を備える。ここで、トランジスタ150、151、153、155は、pMOSトランジスタであり、トランジスタ152、154、156は、nMOSトランジスタである。

電圧変換回路117の出力端であるトランジスタ140のソースは、トランジスタ151、152のドレインと、トランジスタ153、154のゲートに接続される。トランジスタ150のソースは、第2電源電圧VDD2に接続され、トランジスタ150のドレインは、トランジスタ151のソースと接続され、トランジスタ151のゲートは、正帰還回路118の出力端でもあるトランジスタ153、154のドレインと接続される。

トランジスタ152、154、156のソースは、所定の電圧VSSに接続される。トランジスタ150、152のゲートには、初期化信号INIが供給される。トランジスタ155のゲートとトランジスタ156のゲートには、第1の入力である変換信号LVIではない、第2の入力である制御信号TERMが供給される。

トランジスタ156のソースは、第2電源電圧VDD2に接続され、トランジスタ155のドレインは、トランジスタ153のソースに接続されている。トランジスタ156のドレインは、ADC 110における比較回路の出力端と接続され、トランジスタ156のソースは、所定の電圧VSSに接続されている。

このように構成される比較回路では、第2の入力である制御信号TERMをHighにすることで、差動入力回路116の状態に関係なく、出力信号VCOをLowにすることができる。

例えば、画素信号SIGの電圧が、想定を超えて高い輝度によって参照信号REFの最終電圧を下回ると、比較回路の出力信号VCOがHighのまま比較期間を終えることにより、出力信号VCOによって制御されるデータ記憶部は、値を固定することができず、AD変換機能が適切に動作しない。

このような状態の発生を防止するために、参照信号REFの掃引の最後に、Highのパルスの制御信号TERMを入力することにより、未だにLowに反転していない出力信号VCOを強制的に反転することができる。データ記憶部は、強制反転直前の時刻コードをラッチするので、この図の構成を採用した場合には、ADC 110は、結果的に、言って以上の輝度入力に対する出力値をクランプしたAD変換器として動作する。

バイアス電圧VBIASをLowレベルに制御し、トランジスタ140を遮断し、初期化信号INIをHighにすると、差動入力回路116の状態に関係なく出力信号VCOは、Highになる。したがって、この出力信号VCOの強制的なHigh出力と、上述した制御信号TERMによる強制的なLow出力とを組み合わせることにより、差動入力回路116、及び、その前段である画素回路105とDAC 115の状態に関係なく、出力信号VCOを任意の値に設定することができる。

この動作により、例えば、画素101から後段の回路を、固体撮像装置への光学的入力に頼らずに、電気信号入力だけでテストすることも可能となる。

図4においては、画素ごとにADCを備える回路について説明したが、図1のように、領域ごとにADCを備える回路にも応用することができる。例えば、図4において、複数の画素101に対する転送トランジスタ122の接続先を、共通したFD 124とすることにより、複数の画素101に対して共通した構成によりAD変換を適切に動作させることができる。

本開示においては、上記に説明した画素の領域ごとにAD変換を実行するADCや画素ごとにAD変換を実行するADC等を用いることにより、実装することが可能である。もちろん、このような実装には限られず、適宜適切なAD変換が実行可能な回路を備える構成であればよい。

(第1実施形態)
上記のような画素101の周辺回路を用いた高フレームレート及び／又は高精度のHDR合成を実現する固体撮像装置について説明する。まず、本開示における基本的な蓄光、露光の概念について説明する。本開示においては、固体撮像装置は、HDR画像を生成するために長時間露光の領域(以下、長蓄領域と記載する。)と、短時間露光の領域(以下、短蓄領域と記載する)と、を画素アレイ100において設定する。固体撮像装置は、設定された長蓄領域と、短蓄領域と、に属する画素101からの出力を適切に処理することで、モーションブラー等、劣化の要因となりうる影響が小さいHDR画像を生成する。

グローバルシャッタ方式を用いることにより、固体撮像装置は、露光が完了したデータを逐次的に読み出すので、フレームごとに、読み出しのタイミングを適切に変えることができる。CMOS(Complementary MOS)を用いる固体撮像装置は、フレームレートが画素回路におけるFDからの転送速度に律速することが多い。

このため、ローリングシャッタの場合、領域を設定し、長蓄領域と短蓄領域とに分けたとしても、ラインごとに画素信号を読み出すため、その時間を領域ごと変更することは困難である。また、ラインごとに露光時間を変更使用とする場合、長蓄のラインのラインの前に処理するラインが短蓄である場合、適切に画素に長蓄の画素を設定することがタイミングの制御的に困難である。このため、長蓄の画素が1画素でも存在する場合には、画素全体を長蓄になるといったように、領域ごとに長蓄、短蓄の画素を設定することは困難であり、フレームごとに全画素に対して長蓄又は短蓄を設定することとなる。この結果、HDR合成をするために、少なくとも全画素の転送を2フレーム分実行する必要がある。

本開示では、グローバルシャッタを用いて適切に領域を設定することにより、この転送時間を短くすることが可能である。

図5は、露光時間を領域(ROI: Region of Interest)ごとに設定したグローバルシャッタを用いる固体撮像装置におけるタイミングチャートをデータに着目して概略的に示す図である。
図6は、ROIを設定しない状態におけるタイミングチャートを比較例として示す図である。

図5に示すように、本実施形態では、限定されない例として上述した構成により、画像内において任意のROIを設定することで、グローバルシャッタにおける受光素子からのデータ転送の時間を短縮し、効率よくHDR画像を生成する。

具体的には、ROIを設定しない状態においては、図6に示すように、長蓄露光した後に、長蓄データをメモリからFD等の画素回路を介して出力する。受光素子におけるメモリからFDへの転送が完了するタイミングで短蓄露光が開始され、短蓄データがメモリに蓄積される。短蓄データと長蓄データはともに、全画素分の転送が完了するまで最終的なHDR画像を取得することはできない。このため、全画素における2フレームの転送が終了したタイミングでHDR画像の取得が可能となる。

これに対して、図5に示すように、ROIを設定することで、データ転送の時間をROIに属する画素について転送を実行する時間まで短縮することが可能となる。このため、長蓄、短蓄に対するROIをそれぞれ設定することにより、最小で1 / 2程度にデータ転送に要する時間を短縮することが可能となる。

ROIの設定手法は、任意の手法でよい。領域ごとにADCを備える形態においては、ROIを領域ごとに設定することができるし、画素ごとにADCを備える形態においては、ROIを任意の形状として設定することができる。

以上のように、本実施形態によれば、長蓄、短蓄を実行するROIを画素アレイ中に設定することで、HDR合成画像を生成する時間を短縮し、画像取得のフレームレートを向上させることが可能となる。フレームレートを向上させることにより、モーションブラー等の発生を抑制することにもなり、この結果、HDR画像の精度自体をも向上させることができる。

以下、上記の実装について、より具体的な例をいくつか挙げて説明する。

(第2実施形態)
図7は、撮像する対象の一例を示す図である。この図に示すように被写体が近くに存在する場合についてROIの設定の限定されない一例について説明する。なお、以下の例において、いくつか画像を用いて説明するが、この画像において示すROIについて、画素アレイ内の画素を短蓄画素、長蓄画素として設定し、上記の半導体基板内でそれぞれの露光時間に基づいた処理が実行される。適宜、適切に画像と受光領域(画素アレイ)、画像内の画素と受光画素とを文脈に応じて読み替えることができることに留意されたい。

図8は、一実施形態に係るROIの設定の一例を示す図である。固体撮像装置は、この図に示すように、短蓄領域Rsと長蓄領域Rlとが設定される。

短蓄領域Rsは、例えば、被写体を含む領域として設定される。図8において、斜線で示される領域を短蓄領域Rsとして設定する。この短蓄領域Rs以外の領域を長蓄領域Rlとして設定する。このようにROIを設定することにより、固体撮像装置は、短蓄領域Rs内においては、短蓄データを取得し、長蓄領域Rl内においては、長蓄データを取得する。

長蓄領域Rlに属する画素においては、露光時間を長くした撮像(受光)が実行される。短蓄領域Rsに属する画素においては、露光時間を長蓄領域Rlよりも短くした撮像(受光)が実行される。露光時間は、例えば、ISO感度等を考慮した上で、それぞれの領域において飽和されない程度に設定されてもよい。また、あらかじめ決められている露光時間に基づいて設定されてもよい。

図8のようにROIを設定することで、被写体が存在する領域では短時間の露光(露出)をして画素値が飽和しないようにするとともに、被写体が存在しない領域では長時間の露光をして遠方からの光を精度良く取得することができる。

被写体の判定は、過去のフレーム画像を参照しても良いし、あらかじめLED等を発光させ、その反射光を受光した光の強度により設定してもよい。また、別の例として、ToF(Time of Flight)等の利用した距離画像を取得して設定してもよい。他の実施形態についても、この設定は、同様に実行してもよい。

また、例えば、暗所における近距離の明るさは、固体撮像装置に備えられるLED等の明るさを変更することで制御することができる。さらに、逆光等で影になっている被写体等においても、ある程度の明るさについては、LED等の明るさを変更することにより制御することができる。なお、逆光の場合については、被写体の領域を長蓄領域、その他の領域を短蓄領域としてもよい。

このように、長蓄領域、短蓄領域は、被写体が移っているか否かにより決定されるものではなく、シーンに合わせて適切に設定される。また、例えば、逆光ではなく、単純に明るい光源等が画像に写り込んでいる場合には、当該光源の領域及び当該光源からの光を強く反射する領域等を短蓄領域として設定してもよい。

これらのシーンに合わせての各領域の決定は、以下の実施形態においても同様である。例えば、以下の実施形態においては、被写体が明るい場合について主に説明するが、これには限られず、適切にシーンにより長蓄領域及び短蓄領域が設定される。

これらの短蓄領域Rs及び長蓄領域Rlにおける画素値を図5のようなタイミングで適切に取得することにより、フレームレートを大幅に下げることなくHDR合成した画像を取得することができる。本実施形態は、例えば、画素ごとにADCを有する半導体基板を用いることで実装することが可能となる。また、図8においては、被写体に対して大きめの領域を短蓄領域Rsとしているが、画素ごとにADCを有する形態においては、さらに細かい粒度でROIを設定することが可能である。

(第3実施形態)
上記においては被写体に応じてROIを任意の形状とすることが可能であることを説明したが、これには限られない。例えば、前述の半導体基板の説明で領域ごとにADCを有する場合には、1つのADCに対して1つのROIを適用させてもよい。

図9は、ROIの設定単位が1つのADCに対して設定される一例を示す図である。この図9に示すように、例えば、ADCが備えられる領域ごとに、ROIの設定範囲が決定される形態としてもよい。

本形態においては、画像を撮像する画素を、このような所定領域ごとに分割し、それぞれの所定領域を長時間露光する長蓄領域と、短時間露光する短蓄領域とに分類する。そして、分類された長蓄領域に属する画素と、短蓄領域に属する画素とで、異なる処理をすることで画素において受光した光の強度信号の処理を実行する。

図10は、図7の画像に図9のROI設定方法を適用させた場合の一例を示す図である。斜線で示す領域が短蓄領域Rsであり、長蓄領域Rlである。固体撮像装置は、この図に示すように、ADCに対応する領域ごとにROIを設定し、ROIごとに露光時間を設定してもよい。このようにROIを設定することにより、領域ごとにADCが配置されている場合に、当該領域ごとに、出力タイミングを設定することが可能となるため、ADCを介してのデジタル画素データの出力の制御信号を任意の形状にROIを設定する場合と比較して少なくすることが可能となる。この結果、消費電力の抑制等を図ることが可能となる。

(第4実施形態)
前述の第2実施形態及び第3実施形態においては、ROIを短蓄領域Rs及び長蓄領域Rlの2つに分類するとしたが、これには限られない。

図11は、一実施形態に係るROIの一例を示す図である。この図11に示すように、長蓄領域Rlと、右上がりの斜線で示される短蓄領域Rsと、に加えて、左上がりの斜線で示される中蓄領域Rmを備えてもよい。例えば、それぞれの領域における露光時間を、(Rsにおける露光時間) < (Rmにおける露光時間) < (Rlにおける露光時間)とすることで、それぞれの領域の受光を実行し、画素データを取得してもよい。

これらの領域は、例えば、被写体が領域内の第1所定数以下である場合には、長蓄領域Rlとし、第1所定数より多く第2所定数未満である場合には、中蓄領域Rmとし、第2所定数以上の場合には、短蓄領域Rsと設定してもよい。限定されない具体的な例として、第1所定数を0、第2所定数を領域内の画素数とし、すなわち、被写体が映っていない領域を長蓄領域Rlとし、領域内の全ての画素が被写体である領域をRsとし、それ以外の領域をRmとして設定してもよい。

他の実施形態においては、長蓄領域と短蓄領域の2種類に分類することについて説明するが、本実施形態のように3種類以上の領域に分類することも含まれる概念である。また、この場合、次の第5実施形態にもあるように、任意の2種類以上の分類の露光時間を適用する領域があってもよい。

(第5実施形態)
別の例として、領域Rmに対しては、長蓄及び短蓄の双方を実行してもよい。すなわち、図11において左上がりの斜線の領域は、露光時間を、長蓄、短蓄の双方において撮像してもよい。この場合、全体的な転送時間は、領域Rmに関するデータ転送が長蓄及び短蓄の双方で発生するため、前述の各実施形態と比較して長くなるものの、領域RmにおけるHDR合成をより高い精度で実現することが可能となる。

図11の状態において長蓄、短蓄をより詳しく説明する。

図12は、図11における長蓄する領域を示す図である。この図12に示すように、被写体の一部を含む領域と、被写体を含まない領域とが長蓄領域として設定され、長蓄画像が取得される。図においてグレーで示される領域は、長蓄データを取得するタイミングにおいてはデータが取得されない領域となる。

図13は、図11における短蓄する領域を示す図である。この図13に示すように被写体を多く含む領域が短蓄領域として設定され、短蓄画像が取得される。図においてグレーで示される領域は、長蓄データを取得するタイミングにおいてはデータが取得されない領域となる。

このように、長蓄する領域と、短蓄する領域とが重なり合っていてもよい。還元すると、任意の所定領域において、長蓄領域と短蓄領域とが重複して設定(分類)されていてもよい。

(第6実施形態)
前述の各実施形態においては、長蓄する領域及び短蓄する領域について説明したが、次に、この領域の設定についてより具体的な一例を挙げて説明する。

図14は、一実施形態に係る固体撮像装置における処理を示すフローチャートである。このフローチャートを用いて撮像からデータ転送までの処理について説明する。

まず、固体撮像装置は、測距データを取得する(S100)。この測距は、後述にて詳しく説明するように、ToF画像、又は、像面位相差画像を取得することにより実行されてもよい。

次に、固体撮像装置は、測距されたデータに基づいて、領域を分類する(S102)。領域は、例えば、被写体が存在しない領域、被写体が一部に存在する領域、及び、被写体の領域の3通りである。例えば、被写体が存在しない領域を領域Rl、被写体が一部に存在する領域をRm、被写体のみが存在する領域を領域Rsとして分類する。

次に、固体撮像装置は、撮像を行い、領域ごとに明るさを計測する(S104)。撮像のタイミングにおいて、適切にLED等により発光してもよい。例えば、領域Rl及び領域Rsについて、明るさの情報を取得する。領域Rmについては、必須ではない。また、装置の構成によっては、S100からS104の処理を並行して実行してもよい。

次に、固体撮像装置は、計測した明るさに基づいて、露光時間を決定する(S106)。例えば、領域Rlにおける画素値が飽和しない露光時間と、領域Rsにおける画素値が飽和しない露光時間と、をそれぞれ設定する。

次に、固体撮像装置は、長蓄領域のデータを取得する(S108)。このデータは、領域Rl及び領域Rmにおいて露光時間をS106において決定した領域Rlの露光時間として、撮像データを取得し、メモリへの蓄積及びデータの転送を実行する。

次に、固体撮像装置は、短蓄領域のデータを取得する(S110)。このデータは、領域Rm及び領域Rsにおいて露光時間をS106において決定した領域Rsの露光時間として、撮像データを取得し、メモリへの蓄積及びデータの転送を実行する。このデータの取得は、図5に示すように、転送のタイミングに合わせて並行して実行することができる。

なお、S108とS110の順序は入れ替わっていてもよい。また、1フレームごとに測距を行うのではなく、所定フレームごとに実行してもよい。さらに、前フレームにおいて取得した画像と、現フレームにおける測距データとを比較することで、領域ごとの明るさを計測、又は、露光時間を決定してもよい。さらにまた、前フレームの測距データと撮像データとを用いて、現フレームの領域を分類してもよい。

上述したように、測距は、ToFの手法により実行されても良いし、像面位相差を用いてもよい。ToFの手法を用いる場合には、例えば、iToF: in-direct ToF、又は、dTof: direct TOFといったように、手法は特に問われない。

図15は、一実施形態に係る像面位相差が素の埋め込みの一例を模式的に示す図である。例えば、画素アレイには、4つの小画素を含んで構成される1画素がアレイ状に配置されていてもよい。図に示すように、画素101に対して、4つの小画素が備えられる。小画素に記載されているローマ字は、Rが赤色、Gが緑色、Bが青色の光を受光する素子を示す。これらの素子は、例えば、それぞれの色に適したカラーフィルタ、又は、有機光電変換膜等により適切に該当する色の光を取得する構成であってもよい。

ZR、ZLは、像面位相差を取得するための小画素である。例えば、ZRは、右側に開口を有する画素であり、ZLは、左側に開口を有する画素である。このZR、ZLの組み合わせにより、画素同士の像面位相差を取得し、この像面位相差から距離を取得する。

なお、この図15は、一例として示すものであり、構成はこのような構成に限定されるものではない。例えば、RGBの三原色ではなく、補色系の三原色(CyMgYe)であってもよいし、これらの組み合わせに限定されるものではない。また、像面位相差を取得する小画素の位置もこれらに限定されるものではなく、適切に距離画像を取得できるような配置であればよい。

図16は、一実施形態に係る像面位相差により測距する一例を示す実装例である。

固体撮像装置2は、前述した半導体基板1と、外部プロセッサ3と、を備える。半導体基板1は、1枚の基板として示されているが、前述したように複数の積層した基板を備えて構成されていてもよい。

外部プロセッサ3は、半導体基板1から出力された情報を適切に処理し、また、半導体基板1を含む固体撮像装置2の全体的な処理、制御を実現するプロセッサである。この外部プロセッサ3を介して半導体基板1において処理された種々のデータが処理、入出力されてもよい。

画素アレイ100は、前述の画素アレイ100と同等のものであり、複数の画素101が2次元のアレイ状に配置される領域である。画素アレイ100中には、像面位相差を取得するための画素が含まれる。

画素制御回路は、例えば、前述の画素駆動回路102、垂直走査回路113等に該当する動作を実行する回路である。

読出制御回路は、例えば、前述の出力回路111に対応する回路である。例えば、図5に示す画素メモリからのデータ転送のタイミングは、この読出制御回路により制御される。

データ処理回路200は、ADC 110を介して出力された画素ごとの信号に対して適切なデータ処理を実行し、出力する回路である。

距離検出回路202は、ADC 110の出力に基づいて、距離を検出する回路である。距離の検出は、像面位相差により実行される。

輝度検出回路204は、ADC 110の出力に基づいて画素の輝度を検出する回路である。輝度検出回路204は、例えば、画素ごとに輝度を検出し、図9に示すADCに対応する領域ごとの輝度値を出力する。もちろん、ADCが画素ごとに備えられる場合においては、画素ごとの輝度値をそのまま出力してもよい。輝度検出回路204が出力する輝度値は、例えば、領域ごとの輝度の最大値であってもよいし、平均値、メディアン等の適切な統計値であってもよい。輝度検出回路204は、露光時間を決定するために必要となる輝度値を検出し、領域ごとにこの輝度値を出力する。領域ごととは、例えば、長蓄領域及び短蓄領域のことであってもよいし、より細かい分類の領域のことであってもよい。

領域分類回路206は、距離検出回路202の出力する距離情報に基づいて、長蓄領域及び短蓄領域を分類する回路である。分類の手法は、上述したとおりである。距離検出回路202が存在しない構成であれば、領域分類回路206は、別の例に関する構成として、輝度検出回路204からの出力に基づいて領域を決定してもよい。

露光時間決定回路208は、領域分類回路206が分類した領域及び輝度検出回路204が検出した輝度値に基づいて、長蓄領域及び短蓄領域の露光時間を決定する。

露光制御回路210は、露光時間決定回路208が決定した露光時間に基づいて、長蓄領域及び短蓄領域の露光時間を制御して、画素アレイ100における受光を制御する。

そして、読み出し制御回路は、領域分類回路206により分類された領域に基づいて、画素アレイ100のそれぞれの画素101からの出力を制御し、適切に露光した画素からのアナログ信号をADC 110においてAD変換するように制御する。

なお、距離検出回路202、領域分類回路206等は、半導体基板1ではなく、外部プロセッサ3において実装されていてもよい。この場合、半導体基板1からは、前フレームの像面位相差画素と、通常がその情報を出力し、外部プロセッサ3側において、領域分類結果を、レジスタ等を用いて設定してもよい。

出力I/F 212は、データ処理回路200が処理した画像データを適切に外部へと出力するインタフェースである。この出力I/F 212を介して、半導体基板1から受光してデータ処理された必要なデータが出力される。

通信・制御回路214は、半導体基板1と外部プロセッサ3の通信、及び、半導体基板1の全体的な制御を実行する回路である。外部プロセッサ3からの要求に基づいて、例えば、通信・制御回路214は、半導体基板1の適切な構成要素が適切な処理を実行するように制御する。

上記において、各構成要素は、回路として記載されているが、これらはソフトウェアによる情報処理がハードウェアであるプロセッサにより具体的に実装されるものであってもよい。この場合、ソフトウェアに関するプログラム、実行ファイル等は、図示しない半導体基板1内、又は、外部プロセッサ3内の記憶部に格納されていてもよい。

ToFを用いる場合には、図16における距離検出回路202が半導体基板1内に備えられず、半導体基板1とは別のチップとして、ToF基板を備えてもよい。この場合、ToF基板から適切な距離情報を取得し、例えば、領域分類回路206が領域の分類を実行する。

領域分類回路206をToF基板側に配置する構成であってもよい。このような構成の場合、ToF基板から分類された領域委の情報が通知されることにより、露光制御と読み出し制御が実行される。

このようにToFにより測距する場合には、画素アレイにおいて取得した輝度情報を用いることなく領域の分類をすることができるので、上述したように、図14におけるS100、S102の処理と、S104の処理とを並行して実行することができる。

以上のように、本実施形態によれば、輝度の取得とは別に距離画像を取得することで、距離に基づいて長蓄領域と短蓄領域とを分類することが可能となる。距離情報を用いることにより、適切に被写体を捉えることができるので、被写体及び背景におけるHDR合成をそれぞれ適切に実現することが可能となる。

なお、HDR合成の実行は、ADC 110から出力された情報に基づいて、データ処理回路200が実行しても良いし、外部プロセッサ3において実行されてもよい。HDR合成の方法は、種々の任意の手法を用いることができる。

(第7実施形態)
第6実施形態においては、距離画像を用いて領域の分類を実行したが、これに限定されるものではない。固体撮像装置は、距離画像を取得することなく、領域の分類をすることも可能である。例えば、図9にマス目状に示される個々の所定領域における輝度値を用いることで領域の分類をしてもよい。

図17、図18、図19は、それぞれ領域における輝度値のヒストグラムの一例を示す図である。

図17においては、輝度値が高い、すなわち、領域内において明るい画素が集中しており、領域全体として飽和している。固体撮像装置は、このような領域においては、画素値が飽和しないように露光時間を短くする短蓄領域として分類してもよい。

一方で、図18においては、輝度値がとくに飽和している状況は見られない。固体撮像装置は、このような領域においては、画素値が飽和しないので露光時間を長くする長蓄領域として分類してもよい。

図19のように、飽和が見られる一方で、輝度値が高い部分以外においてもヒストグラムが高い画素が多い場合には、露光時間が短い状態と、長い状態との双方においてデータを取得する領域いと分類してもよい。

これらの分類は、例えば、適切な統計値により判定してもよい。例えば、図17のような場合は、領域における輝度値の平均値が所定よりも高く、分散が所定値よりも小さいとして判定してもよい。同様に、図18においては、輝度値の平均値が所定よりも低く、分散が所定値よりも大きいとして判定してもよい。図19においては、輝度値の平均値が所定よりも高く、分散が所定よりも大きいとして判定してもよい。もちろん、これ以外の判定方法であってもよく、適切な統計値により判定されるものであってもよい。

別の例として、あらかじめ機械学習により訓練済みのニューラルネットワークモデルを用いることにより、これらの判定を実行してもよい。この場合、ニューラルネットワークモデルを用いた判定処理は、半導体基板1内で実行されてもよい。

図20は、一実施形態に係る固体撮像装置の処理を示すフローチャートである。

固体撮像装置は、領域ごとにヒストグラムデータを取得する(S200)。ヒストグラムの取得は、任意の手法で実行される。

次に、固体撮像装置は、ヒストグラムの情報に基づいて領域を分類する(S202)。

次に、固体撮像装置は、分類された領域の情報及び分類された領域のヒストグラムの情報に基づいて、長蓄領域と短蓄領域の露光時間を決定する(S204)。

次に、固体撮像装置は、図14に示したフローチャートと同様に、長蓄領域のデータ取得(S206)、短蓄領域のデータ取得(S208)をそれぞれ適切に実行する。図14でも説明したように、これらの順番は入れ替えても良いし、領域の分類は、1フレームごとではなく、所定フレームごとに実行しても良いし、また、過去のフレームにおける受光状況に基づいて分類を実行してもよい。

図21は、一実施形態に係る固体撮像装置の一例を模式的に示すブロック図である。図16と共通する符号が付されている構成要素は、特に断りがない限り同様の処理を実行する。固体撮像装置2の半導体基板1は、ヒストグラム生成回路216を備える。

ヒストグラム生成回路216は、ADC 110から出力された画素値に基づいて、所定領域ごとのヒストグラムを生成する。ヒストグラムの生成は、任意の手法で実行される。

領域分類回路206は、生成されたヒストグラムに基づいて、それぞれの領域を長蓄領域、短蓄領域、又は、両方の領域として分類する。

露光時間決定回路208は、領域分類回路206が分類した領域の情報と、ヒストグラム生成回路216が生成したヒストグラム情報に基づいて、露光時間を決定する。

以上のように、本実施形態によれば、距離画像を用いずに、それぞれの所定領域内の画素値のヒストグラムに基づいて領域ごとの露光時間を決定することができる。このため、被写体によらず、例えば、局所的な光源、反射物等が存在する等により飽和してしまう画素がある場合にも、適切にHDR画像の合成を実行することが可能となる。

(第8実施形態)
前述の各実施形態においては、可視光を用いたHDR合成について説明したが、これらに限定されるものではなく、例えば、赤外光を用いたHDR合成を実現することもできる。例えば、車載カメラにおいて、明るい日中は、前述の実施形態のように、距離画像を取得したり、飽和画素を考慮したりすることで、精度の高いHDR合成を実行することができる。一方で、夜間における道路等の状況は、フロントライトが到達するある程度の距離であれば実現できるものの、遠方においては車載用照明の光が届かずに適切にHDR合成をすることができない場合もある。このような場合に対処するべく、赤外光を用いてもよい。

図22は、本実施形態に係るデータ取得のタイミングを概念的に示した図である。固体撮像装置は、LEDを照射するとともに、露光を実行する。LEDの照射は、固体撮像装置からではなく、他の照明装置からであってもよい。特に、可視光については、他の照明装置からの光を用い、赤外光を用いる場合に固体撮像装置のLEDを用いる構成としてもよい。

この場合、画素アレイ100に備えられる画素101において、赤外光を受光できる画素を配置する。この配置は、適切に赤外光を受光して画像を構成できる配置であれば、任意の配置でよい。

固体撮像装置は、LEDから赤外光を照射するとともに、露光時間を長くし、長蓄領域に属する赤外光を受光可能な画素において長蓄データを取得する。このデータの転送処理を実行するとともに、次に、固体撮像装置は、可視光により照射された状態において、露光時間を短くして短蓄領域において短蓄データを取得する。

長蓄領域と短蓄領域は、前述の各実施形態のように分類されてもよい。

別の一例として、長蓄領域は、ROIとして指定する一方で、短蓄領域を画素における全領域としてもよい。すなわち、固体撮像装置は、可視光を取得する露光時間を短く設定し、この可視光を用いた画像の取得を全画素において実行する。一方で、赤外光を取得する露光時間を長く設定し、この赤外光を用いた画像の取得については、長蓄領域として分類されている領域において実行する。

このようにデータを取得することにより、可視光においては、全画素からの情報を取得し、赤外光においては、ROIからの情報を取得する。

図23は、夜間の道路におけるROI設定の一例を示す図である。この図に示すように、比較的近くにおいては、可視光の反射光、散乱光を撮像素子において取得することができるので、正確な画像として情報を取得できる。一方で、遠方からの可視光による反射光、散乱光は、取得が困難であるため、正確な画像を情報として取得することができない。

このような遠方の領域においては、赤外光を用いることにより画像を取得できる可能性が高くなる。そこで、道路の遠方を赤外光で照射するとともに、画素アレイにおける遠方領域に対応する領域を長蓄領域として分類し、この領域において長時間の露光を行い、赤外光を受光する。

このような受光タイミングとすることで、前述した各実施形態と同様に、転送に律速するフレームレートを向上させるとともに、赤外光を用いることにより、遠方における情報を適切に取得することも可能となる。遠方においては、可視光を用いた短蓄の情報と、赤外光を用いた長蓄の情報と、を用いることでHDR合成をした画像を取得することができる。

以上のように、本実施形態によれば、例えば、夜間における車載カメラによる画像の取得と行ったような暗所においても、適切にフレームレートを落とさずにHDR合成画像を取得することが可能となる。

なお、例えば、車載カメラといった撮像装置における画素においては、日中においては、適切に赤外カットフィルムを用いる構成が適切なことがある。このように赤外カットフィルムを用いる場合には、例えば、日中においては、固体撮像装置の適切な箇所において、赤外カットフィルムを装着させ、夜間においては、赤外カットフィルムを装着しない状態としてもよい。

赤外線画像は、車載カメラといった用途の他にも、例えば、監視カメラや定点カメラにおいて、暗所を撮影する場合にも有効に用いることができる。

以下、前述の各実施形態における半導体基板1の実装をいくつかの限定されない例を挙げて説明する。

図24は、固体撮像装置2に備えられる基板の一例を示す図である。基板30は、画素領域300と、制御回路302と、ロジック回路304と、を備える。この図24に示すように、画素領域300と、制御回路302と、ロジック回路304とが同じ基板30条に備えられる構成であってもよい。

画素領域300は、例えば、前述の画素アレイ100等が備えられる領域である。上述した画素回路等は、適切にこの画素領域300に備えられてもよいし、基板30における図示しない別の領域において備えられていてもよい。制御回路302は、制御部を備える。ロジック回路304は、例えば、それぞれの実施形態におけるADC等は、画素領域300に備えられ、変換したデジタル信号を、このロジック回路304に出力をする形態であってもよい。また、データ処理回路200等のその他の信号処理回路は、このロジック回路304に備えられてもよい。また、信号処理回路の少なくとも一部は、このチップ上ではなく、基板30とは別の箇所に備えられる別の信号処理チップに実装されていてもよいし、別のプロセッサ内、例えば、外部プロセッサ3に実装されていてもよい。

図25は、固体撮像装置2に備えられる基板の別の例を示す図である。基板として、第1基板32と、第2基板34と、が備えられる。この第1基板32と第2基板34は、積層された構造であり、適切にビアホール等の接続部を介して相互に信号を送受信できる。例えば、第1基板32が、画素領域300と、その周辺回路と、を備え、第2基板34が、その他の信号処理回路を備えて構成されてもよい。第1基板32は、例えば、前述の第1基板10に対応し、第2基板34は、例えば、前述の第2基板11に対応していてもよい。図26においても同様である。

図26は、固体撮像装置2に備えられる基板の別の例を示す図である。基板として、第1基板32と、第2基板34と、が備えられる。この第1基板32と、第2基板34は、積層された構造であり、適切にビアホール等の接続部を介して相互に信号を送受信できる。例えば、第1基板32が、画素領域300を備え、第2基板34が、制御回路302と、ロジック回路304と、を備えて構成されてもよい。

なお、図24から図26において、記憶領域が任意の領域に備えられてもよい。また、これらの基板とは別に、記憶領域用の基板が備えられ、この基板が第1基板32と第2基板34との間、又は、第2基板34の下側に備えられていてもよい。

積層された複数の基板同士は、上記したようにビアホールで接続されてもよいし、マイクロダンプ等の方法で接続されてもよい。これらの基板の積層は、例えば、CoC(Chip on Chip)、CoW(Chip on Wafer)、又は、WoW(Wafer on Wafer)等の任意の手法で積層させることが可能である。

なお、上記において、固体撮像装置として説明したものは、固体撮像装置の少なくとも一部の機能、例えば、固体撮像装置内の撮像素子を含む半導体チップとして実装されてもよい。また、本開示においては、グローバルシャッタを用いた形態について記載しているが、グローバルシャッタは、任意の回路、受光素子により実装されていればよい。

本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図27は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図27に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図27の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図28は、撮像部１２０３１の設置位置の例を示す図である。

図28では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。

撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図28には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。具体的には、各実施形態における固体撮像装置2は、撮像部12031に適用することができる。

前述した実施形態は、以下のような形態としてもよい。

(1)
アレイ状に配置されている画素を所定領域ごとに分割し、分割された前記所定領域ごとに、長時間露光をする長蓄領域と、短時間露光する短蓄領域とを分類する、領域分類回路と、
分類された前記長蓄領域及び前記短蓄領域の露光時間を決定する、露光時間決定回路と、
決定した前記露光時間に基づいて、前記所定領域ごとに前記画素の露光時間を制御する、露光制御回路と、
を備える固体撮像装置。

(2)
前記画素において取得される画像に対する距離画像を生成する、距離検出回路、をさらに備え、
前記領域分類回路は、前記距離画像に基づいて前記所定領域を分類する、
(1)に記載の固体撮像装置。

(3)
前記画素の輝度値を検出する、輝度検出回路、をさらに備え、
前記露光時間決定回路は、前記輝度値に基づいて前記長蓄領域及び前記短蓄領域の露光時間を決定する、
(2)に記載の固体撮像装置。

(4)
前記所定領域ごとの前記画素において取得される画素値のヒストグラムを生成する、ヒストグラム生成回路、をさらに備え、
前記領域分類回路は、生成された前記ヒストグラムに基づいて領域を分類する、
(1)に記載の固体撮像装置。

(5)
前記露光時間決定回路は、前記ヒストグラムに基づいて前機長蓄領域及び前記短蓄領域の露光時間を決定する、
(4)に記載の固体撮像装置。

(6)
前記画素からの画素値の読み出しは、グローバルシャッタ方式で実行される、
(1)から(5)のいずれかに記載の固体撮像装置。

(7)
分類された前記所定領域ごとに、読み出しタイミングを制御する、読出制御回路、をさらに備える、
(6)に記載の固体撮像装置。

(8)
前記画素は、光電変換したアナログ信号を格納する画素メモリを備え、
前記読出制御回路は、前記画素メモリから画素データを出力するタイミングを制御する、
(7)に記載の固体撮像装置。

(9)
前記所定領域に属する前記画素において共有して備えられる、ADC(Analog to Digital Converter)、をさらに備える、
(1)から(8)のいずれかに記載の固体撮像装置。

(10)
前記長蓄領域と、前記短蓄領域は、重複して設定可能である、
(1)から(9)のいずれかに記載の固体撮像装置。

(11)
前記画素として、赤外光を受光する画素を備え、
前記長蓄領域において長時間露光をするタイミングにおいて、前記赤外光を受光する画素において赤外光を受光する、
(10)に記載の固体撮像装置。

(12)
赤外光を照射する、LEDをさらに備える、
(11)に記載の固体撮像装置。

(13)
前記短蓄領域として、全ての前記所定領域を分類する、
(11)又は(12)に記載の固体撮像装置。

本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。

1: 半導体基板、
10: 第1基板、
11: 第2基板、
100: 画素アレイ、
101: 画素、
102: 画素駆動回路、
103: 時刻コード発生回路、
104: 時刻コード転送回路、
105: 画素回路、
110: ADC、
111: 出力回路、
112: センスアンプ、
113: 垂直走査回路、
114: タイミング生成回路、
115: DAC、
116: 差動入力回路、
117: 電圧変換回路、
118: 正帰還回路、
120: PD、
121: 排出トランジスタ、
122: 転送トランジスタ、
123: リセットトランジスタ、
124: FD、
130、131、132、133、134、135: トランジスタ、
140: トランジスタ、
150、151、152、153、154、155、156: トランジスタ、
2: 固体撮像装置、
200: データ処理回路、
202: 距離検出回路、
204: 輝度検出回路、
206: 領域分類回路、
208: 露光時間決定回路、
210: 露光制御回路、
212: 出力I/F、
214: 通信・制御回路

Claims (13)

1. アレイ状に配置されている画素を所定領域ごとに分割し、分割された前記所定領域ごとに、長時間露光をする長蓄領域と、短時間露光する短蓄領域とを分類する、領域分類回路と、
   分類された前記長蓄領域及び前記短蓄領域の露光時間を決定する、露光時間決定回路と、
   決定した前記露光時間に基づいて、前記所定領域ごとに前記画素の露光時間を制御する、露光制御回路と、
   を備える固体撮像装置。
2. 前記画素において取得される画像に対する距離画像を生成する、距離検出回路、をさらに備え、
   前記領域分類回路は、前記距離画像に基づいて前記所定領域を分類する、
   請求項1に記載の固体撮像装置。
3. 前記画素の輝度値を検出する、輝度検出回路、をさらに備え、
   前記露光時間決定回路は、前記輝度値に基づいて前記長蓄領域及び前記短蓄領域の露光時間を決定する、
   請求項2に記載の固体撮像装置。
4. 前記所定領域ごとの前記画素において取得される画素値のヒストグラムを生成する、ヒストグラム生成回路、をさらに備え、
   前記領域分類回路は、生成された前記ヒストグラムに基づいて領域を分類する、
   請求項1に記載の固体撮像装置。
5. 前記露光時間決定回路は、前記ヒストグラムに基づいて前機長蓄領域及び前記短蓄領域の露光時間を決定する、
   請求項4に記載の固体撮像装置。
6. 前記画素からの画素値の読み出しは、グローバルシャッタ方式で実行される、
   請求項1に記載の固体撮像装置。
7. 分類された前記所定領域ごとに、読み出しタイミングを制御する、読出制御回路、をさらに備える、
   請求項6に記載の固体撮像装置。
8. 前記画素は、光電変換したアナログ信号を格納する画素メモリを備え、
   前記読出制御回路は、前記画素メモリから画素データを出力するタイミングを制御する、
   請求項7に記載の固体撮像装置。
9. 前記所定領域に属する前記画素において共有して備えられる、ADC(Analog to Digital Converter)、をさらに備える、
   請求項1に記載の固体撮像装置。
10. 前記長蓄領域と、前記短蓄領域は、重複して設定可能である、
    請求項1に記載の固体撮像装置。
11. 前記画素として、赤外光を受光する画素を備え、
    前記長蓄領域において長時間露光をするタイミングにおいて、前記赤外光を受光する画素において赤外光を受光する、
    請求項10に記載の固体撮像装置。
12. 赤外光を照射する、LEDをさらに備える、
    請求項11に記載の固体撮像装置。
13. 前記短蓄領域として、全ての前記所定領域を分類する、
    請求項11に記載の固体撮像装置。

Images