JP2023001788A - 撮像装置及び電子機器 - Google Patents

撮像装置及び電子機器 Download PDF

Info

Publication number
JP2023001788A
JP2023001788A JP2021102723A JP2021102723A JP2023001788A JP 2023001788 A JP2023001788 A JP 2023001788A JP 2021102723 A JP2021102723 A JP 2021102723A JP 2021102723 A JP2021102723 A JP 2021102723A JP 2023001788 A JP2023001788 A JP 2023001788A
Authority
JP
Japan
Prior art keywords
cluster
transfer
pixel data
pixel
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021102723A
Other languages
English (en)
Inventor
喜之 太田
Yoshiyuki Ota
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2021102723A priority Critical patent/JP2023001788A/ja
Priority to PCT/JP2022/015779 priority patent/WO2022270109A1/ja
Publication of JP2023001788A publication Critical patent/JP2023001788A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】画素を間引く場合には消費電力を削減する。【解決手段】撮像装置は、互いに交差する第1方向及び第2方向に配置され、それぞれが光電変換を行う複数の画素を有する画素アレイ部と、画素アレイ部内の2以上の画素を含む画素領域ごとに設けられ、対応する画素領域内の各画素で光電変換された電荷に対応する画素データを生成する、第1方向に沿って配置される複数のクラスタと、複数のクラスタで生成された画素データを第1方向に転送するクラスタ間転送部と、を備える。複数のクラスタのそれぞれは、クラスタ内の一部の画素を間引く場合に、複数のクラスタ内転送部のうち、間引かれる画素に対応するクラスタ内転送部を利用して、クラスタ間転送部に転送される画素データを並び替える転送制御部と、を備える。【選択図】図1

Description

本開示は、撮像装置及び電子機器に関する。
光電変換を行う画素ごとにアナログ-デジタル変換器(以下、AD変換器)を設ける画素AD方式の撮像装置が提案されている(特許文献1参照)。
画素AD方式は、各画素が並行してAD変換を行うため、カラム単位でAD変換を行うカラムAD方式に比べて、撮像速度を高速化できる。その一方で、AD変換器の数がカラムAD方式よりも多くなるため、消費電力が増大する。
一方、撮像装置を内蔵したカメラでは、ライブビューモードを搭載したものが普及している。ライブビューモードが選択されると、カメラに設置されたモニタや電子ビューファインダに撮影前の被写体画像を表示させて、光学ファインダと同様に、撮影構図の設定や焦点調節が行えるようになる。
ライブビューモード選択時にモニタ等に表示される被写体画像は、撮影画像ほどの高解像は要求されないため、解像度を落とした被写体画像を表示することで、消費電力の削減を図っている。
特開2020-167441号公報
このように、最近のカメラでは、低解像度の被写体画像を表示させるライブビューモードと、高解像度の撮影画像を表示させる通常解像度モードを自動又は手動で切替可能にしている。
従来の画素AD方式の撮像装置を備えたカメラでは、ライブビューモード選択時には、撮像装置から出力された全画素分の画素データをフレームメモリに記憶した後に、画素の間引き処理を行って表示する。このため、撮像装置の動作はライブビューモードと通常解像度モードで変わらないことから、撮像装置の消費電力を削減することはできない。すなわち、撮像装置は、ライブビューモード選択時には無駄に電力を消費していた。
そこで、本開示では、画素を間引く場合には消費電力を削減可能な撮像装置及び電子機器を提供するものである。
上記の課題を解決するために、本開示によれば、互いに交差する第1方向及び第2方向に配置され、それぞれが光電変換を行う複数の画素を有する画素アレイ部と、
前記画素アレイ部内の2以上の画素を含む画素領域ごとに設けられ、対応する画素領域内の各画素で光電変換された電荷に対応する画素データを生成する、前記第1方向に沿って配置される複数のクラスタと、
前記複数のクラスタで生成された画素データを前記第1方向に転送するクラスタ間転送部と、を備え、
前記複数のクラスタのそれぞれは、
対応する画素領域内の各画素で光電変換された電荷をアナログ-デジタル変換する複数のAD変換器と、
前記複数のAD変換器の出力信号に応じた画素データを記憶する複数の記憶部と、
前記複数の記憶部に記憶された複数の前記画素データを前記クラスタ間転送部に転送する複数のクラスタ内転送部と、
前記クラスタ内の一部の画素を間引く場合に、前記複数のクラスタ内転送部のうち、間引かれる画素に対応するクラスタ内転送部を利用して、前記クラスタ間転送部に転送される前記画素データを並び替える転送制御部と、を備える、撮像装置が提供される。
前記転送制御部は、間引かれる画素に対応する前記クラスタ内転送部を利用して、間引かれない画素の並ぶ順に沿って対応する前記画素データを前記クラスタ間転送部に転送してもよい。
前記転送制御部は、前記第2方向に配置される複数の画素の並び順に沿って、間引かれる画素に対応する前記クラスタ内転送部内で前記画素データを並び替えてもよい。
前記複数のクラスタ内転送部のそれぞれは、前記第2方向に沿って縦続接続された複数段のラッチ回路を有し、
前記転送制御部は、前記クラスタ内の一部の画素を間引く場合に、間引かれない画素に対応する前記クラスタ内転送部から、前記第1方向に隣接する間引かれる画素に対応する前記クラスタ内転送部に前記画素データを転送し、転送された前記クラスタ内転送部内の前記画素データを順に前記クラスタ間転送部に転送してもよい。
前記転送制御部は、前記クラスタ内の一部の画素を間引く場合に、前記第1方向に配置された間引かれる2つの画素に対応する2つの前記ラッチ回路を含むフリップフロップにて、前記間引かれない画素に対応する前記画素データを保持し、保持された画素データを、間引かれる画素に対応する前記複数段のラッチ回路を用いて前記クラスタ間転送部に順に転送してもよい。
前記クラスタ内の前記複数のクラスタ内転送部は、前記第1方向に順に配置される第1ラッチ回路、第2ラッチ回路、及び第3ラッチ回路を有し、
前記転送制御部は、前記第2ラッチ回路の入力ノードに前記第1ラッチ回路の出力ノードを接続するか、又は前段の前記第3ラッチ回路の出力ノードを接続するかを切り替える信号選択部を有し、
前記転送制御部は、前記第2ラッチ回路の入力ノードに前記第1ラッチ回路の出力ノードを接続して、前記画素データを前記第1ラッチ回路から前記第2ラッチ回路に転送してラッチした後に、前記第2ラッチ回路の入力ノードに前段の前記第3ラッチ回路の出力ノードを接続して前記第2方向に前記画素データを転送してもよい。
前記第1方向に順に配置される3つの前記クラスタ内転送部のそれぞれが有する、前記第2方向に縦続接続された前記複数段のラッチ回路は、段ごとに、前記第1ラッチ回路、前記第2ラッチ回路及び前記第3ラッチ回路を有してもよい。
前記信号選択部の出力ノードと前記第2ラッチ回路の入力ノードとを接続するか否かを切り替える第1信号切替器と、
前記第2ラッチ回路の出力ノードと前記第3ラッチ回路の入力ノードとを接続するか否かを切り替える第2信号切替器と、を備え、
前記転送制御部は、前記第1信号切替器と前記第2信号切替器との少なくとも一方の切替制御により、前記第2ラッチ回路と前記第3ラッチ回路とを前記フリップフロップとして動作させてもよい。
前記複数のクラスタ内転送部は、前記複数の記憶部に記憶された複数の前記画素データを前記クラスタ間転送部に転送するとともに、前記クラスタ間転送部を介して転送されてきた時刻コード情報を前記複数の記憶部に転送してもよい。
前記クラスタ間転送部は、前記複数のクラスタ内転送部を介して転送された複数の前記画素データを差動で転送する差動信号線を有してもよい。
前記転送制御部は、前記クラスタが対応する画素領域内の各画素を間引かずに前記画素データを前記クラスタ間転送部に転送する第1モードと、対応する画素領域内の一部の画素を間引いて前記画素データを前記クラスタ間転送部に転送する第2モードとを排他的に選択してもよい。
前記クラスタ間転送部は、前記第1モード時に前記複数のクラスタ内転送部を介して転送された前記複数の画素データを転送する第1信号線と、前記第2モード時に前記複数のクラスタ内転送部を介して転送された前記複数の画素データを転送する第2信号線と、を有してもよい。
前記第1信号線は、前記複数の画素データに加えて、時刻コード情報を転送してもよい。
前記第2モードは、ライブビューを行うときに選択されるモードであってもよい。
前記転送制御部は、前記クラスタ内の一部の画素を間引く場合に、間引かれる画素に対応する前記クラスタ内転送部を利用して、間引かれない画素に対応する前記画素データを前記第1方向に転送してもよい。
前記第1方向に配置される前記複数のクラスタ内転送部のそれぞれに接続される複数の信号切替器を備え、
前記転送制御部は、間引かれない画素に対応する前記画素データを、並び替え先の前記信号切替器を介して、対応する前記クラスタ内転送部に入力して前記第1方向に転送してもよい。
前記転送制御部は、前記第2方向に並ぶ、間引かれない各画素に対応する前記画素データを、それぞれ異なる前記クラスタ内の対応する前記信号切替器を介して、対応する前記クラスタ内転送部に入力して前記第1方向に転送してもよい。
前記複数のクラスタのそれぞれを個別に選択する複数のクラスタ選択信号のうち、対応するクラスタ選択信号が所定の論理のときに、対応するクラスタ内の前記画素データを差動信号に変換する複数の差動生成部を備え、
前記クラスタ間転送部は、対応する前記クラスタ選択信号が前記所定の論理のときに、対応する前記差動信号を前記第1方向に転送してもよい。
前記複数のクラスタ及び前記クラスタ間転送部は、前記第2方向に複数個ずつ配置され、
複数の前記クラスタ間転送部のそれぞれに対応する前記クラスタ選択信号を前記所定の論理にするか否かを個別に設定することで、前記複数のクラスタ間転送部は、前記クラスタ単位で設定可能な任意の画素領域に対応する前記画素データを前記第1方向に転送してもよい。
本開示によれば、光電変換された電荷に応じた画素データを出力する撮像装置と、
前記画素データに対する信号処理を行う信号処理部と、を備え、
前記撮像装置は、
互いに交差する第1方向及び第2方向に配置され、それぞれが光電変換を行う複数の画素を有する画素アレイ部と、
前記画素アレイ部内の2以上の画素を含む画素領域ごとに設けられ、対応する画素領域内の各画素で光電変換された電荷に対応する画素データを生成する、前記第1方向に沿って配置される複数のクラスタと、
前記複数のクラスタで生成された画素データを前記第1方向に転送するクラスタ間転送部と、を備え、
前記複数のクラスタのそれぞれは、
対応する画素領域内の各画素で光電変換された電荷をアナログ-デジタル変換する複数のAD変換器と、
前記複数のAD変換器の出力信号に応じた画素データを記憶する複数の記憶部と、
前記複数の記憶部に記憶された複数の前記画素データを前記クラスタ間転送部に転送する複数のクラスタ内転送部と、
前記クラスタ内の一部の画素を間引く場合に、前記複数のクラスタ内転送部のうち、間引かれる画素に対応するクラスタ内転送部を利用して、前記クラスタ間転送部に転送される前記画素データを並び替える転送制御部と、を有する、電子機器が提供される。
本技術の実施の形態における撮像装置の一構成例を示すブロック図。 本技術の実施の形態における撮像装置のチップ構造の一例を示す図。 本技術の実施の形態におけるクラスタの一例を示す図。 本技術の実施の形態における回路チップのフロアプランの一例を示す図。 本技術の実施の形態におけるリピータの一例を示す図。 本技術の実施の形態におけるAD変換回路の構成例を示す図。 本技術の実施の形態におけるAD変換回路の回路構成例を示す図。 本開示に係る撮像装置の動作タイミング図。 ライブビューモード選択時における一般的な画素データの転送順序を模式的に示す図。 第1の実施形態による画素データの転送順序を模式的に示す図。 第1の実施形態に係るクラスタの内部構成を示すブロック図。 クラスタ内のクラスタ内転送部とクラスタ間転送部の内部構成を示す回路図。 図11Bの追加された回路部分の一部を拡大した回路図。 図12の回路を太線枠で示した図。 ライブビューモード選択時におけるリピータ内のn番目のクラスタとn+1番目のクラスタ内の各画素データの転送タイミングを示す図。 クラスタの内部に差動変換部を設けた回路図。 ライブビューモード選択時に第2の実施形態に係る画素データの並び替えを説明する図。 第2の実施形態に係るクラスタ内転送部の周辺の回路図。 第3の実施形態に係るリピータの回路図。 一比較例に係るクラスタ間転送部のブロック図。 ROIの画素データだけを転送することを模式的に示す図。 車両制御システムの概略的な構成の一例を示すブロック図。 車外情報検出部及び撮像部の設置位置の一例を示す説明図。
以下、図面を参照して、撮像装置及び電子機器の実施形態について説明する。以下では、撮像装置及び電子機器の主要な構成部分を中心に説明するが、撮像装置及び電子機器には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
[撮像装置の構成例]
図1は本技術の実施の形態における撮像装置80の一構成例を示すブロック図である。
この撮像装置80は、被写体を撮像するための装置であり、固体撮像素子82およびDSP(Digital Signal Processing)回路83、表示部84、操作部85、記憶部87および電源部88を備える。これらは、バス89によって相互に接続される。撮像装置80としては、例えば、デジタルスチルカメラなどのデジタルカメラの他、撮像機能を持つスマートフォンやパーソナルコンピュータ、車載カメラ等が想定される。
固体撮像素子82は、光電変換により画素データを生成するものである。固体撮像素子82の全面には光学系81が設けられ、被写体からの光を集光して固体撮像素子82に導く。固体撮像素子82は、生成した画素データを後段のDSP回路83に供給する。
DSP回路83は、固体撮像素子82からの画素データに対して所定の信号処理を実行するものである。表示部84は、画素データを表示するものである。表示部84としては、例えば、液晶パネルや有機EL(Electro Luminescence)パネルが想定される。操作部85は、ユーザの操作に従って操作信号を生成するものである。記憶部87は、画素データなどの様々なデータを記憶するものである。電源部88は、固体撮像素子82、DSP回路83や表示部84などに電源を供給するものである。
[チップ構造]
図2は本技術の実施の形態における撮像装置80のチップ構造の一例を示す図である。
ここでは、撮像装置80のチップ構造として、同図におけるaに示すように、画素チップ10および回路チップ20の階層構造を想定する。
画素チップ10は、同図におけるbに示すように、主として、2次元状に配置された複数の画素からなる画素アレイ部11を備えるチップである。画素アレイ部11の周辺には、画素を駆動するための水平駆動回路や垂直駆動回路などが適宜設けられる。
回路チップ20は、同図におけるcに示すように、主として、2次元状に配置された複数のAD(Analog-to-Digital)変換回路からなるAD変換回路領域21を備えるチップである。AD変換回路領域21の周辺には、AD変換回路を駆動するための駆動回路やロジック回路などが適宜設けられる。
これら画素チップ10および回路チップ20は、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Cu-Cu接合やバンプ、TCI(ThruChip Interface)などの誘導結合通信技術により接続することもできる。
[クラスタ]
図3は本技術の実施の形態におけるクラスタの一例を示す図である。
上述のように、撮像装置80は、画素チップ10および回路チップ20の階層構造を備える。ここで、画素チップ10の2次元状に配置された画素アレイ部11において所定数の画素行を垂直方向に切り出したものを想定し、それらに対応するAD変換回路領域21の回路群をリピータ30とする。この例では、幅4画素の画素行に対応する回路群をリピータ30として示している。
そして、リピータ30を所定の行毎に区切ったものをクラスタ31とする。この例では、幅4画素の8行分の画素12に対応する回路群をクラスタ31として示している。すなわち、AD変換回路領域21の回路群は、複数のクラスタ31を2次元状に配置したものとして構成される。
また、クラスタ31は、1つの画素に対して階調数分の回路が設けられる。すなわち、階調を表すために必要なビット数に対応する回路を備える。また、一部の画素の故障に備え、冗長に回路を設けてもよい。
[フロアプラン]
図4は本技術の実施の形態における回路チップ20のフロアプランの一例を示す図である。
上述のように回路チップ20の中央部には、AD変換回路領域21が設けられる。このAD変換回路領域21は、複数のクラスタ31を2次元状に配置したものとして構成される。クラスタ31は、AD変換回路200と、記憶回路300と、時刻コード転送部400とを備える。これらの詳細については後述する。
AD変換回路領域21の周辺には、垂直駆動回路207、PLL(Phase Locked Loop)208、DAC(Digital-to-Analog Converter)209、時刻コード発生回路510、および、画素データ処理回路520などが適宜配置される。
垂直駆動回路207は、AD変換回路領域21の各回路の垂直方向の駆動を行う回路である。PLL208は、クロック信号を生成するための位相同期回路である。DAC209は、アナログの画素信号をデジタルの信号にAD変換する際に使用されるランプ信号RMPを生成する回路である。ランプ信号RMPは、時間経過に応じてレベル(電圧)が単調減少するスロープ信号であり、参照信号(基準電圧信号)とも呼ばれる。
時刻コード発生回路510は、各画素12が、アナログの画素信号をデジタルの信号にAD変換する際に使用される時刻コードを生成し、対応する時刻コード転送部400に供給するものである。同図では記載を省略しているが、時刻コード発生回路510は、時刻コード転送部400に対応して1つずつ設けられる。ただし、複数の時刻コード転送部400によって1つの時刻コード発生回路510を共有するように構成してもよい。本明細書では、時刻コード転送部400を、クラスタ間転送部400と呼ぶことがある。
画素データ処理回路520は、デジタルの画素データに対して、黒レベルを補正する黒レベル補正処理や、相関2重サンプリング(CDS:Correlated Double Sampling)処理などの所定のデジタル信号処理を必要に応じて行うものである。
[リピータ]
図5は本技術の実施の形態におけるリピータ30の一例を示す図である。
上述のように、リピータ30は、所定数の画素行に対応するAD変換回路領域21の回路群であり、列方向に並ぶ複数のクラスタ31から構成される。リピータ30は、列方向に並ぶ複数のAD変換回路200と、AD変換回路200の各々に対応する複数の記憶回路300と、時刻コード転送部400とを備える。また、時刻コード転送部400は、書込み転送回路410と、読出し転送回路420とを備える。
AD変換回路200は、画素12からのアナログの画素信号をデジタルの画素データにAD変換する回路である。
記憶回路300は、書込み転送回路410から供給された時刻コード、および、AD変換されたデジタルの画素データを記憶する回路である。
書込み転送回路410は、時刻コード発生回路510からの時刻コードをシフトレジスタにより転送して、各クラスタ31の記憶回路300に供給するものである。
読出し転送回路420は、各クラスタ31の記憶回路300から出力されたデジタルの画素データをシフトレジスタにより転送して、画素データ処理回路520に出力するものである。なお、読出し転送回路420は、特許請求の範囲に記載の転送部の一例である。
図5では、書き込み転送回路410と読み出し転送回路420を別個に設けているが、書き込み転送回路410と読み出し転送回路420を一つに統合することも可能である。また、後述するように、ライブビューモード選択時の画素データを転送する転送回路を別個に設けてもよい。
[AD変換回路]
図6は本技術の実施の形態におけるAD変換回路200の構成例を示す図である。
AD変換回路200は、画素回路100からのアナログの画素信号SIGとDAC209からのランプ信号RMPとを比較して、その比較結果VCOを出力する比較回路299を備える。比較回路299は、比較器219と、遅延素子239と、演算素子259とを備える。
比較器219は、アナログの画素信号SIGとランプ信号RMPとを比較する回路である。遅延素子239は、比較器219の出力を遅延させて比較器219および演算素子259に供給する回路である。演算素子259は、比較器219の出力と遅延素子239の出力とに基づいて演算を行う回路である。これらを実現する具体的回路構成については後述する。
記憶回路300は、クラスタ内転送部310と、読出しのための記憶素子320とを備える。クラスタ内転送部310は、比較回路299による比較結果VCOが反転したタイミングにおいて、書込み転送回路410から供給された時刻コードを画素データとして保持するラッチ回路である。記憶素子320は、クラスタ内転送部310に保持された画素データを記憶して、読出し制御に従って読出し転送回路420に出力するものである。また、記憶素子320から読み出された画素データは、クラスタ内転送部310を介して読み出し転送回路420に送られる。
図7は本技術の実施の形態におけるAD変換回路200の回路構成例を示す図である。
AD変換回路200は、差動入力回路210と、電圧変換回路220と、遅延素子239等とを備える。差動入力回路210には、画素回路100からのアナログの画素信号SIGと、DAC209からのランプ信号RMPとが入力される。
画素回路100は、光電変換によりアナログ信号を生成するものである。この画素回路100は、例えば、リセットトランジスタ115、浮遊拡散層114、転送トランジスタ113、フォトダイオード111および排出トランジスタ112を備える。リセットトランジスタ115、転送トランジスタ113、フォトダイオード111および排出トランジスタ112として、例えば、N型のMOS(Metal-Oxide-Semiconductor)トランジスタが用いられる。
フォトダイオード111は、光電変換により電荷を生成するものである。排出トランジスタ112は、ドライバからの駆動信号OFGにより排出が指示されるとフォトダイオード111から電荷を排出するものである。
転送トランジスタ113は、ドライバからの転送信号TXにより転送が指示されると、露光終了時にフォトダイオード111から浮遊拡散層114へ電荷を転送するものである。
浮遊拡散層114は、転送された電荷を蓄積して蓄積した電荷量に応じた電圧のアナログ画素信号SIGを生成するものである。
リセットトランジスタ115は、ドライバからのリセット信号AZにより初期化が指示されると、浮遊拡散層114を初期化するものである。
差動入力回路210は、差動トランジスタ211および212と、電流源トランジスタ213と、P型トランジスタ215および214とを備える。
差動トランジスタ211および212は、アナログ画素信号SIGとランプ信号RMPとの差分を、定電流を用いて増幅し、差動増幅信号DIFとして出力するものである。これらの差動トランジスタ211および212として、例えば、N型のMOSトランジスタが用いられる。差動トランジスタ211および212のそれぞれのソースは、コモンノードを介して回路チップ20内の回路に共通に接続される。また、差動トランジスタ211のゲートは、浮遊拡散層223に接続され、差動トランジスタ212のゲートは、DAC209に接続される。
P型トランジスタ214および215は、電源電圧HVの端子に並列に接続される。また、P型トランジスタ215のゲートは、自身のドレインとP型トランジスタ214のゲートとに接続される。また、P型トランジスタ215のドレインは、差動トランジスタ212のドレインに接続され、P型トランジスタ214のドレインは、差動トランジスタ211のドレインに接続される。また、P型トランジスタ216のゲートは、P型トランジスタ214のドレインに接続され、ドレインは電圧変換回路220に接続される。P型トランジスタ214、215および216からなる回路は、上述の接続構成により、カレントミラー回路として機能する。このカレントミラー回路から、電圧変換回路220に差動増幅信号DIFが出力される。
電流源トランジスタ213のゲートには、所定のバイアス電圧Vbiasが印加され、ソースは接地される。この電流源トランジスタ213は、バイアス電圧Vbiasに応じた定電流を供給する電流源として機能する。
電圧変換回路220は、差動入力回路210からの差動増幅信号DIFの電圧を変換するものである。この電圧変換回路220は、N型トランジスタ221を備える。N型トランジスタ221として、例えば、MOSトランジスタが用いられる。このN型トランジスタ221は、差動入力回路210と後段の正帰還回路との間に挿入され、そのゲートには、電源電圧HVより低い電源電圧LVが印加される。
正帰還回路は、NORゲート234の前段のノードの反転遷移を加速させるための正帰還信号PFBを出力するものである。この正帰還回路は、P型トランジスタ231および232と、N型トランジスタ233と、NORゲート234とを備える。P型トランジスタ231、P型トランジスタ232およびN型トランジスタ233として、例えば、MOSトランジスタが用いられる。
P型トランジスタ231、P型トランジスタ232およびN型トランジスタ233は、電源電圧LVの端子と接地端子との間において直列に接続される。P型トランジスタ231のゲートには、ドライバからの駆動信号INI2が入力され、N型トランジスタ233には、ドライバからの駆動信号INI1が入力される。
NORゲート234の2つの入力端子の一方は、P型トランジスタ232およびN型トランジスタ233の接続端子に接続され、他方には、ドライバからの駆動信号FORCEVCOが入力される。この駆動信号FORCEVCOは、アナログの画素信号SIGとランプ信号RMPとの比較の結果、反転が生じなかった場合に、強制的に反転させるための信号である。NORゲート234の出力は、遅延素子239を介してインバータ241に出力される。
インバータ241は、遅延素子239の出力を反転して比較結果XVCOとしてインバータ242および記憶回路300に出力するものである。インバータ242は、比較結果XVCOを反転して比較結果VCOとして記憶回路300に出力するものである。
なお、この例においては、画素回路100と差動トランジスタ211および212とが画素チップ10に配置され、それ以外の回路が回路チップ20に配置されることを想定している。
図8は本開示に係る撮像装置80の動作タイミング図である。図8は、1フレーム期間における撮像装置80の撮像動作のタイミングを示している。図8には、OFG信号、RST信号、TX信号、INI信号、FORCE信号、RMP信号、電流Icm 、時刻コードDATA、時刻コードのラッチデータLatch、比較結果信号VCO、書き込み制御信号WEN、ワード選択信号WORD[127:0]と、読み出し制御信号RENのタイミング波形が図示されている。
OFG信号は、1フレームの開始前(時刻t1)に所定期間(時刻t1~t2)だけハイレベルに遷移する。OFG信号がハイレベルに遷移すると、図7に示す排出トランジスタ112がオンして、フォトダイオード111で光電変換された電荷が排出される。
時刻t3にRST信号がハイレベルに遷移し、図7のリセットトランジスタ115がオンして、浮遊拡散層114が初期化される。時刻t4にINI信号がハイレベルに遷移するとともに、FORCE信号がローレベルに遷移し、図7のインバータ241から出力されるVCO信号がハイレベルに遷移する。
時刻t5にWEN信号がハイレベルに遷移すると、書き込み転送回路410で転送された時刻コードが記憶素子320に入力される。
差動入力回路210内の差動トランジスタ212のゲートに入力されるランプ信号RMPは、時刻t5以降、電圧レベルが時間に応じて線形に変化する。この状態では、差動トランジスタ211のゲートに入力される画素信号SIGはリセットレベルであり、電圧レベルは不変である。時刻t6で、ランプ信号RMPの電圧レベルが画素信号SIGの電圧レベルと交差すると、VCO信号がローレベルに遷移する。
記憶素子320は、VCO信号がローレベルに遷移したタイミングt6で、時刻コードをラッチ(記憶)する。時刻t7で、FORCE信号はハイレベル、WEN信号はローレベルに遷移する。
時刻t8~t9の間に、記憶素子320に記憶されたデータがワード選択信号WORD[127:0]に応じて読み出されて、読み出し転送回路420にて転送される。
時刻t2~t9の期間内は、リセットレベルを検出するP相期間である。時刻t2~t10の期間は、フォトダイオード111の露光期間(光電変換期間)であり、この期間内に光電変換で得られた電荷は、浮遊拡散層114に保持される。時刻t11以降に、画素信号レベルを検出するD相期間が開始される。
時刻t11にINI信号がハイレベルに遷移すると、VCO信号が再度ハイレベルに遷移する。その後、時刻t12にWEN信号がハイレベルに遷移すると、書き込み転送回路410で転送された時刻コードが記憶素子320に入力される。
差動入力回路210内の差動トランジスタ212のゲートに入力されるランプ信号RMPは、時刻t12以降、電圧レベルが時間に応じて線形に変化する。差動トランジスタ211のゲートに入力される画素信号SIGは浮遊拡散層114の蓄積電荷に応じた電圧レベルである。時刻t13でランプ信号RMPの電圧レベルが画素信号SIGの電圧レベルと交差すると、VCO信号がローレベルに遷移する。
記憶素子320は、VCO信号がローレベルに遷移したタイミングt13で、時刻コードをラッチ(記憶)する。時刻t14で、FORCE信号はハイレベルに遷移する。
時刻t15~t16の間に、記憶素子320に記憶されたデータがワード選択信号WORD[127:0]に応じて読み出されて、読み出し転送回路420にて転送される。
本開示に係る撮像装置80は、少なくとも2つの動作モードを備えており、モードによって、画素アレイ部11内の撮像を行う画素数を切り替える。以下では、本開示に係る撮像装置80が通常解像度モードとライブビューモードを備える例を示す。通常解像度モードでは、画素アレイ部11内のすべての画素を用いて光電変換を行って撮像画像を生成する。ライブビューモードでは、画素アレイ部11内の画素を間引いて光電変換を行い、低解像度の撮像画像を生成する。以下では、ライブビューモード選択時の撮像装置80の特徴的な構成及び動作を主に説明する。なお、本明細書では、高解像度の撮像画像を生成するモードを通常解像度モードと呼び、低解像度の撮像画像を生成するモードをライブビューモードと呼ぶが、各モードの具体的名称は問わない。
(第1の実施形態)
図9はライブビューモード選択時におけるクラスタ内転送部310からクラスタ間転送部(時刻コード転送部)400への一般的な画素データの転送順序を模式的に示す図である。図9は3つのクラスタ31(以下、クラスタn、クラスタn+1、クラスタn+2と呼ぶことがある)内の各画素データを転送する順序を図示している。図9の矢印線は、時間軸である。図9は、横8画素×縦6画素からなるクラスタ31内の各画素データをライブビューモード選択時に転送する順序を示している。
クラスタ内転送部310から転送される画素データは、より正確には、対応する記憶素子320に記憶された時刻コードである。図5に示したように、リピータ30内には、複数のクラスタ31が設けられており、各クラスタ31は並行して画素データをクラスタ間転送部400に転送する。
ライブビューモード選択時には、クラスタ31内の縦方向6行のうち、例えば、最下位行の画素行と、上から3番目の画素行の各画素データが転送され、残りの画素行は間引かれる。本明細書では、ライブビューモード選択時に転送される画素行の各画素を間引かれない画素と呼び、転送されない画素行の各画素を間引かれる画素と呼ぶことがある。
図9では、クラスタ31内の画素のうち、間引かれる画素を白抜きにし、間引かれない画素に斜線を付している。例えば、最下位行の画素行の場合、対応するクラスタ内転送部310は、左端、右から4番目、左から2番目、右から3番目、等のように、飛び飛びに画素データ(時刻コード)の転送を行う。8回の転送でクラスタ31内の1行分の画素行の転送が完了し、次に、クラスタ31内の上から3番目の画素行に対応するクラスタ内転送部310が、同様にして、その画素行の各画素データを飛び飛びに転送する。
図9に示すように、ライブビューモード選択時には、クラスタ31内の2つの画素行しか画素データの転送が行われず、クラスタ31内の残りの4つの画素行は有効に活用されていない。しかも、転送対象の画素行の画素データは、画素の並び(ラスタ)順とは異なり、飛び飛びに転送される。このため、画素データの転送先で、画素データをいったん外部メモリに保持し、外部メモリに2画素行分の画素データが保持された後に、画素の並び順(ラスタ順)に画素データを転送し直す必要がある。
このように、図9に示す順序で画素データを転送すると、外部メモリが必要となり、消費電力が増える上に、画素データの転送にも時間がかかる。これに対して、第1の実施形態では、間引かれる画素行に対応するクラスタ内転送部310を利用して、間引かれない画素行の画素データの並び替えを行ってから画素の並び順に転送するため、外部メモリが不要で、かつ画素データの転送を迅速に行うことができる。
図10は第1の実施形態による画素データの転送順序を模式的に示す図である。図10では、転送順に1から16まで番号を付している。例えば、クラスタ内転送部310内の最下位行の各画素は、その上の2つの画素の方向に転送されて、いったん保持された後、右端の画素から順に、右側のクラスタ間転送部400に転送される。同様に、クラスタ31内の上から3番目の行の各画素は、その上の2つの画素の方向に転送されて、いったん保持された後、右端の画素から順に、左端の下から2番目の画素に転送され、最下位行の各画素と同様の手順で、1画素ずつ右側に転送される。
このように、第1の実施形態では、ライブビューモード選択時には、クラスタ31内のすべてのクラスタ内転送部310を利用して、転送対象の画素データを画素の並び順にクラスタ間転送部400に転送する。
図9に示したように、ライブビューモード選択時の一般的な画素データの転送順序は、画素の並び順ではなく、飛び飛びであるため、外部メモリで画素データを並び直す必要があるが、第1の実施形態に係るクラスタ内転送部310では、間引かれる画素行のクラスタ内転送部310を利用して画素データを並べ直してから画素の並び順に転送するため、外部メモリが不要となり、かつ画素データの転送を迅速に行うことができる。
図11Aは第1の実施形態に係るクラスタ31の内部構成を示すブロック図、図11Bはクラスタ31内のクラスタ内転送部310とクラスタ間転送部400の内部構成を示す回路図である。図11Aに示すように、クラスタ内転送部310は、画素行ごとに設けられている。例えば、各クラスタ31がn(nは2以上の整数)個の画素行を有する場合は、各クラスタ31にはn個のクラスタ内転送部310が設けられる。図11A及び図11Bは、8画素×6画素のクラスタ31が有する6個のクラスタ内転送部310を示している。
図11Bに示すように、各クラスタ内転送部310は、複数のラッチ回路311を有する。図11Bの例では、各クラスタ内転送部310が行方向に8個のラッチ回路311を有する例を示している。各ラッチ回路311は、対応する記憶素子320から読み出された画素データを保持する。
図11Bの太線で示す回路部分は、図11Bに示す6個のクラスタ内転送部310の基本構成に新たに追加される回路構成である。追加される回路部分は、ライブビューモード選択時に、間引かれる画素行のクラスタ内転送部310を利用して、画素データの並び替えを行うための回路である。なお、通常解像度モード選択時には、追加された回路部分は機能しないように回路の切替が行われる。
本明細書では、図11Bの複数のクラスタ内転送部310の並ぶ方向を第1方向と呼び、各クラスタ内転送部310内の複数のラッチ回路311が並ぶ方向(行方向)を第2方向と呼ぶ。
図12は図11Bの追加された回路部分の一部を拡大した回路図である。図12は、例えば、クラスタ31の最下位行の左下隅の画素と、その上の2つの画素に対応する3つのラッチ回路311を示している。図12の回路部分は、図13に太枠で示す回路部分の一部の回路図である。以下では、図12に示す3つのラッチ回路311を、下から上に向かって、第1ラッチ回路311-1、第2ラッチ回路311-2、第3ラッチ回路311-3と呼ぶ。第1ラッチ回路311-1は、間引かれない画素行のクラスタ内転送部310に含まれる。第2ラッチ回路311-2は、間引かれる画素行のクラスタ内転送部310に含まれる。第3ラッチ回路311-3は、第2ラッチ回路311-2が含まれるクラスタ内転送部310とは別の間引かれる画素行のクラスタ内転送部310に含まれる。
図11Bに示す6個のクラスタ内転送部310に追加される回路部分は、信号選択部312、第1信号切替器313、及び第2信号切替器314を有する。また、図11Bに示すように、クラスタ31の内部には、信号選択部312、第1信号切替器313、及び第2信号切替器314を制御するための転送制御部315が設けられる。さらに、第2ラッチ回路311-2内には、第2信号切替器314に接続される信号切替器314aが設けられている。第2信号切替器314と信号切替器314aのどちらか一方は、クロック信号CLKが第1論理のときに信号通過状態となり、クロック信号CLKが第2論理のときに信号遮断状態となる。以下では、第2信号切替器314は常に信号通過状態に設定され、信号切替器314aはクロック信号CLKがハイレベルのときに信号通過状態となり、ローレベルのときに信号遮断状態となる例を説明する。
図11Aに示すクラスタ31内の転送制御部315は、クラスタ31内の一部の画素を間引く場合、すなわちライブビューモード選択時に、複数のクラスタ内転送部310のうち、間引かれる画素に対応するクラスタ内転送部310を利用して、クラスタ間転送部400に転送されるデジタル信号を並び替える制御を行う。より具体的には、転送制御部315は、間引かれる画素に対応するクラスタ内転送部310を利用して、間引かれない画素の並ぶ順に沿って対応する画素データをクラスタ間転送部400に転送する制御を行う。すなわち、転送制御部315は、第2方向に配置される複数の画素の並び順に沿って、間引かれる画素に対応するクラスタ内転送部310内で画素データを並び替える。
図12に示すように、信号選択部312は、第1ラッチ回路311-1の出力ノードと第2ラッチ回路311-2の入力ノードの間に配置されている。信号選択部312は、第2ラッチ回路311-2の入力ノードに第1ラッチ回路311-1の出力ノードを接続するか、又は前段の第3ラッチ回路311-3の出力ノードを接続するか否かを選択するセレクタである。図12では、セレクタの出力ノードにインバータを接続しているが、このインバータは論理を合わせるためであり、必須の構成部品ではない。
転送制御部315は、信号選択部312を制御することにより、第2ラッチ回路311-2の入力ノードに第1ラッチ回路311-1の出力ノードを接続して画素データを第2ラッチ回路311-2でラッチした後に、第2ラッチ回路311-2の入力ノードに第3ラッチ回路311-3の出力ノードを接続して第2方向に画素データを転送する。
第1信号切替器313は、信号選択部312(正確にはインバータ)の出力ノードと第2ラッチ回路311-2の入力ノードとを接続するか否かを切り替える。第2信号切替器314は、第2ラッチ回路311-2の出力ノードと第3ラッチ回路311-3の入力ノードとを接続するか否かを切り替える。
転送制御部315は、第1信号切替器313と信号切替器314aを相反するように切り替える。例えば、クロック信号がハイレベルのときに第1信号切替器313を信号遮断状態に設定するとともに、信号切替器314aを信号通過状態に設定する。また、クロック信号がローレベルのときに第1信号切替器313を信号通過状態に設定するとともに、信号切替器314aを信号遮断状態に設定する。これにより、第2ラッチ回路311-2と第3ラッチ回路311-3をフリップフロップとして機能させることができる。
ライブビューモード選択時には、第1ラッチ回路311-1でラッチされた画素データは、第2ラッチ回路311-2と第3ラッチ回路311-3にて保持されて、第3ラッチ回路311-3の出力ノードから出力される。図12では、第3ラッチ回路311-3の出力ノードにインバータ321を接続しているが、このインバータ321は論理を合わせるためのものであり、必須の構成部品ではない。
図12では、転送対象の1画素分の転送を行う第1~第3ラッチ回路311-1~311-3を示しているが、図11Bに示すように、転送対象の画素行の各画素がそれぞれ第1~第3ラッチ回路311-1~311-3を有する。右端の画素に対応する第3ラッチ回路311-3から順に画素データが出力される。この第3ラッチ回路311-3から出力された画素データがクラスタ間転送部400に転送される。左端の第3ラッチ回路311-3から出力された画素データは、右隣の第2ラッチ回路311-2内の信号選択部312に入力される。これにより、転送対象の画素行の左端から右端まで、各段の第2ラッチ回路311-2と第3ラッチ回路311-3を介して、順繰りに画素データが転送される。
図11Bに示すように、ライブビューモード選択時には、下から3番目のクラスタ内転送部310の最終段のラッチ回路311である第3ラッチ回路311-3から画素データが出力されて、クラスタ間転送部400に転送される。
通常解像度モード選択時には、各クラスタ31内の6個のクラスタ間転送部400の出力ノードは共通に接続されて、クラスタ間転送部400に転送される。一方、ライブビューモード選択時には、下から3番目のクラスタ内転送部310の出力ノードがクラスタ間転送部400に転送される。
クラスタ間転送部400は、図11に示すように、ライブビューモード選択時に画素データを転送する第1転送回路401と、通常解像度モード選択時に画素データを転送する第2転送回路402とを有する。
第1転送回路401は、セレクタ403とフリップフロップ404が接続される信号線を有する。クラスタ内転送部310から出力された画素データは、セレクタ403に入力される。このセレクタ403は、ライブビューモード選択時に、下から3番目のクラスタ内転送部310の最終段の第3ラッチ回路311-3から出力された画素データと他のクラスタ31から転送された画素データとの一方を選択する。セレクタ403で選択された画素データは、フリップフロップ404でクロック信号に同期化された後に、次段のクラスタ31に転送される。
第2転送回路402は、時刻コード発生回路510で発生された時刻コードを記憶素子320に保持する書き込み動作と、記憶素子320から読み出した画素データを転送する読み出し動作とを行うためのフリップフロップ405と、双方向切替バッファ406と、インバータ407とを有する。第2転送回路402は、図5の書き込み転送回路410と読み出し転送回路420に該当する。
このように、ライブビューモード選択時には、リピータ30内の複数のクラスタ31のそれぞれごとに設けられる6個のクラスタ内転送部310のうち、間引かれない画素行に対応するクラスタ内転送部310から、間引かれる画素行に対応するクラスタ内転送部310に、間引かれない画素行の各画素データをいったん転送して転送順序の並び替えを行い、その後に、間引かれる画素行に対応するクラスタ内転送部310を用いて、画素の並び順(ラスタ順)に画素データの転送を行う。
図14はライブビューモード選択時におけるリピータ30内のn番目のクラスタ31とn+1番目のクラスタ31内の各画素データの転送タイミングを示す図である。図14には、クラスタ選択信号CLSSEL<n+1>、CLSSEL<n>と、クラスタ内転送部310における複数のラッチ回路311のクロックCLKと、画素データの転送順序とを示している。
図14の例では、時刻t1~t2の期間内に、クラスタ選択信号CLSSEL<n+1>がハイレベルになり、n+1番目のクラスタ31内の2つの画素行の各画素データが画素の並び順(ラスタ順)に転送され、時刻t3~t4の期間内に、クラスタ選択信号CLSSEL<n>がハイレベルになり、n番目のクラスタ31内の2つの画素行の画素データが画素の並び順に転送される。
図11Bでは、クラスタ内転送部310から画素の並び順に転送されてきた画素データを、クラスタ間転送部400が単一の信号線で転送する例を示したが、図15に示すように、差動信号線で転送してもよい。図15はクラスタ31の内部に差動変換部330が設けられている。差動変換部330は、差動信号線の一方BUSと接地ノードの間にカスコード接続されるトランジスタQ1、Q2と、差動信号線の他方BUSXと接地ノードの間にカスコード接続されるトランジスタQ3,Q4と、インバータ331とを有する。
クラスタ内転送部310の出力信号は、トランジスタQ2のゲートに入力される。クラスタ内転送部310の出力信号をインバータ331で反転した信号は、トランジスタQ4のゲートに入力される。トランジスタQ1とQ3の両ゲートには、クラスタ選択信号AHSELが入力される。
クラスタ選択信号AHSELは、対応するクラスタ31が選択されるときにハイレベルになる。クラスタ選択信号AHSELがハイレベルになると、トランジスタQ1とQ3がともにオンし、クラスタ内転送部310の出力信号の差動信号がトランジスタQ1とQ3の両ドレインから差動信号線に転送される。
クラスタ内転送部310の出力信号を差動信号にすることで、ノイズ耐性が高くなり、従来のように、クラスタ間転送部400にシフトレジスタを設けて、クロック信号で同期化する必要がなくなる。よって、クラスタ間転送部400の内部構成を簡略化でき、消費電力も削減できる。
図15のように、クラスタ内転送部310の出力信号を差動信号にして、クラスタ間転送部400で転送することで、クラスタ間転送部400内にシフトレジスタを設けなくて済むため、画素アレイ部11内の任意の画素領域の画素データだけをクラスタ間転送部400で転送することが可能となる。これについては、別の実施形態で詳細に説明する。
このように、第1の実施形態では、ライブビューモード選択時に、間引かれない画素行の各画素データを、間引かれる画素行のラッチ回路311にいったん転送して保持し、画素の並び(ラスタ)順に、間引かれる画素行のクラスタ内転送部310を介して、各画素データをクラスタ間転送部400に転送する。これにより、クラスタ内転送部310から画素データを転送した後に外部メモリで画素データの並び替えを行う必要がなくなり、外部メモリが不要となって、消費電力を削減できる。
(第2の実施形態)
第1の実施形態では、間引かれる画素行に対応するクラスタ内転送部310を用いて、画素の並び(ラスタ)順に画素データを転送する例を示したが、以下に説明する第2の実施形態では、リピータ30内の複数のクラスタ31の並び順に画素データを転送するものである。
図16はライブビューモード選択時に第2の実施形態に係るクラスタ内転送部310が行う画素データの並び替えを説明する図である。図16は、横8画素×縦6画素のクラスタ31が第1方向(縦方向)に8個並んでいる例を示している。これら8個のクラスタ31(図16ではクラスタ1~8と表記)でリピータ30が構成されている。
図16は、一番下のクラスタ31内の最下行の画素行の各画素を、別々のクラスタ31内の下から2番目の画素行の左端の画素のラッチ回路311に転送してラッチする例を示している。転送先のクラスタ内転送部310は、間引かれる画素行に対応しており、このクラスタ内転送部310に画素データを転送しても、実用上の支障は生じない。
これにより、リピータ30内の一つのクラスタ31内の1画素行の全画素データが、8個のクラスタ31内の下から2番目の画素行の左端の画素に対応するラッチ回路311に転送されて保持される。その後、8個のクラスタ31内の8個のラッチ回路311で保持されている画素データが、図16の矢印線に示すように、複数のクラスタ31が並ぶ方向(第1方向)に順に転送される。
図17は第2の実施形態に係るクラスタ内転送部310の周辺の回路図である。図17のクラスタ内転送部310の基本構成は、図11Bのクラスタ内転送部310と同じであり、複数(例えば6個)のクラスタ内転送部310が設けられている。図17は、6個のクラスタ内転送部310に太線で示す回路部分を追加した構成を示している。この回路部分が第2の実施形態における特徴部分である。
図17の太線で示す回路部分は、複数のクラスタ内転送部310に接続される複数の信号切替器316と、双方向切替バッファ317と、差動変換部318とを備えている。
複数の信号切替器316のそれぞれの一端側は、対応するクラスタ内転送部310の入力ノードに接続されている。これらの複数の信号切替器316の他端側は、共通に接続されて、双方向切替バッファ317の一端に接続されている。双方向切替バッファ317の他端は、インバータ319の入力ノードに接続されている。
差動変換部318は、図15の差動変換部318と同様の回路構成を有する。すなわち、差動変換部318は、差動信号線の一方BUSと接地ノードの間にカスコード接続されるトランジスタQ5、Q6と、差動信号線の他方BUSXと接地ノードの間にカスコード接続されるトランジスタQ7,Q8と、インバータ319とを有する。
双方向切替バッファ317の他端は、トランジスタQ6のゲートに入力される。双方向切替バッファ317の他端側信号をインバータ319で反転した信号は、トランジスタQ8のゲートに入力される。トランジスタQ5とQ7の両ゲートには、クラスタ選択信号AHSELが入力される。
クラスタ選択信号AHSELは、対応するクラスタ31が選択されるときにハイレベルになる。クラスタ選択信号AHSELがハイレベルになると、トランジスタQ5とQ7がともにオンし、クラスタ内転送部310の出力信号の差動信号がトランジスタQ5とQ7の両ドレインから差動信号線に転送される。
例えば、ライブビューモード選択時に、図17の最下行のクラスタ内転送部310の各ラッチ回路311が保持している画素データをクラスタ間転送部400に転送する場合、このクラスタ内転送部310内の左端のラッチ回路311が保持している画素データを、2つの信号切替器316を介して、一つ上のクラスタ内転送部310の左端のラッチ回路311に転送する。
同様に、最下行のクラスタ内転送部310の左から2番目のラッチ回路311が保持している画素データを、信号切替器316、双方向切替バッファ317、及び差動変換部318を介して、隣接するクラスタ31に転送し、転送されたクラスタ31内の差動変換部318、双方向切替バッファ317、及び信号切替器316を介して、下から2番目のクラスタ内転送部310の左端のラッチ回路311に転送する。以下同様に、最下行のクラスタ内転送部310の左から3番目のラッチ回路311から右端のラッチ回路311までが保持している各画素データを、信号切替器316、双方向切替バッファ317、及び差動変換部318を介して、それぞれ異なるクラスタ31に転送し、各クラスタ31内の差動変換部318、双方向切替バッファ317、及び信号切替器316を介して、下から2番目のクラスタ内転送部310の左端のラッチ回路311に転送する。その後、8個のクラスタ31内の下から2番目のクラスタ内転送部310の左端のラッチ回路311が保持している画素データを、信号切替器316、双方向切替バッファ317、及び差動変換部318を介して、差動信号線を介して順に転送する。
クラスタ間転送部400は、ライブビューモード選択時に画素データを転送する差動信号線の他に、信号線に接続された第2転送回路402を有する。この信号線にはフリップフロップ405と双方向切替バッファ406とが接続されており、時刻コード発生回路510で発生された時刻コードを転送して、各クラスタ31内の記憶素子320に保持するとともに、各記憶素子320から読み出された画素データ(時刻コード)を順に転送する。すなわち、信号線、フリップフロップ405、及び双方向切替バッファ406は、図5の書き込み転送回路410と読み出し転送回路420に対応する。
このように、第2の実施形態では、ライブビューモード選択時に、間引かれない画素行のクラスタ内転送部310が保持している各画素データを、別々のクラスタ31の間引かれる画素行のクラスタ内転送部310内の同一のラッチ回路311に転送し、その後に、複数のクラスタ31の配置方向である第1方向に沿って延びる差動信号線を介して順に転送することができる。
(第3の実施形態)
第3の実施形態は、画素アレイ部11内の任意の画素領域の画素データだけをクラスタ間転送部400を介して転送するものである。第3の実施形態は、第1の実施形態又は第2の実施形態と組み合わせて実施することが可能である。
図18は第3の実施形態に係るリピータ30の回路図である。図18のリピータ30は、図5又は図11Bのリピータ30の構成に加えて、差動変換部340を備えている。図18の差動変換部340は、図15や図17の差動変換部330、318と同様の回路構成を有する。図18の差動変換部340は、差動信号線の一方BUSと接地ノードの間にカスコード接続されるトランジスタQ9、Q10と、差動信号線の他方BUSXと接地ノードの間にカスコード接続されるトランジスタQ11、Q12と、インバータ341とを有する。
クラスタ31内の複数(例えば6個)のクラスタ内転送部310の出力信号は共通に接続されて、トランジスタQ10のゲートに入力される。各クラスタ内転送部310の出力信号をインバータ341で反転した信号は、トランジスタQ12のゲートに入力される。トランジスタQ9とQ11の両ゲートには、クラスタ選択信号AHSELが入力される。
クラスタ選択信号AHSELは、対応するクラスタ31が選択されるときにハイレベルになる。クラスタ選択信号AHSELがハイレベルになると、トランジスタQ9とQ11がともにオンし、クラスタ内転送部310の出力信号の差動信号がトランジスタQ9とQ11の両ドレインから差動信号線に転送される。
第3の実施形態では、各クラスタ内転送部310から転送された画素データを差動変換部340で差動信号に変換してから、クラスタ間転送部400内の差動信号線で転送することで、ノイズ耐性を向上できる。
図19は一比較例に係るクラスタ間転送部400のブロック図である。図19のクラスタ間転送部400は、転送方向に沿って配置されたシフトレジスタ408を有する。シフトレジスタ408内の各ラッチ回路311は、画素データを順次転送する。図19の右側には、各クラスタ内転送部310の転送タイミングを表すパルスが図示されている。図19の場合、各クラスタ31に対応してラッチ回路311が設けられるため、一部のクラスタ31の画素データだけを転送しようとしても、全クラスタ31分の転送を行わなければならず、一部のクラスタ31の画素データだけを迅速に転送することができず、消費電力も大きくなる。
これに対して、図18のクラスタ間転送部400は、差動信号線で転送する画素データを任意に選択でき、選択された画素データだけを差動信号線で迅速に転送することができる。よって、図18のクラスタ間転送部400を用いることで、画素アレイ部11内の注目領域(ROI:Region of Interest)の画素データだけを迅速かつ効率よく転送でき、消費電力の削減も図れる。
図20はROIの画素データだけを転送することを模式的に示す図である。図20は、複数のクラスタ31内の一部のクラスタ31(太線枠)から出力された画素データのみを差動信号線で転送する例を示している。図20では、差動信号線の一端側に信号増幅を行うアンプ409を接続しているが、アンプ409は必ずしも必須の構成部品ではない。
図20の右側には、画素データの転送タイミングに合わせて出力されるパルスが図示されている。全画素を読み出す場合には、図19に示すように、各クラスタ内転送部310の転送タイミングに合わせてパルスが出力される。これに対して、図20のように、一部の画素領域だけを読み出す場合には、読み出したい画素領域に対応するクラスタ31の読み出しタイミングでのみ、パルスが出力される。
このように、第3の実施形態では、クラスタ内転送部310から出力された画素データを、クラスタ間転送部400で差動信号に変換して、差動信号線で転送するため、クラスタ間転送部400にシフトレジスタを設ける必要がなくなる。これにより、画素アレイ部11内の任意の画素領域の画素データだけを迅速に転送することができ、転送効率を向上できるとともに、消費電力を削減できる。
<移動体への応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図21は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図21に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(Interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12030に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図21の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図22は、撮像部12031の設置位置の例を示す図である。
図22では、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図22には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031等に適用され得る。具体的には、本開示の撮像装置1は、撮像部12031に適用することができる。撮像部12031に本開示に係る技術を適用することにより、より鮮明な撮影画像を得ることができるため、ドライバの疲労を軽減することが可能になる。
なお、本技術は以下のような構成を取ることができる。
(1)互いに交差する第1方向及び第2方向に配置され、それぞれが光電変換を行う複数の画素を有する画素アレイ部と、
前記画素アレイ部内の2以上の画素を含む画素領域ごとに設けられ、対応する画素領域内の各画素で光電変換された電荷に対応する画素データを生成する、前記第1方向に沿って配置される複数のクラスタと、
前記複数のクラスタで生成された画素データを前記第1方向に転送するクラスタ間転送部と、を備え、
前記複数のクラスタのそれぞれは、
対応する画素領域内の各画素で光電変換された電荷をアナログ-デジタル変換する複数のAD変換器と、
前記複数のAD変換器の出力信号に応じた画素データを記憶する複数の記憶部と、
前記複数の記憶部に記憶された複数の前記画素データを前記クラスタ間転送部に転送する複数のクラスタ内転送部と、
前記クラスタ内の一部の画素を間引く場合に、前記複数のクラスタ内転送部のうち、間引かれる画素に対応するクラスタ内転送部を利用して、前記クラスタ間転送部に転送される前記画素データを並び替える転送制御部と、を備える、撮像装置。
(2)前記転送制御部は、間引かれる画素に対応する前記クラスタ内転送部を利用して、間引かれない画素の並ぶ順に沿って対応する前記画素データを前記クラスタ間転送部に転送する、(1)に記載の撮像装置。
(3)前記転送制御部は、前記第2方向に配置される複数の画素の並び順に沿って、間引かれる画素に対応する前記クラスタ内転送部内で前記画素データを並び替える、(1)又は(2)に記載の撮像装置。
(4)前記複数のクラスタ内転送部のそれぞれは、前記第2方向に沿って縦続接続された複数段のラッチ回路を有し、
前記転送制御部は、前記クラスタ内の一部の画素を間引く場合に、間引かれない画素に対応する前記クラスタ内転送部から、前記第1方向に隣接する間引かれる画素に対応する前記クラスタ内転送部に前記画素データを転送し、転送された前記クラスタ内転送部内の前記画素データを順に前記クラスタ間転送部に転送する、(1)乃至(3)のいずれか一項に記載の撮像装置。
(5)前記転送制御部は、前記クラスタ内の一部の画素を間引く場合に、前記第1方向に配置された間引かれる2つの画素に対応する2つの前記ラッチ回路を含むフリップフロップにて、前記間引かれない画素に対応する前記画素データを保持し、保持された画素データを、間引かれる画素に対応する前記複数段のラッチ回路を用いて前記クラスタ間転送部に順に転送する、(4)に記載の撮像装置。
(6)前記クラスタ内の前記複数のクラスタ内転送部は、前記第1方向に順に配置される第1ラッチ回路、第2ラッチ回路、及び第3ラッチ回路を有し、
前記転送制御部は、前記第2ラッチ回路の入力ノードに前記第1ラッチ回路の出力ノードを接続するか、又は前段の前記第3ラッチ回路の出力ノードを接続するかを切り替える信号選択部を有し、
前記転送制御部は、前記第2ラッチ回路の入力ノードに前記第1ラッチ回路の出力ノードを接続して、前記画素データを前記第1ラッチ回路から前記第2ラッチ回路に転送してラッチした後に、前記第2ラッチ回路の入力ノードに前段の前記第3ラッチ回路の出力ノードを接続して前記第2方向に前記画素データを転送する、(5)に記載の撮像装置。
(7)前記第1方向に順に配置される3つの前記クラスタ内転送部のそれぞれが有する、前記第2方向に縦続接続された前記複数段のラッチ回路は、段ごとに、前記第1ラッチ回路、前記第2ラッチ回路及び前記第3ラッチ回路を有する、(6)に記載の撮像装置。
(8)前記信号選択部の出力ノードと前記第2ラッチ回路の入力ノードとを接続するか否かを切り替える第1信号切替器と、
前記第2ラッチ回路の出力ノードと前記第3ラッチ回路の入力ノードとを接続するか否かを切り替える第2信号切替器と、を備え、
前記転送制御部は、前記第1信号切替器と前記第2信号切替器との少なくとも一方の切替制御により、前記第2ラッチ回路と前記第3ラッチ回路とを前記フリップフロップとして動作させる、(6)又は(7)に記載の撮像装置。
(9)前記複数のクラスタ内転送部は、前記複数の記憶部に記憶された複数の前記画素データを前記クラスタ間転送部に転送するとともに、前記クラスタ間転送部を介して転送されてきた時刻コード情報を前記複数の記憶部に転送する、(1)乃至(8)のいずれか一項に記載の撮像装置。
(10)前記クラスタ間転送部は、前記複数のクラスタ内転送部を介して転送された複数の前記画素データを差動で転送する差動信号線を有する、(1)乃至(9)のいずれか一項に記載の撮像装置。
(11)前記転送制御部は、前記クラスタが対応する画素領域内の各画素を間引かずに前記画素データを前記クラスタ間転送部に転送する第1モードと、対応する画素領域内の一部の画素を間引いて前記画素データを前記クラスタ間転送部に転送する第2モードとを排他的に選択する、(1)乃至(10)のいずれか一項に記載の撮像装置。
(12)前記クラスタ間転送部は、前記第1モード時に前記複数のクラスタ内転送部を介して転送された前記複数の画素データを転送する第1信号線と、前記第2モード時に前記複数のクラスタ内転送部を介して転送された前記複数の画素データを転送する第2信号線と、を有する、(11)に記載の撮像装置。
(13)前記第1信号線は、前記複数の画素データに加えて、時刻コード情報を転送する、(12)に記載の撮像装置。
(14)前記第2モードは、ライブビューを行うときに選択されるモードである、(11)乃至(13)のいずれか一項に記載の撮像装置。
(15)前記転送制御部は、前記クラスタ内の一部の画素を間引く場合に、間引かれる画素に対応する前記クラスタ内転送部を利用して、間引かれない画素に対応する前記画素データを前記第1方向に転送する、(1)に記載の撮像装置。
(16)前記第1方向に配置される前記複数のクラスタ内転送部のそれぞれに接続される複数の信号切替器を備え、
前記転送制御部は、間引かれない画素に対応する前記画素データを、並び替え先の前記信号切替器を介して、対応する前記クラスタ内転送部に入力して前記第1方向に転送する、(15)に記載の撮像装置。
(17)前記転送制御部は、前記第2方向に並ぶ、間引かれない各画素に対応する前記画素データを、それぞれ異なる前記クラスタ内の対応する前記信号切替器を介して、対応する前記クラスタ内転送部に入力して前記第1方向に転送する、(16)に記載の撮像装置。
(18)前記複数のクラスタのそれぞれを個別に選択する複数のクラスタ選択信号のうち、対応するクラスタ選択信号が所定の論理のときに、対応するクラスタ内の前記画素データを差動信号に変換する複数の差動生成部を備え、
前記クラスタ間転送部は、対応する前記クラスタ選択信号が前記所定の論理のときに、対応する前記差動信号を前記第1方向に転送する、(1)に記載の撮像装置。
(19)前記複数のクラスタ及び前記クラスタ間転送部は、前記第2方向に複数個ずつ配置され、
複数の前記クラスタ間転送部のそれぞれに対応する前記クラスタ選択信号を前記所定の論理にするか否かを個別に設定することで、前記複数のクラスタ間転送部は、前記クラスタ単位で設定可能な任意の画素領域に対応する前記画素データを前記第1方向に転送する、(18)に記載の撮像装置。
(20)光電変換された電荷に応じた画素データを出力する撮像装置と、
前記画素データに対する信号処理を行う信号処理部と、を備え、
前記撮像装置は、
互いに交差する第1方向及び第2方向に配置され、それぞれが光電変換を行う複数の画素を有する画素アレイ部と、
前記画素アレイ部内の2以上の画素を含む画素領域ごとに設けられ、対応する画素領域内の各画素で光電変換された電荷に対応する画素データを生成する、前記第1方向に沿って配置される複数のクラスタと、
前記複数のクラスタで生成された画素データを前記第1方向に転送するクラスタ間転送部と、を備え、
前記複数のクラスタのそれぞれは、
対応する画素領域内の各画素で光電変換された電荷をアナログ-デジタル変換する複数のAD変換器と、
前記複数のAD変換器の出力信号に応じた画素データを記憶する複数の記憶部と、
前記複数の記憶部に記憶された複数の前記画素データを前記クラスタ間転送部に転送する複数のクラスタ内転送部と、
前記クラスタ内の一部の画素を間引く場合に、前記複数のクラスタ内転送部のうち、間引かれる画素に対応するクラスタ内転送部を利用して、前記クラスタ間転送部に転送される前記画素データを並び替える転送制御部と、を有する、電子機器。
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
1 撮像装置、10 画素チップ、11 画素アレイ部、12 画素、20 回路チップ、21 AD変換回路領域、30 リピータ、31 クラスタ、80 撮像装置、81 光学系、82 固体撮像素子、83 DSP回路、84 表示部、85 操作部、87 記憶部、88 電源部、89 バス、100 画素回路、111 フォトダイオード、112 排出トランジスタ、113 転送トランジスタ、114 浮遊拡散層、115 リセットトランジスタ、200 AD変換回路、207 垂直駆動回路、210 差動入力回路、211 差動トランジスタ、212 差動トランジスタ、213 電流源トランジスタ、214 P型トランジスタ、215 P型トランジスタ、216 P型トランジスタ、219 比較器、220 電圧変換回路、221 N型トランジスタ、223 浮遊拡散層、231 P型トランジスタ、232 P型トランジスタ、233 N型トランジスタ、234 NORゲート、239 遅延素子、241 インバータ、242 インバータ、259 演算素子、299 比較回路、300 記憶回路、310 クラスタ内転送部、311 ラッチ回路、311-1 第3ラッチ回路、311-1 第1ラッチ回路、311-2 第3ラッチ回路、311-2 第2ラッチ回路、311-3 第3ラッチ回路、312 信号選択部、313 第1信号切替器、314 第2信号切替器、314a 信号切替器、315 転送制御部、316 信号切替器、317 双方向切替バッファ、318 差動変換部、319 インバータ、320 記憶素子、321 インバータ、330 差動変換部、331 インバータ、340 差動変換部、341 インバータ、400 時刻コード転送部、400 クラスタ間転送部(時刻コード転送部)、400 クラスタ間転送部、401 第1転送回路、402 第2転送回路、403 セレクタ、404 フリップフロップ、405 フリップフロップ、406 双方向切替バッファ、407 インバータ、408 シフトレジスタ、409 アンプ、410 転送回路、420 転送回路、510 時刻コード発生回路、520 画素データ処理回路

Claims (20)

  1. 互いに交差する第1方向及び第2方向に配置され、それぞれが光電変換を行う複数の画素を有する画素アレイ部と、
    前記画素アレイ部内の2以上の画素を含む画素領域ごとに設けられ、対応する画素領域内の各画素で光電変換された電荷に対応する画素データを生成する、前記第1方向に沿って配置される複数のクラスタと、
    前記複数のクラスタで生成された画素データを前記第1方向に転送するクラスタ間転送部と、を備え、
    前記複数のクラスタのそれぞれは、
    対応する画素領域内の各画素で光電変換された電荷をアナログ-デジタル変換する複数のAD変換器と、
    前記複数のAD変換器の出力信号に応じた画素データを記憶する複数の記憶部と、
    前記複数の記憶部に記憶された複数の前記画素データを前記クラスタ間転送部に転送する複数のクラスタ内転送部と、
    前記クラスタ内の一部の画素を間引く場合に、前記複数のクラスタ内転送部のうち、間引かれる画素に対応するクラスタ内転送部を利用して、前記クラスタ間転送部に転送される前記画素データを並び替える転送制御部と、を備える、撮像装置。
  2. 前記転送制御部は、間引かれる画素に対応する前記クラスタ内転送部を利用して、間引かれない画素の並ぶ順に沿って対応する前記画素データを前記クラスタ間転送部に転送する、請求項1に記載の撮像装置。
  3. 前記転送制御部は、前記第2方向に配置される複数の画素の並び順に沿って、間引かれる画素に対応する前記クラスタ内転送部内で前記画素データを並び替える、請求項1に記載の撮像装置。
  4. 前記複数のクラスタ内転送部のそれぞれは、前記第2方向に沿って縦続接続された複数段のラッチ回路を有し、
    前記転送制御部は、前記クラスタ内の一部の画素を間引く場合に、間引かれない画素に対応する前記クラスタ内転送部から、前記第1方向に隣接する間引かれる画素に対応する前記クラスタ内転送部に前記画素データを転送し、転送された前記クラスタ内転送部内の前記画素データを順に前記クラスタ間転送部に転送する、請求項1に記載の撮像装置。
  5. 前記転送制御部は、前記クラスタ内の一部の画素を間引く場合に、前記第1方向に配置された間引かれる2つの画素に対応する2つの前記ラッチ回路を含むフリップフロップにて、前記間引かれない画素に対応する前記画素データを保持し、保持された画素データを、間引かれる画素に対応する前記複数段のラッチ回路を用いて前記クラスタ間転送部に順に転送する、請求項4に記載の撮像装置。
  6. 前記クラスタ内の前記複数のクラスタ内転送部は、前記第1方向に順に配置される第1ラッチ回路、第2ラッチ回路、及び第3ラッチ回路を有し、
    前記転送制御部は、前記第2ラッチ回路の入力ノードに前記第1ラッチ回路の出力ノードを接続するか、又は前段の前記第3ラッチ回路の出力ノードを接続するかを切り替える信号選択部を有し、
    前記転送制御部は、前記第2ラッチ回路の入力ノードに前記第1ラッチ回路の出力ノードを接続して、前記画素データを前記第1ラッチ回路から前記第2ラッチ回路に転送してラッチした後に、前記第2ラッチ回路の入力ノードに前段の前記第3ラッチ回路の出力ノードを接続して前記第2方向に前記画素データを転送する、請求項5に記載の撮像装置。
  7. 前記第1方向に順に配置される3つの前記クラスタ内転送部のそれぞれが有する、前記第2方向に縦続接続された前記複数段のラッチ回路は、段ごとに、前記第1ラッチ回路、前記第2ラッチ回路及び前記第3ラッチ回路を有する、請求項6に記載の撮像装置。
  8. 前記信号選択部の出力ノードと前記第2ラッチ回路の入力ノードとを接続するか否かを切り替える第1信号切替器と、
    前記第2ラッチ回路の出力ノードと前記第3ラッチ回路の入力ノードとを接続するか否かを切り替える第2信号切替器と、を備え、
    前記転送制御部は、前記第1信号切替器と前記第2信号切替器との少なくとも一方の切替制御により、前記第2ラッチ回路と前記第3ラッチ回路とを前記フリップフロップとして動作させる、請求項6に記載の撮像装置。
  9. 前記複数のクラスタ内転送部は、前記複数の記憶部に記憶された複数の前記画素データを前記クラスタ間転送部に転送するとともに、前記クラスタ間転送部を介して転送されてきた時刻コード情報を前記複数の記憶部に転送する、請求項1に記載の撮像装置。
  10. 前記クラスタ間転送部は、前記複数のクラスタ内転送部を介して転送された複数の前記画素データを差動で転送する差動信号線を有する、請求項1に記載の撮像装置。
  11. 前記転送制御部は、前記クラスタが対応する画素領域内の各画素を間引かずに前記画素データを前記クラスタ間転送部に転送する第1モードと、対応する画素領域内の一部の画素を間引いて前記画素データを前記クラスタ間転送部に転送する第2モードとを排他的に選択する、請求項1に記載の撮像装置。
  12. 前記クラスタ間転送部は、前記第1モード時に前記複数のクラスタ内転送部を介して転送された前記複数の画素データを転送する第1信号線と、前記第2モード時に前記複数のクラスタ内転送部を介して転送された前記複数の画素データを転送する第2信号線と、を有する、請求項11に記載の撮像装置。
  13. 前記第1信号線は、前記複数の画素データに加えて、時刻コード情報を転送する、請求項12に記載の撮像装置。
  14. 前記第2モードは、ライブビューを行うときに選択されるモードである、請求項11に記載の撮像装置。
  15. 前記転送制御部は、前記クラスタ内の一部の画素を間引く場合に、間引かれる画素に対応する前記クラスタ内転送部を利用して、間引かれない画素に対応する前記画素データを前記第1方向に転送する、請求項1に記載の撮像装置。
  16. 前記第1方向に配置される前記複数のクラスタ内転送部のそれぞれに接続される複数の信号切替器を備え、
    前記転送制御部は、間引かれない画素に対応する前記画素データを、並び替え先の前記信号切替器を介して、対応する前記クラスタ内転送部に入力して前記第1方向に転送する、請求項15に記載の撮像装置。
  17. 前記転送制御部は、前記第2方向に並ぶ、間引かれない各画素に対応する前記画素データを、それぞれ異なる前記クラスタ内の対応する前記信号切替器を介して、対応する前記クラスタ内転送部に入力して前記第1方向に転送する、請求項16に記載の撮像装置。
  18. 前記複数のクラスタのそれぞれを個別に選択する複数のクラスタ選択信号のうち、対応するクラスタ選択信号が所定の論理のときに、対応するクラスタ内の前記画素データを差動信号に変換する複数の差動生成部を備え、
    前記クラスタ間転送部は、対応する前記クラスタ選択信号が前記所定の論理のときに、対応する前記差動信号を前記第1方向に転送する、請求項1に記載の撮像装置。
  19. 前記複数のクラスタ及び前記クラスタ間転送部は、前記第2方向に複数個ずつ配置され、
    複数の前記クラスタ間転送部のそれぞれに対応する前記クラスタ選択信号を前記所定の論理にするか否かを個別に設定することで、前記複数のクラスタ間転送部は、前記クラスタ単位で設定可能な任意の画素領域に対応する前記画素データを前記第1方向に転送する、請求項18に記載の撮像装置。
  20. 光電変換された電荷に応じた画素データを出力する撮像装置と、
    前記画素データに対する信号処理を行う信号処理部と、を備え、
    前記撮像装置は、
    互いに交差する第1方向及び第2方向に配置され、それぞれが光電変換を行う複数の画素を有する画素アレイ部と、
    前記画素アレイ部内の2以上の画素を含む画素領域ごとに設けられ、対応する画素領域内の各画素で光電変換された電荷に対応する画素データを生成する、前記第1方向に沿って配置される複数のクラスタと、
    前記複数のクラスタで生成された画素データを前記第1方向に転送するクラスタ間転送部と、を備え、
    前記複数のクラスタのそれぞれは、
    対応する画素領域内の各画素で光電変換された電荷をアナログ-デジタル変換する複数のAD変換器と、
    前記複数のAD変換器の出力信号に応じた画素データを記憶する複数の記憶部と、
    前記複数の記憶部に記憶された複数の前記画素データを前記クラスタ間転送部に転送する複数のクラスタ内転送部と、
    前記クラスタ内の一部の画素を間引く場合に、前記複数のクラスタ内転送部のうち、間引かれる画素に対応するクラスタ内転送部を利用して、前記クラスタ間転送部に転送される前記画素データを並び替える転送制御部と、を有する、電子機器。
JP2021102723A 2021-06-21 2021-06-21 撮像装置及び電子機器 Pending JP2023001788A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021102723A JP2023001788A (ja) 2021-06-21 2021-06-21 撮像装置及び電子機器
PCT/JP2022/015779 WO2022270109A1 (ja) 2021-06-21 2022-03-30 撮像装置及び電子機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021102723A JP2023001788A (ja) 2021-06-21 2021-06-21 撮像装置及び電子機器

Publications (1)

Publication Number Publication Date
JP2023001788A true JP2023001788A (ja) 2023-01-06

Family

ID=84545428

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021102723A Pending JP2023001788A (ja) 2021-06-21 2021-06-21 撮像装置及び電子機器

Country Status (2)

Country Link
JP (1) JP2023001788A (ja)
WO (1) WO2022270109A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020053782A (ja) * 2018-09-26 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
JP2020107932A (ja) * 2018-12-26 2020-07-09 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および撮像装置
JP2020167441A (ja) * 2019-03-28 2020-10-08 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器

Also Published As

Publication number Publication date
WO2022270109A1 (ja) 2022-12-29

Similar Documents

Publication Publication Date Title
US11418746B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
US11595601B2 (en) Solid-state imaging element, imaging device, and control method of solid-state imaging element
CN111758251B (zh) 传感器元件和电子器件
JP7535515B2 (ja) 固体撮像素子、撮像装置および固体撮像素子の制御方法
WO2022270109A1 (ja) 撮像装置及び電子機器
WO2020003646A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2021181856A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020107932A (ja) 固体撮像素子および撮像装置
WO2020255496A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023074522A1 (ja) 物理量検出装置及び撮像装置
WO2023112594A1 (ja) 物理量検出装置及び撮像装置
WO2023062944A1 (ja) 光検出素子、および、光検出装置
WO2022130832A1 (ja) 固体撮像素子
WO2022153901A1 (ja) 撮像装置及び電子機器
WO2021192576A1 (ja) 固体撮像素子、および、撮像装置
WO2022249736A1 (ja) 撮像装置および電子機器
WO2022050035A1 (ja) 固体撮像装置
US20240187759A1 (en) Imaging device and electronic apparatus
WO2023058345A1 (ja) 撮像装置
WO2022209368A1 (ja) 固体撮像素子及び固体撮像装置
WO2024042896A1 (ja) 光検出素子および電子機器
WO2022172714A1 (ja) 固体撮像素子
WO2020166160A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法