JP2019062399A - 固体撮像装置、固体撮像装置の駆動方法、および電子機器 - Google Patents
固体撮像装置、固体撮像装置の駆動方法、および電子機器 Download PDFInfo
- Publication number
- JP2019062399A JP2019062399A JP2017185504A JP2017185504A JP2019062399A JP 2019062399 A JP2019062399 A JP 2019062399A JP 2017185504 A JP2017185504 A JP 2017185504A JP 2017185504 A JP2017185504 A JP 2017185504A JP 2019062399 A JP2019062399 A JP 2019062399A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- comparison
- comparison result
- level
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
CMOSイメージセンサは、デジタルカメラ、ビデオカメラ、監視カメラ、医療用内視鏡、パーソナルコンピュータ(PC)、携帯電話等の携帯端末装置(モバイル機器)等の各種電子機器の一部として広く適用されている。
それらの中で、その最も進んだ回路のひとつが、列(カラム)毎にアナログ−デジタル変換器(ADC(Analog digital converter))を備え、画素信号をデジタル信号として取り出す回路である(たとえば特許文献1,2参照)。
一般的には、ランダムノイズ低減手法として、トランジスタサイズを大きくすることでフリッカノイズ(flicker noise)を低減する、もしくは比較器出力に容量を付加し、帯域を落とすことでCDSによるノイズのフィルタ効果を狙う方法が知られている。
しかし、それぞれの手法では、面積が増大する、容量増により比較器の反転遅延が悪化し、撮像素子のフレームレートが上げられないという不利益がある。
また、デジタルCDSを考慮した場合、さらに大きい4nビット等の容量が必要になる。
したがって、AD変換処理に応じたメモリの効率的なアクセスが必要となる。
また、本発明は、実質的に広ダイナミックレンジ化、高フレームレート化を実現することが可能で、メモリの効率的なアクセスが可能であり、しかも低ノイズ化を図れ、有効画素領域を最大限に拡大することができ、コストあたりの価値を最大限に高めることが可能な固体撮像装置、固体撮像装置の駆動方法、および電子機器を提供することにある。
また、本発明によれば、実質的に広ダイナミックレンジ化、高フレームレート化を実現することが可能で、メモリの効率的なアクセスが可能で、しかも低ノイズ化を図れ、有効画素領域を最大限に拡大することができ、コストあたりの価値を最大限に高めることが可能となる。
図1は、本発明の第1の実施形態に係る固体撮像装置の構成例を示すブロック図である。
本実施形態において、固体撮像装置10は、たとえば画素としてデジタル画素(Digital Pixel)を含むCMOSイメージセンサにより構成される。
これらの構成要素のうち、たとえば垂直走査回路30、出力回路40、およびタイミング制御回路50により画素信号の読み出し部60が構成される。
本第1の実施形態に係る固体撮像装置10において、後で詳述するように、各デジタル画素DPがAD変換機能を有しており、AD変換部は、光電変換読み出し部により読み出される電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器(コンパレータ)を有している。
比較器は、読み出し部60の制御の下、蓄積期間に光電変換素子から出力ノード(フローティングディフュージョン)に溢れ出たオーバーフロー電荷に応じた電圧信号に対するデジタル化した第1の比較結果信号を出力する第1の比較処理と、蓄積期間後の転送期間に出力ノードに転送された光電変換素子の蓄積電荷に応じた電圧信号に対するデジタル化した第2の比較結果信号を出力する第2の比較処理と、を行う。
そして、メモリ制御部は、第1の比較処理による第1の比較結果信号の状態に応じて、第2の比較処理による第2の比較結果信号に応じたデータのメモリ部への書き込みを行うか否かを制御する。
具体的には、メモリ制御部は、第1の比較処理期間に、第1の比較処理による第1の比較結果信号のレベルが第1のレベルから第2のレベルに変化した場合、第2の比較処理による第2の比較結果信号に応じたデータのメモリ部への書き込みを禁止する。
一方、メモリ制御部は、第1の比較処理期間に、第1の比較処理による第1の比較結果信号のレベルが第1のレベルのまま変化しなかった場合、第2の比較処理による第2の比較結果信号に応じたデータのメモリ部への書き込みを許容する。
図2は、本発明の第1の実施形態に係る固体撮像装置10の画素部のデジタル画素アレイの一例を示す図である。
図3は、本発明の第1の実施形態に係る固体撮像装置10の画素の一例を示す回路図である。
なお、図2においては、図面の簡単化のため、9つのデジタル画素200が3行3列の行列状(M=3、N=3のマトリクス状)に配置されている例が示されている。
本第1の実施形態の画素部20は、後で詳述するように、第1の基板110と第2の基板120の積層型のCMOSイメージセンサとして構成されるが、本例では、図3に示すように、第1の基板110に光電変換読み出し部210が形成され、第2の基板120にAD変換部220、メモリ部230、およびメモリ制御部240が形成されている。
具体的には、この光電変換読み出し部210は、たとえば光電変換素子であるフォトダイオードPD1を有する。
このフォトダイオードPD1に対して、転送素子としての転送トランジスタTG1−Tr、リセット素子としてのリセットトランジスタRST1−Tr、ソースフォロワ素子としてのソースフォロワトランジスタSF1−Tr、電流源素子としてのカレントトランジスタIC1−Tr,出力ノードND1としてのフローティングディフュージョンFD1,および読み出しノードND2をそれぞれ一つずつ有する。
このように、第1の実施形態に係るデジタル画素200の光電変換読み出し部210は、転送トランジスタTG1−Tr、リセットトランジスタRST1−Tr、ソースフォロワトランジスタSF1−Tr、およびカレントトランジスタIC1−Trの4トランジスタ(4Tr)を含んで構成されている。
光電変換読み出し部210は、出力ノードとしてのフローティングディフュージョンFD1の電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号VSLをAD変換部220に出力する。
光電変換読み出し部210は、第2の比較処理期間PCMP2において、画素信号としての読み出しリセット信号(信号電圧)(VRST)および読み出し信号(信号電圧)(VSIG)をAD変換部220に出力する。
以下、信号電荷は電子であり、各トランジスタがn型トランジスタである場合について説明するが、信号電荷が正孔(ホール)であったり、各トランジスタがp型トランジスタであっても構わない。
また、本実施形態は、複数のフォトダイオードおよび転送トランジスタ間で、各トランジスタを共有している場合にも有効である。
フォトダイオード(PD)を形成する基板表面にはダングリングボンドなどの欠陥による表面準位が存在するため、熱エネルギーによって多くの電荷(暗電流)が発生し、正しい信号が読み出せなくなってしまう。
埋め込み型フォトダイオード(PPD)では、フォトダイオード(PD)の電荷蓄積部を基板内に埋め込むことで、暗電流の信号への混入を低減することが可能となる。
転送トランジスタTG1−Trは、制御信号TGがハイ(H)レベルの転送期間PTに選択されて導通状態となり、フォトダイオードPD1で光電変換され蓄積された電荷(電子)をフローティングディフュージョンFD1に転送する。
なお、フォトダイオードPD1およびフローティングディフュージョンFD1が所定のリセット電位にリセットされた後、転送トランジスタTG1−Trは、制御信号TGがロー(L)レベルの非導通状態となり、フォトダイオードPD1は蓄積期間PIとなるが、このとき、入射する光の強度(量)が非常に高い場合、飽和電荷量を超えた電荷が転送トランジスタTG1―Tr下のオーバーフローパスを通じてオーバーフロー電荷としてフローティングディフュージョンFD1に溢れ出す。
リセットトランジスタRST1−Trは、制御信号RSTがHレベルのリセット期間に選択されて導通状態となり、フローティングディフュージョンFD1を電源電圧VDDの電源線Vddの電位にリセットする。
読み出しノードND2と基準電位VSS(たとえばGND)の間に電流源素子としてのカレントトランジスタIC1−Trのドレイン、ソースが接続されている。カレントトランジスタIC1−Trのゲートは制御信号VBNPIXの供給ラインに接続されている。
そして、読み出しノードND2とAD変換部220の入力部間の信号線LSGN1は、電流源素子としてのカレントトランジスタIC1−Trにより駆動される。
そして、図4のデジタル画素セルPLXCは、光電変換読み出し部210を形成するフォトダイオードPD1、転送トランジスタTG1−Tr、フローティングディフュージョンFD1、リセットトランジスタRST1−Tr、分離層SPL、さらには図示しないカラーフィルタ部およびマイクロレンズを含んで構成されている。
フォトダイオードPD1は、第1基板面1101側と、第1基板面1101側と対向する側の第2基板面1102側とを有する半導体基板に対して埋め込むように形成された第1導電型(本実施形態ではn型)半導体層(本実施形態ではn層)2101を含み、受光した光の光電変換機能および電荷蓄積機能を有するように形成されている。
フォトダイオードPD1の基板の法線に直交する方向(X方向)における側部には第2の導電型(本実施形態ではp型)分離層SPLが形成されている。
フォトダイオード(PD)を形成する基板表面にはダングリングボンドなどの欠陥による表面準位が存在するため、熱エネルギーによって多くの電荷(暗電流)が発生し、正しい信号が読み出せなくなってしまう。
埋め込み型フォトダイオード(PPD)では、フォトダイオード(PD)の電荷蓄積部を基板内に埋め込むことで、暗電流の信号への混入を低減することが可能となる。
本例では、第1基板面1101側にn−層2102が形成され、このn−層2102の第2基板面1102側にn層2103が形成され、このn−層2103の第2基板面1102側にp+層2104およびp層2105が形成されている。
また、n−層2102の第1基板面1101側にp+層2106が形成されている。
p+層2106は、フォトダイオードPD1のみならず分離層SPL、さらには他のデジタル画素セルPXLCにわたって一様に形成されている。
図4のX方向(列方向)におけるp型分離層SPLにおいては、フォトダイオードPD1のn−層2102と接する側であって基板の法線に直交する方向(図中の直交座標系のX方向)の右側部に、第1のp層(第2導電型半導体層)2107が形成されている。
さらに、p型分離層SPLにおいては、第1のp層2107のX方向の右側に、第2のp層(第2導電型半導体層)2108が、基板110の法線方向(図中の直交座標系のZ方向)に2層構造を持つように構成されている。
本例では、第2のp層2108において、第1基板面1101側にp−層2109が形成され、このp−層2109の第2基板面1102側にp層2110が形成されている。
そして、n層2103の第2基板面1102側のp層2105上に、ゲート絶縁膜を介して転送トランジスタTG1−Trのゲート電極2111が形成されている。
さらに、p型分離層SPLの第1のp層2107の第2の基板面1102側にはフローティングディフュージョンFD1となるn+層2112が形成され、n+層2112に隣接してリセットトランジスタRST1−Trのチャネル形成領域となるp層2113、p層2113に隣接してn+層2114が形成されている。
そして、p層2113上に、ゲート絶縁膜を介してゲート電極2115が形成されている。
このとき、比較器221と同様に列毎に配置されたカウンタ222が動作しており、ランプ波形のあるランプ信号RAMPとカウンタ値が一対一の対応を取りながら変化することで電圧信号VSLをデジタル信号に変換する。
基本的に、AD変換部220は、参照電圧VREF(たとえばランプ信号RAMP)の変化は電圧の変化を時間の変化に変換するものであり、その時間をある周期(クロック)で数えることでデジタル値に変換する。
そして、アナログ信号VSLとランプ信号RAMP(参照電圧VREF)が交わったとき、比較器221の出力が反転し、カウンタ222の入力クロックを停止し、または、入力を停止していたクロックをカウンタ222に入力し、そのときのカウンタ222の値(データ)がメモリ部230に記憶されてAD変換を完了させる。
以上のAD変換期間終了後、各デジタル画素200のメモリ部230に格納されたデータ(信号)は出力回路40から図示しない信号処理回路に出力され、所定の信号処理により2次元画像が生成される。
そして、本第1の実施形態のAD変換部220の比較器221は、画素信号の読み出し期間に次の2つの第1の比較処理および第2の比較処理を行うように、読み出し部60により駆動制御される。
なお、この第1の比較処理CMPR1の動作を、タイムスタンプADCモードの動作ともいう。
実際には、第2の比較処理CMPR2において、蓄積電荷に応じた電圧信号VSL2(VSIG)に対するデジタル化の前に、リセット時のフローティングディフュージョンFD1のリセット電圧に応じた電圧信号VSL2(VRRT)に対するデジタル化を行う。
なお、この第2の比較処理CMPR2の動作を、リニアADCモードの動作ともいう。
第1の比較処理CMPR1の期間PCMPR1は、フォトダイオードPD1およびフローティングディフュージョンFD1がリセットレベルにリセットされてから、転送期間PTが開始される前に、フローティングディフュージョンFD1がリセットレベルにリセットされるまでの期間である。
第2の比較処理CMPR2の期間PCMPR2は、フローティングディフュージョンFD1がリセットレベルにリセットされた後の期間であって、転送期間PT後の期間を含む期間である。
図5は、本実施形態に係る比較器221の第1の比較処理CMPR1を説明するための図である。
図5において、横軸が時間を示し、縦軸が出力ノードであるフローティングディフュージョンFD1の電圧レベルVFDを示している。
一方、飽和状態のときが電荷量が多く、電圧レベルVFDは低いレベルVFDsatとなる。
このような条件に従って、比較器221の参照電圧VREF1を、飽和状態となる手前の非飽和状態時のレベルに固定した電圧VREFsatに設定する、あるいはリセットレベル時の電圧レベルVREFrstから電圧レベルVREFsatに至るランプ電圧VREFrampに設定する。
最も高い照度の例EXP1の場合には、比較器221の出力が時刻t1に第1のレベル(たとえばローレベル)から第2のレベル(ハイレベル)に直ちにフリップ(反転)する。
例EXP1より低い照度の例EXP2の場合には、比較器221の出力が時刻t1より遅い時刻t2に第1のレベル(たとえばローレベル)から第2のレベル(ハイレベル)にフリップ(反転)する。
例EXP2より低い照度の例EXP3の場合には、比較器221の出力が時刻t2より遅い時刻t3に第1のレベル(たとえばローレベル)から第2のレベル(ハイレベル)にフリップ(反転)する。
図5に示すように、非常に明るい光の下では、リセット活性化期間の直後に比較器221の出力状態が第1のレベル(たとえばローレベル)から第2のレベル(ハイレベル)に反転され、その光レベルは、以下の時間で説明される飽和信号(ウェル容量)に対応する。
たとえば、FD飽和:8Ke @ 150uV / e〜FD容量の1.1fF、最小サンプリング時間:15nsec、蓄積時間:3msec:
であると仮定する。
図7において,横軸がサンプリング時間を示し、縦軸がオーバーフロー信号における推定信号を示している。なお、ここでのオーバーフロー信号とは、転送トランジスタTG1−Trを導通状態にしてフォトダイオードPD1に電荷をためない条件(非オーバーフロー)にして見積もったものである。
図7においては、さまざまな固定基準電圧DC1、DC2、DC3とランプ基準電圧VRAMPに対して反転するサンプリング時間を示している。ここでは、線形基準ランプが使用されている。
図8において、AがタイムスタンプADCモード動作による信号を示し、BがリニアADCモード動作による信号を示している。
たとえば、上述したように、光変換範囲の飽和信号は900Keである。
リニアADCモードは、ADCを適用した通常の読み出しモード動作のため、2eのノイズレベルから8KeのフォトダイオードPD1とフローティングディフュージョンFD1の飽和までカバーすることがでる。
リニアADCモードのカバレッジは、追加のスイッチと容量で30Keに拡張することができる。
メモリ部230のnビットのデータをサンプルホールド可能なメモリ231は、SRAMやDRAM等により構成され、たとえばデジタル変換された信号が供給され、フォトコンバージョン符号に対応し、画素アレイ周辺の出力回路40の外部IOバッファ41により読み出すことができる。
メモリ231は、第1の比較処理CMPR1による第1の比較結果信号SCMP1に応じた信号Bが第1のレベル(ローレベル)で供給されると書き込み(オーバーライト)が禁止され、第2のレベル(ハイレベル)で供給されると書き込み(オーバーライト)が許容される。
ここで、固体撮像装置10におけるフレーム読み出し方式の一例について説明する。
図10において、TSはタイムスタンプADCの処理期間を示し、LinはリニアADCの処理期間を示している。
実際には、タイムスタンプADCモードは、蓄積期間PI中であって、フローティングディフュージョンFD1がリセットされるまでの期間に動作する。
タイムスタンプADCモードの動作が終了すると、リニアADCモードに遷移し、フローティングディフュージョンFD1のリセット時の信号(VRST)を読み出してデジタル信号をメモリ部230に格納するように変換する。
さらに蓄積期間PIの終了後、リニアADCモードではフォトダイオードPD1の蓄積電荷に応じた信号(VSIG)を読み取ってデジタル信号をメモリ部230に格納するように変換する。
読み出されたフレームは、メモリノードからのデジタル信号データの読み出しによって実行され、そのようなMIPIデータフォーマットを有する、たとえば出力回路40のIOバッファ41(図9)を介して固体撮像装置10(イメージセンサ)の外部に送られる。この動作は、全画素(ピクセル)アレイに対してグローバルに実行することができる。
本実施形態の固体撮像装置10は、さらに、比較器221の比較結果信号の状態(本実施形態ではレベル)に応じてメモリ部へのアクセスを制御するメモリ制御部240を有する。
メモリ制御部240は、第1の比較処理CMPR1による第1の比較結果信号SCMP1の状態(出力レベル)に応じて、第2の比較処理CMPR2による第2の比較結果信号SCMP2に応じたデータのメモリ部230への書き込みを行うか否かを制御する。
具体的には、メモリ制御部240は、第1の比較処理期間PSMPR1に、第1の比較処理CMPR1による第1の比較結果信号SCMP1のレベルが第1のレベル(たとえばローレベル)から第2のレベル(ハイレベル)に変化した場合、第2の比較処理CMPR2による第2の比較結果信号SCMP2に応じたデータのメモリ部230への書き込みを禁止する。
一方、メモリ制御部240は、第1の比較処理期間CMPR1に、第1の比較処理CMPR1による第1の比較結果信号SCMP1のレベルが第1のレベル(ローレベル)のまま変化しなかった場合、第2の比較処理CMPR2による第2の比較結果信号SCMP2に応じたデータのメモリ部230への書き込みを許容する。
タイムスタンプADCモード時において、第1の比較処理期間PSMPR1に、第1の比較処理CMPR1による第1の比較結果信号SCMP1のレベルが第1のレベル(たとえばローレベル)から第2のレベル(ハイレベル)に変化したということは、次のことを意味する。
すなわち、この場合、非常に(極めて)高照度(明るい)の光がフォトダイオードPD1に照射され、光電変換された電荷がフォトダイオードPD1からフローティングディフュージョンFD1にオーバーフロー電荷として溢れ出していることから、後続のリニアADCモードの読み出し信号は必要ないことを意味する。
そこで、この場合、メモリ制御部240は、第2の比較処理CMPR2による第2の比較結果信号SCMP2に応じたデータのメモリ部230への書き込み(オーバーライト)を禁止する。
すなわち、この場合、暗くて低照度から中間の明るさの通常の照度の光がフォトダイオードPD1に照射され、光電変換された電荷がフォトダイオードPD1からフローティングディフュージョンFD1にオーバーフロー電荷として溢れ出す確率は極めて低いことから、後続のリニアADCモードの読み出し信号は必要である意味する。
そこで、この場合、メモリ制御部240は、第2の比較処理CMPR2による第2の比較結果信号SCMP2に応じたデータのメモリ部230への書き込み(オーバーライト)を許容する。
図12は、タイムスタンプADCモード時に比較器の出力が反転した場合のメモリ制御部の動作を説明するためのタイミングチャートである。
図13は、タイムスタンプADCモード時に比較器の出力が反転しなかった場合のメモリ制御部の動作を説明するためのタイミングチャートである。
フラグビットメモリセル241は、第1の比較処理期間PCMPR1の終了後にフラグサンプリング信号FLG SAMPが供給されたときに、第1の比較処理CMPR1による第1の比較結果信号SCMP1のレベルが第1のレベル(ローレベル)から第2のレベル(ハイレベル)に変化していると、信号Aを第2のレベル(ハイレベル)に設定してNOR回路242に出力する。
フラグビットメモリセル241は、第1の比較処理期間PCMPR1の終了後にフラグサンプリング信号FLG SAMPが供給されたときに、第1の比較処理CMPR1による第1の比較結果信号SCMP1のレベルが第1のレベル(ローレベル)から第2のレベル(ハイレベル)に変化していない、信号Aを第1のレベル(ローレベル)に設定してNOR回路242に出力する。
NOR回路242は、第1の比較処理CMPR1による第1の比較結果信号SCMP1のレベルが第1のレベル(ローレベル)から第2のレベル(ハイレベル)に変化している状態で、信号Aを第2のレベル(ハイレベル)で入力すると、信号Bを第1のレベル(ローレベル)に設定してメモリ部230に出力して、書き込み(オーバーライト)を禁止する。
NOR回路242は、第1の比較処理CMPR1による第1の比較結果信号SCMP1のレベルが第1のレベル(ローレベル)から第2のレベル(ハイレベル)に変化していない状態で、信号Aを第1のレベル(ローレベル)で入力すると、信号Bを第2のレベル(ハイレベル)に設定してメモリ部230に出力して、書き込み(オーバーライト)を許容する。
また、NOR回路242は、最小サイズで4トランジスタ(4T)で構成可能であることから、面積上のオーバーヘッドは最小限で済む。
そして、本メモリ制御部240を設けることにより、2段階の比較処理を行うにもかかわらず、ADCメモリは一つで済む。
垂直走査回路30は、タイミング制御回路50の制御に応じて、各デジタル画素200の比較器221に対して、第1の比較処理CMPR1、第2の比較処理CMPR2に準じて設定される参照電圧VREF1,VREF2を供給する。
また、垂直走査回路30は、アドレス信号に従い、信号の読み出しを行うリード行と、フォトダイオードPDに蓄積された電荷をリセットするシャッタ行の行アドレスの行選択信号を出力する。
次に、本第1の実施形態に係る固体撮像装置10の積層構造について説明する。
図15は、本第1の実施形態に係る固体撮像装置10の積層構造について説明するための簡略断面図である。
固体撮像装置10は、たとえばウェハレベルで貼り合わせた後、ダイシングで切り出した積層構造の撮像装置として形成される。
本例では、第1の基板110と第2の基板120が積層された構造を有する。
第1の基板110の光Lが入射側である第1面111側にフォトダイオードPDが形成され、その光入射側にマイクロレンズMCLやカラーフィルタが形成されている。
第1の基板110の第2面側に転送トランジスタTG1−Tr,リセットトランジスタRST1−Tr,ソースフォロワトランジスタSF1−Tr,カレントトランジスタIC1−Trが形成されている
また、第2の基板120には、垂直走査回路30、出力回路40、およびタイミング制御回路50も形成されてもよい。
また、本実施形態においては第1の基板110の各光電変換読み出し部210の読み出しノードND2と第2の基板120の各デジタル画素200の比較器221の反転入力端子(−)とが、結合キャパシタC221によりAC結合されている。
以上、固体撮像装置10の各部の特徴的な構成および機能について説明した。
次に、本第1の実施形態に係る固体撮像装置10のデジタル画素200の画素信号の読み出し動作等について詳述する。
図17(A)〜(D)は、本第1の実施形態に係る固体撮像装置の所定シャッタモード時の主として画素部における読み出し動作を説明するための動作シーケンスおよびポテンシャル遷移を示す図である。
グローバルリセットにおいては、全画素同時にリセットトランジスタRST1−Trと転送トランジスタTG1−Trが所定期間導通状態に保持されて、フォトダイオードPD1およびフローティングディフュージョンFD1がリセットされる。そして、全画素同時にリセットトランジスタRST1−Trと転送トランジスタTG1−Trが非導通状態に切り替えられて、全画素同時並列的に露光、すなわち電荷の蓄積が開始される。
オーバーフロー電荷は蓄積期間PI中にフローティングディフュージョンFD1に蓄積される。タイムスタンプADCモードは蓄積時間PI中、具体的には、蓄積期間PI中であって、フローティングディフュージョンFD1がリセットされるまでの期間に動作する。
そして、AD変換部220の比較器221において、第1の比較処理CMPR1が行われる。比較器221では、読み出し部60の制御の下、蓄積期間PI中であって、フローティングディフュージョンFD1がリセットされるまでの期間にフォトダイオードPD1から出力ノードであるフローティングフュージョンFD1に溢れ出たオーバーフロー電荷に応じた電圧信号VSL1に対するデジタル化した第1の比較結果信号SCMP1が出力され、第1の比較結果信号SCMP1に応じたデジタルデータがメモリ部230のメモリ231に格納される。
リセット期間PR2においては、リセットトランジスタRST1−Trが所定期間導通状態に保持されて、フローティングディフュージョンFD1がリセットされる。フローティングディフュージョンFD1のリセット時の信号(VRST)を読み出してデジタル信号がメモリ部230のメモリ232に格納される。
そして、リセットトランジスタRST1−Trが非導通状態に切り替えられる。この場合、蓄積期間PIは継続される。
転送期間PTにおいては、転送トランジスタTG1−Trが所定期間導通状態に保持されて、フォトダイオードPD1の蓄積電荷がフローティングディフュージョンFD1に転送される。
そして、AD変換部220の比較器221において、第2の比較処理CMPR2が行われる。比較器221では、読み出し部60の制御の下、蓄積期間PI後に、フォトダイオードPD1から出力ノードであるフローティングフュージョンFD1に転送された蓄積電荷に応じた電圧信号VSL2に対するデジタル化した第2の比較結果信号SCMP2が出力され、第2の比較結果信号SCMP2に応じたデジタルデータがメモリ部230のメモリ232に格納される。
具体的には、メモリ制御部240において、第1の比較処理期間PSMPR1に、第1の比較処理CMPR1による第1の比較結果信号SCMP1のレベルが第1のレベル(たとえばローレベル)から第2のレベル(ハイレベル)に変化した場合、第2の比較処理CMPR2による第2の比較結果信号SCMP2に応じたデータのメモリ部230への書き込みが禁止される。
一方、メモリ制御部240においては、第1の比較処理期間CMPR1に、第1の比較処理CMPR1による第1の比較結果信号SCMP1のレベルが第1のレベル(ローレベル)のまま変化しなかった場合、第2の比較処理CMPR2による第2の比較結果信号SCMP2に応じたデータのメモリ部230への書き込みが許容される。
本第1の実施形態に係る固体撮像装置10において、各デジタル画素200がAD変換機能を有しており、AD変換部220は、光電変換読み出し部210により読み出される電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器221を有している。
そして、比較器221は、読み出し部60の制御の下、蓄積期間にフォトダイオードPD1から出力ノード(フローティングディフュージョン)FD1に溢れ出たオーバーフロー電荷に応じた電圧信号に対するデジタル化した第1の比較結果信号SCMP1を出力する第1の比較処理CMPR1と、蓄積期間後の転送期間にフローティングノードFD1(出力ノード)に転送されたフォトダイオードPD1の蓄積電荷に応じた電圧信号に対するデジタル化した第2の比較結果信号SCMP2を出力する第2の比較処理CMPR2と、を行う。
そして、メモリ制御部240は、第1の比較処理CMPR1による第1の比較結果信号SCMP1の状態(出力レベル)に応じて、第2の比較処理CMPR2による第2の比較結果信号SCMP2に応じたデータのメモリ部230への書き込みを行うか否かを制御する。
具体的には、メモリ制御部240は、第1の比較処理期間PSMPR1に、第1の比較処理CMPR1による第1の比較結果信号SCMP1のレベルが第1のレベル(たとえばローレベル)から第2のレベル(ハイレベル)に変化した場合、第2の比較処理CMPR2による第2の比較結果信号SCMP2に応じたデータのメモリ部230への書き込みを禁止する。
一方、メモリ制御部240は、第1の比較処理期間CMPR1に、第1の比較処理CMPR1による第1の比較結果信号SCMP1のレベルが第1のレベル(ローレベル)のまま変化しなかった場合、第2の比較処理CMPR2による第2の比較結果信号SCMP2に応じたデータのメモリ部230への書き込みを許容する。
また、本発明によれば、実質的に広ダイナミックレンジ化、高フレームレート化を実現することが可能で、メモリの効率的なアクセスが可能で、しかも低ノイズ化を図れ、有効画素領域を最大限に拡大することができ、コストあたりの価値を最大限に高めることが可能となる。
したがって、本第1の実施形態において、第1の基板110側を、基本的に、NMOS系の素子だけで形成すること、および、画素アレイにより有効画素領域を最大限に拡大することにより、コストあたりの価値を最大限に高めることができる。
図18は、本発明の第2の実施形態に係るメモリ制御部240Aの構成例を説明するための図である。
図19は、タイムスタンプADCモード時に比較器の出力が反転した場合の図18のメモリ制御部の動作を説明するためのタイミングチャートである。
図20は、タイムスタンプADCモード時に比較器の出力が反転しなかった場合の図18のメモリ制御部の動作を説明するためのタイミングチャートである。
そして、PMOSトランジスタPT8およびNMOSトランジスタNT1のゲートはサンプリング信号としての制御信号EVA TS ADC Bの供給ラインに接続され、ドレイン同市の接続ノードから信号OUT(図11のNOR回路の信号Bに相当する信号)がメモリ231に出力される。
したがって、各ビットセルBC0〜BC7はハイレベルであり、PMOSトランジスタPT0〜PT7は非導通状態に保持される。このとき、制御信号EVA TS ADC Bはロー(ハイ?)レベルであることからバッファBF1の出力ノードは基準電位VSSレベルとなり、信号OUTが第1のレベル(ローレベル)で出力される。これにより、第2の比較処理CMPR2による第2の比較結果信号SCMP2に応じたデータのメモリ部230への書き込みが禁止される。
したがって、各ビットセルBC0〜BC7はローレベルであり、PMOSトランジスタPT0〜PT7は導通状態に保持される。このとき、制御信号EVA TS ADC BはローレベルであることからバッファBF1の出力ノードは電源電位VDDレベルとなり、信号OUTが第2のレベル(ハイレベル)で出力される。これにより、第2の比較処理CMPR2による第2の比較結果信号SCMP2に応じたデータのメモリ部230への書き込みが許容される。
図21は、本発明の第3の実施形態に係る固体撮像装置を説明するための図であって、タイムスタンプADCモード動作とリニアADCモード動作の選択処理の一例を示す図である。
第1の実施形態に係る固体撮像装置10では、タイムスタンプ(TS)ADCモード動作とリニア(Lin)ADCモード動作が連続して行われる。
通常の照度ではなく、非常に(極めて)高照度の場合(ST1、ST3)、フォトダイオードPD1から電荷がフローティングディフュージョンFD1にオーバーフローする確率が高いことから、タイムスタンプADCモード動作のみを行う(ST4)、
通常の照度ではなく、非常に(極めて)高照度でもなく、非常に(極めて)低照度の場合(ST1、ST3、ST5)、フォトダイオードPD1から電荷がフローティングディフュージョンFD1にオーバーフローする確率がきわめて低いことから、リニアADCモード動作のみを行う(ST6)、
図22は、本発明の第4の実施形態に係る固体撮像装置の画素の構成例を示す図である。
本第4の実施形態に係る固体撮像装置10Cでは、電流源としてのカレントトランジスタIC1−Trが第1の基板110側ではなく、たとえば第2の基板120側のAD変換部220の入力側に配置されている。
た電子機器の構成の一例を示す図である。
さらに、電子機器300は、このCMOSイメージセンサ310の画素領域に入射光を導く(被写体像を結像する)光学系(レンズ等)220を有する。
電子機器200は、CMOSイメージセンサ310の出力信号を処理する信号処理回路(PRC)330を有する。
信号処理回路330で処理された画像信号は、液晶ディスプレイ等からなるモニタに動画として映し出し、あるいはプリンタに出力することも可能であり、またメモリカード等の記録媒体に直接記録する等、種々の態様が可能である。
そして、カメラの設置の要件に実装サイズ、接続可能ケーブル本数、ケーブル長さ、設置高さなどの制約がある用途に使われる、たとえば、監視用カメラ、医療用内視鏡用カメラなどの電子機器を実現することができる。
Claims (18)
- 光電変換を行う画素が配置された画素部と、
前記画素部の前記画素から画素信号を読み出す読み出し部と、を有し、
前記画素は、
蓄積期間に光電変換により生成した電荷を蓄積する光電変換素子と、
前記光電変換素子に蓄積された電荷を前記蓄積期間後の転送期間に転送可能な転送素子と、
前記転送素子を通じて前記光電変換素子で蓄積された電荷が転送される出力ノードと、
前記出力ノードの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号を出力する出力バッファ部と、
前記出力バッファ部による電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器と、
前記比較器の比較結果信号に応じたデータを記憶可能なメモリ部と、
前記比較器の比較結果信号の状態に応じて前記メモリ部へのアクセスを制御するメモリ制御部と、を含み、
前記比較器は、前記読み出し部の制御の下、
前記蓄積期間に前記光電変換素子から前記出力ノードに溢れ出たオーバーフロー電荷に応じた前記電圧信号に対するデジタル化した第1の比較結果信号を出力する第1の比較処理と、
前記蓄積期間後の前記転送期間に前記出力ノードに転送された前記光電変換素子の蓄積電荷に応じた前記電圧信号に対するデジタル化した第2の比較結果信号を出力する第2の比較処理と、を行うことが可能で、
前記メモリ制御部は、
前記第1の比較処理による前記第1の比較結果信号の状態に応じて、前記第2の比較処理による前記第2の比較結果信号に応じたデータの前記メモリ部への書き込みを行うか否かを制御する
固体撮像装置。 - 前記メモリ制御部は、
前記第1の比較処理期間に、前記第1の比較処理による前記第1の比較結果信号のレベルが第1のレベルから第2のレベルに変化した場合、前記第2の比較処理による前記第2の比較結果信号に応じたデータの前記メモリ部への書き込みを禁止する
請求項1記載の固体撮像装置。 - 前記メモリ制御部は、
前記第1の比較処理期間に、前記第1の比較処理による前記第1の比較結果信号のレベルが第1のレベルのまま変化しなかった場合、前記第2の比較処理による前記第2の比較結果信号に応じたデータの前記メモリ部への書き込みを許容する
請求項1または2記載の固体撮像装置。 - メモリ部は、
前記第1の比較処理による前記第1の比較結果信号に応じた信号が第1のレベルで供給されると書き込みが禁止され、第2のレベルで供給されると書き込みが許容され、
前記メモリ制御部は、
前記第1の比較処理期間の終了後にサンプリング信号が供給されたときに、前記第1の比較処理による前記第1の比較結果信号のレベルが第1のレベルから第2のレベルに変化していると、前記メモリ部に、前記第1の比較結果信号に応じた信号を第1のレベルで供給し、
前記第1の比較処理期間の終了後にサンプリング信号が供給されたときに、前記第1の比較処理による前記第1の比較結果信号のレベルが第1のレベルのまま変化していないと、前記メモリ部に、前記第1の比較結果信号に応じた信号を第2のレベルで供給する
請求項2または3記載の固体撮像装置。 - 前記比較器は、前記第1の比較処理において、
前記オーバーフロー電荷の量に応じた時間に対応する前記第1の比較結果信号を出力する
請求項1から4のいずれか一に記載の固体撮像装置。 - 前記比較器は、前記第1の比較処理において、
前記オーバーフロー電荷が前記光電変換素子から前記出力ノードに溢れ始める最大サンプリング時間における前記光電変換素子の信号レベルから最小サンプリング時間で得られる信号レベルまでの光レベルに対応可能である
請求項5記載の固体撮像装置。 - 前記蓄積期間は、
前記光電変換素子および前記出力ノードがリセットレベルにリセットされてから、前記転送素子が導通状態に切り替えられて前記転送期間が開始されるまでの期間であり、
前記第1の比較処理の期間は、
前記光電変換素子および前記出力ノードがリセットレベルにリセットされてから、前記転送期間が開始される前に、前記出力ノードがリセットレベルにリセットされるまでの期間であり、
前記第2の比較処理の期間は、
前記出力ノードがリセットレベルにリセットされた後の期間であって、前記転送期間後の期間を含む期間である
請求項1から6のいずれか一に記載の固体撮像装置。 - 前記読み出し部は、
前記第1の比較処理と前記第2の比較処理を、照度に応じて選択的に行うように制御する
請求項1から7のいずれか一に記載の固体撮像装置。 - 前記読み出し部は、
通常の照度の場合、前記第1の比較処理と前記第2の比較処理を行うように制御する
請求項8記載の固体撮像装置。 - 前記読み出し部は、
通常の照度より高照度の場合、前記第1の比較処理を行うように制御する
請求項8または9記載の固体撮像装置。 - 前記読み出し部は、
通常の照度より低照度の場合、前記第2の比較処理を行うように制御する
請求項8から10のいずれか一に記載の固体撮像装置。 - 前記画素は、
前記出力ノードとしてのフローティングディフュージョンと、
リセット期間に前記フローティングディフュージョンを所定の電位にリセットするリセット素子と、を含み、
前記出力バッファ部は、
前記フローティングディフュージョンの電荷を電荷量に応じた電圧信号に変換し、変換した信号を出力するソースフォロワ素子と、
前記ソースフォロワ素子のソースに接続された電流源と、を含む
請求項1から11のいずれか一に記載の固体撮像装置。 - 前記比較器は、
第1の入力端子に、前記出力バッファ部による前記電圧信号が供給され、
第2の入力端子に、前記参照電圧が供給され、
前記第1の入力端子への前記電圧信号の供給ラインに結合キャパシタが接続されている
請求項1から12のいずれか一に記載の固体撮像装置。 - 前記比較器は、
出力端子と前記第1の入力端子との間にリセットスイッチが接続され、
前記出力端子側に負荷キャパシタが接続されている
請求項1から13のいずれか一に記載の固体撮像装置。 - 第1の基板と、
第2の基板と、を含み、
前記第1の基板と前記第2の基板は接続部を通して接続された積層構造を有し、
前記第1の基板には、
少なくとも、前記画素の前記光電変換素子、前記転送素子、前記出力ノード、および出力バッファ部が形成され、
前記第2の基板には、
少なくとも、前記比較器、前記メモリ部、前記メモリ制御部、および前記読み出し部の少なくとも一部が形成されている
請求項1から14のいずれか一に記載の固体撮像装置。 - 前記画素は、
前記出力ノードとしてのフローティングディフュージョンと、
リセット期間に前記フローティングディフュージョンを所定の電位にリセットするリセット素子と、を含み、
前記出力バッファ部は、
前記フローティングディフュージョンの電荷を電荷量に応じた電圧信号に変換し、変換した信号を出力するソースフォロワ素子と、
前記ソースフォロワ素子のソースに接続された電流源と、を含み、
前記フローティングディフュージョン前記リセット素子、および前記ソースフォロワ素子は前記第1の基板に形成され、
前記電流源は、前記第1の基板または前記第2の基板に形成されている
請求項15記載の固体撮像装置。 - 光電変換を行う画素が配置された画素部と、
前記画素部の前記画素から画素信号を読み出す読み出し部と、を有し、
前記画素は、
蓄積期間に光電変換により生成した電荷を蓄積する光電変換素子と、
前記光電変換素子に蓄積された電荷を前記蓄積期間後の転送期間に転送可能な転送素子と、
前記転送素子を通じて前記光電変換素子で蓄積された電荷が転送される出力ノードと、
前記出力ノードの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号を出力する出力バッファ部と、
前記出力バッファ部による電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器と、
前記比較器の比較結果信号に応じたデータを記憶するメモリ部と、を含む
固体撮像装置の駆動方法であって、
前記画素の画素信号を読み出す場合、前記比較器において、
前記読み出し部の制御の下、
前記蓄積期間に前記光電変換素子から前記出力ノードに溢れ出たオーバーフロー電荷に応じた前記電圧信号に対するデジタル化した第1の比較結果信号を出力する第1の比較処理と、
前記蓄積期間後の前記転送期間に前記出力ノードに転送された前記光電変換素子の蓄積電荷に応じた前記電圧信号に対するデジタル化した第2の比較結果信号を出力する第2の比較処理と、を行うことを可能とし、
前記第1の比較処理による前記第1の比較結果信号の状態に応じて、前記第2の比較処理による前記第2の比較結果信号に応じたデータの前記メモリ部への書き込みを行うか否かを制御し、前記比較器の比較結果信号の状態に応じて前記メモリ部へのアクセスを制御する
固体撮像装置の駆動方法。 - 固体撮像装置と、
前記固体撮像装置に被写体像を結像する光学系と、を有し、
前記固体撮像装置は、
光電変換を行う画素が配置された画素部と、
前記画素部の前記画素から画素信号を読み出す読み出し部と、を有し、
前記画素は、
蓄積期間に光電変換により生成した電荷を蓄積する光電変換素子と、
前記光電変換素子に蓄積された電荷を前記蓄積期間後の転送期間に転送可能な転送素子と、
前記転送素子を通じて前記光電変換素子で蓄積された電荷が転送される出力ノードと、
前記出力ノードの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号を出力する出力バッファ部と、
前記出力バッファ部による電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器と、
前記比較器の比較結果信号に応じたデータを記憶可能なメモリ部と、
前記比較器の比較結果信号の状態に応じて前記メモリ部へのアクセスを制御するメモリ制御部と、を含み、
前記比較器は、前記読み出し部の制御の下、
前記蓄積期間に前記光電変換素子から前記出力ノードに溢れ出たオーバーフロー電荷に応じた前記電圧信号に対するデジタル化した第1の比較結果信号を出力する第1の比較処理と、
前記蓄積期間後の前記転送期間に前記出力ノードに転送された前記光電変換素子の蓄積電荷に応じた前記電圧信号に対するデジタル化した第2の比較結果信号を出力する第2の比較処理と、を行うことが可能で、
前記メモリ制御部は、
前記第1の比較処理による前記第1の比較結果信号の状態に応じて、前記第2の比較処理による前記第2の比較結果信号に応じたデータの前記メモリ部への書き込みを行うか否かを制御する
電子機器。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017185504A JP6995550B2 (ja) | 2017-09-26 | 2017-09-26 | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
CN201811120742.2A CN109561264B (zh) | 2017-09-26 | 2018-09-25 | 固体摄像装置、固体摄像装置的驱动方法以及电子设备 |
US16/143,136 US10659709B2 (en) | 2017-09-26 | 2018-09-26 | Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017185504A JP6995550B2 (ja) | 2017-09-26 | 2017-09-26 | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019062399A true JP2019062399A (ja) | 2019-04-18 |
JP2019062399A5 JP2019062399A5 (ja) | 2020-08-20 |
JP6995550B2 JP6995550B2 (ja) | 2022-01-14 |
Family
ID=66177764
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017185504A Active JP6995550B2 (ja) | 2017-09-26 | 2017-09-26 | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6995550B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021057795A (ja) * | 2019-09-30 | 2021-04-08 | ブリルニクス インク | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
JP2021519013A (ja) * | 2018-04-18 | 2021-08-05 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc | 拡張ダイナミックレンジを有するデジタルピクセル |
WO2023011092A1 (zh) * | 2021-08-04 | 2023-02-09 | Oppo广东移动通信有限公司 | 图像传感器、摄像头组件和移动终端 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004320119A (ja) * | 2003-04-11 | 2004-11-11 | Fuji Photo Film Co Ltd | 画像記録装置 |
JP2006197393A (ja) * | 2005-01-14 | 2006-07-27 | Canon Inc | 固体撮像装置、カメラ、及び固体撮像装置の駆動方法 |
JP2010283525A (ja) * | 2009-06-03 | 2010-12-16 | Toshiba Corp | 撮像装置 |
JP2012054495A (ja) * | 2010-09-03 | 2012-03-15 | Sony Corp | 半導体集積回路、電子機器、固体撮像装置、撮像装置 |
JP2015164278A (ja) * | 2013-03-28 | 2015-09-10 | キヤノン株式会社 | 撮像装置、撮像装置の駆動方法、撮像システム |
-
2017
- 2017-09-26 JP JP2017185504A patent/JP6995550B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004320119A (ja) * | 2003-04-11 | 2004-11-11 | Fuji Photo Film Co Ltd | 画像記録装置 |
JP2006197393A (ja) * | 2005-01-14 | 2006-07-27 | Canon Inc | 固体撮像装置、カメラ、及び固体撮像装置の駆動方法 |
JP2010283525A (ja) * | 2009-06-03 | 2010-12-16 | Toshiba Corp | 撮像装置 |
JP2012054495A (ja) * | 2010-09-03 | 2012-03-15 | Sony Corp | 半導体集積回路、電子機器、固体撮像装置、撮像装置 |
JP2015164278A (ja) * | 2013-03-28 | 2015-09-10 | キヤノン株式会社 | 撮像装置、撮像装置の駆動方法、撮像システム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021519013A (ja) * | 2018-04-18 | 2021-08-05 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc | 拡張ダイナミックレンジを有するデジタルピクセル |
JP2021057795A (ja) * | 2019-09-30 | 2021-04-08 | ブリルニクス インク | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
WO2023011092A1 (zh) * | 2021-08-04 | 2023-02-09 | Oppo广东移动通信有限公司 | 图像传感器、摄像头组件和移动终端 |
Also Published As
Publication number | Publication date |
---|---|
JP6995550B2 (ja) | 2022-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7072362B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 | |
JP7319780B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 | |
JP7018293B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 | |
JP7338974B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 | |
US10659709B2 (en) | Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus | |
US11240448B2 (en) | Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus | |
JP6987603B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 | |
JP6995549B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 | |
JP2019087963A (ja) | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 | |
JP6995550B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 | |
JP7338983B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 | |
US11785360B2 (en) | Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171031 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20171219 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20190920 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200707 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200707 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210428 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210512 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210726 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6995550 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |