JP2007129602A - 物理量検出装置、物理量検出装置の駆動方法および撮像装置 - Google Patents

物理量検出装置、物理量検出装置の駆動方法および撮像装置 Download PDF

Info

Publication number
JP2007129602A
JP2007129602A JP2005321753A JP2005321753A JP2007129602A JP 2007129602 A JP2007129602 A JP 2007129602A JP 2005321753 A JP2005321753 A JP 2005321753A JP 2005321753 A JP2005321753 A JP 2005321753A JP 2007129602 A JP2007129602 A JP 2007129602A
Authority
JP
Japan
Prior art keywords
pixel
column
row
rows
readout
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005321753A
Other languages
English (en)
Other versions
JP4792923B2 (ja
Inventor
Keiji Mabuchi
圭司 馬渕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005321753A priority Critical patent/JP4792923B2/ja
Priority to US11/556,444 priority patent/US7777798B2/en
Publication of JP2007129602A publication Critical patent/JP2007129602A/ja
Priority to US12/684,472 priority patent/US8054375B2/en
Application granted granted Critical
Publication of JP4792923B2 publication Critical patent/JP4792923B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745Circuitry for generating timing or clock signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767Horizontal readout lines, multiplexers or registers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155Control of the image-sensor operation, e.g. image processing within the image-sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

【課題】蓄積時間が異なる2つの信号を合成するよりも、蓄積時間が異なる3つ以上の信号を合成する方が好ましいが、3系統以上のカラム回路群を配置するのはレイアウト上難しかったり、不利益を発生させたりする。
【解決手段】蓄積時間が異なる3つ以上の信号を合成してより高ダイナミックレンジ化を図るに当たって、画素アレイ部11の1画素列あたりM個(本例では、M=2)ずつ設けられたカラム回路13A,14Aは、平均(2/3)Hで順番に動作し、垂直走査によって順番に読み出される3行の読み出し行A,B,Cの対応する画素列の3個の画素から出力される信号を順番に取り込んで処理する。
【選択図】図5

Description

本発明は、外部から与えられる物理量を検出する物理量検出装置、当該物理量検出装置の駆動方法および外部から与えられる光を物理量として検出する固体撮像装置を用いた撮像装置に関する。
外部から与えられる物理量を検出する物理量検出装置として、例えば、被写体を経た入射光の光強度を物理量として検出する固体撮像装置、あるいは、検出電極と指の表面との間に指紋の凹凸に応じて形成される静電容量を物理量として検出する指紋検出装置(静電容量検出装置)などが知られている。
物理量検出装置のうち、例えば固体撮像装置において、光電変換素子を含む画素が行列状に2次元配置されてなる画素アレイ部に対して同時に2行走査し、これら2行の各画素における信号電荷の蓄積時間を異ならせることで、当該蓄積時間の長短によって感度の異なる2つの信号を得て、これら感度の異なる信号を合成することによってダイナミックレンジの拡大を図っている(例えば、非特許文献1参照)。
Orly Yadid-Pecht and Eric R. Fossum,"Wide Intrascene Dynamic Range CMOS APS Using Dual Sampling,"IEEE TRANSACTIONS ON ELECTRON DEVICES,VOL.44,NO.10,pp.1721-1723,OCTOBER 1997
この従来技術について具体的に説明する。図12は、従来技術の概念図である。図12において、光電変換素子を含む画素101が行列状に2次元配置されてなる画素アレイ部102に対して、その上下に2系統のカラム回路群103,104が配置されている。カラム回路群103,104は各々、画素アレイ部102の1画素列に対してカラム回路103A,104Aが1個ずつ配置された構成となっている。ここでは、画素アレイ部102の各画素101に対する走査系については省略している。
画素アレイ部102の各画素101に対して、2つの行が読み出し行A,Bとして同時に走査が行われる。読み出し行Aと読み出し行Bの蓄積時間を異ならせることで、感度が異なる2つの信号を得る。読み出し行Aの各画素の信号はカラム回路群103側に読み出されて各カラム回路103Aで処理される。読み出し行Bの各画素の信号はカラム回路群104側に読み出されて各カラム回路104Aで処理される。
図13に、2系統のカラム回路群103,104による1H期間の動作を示す。ここに、1Hとは、読み出し行Aや読み出し行Bの走査が1行進む時間である。
先ず、読み出し行Aの各画素からカラム回路群103に信号を読み出しながら、当該カラム回路群103の各カラム回路103Aで処理して保持する。次に、読み出し行Bの各画素からカラム回路群104に信号を読み出しながら、当該カラム回路群104の各カラム回路104Aで処理して保持する。その後、カラム回路群103,104を水平方向に走査して信号を順に読み出す。ここで、1H期間の動作が終了し、次に読み出し行Aと読み出し行Bの走査を1行進めて同じ動作を繰り返す。
また、カラム回路群103,104の各カラム回路103A,104Aがパイプライン式に信号を処理する場合(パイプライン型の場合)は、次のような動作となる。
先ず、読み出し行Aの各画素からカラム回路群103の各カラム回路103Aの初段に信号を読み出し、次に読み出し行Bの各画素からカラム回路群104の各カラム回路104Aの初段に信号を読み出し、しかる後カラム回路103A,104Aにおいて初段の信号を2段目に転送することで1H期間が終わる。次の1H期間に、カラム回路103A,104Aの初段に次の行の信号を読み出しながら、2段目では先程の信号を処理し、また次段に転送する。これの動作を繰り返し、最終的にはどこかの1H期間に水平転送する。
上述した各読み出し動作ではいずれも、カラム回路群が1画素列につき2系統(103,104)存在することから、1H期間に2行分の信号の処理を進めることになる(後者の場合も、入力から出力までの時間差が何Hあるかというだけで、1Hに2行の割合で処理を行うという点は前者と同じである)。
ここで、ダイナミックレンジをより拡大するためには、蓄積時間が異なる2つの信号を合成するよりも、蓄積時間が異なる3つ以上の信号を合成する方が好ましい。そこで、上記従来例の拡張として、3行以上を同時に走査し、それに対応してカラム回路を1画素列に対して3個以上置く(3系統以上のカラム回路群を配置)ことが考えられている。
しかし、3系統以上のカラム回路群を配置するのはレイアウト上難しかったり、不利益を発生させたりする。例えば、画素ピッチの1/2や1/3の幅でカラム回路を配置することが考えられるが、画素の微細化が進む現在、このような細い幅にカラム回路を配置することは多くの場合不可能だったり、面積の利用効率が悪かったり、系統数が増えることでチップコストが上昇したりする。
また、図14に示すように、カラム回路群104,105を平面図上で上下に重ねて配置するようにした場合は、カラム回路部全体の長さが延びてチップサイズの微細化の妨げになる他に、画素アレイ部102から遠い方のカラム回路群105の各カラム回路105Aへは、近い方のカラム回路群104の各カラム回路104Aを通過させて信号線を延ばさないといけないために、配線が込み合うとか、ノイズが乗るという問題があり、やはり1画素列に対して複数のカラム回路群を平面図上で上下に重ねて配置するのは難しい。
そこで、本発明は、蓄積時間が異なる3つ以上の信号を合成してより高ダイナミックレンジ化を図るに当たって、1画素列に対してより少ない数のカラム回路での信号処理の実現を可能にした物理量検出装置、物理量検出装置の駆動方法および撮像装置を提供することを目的とする。
上記目的を達成するために、本発明では、外部から与えられる物理量を電気信号に変換する画素が行列状に2次元配置されてなる画素アレイ部と、前記画素アレイ部のN行(Nは3以上の整数)を読み出し行として並行して走査しつつ前記読み出し行の各画素に対応した信号を読み出す駆動回路と、前記画素アレイ部の1画素列あたりM個(1<M<N)ずつ設けられたカラム回路からなるM系統の信号処理回路とを備えた物理量検出装置において、走査の単位期間をHとするとき、各系統が平均(M/N)・Hの周期で次の読み出し行の信号処理に移ることによって、前記駆動回路による走査によって順番に読み出されるN行の読み出し行の画素から出力される信号を順番に取り込んで処理する構成を採っている。
上記構成の物理量検出装置において、前記駆動回路が画素アレイ部のN行を読み出し行として並行して走査しつつ前記読み出し行のN種類の異なる蓄積時間に対応した信号を読み出す一方、走査の単位期間をHとして、前記信号処理回路の各系統が平均(M/N)・Hの周期で次の読み出し行の信号処理に移ることで、読み出し行の行数Nよりも少ないM系統の信号処理回路によってN行の読み出し行の信号を処理することができる。さらに、前記駆動回路が前記N行の読み出し行の各走査を互いにほぼ等間隔にずらしたタイミングで進め、前記M系統の信号処理回路はこれに同期した動作期間で信号処理を行うことで、対称性がよく効率の良い処理を行うことができる。
本発明によれば、読み出し行の行数Nよりも少ないM系統の信号処理回路によってN行の読み出し行の信号を処理することができるために、蓄積時間が異なる3つ以上の信号を合成してより高ダイナミックレンジ化を図るに当たって、1画素列に対してより少ない数のカラム回路での信号処理を実現できる。
以下、本発明の実施の形態について図面を参照して詳細に説明する。
ここでは、外部から与えられる物理量を検出する物理量検出装置として、例えば、被写体を経た入射光の光強度を検出する固体撮像装置を例に挙げて説明するものとする。
図1は、本発明の一実施形態に係る固体撮像装置の構成の概略を示すシステム構成図である。本実施形態では、固体撮像装置として、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを例に挙げて説明するものとする。
図1に示すように、本実施形態に係る固体撮像装置10は、画素アレイ部11、垂直駆動回路12、複数であるM系統(本例ではM=2)のカラム回路(列並列信号処理回路)群13,14、水平駆動回路15,16、出力回路17,18および制御回路19を有するシステム構成となっている。
画素アレイ部11は、入射光をその光量(外部の物理量)に応じた電荷量に光電変換する光電変換素子を含む画素20が行列状(マトリックス状)に多数2次元配置された構成となっている。画素20の具体的な構成については後述する。画素アレイ部11には、行列状の画素配置に対して画素行ごとに画素駆動配線21が配線され、画素列ごとに垂直信号線22が配線されている。
垂直駆動回路12は、シフトレジスタあるいはデコーダなどによって構成され、画素アレイ部11の各画素20を行単位で順次選択走査し、その選択行の各画素に対して画素駆動配線21を通して必要な駆動パルス(制御パルス)を供給する。
ここでは、図示を省略するが、垂直駆動回路12は、画素20を行単位で順に選択して当該選択行の各画素20の信号を読み出す読み出し動作を行うための読み出し走査系と、当該読み出し走査系による読み出し走査よりもシャッタ速度に対応した時間分だけ前に同じ行の画素20の光電変換素子にそれまでに蓄積された電荷を捨てる(リセットする)電子シャッタ動作を行うための電子シャッタ走査系とを有する構成となっている。
画素20における信号電荷の蓄積時間(露光時間)は、読み出し走査系による読み出し走査の間隔を何行にするかで決まる。但し、読み出し走査系による読み出し走査の後に電子シャッタ走査系によるシャッタ走査によって光電変換素子の不要な電荷がリセットされた場合には、そのタイミングから、読み出し走査系による次の読み出し走査によって画素20の信号が読み出されるタイミングまでの期間が、画素20における信号電荷の蓄積時間となる。すなわち、電子シャッタ動作とは、光電変換素子に蓄積された信号電荷をリセットし、新たに信号電荷の蓄積を開始する動作である。
選択行の各画素20から出力される信号は、垂直信号線22の各々を通してカラム回路群13またはカラム回路群14に供給される。カラム回路群13,14は、画素アレイ部11の例えば画素列ごとに、即ち1画素列に対して1対1の対応関係をもって各カラム回路13A,14Aが画素アレイ部11の上下にそれぞれ配置され、1行分の各画素20から出力される信号を画素列ごとに受けて、その信号に対して画素固有の固定パターンノイズを除去するためのCDS(Correlated Double Sampling;相関二重サンプリング)や信号増幅などの信号処理を行う。カラム回路群13,14の各カラム回路13A,14Aに、A/D(アナログ/デジタル)変換機能を持たせた構成を採ることも可能である。
水平駆動回路15,16は、カラム回路群13,14に対応して設けられている。水平駆動回路15は、水平走査回路151、水平選択スイッチ群152および水平信号線153によって構成されている。水平走査回路151は、シフトレジスタなどによって構成され、水平選択スイッチ群152の各スイッチを順に選択することにより、カラム回路群13の各カラム回路13Aで信号処理後の1行分の信号を水平信号線153に順番に出力させる。
水平駆動回路16も、水平駆動回路15と同様に、水平走査回路161、水平選択スイッチ群162および水平信号線163によって構成され、水平走査回路161による水平走査によって水平選択スイッチ群162の各スイッチを順に選択することにより、カラム回路群14の各カラム回路14Aで信号処理後の1行分の信号を水平信号線163に順番に出力させる。
出力回路17,18は、カラム回路群13,14の各カラム回路13A,14Aから水平選択スイッチ群152,162および水平信号線153,163を通して順に供給される信号に対して種々の信号処理を施して出力信号OUT1,OUT2として出力する。これら出力回路17,18では、例えば、バッファリングだけを行う場合もあるし、あるいはバッファリングの前に黒レベル調整、列ごとのばらつきの補正、信号増幅、色関係処理などを行う場合もある。
制御回路19は、図示せぬインターフェースを介して本固体撮像装置10の動作モードなどを指令するデータを外部から受け取り、また本固体撮像装置10の情報を含むデータを外部に出力するとともに、垂直同期信号VsyNc、水平同期信号HsyNcおよびマスタークロックMCKに基づいて、垂直駆動回路12、カラム回路群13,14および水平駆動回路15,16などの動作の基準となるクロック信号や制御信号などを生成し、これら各回路に対して与える。
(画素回路)
図2は、画素20の回路構成の一例を示す回路図である。
図2に示すように、本回路例に係る画素20は、光電変換素子、例えばフォトダイオード23に加えて、例えば転送トランジスタ24、リセットトランジスタ25、増幅トランジスタ26および選択トランジスタ27の4つのトランジスタを有する画素回路となっている。ここでは、これらトランジスタ24〜27として、例えばNチャネルのMOSトランジスタを用いている。この画素20に対して、画素駆動配線21として、転送配線211、リセット配線212および選択配線213が同一行の画素に対して共通に配線されている。
図2において、フォトダイオード23は、受光した光をその光量に応じた電荷量の光電荷(ここでは、電子)に光電変換する。フォトダイオード23のカソードは、転送トランジスタ24を介して増幅トランジスタ26のゲートと電気的に接続されている。この増幅トランジスタ26のゲートと電気的に繋がったノードをFD(フローティングディフュージョン)部28と呼ぶ。このFD部28は、電荷を電圧に変換する作用をなす。
転送トランジスタ24は、フォトダイオード23のカソードとFD部28との間に接続され、ゲートに転送配線211を介して転送パルスφTRFが与えられることによってオン状態となり、フォトダイオード23で光電変換され、ここに蓄積された光電荷をFD部28に転送する。
リセットトランジスタ25は、ドレインが電源配線Vddに、ソースがFD部28にそれぞれ接続され、ゲートにリセット配線212を介してリセットパルスφRSTが与えられることによってオン状態となり、フォトダイオード23からFD部28への信号電荷の転送に先立って、FD部28の電荷を電源配線Vddに捨てることによって当該FD部28をリセットする。
増幅トランジスタ26は、ゲートがFD部28に、ドレインが電源配線Vddにそれぞれ接続され、リセットトランジスタ25によってリセットした後のFD部28の電位をリセットレベルとして出力し、さらに転送トランジスタ24によってフォトダイオード23から信号電荷を転送した後のFD部28の電位を信号レベルとして出力する。
選択トランジスタ27は、例えば、ドレインが増幅トランジスタ26のソースに、ソースが垂直信号線22にそれぞれ接続され、ゲートに選択配線213を介して選択パルスφSELが与えられることによってオン状態となり、画素20を選択状態として増幅トランジスタ26から出力される信号を垂直信号線22に中継する。
なお、この選択トランジスタ27については、電源配線Vddと増幅トランジスタ26のドレインとの間に接続した回路構成を採ることも可能である。
また、画素20としては、上記構成の4トランジスタ構成のものに限られるものではなく、増幅トランジスタ26と選択トランジスタ27を兼用した3トランジスタ構成のものなどであっても良い。
上記構成の固体撮像装置10において、本発明では、画素20における信号電荷の蓄積時間が異なる3つ以上の信号を合成してより高ダイナミックレンジ化を図る際の、画素アレイ部11に対する垂直駆動回路12による走査およびカラム回路群13,14の動作を特徴としている。
垂直駆動回路12は、信号電荷の蓄積時間が異なる、即ち感度が異なるN個(Nは3以上の整数、本例ではN=3)の信号を得るために、3つの行を読み出し行として並行して同時に走査することになる。この走査を実現するための垂直駆動回路12の構成の一例を図3に示す。
ここでは、選択行の各画素20の信号を読み出す読み出し動作を行うための読み出し走査系について示している。電子シャッタ走査系も基本的に、読み出し走査系と同様の構成を採ることになる。
画素アレイ部11の3行を並行して走査して感度が異なる3つの信号を得るとした場合に、垂直駆動回路12の読み出し走査系は、例えば3個のシフトレジスタ121,122,123を有し、これら3個のシフトレジスタ121,122,123には互いに約1/3H(Hは走査の単位期間)ずれた垂直クロックパルスVCK1,VCK2,VCK3が与えられる構成となっている。
このように、画素アレイ部11の例えば3行を並行して走査する際に、3個のシフトレジスタ121,122,123に互いに約(1/3)Hずつずれた垂直クロックパルスVCK1,VCK2,VCK3を与えることで、3つの読み出し行の各走査は1H周期で行われるが、それぞれの走査タイミングはほぼ1/3Hずれることになる。
垂直駆動回路12による走査の概念を図4に示す。垂直駆動回路12により、n行目、m行目およびq行目の3つの行が読み出し行A,B,Cとして並行して同時に走査される(A)。走査が1H進むことで、3つの読み出し行A,B,Cが(n+1)行目、(m+1)行目および(q+1)行目にそれぞれ1行進んだ状態になる(B)。
走査される行とカラム回路群13(14)の各カラム回路13A(14A)との対応関係を図5および図6に示す。ここで、例えば、読み出し行Aの走査がn行目に来ており、カラム回路がその行の信号を処理したり、保持したりしている状態を、A(n)と書いている(カラム回路がパイプライン型の場合は、その初段について考えている)。読み出し行A,B,Cそれぞれの走査は、1H周期で行っているが、それぞれの走査タイミングをほぼ1/3Hずつずらしている。
先ず、読み出し行Aの走査をn行目に進め、n行目の選択配線213(図2参照)を駆動してn行目の画素を選択し、次いでn行目の転送配線211やリセット配線212(図2参照)を駆動してn行目の読み出し行Aの各画素の信号を読み出す。この読み出し行Aの各画素の信号は、カラム回路群13,14の一方、例えばカラム回路群13の各カラム回路13Aに取り込まれ、これらカラム回路13Aで処理が行われる。この信号処理の途中でn行目の読み出し動作を終了し、n行目の選択配線213を駆動してn行目の画素を垂直信号線22から切り離す。
次に、読み出し行Bの走査をm行目に進め、m行目の選択配線213を駆動してm行目の画素を選択し、次いでm行目の転送配線211やリセット配線212を駆動してm行目の読み出し行Bの各画素の信号を読み出す。この読み出し行Bの各画素の信号は、カラム回路群14の各カラム回路14Aに取り込まれ、これらカラム回路14Aで処理が行われる。この処理の途中でm行目の読み出し動作を終了し、m行目の選択配線213を駆動してm行目の画素を垂直信号線22から切り離す。
次に、カラム回路13Aのn行目に対する動作を終了し、読み出し行Cの走査をq行目に進め、q行目の選択配線213を駆動してq行目の画素を選択し、次いでq行目の転送配線211やリセット配線212を駆動してq行目の読み出し行Cの各画素の信号を読み出す。この読み出し行Cの各画素の信号は、カラム回路群13の各カラム回路13Aに取り込まれ、これらカラム回路13Aで処理が行われる。この処理の途中でq行目の読み出し動作を終了し、q行目の選択配線213を駆動してq行目の画素を垂直信号線22から切り離す。
次に、カラム回路14Aのm行目に対する動作を終了し、読み出し行Aの走査をn+1行目に進め、n+1行目の選択配線213を駆動してn+1行目の画素を選択し、次いでn+1行目の転送配線211やリセット配線212を駆動してn+1行目の読み出し行Aの各画素の信号を読み出す。この読み出し行Aの各画素の信号は、カラム回路群14の各カラム回路14Aに取り込まれ、これらカラム回路14Aで処理が行われる。
以降同様にして、m+1行目の読み出し行Bの各画素の信号がカラム回路群13の各カラム回路13Aで、q+1行目の読み出し行Cの各画素の信号がカラム回路群14の各カラム回路14Aで、n+2行目の読み出し行Aの各画素の信号カラム回路群13の各カラム回路13Aで、m+2行目の読み出し行Bの各画素の信号がカラム回路群14の各カラム回路14Aで、q+2行目の読み出し行Cの各画素の信号がカラム回路群13の各カラム回路13Aで、……、という具合に、読み出し行A,B,Cの各画素の信号がカラム回路群13,14で交互に処理される。
このようにして、カラム回路群13,14で交互に処理された読み出し行A,B,Cの蓄積時間が異なる、即ち感度が異なる3つの画素信号は、水平走査回路161による水平走査によって各読み出し行A,B,Cごとに順番に読み出され、後段の信号処理系において合成処理される。この感度が異なる例えば3つの信号を合成することで、感度が異なる2つの信号を合成する場合に比べて、より広ダイナミックレンジ化を図ることができる。
ここで、1つのカラム回路動作、即ちカラム回路13A,14Aの各動作は、走査の単位である1H期間ではなく、平均で(2/3)Hの周期になるように行われる。換言すれば、画素アレイ部11の1画素列あたりM個(本例では、M=2)ずつ設けられたカラム回路13A,14Aは、平均(2/3)Hで順番に動作し、垂直駆動回路13による走査によって順番に読み出される3行の読み出し行A,B,Cの対応する画素列の3個の画素から出力される信号を順番に取り込んで処理する。ここで、クロックのつじつま合わせや、短い他の処理をはさむなどの理由で、厳密に(2/3)Hの周期の動作ではなくとも、平均して(2/3)Hの時間で次の行の信号処理に移ればよい。(2/3)H周期の動作に近い方が対称性が良いので好ましい。
また、カラム回路13A,14Aは、互いにほぼ等間隔にずれた動作期間、具体的には読み出し行A,B,Cの各走査タイミングに同期した動作期間で信号処理を行う。さらに、画素20とカラム回路13A,14Aをつなぐ期間を、カラム回路13A,14Aの各動作期間の前半に制限している。カラム回路13A,14Aの各動作期間の後半のうちに、各カラム回路13A,14Aは、水平信号線に信号を出力するか、パイプライン方式の場合は次段に信号を転送して、次の信号の受け入れに備える。
従来のカラム回路の動作では画素アレイ部11の走査と同期して1Hごとに次の行の処理を行うようにしていたが、本発明では、上述したように、走査は1H期間に1行進むが、カラム回路13A,14Aの動作は1H期間ではなく、平均(2/3)Hの期間で次の行の処理に進むことで、読み出し行A,B,Cから読み出される3個の信号に対して1画素列に2つのカラム回路13A,14Aしかないにもかかわらず、3つの読み出し行A,B,Cの各画素の信号を扱うことができる。
また、カラム回路13A,14Aの各動作期間をほぼ等間隔にずらすことで、2つのカラム回路13A,14Aの待ち時間等が各回路13A,14Aで同じになる、即ち2つのカラム回路13A,14Aの動作が対称になって各回路13A,14Aの特性差を小さくすることができるとともに、一方のカラム回路に画素の信号を取り込んでいる時間に他方のカラム回路が処理を行うことで、時間を有効利用できるために、動作速度を上げることができる。
ここで、特許請求の範囲における「等間隔」とは、間隔が完全に一致する完全等間隔のみならず、±10%程度の範囲内で差がある場合も含むものとする。例えば、完全等間隔の状態から誤差範囲内で微小な差がある場合や、完全等間隔の状態から±10%以内の範囲で差がある場合であっても、上記の作用効果を得ることができる。
また、完全等間隔の状態から±10%程度の範囲内に限らず、完全等間隔の状態から±33%の範囲内でずれた動作期間で信号処理を行うことで、上記の場合と同等の作用効果を得ることができる。例えば、図7に示すように、完全等間隔の状態から±33%の範囲内であれば非対称性があまり大きくならないために、ある程度同様の効果を得ることができる。
なお、このカラム回路13A,14Aの各動作期間をほぼ等間隔にずらすことに伴う作用効果については、上記実施形態に係る固体撮像装置10に限らず、画素アレイ部11から読み出される画素の信号を複数系統のカラム回路群によって処理する構成を採る物理量検出装置全般について言えることである。
例えば、この部分だけの適用により、図8に示すように、1行の読み出し行を走査する場合に、カラム回路13A,14Aで順に信号処理をすることが考えられる。例えば、画素の読み出し時間に対して、カラム回路13A,14Aの処理時間の方が長い場合に、時間を有効利用して動作速度を上げることができる。また、カラム回路13A,14Aの動作の対称性がよいので、カラム回路13A,14Aの特性差を小さくすることができる。
また、本実施形態の場合のように、3行の読み出し行A,B,Cに対してカラム回路13A,14Aを各画素列の上下に1個ずつ、計2個配置した構成を採ることで、カラム回路13A,14Aを同じ側で上下に重ねて配置する場合(図14参照)のように、垂直信号線22を他のカラム回路を通過させて配線する必要がないために、配線が込み合うとか、ノイズが乗るという問題はなく、最も好ましい実施形態と言える。
すなわち、2系統のカラム回路群13,14で、それよりも多い行数の並行走査される読み出し行の信号を処理することにより、例えば、蓄積時間が異なる3つ以上の信号を2つのカラム回路13A,14Aで扱うことができるために、扱う信号数を増やしてのダイナミック拡大処理時の精度を上げることができる。また、カラム回路群を3系統以上配置するのに対してチップコストを安くすることできるとともに、画素の微細化への対応とノイズ低減とを両立させることができる。
ただし、並行して走査する読み出し行の行数は3行に限られるものではなく、4行以上であっても良く、またカラム回路群の系統数も2系統に限られるものではなく、3系統以上であっても良い。
カラム回路群が3系統以上の場合は、カラム回路群を画素部に対して同じ側で上下に重ねて配置する構成を採るとしても、画素アレイ部11のN行(Nは3以上の整数)を並行して走査する際に、1画素列あたりM個(1<M<N)ずつ設けられたカラム回路において、平均(M/N)・Hで次の読み出し行の信号処理に移ることにより、垂直駆動回路12による走査によって順番に読み出されるN行の読み出し行から出力される信号を順番に取り込んで処理することで、読み出し行の行数よりも少ない系統数のカラム回路群で処理できる利点がある。
なお、読み出し行A,B,Cの間に、適切に電子シャッタ行を設定し、シャッタ走査を走らせることで電子シャッタ動作が可能である。もちろん、本発明は電子シャッタを利用しない固体撮像装置にも同様に適用可能である。
1H期間中で、電子シャッタ行が動作する期間は、読み出し行A,B,Cの画素読み出し動作の直前や直後の短い時間とすることができる。また、電子シャッタ用の期間を独立に設定し、走査やカラム回路の動作の切り替わりのタイミングのずれ量は、1/3Hではなく、1Hから電子シャッタにかかる時間だけひいて、1/3した時間ずつとしても良い。このように、電子シャッタやタイミング調整やその他の理由で、走査やカラム回路の動作の切り替わりのタイミングのずれ量がちょうど1/3Hではなく、それとは違う値になってもよい。
上記実施形態では、垂直駆動回路12の読み出し走査系としてシフトレジスタ121〜123(図3参照)を用いているが、変形例として、シフトレジスタ121〜123に代えて、アドレスデコーダを用いることもできる。行をアドレスデコーダで選択する場合には、図9に示すように、読出し走査系を1個のアドレスデコーダ124を用いて構成することができ、この場合は図1における制御回路19において、行アドレスを適切に生成した上で、アドレスデコーダ124に供給する。行アドレスの生成については、図5に代えて、動作が図10のようになるように行う。図6については変更が無い。これにより、画素読出し動作を行う期間は正しく該当行を選択するようになっている。画素読出し動作を行う期間以外は他の行を選択することができるので、例えば電子シャッタ行の駆動期間を画素読出し動作の期間と重ねない場合は、電子シャッタ走査系も同一のアドレスデコーダ124を用いることができる。
また、上記実施形態においては、カラム回路群13,14の各カラム回路13A,14Aを1画素列に対して1対1の対応関係をもって配置するとしたが、カラム回路13A,14Aを複数の画素列で共有して時分割で用いる構成を採ることも可能である。この構成を採る場合も、共有した複数の画素列の処理を終えてから次の行に走査が進む場合は、本質的に同じ動作が可能である。
また、上記実施形態においては、並行して走査している3つの行は蓄積時間が異なるとしているが、ダイナミックレンジの拡大程度が3倍で良い場合や、何らかの目的で近接した時刻の3つの信号を得たいなどの場合には、必ずしもその必要は無い。本発明は基本的に1列当たり複数のカラム回路を配して、画素部ではそれよりも多くの行を並行して走査する場合全般に適用できる。
また、上記実施形態においては、外部から与えられる物理量を検出する物理量検出装置として、被写体を経た入射光の光強度を検出する固体撮像装置を例に挙げたが、固体撮像装置に限られるものではなく、検出電極と指の表面との間に指紋の凹凸に応じて形成される静電容量を検出する指紋検出装置(静電容量検出装置)、あるいは、外部から与えられる物理量として圧力や化学物質の分布などを検出する検出装置であっても良く、外部から与えられる物理量を検出する検出部および当該検出部の信号を選択的に信号線に出力する選択トランジスタを含む画素が行列状に2次元配置されてなる物理量検出装置全般に適用可能である。
[適用例]
先述した実施形態に係る固体撮像装置10は、デジタルスチルカメラやビデオカメラ等の撮像装置において、その撮像デバイス(画像入力デバイス)として用いて好適なものである。
ここに、撮像装置とは、撮像デバイスとしての固体撮像装置、当該固体撮像装置の撮像面(受光面)上に被写体の像光を結像させる光学系および当該固体撮像装置の信号処理回路を含むカメラモジュール(例えば、携帯電話等の電子機器に搭載されて用いられる)、当該カメラモジュールを搭載したデジタルスチルカメラやビデオカメラ等のカメラシステムを言うものとする。
図11は、本発明に係る撮像装置の構成の一例を示すブロック図である。図11に示すように、本例に係る撮像装置は、レンズ41を含む光学系、撮像デバイス42、カメラ信号処理回路43等によって構成されている。
レンズ41は、被写体からの像光を撮像デバイス42の撮像面に結像する。撮像デバイス42は、レンズ41によって撮像面に結像された像光を画素単位で電気信号に変換して得られる画像信号を出力する。この撮像デバイス42として、先述した実施形態に係る固体撮像装置10が用いられる。カメラ信号処理部43は、撮像デバイス42から出力される画像信号に対して種々の信号処理を行う。
上述したように、ビデオカメラや電子スチルカメラ、さらには携帯電話等のモバイル機器向けカメラモジュールなどの撮像装置において、その撮像デバイス42として先述した実施形態に係る固体撮像装置10を用いることで、次のような作用効果を得ることができる。
すなわち、先述した実施形態に係る固体撮像装置10では、蓄積時間が異なる3つ以上の信号を合成することで、より高ダイナミックレンジ化を図ることができるために、撮像画像の画質をより向上でき、また蓄積時間が異なる3つ以上の信号を合成してより高ダイナミックレンジ化を図るに当たって、1画素列に対してより少ない数のカラム回路での信号処理を実現できることで、チップサイズの微細化およびチップコストの低減を図ることができるために、撮像装置の小型化および低コスト化に大きく寄与できる利点がある。
本発明の一実施形態に係る固体撮像装置の構成の概略を示すシステム構成図である。 画素の回路構成の一例を示す回路図である。 垂直駆動回路の構成の一例を示すブロック図である。 垂直駆動回路による走査の概念図である。 走査される行とカラム回路との対応関係を示す図(その1)である。 走査される行とカラム回路との対応関係を示す図(その2)である。 複数のカラム回路がほぼ等間隔にずれて動作する状態の説明図である。 1行の読み出し行を走査する場合の走査される行とカラム回路との対応関係を示す図である。 垂直駆動回路の構成の他の例を示すブロック図である。 読み出し走査系を1個のアドレスデコーダを用いて構成した場合の走査される行とカラム回路との対応関係を示す図である。 本発明に係る撮像装置の構成の一例を示すブロック図である。 従来技術の概念図である。 2系統のカラム回路群による1H期間の動作説明図である。 カラム回路群が3系統の場合における課題の説明図である。
符号の説明
11…画素アレイ部、12…垂直駆動回路、13,14…カラム回路(列並列信号処理回路)群、15,16…水平駆動回路、17,18…出力回路、19…制御回路、20…画素、21…画素駆動配線、22…垂直信号線、23…フォトダイオード、24…転送トランジスタ、25…リセットトランジスタ、26…増幅トランジスタ、27…選択トランジスタ、211…転送配線、212…リセット配線、213…選択配線

Claims (9)

  1. 外部から与えられる物理量を電気信号に変換する画素が行列状に2次元配置されてなる画素アレイ部と、
    前記画素アレイ部のN行(Nは3以上の整数)を読み出し行として並行して走査しつつ前記読み出し行の各画素に対応した信号を読み出す駆動回路と、
    前記画素アレイ部の1画素列あたりM個(1<M<N)ずつ設けられたカラム回路からなり、前記読み出し行から出力される信号を順番に取り込んで処理し、走査の単位期間をHとするとき、各系統が平均(M/N)・Hの周期で次の読み出し行の信号処理に移るM系統の信号処理回路と
    を備えたことを特徴とする物理量検出装置。
  2. 前記駆動回路は、前記N行の読み出し行の各走査を互いに等間隔にずらしたタイミングで進める
    ことを特徴とする請求項1記載の物理量検出装置。
  3. 前記M系統の信号処理回路は、前記N行の読出し行から交互に供給される信号を受けて、各系統が互いに等間隔にずれた動作期間で信号処理を行う
    ことを特徴とする請求項1記載の物理量検出装置。
  4. 前記M系統の信号処理回路は、前記N行の読出し行から交互に供給される信号を受けて、各系統が互いに等間隔から±33%の範囲内でずれた動作期間で信号処理を行う
    ことを特徴とする請求項1記載の物理量検出装置。
  5. 前記駆動回路は、前記N行の読み出し行の各走査を互いにほぼ等間隔にずらしたタイミングで進め、
    前記M系統の信号処理回路は、前記N行の読出し行から交互に供給される信号を受けて、前記N行の読み出し行の各走査タイミングに同期した動作期間で信号処理を行う
    ことを特徴とする請求項1記載の物理量検出装置。
  6. M=2であり、
    2系統の信号処理回路は、前記画素アレイ部を挟んで1系統ずつ設けられている
    ことを特徴とする請求項1記載の物理量検出装置。
  7. 外部から与えられる物理量を電気信号に変換する画素が行列状に2次元配置されてなる画素アレイ部と、
    前記画素アレイ部の各画素を行単位で走査しつつ走査行の各画素の信号を読み出す駆動回路と、
    前記画素アレイ部の1画素列あたり複数個ずつ設けられたカラム回路よりなる、前記駆動回路による走査によって読み出される読み出し行の画素から出力される信号を処理する複数系統の信号処理回路とを備え、
    前記複数系統の信号処理回路は、互いにほぼ等間隔にずれた動作期間で信号処理を行う
    ことを特徴とする物理量検出装置。
  8. 外部から与えられる物理量を電気信号に変換する画素が行列状に2次元配置されてなる画素アレイ部と、
    前記画素アレイ部のN行(Nは3以上の整数)を読み出し行として並行して走査しつつ前記読み出し行の各画素に対応した信号を読み出す駆動回路と、
    前記画素アレイ部の1画素列あたりM個(1<M<N)ずつ設けられたカラム回路よりなるM系統の信号処理回路とを備えた物理量検出装置の駆動方法であって、
    走査の単位期間をHとするとき、前記信号処理回路の各系統を平均(M/N)・Hの周期で順番に動作させることにより、前記駆動回路による走査によって順番に読み出されるN行の読み出し行の信号を順番に取り込んで処理する
    ことを特徴とする物理量検出装置の駆動方法。
  9. 外部からの入射光を信号電荷に変換する光電変換素子を含む画素が行列状に2次元配置されてなる画素アレイ部を有する固体撮像装置と、
    被写体からの光を前記固体撮像装置の撮像面上に導く光学系とを具備し、
    前記固体撮像装置は、
    前記画素アレイ部のN行(Nは3以上の整数)を読み出し行として並行して走査しつつ前記読み出し行の各画素に対応した信号を読み出す駆動回路と、
    前記画素アレイ部の1画素列あたりM個(1<M<N)ずつ設けられたカラム回路からなり、前記読み出し行から出力される信号を順番に取り込んで処理し、走査の単位期間をHとするとき、各系統が平均(M/N)・Hの周期で次の読み出し行の信号処理に移るM系統の信号処理回路とを備えた
    ことを特徴とする撮像装置。
JP2005321753A 2005-11-07 2005-11-07 物理量検出装置、物理量検出装置の駆動方法および撮像装置 Expired - Fee Related JP4792923B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005321753A JP4792923B2 (ja) 2005-11-07 2005-11-07 物理量検出装置、物理量検出装置の駆動方法および撮像装置
US11/556,444 US7777798B2 (en) 2005-11-07 2006-11-03 Physical quantity detecting device, method of driving the physical quantity detecting device and imaging apparatus
US12/684,472 US8054375B2 (en) 2005-11-07 2010-01-08 Physical quantity detecting device, method of driving the physical quantity detecting device and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005321753A JP4792923B2 (ja) 2005-11-07 2005-11-07 物理量検出装置、物理量検出装置の駆動方法および撮像装置

Publications (2)

Publication Number Publication Date
JP2007129602A true JP2007129602A (ja) 2007-05-24
JP4792923B2 JP4792923B2 (ja) 2011-10-12

Family

ID=38057430

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005321753A Expired - Fee Related JP4792923B2 (ja) 2005-11-07 2005-11-07 物理量検出装置、物理量検出装置の駆動方法および撮像装置

Country Status (2)

Country Link
US (2) US7777798B2 (ja)
JP (1) JP4792923B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008263546A (ja) * 2007-04-13 2008-10-30 Konica Minolta Holdings Inc 固体撮像装置、固体撮像装置の駆動方法、及びこれを用いた撮像システム
JP5101946B2 (ja) * 2007-08-03 2012-12-19 キヤノン株式会社 撮像装置及び撮像システム
DE102009053281B4 (de) * 2009-11-13 2022-04-28 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Bildsensor
JP2012049597A (ja) * 2010-08-24 2012-03-08 Nikon Corp 撮像装置
DE102010035811B4 (de) * 2010-08-30 2024-01-25 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Bildsensor und Verfahren zum Auslesen eines Bildsensors
DE102011120099B4 (de) 2011-12-02 2024-05-29 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Bildsensor und Verfahren zum Auslesen eines Bildsensors
JP2013258523A (ja) * 2012-06-12 2013-12-26 Sony Corp 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
CN108090467B (zh) * 2017-12-30 2022-12-30 柳州梓博科技有限公司 感光装置、感光模组、显示模组及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003046873A (ja) * 2001-07-30 2003-02-14 Semiconductor Energy Lab Co Ltd 半導体装置の駆動方法および電子機器
JP2004363666A (ja) * 2003-06-02 2004-12-24 Shoji Kawahito 広ダイナミックレンジイメージセンサ

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3962431B2 (ja) * 1995-11-07 2007-08-22 カリフォルニア インスティチュート オブ テクノロジー 高ダイナミックレンジのリニア出力を有する画像センサ
US6606120B1 (en) * 1998-04-24 2003-08-12 Foveon, Inc. Multiple storage node full color active pixel sensors
US6573936B2 (en) * 1998-08-17 2003-06-03 Intel Corporation Method and apparatus for providing a single-instruction multiple data digital camera system that integrates on-chip sensing and parallel processing
US6753912B1 (en) * 1999-08-31 2004-06-22 Taiwan Advanced Sensors Corporation Self compensating correlated double sampling circuit
JP3833125B2 (ja) * 2002-03-01 2006-10-11 キヤノン株式会社 撮像装置
JP4213943B2 (ja) * 2002-07-25 2009-01-28 富士通マイクロエレクトロニクス株式会社 画質を向上させた画像処理回路
JP2005312025A (ja) * 2004-04-21 2005-11-04 Magnachip Semiconductor Ltd 高速アナログ信号処理可能なcmosイメージセンサ
US7554589B2 (en) * 2004-08-20 2009-06-30 Micron Technology, Inc. Redundancy in column parallel or row architectures
KR100716736B1 (ko) * 2005-05-18 2007-05-14 삼성전자주식회사 서브 샘플링 모드에서 고 프레임 레이트를 지원하는 칼럼아날로그-디지털 변환 장치 및 그 방법
JP2007129581A (ja) * 2005-11-04 2007-05-24 Canon Inc 撮像装置及び撮像システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003046873A (ja) * 2001-07-30 2003-02-14 Semiconductor Energy Lab Co Ltd 半導体装置の駆動方法および電子機器
JP2004363666A (ja) * 2003-06-02 2004-12-24 Shoji Kawahito 広ダイナミックレンジイメージセンサ

Also Published As

Publication number Publication date
US20070109436A1 (en) 2007-05-17
US8054375B2 (en) 2011-11-08
JP4792923B2 (ja) 2011-10-12
US7777798B2 (en) 2010-08-17
US20100110253A1 (en) 2010-05-06

Similar Documents

Publication Publication Date Title
JP5178994B2 (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
US10044947B2 (en) Electronic apparatus and driving method therefor
JP5516960B2 (ja) 固体撮像装置、固体撮像装置の駆動方法、および、電子機器
JP4609428B2 (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
TWI504256B (zh) 固態成像裝置,其訊號處理方法,及電子設備
JP4961982B2 (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP4211849B2 (ja) 物理量検出装置、固体撮像装置及び撮像装置
TWI528814B (zh) 固態成像裝置及其驅動方法及電子系統
US20080218598A1 (en) Imaging method, imaging apparatus, and driving device
US7550704B2 (en) Solid state imaging device, method of driving solid state imaging device, and image pickup apparatus
JP4792923B2 (ja) 物理量検出装置、物理量検出装置の駆動方法および撮像装置
KR20080101775A (ko) 이미지 센서, 전자 장치, 및 전자 장치의 구동 방법
WO2015170533A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
JP2008172704A (ja) 固体撮像装置及びその駆動方法
JP5578008B2 (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP5253280B2 (ja) 固体撮像素子、カメラシステム、および信号読出し方法
JP4499387B2 (ja) 固体撮像装置
JP2009130731A (ja) 撮像装置及び撮像装置の駆動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081031

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20091007

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110628

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110711

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140805

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees