JP2013183460A - 飛行時間センサのための回路構成及び方法 - Google Patents

飛行時間センサのための回路構成及び方法 Download PDF

Info

Publication number
JP2013183460A
JP2013183460A JP2013055635A JP2013055635A JP2013183460A JP 2013183460 A JP2013183460 A JP 2013183460A JP 2013055635 A JP2013055635 A JP 2013055635A JP 2013055635 A JP2013055635 A JP 2013055635A JP 2013183460 A JP2013183460 A JP 2013183460A
Authority
JP
Japan
Prior art keywords
transistor
image charge
storage transistor
storage
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013055635A
Other languages
English (en)
Other versions
JP5579893B2 (ja
Inventor
A Shah Ashish
エイ シャー アシシュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of JP2013183460A publication Critical patent/JP2013183460A/ja
Application granted granted Critical
Publication of JP5579893B2 publication Critical patent/JP5579893B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • H01L27/14614Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor having a special gate structure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

【課題】三次元(3D)画像形成が可能な画像センサにおいて、光の複数の蓄積中に、漏れ電流が格納した電荷を排出し、不十分な信号対ノイズ比を残すことがある。
【解決手段】装置が、フォトダイオードと、第1及び第2の格納トランジスタと、第1及び第2の転送トランジスタと、第1及び第2の出力トランジスタとを含む。第1の転送トランジスタは、複数の蓄積期間にわたって格納するために、画像電荷の第1の部分をフォトダイオードから第1の格納トランジスタに選択的に転送する。第1の出力トランジスタは、画像電荷の第1の部分の第1の和を読み出しノードに選択的に転送する。第2の転送トランジスタは、複数の蓄積期間にわたって格納するために、画像電荷の第2の部分をフォトダイオードから第2の格納トランジスタに選択的に転送する。第2の出力トランジスタは、画像電荷の第2の部分の第2の和を読み出しノードに選択的に転送する。
【選択図】図6

Description

本発明は、一般的に、センサに関し、具体的には、これに限定されるものではないが、三次元画像形成が可能な画像センサに関する。
三次元(3D)画像形成が可能な画像センサへの関心は、画像形成、映画、ゲーム、コンピュータ、ユーザ・インターフェースのような用途において3Dアプリケーションの人気が高まるにつれて増大している。3D画像を作成するための典型的な受動的方法は、複数のカメラを使用して、ステレオ画像又は複数の画像をキャプチャすることである。ステレオ画像を用いて、画像内の対象(object)を三角形に分けて3D画像を作成することができる。この三角形分割技術の1つの不利な点は、三次元画像を作成するために、各カメラの間に最小分離距離(理想的には、人間の目の分離に近い)がなければならないため、小型装置を用いて3D画像を作成するのが困難なことである。さらに、この技術は複雑であり、従って、リアルタイムで3D画像を作成するためにかなりのコンピュータ処理能力を必要とする。
リアルタイムでの3D画像の取得を必要とするアプリケーションの場合、光学的な飛行時間(time of flight)の測定に基づく能動的な深度画像形成システムが用いられることもある。これらの飛行時間システムは、典型的には、光を対象に向ける光源と、対象から反射光を検知するセンサと、光が対象との間を往復するのに必要な往復時間に基づいて対象までの距離を計算する処理ユニットを用いる。典型的な飛行時間センサにおいて、光検知領域から検出ノードまでの伝達効率が高いため、フォトダイオードが用いられることが多い。幾つかの周知の飛行時間センサは、対象から反射光(低強度でかつ短時間の光であることが多い)から許容可能な信号レベルを収集するために、より大きいピクセル・サイズを必要とする。幾つかの周知の飛行センサは、光源からの光の複数の蓄積により電荷を蓄積及び格納し、高い信号レベルを達成する。しかしながら、光の複数の蓄積中に、漏れ電流が格納した電荷を排出し、不十分な信号対ノイズ比を残すことがある。
特に断りのない限り、種々の図の全体を通して同様の参照番号が同様の部品を指す、以下の図面を参照しながら、本発明の限定されない非網羅的な実施形態を説明する。
本発明の教示による、飛行時間検出システムの1つの例を示すブロック図である。 本発明の教示による、例示的な飛行時間画像形成システムにおける、反射光パルスの受信に関連する、光源から放射された光パルスの例を示すタイミング図である。 本発明の教示による、飛行時間ピクセル回路の1つの例を示す概略図である。 本発明の教示による、飛行時間ピクセルの動作中に格納トランジスタのゲートに印加された負のゲート電圧を示す線グラフである。 本発明の教示による、飛行時間ピクセルの動作中の、格納トランジスタのゲートの下方の正孔蓄積を示す線グラフである。 本発明の教示による、例示的な飛行時間画像形成システムにおける、第1及び第2のトランジスタの切り換えに関連する放射光のパルス及び反射光のパルスの例を示すタイミング図である。 本発明の教示による、例示的な飛行時間画像形成システムにおける、第1及び第2のトランジスタの切り換えに関連する放射光のパルス及び反射光のパルスの別の例を示すタイミング図である。 本発明の教示による、飛行時間ピクセルの例示的な動作を示すタイミング図である。 本発明の教示による、ピクセルを用いて飛行時間を求めるための例示的なプロセスを示す流れ図である。 本発明の教示による、対応する読み出し回路、制御回路及び機能論理をもつ飛行時間ピクセル・アレイを含む飛行時間検出システムの例の一部を示すブロック図である。
3D飛行時間センサを用いて飛行時間及び深度情報を取得するための方法及び装置が開示される。以下の説明において、実施形態の完全な理解を与えるために、多くの特定の詳細が述べられる。しかしながら、当業者であれば、本明細書に記載される技術は、特定の詳細の1つ又はそれ以上がなくても、又は他の方法、構成部品、材料等を用いて実施できることを理解するであろう。他の例において、特定の態様を不明瞭にしないために、周知の構造、材料、又は動作は示されないか、又は詳細に説明されない。
本明細書の全体にわたる「1つの実施形態」又は「実施形態」への言及は、実施形態に関連して説明される特定の特徴、構造、又は特性を、本発明の少なくとも1つの実施形態内に含ませることを意味する。従って、本明細書の種々の部分に現れる「1つの実施形態において」又は「実施形態において」という句は、必ずしも全てが同じ実施形態を指すとは限らない。さらに、特定の特徴、構造、又は特性は、1つ又はそれ以上の実施形態において、いずれかの適切な方法で組み合わせることができる。
本明細書の全体にわたって、幾つかの当技術分野の用語が用いられる。これら用語は、本明細書で特に定めのない限り、又はそれらの使用の文脈により他に明らかに示唆されない限り、それらが由来する当技術分野における通常の意味をもつ。例えば、「又は(or)」という用語は、文脈により他に明らかに定めのない限り、包含的な意味(例えば、「及び/又は(and/or)」におけるように)で用いられる。
示されるように、より少ない漏れで電荷を格納することを可能にする回路設計をもつ飛行時間センサの例が開示される。より少ない漏れで電荷を格納できるようにすることにより、電荷をより長く格納し、依然として許容可能な信号対ノイズ比を達成することができる。より長い格納時間により、短時間にわたる飛行時間の画像信号を捕捉するためにより大きなピクセルを用いるのではなく、より小さいピクセルが、より長時間にわたって飛行時間の画像信号を捕捉することを可能にすることができる。
例えば、図1Aは、本発明の教示による、飛行時間検出システム100の1つの例を示すブロック図である。示されるように、飛行時間検出システム100は、図1Aに放射光105として示される変調パルスを放射する光源103を含む。示されるように、放射光105は対象107に向けられる。一例において、放射光は、赤外(IR)光の光パルスを含む。他の例において、放射光105は、本発明の教示による、例えば可視光、近赤外線のような、赤外線以外の波長を有し得ることが理解される。次いで、放射光105は、対象107から後方反射し、これが図1Aに後方反射光109として示される。示されるように、反射光109は、レンズ111を通して対象107から方向付けられ、次いで飛行時間ピクセル・アレイ113に合焦される。一例においては、飛行時間ピクセル・アレイ113は、二次元アレイで配置された複数の飛行時間ピクセルを含む。説明されるように、一例において、同期信号115が制御回路121により生成され、光源103に送信され、放射光105の光パルスを、本発明の教示による、飛行時間ピクセル・アレイ113内の複数のピクセルを制御する対応する変調信号と同期させる。同期信号115は、光源103に既知の所定時間にわたって光パルスを放射するように光源103に指示するクロック信号とすることができる。一例において、同期信号115は、光源103により放射される光パルスの持続時間を含む。
図1Aに示す例において、飛行時間ピクセル・アレイ113は、レンズ111から焦点距離flensところに配置される。例に示すように、光源103及びレンズ111は、対象から距離Lのところに配置される。レンズ111は、飛行時間ピクセル・アレイ113の上に配置された複数のマイクロレンズの中の1つとすることができる。レンズ111は、固定視野レンズ、又はマイクロレンズ及び固定視野レンズを含む組立体とすることができる。当然のことながら、図1Aは縮尺通りに示されていないこと、及び、一例において、焦点距離flensはレンズ111と対象107との間の距離Lより実質的に短いことが理解される。従って、本開示においては、本発明の教示による飛行時間測定の目的に対して、距離L及び距離L+焦点距離flensは実質的に等しいことが理解される。
図1Bは、本発明の教示による、飛行時間画像形成システムの例における、後方反射した光のパルスの受信に関連する、光源から放射された光の例示的なパルス間のタイミング関係を示すタイミング図である。具体的には、図1Bは、光源103から対象107に放射された変調光パルスを表す、放射光105を示す。また、図1Bは、対象107から後方反射され、飛行時間ピクセル・アレイ113により受けられる反射光109も示す。一例において、光源103は、10%未満のデューティ・サイクルを有する放射光105の光パルスを放射する。一例において、光パルスのパルス幅TPW147は、20ナノ秒から100ナノ秒までの範囲の持続時間を有する。当然のことながら、本発明の教示に従って、放射光105についての他のデューティ・サイクル及びパルス幅を用いることもできることが理解される。示すように、放射光105及び反射光109の光パルスは、全て同一のパルス幅TPW147を有する。
図示の例に示すように、光パルスが光源103から対象107への距離Lを伝わるのに必要な時間、及び、次いで反射した光パルスが対象107から飛行時間ピクセル・アレイ113への距離Lを伝わるのに必要な付加的な時間に起因して、放射光105の光パルスの放射と反射光109の光パルスの受け取りとの間に、遅延時間TTOF117が生じる。放射光105と反射光109との間の時間差TTOF117は、光パルスが光源103と対象107との間を往復するための飛行時間を表す。ひとたび飛行時間TTOF117が分かると、光源103から対象107への距離Lは、以下の式(1)及び(2)の関係を用いて求めることができる。
Figure 2013183460
Figure 2013183460
ここで、cは、およそ3×108m/秒に等しい光速であり、TTOFは、図1Aに示されるように、光パルスが対象との間を往復するのに必要な時間である。
図2は、本発明の教示による、飛行時間ピクセル回路の1つの例を示す概略図である。飛行時間ピクセル回路は、図1Aに示す例示的な飛行時間ピクセル・アレイ113内に含まれる複数のピクセルの1つに実装できることが理解される。図2の例に示すように、飛行時間ピクセル回路200は、フォトダイオード205に入射する光に応じて電荷を蓄積する、フォトダイオード205を含む。一例において、図1A及び図1Bに関して上述したように、フォトダイオード205に入射する光は、反射光109を含む。周辺光208もフォトダイオード205に入射することができる。フィルタを用いて、フォトダイオード205に到達する光を制御することができる。較正プロセス(図4Bに関連して後述する)を用いて、周辺光208によって生成されるフォトダイオード205からの画像信号と、反射光109により生成されるフォトダイオード205からの画像信号との間の差を計算することができる。
図2に示される飛行時間ピクセル回路200は、転送トランジスタ225(制御信号TX1により制御される)と出力トランジスタ245(制御信号OX1により制御される)との間に結合された格納トランジスタ235(制御信号SG1により制御される)を含む。転送トランジスタ225は、フォトダイオード205に結合され、出力トランジスタ245は、読み出しノード240に結合される。示される飛行時間ピクセル回路200は、転送トランジスタ229(制御信号TX2により制御される)と出力トランジスタ249(制御信号OX2により制御される)との間に結合された格納トランジスタ239(制御信号SG2により制御される)も含む。転送トランジスタは、フォトダイオード205に結合され、出力トランジスタ249は、読み出しノード240に結合される。格納トランジスタ235及び239は、埋め込みチャンネル又は表面チャンネルを有することができる。示される飛行時間ピクセル回路200は、リセット・トランジスタ255、増幅器トランジスタ260及び選択トランジスタ265も含む。
示される例において、リセット・トランジスタ255は、電圧源VDD257に結合される。フォトダイオード205は、転送トランジスタ225、格納トランジスタ235及び出力トランジスタ245を同時に作動させながら、リセット・トランジスタ255を選択的に作動させる(オンにする)ことにより、リセットすることができる。一例において、フォトダイオード205は、転送トランジスタ229、格納トランジスタ239及び出力トランジスタ249を同時に作動させながら、リセット・トランジスタ255を選択的に作動させることにより、リセットすることができる。制御回路121等のコントローラを用いて、飛行時間ピクセル回路200のトランジスタを制御することができる。フォトダイオード205をリセットした後、複数の蓄積期間にわたって画像電荷を格納するために、格納トランジスタ235及び239を初期化することができる。一例において、制御回路121は、格納トランジスタを作動させる前に、格納トランジスタ235及び239のゲートに印加される負電圧を生成することができる。
図3A及び図3Bは、本発明の教示による、飛行時間ピクセルの動作中に、格納トランジスタのゲートに印加された負のゲート電圧及びゲートの下方に蓄積された対応する正孔を示す線グラフである。一例において、制御回路121は、負のバイアス(例えば負のバイアス305)をもつ制御信号を格納トランジスタ(例えば、格納トランジスタ235及び239)に送信する。制御信号は、格納トランジスタの閾値電圧(例えば、SG閾値電圧307)よりも0.5Vより多く低くすることができる。一例において、制御信号は−1.2Vの電圧を有する。負電圧で格納トランジスタのゲートに予めバイアスをかけることにより、格納トランジスタの下にある基板における表面準位に正孔が「蓄積」される(図3Bを参照されたい)。正に帯電した蓄積された正孔は、表面準位から電子を物理的にはじき、これにより表面準位との電子の相互作用を最小にすることができる。その結果、表面準位からの漏れ電流が減少し、それにより、格納トランジスタ内からの蓄積された画像電荷を排出する漏れ電流を減らす。このことは、格納ゲートが長期間(例えば、複数の蓄積期間)にわたって電荷を蓄積することを可能にし、信号対ノイズ比を改善することを可能にする。
負電圧で格納トランジスタに予めバイアスをかける間、格納トランジスタは、ソース及びドレインに結合されたトランジスタから隔離することを必要とし得る。制御回路121を使用して、隣接するトランジスタを動作停止し(オフにし)隔離を実現することができる。例えば、制御回路121は、格納トランジスタ235に予めバイアスをかけながら、転送トランジスタ225及び出力トランジスタ245を作動停止することができる。同様に、制御回路121は、格納トランジスタ239に予めバイアスをかけながら、転送トランジスタ229及び出力トランジスタ249を作動停止することができる。
図4A及び図4Bは、上記の図1及び図2における飛行時間画像形成システム及び飛行時間ピクセル回路と関連して画像電荷を取得する飛行時間ピクセル回路200の動作を説明するのを助けるために使用できる例示的なタイミング図である。具体的には、図4Aは、本発明の教示による例示的な飛行時間画像形成システムにおける、変調信号TX1 425及びTX2 429の切り換えに関連する、放射光405の変調パルス及び反射光409の対応するパルスの例を示すタイミング図である。
図4Aは、毎回、放射光405からの光パルスが対象107で反射して反射光409となり、画像電荷をフォトダイオード205内に蓄積できることを示す。示される例において、放射光405は変調周波数を有し、10%未満のデューティ・サイクルを有することができる。例に示されるように、反射光409は、放射光405の同じ変調周波数、並びに同じデューティ・サイクル及びパルス幅TPW447を有する。放射光405のパルス幅TPW447のオン時間は、20ナノ秒から100ナノ秒までの範囲とすることができる。光パルスが対象107との間を往復する飛行時間に起因して、反射光409の光パルスは、飛行時間TTOF417の後に飛行時間ピクセル・アレイ113のピクセルにより受け取られる。
単一の光パルスからフォトダイオード205内に蓄積された画像電荷は、Q1 449及びQ2 451の和である。Q1 449は、転送トランジスタ225が作動される期間中にフォトダイオード205により蓄積され、Q2 451は、転送トランジスタ229が作動している期間中にフォトダイオード205により蓄積される。転送トランジスタ225が制御回路121により作動されると、転送トランジスタ225は、Q1 449(フォトダイオード205により蓄積された画像電荷の時間的に最初の部分)を選択的に格納トランジスタ235に転送する。第1の変調信号TX1 425は、放射光405を構成する光パルスが光源103から放射されるのと同時に、及び、同じ期間(TPW447)、転送トランジスタ225を作動させる。従って、第1の変調信号TX1 425は、放射光405と「同相」であると言うことができる。
転送トランジスタ229は、転送トランジスタ229が制御回路121により作動されると、Q2 451(フォトダイオード205により蓄積された画像電荷の時間的に2番目の部分)を選択的に格納トランジスタ235に転送する。図4Aに示すように、第2の変調信号TX2 429は、転送トランジスタ225が作動停止した直後に転送トランジスタ229を作動させ(第1の変調信号TX1 425に対応して)。転送トランジスタ229は、放射光405を構成する光パルスと同じ期間(TPW447)、及び、転送トランジスタ225が作動されるのと同じ期間(TPW447)作動されることが理解される。第2の変調信号TX2 429及び放射光405との間の関係が与えられた場合、第2の変調信号TX2 429は、放射光405と「位相外れ」であると言うことができる。第2の変調信号TX2 429の各パルスは、第1の変調信号TX1 425の各パルスの直後に生じ、これとは重複しない。従って、図4Aに示すように、本発明の教示によると、反射光409の各オン時間パルスは、第1の変調信号TX1 425の各パルスの終了部分の直後、及び、第2の変調信号TX2 429の各パルスの開始部分の間に、フォトダイオード205により受け取られる。
上述のように、転送トランジスタ225は第1の変調信号TX1 425に応答して切り換えられ、転送トランジスタ229は第2の変調信号TX2 429に応答して切り換えられる。従って、第1の変調信号TX1 425の各オン時間パルスの間、フォトダイオード205内に蓄積された光発生電荷は、格納トランジスタ235に転送される。例において、第1の変調信号TX1 425に応答してフォトダイオード205から格納トランジスタ235に転送される光発生電荷は、図4AにQ1 449として表される。同様に、第2の変調信号TX2 429の各オン時間パルスの間、フォトダイオード205内に蓄積された光発生電荷は、格納トランジスタ239に転送される。例において、第2の変調信号TX2 429に応答してフォトダイオード205から格納トランジスタ239に転送された光発生電荷は、図4AにQ2 451と表される。
一例において、光源103から放射された光が対象107との間で往復するのに必要な飛行時間TTOF417は、以下の式(3)における次の関係に従って求めることができる。
Figure 2013183460
ここで、TTOFは飛行時間TTOF417を表し、TPWはパルス幅TPW447を表し、ΣQ2は格納トランジスタ239内に蓄積された電荷Q2の総量を表し、Σ(Q1+Q2)は、格納トランジスタ235及び239内に蓄積された電荷の総量の和を表す。ひとたび飛行時間TTOF417が決定されると、TTOFの結果を、本発明の教示により距離Lを求めるために、上記に要約した式(2)に代入することができる。
図4Bは、本発明の教示による例示的な飛行時間画像形成システムにおいて、転送トランジスタ225及び229の切り換えに関連する、放射光のパルス及び反射光のパルスの別の例を示すタイミング図である。図4Bは図4Aに類似するが、図4Bのx軸に沿った時間尺度は、図4Aの時間尺度よりも低解像度のものであることが理解される。従って、図4Bは、反射光409の複数のサイクルにわたって、電荷が格納トランジスタ235及び239内に蓄積できる例を示す。図4Bに示す例において、電荷情報は、RO 457で示される時間において光源がオン453である期間中、飛行時間ピクセル回路200から読み出される。RO 457の間の時間は、フレーム時間である。各フレームは、ミリ秒単位とすることができる。1フレームの間、光源103により放射される数十万もの光パルスに対応して、数十万の統合/蓄積期間が生じ得る。従って、RO 457は、複数(例えば、数十万)の反射光のパルスがフォトダイオード205を照射した後に発生し、かつ、電荷Q1 449及びQ2 451は、それぞれ、格納トランジスタ235及び239に複数回転送することができる。その際に、電荷は、複数のサイクルにわたって格納トランジスタ235及び239内に蓄積することができ、これにより、20ナノ秒から100ナノ秒までの範囲の非常に短い照射パルスに起因して、パルス幅TPW447が非常に小さいため、単一の光パルスのみに基づいた飛行時間の計算と比較して、改善した信号ノイズ比をもたらすことができる。
図4Bは、背景信号測定459を行うことを可能にするように、1又はそれ以上の期間、光源103がオフ455である例も示す。この例において、格納トランジスタ235及び239からの背景信号は、フォトダイオード205が反射光409に照射されていないときに、定期的に測定される。示されるように、この測定は、光のオフ455期間の終わりに行うことができる。一例において、測定は、周辺光及び/又はピクセルの暗電流を表し、飛行時間の計算にノイズを付加することがある。一例において、この背景信号測定値459は、較正情報として格納し、光のオン453期間中に行われた測定値から減算し、本発明の教示による、飛行時間TTOF417の求める際の背景ノイズを補償することができる。
図5は、本発明の教示による、飛行時間ピクセルの動作の例を示すタイミング図である。図5に示すように、格納トランジスタ235のゲートを制御する制御信号(SG1)は、転送トランジスタ225が第1のQ1 449を格納トランジスタ235に転送する前に、第1の負電圧501に追いやられる。図5は、第1の変調信号TX1 425のタイミングに対応する格納トランジスタ235内に格納された蓄積画像電荷の視覚的表現を与える「SG1内のΣQ1 511」と表記されたミニチャートを示す。ミニチャート511は、第1の負電圧501で格納トランジスタ235に予めバイアスがかけられた場合、格納された画像電荷は無視できる(又は、全くない)ことを示す。また図5に示されるように、格納トランジスタ239のゲートを制御する制御信号(SG2)は、転送トランジスタ229が第2のQ1 451を格納トランジスタ239に転送する前に、第2の負電圧503に追いやられる。図5は、第2の変調信号TX2 429のタイミングに対応する格納トランジスタ239内に格納された蓄積画像電荷の視覚的表現を与える「SG2内のΣQ2 513」と表記されたミニチャートを示す。ミニチャート513は、第2の負電圧503で格納トランジスタ239に予めバイアスがかけられた場合、格納された画像電荷は無視できる(又は全くない)ことを示す。負電圧501及び503の両方とも、それぞれ、格納トランジスタ235及び239の閾値電圧(VTH507)より低いことが理解される。例として、負電圧501及び503は、−1.2Vであり、トランジスタの(ゲートに印加される)作動電圧は2.8V−3.2V前後とすることができる。
図5は、ΣQ1及びΣQ2を読み出すために、リセット・トランジスタ255、選択トランジスタ265、並びに出力トランジスタ245及び249をそれぞれ制御する、制御信号RST、SEL、OG1及びOG2の例も示す。これらの制御信号は、制御回路121により生成することができる。再び図2を参照すると、リセット・トランジスタ255は、電圧源VDD257と読み出しノード240との間に結合される。読み出しノード240は、出力トランジスタ245及び249、並びに増幅器トランジスタ260に結合される。増幅器トランジスタ260は、読み出しノード240に結合されたゲートを有し、増幅器トランジスタ260のゲート端子における入力信号を増幅器トランジスタ260のソース端子における出力信号に増幅するソース・フォロワとして働く。増幅器トランジスタ260のドレイン端子は、電圧源VDD257に結合することができる。選択トランジスタ265は、増幅器トランジスタ260のソース端子とビットライン267との間に結合される。選択トランジスタ265は、読み出しのために、増幅器トランジスタ260の出力信号をビットライン267に選択的に結合するように構成される。
再び図5を参照すると、格納トランジスタが画像電荷の収集を終了した後、画像電荷が読み出される。図5は、例示の目的のために、読み出しの前に3つの蓄積サイクルしか示さないが、読み出しの間に数百又は数千の蓄積サイクルがあり得ることが理解される。示される例において、読み出し(例えばRO457)が行われると、リセット・トランジスタが(制御信号RSTを介して)初めて作動される。リセット・トランジスタが初めて作動されると、既知の電圧(例えば、電圧源VDD257)が読み出しノード240に結合されて、読み出しノード240を初めて既知の電圧までプレチャージする。次いで、出力トランジスタ245が(制御信号OG1を介して)作動され、格納トランジスタ235に格納された画像電荷(ΣQ1)を読み出しノード240に転送する。ミニチャート511は、出力トランジスタ245が作動される間、格納トランジスタ235内のΣQ1が減少することを示す。ΣQ1が読み出しノード240に流れ込むと、増幅器トランジスタ260のゲートにバイアスをかけ、そのことは、ΣQ1を表す対応する増幅された電圧を増幅器トランジスタ260のソース端子にかける。次いで、選択トランジスタ265が(制御信号SELを介して)初めて作動され、読み出しのために、増幅された電圧をBITLINE267に結合する。
示される例において、ΣQ1の読み出し後のΣQ2の読み出しは、ΣQ1の読み出しと同様に機能する。リセット・トランジスタ255が2度目に作動されて、読み出しノード240を既知の電圧までプレチャージする。次いで、出力トランジスタ249が(制御信号OG2を介して)作動され、格納トランジスタ239に格納された画像電荷(ΣQ2)を読み出しノード240に転送する。ミニチャート513は、出力トランジスタ249が作動される間、格納トランジスタ239内のΣQ2が減少することを示す。ΣQ2が読み出しノード240に流れ込むと、増幅器トランジスタ260のゲートにバイアスをかけ、ΣQ2を表す対応する増幅された電圧を増幅器トランジスタ260のソース端子にかける。次いで、選択トランジスタ265が2度目に作動され、読み出しのために、増幅された電圧をビットライン267に結合する。
一例において、相関2重サンプリングのために、制御回路121は、リセット・トランジスタ255をリセットした後、ΣQ1又はΣQ2が読み出しノード240内に存在しない状態で、読み出しノード240の読み出しシーケンス(図示せず)を開始することができる。
読み出しシーケンス(図示せず)の一例において、読み出しノード240がリセットされ、次いでOG2が作動され、ΣQ2が読み出される。ΣQ2が依然として読み出しノード240内にある状態で、OG1が作動され、それにより、ΣQ1が読み出しノード240に流れ込んでΣQ2に合流することが可能になる。次いで、ΣQ1+ΣQ2が読み出しノード240内にある状態で、読み出しノード240が読み出される。ΣQ2を最初に読み出し、ΣQ1+ΣQ2を2番目に読み出すことにより、本開示の式3に従ってTTOFを計算するために必要とされる処理量を減らすことができる。当業者であれば、他の読み出しシーケンスを用いて格納トランジスタ235及び239内に格納された画像電荷を読み出すことができることを理解するであろう。
再び図2を参照すると、本例は、転送トランジスタ269(制御信号TX3により制御される)、格納トランジスタ279(制御信号SG3により制御される)、及び出力トランジスタ289(制御信号OG3により制御される)を含む、随意的なトランジスタ・セット299を示す。格納トランジスタ279は、転送トランジスタ269及び出力トランジスタ289との間に結合される。随意的に、示される例において、転送トランジスタ269はフォトダイオード205に結合され、出力トランジスタ289は読み出しノード240に結合される。一例において、随意的なトランジスタ・セット299は、放射光105の起こり得るエイリアシングを訂正する方法として、随意的に使用することができる。この例において、転送トランジスタ269を(制御信号TX3を介して)作動して、転送トランジスタ229が作動停止した後、及び、転送トランジスタ225が作動される前に画像電荷を格納トランジスタ279に転送することができる。随意的なトランジスタ・セット299を用いてオフ455期間中に明暗画像をキャプチャし、較正基準を与えて背景照明(例えば、周辺光208)を相殺し、放射光105の真の読み出しを達成することができる。
図6は、本発明の教示による、ピクセルを用いて飛行時間を求めるための例示的なプロセス600を示す流れ図である。プロセス600において、プロセス・ブロックの一部又は全てが現れる順序は、限定と考えるべきではない。むしろ、本開示の利益を得る当業者であれば、プロセス・ブロックの一部は、示されない種々の順序で又は並行してさえも実行し得ることを理解するであろう。
プロセス・ブロック605において、複数の蓄積期間にわたって画像電荷を格納するために、第1及び第2の格納トランジスタ(例えば、格納トランジスタ235及び239)が初期化される。初期化は、画像電荷の取得を見越して、正孔が表面準位に蓄積されるように、負電圧で格納トランジスタのゲートに予めバイアスをかけることを含む。図1−図5に関連して説明したように、表面準位における正孔は、複数の蓄積期間にわたって画像電荷を取得する間、格納ゲートから排出される漏れ電流を減らすことができる。光パルスを受け取るフォトダイオード(例えば、フォトダイオード205)は、プロセス・ブロック605の前にリセットすることができる。
プロセス・ブロック610において、第1の変調信号(例えばTX1 425)に応答して、光パルス(例えば、放射光105)を光源(例えば、光源103)から放射する。プロセス・ブロック615において、第1の変調信号からのパルス幅に応答して、第1の転送トランジスタ(例えば、転送トランジスタ225)が作動され、光パルスにより生成された画像電荷(例えばQ1 449)を第1の格納トランジスタ(例えば、格納トランジスタ235)に転送する。画像電荷は、光パルスからの入射光に応答して、フォトダイオード内で生成される。プロセス・ブロック620において、第2の変調信号(例えばTX2 429)からのパルス幅に応答して、第2の転送トランジスタ(例えば、転送トランジスタ229)が作動され、光パルスにより生成された画像電荷(例えばQ2 451)を第2の格納トランジスタ(例えば格納トランジスタ239)に転送する。
複数の蓄積期間が終了すると、ΣQ1が第1の格納トランジスタ内から読み出され、ΣQ2が第2の格納トランジスタ内から読み出される(プロセス・ブロック625)。プロセス・ブロック625は、図4BのRO457に対応し得る。上述の一例において、初めにΣQ2が読み出しノード(例えば読み出しノード240)に転送され、読み出される。次いで、ΣQ1が読み出しノードに転送されて、読み出しノードがΣQ1+ΣQ2を保持し、ΣQ1+ΣQ2が読み出される。プロセス・ブロック625においてΣQ1及びΣQ2が読み出されない場合、プロセスは、別の蓄積期間のためにプロセス・ブロック610に戻る。プロセス・ブロック625においてΣQ1及びΣQ2が読み出される場合、上述のように、和の間の比を用いて光パルスの飛行時間が求められる(プロセス・ブロック630)。ひとたびプロセス・ブロック630において飛行時間が求められると、プロセスは終了するか、又はプロセス・ブロック605に戻って、複数の蓄積期間の後のフレームにわたって画像電荷を格納するように格納トランジスタを準備する。
図7は、本発明の教示による、例示的な飛行時間検出システム700の一部分をより詳細に示すブロック図である。示されるように、飛行時間検出システム700の示された例は、飛行時間ピクセル・アレイ713、読み出し回路753、機能論理755及び制御回路721を含む。飛行時間ピクセル・アレイ713は、図1Aの飛行時間ピクセル・アレイ113に対応し、制御回路721は制御回路121に対応することが理解される。
図7に示す例において、飛行時間ピクセル・アレイ713は、飛行時間ピクセル(例えば、ピクセルP1、P2...Pn)の二次元(2D)アレイである。一例において、飛行時間ピクセルP1、P2...Pnの各々は、図1−図6に上述したシステム又は飛行時間ピクセル回路に実質的に類似し得る。示されるように、各ピクセルは、行(例えば、行R1−Ry)及び列(例えば、列C1−Cx)に配置され、飛行時間ピクセル・アレイ713上に合焦された対象画像の飛行時間データを取得する。従って、次いで飛行時間データを用いて、本発明の教示による、対象までの距離又は深度情報を求めることができる。
一例において、上述したように、各ピクセルがそのΣQ1及びΣQ2電荷情報をそれぞれの格納トランジスタに蓄積した後、読み出し回路753によりΣQ1及びΣQ2信号が読み出され、処理のために機能論理755に転送される。読み出し回路753は、増幅回路、アナログ・デジタル変換(ADC)回路その他を含むことができる。一例において、機能論理755は、各ピクセルについての飛行時間及び距離情報を判断することができる。一例において、機能論理は、飛行時間情報を格納する及び/又は飛行時間情報を操作する(例えば、クロップする、ローテートする、背景ノイズに対して調整する等)ことさえできる。一例において、読み出し回路753は、(図示される)列ラインの読み出し列ラインに沿って一度に画像データの1行を読み出すことができ、又はシリアル読み出し若しくは全てのピクセルの完全なパラレル読み出しのような種々の他の技術(図示せず)を用いて、画像データを同時に読み出すことができる。
示される例において、制御回路721は、飛行時間ピクセル・アレイ713に結合されて、飛行時間ピクセル・アレイ713の動作を制御する。例えば、制御回路721は、第1の変調信号TX1 425及び第2の変調信号TX2 429を生成して、飛行時間ピクセル・アレイ713の各ピクセルにおけるそれぞれの転送トランジスタ(例えば、転送トランジスタ225及び229)を制御することができる。従って、図1−図6に関して上述したように、制御回路721は、それぞれの光検知器からそれぞれの格納トランジスタ(例えば、格納トランジスタ235及び239)への電荷の転送を制御することができる。一例において、制御回路721は、同期信号715を用いて光パルスを対象(例えば、対象107)に放射する光源(例えば、光源103)を制御し、対象への変調した光の放射を同期し、本発明の教示による飛行時間情報を求めることができる。
上記で説明したプロセスは、コンピュータ・ソフトウェア及びハードウェアに関して説明される。記載の技術は、機械(例えば、コンピュータ)可読格納媒体内で具体化され、機械によって実行されたときに、記載された動作を機械に実行させる、有形の又は一時的でない機械実行可能命令を構成することができる。さらに、プロセスは、特定用途向け集積回路(ASIC)その他のようなハードウェア内で具体化することができる。
有形の一時的でない機械可読格納媒体は、機械(例えば、コンピュータ、ネットワーク・デバイス、携帯情報端末、製造ツール、1つ又はそれ以上のプロセッサのセットを有する任意のデバイス等)によってアクセス可能な形で情報を提供する(例えば、格納する)あらゆる機構を含む。例えば、機械可読格納媒体は、記録可能/記録不能媒体(例えば、読み出し専用メモリ(ROM)、ランダム・アクセス・メモリ(RAM)、磁気ディスク記憶媒体、光学記憶媒体、フラッシュ・メモリ・デバイス等)を含む。
要約に記載される内容を含む、本発明の示される実施形態の上記の説明は、網羅的なものではなく、又は開示された厳密な形態に本発明を限定することを意図するものではない。本発明の特定の実施形態及びその例を例証として本明細書で説明してきたが、当業者であれば理解するように、本発明の範囲内で種々の変更が可能である。
これらの変更は、上記の詳細な説明に照らして本発明に対して行うことができる。以下の特許請求の範囲で用いられる用語は、本明細書で開示される特定の実施形態に本発明を限定することを意図するものではない。むしろ、本発明の範囲は、以下の特許請求の範囲により完全に判断されるべきであり、確立された特許請求の範囲の解釈の原則に従って解釈されるべきである。
100:飛行時間検出システム
103:光源
105、405:放射光
107:対象
109、409:反射光
111:レンズ
113:飛行時間ピクセル・アレイ
115:同期信号
121:制御回路
200:飛行時間ピクセル回路
205:フォトダイオード
208:周辺光
225、229:転送トランジスタ
235、239:格納トランジスタ
240:読み出しノード
245、249:出力トランジスタ
255:リセット・トランジスタ
257:電圧源VDD
260:増幅器トランジスタ
265:選択トランジスタ
267:ビットライン

Claims (27)

  1. フォトダイオード上に入射することになる光源から放射された非可視光パルスの各々に応答して、蓄積期間にわたって画像電荷を蓄積するように構成されたフォトダイオードと、
    複数の蓄積期間にわたって前記画像電荷の第1の部分の第1の和を格納するように構成された第1の格納トランジスタと、
    を含み、前記蓄積期間は前記複数の蓄積期間の中の1つであり、
    前記複数の蓄積期間にわたって格納するために、前記画像電荷の前記第1の部分を前記フォトダイオードから前記第1の格納トランジスタに選択的に転送するための、前記フォトダイオードと前記第1の格納トランジスタとの間に結合された第1の転送トランジスタと、
    前記画像電荷の前記第1の部分の前記第1の和を読み出しノードに選択的に転送するための、前記第1の格納トランジスタに結合された第1の出力トランジスタと、
    前記複数の蓄積期間にわたって、前記画像電荷の第2の部分の第2の和を格納するように構成された第2の格納トランジスタと、
    前記複数の蓄積期間にわたって格納するために、前記画像電荷の前記第2の部分を前記フォトダイオードから前記第2の格納トランジスタに選択的に転送するための、前記フォトダイオードと前記第2の格納トランジスタとの間に結合された第2の転送トランジスタと、
    前記画像電荷の前記第2の部分の前記第2の和を前記読み出しノードに選択的に転送するための、前記第2の格納トランジスタに結合された第2の出力トランジスタと、
    を含むことを特徴とする装置。
  2. 前記第1の格納トランジスタの第1のゲートに第1の負電圧を印加し、前記第2の格納トランジスタの第2のゲートに第2の負電圧を印加するように構成された制御回路をさらに含み、前記第1の負電圧は、前記画像電荷の前記第1の部分が前記第1の格納トランジスタに選択的に転送される前に前記第1のゲートに印加され、前記第2の負電圧は、前記画像電荷の前記第2の部分が前記第2の格納トランジスタに選択的に転送される前に前記第2のゲートに印加されることを特徴とする、請求項1に記載の装置。
  3. 前記読み出しノード内に蓄積された電荷を選択的にリセットするための、前記読み出しノードに結合されたリセット・トランジスタをさらに含むことを特徴とする、請求項1に記載の装置。
  4. 前記読み出しノード内の電荷に対応するように画像電圧を増幅するための、前記読み出しノードに結合された増幅器トランジスタと、
    前記増幅器トランジスタとビットラインとの間に結合された行選択トランジスタと、
    をさらに含むことを特徴とする、請求項1に記載の装置。
  5. 前記画像電荷の前記第1の部分は、前記蓄積期間における第1の期間にわたって前記フォトダイオード内に生成され、前記画像電荷の前記第2の部分は、前記第1の期間の直後に続く前記蓄積期間における第2の期間にわたって前記フォトダイオード内に生成されることを特徴とする、請求項1に記載の装置。
  6. 前記フォトダイオードは、ピン止めフォトダイオードであることを特徴とする、請求項1に記載の装置。
  7. 第1のオン時間パルス幅を有する第1の変調信号を送信し、前記第1の転送トランジスタを作動させて前記画像電荷の前記第1の部分を転送するように構成された制御回路をさらに含み、前記制御回路は、前記光源から放射された非可視光パルスの各々と同期して前記第1の転送トランジスタを作動させるように構成され、前記非可視光パルスの持続時間は、前記第1の変調信号の前記第1のオン時間パルス幅と同じであることを特徴とする、請求項1に記載の装置。
  8. 前記制御回路は、前記第1のオン時間パルス幅の直後に続く第2のオン時間パルス幅を有しかつ前記非可視光パルスの前記持続時間をもつ第2の変調信号に応答して、前記第2の転送トランジスタを作動させ、前記画像電荷の前記第2の部分を転送するようにさらに構成され、前記光源は、前記第2の転送トランジスタが作動されるときに光を放射しないことを特徴とする、請求項7に記載の装置。
  9. 可視光画像電荷を格納するための第3の格納トランジスタと、
    前記フォトダイオードから前記第3の格納トランジスタに前記可視光画像電荷を選択的に転送するための、前記フォトダイオードと前記第3の格納トランジスタとの間に結合された第3の転送トランジスタと、
    前記読み出しノードに前記可視光画像電荷を選択的に転送するための、前記第3の格納トランジスタに結合された第3の出力トランジスタと、
    をさらに含むことを特徴とする、請求項1に記載の装置。
  10. 飛行時間(「TOF」)画像形成システムであって、
    第1の変調信号に応答して光パルスを放射するように結合された光源と、
    行及び列に配置された画像形成ピクセルを有する画像形成ピクセルのアレイと、
    を含み、各々の画像形成ピクセルは、
    画像電荷を蓄積するためのフォトダイオードと、
    前記画像電荷の第1の部分を格納するための第1の格納トランジスタと、
    前記第1の変調信号に応答して、前記フォトダイオードから前記第1の格納トランジスタに前記画像電荷の前記第1の部分を選択的に転送するための、前記フォトダイオードと前記第1の格納トランジスタとの間に結合された第1の転送トランジスタと、
    読み出しノードに前記画像電荷の前記第1の部分を選択的に転送するための、前記第1の格納トランジスタに結合された第1の出力トランジスタと、
    前記画像電荷の第2の部分を格納するための第2の格納トランジスタと、
    前記フォトダイオードから前記第2の格納トランジスタに前記画像電荷の第2の部分を選択的に転送するための、前記フォトダイオードと前記第2の格納トランジスタとの間に結合された第2の転送トランジスタと、
    前記読み出しノードに前記画像電荷の前記第2の部分を選択的に転送するための、前記第2の格納トランジスタに結合された第2の出力トランジスタと、
    を含むことを特徴とする画像形成システム。
  11. 前記第1の格納トランジスタの第1のゲートに第1の負電圧を印加し、前記第2の格納トランジスタの第2のゲートに第2の負電圧を印加するように構成された制御回路をさらに含み、前記第1の負電圧は、前記画像電荷の前記第1の部分が前記第1の格納トランジスタに選択的に転送される前に前記第1のゲートに印加され、前記第2の負電圧は、前記画像電荷の前記第2の部分が前記第2の格納トランジスタに選択的に転送される前に前記第2のゲートに印加されることを特徴とする、請求項10に記載の画像形成システム。
  12. 前記読み出しノード内に蓄積された電荷を選択的にリセットするための、前記読み出しノードに結合されたリセット・トランジスタをさらに含むことを特徴とする、請求項10に記載の画像形成システム。
  13. 前記読み出しノード内の電荷に対応するように画像電圧を増幅するための、前記読み出しノードに結合された増幅器トランジスタと、
    前記増幅器トランジスタとビットラインとの間に結合された行選択トランジスタと
    をさらに含むことを特徴とする、請求項10に記載の画像形成システム。
  14. 前記画像電荷の前記第1の部分は第1の期間にわたって生成され、前記画像電荷の前記第2の部分は、前記第1の期間の直後に続く第2の期間にわたって生成されることを特徴とする、請求項10に記載の画像形成システム。
  15. 第1のオン時間パルス幅を有する前記第1の変調信号を送信し、前記第1の転送トランジスタを作動させて前記画像電荷の前記第1の部分を転送するように構成された制御回路をさらに含み、前記制御回路は、前記光源から放射された前記光パルスの中の光パルスと同期して前記第1の転送トランジスタを作動させるように構成され、前記光パルスの持続時間は、前記第1の変調信号の前記第1のオン時間パルス幅と同じであることを特徴とする、請求項10に記載の画像形成システム。
  16. 前記制御回路は、前記第1のオン時間パルス幅の直後に続く第2のオン時間パルス幅を有しかつ前記光パルスの前記持続時間をもつ第2の変調信号に応答して、前記第2の転送トランジスタを作動させ、前記画像電荷の前記第2の部分を転送するようにさらに構成され、前記光源は、前記第2の転送トランジスタが作動されるときに光を放射しないことを特徴とする、請求項15に記載の装置。
  17. ピクセルを用いて飛行時間を求める方法であって、
    複数の蓄積期間にわたってフォトダイオード内に生成された画像電荷を格納するために第1の格納トランジスタ及び第2の格納トランジスタを初期化するステップと、
    各々が第1の変調信号の第1のオン時間パルス幅のそれぞれに応答して記光源から放射される、光パルスを光源から放射するステップと、
    前記第1のオン時間パルス幅のそれぞれに応答して第1の転送トランジスタを作動させ、蓄積された画像電荷の時間的に最初の部分を前記第1の格納トランジスタに転送するステップと、
    を含み、前記蓄積された画像電荷は、前記光パルスの1つが対象に反射するたびに前記フォトダイオード内に生成され、かつ、前記複数の蓄積期間の1つの間、前記フォトダイオードを照射し、
    第2の変調信号の第2のオン時間パルス幅に応答して第2の転送トランジスタを作動させ、前記蓄積された画像電荷の時間的に2番目の部分を前記第2の格納トランジスタに転送するステップと、
    前記第1の格納トランジスタに転送された前記蓄積された画像電荷の前記時間的に最初の部分の各々の第1の和と前記第2の格納トランジスタに転送された前記蓄積された画像電荷の前記時間的に2番目の部分の各々の第2の和とを用いて、前記光パルスの飛行時間を求めるステップと、
    を含むことを特徴とする方法。
  18. 前記第2のオン時間パルス幅は、前記第1のオン時間パルス幅の直後に続き、かつ、これと同じ持続時間を有することを特徴とする、請求項17に記載の方法。
  19. 前記光パルスの飛行時間を求めるステップは、
    前記第1の格納トランジスタと読み出しノードとの間に結合された第1の出力トランジスタを作動させて前記第1の和を前記読み出しノードに転送するステップと、
    前記第2の格納トランジスタと前記読み出しノードとの間に結合された第2の出力トランジスタを作動させて前記第2の和を前記読み出しノードに転送するステップと、
    前記読み出しノードに結合されたリセット・トランジスタをリセットするステップと、
    を含むことを特徴とする、請求項17に記載の方法。
  20. 前記光パルスの前記飛行時間を求めるステップは、前記光パルスの各パルス幅に、前記第2の和を前記第1の和と前記第2の和の第3の和で除算したものを乗算するステップを含むことを特徴とする、請求項17に記載の方法。
  21. 前記第1の格納トランジスタ及び前記第2の格納トランジスタを初期化するステップは、
    前記第1のオン時間パルス幅のそれぞれに応答して前記第1の転送トランジスタを作動させる前に、前記第1の格納トランジスタの第1のゲートに負バイアスをかけるステップと、
    前記第2のオン時間パルス幅のそれぞれに応答して前記第2の転送トランジスタを作動させる前に、前記第2の格納トランジスタの第2のゲートに負バイアスをかけるステップと、
    を含むことを特徴とする、請求項17に記載の方法。
  22. 前記第1の格納トランジスタの前記第1のゲート及び前記第2の格納トランジスタの前記第2のゲートに負バイアスをかけるステップは、漏れ電流を低減させることを特徴とする、請求項21に記載の方法。
  23. 前記第1のゲートは、前記第1の格納トランジスタの第1の閾値電圧よりも少なくとも0.5V低く負バイアスがかけられ、前記第2のゲートは、前記第2の格納トランジスタの第2の閾値電圧よりも少なくとも0.5V低く負のバイアスがかけられることを特徴とする請求項21に記載の方法。
  24. 前記第1の格納トランジスタは、前記第1の転送トランジスタと読み出しノードに結合された第1の出力トランジスタとの間に結合され、前記第2の格納トランジスタは、前記第2の転送トランジスタと前記読み出しノードに結合された第2の出力トランジスタとの間に結合されることを特徴とする、請求項17に記載の方法。
  25. 前記複数の蓄積期間の数は、一千より多い蓄積期間であり、前記光パルスの前記飛行時間を求めるステップは、前記複数の蓄積期間の後に行われることを特徴とする、請求項17に記載の方法。
  26. 第3の転送トランジスタを作動させて、前記複数の蓄積期間の間に、可視光画像電荷を前記フォトダイオードから第3の格納トランジスタに転送するステップさらに含み、前記第3の転送トランジスタを作動させるステップは、前記第1の転送トランジスタ及び前記第2の転送トランジスタが作動されていない画像時間におけるものであることを特徴とする、請求項17に記載の方法。
  27. 前記光パルスは、実質的に800nmと900nmとの間にある実質的に近赤外光であることを特徴とする、請求項17に記載の方法。
JP2013055635A 2012-03-01 2013-02-28 飛行時間センサのための回路構成及び方法 Active JP5579893B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/410,086 2012-03-01
US13/410,086 US8686367B2 (en) 2012-03-01 2012-03-01 Circuit configuration and method for time of flight sensor

Publications (2)

Publication Number Publication Date
JP2013183460A true JP2013183460A (ja) 2013-09-12
JP5579893B2 JP5579893B2 (ja) 2014-08-27

Family

ID=47754327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013055635A Active JP5579893B2 (ja) 2012-03-01 2013-02-28 飛行時間センサのための回路構成及び方法

Country Status (7)

Country Link
US (1) US8686367B2 (ja)
EP (1) EP2634595B1 (ja)
JP (1) JP5579893B2 (ja)
KR (1) KR101465318B1 (ja)
CN (1) CN103297714B (ja)
HK (1) HK1186890A1 (ja)
TW (1) TWI480586B (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015201686A (ja) * 2014-04-04 2015-11-12 キヤノン株式会社 撮像システム
JP2016092587A (ja) * 2014-11-04 2016-05-23 キヤノン株式会社 固体撮像素子及び撮像装置
JP2016095234A (ja) * 2014-11-14 2016-05-26 株式会社デンソー 光飛行型測距装置
JP2016099233A (ja) * 2014-11-21 2016-05-30 株式会社デンソー 光飛行型測距装置
JP2018096988A (ja) * 2016-12-15 2018-06-21 パナソニックIpマネジメント株式会社 撮像装置
WO2020049906A1 (ja) * 2018-09-03 2020-03-12 パナソニックIpマネジメント株式会社 距離測定装置
CN112799081A (zh) * 2019-11-14 2021-05-14 日立乐金光科技株式会社 测距装置
JP2022132492A (ja) * 2014-04-26 2022-09-08 エヌライト,インコーポレーテッド 三次元撮像における奥行き検知のための、安定して広範囲の照明用波形のための方法とシステム

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101797014B1 (ko) * 2011-09-14 2017-11-14 삼성전자주식회사 3차원 이미지 센서의 단위 픽셀
US8686367B2 (en) * 2012-03-01 2014-04-01 Omnivision Technologies, Inc. Circuit configuration and method for time of flight sensor
US10324033B2 (en) * 2012-07-20 2019-06-18 Samsung Electronics Co., Ltd. Image processing apparatus and method for correcting an error in depth
US10354448B1 (en) * 2013-03-15 2019-07-16 Lockheed Martin Corporation Detection of optical components in a scene
LU92173B1 (en) * 2013-03-20 2014-09-22 Iee Sarl Distance determination method
EP2966856B1 (en) * 2014-07-08 2020-04-15 Sony Depthsensing Solutions N.V. A high dynamic range pixel and a method for operating it
US9523765B2 (en) 2014-07-14 2016-12-20 Omnivision Technologies, Inc. Pixel-level oversampling for a time of flight 3D image sensor with dual range measurements
US9313476B2 (en) * 2014-08-07 2016-04-12 Omnivision Technologies, Inc. Precharged latched pixel cell for a time of flight 3D image sensor
US9658336B2 (en) 2014-08-20 2017-05-23 Omnivision Technologies, Inc. Programmable current source for a time of flight 3D image sensor
JP6520053B2 (ja) 2014-11-06 2019-05-29 株式会社デンソー 光飛行型測距装置
DE112015005163T5 (de) 2014-11-14 2017-07-27 Denso Corporation Flugzeitabstandsmessvorrichtung
WO2016116161A1 (en) * 2015-01-22 2016-07-28 X-Fab Semiconductor Foundries Ag Cmos image sensor pixel
EP3259612B1 (en) * 2015-02-19 2018-09-26 Koninklijke Philips N.V. Infrared laser illumination device
US9864048B2 (en) * 2015-05-17 2018-01-09 Microsoft Technology Licensing, Llc. Gated time of flight camera
US9819930B2 (en) * 2015-05-26 2017-11-14 Omnivision Technologies, Inc. Time of flight imaging with improved initiation signaling
FR3039928B1 (fr) 2015-08-03 2019-06-07 Teledyne E2V Semiconductors Sas Procede de commande d'un capteur d'image a pixels actifs
US10761599B2 (en) * 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
EP3159711A1 (en) 2015-10-23 2017-04-26 Xenomatix NV System and method for determining a distance to an object
DE102016122831A1 (de) * 2015-11-26 2017-06-01 Odos Imaging Ltd. Bildgebendes System, Abstandsmessvorrichtung, Verfahren zum Betreiben des bildgebenden Systems und der Abstandsmessvorrichtung
JP6700758B2 (ja) * 2015-12-04 2020-05-27 キヤノン株式会社 撮像装置の駆動方法
US9876047B2 (en) * 2015-12-15 2018-01-23 Canon Kabushiki Kaisha Photoelectric conversion apparatus and information processing apparatus
FR3046495B1 (fr) 2015-12-30 2018-02-16 Stmicroelectronics (Crolles 2) Sas Pixel de detection de temps de vol
CN108780151B (zh) 2016-02-08 2022-11-01 埃斯普罗光电股份公司 飞行时间距离测量装置及用于检测多路径误差的方法
WO2017138032A1 (en) 2016-02-08 2017-08-17 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
DE102016208347B4 (de) * 2016-05-13 2017-12-21 Infineon Technologies Ag Optische Sensorvorrichtung und Verfahren zum Betreiben eines Laufzeitsensors
CN109565553B (zh) * 2016-08-10 2020-11-03 松下知识产权经营株式会社 投光摄像装置及投光摄像方法
EP3301477A1 (en) 2016-10-03 2018-04-04 Xenomatix NV System for determining a distance to an object
EP3301480A1 (en) 2016-10-03 2018-04-04 Xenomatix NV System and method for determining a distance to an object
EP3301478A1 (en) 2016-10-03 2018-04-04 Xenomatix NV System for determining a distance to an object
EP3301479A1 (en) 2016-10-03 2018-04-04 Xenomatix NV Method for subtracting background light from an exposure value of a pixel in an imaging array, and pixel for use in same
US10291895B2 (en) 2016-10-25 2019-05-14 Omnivision Technologies, Inc. Time of flight photosensor
JP6988071B2 (ja) * 2016-11-16 2022-01-05 株式会社リコー 距離測定装置及び距離測定方法
EP3343246A1 (en) 2016-12-30 2018-07-04 Xenomatix NV System for characterizing surroundings of a vehicle
EP3367668B1 (en) * 2017-02-24 2019-10-02 Melexis Technologies NV Noise reduction in sample and hold systems
GB201704443D0 (en) * 2017-03-21 2017-05-03 Photonic Vision Ltd Time of flight sensor
EP3392674A1 (en) 2017-04-23 2018-10-24 Xenomatix NV A pixel structure
EP3572833B1 (en) * 2017-09-29 2021-11-24 Sony Semiconductor Solutions Corporation Time measurement device and time measurement apparatus
JP6692339B2 (ja) 2017-10-13 2020-05-13 株式会社ソディック 金属粉末積層造形用の金属粉末材料
EP3625589B1 (en) 2017-12-15 2020-11-18 Xenomatix NV System and method for determining a distance to an object
US10356351B1 (en) * 2018-02-07 2019-07-16 Omnivision Technologies, Inc. Image sensor with dual conversion gain readout
CN108282626B (zh) * 2018-03-01 2021-04-23 思特威(上海)电子科技股份有限公司 Tof图像传感器像素结构及tof成像系统
CN108419032B (zh) * 2018-03-01 2021-01-05 思特威(上海)电子科技有限公司 支持多种曝光模式的hdr图像传感器像素结构及成像系统
CN108322678B (zh) * 2018-03-01 2020-03-31 思特威(上海)电子科技有限公司 支持全局曝光的tof图像传感器像素结构及tof成像系统
CN110603457A (zh) * 2018-04-12 2019-12-20 深圳市汇顶科技股份有限公司 影像传感系统及电子装置
US10497738B2 (en) * 2018-04-20 2019-12-03 Omnivision Technologies, Inc. First photon correlated time-of-flight sensor
CN110412607B (zh) * 2018-04-28 2021-12-03 思特威(上海)电子科技股份有限公司 具有高动态范围的tof像素电路及测距系统
CN110418083B (zh) * 2018-04-28 2021-09-17 思特威(上海)电子科技股份有限公司 具有hdr模式的tof像素电路及测距系统
US10684373B2 (en) 2018-05-07 2020-06-16 Omnivision Technologies, Inc. Image sensor with boosted photodiodes for time of flight measurements
US10986290B2 (en) 2018-05-18 2021-04-20 Omnivision Technologies, Inc. Wide dynamic range image sensor with global shutter
US10580820B2 (en) 2018-07-16 2020-03-03 Gigajot Technology Inc. High-sensitivity depth sensor with non-avalanche photodetector
WO2020188782A1 (ja) * 2019-03-20 2020-09-24 株式会社ブルックマンテクノロジ 距離画像撮像装置、距離画像撮像システム、および距離画像撮像方法
CN111108411B (zh) * 2019-10-10 2021-06-08 深圳市汇顶科技股份有限公司 光传感器、基于飞行时间的测距系统和电子装置
US11768277B2 (en) * 2019-11-05 2023-09-26 Pixart Imaging Incorporation Time-of-flight sensor and control method thereof
KR20210072423A (ko) * 2019-12-09 2021-06-17 에스케이하이닉스 주식회사 비행시간거리측정 방식의 센싱 시스템 및 이미지 센서
KR20210115715A (ko) * 2020-03-16 2021-09-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
TWI790717B (zh) * 2020-09-11 2023-01-21 神盾股份有限公司 降低腔內雜散光干擾的tof光學感測模組

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004294420A (ja) * 2003-02-03 2004-10-21 Shoji Kawahito 距離画像センサ
JP2005175392A (ja) * 2003-12-15 2005-06-30 Toshiba Corp 固体撮像装置およびそれを利用した撮像システム
JP2010213231A (ja) * 2009-03-12 2010-09-24 Canon Inc 固体撮像素子、その駆動方法及び撮像システム
US20100276574A1 (en) * 2009-04-30 2010-11-04 Omnivision Technologies, Inc. Image sensor with global shutter
JP2011243862A (ja) * 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6580496B2 (en) 2000-11-09 2003-06-17 Canesta, Inc. Systems for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation
US7542085B2 (en) * 2003-11-26 2009-06-02 Aptina Imaging Corporation Image sensor with a capacitive storage node linked to transfer gate
US7045754B2 (en) * 2004-03-30 2006-05-16 Omnivision Technologies, Inc. Hybrid charge coupled CMOS image sensor having an amplification transistor controlled by a sense node
JP5110535B2 (ja) * 2006-03-31 2012-12-26 国立大学法人静岡大学 半導体測距素子及び固体撮像装置
US8184191B2 (en) * 2006-08-09 2012-05-22 Tohoku University Optical sensor and solid-state imaging device
KR101467509B1 (ko) 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
JP5585903B2 (ja) 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
KR100984698B1 (ko) * 2008-08-04 2010-10-01 주식회사 동부하이텍 이미지 센서 및 그 구동 방법
KR101668869B1 (ko) * 2009-05-29 2016-10-28 삼성전자주식회사 거리 센서, 3차원 이미지 센서 및 그 거리 산출 방법
TW201115183A (en) * 2009-10-20 2011-05-01 Ind Tech Res Inst Stereovision system and calculation method for the distance between object and diffractive optical element
TWI427273B (zh) * 2010-07-29 2014-02-21 Pixart Imaging Inc 可提高訊雜比之測距裝置及其方法
KR101711061B1 (ko) * 2010-02-12 2017-02-28 삼성전자주식회사 깊이 추정 장치를 이용한 깊이 정보 추정 방법
KR20110093212A (ko) 2010-02-12 2011-08-18 삼성전자주식회사 이미지 센서의 픽셀 및 픽셀 동작 방법
TWM423406U (en) * 2011-09-14 2012-02-21 Tlj Intertech Inc Object-depth calculation device
US8642938B2 (en) * 2012-01-13 2014-02-04 Omnivision Technologies, Inc. Shared time of flight pixel
US8686367B2 (en) * 2012-03-01 2014-04-01 Omnivision Technologies, Inc. Circuit configuration and method for time of flight sensor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004294420A (ja) * 2003-02-03 2004-10-21 Shoji Kawahito 距離画像センサ
JP2005175392A (ja) * 2003-12-15 2005-06-30 Toshiba Corp 固体撮像装置およびそれを利用した撮像システム
JP2010213231A (ja) * 2009-03-12 2010-09-24 Canon Inc 固体撮像素子、その駆動方法及び撮像システム
US20100276574A1 (en) * 2009-04-30 2010-11-04 Omnivision Technologies, Inc. Image sensor with global shutter
JP2011243862A (ja) * 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015201686A (ja) * 2014-04-04 2015-11-12 キヤノン株式会社 撮像システム
JP2022132492A (ja) * 2014-04-26 2022-09-08 エヌライト,インコーポレーテッド 三次元撮像における奥行き検知のための、安定して広範囲の照明用波形のための方法とシステム
JP2016092587A (ja) * 2014-11-04 2016-05-23 キヤノン株式会社 固体撮像素子及び撮像装置
JP2016095234A (ja) * 2014-11-14 2016-05-26 株式会社デンソー 光飛行型測距装置
JP2016099233A (ja) * 2014-11-21 2016-05-30 株式会社デンソー 光飛行型測距装置
JP7065421B2 (ja) 2016-12-15 2022-05-12 パナソニックIpマネジメント株式会社 撮像装置および対象物の内部の情報を取得する方法
JP2018096988A (ja) * 2016-12-15 2018-06-21 パナソニックIpマネジメント株式会社 撮像装置
JP7117646B2 (ja) 2018-09-03 2022-08-15 パナソニックIpマネジメント株式会社 距離測定装置
JPWO2020049906A1 (ja) * 2018-09-03 2021-09-09 パナソニックIpマネジメント株式会社 距離測定装置
WO2020049906A1 (ja) * 2018-09-03 2020-03-12 パナソニックIpマネジメント株式会社 距離測定装置
US11657526B2 (en) 2018-09-03 2023-05-23 Panasonic Intellectual Property Management Co., Ltd. Distance measurement device
CN112799081A (zh) * 2019-11-14 2021-05-14 日立乐金光科技株式会社 测距装置
CN112799081B (zh) * 2019-11-14 2024-05-14 日立乐金光科技株式会社 测距装置

Also Published As

Publication number Publication date
KR101465318B1 (ko) 2014-12-04
CN103297714B (zh) 2016-07-06
JP5579893B2 (ja) 2014-08-27
TW201339644A (zh) 2013-10-01
CN103297714A (zh) 2013-09-11
KR20130100735A (ko) 2013-09-11
EP2634595A1 (en) 2013-09-04
TWI480586B (zh) 2015-04-11
US20130228691A1 (en) 2013-09-05
HK1186890A1 (zh) 2014-03-21
US8686367B2 (en) 2014-04-01
EP2634595B1 (en) 2020-01-15

Similar Documents

Publication Publication Date Title
JP5579893B2 (ja) 飛行時間センサのための回路構成及び方法
TWI524762B (zh) 共用飛行時間像素
JP7308830B2 (ja) コンピュータビジョンアプリケーションのためのグロバールシャッタピクセル回路および方法
TWI573461B (zh) 具有多個儲存節點之影像感測器像素
EP3625589B1 (en) System and method for determining a distance to an object
JP5211007B2 (ja) 光電変換素子、受光装置、受光システム及び測距装置
CN109791204B (zh) 用于确定到对象的距离的系统
US10666875B2 (en) Solid-state imaging device
WO2011043251A1 (ja) 光電変換素子、受光装置、受光システム及び測距装置
EP3519855B1 (en) System for determining a distance to an object
KR102007275B1 (ko) 3차원 이미지 센서의 거리 픽셀 및 이를 포함하는 3차원 이미지 센서
JP5274424B2 (ja) 光電変換素子、受光装置、受光システム及び測距装置
EP3550329A1 (en) System and method for determining a distance to an object
WO2022026011A1 (en) Time of flight imaging using long and short-exposure storage nodes
US11742370B2 (en) Time-of-flight pixel with vertical photogates
KR20220005697A (ko) 이미지 센싱 장치

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140709

R150 Certificate of patent or registration of utility model

Ref document number: 5579893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250