JP2014509462A - 同じフレーム内同じ感光面上におけるゲーテッド光及びアンゲーテッド光の取り込み - Google Patents

同じフレーム内同じ感光面上におけるゲーテッド光及びアンゲーテッド光の取り込み Download PDF

Info

Publication number
JP2014509462A
JP2014509462A JP2013544547A JP2013544547A JP2014509462A JP 2014509462 A JP2014509462 A JP 2014509462A JP 2013544547 A JP2013544547 A JP 2013544547A JP 2013544547 A JP2013544547 A JP 2013544547A JP 2014509462 A JP2014509462 A JP 2014509462A
Authority
JP
Japan
Prior art keywords
period
during
gated
ungated
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013544547A
Other languages
English (en)
Other versions
JP5898692B2 (ja
JP2014509462A5 (ja
Inventor
ヤハヴ，ジオラ
フェルゼンシュテイン，シュロモ
ラリー，イーライ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2014509462A publication Critical patent/JP2014509462A/ja
Publication of JP2014509462A5 publication Critical patent/JP2014509462A5/ja
Application granted granted Critical
Publication of JP5898692B2 publication Critical patent/JP5898692B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/148—Charge coupled imagers
    • H01L27/14806—Structural or functional details thereof
    • H01L27/14812—Special geometry or disposition of pixel-elements, address lines or gate-electrodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

ゲーテッド３Ｄカメラの画像センサーの感光性表面、以後、感光面は、同じフレーム中にその表面の異なる領域でゲーテッド光及びアンゲーテッド光の両方を取得するように制御される。感光面の１つの画像取り込み領域は、ゲーテッド期間中にゲーテッド光を取得し、他の画像取り込み領域は、画像データ取り込み目的に関してオフである。アンゲーテッド期間中、同じ感光面の他の画像取り込み領域は、アンゲーテッド光を画像データとして取得する。典型的には、ゲーテッド及びアンゲーテッド期間は、同じフレーム期間中にインターリーブされる。

Description

本発明は、同じフレーム内同じ感光面上におけるゲーテッド光及びアンゲーテッド光の取り込みに関する。
[0001]ゲーテッド三次元（３Ｄ）カメラ、例えば、飛行時間（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）（ＴＯＦ）カメラは、シーンを照明し、照明からの反射光を取り込むことによって、シーン内の物体までの距離測定を提供する。光を取り込むことは、光を受光し、光を表す画像データを格納することである。距離測定はシーンの深度マップを作成し、深度マップからシーンの３Ｄ画像が生成される。
[0002]ゲーテッド３Ｄカメラは、典型的には光パルスの列によってシーンを照明するための光源を含む。ゲーテッド３Ｄカメラは、さらに、以下「感光面」と呼ばれる光感受性表面を有する画像センサーを備える。感光面は、慣習的にピクセルと呼ばれる光感受性又は感光性センサ、及び、感知された画像データを格納するための記憶媒体を備える。
[0003]いくつかのゲーテッド３Ｄカメラでは、距離測定は、カメラの受光面上に光が取り込まれたかどうか、並びに、光伝達、及び受光面によって取り込まれたシーンからのその反射間に経過した時間のみに基づく。他のゲーテッド３Ｄカメラでは、ゲーテッド光と呼ばれる光の量が感光面によって取り込まれ、そして、物体からの反射光の総量を取り込むアンゲーテッド光と呼ばれる他の測定値との正規化によって、物体の反射率、暗電流、及び背景光に関して全体的に補正される。一例では、正規化は、ゲーテッド測定値をアンゲーテッド測定値で割り、深度マップに使用される正規化ゲーテッド光測定値を作成する。
[0004]移動する物体までの距離を決定するために、互いに近い時間のゲーテッド光及びアンゲーテッド光を取り込むことは、距離測定の精度を向上させる。従来は、遅延時間を低減するために、２つの感光面が使用されていた。一方の感光面はゲーテッド光を取得し、他方の感光面は実質的に同時にアンゲーテッド光を取得する。他の例では、ゲーテッド光及びアンゲーテッド光は、同じ感光面の異なるフレームで取り込まれ、少なくともフレーム読み出し時間に等しい遅延時間を生じさせる。シーン内の動いている物体に関して、ゲーテッド光及びアンゲーテッド光のフレームの取得時間間の遅延は、結果として「不整合」を生じ、感光面の同じ感光性ピクセルが、同じ物体ではなくシーン内の異なる物体からの、又は、カメラから異なる距離の同じ物体からのゲーテッド光及びアンゲーテッド光を取り込む。不整合は、ピクセルが提供する画像から決定される距離測定の誤差を発生させる。
[0005]シーンからのゲーテッド光及びアンゲーテッド光を感光面の同じフレーム期間内に取り込むように画像センサーの感光面を制御する技術が提供される。技術の一実施形態は、表面上の少なくとも第１の画像取り込み領域及び同じ感光面上の少なくとも第２の画像取り込み領域を含む画像センサーの感光面を備えるシステムを提供する。ゲーテッド光が取り込まれているゲーテッド期間中、第２の画像取り込み領域は、画像データが受信されず格納されないという意味で取り込まれないオフ状態である。制御回路が、この期間中の第１の画像取り込み領域によるゲーテッド光の取り込みを制御する。アンゲーテッド光が取り込まれているアンゲーテッド期間中、第１の画像取り込み領域はオフ状態であり、制御回路は、この期間中の第２の画像取り込み領域によるアンゲーテッド光の取り込みを制御する。他のシステム実施形態では、画像取り込み領域は、以後フォトピクセルと呼ばれる光検知ピクセル要素のラインの個々の組、及び、フォトピクセルによって検知された光を画像データとして格納するための個々の画像データ記憶媒体を含む。
[0006]典型的には、ゲーテッド期間とアンゲーテッド期間は、同じフレーム期間中にインターリーブされ、これは、シーン内の移動中の同じ物体に関するゲーテッド光及びアンゲーテッド光間の取得遅延をさらに最小にする。技術の他の実施形態は、シーンからのインターリーブされたゲーテッド光及びアンゲーテッド光を、同じ感光面上で同じフレーム期間中に取り込む方法を提供する。方法の一実施形態では、ゲーテッド光は、第２の画像取り込み領域がオフ状態にされる１０マイクロ秒以下の持続時間を有するゲーテッド期間中に第１の画像取り込み領域によって取り込まれる。同様に、方法は、１０マイクロ秒以下の持続時間を有するアンゲーテッド期間中に、第２の画像取り込み領域によってアンゲーテッド光を取り込む。感光面は、１又は２マイクロ秒以内にゲーテッド光の取り込み及びアンゲーテッド光の取り込みを交互にするように制御される。
[0007]技術の実施形態は、また、感光面の個々の取り込み領域を、領域が個々のゲーテッド又はアンゲーテッド期間内に光を取り込んでいる間、オン状態及びオフ状態間でゲートする。上述したように、シーンを照明するために光パルスの列が使用されてもよい。ゲーテッド期間は、ゲートとも呼ばれる１つ又は複数の短い取り込み期間を含む。一実施形態では、各々の短い取り込み期間は、光パルスのパルス幅に関して最後に設定される。一例のパルス幅は１０又は２０ナノ秒であってもよい。同様に、アンゲーテッド期間は１つ又は複数の長い取り込み期間を含み、各々の長い取り込み期間は各々の短い取り込み期間より長い。アンゲーテッド期間中、アンゲーテッド光のための画像取り込み領域は、ゲーテッド光画像データの正規化のためのアンゲーテッド画像取り込み領域に到達するシーンによってパルスから反射された光のすべてを取り込もうとする。短い取り込み期間の１０ナノ秒パルス幅の例では、対応する長い取り込み期間は約３０ナノ秒であってもよい。同様に、２０ナノ秒パルス幅の例に関して、対応する長い取り込み期間は約６０ナノ秒であってもよい。
[0008]技術は、３Ｄカメラ、例えば、３Ｄ飛行時間カメラ内で動作することができる。
[0009]この要約は、以下の詳細な説明でさらに説明される単純化された形態での概念の選択を紹介するために提供される。この要約は、特許請求された主題の基本的な特徴又は本質的な特徴を特定することを意図しておらず、特許請求された主題の範囲を決定する助けとして使用されることも意図していない。
[0010]本明細書によるシーンからのゲーテッド光及びアンゲーテッド光を同じフレーム期間中に取り込むために感光面を制御するための技術は、添付図面を参照してさらに説明される。
[0011]技術の実施形態が動作することができる目標認識、解析、及び追跡システムの例示的な実施形態を示す。 [0012]技術の実施形態が動作することができる目標認識、解析、及び追跡システムで使用され得る取り込み装置の一例のブロック図を示す。 [0013]シーンまでの距離を測定するために使用され得るゲーテッド３Ｄカメラの一実施形態を概略的に示す。 [0014]少なくとも２つの画像取り込み領域、ゲーテッド期間中に使用するための一方のもの、及び、アンゲーテッド期間中に使用するための他方のものを含む画像センサーの感光面を制御するためのシステムの一例を示す。 [0015]シーンからのインターリーブされたゲーテッド光及びアンゲーテッド光を同じ感光面上で同じフレーム期間中に取り込むための方法の一実施形態のフローチャートである。 [0016]アンゲーテッド期間の長い取り込み期間中のインターライン型電荷結合素子（ＣＣＤ）感光面実施形態の一部のきわめて単純化された断面図を概略的に示す。 [0017]同じアンゲーテッド期間中の長い取り込み期間以外の期間中の図６Ａのインターライン型ＣＣＤ感光面実施形態の一部のきわめて単純化された断面図を概略的に示す。 [0018]少なくとも２つの画像取り込み領域、ゲーテッド期間中に光を取り込むための一方のもの、及び、アンゲーテッド期間中に光を取り込むための他方のものを含む相補型金属酸化物シリコン（ＣＭＯＳ）感光面を制御するためのシステム実施形態を示す。 [0019]ＣＭＯＳフォトゲートピクセルが形成される電荷感知素子を含む基本単位セルのアーキテクチャの一実施形態を示す上面平面図である。 [0020]図８Ａ中のＸ−Ｘ線を横切る電荷感知素子実施形態の１つの断面図である。 [0021]図８Ａ中のＹ−Ｙ線を横切る電荷感知素子実施形態の１つの断面図である。 [0022]図８Ａの基本単位セル実施形態と共に使用するためのセル制御及び読み出し回路の一例を示す。 [0023]２つの基本単位セルを備える基本ピクセル構成ブロックの一実施形態の概略図である。 [0024]図８Ａの基本単位セル実施形態に関する例示的なタイミング図である。
[0025]感光面は、同じフレーム期間中にその表面の異なる取り込み領域上でゲーテッド光及びアンゲーテッド光の両方を取り込む。以下の実施形態に示すように、ゲーテッド光を撮像する期間とアンゲーテッド光を撮像する期間間の時間遅延は、１フレームを取得するために必要とされる時間より実質的に短い。例えば、いくつかの実施形態では、遅延は約１マイクロ秒程度であり、フレーム期間は約数ミリ秒（ｍｓ）程度である。例えば、典型的なフレーム周期は２５から３０ｍｓであり、ゲーテッド期間とアンゲーテッド期間間の遷移遅延は約１又は２マイクロ秒である可能性があり、各々のゲーテッド及びアンゲーテッド期間は約１０マイクロ秒である。
[0026]感光面は、少なくとも２つの画像取り込み領域、ゲーテッド光を取り込むための１つ、及び、アンゲーテッド光を取り込むための１つを備える。画像取り込み領域は、多くの形状及び形態をとることができる。例えば、画像取り込み領域は、インターライン型ＣＣＤ内の一組のラインであってもよい。他の実施形態では、取り込み領域は異なる形状、例えば、六角形、正方形、長方形、等をとることができる。
[0027]３Ｄ内の移動する目標を追跡することは、ゲーテッド３Ｄカメラの典型的な用途である。図１は、本技術によって提供される高速ゲーティング感光面が有用であり得る文脈上の例を提供する。図１は、ゲーテッド光及びアンゲーテッド光を同じフレーム期間中に取り込むために感光面を制御する技術的実施形態が動作することができる目標認識、解析、及び追跡システム１０の例示的な実施形態を示す。目標認識、解析、及び追跡システム１０は、ユーザー１８のような人間の目標を認識、解析、及び／又は追跡するために使用されてもよい。目標認識、解析、及び追跡システム１０の実施形態は、ゲーム又は他のアプリケーションを実行するためのコンピューティング環境１２、並びに、ゲーム又は他のアプリケーションから聴覚的及び視覚的表現を提供するための視聴覚装置１６を含む。システム１０は、コンピューティング環境１２が受信し、解釈し、ゲーム又は他のアプリケーションを制御するために使用する３Ｄ内でユーザーによって行われる位置及び運動を取り込むための取り込み装置２０をさらに含む。
[0028]例示的な実施形態では、コンピューティング環境１２上で実行するアプリケーションは、ユーザー１８が行ってもよいボクシングゲームのような実時間相互作用するゲームであってもよい。例えば、コンピューティング環境１２は、ボクシングの相手１５の視覚的表現をユーザー１８に提供するために視聴覚装置１６を使用してもよい。コンピューティング環境１２は、ユーザー１８が彼又は彼女の動きによって制御することができるプレーヤアバター１３の視覚的表現を提供するために視聴覚装置１６を使用することもできる。例えば、ユーザー１８は、プレーヤアバター１３にゲーム空間内でパンチを打たせるように、物理的空間内でパンチを打つことができる。したがって、例示的な実施形態によれば、取り込み装置２０は、本明細書に記載される技術を使用して物理的空間内のパンチの３Ｄ表現を取り込む。取り込み装置内のプロセッサー（図２参照）、並びに、目標認識、解析、及び追跡システム１０のコンピューティング環境１２は、物理的空間内のユーザー１８のパンチがゲーム空間内の実時間のプレーヤアバター１３のジェスチャー又はゲーム制御として解釈され得るように、パンチを認識及び解析するために使用されてもよい。
[0029]図２は、目標認識、解析、及び追跡システム１０内で使用され得る取り込み装置２０の一例のブロック図を示す。例示的な実施形態では、取り込み装置２０は、例えば、飛行時間、構造化光（structured light）、ステレオ画像、等を含む任意の適切な技術によって、深度値を有することができる深度画像を有する映像を取り込むように構成されてもよい。一実施形態によれば、取り込み装置２０は、計算された深度情報を「Ｚ層」、すなわち、深度カメラからその光軸に沿って延在するＺ軸に垂直な層内に組織化してもよい。
[0030]図２に示すように、例示的な実施形態によれば、画像取り込み装置２０は画像カメラ構成要素２２を備え、画像カメラ構成要素２２は、ＩＲ光構成要素２４、３次元（３Ｄ）カメラ２６、及びシーンの深度画像を得るために使用されてもよいＲＧＢカメラ２８を含むことができる。例えば、ＲＧＢカメラはコントラスト画像を取り込むことができる。飛行時間解析では、取り込み装置２０のＩＲ光構成要素２４は、シーン上に赤外光パルスを放射することができ、次に、深度画像を得るためにシーン内の１つ又は複数の目標及び物体の表面からの後方散乱光を検出するために、カメラ２６の感光面上のセンサを使用することができる。
[0031]例示的な実施形態では、取り込み装置２０は、画像カメラ構成要素２２と作動的に通信することができるプロセッサー３２をさらに含んでもよい。プロセッサー３２は、深度画像を受信し、適切な目標が深度画像内に含まれ得るかどうかを決定し、適切な目標の画像を目標の骨格表現若しくはモデルに変換する命令、又は、任意の他の適切な命令を実行することができる標準プロセッサー、専用プロセッサー、マイクロプロセッサー、等を含んでもよい。加えて、図３に示すように、プロセッサー３２は、ハードウェア、ファームウエア、又はソフトウェア信号であってもよいフレームメッセージの開始及び終了を送信することができる。
[0032]取り込み装置２０は、プロセッサー３２によって実行され得る命令、３Ｄカメラ若しくはＲＧＢカメラによって取り込まれた画像若しくは画像のフレーム、又は、他の適切な情報、画像、等を格納することができるメモリ構成要素３４をさらに含むことができる。例示的な実施形態によれば、メモリ構成要素３４は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、キャッシュ、フラッシュメモリ、ハードディスク、又は任意の他の適切な記憶構成要素を含むことができる。図２に示すように、一実施形態では、メモリ構成要素３４は、画像カメラ構成要素２２及びプロセッサー３２と通信する別個の構成要素であってもよい。他の実施形態によれば、メモリ構成要素３４は、プロセッサー３２及び／又は画像カメラ構成要素２２内に組み込まれてもよい。
[0033]図２に示すように、取り込み装置２０は、通信リンク３６を介してコンピューティング環境１２と通信することができる。通信リンク３６は、例えば、ＵＳＢ接続、ＦｉｒｅＷｉｒｅ接続、イーサネット（登録商標）ケーブル接続、等を含む有線接続、及び／又は、無線８０２．１１ｂ、ｇ、ａ、若しくはｎ接続のような無線接続であってもよい。
[0034]加えて、取り込み装置２０は、例えば、３Ｄカメラ２６及びＲＧＢカメラ２８によって取り込まれた深度情報及び画像、並びに、取り込み装置２０によって発生することができる骨格モデルを、通信リンク３６を介してコンピューティング環境１２に提供することができる。取り込み装置２０によって検出された目標又は物体が人間の目標に対応するかどうかを決定するための種々の既知の技術が存在する。次にユーザーの骨組上の種々の身体の部分を決定するために、骨組マッピング技術が使用されてもよい。他の技術は、画像を人間の身体モデル表現に変換すること、及び、画像を人間のメッシュモデル表現に変換することを含む。
[0035]骨格モデルは、次に、コンピューティング環境が骨格モデルを追跡し、骨格モデルに関連付けられたアバターをレンダリングすることができるように、コンピューティング環境１２に提供されてもよい。ジェスチャー認識エンジンソフトウェア１９０の制御の下で、コンピューティング環境１２はさらに、例えば、骨格モデルの一部の３次元の動きから認識されたユーザーのジェスチャーに基づいて、コンピューティング環境上で実行しているアプリケーション内でどの制御を行うのかを決定することができる。
[0036]図３は、物体１３１及び１３２によって概略的に表される物体を有するシーン１３０までの距離を測定するために使用され得るゲーテッド３Ｄ画像カメラ構成要素２２の一実施形態を概略的に示す。概略的に表されるカメラ構成要素２２は、レンズ１２１によって表されるレンズシステム、レンズシステムがシーンを撮像する少なくとも２つの取り込み領域を有する感光面３００、及び、適切な光源２４を備える。異なる画像取り込み領域の実施形態が、図４でＣＣＤの実施形態に関して、及び、図７でＣＭＯＳの実施形態に関して示され、以下に説明される。適切な光源のいくつかの例は、制御回路１２４によって光のパルスでシーン１３０を照明するように制御可能な、レーザー若しくはＬＥＤ、又は、レーザー及び／若しくはＬＥＤのアレイである。
[0037]光源２４のパルス化及び感光面３００の異なる画像取り込み領域のゲーティングは、制御回路１２４によって同期され、制御される。一実施形態では、制御回路１２４は、クロック論理回路を備え、又は、同期のために必要なタイミングを生成するためにクロックへのアクセスを有する。制御回路１２４は、例えば、電源２４を予め決められたパルス幅で駆動させるために電気回路を駆動する電流又は電圧を使用するレーザー又はＬＥＤ駆動回路を備える。制御回路１２４は、電源（図示せず）及び必要に応じて異なる電圧レベルを生成するための論理回路へのアクセスも有する。制御回路１２４は、加えて又は代わりに、異なる電圧レベルへのアクセス、並びに、個々の画像取り込み領域をオン及びオフにするための異なる電圧レベルを印加するタイミング及び導電路を決定するための論理回路へのアクセスを有してもよい。
[0038]シーン１３０の３Ｄ画像を取得するために、制御回路１２４は、シーン１３０を照明するために、パルス幅を有する方形光パルスの列１４０によって概略的に表される光パルスの列を放射するように光源１２４を制御する。物体までの十分な距離測定を提供するために光パルスからカメラに戻る十分な光がシーン内の物体によって反射されるようには光源が単一の光パルスで十分なエネルギーを提供しない可能性があるため、光パルスの列が典型的に使用される。光パルスの強度、及び光パルス列内のそれらの数は、列内のすべての光パルスからの取り込まれる反射光の量がシーン内の物体までの許容し得る距離測定を提供するのに十分であるように設定される。一般的に、放射される光パルスは、赤外（ＩＲ）又は近赤外（ＮＩＲ）光パルスである。
[0039]ゲーテッド期間中、短い取り込み期間はパルス幅に略等しい持続時間を有してもよい。一例では、短い取り込み期間は１０〜１５ナノ秒であってもよく、パルス幅は約１０ナノ秒であってもよい。長い取り込み期間は、この例では３０〜４５ナノ秒であってもよい。他の例では、短い取り込み期間は２０ナノ秒であってもよく、長い取り込み期間は約６０ナノ秒であってもよい。これらの期間は例としてのみのものであり、実施形態での期間は、これらの範囲及び値以外で変化してもよい。
[0040]各光パルス１４１の放射時間後の予め決められた時間経過又は遅延Ｔに続いて、制御回路１２４は、ゲーテッド又はアンゲーテッド期間が開始しているかどうかに基づいて、感光面３００の個々の画像取り込み領域をターンオン又はゲートオンする。例えば、ライン３０４及びライン３０５は、画像取り込み領域の１つを形成する交互のラインの同じ組に含まれてもよい。（例えば、図７を参照されたい）。他の例では、ライン３０４及びライン３０５は異なるラインの組内であってもよく、各々のラインの組は異なる画像取り込み領域を形成する。（例えば、図４を参照されたい）。画像取り込み領域がゲートオンされると、フォトピクセルのような光感受性又は光検知素子が光を取り込む。光の取り込みは、光を受信し、その電気的表現を格納することをいう。
[0041]一例では、ゲーテッド期間の各パルスについて、制御回路１２４は、持続時間が光パルス幅に等しくなるように短い取り込み期間を設定する。光パルス幅、短い取り込み期間、及び遅延時間Ｔは、最小及び最大境界距離によって境界づけられたシーン１３０の空間的「撮像スライス」を画定する。カメラは、下限距離と上限距離間に位置するシーンの物体に対してのみゲーテッド取り込み期間中にシーンから反射された光を取り込む。アンゲーテッド期間中、カメラは、ゲーテッド光画像データの正規化のために、カメラに到達するシーンによってパルスから反射される光のすべてを取り込もうとする。
[0042]光パルス１４１からシーン１３０内の物体によって反射される光は、シーン１３０のいくつかの領域１３１及び１３２に関する光パルス１４６の列１４５によって概略的に表される。撮像スライス内に位置するシーン１３０内の物体から反射された光パルス１４６は、レンズシステム１２１によって集束され、感光面３００のゲートオンされた領域の光感受性ピクセル（又は、フォトピクセル）３０２上に結像される。反射されたパルス列１４５からの光の量は、感光面３００のフォトピクセル３０２上に結像され、シーンの３Ｄ画像を提供するためにシーン１３０の物体までの距離を決定する際に使用するために取り込み期間中に格納される。
[0043]この例では、制御回路１２４は、フレームタイミング及びフレーム転送に関するメッセージを通信するために、画像取り込み装置２０のプロセッサー３２に通信するように結合される。フレーム取り込み期間が終了すると、感光面３００によって取り込まれ格納された画像データは、例えば、図２に示す目標認識、解析、及び追跡システム１０のプロセッサー３２及びコンピューティング環境１２等によるさらなる処理のために、メモリ３４内のフレームバッファーに読み出される。
[0044]図４は、交互のラインの組として少なくとも２つの画像取り込み領域を含むインターライン型ＣＣＤ感光面４００を制御するためのシステムの一例を示す。このシステムは、図３に示すシステムで使用されてもよい。この実施形態では、ＣＣＤ感光面４００は、線形アレイ内で格納ピクセル４０３と整列された光感受性ピクセル又はフォトピクセル４０２を含む。この例では、領域は、フォトピクセル４１６及びそれらに付随する格納ピクセル４１７の奇数番目のラインを含むアンゲーテッド取り込み領域、並びに、フォトピクセル４１８及びそれらに付随する格納ピクセル４１９の偶数番目のラインを含むゲーテッド取り込み領域である。
[0045]フォトピクセル４０２は光を感知し、感光面の取り込み期間中、感光面に入射する光は、フォトピクセル内に光電荷を生成する。格納ピクセルは光に感受性がなく、感光面に入射する光は、格納ピクセル内に光電荷を生成しない。格納ピクセルは、感光面の取り込み期間中にフォトピクセル内に形成された光電荷を蓄積し、格納するために使用される。この実施形態では、格納ピクセル４０３の各ラインは、垂直レジスタとみなされてもよい。格納ピクセル４０３は、水平シフトレジスタ４０４へのアクセスを有し、水平シフトレジスタ４０４は、フレームバッファー３４に転送するための格納ピクセルの各ラインを連続的に読み出す。
[0046]格納ピクセルの各ライン、及びフォトピクセルの各ラインは、それ自体の電極を備える（図６Ａ及び６Ｂの６３１及び６４１を参照）。フォトピクセル及び格納ピクセルの機能は、それらの個々の電極への電圧を制御することによって制御される。制御回路１２４は、光源２４により光パルス１４１を生成する。制御回路１２４は、この例では、電圧（例えば、Ｖｅｖｅｎｌ４２８、Ｖｅｖｅｎｓ４２６、Ｖｏｄｄｌ４２７、Ｖｏｄｄｓ４２５、及びＶｓｕｂ４２４）を使用し、ゲーテッド期間４２２中にある画像取り込み領域にパルス１４１からの反射光を取り込ませ、アンゲーテッド取り込み期間４２０中に他の画像取り込み領域にパルス１４１からの反射光１４６を取り込ませる。この実施形態では、制御回路１２４は、制御回路１２４は、半導体装置用基板電圧Ｖｓｕｂ４２４、奇数番目のライン内のフォトピクセル用電極に接続された電圧値Ｖｏｄｄｌ４２７、奇数番目のライン内の格納ピクセル用電極に接続された電圧値Ｖｏｄｄｓ４２５、偶数番目のライン内のフォトピクセル用電極に接続された電圧値Ｖｅｖｅｎｌ４２８、及び、偶数番目のライン内の格納ピクセル用電極に接続された電圧値Ｖｅｖｅｎｓ４２６を制御する。制御回路１２４は、感光面４００及び光源２４を制御するための別個の制御領域を具体化することができるが、感光面内のピクセルの取り込み能力のターンオン及びオフは、距離測定のためのデータを取り込むための光パルスの放射に同期されるべきである。
[0047]図４は、さらに、それぞれ光パルス１４１からの反射光１４６を取り込むゲーテッド取り込み期間４２２及びアンゲーテッド取り込み期間４２０を示す。例示的なアンゲーテッド取り込み期間４２０内に見られるように、光パルス１４１からの反射光１４６は、背景光のような他の光源からの反射光と共にＣＣＤ感光面４００に戻って伝わる比較的長い取り込み期間４１０を有する。一方、例示的なゲーテッド取り込み期間４２２に関して、偶数番目のライン４１８及び４１９は、列１４５内の光パルス１４１から感光面に戻るように反射される光１４６を取り込むために、比較的短い取り込み期間４０８を有する。上述したように、例えば、短い取り込み期間４０８がレーザーからの２０ナノ秒（ｎｓ）パルス幅に対して２０ナノ秒である場合、長い取り込み期間４１０は４０から６０ナノ秒であってもよい。他の例では、短い取り込み期間４０８が１０〜１５ナノ秒である場合、長い取り込み期間４１０は２０〜４５ナノ秒である。これらの取り込み期間は例としてのみのものであり、アンゲーテッド取り込み期間４２０内の長い取り込み期間４１０が、ゲーテッド取り込み期間４２２内の短い取り込み期間４０８又はゲート中に取り込まれた正規化光に適した光を取り込むのに十分な長さであるという条件で、他の実施形態では変化してもよい。
[0048]シーンからカメラに到達する反射光の量が１フレーム内の許容し得る距離測定を提供するのに十分であるように、１０００もの又はそれより多くの光パルスが光パルス列内に必要とされる可能性がある。撮像時間、及び／又は起こり得る画像ぼけを許容し得るレベルに低減するために、光パルス繰返し率、及び対応する取り込み期間の繰返し率は、有利には、１秒当たり少なくとも１０７以上と高くなる可能性があり、したがって、約１０ナノ秒以下の繰返し周期を有する。さらに、光パルス幅、及び短い取り込み期間の持続時間は、約３０ナノ秒以下であってもよい。動作取り込みカメラの典型的なフレームレートは、１秒につき３０フレームであり、短い及び長い取り込み期間がより短くなると、感光面がその画像取り込み領域を同様に速くターンオン及びオフすることができる場合、より多くのゲーテッド及びアンゲーテッド期間が取り込まれ得る。
[0049]ゲーテッド期間内の各々の繰り返す短い取り込み期間中、ピクセルの偶数番目のライン内の格納ピクセル及びフォトピクセルの両方のピクセルは、「オン」状態４１２になるように制御される。オン状態の間、フォトピクセル４０２は、それらが蓄積する電荷を感光面４００内のそれらの個々の格納ピクセル４０３に転送する。奇数番目のピクセル行内のピクセルは、フォトピクセルが感光面内のそれらの個々の格納ピクセルに電荷を転送するのを抑制するために、ゲーテッド期間全体の間、「オフ」状態になるように制御される。アンゲーテッド期間内の各々の繰り返す長い取り込み期間中、奇数番目の行内のフォトピクセル４０２は、「オン」状態４１４になるように制御され、オン状態４１４では、フォトピクセル４０２は、それらが蓄積する電荷をそれらの個々の格納ピクセル４０３に転送する。偶数番目の行内のピクセルは、アンゲーテッド期間全体の間の電荷の転送を抑制するために、オフ状態になるように制御される。
[0050]感光面の異なる実施形態が以下に説明され、この感光面は、同じフレーム内のゲーテッド期間及びアンゲーテッド期間の両方の間、ゲートオン及びオフされ得る。どの形式の技術でも、例えば、ＣＣＤ又はＣＭＯＳセンサ（図７参照）が使用され、いずれも図５に説明した実施形態のような動作の方法を使用することができる。
[0051]図５は、シーンからのインターリーブされたゲーテッド光及びアンゲーテッド光を同じフレーム期間内に同じ感光面上で取り込むための方法５００の一実施形態のフローチャートである。図５は、前の実施形態に関して例示の目的のみのために説明され、それらの限定ではない。方法の実施形態５００は、ステップ５０２で、制御回路１２４が取り込み装置２０のプロセッサー３２から受信することができるフレーム通知の開始により開始する。ステップ５０４では、制御回路１２４は、ゲーテッド光期間を開始する。ステップ５０６では、制御回路１２４は、感光面の第１の画像取り込み領域をターンオン及びオフし、フレーム期間内のゲーテッド期間の各々の短い取り込み期間中にゲーテッド光を取り込むための光パルスの生成と同期して、短い取り込み期間を生成する。図３及び４に関して上述したように、制御回路１２４は、光源２４、並びに、感光面（３００又は４００）の異なる取り込み領域を制御し、そして回路は、制御信号を同期して提供することができる。ステップ５１０のゲーテッド期間４２２の終了時に、制御回路１２４はステップ５１２で第１の画像取り込み領域をターンオフする。いくつかの実施形態では、制御回路１２４は、ゲーテッド期間の終了時に、第１の画像取り込み領域から取り込まれた画像データの、取り込み装置２０のメモリ３４のようなメモリへの転送を引き起こす。他の実施形態では、フレームのゲーテッド期間中に取り込まれた画像データは、フレームの終了時に、フレームバッファーメモリ３４に転送される。
[0052]ステップ５１６では、同じフレーム期間内のアンゲーテッド期間が制御回路１２４によって開始され、制御回路１２４は、ステップ５１８で、感光面の第２の画像取り込み領域をターンオン及びオフし、アンゲーテッド期間の各々の長い取り込み期間中にアンゲーテッド光を取り込むための光パルスの生成と同期して、長い取り込み期間を生成する。
[0053]ステップ５２２でのアンゲーテッド光期間の終了に関して、制御回路はステップ５２４で第２の画像取り込み領域をターンオフする。再びいくつかの実施形態では、制御回路１２４は、アンゲーテッド期間の終了時に、第２の画像取り込み領域から取り込まれた画像データの、メモリ３４のようなメモリへの転送を引き起こす。再び他の実施形態では、フレームのアンゲーテッド期間中に取り込まれた画像データは、フレームの終了時に、フレームバッファーメモリ３４に転送される。
[0054]制御回路は、ステップ５２６で、フレームの終わりが生じているかどうかを決定することができる。決定は、プロセッサー３６からの割り込み信号に基づいてもよく、又は他の例では、制御回路がフレームクロックを監視してもよい。フレームの終わりが生じていなければ、制御回路１２４は、再びステップ５０４で他のゲーテッド光期間の開始を続ける。フレームの終わりが生じた場合、制御回路１２４は、ステップ５０２で新たなフレームを開始し、再びゲーテッド及びアンゲーテッド期間のインタリービング又は交替を開始する。新たなフレームの開始について、一例ではフレーム番号の更新及びフレームクロックの開始のようないくつかの処理が存在し得る。
[0055]ゲーテッド及びアンゲーテッド期間のインタリービングは、図５の実施形態ではゲーテッド期間で開始するが、他の実施形態では順序は逆にされてもよい。
[0056]図６Ａ及び６Ｂの実施形態は、例示の目的のみのために図４の実施形態の文脈で説明され、それらの限定を意図するものではない。図６Ａの例では、図示の動作の現在の状態は、ゲーテッド期間の短い取り込み期間中である。この例に関して、偶数番目のライン４０２ｅ、４０３ｅは、ゲーテッド期間中に活性化され、ピクセルの奇数番目のライン４０２ｏ、４０３ｏは、ゲーテッド期間全体でターンオフされる。アンゲーテッド期間中、ピクセルの奇数番目のライン４０２ｏ、４０３ｏは、ピクセルの偶数番目のラインと同じように動作されることになる。他の例では、奇数番目のラインは、ゲーテッド期間中に使用される指定された組であってもよく、偶数番目のラインはアンゲーテッド期間中である。説明を簡単にするために、「偶数」ピクセルへの言及は、偶数番目のライン内の格納ピクセル又はフォトピクセルを意味し、「奇数」ピクセルへの言及は、奇数番目のライン内の格納ピクセル又はフォトピクセルを意味する。
[0057]図６Ａは、インターライン型ＣＣＤ感光面４００の一実施形態の一部のきわめて単純化された断面図を概略的に示す。この部分は、以下のような２組の典型的なフォトピクセル及び格納ピクセル、すなわち、感光面４００のそれぞれ偶数番目のライン４１８及び４１９のフォトピクセル４０２ｅ及び４０３ｅ、並びに、それぞれ奇数番目のライン４１６及び４１７のフォトピクセル４０２ｏ及び４０３ｏを示す。垂直の破線によって示すように、いずれの形式の各ピクセルも種々の層で構成され、種々の層内では、感光面内の領域の電気的特性及びサイズは、動作中に変化することになる。破線は、異なる形式のピクセル間の正確な境界ではないが、図面を見る人が異なるピクセルに関係付けられた感光面の領域を識別するのを助けることが意図されている。
[0058]インターライン型ＣＣＤ４００は、提示の便宜上、入射光によって生成される電子−正孔対から正孔ではなく電子、以後「光電子」を取り込むようなドーピングアーキテクチャで構成されているものとして仮定される。他の実施形態では、ＣＣＤ４００には、入射光によって生成される電子−正孔対から正孔を取り込むドーピングアーキテクチャが提供されてもよい。
[0059]この例示的な実施形態では、ＣＣＤ感光面４００は、ｐ＋＋ドープされたシリコン基板６２１、ｐドープされたエピタキシャル層６２２、及びｎドープされた層６２３を備える。層６２３は、二酸化シリコン絶縁層６２４で覆われる。導電性電極６３１、この例ではポリシリコンが、ｎｐ接合部６３８を有するフォトピクセル４０２を備えるＣＣＤ感光面の領域上に形成される。この例では、ポリシリコン電極６４１も、ｎｐ接合部６４８を有する格納ピクセル４０３を備えるＣＣＤ４００の領域上に形成される。格納ピクセルに「マスキング」層６４４が重ねられているため、光は格納ピクセルに入るのを阻止されるため、格納ピクセル４０３に向かって伝播する光６０は、格納ピクセル内に光電子を形成しない。マスキング層６４４のための材料の一例は金属であり、金属は、光６０に対して不透明であり、格納ピクセル電極６４１の下の領域の光６０への露出を阻止する。いくつかの実施形態では、電極６４１は、光６０に対して不透明な導電性材料から形成され、電極は、マスキング層６４４の代わりに格納ピクセル４０３のマスキングを提供し、又は、マスキング層によって提供されるマスキングを強化する。
[0060]この例では、各フォトピクセル４０２は、その右の格納ピクセル４０３に関係付けられ、その左の格納ピクセル４０３から電気的に絶縁される。フォトピクセルのその左の格納ピクセル４０３からの絶縁は、例えば、適切なドーパントを注入することによって、又は、斜線領域６４７によって概略的に示されるように、浅溝分離領域（shallow trench isolation region）を形成することによって達成されてもよい。
[0061]以下に具体的な例で説明されるように、一般的には、長い又は短い取り込み期間中にオン電圧値が印加されているとき、シーンからの光によってフォトピクセル内に生成された光電荷がフォトピクセルの格納ピクセルに急速に移動し、そこに蓄積され、格納されるように、フォトピクセル電極６３１及び格納ピクセル電極６４１は、互いに対してバイアスされる。オフ電圧値がフォトピクセル電極６３１に印加されているとき、シーンからの光によってフォトピクセル内に生成された光電子は、基板に流れ、フォトピクセルから移動せず、格納ピクセル内に蓄積しない。格納ピクセル電極に対するフォトピクセル電極のバイアスは、感光面の取り込み期間中及び非取り込み期間中、実質的に同じに維持される。
[0062]制御回路１２４は、ピクセルが電気的に接続される導電路（例えば、金属線）上のＶｅｖｅｎｌ４２８、Ｖｅｖｅｎｓ４２６、Ｖｏｄｄｌ４２７、及びＶｏｄｄｓ４２５に関するオン又はオフ電圧値を提供する。偶数格納ピクセル４０３ｅは経路４１９上の電圧Ｖｅｖｅｎｓ４２６を受け、偶数フォトピクセル４０２ｅは経路４１８上の電圧Ｖｅｖｅｎｌ４２８を受ける。同様に、奇数格納ピクセル４０３ｏは経路４１７上の電圧Ｖｏｄｄｓ４２５を受け、奇数フォトピクセル４０２ｏは経路４１６上の電圧Ｖｏｄｄｌ４２７を受ける。制御回路１２４は、基準電圧Ｖｓｕｂ４２４を基板６２１に提供し、基板６２１は、光電子又は光電荷によって表される画像データの格納及び非格納のために望まれるようにピクセルをバイアスするために電位電圧差を形成するようにオン及びオフ電圧で使用されることになる。
[0063]図６Ａでは、偶数フォトピクセル４０２ｅは、ゲーテッド期間内の短い取り込み期間中、偶数格納ピクセル４０３ｅのようにターンオンされる。電圧Ｖｓｕｂ４２４、Ｖｅｖｅｎｌ４２８及びＶｅｖｅｎｓ４２６は、フォトピクセル４０２ｅ及び格納ピクセル４０３ｅ内のそれぞれ電極６３１ｅ及び６４１ｅの下のｎｐ接合部６３８ｅ及び６４８ｅをバックバイアスする電圧差を提供する。電圧は、フォトピクセル４０２ｅ及び格納ピクセル４０３ｅ内に個々のポテンシャル井戸６３２ｅ及び６４２ｅを生成する。格納ピクセル電極６４１ｅの下のポテンシャル井戸６４２ｅは、フォトピクセル電極６３１ｅの下のポテンシャル井戸６３２ｅより深い。
[0064]ポテンシャル井戸６３２ｅ及び６４２ｅの深さの差の結果として、フォトピクセル４０２ｅとその対応する格納ピクセル４０３ｅ間に電界が形成され、電界は、矢印によって示されるように、フォトピクセル内に生成された光電子を格納ピクセルへと駆動する。ドープ領域６４７は、フォトピクセル、例えば、４０２ｅ内に形成された電子が、左にドリフトし、左にある格納ピクセル、例えば、４０３ｏ内にドリフトするのを防ぐポテンシャル障壁として作用する。フォトピクセル４０２ｅ上に入射する光６０によって生成された光電子は、黒丸６５０によって表され、フォトピクセル４０２ｅからフォトピクセルの関係付けられた格納ピクセル４０３ｅ内に連続的且つ急速に移動され、その中に蓄積され格納される。
[0065]電界は、光電子６５０を、フォトピクセル４０２ｅ内でのそれらの形成時に、実質的にすぐにその関連付けられた格納ピクセル４０３ｅに移動させる。光電荷が生成されるフォトピクセル内の位置から格納ピクセルまで光電荷が移動するために要する時間は、光電荷のドリフト速度、及び、光電子が生成される位置から格納ピクセルまでの距離によって決定される。ドリフト速度は、光電子に作用する電界の強度の関数であり、電界の強度は、ポテンシャル障壁６３２ｅと６４２ｅとの間の電位差の関数である。数ボルトの典型的な電位差、及び、約１００ミクロン以下のピクセルピッチに関して、光電子は、数ナノ秒より短いか略等しく、又は、１ナノ秒より短いか略等しい可能性がある時間で格納ピクセルに移動する。
[0066]ｎｐ接合部６３８ｅ及び６４８ｅをバックバイアスする一例では、Ｖｓｕｂ４２４は、基板層６２１によって受けられる制御回路１２４からのオン電圧を受ける。偶数フォトピクセル４０２ｅ用の電極６３１ｅは、導電路４１８を介して制御回路１２４によってＶｅｖｅｎｌ４２８用のオン電圧に帯電される。Ｖｅｖｅｎｌ４２８はＶｓｕｂよりも正である。格納ピクセル４０３ｅの上の電極６４１ｅは、導電路４１９を介してＶｅｖｅｎｓ４２６用のオン電圧値に帯電される。Ｖｅｖｅｎｓ４２６は実質的に電圧Ｖｓｕｂ４２４より正である。Ｖｓｕｂ４２４用のオン電圧の一例は１０ボルトであり、偶数フォトピクセル４０２ｅ用のオン電圧は１５ボルトであり、偶数格納ピクセル４０３ｅ用のオン電圧は３０ボルトである。
[0067]図６Ａでは、奇数ピクセル４０２ｏ及び４０３ｏはオフ状態であり、オフ状態では画像取り込みが禁止される。奇数フォトピクセル４０２ｏは、Ｖｓｕｂ４２４とＶｏｄｄｌ４２７との間の電圧差を有し、この電圧差は、フォトピクセル４０２ｏ内のｎｐ接合部６３８ｏを順方向バイアスするのに十分である、例えば、Ｖｓｕｂ４２４が１０ボルトの場合、Ｖｏｄｄｌ４２７は１５ボルトであってもよい。しかしながら、Ｖｓｕｂ４２４とＶｏｄｄｓ４２５との間の電圧差は、格納ピクセル４０３ｏ内のｎｐ接合部６４８ｏを順方向バイアスするのに十分ではない。例えば、Ｖｓｕｂ４２４が１０ボルトの場合、Ｖｏｄｄｓ４２５は０ボルト又は負の５ボルトに設定されてもよい。結果として、格納ピクセル４０３ｏ内のポテンシャル障壁６４２ｏは、減少された電圧差によって深さが減少され得る一方で、それらは、長い取り込み期間の前のアンゲーテッド期間中に奇数格納ピクセル４０３ｏがアクティブであったときの間にそれらが蓄積した光電荷を維持するために十分な深さを維持する。奇数フォトピクセルのｎｐ接合部６３８ｏの順方向バイアスは、フォトピクセルから電荷を排出し、フォトピクセル４０２ｏに入射する光６０によって生成された光電子は、格納ピクセル４０３ｏへの移動を停止するが、基板６２１に引きつけられ吸収される。
[0068]奇数ピクセルに関して、アンゲーテッド期間中に格納された光電子６５０が、各アンゲーテッド期間後、又は、フレーム期間内のすべてのアンゲーテッド期間後のどちらでフレームデータのために転送されるかにかかわらず、奇数ピクセルラインがゲーテッド期間全体の間でゲートオフされているとき、制御回路１２４は、電圧値Ｖｏｄｄｌ４２７及びＶｏｄｄｓ４２５を制御する。例えば、Ｖｓｕｂ４２４が１０ボルトに設定され、Ｖｏｄｄｌ４２７は１５ボルトに設定されてもよく、Ｖｏｄｄｓ４２５は０ボルトに設定されてもよい。各アンゲーテッド期間からの光電子６５０が蓄積され、すべてがフレーム毎に一度転送される場合、Ｖｏｄｄｓ４２５は、ＣＣＤ４００の奇数番目のピクセルライン４１６及び４１７がゲートオンされていたときの間にそれらが蓄積した光電荷を維持するために十分な深さを維持するために、ポテンシャル障壁６４２ｏに関するＶｓｕｂの現在の値に対して十分に正である。
[0069]各アンゲーテッド期間に関する光電子６５０が、長い取り込み期間の各アンゲーテッド期間後にフレームバッファーに転送される場合、ゲーテッド期間中に蓄積された電荷を維持することは問題ではない。
[0070]図６Ｂでは、偶数格納ピクセル４０３ｅは、ゲーテッド期間内の短い取り込み期間間の期間中にターンオフされる。オフ状態では、偶数フォトピクセル４０２ｅ及び格納ピクセル４０３ｅは、奇数フォトピクセル４０２ｏ及び格納ピクセル４０３ｏと同じ状態である。フォトピクセル４０２ｅは基板６２１に流れており、ポテンシャル障壁６４２ｅは、電荷を受け入れないが、ゲーテッド期間の前の短い取り込み期間４０８中にフォトピクセル４０２ｅによって転送された光電子６５０の格納を維持するために十分に深い。一例では、図６Ｂの格納ピクセル４０３ｅのポテンシャル障壁６４２ｅが、光電子６５０の格納を維持するが、それらをそれ以上受け入れない深さである間、基板電圧Ｖｓｕｂ４２４はオフ電圧を有し、このオフ電圧は、Ｖｓｕｂ４２４のためのオン電圧より十分に正に形成され、結果として、順方向バイアスされたｎｐ接合部６３８ｅに基板６２１を介して光電子６５０を放電させる。この例では、導電路４１６及び４１７上のＶｏｄｄｌ４２７及びＶｏｄｄｓ４２５によって制御される奇数ピクセル４０２ｏ、４０３ｏ上の電圧は、導電路４１８及び４１９上の電圧Ｖｅｖｅｎｌ４２８及びＶｅｖｅｎｓ４２６と同じであってもよい。Ｖｓｕｂ４２４オフ電圧の一例は３０ボルトであり、Ｖｏｄｄｌ４２７、Ｖｏｄｄｓ４２５、Ｖｅｖｅｎｌ４２８、及びＶｅｖｅｎｓ４２６は１５ボルトに設定される。
[0071]他の例では、Ｖｓｕｂ４２４は、ゲーテッド及びアンゲーテッド期間の両方の間で維持される基準電圧（例えば、１５ボルト）であってもよく、奇数及び偶数ピクセル導電路上のオン及びオフ電圧は、ピクセルの個々のラインをゲート又はターンオン及びオフするように変更されてもよい。短い取り込み期間４０８の間に偶数ピクセル４０２ｅ、４０３ｅをターンオンするために、偶数フォトピクセル４０２ｅ用の電極６３１ｅはＶｅｖｅｎｌ４２８（例えば２０ボルト）によって帯電され、Ｖｅｖｅｎｌ４２８はＶｓｕｂ４２４（例えば、１５ボルト）より正であり、偶数格納ピクセル４０３ｅ用の電極６４１ｅは電圧Ｖｅｖｅｎｓ４２６（例えば、３０ボルト）に帯電され、電圧Ｖｅｖｅｎｓ４２６は実質的に電圧Ｖｅｖｅｎｌ４２８より正である。
[0072]この同じゲーテッド期間中、上述したように、同じＶｓｕｂ４２４（例えば、１５ボルト）が基板６２１に印加されており、基板６２１上には、奇数フォトピクセル及び奇数格納ピクセルが、偶数ピクセルと同様に形成される。奇数番目のラインのフォトピクセル４０２ｏ及び格納ピクセル４０３ｏに関して、Ｖｏｄｄｌ４２７はＶｅｖｅｎｌ４２８と同じ（例えば、２０ボルト）であってもよく、又は、奇数フォトピクセル４０２ｏ内のｎｐ接合部６３８ｏを順方向バイアスするのに十分であり得るが、必要に応じてそれ未満であってもよい。しかしながら、Ｖｏｄｄｓ４２５は、Ｖｅｖｅｎｓ４２６（例えば、３０ボルト）より低い電圧値（例えば、０ボルト）に設定され、このより低い電圧値は、ポテンシャル障壁、特に、格納ピクセル４０３ｏのポテンシャル障壁６４２ｏのサイズに影響するより小さい電圧差を生成する。Ｖｏｄｄｓ４２５の値は、Ｖｅｖｅｎｓ４２６が受けているオン値より正ではなく、結果として、奇数格納ピクセル４０３ｏに関するｎｐ接合部６４８ｏを順方向バイアスしない。ゲーテッド期間中に奇数ピクセルをオフ状態に保持する同じ電圧値Ｖｏｄｄｌ４２７及びＶｏｄｄｓ４２５が、ゲーテッド期間内の短い取り込み期間４０８間の期間中に偶数フォトピクセル４０２ｅ及び格納ピクセル４０３ｅをそれぞれターン又はゲートオフするための電圧値Ｖｅｖｅｎｌ４２８及びＶｅｖｅｎｓ４２６のために使用されてもよい。
[0073]上述したように、フォトピクセル４０２ｏ及び格納ピクセル４０３ｏの奇数番目のラインは、短い取り込み期間中であるか又はそれらの間であるかにかかわらず、ゲーテッド期間全体の間、オフである。したがって、奇数フォトピクセル４０２ｏは、偶数フォトピクセルがゲーテッド期間４２２内の短い取り込み期間４０８以外の期間中にＶｅｖｅｎｌ４２８に受けたのと同じ、Ｖｏｄｄｌ４２７上でオフである電圧値を受ける。同様に、Ｖｏｄｄｓ４２５は、ゲーテッド期間４２２内の短い取り込み期間４０８以外の期間中のＶｅｖｅｎｓ４２６と同じである。
[0074]奇数（４１６、４１７）及び偶数（４１８、４１９）電圧導電路上のオン及びオフ電圧値Ｖｏｄｄｌ４２７、Ｖｏｄｄｓ４２５、Ｖｅｖｅｎｌ４２８、Ｖｅｖｅｎｓ４２６は、ＣＣＤ４００を電子的にシャッタするために、迅速に変更されてもよい。特にＣＣＤ４００が、追加の外部高速シャッタを持つ必要なく、シーン内の物体までの距離を測定するためにゲーテッド３Ｄカメラで使用されるのに十分なほど速く電気的にゲートされ得るように、シャッタリングは十分に迅速である。一実施形態では、オン及びオフ電圧値は、１００ナノ秒以下の持続時間を有する長い（４１０）及び短い（４０８）取り込み期間中にＣＣＤをゲートオンするように切り替えられる。任意に、短い又は長い取り込み期間は、７０ナノ秒以下の持続時間を有する。いくつかの実施形態では、短い取り込み期間は３５ナノ秒未満の持続時間を有する。いくつかの実施形態では、短い取り込み期間（４０８）は２０ナノ秒以下の持続時間を有する。
[0075]技術の実施形態の実施は、インターライン型ＣＣＤ感光面、及びインターライン型ＣＣＤ感光面を備えるカメラに限定されないことに留意されたい。例えば、感光面は、ＣＣＤ技術でなくＣＭＯＳ技術に基づいてもよい。
[0076]図７は、２つの画像取り込み領域を含むＣＭＯＳ感光面７００を制御するためのシステム実施形態を示し、２つの画像取り込み領域は、この例では奇数及び偶数ラインであり、一方はゲーテッド期間中に使用するためのものであり、他方はアンゲーテッド期間中に使用するためのものである。この例では、格納ピクセルの別個のラインは必要とされない。一例では、各々の光感受性ＣＭＯＳピクセル７０２に関係付けられた制御及び読み出し回路は、半導体感光面の個々のピクセルの領域内であってもよい。他の例では、ピクセルのライン又は領域全体のための制御及び読み出し回路が、感光面のラインの一部内に配置されてもよい。ＣＭＯＳレイアウトの他の例が他の実施形態で使用されてもよい。
[0077]図４のＣＣＤ感光面の実施形態４００でのように、制御回路１２４は、光源２４を制御し、光パルス１４１を生成する。この実施形態では、加えて、ＣＭＯＳ感光面装置７００のためのソース電圧Ｖｄｄ７２４、導電路７１８を介する偶数ライン電圧７２８、及び、導電路７１６を介する奇数ライン電圧７２７を提供する。電圧は、それぞれアンゲーテッド又はゲーテッド期間中にラインの適切な組をゲートするように設定される。この例では、奇数ピクセルラインは、奇数ピクセルラインオン７１４によって示されるように、ゲーテッド期間４２２中アクティブであり、偶数ピクセルラインは、偶数ピクセルラインオン７１２によって示されるように、アンゲーテッド期間４２０中アクティブである。上述したように、ピクセルの奇数番目のラインは、同様に容易にアンゲーテッド期間中に使用するために指定されていてもよく、ピクセルの偶数番目のラインは、ゲーテッド期間中に使用するために指定されていてもよい。
[0078]図７のもののような実施形態で使用され得るＣＭＯＳピクセル技術の一例が図８Ａに示され、図８Ａは、ＣＭＯＳフォトゲート技術の基本単位セルの一実施形態８２０を示す。基本単位セル８２０は、チャネルインプラント内に形成された２つのフローティングディフュージョン（floating diffusion）８２２ａ及び８２２ｂを含み、フローティングディフュージョン８２２ａ及び８２２ｂは、それらの転送ゲートであり転送ゲートリングと呼ばれるリング状構造８６２ａ及び８２６ｂによって取り囲まれる。形状が電荷転送のための実質的に均一な３６０度の電界分布を提供する限り、転送ゲートはリングである必要はなく、例えば、六角形又は他の取り囲む形状であってもよい。フローティングディフュージョン及びその関連する転送ゲートリングの複合体は、以後、「電荷感知素子」と呼ばれる。
[0079]以下の図面に関する基本単位セル８２０の構造及び動作の説明に加えて、このＣＭＯＳ例の詳細な情報を、参照により本明細書に組み込まれる２００９年７月１７日出願の「ＣＭＯＳ Ｐｈｏｔｏｇａｔｅ ３Ｄ Ｃａｍｅｒａ Ｓｙｓｔｅｍ Ｈａｖｉｎｇ Ｉｍｐｒｏｖｅｄ Ｃｈａｒｇｅ Ｓｅｎｓｉｎｇ Ｃｅｌｌ ａｎｄ Ｐｉｘｅｌ Ｇｅｏｍｅｔｒｙ（電荷感知セルおよび画素の幾何形状が改良された、ＣＭＯＳフォトゲート３Ｄカメラシステム）」という名称のＰＣＴ出願ＰＣＴ／ＩＢ２００９／０５３１１３に見ることができる。
[0080]ＰＣＴ／ＩＢ２００９／０５３１１３によれば、これらのセルに形成されたフォトピクセルは、低い静電容量によって特徴づけられ、したがって、電荷蓄積の小さい変化に対する改善された感度を提供することができる。同時に、フォトゲートに印加される電圧によって形成される電界は、検出素子の周囲で実質的に方位角的に対称であり、帯電されたフォトゲート本体によって画定される電荷蓄積領域からチャネルを経てフローティングディフュージョンまで移動する電子は、進行方向の関数としての障害を実質的に経験しないことが見出されている。これは結果として改善された転送特性を生じ得る。
[0081]電荷感知素子で形成されたフォトピクセル及びピクセルアレイは、実質的に改善された充填率も示す。６０％以上の充填率が達成可能である。
[0082]図８Ａは平面図で、図８Ｂ及び８Ｃは断面図で、基本単位セル８２０のアーキテクチャを示し、基本単位セル８２０から、ある形式のフォトピクセル、フォトゲートピクセルが、技術の実施形態によって形成される。図８Ａの上面図では、単位セル８２０は、３つの実質的に円形のＮ＋フローティングディフュージョン８２２ａ、８２２ｂ、及び８２２ｄを備える。転送ゲート８２６ａ、８２６ｂ、及び８２６ｄは、ディフュージョン８２２ａ、８２２ｂ、及び８２２ｄをそれぞれ取り囲むリングの形態である。
[0083]フローティングディフュージョン８２２ａ及び転送ゲート８２６ａ、並びに、フローティングディフュージョン８２２ｂ及び転送ゲート８２６ｂは、それぞれ、第１及び第２の電荷感知素子８３２ａ及び８３２ｂを形成する。フローティングディフュージョン８２２ｄ及び転送ゲート８２６ｄは、背景照明打ち消しを提供する背景電荷排出素子８３２ｄを形成する。電荷排出素子に関連する転送ゲートは、照明パルスの放射間の間隔中に作動される。いくつかの実施形態では、背景電荷排出素子８３２ｄが含まれない。出力ドライバ回路が、背景電荷排出を行うために代わりに使用されてもよい。
[0084]全体的に円形の開口部８３６ａ、８３６ｂ、及び８３６ｄが、検出素子８３２ａ及び８３２ｂ、並びに、背景電荷排出素子８３２ｄと整列される。開口部８６３ａ、８６３ｂ、及び８６３ｄは、便利な配線アクセスのためにこれらの素子を露出させるため、及び、電荷転送のための実質的に均一の３６０度の電界分布を提供するために、適切なクリアランスを提供する。多結晶シリコンフォトゲート８３４も、セル８２０の上面の領域全体を実質的に覆う連続的な全体的に平面状の層として形成される。
[0085]図８Ｂは、図８Ａ中のＸ−Ｘ線を横切る電荷感知素子８３２ａの断面図であり、図８Ｃは、図８Ａ中のＹ−Ｙ線を横切る電荷感知素子８３２ａの断面図である。図８Ｂ及び８Ｃに関連して、電荷感知素子８２３ａ及びフォトゲート８３４の形状のみが示されているが、電荷感知素子８３２ｂ及び電荷排出素子８３２ｄは本質的に同じであることが理解されるであろう。フローティングディフュージョン８２２ａ及び８２２ｂが適切な出力回路（図示せず）に接続され、フローティングディフュージョン８２２ｄがドレインバイアス電位Ｖｄｄに接続されることも理解されるであろう。（図では、排出素子も「Ｄ」とラベル付けされ、電荷感知素子は「Ａ」及び「Ｂ」によってラベル付される）この実施形態では、単位セル８２０の電荷感知素子８３２ａ及び８２３ｂ、背景電荷排出素子８３２ｄ、並びに、フォトゲート８３４以外の部分の基本的な構造は、従来のＣＭＯＳ構造のものであってもよい。ユニットは、例えば、Ｐ−エピタキシャル層８３８の上部にＮ−埋込みチャネルインプラント８２４を備え、Ｐ−エピタキシャル層８３８は、必要な金属ドレイン及びソース面、並びに配線（図示せず）と共に、Ｐ＋シリコン基板８４０上に重ねられる。代わりに、任意の他の適切且つ所望のアーキテクチャが用いられてもよい。
[0086]多結晶シリコン転送ゲート８２６ａは、Ｎ−埋込みチャネルインプラント８２４上に形成された酸化物層８２８上に配置される。多結晶シリコンフォトゲート８３４も、酸化物層８２８上に、セル８２０の上面の領域全体を実質的に覆う連続的な全体的に平面状の層として形成される。上述したように、開口部８３６ａは、チャネルインプラント層８２４を介する電荷転送のための実質的に均一な３６０度電界分布を提供する。
[0087]実質的に円形のＮ＋フローティングディフュージョン８２２ａが、Ｎ−埋込みチャネルインプラント８２４内に形成される。多結晶シリコンリング状転送ゲート８２６ａが、酸化物層８２８上に配置される。フローティングディフュージョンは、埋込みチャネルインプラント８２４内に配置され、したがって、酸化物層の上の「取り囲む」転送ゲートは、境界を定める縁ではなく、「輪（ｈａｌｏ）」と見なされ得るものを形成する。しかしながら、単純さのために、用語「取り囲む」は、電荷感知素子配置と関連して使用される。
[0088]動作中、フォトゲート８３４は、出て行く照明、例えば、図３の光パルス１４１に関連する既知の時間に、適切な電圧の印加によって作動され、設定された電荷収集間隔の間、作動されて保たれる。フォトゲート８３４に印加された電圧から結果として生じる電界は、埋込みチャネルインプラント層８２４内に電荷蓄積領域を形成し、撮像されている被写体からフォトゲート８３４を通過してチャネルインプラント層８２４内に反射された光子は、電子をそこに開放させることができる。
[0089]リング状転送ゲート８２６ａは、次に、予め決められた積算間隔の間に作動され、積算間隔中、収集された電荷がチャネル８２４を経てフローティングディフュージョン８２２ａに転送される。この電荷は、ピクセル７０２によって撮像された被写体の部分までの距離を決定するために測定され使用され得る電圧を誘起する。次に、飛行時間は、フローティングディフュージョン８２２ａ上の電荷によって誘起された電圧、フォトゲート８３４及び伝送ゲート８２６ａの既知の活性化のタイミング、並びに、光の速度から決定される。したがって、フローティングディフュージョン８２２ａは、ＣＭＯＳフォトゲート感知ピクセルの感知ノードである。
[0090]図８Ｃは、さらに、酸化物層８２８の下でＰ−障壁８３７の上部に重なる、チャネル層８２４内に形成されたＰ＋拡散領域８３５を備えるストップチャネル構造又は「チャネルストップ」を示す。活性化された転送ゲートから最も遠いチャネル８２４の端から転送された電荷は、チャネルが鋭く終端されていない場合、制御されないか、ノイジーになる可能性がある。チャネルストップは、チャネル層８２４の端部に良好に画定された終端を提供し、フローティングディフュージョン８２２ａへの制御された電荷転送を促進するのを助ける。
[0091]図８Ｄは、基本単位セルと共に使用するためのセル制御及び読み出し回路の一例を示す。他の従来のＣＭＯＳ制御及び読み出し回路設計が同様に使用されてもよい。フォトゲートバイアス８４２、転送ゲートＡ８４４ａ、及び転送ゲートＢ８４４ｂのための信号経路は、フォトゲート８３４、並びに、転送ゲートＡ及びＢ（例えば、図８Ａ中の８２６ａ及び８２６ｂ）をそれぞれ作動させる。
[0092]出力回路８４６ａ及び出力回路８４６ｂは、それぞれ、個々の電荷感知素子８３２ａ及び８３２ｂのフローティングディフュージョン８２２ａ及び８２２ｂ上の電荷によって誘起された電圧の出力部Ａ８４５及び出力部Ｂ８４７の読み出し電圧を提供する。これらの読み出し回路８４６ａ、８４６ｂは、基本単位セル８２０と共に集積回路チップ上に形成されてもよい。選択信号経路８４８及びリセット信号経路８５０が、出力回路８４６ａ及び８４６ｂのために設けられる。
[0093]パルス照明を用いるシステムでは、背景照明が、照明パルス間の間隔中に感知セル８３２ａ、８３２ｂ内に荷電蓄積を生じる可能性がある。このような照明パルス間の荷電蓄積を排出することは、有利になる可能性がある。ＴＯＦカメラピクセルセルに関する背景照明打ち消しの使用についての詳細に関しては、Ｋａｗａｈｉｔｏら、Ａ ＣＭＯＳ Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ Ｒａｎｇｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ（ＣＭＯＳ飛行時間範囲画像センサー）、ＩＥＥＥ Ｓｅｎｓｏｒｓ Ｊｏｕｒｎａｌ、２００７年１２月、１５７８ページを参照されたい。フローティングディフュージョン８２２ｄは、放電経路を提供するためにＶｄｄ８４９に接続され、信号経路Ｄ８４４ｄは、電荷の蓄積の放電を活性化するために、照明パルスの放射間の間隔中に転送ゲートＤ（例えば、図８Ｂ中の８２６ｄ）を作動させる。
[0094]基本単位セル１８０は、特定の用途のための集光能力を提供するために必要とされるように組み合わされてもよい。図９は、２つの基本単位セルを備える基本フォトピクセル構成ブロックの一実施形態の概略図である。ゲート制御及び読み出し回路、並びに、他の従来の特徴は、明確さのために省略される。
[0095]図９は、破線によって境界が画定されるような２つの基本セル８５２及び８５４を備える基本マルチセル構成ブロック８５０の一実施形態を示す。セル８５２は、感知素子８５６ａ及び８５６ｂ、並びに、背景電荷排出素子８５６ｄを含む。セル８５４は、感知素子８５８ａ及び８５８ｂ、並びに、背景電荷排出素子８５８ｄを含む。見られるように、構成ブロック８５０には、電荷感知素子及び背景電荷排出素子を露出させる開口部８６２を有する単一の連続的なフォトゲート８６０が形成される。
[0096]ＰＣＴ出願ＰＣＴ／ＩＢ２００９／０５３１１３によれば、その発明者らによって行われたシミュレーション研究に基づいて、３．３ボルトの最大ゲート励起、０．１８ミクロンのＣＭＯＳ製造技術、及び、７０オングストロームのゲート酸化膜厚を仮定して、適切なおおよそのセル構成要素寸法は、以下の範囲、すなわち、フォトゲート穿孔間隔（チャネル長）：１．０〜６．０μ（例えば、３．０μ）；転送ゲートランド幅：０．３〜１．０μｍ（例えば、０．６μｍ）；フォトゲート穿孔対転送ゲートのクリアランス：０．２５〜０．４μｍ（例えば、０．２５μｍ）；フローティングディフュージョンの直径：０．６〜１．５μｍ（例えば、０．６μｍ）であってもよいことが決定されている。しかしながら、当業者には明らかなように、適切な寸法は、用途、製造技術の進歩、及び他の要因に依存する可能性があること、及び、上述したパラメータは限定であることが意図されないことが理解されるべきである。
[0097]図１０は、別個の背景電荷排出素子を使用する背景打ち消しを提供する本明細書に記載の基本単位セルに関する例示的なタイミング図である。ライン（ａ）は照明サイクルを示す。ライン（ｂ）及び（ｃ）は、ナノ秒範囲での「Ａ」及び「Ｂ」フローティングディフュージョンに関する積算時間を示し、これらの時間は個々の「Ａ」及び「Ｂ」転送ゲートに関する活性化時間によって規定される。ライン（ｄ）は、電荷排出素子転送ゲートに関する活性化時間によって規定されるような背景打ち消し間隔を示す。図１０に示されるタイミングは、背景打ち消しなしの動作にも適用可能であり、又は、背景電荷排出を活性化するために電荷感知素子転送ゲート及び／又はフォトゲートが使用される実施形態にも適用可能である。
[0098]技術は、インターライン型ＣＣＤ又はＣＭＯＳ感光面のものと異なる非線形構造を有することができる感光面の実施形態でも動作することができる。撮像領域の他の構成又は形状が使用されてもよい。例えば、行の代わりに列が使用されている可能性がある。制御及び読み出し回路の配置に応じて、１つ置きのピクセルが１つの組内であり、他の画素が別の組であってもよい。加えて、必要に応じて２つより多くの画像領域が指定されてもよい。
[0099]主題は、構造的特徴及び／又は方法論的行為に特定の言語で記載されてきたが、添付の特許請求の範囲で定義された主題は、上述した特定の特徴又は行為に必ずしも限定されないことが理解されるべきである。むしろ、上述した特定の特徴又は行為は、特許請求の範囲を実施する形態の例として開示される。

Claims (10)

  1. シーンからのゲーテッド光及びアンゲーテッド光を同じフレーム期間中に取り込むように感光面を制御するためのシステムであって、
    画像センサーの感光面と、
    前記感光面の第１の画像取り込み領域と、
    前記同じ感光面の第２の画像取り込み領域と、
    前記フレーム期間内のゲーテッド期間中の前記第１の画像取り込み領域によるゲーテッド光の画像データとしての取り込みを制御するための制御回路と
    を備え、
    前記第２の画像取り込み領域は、前記ゲーテッド期間中、画像データが取り込まれないオフ状態であり、
    前記制御回路は、前記同じフレーム期間内のアンゲーテッド期間中の前記第２の画像取り込み領域によるアンゲーテッド光の画像データとしての取り込みを制御し、
    前記第１の画像取り込み領域は、前記アンゲーテッド期間中、画像データが取り込まれないオフ状態である、システム。
  2. 前記ゲーテッド期間とアンゲーテッド期間は、前記同じフレーム期間中にインターリーブされる、請求項１に記載のシステム。
  3. 前記ゲーテッド期間は１つ又は複数の短い取り込み期間を含み、各々の短い取り込み期間は１００ナノ秒未満の光パルスのパルス幅程度持続し、
    前記制御回路は、前記第１の画像取り込み領域を、画像データが各々の短い取り込み期間中に取り込まれるオン状態と画像データが取り込まれない前記オフ状態間でゲーティングすることによって、前記第１の画像取り込み領域による取り込みを制御し、
    前記アンゲーテッド期間は１つ又は複数の長い取り込み期間を含み、各々の長い取り込み期間は、前記ゲーテッド期間中に取り込まれた前記画像データの正規化のためにシーンからより多くの反射された光を取り込むため、各々の短い取り込み期間より長く、各々の長い取り込み期間は１００ナノ秒未満を持続し、
    前記制御回路は、前記第２の画像取り込み領域を、各々の長い取り込み期間の前記オン状態と前記オフ状態間でゲーティングすることによって、前記第２の画像取り込み領域による取り込みを制御することをさらに含む、請求項２に記載のシステム。
  4. 前記第１の画像取り込み領域はピクセルの交互のラインの領域を備え、前記第２の画像取り込み領域はピクセルの異なる交互のラインの領域を備える、請求項３に記載のシステム。
  5. 前記感光面は、
    電荷結合素子（ＣＣＤ）、又は、
    相補型金属酸化物シリコン（ＣＭＯＳ）装置
    から構成されるグループの１つである、請求項１に記載のシステム。
  6. シーンからのインターリーブされたゲーテッド光及びアンゲーテッド光を同じフレーム期間中に同じ感光面上に取り込むための方法であって、
    画像センサーの感光面の第１の画像取り込み領域によってフレーム期間内のゲーテッド期間中にゲーテッド光を画像データとして取り込む工程と、
    前記同じ感光面の第２の画像取り込み領域によって前記同じフレーム期間内のアンゲーテッド期間中にアンゲーテッド光を画像データとして取り込む工程と、
    前記第２の画像取り込み領域を、前記ゲーテッド期間中に前記第２の画像取り込み領域によって画像データが取り込まれないオフ状態にする工程と、
    前記第１の画像取り込み領域を、前記アンゲーテッド期間中に前記第１の画像取り込み領域によって画像データが取り込まれないオフ状態にする工程と、
    前記同じ感光面上での、ゲーテッド光を取り込む前記工程とアンゲーテッド光を取り込む前記工程が、２マイクロ秒未満内に交互にする工程と
    を含む、方法。
  7. 前記ゲーテッド期間が１つ又は複数の短い取り込み期間を含み、各々の短い取り込み期間は持続時間が５０ナノ秒未満であり、
    第１の画像取り込み領域によって前記フレーム期間内のゲーテッド期間中に画像データとしてゲーテッド光を取り込む前記工程が、前記第１の画像取り込み領域を、画像データが取り込まれる各々の短い取り込み期間中のオン状態と画像データが取り込まれない前記オフ状態間でゲーティングする工程を備え、
    前記アンゲーテッド期間が、１つ又は複数の長い取り込み期間を含み、各々の長い取り込み期間は、各々の短い取り込み期間より長く、持続時間が１００ナノ秒未満であり、
    第２の画像取り込み領域によって前記同じフレーム期間内のアンゲーテッド期間中に画像データとしてアンゲーテッド光を取り込む前記工程が、前記第２の画像取り込み領域を、各々の長い取り込み期間中の前記オン状態と前記オフ状態間でゲーティングする工程を備えること
    をさらに含む、請求項６に記載の方法。
  8. 第１の画像取り込み領域によって前記フレーム期間内のゲーテッド期間中に画像データとしてゲーテッド光を取り込む工程は、前記フレームの各々のゲーテッド期間中の前記１つ又は複数の短い取り込み期間中に、前記第１の画像取り込み領域に関係付けられた画像記憶媒体内に画像データを格納する工程をさらに含み、
    前記第２の画像取り込み領域によって前記フレーム期間内の前記アンゲーテッド期間中に画像データとしてアンゲーテッド光を取り込む工程は、前記フレームの各々のアンゲーテッド期間中の前記１つ又は複数の長い取り込み期間中に、前記第２の画像取り込み領域に関係付けられた画像記憶媒体内に画像データを格納する工程をさらに含む、請求項６に記載の方法。
  9. 三次元（３Ｄ）飛行時間カメラシステム内の、同じフレーム期間中にシーンからのゲーテッド光及びアンゲーテッド光を取り込むように感光面を制御するためのシステムであって、 前記同じ感光面が、前記フレーム期間内のゲーテッド期間中に画像データとしてゲーテッド光を取り込むための、フォトピクセルのラインの第１の組及び画像データ記憶媒体を備える第１の画像取り込み領域、並びに、前記同じフレーム期間内のアンゲーテッド期間中に画像データとしてアンゲーテッド光を取り込むための、フォトピクセルのラインの第２の組及び画像データ記憶媒体を備える第２の画像取り込み領域を備え、
    前記画像取り込み領域に電気的に接続された制御回路が、
    前記ゲーテッド期間中、前記フォトピクセルのラインの第１の組によって感知された画像データの前記第１の取り込み領域のそれぞれの画像データ記憶媒体への格納を生じさせ、
    前記第２の画像取り込み領域を、前記ゲーテッド期間全体の間、前記フォトピクセルのラインの第２の組に関して画像データが前記それぞれの画像データ記憶媒体内に格納されないオフ状態にし、
    前記アンゲーテッド期間中、前記フォトピクセルのラインの第２の組によって感知された画像データの前記第２の取り込み領域のそれぞれの画像データ記憶媒体への格納を生じさせ、
    前記第１の画像取り込み領域を、前記アンゲーテッド期間全体の間、前記フォトピクセルのラインの第１の組に関して画像データが前記それぞれの画像データ記憶媒体内に格納されないオフ状態にする
    ことを含む、システム。
  10. 前記ゲーテッド期間とアンゲーテッド期間は、前記同じフレーム期間中にインターリーブされる、請求項９に記載のシステム。
JP2013544547A 2010-12-15 2011-12-05 同じフレーム内同じ感光面上におけるゲーテッド光及びアンゲーテッド光の取り込み Expired - Fee Related JP5898692B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/968,775 US20120154535A1 (en) 2010-12-15 2010-12-15 Capturing gated and ungated light in the same frame on the same photosurface
US12/968,775 2010-12-15
PCT/US2011/063349 WO2012082443A2 (en) 2010-12-15 2011-12-05 Capturing gated and ungated light in the same frame on the same photosurface

Publications (3)

Publication Number Publication Date
JP2014509462A true JP2014509462A (ja) 2014-04-17
JP2014509462A5 JP2014509462A5 (ja) 2014-12-04
JP5898692B2 JP5898692B2 (ja) 2016-04-06

Family

ID=46233858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013544547A Expired - Fee Related JP5898692B2 (ja) 2010-12-15 2011-12-05 同じフレーム内同じ感光面上におけるゲーテッド光及びアンゲーテッド光の取り込み

Country Status (8)

Country Link
US (1) US20120154535A1 (ja)
EP (1) EP2652956A4 (ja)
JP (1) JP5898692B2 (ja)
KR (1) KR20130137651A (ja)
CN (1) CN102547156B (ja)
CA (1) CA2820226A1 (ja)
IL (1) IL226723A (ja)
WO (1) WO2012082443A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017527222A (ja) * 2014-09-08 2017-09-14 マイクロソフト テクノロジー ライセンシング，エルエルシー 可変解像度ピクセル

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9083905B2 (en) * 2011-04-26 2015-07-14 Semiconductor Components Industries, Llc Structured light imaging system
KR101823347B1 (ko) * 2011-07-08 2018-02-01 삼성전자주식회사 센서와 이를 포함하는 데이터 처리 시스템
US9516248B2 (en) 2013-03-15 2016-12-06 Microsoft Technology Licensing, Llc Photosensor having enhanced sensitivity
EP2835973B1 (de) * 2013-08-06 2015-10-07 Sick Ag 3D-Kamera und Verfahren zur Erfassung von dreidimensionalen Bilddaten
US9462253B2 (en) * 2013-09-23 2016-10-04 Microsoft Technology Licensing, Llc Optical modules that reduce speckle contrast and diffraction artifacts
US9608027B2 (en) * 2015-02-17 2017-03-28 Omnivision Technologies, Inc. Stacked embedded SPAD image sensor for attached 3D information
US10062201B2 (en) 2015-04-21 2018-08-28 Microsoft Technology Licensing, Llc Time-of-flight simulation of multipath light phenomena
US9945936B2 (en) 2015-05-27 2018-04-17 Microsoft Technology Licensing, Llc Reduction in camera to camera interference in depth measurements using spread spectrum
GB201516701D0 (en) * 2015-09-21 2015-11-04 Innovation & Business Dev Solutions Ltd Time of flight distance sensor
US10151838B2 (en) 2015-11-24 2018-12-11 Microsoft Technology Licensing, Llc Imaging sensor with shared pixel readout circuitry
US9760837B1 (en) 2016-03-13 2017-09-12 Microsoft Technology Licensing, Llc Depth from time-of-flight using machine learning
CN106231213B (zh) * 2016-09-29 2023-08-22 北方电子研究院安徽有限公司 一种可消除smear效应的带快门ccd像元结构
US10917626B2 (en) 2016-11-23 2021-02-09 Microsoft Technology Licensing, Llc Active illumination 3D imaging system
US10430958B2 (en) 2017-07-11 2019-10-01 Microsoft Technology Licensing, Llc Active illumination 3D zonal imaging system
US10901073B2 (en) 2017-07-11 2021-01-26 Microsoft Technology Licensing, Llc Illumination for zoned time-of-flight imaging
US10942274B2 (en) 2018-04-11 2021-03-09 Microsoft Technology Licensing, Llc Time of flight and picture camera
CN112461154B (zh) * 2019-09-09 2023-11-10 睿镞科技(北京)有限责任公司 3d成像方法、装置和深度相机

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002500367A (ja) * 1997-12-23 2002-01-08 シーメンス アクチエンゲゼルシヤフト ３次元距離画像を撮影するための方法及び装置
WO2002049367A2 (en) * 2000-12-14 2002-06-20 3Dv Systems, Ltd. Improved photosurface for a 3d camera
JP2002526989A (ja) * 1998-09-28 2002-08-20 スリーディーヴィー システムズ リミテッド カメラを用いた距離測定
JP2009047475A (ja) * 2007-08-15 2009-03-05 Hamamatsu Photonics Kk 固体撮像素子

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4935616A (en) * 1989-08-14 1990-06-19 The United States Of America As Represented By The Department Of Energy Range imaging laser radar
ATE114390T1 (de) * 1989-09-23 1994-12-15 Vlsi Vision Ltd I.c. sensor.
US5949483A (en) * 1994-01-28 1999-09-07 California Institute Of Technology Active pixel sensor array with multiresolution readout
IL114278A (en) * 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
EP0886790B1 (en) * 1995-06-22 2006-03-01 3DV Systems Ltd. Telecentric 3d camera and method
US6044170A (en) * 1996-03-21 2000-03-28 Real-Time Geometry Corporation System and method for rapid shape digitizing and adaptive mesh generation
AU5646299A (en) * 1999-09-08 2001-04-10 3Dv Systems Ltd. 3d imaging system
JP2002071309A (ja) * 2000-08-24 2002-03-08 Asahi Optical Co Ltd ３次元画像検出装置
US6721094B1 (en) * 2001-03-05 2004-04-13 Sandia Corporation Long working distance interference microscope
WO2005036372A2 (en) * 2003-10-09 2005-04-21 Honda Motor Co., Ltd. Systems and methods for determining depth using shuttered light pulses
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US8004502B2 (en) * 2007-10-05 2011-08-23 Microsoft Corporation Correcting for ambient light in an optical touch-sensitive device
EP2311251B1 (en) * 2008-08-03 2020-01-01 Microsoft Technology Licensing, LLC Rolling shutter camera system and method
US8681321B2 (en) * 2009-01-04 2014-03-25 Microsoft International Holdings B.V. Gated 3D camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002500367A (ja) * 1997-12-23 2002-01-08 シーメンス アクチエンゲゼルシヤフト ３次元距離画像を撮影するための方法及び装置
JP2002526989A (ja) * 1998-09-28 2002-08-20 スリーディーヴィー システムズ リミテッド カメラを用いた距離測定
WO2002049367A2 (en) * 2000-12-14 2002-06-20 3Dv Systems, Ltd. Improved photosurface for a 3d camera
JP2009047475A (ja) * 2007-08-15 2009-03-05 Hamamatsu Photonics Kk 固体撮像素子

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017527222A (ja) * 2014-09-08 2017-09-14 マイクロソフト テクノロジー ライセンシング，エルエルシー 可変解像度ピクセル

Also Published As

Publication number Publication date
WO2012082443A3 (en) 2012-10-04
EP2652956A2 (en) 2013-10-23
IL226723A (en) 2016-11-30
EP2652956A4 (en) 2014-11-19
CA2820226A1 (en) 2012-06-21
JP5898692B2 (ja) 2016-04-06
CN102547156B (zh) 2015-01-07
CN102547156A (zh) 2012-07-04
WO2012082443A2 (en) 2012-06-21
US20120154535A1 (en) 2012-06-21
KR20130137651A (ko) 2013-12-17

Similar Documents

Publication Publication Date Title
JP5898692B2 (ja) 同じフレーム内同じ感光面上におけるゲーテッド光及びアンゲーテッド光の取り込み
US9160932B2 (en) Fast gating photosurface
US10277850B2 (en) Solid-state imaging device for a distance sensor transferring charges from one pixel while resetting another pixel in a same period
JP7379606B2 (ja) 光検出装置および光検出システム
CN111602070B (zh) 确定三维图像的图像传感器和确定三维图像的方法
JP6661617B2 (ja) 光センサ及びカメラ
EP3625589B1 (en) System and method for determining a distance to an object
KR101508410B1 (ko) 거리 화상 센서, 및 촬상 신호를 비행시간법에 의해 생성하는 방법
US9516248B2 (en) Photosensor having enhanced sensitivity
WO2009147862A1 (ja) 撮像装置
EP3550329A1 (en) System and method for determining a distance to an object
JP6985054B2 (ja) 撮像装置
JP2019102618A (ja) 光検出装置、光検出システム、及び移動体
JP2002368205A (ja) 距離情報入力装置
CN111684791B (zh) 像素结构、具有像素结构的图像传感器装置和系统、以及操作该像素结构的方法
JP7358771B2 (ja) ３ｄ撮像ユニット、カメラ、及び３ｄ画像生成方法
TWI837107B (zh) 像素結構、具像素結構之影像感測器裝置和系統、及操作該像素結構之方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141020

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141020

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160304

R150 Certificate of patent or registration of utility model

Ref document number: 5898692

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees