JP2020519102A - ピクセルワイズイメージングの方法及びシステム - Google Patents

ピクセルワイズイメージングの方法及びシステム Download PDF

Info

Publication number
JP2020519102A
JP2020519102A JP2019559035A JP2019559035A JP2020519102A JP 2020519102 A JP2020519102 A JP 2020519102A JP 2019559035 A JP2019559035 A JP 2019559035A JP 2019559035 A JP2019559035 A JP 2019559035A JP 2020519102 A JP2020519102 A JP 2020519102A
Authority
JP
Japan
Prior art keywords
pixel
light
collection
electronic signal
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019559035A
Other languages
English (en)
Other versions
JP7208156B2 (ja
Inventor
ゲノフ、ローマン
クトゥラコス、キリアコス
サラーングネジャド、ナビッド
カティック、ニコラ
ウェイ、ミラン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Toronto
Original Assignee
University of Toronto
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Toronto filed Critical University of Toronto
Publication of JP2020519102A publication Critical patent/JP2020519102A/ja
Priority to JP2023000522A priority Critical patent/JP2023052222A/ja
Application granted granted Critical
Publication of JP7208156B2 publication Critical patent/JP7208156B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/16—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different main groups of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. forming hybrid circuits
    • H01L25/167—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different main groups of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. forming hybrid circuits comprising optoelectronic devices, e.g. LED, photodiodes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Input (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

シーンのピクセルワイズイメージングを行うための方法及びシステムが提供される。この方法は、画像センサの複数のピクセルのうちの各ピクセルのマスキング値を含むピクセルワイズパターンを受け取る工程と、そのようなピクセルがシーンから受光した光にさらされると、各ピクセルで電子信号を生成する工程と、各ピクセルの電子信号を、各マスキング値に基づいて、該ピクセルに関連付けられ、それぞれ受信した電子信号を統合可能な１つ又は複数の収集ノードに誘導する工程とを備える。

Description

本発明は、概して、イメージングに関し、特に、ピクセルワイズイメージングのための方法及びシステムに関するものである。
静止カメラ及びビデオカメラに見られるものなどの画像センサは、複数の感光性受容体を有する。これらの受容体は、通常、相補型金属酸化膜半導体（ＣＭＯＳ）デバイスである。光の光子は、受容体のフォトサイトで収集され、通常、各ピクセルに１つのフォトサイトが存在する。通常、光子は、１つ又は複数のレンズを介して画像センサの光受容体に誘導される。そのフォトサイトの受容体のシリコンで電荷が生成され、この電荷は、受光した光の強度に比例する。各電荷の値は、アナログ・デジタルコンバータによってデジタル値に変換される。
従来のカラー画像センサの場合、フォトサイトの４分の１は赤色光を記録し、別の４分の１は青色光を記録し、残りの半分は緑色光を記録する。この各フォトサイトへの光のフィルタリングは、通常、各フォトサイトに色付きフィルタを配置することによって行われ、ベイヤーフィルター配列と呼ばれる。各カラーピクセルは、モザイク操作により、隣接するフォトサイトのカラーデータで補間され、各ピクセルにフルカラー値が割り当てられる。
通常、従来の開口部が開くと、すべての光受容体が同時に光を受光する。これは、各ピクセルが画像にほぼ等しく寄与することを意味する。他の場合には、ローリングシャッターもあり、いくつかの光子が画像センサに到達するのを連続的にブロックすることにより、垂直又は水平方向において、画像センサ全体の時間的スキャンが行われる。どのフォトサイトのセットから来るフォトサイトかの選択性は、ある特定の瞬間にシャッターによって集合的にブロックされる。
よって、本発明の目的は、従来の欠点を除去又は軽減し、所望の属性の達成を促進する方法及びシステムを提供することにある。
一態様では、シーンのピクセルワイズイメージングを行うためのシステムが提供され、このシステムは、シーンから受光した光にさらされると電子信号を生成する感光性受容体をそれぞれ有する複数のピクセルを含む画像センサと、各ピクセルにつき、各感光性受容体が受信した電子信号を統合することが可能な１つ又は複数の収集ノードを含む信号記憶モジュールと、画像センサの各ピクセル及び各ピクセルのマスキング値を含むピクセルワイズパターンを受け取る制御メモリと、各マスキング値に基づいて、電子信号を１つ又は複数の収集ノードのそれぞれに誘導する１つ又は複数の論理コンポーネントとを有する制御論理モジュールとを備えている。
特定の場合において、１つ又は複数の収集ノードは、ピクセル当たり正確に２つの収集ノードを含み、マスキング値は１桁のバイナリ値であり、高いバイナリ値は、電子信号を１つの収集ノードに誘導することを示し、低いバイナリ値は、電子信号を他の収集ノードに誘導することを示す。
別の場合では、１つ又は複数の収集ノードは、ピクセル当たり正確に４つの収集ノードを含み、マスキング値は２桁のバイナリ値であり、４つの収集ノードのそれぞれは２桁のバイナリ値の１つに関連付けられ、１つ又は複数の論理コンポーネントは、各２桁のバイナリ値に基づいて、電子信号を各収集ノードに誘導する。
さらに別の場合では、制御メモリは、フレームごとに新しいピクセルワイズパターンを受け取り、１つ又は複数の論理コンポーネントは、新しいピクセルワイズパターンのマスキング値に基づいて電子信号を誘導する。
さらに別の場合、制御メモリは、サブフレームごとに新しいピクセルワイズパターンを受け取り、１つ又は複数の論理コンポーネントは、新しいピクセルワイズパターンのマスキング値に基づいて電子信号を管理し、各フレームは複数のサブフレームを有する。
さらに別の場合では、制御メモリは、次のサブフレームの新しいピクセルワイズパターンを格納する第１のメモリユニットと、現在のサブフレームのピクセルワイズパターンを格納する第２のメモリユニットとを備える。
さらに別の場合では、次のサブフレームの新しいピクセルワイズパターンが第１のメモリユニットに順次ロードされ、現在のサブフレームのピクセルワイズパターンが第２のメモリユニットに同時にロードされる。
さらに別の場合では、画像センサは、ピン止めフォトダイオード、フォトゲート、電荷結合素子、電荷注入デバイス、単一光子アバランシェダイオードのうちの１つを含む。
さらに別の場合では、論理コンポーネントは電荷移動ゲートを備え、収集ノードは浮遊拡散ノードを備える。
さらに別の場合では、上記システムは、各収集ノードでの統合の測定値をデジタル化して出力するデジタル化モジュールをさらに備える。
さらに別の場合では、画像センサはラインセンサである。
さらに別の場合では、シーンから受光した光は、光源からの時間変調された光を含み、１つ又は複数の収集ノードは各ピクセルにつき正確に２つの収集ノードを含み、上記システムは、光源での変調光と感光性受容体で受光した光との位相差を測定することで変調光の飛行時間を決定するプロセッサをさらに備え、１つ又は複数の論理コンポーネントは、変調光の変調の第１の部分の間に電子信号を収集ノードの１つに誘導し、変調光の変調の第２の部分の間に電子信号を他の収集ノードに誘導する。
さらに別の場合では、所定の経路タイプは、直接光路、間接光路、又は反射光路からなる群から選択される。
さらに別の場合では、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを備え、上記システムは、シーンに光パターンを投影するプロジェクタをさらに備え、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、１つ又は複数の論理コンポーネントが電子信号を収集ノードの１つに誘導し、そうでない場合は他の収集ノードに誘導するような相補パターンを含む。
さらに別の場合では、１つ又は複数の収集ノードは、各ピクセルにつき正確に１つの収集ノードを備え、上記システムは、シーンに光パターンを投影するプロジェクタをさらに備え、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、１つ又は複数の論理コンポーネントが電子信号を収集ノードに誘導し、それ以外の場合は、電子信号をブロック又は無視し、直接光路、間接光路、又は反射光路からなる群から所定の経路タイプを選択する。
さらに別の場合では、シーンから受光した光は、光源からの測光ステレオ光照明条件を含み、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、１つ又は複数の論理コンポーネントは、第１の照明条件の間に電子信号を収集ノードの１つに誘導し、第２の照明条件の間に電子信号を他の収集ノードに誘導し、上記システムは、各ピクセルで受光した光の強度を決定することによりシーン内の１つ又は複数のオブジェクトの法線を決定するプロセッサをさらに備える。
さらに別の場合では、法線は、２つ以上の隣接ピクセルの強度デモザイキング（ｄｅｍｏｓａｉｃｉｎｇ）により決定する。
さらに別の場合では、法線は、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する。
さらに別の場合では、シーンから受光した光は、光源からの構造化光照明条件を含み、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、１つ又は複数の論理コンポーネントは、第１の照明条件の間は電子信号を収集ノードの１つに誘導し、第２の照明条件の間は電子信号を他の収集ノードに誘導し、上記システムは、光源のピクセルと画像センサのピクセルを用いた三角測量により、各ピクセルで受光した光の強度からシーン内の１つ又は複数のオブジェクトまでの深さを決定するプロセッサをさらに備える。
さらに別の場合では、深さは、２つ以上の隣接するピクセルの強度デモザイキングにより決定する。
さらに別の場合では、深さは、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する。
別の態様では、シーンのピクセルワイズイメージングを行うための方法が提供され、この方法は、画像センサの複数のピクセルのうちの各ピクセルのマスキング値を含むピクセルワイズパターンを受け取る工程と、そのようなピクセルがシーンから受光した光にさらされると、各ピクセルで電子信号を生成する工程と、各ピクセルの電子信号を、各マスキング値に基づいて、該ピクセルに関連付けられ、それぞれ受信した電子信号を統合可能な１つ又は複数の収集ノードに誘導する工程とを備える。
特定の場合において、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、マスキング値は１桁のバイナリ値であり、高いバイナリ値は、電子信号を収集ノードの１つに誘導することを示し、低いバイナリ値は、電子信号を他の収集ノードに誘導することを示す。
別の場合では、１つ又は複数の収集ノードは、各ピクセルにつき正確に４つの収集ノードを含み、マスキング値は２桁のバイナリ値であり、４つの収集ノードはそれぞれ２桁のバイナリ値の１つに関連付けられ、電子信号は、各２桁のバイナリ値に基づいて各収集ノードに誘導される。
さらに別の場合では、フレームごとに新しいピクセルワイズパターンを受信し、新しいピクセルワイズパターンのマスキング値に基づいて電子信号が送られる。
さらに別の場合では、サブフレームごとに新しいピクセルワイズパターンを受信し、電子信号は新しいピクセルワイズパターンのマスキング値に基づいて送られ、各フレームは複数のサブフレームを含む。
さらに別の場合では、上記方法は、現在のサブフレームのピクセルワイズパターンを格納する工程と、次のサブフレームの新しいピクセルワイズパターンを別々に格納する工程とをさらに備える。
さらに別の場合では、次のサブフレームの新しいピクセルワイズパターンが順次メモリにロードされ、現在のサブフレームのピクセルワイズパターンがメモリに同時にロードされる。
さらに別の場合では、上記方法は、各収集ノードでの統合の測定値をデジタル化して出力する工程をさらに備える。
さらに別の場合では、シーンから受光した光は時間的に変調された光を含み、１つ又は複数の収集ノードは各ピクセルにつき正確に２つの収集ノードを含み、上記方法は、光源での変調光と受光した光との位相差を測定することにより変調光の飛行時間を決定する工程をさらに備え、各ピクセルで電子信号を誘導する工程は、変調光の変調の第１の部分の間に収集ノードの１つに電子信号を誘導する工程と、変調光の変調の第２の部分の間に他の収集ノードに電子信号を誘導する工程とを含む。
さらに別の場合において、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、上記方法は、光パターンをシーンに投影する工程をさらに備え、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、電子信号を収集ノードの１つに誘導し、そうでない場合は他の収集ノードに誘導するような相補パターンを含む。
さらに別の場合では、所定の経路タイプは、直接光路、間接光路、又は反射光路からなる群から選択される。
さらに別の場合では、１つ又は複数の収集ノードは、各ピクセルにつき正確に１つの収集ノードを含み、上記方法は、光パターンをシーンに投影する工程をさらに含み、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、電子信号を収集ノードに誘導し、そうでない場合は、電子信号をブロック又は無視するような相補パターンを含み、直接光路、間接光路、反射光路からなる群から所定の経路タイプを選択する。
さらに別の場合では、シーンから受光した光は測光ステレオ光照明条件を含み、１つ又は複数の収集ノードは各ピクセルにつき正確に２つの収集ノードを含み、電子信号は第１の照明条件の間に収集ノードの１つに誘導され、第２の照明条件の間に他の収集ノードに誘導され、上記方法は、各ピクセルで受光した光の強度を決定することによりシーン内の１つ又は複数のオブジェクトの法線を決定する工程をさらに備える。
さらに別の場合では、法線は、２つ以上の隣接するピクセルの強度デモザイキングにより決定する。
さらに別の場合では、法線は、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する。
さらに別の場合では、シーンから受光した光は、構造化光照明条件を含み、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、第１の照明条件の間は電子信号を収集ノードの１つに誘導し、第２の照明条件の間は電子信号を他の収集ノードに誘導し、上記方法は、光源のピクセルと画像センサのピクセルを用いた三角測量により、各ピクセルで受光した光の強度からシーン内の１つ又は複数のオブジェクトまでの深さを決定する工程をさらに備える。
さらに別の場合では、深さは、２つ以上の隣接するピクセルの強度デモザイキングにより決定する。
さらに別の場合では、深さは、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する。
本明細書では、これら及び他の実施形態が企図され、説明されている。前述の概要は、システム及び方法の代表的な態様を示しており、熟練した読者が以下の詳細な説明を理解するのを支援することが理解されよう。
本発明の特徴は、添付の図面を参照する以下の詳細な説明においてより明らかになるであろう。
一実施形態に係るシーンのピクセルワイズイメージングを行うシステムの概略図である。 複数のサブフレームに適用された１ビットコード化露光イメージングマスクを示す図１のシステムの一例を示す図である。 複数のサブフレームにわたるマスキングビット値に依存する信号積分による図１のシステムの例示的なピクセルタイミング図である。 １つのピクセルに対する図１のシステムの制御論理モジュールの例示的な実施形態を示す図である。 １つのピクセルに対する図１のシステムの２バケット実装の例示的なフロー図である。 １つのピクセル配列についての図１のシステムの回路実装の例を示す図である。 図５の回路実装の波形図である。 １つのピクセルに対する２バケットフォトニックミキシングデバイス及び図３の読み出しブロックのトランジスタレベル実装の例を示す図である。 ２つの記憶ノードによる図１のシステムのピクセルレイアウト内の光検出及び混合構造の一例を示す図である。 「ｋ」個の記憶ノードによる図１のシステムのピクセルレイアウト内の光検出及び混合構造の一例を示す図である。 ２つの記憶ノードによる図１のシステムのピクセルレイアウトの例示的な概略上面図である。 図９のピクセル実装の例示的な断面図である。 図９のピクセルを用いた図１のシステムの実施を示す信号波形図である。 飛行時間型アプリケーションの場合の図１のシステムにおける１つのピクセルの別の実装を示す概略上面図である。 図１２の実装の例示的なタイミング図である。 図１のシステムの各種コンポーネントのアーキテクチャの例示的な実施形態を示す図である。 図１のシステムの各種コンポーネントのアーキテクチャの別の例示的な実施形態を示す図である。 ロード回路をピクセル配列の両側に配置して速度を向上させる場合の図１のシステムの各種コンポーネントのアーキテクチャの別の例示的な実施形態を示す図である。 図１のシステムの各種コンポーネントのライン（１Ｄ）画像センサキテクチャの例を示す図である。 図１のシステムの全体的なアーキテクチャの例示的な実施形態を示す図である。 図１のシステムの２バケットピクセルの２つの状態を示す図である。 図１のシステムの別の例示的なタイミング図である。 コード行列の例を示す概略図である。 図１のシステムの２つのバケットへの光輸送の結果の一例を示す図である。 図１のシステムによってキャプチャされた画像及び決定されたモザイクの一例を示す図である。 図１のシステムによるアプローチのいくつかの組み合わせを比較したチャートである。 図１のシステムによる空間アルベド変動の影響を考慮したベースライン３フレームアプローチとカラー測光ステレオアプローチを比較したチャートである。 構造化光に用いた場合の図１のシステムの結果の一例を視覚化した図である。 測光ステレオ光に用いた場合の図１のシステムの結果の一例を視覚化した図である。 図２５Ａ及び図２５Ｂの結果に用いたシーンの写真を示す図である。 従来のカメラと図１のシステム１００を用いた１６００ルーメン電球のキャプチャされた３Ｄマップを示す図である。 従来のカメラと、図１のシステムを用いた３Ｄイメージングにより明るい太陽光の下でキャプチャされた画像を示す図である。 図１のシステムを用いて一度だけ反射された直接光のみによりキャプチャされた画像を示す図である。 図１のシステムによりキャプチャされた間接光のみを示すことを除いては図２９Ａと同じシーンを示す図である。 間接光のみをキャプチャする図１のシステムによってキャプチャしたゴム手袋の画像を示す図である。 間接光のみをキャプチャする図１のシステムによってキャプチャした手の画像を示す図である。 従来のカメラによってキャプチャされた氷塊のシーンを示す図である。 図３１Ａのシーンの従来の飛行時間イメージングによりキャプチャされた３Ｄ画像を示す図である。 直接のみの光移動をキャプチャする図１のシステムによる図３１Ａのシーンの３Ｄイメージングを示す図である。 図１のシステムによってキャプチャされた画像の例であり、第１のバケットで受信された画像と決定された法線を示す図である。 図１のシステムによってキャプチャされた画像の例であって、第１のバケットで受信した画像と、深さ情報としての２つのバケット間の推定視差の両方を示す図である。 一実施形態に係るシーンのピクセルワイズイメージングの方法を示すフローチャートである。 シーン上の直接光路の投影及び受光を行う場合の例を示す図である。 図３５Ａのシーン上に間接光路を投影及び受光する場合の例を示す図である。 図３５Ａのシーン上での反射光路の投影及び受光を行う場合の例を示す図である。 図３５Ａのシーン上に複数の異なるタイプの光路を投影及び受光する場合の例を示す図である。 図１のシステムによりシーン上に直接光路を投影及び受光する場合の例を示す図である。 図１のシステムにより図３６Ａのシーン上に間接光路を投影及び受光する場合の例を示す図である。 光がレンズ効果を有するシーンに直接光路を投影及び受光する場合の例を示す図である。 図１のシステムによりレンズ効果を補償する図３７Ａのシーン上に直接光路を投影及び受光する場合の例を示す図である。 図１のシステムで複雑な投影マスキングパターンを使用してシーン上に複数の光路を投影及び受光する場合の例を示す図である。 図１のシステムで複雑な投影マスキングパターンを使用して図３８Ａのシーン上に複数の光路を投影及び受光する場合の別の例を示す図である。
次に、図面を参照して実施形態を説明する。説明を簡単かつ明確にするために、適切であると考えられる場合、符号を図の間で繰り返して対応する又は類似の要素を示す場合がある。さらに、本明細書に記載の実施形態を完全に理解するため、多数の特定の詳細が記載されているが、本明細書に記載の実施形態は、これらの特定の詳細なしでも実施できることを当業者であれば理解するであろう。他の例では、本明細書に記載の実施形態を不明瞭にしないよう、周知の方法、手順、構成要素については詳細に説明されていない。また、以下の説明は、本明細書で説明する実施形態の範囲を限定するものとみなすべきではない。
文脈上他の意味を示す場合を除き、本説明を通して使用されるさまざまな用語は、以下のように読まれ理解され得る。全体を通して使用される「又は」は、「及び／又は」と書かれているように包括的である。全体を通して使用される単数形の冠詞や代名詞は、複数形を含み、その逆もまた同様である。同様に、性別代名詞には対応する代名詞が含まれるため、代名詞は、単一の性別による使用、実装、性能などに限定されるものとして理解されるべきではない。「例示的」は「実例」又は「例証」として理解されるべきであり、必ずしも他の実施形態よりも「好ましい」とは限らない。用語の詳細な定義は、本明細書に記載されている場合があり、本説明を読むことで理解されるように、これらの用語の前後のインスタンスに適用される場合がある。
命令を実行する本明細書で例示されるモジュール、ユニット、コンポーネント、サーバ、コンピュータ、端末、エンジン、デバイスは、記憶媒体、コンピュータ記憶媒体、又は、例えば、磁気ディスク、光ディスク、テープなどのデータ記憶装置（取り外し可能及び／又は取り外し不能）などのコンピュータ可読媒体を含むか、そうでなければアクセスすることが可能である。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又は、他のデータなどの情報を記憶するための任意の方法又は技術で実装される揮発性及び不揮発性、取り外し可能及び取り外し不能媒体を含み得る。コンピュータ記憶媒体の例には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又はその他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）又はその他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイス、又は、所望の情報の保存に使用可能で、アプリケーション、モジュール、又はその両方によりアクセス可能なその他の媒体が挙げられる。そのようなコンピュータ記憶媒体は、デバイスの一部であるか、それにアクセス可能又は接続可能であってもよい。さらに、文脈上他の意味を明確に示す場合を除き、本明細書に記載される任意のプロセッサ又はコントローラは、単一のプロセッサ又は複数のプロセッサとして実装されてもよい。複数のプロセッサは配列又は分散されてもよく、本明細書で言及する任意の処理機能は、単一のプロセッサが例示されていたとしても、１つ又は複数のプロセッサによって実行されてもよい。本明細書で説明する任意の方法、アプリケーション、又はモジュールは、そのようなコンピュータ可読媒体によって格納又は保持され、１つ又は複数のプロセッサによって実行されるコンピュータ可読／実行可能命令により実装されてもよい。
以下は、概して、イメージングに関し、特に、ピクセルワイズイメージングを行うための方法及びシステムに関する。
本明細書で使用する「ピクセルワイズ」とは、一般に、１ピクセル当たり又はピクセル単位での操作や機能を指すが、小グループのピクセル単位での操作や機能を含む場合もあることを理解されたい。
本開示の実施形態は、少なくとも、強度ベースのイメージング、可視光又は赤外線イメージング、スペクトルイメージング、インパルスベース及び連続波飛行時間イメージング、偏光イメージング、構造化光イメージング、深さ検知又はその他のタイプのスキャン、及び、場合によってはアクティブな照明を用いた２次元及び３次元のイメージングアプリケーションに適用される。
制御された照明下で画像をキャプチャする場合、光源のパワーは重要な要素であり、すべてが等しい場合、より明るい光源は、一般に、露光中により多くの光子を画像センサに送り、より明るく、よりノイズの少ない画像を生成可能である。ただし、光源の明るさは、画像センサに到達する光量を制御する方法の１つにすぎない。いくつかのアプローチでは、さまざまなデバイスにより、光源からキャプチャされたシーンに、又は、シーンから画像センサに光を転送する。これらのデバイスは、例えば、デジタルマイクロミラーデバイス、液晶パネル、位相変調器など、プログラム可能である。これらの場合、これらのデバイスの時空間挙動をプログラミングして、特定のイメージングタスク、電力、及び／又は、露出時間のエネルギー効率を最大化するのが望ましい場合が多い。これらの懸念は、特に、短時間の露出と低電力の制限が光を無駄にする余地をほとんど残さないライブイメージングに関連している。信号対雑音比（ＳＮＲ）が範囲と取得速度に及ぼす影響により、計算イメージング及び照明法の実用的なアプリケーションが大幅に制限される可能性がある。
さらに、シーンを通る光伝搬は一般に複雑な現象であり、例えば、光は反射・屈折し、拡散及び鏡面相互反射を行い、体積的に散乱し、コーステックを作成する。光は、画像センサに到達する前に上記のすべてを行う場合がある。グローバル又は間接的な光輸送と広く呼ばれるこれらの輸送イベントは、不透明、屈折、又は半透明の側面を持っているため、一般に、我々の周りの世界のオブジェクトやシーンの外観を支配していたり、それらに大幅に貢献している。上記の光の複雑な現象を考慮すると、従来、グローバルな光輸送の分析は非常に困難である。本開示の実施形態は、これらの現象に対処するピクセルワイズでプログラム可能な露光イメージングを提供することが有利である。
輸送対応カメラと呼ばれる、直接対間接の入射光を検出できる特定のタイプのカメラは、一般に、プログラム可能な光源とプログラム可能なセンサマスクを使用する。このようなカメラは、例えば、３Ｄセンシング、視覚認識、ジェスチャ分析、ロボットナビゲーション、産業用検査、医療／科学イメージングなど、さまざまな用途に使用できる。一般に、輸送対応カメラでは、プログラム可能なセンサマスキングを実施するのに、機械的に変形する大きなデジタルマイクロミラーデバイス（ＤＭＤ）が必要である。このアプローチには、例えば、過剰なフォームファクター、ＤＭＤによる大きなレンズの曲率による極端な歪み、アプリケーションの範囲を大幅に制限する低い電気機械マスクの更新速度、モバイル実装を妨げる高電力損失、高コストといった欠点がいくつかある。
本明細書に記載の実施形態では、１フレーム時間の間にピクセル単位でプログラム可能な露出を行うのに有利な種類の光学画像センサ（又は撮像装置）、画像検出システム、画像検知を行う方法が提供される。各ピクセルが露光時間中にほぼすべての入射光を記録する他の画像センサとは異なり、ピクセル単位のプログラマブル露光イメージャ（ＰＰＥＩ）をプログラミングして、各ピクセルの入射光を収集し、１フレーム時間中に任意の間隔で１つ、２つ、又は複数の出力に分類できる。
一例として、本明細書に記載するように、本実施形態の画像センサは、輸送を意識したイメージング技術における直接光及び間接光の検出に有利に使用可能である。本実施形態の画像センサは、例えば、強度ベースのイメージング、可視光又は赤外線イメージング、スペクトルイメージング、インパルスベース及び連続波飛行時間イメージング、偏光イメージング、構造化光イメージング、深さ検知、場合によってはアクティブ照明を用いた他のタイプの２Ｄ及び３Ｄイメージングアプリケーションなど、他の用途にも使用可能である。
本明細書に記載の特定の実施形態では、光輸送の特定の構成要素、例えば、「望ましくない」光路を却下することにより、直接のみの寄与、間接のみの寄与、鏡面間接の寄与などは、画像センサに形成される画像に寄与できないよう選択することができる。一実施形態では、これは、１つのサブフレーム、フレーム又は期間内で、そのソース（例えば、プロジェクタ）及びその行き先（画像センサ）の両方で光を同時に制御することにより行うことができる。１つの画像を取得するには、「Ｎ」個の任意にプログラム可能なパターン、例示的な実施形態では、３０Ｈｚビデオフレーム当たり最大１０００個のマスクパターンのシーケンス全体を１つ又は複数のオブジェクトのシーンに投影する。投影中、画像センサは「Ｎ」個の「サブフレーム」に光を統合する。同時に、最初のパターンから派生してロックステップで適用される「Ｎ」個のパターンの２番目のシーケンスは、場合によっては、マスクの影響を受けるピクセルで光が記録されないように、（本明細書で説明するような）任意にプログラム可能なピクセルマスクを制御する。あるいは、他の場合には、光を別のバケットに誘導する。従って、この例では、一連の直接及び／又は間接パスである全体的なイメージング動作は、プロジェクタパターンとセンサマスクの正確なシーケンスによって決定することができる。
輸送を意識したイメージングの実用的な実現には、一般に、画像センサでどの光路を受光し、どの光路をブロックするかを正確にピクセル単位で制御する必要がある。本実施形態では、機械ベースのデバイスを必要とせずに、例えば、輸送を意識したイメージングにおいて、任意のピクセルワイズで時間プログラマブル露光を実行するシステム及び方法を提供することが有利である。
ここで、図１を参照すると、一実施形態に係るピクセルワイズイメージングを行うためのシステム１００が示されている。当業者によって理解されるように、場合によっては、システム１００のいくつかのコンポーネントは、別個のハードウェアで実装可能である。他の場合では、システム１００のいくつかのコンポーネントは、ローカル又はリモートで分散され得る１つ又は複数の汎用プロセッサ上で実装可能である。
図１は、システム１００の実施形態のさまざまな物理的及び論理的コンポーネントを示す。図のように、システム１００は、１つ又は複数のプロセッサ１０２、データストレージ１０４、出力インタフェース１０６、画像センサ１１０、制御モジュール１１２、信号記憶モジュール１１４、デジタル化モジュール１１６、及びコンポーネントが互いに通信できるようにするローカルバス１１８を含む多数の物理的及び論理的コンポーネントを有する。一実施形態では、制御モジュール１１２は、１つ又は複数のプロセッサ上で実行可能である。他の実施形態では、制御モジュール１１２は、ハードウェアで、又は、専用プロセッサを介して実装可能である。
本明細書で説明するように、出力インタフェース１０６は、別の電子デバイス又はコンピューティングデバイスがデータ（マスクデータなど）を送信したり、システム１００から出力を受信することを可能にする。いくつかの実施形態では、出力インタフェース１０６により、ユーザーインタフェース１０６は、例えばディスプレイ又はモニターを介してそのような出力を見ることができる。場合によっては、システム１００からの出力もデータストレージ１０４に保存することができる。一例では、このシステム１００は、画像センサ１１０が任意のピクセルマスキングを使用して所望の光路を選択できる輸送を意識したイメージングに使用可能である。場合によっては、このマスキングはさまざまな形状を取り、１回の画像フレームの露光中に何度も変化することがある。
図２Ａは、単一フレーム内の連続する複数のサブフレームを説明するためのピクセルマスキングの例を示す。第１の例３０２では、連続するサブフレームにおいて、水平方向の一連のピクセルのみが光を記録するローリングマスキングが示されている。従来のローリングシャッター装置を模倣したものである。第２の例３０４では、連続するサブフレームにおいて、１つのピクセル群のみが光を記録するローリングバンドマスキングが示されている。このグループ化は、ピクセルの行全体よりも少ない。第３の例３０６では、任意のマスキングが適用される。この場合の「任意」とは、画像センサ１１０の１つ又は複数のピクセルの任意の配置又は組み合わせで光を記録することを意味する。そのようなピクセルは必ずしも互いに隣接しているわけではない。この配置は、サブフレームごとに変更できる。
従って、上記システム１００は、どのピクセルをマスクするかを個別に選択することができる。一実施形態では、ピクセルが「マスク」されると、本明細書では第１の「バケット」と呼ばれる、そのピクセルに関連付けられた信号記憶モジュール１１４内の第１の信号収集ノードは、その各ピクセルからの信号を統合（収集）しない。場合によっては、代わりに、そのピクセルに関連付けられた信号記憶モジュール１１４内の第２の信号収集ノード（代替バケット又は第２のバケット）が、その信号からの電荷を統合する。これにより、システム１００は、受け取った光子を失うことなくマスキングを行うことができるので、システム１００の効率化させることができる。場合によっては、第２のバケットによって収集された「相補」信号は、さまざまな計算イメージングアプリケーションで使用し得る。逆に、ピクセルが「露出」し、マスキングが適用されていない場合、第１のバケットは各ピクセルから信号を収集し、第２のバケットは信号を受信しない。図２Ｂは、このアプローチの例を示す図である。制御論理モジュールの特定のピクセルに関連付けられたマスキングビットが「０」の場合、ピクセルで受光した光子は第２のバケットに統合される。逆に、マスキングビットが１の場合、ピクセルで受信された光子は最初のバケットに統合される。この場合、マスキングビットはサブフレームごとに変更できる。
図３は、制御論理モジュール１１２の例示的な実施形態を示す。ピクセルワイズマスクのロード、格納、適用を行うために、ピクセル内メモリを使用することができる。図３は、ピクセルマスクを分類するために必要なメモリがピクセルに設けられているか埋め込まれているピクセルの一実施形態の例を示す図である。場合によっては、マスク値に基づいて１つ又は複数のバケットに「ソート」する信号を制御する論理回路を含めることもできる。センサ内のピクセルが受光する光の１つ又は複数のバケットへの信号（電子）のソートは、各マスク値に基づいた適切なバケットを選択することにより、マルチバケットフォトニックミキシングデバイス（ＰＭＤ）として機能する制御論理モジュール１１２によって実行できる。このシステム１００は、１つ又は複数（「ｋ」）のバケット、ひいては、出力インタフェース１０６又はデータストレージ１０４のための「ｋ」個の異なるピクセル出力（読み出し）を有することができる。
上記システム１００の特定の実施形態は、信号記憶モジュール１１４内にピクセルごとに２つのバケットがある実施形態である。この実施形態では、各ピクセルが受信する信号は、そのピクセルに関連する２つのバケット（２つの記憶ノード）の間で分離される。この配置は、図４の図に例示されている。この例では、各ピクセルが光にさらされる前に、場合によっては連続的に、任意のパターンコードが制御論理モジュール１１２にロードされる。制御論理モジュール１１２の論理ゲートは、マスキングビットのそれぞれの値をデコードするのに使用することができるので、制御論理モジュール１１２のピクセル読み出し回路に適切な制御信号を提供することができる。これらの制御信号は、画像センサ１１０内のピクセルフォトダイオードから信号記憶モジュール１１４内の２つの記憶ノード（バケット又は浮遊拡散ノード）の１つへの電荷移動の制御に使用することができる。図４の例では、マスクビットがピクセルをマスクする必要があることを通知する場合、制御ロジックはフォトダイオードから第１の記憶ノードへの電荷（信号）移動をブロックし、フォトダイオードから第２の記憶ノードへの電荷（信号）移動を許可する制御信号を提供する。場合によっては、デジタル化モジュール１１４のピクセル出力増幅器は、対応する記憶ノードから信号（この場合、電圧）を取得し、それを各ピクセル読み出し列に転送（又は言い換えれば、バッファリング）することができる。図４に示すように、制御論理モジュール１１２にマスクビットを記憶するメモリは、マスキングビットの次のパターンをプリロードするための第１のメモリブロックと、マスキングビットの現在のパターンを適用するための第２のメモリブロックとの２つの別個のブロックに分割される。マスクのロード、ストレージ、使用を行う場合、信号収集に利用可能な時間を制限しないために、マスクの処理をピクセルの露出に依存しないようにすることが有用となり得る。従って、マスキングビットを事前に記憶するパイプライン操作は、２つのメモリブロックを介して行うことができる。このパイプライン操作には、マスクをすべてのピクセルに同時に（グローバルに）適用するという利点がある。
本開示は、画像センサ１１０をフォトダイオードとして言及しているが、例えば、ピン付きフォトダイオード、フォトゲート、電荷結合素子、電荷注入素子、単一光子アバランシェダイオードなどの任意の適切な光検出器を使用することができる。本実施形態は、光の可視スペクトルについて言及しているが、本明細書で言及される光は、可視スペクトルの光とともに、又はその代わりに、電磁スペクトルの任意の部分、例えば、紫外線、近赤外線、短波赤外線、及び／又は、長波赤外線を含むものと理解される。
上記の構造例を用いたピクセルの回路構造の例はを図５に示す。第１のメモリブロックの第１のメモリセル（ラッチ）によりマスクビットを格納する。マスクビット信号は垂直方向にルーティングされ、単一の列で物理的に同一である。対応するＬＯＡＤ ＲＯＷトリガ信号が到着すると、マスクの行全体が同時にロードされる。場合によっては、マスクビットを個別のチャネルを介してシリアルにロードし、ビットをパラレルデータ、つまり、個々の列ごとに１ビットに非シリアル化できる。すべてのマスクがすべての行に対して個別にロードされると、フルフレームの完全なマスクが第２のメモリブロック内の第２のラッチによってラッチされる。単一のサブフレームに対するこのマスクロード法の例を図６に示す。次に、単一フレーム内のすべてのサブフレームに対してマスクロード法を繰り返すことができる。２つのメモリブロックは、次のサブフレームのマスキングパターンが行ごとにロードされている間に現在のサブフレームの露光量のマスキングを可能にする。これにより、マスクの非シリアル化の操作がパイプライン化され、通常のピクセル操作がロードされる。１つ目のセルは、マスクを順次「行ごと」にロードするのに使用される。すべての行が対応するマスクを受け取ると、２つ目のメモリセルをロードすることにより、マスクがピクセルアレイ全体に同時に適用される。ラッチされたマスクビットの状態に応じて、制御論理モジュール１１２のスイッチＳＷ１及びＳＷ２により、収集された電荷を信号記憶モジュール１１４の適切なバケット、この場合、コンデンサＣＦＤ１で表される第１のバケット又はコンデンサＣＦＤ２で表される第２のバケットに誘導することができる。さらに、読み出し中はスイッチの１つがオンに保たれるため、スイッチのチャネル容量が全体の浮遊拡散容量を変化させる。これにより、ピクセルは２つのバケットで本質的に異なる変換ゲインを持つことができる。これは、通常、直接光は間接光よりも大幅に高いパワーを持っているため、直接及び間接光収集の例示的なアプリケーションでは有利な機能である。第２のラッチの出力「Ｑ」が「Ｃ」に接続され、第２のラッチの出力「Ｑ」バーが「Ｃｂ」に接続され、「ＣＤ」によりバケットの電荷をフラッシュする図７のトランジスタ配置を用いて、図５の回路構造の実装例を示す。
図３５Ａ〜図３５Ｄに示すように、光は、光が通る経路とは無関係に、従来のカメラ又は他の画像センサによって捕捉される。対照的に、上記システム１００の用途は、光の経路に基づいて光を弁別的に捕捉することである。システム１００を使用した単一ピクセル内のエピポーラ直接光及び間接光の捕捉の例を図３６Ａ及び図３６Ｂにそれぞれ示す。場合によっては、プロジェクタ（又は光源）が一筋の光を投影することも、ラスタスキャン操作を介して投影することもできる。図３６Ａ及び図３６Ｂはそれぞれ、ｎ個のサブフレームのうちの１つのサブフレームの例を示す。図３６Ａは、特定のピクセルの直接光路をキャプチャすることを示し、図３６Ｂは、間接（散乱及び鏡面反射）光のキャプチャを示している。プロジェクタに投影されるパターン（この場合は対応するピクセルの平面）に対応する画像センサ１１０で一連のピクセル（この場合はピクセルの平面）を定義することにより、画像センサは、直接経路の光から信号記憶モジュール１１４内の第１のバケットに光を収集することができ、間接経路の光から信号記憶モジュール１１４内の第２のバケットに光を収集することができる。一連のピクセルは、例えば、直接光路に対応するピクセルにマスク値１を適用し、間接光路に対応するピクセルにマスク値０を適用する制御論理モジュール１１２を用いて画像センサ１１０で定義できる。
直接光路のみ又は間接光路のみが望ましいさらなる実施形態では、対応するピクセルから受光した光のみが信号記憶モジュール１１４に記憶され、他の受光した光は破棄される。このように、場合によっては、市販の画像センサ１１０を特定の照明及びタイミング条件の下で使用することができる。
画像センサ１１０に接続されたレンズから、場合によっては、プロジェクタに接続されたレンズからの放射状歪みが存在する場合がある。このレンズは、図３７Ａに示すように、プロジェクタからの直線経路を画像センサ１１０上の曲線経路にマッピングさせることができる。ローリングシャッター画像センサ１１０の場合、タイミング条件は、周囲又は間接ブロッキング性能の著しい損失をもたらす可能性がある。図３７Ｂに示すように、上記システム１００を使用して、マスクパターンをレンズによる光の湾曲した経路に適応するように湾曲した形で画像センサ１１０をマスクするようにプログラミングすることができる。
図３８Ａ及び図３８Ｂは、対応するピクセルの複数の平面（及び他の形状）を含む、より複雑なマスキングパターン及び投影パターンの例を示している。この場合、プロジェクタは、画像センサ１１０でのピクセルマスキングパターンに対応する任意の投影パターンを投影することができる。一例では、プロジェクタはＤＬＰベースのプロジェクタを用いることができる。このシステム１００は、信号記憶モジュール１１４の一方のバケットに直接＋１／２間接光を収集し、信号記憶モジュール１１４の他方のバケットに１／２間接光を収集する。図３８Ａ及び図３８Ｂは、２つの異なるサブフレームにおける１つのピクセルの例を示している。図３８Ａは、バケット１内の直接＋１／２間接の収集を示し、図３８Ｂは、バケット２内の１／２間接の収集を示す。この場合、直接経路のみの寄与を有する画像は、バケット１のピクセル値からバケット２のピクセル値を引くことにより抽出することができる。
図３６Ａ〜図３８Ｂは、本開示の提示を容易にするために簡略化された図である。実際の状況では、画像センサ１１０とプロジェクタは、プロジェクタのピクセルの画像センサ１１０のピクセルへのマッピングがピクセルマスクとそれに応じて決定された投影パターンで決定できるように較正することができる。実際には、使用状況に応じて、ピクセルマスクと投影パターンは必ずしも補完的に見えなくてもよい。
ステレオペア（この場合、画像センサとプロジェクタ）がある場合、画像センサ１１０上のピクセルのラインをプロジェクタによって投影されるピクセルのラインに関連付ける、基本行列Ｆと呼ばれるマトリクスを使用することができる。この基本行列により、システム１００は、プロセッサ１０２を介して、光の直接経路を表す画像センサ１１０上のピクセルのラインに対応するプロジェクタ上のピクセルのラインを決定することができる。例えば、それぞれ画像センサ１１０及びプロジェクタ上の点であるｘ１、ｘ２がある場合、ｘ１及びｘ２が対応するエピポーラ線上にある場合にのみ、ｘ１’Ｆｘ２＝０である。ｘ１又はｘ２が固定されている場合、ｘ１Ｆ、Ｆｘ２は対応するラインのパラメーター（ａｘ＋ｂｙ＋ｃ＝０）を与える。この場合、ｘ１とｘ２には同次座標を使用する。つまり、これらは、画像センサ／プロジェクタの最初の２つの座標がそれぞれｘとｙ位置で、最後の座標が１である３Ｄベクトルである。従って、基本行列Ｆは、対応するエピポーラ線を見つけるのに使用できる。
一例では、上記基本行列は、対応を用いて決定することができる。ｘ１’Ｆｘ２＝０であるため、画像センサ１１０とプロジェクタとの間の対応を決定することができ、それにより対応のリスト（ｘ１、ｘ２）が与えられる。線形方程式系を解くことで基本行列Ｆの要素を決定することができる。
本実施形態では、ラッチをメモリとして使用することができるが、さらなる実施形態では、例えば、フリップフロップ、ＳＲＡＭ、ＤＲＡＭ、フラッシュ、メモリスタ、ＰＣＭ、磁気ハードドライブ、電荷バケットなど任意の適切なデータメモリ記憶装置を使用してもよい。
一般に、物理レベルでは、信号マスキング（又は混合やソート）では、複数の電荷移動ゲートが実装され、これらのゲートによって、信号（受光エネルギーの結果としての電子の流れ）を適切なバケットに搬送する。システム１００の集積回路レイアウトの部分の例を、図８Ａの上面図に示す。この例示的な実施形態では、２つのバケット（フローティング拡散と呼ばれる−ＦＤ１及びＦＤ２）を使用する。フローティング拡散は、ｐドープ基板内にあるシリコンのｎドープ領域として実装される。ＴＸ１、ＴＸ２は、制御ロジックを実装するための転送ゲートであり、これらのゲートは多結晶シリコンからなる。画像センサ１１０は、軽くドープされたｐ基板（フォトダイオード）上に注入されたＮドープ領域の上に薄い高濃度ドープｐ層（ピン止め層）を有するＰＮＰ型構造のピン止めフォトダイオードである。別の例示的な実施形態を、複数（ｋ）個のバケットを示す図８Ｂに示す。従って、より多くの数の転送ゲート（ＴＸ１、ＴＸ２、．．．ＴＸｋ）と、より多くの浮動拡散ノード（ＦＤ１、ＦＤ２、．．．ＦＤｋ）が必要になる。
任意のピクセル単位のプログラム可能な露光は、信号記憶モジュール１１４内のピクセル内信号記憶ノード及び制御論理モジュール１１２内の転送ゲートの組み合わせを使用して実施することができる。上記の集積回路レイアウトの別の実装例の断面図を図１０に示す。この例では、ピン付きダイオード構造が光検出器と信号記憶デバイスの両方として使用される。上記の集積回路レイアウトを図９に示し、その動作に対応する信号波形を図１１に示す。この例では、図９に示すように、ＴＸｇは、信号記憶モジュール１１４内のグローバル転送ゲートであり、信号（電荷）を画像センサ１１０内のピン付きフォトダイオード（ＰＰＤ）から、各サブフレームの端部にある信号記憶モジュール１１４内の記憶ノードに転送するために使用される。この転送は、画像センサ１１０ピクセルアレイの各ピクセルに対して同時に完了する。記憶ノードの構造はピン付きフォトダイオード（ＰＰＤ）デバイスに似ているが、入射光からシールドされ、電荷の保存にのみ使用される。従って、光検出ピン付きフォトダイオードのような光誘導電子の収集には使用されない。制御論理モジュール１１２内の転送ゲートＴＸ１及びＴＸ２は、バケット、この場合、フローティングディフュージョンＦＤ１及びＦＤ２と呼ばれる２つのバケットへの電荷の流れを制御するために使用される。転送ゲートは、前述のように、マスキングビットの値に基づいて制御される。従って、グローバル転送ゲート（ＴＸｇ）の電圧は、図１１の波形に示されるように、サブフレームごとに高くなる。転送ゲートＴＸ１及びＴＸ２の電圧は、各サブフレームの先頭から順番に（例えば、行ごとに）高くなる。ピクセルの行の各ピクセルの記憶ノードは、各ピクセルのマスキングビットの値に応じて順次読み取られるため、各ピクセル（ＴＸ１又はＴＸ２）ごとに異なる転送ゲートを高く設定できる。従って、この例では、ピン付きフォトダイオードが現在のサブフレームの電荷を統合（収集）している間に、前のサブフレームに関連付けられた記憶ノードに格納された電荷をフローティングディフュージョンに転送できる。
さらなる場合には、システム１００の任意のピクセルワイズ露出制御によりさまざまなイメージング様式に適用することができる。図１２は、連続波飛行時間画像で使用するシステム１００の部分のレイアウト例を示す。飛行時間イメージング技術には、システム１００のプロセッサ１０２がシーン内のオブジェクトまでの距離を測定し、それにより３Ｄビューを再構築することを可能にする光強度の（光源での）時間変調と（センサ側での）復調が含まれる。この距離は、送受信された光信号の強度の位相差を推定することにより測定される。光が光源からオブジェクトに移動し、反射されてからセンサに戻るのに必要な時間により、受信した光信号は、送信された光と比較して位相シフトを有する。これにより、システム１００は、コード化された露出及び飛行時間センサの両方として同時に動作し、３Ｄイメージングをあらゆるタイプのマルチパス及び背景干渉に対して鈍感にすることができる。これにより、システム１００の性能を向上させ、例えば、「コーナーの周りを見る」などの飛行時間イメージングや時間符号化による疎なデコンボリューションといった有利な機能を持たせることができる。視覚シーンの３Ｄ表現を提供する機能により、飛行時間はシステム１００の有利なアプリケーションを表す。
図１３は、飛行時間ピクセルマスキングを実施するための信号波形を示す１つのピクセルの例示的なタイミング図を示す。ピクセルがマスクされると（１のバイナリコードで表される）、制御論理モジュール１１２の両方の飛行時間変調ゲート（ＴＸ１及びＴＸ２）が閉じられるため、信号は統合されない。その時点で制御論理モジュール１１２内のドレインゲート（ＴＸＤ）が開かれ、光検出器から残留電荷（信号）を排出して、連続する信号サンプル間の干渉を回避する。ピクセルのマスクが取られる、つまり、露出される（バイナリコード０で表される）と、信号記憶モジュール１１４のバケットＦＤ１とＦＤ２が復調信号の形状と位相に基づいた信号を収集するよう、制御論理モジュール１１２の変調ゲート（ＴＸ１とＴＸ２）が交互に開かれる。図１３の場合、第１のバケットＦＤ１は、変調光源に関連する変調信号がオンのときに信号を受信し、第２のバケットＦＤ２は、変調信号がオフのときに信号を受信する。このようにして、変調光源と画像センサで受信した信号との間の位相差が決定され、飛行時間を決定するために使用される。
図１４は、マルチピクセルアレイ用のシステム１００の部分の構造例を示す。この実装は、図７で説明したように、２つのピクセル内ラッチの組み合わせを使用して、行ごとにビットマスクを順番にロードし、サブフレームについてマスクをグローバルに適用して、ピクセルアレイのマスキングをほぼ同時に行う。
システム１００の一部のＣＭＯＳ画像センサ実装の別の例を図１５に示す。図のように、画像センサの周辺回路とインタフェースの配置には典型的なものがある。この実装例のマスキングデータの信号波形を示すタイミング図の例を図６に示す。
システム１００の部分の別の構造例を図１６に示す。この場合、画像センサの周辺回路とインタフェースは、ピクセルアレイの上下で分割される。
図１７は、ラインセンサタイプの画像センサ１１０に適用されるシステム１００の部分の任意のピクセル単位のプログラム可能な露光の別の例を示す。ラインセンサは、単一のピクセル行又は異なるピクセルの複数の行を介して光子をキャプチャすることができる。場合によっては、制御論理モジュール１１２のマスクロード回路は、各ピクセルに隣接して接続されてもよい。他の場合では、マスクロード回路は、ピクセルライン／アレイエリアの周辺に配置できる。図１７に示す概略図の例では、マスクロード回路や信号変調回路はピクセルアレイの一方の側に配置され、読み出し回路は他方の側に配置される。オンチップとオフチップの両方を含む、これらの回路の他の配置方法も可能である。
図１８は、カメラ環境におけるシステム１００の実装例を示す図である。この場合、ピクセル単位のプログラム可能な露出画像センサ１１０は、イメージャ集積回路（ＩＣ）として示される。カメラ環境は、ここではオフイメージャチップＤＲＡＭメモリ（ＤＤＲ）で示されるデータストレージ１０４を含み、ＤＲＡＭに格納され、ＦＰＧＡによってイメージャＩＣに送信されるマスキングコントロールを備えている。コード保存メモリは、イメージャＩＣ又はワイヤボンディング、フリップチップボンディング、又はチップスタックされた別のＩＣに直接実装することもできる。デジタル化モジュール１１６（ここではアナログ・デジタル変換器（ＡＤＣ）として示される）は、信号をアナログ電荷からデジタル値に変換し、場合によっては、チップ外に配置されてもよい。他の場合では、ＡＤＣは、イメージャチップ上に実装することもできる。
本明細書に記載の実施形態は、空間的及び時間的露出コーディングを組み合わせて、ピクセルごとのプログラム可能性、ひいては、イメージング用途における性能向上を可能にする画像感知システムを提供することができる。本出願人によって行われたテストによって例示されるように、システム１００が可能な１つのビデオフレーム内の任意のパターンマスク露出の数は、毎秒３０フレームの公称フレームレートで１０００以上となる。これは、デジタルマイクロミラーデバイス、液晶パネル、位相変調器などを使用する方法と比較して、処理される感覚情報の量が１桁以上大幅に増加することを意味する。
さらに、本明細書に記載の実施形態を利用するカメラは、屈折及び散乱を選択的に遮断又は増強することができる用途で有利に使用することができる。例えば、肉眼では気づかないほど微妙な視覚構造を明確にすることができる。別の例では、直射日光などの困難な条件下で、従来のイメージング技術では不可能な飛行時間アプローチを使用して、オブジェクトの表面を３次元で再構築できる。従って、本実施形態を使用する「深さカメラ」は、コンピュータビジョン及びロボット工学技術に多大な影響を及ぼす可能性がある。
本明細書に記載の実施形態を利用して、光ビームがシーンをたどる実際の３Ｄ経路に応じて、その光の一部のみを選択的に検出するように輸送対応イメージャをプログラミングすることができる。このようなイメージャのアプリケーションドメインは、例えば、３Ｄセンシング、視覚認識、ジェスチャ分析、ロボットナビゲーション、産業検査、医療／科学イメージングなど多数存在する。従来の輸送対応カメラのプロトタイプでは、通常、プログラミング可能なセンサマスキングを実装するのに大きな機械的に変形するデジタルマイクロミラーデバイス（ＤＭＤ）が必要である。そのため、例えば、コンシューマー向けポータブル電子機器に対する障壁であるフォームファクターが大きすぎる、ＤＭＤによって課される大きなレンズの曲率によりレベルの歪みが非常に大きい、応用範囲を大幅に制限する低い電気機械的マスク更新速度、モバイル実装を妨げる高い電力損失、法外に高いコストなど、重大な欠点が生じる。対照的に、本明細書に記載の実施形態によれば、コード化された露出イメージング（ＣＥＩ）において以前では達成不可能であった多用途性を実現する。
低電力プロジェクタを使用した実験では、システム１００は、例えば、困難な視覚シーン条件で３Ｄオブジェクトを再構築するなど、いくつかの一般的にユニークな能力を実証した。図２７は、従来のカメラ（上）とシステム１００（下）でキャプチャされた１６００ルーメン電球の３Ｄマップを示す。図２８は、従来のカメラ（上）による明るい日光の下での画像と、明るい日光の下でシステム１００（下）による３Ｄイメージングを示す。図２９Ａは、シーン内で一度だけ反射された直接光のみをシステム１００でキャプチャする場合を示す。図２９Ｂは同じシーンを示すが、ここではシーン内で複数回反射された光である間接光のみをシステム１００でキャプチャする場合を示す。図３０Ａは、間接光のみをキャプチャする、ひいては、少なくとも部分的にゴム手袋を通して見ることができる、あるいは、図３０Ｂに示すように、少なくとも部分的に、人間の手の皮膚を通して見ることができるシステム１００を示す。図３１Ａは、従来のカメラによってキャプチャされた氷塊のシーンを示す。図３１Ｃは、システム１００を使用して、直接のみの光の移動時間を検知することによる氷塊の３Ｄイメージングを示す。図３１Ｂは、（カメラに戻る前に複数のオブジェクトで反射する）間接光が結果として得られる画像をゆがめ、深さ解像度を低下させる従来の飛行時間イメージングによってキャプチャされた３Ｄ画像を示す。
本明細書に記載の飛行時間カメラは、ビジョン及び計算写真タスク、高速運動解析のための非同期イメージングをサポートするイベントカメラ、３Ｄスキャンに使用することができる。本明細書に記載のシステム１００を使用して、少なくとも飛行時間イメージングのために、コード化された２バケット（Ｃ２Ｂ）カメラを実装することができる。Ｃ２Ｂカメラは、一般的に、入射光を遮らないコード化された露出カメラである。代わりに、ピクセルに関連付けられた信号記憶モジュール１１４の２つの「バケット」のどちらを統合するかを制御することにより、各ピクセルに到達する入射光を変調する。このようにして、システム１００は、ビデオフレームごとに２つの画像、バケットごとに１つの画像を出力することができ、バイナリ２Ｄマスキングパターンを介してアクティブなバケットを迅速かつピクセル単位で完全にプログラミング可能な方法で制御することを可能にする。
Ｃ２Ｂカメラは、その光効率および電子変調により、コード化露光イメージングや光輸送分析タスクに特によく適したものとなる。以下に説明するように、システム１００の例示的な用途としては、高密度ワンショット３次元（３Ｄ）再構成が挙げられる。具体的には、アクティブな照明下で動的シーンの１つのＣ２Ｂビデオフレームを使用し、ピクセルごとの視差や法線を介して、画像センサのピクセル配列にできるだけ近い解像度でシーンの３Ｄスナップショットを再構築する。本出願人は、本明細書で説明する方法により、Ｃ２Ｂカメラが画像デモザイキングの２次元（２Ｄ）問題を利用することで技術的に非常に難しい３Ｄ再構成問題の解決を可能にすると判定したことが有利である。図３２は、システム１００を使用してキャプチャした画像の例を示し、第１のバケットで受信した画像と決定した法線の両方を示している。図３３は、システム１００を使用してキャプチャした画像の例を示し、第１のバケットで受信した画像と、深さ情報としてバケット間の推定視差との両方を示している。
図のように、Ｃ２Ｂカメラは、１つのビデオフレームにおいて、Ｌ−１個のピクセルのバケットにわたって多重化されたＬ個の線形独立照明下でのシーンのビューを取得することができる。このようなフレームは、２バケット照明モザイクと呼ばれる。このモザイクの場合、各ピクセルでのバケット測定の比率は照明比であり、空間アルベド及び／又は反射率の変動にあまり依存せず、デモザイキングが容易になる可能性がある。さらに、照明モザイク又はそのバケット比のいずれかをデモザイキングすることにより、高密度の再構成を目的として、撮像されたシーンのフル解像度画像を得ることができる。
一般に、従来の符号化露光センサは、全信号のアクティブバケットの設定を行うのにグローバル信号に依存するため、ピクセルごとの露光を制御できない。この点で、Ｃ２Ｂカメラは、システム１００を用いて、大きなピクセル、複雑なデザイン、小さなフィルファクターにつながるピクセルごとに複数の測定を行いたいという要望と、画像センサでピクセルごとの同時測定回数をハードコーディングしないことで柔軟性を維持したいという要望との間の最適なトレードオフが可能となる。
一実施形態では、システム１００を組み込んだＣ２Ｂカメラのピクセルは、従来のカメラのピクセルとは異なる。Ｃ２Ｂカメラでは、各ピクセルは、信号記憶モジュール１１４内の２つのバケットに関連付けられる。各バケットは、ピクセルの光検出器１１０で受光した光を積分するための別個の回路、場合によっては、アナログ回路であってもよい。バケットはいずれも、ピクセルの感光領域に当たる光を統合できるが、ほとんどの場合、常に１つだけがアクティブな統合を行う。上記のように、図１９に図式的に示すように、各ピクセルは、その２つのバケットのどちらがアクティブであるかを制御する制御論理モジュール１１２内の１ビットデジタルメモリ（マスクとして知られる）に関連付けられる。このマスクはプログラミング可能であり、（図２０のタイミング図に示すように）単一フレーム内で何度も更新することができ、各ピクセルの関連マスクはピクセルごとに異なる場合がある。各フレームの終わりに、各ピクセル、すなわち、ピクセルの２つのバケットのデジタル化されたコンテンツに対して、デジタル化モジュール１１６によって２つの強度を読み出してデジタル化を行うことが可能である。従って、本実施形態では、Ｃ２Ｂカメラは、各バケットに１つずつ、ビデオフレームごとに２つの画像を出力することができる。本明細書ではそれぞれバケット１画像、バケット０画像と呼ばれる。
Ｃ２Ｂカメラのプログラミングには、さまざまな時間スケール、例えば、（１）ピクセル内メモリの更新に対応するビデオフレーム内のサブフレームのスケール、又は（２）ビデオシーケンス内のフレームのスケールでの各ピクセルの関連マスキング値の時変コンテンツの指定を含むことができる。Ｆ個のフレームを有するビデオシーケンスと、Ｐ個のピクセルを有し、Ｓ個のサブフレームをサポートするカメラの場合、バケットのアクティビティはＰ×Ｆ×Ｓのサイズの３次元バイナリマトリックスＣとして表すことができる。Ｃはコードマトリックスと呼ばれ、図２１に概略的に示されている。
図２１に示すように、コード行列Ｃの２つの特定の２Ｄ「スライス」を使用することができる。特定のピクセルｐについて、スライスＣｐは、すべてのフレームとサブフレームにわたるピクセルｐのバケットのアクティビティを表す。同様に、特定のフレームｆについて、スライスＣｆはｆのすべてのサブフレームにわたるすべてのピクセルのバケットアクティビティを表す。


ここで、ｃｐは、フレームｆのサブフレーム内のピクセルｐのアクティブなバケットを指定するＳ次元の行ベクトルである。ｃｆｓは、フレームｆのサブフレームｓのすべてのピクセルのアクティブなバケットを指定する列ベクトルである。
Ｃ２Ｂカメラは、コード化露光カメラの代わりに受動イメージング用途に使用することができるが、本実施形態は、照明がサブフレームタイムスケールでプログラミング可能なより一般的な場合を考慮する。特に、シーンの時変照明条件は、すべてのフレームに適用されるＳ×Ｌ照明行列Ｌとして表される。

ここで、行ベクトルｌｓは、各フレームのサブフレームｓでのシーンの照明条件を示す。この例では、強度がベクトルｌｓで与えられる一連のＬ方向光源と、「常にオン」であるＬ番目の光源として扱われる（つまり、すべてのｓにつき、要素ｌｓ［Ｌ］＝１）、周囲光の存在下でｌｓの最初のＬ−１要素で指定されたパターンを投影するプロジェクタとの２種類のシーン照明が考慮される。
ピクセルｐの２バケット画像形成モデルの場合、ｉｐと
をそれぞれＦフレームでピクセルｐに関連付けられたバケット１とバケット０の強度を保持する列ベクトルとする。図２２に図示するように、この強度は、Ｌ光源からピクセルに関連付けられた２つのバケットへの光輸送の結果としてモデル化される。

ここで、
は、行列又はベクトルｂのバイナリ補数を示し、Ｃｐはｐに対応するコード行列のスライス、ｔｐはピクセルの輸送ベクトルである。このベクトルの要素ｔｐ［ｌ］は、１つのサブフレームのタイムスパンで、すべての光路と両方のバケットにわたってピクセルｐに輸送される光源ｌの強度の割合を特定する。
上記の方程式についての直観を得るために、フレームｆのバケットの強度を検討する。

※ピクセルｐ、バケット１、フレームｆの照明条件
※ピクセルｐ、バケット０、フレームｆの照明条件
実際、ピクセルｐに関連付けられた２つのバケットは、それぞれベクトルｃｐＬと
によって与えられる２つの潜在的に異なる照明条件の下でシーンを「見る」と考えることができる。さらに、ｃｐ ｆがフレームごとに異なる場合、これらの照明条件も変化する。
すべてのフレームとピクセルにわたって２つのバケットの強度を収集するバケット１及びバケット０の画像シーケンスの場合、このデータを保持する２つのＦ×Ｐマトリクスが定義される。
シーケンスＩ及び
を入力として使用して、各ピクセルでの複数の強度測定値からピクセルごとのジオメトリ（深さ、法線、又はその両方）を回復することができる。
本明細書に記載の実施形態によれば、測光ステレオ及び構造化光ステレオを使用して法線と深さを推定する際の技術的問題に対する解決策を実現することができる。以下で説明するように、これらのタスクは各ピクセルで独立して有利に決定を行うことにより実現され、観測値と未知数の関係は一般に線形方程式系として表される。ここで説明する決定は、２バケットイメージングの特別な特性を示す例にすぎないが、高度な方法を使用してより一般的な設定を処理することも可能である。
１つのフレームからの２つのバケットの制約がある場合、形状の制約はピクセルに関連付けられた２つのバケットによって与えられる。表記を簡単にするために、ピクセルとフレームのインデックスは削除され、代わりに、各バケットの強度はそれぞれスカラーｉと
で示され、各バケットの照明条件はベクトルｌ＝ｃｐ ｆＬと
で示される。
強度とピクセルの未知数との関係は、以下の関係式を介して、余弦パターンを用いた測光ステレオ及び構造化光三角測量の両方で同じ形をとることができる。

ここで、ｌ、
、Ｄはすべて既知である。Ｄは照明条件を表し、ｘはピクセル固有の未知数を含む３Ｄベクトルであり、ａは未知のスカラーであり、ｅ、
は観測ノイズである。各問題に関連する仮定の概要、及び、各問題の量と上記の関係式の要因のマッピングについては、以下の表１を参照する。
ゼロ平均正規分布ノイズの仮定の下で、上記の関係式を法線及び深さに対する制約に変える方法としては、少なくとも３つの方法がある。
第１の方法では、直接的なアプローチを使用して、上記の関係式をベクトルａｘに関する２つの独立した制約として処理し、十分な制約が利用可能になるとａ及びｘの両方を解く。このアプローチの利点は、構築時にエラーが通常分散されることである。欠点は、上記の関係式がアルベド（又は反射率）に依存することである。上記の関係式は、ａがピクセルごとに異なる場合、単一フレームの形状推定を難しくする可能性もある。
第２の方法では、バケット比（ＢＲ）制約アプローチを使用して、２つのバケットが異なる照明条件を表すため、それらの比は照明比であり得る。これにより、ｘに対する制約が生成される。
バケット比ｒは、その平均が理想的な（ノイズのない）バケット比であり、その標準偏差がａに弱く依存するガウス確率変数によって十分に近似される。具体的には、一般的な信号対雑音比の条件下では、ｒの標準偏差はσ／ｉｎに等しく、ｉｎはノイズのないバケット１強度、σはノイズの標準偏差である。実際には、２バケットイメージングによれば、フレームごとに１つの「反射率不変」画像が得られる。
第３の方法では、バケットのクロス積（ＢＣＰ）制約アプローチを使用して、上記の関係式から明示的な比を計算する代わりに、ａを除去して以下を得ることができる。

上記の方程式は、要素として強度ｉ、
を持っているため、暗黙的にアルベドに依存する。
第１の方法では、少なくとも３つの独立したＤＭ制約が、３Ｄベクトルａｘを解くのに必要となる。この解決は、特異値分解によって実現することができる。第２及び第３の方法では、少なくとも２つの独立したバケット比（ＢＲ）又はバケットクロス乗積（ＢＣＰ）制約が与えられると、それらが形成する一般化固有値問題を解くことによりｘが得られる。
上記のアプローチによれば、ピクセルごとに十分な独立制約がある場合に３Ｄ形状を得る方法が提供される。以下では、ピクセルｐの制約を与えるフレームのシーケンスをキャプチャする問題の解決策が提供される。特に、（１）フレーム数Ｆ、（２）フレームあたりのサブフレーム数Ｓ、（３）Ｆ×Ｓコード行列のピクセル固有スライスＣｐを選択する。これらのパラメータの決定は、最適な多重化問題の例と考えることができる。この問題では、Ｆの望ましい測定値からＦの実際のノイズの多い観測値への１対１のマッピングが扱われる。コード化された２バケットイメージングの場合、各フレームが１つだけではなく２つの測定値を生成するため、問題が独特である。
出発点として、以下を展開する：

強度のみを含む関係を取得するには：

※バケット測定（２Ｆ×１）
※バケット多重化マトリクスＷ（２Ｆ×Ｓ）
※照明ｌ１，．．．．．，１Ｓでのピクセル強度（Ｓ×１）
上記の方程式の各スカラーｉｐ ｓは、シーンの照明条件がｌｓであった場合に、従来のカメラピクセルが持ち得る強度である。上記式は、単一ピクセルｐに関する限り、コード化された２バケットイメージングが、ＳフレームのＦピクセルの２つのバケットに所望の強度測定値を多重化することを示す。
このアプローチでは、ピクセルの２つのバケットによって合計２Ｆの測定値が得られる場合でも、多重化マトリクスＷはランク不足であるため、一般に、それらの最大Ｆ＋１は独立であり得る。
ランクＷ＝分（Ｆ＋１、Ｓ）
注意として、Ｃ２Ｂカメラは、一般に、互いに完全に独立して動作する２つのコード化された露出カメラと同等ではない。これは、バケットのアクティビティを制御するマスキングが補完的であり、独立していないためである。従って、Ｆ個のフレームにわたるピクセルのバケットによってキャプチャされた２Ｆ強度のうち、Ｆ＋１が独立した制約を提供し、残りは一般に冗長な測定値を与えるため、ノイズがある場合の性能を改善するのに有用である。
最適なＦ×（Ｆ＋１）行列Ｃｐを見つけるため、以下の式によりバケット多重化の平均二乗誤差（ＭＳＥ）の下限を得る。

ここで、すべての多重化行列Ｗについて、最良の不偏線形推定器のＭＳＥは、上記の式の下限を満たす。
上記によって一般に明示的な構成は得られないが、ＭＳＥが下限である行列Ｗの最適性は保証される。この観測により、行列がＦの「現実的な」値に最適であることが証明される。Ｃｐ＝１（Ｈ＋１）とする。ここで、Ｈは、Ｆ×（Ｆ＋１）行列を作成する１の行を削除することによって、（Ｆ＋１）×（Ｆ＋１）アダマール行列から導出される。Ｃｐで定義されるバケット多重化行列Ｗは、（Ｆ＋１）、（Ｆ＋１）／１２、又は、（Ｆ＋１）／２０が２の累乗の場合、Ｆ≦１００００に最適である。上記が適用される最短のシーケンスはＦ＝３、Ｆ＝７である。主な目標はワンショット取得であるため、Ｆの他の小さな値の最適な行列も重要である。それらを見つけるには、小さなＦ×（Ｆ＋１）バイナリ行列の空間に対する総当たり検索により、ＭＳＥが最も低いものを見つけることができる。これらの行列を以下の表２に示す。

システム１００を使用したＣ２Ｂカメラの技術的利点は、マルチフレーム取得に代わるものを提供できることである。多くのフレームを連続してキャプチャする代わりに、それらは単一フレームでそれらの空間多重化バージョンをキャプチャできる。このようなフレームは、２バケット照明モザイクと呼ばれる。従来のカラーセンサのＲＧＢフィルターモザイクに類似している。
ＲＧＢモザイクと同様に、完全な画像シーケンスＩ、
は、画像センサ１１０の解像度の１／Ｆでサンプリングされる。フル解像度で３Ｄ形状を計算するには、画像デモザイキング技術によって照明モザイクをアップサンプリングし、ここで説明する技術をすべてのピクセルに個別に適用できる。カラーセンサに取り付けられ、通常変更できないカラーフィルターモザイクとは異なり、本実施形態の照明モザイクの取得は、あらゆるＦに対して完全にプログラミング可能である。特定の場合、形状解像度を最大化するために、Ｆ＝３又はＦ＝２フレームを１つのショットに多重化する、可能な限り最も密度の高いモザイクの取得が考慮される。これを図２３に示す。最初の３列のフレームは、３フレームコード行列Ｃによってキャプチャされたものである。この行列では、フレーム内のすべてのピクセルで同じであるが、フレーム間で異なる照明条件が割り当てられた。４列目には、一番右の画像の３ピクセルタイルを使用して左側のフレームを多重化する、１回のショットでキャプチャされた照明モザイクを示す。
照明モザイクの取得は、対応するＦフレーム行列
を空間的に多重化する１フレームコード行列Ｃを特定することになる。これは、（１）センサ面の通常のＦピクセルタイリングを定義し、（２）タイル内のピクセルとフレーム間の１対１の対応（ｐｉ、ｆｉ）、１≦ｉ≦Ｆを特定することで行われる。
の列は、以下のように定義される。
特定の場合において、照明モザイクの２Ｐ強度に上述の形状推定法を適用する方法には３つの異なる方法がある。
第１の方法では、強度デモザイキング（ＩＤ）を使用して、タイル内の各ピクセルの各バケットの強度を、デモザイキングの目的のために別個の「カラーチャネル」として扱う。これらの強度は、一度に３つのこれらの２ＦチャネルにＲＧＢデモザイキング法を適用することでアップサンプリングされる。次に、上記の形状推定法のいずれかを結果に適用する。
第２の方法では、収集ノード比デモザイキングとも呼ばれるバケット比デモザイキング（ＢＲＤ）によって、各ピクセルのバケット比を決定して、強度測定値をアルベド／反射率不変測定値に変換する。タイル内の各ピクセルの比率は、デモザイキングのために個別の「カラーチャネル」として扱われる。形状は、次のバケット比制約によって決定される。
第３の方法では、デモザイキングを用いずに（ＮＤ）、アップサンプリングの代わりに、各タイルは、形状未知（通常、アルベド、視差など）がピクセルごとに変化しない「スーパーピクセル」として扱われる。タイルごとの１つの形状推定値は、ここで説明するアプローチのいずれかを使用して決定される。ピクセルごとの形状推定値を生成する他の２つの方法とは異なり、この方法では１／Ｆ少ない推定値が返される。
本出願人は、合成データに関する本明細書に記載のＣ２Ｂカメラの性能を評価した。測光ステレオから計算された法線の有効解像度とアルベド不変性は、（１）空間的に変化する法線とアルベド、ノイズの多い画像を含む合成生成シーンに適用し、（２）空間周波数コンテンツに対する再構成性能を評価することで決定された。デモザイキングを除くすべての決定がピクセルごとに行われるため、パフォーマンスの周波数依存の変動はこれらのステップによるものである。図２４Ａは、本明細書に記載の方法のいくつかの組み合わせを比較するチャートである。また、フル解像度の画像を処理するベースライン３フレーム方式、及びカラー測光ステレオ法と比較される。決定したとおり、Ｃ２Ｂカメラのデータは、カラーベースの測光ステレオ法よりも優れたパフォーマンスを発揮する。図２４Ｂは、空間アルベド変動の影響を考慮したチャートである。図２４Ａ及び図２４Ｂの両方を比較すると、近傍処理のタイプに関係なく、非常に高いアルベド周波数ではパフォーマンスが低下するという直観に一致する。一般に、ピークＳ／Ｎ比（ＰＳＮＲ）が少なくとも３０の場合、Ｃ２Ｂカメラは、ナイキスト制限の３分の１までの空間周波数を持つシーンでパフォーマンスを大幅に向上させる。
本出願人の例示的な実験では、実験設定は、Ｃ２Ｂカメラ、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ ＬｉｇｈｔＣｒａｆｔｅｒ ＤＭＤプロジェクタ、４つのＬＥＤで構成された。このカメラは、フレームあたり最大４つのサブフレームで１６〜２０ＦＰＳで動作することができた。これにより、測光ステレオを実行し、ほぼビデオ速度でデータをキャプチャできる。
地上検証データを取得するために、図２６に示すカラフルなバンド及びテクスチャを有する帽子と、帽子の一部を遮る本とからなる静的なシーンが作成された。このシーンが選択されたのは、従来、ワンショット方式は色の手がかりに依存して、異なる照明条件下でのシーンの外観を推測していたためである。これにより、困難な条件下で形状推定がどの程度うまく機能するかを評価できる。オブジェクトはカメラから２ｍ離れて配置された。２３ｍｍレンズがカメラに取り付けられ、約３０ｃｍ×３０ｃｍの視野が得られた。どちらの場合も、ノイズを減らすために、照明条件ごとに１０００個の画像がキャプチャされた。グラウンドトゥルースデータを１つのバケットでＢＲＤ−ＢＲ、ＩＤ−ＤＭ、ＩＤ−ＤＭと比較した。
構造化光を使用する実際のオブジェクトについて、周波数１の４つの位相シフト正弦波パターン及び周波数１６の３つの位相シフト量子化正弦波パターンでオブジェクトを照明することにより、グランドトゥルース視差推定を行った。プロジェクタは、ベースラインが１．５ｍのオブジェクトから６０ｃｍ離れて配置された。低周波情報を使用して位相アンラップを実行し、高周波量子化された正弦波をグラウンドトゥルースとして使用した。シングルショット取得には３つのパターンが使用された。結果を図２５Ａに示す。構造化光の場合、ＢＲＤ−ＢＲは、外れ値が削除された後、２．７のＲＭＳＥで最高の応答が得られた。すべての外れ値を削除できないため、外れ値が保持された場合に４．７のＲＭＳＥが報告された。プロジェクタには６０８列があり、１６の周波数が使用されたため、可能な最大エラーは６０８／１６＝３８である。従って、最大エラーの約５〜１０％の精度があった。量子化された正弦波が使用されたため、この値によりＣ２Ｂカメラのパフォーマンスの下限が得られる。
測光ステレオを使用する実際のオブジェクトの場合、各光源の方向は、カメラから２ｍに配置されたクロム球とシーンから２〜３ｍの光を使用して較正された。シーケンスをキャプチャするために、各光源に１つずつ、４つのサブフレームを使用して画像がキャプチャされた。この場合の結果も図２５Ｂに示す。ＩＤ−ＤＭは、ＲＭＳ角度誤差が１０．６９５°、角度誤差の中央値が５．６３°の測光ステレオに最適であることがわかった。ただし、ＮＤ−ＤＭのＲＭＳＥは依然として１０°を超えている。これは、各マスクに適用されるゲインが不均一であることによって説明できる。これは、最小二乗最適化Ｂ＝ＡＸで、Ａへのスキューが適用されていることを意味する。
この結果は、センサ解像度で、又はセンサ解像度に近いＣ２Ｂカメラを使用して３Ｄ測定値を有利に取得できるという事実を裏付けている。
図３４は、一実施形態に係る、シーンのピクセルワイズイメージングを行う方法３００を示す。ブロック３０２で、制御論理モジュール１１２は、画像センサ１１０のピクセルのアレイ内の各ピクセルのマスキング値を含むピクセルワイズパターンを受信する。ブロック３０４で、画像センサ１１０の各ピクセルは、そのようなピクセルがシーンから受光した光にさらされると、電子信号を生成する。ブロック３０６で、制御論理モジュール１１２は、各ピクセルの電子信号を、それぞれのマスキング値に基づいて、そのピクセルに関連付けられた信号記憶モジュール１１４内の１つ又は複数の収集ノードに誘導する。この１つ又は複数の収集ノードは、受信した電子信号をそれぞれ統合可能である。場合によっては、本明細書で説明するように、収集ノードの１つ又は一部のみが信号を受信する。
場合によっては、ブロック３０８で、デジタル化モジュール１１６は、各収集ノードでの統合の測定値をデジタル化して出力することができる。
場合によっては、ブロック３１０で、プロセッサ１０２は、収集ノードのそれぞれでの統合値に基づいて、例えば、飛行時間の決定、光路タイプの決定（直接、間接、又は鏡面反射）、深さ、法線など、さらなる決定を行うことができる。
特定の実施形態を参照して本発明を説明したが、添付の特許請求の範囲に概説される本発明の精神及び範囲から逸脱することなく、その様々な修正が当業者には明らかであろう。上記に引用されたすべての参考文献の開示全体は、参照により本明細書に組み込まれる。

Claims (39)

  1. シーンのピクセルワイズイメージングを行うためのシステムであって、
    シーンから受光した光にさらされると電子信号を生成する感光性受容体をそれぞれ有するピクセル列を含む画像センサと、
    各ピクセルにつき、各感光性受容体が受信した電子信号を統合することが可能な１つ又は複数の収集ノードを含む信号記憶モジュールと、
    制御メモリと１つ又は複数の論理コンポーネントとを有する制御論理モジュールであって、前記制御メモリはピクセルワイズパターンを受け取り、前記ピクセルワイズパターンは画像センサの各ピクセルに対するマスキング値を含み、各ピクセルについて、前記１つ又は複数の論理コンポーネントは、各マスキング値に基づいて、電子信号を１つ又は複数の収集ノードのそれぞれに誘導する、ようにした、制御メモリと１つ又は複数の論理コンポーネントとを有する制御論理モジュールと、
    を備えることを特徴とするシステム。
  2. 前記１つ又は複数の収集ノードは、ピクセル当たり正確に２つの収集ノードを含み、マスキング値は１桁のバイナリ値であり、高いバイナリ値は、電子信号を１つの収集ノードに誘導することを示し、低いバイナリ値は、電子信号を他の収集ノードに誘導することを示す、ことを特徴とする請求項１に記載のシステム。
  3. 前記１つ又は複数の収集ノードは、ピクセル当たり正確に４つの収集ノードを含み、マスキング値は２桁のバイナリ値であり、４つの収集ノードのそれぞれは２桁のバイナリ値の１つに関連付けられ、１つ又は複数の論理コンポーネントは、各２桁のバイナリ値に基づいて、電子信号を各収集ノードに誘導する、ことを特徴とする請求項１に記載のシステム。
  4. 前記制御メモリは、フレームごとに新しいピクセルワイズパターンを受け取り、１つ又は複数の論理コンポーネントは、新しいピクセルワイズパターンのマスキング値に基づいて電子信号を誘導する、ことを特徴とする請求項１に記載のシステム。
  5. 前記制御メモリは、サブフレームごとに新しいピクセルワイズパターンを受け取り、１つ又は複数の論理コンポーネントは、新しいピクセルワイズパターンのマスキング値に基づいて電子信号を誘導し、各フレームは複数のサブフレームを有する、ことを特徴とする請求項１に記載のシステム。
  6. 前記制御メモリは、
    次のサブフレームの新しいピクセルワイズパターンを格納する第１のメモリユニットと、
    現在のサブフレームのピクセルワイズパターンを格納する第２のメモリユニットと
    を備えることを特徴とする請求項５に記載のシステム。
  7. 前記次のサブフレームの新しいピクセルワイズパターンが前記第１のメモリに順次ロードされ、前記現在のサブフレームのピクセルワイズパターンが前記第２のメモリに同時にロードされる、請求項６に記載のシステム。
  8. 前記画像センサは、ピン止めフォトダイオード、フォトゲート、電荷結合素子、電荷注入デバイス、単一光子アバランシェダイオードのうちの１つを含む、ことを特徴とする請求項１に記載のシステム。
  9. 前記論理コンポーネントは電荷移動ゲートを備え、収集ノードは浮遊拡散ノードを備える、ことを特徴とする請求項１に記載のシステム。
  10. 各収集ノードでの統合の測定値をデジタル化して出力するデジタル化モジュールをさらに備えることを特徴とする請求項１に記載のシステム。
  11. 前記画像センサはラインセンサであることを特徴とする請求項１に記載のシステム。
  12. 前記シーンから受光した光は、光源からの時間変調された光を含み、１つ又は複数の収集ノードは各ピクセルにつき正確に２つの収集ノードを含み、上記システムは、光源での変調光と感光性受容体で受光した光との位相差を測定することで変調光の飛行時間を決定するプロセッサをさらに備え、１つ又は複数の論理コンポーネントは、変調光の変調の第１の部分の間に電子信号を収集ノードの１つに誘導し、変調光の変調の第２の部分の間に電子信号を他の収集ノードに誘導する、ことを特徴とする請求項１に記載のシステム。
  13. 前記所定の経路タイプは、直接光路、間接光路、又は反射光路からなる群から選択される、ことを特徴とする請求項１３に記載のシステム。
  14. 前記１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを備え、上記システムは、シーンに光パターンを投影するプロジェクタをさらに備え、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、１つ又は複数の論理コンポーネントが電子信号を収集ノードの１つに誘導し、そうでない場合は他の収集ノードに誘導するような相補パターンを含む、ことを特徴とする請求項１に記載のシステム。
  15. 前記１つ又は複数の収集ノードは、各ピクセルにつき正確に１つの収集ノードを備え、上記システムは、シーンに光パターンを投影するプロジェクタをさらに備え、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、１つ又は複数の論理コンポーネントが電子信号を収集ノードに誘導し、それ以外の場合は、電子信号をブロック又は無視し、直接光路、間接光路、又は反射光路からなる群から所定の経路タイプを選択するような相補パターンを含む、ことを特徴とする請求項１に記載のシステム。
  16. 前記シーンから受光した光は、光源からの測光ステレオ光照明条件を含み、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、１つ又は複数の論理コンポーネントは、第１の照明条件の間に電子信号を収集ノードの１つに誘導し、第２の照明条件の間に電子信号を他の収集ノードに誘導し、上記システムは、各ピクセルで受光した光の強度を決定することによりシーン内の１つ又は複数のオブジェクトの法線を決定するプロセッサをさらに備える、ことを特徴とする請求項１に記載のシステム。
  17. 前記法線は、２つ以上の隣接ピクセルの強度デモザイキングにより決定する、ことを特徴とする請求項１６に記載のシステム。
  18. 前記法線は、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する、ことを特徴とする請求項１６に記載のシステム。
  19. 前記シーンから受光した光は、光源からの構造化光照明条件を含み、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、１つ又は複数の論理コンポーネントは、第１の照明条件の間は電子信号を収集ノードの１つに誘導し、第２の照明条件の間は電子信号を他の収集ノードに誘導し、上記システムは、光源のピクセルと画像センサのピクセルを用いた三角測量により、各ピクセルで受光した光の強度からシーン内の１つ又は複数のオブジェクトまでの深さを決定するプロセッサをさらに備える、ことを特徴とする請求項１に記載のシステム。
  20. 前記深さは、２つ以上の隣接するピクセルの強度デモザイキングにより決定する、ことを特徴とする請求項１９に記載のシステム。
  21. 前記深さは、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する、ことを特徴とする請求項１９に記載のシステム。
  22. シーンのピクセルワイズイメージングを行うための方法であって、
    画像センサのピクセル列のうちの各ピクセルのマスキング値を含むピクセルワイズパターンを受け取る工程と、
    そのようなピクセルがシーンから受光した光にさらされると、各ピクセルで電子信号を生成する工程と、
    各ピクセルの電子信号を各マスキング値に基づいて該ピクセルに関連付けられた１つ又は複数の収集ノードに誘導する工程であって、前記１つ又は複数の収集ノードは各々は受信した電子信号を統合可能とする、工程と、
    を備えることを特徴とする方法。
  23. 前記１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、マスキング値は１桁のバイナリ値であり、高いバイナリ値は、電子信号を収集ノードの１つに誘導することを示し、低いバイナリ値は、電子信号を他の収集ノードに誘導することを示す、ことを特徴とする請求項２２に記載の方法。
  24. 前記１つ又は複数の収集ノードは、各ピクセルにつき正確に４つの収集ノードを含み、マスキング値は２桁のバイナリ値であり、４つの収集ノードはそれぞれ２桁のバイナリ値の１つに関連付けられ、電子信号は、各２桁のバイナリ値に基づいて各収集ノードに誘導される、ことを特徴とする請求項２２に記載の方法。
  25. 前記フレームごとに新しいピクセルワイズパターンを受信し、新しいピクセルワイズパターンのマスキング値に基づいて電子信号が誘導される、ことを特徴とする請求項２２に記載の方法。
  26. 前記サブフレームごとに新しいピクセルワイズパターンを受信し、電子信号は新しいピクセルワイズパターンのマスキング値に基づいて誘導され、各フレームは複数のサブフレームを含む、ことを特徴とする請求項２２に記載の方法。
  27. 前記現在のサブフレームのピクセルワイズパターンを格納する工程と、
    次のサブフレームの新しいピクセルワイズパターンを別々に格納する工程と、
    をさらに備えることを特徴とする請求項２６に記載の方法。
  28. 前記次のサブフレームの新しいピクセルワイズパターンが順次メモリにロードされ、現在のサブフレームのピクセルワイズパターンがメモリに同時にロードされる、ことを特徴とする請求項２７に記載の方法。
  29. 前記各収集ノードでの統合の測定値をデジタル化して出力する工程をさらに備えることを特徴とする請求項２２に記載の方法。
  30. 前記シーンから受光した光は時間的に変調された光を含み、１つ又は複数の収集ノードは各ピクセルにつき正確に２つの収集ノードを含み、上記方法は、光源での変調光と受光した光との位相差を測定することにより変調光の飛行時間を決定する工程をさらに備え、各ピクセルで電子信号を誘導する工程は、変調光の変調の第１の部分の間に収集ノードの１つに電子信号を誘導する工程と、変調光の変調の第２の部分の間に他の収集ノードに電子信号を誘導する工程とを含む、ことを特徴とする請求項２２に記載の方法。
  31. 前記１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、上記方法は、光パターンをシーンに投影する工程をさらに備え、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、電子信号を収集ノードの１つに誘導し、そうでない場合は他の収集ノードに誘導するような相補パターンを含む、ことを特徴とする請求項２２に記載の方法。
  32. 前記所定の経路タイプは、直接光路、間接光路、又は反射光路からなる群から選択される、ことを特徴とする請求項３１に記載の方法。
  33. 前記１つ又は複数の収集ノードは、各ピクセルにつき正確に１つの収集ノードを含み、上記方法は、光パターンをシーンに投影する工程をさらに含み、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、電子信号を収集ノードに誘導し、そうでない場合は、電子信号をブロック又は無視するような相補パターンを含み、直接光路、間接光路、反射光路からなる群から所定の経路タイプを選択する、ことを特徴とする請求項２２に記載の方法。
  34. 前記シーンから受光した光は測光ステレオ光照明条件を含み、１つ又は複数の収集ノードは各ピクセルにつき正確に２つの収集ノードを含み、電子信号は第１の照明条件の間に収集ノードの１つに誘導され、第２の照明条件の間に他の収集ノードに誘導され、
    各ピクセルで受光した光の強度を決定することによりシーン内の１つ又は複数のオブジェクトの法線を決定する工程をさらに備える、ことを特徴とする請求項２２に記載の方法。
  35. 前記法線は、２つ以上の隣接するピクセルの強度デモザイキングにより決定する、ことを特徴とする請求項３４に記載の方法。
  36. 前記法線は、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する、ことを特徴とする請求項３４に記載の方法。
  37. 前記シーンから受光した光は、構造化光照明条件を含み、１つ又は複数の収集ノードは、各ピクセルにつき正確に２つの収集ノードを含み、第１の照明条件の間は電子信号を収集ノードの１つに誘導し、第２の照明条件の間は電子信号を他の収集ノードに誘導し、
    光源のピクセルと画像センサのピクセルを用いた三角測量により、各ピクセルで受光した光の強度からシーン内の１つ又は複数のオブジェクトまでの深さを決定する工程をさらに備える、ことを特徴とする請求項２２に記載の方法。
  38. 前記深さは、２つ以上の隣接するピクセルの強度デモザイキングにより決定する、ことを特徴とする請求項３７に記載の方法。
  39. 前記深さは、２つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する、ことを特徴とする請求項３７に記載の方法。
JP2019559035A 2017-04-28 2018-04-27 ピクセルワイズイメージングの方法及びシステム Active JP7208156B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023000522A JP2023052222A (ja) 2017-04-28 2023-01-05 ピクセルワイズイメージングの方法及びシステム

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762491620P 2017-04-28 2017-04-28
US62/491,620 2017-04-28
US201862649763P 2018-03-29 2018-03-29
US62/649,763 2018-03-29
PCT/CA2018/050496 WO2018195669A1 (en) 2017-04-28 2018-04-27 Method and system for pixel-wise imaging

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023000522A Division JP2023052222A (ja) 2017-04-28 2023-01-05 ピクセルワイズイメージングの方法及びシステム

Publications (2)

Publication Number Publication Date
JP2020519102A true JP2020519102A (ja) 2020-06-25
JP7208156B2 JP7208156B2 (ja) 2023-01-18

Family

ID=63920110

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019559035A Active JP7208156B2 (ja) 2017-04-28 2018-04-27 ピクセルワイズイメージングの方法及びシステム
JP2023000522A Pending JP2023052222A (ja) 2017-04-28 2023-01-05 ピクセルワイズイメージングの方法及びシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023000522A Pending JP2023052222A (ja) 2017-04-28 2023-01-05 ピクセルワイズイメージングの方法及びシステム

Country Status (5)

Country Link
US (1) US10229943B2 (ja)
JP (2) JP7208156B2 (ja)
KR (1) KR102479014B1 (ja)
CA (1) CA3061622A1 (ja)
WO (1) WO2018195669A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10234439B2 (en) * 2012-11-07 2019-03-19 Airscout Inc. Methods and systems for analyzing a field
US11184564B2 (en) * 2017-04-28 2021-11-23 The Governing Council Of The University Of Toronto Method and system for pixel-wise imaging
US11563911B2 (en) * 2018-10-10 2023-01-24 Northwestern University Method and system for time-of-flight imaging with high lateral resolution
US10791282B2 (en) 2018-12-13 2020-09-29 Fenwick & West LLP High dynamic range camera assembly with augmented pixels
US10855896B1 (en) 2018-12-13 2020-12-01 Facebook Technologies, Llc Depth determination using time-of-flight and camera assembly with augmented pixels
US10791286B2 (en) * 2018-12-13 2020-09-29 Facebook Technologies, Llc Differentiated imaging using camera assembly with augmented pixels
US11348954B2 (en) 2019-03-19 2022-05-31 Samsung Electronics Co., Ltd. Time-resolving sensor for range measurement and 2D greyscale imaging
KR102620348B1 (ko) * 2019-06-21 2024-01-02 더 가버닝 카운슬 오브 더 유니버시티 오브 토론토 픽셀 파라미터의 픽셀 단위 코딩을 사용하여 이미지 다이나믹 레인지를 확장하기 위한 방법 및 시스템
DE102019124142A1 (de) * 2019-09-09 2021-03-11 pmdtechnologies ag Lichtlaufzeitkamerasystem
JP7371443B2 (ja) * 2019-10-28 2023-10-31 株式会社デンソーウェーブ 三次元計測装置
US10902623B1 (en) 2019-11-19 2021-01-26 Facebook Technologies, Llc Three-dimensional imaging with spatial and temporal coding for depth camera assembly
US11194160B1 (en) 2020-01-21 2021-12-07 Facebook Technologies, Llc High frame rate reconstruction with N-tap camera sensor
CN115993094B (zh) * 2023-03-01 2023-09-12 大连交通大学 一种基于ccd相机的大型膜结构屋顶位移监测方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05176238A (ja) * 1991-06-21 1993-07-13 Sony Broadcast & Commun Ltd 撮像装置
JP2003521836A (ja) * 1999-03-04 2003-07-15 ビジョン−サイエンシズ・インコーポレイテッド 個別に制御可能な電子シャッター回路を備えた画像センサユニットセル
JP2013509820A (ja) * 2009-10-28 2013-03-14 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク 符号化ローリングシャッタの方法およびシステム
JP2014209103A (ja) * 2013-03-20 2014-11-06 コグネクス コーポレイション マシーンビジョン３ｄラインスキャンイメージ取得及び処理
JP2015215181A (ja) * 2014-05-08 2015-12-03 浜松ホトニクス株式会社 測距装置及び測距装置の駆動方法
WO2016010838A1 (en) * 2014-07-12 2016-01-21 Gibbons Robert C Read-out integrated circuit with integrated compressive sensing
WO2016028200A1 (en) * 2014-08-21 2016-02-25 Totalförsvarets Forskningsinstitut An imaging system parallelizing compressive sensing imaging
JP2016511539A (ja) * 2013-01-31 2016-04-14 アップル インコーポレイテッド 垂直積層型画像センサ
JP2016092593A (ja) * 2014-11-04 2016-05-23 キヤノン株式会社 撮像装置及びその制御方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7369167B2 (en) * 2003-06-02 2008-05-06 Micron Technology, Inc. Photo diode ID for CMOS imagers
US7973838B2 (en) * 2006-07-07 2011-07-05 Immersive Media Company Active mask for electronic imaging system
US8648948B2 (en) * 2009-09-30 2014-02-11 Infrared Newco, Inc. Imaging systems with multiple imaging pixel types and related methods
EP2385698A3 (en) * 2010-04-30 2012-01-04 Honda Motor Co., Ltd. Imaging apparatus, imaging method, and imaging program
US9741754B2 (en) * 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
US9549099B2 (en) * 2013-03-12 2017-01-17 Apple Inc. Hybrid image sensor
US20150022869A1 (en) * 2013-07-17 2015-01-22 Samsung Electronics Co., Ltd. Demosaicing rgbz sensor
US9467628B2 (en) * 2014-08-26 2016-10-11 Sensors Unlimited, Inc. High dynamic range image sensor
KR102224851B1 (ko) * 2014-12-11 2021-03-08 삼성전자주식회사 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템
US10132616B2 (en) * 2015-04-20 2018-11-20 Samsung Electronics Co., Ltd. CMOS image sensor for 2D imaging and depth measurement with ambient light rejection
US9942503B2 (en) * 2016-02-23 2018-04-10 Semiconductor Components Industries, Llc Image sensors having high-efficiency charge storage capabilities
US10484628B2 (en) 2016-10-21 2019-11-19 The Johns Hopkins University Flexible pixel-wise exposure control and readout

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05176238A (ja) * 1991-06-21 1993-07-13 Sony Broadcast & Commun Ltd 撮像装置
JP2003521836A (ja) * 1999-03-04 2003-07-15 ビジョン−サイエンシズ・インコーポレイテッド 個別に制御可能な電子シャッター回路を備えた画像センサユニットセル
JP2013509820A (ja) * 2009-10-28 2013-03-14 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク 符号化ローリングシャッタの方法およびシステム
JP2016511539A (ja) * 2013-01-31 2016-04-14 アップル インコーポレイテッド 垂直積層型画像センサ
JP2014209103A (ja) * 2013-03-20 2014-11-06 コグネクス コーポレイション マシーンビジョン３ｄラインスキャンイメージ取得及び処理
JP2015215181A (ja) * 2014-05-08 2015-12-03 浜松ホトニクス株式会社 測距装置及び測距装置の駆動方法
WO2016010838A1 (en) * 2014-07-12 2016-01-21 Gibbons Robert C Read-out integrated circuit with integrated compressive sensing
WO2016028200A1 (en) * 2014-08-21 2016-02-25 Totalförsvarets Forskningsinstitut An imaging system parallelizing compressive sensing imaging
JP2016092593A (ja) * 2014-11-04 2016-05-23 キヤノン株式会社 撮像装置及びその制御方法

Also Published As

Publication number Publication date
WO2018195669A1 (en) 2018-11-01
CA3061622A1 (en) 2018-11-01
US20180331139A1 (en) 2018-11-15
KR102479014B1 (ko) 2022-12-16
JP2023052222A (ja) 2023-04-11
JP7208156B2 (ja) 2023-01-18
US10229943B2 (en) 2019-03-12
KR20200003858A (ko) 2020-01-10

Similar Documents

Publication Publication Date Title
JP7208156B2 (ja) ピクセルワイズイメージングの方法及びシステム
US11050963B2 (en) Method and apparatus for on-chip per-pixel pseudo-random time coded exposure
CN105144699B (zh) 阈值监测的有条件重置的图像传感器及其操作方法
CN105308747B (zh) 分离栅极有条件重置的图像传感器
Ma et al. Quanta burst photography
Heredia Conde Compressive sensing for the photonic mixer device
CN108307180A (zh) 图像传感器中的像素、成像单元、用于测距的系统及方法
TWI825092B (zh) 以多光二極體型像素單元量測入射光強度的設備和方法
US7767949B2 (en) Apparatus and method for capturing still images and video using coded aperture techniques
WO2020123476A1 (en) Pixel sensor having multiple photodiodes
KR20160124664A (ko) 포인트 스캔으로 삼각 측량을 이용한 깊이 측정을 위한 씨모스 이미지 센서
WO2017003477A1 (en) Method and apparatus for on-chip per-pixel pseudo-random time coded exposure
KR102573304B1 (ko) 이미지 센서, 픽셀 어레이 및 그 동작 방법
WO2017158483A1 (en) A vision sensor, a method of vision sensing, and a depth sensor assembly
US11877080B2 (en) Pixel sensor having shared readout structure
CN110007288A (zh) 图像传感器的像素和直接飞行时间范围测量的方法及系统
CN109792495A (zh) 摄像系统及摄像方法
US20220116556A1 (en) Method and system for pixel-wise imaging
Zhang et al. First arrival differential lidar
Gulve et al. 39 000-Subexposures/s Dual-ADC CMOS Image Sensor With Dual-Tap Coded-Exposure Pixels for Single-Shot HDR and 3-D Computational Imaging
Sarhangnejad Per-Pixel Coded-Exposure CMOS Image Sensors
Ma Resolving Motion with Single-Photon Cameras
Cheung CMOS active pixel sensor designs for fault tolerance and background illumination subtraction
KR20230126622A (ko) 3차원 모델의 생성 방법 및 이를 수행하는 데이터 처리 장치
Clapp et al. Focal-plane analog image processing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230105

R150 Certificate of patent or registration of utility model

Ref document number: 7208156

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150