JP2020519102A - ピクセルワイズイメージングの方法及びシステム - Google Patents
ピクセルワイズイメージングの方法及びシステム Download PDFInfo
- Publication number
- JP2020519102A JP2020519102A JP2019559035A JP2019559035A JP2020519102A JP 2020519102 A JP2020519102 A JP 2020519102A JP 2019559035 A JP2019559035 A JP 2019559035A JP 2019559035 A JP2019559035 A JP 2019559035A JP 2020519102 A JP2020519102 A JP 2020519102A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- light
- collection
- electronic signal
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 77
- 230000000873 masking effect Effects 0.000 claims abstract description 61
- 238000005286 illumination Methods 0.000 claims description 28
- 230000003287 optical effect Effects 0.000 claims description 27
- 238000012546 transfer Methods 0.000 claims description 21
- 238000005259 measurement Methods 0.000 claims description 18
- 230000000295 complement effect Effects 0.000 claims description 12
- 238000009792 diffusion process Methods 0.000 claims description 8
- 238000007667 floating Methods 0.000 claims description 8
- 230000001939 inductive effect Effects 0.000 claims description 4
- 238000002347 injection Methods 0.000 claims description 3
- 239000007924 injection Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 33
- 239000011159 matrix material Substances 0.000 description 28
- 238000013459 approach Methods 0.000 description 14
- 239000013598 vector Substances 0.000 description 14
- 230000000694 effects Effects 0.000 description 7
- 108020003175 receptors Proteins 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 238000002156 mixing Methods 0.000 description 5
- 238000005096 rolling process Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000011068 loading method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 2
- 238000000701 chemical imaging Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 108091008695 photoreceptors Proteins 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 239000003518 caustics Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010859 live-cell imaging Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
- H01L25/16—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different main groups of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. forming hybrid circuits
- H01L25/167—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different main groups of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. forming hybrid circuits comprising optoelectronic devices, e.g. LED, photodiodes
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computer Hardware Design (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Input (AREA)
Abstract
Description
ここで、cpは、フレームfのサブフレーム内のピクセルpのアクティブなバケットを指定するS次元の行ベクトルである。cfsは、フレームfのサブフレームsのすべてのピクセルのアクティブなバケットを指定する列ベクトルである。
ここで、行ベクトルlsは、各フレームのサブフレームsでのシーンの照明条件を示す。この例では、強度がベクトルlsで与えられる一連のL方向光源と、「常にオン」であるL番目の光源として扱われる(つまり、すべてのsにつき、要素ls[L]=1)、周囲光の存在下でlsの最初のL−1要素で指定されたパターンを投影するプロジェクタとの2種類のシーン照明が考慮される。
をそれぞれFフレームでピクセルpに関連付けられたバケット1とバケット0の強度を保持する列ベクトルとする。図22に図示するように、この強度は、L光源からピクセルに関連付けられた2つのバケットへの光輸送の結果としてモデル化される。
ここで、
は、行列又はベクトルbのバイナリ補数を示し、Cpはpに対応するコード行列のスライス、tpはピクセルの輸送ベクトルである。このベクトルの要素tp[l]は、1つのサブフレームのタイムスパンで、すべての光路と両方のバケットにわたってピクセルpに輸送される光源lの強度の割合を特定する。
※ピクセルp、バケット1、フレームfの照明条件
※ピクセルp、バケット0、フレームfの照明条件
によって与えられる2つの潜在的に異なる照明条件の下でシーンを「見る」と考えることができる。さらに、cp fがフレームごとに異なる場合、これらの照明条件も変化する。
を入力として使用して、各ピクセルでの複数の強度測定値からピクセルごとのジオメトリ(深さ、法線、又はその両方)を回復することができる。
で示され、各バケットの照明条件はベクトルl=cp fLと
で示される。
ここで、l、
、Dはすべて既知である。Dは照明条件を表し、xはピクセル固有の未知数を含む3Dベクトルであり、aは未知のスカラーであり、e、
は観測ノイズである。各問題に関連する仮定の概要、及び、各問題の量と上記の関係式の要因のマッピングについては、以下の表1を参照する。
上記の方程式は、要素として強度i、
を持っているため、暗黙的にアルベドに依存する。
強度のみを含む関係を取得するには:
※バケット測定(2F×1)
※バケット多重化マトリクスW(2F×S)
※照明l1,.....,1Sでのピクセル強度(S×1)
ランクW=分(F+1、S)
ここで、すべての多重化行列Wについて、最良の不偏線形推定器のMSEは、上記の式の下限を満たす。
は、画像センサ110の解像度の1/Fでサンプリングされる。フル解像度で3D形状を計算するには、画像デモザイキング技術によって照明モザイクをアップサンプリングし、ここで説明する技術をすべてのピクセルに個別に適用できる。カラーセンサに取り付けられ、通常変更できないカラーフィルターモザイクとは異なり、本実施形態の照明モザイクの取得は、あらゆるFに対して完全にプログラミング可能である。特定の場合、形状解像度を最大化するために、F=3又はF=2フレームを1つのショットに多重化する、可能な限り最も密度の高いモザイクの取得が考慮される。これを図23に示す。最初の3列のフレームは、3フレームコード行列Cによってキャプチャされたものである。この行列では、フレーム内のすべてのピクセルで同じであるが、フレーム間で異なる照明条件が割り当てられた。4列目には、一番右の画像の3ピクセルタイルを使用して左側のフレームを多重化する、1回のショットでキャプチャされた照明モザイクを示す。
を空間的に多重化する1フレームコード行列Cを特定することになる。これは、(1)センサ面の通常のFピクセルタイリングを定義し、(2)タイル内のピクセルとフレーム間の1対1の対応(pi、fi)、1≦i≦Fを特定することで行われる。
の列は、以下のように定義される。
Claims (39)
- シーンのピクセルワイズイメージングを行うためのシステムであって、
シーンから受光した光にさらされると電子信号を生成する感光性受容体をそれぞれ有するピクセル列を含む画像センサと、
各ピクセルにつき、各感光性受容体が受信した電子信号を統合することが可能な1つ又は複数の収集ノードを含む信号記憶モジュールと、
制御メモリと1つ又は複数の論理コンポーネントとを有する制御論理モジュールであって、前記制御メモリはピクセルワイズパターンを受け取り、前記ピクセルワイズパターンは画像センサの各ピクセルに対するマスキング値を含み、各ピクセルについて、前記1つ又は複数の論理コンポーネントは、各マスキング値に基づいて、電子信号を1つ又は複数の収集ノードのそれぞれに誘導する、ようにした、制御メモリと1つ又は複数の論理コンポーネントとを有する制御論理モジュールと、
を備えることを特徴とするシステム。 - 前記1つ又は複数の収集ノードは、ピクセル当たり正確に2つの収集ノードを含み、マスキング値は1桁のバイナリ値であり、高いバイナリ値は、電子信号を1つの収集ノードに誘導することを示し、低いバイナリ値は、電子信号を他の収集ノードに誘導することを示す、ことを特徴とする請求項1に記載のシステム。
- 前記1つ又は複数の収集ノードは、ピクセル当たり正確に4つの収集ノードを含み、マスキング値は2桁のバイナリ値であり、4つの収集ノードのそれぞれは2桁のバイナリ値の1つに関連付けられ、1つ又は複数の論理コンポーネントは、各2桁のバイナリ値に基づいて、電子信号を各収集ノードに誘導する、ことを特徴とする請求項1に記載のシステム。
- 前記制御メモリは、フレームごとに新しいピクセルワイズパターンを受け取り、1つ又は複数の論理コンポーネントは、新しいピクセルワイズパターンのマスキング値に基づいて電子信号を誘導する、ことを特徴とする請求項1に記載のシステム。
- 前記制御メモリは、サブフレームごとに新しいピクセルワイズパターンを受け取り、1つ又は複数の論理コンポーネントは、新しいピクセルワイズパターンのマスキング値に基づいて電子信号を誘導し、各フレームは複数のサブフレームを有する、ことを特徴とする請求項1に記載のシステム。
- 前記制御メモリは、
次のサブフレームの新しいピクセルワイズパターンを格納する第1のメモリユニットと、
現在のサブフレームのピクセルワイズパターンを格納する第2のメモリユニットと
を備えることを特徴とする請求項5に記載のシステム。 - 前記次のサブフレームの新しいピクセルワイズパターンが前記第1のメモリに順次ロードされ、前記現在のサブフレームのピクセルワイズパターンが前記第2のメモリに同時にロードされる、請求項6に記載のシステム。
- 前記画像センサは、ピン止めフォトダイオード、フォトゲート、電荷結合素子、電荷注入デバイス、単一光子アバランシェダイオードのうちの1つを含む、ことを特徴とする請求項1に記載のシステム。
- 前記論理コンポーネントは電荷移動ゲートを備え、収集ノードは浮遊拡散ノードを備える、ことを特徴とする請求項1に記載のシステム。
- 各収集ノードでの統合の測定値をデジタル化して出力するデジタル化モジュールをさらに備えることを特徴とする請求項1に記載のシステム。
- 前記画像センサはラインセンサであることを特徴とする請求項1に記載のシステム。
- 前記シーンから受光した光は、光源からの時間変調された光を含み、1つ又は複数の収集ノードは各ピクセルにつき正確に2つの収集ノードを含み、上記システムは、光源での変調光と感光性受容体で受光した光との位相差を測定することで変調光の飛行時間を決定するプロセッサをさらに備え、1つ又は複数の論理コンポーネントは、変調光の変調の第1の部分の間に電子信号を収集ノードの1つに誘導し、変調光の変調の第2の部分の間に電子信号を他の収集ノードに誘導する、ことを特徴とする請求項1に記載のシステム。
- 前記所定の経路タイプは、直接光路、間接光路、又は反射光路からなる群から選択される、ことを特徴とする請求項13に記載のシステム。
- 前記1つ又は複数の収集ノードは、各ピクセルにつき正確に2つの収集ノードを備え、上記システムは、シーンに光パターンを投影するプロジェクタをさらに備え、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、1つ又は複数の論理コンポーネントが電子信号を収集ノードの1つに誘導し、そうでない場合は他の収集ノードに誘導するような相補パターンを含む、ことを特徴とする請求項1に記載のシステム。
- 前記1つ又は複数の収集ノードは、各ピクセルにつき正確に1つの収集ノードを備え、上記システムは、シーンに光パターンを投影するプロジェクタをさらに備え、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、1つ又は複数の論理コンポーネントが電子信号を収集ノードに誘導し、それ以外の場合は、電子信号をブロック又は無視し、直接光路、間接光路、又は反射光路からなる群から所定の経路タイプを選択するような相補パターンを含む、ことを特徴とする請求項1に記載のシステム。
- 前記シーンから受光した光は、光源からの測光ステレオ光照明条件を含み、1つ又は複数の収集ノードは、各ピクセルにつき正確に2つの収集ノードを含み、1つ又は複数の論理コンポーネントは、第1の照明条件の間に電子信号を収集ノードの1つに誘導し、第2の照明条件の間に電子信号を他の収集ノードに誘導し、上記システムは、各ピクセルで受光した光の強度を決定することによりシーン内の1つ又は複数のオブジェクトの法線を決定するプロセッサをさらに備える、ことを特徴とする請求項1に記載のシステム。
- 前記法線は、2つ以上の隣接ピクセルの強度デモザイキングにより決定する、ことを特徴とする請求項16に記載のシステム。
- 前記法線は、2つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する、ことを特徴とする請求項16に記載のシステム。
- 前記シーンから受光した光は、光源からの構造化光照明条件を含み、1つ又は複数の収集ノードは、各ピクセルにつき正確に2つの収集ノードを含み、1つ又は複数の論理コンポーネントは、第1の照明条件の間は電子信号を収集ノードの1つに誘導し、第2の照明条件の間は電子信号を他の収集ノードに誘導し、上記システムは、光源のピクセルと画像センサのピクセルを用いた三角測量により、各ピクセルで受光した光の強度からシーン内の1つ又は複数のオブジェクトまでの深さを決定するプロセッサをさらに備える、ことを特徴とする請求項1に記載のシステム。
- 前記深さは、2つ以上の隣接するピクセルの強度デモザイキングにより決定する、ことを特徴とする請求項19に記載のシステム。
- 前記深さは、2つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する、ことを特徴とする請求項19に記載のシステム。
- シーンのピクセルワイズイメージングを行うための方法であって、
画像センサのピクセル列のうちの各ピクセルのマスキング値を含むピクセルワイズパターンを受け取る工程と、
そのようなピクセルがシーンから受光した光にさらされると、各ピクセルで電子信号を生成する工程と、
各ピクセルの電子信号を各マスキング値に基づいて該ピクセルに関連付けられた1つ又は複数の収集ノードに誘導する工程であって、前記1つ又は複数の収集ノードは各々は受信した電子信号を統合可能とする、工程と、
を備えることを特徴とする方法。 - 前記1つ又は複数の収集ノードは、各ピクセルにつき正確に2つの収集ノードを含み、マスキング値は1桁のバイナリ値であり、高いバイナリ値は、電子信号を収集ノードの1つに誘導することを示し、低いバイナリ値は、電子信号を他の収集ノードに誘導することを示す、ことを特徴とする請求項22に記載の方法。
- 前記1つ又は複数の収集ノードは、各ピクセルにつき正確に4つの収集ノードを含み、マスキング値は2桁のバイナリ値であり、4つの収集ノードはそれぞれ2桁のバイナリ値の1つに関連付けられ、電子信号は、各2桁のバイナリ値に基づいて各収集ノードに誘導される、ことを特徴とする請求項22に記載の方法。
- 前記フレームごとに新しいピクセルワイズパターンを受信し、新しいピクセルワイズパターンのマスキング値に基づいて電子信号が誘導される、ことを特徴とする請求項22に記載の方法。
- 前記サブフレームごとに新しいピクセルワイズパターンを受信し、電子信号は新しいピクセルワイズパターンのマスキング値に基づいて誘導され、各フレームは複数のサブフレームを含む、ことを特徴とする請求項22に記載の方法。
- 前記現在のサブフレームのピクセルワイズパターンを格納する工程と、
次のサブフレームの新しいピクセルワイズパターンを別々に格納する工程と、
をさらに備えることを特徴とする請求項26に記載の方法。 - 前記次のサブフレームの新しいピクセルワイズパターンが順次メモリにロードされ、現在のサブフレームのピクセルワイズパターンがメモリに同時にロードされる、ことを特徴とする請求項27に記載の方法。
- 前記各収集ノードでの統合の測定値をデジタル化して出力する工程をさらに備えることを特徴とする請求項22に記載の方法。
- 前記シーンから受光した光は時間的に変調された光を含み、1つ又は複数の収集ノードは各ピクセルにつき正確に2つの収集ノードを含み、上記方法は、光源での変調光と受光した光との位相差を測定することにより変調光の飛行時間を決定する工程をさらに備え、各ピクセルで電子信号を誘導する工程は、変調光の変調の第1の部分の間に収集ノードの1つに電子信号を誘導する工程と、変調光の変調の第2の部分の間に他の収集ノードに電子信号を誘導する工程とを含む、ことを特徴とする請求項22に記載の方法。
- 前記1つ又は複数の収集ノードは、各ピクセルにつき正確に2つの収集ノードを含み、上記方法は、光パターンをシーンに投影する工程をさらに備え、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、電子信号を収集ノードの1つに誘導し、そうでない場合は他の収集ノードに誘導するような相補パターンを含む、ことを特徴とする請求項22に記載の方法。
- 前記所定の経路タイプは、直接光路、間接光路、又は反射光路からなる群から選択される、ことを特徴とする請求項31に記載の方法。
- 前記1つ又は複数の収集ノードは、各ピクセルにつき正確に1つの収集ノードを含み、上記方法は、光パターンをシーンに投影する工程をさらに含み、ピクセルワイズパターンは、各ピクセルで受光した関連光がほぼ所定の経路タイプを含む場合、電子信号を収集ノードに誘導し、そうでない場合は、電子信号をブロック又は無視するような相補パターンを含み、直接光路、間接光路、反射光路からなる群から所定の経路タイプを選択する、ことを特徴とする請求項22に記載の方法。
- 前記シーンから受光した光は測光ステレオ光照明条件を含み、1つ又は複数の収集ノードは各ピクセルにつき正確に2つの収集ノードを含み、電子信号は第1の照明条件の間に収集ノードの1つに誘導され、第2の照明条件の間に他の収集ノードに誘導され、
各ピクセルで受光した光の強度を決定することによりシーン内の1つ又は複数のオブジェクトの法線を決定する工程をさらに備える、ことを特徴とする請求項22に記載の方法。 - 前記法線は、2つ以上の隣接するピクセルの強度デモザイキングにより決定する、ことを特徴とする請求項34に記載の方法。
- 前記法線は、2つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する、ことを特徴とする請求項34に記載の方法。
- 前記シーンから受光した光は、構造化光照明条件を含み、1つ又は複数の収集ノードは、各ピクセルにつき正確に2つの収集ノードを含み、第1の照明条件の間は電子信号を収集ノードの1つに誘導し、第2の照明条件の間は電子信号を他の収集ノードに誘導し、
光源のピクセルと画像センサのピクセルを用いた三角測量により、各ピクセルで受光した光の強度からシーン内の1つ又は複数のオブジェクトまでの深さを決定する工程をさらに備える、ことを特徴とする請求項22に記載の方法。 - 前記深さは、2つ以上の隣接するピクセルの強度デモザイキングにより決定する、ことを特徴とする請求項37に記載の方法。
- 前記深さは、2つ以上の隣接するピクセルの各ピクセルの収集ノードの比率を用いたデモザイキングにより決定する、ことを特徴とする請求項37に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023000522A JP2023052222A (ja) | 2017-04-28 | 2023-01-05 | ピクセルワイズイメージングの方法及びシステム |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762491620P | 2017-04-28 | 2017-04-28 | |
US62/491,620 | 2017-04-28 | ||
US201862649763P | 2018-03-29 | 2018-03-29 | |
US62/649,763 | 2018-03-29 | ||
PCT/CA2018/050496 WO2018195669A1 (en) | 2017-04-28 | 2018-04-27 | Method and system for pixel-wise imaging |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023000522A Division JP2023052222A (ja) | 2017-04-28 | 2023-01-05 | ピクセルワイズイメージングの方法及びシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020519102A true JP2020519102A (ja) | 2020-06-25 |
JP7208156B2 JP7208156B2 (ja) | 2023-01-18 |
Family
ID=63920110
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019559035A Active JP7208156B2 (ja) | 2017-04-28 | 2018-04-27 | ピクセルワイズイメージングの方法及びシステム |
JP2023000522A Pending JP2023052222A (ja) | 2017-04-28 | 2023-01-05 | ピクセルワイズイメージングの方法及びシステム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023000522A Pending JP2023052222A (ja) | 2017-04-28 | 2023-01-05 | ピクセルワイズイメージングの方法及びシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10229943B2 (ja) |
JP (2) | JP7208156B2 (ja) |
KR (1) | KR102479014B1 (ja) |
CA (1) | CA3061622A1 (ja) |
WO (1) | WO2018195669A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10234439B2 (en) * | 2012-11-07 | 2019-03-19 | Airscout Inc. | Methods and systems for analyzing a field |
US11184564B2 (en) * | 2017-04-28 | 2021-11-23 | The Governing Council Of The University Of Toronto | Method and system for pixel-wise imaging |
US11563911B2 (en) * | 2018-10-10 | 2023-01-24 | Northwestern University | Method and system for time-of-flight imaging with high lateral resolution |
US10791286B2 (en) * | 2018-12-13 | 2020-09-29 | Facebook Technologies, Llc | Differentiated imaging using camera assembly with augmented pixels |
US10791282B2 (en) | 2018-12-13 | 2020-09-29 | Fenwick & West LLP | High dynamic range camera assembly with augmented pixels |
US10855896B1 (en) | 2018-12-13 | 2020-12-01 | Facebook Technologies, Llc | Depth determination using time-of-flight and camera assembly with augmented pixels |
US11348954B2 (en) | 2019-03-19 | 2022-05-31 | Samsung Electronics Co., Ltd. | Time-resolving sensor for range measurement and 2D greyscale imaging |
CA3138215C (en) * | 2019-06-21 | 2024-06-18 | The Governing Council Of The University Of Toronto | Method and system for extending image dynamic range using per-pixel coding of pixel parameters |
DE102019124142A1 (de) * | 2019-09-09 | 2021-03-11 | pmdtechnologies ag | Lichtlaufzeitkamerasystem |
JP7371443B2 (ja) * | 2019-10-28 | 2023-10-31 | 株式会社デンソーウェーブ | 三次元計測装置 |
US10902623B1 (en) | 2019-11-19 | 2021-01-26 | Facebook Technologies, Llc | Three-dimensional imaging with spatial and temporal coding for depth camera assembly |
US11194160B1 (en) | 2020-01-21 | 2021-12-07 | Facebook Technologies, Llc | High frame rate reconstruction with N-tap camera sensor |
CN115993094B (zh) * | 2023-03-01 | 2023-09-12 | 大连交通大学 | 一种基于ccd相机的大型膜结构屋顶位移监测方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05176238A (ja) * | 1991-06-21 | 1993-07-13 | Sony Broadcast & Commun Ltd | 撮像装置 |
JP2003521836A (ja) * | 1999-03-04 | 2003-07-15 | ビジョン−サイエンシズ・インコーポレイテッド | 個別に制御可能な電子シャッター回路を備えた画像センサユニットセル |
JP2013509820A (ja) * | 2009-10-28 | 2013-03-14 | ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク | 符号化ローリングシャッタの方法およびシステム |
JP2014209103A (ja) * | 2013-03-20 | 2014-11-06 | コグネクス コーポレイション | マシーンビジョン3dラインスキャンイメージ取得及び処理 |
JP2015215181A (ja) * | 2014-05-08 | 2015-12-03 | 浜松ホトニクス株式会社 | 測距装置及び測距装置の駆動方法 |
WO2016010838A1 (en) * | 2014-07-12 | 2016-01-21 | Gibbons Robert C | Read-out integrated circuit with integrated compressive sensing |
WO2016028200A1 (en) * | 2014-08-21 | 2016-02-25 | Totalförsvarets Forskningsinstitut | An imaging system parallelizing compressive sensing imaging |
JP2016511539A (ja) * | 2013-01-31 | 2016-04-14 | アップル インコーポレイテッド | 垂直積層型画像センサ |
JP2016092593A (ja) * | 2014-11-04 | 2016-05-23 | キヤノン株式会社 | 撮像装置及びその制御方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7369167B2 (en) * | 2003-06-02 | 2008-05-06 | Micron Technology, Inc. | Photo diode ID for CMOS imagers |
US7973838B2 (en) * | 2006-07-07 | 2011-07-05 | Immersive Media Company | Active mask for electronic imaging system |
US8648948B2 (en) * | 2009-09-30 | 2014-02-11 | Infrared Newco, Inc. | Imaging systems with multiple imaging pixel types and related methods |
EP2385698A3 (en) * | 2010-04-30 | 2012-01-04 | Honda Motor Co., Ltd. | Imaging apparatus, imaging method, and imaging program |
US9741754B2 (en) * | 2013-03-06 | 2017-08-22 | Apple Inc. | Charge transfer circuit with storage nodes in image sensors |
US9549099B2 (en) * | 2013-03-12 | 2017-01-17 | Apple Inc. | Hybrid image sensor |
US20150022869A1 (en) * | 2013-07-17 | 2015-01-22 | Samsung Electronics Co., Ltd. | Demosaicing rgbz sensor |
US9467628B2 (en) * | 2014-08-26 | 2016-10-11 | Sensors Unlimited, Inc. | High dynamic range image sensor |
KR102224851B1 (ko) * | 2014-12-11 | 2021-03-08 | 삼성전자주식회사 | 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템 |
US10132616B2 (en) * | 2015-04-20 | 2018-11-20 | Samsung Electronics Co., Ltd. | CMOS image sensor for 2D imaging and depth measurement with ambient light rejection |
US9942503B2 (en) * | 2016-02-23 | 2018-04-10 | Semiconductor Components Industries, Llc | Image sensors having high-efficiency charge storage capabilities |
US10484628B2 (en) | 2016-10-21 | 2019-11-19 | The Johns Hopkins University | Flexible pixel-wise exposure control and readout |
-
2018
- 2018-04-27 WO PCT/CA2018/050496 patent/WO2018195669A1/en active Application Filing
- 2018-04-27 CA CA3061622A patent/CA3061622A1/en active Pending
- 2018-04-27 KR KR1020197035361A patent/KR102479014B1/ko active IP Right Grant
- 2018-04-27 US US15/964,722 patent/US10229943B2/en active Active
- 2018-04-27 JP JP2019559035A patent/JP7208156B2/ja active Active
-
2023
- 2023-01-05 JP JP2023000522A patent/JP2023052222A/ja active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05176238A (ja) * | 1991-06-21 | 1993-07-13 | Sony Broadcast & Commun Ltd | 撮像装置 |
JP2003521836A (ja) * | 1999-03-04 | 2003-07-15 | ビジョン−サイエンシズ・インコーポレイテッド | 個別に制御可能な電子シャッター回路を備えた画像センサユニットセル |
JP2013509820A (ja) * | 2009-10-28 | 2013-03-14 | ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク | 符号化ローリングシャッタの方法およびシステム |
JP2016511539A (ja) * | 2013-01-31 | 2016-04-14 | アップル インコーポレイテッド | 垂直積層型画像センサ |
JP2014209103A (ja) * | 2013-03-20 | 2014-11-06 | コグネクス コーポレイション | マシーンビジョン3dラインスキャンイメージ取得及び処理 |
JP2015215181A (ja) * | 2014-05-08 | 2015-12-03 | 浜松ホトニクス株式会社 | 測距装置及び測距装置の駆動方法 |
WO2016010838A1 (en) * | 2014-07-12 | 2016-01-21 | Gibbons Robert C | Read-out integrated circuit with integrated compressive sensing |
WO2016028200A1 (en) * | 2014-08-21 | 2016-02-25 | Totalförsvarets Forskningsinstitut | An imaging system parallelizing compressive sensing imaging |
JP2016092593A (ja) * | 2014-11-04 | 2016-05-23 | キヤノン株式会社 | 撮像装置及びその制御方法 |
Also Published As
Publication number | Publication date |
---|---|
US10229943B2 (en) | 2019-03-12 |
KR20200003858A (ko) | 2020-01-10 |
JP7208156B2 (ja) | 2023-01-18 |
CA3061622A1 (en) | 2018-11-01 |
KR102479014B1 (ko) | 2022-12-16 |
WO2018195669A1 (en) | 2018-11-01 |
US20180331139A1 (en) | 2018-11-15 |
JP2023052222A (ja) | 2023-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7208156B2 (ja) | ピクセルワイズイメージングの方法及びシステム | |
US11050963B2 (en) | Method and apparatus for on-chip per-pixel pseudo-random time coded exposure | |
CN105144699B (zh) | 阈值监测的有条件重置的图像传感器及其操作方法 | |
CN105308747B (zh) | 分离栅极有条件重置的图像传感器 | |
Ma et al. | Quanta burst photography | |
CN108307180A (zh) | 图像传感器中的像素、成像单元、用于测距的系统及方法 | |
TWI825092B (zh) | 以多光二極體型像素單元量測入射光強度的設備和方法 | |
US7767949B2 (en) | Apparatus and method for capturing still images and video using coded aperture techniques | |
CN112640436A (zh) | 具有多个光电二极管和共享比较器的像素传感器 | |
WO2020123476A1 (en) | Pixel sensor having multiple photodiodes | |
Cho et al. | A 3-D camera with adaptable background light suppression using pixel-binning and super-resolution | |
KR20160124664A (ko) | 포인트 스캔으로 삼각 측량을 이용한 깊이 측정을 위한 씨모스 이미지 센서 | |
WO2017003477A1 (en) | Method and apparatus for on-chip per-pixel pseudo-random time coded exposure | |
US11877080B2 (en) | Pixel sensor having shared readout structure | |
WO2017158483A1 (en) | A vision sensor, a method of vision sensing, and a depth sensor assembly | |
CN109792495A (zh) | 摄像系统及摄像方法 | |
US20220116556A1 (en) | Method and system for pixel-wise imaging | |
Gulve et al. | 39 000-Subexposures/s Dual-ADC CMOS Image Sensor With Dual-Tap Coded-Exposure Pixels for Single-Shot HDR and 3-D Computational Imaging | |
Sarhangnejad | Per-Pixel Coded-Exposure CMOS Image Sensors | |
Ma | Resolving Motion with Single-Photon Cameras | |
Clapp et al. | Focal-plane analog image processing | |
Cheung | CMOS active pixel sensor designs for fault tolerance and background illumination subtraction | |
Ma et al. | Seeing Photons in Color | |
Zhao | Computational photography with novel camera sensors | |
Cheung | CMOS active pixel sensor for fault tolerance and background illumination subtraction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211109 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220826 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230105 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7208156 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |