JP2019110564A - センサの全解像度における複数のタイプのデータを測定するためにアレイセンサを使用する方法 - Google Patents
センサの全解像度における複数のタイプのデータを測定するためにアレイセンサを使用する方法 Download PDFInfo
- Publication number
- JP2019110564A JP2019110564A JP2019023963A JP2019023963A JP2019110564A JP 2019110564 A JP2019110564 A JP 2019110564A JP 2019023963 A JP2019023963 A JP 2019023963A JP 2019023963 A JP2019023963 A JP 2019023963A JP 2019110564 A JP2019110564 A JP 2019110564A
- Authority
- JP
- Japan
- Prior art keywords
- data
- light
- type
- sensor array
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000033001 locomotion Effects 0.000 claims abstract description 24
- 239000002131 composite material Substances 0.000 claims description 40
- 238000003491 array Methods 0.000 claims description 37
- 238000003384 imaging method Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 21
- 230000000903 blocking effect Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 7
- 238000013500 data storage Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 45
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000000593 degrading effect Effects 0.000 abstract 1
- 238000005259 measurement Methods 0.000 description 44
- 238000013459 approach Methods 0.000 description 36
- 238000003860 storage Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 14
- 238000013461 design Methods 0.000 description 11
- 238000001228 spectrum Methods 0.000 description 10
- 238000004566 IR spectroscopy Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000010354 integration Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 239000011295 pitch Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 235000012745 brilliant blue FCF Nutrition 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000003319 supportive effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/48—Increasing resolution by shifting the sensor relative to the scene
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
- H01L27/14607—Geometry of the photosensitive area
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14632—Wafer-level processed structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Human Computer Interaction (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
Description
[相互参照]
[0001] 本出願は、以下の出願、すなわち、2014年6月17日に出願された米国出願第14/306,844、2013年10月4日に出願された米国出願第61/961,031、2013年10月25日に出願された米国出願第61/961,821、及び2014年1月9日に出願された米国出願第61/925,339の優先権の利益を要求するものであり、それらの全開示を参照によって本明細書に組込まれる。
次に、深さのマイクロセンサが可視光のマイクロセンサ「の下に」置かれる場合、可視画像の品質に劇的な劣化が生じ得る。
[0045]用語「少なくとも1つ」、「1つ以上」、及び「及び/または」は、動作において接続的及び離接的の両方のである開放型の表現である。例えば、「A、BおよびCの少なくとも1つ」、「A、B又はCの少なくとも1つ」、「A、BおよびCの1つ以上」、「A、B又はCの1つ以上」、「A、Bおよび/またはC」の各表現は、A単独、B単独、C単独、A及びBの両方、A及びCの両方、B及びCの両方、又はA、BおよびCの両方を意味する。
いくつかの実施形態では、本明細書に記載された装置、デバイス、およびシステムは、画像処理システム、又はその使用を含んでいる。画像処理システムは、1つを超える測定のタイプの測定をすることができるセンサアレイを含む。この能力は様々な技術によって実現される。様々な実施形態では、センサアレイは、あたかもそれが単一のタイプのマイクロセンサから形成されたかのように、このセンサがデータを得ることを可能にする、マイクロ電気機械システム(MEMS)と結び付けられた1つ以上のタイプのマイクロセンサを含んでいる。いくつかの実施形態では、MEMSは全センサアレイを移動させる;他の実施形態では、MEMSは、センサアレイの1つ以上の要素を移動させる。要素は1つ以上の選択されたセンサおよび/または1つ以上の選択されたセンサの上(又は全アレイ上)に位置づけられた光フィルタを含む。この画像処理システムの機械的部品の移動は、一般にセンサアレイでの異なるタイプのマイクロセンサのレイアウトの機能である。本明細書において使用されるように、センサとマイクロセンサは交換可能に使用される。
[0056] アレイの概要は図2に表される。当該概要は、マイクロセンサのコンセプトおよび2次元アレイの形態の構成を示す。図2は、第1、第2、第3、及び第4のマイクロセンサから形成されるアレイの一部を示す。第1、第2、第3及び第4のマイクロセンサのおのおのは、格子線によって定義されるとおりの特定の高さと幅を持っている。この領域の部分は光を電気に変換する特定の部分であり;この領域は4aと4bと示されている。この領域とマイクロセンサの領域の間の比率(幅 x 高さである)は、マイクロセンサの充填率(画素充填率)と呼ばれる。したがって、光がこれらのマイクロセンサのおのおのに到達すると、光はアナログ値として読み出される電気的信号に変換される。値が読みだされるマイクロセンサの選択は、参照符号5で示された行と、参照符号6で示された列を選択することによってなされ、このマイクロセンサの回路が接続される。この値は増幅器を介してデジタル値に変換され、デジタル計算および処理システム(図示せず)での後の使用のためにメモリに格納される。
[0061] 光結合の最大化のため、即ち光学データの最大量を集めるために、画素アレイは図4に表されるようなレンズ組立体で覆われることができる。レンズ組立体の機械的要素は光学レンズを含む。(シーンの焦点を合わせるために使用される)レンズは、通常、バレル内に、ねじ止めされて収容され、画素アレイをカバーする。画素アレイに到達する光は一般的にレンズを介してのみ到来する。レンズの中心は画素アレイの中心であり得る。認識されるように、これは完璧であることを保証することができない。よって、それはコンピュータビジョンの分野で周知のカメラキャリブレーションプロセスのパラメータの1つである。
[0062] マイクロレンズは、その名前が意味するように、すべてのマイクロセンサ(画素)に置かれる構造である。典型的には1つの画素のみをカバーするのはレンズである。マイクロレンズは、各画素自体に集められる光の量を増加させることができ、それゆえ、対応するセンサのより多くの光を集める能力を増加させ、低い光の環境での作業を増加させる。従って、マイクロレンズは、各画素の信号対雑音比を増加させ得る。図5は、マイクロレンズの断面を示す。光は、マイクロレンズの凸面に到達する。凸面は、マイクロセンサ(画素)の光感知可能な領域に到達する光を平行にする。当該領域は上述される通り電気的なものでありフォトダイオードである。光に起因する電気的信号を集めることを支持する電子機器も示される。充填率も、全画素の幅に対する光感知可能な領域の幅として表される。一つの画素から他の画素まで光が漏れないために、ソリッド側が画素のまわりに構築され、描かれる。
[0063] 他のタイプのデータを阻止しつつ、マイクロセンサ(画素)を1つのタイプのデータを感知可能にするために、光学フィルタが採用され、必要とされるか又は望まれるデータを受け入れる一方で、必要とされないか又は望まれないデータを阻止する。例示のために、必要とされるか又は望まれるデータが(タイプ1のデータとしての)可視画像データで、望まれないデータが(タイプ2のデータとしての)赤外線(IR)データである場合、その応答が図6に描かれるフィルタが使用される。図6はフィルタの透過率応答を示し、当該フィルタは選択された画素に適用され、タイプ1のデータを受け入れ感知する一方で、逆にタイプ2のデータを拒絶する(あるいは、感知しない)。
[0066] 撮像とコンピュータビジョンの実施形態には、典型的には測定される必要のある2つの異なるタイプの測定を有する;従って、通常、これらのタイプのデータを測定するために必要とされる2つのタイプのマイクロセンサ(画素)が存在する。1つのタイプのマイクロセンサは可視光線を感知可能にされ、他のタイプのマイクロセンサは赤外線(IR)波長を感知可能である。これは、深さデータと同様に画像も得るカメラで使用されるセンサアレイを開発する情況において特に有益である。しかしながら、本明細書で説明された方法論は、センサアレイをマイクロセンサのその全解像度で感知可能にするために、1つを超えるタイプのデータに適用することができる。全解像度は、すべての画素が着信データの測定で使用されることを意味する。異なる2つのタイプのデータは、撮像とコンピュータビジョンのフィールドに関連付けられて測定されるために選択される。そして、これらの2つのタイプのデータは、可視光強度および赤外光強度、又は略してビデオデータおよび赤外線データである。
[0071] 1つを超えるタイプの測定を行う画像処理システムを作成するために、個別のセンサはすべてのタイプの測定のために使用される。例えば、1つが可視光を捉える場合(デジタルカメラが主たる例である)、(通常、赤、緑および青の色帯における)可視光を捉えるだけのために適切なフィルタで改造された単一のセンサアレイが存在する。
[0074] いくつかの実施形態は、矩形の第4の画素としての深さ画素が存在し、当該矩形の第4の画素はその画素自体と他の3つの画素によって形成され、該他の3つの画素は、図9に示されるとおり、それぞれ赤色、緑色および青色を感知可能である。図は参照符号R、GおよびBが付けられた3つの画素を示しており、赤、緑、及び青の対応する色を感知可能である一方で、参照符号Dが付けられた画素は赤外線信号を測定する画素であり、該赤外線信号から後に深さが数学的に計算される。
[0076] 深さセンサだけを使用するシステムは、注意したように欠点がある。それらは映像データを提示せず、単に「レンジ(範囲)」カメラである。それらは典型的には光源、検出器および信号プロセッサを含んでいる。光源は、基準タイムポイントを有する送信制御信号に従ったターゲットにソース信号を送信する。検出器はターゲットから反射されるソース信号からの反射信号を受け取る。信号プロセッサは、基準タイムポイントとは異なった時間遅れとそれぞれの時限中に反射信号のそれぞれの部分を競わせることにより、多くの感じられた値を生成する。信号プロセッサは、ターゲットの距離を決定するために感知された値の最大/最小に対するそれぞれの遅延時間を決定する。本開示のシステムは範囲(range)カメラとして使用することができる一方で、映像データの提供を含む種々様々の撮像動作を実行することができる。
[0077] いくつかの実施形態で、本明細書に開示された主題である、センサアレイおよび撮像処理システムは、各々が測定される解像度を犠牲にせずに、単一のアレイを用いて可視光および赤外光の測定を達成することができる。これはアレイを単一又は共通のチップ上に位置付けることを可能にし、次の主な長所がありうる。
1−コンパクト性、故にそれらが採用されるシステムの小型化に適用可能
2−他のより大きなシステムへのシステム統合の容易さ
3−2つの異なるセンサによる測定から発生する一致および閉塞の問題を解決する。
4−(実施形態1における)画素間の物理的最大近傍による正確な深さおよび映像データによるマッチング、及びセンサ画素アレイを移動させることによる実施形態1において、及び画素をカバーするフィルタを移動させることによる実施形態2において、同一の位置に存在する2つのタイプの画素によるデータの測定によって(実施形態2における)画像と深さの両方のための同一の画素の使用。従って実際には、データを感知する画像および深さの局在性には相違はない。
5−1つのアレイと1枚のレンズの使用による1組の組込みカメラパラメータ。
[0082] この説明は2つの主要部分に分割することができる:
A−マイクロセンサアレイ設計および使用される異なるアプローチ
B−デジタル回路
<マイクロセンサ(画素)アレイ、およびアレイのレイアウト設計への異なるアプローチ>
[0091] センサアレイへの以前のアプローチはデジタルシステムで具体化され、当該デジタルシステムはセンサが映像データと深さデータを伝えることができるようにするために必要とされる機能性を提供すると同様に当該アプローチの実行を達成するために他の支援回路要素を有している。画素アレイおよび支援回路の例示的な実施形態は図10を使用して説明される。レンズは画像処理システム上に位置し、全アレイへ光学信号を集め、導く。システムは、共通のチップ又は回路ボード上にある要素を意味する。
[00102] 画像処理システムは(マイクロ)センサアレイを含み、タイプ1とタイプ2のマイクロセンサの間、例えば赤外線感知可能な画素並びに規則的な可視カラー選択性の画素(赤、緑および青を感知可能)の間に、組み合わせが存在する。画素は、好ましくは組み合わせパターンで、共通の基板に置かれる。組み合わせるパターンは、行又は列若しくはその両方に存在し得る。
(1)すべてのマイクロセンサ(画素)は同様のレイアウトで製造される。
(2)A−カラーフィルタ(図6に示される可視光フィルアタドミタンス応答を備え、B、GおよびRで示される)が、赤、緑および青の可視光の感知に使用される図11中の画素に適用される。本実施形態では、画素は行0及び行1に適用され、緑と赤の組み合わせの画素として行0に適用され、青と緑の組み合わせ画素として行1に適用され、ついで、行2および行3を飛ばして行4及び行5に適用され、同様に行0及び行1に適用され、さらにアレイの端部まで適用される。
(3)B−IR阻止フィルタが、可視光を感知可能であるこれらのフィルタに適用される。すなわち:図12に示されるように、本実施形態においては行0、1、および行4、5・・・。
(4)他の行、即ち行2および行3、次に、行6および行7などは、赤外線を感知可能である。赤外線阻止フィルタおよびカラーフィルタは適用されない。図12における。
(5)マイクロレンズは、各画素自体に集められた光量を増加させる。各画素の集光効率を増加させるために、マイクロレンズは全画素アレイの各画素上に適用される。
異なる第2の時間に、第2の動作モードで、すべて又は一部の画素アレイがMEMSによって第1位置と異なる第2位置に移動される。第2位置では、タイプ2のデータに感知可能な画素が位置してタイプ2のデータを集める一方で、タイプ1のデータに感知可能な画素は、第1のタイプのデータを集めないように位置する。この位置では、タイプ2のデータは、タイプ2のデータに感知可能な画素から読み出される。別の実施形態では、タイプ1のデータに感知可能な画素は第2の動作モードでタイプ1のデータを集めることができる。
[00112] 本実施形態中の画像取得の動作は、図2に示される画素レイアウトの場合においてのみ説明される。組み合わせは垂直方向(紙面において)になされるが、動作は水平全方向(紙面において)と同一である。動作は、組み合わせの他のすべてのパターンで拡張することができる。
1−フレーム(あるいはフレームA)は捕捉され、読みだされ、メモリに格納される(図10に示されるように、格納動作は前のセクションで説明されている)
2−センサが上方に移動される(紙面において)。
3−他のフレーム(あるいはフレームB)は捕捉され、読みだされ、格納される(図10に示されるように、格納動作は前のセクションで説明されている)。
4−両方のフレームからのデータはタイプ1のデータの全フレーム(映像処理で使用される可視画像フレーム)、およびタイプ2のデータの全フレーム(深さ計算で使用される赤外線フレーム)を生成するために使用される。
5−画像処理システムがこれらの2つのタイプのデータを集めるために動作される限り、ステップ1−4は繰り返し続ける。
<混合データを読み格納する>
1 −カラーフィルタパターンは、ベイヤーパターンとしてまだ保存され、それゆえ利用可能な画素プロセッサソフトウエアおよびハードウェアは、この画像/深さセンサと互換性がある。これは主な利点である。なぜならベイヤーパターン処理は非常に成熟していて、CMOS(CCDと同様)カメラのための画像処理システムにおいて殆ど標準的であるからである。しかしながら、本実施形態は、すべてのパターンに適用することができ、それらの併用が白を含むすべての色を提供することができる限り、R、G、B光受入フィルタはカラーフィルタの全ての(シアン、マジェンタおよび黄色又は他の色など)3つの組であり得ることに留意されたい。
2 −第1のアプローチにおいて、全センサが移動され、規則的なCMOS映像センサの規則的な製作からの偏差が制限されている。従って、本テクノロジーはこの第1の実施形態を容易に実行するのに成熟している。さらに、MEMSからの必要な運動は簡単である。
[00132] 本開示が赤外線計測を意味するものは、光の使用、あるいはやや構造化した光パターンであり、その波長は赤外光スペクトルに当たる。その理由は、これらの光が獲得したイメージに「現われない」ように、画像獲得などの「感知可能」又は「可視」撮像機能を備えた光パターン間の干渉を回避することである。構造化光は、シーン上に画素の既知パターンを投影する処理である。これらの光パターンは、線、格子及び/又は円の形態であり得る。表面を打つ場合のこれらが変形は、視覚装置がシーンの対象の深さおよび表面情報を計算することを可能にする方法である。あるいは、これらの形状は、異なる周波数を備えた、シヌソイド関数または二乗関数の形をしている光強度グレージングのような関数の形態であり得る。投影光からセンサによって検知されるような「位相」の変更は、シーンにおける点の深さの関数である。これらのアルゴリズム及びその異なる拡張をカバーする多数の刊行物が存在する。本実施形態では、これらのアルゴリズムのいずれも採用することができる。人間の目に見えない(あるいは微細な)構造化光は、干渉しない波長を有する光を使用する。
[00133] 本開示は、同じアレイを備えた1つのタイプを超えるデータの測定を達成するために単一の画素アレイのチップ上のシステムを設計するための異なるアプローチをカバーした。そこで、この「チップ」の例示的な実施形態は示されるだろう。本開示はさらに、データが2つのタイプの感知されたデータの混合である場合にメモリへのセンサがデータ出力を格納する方法論について説明した。上記のものを実装するデジタルシステムの実施形態が下記に述べられる。
A−異なるパターンを備えた赤外線発光装置で、図10(及び図17に示された)のセンサアレイ上の3つの円として示される。それらの数に実際は制限はなく、赤外線マイクロセンサと一般的な可視光マイクロセンサ(カラー画像画素)によって目に見える限りそれらが作用する波長域と分布に制限はない。
B−チップ上のMEMSマイクロホンアレイ
C−X−Y−Z加速度計およびX−Y−Zジャイロ
D−画像アプリケーションを得る間に質を改善するのを支援するためのストロボ光、即ち(図19における)フラッシュ。
1−ゲーミング;
光を発光し、深さと映像センサの両方として役割を果たすシングルチップを有することによる高集積は、システムの如何なるビデオカメラも、我々の発明と取り替えることができる。これは、実際にすべての計算および通信デバイスの3D撮像アプリケーションの集積化を促進する。
2−計算及び通信装置用のヒューマンユーザインターフェースは、ラップトップ及びモバイルデバイス上のカメラおよび表面相互作用の計算パッドをすべて交換することができる。これは、そこで、我々のデバイスが画像センサ、深さセンサ、あるいは両方として使用することができる、新しいアプリケーションへ引き上げる。
3−増大された現実のアプリケーションは、デバイス上の3Dカメラの存在によりモバイルデバイス、タブレットおよびラップトップ上でコード化されるために非常に促進されるだろう。これは、3Dデータ、映像データが、単一のセンサに統合されるからである。増大された現実のアプリケーションで、これらのデータ(シーンの映像と三次元データは既に空間に一致している。なぜなら、それらは同じセンサから招来するからである)は、異なるアプリケーションであるビデオゲーム、教育、訓練及びマーケティングに適している三次元グラフィックに統合される。
4−犯人の3Dトラッキングが達成されるセキュリティ/監視で、それは新しいアルゴリズムを作ることができる。
5−3D印刷、本センサは、3Dデータを印刷するためにハードウェアとソフトウェアを含むデジタルシステムを介して接続することができ、これはセンサによって得られ、処理されて測定から3Dデータを回復し、プリンタにそれを送る。
Claims (36)
- 装置であって、
(a)ベイヤーパターンデータを検出するための第1の複数の対の隣接するリニアアレイと異なるタイプのデータを検出するために前記第1の複数の対の隣接するリニアアレイの対の間に位置付けられた異なるパターンを有する第2の複数の対の隣接したリニアアレイ上に成膜された複数のベイヤーパターンを備え、
(b)第1位置から第2位置まで前記センサアレイを移動するためアクチュエータであって、前記第1の複数の対の隣接したリニアアレイの物理的な位置が、前記第2の複数の対の隣接したリニアアレイの物理的な位置と互い違いになるアクチュエータ、及び
(c)前記ベイヤーパターンデータと前記第1位置及び第2位置とは異なるタイプのデータを出力するために前記アクチュエータと前記センサアレイに接続された回路を含むことを特徴とする装置。 - 前記ベイヤーパターンデータの各画素は前記第1位置又は前記第2位置と関連づけられて出力され、前記異なるタイプのデータの各画素は第1位置又は第2位置と関連づけられて出力される請求項1に記載の装置。
- 前記異なるパターンは、赤外線フィルタパターン、紫外線フィルタパターン、非ベイヤー可視光フィルタパターン又はフィルタを含まないパターンの1つ以上を含む請求項1に記載の装置。
- 第1の複数の隣接したリニアアレイの各対は2つの隣接したリニアアレイの対を含み、第2の複数の隣接したリニアアレイの各対は2つの隣接したリニアアレイの対を含む請求項1に記載の装置。
- 第1の複数の隣接したリニアアレイの各対は3以上の隣接したリニアアレイの対を含み、第2の複数の隣接したリニアアレイの各対は3以上の隣接したリニアアレイの対を含む請求項1に記載の装置。
- 前記センサアレイが第1位置に位置するとき信号を出す第1のリミットスイッチと、前記センサアレイが第2位置に位置するとき信号を出す第2のリミットスイッチをさらに含み、前記回路は、第1位置に移動する前記センサアレイを感知する前記第1のリミットスイッチに応答して前記センサアレイの前記第1位置の第1の複合データを統合し、第2位置に移動する前記センサアレイを感知する前記第2のリミットスイッチに応答して前記センサアレイの第2の複合データを統合するように構成される請求項1に記載の装置。
- 回路は、前記第1の複合データおよび前記第2の複合データからベイヤーパターンデータを生成し、前記第1の複合データおよび前記第2の複合データから異なるタイプのデータを生成するように構成される請求項1に記載の装置。
- 前記回路は、センサアレイを前記第1位置に移動させ、前記第1位置で前記センサアレイの第1のデータを測定し、かつ前記センサアレイを前記第2位置に移動させ、前記第2位置で前記センサアレイの第2のデータを測定する命令を含み、前記プロセッサはベイヤーパターンを有する前記第1の複数の隣接したリニアアレイから第1の全フレーム画像を提供し、異なるパターンを有する前記第2の複数の隣接したリニアアレイから第2の全フレーム画像を出力する命令を含み、センサは多数の画素を含み、前記第1の全フレーム画像及び前記第2の全フレーム画像のおのおのは前記センサアレイの多数の画素を含む請求項1に記載の装置。
- 前記アクチュエータはマイクロ電気機械システムを含む請求項1に記載の装置。
- 前記複数のベイヤーパターンのおのおのは、赤色光を感知する赤色画素、青色光を感知する青色画素および緑色光を感知する1対の対角方向の緑色画素を含む請求項1に記載の装置。
- センサアレイから生成された出力を格納するためデジタルデータ記憶装置を更に含む請求項1に記載の装置。
- 前記出力をデジタルデータ記憶装置に転送すること、
画像取得のタイミング、アレイの移動、回路を構成すること、
画像形成を構成すること、及び
画像を生成することの1つ以上を制御するためにデジタル信号プロセッサをさらに含む
請求項1に記載の装置。 - システムであって:
(a)第1のタイプのデータと第2のタイプのデータを感知するために動作可能なセンサアレイであって、前記第1及び第2のタイプのデータが異なるセンサアレイと、
(b)マイクロ電気機械システム(MEMS)
を含み、
前記マイクロ電気機械システムは(1)前記センサアレイと(2)フィルタの少なくとも1つを移動させるものであり、
前記センサアレイは共通の位置でセンサアレイの異なるセンサが前記第1及び第2のタイプのデータの異なるデータ捕捉するように移動され、
前記フィルタは、選択されたセンサが当該フィルタの位置に依存して第1及び第2のタイプのデータを捕捉することができるように移動され、前記センサアレイの前記センサの少なくとも1つの上に位置づけられてなるを備えているシステム。 - 第1の動作モードにおいて、第1の複合フレームはセンサアレイによって捕捉され、第2の動作モードにおいて、第2の複合フレームはセンサアレイによって捕捉され、前記第1及び第2の複合フレームは各々第1及び第2のタイプのデータを含み、前記第1及び第2の複合フレームは前記第1のタイプのデータのみを含む第1のフレームと、前記第2のタイプのデータのみを含む第2のフレームに分割され、
前記第1及び第2のフレームは、異なる離散的なコンピュータ可読媒体に格納され、前記第1のタイプのデータは可視光であり、前記第2のタイプのデータは赤外光である
請求項13に記載のシステム。 - 第1の動作モードにおいて、第1の複合フレームはセンサアレイによって捕捉され、第2の動作モードにおいて、第2の複合フレームはセンサアレイによって捕捉され、前記第1及び第2の複合フレームは各々第1及び第2のタイプを含み、前記第1及び第2の複合フレームは前記第1のタイプのデータのみを含む第1のフレームと、前記第2のタイプのデータのみを含む第2のフレームに分割され、
前記第1及び第2のフレームは、異なる不揮発性メモリ部に格納され、前記第1のタイプのデータが青色光、緑色光および赤色光の1つ以上であり、前記第2のタイプのデータは赤外光である請求項13に記載のシステム。 - 前記センサアレイは、前記第1のタイプのデータを感知する第1の組のセンサと、前記第2のタイプのデータを感知する第2の組のセンサとを備え、前記第1の組のセンサが第2の組のセンサとは異なる構成を有し、前記MEMSが前記センサアレイを第1位置から第2位置まで移動させて、前記第1フレームと前記第2フレームをそれぞれ捕捉する請求項13に記載のシステム。
- センサの第1及び第2の組は互いに組み合わせがなされ、該組み合わせが行毎に、及び/又は列毎になされ、前記MEMSによる前記センサアレイの運動の距離及び方向が採用される組み合わせのタイプの機能である請求項16に記載のシステム。
- 前記MEMSは、選択されたセンサが前記フィルタの位置に依存して第1または第2のタイプのデータを捕捉できるように前記センサの少なくとも1つの上に位置付けられたフィルタを移動させる請求項13に記載のシステム。
- 前記第1のタイプのデータは青色光、緑色光及び赤色光の1つ以上であり、前記第2のタイプのデータは赤外光であり、前記フィルタブロックが、
(a)赤外光を通しながら青色光、緑色光、および赤色光の1つ以上を実質的に阻止するか、又は
(b)青色光、緑色光および赤色光の1つ以上を通しながら赤外光を実質的に阻止し、
前記第1の動作モードにおいて、前記MEMSは、選択されたセンサと光が接触する前に、光をフィルタリング処理するために選択されたセンサ上に前記フィルタを位置づけ、
前記第2の動作モードにおいて、前記MEMSは選択されたセンサから前記フィルタを除去し、フィルタリングされていない選択されたセンサと光が接触することを可能にする請求項18に記載のシステム。 - 前記第1のタイプのデータは青色光、緑色光及び赤色光の1つ以上であり、前記第2のタイプのデータは、赤外光であり、第1のフィルタブロックが、赤外光を通しつつ前記青色光、緑色光及び赤色光の1つ以上を実質的に阻止し、前記第2のフィルタブロックが前記青色光、緑色光及び赤色光の1つ以上を通しつつ赤外光を実質的に阻止し、
第1の動作モードにおいて、前記MEMSは、光が選択されたセンサと接触する前に、光をフィルタリング処理するために選択されたセンサ上に、前記第2のフィルタではなく前記第1のフィルタを位置づけ、
第2の動作モードにおいて、前記MEMSは、光が選択されたセンサと接触する前に、光をフィルタリング処理するために選択されたセンサ上に、前記第1のフィルタではなく前記第2のフィルタを位置付ける請求項18に記載のシステム。 - 方法であって、
(a)第1の時間間隔に亘って、センサアレイによって、該第1および第2のタイプのデータが異なっており、第1及び/又は第2のタイプのデータを捕捉する工程、
(b)マイクロ電気機械システム(MEMS)によって、共通の場所においてセンサアレイの異なるセンサが第1及び第2のタイプのデータの異なるものを捕捉するように、(1)前記センサアレイと、(2)フィルタの少なくとも1つを移動させる工程であって、選択されたセンサがフィルタの場所に依存する第1または第2のタイプのデータを捕捉することができる(1)前記センサアレイと、(2)フィルタの少なくとも1つを移動させる工程、(2)センサの少なくとも1つの上に位置づけられたフィルタの、少なくとも1つを、および
(c)第2の時間間隔に亘って、前記MEMSによる移動の後、前記センサアレイによって第1および/または第2のタイプのデータを捕捉する工程を含む方法。 - 第1の動作モードにおいて、第1の複合フレームはセンサアレイによって捕捉され、第2の動作モードにおいて、第2の複合フレームはセンサアレイによって捕捉され、
前記第1及び第2の複合フレームは各々第1及び第2のタイプのデータを含み、
第1及び第2のタイプの複合フレームは、第1のタイプのデータのみを含む第1のフレームと、第2のタイプのデータのみを含む第2のフレームに分割され、
前記第1及び第2のフレームは、異なる離散的なコンピュータ可読な媒体に格納され、
第1のタイプのデータは可視光であり、第2のタイプのデータは赤外光である請求項21に記載の方法。 - 第1の動作モードにおいて、第1の複合フレームはセンサアレイによって捕捉され、第2の動作モードにおいて、第2の複合フレームはセンサアレイによって捕捉され、
前記第1及び第2の複合フレームは各々第1及び第2のタイプのデータを含み、
第1及び第2のタイプの複合フレームは、第1のタイプのデータのみを含む第1のフレームと、第2のタイプのデータのみを含む第2のフレームに分割され、
前記第1及び第2のフレームは異なる重複しないメモリ部に格納され、
前記第1のタイプのデータは青色光、緑色光および赤色光の1つ以上であり、前記第2のタイプのデータは赤外光である請求項21に記載の方法。 - 前記センサアレイは、第1のタイプのデータを感知する第1の組のセンサと、第2のタイプのデータを感知する第2の組のセンサを含み、
前記第1の組のセンサは前記第2の組のセンサと異なる構成を有し、
前記MEMSは、第1位置から第2位置にセンサアレイを移動させ、前記第1のフレーム及び第2のフレームをそれぞれ捕捉する請求項21に記載の方法。 - 前記第1と第2の組のセンサは互いに組み合わせがなされ、
前記組み合わせは、行毎及び/又は列毎になされ、
前記MEMSによるセンサアレイの移動の距離および方向は、採用される組み合わせの機能である請求項24に記載の方法。 - 前記MEMSは、選択されたセンサがフィルタの位置に依存して第1または第2のタイプのデータを捕捉することができるように、センサの少なくとも1つの上に位置づけられたフィルタを移動させる請求項21に記載の方法。
- 第1のタイプのデータは青色光、緑色光及び赤色光の1つ以上であり、前記第2のタイプのデータは、赤外光であり、
前記フィルタブロックは、(a)赤外光を通しながら、青色光、緑色光及び赤色光の1つ以上を実質的に阻止するか、又は(b)青色光、緑色光及び赤色光の1つ以上を通しながら、赤外光を実質的に阻止し、
第1の動作モードにおいて、前記MEMSは、選択されたセンサと光が接触する前に、光をフィルタリング処理するために選択されたセンサ上にフィルタを位置し、第2の動作モードにおいて、フィルタリング処理されていない選択されたセンサと光が接触することを可能にするために、前記MEMSが選択されたセンサからフィルタを除去する請求項21に記載の方法。 - 前記第1のタイプのデータは青色光、緑色光及び赤色光の1つ以上であり、前記第2のタイプのデータは、赤外光であり、
第1のフィルタが、赤外光を通しつつ前記青色光、緑色光及び赤色光の1つ以上を実質的に阻止し、前記第2のフィルタが前記青色光、緑色光及び赤色光の1つ以上を通しつつ赤外光を実質的に阻止し、
第1の動作モードにおいて、MEMSは、光が選択されたセンサと接触する前に、光をフィルタリング処理するために、選択されたセンサ上に、第2のフィルタではなく第1のフィルタを位置づけ、第2の動作モードにおいて、MEMSは、光が選択されたセンサと接触する前に、光をフィルタリング処理するために、選択されたセンサ上に、第1のフィルタではなく第2のフィルタを位置づける請求項26に記載の方法。 - (a)第1時間間隔に亘って、センサアレイによって、前記第1及び第2のタイプのデータが異なる第1および/又は第2のタイプのデータを捕捉する工程、
(b)マイクロ電気機械システム(MEMS)によって、共通の位置において、(1)センサアレイの異なるセンサが第1及び第2のタイプのデータの異なるものを捕捉するような(1)センサアレイ、及び(2)選択されたセンサがフィルタの位置に依存して第1または第2のタイプのデータを捕捉できるように、センサの少なくとも1つの上に位置づけられたフィルタの少なくとも1つを移動させる工程;および
(c)第2の時間間隔に亘って、MEMSによる移動後のセンサアレイによって第1及び/または第2のタイプのデータを捕捉する工程
を少なくとも実行するためにマイクロプロセッサによって実行された時、動作可能なマイクロプロセッサ実行命令を含む明確で、非一時的なコンピュータ可読媒体。 - 第1の動作モードにおいて、第1の複合フレームはセンサアレイによって捕捉され、第2の動作モードにおいて、第2の複合フレームはセンサアレイによって捕捉され、第1及び第2の複合フレームは各々第1及び第2のタイプのデータを含み、第1及び第2のタイプの複合フレームは、第1のタイプのデータのみを含む第1のフレームと、第2のタイプのデータのみを含む第2のフレームに分割され、前記第1及び第2のフレームは異なる離散的なコンピュータ可読媒体に格納され、第1のタイプのデータは可視光であり、第2のタイプのデータは赤外光である請求項29に記載のコンピュータ可読媒体。
- 第1の動作モードにおいて、第1の複合フレームはセンサアレイによって捕捉され、第2の動作モードにおいて、第2の複合フレームはセンサアレイによって捕捉され、第1及び第2の複合フレームは各々第1及び第2のタイプのデータを含み、第1及び第2のタイプの複合フレームは、第1のタイプのデータのみを含む第1のフレームと、第2のタイプのデータのみを含む第2のフレームに分割され、前記第1及び第2のフレームは異なる重複しないメモリ部に格納され、前記第1のタイプのデータは青色光、緑色光および赤色光の1つ以上であり、前記第2のタイプのデータは赤外光である請求項29に記載のコンピュータ可読媒体。
- 前記センサアレイは、第1のタイプのデータを感知する第1の組のセンサと、第2のタイプのデータを感知する第2の組のセンサを含み、前記第1の組のセンサは前記第2の組のセンサとは異なる構成を有し、前記MEMSは、第1位置から第2位置にセンサアレイを移動させ、前記第1のフレーム及び第2のフレームをそれぞれ捕捉する請求項29に記載のコンピュータ可読媒体。
- 第1及び第2の組のセンサは互いに組み合わされ、前記組み合わせは、行毎及び/又は列毎になされ、前記MEMSによるセンサアレイの移動の距離および方向は、採用される組み合わせの機能である請求項29に記載のコンピュータ可読媒体。
- 前記MEMSは選択されたセンサがフィルタの位置に依存して第1又は第2のタイプのデータを捕捉できるように、センサの少なくとも1つの上に位置づけられたフィルタを移動させる請求項32に記載のコンピュータ可読媒体。
- 第1のタイプのデータは青色光、緑色光及び赤色光の1つ以上であり、第2のタイプのデータは、赤外光であり、前記フィルタブロックは、(a)赤外光を通しながら、青色光、緑色光及び赤色光の1つ以上を実質的に阻止するか、又は(b)青色光、緑色光及び赤色光の1つ以上を通しながら、赤外光を実質的に阻止し、
第1の動作モードにおいて、前記MEMSは、選択されたセンサと光が接触する前に、光をフィルタリング処理するために選択されたセンサ上にフィルタを位置し、第2の動作モードにおいて、フィルタリング処理されていない光が、選択されたセンサと接触することを可能にするために、前記MEMSが選択されたセンサからフィルタを除去する請求項34に記載のコンピュータ可読媒体。 - 前記第1のタイプのデータは青色光、緑色光及び赤色光の1つ以上であり、前記第2のタイプのデータは、赤外光であり、
第1のフィルタは、赤外光を通しつつ、前記青色光、緑色光及び赤色光の1つ以上を実質的に阻止し、第2のフィルタは青色光、緑色光及び赤色光の1つ以上を通しつつ、赤外光を実質的に阻止し、
第1の動作モードにおいて、前記MEMSは、光が選択されたセンサと接触する前に、光をフィルタリング処理するめに、選択されたセンサ上に、第2のフィルタではなく第1のフィルタを位置づけ、第2の動作モードにおいて、前記MEMSは、光が選択されたセンサと接触する前に、光をフィルタリング処理するために、選択されたセンサ上に、第1のフィルタではなく第2のフィルタを位置づける請求項34に記載のコンピュータ可読媒体。
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361961031P | 2013-10-04 | 2013-10-04 | |
US61/961,031 | 2013-10-04 | ||
US201361961821P | 2013-10-25 | 2013-10-25 | |
US61/961,821 | 2013-10-25 | ||
US201461925339P | 2014-01-09 | 2014-01-09 | |
US61/925,339 | 2014-01-09 | ||
US14/306,844 US8917327B1 (en) | 2013-10-04 | 2014-06-17 | Method to use array sensors to measure multiple types of data at full resolution of the sensor |
US14/306,844 | 2014-06-17 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016546890A Division JP2016533695A (ja) | 2013-10-04 | 2014-10-03 | センサの全解像度における複数のタイプのデータを測定するためにアレイセンサを使用する方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019110564A true JP2019110564A (ja) | 2019-07-04 |
JP2019110564A5 JP2019110564A5 (ja) | 2019-09-19 |
Family
ID=52101857
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016546890A Pending JP2016533695A (ja) | 2013-10-04 | 2014-10-03 | センサの全解像度における複数のタイプのデータを測定するためにアレイセンサを使用する方法 |
JP2019023963A Pending JP2019110564A (ja) | 2013-10-04 | 2019-02-13 | センサの全解像度における複数のタイプのデータを測定するためにアレイセンサを使用する方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016546890A Pending JP2016533695A (ja) | 2013-10-04 | 2014-10-03 | センサの全解像度における複数のタイプのデータを測定するためにアレイセンサを使用する方法 |
Country Status (6)
Country | Link |
---|---|
US (3) | US8917327B1 (ja) |
EP (1) | EP3053096A4 (ja) |
JP (2) | JP2016533695A (ja) |
KR (1) | KR20160085254A (ja) |
CN (1) | CN105830090A (ja) |
WO (1) | WO2015051274A1 (ja) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015178509A1 (ko) * | 2014-05-19 | 2015-11-26 | 삼성전자 주식회사 | 이종 화소 구조를 갖는 이미지 센서 |
US20160205378A1 (en) * | 2015-01-08 | 2016-07-14 | Amir Nevet | Multimode depth imaging |
US9911023B2 (en) | 2015-08-17 | 2018-03-06 | Hand Held Products, Inc. | Indicia reader having a filtered multifunction image sensor |
KR102147361B1 (ko) * | 2015-09-18 | 2020-08-24 | 삼성전자주식회사 | 객체 인식 장치 및 방법, 객체 인식 모델 학습 장치 및 방법 |
KR102100228B1 (ko) | 2015-10-05 | 2020-04-13 | 하이만 센서 게엠베하 | 모놀리식 집적된 신호 처리를 갖는 고분해능 서모파일 적외선 센서 어레이 |
US10785428B2 (en) | 2015-10-16 | 2020-09-22 | Capsovision Inc. | Single image sensor for capturing mixed structured-light images and regular images |
US9936151B2 (en) | 2015-10-16 | 2018-04-03 | Capsovision Inc | Single image sensor for capturing mixed structured-light images and regular images |
CN106912199B (zh) * | 2015-10-20 | 2018-07-10 | 奥林巴斯株式会社 | 摄像装置、图像取得方法以及存储介质 |
EP3902249A1 (en) * | 2016-03-01 | 2021-10-27 | Magic Leap, Inc. | Depth sensing systems and methods |
US10048413B2 (en) | 2016-06-07 | 2018-08-14 | Goodrich Corporation | Imaging systems and methods |
CN106504218B (zh) | 2016-11-29 | 2019-03-12 | Oppo广东移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN106454288B (zh) * | 2016-11-29 | 2018-01-19 | 广东欧珀移动通信有限公司 | 控制方法、控制装置、成像装置及电子装置 |
CN106341670B (zh) | 2016-11-29 | 2017-09-22 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN106454054B (zh) | 2016-11-29 | 2019-03-19 | Oppo广东移动通信有限公司 | 控制方法、控制装置及电子装置 |
US10484623B2 (en) * | 2016-12-20 | 2019-11-19 | Microsoft Technology Licensing, Llc | Sensor with alternating visible and infrared sensitive pixels |
EP3343246A1 (en) * | 2016-12-30 | 2018-07-04 | Xenomatix NV | System for characterizing surroundings of a vehicle |
US10339631B2 (en) | 2017-01-11 | 2019-07-02 | Microsoft Technology Licensing, Llc | Image demosaicing for hybrid optical sensor arrays |
US10275855B2 (en) | 2017-01-11 | 2019-04-30 | Microsoft Technology Licensing, Llc | Image demosaicing for hybrid optical sensor arrays |
CN109756713B (zh) * | 2017-11-08 | 2021-12-21 | 超威半导体公司 | 图像捕获装置、执行处理的方法以及计算机可读介质 |
CN111801569B (zh) * | 2018-01-03 | 2023-10-13 | 前视红外系统股份公司 | 使用多波段传感器阵列系统和方法动态确定辐射值 |
KR101960018B1 (ko) * | 2018-01-16 | 2019-03-19 | 국방과학연구소 | 전방 센서기하 결정 방법 및 장치 |
US20210274108A1 (en) * | 2018-07-17 | 2021-09-02 | Vestel Elektronik Sanayi Ve Ticaret A.S. | A Device Having Exactly Two Cameras and a Method of Generating Two Images Using the Device |
JP2022514460A (ja) * | 2018-12-03 | 2022-02-14 | ソネライト インク | 多重波面の流動を検知するデバイス及び関連方法 |
RU2694742C1 (ru) * | 2019-02-05 | 2019-07-16 | Вячеслав Михайлович Смелков | Способ формирования цифрового видеосигнала на кристалле сенсора, изготовленном по технологии КМОП |
CN114208153B (zh) * | 2019-08-20 | 2023-03-10 | 华为技术有限公司 | 不使用防抖的多重拍摄图像捕获 |
US11595625B2 (en) * | 2020-01-02 | 2023-02-28 | Qualcomm Incorporated | Mechanical infrared light filter |
CN112616007B (zh) * | 2020-12-31 | 2022-06-17 | 维沃移动通信有限公司 | 电子设备及其摄像模组 |
WO2024008305A1 (en) * | 2022-07-08 | 2024-01-11 | Telefonaktiebolaget Lm Ericsson (Publ) | An image sensor system, a camera module, an electronic device and a method for operating a camera module for detecting events using infrared |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3617887B2 (ja) * | 1996-10-14 | 2005-02-09 | シャープ株式会社 | 撮像装置 |
JP4536170B2 (ja) * | 1996-12-27 | 2010-09-01 | シャープ株式会社 | 撮像装置 |
US6046772A (en) * | 1997-07-24 | 2000-04-04 | Howell; Paul | Digital photography device and method |
US6657663B2 (en) * | 1998-05-06 | 2003-12-02 | Intel Corporation | Pre-subtracting architecture for enabling multiple spectrum image sensing |
US6747690B2 (en) * | 2000-07-11 | 2004-06-08 | Phase One A/S | Digital camera with integrated accelerometers |
AU2002325207A1 (en) * | 2001-09-11 | 2003-04-22 | Deltapix Aps | A method and apparatus for producing a high resolution image |
JP2004266709A (ja) * | 2003-03-04 | 2004-09-24 | Victor Co Of Japan Ltd | 撮像装置 |
JP3906202B2 (ja) * | 2003-12-15 | 2007-04-18 | 株式会社東芝 | 固体撮像装置およびそれを利用した撮像システム |
US7746396B2 (en) * | 2003-12-17 | 2010-06-29 | Nokia Corporation | Imaging device and method of creating image file |
JP2005260383A (ja) * | 2004-03-10 | 2005-09-22 | Nec Corp | 画像入力装置及びそれに用いる画像入力方法 |
US7420592B2 (en) * | 2004-06-17 | 2008-09-02 | The Boeing Company | Image shifting apparatus for enhanced image resolution |
JP4627640B2 (ja) * | 2004-07-09 | 2011-02-09 | Hoya株式会社 | ステージ装置及びこのステージ装置を利用したカメラの手振れ補正装置 |
KR100615277B1 (ko) * | 2004-08-18 | 2006-08-25 | 엠텍비젼 주식회사 | 이미지 센서에서의 렌즈 셰이딩 현상 보정 방법 및 장치 |
WO2006026354A2 (en) * | 2004-08-25 | 2006-03-09 | Newport Imaging Corporation | Apparatus for multiple camera devices and method of operating same |
JP2006165975A (ja) * | 2004-12-07 | 2006-06-22 | Konica Minolta Photo Imaging Inc | 撮像素子、撮像装置、画像処理方法 |
US7568628B2 (en) * | 2005-03-11 | 2009-08-04 | Hand Held Products, Inc. | Bar code reading device with global electronic shutter control |
US7697049B1 (en) * | 2005-05-04 | 2010-04-13 | Samsung Electrics Co., Ltd. | Better SNR ratio for downsized images using interlaced mode |
US20070102622A1 (en) | 2005-07-01 | 2007-05-10 | Olsen Richard I | Apparatus for multiple camera devices and method of operating same |
JP2007189376A (ja) * | 2006-01-12 | 2007-07-26 | Matsushita Electric Ind Co Ltd | 固体撮像装置及びカメラモジュール |
US7916362B2 (en) * | 2006-05-22 | 2011-03-29 | Eastman Kodak Company | Image sensor with improved light sensitivity |
JP2008079172A (ja) * | 2006-09-25 | 2008-04-03 | Mitsubishi Electric Corp | 2波長イメージセンサおよび2波長イメージセンサを用いた撮像方法 |
US8493496B2 (en) | 2007-04-02 | 2013-07-23 | Primesense Ltd. | Depth mapping using projected patterns |
EP2289235A4 (en) * | 2008-05-20 | 2011-12-28 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER |
KR101499540B1 (ko) * | 2008-10-24 | 2015-03-06 | 삼성전자주식회사 | 이미지 촬상 장치와 이를 이용한 이미지 처리 방법 |
KR101668869B1 (ko) | 2009-05-29 | 2016-10-28 | 삼성전자주식회사 | 거리 센서, 3차원 이미지 센서 및 그 거리 산출 방법 |
KR101648201B1 (ko) | 2009-11-04 | 2016-08-12 | 삼성전자주식회사 | 영상 센서 및 이의 제조 방법. |
JP5220777B2 (ja) * | 2010-01-21 | 2013-06-26 | オリンパス株式会社 | 画像処理装置、撮像装置、プログラム及び画像処理方法 |
WO2011088590A1 (en) * | 2010-01-21 | 2011-07-28 | Metrologic Instruments, Inc. | Indicia reading terminal including optical filter |
US8345117B2 (en) * | 2010-06-30 | 2013-01-01 | Hand Held Products, Inc. | Terminal outputting monochrome image data and color image data |
KR101710514B1 (ko) | 2010-09-03 | 2017-02-27 | 삼성전자주식회사 | 깊이 센서 및 이를 이용한 거리 추정 방법 |
GB2485609B (en) | 2010-11-22 | 2018-02-14 | Daqri Holographics Ltd | Holographic systems |
KR101861765B1 (ko) | 2011-03-03 | 2018-05-29 | 삼성전자주식회사 | 마이크로 렌즈를 포함하는 깊이 픽셀 및 상기 깊이 픽셀을 포함하는 깊이 센서 |
KR20120119279A (ko) * | 2011-04-21 | 2012-10-31 | 삼성전자주식회사 | 픽셀 어레이 및 이를 포함하는 3차원 이미지 센서 |
KR101802243B1 (ko) | 2011-05-06 | 2017-11-29 | 삼성전자주식회사 | 비행 시간 방식의 거리 측정 센서와 이를 포함하는 반도체 장치 |
US8657200B2 (en) * | 2011-06-20 | 2014-02-25 | Metrologic Instruments, Inc. | Indicia reading terminal with color frame processing |
US9270974B2 (en) | 2011-07-08 | 2016-02-23 | Microsoft Technology Licensing, Llc | Calibration between depth and color sensors for depth cameras |
CN103168272B (zh) | 2011-10-13 | 2017-06-09 | 松下知识产权经营株式会社 | 进深推定摄像装置以及摄像元件 |
-
2014
- 2014-06-17 US US14/306,844 patent/US8917327B1/en not_active Expired - Fee Related
- 2014-10-03 EP EP14850551.4A patent/EP3053096A4/en not_active Withdrawn
- 2014-10-03 CN CN201480066621.8A patent/CN105830090A/zh active Pending
- 2014-10-03 US US15/026,750 patent/US20160255288A1/en not_active Abandoned
- 2014-10-03 WO PCT/US2014/059101 patent/WO2015051274A1/en active Application Filing
- 2014-10-03 JP JP2016546890A patent/JP2016533695A/ja active Pending
- 2014-10-03 KR KR1020167011617A patent/KR20160085254A/ko not_active Application Discontinuation
- 2014-11-12 US US14/538,948 patent/US9076703B2/en active Active
-
2019
- 2019-02-13 JP JP2019023963A patent/JP2019110564A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US8917327B1 (en) | 2014-12-23 |
US9076703B2 (en) | 2015-07-07 |
JP2016533695A (ja) | 2016-10-27 |
CN105830090A (zh) | 2016-08-03 |
US20160255288A1 (en) | 2016-09-01 |
EP3053096A1 (en) | 2016-08-10 |
US20150097108A1 (en) | 2015-04-09 |
WO2015051274A1 (en) | 2015-04-09 |
KR20160085254A (ko) | 2016-07-15 |
EP3053096A4 (en) | 2017-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019110564A (ja) | センサの全解像度における複数のタイプのデータを測定するためにアレイセンサを使用する方法 | |
US9681057B2 (en) | Exposure timing manipulation in a multi-lens camera | |
US7274393B2 (en) | Four-color mosaic pattern for depth and image capture | |
KR101340688B1 (ko) | 루미넌스 및 크로미넌스 센서들을 이용한 이미지 캡처 | |
CN204697179U (zh) | 具有像素阵列的图像传感器 | |
JP5929553B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
US9338380B2 (en) | Image processing methods for image sensors with phase detection pixels | |
KR20180059478A (ko) | 마스크리스 위상 검출 오토포커스 | |
CN107005640B (zh) | 图像传感器单元和成像装置 | |
JP7259757B2 (ja) | 撮像装置、並びに、画像処理装置および方法 | |
TW201228382A (en) | Capturing and processing of images using monolithic camera array with heterogeneous imagers | |
JP2013546249A5 (ja) | ||
US20040174446A1 (en) | Four-color mosaic pattern for depth and image capture | |
JP7238887B2 (ja) | 情報処理装置、プログラム、及び、情報処理システム | |
JP7259756B2 (ja) | 撮像装置および信号処理装置 | |
JP7192778B2 (ja) | 撮像装置および方法、並びに、画像処理装置および方法 | |
JP2023516410A (ja) | イメージセンサおよびイメージ光感知方法 | |
US20200404248A1 (en) | System and method for compressed sensing light field camera | |
AU2017207519A1 (en) | Image sensor | |
US11988849B2 (en) | Imaging device and method | |
CN110891137A (zh) | 图像传感器及电子设备、图像处理方法和存储介质 | |
US20240107186A1 (en) | Rgbir camera module | |
TW202413899A (zh) | 多光譜光學感測器、攝影機系統及視差補償方法 | |
KR101724086B1 (ko) | 3차원 적층 이미지 센서 | |
KR100868279B1 (ko) | 컬러 이미지를 생성하는 방법, 이미징 장치 및 이미징 모듈 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190308 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190311 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191219 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200316 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200708 |