JP2019523910A - 深度取得及び３次元撮像のためのライトフィールド撮像デバイス及び方法 - Google Patents

深度取得及び３次元撮像のためのライトフィールド撮像デバイス及び方法 Download PDF

Info

Publication number
JP2019523910A
JP2019523910A JP2018564974A JP2018564974A JP2019523910A JP 2019523910 A JP2019523910 A JP 2019523910A JP 2018564974 A JP2018564974 A JP 2018564974A JP 2018564974 A JP2018564974 A JP 2018564974A JP 2019523910 A JP2019523910 A JP 2019523910A
Authority
JP
Japan
Prior art keywords
grating
light field
diffraction
wavefront
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018564974A
Other languages
English (en)
Other versions
JP7120929B2 (ja
JP2019523910A5 (ja
Inventor
イコラ サーリ，ジョナサン
イコラ サーリ，ジョナサン
チョ，ジ−ホ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airy3d Inc
Original Assignee
Airy3d Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airy3d Inc filed Critical Airy3d Inc
Publication of JP2019523910A publication Critical patent/JP2019523910A/ja
Publication of JP2019523910A5 publication Critical patent/JP2019523910A5/ja
Application granted granted Critical
Publication of JP7120929B2 publication Critical patent/JP7120929B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1842—Gratings for image generation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14607—Geometry of the photosensitive area
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/46—Systems using spatial filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1814—Diffraction gratings structurally combined with one or more further optical elements, e.g. lenses, mirrors, prisms or other diffraction gratings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1866—Transmission gratings characterised by their structure, e.g. step profile, contours of substrate or grooves, pitch variations, materials
    • G02B5/1871—Transmissive phase gratings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00—Colour photography, other than mere exposure or projection of a colour film

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Optics & Photonics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Optical Filters (AREA)

Abstract

ライトフィールド撮像デバイスおよび方法が提供される。デバイスは、シーンから波面を受け取り、各々が格子軸に沿って格子周期を有し、波面を回折して回折波面を生成する1つ以上の回折格子を含む回折格子アセンブリを含むことができる。デバイスはまた、回折格子アセンブリの下方に配置され、近接場回折レジームにおいて回折波面を検出して、シーンに関するライトフィールド画像データを提供する画素アレイを含むことができる。画素アレイは、格子周期よりも小さい格子軸に沿った画素ピッチを有する。デバイスは、画素アレイによって検出される前に回折波面を空間的色彩的サンプリングするために、画素アレイの上方に配置されたカラーフィルタアレイをさらに含むことができる。装置および方法は、背面照明型センサアーキテクチャで実施することができる。この装置および方法で使用する回折格子アセンブリも開示する。

Description

一般的な技術分野は、撮像システムおよび撮像方法に関し、より詳細には、深度取得および3次元(3D)撮像のためのライトフィールド撮像デバイスおよび撮像方法に関する。
従来の撮像ハードウェアは、入射光が有する次元を諦めて、複雑な3次元(3D)シーンを単純化された2次元(2D)平面上に投影することを含む。この情報の損失は、電荷結合素子(CCD)または相補型金属酸化膜半導体(CMOS)センサアレイなどの2乗検波器の性質の直接的な結果であり、これらの検出器は、入射光の時間平均強度Iのみを直接測定することができ、その位相φまたは波数ベクトルkまたは角周波数ωは測定することができない。
この制約内で動作すると、プレノプティックカメラは、同時に取得された複数の画像の比較分析、複雑な機械学習および/または再構成技術、または能動照明器およびセンサの使用のいずれかによって、深度情報を回復することを強いられる。プレノプティックカメラは一般に、観察者または点に衝突するライトフィールドを以下の式によってパラメータ化する「プレノプティック関数」を用いてシーンを記述する。
ここで、xおよびy座標は、位置(Vx、Vy、Vz)で観察者によって見られるとき、波長λおよび偏光角pについて、時間tにおける特定の像平面を定義する。それらは、単一またはマルチセンサベースのシステムであってもよいが、現在のプレノプティックカメラは、最低でも、センサアレイの任意の所与の画素によって検出される光の強度のみに依存することができる。より実用的には、ステレオビジョンまたはマイクロレンズ化などの既存の解決策は、奥行きを識別するために必要とされる様々な視野に適応するために、複数のセンサまたはセンサのセグメント化を採用することによって、全体的な画質およびセンサのフットプリントを犠牲にする。
ランダムバイナリオクルージョンマスクおよびコード化アパーチャは、パッケージングまたは全体的なフットプリントへの影響を最小限に抑えながら、単一センサの解決策を提供する他の既存のアプローチである。しかし、圧縮センシングおよび非線形再構成技術の進歩にもかかわらず、これらの解決策は、大量の画像辞書およびそれに伴う計算費用によって妨げられたままである。
飛行時間および構造化光ベースの技術は、パルス化された、パターン化された、または変調された連続波赤外光でシーンを能動的に照明し、完全な戻り移動時間または照明された光パターンの微妙な変化を介して深さを決定する。これらの技術は、画像セグメント化の影響を受けないが、一般的に、追加の能動赤外線エミッタおよび検出器を必要とし、これらの両方が、電力消費ならびにデバイス全体のフットプリントを増加させる。同様に、これらの技術は、干渉信号、鏡面反射、および周囲の赤外光に敏感である傾向があり、したがって、屋外でのそれらの実現可能性を制限する。
従って、ライトフィールド撮像の分野には課題が残っている。
本説明は、一般的に、深度マッピング及び他の3Dイメージ用途のためのライトフィールド撮像技術に関する。
一態様によれば、シーンに関するライトフィールド画像データをキャプチャするためのライトフィールド撮像デバイスが提供される。当該デバイスは、
前記シーンから出る光波面を受け取るよう構成された回折格子アセンブリと、
前記回折格子アセンブリの下方に配置され、回折された波面をライトフィールド画像データとして検出する複数の感光画素を有する画素アレイと、を備え、
前記回折格子アセンブリは、格子軸と当該格子軸に沿って格子周期を有する屈折率変調パターンとを有する回折格子であって前記光波面を回折させて回折波面を生成する回折格子を備え、
前記画素アレイは、前記格子周期よりも小さい、前記格子軸に沿った画素ピッチを有する。
いくつかの実施態様では、回折波面は格子軸に沿った強度プロファイルを有し、画素アレイは、回折波面の強度プロファイルが格子周期に実質的に一致する空間周期を有する分離距離だけ回折格子から分離される。
別の態様によれば、シーンに関するライトフィールド画像データをキャプチャするための背面照明ライトフィールド撮像デバイスが提供され、当該デバイスは、
前面および背面を有する基板と、
前記基板の背面の上方に設けられ前記シーンから出る光波面を受け取る回折格子アセンブリと、
前記基板内に形成された画素アレイと、
前記前面の下方に設けられ前記画素アレイに結合された画素アレイ回路と、を備え、
前記回折格子アセンブリは、格子軸と当該格子軸に沿って格子周期を有する屈折率変調パターンとを有する回折格子であって前記光波面を回折させて回折波面を生成する回折格子を備え、
前記画素アレイは、前記回折波面を、前記背面を通じて受け取り前記ライトフィールド画像データとして検出するように構成された複数の感光画素を備え、前記格子周期よりも小さい、前記格子軸に沿った画素ピッチを有する。
いくつかの実施態様では、回折波面は格子軸に沿った強度プロファイルを有し、画素アレイは、回折波面の強度プロファイルが格子周期に実質的に一致する空間周期を有する分離距離だけ回折格子から分離される。
別の態様により提供されるライトフィールド撮像デバイスは、
格子軸と当該格子軸に沿って格子周期を有する屈折率変調パターンとを有する回折格子を備えた回折格子アセンブリと、
前記回折格子の下方に配置された複数の感光画素を備えた画素アレイであって、前記格子周期よりも小さい、格子軸に沿った画素ピッチを有する画素アレイと、を備える。
別の態様によれば、ライトフィールド画像データをシーンについてキャプチャする複数の感光画素を有する画素アレイを備えた画素センサと共に使用するための回折格子アセンブリが提供され、当該回折格子アセンブリは、
格子軸と前記格子軸に沿った格子周期を有する屈折率変調パターンとを有する回折格子を備え、
前記格子周期は、前記格子軸に沿った画素アレイの画素ピッチよりも大きく、
前記回折格子は、前記ライトフィールド画像データとして感光画素によって検出する回折波面を生成するために、前記シーンから生じる光波面を受け取り、回折するように構成され、
当該回折格子アセンブリは、前記画素アレイの上方に配置されるように構成されている。
別の態様によれば、シーンに関するライトフィールド画像データをキャプチャする方法であって、当該方法は、
回折波面を生成するために、格子軸に沿って格子周期を有する回折格子でシーンから発する光波面を回折するステップと、
前記回折格子の下方に配置された複数の感光画素を含む画素アレイであって前記格子周期よりも小さい格子軸に沿った画素ピッチを有する画素アレイにより前記回折波面を前記ライトフィールド画像データとして検出するステップと、を備える。
いくつかの実施態様では、前記回折波面は前記格子軸に沿った強度プロファイルを有し、前記画素アレイは、前記回折波面の強度プロファイルが前記格子周期に合致する空間周期を有するような離隔距離だけ前記回折格子から離間している。
別の態様によれば、シーンを観察し複数の感光画素を有する画素アレイを備える画像センサに三次元撮像能力を提供する方法が提供され、当該方法は、
格子軸と前記格子軸に沿った格子周期とを有する回折格子を備えた回折格子アセンブリを画像センサの前に配置するステップと、
前記回折格子で前記シーンから発する光波面を受け取って回折し、回折波面を生成するステップと、
前記感光画素で前記回折波面を検出するステップと、を備える。そして、前記格子周期は、前記格子軸に沿った画素アレイの画素ピッチより大きい。
いくつかの実施態様では、回折格子アセンブリを画像センサの前に配置するステップは、回折波面が格子周期に実質的に一致する空間周期を有する格子軸に沿った強度プロファイルを有する画素アレイからの分離距離に回折格子アセンブリを配置するステップを含む。
いくつかの実施態様では、ライトフィールド撮像デバイスは、感光素子のアレイと、各カラーフィルタが感光素子のうちの少なくとも1つを覆い、カラーフィルタがモザイク色パターンに従って空間的に配置されるように、感光素子のアレイを覆い、感光素子のアレイと位置合わせされたカラーフィルタのアレイと、カラーフィルタのアレイ上に延在する回折格子構造とを含むことができる。
いくつかの実施形態では、ライトフィールド撮像デバイスは、シーンから入射する光波面に露光される回折格子構造であって、回折波面を生成するために光波面を回折する回折格子構造と、モザイク色パターンに従って空間的に配置されるカラーフィルタのアレイであって、回折格子構造の下方に延在するカラーフィルタのアレイと、モザイク色パターンに従って回折波面を空間的色彩的フィルタリングして複数の空間的に分布する波面成分を含むフィルタリングされた波面を生成するカラーフィルタのアレイと、フィルタリングされた波面をライトフィールド画像データとして検出する感光素子のアレイとを含むことができ、感光素子のアレイは、各感光素子が空間的に分布する波面成分のうちの少なくとも対応する1つを検出するように、カラーフィルタのアレイと位置合わせされる。
いくつかの実施態様では、本方法は、シーンから入射する光波面を回折して回折波面を生成するステップと、モザイク色パターンに従って空間的に配置されたカラーフィルタのアレイを通して回折波面をフィルタリングし、それにより、複数の空間的に分布した波面成分を含むフィルタリングされた波面を取得するステップと、各感光素子が空間的に分布した波面成分のうちの対応する1つを少なくとも部分的に検出するように、カラーフィルタのアレイの下方にあり、カラーフィルタのアレイの下方に当該アレイと位置合わせされた感光素子のアレイにより、ライトフィールド画像データとして、フィルタリングされた波面を検出するステップとを含むことができる。
いくつかの実施態様では、本方法は、シーンから入射する光波面を回折して回折波面を生成するステップと、回折波面をスペクトル的および空間的にフィルタリングして、複数の空間的に分布し、スペクトル的にフィルタリングされた波面成分を含むフィルタリングされた波面を生成するステップと、アレイ状に並べられた複数の感光素子において、空間的に分布しスペクトル的にフィルタリングされた複数の波面成分をライトフィールド画像データとして検出するステップとを含むことができる。
本説明の他の特徴および利点は、添付の図面を参照して例としてのみ与えられる、その特定の実施形態の以下の非限定的な説明を読めば、より明らかになるであろう。
可能な実施形態による、ライトフィールド撮像デバイスの概略斜視図である。 図1のライトフィールド撮像デバイスの概略部分分解斜視図である。 各カラーフィルタが2×2ブロックの感光画素の上方に位置する、別の可能な実施形態による、ライトフィールド撮像デバイスの概略的な部分分解斜視図である。 別の可能な実施形態による、ライトフィールド撮像デバイスの概略斜視図であり、ライトフィールド撮像デバイスは、モノクロ撮像用途のために構成される。 図4のライトフィールド撮像デバイスの概略部分分解斜視図である。 別の可能な実施形態による、ライトフィールド撮像デバイスの概略的な部分分解斜視図であり、ライトフィールド撮像デバイスは、カラーフィルタアレイの上方に設けられたマイクロレンズアレイを含む。 デバイスを通る光の波面の伝播が概略的に示される、別の可能な実施形態による、ライトフィールド撮像デバイスの概略的な部分分解側面図である。図7の光フィールド撮像デバイスは、モノクロ撮像用途に適している。 図8A〜8Cは、ライトフィールド撮像デバイスの3つの他の可能な実施形態の概略的な部分分解側面図であり、デバイスを通る光の波面の伝播が概略的に示される。図8Aにおいて、各感光画素は、1つのリッジと1つの溝との間の移行部に垂直に整列される。 図8Bにおいて、格子軸に沿った画素ピッチに対する格子周期の比は4に等しい。 図8Cにおいて、回折格子のデューティサイクルは50%と異なる。 回折格子の格子軸が2つの直交する画素軸のいずれかに対して斜めである、ライトフィールド撮像デバイスの他の可能な実施形態の部分的に透明な概略上面図である。 回折格子の格子軸が2つの直交する画素軸のいずれかに対して斜めである、ライトフィールド撮像デバイスの他の可能な実施形態の部分的に透明な概略上面図である。 デバイスを通る光の波面の伝播が概略的に示される、別の可能な実施形態による、ライトフィールド撮像デバイスの概略的な部分分解側面図である。図10のライトフィールド撮像デバイスは、カラー撮像用途に適している。 別の可能な実施形態による、ライトフィールド撮像デバイスの概略斜視図であり、回折格子アセンブリは、チェッカーボードパターンを画定するように行および列の両方で交互に配置された2セットの直交配向回折格子を含む。 二次元アレイに配置された複数の回折格子を含む回折格子アセンブリの代替実施形態を示す。 二次元アレイに配置された複数の回折格子を含む回折格子アセンブリの代替実施形態を示す。 二次元アレイに配置された複数の回折格子を含む回折格子アセンブリの代替実施形態を示す。 回折格子アセンブリが、カラーフィルタのアレイを形成する複数の回折格子を含み、各回折格子が、回折格子のそれぞれ1つによって具現化される、別の可能な実施形態による、ライトフィールド撮像デバイスの概略斜視図である。 別の可能な実施形態による、ライトフィールド撮像デバイスの概略側面図であり、ライトフィールド撮像デバイスは、回折格子アセンブリに到達する前にシーンから生じる光波面を空間スペクトル的に広げるために、回折格子アセンブリの前に配置された分散光学系を含む。図15は、別の可能な実施形態による、前面照明構成におけるライトフィールド撮像デバイスの概略側面図である。 別の可能な実施形態による、前面照明構成におけるライトフィールド撮像デバイスの概略側面図である。 別の可能な実施形態による、背面照明構成におけるライトフィールド撮像デバイスの概略側面図である。 可能な実施形態による、シーンに関するライトフィールド画像データをキャプチャするための複数の感光画素を有する画素アレイを含む画像センサで使用するための回折格子アセンブリの概略斜視図である。 可能な実施形態による、シーンに関するライトフィールド画像データをキャプチャする方法のフロー図である。 可能な実施形態による、シーンを観察し、感光画素のアレイを含む画像センサに3Dイメージ能力を提供する方法のフロー図である。
本明細書では、図面中の類似の特徴には類似の参照番号が与えられており、図面を不当に妨げないように、いくつかの要素は、それらが先行する図面において既に識別されている場合、いくつかの図に示されないことがある。また、本発明の実施形態の要素および構造を明確に示すことに重点が置かれているため、図面の要素は必ずしも一定の縮尺で描かれていないことも理解されたい。
本明細書では、特に明記しない限り、用語「接続された」、「結合された」、ならびにその変形および派生語は、2つ以上の要素間の直接または間接のいずれかの任意の接続または結合を指す。要素間の接続または結合は、機械的、光学的、電気的、動作可能、またはそれらの組み合わせであってもよい。また、別の要素に対する1つの要素の位置または向きを示す位置記述子および他の同様の用語は、説明の容易さおよび明瞭さのために本明細書で使用され、別段の指示がない限り、図面の文脈で解釈されるべきであり、限定とみなされるべきではないことも理解されよう。そのような空間的に相対的な用語は、図面に例示された配向に加えて、本発明の実施形態の使用または動作における異なる配向を包含することが意図されることが理解されるであろう。より詳細には、本明細書では、2つの要素の相対空間関係を指定する際の用語「上方」および「下方」は、2つの要素が互いに直接接触するか、または1つまたは複数の介在要素によって互いに分離され得ることを示すことに留意されたい。
本明細書において、用語「a」、「an」、および「one」は、「少なくとも1つ」を意味するように定義され、すなわち、これらの用語は、特に断らない限り、複数のアイテムを排除しない。
本説明は、概して、シーンから発する光波面に関するライトフィールド情報または画像データを取得するためのライトフィールド撮像技術に関する。様々な態様によれば、本説明は、シーンに関するライトフィールド画像データをキャプチャするためのライトフィールド撮像デバイス、例えば、背面照明ライトフィールド撮像デバイス、シーンに関するライトフィールド画像データを取得するために画像センサと共に使用するための回折格子アセンブリ、シーンに関するライトフィールド画像データをキャプチャする方法、およびシーンを見る画像センサレイに3次元(3D)撮像能力を提供する方法に関する。
いくつかの実施形態では、本技法は、適切な色符号化機構と対にされた1つまたは多くの回折光学素子による回折の色依存性の特定の操作および比較、ならびに3Dイメージにおけるその使用を可能にする。いくつかの実施態様では、本明細書で開示されるライトフィールド撮像デバイスおよび方法は、回折の色依存性の直接測定を可能にする、生成された干渉パターンの特定の空間スペクトルサブサンプリングを通して、観察可能なシーンから生じる光波面の強度および入射角だけでなく、波長にも敏感である。ライトフィールド情報または画像データは、観察可能なシーンから発する光波面の強度だけでなく、入射角、位相、波長、および光波面の偏光を含むがこれらに制限されない他のライトフィールドパラメータに関する情報を含むことができる。したがって、例えば深度カメラなどのライトフィールド撮像デバイスは、通常は光強度のみを記録する従来のカメラよりも多くの情報を取得することができる。光フィールド撮像デバイスによってキャプチャされた画像データは、3D深度マップ抽出、3D表面再構成、画像再焦点合わせなどを含むが、これらに限定されない複数の機能を提供するために、様々な方法で使用または処理することができる。用途に応じて、観察可能なシーンのライトフィールド画像データは、1つ以上の静止画像として、またはビデオストリームとして取得することができる。
本技法は、例えば、ユーザがシーンのキャプチャされた画像の焦点、視点、および/または被写界深度を変更することを可能にするために、深度感知機能および他の3Dイメージ機能の向上を必要とするか、またはその機能から利益を得ることができる撮像アプリケーションにおいて使用することができる。本技法は、プレノプティック記述を使用するライトフィールド撮像アプリケーション、回折の色依存性の比較分析による測距アプリケーション、および単一センサ単一画像深度取得アプリケーションを含むがこれらに限定されない様々なタイプの3Dイメージシステムおよび方法に適用または実装することができる。本技法の特定の実施形態の非網羅的な利点および利益は、それらの機能を実行するためにより少ない電力を使用する受動感知モダリティとの互換性、低減されたフットプリントを有する単一センサアーキテクチャとの互換性、2D性能を維持しながら奥行きマッピング機能を可能にすること、既存の画像センサハードウェアおよび製造プロセスへの単純かつ低コストの統合、従来のCMOSおよびCCD画像センサとの互換性、ならびに奥行き検出のための能動照明システムを装備したデュアルカメラまたはカメラなどの複数の構成要素の必要性の排除を含むことができる。
本明細書では、用語「光」および「光学」は、電磁スペクトルの任意の適切な領域における放射を指すために使用される。より詳細には、用語「光」および「光学」は、可視光に限定されず、テラヘルツ(THz)、赤外線(IR)および紫外線(UV)スペクトル帯域を含むがこれらに限定されない電磁スペクトルの不可視領域を含むこともできる。いくつかの実施態様では、用語「光」および「光学」は、深紫外線の約175ナノメートル(nm)からテラヘルツ範囲の約300マイクロメートルまでの範囲の波長、例えば、可視スペクトルの青色端の約400nmから通信波長の約1550nmまでの範囲の波長、または典型的な赤緑青色(RGB)カラーフィルタのスペクトル範囲に一致する約400nmから約650nmまでの範囲の波長を有する電磁放射を包含することができる。しかしながら、当業者は、これらの波長範囲が例示の目的のみのために提供され、本技術がこの範囲を超えて動作し得ることを理解するであろう。
本明細書では、用語「色」および「色彩」ならびにその変形および派生語は、可視電磁放射(例えば、赤色、緑色、および青色)の人間の知覚の通常の文脈において使用されるだけでなく、電磁スペクトルの任意の適切な領域にわたるスペクトル特性(例えば、回折、透過、反射、分散、吸収)を記述するためにもより広く使用される。この文脈において、特に明記しない限り、用語「色」および「有彩色」ならびにそれらの派生語は、用語「スペクトル」およびその派生語と互換的に使用することができる。
（ライトフィールド撮像デバイスの実施形態）
図1および図2を参照すると、観察可能なシーン22に関するライトフィールドまたは深度画像データをキャプチャするためのライトフィールド撮像デバイス20の例示的な実施形態の概略図が提供されている。本明細書では、「ライトフィールド撮像デバイス」という用語は、シーンから発するライトフィールドまたは波面を表す画像を取得することができ、画像平面における光強度だけでなく、例えば光線がデバイスに入る方向およびライトフィールドのスペクトルなどの他のライトフィールドパラメータに関する情報を含む任意の画像キャプチャデバイスを広く指す。本明細書では、「ライトフィールド撮像デバイス」という用語は、「ライトフィールドカメラ」、「ライトフィールドイメージャ」、「ライトフィールドイメージキャプチャデバイス」、「深度イメージキャプチャデバイス」、「3Dイメージキャプチャデバイス」などの用語と互換的に使用することができることに留意されたい。
図示の実施形態では、ライトフィールド撮像デバイス20は、シーン22から発せられる光波面26を受け取るように構成された回折格子アセンブリまたは構造24を含む。回折格子アセンブリ24は、少なくとも1つの回折格子28を含むことができ、各回折格子28は、格子軸30と、格子軸30に沿った格子周期34を有する屈折率変調パターン32とを有する。図1および図2では、回折格子アセンブリ24は単一の回折格子28を含むが、以下に説明するように、他の実施形態では、回折格子アセンブリは2つ以上の回折格子を含むことができる。回折格子28は、入射光波面26を回折し、それによって回折波面36を生成するように構成される。図1および2の回折格子28は、入射光波面26および回折波面36が回折格子28の反対側にあるので、透過に使用される。
さらに図1および図2を参照すると、ライトフィールド撮像デバイス20は、回折格子アセンブリ24の下方に配置され、回折波面36をシーン22に関するライトフィールド画像データとして検出するように構成された複数の感光画素40を含む画素アレイ38も含む。カラー実装では、ライトフィールド撮像デバイス20は、画素アレイ38の上方に配置されたカラーフィルタアレイ42も含むことができる。カラーフィルタアレイ42は、モザイク色パターンで配列された複数のカラーフィルタ44を含み、各カラーフィルタ44は、カラーフィルタアレイ42内のそれぞれの位置で色情報をキャプチャするために、入射光を波長ごとにフィルタリングする。カラーフィルタアレイ42は、複数の感光画素40による回折波面36の検出に先立って、モザイク色パターンに従って回折波面36を空間的かつスペクトル的にフィルタリングするように構成される。したがって、上述したように、画素アレイによる検出の前に、回折格子アセンブリによって生成された回折波面の直接的な空間的および色的にサブサンプリングを実行するカラーフィルタアレイを提供することによって、ライトフィールド撮像デバイスは、光の入射波面の角度および強度だけでなく、そのスペクトル内容にも感度を有することができる。
カラーフィルタアレイは、いくつかの用途、例えばモノクロ撮像用に設ける必要がないことに留意されたい。また、感光画素によって検出される波面は、モノクロおよびカラーの両方の実装において一般的に「回折波面」と呼ばれるが、後者の場合、用語「フィルタリングされた波面」または「フィルタリングされた回折波面」は、場合によっては、回折格子アセンブリによって生成される回折波面が、下にある画素アレイによる検出の前に、カラーフィルタアレイによって空間的およびスペクトル的にフィルタリングされるという事実を示すために使用されてもよいことにも留意されたい。カラーフィルタアレイが提供されないいくつかの実施形態では、回折格子がカラーフィルタとして働くことができることに留意されたい。例えば、回折格子は、その上部に屈折率変調パターンが形成された上面を有する格子基板であって、複数の感光画素による回折波面の検出に先立って、波長に従って回折波面をスペクトル的にフィルタリングするように構成されたスペクトルフィルタ材料または領域を有する格子基板を含むことができる。そして、例えば、このスペクトルフィルタ材料または領域は、赤色パスフィルタ、緑色パスフィルタ、および青色パスフィルタのうちの1つとして働くことができる。
用途または用途に応じて、ライトフィールド撮像デバイスの実施形態は、様々な画像センサキテクチャおよび画素アレイ構成を使用して実装することができる。例えば、いくつかの実施形態では、ライトフィールド撮像デバイスは、画素アレイ（カラーベースの用途では、カラーフィルタアレイを含む）を有する既存の画像センサの上方に回折格子アセンブリを追加または結合することによって簡単に実装することができる。例えば、既存の画像センサは、従来の2D CMOSまたはCCDイメージャとすることができる。しかし、他の実施形態では、ライトフィールド撮像デバイスは、その構成要素(例えば、回折格子アセンブリ、画素アレイ、カラーフィルタアレイ)の全てまたは大部分をその中に組み込んだ、別々の、専用の、および/またはカスタム設計されたデバイスとして実装および一体的にパッケージ化することができる。
前段落で紹介した構成要素の構造、構成、および動作に関するさらなる詳細、ならびにライトフィールド撮像デバイスの他の可能な構成要素について、以下に説明する。
図1および図2に示す実施形態では、回折格子28は、カラーフィルタアレイ42の上方に延在する格子基板46を含む。格子基板46は、周期的屈折率変調パターン32が形成された上面48と、底面50とを有する。回折格子基板46は、回折波面36が透過できるように、スペクトル動作範囲において透明または十分に透明な材料で作られる。このような材料の非限定的な例としては、酸化ケイ素(SiOx)、ポリマー、コロイド粒子、SU−8フォトレジスト、ガラスが挙げられる。例えば、いくつかの実施態様では、回折格子28は、約400nm〜約1550nmの範囲の波長帯域で光波面26を回折するように構成することができる。
当技術分野で知られているように、回折は、波面が、電磁気であろうと他のものであろうと、物理的物体または屈折率摂動に遭遇するときに生じる。波面は、物体の縁部の周りで曲がる傾向がある。波面が複数の物体に遭遇した場合、周期的であろうと、そうでなければ、対応するウェーブレットは、ヤングの二重スリット実験によって実証されるように、最初の遭遇からいくらかの距離だけ離れて干渉し得る。この干渉は、「回折パターン」または「干渉パターン」と呼ばれる明確なパターンを、波面の入射角およびスペクトル内容、ならびに遭遇する物体の一般的なサイズ、形状、および相対空間関係に敏感な元の遭遇からの距離の関数として生成する。この干渉は、Huygens−Fresnel原理によって記述されるように、各対応するウェーブレットの成長する相対的な波面によって記述することができる。
本明細書では、用語「回折格子」または単に「格子」は、一般に、入射する光波面の振幅および/または位相を空間的に変調する、周期的に変調された光学特性(例えば、屈折率変調パターン)を有する周期的構造を指す。回折格子は、その空間周期(格子周期)が光の波長にほぼ等しいかまたはそれよりわずかに長い回折素子(例えば、交互のリッジおよび溝)の周期的配列を含むことができる。回折格子に入射するある範囲の波長を含む光波面は、回折すると、その振幅および/または位相が変更され、その結果、空間依存および時間依存の回折波面が生成される。一般に、回折格子は、入力光波面の各波長が異なる方向に沿って出力されるようにスペクトル分散型である。しかし、動作スペクトル範囲にわたって実質的に無彩色の応答を示す回折格子が存在し、いくつかの実施態様で使用することができる。例えば、いくつかの実施態様では、回折格子は、関心のあるスペクトル範囲において無彩色であり、関心のあるスペクトル範囲の中心波長に対して設計することができる。より詳細には、ベイヤー(Bayer)パターン化カラーフィルタアレイの場合、回折格子は、緑色チャネル、すなわち、約532nmの中心波長付近に対して最適化することができる。回折格子が無彩色である場合、回折波面の回折パターンの色サブサンプリングを提供するのは、カラーフィルタアレイのモザイク色パターンであることに留意されたい。
回折格子を形成する回折素子が透過性であるか反射性であるかに応じて、回折格子は「透過格子」または「反射格子」と呼ばれる。本明細書で開示される実施形態では、回折格子は透過格子であるが、反射格子の使用は先験的に排除されない。回折格子は、回折要素の性質に応じて、「振幅格子」または「位相格子」として分類することもできる。振幅格子では、格子によって引き起こされる初期波面への摂動は、直接振幅変調の結果であり、一方、位相格子では、これらの摂動は、格子材料の屈折率の周期的変化によって引き起こされる光の相対群速度の特定の変調の結果である。本明細書で開示する実施形態では、回折格子は位相格子であるが、他の実施形態では、振幅格子を使用することもできる。
図1および図2の図示の実施形態では、回折格子28は位相格子であり、より詳細には、屈折率変調パターン32が、格子周期34で周期的に間隔を置いて配置された一連のリッジ52を含み、これもまた格子周期34で周期的に間隔を置いて配置された一連の溝54と交互配置されたバイナリ位相格子である。したがって、屈折率変調パターン32の空間プロファイルは、格子周期34が、1つのリッジ52と1つの隣接する溝54の格子軸30に沿った幅の合計に対応する2レベルステップ関数、すなわち方形波関数を示す。いくつかの実施態様では、格子周期34は、約1マイクロメートル〜約20マイクロメートルの範囲とすることができるが、他の実施態様では、他の値も可能である。図1および図2の例示の実施形態では、溝54は空である(すなわち、空気で満たされる)が、代わりに、リッジ材料の屈折率とは異なる屈折率を有する材料で満たすこともできる。また、用途に応じて、回折格子28は、50%に実質的に等しいかまたは異なるデューティサイクルを有することができ、デューティサイクルは、格子周期34に対するリッジ幅の比として定義される。回折格子28の他のパラメータは、段差高さ56、すなわち、リッジ52と溝54との間の高さの差である。例えば、いくつかの実施態様では、ステップ高さ56は、約0.2マイクロメートル〜約1マイクロメートルの範囲とすることができる。幾つかの実施態様では、ステップ高さ56は、回折格子28が隣接するリッジ52と溝54との間に所定の光路差を生じさせるように選択することができることに留意されたい。例えば、ステップ高さ56は、光波面の所与の波長および入射角(例えば、その中心波長)において、リッジと溝との間の半波長光路差(half-wave optical path difference)を提供するように制御され得る。もちろん、他の実施態様では、他の光路差値を使用することができる。
図1および2の実施形態における回折格子28は、方形波屈折率変調パターン32を形成する平行なリッジ52および溝54の交互のセットからなる線形または一次元のバイナリ位相格子であるが、他の実施形態は、異なるタイプの回折格子を使用することができることに留意されたい。例えば、他の実施形態は、格子周期、デューティサイクル、およびステップ高さのうちの少なくとも1つが可変である回折格子、格子軸に垂直な非直線フィーチャを有する回折格子、より精巧な屈折率プロファイルを有する回折格子、２Ｄ回折格子などを使用することができる。回折された波面の特性は、格子パラメータの適切な選択によって調整され得ることが理解される。回折格子の動作、回折格子の相対的な位置決め、およびライトフィールド撮像デバイスの他の構成要素への光学的結合に関するさらなる詳細は、以下でさらに説明される。
さらに図1および図2を参照すると、上述したように、画素アレイ38は、カラーフィルタアレイ42の下方に配置された複数の感光画素40を含み、カラーフィルタアレイ42自体は、回折格子アセンブリ24の下方に配置されている。用語「画素アレイ」は、一般に、複数の光センサ(本明細書では「感光画素」または単に「画素」と呼ぶ)から構成されるセンサアレイを指し、これらの光センサは、観察可能なシーンからそこに入射する電磁放射を検出し、典型的には、検出された放射を電気データに変換することによって、シーンの画像を生成するように構成される。本技法では、光フィールド画像データとして感光画素40によって検出される電磁放射は、画素アレイ38に到達する前に回折され、任意選択的に空間的色彩的フィルタリングされたシーン22から入射する光波面26に対応する。画素アレイ38は、CMOSまたはCCD画像センサによって具現化することができるが、他のタイプの光検出器アレイ(例えば、電荷注入デバイスまたはフォトダイオードアレイ)を代わりに使用することができる。上述したように、画素アレイ38は、スペクトルの任意の適切な領域における電磁放射を検出するように構成することができる。用途に応じて、画素アレイ38は、ローリングまたはグローバルシャッタ読み出し設計のいずれかに従って構成されてもよい。画素アレイ38はさらに、以下でより詳細に説明するように、積み重ねられた、背面または前面照明センサアーキテクチャの一部であってもよい。画素アレイ38は、例えば、4/3インチ、1インチ、2/3インチ、1/1.8インチ、1/2インチ、1.27インチ、1/3インチ、1/3.2インチ、1/3.6インチ、35mmなどの任意の標準または非標準の光学フォーマットとすることができるが、これらに限定されない。画素アレイ38はまた、コントラストまたは位相検出オートフォーカス機構のいずれか、およびそれらのそれぞれの画素アーキテクチャを含んでもよい。本明細書では、「画素アレイ」という用語は、「光検出器アレイ」、「光センサアレイ」、「イメージャアレイ」などの用語と互換的に使用することができることに留意されたい。
画素アレイ38の各感光画素40は、それに入射する回折波面36の空間部分を蓄積電荷に変換することができ、その量は、画素40によって収集され記録された光の量に比例する。各感光画素40は、感光性表面と、画素レベルで信号を処理し、読み出しユニットなどの他の電子機器と通信する関連画素回路とを含むことができる。当業者は、種々の他の構成要素が各画素の画素回路に統合され得ることを理解する。一般に、感光画素40は、個別にアドレス指定し、読み出すことができる。
さらに図1および図2を参照すると、感光画素40は、2つの直交する画素軸58、60によって画定される行および列の矩形グリッドに配列することができ、行および列の数は、画素アレイ38の解像度を画定する。例えば、いくつかの実施形態では、画素アレイ38は、少なくとも16ピクセルの解像度を有することができるが、最大40メガピクセルまたはそれ以上を含む広範囲の他の解像度値を他の実施形態で使用することができる。図1および図2の実施形態では、感光画素40が２Ｄアレイに編成されているが、他の実施形態では、代替的に線形アレイとして構成されてもよいことに留意されたい。また、感光画素40は、図1および2の実施形態では正方形であり、1:1の画素アスペクト比に対応するが、他の実施形態では他の画素アスペクト比値を使用することができることに留意されたい。
画素アレイ38は、画素ピッチ62によって特徴付けることもできる。本明細書では、「画素ピッチ」という用語は、一般に、個々の画素40間の間隔を指し、通常、隣接する画素40間の中心間距離として定義される。画素アレイ38の物理的配置に応じて、2つの直交する画素軸58、60に沿った画素ピッチ62は同じであっても、同じでなくてもよい。画素ピッチは、任意の軸に沿って、例えば、2つの直交する画素軸58、60に対して45°に向けられた対角軸に沿って定めることもできることに留意されたい。また、本技法では、関連する画素ピッチ62は、図1および図2に示すように、の上方に重なる回折格子28の格子軸30に沿った画素ピッチである。以下により詳細に説明するように、回折格子28の格子周期34は、格子軸30に沿った画素アレイ38の画素ピッチ62よりも大きくなるように選択される。例えば、いくつかの実施態様では、格子軸30に沿った画素ピッチ62は、1マイクロメートル以下から10マイクロメートルまでの範囲とすることができるが、他の実施態様では、異なる画素ピッチ値を使用することができる。
本明細書では、用語「画素データ」は、各個々の画素によってキャプチャされた画像情報を指し、積分期間にわたって各個々の画素によって吸収された光エネルギーの総量を示す強度データを含むことができる。全ての画素40からの画素データを組み合わせることにより、シーン22に関するライトフィールド画像データが得られる。本技法では、シーン22から入射する光波面26が回折され、場合によっては検出前に空間的およびスペクトル的にフィルタリングされるので、ライトフィールド画像データは、入射波面26の強度だけでなく、入射角、位相、およびスペクトル内容などの他のライトフィールドパラメータに関する情報を提供することができる。より詳細には、本技法は、以下でさらに説明するように、画素アレイ38によってキャプチャされた強度ベースの回折パターンからの深度情報または他のライトフィールド情報の回復または抽出を可能にすることができることが理解されよう。
更に図1及び図2を参照すると、カラーフィルタアレイ42は画素アレイ38と空間的に位置合わせされ、各カラーフィルタ44は感光画素40の対応する1つに光学的に結合される。すなわち、各カラーフィルタ44は、カラーフィルタ44と感光画素40との間に1対1の関係またはマッピングが存在するように、単一の感光画素40をカバーする。しかし、他の実施形態では、各カラーフィルタは、複数の感光画素のうちの少なくとも2つの対応する画素に光学的に結合することができる。例えば、図3を簡単に参照すると、カラーフィルタアレイ42の各カラーフィルタ44が感光画素40のグループまたはサブセット、すなわち2×2ブロックの感光画素40の上方に重なるライトフィールド撮像デバイス20の別の実施形態が示されている。図1および2の実施形態および図3の実施形態の両方において、カラーフィルタアレイ42および画素アレイ38は、共に、以下に詳述および説明されるように、上方に重なる回折格子アセンブリ24によって生成される回折波面の直接的な空間的色彩的サンプリングを可能にする。
「色」および「色彩」という用語に関して上述したように、「カラーフィルタ」および「カラーフィルタリング」などの用語は、可視範囲内だけでなく、電磁スペクトルの任意の適切なスペクトル範囲における「スペクトルフィルタ」および「スペクトルフィルタリング」と等価であると理解されるべきである。用途に応じて、カラーフィルタは、例えば染料ベースのカラーフィルタを使用して、望ましくないスペクトル成分の吸収を通してスペクトルフィルタリングを達成することができるが、本技法の範囲から逸脱することなく、他のフィルタリング原理を使用することもできる。
図1および図2に戻ると、カラーフィルタ44は、モザイク色パターンまたは構成に従って物理的に編成される。いくつかの実施形態では、各カラーフィルタ44は、赤色パスフィルタ、緑色パスフィルタ、および青色パスフィルタのうちの1つである。例えば、図示の実施形態では、カラーフィルタアレイ42のモザイク色パターンはベイヤーパターン（Bayer pattern）であり、このパターンにおいては、赤(R)および緑(G)フィルタの行が交互に並ぶチェッカーボードパターンに配置されたカラーフィルタが、緑(G)および青(B)フィルタの行とインターリーブされている。当技術分野で知られているように、ベイヤーパターンは、モザイク色パターンの緑色成分が赤色成分および青色成分よりも高密度にサンプリングされるように、赤色または青色フィルタの2倍の緑色フィルタを含む。別の実施形態では、モザイク色パターンは、より精巧なベイヤーパターン、例えば、nが4より大きい整数であるn画素単位セルを有するベイヤーパターンによって具体化することができる。もちろん、本技法は、ベイヤーパターンに限定されず、RGB、RGB−IR、RGB−W、CYGM、CYYM、RGBE、RGBW #1、RGBW #2、RGBW #3、およびモノクロを含むがこれらに限定されない任意の適切なモザイク色パターンに適用することができる。いくつかの実施形態では、カラーフィルタアレイ42は、ハイパースペクトル撮像およびフィルタリング技法または干渉フィルタリング技法を含むように、標準可視ベイヤーパターンを超えて拡張され得ることに留意されたい。このような実施形態において、回折格子28の設計(例えば、格子周期34)は、増加したスペクトルサンプリング範囲に適応するように調整され得る。
次に図4および図5を参照すると、モノクロ画像化用途に適したライトフィールド撮像デバイス20の別の実施形態が示されている。この実施形態は、上述の、図1および図2に示す実施形態に対して、一般的に、少なくとも1つの回折格子28を有する回折格子アセンブリ24を備え、この回折格子アセンブリ24は複数の感光画素40を含む画素アレイ38の上方に配置されるという点に関しては、多くの特徴を共有する。これらの構成要素は、構造および動作の点で、図1および2の実施形態の同様の構成要素と概して同様であり得る。図4および図5のライトフィールド撮像デバイス20は、回折格子アセンブリ24と画素アレイ38との間に配置されたカラーフィルタアレイを含まないという点で、図1および図2のライトフィールド撮像デバイスとは主に異なる。その結果、感光画素40は、回折格子28を透過した回折波面36を直接検出する。
図6を参照すると、図4および図5の実施形態と類似の特徴を共有するが、画素アレイ38の上方に配置され、複数のマイクロレンズ66を含むマイクロレンズアレイ64をさらに含むという点で異なるライトフィールド撮像デバイス20の別の実施形態が示されている。各マイクロレンズ66は、感光画素40の対応する1つに光学的に結合され、それに入射する回折波面36の空間部分を対応する感光画素40上に集束させるように構成される。図1および図2のようなカラーフィルタのアレイが提供される実施形態では、マイクロレンズアレイは、各マイクロレンズがカラーフィルタの対応する1つに光学的に結合されるように、カラーフィルタアレイの上方に配置されることに留意されたい。いくつかの変形例では、光撮像デバイスは、画素アレイ38の上方に設けられた反射防止コーティング(anti-reflection coating)(図示せず)も含むことができる。
次に図7を参照すると、モノクロ画像化用途に適したライトフィールド撮像デバイス20の実施形態の概略部分分解側面図が示されている。光フィールド撮像デバイス20は、感光画素40の画素アレイ38の上方に配置された回折格子28を含むという点で、図4および図5に示されたものと類似点を共有する。回折格子28は、50%のデューティサイクルと、リッジ52と溝54の交互のセットからなる周期的な屈折率変調パターン32とを有する透過型のバイナリ位相格子である。図7はまた、デバイス20を通る光の伝播を概略的に示す。動作中、ライトフィールド撮像デバイス20は、観察可能なシーン22を包含する視野を有する。回折格子28は、シーン22から入射した光波面26(実線)を入射側で受光し、光波面26を回折して出力側に回折波面36(実線)を生成し、この回折波面36が画素アレイ38に向かって伝搬して検出される。簡単にするために、図7の入射光波面26は、垂直入射で回折格子28に入射する平面波の波面に対応する。しかし、本技術は、ライトフィールド撮像デバイスの視野内で任意の角度で回折格子28に入射する任意の形状の光波面に対して実施することができる。
さらに図7を参照すると、回折波面36は、回折格子28の幾何学的形状、光学波面26の波長および入射角、ならびに画素アレイ38の受光面68に対応する観察平面の位置の関数の形状を有する回折パターンによって特徴付けることができる。観察面において、回折波面36の回折パターンは、画素アレイ38の受光面68における格子軸30に沿った空間的に変化する強度プロファイル70によって特徴付けられる。図7において、格子軸30は画素軸58に平行であることに留意されたい。
本技術では、回折格子28および画素アレイ38は、画素アレイ38の受光面68が回折格子28の近接場回折領域または単に近接場に位置するように、互いに対して配置される。近接場回折レジームでは、フレネル回折理論を使用して、回折格子を通過する波の回折パターンを計算することができる。遠視野Fraunhofer回折理論とは異なり、フレネル回折は波面湾曲を説明し、干渉波の相対位相の計算を可能にする。同様に、回折放射照度パターンを波長の数倍の整数倍内で、回折格子と同じ寸法次数の光センサまたは別の撮像デバイスで検出する場合、高次回折効果は、単に空間サンプリングによって制限される傾向がある。近接場における回折波面36を検出するために、本技術は、屈折率変調パターン32が形成され回折が生じる回折格子28の上面48と、下方に位置して回折波面36を検出する画素アレイ38の受光面68との間の十分に小さい分離距離72を維持することを含むことができる。いくつかの実施態様では、これは、分離距離72を光波面26の中心波長の約10倍未満になるように選択することを含むことができる。いくつかの実施態様では、分離距離72は、約0.5マイクロメートル〜約20マイクロメートルの範囲、例えば、光波面の中心波長が可視範囲内にある場合、0.5マイクロメートル〜約8マイクロメートルの範囲とすることができる。
近接場回折レジームでは、周期的回折格子28によって生成される回折波面36の強度プロファイル70は、一般に、回折格子28の格子周期34に実質的に一致する空間周期74と、回折格子28の屈折率変調パターン32に実質的に一致する形状とを有する。例えば、図示の実施形態では、画素アレイ38の感光画素40によって検出される回折波面36の回折パターンは、バイナリ位相回折格子28の屈折率変調パターン32の強度プロファイルと実質的に一致する方形波または2ステップの強度プロファイル70を有する。本明細書では、用語「一致」及びその派生語は、検出された回折波面36の強度プロファイル70と回折格子28の周期的屈折率変調パターン32との間の「正確な」又は「完全な」一致だけでなく、「実質的な」、「近似的な」又は「主観的な」一致も包含すると理解されるべきである。したがって、用語「一致」は、本明細書では、2つの特徴が同じであるか、または互いの所定の許容差内のいずれかである状態を指すことが意図される。
周期的回折格子による近接場回折の別の特徴は、入射光波面26の回折格子28への入射角76を変化させると、回折波面36の強度プロファイル70が格子軸30に沿って横方向にシフトするが、図7の実線と破線の波面線との比較から分かるように、その周期74および形状を実質的に保持することである。いくつかの実施形態では、回折格子28と画素アレイ38との間の分離距離は、回折波面36の強度プロファイル70が受ける空間シフトが、光波面26の入射角76がライトフィールド撮像デバイス20の視野の角度スパンにわたって変化するときに、格子周期34よりも小さくなることを確実にするように選択できることが理解されよう。そうでなければ、光波面26の入射角76の曖昧さが問題となり得る。例えば、例示の目的で、視野が±20°の角度スパンを有し、入射光波面26の入射角76を10°だけ変化させることによって、回折波面36の強度プロファイル70の空間シフトが格子周期34に等しくなるライトフィールド撮像デバイス20を考える。このような場合、例えば+2°の入射角で回折格子34に入射する光は、位相情報のみからは、+12°の入射角で回折格子34に入射する光と区別できない。
また、回折格子28は、下方にある画素アレイ38に光学的に結合されると、検出された回折波面36の回折パターンの強度プロファイル70が、変調成分Imodおよび基底成分Ibaseを含む変調関数I〜Imod(深度情報)×Ibase(2D画像)として一般に書くことができるように、標準の2D画像で光の位相情報を畳み込むことにも留意されたい。基底成分Ibaseは、画素アレイ38の前に回折格子28がない場合に画素アレイ38によって検出される位相非依存光波面を表す。換言すれば、基底成分Ibaseのみを検出することにより、シーン22の従来の2Dイメージを得ることができる。一方、変調成分Imod(これは、基底成分Ibase(例えば、約0.1〜約0.3の範囲のImod対Ibase の比)と比較して一般に小さい)は、入射光波面26の位相の直接的な結果であり、その結果、入射角のわずかな差も、画素アレイ38を横切って空間的にサンプリングされた周期的な電気応答として現れる。光波面26の入射角76に対する感度、したがってライトフィールド撮像デバイス20の角度分解能は、一般に、回折格子28の特定の設計に依存することが理解されよう。
さらに図7を参照すると、上述したように、本技法では、画素アレイ38は、回折格子28の格子周期34よりも小さい格子軸30に沿った画素ピッチ62を有する。これは、画素アレイ38の受光面68が回折格子28の近接場にあるとき、格子軸30に沿った画素アレイ38の画素ピッチ62も、検出された回折波面36の格子軸30に沿った強度プロファイル70の空間周期74よりも小さいことを意味する。この条件が満たされると、検出された回折波面36の強度プロファイル70の完全な周期が、画素アレイ38の少なくとも2つの隣接する画素バンクによってサンプリングされ、これらの画素バンクの各々が、全サイクルにわたって強度プロファイル70の異なる空間部分をサンプリングすることが理解されるであろう。本明細書では、「画素バンク」という用語は、の上方にある回折格子の格子軸に垂直な線に沿って配置された、画素アレイの感光画素のグループを指す。すなわち、隣接する2つの画素バンクは、格子軸に沿った画素ピッチに相当する距離だけ互いに離間している。例えば、図7において、画素アレイ38の各画素バンクは、ページの平面に対して垂直に向けられた画素軸60に対して平行に延びている。
用途に応じて、回折格子28の格子周期34の、格子軸30に沿った画素アレイ38の画素ピッチ62に対する比Rは、いくつかの値をとることができることが理解されよう。いくつかの実施態様では、比Rは、2以上(すなわち、R>=2)、または1より大きい正の整数(すなわち、R=(n+1),ただし、n={1,2,....})、または2の整数乗(すなわち、R=2n、ただし、n={1,2,....})等とすることができる。いくつかの実施態様では、格子周期34が格子軸30に沿った画素ピッチ62よりも大きいだけでなく、画素ピッチ62に近すぎないことが有益であるか、または必要であり得る。例えば、いくつかの実施形態では、格子周期34は、隣接する画素バンクの各対が、結果として生じる変調された回折波面36（この空間変調速度は回折格子28の特性によって決定される）をナイキスト速度付近またはナイキスト速度で十分にサブサンプリングすることを可能にするために、下にある画素バンクピッチ62の少なくとも約2倍であることが有利であり得る。このナイキストまたはほぼナイキスト速度でのサブサンプリングは、標準的な信号処理技術によって測定信号Iから変調コンポーネントImodを直接取り除くことを可能にする。一旦除去されると、変調信号Imodは、基底成分Ibaseとは独立して操作され得る。いくつかの実施態様では、格子軸30に沿った画素ピッチ62が格子周期34よりも十分に小さくない場合、アンダーサンプリング効果が生じる可能性がある。このようなシナリオでは、信号減算を可能にするために2つの異なるサブ格子間に十分な相対位相オフセットを設けるために、格子設計を変更することが有用または必要になることがある。
例えば、図7に示した実施形態では、格子軸30に沿った画素ピッチ62に対する格子周期34の比Rは、実質的に2に等しい。このような場合、隣接する画素バンクは、検出された回折波面36の強度プロファイル70の相補的な空間位相、すなわち、互いに対して180°位相シフトされた強度プロファイル70の空間部分をサンプリングすることが理解されるであろう。これは、数学的に次のように表すことができる。
このような構成は、入射波面相互作用から生じる干渉パターンのサブサンプリングを通して、変調成分Imodおよび基底成分Ibaseの直接デコンボリューションを可能にすることができる。
Ibase=I(bankn)＋I(bankn+1)、 (3)
Imod=I(bankn)−I(bankn+1). (4)
さらに図7を参照すると、図示の実施形態では、回折格子28は50%のデューティサイクル(すなわち、等しい幅のリッジ52および溝54)を有し、各感光画素40は、リッジ52のうちの対応する1つまたは溝54のうちの対応する1つと垂直に整列して位置付けられる。しかし、他の実施形態では、他の構成を使用することができ、その非限定的な例が図8A〜8Cに示される。第1に、図8Aにおいて、回折格子28は、50%のデューティサイクルを有するが、図7の実施形態と比較して、格子周期34の1/4だけ横方向にシフトされる。その結果、各感光画素40は、リッジ52の対応する1つと溝54の対応する隣接する1つとの間の移行部78の下方に垂直に整列して配置される。第2に、図8Bにおいて、回折格子28は、50%のデューティサイクルを有するが、図7の実施形態と比較して、格子軸30に沿った画素ピッチ62に対する格子周期34の比Rは、2ではなく4に等しい。したがって、各リッジ52および各溝54の下方には2つの感光画素40がある。最後に、図8Cにおいて、格子軸30に沿った画素ピッチ62に対する格子周期34の比Rは、図7におけるように、2に等しいが、回折格子のデューティサイクルは、50%とは異なる。
いくつかの実施態様では、例えば、高い主光線角度の光学システムを有する背面照明アーキテクチャでは、回折格子は、対応する主光線の各々が意図された格子特徴の中心およびその後続のマイクロレンズを通過するように、感光画素に対するマイクロレンズアレイの設計された主光線角度オフセットに従うように設計することができる。このような構成は、高度に制約された光学システムに対して適切な位相オフセットを保証することができる。これは、いくつかの実施形態において、回折格子(例えば、リッジおよびグルーブ)の特徴と下にある感光画素との間の垂直方向の位置合わせの程度が、画素アレイ内の位置の関数として、例えば、画素アレイの中心からエッジに向かうにつれて、所定の主光線角度オフセットに適応するように変化し得ることを意味する。例えば、画素アレイのいくつかの領域では、各感光画素は、回折格子の溝またはリッジの下方に直接配置されてもよく、一方、画素アレイの他の領域では、各感光画素は、リッジの一部および溝の一部の両方の下方に延在してもよい。
図7および図8A〜図8Cの実施態様では、回折格子28は、格子軸30が2つの直交する画素軸58、60のうちの1つに平行(したがって、互いに垂直)になるように、下にある画素アレイ38に対して配向される。しかし、図9Aおよび9Bを参照すると、格子軸30が2つの直交する画素軸58、60の両方に対して斜めである、2つの他の可能な実施形態が示されている。これは、図9Aでは、格子軸30が画素軸58、60の各々に対して角度θ=45°で配向され、図9Bでは、格子軸が画素軸58に対して角度θは26.565°とほぼ等しい角度で配向される。9Aと9B、格子軸30に沿った画素ピッチ62は格子周期よりも小さいことは変わりない点に留意すべきである。また、上に定義したような画素バンク、すなわち、の上方に重なる回折格子28の格子軸30に対して横断する線に沿って配列された画素のグループも、斜めの構成で定義できることに留意されたい。例えば、図9Aは、リッジ52の下方に位置する第1の画素バンクに属する第1の画素群401と、隣り合うグルーブ54に位置する第2の画素バンクに属する第2の画素群402とを含む。
次に図10を参照すると、カラー撮像用途に適したライトフィールド撮像デバイス20の実施形態の概略的な部分分解側面図が示されている。光フィールド撮像デバイス20は、感光画素40の画素アレイ38の上方に配置されるカラーフィルタアレイ42の上方に配置される回折格子28を含むという点で、図1および図2に示されるものと類似点を共有する。回折格子28は、50%のデューティサイクルと、リッジ52と溝54の交互のセットからなる周期的な屈折率変調パターン32とを有する透過型のバイナリ位相格子である。カラーフィルタアレイ42は、ベイヤーパターンを有し、図10は、緑色(G)及び青色(B)フィルタの交互の列を示す。図10はまた、デバイス20を通る光の伝播を概略的に示す。動作中、回折格子28は、シーン22から発せられる光波面26を、受け取って回折し、回折波面36を生成する。簡略化のために、図10の回折格子28は、緑色光および青色光を包含するスペクトル範囲において無彩色であると仮定する。カラーフィルタアレイ42は、回折波面36を受け取り、その下方にある画素アレイ38による検出に先立って、回折波面36を空間スペクトル的にフィルタリングする。したがって、ライトフィールド撮像デバイス20の動作は、カラーフィルタアレイ42およびその下方にある画素アレイ38を含むセンサ構造の上方に配置された周期的回折格子28の提供によって可能になる、直接的に空間的および色的にサンプリングされた回折波面36に基づく。
図7におけるように、図10の回折格子28によって生成される回折波面36は、格子軸30に沿って空間的に変化する強度プロファイル70によって特徴付けられる回折パターンを規定する。また、回折格子28および画素アレイ38は、画素アレイ38の受光面68が回折格子28の近接場に位置するように互いに対して配置され、検出された回折波面36の強度プロファイル70の空間周期74は、回折格子28の格子周期34と実質的に一致する。
カラーフィルタアレイ42による空間スペクトルフィルタリング後に画素アレイ38によって検出される回折波面36の強度プロファイル70は、赤色フィルタによってフィルタリングされた回折波面36の部分、緑色フィルタによってフィルタリングされた回折波面36の部分、および青色フィルタによってフィルタリングされた回折波面36の部分の組み合わせまたは重ね合わせであることが理解されよう。このように、標準的なRGBベイヤーパターンを例として用いると、強度プロファイルIの変調成分Imodおよび基底成分Ibaseは、以下のようにそれぞれの色成分に分割することができる。
IR〜Imod,R(奥行き情報)×Ibase,R(2Dイメージ)、 (5)
IG〜Imod,G(奥行き情報)×Ibase,G(2Dイメージ)、 (6)
IB〜Imod,B(深度情報)×Ibase,B(2Dイメージ)。 (7)
図10において、強度プロファイルIGおよびIBは、それぞれ一点鎖線および点線で示されている。
図7におけるように、回折格子28の格子周期34の、格子軸30に沿った画素アレイ38の画素ピッチ62に対する比Rは、図10の実施形態では2に等しく、上で紹介した関係
が適用される。標準的なRGBベイヤーパターンでは、赤色フィルタおよび青色フィルタは常にベイヤーパターンの隣接画素バンクに配置され、まばらにサンプリングされた赤色成分および青色成分に関連する信号IRおよびIBは互いに逆位相になる。一方、緑色フィルタは全ての画素バンクに存在するので、密にサンプリングされた緑色成分に関連する信号IGは、同位相の寄与および異位相の寄与の両方を含む。
これまで説明した実施態様では、回折格子アセンブリは、1つの回折格子のみを含むものとして描かれた。しかし、図11を参照すると、他の実施例では、回折格子アセンブリ24は、複数の回折格子28a、28bを含み、回折格子28a、28bは、カラーフィルタアレイ42の上方に配置された2次元格子アレイに配置される。図11において、回折格子アセンブリ24は、16個の回折格子を含むが、この数は、例示の目的のために提供され、他の実施形態では変更され得る。たとえば、アプリケーションによっては、回折格子アセンブリ24の回折格子28a、28bの数は、1から100万まで(例えば、20メガピクセルの配列38は、その上方に最大280万の回折格子を有しうる)に及ぶ。図11に示される回折格子アセンブリ24のすべての回折格子28は、それらの格子軸配向以外は、50%の同じデューティサイクル、同じ格子周期34、および格子周期34の同じ繰り返し数を有する平行なリッジ52および溝54の交互のセットを含むバイナリ位相格子であるが、他の実施形態では、これらのパラメータの各々は、回折格子28ごとに変更され得ることに留意されたい。より詳細には、図11の回折格子28の各々は、格子周期34の2つの繰り返しを含む。しかし、この数は、用途に応じて、例えば、いくつかの実施形態では2回から10回の繰り返しの間で変更できることが理解されよう。
いくつかの実施態様では、複数の回折格子28は、回折格子28の複数のセット80a、80bを含み、セット80a、80bのうちの異なるセットの回折格子28の格子軸30a、30bは、異なる向きを有する。例えば、図11では、複数のセット80a、80bは、回折格子28の第1のセット80aと、回折格子28の第2のセット80bとからなり、第1のセット80aの回折格子28の格子軸30aは、第2のセット80bの回折格子28の格子軸30bに実質的に垂直に延在する。第1の格子軸30aは第1の画素軸58に平行であり、第2の格子軸30bは第2の画素軸60に平行である。図示の実施形態では、第1のセット80aおよび第2のセット80bの回折格子28は、行および列の両方において交互に配置され、チェッカーボードパターンをもたらす。もちろん、他の実施形態では、任意の他の適切な規則的または不規則的な配列、パターン、または直交配向格子のモザイクを想定することができる。例えば、直交配向格子は、行のみ、または列のみで交互に配置されるか、またはランダムに配置され得る。さらに、他の実施の形態には、2セット以上の回折格子が含まれることがあり、これらは互いに直交しているかもしれないし、そうでないかもしれない。例えば、いくつかの実施形態では、回折格子アセンブリは、最大24個の異なる回折格子セットを含むことができる。
異なる格子軸配向を有する回折格子を有する回折格子アセンブリを提供することは、回折が個々の回折格子の格子軸に沿って起こるので、いくつかの実装において有利であるか、または必要とされ得ることが理解される。これは、回折格子アセンブリ内に単一の格子配向だけが存在する場合、この単一の格子配向に垂直に延びるシーンの物体から来る光は回折されないことを意味する。いくつかの実施形態では、2セットの直交配向格子(例えば、水平および垂直配向格子)を設けることは、シーンについての十分なライトフィールド画像データをキャプチャするのに十分であり得る。2つ以上の格子配向を有する回折格子アセンブリを使用する概念は、中心から半径方向に増加する周期性を有する完全に円形の回折格子の限界までとることができ、これによりほぼ完全なフーリエ平面イメージャが提供される。
図12A〜12Cを参照すると、複数の回折格子を含む回折格子アセンブリにおける格子配置の他の例が示されている。図12Aにおいて、回折格子アセンブリ24は、2セット80a、80bの直交して配向された回折格子28を含み、これらの回折格子は列内でのみ交互に並ぶ。一方のセット80aの格子軸配向は、一方の画素軸58に沿っており、他方のセット80bの格子軸配向は、他方の画素軸60に沿っている。図12Bにおいて、回折格子アセンブリ24は、その格子軸34a〜34dが水平画素軸58に対して0°、33°、66°および90°に向けられた回折格子28の4つのセット80a〜80dを含む。図12Cにおいて、回折格子アセンブリ24は、格子軸34a〜34dが水平画素軸58に対して0°、45°、90°および−45°に向けられた回折格子28の4つのセット80a〜80dを含む。図12A〜図12Cの各々において、描かれた回折格子28は、複数回繰り返される回折格子アセンブリ24の単位セルを表し得ることが理解される。
次に図13を参照すると、カラーベースの用途に適するが、回折格子アセンブリ24と下方にある画素アレイ38との間に配置されたカラーフィルタアレイを含まないライトフィールド撮像デバイス20の実施形態が示されている。むしろ、図示の実施形態では、回折格子アセンブリ24は、回折格子28のアレイを含み、その各々は、その上部に形成された屈折率変調パターン32(例えば、交互の一連のリッジ52および溝54から作製される)を有する格子基板46を含む。各回折格子28の格子基板46はまた、複数の感光画素40による検出の前に回折波面36をスペクトル的にフィルタリングするように構成されたスペクトルフィルタ材料または領域82を含む。いくつかの実施形態では、回折格子28の各々は、例えば、格子基板46に適切な色素ドーパントを組み込むことによって、所望のスペクトル成分をフィルタリングするように調整された材料から作製することができる。
図13をさらに参照すると、回折格子アセンブリ24の複数の回折格子28は、したがって、各カラーフィルタが回折格子28の対応する1つによって具現化されるカラーフィルタアレイを形成する。言い換えれば、回折格子28の各々は、カラーフィルタアレイにおいてそれ自体のそれぞれのカラーフィルタを形成するように、個別に設計および調整されることができる。図13において、複数の回折格子28からなるカラーフィルタアレイは、ベイヤーパターンで配置されており、各回折格子28の格子基板46は、赤色パスフィルタ、緑色パスフィルタ、青色パスフィルタとして機能する。もちろん、複数の回折格子28によって画定されるカラーフィルタアレイは、電磁スペクトルの可視領域の外側で動作させることができ、そのモザイク色パターンは、ベイヤーパターンに限定されず、上記に列挙されたものを含む任意の適切なモザイク色パターンに適用することができる。
いくつかの実施態様では、ライトフィールド撮像デバイスは、回折格子の前に波面調整光学系を含むことができる。波面調整光学系は、シーンが回折格子アセンブリに到達する前に、シーンから入射する光波面を収集、誘導、透過、反射、屈折、分散、回折、コリメート、集束、または別の方法で、シーンから入射する光波面に作用するように構成することができる。波面調整光学系は、レンズ、ミラー、フィルタ、光ファイバ、および任意の他の適切な反射、屈折、および/または回折光学コンポーネントなどを含むことができる。いくつかの実施態様では、波面調整光学系は、入射波面がライトフィールド撮像デバイスによってサンプリングされ得るように入射波面を修正するように位置決めされ構成されたフォーカス光学系を含むことができる。
次に図14を参照すると、ライトフィールド撮像デバイス20の別の可能な実施形態が示されており、シーンと回折格子アセンブリとの間の光波面26の光路に配置された分散光学系84を含む。分散光学系84は、入射光波面26を受けて分散させるように構成されている。分散光学系84は、電磁ビームが通過するときに波長の関数として空間拡散を受ける(例えば、色収差(chromatic aberration))任意の光学部品または光学部品の組み合わせによって具現化することができる。図14の実施形態では、分散光学系84は、簡略化のために集束レンズである。しかしながら、他の実施形態では、分散光学系84は、光学波面26が回折格子アセンブリ24に衝突する前に(例えば、その固有色収差のために)光学波面26を分散するように共に作用する、より多数の光学構成要素(例えば、フォーカス光学系およびデフォーカス光学系)を含む光学スタックとして提供され得ることが理解される。
例示の目的で、図14において、シーン22から発する光波面26は、複数の波長の光、例えば、緑色成分(破線)および青色成分(点線)を含む波の重ね合わせであると仮定する。光波面26の各色成分は、分散光学系84とのエネルギー依存相互作用の性質により、わずかに異なる光路をたどり、回折格子28によって導入される位相シフトの色依存性をもたらす。言い換えれば、回折格子28によって生成される角度依存回折を通してサンプリングされるような光波面26の色拡散は、光波面26に関する粗い深度情報を提供することができる。このようなシナリオでは、深度情報のより細かい細部は、カラーフィルタアレイ42によってサンプリングされた光路差によって互いに位相シフトされた変調成分Imod,RおよびImod,Bの比較分析から得ることができる。
図14に示されるような集束レンズに衝突する単色平面光学波面の場合、集束レンズは、波面がレンズを横断するにつれて、波面を徐々に屈折させ、集束させることに留意されたい。回折格子アセンブリに到達する波面の断面積は、回折格子アセンブリが集束レンズの焦点面の外に(前または後に)配置される場合、焦点面に配置される場合、より大きくなることが理解される。したがって、回折波面は、焦点が合った構成の場合よりも焦点がずれた構成の場合の方がより多くの数の感光画素によってサンプリングされる。
図15および16を参照すると、いくつかの実施態様では、ライトフィールド撮像デバイス20は、前面照明構成(図15)では回折格子アセンブリと画素アレイとの間に、または背面照明構成(図16)では画素アレイ38の下方に配置された画素アレイ回路86を含むことができる。より詳細には、回折格子アセンブリ24は、前面照明アーキテクチャの場合には上にあるシリコン層に直接エッチングすることができ(図15)、背面照明アーキテクチャの場合にはマイクロレンズアレイ64およびカラーフィルタアレイ42の上方に直接配置することができる(図16)。前面照明技術では、画素アレイ回路86は、カラーフィルタ44をそれらの対応する感光画素40に接続する金属配線(例えば、複数の金属相互接続層(metal interconnect layer)をホストするシリコン層)のアレイを含む。一方、背面照明技術は、回折格子アセンブリ24による光学波形26の回折によって生成される回折波面36を直接サンプリングする機会を提供する。光は、画素アレイ38に到達する前に画素アレイ回路86の金属配線のアレイを通過する必要がなく、そうでなければ光の損失をもたらすので、周期性が増大したより積極的な回折格子設計を実現することができる。また、図16に示されるように、より短い光学スタック構成は、回折格子アセンブリ24が、画素アレイ38の受光面68に非常に近接して配置されることを可能にし、それにより、画素バンク間の望ましくないクロストークを引き起こし得る高次の回折効果のリスクを低減し得る。同様に、画素サイズの減少は、既存のイメージングウェルによる回折格子の直接サブサンプリングを可能にすることができる。
次に図16をより具体的に参照すると、シーン22の周りのライトフィールド画像データをキャプチャするための背面照明ライトフィールド撮像デバイス20が示されている。デバイス20は、前面90および背面92を有する基板88と、基板88の背面92の上方に配置され、シーン22から発生する光波面26を受け取るように構成された回折格子アセンブリ24と、基板88内に形成された画素アレイ38と、前面90の下方に配置され、画素アレイ38に結合された画素アレイ回路86とを含む。回折格子アセンブリ24は、格子軸30を有する少なくとも1つの回折格子28と、格子軸30に沿った格子周期34を有する屈折率変調パターン32とを含む。回折格子28は、光波面26を回折し、回折波面36を生成する。画素アレイ38は、背面92を通して受光し、回折波面36を光フィールド画像データとして検出するように構成された複数の感光画素40を含む。上述したように、画素アレイ38は、格子周期34よりも小さい、格子軸30に沿った画素ピッチ62を有する。上述のように、本技術において背面照明センサ技術の利点は、回折格子アセンブリ24を、前面照明用途よりも画素アレイ38の受光面68に近接して配置することができることである。例えば、いくつかの背面照明の実施形態では、回折格子28の屈折率変調パターン32と画素アレイ38の受光面68との間の分離距離72は、約0.5マイクロメートルから約5マイクロメートル、例えば1から3マイクロメートルの範囲とすることができる。
カラー撮像用途では、背面照明ライトフィールド撮像デバイス20は、背面92の上方に配置され、モザイク色パターン、例えばベイヤーパターンで配置された複数のカラーフィルタ44を含むカラーフィルタアレイ42を含むことができる。カラーフィルタアレイ42は、複数の感光画素40による検出の前に、モザイク色パターンに従って回折波面36を空間的およびスペクトル的にフィルタリングする。デバイス20はまた、カラーフィルタアレイ42の上方に配置され、複数のマイクロレンズ66を含むマイクロレンズアレイ64を含み、マイクロレンズ66の各々は、複数のカラーフィルタ44の対応する1つに光学的に結合される。図16において、回折格子28はまた、その上方に屈折率変調パターン32が形成された上面48と、マイクロレンズアレイ64の上方に配置された底面50とを含む格子基板46を含む。背面照明光フィールド撮像デバイス20の回折格子アセンブリ24、画素アレイ38、カラーフィルタアレイ42、およびマイクロレンズアレイ64は、上述したものと同様の特徴を共有することができることに留意されたい。
背面照明型およびスタック型アーキテクチャデバイスは、センサフットプリントが問題となる状況(例えば、スマートフォンモジュール、タブレット、ウェブカム)でしばしば使用され、設計がますます複雑になっていることに留意されたい。いくつかの実施態様では、本技法は、独立したプロセスとして、既存のセンサアーキテクチャの上方に直接回折格子アセンブリを配置することを伴う。したがって、本技術を背面照明センサ技術と共に使用することは、マイクロレンズまたはコード化開口アプローチの場合のように完全なセンサまたはパッケージングの再設計を必要としないので、センサレベル深度感知光学系に柔軟な機会を提示することができる。さらに、センサの上方部への回折格子アセンブリの集積から生じるマイクロメートルオーダーの適度なzスタック増加は、同様に、センサモジュールの光学スタック全体におけるパッケージング要件および実装を単純化することができる。さらに、背面照明製造プロセス自体は、表面照明技術の場合のように、既存のシリコン層への直接エッチングを必要としない。より大きな画素ピッチ値を有する背面照明デバイスおよびある種の正面照明デバイスでは、回折格子アセンブリ自体がカラーフィルタアレイとして働くことができ(例えば、図13を参照)、製造の複雑さおよび/または光学スタックの全高を低減することができることに留意されたい。また、ライトフィールド撮像デバイスの異なる層は、所望の光学機能をサポートする幾何学的パラメータに従って、積み重ねられ、間隔を置いて配置されてもよいことにも留意されたい。
（回折格子アセンブリの実施形態）
図17を参照すると、別の態様によれば、本説明は、シーン22の周囲のライトフィールド画像データをキャプチャするために複数の感光画素40を有する画素アレイ38を含む画像センサ94と共に使用するための回折格子アセンブリ24にも関する。画素アレイ38の上方に配置されるように構成された回折格子アセンブリ24は、格子軸30を有する回折格子28と、格子軸30に沿った格子周期34を有する屈折率変調パターン32とを含み、格子周期34が格子軸30に沿った画素アレイ38の画素ピッチ62よりも大きい限り、ライトフィールド撮像デバイスの実施に関して上述したものと多くの類似点を共有することができる。例えば、格子軸30に沿った画素ピッチ62に対する格子周期34の比は、2または2の整数倍に等しくすることができる。いくつかの実施態様では、回折格子28は、バイナリ位相格子とすることができ、屈折率変調パターン32は、交互のリッジ52および溝54を含むことができる。回折格子28は、ライトフィールド画像データとして感光画素40によって検出される回折波面36を生成するために、シーン22から発せられる光波面26を受け取り、回折するように構成される。カラー撮像用途向けのいくつかの実施形態では、回折格子アセンブリ24は、画像センサ94のカラーフィルタアレイ42の上方に配置されるように構成される。カラーフィルタアレイ42は、画素アレイ38の上方に配置され、複数の感光画素40によって検出される前に、回折波面36を空間的およびスペクトル的にフィルタリングするように構成される。
用途に応じて、回折格子アセンブリ24は、単一の回折格子28、または画素アレイ38の上方に配置された2次元格子アレイに配置された複数の回折格子28を含むことができる。
（方法の実施形態）
別の態様によれば、本説明は、シーンに関するライトフィールド画像データをキャプチャする方法、ならびに従来の2D画像センサに3D画像化能力を提供する方法を含む、様々なライトフィールド画像化方法にも関する。これらの方法は、上述したようなライトフィールド撮像デバイスおよび回折格子アセンブリ、または他の類似のデバイスおよびアセンブリを用いて実行することができる。
図18を参照すると、シーンに関するライトフィールド画像データをキャプチャする方法200の実施形態のフローチャートが提供されている。この方法は、シーンから発する光波面を回折格子で回折するステップ202を含む。回折格子は、格子軸と、格子軸に沿った格子周期とを有する。回折格子は、入射光波面を回折して回折波面を生成するように構成される。回折波面は、格子軸に沿った強度プロファイルによって特徴付けることができる。いくつかの実施態様では、回折ステップ202は、400nm(可視スペクトルの青色端)から1550nm(電気通信の波長)、例えば400nmから650nmの範囲の波長帯で光波面を回折することを含むことができる。いくつかの実施態様では、回折格子は、回折格子アセンブリをまとまって形成する複数の回折格子のうちの1つである。このような実施形態では、図18の方法200は、回折格子アセンブリの各回折格子に対して同時に実行することができる。
いくつかの実施態様では、方法200は、回折格子を位相格子、例えばバイナリ位相格子として提供するステップを含むことができる。バイナリ位相格子は、格子周期で周期的に離間された交互のリッジおよび溝を含むことができる。方法200は、1マイクロメートル〜20マイクロメートルの範囲の格子周期を選択するステップを含むことができる。方法200はまた、隣接するリッジと溝との間の光路差を制御するために、溝に対するリッジの段差高さを設定するステップを含むことができる。例えば、いくつかの実施形態では、ステップ高さは、光波面の所与の波長において、リッジと溝との間の半波光路差を提供するように設定することができる。もちろん、光路差の他の値を他の実施形態で使用することもできる。
さらに図18を参照すると、方法200は、回折波面をカラーフィルタアレイで空間的及びスペクトル的にフィルタリングしてフィルタリングされた波面を生成するステップ204も含む。このステップ204はオプションであり、一部の実装、例えばモノクロ撮像用途では省略できることに留意されたい。
方法200は、空間的及びスペクトル的にフィルタリングされた波面をライトフィールド画像データとして検出するステップ206をさらに含むことができる。検出ステップ206は、カラーフィルタアレイの下方に配置された複数の感光画素を含む画素アレイを用いて実行することができる。しかしながら、空間スペクトルフィルタリングステップ204が省略される場合、回折格子アセンブリと画素アレイとの間にカラーフィルタアレイが配置されず、検出ステップ206は、複数の感光画素による回折波面の直接検出を含む。デバイスの実施に関して上述したように、回折格子の格子周期は、格子軸に沿った画素アレイの画素ピッチよりも大きくなるように選択される。やはり上述したように、回折格子の上面(すなわち、屈折率変調パターン)と下方にある画素アレイの受光面との間の分離距離は、フィルタリングまたは回折された波面が近接場回折レジーム(near-field diffraction regime)で検出されるように選択され、格子軸に沿った回折された波面の強度プロファイルは、格子周期に実質的に一致する空間周期を有する。例えば、いくつかの実施態様では、この方法は、分離距離を、光波面の中心波長の約10倍未満の値に設定して、近接場におけるフィルタリングされた波面または回折された波面を検出するステップを含むことができる。
いくつかの実施形態では、回折格子は、約50%のデューティサイクルを備えることができ、方法200は、各感光画素を、回折格子の隆起または溝の下方に、それと位置合わせして、または隆起と隣接する溝との間の移行部または接続部の下方に、それと位置合わせして位置決めするステップを含むことができる。いくつかの実施態様では、方法200は、格子軸に沿った画素ピッチに対する格子周期の比を実質的に2または2の整数倍に設定するステップを含むことができる。
さらに図18を参照すると、いくつかの実施態様では、複数の感光画素は、2つの直交する画素軸によって画定される矩形画素グリッドに配置することができ、方法200は、格子軸を2つの直交する画素軸の一方に平行に、または2つの直交する画素軸の両方に対して斜めに配向するステップを含むことができる。例えば、いくつかの直交実装では、回折格子の一方の半分を1つの画素軸に沿って配向することができ、他方の半分を他方の画素軸に沿って配向することができる。1つの可能な斜めの構成は、各画素軸に対して45°の角度で回折格子を配向することを含むことができる。
いくつかの実施態様では、方法200は、光波面を回折する前に、光波面をスペクトル的に分散させる任意選択のステップをさらに含むことができる。
次に図19を参照すると、シーンを観察し、複数の感光画素を有する画素アレイを含む画像センサに、3Dイメージ能力、例えば奥行きマッピング能力を提供する方法300のフローチャートが提供されている。例えば、画像センサは、従来の又はカスタム設計された前面又は背面照明型CMOS又はCCDセンサとすることができる。
方法300は、回折格子アセンブリを画像センサの前に配置するステップ302を含む。回折格子アセンブリは、少なくとも1つの回折格子を含み、各回折格子は、格子軸と、格子軸に沿った格子周期とを有する。格子周期は、格子軸に沿った画素アレイの画素ピッチよりも大きくなるように選択される。例えば、いくつかの実施態様では、格子周期は、格子軸に沿った画素ピッチよりも2倍以上大きくすることができる。いくつかの実施形態では、配置ステップ302は、感光画素による検出前の回折波面の光路長が光波面の中心波長の約10倍未満であるように選択される、画素アレイからの分離距離に回折格子アセンブリを配置することを含むことができる。このような構成により、近接場回折領域における回折波面の検出が可能となる。いくつかの実施態様では、配置ステップ302は、格子軸を、画素アレイの2つの直交する画素軸のうちの1つに平行に、または画素軸に対して斜めに(例えば、45°で)配向することを含むことができる。
いくつかの実施態様では、方法300は、回折格子を位相格子、例えばバイナリ位相格子として提供するステップを含むことができる。バイナリ位相格子は、格子周期で周期的に間隔を置いて配置された一連のリッジを含むことができ、格子周期で周期的に間隔を置いて配置された一連の溝と交互に配置される。方法300は、1マイクロメートル〜20マイクロメートルの格子周期を選択するステップを含むことができる。方法300はまた、隣接するリッジと溝との間の光路差を制御するために、溝に対するリッジの段差高さを設定するステップを含むことができる。上述したように、段差高さは、リッジと溝との間に所定の光路差を与えるように選択することができる。いくつかの実施形態では、回折格子は、約50%のデューティサイクルを備えることができ、回折格子アセンブリは、各リッジおよび各溝が、感光画素の対応する1つの上方に整列して延在するように、または代替的に、隣接するリッジおよび溝の間の各移行部または接続部が、感光画素の対応する1つの上方に整列して延在するように、画素アレイの上方に位置決めすることができる。
さらに図19を参照すると、方法300はまた、回折格子を用いてシーンから発する光波面を受信し、回折して回折波面を生成するステップ304と、感光画素を用いて回折波面を検出するステップ306とを含む。カラー撮像用途では、方法300は、検出ステップ306の前に、回折波面をカラーフィルタアレイで空間スペクトルフィルタリングする任意選択のステップ308を含むことができる。いくつかの実施態様では、方法300は、光波面を回折する前に、光波面をスペクトル的に分散させる任意選択のステップをさらに含むことができる。
もちろん、本説明の範囲から逸脱することなく、上述の実施形態に対して多数の修正を行うことができる。

Claims (89)

  1. シーンに関するライトフィールド画像データをキャプチャするためのライトフィールド撮像デバイスであって、
    前記シーンから出る光波面を受け取るように構成された回折格子アセンブリと、
    前記回折格子アセンブリの下方に配置され、回折された波面をライトフィールド画像データとして検出する複数の感光画素を有する画素アレイと、を備え、
    前記回折格子アセンブリは、格子軸と当該格子軸に沿って格子周期を有する屈折率変調パターンとを有する回折格子であって前記光波面を回折させて回折波面を生成する回折格子を備え、
    前記画素アレイは、前記格子周期よりも小さい、前記格子軸に沿った画素ピッチを有する、ライトフィールド撮像デバイス。
  2. 前記画素アレイの上方に配置され、モザイク色パターンで配置された複数のカラーフィルタを備えるカラーフィルタアレイをさらに備え、前記カラーフィルタアレイは、前記複数の感光画素による前記回折波面の検出の前に、前記モザイク色パターンに従って前記回折波面を空間的かつスペクトル的にフィルタリングする、請求項1に記載のライトフィールド撮像デバイス。
  3. 前記カラーフィルタの各々が、前記感光画素の対応する1つに光学的に結合される、請求項2に記載のライトフィールド撮像デバイス。
  4. 前記カラーフィルタの各々が、前記複数の感光画素のうちの少なくとも2つの対応する画素に光学的に結合される、請求項2に記載のライトフィールド撮像デバイス。
  5. 前記カラーフィルタの各々が、赤色パスフィルタ、緑色パスフィルタ、および青色パスフィルタのうちの1つである、請求項2〜4のいずれか一項に記載のライトフィールド撮像デバイス。
  6. 前記モザイク色パターンがベイヤーパターンである、請求項2〜5のいずれか一項に記載のライトフィールド撮像デバイス。
  7. 前記回折格子は、前記光波面を400ナノメートル〜1550ナノメートルの範囲の波長帯で回折するように構成されている、請求項1〜6のいずれか一項に記載のライトフィールド撮像デバイス。
  8. 前記回折格子の周期は、1マイクロメートルから20マイクロメートルの範囲である、請求項1から7のいずれか一項に記載のライトフィールド撮像デバイス。
  9. 前記回折格子は、前記格子周期の2〜10回の繰り返しを含む、請求項1〜8のいずれか一項に記載のライトフィールド撮像デバイス。
  10. 前記回折格子が位相格子である、請求項1〜9のいずれか一項に記載のライトフィールド撮像デバイス。
  11. 前記回折格子は、バイナリ位相格子であり、前記屈折率変調パターンは、前記格子周期で周期的に間隔を置いて配置された一連のリッジを備え、当該リッジは前記格子周期で周期的に間隔を置いて配置された一連の溝と交互に配置されている、請求項10に記載のライトフィールド撮像デバイス。
  12. 前記回折格子は、約50%のデューティサイクルを有する、請求項11に記載のライトフィールド撮像デバイス。
  13. 前記感光画素の各々が、前記リッジの対応する1つまたは前記溝の対応する1つの下方に当該リッジまたは溝に整列して位置する、請求項12に記載のライトフィールド撮像デバイス。
  14. 前記感光画素の各々が、前記リッジの対応する1つと当該リッジに隣接する前記溝の1つとの間の移行部の下方に当該移行部に整列して位置する、請求項12に記載のライトフィールド撮像デバイス。
  15. 前記回折格子が、50%とは異なるデューティサイクルを有する、請求項11に記載のライトフィールド撮像デバイス。
  16. 前記一連のリッジは、前記一連の溝に対して0.2マイクロメートルから1マイクロメートルの範囲のステップ高さを有する、請求項11から15のいずれか一項に記載のライトフィールド撮像デバイス。
  17. 前記回折格子の前記屈折率変調パターンと前記画素アレイの受光面との離間距離が0.5マイクロメートル〜20マイクロメートルである、請求項1〜16のいずれか一項に記載のライトフィールド撮像デバイス。
  18. 前記回折格子の前記屈折率変調パターンと前記画素アレイの受光面との離間距離が、前記光波面の中心波長の約10倍未満であることを特徴とする請求項1〜16のいずれか1項に記載のライトフィールド撮像デバイス。
  19. 前記格子軸に沿った前記画素ピッチに対する前記格子周期の比は、実質的に2に等しい、請求項1から18のいずれか一項に記載のライトフィールド撮像デバイス。
  20. 前記複数の感光画素は、2つの直交する画素軸によって画定される矩形画素グリッドに配置され、前記格子軸は、前記2つの直交する画素軸のうちの1つに平行であるか、または前記2つの直交する画素軸の両方に斜めであるかのいずれかである、請求項1から19のいずれか一項に記載のライトフィールド撮像デバイス。
  21. 前記画素ピッチが、1マイクロメートルから10マイクロメートルの範囲である、請求項1から20のいずれか一項に記載のライトフィールド撮像デバイス。
  22. 前記シーンと前記回折格子アセンブリとの間の前記光波面の光路に配置された分散光学素子をさらに含み、前記分散光学素子は、前記光波面を受け取ってスペクトル分散させるように構成される、請求項1から21のいずれか一項に記載のライトフィールド撮像デバイス。
  23. 前記画素アレイの上方に配置され、複数のマイクロレンズを備えるマイクロレンズアレイをさらに備え、各マイクロレンズは、前記感光画素の対応する1つに光学的に結合される、請求項1から22のいずれか一項に記載のライトフィールド撮像デバイス。
  24. 背面照明構成では前記画素アレイの下方に、または、前面照明構成では前記回折格子アセンブリと前記画素アレイとの間に、配置される画素アレイ回路をさらに備える、請求項1から23のいずれか一項に記載のライトフィールド撮像デバイス。
  25. 前記回折格子は、前記回折格子アセンブリの複数の回折格子の1つであり、当該複数の回折格子は、前記画素アレイの上方に設けられた二次元格子アレイに配置されている、請求項1から24のいずれか一項に記載のライトフィールド撮像デバイス。
  26. 前記複数の回折格子は、複数の回折格子のセットを含み、前記セットのうちの互いに異なるセットの回折格子の格子軸は、異なる配向を有する、請求項25に記載のライトフィールド撮像デバイス。
  27. 前記回折格子の複数のセットは、回折格子の第1のセットと、回折格子の第2のセットとを含み、前記第1のセットの回折格子の格子軸は、前記第2のセットの回折格子の格子軸に実質的に垂直に延在する、請求項26に記載のライトフィールド撮像デバイス。
  28. 前記回折格子の各々が、屈折率変調パターンが形成された上面を有する格子基板を備え、前記格子基板は、前記複数の感光画素による前記回折波面の検出の前に前記回折波面をスペクトル的にフィルタリングするように構成されたスペクトルフィルタ材料または領域を含み、したがって前記複数の回折格子がカラーフィルタアレイを形成する、請求項24〜27のいずれか一項に記載のライトフィールド撮像デバイス。
  29. 前記格子基板の各々が、赤色パスフィルタ、緑色パスフィルタ、および青色パスフィルタのうちの1つとして働く、請求項28に記載のライトフィールド撮像デバイス。
  30. 前記カラーフィルタアレイは、ベイヤーパターンで配置される、請求項28または29に記載のライトフィールド撮像デバイス。
  31. シーンに関するライトフィールド画像データをキャプチャするための背面照明ライトフィールド撮像デバイスであって、当該背面照明ライトフィールド撮像デバイスは、
    前面および背面を有する基板と、
    前記基板の背面の上方に設けられ前記シーンから出る光波面を受け取る回折格子アセンブリと、
    前記基板内に形成された画素アレイと、
    前記前面の下方に設けられ前記画素アレイに結合された画素アレイ回路と、を備え、
    前記回折格子アセンブリは、格子軸と当該格子軸に沿って格子周期を有する屈折率変調パターンとを有する回折格子であって前記光波面を回折させて回折波面を生成する回折格子を備え、
    前記画素アレイは、前記回折波面を、前記背面を通じて受け取り前記ライトフィールド画像データとして検出するように構成された複数の感光画素を備え、前記格子周期よりも小さい、前記格子軸に沿った画素ピッチを有する、背面照明ライトフィールド撮像デバイス。
  32. 前記背面の上方に配置され、モザイク色パターンで配置された複数のカラーフィルタを備えるカラーフィルタアレイをさらに備え、前記カラーフィルタアレイは、前記複数の感光画素による前記回折波面の検出の前に、前記モザイク色パターンに従って前記回折波面を空間的かつスペクトル的にフィルタリングする、請求項31に記載の背面照明ライトフィールド撮像デバイス。
  33. 前記モザイク色パターンがベイヤーパターンである、請求項32に記載の背面照明ライトフィールド撮像デバイス。
  34. 前記回折格子は、バイナリ位相格子であり、前記屈折率変調パターンは、前記格子周期で周期的に間隔を置いて配置された一連のリッジを備え、当該リッジは前記格子周期で周期的に間隔を置いて配置された一連の溝と交互に配置されている、請求項31〜33のいずれか一項に記載の背面照明ライトフィールド撮像デバイス。
  35. 前記回折格子は、約50%のデューティサイクルを有し、前記感光画素の各々は、前記リッジの対応する1つ又は前記溝の対応する1つの下方に当該リッジまたは溝に整列して位置する、請求項34に記載の背面照明ライトフィールド撮像デバイス。
  36. 前記回折格子が約50%のデューティサイクルを有し、各感光画素が、前記リッジの対応する1つと当該リッジに隣接する前記溝の1つとの間の移行部の下方に当該移行部に整列して位置する、請求項34に記載の背面照明ライトフィールド撮像デバイス。
  37. 前記回折格子の屈折率変調パターンと前記画素アレイの受光面との離間距離が0.5マイクロメートル〜5マイクロメートルである、請求項31〜36のいずれか一項に記載の背面照明ライトフィールド撮像デバイス。
  38. 前記格子軸に沿った前記画素ピッチに対する前記格子周期の比が、実質的に2に等しい、請求項31から37のいずれか一項に記載の背面照明ライトフィールド撮像デバイス。
  39. 前記複数の感光画素は、2つの直交する画素軸によって画定される矩形画素グリッドに配置され、前記格子軸は、前記2つの直交する画素軸のうちの1つに平行であるか、または前記2つの直交する画素軸の両方に斜めであるかのいずれかである、請求項31〜38のいずれか一項に記載の背面照明ライトフィールド撮像デバイス。
  40. 前記画素ピッチが、1マイクロメートルから5マイクロメートルの範囲である、請求項31から39のいずれか一項に記載の背面照明ライトフィールド撮像デバイス。
  41. 前記シーンと前記回折格子アセンブリとの間の前記光波面の光路に配置された分散光学素子をさらに含み、前記分散光学素子は、前記光波面を受け取ってスペクトル分散させるように構成される、請求項31〜40のいずれか一項に記載の背面照明ライトフィールド撮像デバイス。
  42. 前記画素アレイの上方に配置され、複数のマイクロレンズを備えるマイクロレンズアレイをさらに備え、各マイクロレンズは、前記感光画素の対応する1つに光学的に結合される、請求項31〜41のいずれか一項に記載の背面照明ライトフィールド撮像デバイス。
  43. 前記回折格子は、前記回折格子アセンブリの複数の回折格子の1つであり、前記複数の回折格子は、前記画素アレイの上方に設けられた二次元格子アレイに配置される、請求項31から42のいずれか一項に記載の背面照明ライトフィールド撮像デバイス。
  44. 前記複数の回折格子は、複数の回折格子のセットを含み、前記セットのうちの互いに異なるセットの回折格子の格子軸は、異なる配向を有する、請求項43に記載の背面照明ライトフィールド撮像デバイス。
  45. 前記回折格子の複数のセットは、回折格子の第1のセットと、回折格子の第2のセットとを含み、前記第1のセットの回折格子の格子軸は、前記第2のセットの回折格子の格子軸に実質的に垂直に延在する、請求項44に記載の背面照明ライトフィールド撮像デバイス。
  46. 前記背面の上方に配置されたカラーフィルタアレイと、前記カラーフィルタアレイの上方に配置されたマイクロレンズアレイと、をさらに備え、
    前記カラーフィルタアレイは、複数の感光画素の対応する1つにそれぞれ光学的に結合される複数のカラーフィルタを備え、前記複数の感光画素によって前記回折波面が検出される前に、前記回折波面を空間的かつスペクトル的にフィルタリングし、
    前記マイクロレンズアレイは、前記複数のカラーフィルタの対応する1つに光学的に結合されるマイクロレンズの複数個を備え、
    前記回折格子は、前記屈折率変調パターンが形成された上面と、前記マイクロレンズアレイの上方に配置された底面とを有する格子基板をさらに備える、請求項31に記載の背面照明ライトフィールド撮像デバイス。
  47. ライトフィールド撮像デバイスであって、
    格子軸と当該格子軸に沿って格子周期を有する屈折率変調パターンとを有する回折格子を備えた回折格子アセンブリと、
    前記回折格子の下方に配置された複数の感光画素を備えた画素アレイであって、前記格子周期よりも小さい格子軸に沿った画素ピッチを有する画素アレイと、を備えたライトフィールド撮像デバイス。
  48. 前記画素アレイの上方に配置され、モザイク色パターンで配置された複数のカラーフィルタを備えるカラーフィルタアレイをさらに備え、前記カラーフィルタアレイは、前記複数の感光画素による前記回折波面の検出の前に、前記モザイク色パターンに従って前記回折波面を空間的かつスペクトル的にフィルタリングする、請求項47に記載のライトフィールド撮像デバイス。
  49. 前記回折格子の周期は、1マイクロメートルから20マイクロメートルの範囲である、請求項47または48に記載のライトフィールド撮像デバイス。
  50. 前記回折格子は、バイナリ位相格子であり、前記屈折率変調パターンは、前記格子周期で周期的に間隔を置いて配置された一連のリッジを備え、当該リッジは前記格子周期で周期的に間隔を置いて配置された一連の溝と交互に配置される、請求項47から49のいずれか一項に記載のライトフィールド撮像デバイス。
  51. 前記回折格子は、約50%のデューティサイクルを有し、各感光画素は、前記リッジの対応する1つ又は前記溝の対応する1つの下方に当該リッジまたは溝に整列して位置する、請求項50に記載のライトフィールド撮像デバイス。
  52. 前記回折格子は、約50%のデューティサイクルを有し、各感光画素は、前記リッジの対応する1つと当該リッジに隣接する前記溝の1つとの間の移行部の下方に当該移行部に整列して位置する、請求項50に記載のライトフィールド撮像デバイス。
  53. 前記格子軸に沿った前記画素ピッチに対する前記格子周期の比が実質的に2に等しい、請求項47から52のいずれか一項に記載のライトフィールド撮像デバイス。
  54. 前記複数の感光画素は2つの直交する画素軸によって画定される矩形画素グリッドに配置され、前記格子軸は、前記2つの直交する画素軸のうちの1つに平行であるか、または前記2つの直交する画素軸の両方に斜めであるかのいずれかである、請求項47から53のいずれか一項に記載のライトフィールド撮像デバイス。
  55. 前記シーンと前記回折格子アセンブリとの間の前記光波面の光路に配置された分散光学素子をさらに含み、前記分散光学素子は、前記光波面を受け取ってスペクトル分散させるように構成される、請求項47から54のいずれか一項に記載のライトフィールド撮像デバイス。
  56. 前記回折格子は、前記回折格子アセンブリの複数の回折格子のうちの1つであり、前記複数の回折格子は、前記画素アレイの上方に配置された二次元格子アレイに配置される、請求項47から55のいずれか一項に記載のライトフィールド撮像デバイス。
  57. 前記複数の回折格子は、複数の回折格子のセットを含み、前記セットのうちの異なるセットの回折格子の格子軸は、異なる配向を有する、請求項56に記載のライトフィールド撮像デバイス。
  58. 前記回折格子の複数のセットは、回折格子の第1のセットと、回折格子の第2のセットとを含み、前記第1のセットの前記回折格子の格子軸は、前記第2のセットの回折格子の前記格子軸に実質的に垂直に延在する、請求項57に記載のライトフィールド撮像デバイス。
  59. ライトフィールド画像データをシーンについてキャプチャする複数の感光画素を有する画素アレイを備えた画素センサと共に使用するための回折格子アセンブリであって、
    当該回折格子アセンブリは、格子軸と前記格子軸に沿った格子周期を有する屈折率変調パターンとを有する回折格子を備え、
    前記格子周期は、前記格子軸に沿った画素アレイの画素ピッチよりも大きく、
    前記回折格子は、前記ライトフィールド画像データとして感光画素によって検出する回折波面を生成するために、前記シーンから生じる光波面を受け取り、回折するように構成され、 当該回折格子アセンブリは、前記画素アレイの上方に配置されるように構成されている、
    回折格子アセンブリ。
  60. 前記回折格子アセンブリは、前記画像センサのカラーフィルタアレイの上方に配置されるように構成され、
    前記カラーフィルタアレイは、前記画素アレイの上方に配置され、前記複数の感光画素による前記回折波面の検出の前に、前記回折波面を空間的およびスペクトル的にフィルタリングするように構成される、
    請求項59に記載の回折格子アセンブリ。
  61. 前記回折格子は、400ナノメートルから1550ナノメートルの範囲の波長帯で前記光波面を回折するように構成される、請求項59または60に記載の回折格子アセンブリ。
  62. 前記格子周期が1マイクロメートルから20マイクロメートルの範囲である、請求項59から61のいずれか一項に記載の回折格子アセンブリ。
  63. 前記回折格子は、バイナリ位相格子であり、前記屈折率変調パターンは、前記格子周期で周期的に間隔を置いて配置された一連のリッジを備え、当該リッジは前記格子周期で周期的に間隔を置いて配置された一連の溝と交互に配置される、請求項59から62のいずれか一項に記載の回折格子アセンブリ。
  64. 前記格子軸に沿った前記画素ピッチに対する前記格子周期の比が実質的に2に等しい、請求項59から63のいずれか一項に記載の回折格子アセンブリ。
  65. 前記回折格子は、前記回折格子アセンブリの複数の回折格子のうちの1つであり、前記複数の回折格子は、前記画素アレイの上方に配置された二次元格子アレイに配置される、請求項59から64のいずれか一項に記載の回折格子アセンブリ。
  66. 前記複数の回折格子は、複数の回折格子のセットを含み、前記セットのうちの互いに異なるセットの回折格子の格子軸は、異なる配向を有する、請求項65に記載の回折格子アセンブリ。
  67. 前記回折格子の複数のセットは、回折格子の第1のセットと、回折格子の第2のセットとを含み、前記第1のセットの回折格子の格子軸は、前記第2のセットの回折格子の格子軸に実質的に垂直に延在する、請求項66に記載の回折格子アセンブリ。
  68. 各回折格子が、格子周期の2〜10回の繰り返しを含む、請求項59〜67のいずれか一項に記載の回折格子アセンブリ。
  69. シーンに関するライトフィールド画像データをキャプチャする方法であって、
    回折波面を生成するために、格子軸に沿って格子周期を有する回折格子でシーンから発する光波面を回折するステップと、
    前記回折格子の下方に配置された複数の感光画素を含む画素アレイであって前記格子周期よりも小さい格子軸に沿った画素ピッチを有する画素アレイにより前記回折波面を前記ライトフィールド画像データとして検出するステップと、を備える方法。
  70. 前記複数の感光画素で前記回折波面を検出する前に、前記回折波面をカラーフィルタアレイで空間スペクトルフィルタリングするステップをさらに含む、請求項69に記載の方法。
  71. 前記シーンから生じる前記光波面を回折するステップは、前記光波面を400ナノメートルから1550ナノメートルの範囲の波長帯で回折するステップを含む、請求項69または70に記載の方法。
  72. 前記格子周期を1マイクロメートルから20マイクロメートルの間の範囲で選択するステップをさらに含む、請求項69から71のいずれか一項に記載の方法。
  73. 前記回折格子を、前記格子周期で周期的に間隔を置いて配置された一連のリッジを備え、前記格子周期で周期的に間隔を置いて配置された一連の溝と交互に配置されたバイナリ位相格子として提供するステップをさらに含む、請求項69〜72のいずれか一項に記載の方法。
  74. 前記回折格子に約50%のデューティサイクルを提供するステップと、各感光画素を、前記リッジの対応する1つ又は前記溝の対応する1つの下方に当該リッジ又は溝に整列させて配置し、或いは、前記リッジの対応する1つと前記溝の対応する1つとの間の移行部の下方に当該移行部に整列させて配置するステップとを更に含む、請求項73に記載の方法。
  75. 前記リッジ及び前記溝の隣接するものの間の光路差を制御するために、前記溝に対する前記リッジのステップ高さを設定するステップをさらに含む、請求項73または74に記載の方法。
  76. 前記回折格子の前記屈折率変調パターンと前記画素アレイの前記受光面との間の分離距離を、前記光波面の中心波長の約10倍未満に設定するステップをさらに含む、請求項69〜75のいずれか一項に記載の方法。
  77. 前記格子軸に沿った前記画素ピッチに対する前記格子周期の比を実質的に2に設定するステップをさらに含む、請求項69から76のいずれか一項に記載の方法。
  78. 前記複数の感光画素を、2つの直交する画素軸によって画定される矩形画素グリッド内に設けるステップと、前記格子軸を、前記2つの直交する画素軸のうちの1つに平行に、または前記2つの直交する画素軸の両方に斜めに配向するステップとをさらに含む、請求項69〜77のいずれか一項に記載の方法。
  79. 前記光波面を回折する前に前記光波面をスペクトル的に分散させることをさらに含む、請求項69〜78のいずれか一項に記載の方法。
  80. シーンを観察し複数の感光画素を有する画素アレイを備える画像センサに三次元撮像能力を提供する方法であって、
    格子軸と前記格子軸に沿った格子周期とを有する回折格子を備えた回折格子アセンブリを画像センサの前に配置するステップと、
    前記回折格子で前記シーンから発する光波面を受け取って回折し、回折波面を生成するステップと、
    前記感光画素で前記回折波面を検出するステップと、を備える、
    前記格子周期は、前記格子軸に沿った画素アレイの画素ピッチより大きい、方法。
  81. 前記複数の感光画素によって前記回折波面を検出する前に、前記回折波面をカラーフィルタアレイで空間的かつスペクトル的にフィルタリングするステップをさらに含む、請求項80に記載の方法。
  82. 前記格子周期を1マイクロメートルから20マイクロメートルの間の範囲で選択するステップをさらに含む、請求項80または81に記載の方法。
  83. 前記回折格子を、前記格子周期で周期的に間隔を置いて配置され、前記格子周期で周期的に間隔を置いて配置された一連の溝と交互配置されたリッジを備えたバイナリ位相格子として提供するステップをさらに含む、請求項80〜82のいずれか一項に記載の方法。
  84. 前記回折格子に約50%のデューティサイクルを提供するステップと、前記回折格子アセンブリを前記画素アレイの上方に配置して、各リッジおよび各溝が、前記感光画素の対応する1つの上方に当該リッジ又は溝と整列して延在するか、または前記交互配置されたリッジおよび溝の間の各移行部の上方に当該移行部と整列して延在するようにするステップと、をさらに含む、請求項83に記載の方法。
  85. 前記リッジ及び前記溝のうち相互に隣接するリッジと溝との間の光路差を制御するために、前記溝に対する前記リッジのステップ高さを設定するステップをさらに含む、請求項83または84に記載の方法。
  86. 前記回折格子アセンブリを前記画像センサの前に配置するステップは、前記感光画素で検出される前の前記回折波面の光路長が前記光波面の中心波長の約10倍未満となるように選択された距離だけ前記画素アレイから分離させて前記回折格子アセンブリを配置するステップを含む、請求項80〜85のいずれか一項に記載の方法。
  87. 前記格子周期を、前記格子軸に沿った画素ピッチの実質的に2倍に等しく設定するステップをさらに含む、請求項80〜86のいずれか一項に記載の方法。
  88. 前記画像センサの前に前記回折格子アセンブリを配置するステップは、前記格子軸を、前記画素アレイの2つの直交する画素軸のうちの1つに平行に、または前記2つの直交する画素軸の両方に斜めに配向することを含む、請求項80〜87のいずれか一項に記載の方法。
  89. 前記光波面を回折する前に前記光波面をスペクトル的に分散させることをさらに含む、請求項80〜88のいずれか一項に記載の方法。
JP2018564974A 2016-06-07 2017-06-06 深度取得及び３次元撮像のためのライトフィールド撮像デバイス及び方法 Active JP7120929B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662346884P 2016-06-07 2016-06-07
US62/346,884 2016-06-07
PCT/CA2017/050686 WO2017210781A1 (en) 2016-06-07 2017-06-06 Light field imaging device and method for depth acquisition and three-dimensional imaging

Publications (3)

Publication Number Publication Date
JP2019523910A true JP2019523910A (ja) 2019-08-29
JP2019523910A5 JP2019523910A5 (ja) 2020-07-16
JP7120929B2 JP7120929B2 (ja) 2022-08-17

Family

ID=60578320

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018564974A Active JP7120929B2 (ja) 2016-06-07 2017-06-06 深度取得及び３次元撮像のためのライトフィールド撮像デバイス及び方法

Country Status (7)

Country Link
US (2) US20190257987A1 (ja)
EP (1) EP3466052A4 (ja)
JP (1) JP7120929B2 (ja)
KR (1) KR102391632B1 (ja)
CN (1) CN109716176B (ja)
CA (1) CA3026789A1 (ja)
WO (1) WO2017210781A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023182202A1 (ja) * 2022-03-22 2023-09-28 凸版印刷株式会社 固体撮像素子およびその製造方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109716176B (zh) * 2016-06-07 2021-09-17 艾瑞3D 有限公司 用于深度采集和三维成像的光场成像装置和方法
IL251636B (en) 2017-04-06 2018-02-28 Yoav Berlatzky A system and method for a coherent camera
CN111670576B (zh) * 2017-12-05 2022-10-25 艾瑞3D有限公司 用于深度获取的光场图像处理方法
CN110378185A (zh) * 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
US10638061B2 (en) 2018-09-18 2020-04-28 Analog Devices Global Unlimited Company Active-pixel image sensor
JP6857163B2 (ja) * 2018-09-26 2021-04-14 日本電信電話株式会社 偏光イメージング撮像システム
CN109884742A (zh) * 2019-04-03 2019-06-14 深圳市灵明光子科技有限公司 光场成像装置和光场成像方法
EP3977206A4 (en) * 2019-05-30 2023-06-14 Microtau IP Pty Ltd. SYSTEMS AND METHODS FOR MAKING MICROSTRUCTURES
TW202101035A (zh) 2019-06-05 2021-01-01 加拿大商艾瑞３Ｄ股份有限公司 用於3d感測之光場成像裝置及方法
JP7182522B2 (ja) * 2019-06-27 2022-12-02 Dmg森精機株式会社 検出装置
CN112393692B (zh) * 2019-08-14 2023-04-28 Oppo广东移动通信有限公司 激光投射模组、图像采集模组、深度相机及电子设备
EP3805819A1 (en) * 2019-10-08 2021-04-14 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Light-field sensor, light-field sensor arrangement and camera apparatus
KR20210048951A (ko) * 2019-10-24 2021-05-04 삼성전자주식회사 초분광 이미지 센서 및 이를 포함하는 초분광 촬상 장치
US11070790B1 (en) * 2020-01-10 2021-07-20 Shenzhen GOODIX Technology Co., Ltd. Passive three-dimensional image sensing based on spatial filtering
WO2022016412A1 (zh) * 2020-07-22 2022-01-27 深圳市汇顶科技股份有限公司 深度信息图像采集装置和电子设备
US20220085084A1 (en) * 2020-09-11 2022-03-17 Stmicroelectronics (Research & Development) Limited Pixel with an improved quantum efficiency
US20240012262A1 (en) * 2020-11-10 2024-01-11 Airy3D Inc. Imaging systems and methods for dual depth and polarization sensing
US11536914B2 (en) * 2020-11-17 2022-12-27 Globalfoundries U.S. Inc. Photodetector array with diffraction gratings having different pitches
JP6910680B1 (ja) * 2020-12-25 2021-07-28 株式会社ＳｅｎｓＡＩ 撮像システム
US20240069307A1 (en) * 2021-01-15 2024-02-29 Airy3D Inc. Lens position determination in depth imaging
US20240114235A1 (en) * 2021-01-22 2024-04-04 Airy3D Inc. Power management techniques in depth imaging
US20220408033A1 (en) * 2021-05-07 2022-12-22 Richard Edward Pimpinella Computationally Enhanced Low-Performance Infrared Focal Plane Arrays
CN113973197B (zh) * 2021-11-29 2023-09-12 维沃移动通信有限公司 像素结构、像素阵列、图像传感器及电子设备
EP4362098A1 (en) * 2022-10-25 2024-05-01 Infineon Technologies AG Active pixel sensor and method for fabricating an active pixel sensor
KR102619003B1 (ko) * 2022-11-22 2023-12-28 상명대학교산학협력단 회절 격자 기반의 3차원 이미징 시스템 및 그 동작 방법
CN116974090A (zh) * 2023-09-08 2023-10-31 维悟光子(北京)科技有限公司 3d成像系统及其控制方法、装置、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006019627A (ja) * 2004-07-05 2006-01-19 Dainippon Printing Co Ltd 固体撮像素子
JP2009025501A (ja) * 2007-07-19 2009-02-05 Topcon Corp 回折格子付き波長板と、回折格子付き波長板の製造方法
JP2012108319A (ja) * 2010-11-17 2012-06-07 Canon Inc 積層型回折光学素子
WO2013179538A1 (ja) * 2012-05-28 2013-12-05 パナソニック株式会社 奥行き推定撮像装置
JP2014154755A (ja) * 2013-02-12 2014-08-25 Canon Inc 撮影レンズの瞳分割手段を備えた撮像素子を有する撮像装置および撮像素子の製造方法
US20150061065A1 (en) * 2013-08-27 2015-03-05 Rambus Inc. Optical sensing of nearby scenes with tessellated phase anti-symmetric phase gratings
US20150125943A1 (en) * 2008-07-25 2015-05-07 Cornell University Light field image sensor, method and applications
JP2016001236A (ja) * 2014-06-11 2016-01-07 株式会社エンプラス 回折格子および変位計測装置

Family Cites Families (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3641895A (en) * 1969-06-03 1972-02-15 Agfa Gevaert Ag Apparatus for photographic color recording
KR0120397B1 (ko) * 1992-04-28 1997-10-22 나카무라 히사오 화상표시장치
JPH1196374A (ja) * 1997-07-23 1999-04-09 Sanyo Electric Co Ltd ３次元モデリング装置、３次元モデリング方法および３次元モデリングプログラムを記録した媒体
DE60122735T2 (de) * 2000-07-18 2007-09-20 Optaglio Ltd., Andover Achromatisches beugungselement
US20100085642A1 (en) * 2000-07-18 2010-04-08 Optaglio Limited Diffractive device
US6839088B2 (en) * 2001-03-31 2005-01-04 The Board Of Trustees Of The Leland Stanford Junior University System and method for estimating physical properties of objects and illuminants in a scene using modulated light emission
US6524772B1 (en) * 2001-08-30 2003-02-25 United Microelectronics Corp. Method of manufacturing phase grating image sensor
KR100416548B1 (ko) * 2001-10-10 2004-02-05 삼성전자주식회사 3차원 영상 표시장치
US7302093B2 (en) * 2002-03-26 2007-11-27 Hunter Engineering Company Color vision vehicle wheel alignment system
JP3947969B2 (ja) * 2002-05-15 2007-07-25 ソニー株式会社 画像処理装置、および画像処理方法、記録媒体、並びにプログラム
US7548359B2 (en) * 2002-11-13 2009-06-16 Asahi Glass Company, Limited Double-wavelength light source unit and optical head device having four diffraction gratings
US7511749B2 (en) * 2003-12-18 2009-03-31 Aptina Imaging Corporation Color image sensor having imaging element array forming images on respective regions of sensor elements
TWM249381U (en) * 2003-12-19 2004-11-01 Hon Hai Prec Ind Co Ltd Image sensor
EP1756646A2 (en) * 2004-02-06 2007-02-28 Nagayama IP Holdings llc Complex pointillistic multicolor printing
ATE520046T1 (de) * 2004-04-23 2011-08-15 Olivier M Parriaux Hocheffiziente optische beugungseinrichtung
US20060072005A1 (en) * 2004-10-06 2006-04-06 Thomas-Wayne Patty J Method and apparatus for 3-D electron holographic visual and audio scene propagation in a video or cinematic arena, digitally processed, auto language tracking
KR20080009280A (ko) * 2005-05-18 2008-01-28 더글라스 에스. 홉스 편광 및 파장 필터링을 위한 마이크로구조물형 광장치
JP4456040B2 (ja) * 2005-06-17 2010-04-28 パナソニック株式会社 固体撮像素子
EP1932051A1 (en) * 2005-09-14 2008-06-18 Mirage Innovations Ltd. Diffraction grating with a spatially varying duty-cycle
ATE495026T1 (de) * 2005-09-26 2011-01-15 Suisse Electronique Microtech Ein diffraktives sicherheitselement
JP2007265581A (ja) * 2006-03-30 2007-10-11 Fujinon Sano Kk 回折素子
US8599301B2 (en) * 2006-04-17 2013-12-03 Omnivision Technologies, Inc. Arrayed imaging systems having improved alignment and associated methods
US7619808B2 (en) * 2006-06-06 2009-11-17 Alcatel-Lucent Usa Inc. Light wave front construction
US7714368B2 (en) * 2006-06-26 2010-05-11 Aptina Imaging Corporation Method and apparatus providing imager pixel array with grating structure and imager device containing the same
US20080043166A1 (en) * 2006-07-28 2008-02-21 Hewlett-Packard Development Company Lp Multi-level layer
JP5028048B2 (ja) * 2006-08-10 2012-09-19 キヤノン株式会社 撮像装置
JP4978105B2 (ja) * 2006-08-10 2012-07-18 セイコーエプソン株式会社 撮像素子カバー及び撮像装置
US7773138B2 (en) * 2006-09-13 2010-08-10 Tower Semiconductor Ltd. Color pattern and pixel level binning for APS image sensor using 2×2 photodiode sharing scheme
CN101222009A (zh) * 2007-01-12 2008-07-16 清华大学 发光二极管
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
JP2009217123A (ja) * 2008-03-12 2009-09-24 Fujinon Corp 回折格子型ローパスフィルタ
US8809758B2 (en) * 2008-07-25 2014-08-19 Cornell University Light field image sensor with an angle-sensitive pixel (ASP) device
US7910961B2 (en) * 2008-10-08 2011-03-22 Omnivision Technologies, Inc. Image sensor with low crosstalk and high red sensitivity
WO2010077625A1 (en) * 2008-12-08 2010-07-08 Refocus Imaging, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US8520061B2 (en) * 2009-12-14 2013-08-27 3M Innovative Properties Company Zero-D dimming for 3D displays
KR101790601B1 (ko) * 2010-08-03 2017-10-26 코넬 유니버시티 각 감지 픽셀(asp)에 기초한 이미지 처리 시스템, 방법, 및 응용들
KR101904033B1 (ko) * 2010-10-27 2018-10-04 코넬 유니버시티 광 필드 이미지 센서, 방법들 및 응용들
EP2447744B1 (en) * 2010-11-01 2021-03-31 CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement Pixelated optical filter and method for the manufacturing thereof
US9979941B2 (en) * 2011-01-14 2018-05-22 Sony Corporation Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
US8742309B2 (en) * 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
US20130265459A1 (en) * 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
JP5760811B2 (ja) * 2011-07-28 2015-08-12 ソニー株式会社 固体撮像素子および撮像システム
JP2013038164A (ja) * 2011-08-05 2013-02-21 Sony Corp 固体撮像装置、電子機器
US8542933B2 (en) * 2011-09-28 2013-09-24 Pelican Imaging Corporation Systems and methods for decoding light field image files
CN103918257B (zh) * 2011-11-09 2018-05-11 皇家飞利浦有限公司 显示设备和方法
JP5692051B2 (ja) * 2011-12-27 2015-04-01 株式会社Ｊｖｃケンウッド 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム
US8861850B2 (en) * 2012-01-31 2014-10-14 Apple Inc. Digital image color correction
US9554115B2 (en) * 2012-02-27 2017-01-24 Semiconductor Components Industries, Llc Imaging pixels with depth sensing capabilities
KR101927886B1 (ko) * 2012-03-19 2018-12-11 삼성전자주식회사 영상 처리 장치 및 그 방법
EP2693396A1 (en) * 2012-07-30 2014-02-05 Nokia Corporation Method, apparatus and computer program product for processing of multimedia content
WO2014083836A1 (ja) * 2012-11-30 2014-06-05 パナソニック株式会社 集光装置、固体撮像素子および撮像装置
US9110240B2 (en) * 2013-03-05 2015-08-18 Rambus Inc. Phase gratings with odd symmetry for high-resolution lensed and lensless optical sensing
US9502453B2 (en) * 2013-03-14 2016-11-22 Visera Technologies Company Limited Solid-state imaging devices
US9679360B2 (en) * 2013-05-10 2017-06-13 Trustees Of Princeton University High-resolution light-field imaging
EP3004950A1 (en) * 2013-06-04 2016-04-13 Danmarks Tekniske Universitet An optical device capable of providing a structural color, and a corresponding method of manufacturing such a device
JP2015037102A (ja) * 2013-08-12 2015-02-23 株式会社東芝 固体撮像装置
WO2015091014A1 (en) * 2013-12-20 2015-06-25 Koninklijke Philips N.V. Autostereoscopic display device
JP6228300B2 (ja) * 2013-12-24 2017-11-08 ライトロ, インコーポレイテッドLytro, Inc. プレノプティックカメラの分解能の改良
US10244223B2 (en) * 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
WO2015137635A1 (en) * 2014-03-13 2015-09-17 Samsung Electronics Co., Ltd. Image pickup apparatus and method for generating image having depth information
CN106104318B (zh) * 2014-04-09 2019-05-03 拉姆伯斯公司 低功率图像改变检测器
US8988317B1 (en) * 2014-06-12 2015-03-24 Lytro, Inc. Depth determination for light field images
WO2015195417A1 (en) * 2014-06-20 2015-12-23 Rambus Inc. Systems and methods for lensed and lensless optical sensing
KR20160025729A (ko) * 2014-08-28 2016-03-09 에스케이하이닉스 주식회사 깊이 검출 픽셀을 구비한 이미지 센서 및 이를 이용한 깊이 정보 생성 방법
US9825078B2 (en) * 2014-11-13 2017-11-21 Visera Technologies Company Limited Camera device having an image sensor comprising a conductive layer and a reflection layer stacked together to form a light pipe structure accommodating a filter unit
US9712806B2 (en) * 2014-12-19 2017-07-18 Datalogic ADC, Inc. Depth camera system using coded structured light
KR102538464B1 (ko) * 2015-02-06 2023-06-01 에이지씨 가부시키가이샤 유리 기판, 적층 기판 및 유리 기판의 제조 방법
US9467633B2 (en) * 2015-02-27 2016-10-11 Semiconductor Components Industries, Llc High dynamic range imaging systems having differential photodiode exposures
KR102456875B1 (ko) * 2015-03-17 2022-10-19 코넬 유니버시티 심도 촬상 장치, 방법 및 응용
US20160309065A1 (en) * 2015-04-15 2016-10-20 Lytro, Inc. Light guided image plane tiled arrays with dense fiber optic bundles for light-field and high resolution image acquisition
WO2016180702A1 (en) * 2015-05-08 2016-11-17 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Eye tracking device and method for operating an eye tracking device
US10566365B2 (en) * 2015-05-27 2020-02-18 Visera Technologies Company Limited Image sensor
US11054664B2 (en) * 2015-06-18 2021-07-06 Apple Inc. Monitoring DOE performance using software scene evaluation
US9712792B2 (en) * 2015-08-10 2017-07-18 Samsung Electronics Co., Ltd. RGB-RWB dual images by multi-layer sensors towards better image quality
US10261584B2 (en) * 2015-08-24 2019-04-16 Rambus Inc. Touchless user interface for handheld and wearable computers
EP3144879A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing A method and an apparatus for generating data representative of a light field
EP3145168A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
KR20180102049A (ko) * 2015-10-02 2018-09-14 푸에뎁스 리미티드 다중 디스플레이를 포함하는 디스플레이 시스템에서의 모아레 간섭을 줄이기 위해 서브­픽셀 압축을 수행하는 방법 및 시스템
US9876995B2 (en) * 2015-12-04 2018-01-23 Visera Technologies Company Limited Image sensor
KR102581465B1 (ko) * 2016-01-12 2023-09-21 삼성전자주식회사 회절형 컬러 필터를 구비하는 입체 영상 표시 장치
US9837455B2 (en) * 2016-01-20 2017-12-05 Visera Technologies Company Limited Image sensor
US20190018186A1 (en) * 2016-01-30 2019-01-17 Leia Inc. Privacy display and dual-mode privacy display system
US11209664B2 (en) * 2016-02-29 2021-12-28 Nlight, Inc. 3D imaging system and method
US10222742B2 (en) * 2016-04-14 2019-03-05 Rambus Inc. Systems and methods for improving resolution in lensless imaging
CN109716176B (zh) * 2016-06-07 2021-09-17 艾瑞3D 有限公司 用于深度采集和三维成像的光场成像装置和方法
CN105929587B (zh) * 2016-06-24 2022-09-30 京东方科技集团股份有限公司 一种显示装置
US20180091798A1 (en) * 2016-09-26 2018-03-29 Imec Taiwan Co. System and Method for Generating a Depth Map Using Differential Patterns
WO2018131509A1 (ja) * 2017-01-13 2018-07-19 ソニーセミコンダクタソリューションズ株式会社 撮像素子、製造方法、および電子機器
WO2018136276A1 (en) * 2017-01-20 2018-07-26 Rambus Inc. Imaging systems and methods with periodic gratings with homologous pixels
GB201708407D0 (en) * 2017-05-25 2017-07-12 Cambridge Entpr Ltd Optical Devices
KR102486389B1 (ko) * 2017-08-14 2023-01-09 삼성전자주식회사 나노구조 광학소자, 깊이 센서 및 전자장치
CN107749070B (zh) * 2017-10-13 2020-06-02 京东方科技集团股份有限公司 深度信息的获取方法和获取装置、手势识别设备
US20190132574A1 (en) * 2017-10-31 2019-05-02 Microsoft Technology Licensing, Llc Depth sensing system with differential imaging camera
CN111670576B (zh) * 2017-12-05 2022-10-25 艾瑞3D有限公司 用于深度获取的光场图像处理方法
US10516876B2 (en) * 2017-12-19 2019-12-24 Intel Corporation Dynamic vision sensor and projector for depth imaging
US10802117B2 (en) * 2018-01-24 2020-10-13 Facebook Technologies, Llc Systems and methods for optical demodulation in a depth-sensing device
KR20200027123A (ko) * 2018-09-03 2020-03-12 삼성전자주식회사 이미지 센서
KR20210131367A (ko) * 2019-02-26 2021-11-02 도판 인사츠 가부시키가이샤 파장 선택 필터, 파장 선택 필터의 제조 방법, 및, 표시 장치
US11405535B2 (en) * 2019-02-28 2022-08-02 Qualcomm Incorporated Quad color filter array camera sensor configurations
JP2020191564A (ja) * 2019-05-22 2020-11-26 ソニーセミコンダクタソリューションズ株式会社 受光デバイス、固体撮像装置、電子機器及び情報処理システム
TW202101035A (zh) * 2019-06-05 2021-01-01 加拿大商艾瑞３Ｄ股份有限公司 用於3d感測之光場成像裝置及方法
US10964744B1 (en) * 2019-09-13 2021-03-30 Omnivision Technologies, Inc. Light control for improved near infrared sensitivity and channel separation
US20230418084A1 (en) * 2020-11-20 2023-12-28 Airy3D Inc. Diffraction-grating-based systems and methods for stereoscopic and multiscopic imaging
US11683598B1 (en) * 2022-02-24 2023-06-20 Omnivision Technologies, Inc. Image sensor with on-chip occlusion detection and methods thereof

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006019627A (ja) * 2004-07-05 2006-01-19 Dainippon Printing Co Ltd 固体撮像素子
JP2009025501A (ja) * 2007-07-19 2009-02-05 Topcon Corp 回折格子付き波長板と、回折格子付き波長板の製造方法
US20150125943A1 (en) * 2008-07-25 2015-05-07 Cornell University Light field image sensor, method and applications
JP2012108319A (ja) * 2010-11-17 2012-06-07 Canon Inc 積層型回折光学素子
WO2013179538A1 (ja) * 2012-05-28 2013-12-05 パナソニック株式会社 奥行き推定撮像装置
JP2014154755A (ja) * 2013-02-12 2014-08-25 Canon Inc 撮影レンズの瞳分割手段を備えた撮像素子を有する撮像装置および撮像素子の製造方法
US20150061065A1 (en) * 2013-08-27 2015-03-05 Rambus Inc. Optical sensing of nearby scenes with tessellated phase anti-symmetric phase gratings
JP2016001236A (ja) * 2014-06-11 2016-01-07 株式会社エンプラス 回折格子および変位計測装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023182202A1 (ja) * 2022-03-22 2023-09-28 凸版印刷株式会社 固体撮像素子およびその製造方法

Also Published As

Publication number Publication date
US20220057550A1 (en) 2022-02-24
EP3466052A1 (en) 2019-04-10
JP7120929B2 (ja) 2022-08-17
EP3466052A4 (en) 2020-02-19
CN109716176B (zh) 2021-09-17
KR102391632B1 (ko) 2022-04-27
WO2017210781A1 (en) 2017-12-14
CA3026789A1 (en) 2017-12-14
KR20190020730A (ko) 2019-03-04
US20190257987A1 (en) 2019-08-22
CN109716176A (zh) 2019-05-03

Similar Documents

Publication Publication Date Title
JP7120929B2 (ja) 深度取得及び３次元撮像のためのライトフィールド撮像デバイス及び方法
KR102543392B1 (ko) 깊이 획득을 위한 명시야 이미지 처리 방법
JP2019523910A5 (ja)
US20220221733A1 (en) Light Field Imaging Device and Method for 3D Sensing
US10854652B2 (en) Optical sensing with tessellated diffraction-pattern generators
US9945718B2 (en) Image sensors with multi-functional pixel clusters
EP3129813B1 (en) Low-power image change detector
US20150234102A1 (en) Dynamically focusable multispectral light field imaging
JP2020520467A (ja) 赤外マルチスペクトル撮像用の装置及び方法
TW202205654A (zh) 攝像裝置及電子機器
JP5975229B2 (ja) カラー撮像装置
CN114365019A (zh) 深度信息图像采集装置和电子设备
TW202413899A (zh) 多光譜光學感測器、攝影機系統及視差補償方法
US20240063240A1 (en) Light state imaging pixel
US20240012262A1 (en) Imaging systems and methods for dual depth and polarization sensing
US20240151884A1 (en) Pixel having light focusing transparent diffractive grating

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200603

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200603

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210602

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220607

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220607

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220624

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220804

R150 Certificate of patent or registration of utility model

Ref document number: 7120929

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150