CN110970452B - 三维图像传感器、深度校正方法及三维图像生成方法 - Google Patents

三维图像传感器、深度校正方法及三维图像生成方法 Download PDF

Info

Publication number
CN110970452B
CN110970452B CN201910710726.7A CN201910710726A CN110970452B CN 110970452 B CN110970452 B CN 110970452B CN 201910710726 A CN201910710726 A CN 201910710726A CN 110970452 B CN110970452 B CN 110970452B
Authority
CN
China
Prior art keywords
pixel
depth
pixels
image sensor
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910710726.7A
Other languages
English (en)
Other versions
CN110970452A (zh
Inventor
陈暎究
金永灿
文昌碌
权容铉
郑泰燮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110970452A publication Critical patent/CN110970452A/zh
Application granted granted Critical
Publication of CN110970452B publication Critical patent/CN110970452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/499—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14607—Geometry of the photosensitive area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G02B5/3058—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state comprising electrically conductive elements, e.g. wire grids, conductive particles
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1463—Pixel isolation structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14641—Electronic components shared by two or more pixel-elements, e.g. one amplifier shared by two pixel elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

一种3D图像传感器包括深度像素和与深度像素相邻的至少两个偏振像素。深度像素包括在基板中的电荷产生区域。深度像素配置为基于检测从物体反射的光来生成与3D场景中的从3D图像传感器起的物体的深度相关联的深度信息。每个偏振像素包括在基板中的光电二极管和在基板上在光入射方向上的偏振器。偏振像素配置为基于检测从物体反射的光而生成与3D场景中的物体的表面形状相关联的形状信息。偏振像素和深度像素共同地限定单位像素。各偏振器与不同的偏振方向相关联。

Description

三维图像传感器、深度校正方法及三维图像生成方法
技术领域
本发明构思涉及三维(3D)图像传感器，更具体地，涉及包括偏振器的3D图像传感器，以及基于3D图像传感器的深度校正方法和3D图像生成方法。
背景技术
3D图像传感器是被配置为从场景内的传感器获得与物体的深度相关的深度信息的传感器，并可以从场景内的传感器计算面部或物品的深度并且基于该深度信息生成面部或物品的3D图像。3D图像传感器通常可以分为有源型和/或无源型。有源型3D图像传感器可以从光源发射特定类型的光、将光照射到物体并基于检测从物体反射的光来获得与物体相关的深度信息。无源型3D图像传感器可以基于检测从物体反射的自然光而无需单独的光源来获得与物体相关的深度信息。有源型3D图像传感器可以包括飞行时间(ToF)型和结构光型。无源型3D图像传感器可以包括立体声型、多相机型、多光电二极管(多PD)型等。
发明内容
本发明构思提供精确检测物体的表面的形状信息以及物体的深度信息的3D图像传感器以及基于该3D图像传感器的深度校正方法和三维(3D)图像生成方法。
根据一些示例实施方式，一种三维(3D)图像传感器可以包括深度像素。深度像素可以包括基板中的电荷产生区域。深度像素可以配置为基于检测从物体反射的光而生成与3D场景中的从3D图像传感器起的物体的深度相关联的深度信息。3D图像传感器可以包括与深度像素相邻的至少两个偏振像素。每个偏振像素可以包括在基板中的光电二极管和在光入射方向上在基板上的偏振器。每个偏振像素可以配置为基于检测从物体反射的光来生成与3D场景中的物体的表面形状相关联的形状信息。所述至少两个偏振像素和深度像素可以共同地限定单位像素。所述至少两个偏振像素中的各偏振器可以与不同的偏振方向相关联。
根据一些示例实施方式，一种三维(3D)图像传感器可以包括单位像素。单位像素可以包括在基板中的像素的中心的电荷产生区域以及在光入射方向上在基板上的至少两个偏振器。所述至少两个偏振器可以与不同的偏振方向相关联。3D图像传感器可以配置为基于检测从物体反射的光而生成与3D场景中的从3D图像传感器起的物体的深度相关的深度信息以及基于检测从物体反射的光而生成与3D场景中的物体的表面形状相关联的形状信息。
根据一些示例实施方式，一种基于三维(3D)图像传感器的深度校正方法可以包括响应于深度像素检测到从物体反射的光而基于由3D图像传感器的深度像素生成的处理传感器数据来计算从3D图像传感器起的物体的深度。该方法可以包括：响应于其中具有偏振器的像素检测到从物体反射的光，基于由其中布置有偏振器的像素生成的处理传感器数据来计算基于偏振信息的法向矢量。该方法可以包括基于法向矢量来校正深度。3D图像传感器可以包括深度像素和在深度像素的周边的其中布置有偏振器的偏振像素，或者其中布置有偏振器的深度像素。
根据一些示例实施方式，一种基于三维(3D)图像传感器的深度校正方法可以包括：响应于深度像素检测到从物体反射的光，基于由3D图像传感器的基于飞行时间(ToF)的深度像素生成的处理传感器数据来计算从3D图像传感器起的物体的深度。该方法可以包括确定对于每个深度像素的相位的最大值相对于最小值的比率是否超过阈值。该方法可以包括：响应于其中具有偏振器的像素检测到从物体反射的光并且该比率不超过阈值，基于由其中布置有偏振器的像素生成的处理传感器数据，计算基于偏振信息的法向矢量。该方法可以包括基于法向矢量来校正深度。3D图像传感器可以包括深度像素和在深度像素的周边中其中布置有偏振器的偏振像素，或者其中布置有偏振器的深度像素。
根据一些示例实施方式，一种基于3D图像传感器的三维(3D)图像生成方法可以包括：响应于深度像素检测到从物体反射的光，基于由3D图像传感器的深度像素生成的处理传感器数据来检测物体的相位信号。该方法可以包括：响应于其中具有偏振器的像素检测到从物体反射的光，基于由其中布置有偏振器的像素生成的处理传感器数据而计算基于偏振信息的法向矢量，并计算物体的3D形状。该方法可以包括基于相位信号计算物体的深度。该方法可以包括基于将与计算的深度相关联的深度信息和与所计算的物体的3D形状相关联的3D形状信息结合来生成物体的3D图像。3D图像传感器可以包括深度像素和在深度像素的周边中其中布置有偏振器的偏振像素，或者其中布置有偏振器的深度像素。
附图说明
从以下结合附图的详细描述，本发明构思的实施方式将被更清楚地理解，附图中：
图1是根据本发明构思的一些示例实施方式的三维(3D)图像传感器的概念图；
图2A、图2B、图2C和图2D是示出根据本发明构思的一些示例实施方式的3D图像传感器中将偏振像素和深度像素结合的结构的概念图；
图3A、图3B、图3C和图3D是示出根据本发明构思的一些示例实施方式的3D图像传感器中将偏振像素和基于飞行时间(ToF)的深度像素结合的结构的概念图；
图4A、图4B和图4C是示出根据本发明构思的一些示例实施方式的3D图像传感器中的偏振像素和深度像素的相对密度的概念图；
图5是示出根据本发明构思的一些示例实施方式的3D图像传感器中将偏振像素和基于ToF的深度像素结合的结构的概念图；
图6A和图6B是示出根据本发明构思的一些示例实施方式的3D图像传感器中将偏振像素和基于ToF的深度像素结合的结构的概念图；
图7A、图7B、图7C和图7D是示出根据本发明构思的一些示例实施方式的3D图像传感器中将偏振像素和基于多光电二极管(多PD)的深度像素结合的结构的概念图；
图8是示出根据本发明构思的一些示例实施方式的3D图像传感器中将偏振像素和基于多PD的深度像素结合的结构的概念图；
图9A、图9B和图9C是示出根据本发明构思的一些示例实施方式的3D图像传感器中偏振器布置在基于多PD的深度像素上的结构的概念图；
图10A、图10B、图10C、图10D和图10E是示出根据本发明构思的一些示例实施方式的3D图像传感器中偏振器布置在基于ToF的深度像素上的结构的概念图；
图11是示出根据本发明构思的一些示例实施方式的3D图像传感器中偏振器布置在基于多PD的深度像素或基于ToF的深度像素上的结构的概念图；
图12A和图12B是示出根据本发明构思的一些示例实施方式的3D图像传感器中的具有第一联接结构的3D图像传感器的截面和具有第二联接结构的3D图像传感器的截面的截面图；
图13A和图13B是示出根据本发明构思的一些示例实施方式的3D图像传感器中的具有第一联接结构的3D图像传感器的截面和具有第二联接结构的3D图像传感器的截面的截面图；
图14A和图14B是根据本发明构思的一些示例实施方式的包括有源型3D图像传感器的电子设备的示意图；
图15A和图15B是根据本发明构思的一些示例实施方式的包括无源型3D图像传感器的电子设备的示意图；
图16和图17是简要示出根据本发明构思的一些示例实施方式的深度校正方法的流程图；以及
图18是简要示出根据本发明构思的一些示例实施方式的3D图像生成方法的流程图。
具体实施方式
在下文，将参照附图详细描述本发明构思的示例实施方式。附图中的相同部件将被称为相同的附图标记，并且将不重复地描述。
图1是根据本发明构思的一些示例实施方式的三维(3D)图像传感器的概念图。
参照图1，根据本发明构思的一些示例实施方式的3D图像传感器100可以具有其中偏振器112和深度像素120结合以共同限定3D图像传感器100的单位像素(UP)的结构。这里，由偏振器112和深度像素120的结合得到的单位像素可以包括第一联接结构和第二联接结构，在第一联接结构中包括偏振器112的偏振像素(见图2A的110等)和深度像素120结合，在第二联接结构中偏振器112布置在深度像素120上。3D图像传感器100可以包括至少两个偏振器112(例如112-1至112-4)，其中所述至少两个偏振器112的各个偏振器112与不同的偏振方向相关联以检测物体的表面形状信息。
这里，深度像素120可以表示由一般现有的3D图像传感器使用的像素。取决于检测物体的深度信息的方案，深度像素120可以被分为几种类型。例如，深度像素120可以被分为有源型和无源型，取决于3D图像传感器是否使用光源来发射光，所述光基于所发射的光从物体的反射被深度像素120检测。有源型可以包括飞行时间(ToF)型、结构光型等，无源型可以包括立体声型、多相机型、多光电二极管(多PD)型等。
偏振像素110用于能够基于检测从物体反射的光来生成与3D场景中的物体的表面的形状相关联的形状信息的偏振传感器，并可以包括偏振器112。例如，偏振像素110可以具有偏振器112布置在包括光电二极管的一般像素上的结构。偏振像素110还可以具有偏振器112布置在深度像素上的结构。在一些示例实施方式中，在下文，为了区分第一联接结构和第二联接结构，偏振像素110可以仅表示偏振器112布置在一般像素上的结构。
包括偏振像素110(例如110-1至110-4)的偏振传感器可以检测通过不同偏振器112(例如112-1至112-4)入射(例如在不同偏振器112处接收)的偏振光的变化，其中光从3D场景中的物体反射，因此计算相对于物体的表面的法向矢量。一旦计算了相对于物体的表面的法向矢量，就可以计算与物体的表面的形状相关联的形状信息。以这种方式，偏振传感器可以通过使用偏振像素110来生成与物体的表面形状相关联的形状信息。
通常，现有的3D图像传感器可以通过使用深度像素120精确地测量3D场景中的从3D图像传感器起的物体的深度，其中深度像素120可以配置为基于检测从物体反射的光而生成并检测与3D场景中的从3D图像传感器100起的物体的深度相关联的深度信息，而由于诸如飞行像素现象、多径干扰现象等的误差而无法准确地测量物体的表面的形状。这里，飞行像素现象表示在与快速变化的物体的界面对应的像素中发生深度信息错误的现象，多径干扰现象表示由于漫反射而发生深度信息错误的现象。
另外，偏振传感器可以通过使用偏振像素110生成能够精确地计算物体的表面形状的形状信息，但是不能测量3D场景中从3D图像传感器起的物体的深度。
根据一些示例实施方式的3D图像传感器100具有偏振器112和深度像素120结合的结构，因此解决了包括深度像素120的现有3D图像传感器的与物体的表面形状相关联的形状信息的不准确以及通过包括偏振像素110的偏振传感器无法测量3D场景中从3D图像传感器起的物体的深度的问题，因此，3D图像传感器可以配置为生成与物体相关联的准确深度信息和与物体的表面形状相关联的形状信息。深度像素120可以与至少两个偏振像素110结合以共同限定3D图像传感器的单位像素，并且3D图像传感器可以包括多个这样的单位像素。
图2A、图2B、图2C和图2D是示出根据本发明构思的一些示例实施方式的3D图像传感器中将偏振像素和深度像素混合(“结合”)的结构的概念图。
参照图2A至图2D，根据一些示例实施方式的3D图像传感器100a-M、100b-M、100c-M和100d-M可以具有第一联接结构，其中偏振像素110和深度像素120、120a和120b分别混合。如图2A至图2D所示，3D图像传感器100a-M、100b-M、100c-M和100d-M可以每个包括至少一个单位像素UP1至UP4，其中所述至少一个单位像素由至少一个深度像素120和与所述至少一个深度像素120相邻的至少两个偏振像素110共同地限定。
如图2A-图2D所示，3D图像传感器100的单位像素UP的像素结构可以是各种结构中的一种结构。
更具体地，在图2A的3D图像传感器100a-M中，偏振像素110和深度像素120可以联接为(“可以限定”)棋盘图案，其中它们在第一方向(x方向)和第二方向(y方向)两者上交替地布置(“限定偏振像素110和深度像素120的交替图案”)。3D图像传感器100a-M的单位像素UP1可以包括交替布置的四个偏振像素110和四个深度像素120。重申地，如图2A所示，单位像素UP1的像素结构可以具有包括四个深度像素120和四个偏振像素110的第一结构，该四个深度像素120和四个偏振像素110共同地限定交替的深度像素120和偏振像素110的棋盘图案。单位像素UP1可以具有阵列结构，其中以菱形布置的偏振像素和以菱形布置的深度像素重叠。在这种结构中，对于图2A的3×3阵列，一个深度像素120布置在矩形的中心，四个深度像素120布置在矩形的四个顶点(例如，四个深度像素120可以限定该矩形的分开的各自顶点)。对于重复的UP阵列，阵列可以以这样的方式发展：图2A中的左上深度像素120和与单元像素UP1对角地相邻的单位像素的右下深度像素120重叠。该四个偏振像素110可以布置在矩形的四条边上(例如，可以至少部分地限定该矩形的四条边中的单独的相应边)，并可以包括0°、45°、90°和135°的偏振器112-1、112-2、112-3和112-4。然而，根据一些示例实施方式，四个偏振像素110可以包括两个0°偏振器和两个90°偏振器。
作为参考，单位像素表示最小尺寸的像素结构，其包括所有需要的像素(例如，至少一个深度像素120和至少两个偏振像素110，该至少两个偏振像素110具有与不同偏振方向相关联的相应偏振器)，这样的单位像素在第一方向(x方向或xy方向(见图5的D1))和第二方向(y方向或-xy方向(见图5的D2))上重复地布置，从而实现数十万到数百万的总像素的阵列结构。
图2B的3D图像传感器100b-M可以具有其中一个深度像素120a联接到四个偏振像素110以共同限定单位像素UP2的结构。具有在第一方向(x方向)上长的矩形形状的深度像素120a可以具有相当于与深度像素120a直接相邻的两个偏振像素110的尺寸。重申地并且如图2B所示，深度像素120a的传感器面积120a-A可以对应于与该深度像素120a直接相邻的两个偏振像素110的累积传感器面积110b-A(例如可以在10％余量内相同)。因此，如图2B所示，单位像素UP2的像素结构可以具有第二结构，该第二结构包括具有2×2阵列结构的四个偏振像素110和一个深度像素120a，其中一个深度像素120a具有与所述四个偏振像素110中的两个偏振像素110的累积传感器面积110b-A对应的传感器面积120a-A，并且其中所述一个深度像素120与所述两个偏振像素110相邻。根据一些示例实施方式，深度像素120a可以具有在第二方向(y方向)上长的矩形形状。
3D图像传感器100b-M的单位像素UP2可以包括四个偏振像素110和一个深度像素120a。单位像素UP2可以具有相对于偏振像素110的尺寸的3×2阵列结构的矩形形状。这里，3×2阵列结构可以表示在第一方向(x方向)上长的矩形深度像素120a布置在具有2×2阵列结构的四个偏振像素110下面。根据一些示例实施方式，单位像素UP2可以具有2×3阵列结构，该阵列结构包括在第二方向(y方向)上长的矩形深度像素120a。
图2C的3D图像传感器100c-M可以具有其中十二个偏振像素110围绕四个深度像素120的结构。3D图像传感器100c-M的单位像素UP3可以包括十二个偏振像素110和四个深度像素120，并具有4×4阵列结构的矩形形状。在单位像素UP3中，四个深度像素120以2×2阵列结构布置在矩形的中心，并且十二个偏振像素110布置在该矩形的周边以围绕四个深度像素120。因此，如图2C所示，单位像素UP3的像素结构可以具有第三结构，该第三结构包括在单位像素UP3的第三结构的中心的四个深度像素120以及在单位像素UP3的第三结构的周边并具有4×4阵列结构的十二个偏振像素110。
十二个偏振像素110可以包括0°、45°、90°和135°偏振器112-1、112-2、112-3和112-4中的每一个。十二个偏振像素110可以包括其中具有45°的差异的偏振器在第一方向(x方向)上和在第二方向(y方向)上交替布置的结构。例如，在第一方向(x方向)上，0°和45°偏振器112-1和112-2交替地布置在矩形的上侧，并且90°和135°偏振器112-3和112-4交替布置在矩形的下侧。在第二方向(y方向)上，0°和135°偏振器112-1和112-4交替地布置在矩形的左侧，并且45°和90°偏振器112-2和112-3交替布置在矩形的右侧。
图2D的3D图像传感器100d-M可以具有其中十二个偏振像素110围绕一个深度像素120b的结构。深度像素120b可以具有相当于四个偏振像素110的传感器面积120b-A。重申地并且如图2D所示，深度像素120b的传感器面积120b-A可以对应于单位像素UP4的十二个偏振像素110中的四个偏振像素110的累积传感器面积(例如，可以在10％余量内相同)。因此，如图2D所示，单位像素UP4的像素结构可以具有第四结构，该第四结构包括：在第四结构的周边的十二个偏振像素110，每个偏振像素110具有相同或基本上相同的传感器面积110d-A(例如，在制造公差和/或材料公差内的相同传感器面积)；和一个深度像素120，具有对应于十二个偏振像素112中的四个偏振像素110的累积面积的面积(例如，每个单独的偏振像素110的传感器面积110d-A的4倍)并在第四结构的中心。3D图像传感器100d-M的单位像素UP3可以包括十二个偏振像素110和一个深度像素120b。单位像素UP3可以具有相对于偏振像素110的尺寸的4×4阵列结构的矩形形状。图2D的3D图像传感器100d-M可以对应于在图2C的3D图像传感器100c-M中的四个深度像素120被一个深度像素120b代替的传感器。
图3A、图3B、图3C和图3D是示出根据本发明构思的一些示例实施方式的3D图像传感器中将偏振像素和基于飞行时间(ToF)的深度像素混合的结构的概念图。
参照图3A至图3D，根据一些示例实施方式的3D图像传感器100aa-M、100ba-M、100ca-M和100da-M可以具有第一联接结构，其中偏振像素110和深度像素120T2、120aT2和120bT4分别混合。根据一些示例实施方式的3D图像传感器100aa-M、100ba-M、100ca-M和100da-M可以基本上具有与图2A至图2D的3D图像传感器100a-M、100b-M、100c-M和100d-M对应的结构(例如，3D图像传感器的由至少一个深度像素120和至少两个偏振像素110限定的单位像素UP的像素结构可以具有如参照图2A-图2D所述的第一结构、第二结构、第三结构或第四结构)，但是深度像素120T2、120aT2和120bT4可以是有源型的基于ToF的深度像素。重申地，深度像素120T2、120aT2和120bT4可以每个包括基于ToF的3D传感器的像素。作为ToF测量方法，栅极调制方法可以应用于基于ToF的深度像素120T2、120aT2和120bT4。重申地，深度像素120T2、120aT2和120bT4可以每个包括基于ToF的3D传感器的像素，其被配置为根据栅极调制方法操作。然而，应用于深度像素120T2、120aT2和120bT4的ToF测量方法不限于栅极调制方法。作为参考，基于ToF的深度像素可以通过栅极调制方法和直接时间测量方法来测量ToF。栅极调制方法将利用光学调制器的高速选通调制的信号照射到物体并通过检测信号和从物体返回的反射光之间的相位差来计算距离，这种方法也被称为间接时间测量方法。直接时间测量方法可以表示通过使用计时器直接测量照射到物体上的脉冲光在被反射之后回来所花费的时间的方法。
如图3A-图3D所示并进一步参照图12A-图13B，图像传感器100可以包括单位像素，其中单位像素包括基板101中的电荷产生区域120PD以及在光入射方向1201上在基板101上的至少两个偏振器112，其中至少两个偏振器与不同的偏振方向相关联，其中3D图像传感器配置为基于检测从物体反射的光而生成与3D场景中的物体从3D图像传感器起的深度相关联的深度信息并基于检测从物体反射的光而生成与3D场景中的物体的表面形状相关联的形状信息。
更具体地，图3A的3D图像传感器100aa-M的单位像素UP1a可以包括交替布置的四个偏振像素110和四个基于ToF的深度像素120T2。深度像素120T2可以具有2分接头像素结构(2-tap pixel structure)。然而，深度像素120T2的分接头结构不限于2分接头像素结构。例如，根据一些示例实施方式，深度像素120T2可以具有1分接头像素结构或4分接头像素结构。
在图3A(其示出具有如参照图2A所述的第一结构的像素结构的单位像素UP1a)中，深度像素120T2的中心的两个长矩形表示电荷产生区域120PD，电荷产生区域120PD的突出部分表示电荷存储区域122。在根据一些示例实施方式的3D图像传感器100aa-M的深度像素120T2中，电荷产生区域120PD可以用光电门和/或光电二极管来实现。电荷存储区域122可以用浮动扩散(FD)区和/或单独的电荷存储结构(诸如存储栅极或存储二极管)来实现。如图3A所示，图3A所示的第一结构的每个深度像素120可以具有2分接头像素结构。
作为参考，基于ToF的深度像素的分接头结构可以根据能够对于每个相位单独地将诸如光电二极管或光电门的电荷产生区域中产生的电荷传送到电荷存储区域的分接头的数量来确定。作为代表性示例，分接头结构可以分为1分接头结构、2分接头结构和4分接头结构。每个分接头可以对应于深度像素120的单独的电荷存储区域122。例如，具有1个电荷存储区域122的深度像素120可以具有1分接头像素结构，如至少图3A-3C所示的具有2个电荷存储区域122的深度像素120可以具有2分接头像素结构，如至少图3D所示的具有4个电荷存储区域的深度像素120可以具有4分接头像素结构。1分接头结构通过使用一个分接头传输对于0°、90°、180°和270°的每个相位的电荷；2分接头结构通过使用两个分接头传输对于0°和180°相位的电荷以及对于90°和270°相位的电荷；4分接头结构通过使用四个分接头传输对于所有相位的电荷。1分接头结构对于各个相位需要四个采样时间，2分接头结构需要两个采样时间，4分接头结构需要一个采样时间。因此，与1分接头结构相比，2分接头结构和4分接头结构可以以高的速度操作。
另外，分接头的功能可以通过光电门和/或分接头门(tap gate)执行。例如，光电门可以用作在产生电荷的同时将电荷直接传送到电荷存储区域的分接头。在这种情况下，分接头结构可以由光电门的数量确定。根据一些示例实施方式，可以布置代替光电门的光电二极管，并且可以单独地布置将光电二极管中产生的电荷传送到电荷存储区域的分接头门。在这种情况下，分接头结构可以由分接头门的数量确定。
图3B示出具有如参照图2B所述的第二结构的像素结构的单位像素UP2a，图3B的3D图像传感器100ba-M的单位像素UP2a可以具有3×2阵列结构的矩形形状并包括四个偏振像素110和一个基于ToF的深度像素120aT2。深度像素120aT2可以具有为偏振像素110的尺寸的两倍的尺寸并具有在第一方向(x方向)上长的矩形结构。如图3B所示，每个深度像素120aT2可以具有2分接头像素结构。然而，深度像素120aT2的分接头结构不限于2分接头像素结构。
图3C示出具有如参照图2C所述的第三结构的像素结构的单位像素UP3a，图3C的3D图像传感器100ca-M的单位像素UP3a可以具有4×4阵列结构的矩形形状并包括十二个偏振像素110和四个基于ToF的深度像素120T2。四个深度像素120T2在矩形的中心以2×2阵列结构布置，并且十二个偏振像素110布置在矩形的周边以围绕四个深度像素120T2。如图3C所示，每个深度像素120T2可以具有但不限于2分接头像素结构。
图3D示出具有如参照图2D所述的第四结构的像素结构的单位像素UP4a，图3D的3D图像传感器100da-M的单位像素UP4a可以具有4×4阵列结构的矩形形状并包括十二个偏振像素110和一个基于ToF的深度像素120bT4。具有相当于四个偏振像素110的传感器面积120b-A(例如，对应于四个偏振像素110的传感器面积110d-A的累积传感器面积(4×110d-A))的一个深度像素120bT4可以布置在矩形的中心，并且十二个偏振像素110可以布置在该矩形的周边以围绕所述一个深度像素120bT4。如图3D所示，每个深度像素120bT4可以具有但不限于4分接头像素结构。例如，根据一些示例实施方式，深度像素120bT4可以具有1分接头像素结构或2分接头像素结构。
在图3D中，在深度像素120bT4的四个电荷产生区域120PD上指示的0°、90°、180°和270°表示四个电荷产生区域120PD对应于0°、90°、180°和270°的相位。另外，在图3A至图3C中，深度像素120T和120aT2具有2分接头像素结构，使得两个电荷产生区域120PD可以对应于0°和180°或90°和270°。
图4A、图4B和图4C是示出根据本发明构思的一些示例实施方式的3D图像传感器中的偏振像素和深度像素的相对密度的概念图。如图4A-图4C所示，单位像素可以具有作为第一密度结构、第二密度结构和第三密度结构之一的密度结构，但是示例实施方式不限于此。
参照图4A，在根据一些示例实施方式的3D图像传感器100ea-M中，单位像素UP5a可以包括八个偏振像素110和两个基于ToF的深度像素120bT4。深度像素120bT4可以具有相当于四个偏振像素110的尺寸(传感器面积)(对应于四个偏振像素110的累积传感器面积)。深度像素120bT4可以具有但不限于4分接头像素结构。
根据一些示例实施方式的3D图像传感器100ea-M可以具有棋盘形式，其中2x2阵列结构的四个偏振像素110和一个深度像素120bT4在第一方向(x方向)和第二方向(y方向)上交替地布置。根据一些示例实施方式的3D图像传感器100ea-M可以在尺寸方面具有偏振像素110和深度像素120bT4之间的一对一的密度关系。因此，单位像素UP5a可以被理解为具有一密度结构，该密度结构是包括两个深度像素120和八个偏振像素110的第一密度结构。
参照图4B，在根据一些示例实施方式的3D图像传感器100da-M中，单位像素UP4a可以包括十二个偏振像素110和一个基于ToF的深度像素120bT4，并可以对应于图3D所示的单位像素UP4a，使得深度像素120bT4可以具有相当于四个偏振像素110的尺寸(传感器面积)(对应于四个偏振像素110的累积传感器面积)。此外，根据一些示例实施方式的3D图像传感器100ea-M可以在尺寸方面具有偏振像素110和深度像素120bT4之间的三对一的密度关系。因此，单位像素UP4a可以被理解为具有一密度结构，该密度结构是包括一个深度像素120和十二个偏振像素110的第二密度结构。
参照图4C，在根据一些示例实施方式的3D图像传感器100fa-M中，单位像素UP6a可以包括三十二个偏振像素110和一个基于ToF的深度像素120bT4，使得深度像素120bT4可以具有相当于四个偏振像素110的尺寸(传感器面积)(对应于四个偏振像素110的累积传感器面积)。深度像素120bT4可以具有但不限于4分接头像素结构。单位像素UP6a可以具有其中八个组(每个包括2×2阵列结构的四个偏振像素110)围绕一个深度像素120bT4的结构。根据一些示例实施方式的3D图像传感器100fa-M可以在尺寸方面具有偏振像素110和深度像素120bT4之间的八对一的密度关系。因此，单位像素UP6a可以被理解为具有一密度结构，该密度结构是包括一个深度像素120和三十二个偏振像素110的第三密度结构。
尽管已经参照图4A至图4C描述了关于偏振像素110和深度像素120bT4之间的密度关系的若干实施方式，但是偏振像素110和深度像素120bT4之间的密度关系不限于此。例如，根据一些示例实施方式，偏振像素110和深度像素120bT4可以以更多的各种密度关系来布置。
另外，当基于ToF的深度像素120bT4的尺寸大于偏振像素110的尺寸时，每个深度像素120bT4布置两个或四个或更多个偏振像素110，从而准确地测量物体的3D形状。例如，布置比深度像素120bT4更多的偏振像素110，使得由深度像素得到的深度图像可以具有相对低的分辨率，但是由偏振像素得到的偏振图像可以具有相对高的分辨率。然而，通过将深度图像与偏振图像结合，可以实现高分辨率的3D图像，其准确地反映物体的表面的形状。
图5是示出根据本发明构思的一些示例实施方式的3D图像传感器中偏振像素和基于ToF的深度像素混合的结构的概念图。
参照图5，在当前实施方式的3D图像传感器100ga-M中，偏振像素110a(例如110a-1至110a-4)和基于ToF的深度像素120cT2可以在在第一方向(x方向)和第二方向(y方向)之间的两个对角线方向D1和D2上交替地布置。基于ToF的深度像素120cT2可以具有但不限于2分接头像素结构。
根据一些示例实施方式的3D图像传感器100ga-M的单位像素UP7a可以包括两个偏振像素110a和四个深度像素120cT2，并可以具有矩形结构。在该矩形内部，四个深度像素120cT2中的每两个可以布置在对角线方向D1和D2上，使得单位像素UP7a具有其中四个深度像素120cT2限定矩形的分开的相应顶点的结构，如至少图5所示。四个偏振像素110a可以布置在该矩形的四条边中，使得每个偏振像素110a的对角线与该矩形的四条边中的单独边对准，每个偏振像素110a的面积的一半在该矩形内，每个偏振像素110a的面积的一半在该矩形外面，如至少图5所示。四个偏振像素110a中的每个由两个相邻的单位像素UP7a共用，使得这两个偏振像素110a可以被分配给一个单位像素UP7a。重申地，给定单位像素UP7a可以被理解为包括两个偏振像素110a，该两个偏振像素110a由在单位像素UP7a的矩形内的四个偏振像素110a的一半面积共同地限定。如至少图5所示，多个单位像素UP7a可以在两个对角线方向D1和D2上限定深度像素120cT2和偏振像素110a的交替图案，其中所述两个对角线方向中的每个对角线方向沿着给定单位像素UP7a的该矩形的不同的对角线延伸。
当在根据一些示例实施方式的3D图像传感器100ga-M中偏振像素110a和深度像素120cT2具有基本上相同的尺寸(“传感器面积”)时，偏振像素110a和深度像素120cT2可以在尺寸方面具有一对二的密度关系。另外，在根据一些示例实施方式的3D图像传感器100ga-M中，偏振器112布置为使得四个偏振方向的四个偏振器112-1、112-2、112-3和112-4都被包括在单位像素UP7a中，但是具有90°相位差的偏振器可以在第一方向(x方向)和第二方向(y方向)上交替地布置。
图6A和图6B是示出根据本发明构思的一些示例实施方式的3D图像传感器中将偏振像素和基于ToF的深度像素混合的结构的概念图。
参照图6A，根据一些示例实施方式的具有单位像素UP8a的3D图像传感器100ha-M可以与3D图像传感器100aa-M至100ga-M(其每个包括基于ToF的深度像素并具有第一联接结构)不同在于：偏振像素110b使用基于ToF的深度像素120b'T4的一部分形成。更具体地，在根据一些示例实施方式的3D图像传感器100ha-M中，深度像素120b'T4可以具有包括四个电荷产生区域120PD的4分接头像素结构。偏振器112(例如112-1至112-4)布置在所述四个电荷产生区域120PD中的两个电荷产生区域120PD上，例如对应于90°和270°的电荷产生区域120PD，用于偏振像素110b(例如110b-1至110b-4)。
在根据一些示例实施方式的3D图像传感器100ha-M中，深度像素120b'T4在物理上对应于4分接头像素结构(其中4个电荷产生区域120PD形成在一个像素中)，但是可以在功能上对应于2分接头像素结构，因为电荷产生区域120PD中的两个用于偏振像素110b。因此，深度像素120b'T4操作以对0°和180°相位以及对90°和270°相位执行两次采样，并且通过偏振的感测可以在特定相位的采样操作之间执行。尽管偏振像素110b中使用的电荷产生区域120PD是深度像素120b'T4的一部分，但是电荷产生区域120PD不用于深度测量，因此可以在功能上对应于正常像素。因此，偏振像素110b可以不偏离参照图1描述的偏振像素的构思。因此，深度像素120b'T4可以具有4分接头像素结构，并且4分接头像素结构可以包括在与偏振像素110相关联的两个分接头部分中的偏振器112和在另外两个分接头部分中的深度像素120。
在图6A中，对应于0°和180°相位的电荷产生区域120PD和对应的电荷存储区域122被对角地布置。然而，不限于此示例，像图3D的3D图像传感器100da-M的结构一样，可以布置电荷产生区域120PD和电荷存储区域122，并且两个上部或下部的电荷产生区域120PD可以用于偏振像素110b。
在根据一些示例实施方式的3D图像传感器100ha-M中，在一个深度像素120b'T4中使用具有相同偏振方向的两个偏振器112，因此实现两个偏振像素110b。例如，两个0°偏振器112可以布置在左上深度像素120b'T4的两个电荷产生区域120PD上。在3D图像传感器100ha-M中，深沟槽隔离(DTI)结构可以形成在深度像素120b'T4之间，因此最小化入射到附近深度像素120b'T4的光的影响。重申地，深度像素120b'T4的边界可以至少部分地限定深沟槽隔离(DTI)结构。因此，当具有相同偏振方向的偏振器112布置在一个深度像素120b'T4中时，可以稳定地进行偏振信息的检测。因此，如图6A所示，深度像素120b'T4的4分接头像素结构可以包括具有相同的偏振方向的两个偏振器112、或者具有两个不同的偏振方向的两个偏振器112。
参照图6B，根据一些示例实施方式的3D图像传感器100ia-M可以与图6A的3D图像传感器100ha-M的类似之处在于：偏振像素110c使用基于ToF的深度像素120b”T4的一部分形成。然而，根据一些示例实施方式的3D图像传感器100ia-M可以与图6A的3D图像传感器100ha-M的不同之处在于：在3D图像传感器100ia-M中，在一个深度像素120b”T4中使用具有两个不同的偏振方向的偏振器112(例如112-1至112-4)，因此实现两个偏振像素110c。例如，0°偏振器112-1和45°偏振器112-2可以应用于最左上的深度像素120b”T4。
另外，如图6B所示，具有相同偏振方向的一个偏振器112可以跨越四个深度像素120b”T4布置。例如，0°偏振器112-1可以跨越上左部分、上中间部分、中间左部分和中间部分中的深度像素120b”T4布置。这样的结构可能在检测偏振信息方面是稍微不稳定的，因为两个偏振器112布置在一个深度像素120b'T4中并因此检测不同的偏振信息。然而，偏振器112布置为具有与深度像素120b”T4基本上相同的尺寸，导致制造工艺中的相对低的难度。另外，3D图像传感器100ia-M的单位像素UP9a可以包括八个偏振像素110c(例如110c-1至110c-4)和四个深度像素120b”T4。
图7A、图7B、图7C和图7D是示出根据本发明构思的一些示例实施方式的3D图像传感器中将偏振像素和基于多光电二极管(多PD)的深度像素混合的结构的概念图。
参照图7A至图7D，根据一些示例实施方式的3D图像传感器100ap-M、100bp-M、100cp-M和100dp-M的每个可以具有第一联接结构，其中偏振像素110和深度像素120P2、120aP2和120bP4分别混合。根据一些示例实施方式的3D图像传感器100ap-M、100bp-M、100cp-M和100dp-M可以基本上具有分别对应于图2A至图2D的3D图像传感器100a-M、100b-M、100c-M和100d-M的结构，但是深度像素120P2、120aP2和120bP4可以是无源型的基于多PD的深度像素(例如基于多光电二极管(PD)的3D传感器的像素)，微透镜130可以布置在深度像素120P2、120aP2和120bP4上。深度像素120P2、120aP2和120bP4可以具有为2PD像素结构、4PD像素结构或超级PD像素结构的像素结构。考虑到至少以上，3D图像传感器100ap-M、100bp-M、100cp-M和100dp-M可以每个是基于多光电二极管(PD)的3D传感器，其包括在偏振器112上的微透镜130，并且3D图像传感器100ap-M、100bp-M、100cp-M和100dp-M的单位像素可以具有为2PD像素结构、4PD像素结构、或超级PD像素结构的像素结构。
更具体地，图7A的3D图像传感器100ap-M的单位像素UP1p可以包括交替布置的四个偏振像素110和四个基于多PD的深度像素120P2。微透镜130可以布置在图7A所示的五个深度像素120P2的每个上。如图7A-图7D所示，微透镜130可以在光入射方向1201上位于深度像素120P2、120aP2、120bP4的基板101上。另外，深度像素120P2可以具有2PD像素结构。然而，深度像素120P2的像素结构不限于2PD像素结构。例如，根据一些示例实施方式，深度像素120P2可以具有4PD像素结构或超级PD像素结构。
在图7A(其示出具有如参照图2A所述的第一结构的像素结构的单位像素UP1p)中，深度像素120P2的中心的两个长矩形表示光电二极管110PD，光电二极管110PD的顶点处的三角形表示传输栅极113，向下突出的部分表示FD区域114。如图7A所示，深度像素120P2可以具有其中两个光电二极管110PD共用一个FD区域114的结构。然而，根据一些示例实施方式，深度像素120P2可以具有其中FD区域114布置在两个光电二极管110PD中的每个上的非共用结构。
作为参考，基于多PD的深度像素的像素结构可以根据布置在像素中的光电二极管的数量来确定。例如，基于多PD的深度像素的像素结构可以被分类为2PD像素结构(其中两个光电二极管布置在像素中)和4PD像素结构(其中四个光电二极管布置在像素中)。另外，一个微透镜通常布置在一个像素中，但是当跨越两个或更多个像素布置一个微透镜时，无论光电二极管的数量如何，像素结构都可以被分类为超级PD像素结构。基于多PD的深度像素可以通过使用经由微透镜入射的光的聚焦位置随物体的深度而不同的原理来检测物体的深度信息。此原理可以与一般图像传感器使用两个光电二极管执行自动聚焦的原理类似。
图7B示出具有如参照图2B所述的第二结构的像素结构的单位像素UP2p，图7B的3D图像传感器100bp-M的单位像素UP2p可以具有3×2阵列结构的矩形形状并包括四个偏振像素110和一个基于多PD的深度像素120aP2。对应的微透镜130可以布置在深度像素120aP2上。深度像素120aP2可以具有为偏振像素110的尺寸的两倍的尺寸，并具有在第一方向(x方向)上长的矩形结构。深度像素120aP2可以具有但不限于2PD像素结构。
图7C示出具有如参照图2C所述的第三结构的像素结构的单位像素UP3p，图7C的3D图像传感器100cp-M的单位像素UP3p可以具有4×4阵列结构的矩形形状并包括十二个偏振像素110和四个基于多PD的深度像素120P2。对应的微透镜130可以布置在深度像素120P2上。深度像素120P2可以具有但不限于2PD像素结构。另外，深度像素120P2可以具有2PD像素结构中的两个深度像素120P2共用一个FD区域的结构。
图7D示出具有如参照图2D所述的第四结构的像素结构的单位像素UP4p，图7D的3D图像传感器100dp-M的单位像素UP4p可以具有4×4阵列结构的矩形形状并包括十二个偏振像素110和一个基于多PD的深度像素120bP4。一个深度像素120bP4可以具有相当于四个偏振像素110的尺寸。对应于一个深度像素120bP4的一个微透镜130可以布置在深度像素120bP4上。深度像素120bP4可以具有但不限于4PD像素结构。另外，深度像素120bP4可以具有4共用结构，其中四个光电二极管110PD共用一个FD区域114S。然而，深度像素120bP4也可以具有非共用结构、或者其中两个光电二极管110PD共用一个FD区域114S的2共用结构。
尽管没有详细示出，但是与图4A至图4C的3D图像传感器100ea-M、100da-M和100fa-M类似，根据一些示例实施方式的包括基于多PD的深度像素的3D图像传感器可以在尺寸方面具有在偏振像素110和深度像素之间的1:1、3:1、8:1等的各种密度关系。
图8是示出根据本发明构思的一些示例实施方式的3D图像传感器中将偏振像素和基于多PD的深度像素混合的结构的概念图。
参照图8，根据一些示例实施方式的3D图像传感器100ep-M可以与图5的3D图像传感器100ga-M不同之处在于：深度像素120cP2基于多PD。例如，在当前实施方式的3D图像传感器100ep-M中，偏振像素110a和深度像素120cP2可以在第一方向(x方向)和第二方向(y方向)之间的两个对角线方向D1和D2上交替地布置。基于多PD的深度像素120cP2可以具有但不限于2PD像素结构。另外，在图8中，深度像素120cP2具有其中相应的FD区域114布置在两个光电二极管110PD上的结构，但是与图7A的3D图像传感器100ap-M的深度像素120P2类似，深度像素120cP2也可以具有其中所述两个光电二极管110PD共用一个FD区域114的结构。
根据一些示例实施方式的3D图像传感器100ep-M的单位像素UP5p可以具有与图5的3D图像传感器100ga-M的单位像素UP7a基本上相同的结构。因此，单位像素UP5p可以包括两个偏振像素110a和四个深度像素120cP2并可以具有矩形结构，使得单位像素UP5p具有其中四个深度像素120cP2限定矩形的分开的相应顶点的结构，如至少图8所示，并且四个偏振像素110a至少部分地限定该矩形的四条边的分开的相应边，所述四个偏振像素110a的每个偏振像素110a与多个单位像素UP5p中的相邻的单元像素UP5p共用，所述多个单位像素UP5p在两个对角线方向上限定深度像素120cP2和偏振像素110a的交替图案，所述两个对角线方向中的每个对角线方向沿着矩形的不同对角线延伸。
图9A、图9B和图9C是示出根据本发明构思的一些示例实施方式的3D图像传感器中的偏振器布置在基于多PD的深度像素上的结构的概念图。
参照图9A，根据一些示例实施方式的3D图像传感器100ap-I可以具有第二联接结构，其中偏振器112布置在基于多PD的深度像素120P2上。根据一些示例实施方式的3D图像传感器100ap-I可以不包括偏振像素。偏振器112与图9A中的深度像素120P2分开示出，但是实际上，四个偏振器112可以布置在四个深度像素120P2上。
深度像素120P2可以具有但不限于2PD像素结构。深度像素120P2可以具有2共用结构，其中两个PD共用FD区域，如图9A所示。然而，根据一些示例实施方式，深度像素120P2可以具有非共用结构。
根据一些示例实施方式的3D图像传感器100ap-I的单位像素UP6p可以包括2×2阵列结构的四个深度像素120P2。0°、45°、90°和135°偏振器112-1、112-2、112-3和112-4可以布置在单位像素UP6p的四个深度像素120P2上，使得四个深度像素120P2分别包括对应的0°、45°、90°和135°偏振器112-1、112-2、112-3和112-4，并且单位像素UP6p的像素结构是2共用的2PD像素结构。
参照图9B，根据一些示例实施方式的3D图像传感器100bp-I可以与图9A的3D图像传感器100ap-I类似之处在于：3D图像传感器100bp-I具有第二联接结构，其中偏振器112布置在基于多PD的深度像素120PS2上。然而，根据一些示例实施方式的3D图像传感器100bp-I可以与图9A的3D图像传感器100ap-I的不同之处在于：深度像素120PS2具有4共用结构，其中两个深度像素120PS2共用一个FD区域114S。换句话说，在根据一些示例实施方式的3D图像传感器100bp-1的深度像素120PS2的结构中，四个光电二极管110PD可以共用一个FD区域114S。
根据一些示例实施方式的3D图像传感器100bp-I的单位像素UP7p可以包括2×2阵列结构的四个深度像素120PS2，并且具有不同偏振方向的四个偏振器112可以布置在单位像素UP7p中的四个深度像素120PS2上，使得四个深度像素120PS2分别包括对应的0°、45°、90°和135°偏振器112-1、112-2、112-3和112-4，并且单位像素UP7p的像素结构是4共用2PD像素结构。
参照图9C，根据一些示例实施方式的3D图像传感器100cp-I可以与图9A的3D图像传感器100ap-I类似之处在于：3D图像传感器100cp-I具有第二联接结构，其中偏振器112布置在基于多PD的深度像素120P4上。然而，3D图像传感器100cp-1可以与图9A的3D图像传感器100ap-1的不同之处在于：深度像素120P4具有4-PD像素结构。在3D图像传感器110cp-1中，深度像素120P4可以具有4共用结构，其中四个光电二极管110PD共用一个FD区域114S。
根据一些示例实施方式的3D图像传感器100cp-1的单位像素UP8p可以包括2×2阵列结构的四个深度像素120P4，并且具有不同偏振方向的四个偏振器112可以布置在单位像素UP8p中的四个深度像素120P4上，使得四个深度像素120P4分别包括对应的0°、45°、90°和135°偏振器112-1、112-2、112-3和112-4，并且单位像素UP8p的像素结构是4共用的4-PD像素结构。
尽管已经描述了图9A至图9C的3D图像传感器100ap-I、100bp-I和100cp-I的用于深度像素的2共用结构和4共用结构的2PD像素结构以及用于深度像素的4共用结构的4PD像素结构，但是深度像素结构不限于此示例。例如，2PD像素结构也可以具有非共用结构或8共用结构。此外，4PD像素结构也可以具有非共用结构、2共用结构或8共用结构。
图10A、图10B、图10C、图10D和图10E是示出根据本发明构思的一些示例实施方式的3D图像传感器中的偏振器布置在基于ToF的深度像素上的结构的概念图。
参照图10A，根据一些示例实施方式的3D图像传感器100aa-I可以与图9A的3D图像传感器100ap-I的不同之处在于：3D图像传感器100aa-I具有第二联接结构，其中偏振器112布置在基于ToF的深度像素120T2上。根据一些示例实施方式的3D图像传感器100aa-I可以不包括单独的偏振像素，并且深度像素120T2可以具有2分接头像素结构。因此，在根据一些示例实施方式的3D图像传感器100aa-1中，深度像素120T2可以通过对0°和180°相位以及对90°和270°相位交替地执行两次采样来操作。因此，如图10A所示，单位像素UP10a可以具有包括2×2阵列结构的四个像素120T2的第一结构，其中四个像素120T2的每个像素120T2具有2分接头像素结构，并且四个像素120T2分别包括对应的0°、45°、90°和135°偏振器112。
根据一些示例实施方式的3D图像传感器100aa-1的单位像素UP10a可以包括2×2阵列结构的四个深度像素120T2，并且具有不同偏振方向的四个偏振器112可以布置在单位像素UP10a中的四个深度像素120T2上。
参照图10B，根据一些示例实施方式的3D图像传感器100ba-I可以与图10A的3D图像传感器100aa-I类似之处在于：3D图像传感器100ba-I具有偏振器112布置在基于ToF的深度像素120dT2上的第二联接结构，并且深度像素120dT2具有2分接头像素结构。然而，根据一些示例实施方式的3D图像传感器100ba-I可以与图10A的3D图像传感器100aa-I不同之处在于：尽管深度像素120dT2具有2分接头像素结构，但是两个深度像素120dT2通过它们之间的联接来执行4分接头像素功能。因此，在根据一些示例实施方式的3D图像传感器100ba-1中，两个深度像素120dT2可以对于四个相位执行一次采样。
在根据一些示例实施方式的3D图像传感器100ba-1中，深度像素120dT2具有偏振器112的一半尺寸，并且执行4分接头像素功能的两个深度像素120dT2可以具有相当于一个偏振器112的尺寸。因此，具有相同偏振方向的一个偏振器112可以布置在执行4分接头像素功能的两个深度像素120dT2上。
根据一些示例实施方式的3D图像传感器100ba-1的单位像素UP11a可以包括4×2阵列结构的八个深度像素120dT2。另外，具有不同偏振方向的四个偏振器112可以布置在单位像素UP11a中的八个深度像素120dT2上。如上所述，具有相同偏振方向的一个偏振器112可以布置在执行4分接头像素功能的两个深度像素120dT2上。因此，如图10B所示，单位像素UP11a可以具有第二结构，该第二结构包括2×4阵列结构的八个像素，其中八个像素120dT2的每个像素120dT2具有2分接头像素结构，并且八个像素中的每两个像素形成4个分接头并且所述八个像素包括分别对应于4个分接头的0°、45°、90°和135°偏振器112。
参照图10C，根据一些示例实施方式的3D图像传感器100ca-I可以与图10A的3D图像传感器100aa-I的类似之处在于：3D图像传感器100ca-1具有第二联接结构，其中偏振器112布置在基于ToF的深度像素120T1上。然而，根据一些示例实施方式的3D图像传感器100ca-1可以与图10A的3D图像传感器100aa-1的不同之处在于：深度像素120T1具有1分接头像素结构。因此，在根据一些示例实施方式的3D图像传感器100ca-I中，深度像素120T2可以通过对四个相位执行四次采样来操作。在图10C中，由F表示的部分可以表示FD区域114，由D表示的部分可以表示漏极区域124。对于1分接头像素结构，电荷产生区域120PD之一中产生的电荷没有被使用，因此通过漏极区域124放电。
根据一些示例实施方式的3D图像传感器100Ca-I的单位像素UP12a可以包括2×2阵列结构的四个深度像素120T1，并且具有不同偏振方向的四个偏振器112可以布置在单位像素UP12a中的四个深度像素120T1上。因此，如图10C所示，单位像素UP12a可以具有包括2×2阵列结构的四个像素120T1的第三结构，其中四个像素120T1中的每个像素120T1具有1分接头像素结构，并且四个像素120T1分别包括对应的0°、45°、90°和135°偏振器112。
参照图10D，根据一些示例实施方式的3D图像传感器100da-I可以与图10C的3D图像传感器100ca-I类似之处在于：3D图像传感器100da-I具有偏振器112布置在基于ToF的深度像素120eT1上的第二联接结构，并且深度像素120eT1具有1分接头像素结构。然而，根据一些示例实施方式的3D图像传感器100da-I可以与图10C的3D图像传感器100ca-I的不同之处在于：尽管深度像素120eT1具有1分接头像素结构，但是四个深度像素120eT1通过它们之间的联接执行4分接头像素功能。因此，在根据一些示例实施方式的3D图像传感器100da-I中，四个深度像素120eT1可以对于四个相位执行一次采样。
此外，在根据一些示例实施方式的3D图像传感器100da-I中，深度像素120eT1可以具有偏振器112的1/4尺寸。因此，执行4分接头像素功能的四个深度像素120eT1可以具有相当于一个偏振器112的尺寸。因此，具有相同偏振方向的一个偏振器112可以布置在执行4分接头像素功能的四个深度像素120eT1上。
根据一些示例实施方式的3D图像传感器100da-1的单位像素UP13a可以包括4×4阵列结构中的十六个深度像素120eT1。另外，具有不同偏振方向的四个偏振器112可以布置在单位像素UP13a中的十六个深度像素120eT1上。如上所述，具有相同偏振方向的一个偏振器112可以布置在执行4分接头像素功能的四个深度像素120eT1上。因此，如图10D所示，单位像素UP13a可以具有第四结构，该第四结构包括4×4阵列结构的16个像素120eT1，其中16个像素中的每个像素120eT1具有1分接头像素结构，并且十六个像素120eT1中的每四个像素120eT1形成4个分接头并且所述十六个像素120eT1包括分别对应于4个分接头的0°、45°、90°和135°偏振器112。
参照图10E，根据一些示例实施方式的3D图像传感器100ea-I可以与图10A的3D图像传感器100aa-I的类似之处在于：3D图像传感器100ea-I具有第二联接结构，其中偏振器112布置在基于ToF的深度像素120T4上。然而，根据一些示例实施方式的3D图像传感器100ea-I可以与图10A的3D图像传感器100aa-I的不同之处在于：深度像素120T4具有4分接头像素结构。因此，在根据一些示例实施方式的3D图像传感器100ea-I中，深度像素120T4可以通过对四个相位执行一次采样来操作。
在根据一些示例实施方式的3D图像传感器100ea-I中，深度像素120T4可以具有与偏振器112的尺寸基本上相同的尺寸。因此，一个偏振器112可以布置在一个深度像素120T4上。根据一些示例实施方式的3D图像传感器100ea-I的单位像素UP14a可以包括2×2阵列结构的四个深度像素120T4，并且具有不同偏振方向的四个偏振器112可以布置在单位像素UP14a中的四个深度像素120T4上。因此，如图10E所示，单位像素UP14a可以具有包括2×2阵列结构的四个像素120T4的第五结构，其中四个像素120T4中的每个像素120T4具有4分接头像素结构，并且四个像素120T4分别包括对应的0°、45°、90°和135°偏振器112。
图11是示出根据本发明构思的一些示例实施方式的3D图像传感器中偏振器布置在基于多PD的深度像素或基于ToF的深度像素上的结构的概念图。
参照图11，根据一些示例实施方式的3D图像传感器100dp-I或100fa-I可以与图9A的3D图像传感器100ap-I或图10A的3D图像传感器100aa-I的类似之处在于：3D图像传感器100dp-I或100fa-I具有第二联接结构，其中偏振器112pe布置在基于多PD的深度像素120P2或基于ToF的深度像素120T2上。然而，根据一些示例实施方式的3D图像传感器100dp-I或100fa-I可以与图9A的3D图像传感器100ap-I和图10A的3D图像传感器100aa-I的不同之处在于：相邻的偏振器112pe的偏振方向彼此垂直。例如，如图11所示，四个偏振器112pe中的成一对的两个0°和90°偏振器112pe-1和112pe-2以及所述四个偏振器中的成一对的另外两个0°和90°偏振器112pe-1和112pe-2可以在第一方向(x方向)和第二方向(y方向)上彼此相邻地布置。因此，如图11所示，单位像素UP9p或UP15a可以包括2×2阵列结构的四个偏振器112pe，其中与彼此垂直的两个偏振方向(例如0°和90°)相关联的偏振器112至少部分地限定棋盘图案。该棋盘图案可以包括棋盘格图案，也被称为格子图案和/或方格图案。
在根据一些示例实施方式的3D图像传感器100dp-I或100fa-I中，可以布置图9B和图9C的3D图像传感器100bp-I和100cp-1的深度像素120PS2和120P4来代替基于多PD的深度像素120P2。代替基于ToF的深度像素120T2，可以布置图10B至图10E的3D图像传感器100ba-I、100ca-I、100da-I和100ea-I的深度像素120dT2、120T1、120eT1和120T4。
图12A和图12B是示出根据本发明构思的一些示例实施方式的3D图像传感器中的具有第一联接结构的3D图像传感器的截面和具有第二联接结构的3D图像传感器的截面的截面图。
参照图12A，根据一些示例实施方式的3D图像传感器100-M可以具有第一联接结构，其中偏振像素110和深度像素120被混合。图12A所示的深度像素120可以是被包括在这里参照任何附图描述的任何示例实施方式中的任何深度像素120。图12A所示的偏振像素110可以是被包括在这里参照任何附图描述的任何示例实施方式中的任何偏振像素110。
偏振像素110可以包括基板101、光电二极管110PD、偏振器112和微透镜130。偏振像素110可以配置为基于检测从物体反射的光(例如经由光入射方向1201在偏振像素110处接收的光)生成与3D场景中的物体的表面的形状相关联的形状信息。基板101可以包括P型外延(P-epi)基板。如图12A所示，光电二极管110PD可以在基板101中，使得光电二极管110PD被至少部分地包围在由基板101的外表面限定的体积内。光电二极管110PD可以包括形成在基板101中的N型掺杂区域110N和P型掺杂区域110P。微透镜130可以在光入射方向1201上布置在基板101上。例如，如图12A所示，微透镜130可以布置在基板101的后表面101B上。
如图12A所示，偏振器112可以在光入射方向1201上在基板101上(例如在基板101的后表面101B上)。偏振器112可以布置在基板101和微透镜130之间。偏振器112可以具有其中光栅由金属形成(例如，偏振器112可以包括在基板101上的金属光栅)或者由绝缘层中的高电介质材料形成(例如，偏振器112可以包括在基板101上的高电介质材料)的结构。另外，平坦化的绝缘层140可以在偏振器112和微透镜130之间。后绝缘层155可以布置在基板101的底表面上。
将理解，在另一元件“上”的元件可以在另一元件之上或之下。此外，在另一元件“上”的元件可以直接在另一元件上，使得该元件与另一元件直接接触，或者该元件可以间接地在另一元件上，使得该元件通过一个或更多个插入的空间和/或结构而脱离与另一元件直接接触。
FD区域114可以与基板101的上部区域上的光电二极管110PD间隔开地形成(脱离直接接触)，并且传输栅极113可以布置在光电二极管110PD和FD区域114之间的基板101之上。复位栅极、源极跟随器栅极、选择栅极等可以布置在基板101上，但是没有示出，因为示出了截面图。
深度像素120可以与偏振像素110相邻地布置，并可以包括基板101、电荷产生区域120PD和微透镜130。深度像素120的基板101可以与偏振像素110的基板101是连续的，使得单个连续基板101限定偏振像素110的基板101和深度像素120的基板101。深度像素120可以配置为基于检测从物体反射的光(例如经由光入射方向1201在深度像素120处接收的光)而生成与3D场景中的从3D图像传感器100-M起的物体的深度相关联的深度信息。深度像素120可以包括例如基于ToF的深度像素。偏振像素110和深度像素120可以具有通过DTI结构150、浅沟槽隔离(STI)结构160、P型阱110W和120W等而彼此电隔离的结构。
基板101可以与偏振像素110的基板101基本上相同。如图12A所示，电荷产生区域120PD可以在基板101中，使得电荷产生区域120PD被至少部分地包围在由基板101的外表面限定的体积内。电荷产生区域120PD可以用例如光电门125和/或光电二极管来实现。更具体地，如图12A所示，电荷产生区域120PD可以用在其上部的光电二极管110PD和光电门125实现。光电门125可以包括元件125A和125B。在一些示例实施方式中，电荷产生区域120PD可以仅用光电门125实现，而没有单独的光电二极管。
微透镜130可以布置在基板101的底表面上，并且对应于偏振器的绝缘层116和平坦化绝缘层140可以布置在微透镜130和基板101之间。另外，存储栅极、FD区域、复位栅极、源极跟随器栅极、选择栅极等可以布置在基板101上，但是没有示出，因为示出了截面图。
参照图12B，根据一些示例实施方式的3D图像传感器100-I可以具有第二联接结构，其中偏振器112布置在深度像素120上。图12B所示的深度像素120可以是被包括在这里参照任何附图描述的任何示例实施方式中的任何深度像素120。图12B所示的偏振像素110可以是被包括在这里参照任何附图描述的任何示例实施方式中的任何偏振像素110。
当深度像素120在图12A的3D图像传感器100-M中被描述时，已经描述了例如为基于ToF的深度像素的深度像素120的结构。偏振器112可以布置在基板101和每个深度像素120的每个微透镜130之间。在图12B中，左深度像素120的偏振器112-2与右深度像素120的偏振器112-1之间的光栅宽度的差异可以源自截面结构。例如，在图9A的3D图像传感器100ap-I中，当在第一方向(x方向)上切割0°和45°偏振器112-1和112-2时，0°偏振器112-1可以对应于右深度像素120的偏振器112-1，45°偏振器112-2可以对应于左深度像素120的偏振器112-2。
图13A和图13B是示出根据本发明构思的一些示例实施方式的3D图像传感器中的具有第一联接结构的3D图像传感器的截面和具有第二联接结构的3D图像传感器的截面的截面图。图13A-图13B所示的深度像素120可以是被包括在这里参照任何附图描述的任何示例实施方式中的任何深度像素120。图13A-图13B所示的偏振像素110可以是被包括在这里参照任何附图描述的任何示例实施方式中的任何偏振像素110。
参照图13A，根据一些示例实施方式的3D图像传感器100-M1可以与图12A的3D图像传感器100-M的类似之处在于：3D图像传感器100-M1具有第一联接结构，其中偏振像素110和深度像素120被混合。然而，在根据一些示例实施方式的3D图像传感器100-M1中，偏振器112a的结构可以与图12A的3D图像传感器100-M的偏振器112不同。例如，在根据一些示例实施方式的3D图像传感器100-M1中，偏振器112a可以用其中凹凸部分形成在基板101中的结构实现，如图13A所示，并用具有均匀厚度的间隙填充绝缘层填充。这样，由于偏振器112a用基板101的凹凸部分和间隙填充绝缘层形成，所以凹凸结构可以形成在平坦化绝缘层140a的与间隙填充绝缘层接触的顶表面上。
参照图13B，根据一些示例实施方式的3D图像传感器100-I1可以与图12B的3D图像传感器100-I的类似之处在于：3D图像传感器100-I1具有第二联接结构，其中偏振器112a布置在深度像素120上。然而，在根据一些示例实施方式的3D图像传感器100-I1中，偏振器112a的结构可以与图12B的3D图像传感器100-I的偏振器112不同。例如，在根据一些示例实施方式的3D图像传感器100-I1中，偏振器112a可以用其中凹凸部分形成在基板101中并用具有均匀厚度的间隙填充绝缘层填充的结构，如图13B所示。
图14A和图14B是根据本发明构思的一些示例实施方式的包括有源型3D图像传感器的电子设备的示意图。
参照图14A，根据一些示例实施方式的电子设备1000可以包括3D图像传感器1100、光照射器1200、透镜1300、控制器1400和信号处理器1500。3D图像传感器1100可以具有第一联接结构，其中偏振像素1110和深度像素1120被混合。深度像素1120可以是有源型深度像素，例如基于ToF的深度像素。然而，深度像素1120不限于基于ToF的深度像素。3D图像传感器1100可以是例如图3A至图6B的3D图像传感器100aa-M至100ia-M。然而，3D图像传感器1100不限于此。
光照射器1200可以产生光并将光照射到物体201。光照射器1200可以产生例如红外(IR)光、近红外(NIR)光、紫外(UV)光、可见光等，并将光照射到物体201。光照射器1200可以用发光二极管(LED)阵列、激光器件等实现。光照射器1200可以将使用栅极调制方法调制的光Li照射到物体201。
透镜1300可以收集从物体201反射的光Lr，并将收集的光传送到3D图像传感器1100。控制器1400可以整个地控制3D图像传感器1100、光照射器1200和信号处理器1500。信号处理器1500可以使用3D图像传感器1100中的ToF方案、基于在不同相位测量的电荷量而通过信号处理模块生成对于物体201的深度图像，即3D图像。控制器1400可以包括和/或可以由存储指令程序的存储器件1401(例如储存器件)和可执行存储在存储器件1401上的指令程序的处理器1402(例如处理电路)来实现。信号处理器1500可以包括和/或可以由存储指令程序的存储器件1501(例如储存器件)和可执行存储在存储器件1501上的指令程序的处理器1502(例如处理电路)来实现。在一些示例实施方式中，存储器件1401和1501是相同的存储器件，和/或处理器1402和1502是相同的处理器。
参照图14B，根据一些示例实施方式的电子设备1000a可以与图14A的电子设备1000的不同之处在于：3D图像传感器1100a具有第二联接结构，其中偏振器1140布置在深度像素1120上。例如，3D图像传感器1100a可以包括深度像素1120和偏振器1140。深度像素1120可以是有源型深度像素，例如基于ToF的深度像素。例如，根据一些示例实施方式的电子设备1000a中的3D图像传感器1100a可以是图10A至图11的3D图像传感器100aa-I至100fa-I。然而，在根据一些示例实施方式的电子设备1000a中，3D图像传感器1100a不限于此。
光照射器1200、透镜1300、控制器1400和信号处理器1500如对于图14A的电子设备1000所描述的。
图15A和图15B是根据本发明构思的一些示例实施方式的包括无源型3D图像传感器的电子设备的示意图。
参照图15A，根据一些示例实施方式的电子设备1000b可以与图14A的电子设备1000的不同之处在于：电子设备1000b不包括单独的光照射器。更具体地，在根据一些示例实施方式的电子设备1000b中，3D图像传感器1100b可以具有第一联接结构，其中偏振像素1110和深度像素1120a被混合。然而，深度像素1120a可以是无源型深度像素，例如基于多PD的深度像素。然而，深度像素1120a不限于多PD型。3D图像传感器1100b可以是例如图7A至图8的3D图像传感器100ap-M至100ep-M。然而，3D图像传感器1100b不限于此。
透镜1300、控制器1400和信号处理器1500如对于图14A的电子设备1000所描述的。
参照图15B，根据一些示例实施方式的电子设备1000c可以与图14B的电子设备1000a的不同之处在于：电子设备1000c不包括单独的光照射器。更具体地，在根据一些示例实施方式的电子设备1000c中，3D图像传感器1100c可以具有第二联接结构，其中偏振器1140布置在深度像素1120a上。然而，深度像素1120a可以是无源型深度像素，例如基于多PD的深度像素。然而，深度像素1120a不限于多PD型。3D图像传感器1100c可以是图9A至图9C和图11的3D图像传感器100ap-I至100dp-I。然而，3D图像传感器1100c不限于此。
透镜1300、控制器1400和信号处理器1500如对于图14A的电子设备1000所描述的。
图16和图17是简要示出根据本发明构思的一些示例实施方式的深度校正方法的流程图。图16-图17所示的方法可以由控制器1400、信号处理器1500或两者来实现。
参照图16，根据一些示例实施方式的深度校正方法包括：在操作S110中，响应于深度像素检测到从物体反射的光而基于由深度像素生成的处理传感器数据来计算从3D图像传感器起的物体的深度。深度像素可以是例如基于ToF的深度像素或基于多PD的深度像素。然而，深度像素不限于此。
接下来，在操作S120中，响应于其中具有偏振器的像素检测到从物体反射的光，基于由其中布置有偏振器的像素生成的处理传感器数据来计算基于偏振信息的关于物体的表面的法向矢量。一旦计算了关于物体表面的法向矢量，就可以计算物体表面的形状信息。这里，其中布置有偏振器的像素可以表示用于其中混合偏振像素和深度像素的第一联接结构的偏振像素，或者用于其中偏振器布置在深度像素上的第二联接结构的深度像素。
接下来，在操作S130中，基于法向矢量来校正物体的深度。这样，通过使用经由偏振信息获得的相对于物体表面的法向矢量来校正物体的深度，可以检测准确反映物体的表面形状的该物体的深度信息。
参照图17，根据一些示例实施方式的深度校正方法包括：在操作S210中，响应于深度像素检测到从物体反射的光，基于由基于ToF的深度像素生成的处理传感器数据来计算从3D图像传感器起的物体的深度。
接下来，在操作S220中，确定深度像素的相位的最大值相对于最小值的比率是否超过阈值。例如，当相位的最大值相对于最小值的比率是1.0时，这表示不存在调制信息，因此可以不以ToF方式计算物体的深度。这里，相位的最大值和最小值可以表示对于每个相位检测的电荷量的最大值和最小值。例如，通过将阈值指定为1.01并确定相位的最大值相对于最小值的比率是否超过该阈值，可以选择可靠的基于ToF的深度计算。
在操作S230中，当相位的最大值相对于最小值的比率不超过阈值(否)时，响应于其中具有偏振器的像素检测到从物体反射的光，基于由其中布置有偏振器的像素生成的处理传感器数据来计算基于偏振信息的关于物体表面的法向矢量。其中布置有偏振器的像素可以是偏振像素或深度像素，取决于第一联接结构或第二联接结构。
接下来，在操作S240中，使用法向矢量来校正物体的深度。在操作S250中，将物体的校正深度计算为物体的深度。
另外，在操作S250中，当相位的最大值相对于最小值的比率超过阈值(是)时，以ToF方式计算的物体的深度被计算作为物体的深度。换句话说，可以不通过使用偏振信息相对于物体的深度执行校正。重申地，深度校正方法可以包括响应于确定所述比率超过阈值而避免校正深度。
图18是简要示出根据本发明构思的一些示例实施方式的3D图像生成方法的流程图。图18所示的方法可以由控制器1400、信号处理器1500或两者来实现。
参照图18，根据一些示例实施方式的生成3D图像的方法包括：在操作S310中，响应于深度像素检测到从物体反射的光，基于由深度像素生成的处理传感器数据来检测物体的相位信号。深度像素可以是例如基于ToF的深度像素或基于多PD的深度像素。然而，深度像素不限于此。
接下来，在操作S320中，响应于其中具有偏振器的像素检测到从物体反射的光，基于由其中布置有偏振器的像素生成的处理传感器数据来计算基于偏振信息的相对于物体表面的法向矢量，并计算物体的3D形状。其中布置有偏振器的像素可以是偏振像素或深度像素，取决于第一联接结构或第二联接结构。物体的3D形状可以表示物体表面的3D形状。
在操作S330中，基于检测到的物体的相位信号计算物体的深度。根据一些示例实施方式，物体的深度的计算可以在检测物体的相位信号的操作S310中执行。
在操作S340中，基于与计算的深度相关联的深度信息和与计算的物体的3D形状相关联的3D形状信息来生成物体的3D图像。利用根据一些示例实施方式的生成3D图像的方法，通过将物体的深度信息和物体表面的3D形状信息结合，可以生成物体的3D图像，其准确地反映物体的深度和物体表面的形状。在一些示例实施方式中，在计算3D形状之前执行物体的深度的计算。
根据本发明构思的技术思想的包括偏振器的3D图像传感器包括其中偏振器和深度像素被结合的结构，例如包括偏振器的偏振像素和深度像素被混合的第一联接结构、或者其中偏振器布置在深度像素上的第二联接结构，从而解决了由现有的包括深度像素的3D图像传感器提供的物体表面的形状信息的不准确性以及无法测量由包括偏振像素的偏振传感器提供的物体的深度，因此通过反映物体表面的形状信息来准确地检测物体的深度信息。
尽管已经参照附图中示出的实施方式描述了本发明构思，但是本领域普通技术人员将理解，可以从其进行各种改变和其它等同实施方式。因此，本发明构思的真正技术范围应当由权利要求书的技术思想来限定。
本申请要求于2018年10月1日在韩国知识产权局提交的韩国专利申请第10-2018-0117219号的权益，其公开内容通过引用整体地结合于此。

Claims (23)

1.一种三维图像传感器，该三维图像传感器包括：
深度像素，所述深度像素包括基板中的电荷产生区域，所述深度像素配置为基于检测从物体反射的光而生成与三维场景中的从所述三维图像传感器起的所述物体的深度相关联的深度信息；和
至少两个偏振像素，与所述深度像素相邻，每个偏振像素包括所述基板中的光电二极管和在光入射方向上在所述基板上的偏振器，所述偏振器不与所述深度像素重叠，每个偏振像素配置为基于检测从所述物体反射的光而生成与所述三维场景中的所述物体的表面的形状相关联的形状信息，
其中所述至少两个偏振像素和所述深度像素共同地限定单位像素，
其中所述至少两个偏振像素的各偏振器与不同的偏振方向相关联，
其中所述深度像素包括基于飞行时间的三维传感器的像素，
其中所述深度像素具有以下的像素结构
1分接头像素结构，
2分接头像素结构，或
4分接头像素结构。
2.根据权利要求1所述的三维图像传感器，其中所述基于飞行时间的三维传感器配置为根据栅极调制方法操作。
3.根据权利要求1所述的三维图像传感器，其中所述单位像素具有
第一结构，包括四个深度像素和四个偏振像素，其共同地限定交替深度像素和偏振像素的棋盘图案，
第二结构，包括
具有2×2阵列结构的四个偏振像素，和
一个深度像素，具有与所述四个偏振像素中的两个偏振像素的累积传感器面积对应的传感器面积，所述一个深度像素与所述两个偏振像素相邻，
第三结构，包括
在所述第三结构的中心的四个深度像素，和
在所述第三结构的周边并具有4×4阵列结构的十二个偏振像素，或
第四结构，包括
在所述第四结构的周边的十二个偏振像素，和
一个深度像素，具有与所述十二个偏振像素中的四个偏振像素的累积传感器面积对应的传感器面积，并在所述第四结构的中心。
4.根据权利要求3所述的三维图像传感器，其中
所述单位像素具有所述第一结构、所述第二结构或所述第三结构，所述深度像素具有所述2分接头像素结构，或者
所述单位像素具有所述第四结构，所述深度像素具有所述4分接头像素结构。
5.根据权利要求1所述的三维图像传感器，其中
所述深度像素具有与四个偏振像素的累积传感器面积对应的传感器面积，并具有所述4分接头像素结构，
所述单位像素具有以下的密度结构
第一密度结构，包括两个深度像素和八个偏振像素，
第二密度结构，包括一个深度像素和十二个偏振像素，或
第三密度结构，包括一个深度像素和三十二个偏振像素。
6.根据权利要求1所述的三维图像传感器，其中
所述三维图像传感器包括多个单位像素，所述多个单位像素包括所述单位像素，
所述多个单位像素中的每个单位像素包括四个深度像素和两个偏振像素，并具有其中所述四个深度像素限定矩形的分开的相应顶点的结构，
四个偏振像素在所述矩形的四条边，使得每个偏振像素的对角线与所述矩形的所述四条边中的单独边对准，所述四个偏振像素的每个偏振像素由所述多个单位像素中的两个相邻单位像素共用，并且
所述多个单位像素在两个对角线方向上限定深度像素和偏振像素的交替图案，所述两个对角线方向中的每个对角线方向沿着所述矩形的不同对角线延伸。
7.根据权利要求1所述的三维图像传感器，其中
所述深度像素具有4分接头像素结构，并且
所述4分接头像素结构包括在与至少一个偏振像素相关联的两个分接头部分中的所述偏振器和另外两个分接头部分中的深度像素，并且
一个4分接头像素结构包括
两个偏振器，具有相同的偏振方向，或者
两个偏振器，具有两个不同的偏振方向。
8.一种三维图像传感器，该三维图像传感器包括：
深度像素，所述深度像素包括基板中的电荷产生区域，所述深度像素配置为基于检测从物体反射的光而生成与三维场景中的从所述三维图像传感器起的所述物体的深度相关联的深度信息；和
至少两个偏振像素，与所述深度像素相邻，每个偏振像素包括所述基板中的光电二极管和在光入射方向上在所述基板上的偏振器，所述偏振器不与所述深度像素重叠，每个偏振像素配置为基于检测从所述物体反射的光而生成与所述三维场景中的所述物体的表面的形状相关联的形状信息，
其中所述至少两个偏振像素和所述深度像素共同地限定单位像素，
其中所述至少两个偏振像素的各偏振器与不同的偏振方向相关联，其中
所述深度像素是基于多光电二极管的三维传感器的像素，并具有以下的像素结构
2光电二极管像素结构，
4光电二极管像素结构，或
超级光电二极管像素结构，
所述深度像素包括在所述光入射方向上在所述基板上的微透镜。
9.根据权利要求8所述的三维图像传感器，其中所述单位像素具有
第一结构，包括四个深度像素和四个偏振像素并具有棋盘结构，
第二结构，包括
具有2×2阵列结构的四个偏振像素，和
一个深度像素，具有相当于所述四个偏振像素中的两个偏振像素的尺寸，所述一个深度像素与所述第二结构的所述两个偏振像素相邻，
第三结构，包括
在所述第三结构的中心的四个深度像素，和
在所述第三结构的周边并具有4×4阵列结构的十二个偏振像素，或
第四结构，包括
在所述第四结构的周边的十二个偏振像素，和
一个深度像素，具有与四个偏振像素的累积传感器面积对应的传感器面积，并在所述第四结构的中心。
10.根据权利要求8所述的三维图像传感器，其中
所述三维图像传感器包括多个单位像素，所述多个单位像素包括所述单位像素，
所述多个单位像素中的每个单位像素包括四个深度像素和两个偏振像素，并具有其中所述四个深度像素限定矩形的分开的相应顶点的结构，
四个偏振像素至少部分地限定所述矩形的四条边的分开的相应边，所述四个偏振像素中的每个偏振像素被所述多个单位像素中的两个相邻单位像素共用，并且
所述多个单位像素在两个对角线方向上限定深度像素和偏振像素的交替图案，所述两个对角线方向中的每个对角线方向沿着所述矩形的不同对角线延伸。
11.根据权利要求1和8中任一项所述的三维图像传感器，其中每个偏振器包括
在所述基板上的金属光栅或高电介质材料光栅，或
在所述基板中的凹凸部分。
12.一种三维图像传感器，该三维图像传感器包括：
单位像素，所述单位像素包括
深度像素，每个包括在基板中的电荷产生区域；和
至少两个偏振器，在所述深度像素上并且在光入射方向上在所述基板上，所述至少两个偏振器与不同的偏振方向相关联，每个所述偏振器对应于所述深度像素中的至少一个，
其中所述三维图像传感器配置为基于检测从物体反射的光而生成与三维场景中的从所述三维图像传感器起的所述物体的深度相关的深度信息以及基于检测从所述物体反射的光而生成与所述三维场景中的所述物体的表面形状相关的形状信息。
13.根据权利要求12所述的三维图像传感器，其中
所述三维图像传感器是基于多光电二极管的三维传感器，并且还包括在所述至少两个偏振器中的至少一个偏振器上的微透镜，并且
所述单位像素具有以下的像素结构
2光电二极管像素结构，
4光电二极管像素结构，或
超级光电二极管像素结构。
14.根据权利要求13所述的三维图像传感器，其中
所述单位像素包括具有2×2阵列结构的四个像素，
所述四个像素分别包括对应的0°、45°、90°和135°偏振器，
所述单位像素的所述像素结构是
2共用的2光电二极管像素结构，
4共用的2光电二极管像素结构，或
4共用的4光电二极管像素结构。
15.根据权利要求12所述的三维图像传感器，其中
所述三维图像传感器是基于飞行时间的三维传感器，并且
所述像素具有以下的像素结构
1分接头像素结构，
2分接头像素结构，或
4分接头像素结构。
16.根据权利要求15所述的三维图像传感器，其中
所述单位像素具有
第一结构，包括2×2阵列结构的四个像素，其中所述四个像素中的每个像素具有2分接头像素结构，并且所述四个像素分别包括对应的0°、45°、90°和135°偏振器；
第二结构，包括2×4阵列结构的八个像素，其中所述八个像素中的每个像素具有所述2分接头像素结构，并且所述八个像素中的每两个形成4个分接头并且所述八个像素包括分别对应于所述4个分接头的0°、45°、90°和135°偏振器；
第三结构，包括2×2阵列结构的四个像素，其中所述四个像素中的每个像素具有所述1分接头像素结构，并且所述四个像素分别包括对应的0°、45°、90°和135°偏振器；
第四结构，包括4×4阵列结构的十六个像素，其中所述十六个像素中的每个像素具有1分接头像素结构，并且所述十六个像素中的每四个像素形成4个分接头并且所述十六个像素包括分别对应于所述4个分接头的0°、45°、90°和135°偏振器；和
第五结构，包括所述2×2阵列结构的四个像素，其中所述四个像素中的每个像素具有所述4分接头像素结构，并且所述四个像素分别包括对应的0°、45°、90°和135°偏振器。
17.据权利要求12所述的三维图像传感器，其中所述单位像素包括2×2阵列结构的四个偏振器，其中具有彼此垂直的两个偏振方向的偏振器至少部分地限定棋盘图案。
18.据权利要求12所述的三维图像传感器，其中所述像素的边界至少部分地限定深沟槽隔离结构。
19.一种基于三维图像传感器的深度校正方法，所述深度校正方法包括：
响应于深度像素检测到从物体反射的光而基于由所述三维图像传感器的深度像素生成的处理传感器数据来计算从所述三维图像传感器起的所述物体的深度；
响应于其中具有偏振器的像素检测到从所述物体反射的光，基于由其中布置有所述偏振器的像素生成的处理传感器数据来计算基于偏振信息的法向矢量；以及
基于所述法向矢量来校正所述深度，
其中所述三维图像传感器包括根据权利要求1、8和12中任一项所述的三维图像传感器。
20.一种基于三维图像传感器的深度校正方法，所述深度校正方法包括：
响应于深度像素检测到从物体反射的光，基于由所述三维图像传感器的基于飞行时间的深度像素生成的处理传感器数据来计算从所述三维图像传感器起的所述物体的深度；
确定对于每个深度像素的相位的最大值相对于最小值的比率是否超过阈值；
响应于其中具有偏振器的像素检测到从所述物体反射的光并且所述比率不超过所述阈值，基于由其中布置有所述偏振器的像素生成的处理传感器数据，计算基于偏振信息的法向矢量；以及
基于所述法向矢量来校正所述深度，
其中所述三维图像传感器包括
所述深度像素和在所述深度像素的周边的其中布置有所述偏振器的偏振像素，或者
其中布置有所述偏振器的深度像素。
21.根据权利要求20所述的深度校正方法，还包括：
响应于确定所述比率超过所述阈值而避免校正所述深度。
22.一种基于三维图像传感器的三维图像生成方法，所述三维图像生成方法包括：
响应于深度像素检测到从物体反射的光，基于由所述三维图像传感器的深度像素生成的处理传感器数据来检测物体的相位信号；
响应于其中具有偏振器的像素检测到从所述物体反射的光，基于由其中布置有所述偏振器的所述像素生成的处理传感器数据而计算基于偏振信息的法向矢量，并计算所述物体的三维形状；
基于所述相位信号计算所述物体的深度；以及
基于将与所计算的深度相关联的深度信息和与所计算的所述物体的三维形状相关联的三维形状信息结合来生成所述物体的三维图像，
其中所述三维图像传感器包括根据权利要求1、8和12中任一项所述的三维图像传感器。
23.根据权利要求22所述的三维图像生成方法，其中在计算所述三维形状之前执行所述物体的所述深度的计算。
CN201910710726.7A 2018-10-01 2019-08-02 三维图像传感器、深度校正方法及三维图像生成方法 Active CN110970452B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180117219A KR102534247B1 (ko) 2018-10-01 2018-10-01 편광판을 포함한 3d 이미지 센서, 및 그 3d 이미지 센서를 기반으로 한 깊이 보정방법과 3d 영상 생성방법
KR10-2018-0117219 2018-10-01

Publications (2)

Publication Number Publication Date
CN110970452A CN110970452A (zh) 2020-04-07
CN110970452B true CN110970452B (zh) 2023-11-24

Family

ID=69947301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910710726.7A Active CN110970452B (zh) 2018-10-01 2019-08-02 三维图像传感器、深度校正方法及三维图像生成方法

Country Status (3)

Country Link
US (2) US11204415B2 (zh)
KR (1) KR102534247B1 (zh)
CN (1) CN110970452B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200105584A (ko) 2019-02-28 2020-09-08 삼성전자주식회사 이미지 센서
KR20200108133A (ko) * 2019-03-06 2020-09-17 삼성전자주식회사 이미지 센서 및 이미징 장치
TW202131671A (zh) * 2019-10-07 2021-08-16 日商索尼半導體解決方案公司 電子機器
US11233963B2 (en) * 2019-12-27 2022-01-25 Omnivision Technologies, Inc. Devices and methods for obtaining three-dimensional shape information using polarization and phase detection photodiodes
CN113097236B (zh) * 2020-01-08 2024-03-12 联华电子股份有限公司 感光装置
KR102148127B1 (ko) * 2020-02-14 2020-08-26 재단법인 다차원 스마트 아이티 융합시스템 연구단 상보적인 픽슬렛 구조가 적용된 카메라 시스템
DE102020135088A1 (de) 2020-03-27 2021-09-30 Samsung Electronics Co., Ltd. Halbleitervorrichtung
US11871132B2 (en) * 2020-05-08 2024-01-09 Omnivision Technologies, Inc. Devices and methods for obtaining three-dimensional shape information using polarization and time-of-flight detection pixel cells
CN111510700A (zh) * 2020-06-18 2020-08-07 深圳市汇顶科技股份有限公司 图像采集装置
KR20220075016A (ko) 2020-11-26 2022-06-07 삼성전자주식회사 이미징 장치
US11758109B2 (en) * 2021-02-01 2023-09-12 Omnivision Technologies, Inc. Techniques for measuring depth and polarization from a single sensor
US20230017723A1 (en) * 2021-07-16 2023-01-19 Taiwan Semiconductor Manufacturing Company Ltd. Semiconductor structure and manufacturing method of the same
WO2023224326A1 (ko) * 2022-05-18 2023-11-23 삼성전자 주식회사 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256138A (ja) * 2009-04-23 2010-11-11 Canon Inc 撮像装置及びその制御方法
CN101929850A (zh) * 2009-06-26 2010-12-29 财团法人工业技术研究院 利用光学偏振特性的三维显微共焦测量系统与方法
CN204720451U (zh) * 2014-06-03 2015-10-21 半导体元件工业有限责任公司 成像系统和处理器系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3217660B1 (en) 2007-06-15 2018-10-31 Panasonic Intellectual Property Management Co., Ltd. Image processing device
KR20110061677A (ko) * 2009-12-02 2011-06-10 삼성전자주식회사 영상 센서 및 이의 제조 방법.
KR101884952B1 (ko) 2010-01-06 2018-08-02 헵타곤 마이크로 옵틱스 피티이. 리미티드 별도의 화소 및 저장 어레이를 갖는 복조(復調) 센서
KR20120111092A (ko) * 2011-03-31 2012-10-10 삼성전자주식회사 촬상 장치
US9177983B2 (en) 2012-01-23 2015-11-03 Omnivision Technologies, Inc. Image sensor with optical filters having alternating polarization for 3D imaging
EP3792662A1 (en) 2014-01-13 2021-03-17 Sony Depthsensing Solutions SA/NV Time-of-flight system for use with an illumination system
CN105676475B (zh) 2014-11-18 2018-04-10 华为技术有限公司 成像系统
US10260866B2 (en) 2015-03-06 2019-04-16 Massachusetts Institute Of Technology Methods and apparatus for enhancing depth maps with polarization cues
US9749556B2 (en) * 2015-03-24 2017-08-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities
JP2017005111A (ja) * 2015-06-10 2017-01-05 ソニー株式会社 固体撮像装置及び電子機器
US9807294B2 (en) * 2015-08-05 2017-10-31 Omnivision Technologies, Inc. Image sensor with symmetric multi-pixel phase-difference detectors, and associated methods
EP3193190B1 (en) 2016-01-15 2023-04-12 Sony Depthsensing Solutions N.V. A detector device with majority current and a circuitry for controlling the current
US11209664B2 (en) 2016-02-29 2021-12-28 Nlight, Inc. 3D imaging system and method
US10466036B2 (en) 2016-10-07 2019-11-05 Arizona Board Of Regents On Behalf Of The University Of Arizona Attachable depth and orientation tracker device and method of depth and orientation tracking using focal plane polarization and color camera
KR20200105584A (ko) * 2019-02-28 2020-09-08 삼성전자주식회사 이미지 센서
KR20210055821A (ko) * 2019-11-07 2021-05-18 삼성전자주식회사 깊이의 측정 범위에 기초하여 동작하는 센서 및 이를 포함하는 센싱 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256138A (ja) * 2009-04-23 2010-11-11 Canon Inc 撮像装置及びその制御方法
CN101929850A (zh) * 2009-06-26 2010-12-29 财团法人工业技术研究院 利用光学偏振特性的三维显微共焦测量系统与方法
CN204720451U (zh) * 2014-06-03 2015-10-21 半导体元件工业有限责任公司 成像系统和处理器系统

Also Published As

Publication number Publication date
KR102534247B1 (ko) 2023-05-18
KR20200037698A (ko) 2020-04-09
US20200103511A1 (en) 2020-04-02
US11204415B2 (en) 2021-12-21
US11762073B2 (en) 2023-09-19
CN110970452A (zh) 2020-04-07
US20220082673A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
CN110970452B (zh) 三维图像传感器、深度校正方法及三维图像生成方法
US9883128B2 (en) Imaging systems with high dynamic range and phase detection pixels
EP3193190B1 (en) A detector device with majority current and a circuitry for controlling the current
KR102651130B1 (ko) 거리 측정을 위한 이미지 센서
US20110198481A1 (en) Image sensor and operating method
US9698191B2 (en) System and method to extend near infrared spectral response for imaging systems
JP2009236914A (ja) 距離測定センサ及びそれを備えた立体カラーイメージセンサ
KR102311615B1 (ko) 다수 전류 및 분리 수단을 갖는 검출기 디바이스
CN110275606B (zh) 感测元件
JP4757779B2 (ja) 距離画像センサ
US20180166487A1 (en) Solid-state imaging device, imaging apparatus, and manufacturing method of solid-state imaging device
US9673241B2 (en) Light-condensing unit, solid-state image sensor, and image capture device
US11508775B2 (en) Three-dimensional image sensor based on structured light
US20180164154A1 (en) Image sensor having beam splitter
KR20090118795A (ko) 이중 트랜스퍼 게이트를 구비한 거리측정 센서 및 그를구비한 입체 컬러 이미지 센서
US10347778B2 (en) Graded-index structure for optical systems
US9681077B2 (en) Device for transferring photogenerated charges at high frequency and applications
CN210296379U (zh) 多光谱图像传感器和多光谱传感器
CN112928131A (zh) 一种阵列型探测器与使用其的探测系统
KR101238806B1 (ko) 다중 개구면 거리 화상 센서용 광 검출기와 이를 위한 후면 조사형 씨모스 이미지 센서 및 그 제조 방법
CN114467176A (zh) 图像传感器、图像处理方法及装置、成像系统
CN112420754A (zh) 图像感测装置
KR20210041879A (ko) 이미지 센싱 장치
KR20220004647A (ko) 타임-오브-플라이트 디바이스 및 방법
KR20210002880A (ko) 픽셀 및 이를 포함하는 이미지 센서

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant