CN108010073B - 用于具有背景去除的有源深度成像仪的系统和方法 - Google Patents

用于具有背景去除的有源深度成像仪的系统和方法 Download PDF

Info

Publication number
CN108010073B
CN108010073B CN201710940686.6A CN201710940686A CN108010073B CN 108010073 B CN108010073 B CN 108010073B CN 201710940686 A CN201710940686 A CN 201710940686A CN 108010073 B CN108010073 B CN 108010073B
Authority
CN
China
Prior art keywords
illuminant
image data
period
scene
tsg1
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710940686.6A
Other languages
English (en)
Other versions
CN108010073A (zh
Inventor
杨征
英一船津
真锅宗平
马渕圭司
杨大江
毛杜立
张博微
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN108010073A publication Critical patent/CN108010073A/zh
Application granted granted Critical
Publication of CN108010073B publication Critical patent/CN108010073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • H01L27/14614—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor having a special gate structure
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/532—Control of the integration time by controlling global shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

有源深度成像系统和操作其的方法使用第一和第二成像仪的每个捕获发光体开和发光体关图像数据。发光体开图像数据包括表示成像场景和从发光体发射的并由成像场景内物体反射的光的信息。发光体关图像数据包括表示没有来自发光体发射的光的成像场景的信息。对于由第一和第二成像仪捕获的每个图像集，从发光体开图像数据减去发光体关图像数据以确定场景内的照明光。然后通过第一和第二成像仪的相减的图像数据确定光入射其上的物体的深度。

Description

用于具有背景去除的有源深度成像仪的系统和方法
技术领域
本申请涉及光学技术领域，特别地涉及用于具有背景去除的有源深度成像仪的系统和方法。
背景技术
立体照相机包括分别从稍微不同的角度捕获场景的左图像和右图像的第一成像阵列和第二成像阵列。只要共有特征在两个图像中是可容易地区别的，可以通过左图像和右图像中的共有特征的三角测量计算深度信息。有源立体照相机或有源深度照相机通过例如使用激光投影系统将特征投影至照相机的视点保证可区别的共有特征。
发明内容
在第一方面，具有背景去除的有源深度成像系统包括：用于向场景中的物体发射光束的发光体，其中物体反射发射的光束；以及用于成像场景的第一图像集的第一成像仪和用于成像场景的第二图像集的第二成像仪。第一图像集和第二图像集的每个可以包括表示当发光体处于开启模式的场景的发光体开图数据以及表示当发光体处于关闭模式的场景的发光体关图像数据。系统还可以包括图像处理器，用于：对于第一图像集和第二图像集的每个，通过从发光体开图像数据减去发光体关图像数据来产生背景去除的图像数据，以及分析第一背景去除的图像数据和第二背景去除的图像数据以确定场景中反射发射的光束的物体的深度。
在第二方面，用于操作有源深度成像系统的方法包括，对于第一时间段，配置有源深度成像系统的第一成像仪和第二成像仪的每个捕获表示成像场景和由发光体发射的光的发光体开图像数据。方法还可以包括，对于第二时间段，配置第一成像仪和第二成像仪的每个不积累电荷。方法还可以包括，对于第三时间段，配置第一成像仪和第二成像仪的每个捕获表示没有光的成像场景的发光体关图像数据。方法还可以包括，对于第四时间段，配置第一成像仪和第二成像仪的每个不积累电荷。方法还可以包括，对于各自的第一成像仪和第二成像仪的每个，从发光体开图像数据中减去发光体关图像数据以确定场景内由发光体发射的光。方法还可以包括确定光入射其上的成像场景内的物体的深度信息。
附图说明
图1描绘用于使用激光投影捕获深度信息的有源深度系统。
图2描绘图1的有源深度系统100的使用的情景200。
图3描绘示出在此讨论的IL(照明)和GS(全局快门)信号之间的比较的示例性时序图300。
图4描绘实施例中包括发光体和成像仪的示例性有源深度照相机。
图5描绘在一个实施例中用于存储发光体开图像数据和发光体关图像数据的示例性锁定双存储门全局快门像素电路。
图6描绘示出在一个实施例中全局操作信号(GS、TSG1、TSG2)和照明信号IL的每个的示例性时序图。
图7描绘示出在另一实施例中全局操作信号(GS、TSG1、TSG2)和照明信号IL的每个的示例性时序图。
图8描绘示出在另一实施例中全局操作信号(GS、TSG1、TSG2)和照明信号IL的每个的示例性时序图。
图9描绘示出在另一实施例中全局操作信号(GS、TSG1、TSG2)和照明信号IL的每个的示例性时序图。
图10描绘示出在另一实施例中全局操作信号(GS、TSG1、TSG2)和照明信号IL的每个的示例性时序图。
图11描绘示出在另一实施例中全局操作信号(GS、TSG1、TSG2)和照明信号IL的每个的示例性时序图。
图12描绘示出在一些实施例中GS和TSG1、TSG2信号的上升沿和下降沿之间的配置的示例性时序图。
图13描绘在一个实施例中用于操作有源深度像素照相机的示例性方法。
具体实施方式
立体照相机从稍微不同的角度捕获场景的左图像和右图像。由左图像和右图像中的共有特征的三角测量可以计算深度信息。通过由发光体(例如激光)投影亮斑(例如激光斑)可以产生共有特征。然而，激光斑在明亮的太阳光下可能不是很好地可见的。
图1描绘实施例中用于使用激光投影捕获深度信息的有源深度系统100。系统100包括用于对3D场景101成像的立体照相机102。立体照相机102包括左成像阵列104A和右成像阵列104B，以及发光体106(例如激光)。在图1中省略用于分别在左成像阵列104A和右成像阵列104B上形成图像的两个成像透镜或单个透镜。为捕获场景101的深度信息，发光体106使用光束108照明场景。然后，由场景101内的物体反射的反射光110传输回至阵列104A和104B。参考反射光110，通过三角测量计算左成像阵列104A和右成像阵列104B捕获的图像以确定场景101内反射反射光110的物体的深度。
图2描绘图1的有源深度系统100的使用的情景200。在图2的情景200中，亮光源202(例如照明成像场景的太阳或其它亮光源)发射亮光束208，其还由场景101中的物体反射。然而，由于来自亮光源202的光束208具有明显大于来自发光体106的照明光束108的强度，亮光源202引起反射光110被反射的亮光210淹没。有源深度系统100的讨论和实施例抵消亮光源202以便照明光束108可以被正确地分析。
在此公开的实施例通过改进拒绝来自亮光源(例如，太阳)的信息的能力来解决现有技术有源深度照相机的缺点。在有源深度照相机系统内，太阳光可以使成像仪饱和并因此洗掉发光体投影的图案。防止此饱和的一种方法是减小照相机内像素阵列的曝光时间。然而，这样做减小照相机系统对发光体(例如，激光斑)的照明信号的灵敏度。
此外，来自亮光源的环境光或反射光可以降低投影特征和背景之间的对比度，且要求更高的激光能量以保持可区别的投影特征。另一方面，保持足够低的能量以防止眼睛伤害或对激光器的热伤害是必要的。
具有足够高重复率的脉冲激光可以实现这些约束。在低激光脉冲重复率(例如，小于200kHz)，对人眼的伤害阈值取决于激光的峰能量。在较高的重复率，伤害阈值取决于激光的平均能量。因此，在较高的重复率，可以增加激光的峰能量同时成比例地降低其占空比以保持平均能量在眼睛伤害阈值以下。具有高于环境光的峰能量的脉冲激光可以与同步的快门一起使用以增强投影光。
快门可以与激光脉冲同步。当发射激光脉冲时，打开电子快门并捕获图像；当不再发射激光脉冲时，关闭电子快门并不再捕获图像。以这种方式，将仅捕获包含激光脉冲的图像，而将不捕获没有激光脉冲的图像。由于激光脉冲短，因此快门时间相应地短。然而，尽管快门时间短，当打开快门时同样捕获太阳光。为进一步增强投影激光斑的可见性，从包含激光脉冲的图像中减去背景(不包含激光脉冲的图像)。
图3描绘示出在此讨论的IL(照明)和GS(全局快门)信号之间的比较的示例性时序图300。IL信号控制激光脉冲，当IL信号为高时，发射激光脉冲。GS信号控制电子快门，当GS信号为低时，开启电子快门并捕获图像。例如，照相机操作以采集发射的激光脉冲的数据、然后采集由视场内的物体反射的光的数据、然后采集由成像仪捕获的数据。例如，示出的图3中的激光器照明0.1μs。对于此0.1μs发光体时长，例如GS信号激活成像仪0.5μs。两个连续的激光脉冲可以分隔开5μs。用于比较，正常帧可以是33ms(30帧每秒)。然而，IL信号可以激活激光器或发光体更长或更短的时长，且GS信号可以激活成像仪更长或更短的时长。因此，在一些实施例中，优化照明信号IL激活时长与全局快门信号GS激活时长的比，以减少成像仪中捕获并存储的背景光(而不是激光器或发光体发射的光)的量。在示例中，为捕获0.1μs激光脉冲，快门开启0.5μs。相应地，为区别捕获的图像中的激光脉冲，激光脉冲的强度必须是背景光的强度的5倍。然而，如将在后续更加详细地描述的，通过从包含激光脉冲的图像减去背景光，激光脉冲的强度不必须是背景光强度的5倍高。
图4描绘一个实施例中包括发光体402、成像仪404的示例性有源深度照相机400。有源深度照相机400是有源深度照相机100的示例，并包括左成像仪和右成像仪(与成像仪104A、104B相似)。然而，由于两个成像仪相同，为简洁，图4中仅示出并仅在此讨论一个成像仪(成像仪404)。发光体402可以是发射具有800nm和1000nm之间的波长的IR光或可见光的激光投影系统。在一些实施例中，发光体402发射850nm波长光或940nm波长光。然而，发光体402可以发射具有可以由成像仪404检测的任意波长的光。来自发光体402的发射光由成像仪404的视场内的物体反射并且随着透镜(未示出)在成像仪404上形成图像被成像仪404捕获。
每个成像仪404包括像素阵列406，像素阵列406包括2维阵列的像素408(P1，P2，……PN)。每个像素408可以是互补金属氧化物半导体(CMOS)像素、电荷耦合装置(CCD)像素、或其它像素类型。如图所示，每个像素被布置成行(R1,R2，…RY)和列(C1,C2,…CX)以获取成像仪404的视场内场景的图像。获取的图像的图像数据可以是2维的或3维的。
每个像素408是能够存储来自对单个像素多次曝光的电荷的锁定双存储门像素，如下面更加详细地所讨论的。在每个像素已经获取其图像数据之后，图像数据被读取电路410读出并被转移至功能逻辑412。功能逻辑412处理所述图像数据以应用后图像效果(例如，裁剪、旋转、移除红眼、调整亮度、调整对比度、确定深度信息或其它)。例如，功能逻辑412可以处理图像数据以便成像仪404可以与发光体402一起使用以确定反射来自发光体402的发射光的物体的深度信息。例如，基于三角测量从左成像仪和右成像仪(再次，为简化，图4中仅示出一个成像仪404)确定(例如，在功能逻辑412内)深度信息。这样的处理可以允许照相机400提供成像仪404的视场内的物体的深度信息。在背景去除之后执行深度计算。深度计算可以是基于三角测量或其它方法。
成像仪404还可以包括与阵列406耦接的控制电路414，用于产生各种信号以控制每个像素408的操作。
图5描绘一个实施例中用于存储发光体开图像数据和发光体关图像数据的示例性锁定双存储门全局快门像素电路500。像素电路500适于在图4的有源深度成像照相机400内使用。应该意识到，像素电路500可以用于2D(一个成像仪)或3D(两个成像仪)成像系统中，例如CCD、CMOS、MOS或其它类型的成像设备。电路500描绘像素408的单独一个，然而，应该意识到，电路500包括形成图4的像素阵列406的多个额外的像素(未示出)。
像素408包括分别地耦接至第一存储元件504和第二存储元件506的光电二极管502。光电二极管502将撞击其上的入射光转化为电荷。像素408包括用于控制光电二极管502何时激活并因此积累电荷的全局快门508。全局快门开关508可以被实施为响应于全局快门信号GS控制光电二极管何时激活的开关设备。例如，每个像素408或像素的组可以具有专用的全局快门开关。
第一存储元件504和第二存储元件506各自分别包括转移存储门512、514和输出门516、518。转移存储门512、514被示出为与2012年8月30日申请的、名称为“Image Sensorwith Fixed Ptential Output Transistor”的美国专利公开No.2014/00633041(在此引入其全部内容)描述的相似的合并转移存储门。转移存储门512由第一转移存储门信号TSG1控制。转移存储门514由第二转移存储门信号TSG2控制。使能TSG1引起转移存储门512转移并存储光电二极管502内积累的电荷。使能TSG2引起转移存储门514转移并存储光电二极管502内积累的电荷。应该意识到，尽管示出使用合并转移存储门，第一和第二存储元件504、506的每个可以被实施为具有分离的转移门和存储门(代替合并转移存储门)。在一些实施中，可以分析由转移存储门512和514捕获的图像数据以从包括背景和来自发光体402的照明光的图像数据(即第一转移存储门512内存储的图像数据)减去背景信息(即，第二转移存储门514内存储的图像数据)。
电路500还包括用于产生全局操作信号532(例如包括GS、TSG1、TSG2和IL)和行特定操作信号(例如包括OG1、OG2、RST和RS)的信号产生电路530。信号产生电路530是图4的控制电路414的示例。全局操作信号532同时控制阵列406内的每个像素408。可选地，全局操作信号532可以在给定的时间段控制阵列406的子集，且另外的全局操作信号可以在另外的时间段期间控制剩余的子集。在电荷集成和存储之后，行特定操作信号534控制每个像素408的读出。信号产生电路530可以是基于处理器或微处理器，或可选地可以是用于产生所述操作信号的一个或多个离散电路模块。信号产生电路530可以被包括在成像仪404中。
在一个实施例中，由光电二极管502采集的电荷根据以下被集成并存储。对于第一时间段，信号产生电路530产生全局快门信号GS以激活全局快门开关508，以便光电二极管502积累电荷。第一时间段可以与用于控制发光体(即发光体402)的照明信号IL同步。在第一时间段期间，信号产生电路530还产生信号TSG1，以便在第一时间段期间在光电二极管中积累的电荷被转移到转移存储门512并被存储在转移存储门512内。
然后，在第二时间段期间，信号产生电路530配置全局快门信号GS，以便电荷不在光电二极管502中积累且因此光电二极管502被重置。
在第三时间段期间，信号产生电路530配置全局快门信号GS，以便光电二极管502再次积累电荷。然而，在第三时间段期间，积累的电荷表示没有发光体(即，发光体402)的照明的成像场景。在第三时间段期间，信号产生电路530还产生信号TSG2，以便在第三时间段期间在光电二极管中积累的电荷被转移至转移存储门514并被存储在转移存储门514内。
然后，在第四时间段期间，信号产生电路530配置全局快门信号GS，以便不在光电二极管502中积累电荷，并因此光电二极管502被重置。
图6描绘示出一个实施例中全局操作信号532(GS、TSG1、TSG2)和照明信号IL中的每个的示例性时序图600。时序图600描绘形成图像帧603的多个曝光周期(602(1)，602(2)……602(N))。应该意识到，在不脱离其范围的情况下，可以有任意数量的曝光周期。
曝光周期602(1)包括第一时间段604。第一时间段604用作存储包括来自发光体402的光的图像信息的第一转移存储门存储时间段。在第一时间段604期间，照明信号IL被配置为高，以便发光体(即发光体402)照明光电阵列(即光电阵列406)的视场。此外，在第一时间段604期间，全局快门信号GS被设置为低，以便光电二极管502可以积累电荷。相应地，光电二极管502积累表示包括由光电二极管的视场内的物体反射的由发光体402发射的光的视场的图像数据的电荷。此外，在第一时间段604期间，TSG1被配置为高，以便光电二极管502内积累的电荷被存储在第一转移存储门512内。此外，TSG2被设置为低以配置第二转移存储门512，以便其不存储来自光电二极管502的电荷。第一时间段604的时长可以大于照明信号IL的时间时长605。此外，可以配置时间段604的时长，以便由发光体402发射的光具有足够的时间到达视场内的物体、被反射回、并被光电二极管502感测。
然后，在第二时间段606中，照明信号IL被设置为低，以便发光体402被关闭。全局快门信号GS被设置为高，以便不在光电二极管502中积累电荷，且光电二极管502被重置。TSG1被设置为低以配置第一转移存储门512，以便其不存储来自光电二极管502的电荷。此外，TSG2被设置为低以配置第二转移存储门514，以便其不存储来自光电二极管502的电荷。
然后，在第三时间段608中，照明信号IL保持设置为低，以便发光体402被关闭。全局快门信号GS被设置为低以配置光电二极管502，以便在光电二极管502中积累电荷。TSG1被设置为低以配置第一转移存储门512，以便其不存储来自光电二极管502的电荷。TSG2被设置为高以配置第二转移存储门514，以便其存储来自光电二极管502的电荷。因为照明信号IL被设置为低，在第三时间段608期间存储在第二转移存储门514中的电荷表示没有由发光体402发射的任何反射光的光电二极管502的的视场。
然后，在第四时间段610内，照明信号IL保持设置为低，以便发光体402被关闭。全局快门信号GS被设置为高，以便不在光电二极管502中积累电荷，且光电二极管502被重置。TSG1被设置为低以配置第一转移存储门512，以便其不存储来自光电二极管502的电荷。此外，TSG2被设置为低以配置第二转移存储门514，以便其不存储来自光电二极管512的电荷。第四时间段610与第二时间段606相似。
在时序图600中，第一时间段604、第二时间段606、第三时间段608和第四时间段610的时长的比为1:1:1:1。换句话说，第一、第二、第三和第四时间段的每个具有相同的时长。应该意识到，第一时间段604、第二时间段606、第三时间段608和第四时间段610的时长的比可以是任意组合。
下一曝光周期602(2)重复曝光周期602(1)的过程。在曝光周期602(2)中(照明开启)光电二极管502内的第一积累电荷被转移至第一转移存储门502并被加合至曝光周期602(1)中(照明开启)时间段604期间已经被存储在第一转移存储门512中的光电二极管502内的第一积累电荷。然后，曝光周期602(2)中(照明关闭)光电二极管502内的第二积累电荷被转移至第二转移存储门514，并被加合至曝光周期602(1)中(照明关闭)时间段608期间已经被存储在第二转移存储门514中的光电二极管502内的第二积累电荷。
重复相同的过程直到曝光周期602(N)。以这样的方式，第一转移存储门512积累从曝光周期602(1)至曝光周期602(N)当TSG1被设置为高(照明开启)时光电二极管502内积累的所有电荷。相似地，第二转移存储门514积累从曝光周期602(1)至曝光周期602(N)当TSG2被设置为高时(照明关闭)光电二极管502内积累的所有电荷。
最后，在曝光周期602(N)之后，帧603以读取时间段结束，以便每对第一转移存储门512和第二转移存储门514内积累并存储的电荷被读取并可以被相减。每N个曝光周期仅读取一次图像数据信息。
图7描绘示出另一实施例中全局操作信号532(GS、TSG1、TSG2)和照明信号IL中的每个的示例性时序图700。图7与图6相似，除了在时序图700中，第一时间段704、第二时间段706、第三时间段708和第四时间段710的时长的比为：第一时间段704>第三时间段708＝第四时间段710>第二时间段706。
图8描绘示出另一实施例中全局操作信号532(GS、TSG1、TSG2)和照明信号IL的每个的示例性时序图800。图8与图6相似，除了在时序图800中，第一时间段804、第二时间段806、第三时间段808和第四时间段810的时长的比为：第三时间段808>第一时间段804＝第二时间段806>第四时间段810。
图9描绘示出另一实施例中全局操作信号532(GS、TSG1、TSG2)和照明信号IL的每个的示例性时序图900。图9与图6相似，除了在时序图900中，第一时间段904、第二时间段906、第三时间段908和第四时间段910的时长的比为：第一时间段904＝第三时间段908>第二时间段906＝第四时间段910。
图10描绘示出另一实施例中全局操作信号532(GS、TSG1、TSG2)和照明信号IL的每个的示例性时序图1000。图10与图6相似。将在下面描述图10和图6的不同之处。
帧1003具有多个曝光周期1002(1)-1002(N)。每个曝光周期1002(n)(n＝1，2，3……N)包括第一时间段1004。第一时间段1004用作在第一转移存储门512中存储包括来自发光体402的光的图像信息的第一转移存储门存储时间段。在第一时间段1004期间，照明信号IL可以被配置为高，以便发光体(即发光体402)照明光电阵列(即光电阵列406)的视场。此外，照明信号IL可以被切换开启或关闭(如图所示)，以便视场在第一时间段1004期间被发光体402照明多次。这可以增加照相机400的灵敏度。尽管仅示出两个照明信号切换，应该意识到在第一时间段1004期间发光体可以被激活任意次数。
此外，在第一时间段1004期间，全局快门信号GS被设置为低，以便光电二极管502可以积累电荷。相应地，光电二极管502积累表示包括由光电阵列的视场内的物体反射的由发光体402发射的光的视场的图像数据的电荷。此外，在第一时间段1004期间，TSG1被配置为高，以便在光电二极管502内积累的电荷被存储在第一转换存储门512内。此外，TSG2被设置为低以配置第二转移存储门512，以便其不存储来自光电二极管502的电荷。配置第一时间段1004的时长以捕获切换照明信号IL的每个。与多次快门操作相比，这将减少功耗，其中每次快门操作覆盖照明信号切换。
例如，在时序图1000中，第一时间段1004、第二时间段1006、第三时间段1008和第四时间段1010的时长的比为：第一时间段1004＝第三时间段1008>第二时间段1006＝第四时间段1010。然而，应该意识到，每个时间段的时长的比可以不同，且不限于示于图10的时长比。
图11描绘示出另一实施例中全局操作信号532(GS、TSG1、TSG2)和照明信号IL的每个的示例性时序图1100。图11与图6相似。下面描述图11和图6的不同之处。
帧1103具有多个曝光周期1102(1)至1102(N)。第一曝光周期1102(1)与第一曝光周期602(1)相同，包括将TSG2设置为高以配置第二转移存储门514以便其存储来自光电二极管502的电荷的时间段1108。曝光周期1102(2)至1102(N)不包括将TSG2设置为高以配置第二转移存储门514以便其存储来自光电二极管502的电荷的时间段1108。这是因为，对于相对静态的背景，不必须在每次捕获由发光体照明的视场时捕获背景(没有由发光体照明的图像场景)。因此，可以在多个高TSG1信号之后附随高TSG2信号。这将节约功耗。
在一些情况中，由发光体照明的视场和背景的曝光可能不是成比例的，原因是独立于由发光体照明的视场的捕获，捕获的背景还可以用作图片且其曝光被独立地优化。在此情况下，在相减之前，来自第一转移存储门512和第二转移存储门514的读出可以被缩放。
图12描绘示出一些实施例中GS和TSG1/TSG2信号的上升沿和下降沿之间的配置的示例性时序图1200。应该意识到，全局快门信号GS不需要与TSG1或TSG2信号精确地同步。在时序图1200中，全局快门信号GS的下降沿1202与TSG1或TSG2的任一个的上升沿1204同步。此外，全局快门信号GS的上升沿1206与TSG1或TSG2的下降沿1208同步。
在一些实施例中，全局快门信号GS的上升沿/下降沿可以在TSG1或TSG2的上升沿/下降沿之前。这示于时序图1200中，其中全局快门信号GS的下降沿1210在TSG1或TSG2的任一个的上升沿1212之前。此外，全局快门信号GS的上升沿1214在TSG1或TSG2的下降沿1216之前。
在一些实施例中，全局快门信号GS的上升沿/下降沿可以在TSG1或TSG2的上升沿/下降沿之后。此示于时序图1200中，其中全局快门信号GS的下降沿1218在TSG1或TSG2的任一个的上升沿1220之后。此外，全局快门信号GS的上升沿1222在TSG1或TSG2的下降沿1224之后。
在一些实施例中，全局快门信号GS的下降沿可以在TSG1或TSG2的上升沿之前，且全局快门信号GS的上升沿可以在TSG1或TSG2的下降沿之后。此示于时序图1200中，其中全局快门信号GS的下降沿1226在TSG1或TSG2的任一个的上升沿1228之前。此外，全局快门信号GS的上升沿1230在TSG1或TSG2的下降沿1232之后。
在一些实施例中，全局快门信号GS的下降沿可以在TSG1或TSG2的上升沿之后，且全局快门信号GS的上升沿可以在TSG1或TSG2的下降沿之前。此示于时序图1200中，其中全局快门信号GS的下降沿1234在TSG1或TSG2的任一个的上升沿1236之后。此外，全局快门信号GS的上升沿1238在TSG1或TSG2的下降沿1240之前。
图13描绘一个实施例中用于操作有源深度像素照相机的示例性方法1300。例如，方法1300可以在包括具有全局快门的锁定双存储像素的图4的有源深度照相机400内实施。
在步骤1320中，方法1300对第一时间段配置光电二极管以捕获包括由发光体发射的光的图像数据。在步骤1302的示例中，根据图6至11的第一时间段604、704、804、904、1004、1104的一个或多个配置有源深度照相机400的电路500。
步骤1302可以包括配置发光体以照明成像场景的子步骤1304。在子步骤1304的一个示例中，电路530产生照明信号IL，以便发光体402照明像素阵列406的视场内的场景。可以根据如上描述的图6至11的时序图600、700、800、900、1000、1100的任一个产生信号IL。
步骤1302可以包括配置第一存储元件以存储由光电二极管积累的电荷的子步骤1306。在子步骤1306的一个示例中，电路530产生信号TSG1，以便第一转移存储门412存储表示包括由发光体402发射的光的反射光的视场的由光电二极管502积累的电荷。可以根据如上描述的图6至11的时序图600、700、800、900、1000、1100的任一个产生第一时间段期间的TSG1。
在决策步骤1308中，方法1300确定是否设置过程以重复捕获发光体开启的情况下的场景。如果设置过程以重复捕获发光体开启的情况下的场景，根据图10的时序图1000，过程返回至步骤1302，否则过程继续至步骤1310。
在步骤1310中，方法1300对于第二时间段配置光电二极管以便其不积累电荷。在步骤1310的一个示例中，基于由电路530产生的全局开关信号GS配置有源深度照相机400的光电二极管502，以便光电二极管502不产生电荷。可以根据如上关于图6至11讨论的第二时间段606、706、806、906、1006、1106的任一个配置第二时间段。
在步骤1312中，方法1300配置是否设置过程以跳过在发光体关闭的情况下捕获场景。如果设置过程以跳过在发光体关闭的情况下捕获场景，根据图11的时序图1100忽略步骤1314，过程直接至步骤1322，否则过程继续至步骤1314。
在步骤1314中，方法1300对于第三时间段配置步骤1302的相同光电二极管以捕获不包括由发光体发射的光的图像数据。在步骤1314的示例中，根据如上关于图6至11讨论的第三时间段608、708、808、908、1008、1108的一个或多个配置有源深度照相机300的电路500。
步骤1314可以包括以关闭模式配置发光体的子步骤1316。在子步骤1316的一个示例中，电路530产生照明信号IL，以便发光体402不照明光电阵列406的视场内的场景。可以根据如上描述的图6至11的时序图600、700、800、900、1000、1100的任一个产生信号IL。
步骤1314可以包括配置第二存储元件以存储由光电二极管积累的电荷的子步骤1318。在子步骤1318的一个示例中，电路530产生信号TSG2，以便第二转移存储门514存储表示没有发光体402发射的光的反射光的视场(背景)的由光电二极管502积累的电荷。可以根据如上描述的图6至11的时序图600、700、800、900、1000、1100的任一个产生第三时间段期间的TSG2。
在步骤1320中，方法1300对于第四时间段配置光电二极管，以便其不积累电荷。在步骤1320的一个示例中，基于由电路530产生的全局快门信号GS配置有源深度照相机400的光电二极管502，以便光电二极管502不产生电荷。可以根据如上关于图6至11讨论的第四时间段610、710、810、910、1010、1110的任一个配置第四时间段。改变第四时间段的时长可以改变系统和方法的灵敏度。
可以根据如上关于图6至10描述的时间段的任意比产生第一、第二、第三和第四时间段的比。
在步骤1322中，方法1300配置是否过程已经重复N个曝光周期。如果过程已经重复N个曝光周期，过程继续至步骤1324，否则过程返回至步骤1302。注意N可以是任意整数。
在可选的步骤1324中，方法1300读取在第一和第三时间段期间捕获的图像数据。在步骤1324的操作的示例中，电路530产生行特定信号534以分别读取第一和第二存储元件504、506内存储的图像数据。
在可选的步骤1326中，方法1300从第一时间段期间捕获的图像数据(包括由发光体发射的光的反射光的视场)减去第三时间段期间捕获的图像数据(背景)。如果必要，方法1300可以在相减之前缩放第一和第三时间段期间捕获的图像数据。步骤1324可以通过从第一存储元件504的图像数据减去来自第二存储元件506的图像数据来执行。
方法1300包括用于左图像和右图像的步骤1302至1326。例如，对于每个成像仪104A、104B的每个执行方法1300。在可选的步骤1328中，方法1300由从步骤1302至1326获得的相减的左图像和右图像确定深度信息。
在步骤1328之后，过程返回至步骤1302。对于图像数据的另外的帧重复过程。此系统和方法增加照明光信号的信噪比。其还增加有源深度照相机的范围。此系统和方法允许在不要求增加激光功率以便激光功率仍在不伤害人眼的安全操作范围内的情况下的改进。
在不脱离其范围的情况下，可以对上述方法和系统做出改变。因此，应该注意的是，在上述描述中包含的或在附图中示出的方式，应该被理解为说明性的且不具有限制意义。所附权利要求旨在覆盖在此描述的所有共用和特定特征，以及本方法和本系统的范围的在语言上的所有声明应被认为落入其间。

Claims (22)

1.一种具有背景去除的有源深度成像系统，包括：
发光体，用于向场景中的物体发射投影亮斑的光束，所述物体反射发射的光束；
第一成像仪，用于成像场景的第一图像集；
第二成像仪，用于成像场景的第二图像集，
所述第一图像集和所述第二图像集各自包括表示当所述发光体处于开启模式时的场景的发光体开图像数据，以及表示当所述发光体处于关闭模式时的场景的发光体关图像数据；图像处理器，被编程以：
对于所述第一图像集和所述第二图像集的每个，通过从所述发光体开图像数据减去发光体关图像数据来产生第一背景去除的图像数据和第二背景去除的图像数据，以及
使用基于所述第一背景去除的图像数据和所述第二背景去除的图像数据的共有特征的三角测量来分析所述第一背景去除的图像数据和所述第二背景去除的图像数据以确定场景中反射发射的光束的所述物体的深度，所述共有特征是投影的所述亮斑。
2.根据权利要求1所述的有源深度成像系统，其中，所述第一成像仪和第二成像仪包括图像阵列，所述图像阵列包括：
多个像素，每个像素包括：
光电二极管，与第一存储元件和第二存储元件耦接，以及
全局快门开关，用于控制所述光电二极管内的电荷积累，信号产生电路，用于对第一时间段、第二时间段、第三时间段和第四时间段产生多个信号以控制每个像素，以便：
在所述第一时间段期间，所述光电二极管捕获所述发光体开图像数据，并将所述发光体开图像数据存储在所述第一存储元件中，
在所述第二时间段和所述第四时间段期间，所述光电二极管不积累任何电荷，
在所述第三时间段期间，所述光电二极管捕获所述发光体关图像数据，并将所述发光体关图像数据存储在所述第二存储元件中。
3.根据权利要求2所述的有源深度成像系统，其中，所述第一成像仪和所述第二成像仪的每个还包括：
读取电路，用于从所述第一存储元件和所述第二存储元件获得所述发光体开图像数据和所述发光体关图像数据；
所述第一存储元件包括：
第一转移存储门，用于转移并存储来自所述光电二极管的所述发光体开图像数据；和
第一输出门，用于将所述发光体开图像数据输出至所述读取电路；以及
所述第二存储元件包括：
第二转移存储门，用于转移并存储来自所述光电二极管的所述发光体关图像数据；和
第二输出门，用于将所述发光体关图像数据输出至所述读取电路。
4.根据权利要求3所述的有源深度成像系统，其中，所述第一转移存储门适于在所述第一输出门输出存储的发光体开图像数据的多次曝光之前，存储所述发光体开图像数据的多次曝光。
5.根据权利要求4所述的有源深度成像系统，其中，所述第二转移存储门适于在所述第二输出门输出存储的发光体关图像数据的多次曝光之前，存储所述发光体关图像数据的多次曝光。
6.根据权利要求3所述的有源深度成像系统，其中，所述多个信号包括用于控制全局快门的全局快门信号GS，用于控制所述第一转移存储门的第一转移存储信号TSG1，以及用于控制所述第二转移存储门的第二转移存储信号TSG2。
7.根据权利要求6所述的有源深度成像系统，其中，GS的下降沿与TSG1和TSG2中的至少一个的上升沿同步，且GS的上升沿与TSG1和TSG2中的至少一个的下降沿同步。
8.根据权利要求6所述的有源深度成像系统，其中，GS的下降沿在TSG1和TSG2中的至少一个的上升沿之前，且GS的上升沿在TSG1和TSG2中的至少一个的下降沿之前。
9.根据权利要求6所述的有源深度成像系统，其中，GS的下降沿在TSG1和TSG2中的至少一个的上升沿之后，且GS的上升沿在TSG1和TSG2中的至少一个的下降沿之后。
10.根据权利要求6所述的有源深度成像系统，其中，GS的下降沿在TSG1和TSG2中的至少一个的上升沿之前，且GS的上升沿在TSG1和TSG2中的至少一个的下降沿之后。
11.根据权利要求1所述的有源深度成像系统，其中，所述发光体开图像数据包括所述发光体的多次曝光的数据。
12.根据权利要求1所述的有源深度成像系统，其中，所述发光体在所述场景之外。
13.一种用于操作有源深度成像系统的方法，包括：
捕获左图像和右图像，所述左图像和所述右图像中的每个经由多个曝光周期捕获，每个曝光周期包括：
对于第一时间段，配置所述有源深度成像系统的第一成像仪和第二成像仪的每个以捕获发光体开图像数据，所述发光体开图像数据表示成像场景和所述成像场景中由发光体发射的光投影的亮斑；
对于第二时间段，配置所述第一成像仪和所述第二成像仪的每个以不积累电荷；
对于第三时间段，配置所述第一成像仪和所述第二成像仪的每个以捕获表示没有所述光的成像场景的发光体关图像数据；
对于第四时间段，配置所述第一成像仪和所述第二成像仪的每个以不积累电荷；
对于各自的第一成像仪和第二成像仪的每个，积累所述多个曝光周期中捕获的发光体开图像数据，并且对于各自的第一成像仪和第二成像仪的每个，积累所述多个曝光周期中捕获的发光体关图像数据；
对于各自的第一成像仪和第二成像仪的每个，从积累的发光体开图像数据减去积累的发光体关图像数据，以确定所述场景内由所述发光体发射的光；以及
经由相减的左图像和相减的右图像中的共有特征的三角测量来确定所述光入射其上的成像场景内物体的深度信息，所述共有特征是所述投影的亮斑。
14.根据权利要求13所述的方法，还包括：在所述第一时间段期间，配置所述发光体以多于一次地照明所述成像场景。
15.根据权利要求13所述的方法，还包括：在所述第一时间段期间，将分别由所述第一成像仪和所述第二成像仪的每个捕获的发光体开图像数据存储在每个各自的第一成像仪和第二成像仪的第一存储元件中。
16.根据权利要求13所述的方法，还包括：在所述多个曝光周期之后读取所述发光体开图像数据和所述发光体关图像数据。
17.根据权利要求13所述的方法，还包括：在所述第一时间段期间，切换所述发光体。
18.根据权利要求13所述的方法，其中，所述第一时间段、所述第二时间段、所述第三时间段和所述第四时间段的每个的时长相等。
19.根据权利要求13所述的方法，其中，所述第一时间段的时长大于所述第二时间段、所述第三时间段和所述第四时间的每个的时长，且所述第二时间段的时长小于所述第三时间段和所述第四时间段的时长。
20.根据权利要求13所述的方法，其中，所述第三时间段的时长大于所述第一时间段、所述第二时间段和所述第四时间段的每个的时长，且所述第四时间段的时长小于所述第一时间段和所述第二时间段的时长。
21.根据权利要求13所述的方法，其中，所述第一时间段和所述第三时间段的每个的时长彼此相等，并大于所述第二时间段和所述第四时间段的每个的时长。
22.根据权利要求13所述的方法，其中，所述第二时间段和所述第四时间段的时长彼此相等。
CN201710940686.6A 2016-11-02 2017-10-11 用于具有背景去除的有源深度成像仪的系统和方法 Active CN108010073B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/341,374 2016-11-02
US15/341,374 US10582178B2 (en) 2016-11-02 2016-11-02 Systems and methods for active depth imager with background subtract

Publications (2)

Publication Number Publication Date
CN108010073A CN108010073A (zh) 2018-05-08
CN108010073B true CN108010073B (zh) 2023-07-28

Family

ID=62022837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710940686.6A Active CN108010073B (zh) 2016-11-02 2017-10-11 用于具有背景去除的有源深度成像仪的系统和方法

Country Status (3)

Country Link
US (1) US10582178B2 (zh)
CN (1) CN108010073B (zh)
TW (1) TWI675582B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11067673B2 (en) * 2018-05-17 2021-07-20 Cmos Sensor, Inc. Sensor, apparatus for lidar application and method of background cancellation
US10855896B1 (en) * 2018-12-13 2020-12-01 Facebook Technologies, Llc Depth determination using time-of-flight and camera assembly with augmented pixels
US10791282B2 (en) 2018-12-13 2020-09-29 Fenwick & West LLP High dynamic range camera assembly with augmented pixels
CN110062145B (zh) * 2019-05-24 2021-07-20 Oppo广东移动通信有限公司 深度相机、电子设备及图像获取方法
US11561085B2 (en) * 2019-06-05 2023-01-24 Qualcomm Incorporated Resolving multipath interference using a mixed active depth system
CN112461154B (zh) * 2019-09-09 2023-11-10 睿镞科技(北京)有限责任公司 3d成像方法、装置和深度相机
TWI731442B (zh) * 2019-10-18 2021-06-21 宏碁股份有限公司 電子裝置及其利用觸控資料的物件資訊辨識方法
CN112764594B (zh) * 2019-11-01 2023-06-09 宏碁股份有限公司 电子装置及其利用触控数据的物件信息识别方法
CN110944135B (zh) * 2019-11-18 2022-05-31 深圳前海达闼云端智能科技有限公司 一种功率控制方法、电子设备及存储介质
US10902623B1 (en) 2019-11-19 2021-01-26 Facebook Technologies, Llc Three-dimensional imaging with spatial and temporal coding for depth camera assembly
US11194160B1 (en) 2020-01-21 2021-12-07 Facebook Technologies, Llc High frame rate reconstruction with N-tap camera sensor
KR20210115715A (ko) * 2020-03-16 2021-09-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
US11563873B2 (en) 2020-04-14 2023-01-24 Qualcomm Incorporated Wide-angle 3D sensing
US12113951B2 (en) * 2021-10-08 2024-10-08 Google Llc High-resolution pseudo-random dots projector module for depth sensing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105187815A (zh) * 2014-06-09 2015-12-23 全视技术有限公司 用于获得图像深度信息的系统及方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8712144B2 (en) * 2003-04-30 2014-04-29 Deere & Company System and method for detecting crop rows in an agricultural field
JP4161910B2 (ja) * 2004-01-28 2008-10-08 株式会社デンソー 距離画像データ生成装置及び生成方法，プログラム
US7626626B2 (en) 2006-01-13 2009-12-01 Micron Technology, Inc. Method and apparatus providing pixel storage gate charge sensing for electronic stabilization in imagers
US8077034B2 (en) 2006-09-28 2011-12-13 Bea Sa Sensor for presence detection
US8089036B2 (en) 2009-04-30 2012-01-03 Omnivision Technologies, Inc. Image sensor with global shutter and in pixel storage transistor
US8547421B2 (en) * 2010-08-13 2013-10-01 Sharp Laboratories Of America, Inc. System for adaptive displays
GB2487943A (en) 2011-02-09 2012-08-15 St Microelectronics Res & Dev A CMOS pixel sensor with local analogue storage in each pixel circuit for capturing frames in quick succession
US9083905B2 (en) 2011-04-26 2015-07-14 Semiconductor Components Industries, Llc Structured light imaging system
US9007489B2 (en) 2012-02-28 2015-04-14 Semiconductor Components Industries, Llc Method and apparatus for image background removal and replacement
US9723233B2 (en) * 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
US9398287B2 (en) * 2013-02-28 2016-07-19 Google Technology Holdings LLC Context-based depth sensor control
WO2014168500A1 (en) * 2013-04-08 2014-10-16 Lsi Corporation Front-end architecture for image processing
US20140313294A1 (en) * 2013-04-22 2014-10-23 Samsung Display Co., Ltd. Display panel and method of detecting 3d geometry of object
KR102203318B1 (ko) * 2013-06-06 2021-01-15 헵타곤 마이크로 옵틱스 피티이. 리미티드 능동형 조명을 구비한 센서 시스템
US9916681B2 (en) * 2014-11-04 2018-03-13 Atheer, Inc. Method and apparatus for selectively integrating sensory content
KR20160058607A (ko) * 2014-11-17 2016-05-25 현대자동차주식회사 영상 처리 장치 및 영상 처리 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105187815A (zh) * 2014-06-09 2015-12-23 全视技术有限公司 用于获得图像深度信息的系统及方法

Also Published As

Publication number Publication date
CN108010073A (zh) 2018-05-08
US20180124372A1 (en) 2018-05-03
TWI675582B (zh) 2019-10-21
TW201830957A (zh) 2018-08-16
US10582178B2 (en) 2020-03-03

Similar Documents

Publication Publication Date Title
CN108010073B (zh) 用于具有背景去除的有源深度成像仪的系统和方法
US8269868B2 (en) Systems and methods for imaging
JP7249953B2 (ja) ピクセル構造
CN110868518B (zh) 使用动态视觉传感器进行脉冲光图案捕获的系统和方法
US9800807B2 (en) Image sensor operation for shutter modulation and high dynamic range
CN108291961B (zh) 固体摄像装置、距离测定装置及距离测定方法
JP7253556B2 (ja) 物体までの距離を測定するためのシステムおよび方法
US20100171875A1 (en) Imager capturing an image with a rolling shutter
US9182490B2 (en) Video and 3D time-of-flight image sensors
EP2380038B1 (en) Cmos imager
US20190007592A1 (en) Imaging device and solid-state imaging element used in same
US7884868B2 (en) Image capturing element, image capturing apparatus, image capturing method, image capturing system, and image processing apparatus
JP2019508717A5 (ja) 自動被写体検出および視覚システムの照明不変画像センサの方法および装置
CN111602386B (zh) 缓解运动图片的led频闪
JP2010527457A (ja) 移動物体を撮像するための撮像方法及び撮像装置
CN111684791B (zh) 像素结构、具有像素结构的图像传感器装置和系统、以及操作该像素结构的方法
CN114930192B (zh) 红外成像组件
US20070098388A1 (en) Systems and methods of generating Z-buffers for an image capture device of a camera
TW202119809A (zh) 相位偵測自動對焦(pdaf)感測器
JP2007281556A (ja) 撮像素子、撮像装置及び撮像システム
US8681263B2 (en) Imager capturing an image with a rolling shutter using flicker detection
US20070098387A1 (en) Systems and methods of generating Z-Buffers in cameras
WO2024116745A1 (ja) 画像生成装置、画像生成方法および画像生成プログラム
US20220179087A1 (en) Time-of-flight apparatus and method
JP2024070310A (ja) オートフォーカス制御装置、撮像装置、オートフォーカス制御方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant