CN111526303B - 结构光成像中去除背景光的方法 - Google Patents

结构光成像中去除背景光的方法 Download PDF

Info

Publication number
CN111526303B
CN111526303B CN202010363898.4A CN202010363898A CN111526303B CN 111526303 B CN111526303 B CN 111526303B CN 202010363898 A CN202010363898 A CN 202010363898A CN 111526303 B CN111526303 B CN 111526303B
Authority
CN
China
Prior art keywords
pixel
background
voltage
structural
floating diffusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010363898.4A
Other languages
English (en)
Other versions
CN111526303A (zh
Inventor
马成
王欣洋
李扬
贾恩·柏加兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Changguang Chenxin Microelectronics Co.,Ltd.
Original Assignee
Changchun Changguangchenxin Optoelectronics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Changguangchenxin Optoelectronics Technology Co ltd filed Critical Changchun Changguangchenxin Optoelectronics Technology Co ltd
Priority to CN202010363898.4A priority Critical patent/CN111526303B/zh
Publication of CN111526303A publication Critical patent/CN111526303A/zh
Application granted granted Critical
Publication of CN111526303B publication Critical patent/CN111526303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/59Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明公开一种结构光成像中去除背景光的方法,包括:S1、前后两帧图像分别采用全局快门曝光方式、卷帘快门曝光方式对图像传感器的全部像素进行曝光,每个像素曝光后累积的结构光电荷与背景光电荷按照电荷类别及先后时序分别单独存储于同一存储单元内;S2、读出电路按照时序分别逐行读取位于存储单元内每个像素的结构光电荷所对应的结构光电压及每个像素的背景光电荷所对应的背景光电压;S3、读出电路将读取的每个像素的结构光电压与背景光电压相减,以去除背景光。本发明通过共用存储单元的方式实现两帧相减的效果,不会增加存储单元的数量,过多占用像素的面积,无需缩小感光单元的尺寸,避免对像素的性能产生不利影响。

Description

结构光成像中去除背景光的方法
技术领域
本发明涉及于结构光成像技术领域,特别涉及一种结构光成像中去除背景光的方法。
背景技术
目前结构光成像技术开始广泛的应用于商业,例如人脸识别、安防监控、工业检测等领域。结构光的三维视觉成像是基于光学三角测量原理实现的。如图1所示,结构光三维视觉系统包括光学投射器1和摄像机2,光学投射器将一定模式(例如红外激光点阵)的光图案透射于物体表面,在表面上形成由被测物体表面形状所调制的点阵三维图像,该三维图像由处于另一位置的摄像机探测,从而获得点阵二维畸变图像。激光点阵的畸变程度取决于光学投射器与摄像机之间的相对位置和物体表面的形状轮廓(高度)。直观上,沿着点阵显示出的位移(或者偏移)与物体表面高度成比例,扭结表示平面的变化,不连续显示表面的物理间隙。当光学投射器与摄像机之间的相对位置一定时,由畸变的二维点阵图像坐标便可重现物体表面的三维形状轮廓。
传统的光学投射器投出的光频率在940nm,摄像机的图像传感器会有光学带通滤波器,只接收940nm频率的光。这样会很大程度上避免其他光源对结构光图案的影响。但是,在自然界(例如太阳频谱,白炽灯,卤素灯等)中会存在940nm的频率分量,能够对结构光图案造成影响。
一种解决背景光的方法是采用两帧相减的方法。如图2所示,首先,开启光学投射器投射940nm频率的图案,图像传感器捕获并存储一帧结构光,之后关闭光学投射器,图像传感器捕获并存储一帧背景光。通过计算机或专用处理芯片进行结构光帧与背景光帧的相减,之后计算结构光的深度,以消除背景光。
传统两帧相减方式存在如下几个缺点:首先,图像传感器捕获的第一帧需要一个完整的数字化存储空间将电压转换为数字信号进行存储,例如硬盘等工具,这对于日趋小型化的消费类电子产品是很大的挑战;其次,需要系统(专用芯片)对两帧进行减法计算,会消耗大量的系统资源;最后,图像传感器和系统需要传输和接收两帧才能得到背景光相减后的图像,需要双倍的系统带宽。
最接近片上两帧相减功能的技术方案是在全局快门的像素中,增加两个(或多个)存储单元,如图3和图4所示。第一存储单元3用于记录结构光信息,第二存储单元4用于记录背景光信息,在芯片读出时,为逐行读出。在选定一行后,首先该行所有像素读出第一存储单元3的信息,并存储,再读出第二存储单元4的信息,并用之前第一存储单元3的值减去第二存储单元4的值,以此类推,逐行完成扫描,即输出一帧背景光相减后的图像。
但该技术方案的缺点是在像素内需要至少两个存储单元,会占用像素内感光单元5的面积,使感光单元的面积变小,因此对像素的性能产生不利影响,例如降低像素的量子效率、灵敏度、满肼、动态范围等。
发明内容
鉴于上述问题,本发明的目的是提供一种结构光成像中去除背景光的方法,以解决因在全局快门的像素中增加存储单元而占用感光单元面积导致对像素性能产生不利影响的问题。
本发明提供的结构光成像中去除背景光的方法,包括如下步骤:
S1、前后两帧图像分别采用全局快门曝光方式、卷帘快门曝光方式对图像传感器的全部像素进行曝光,每个像素曝光后累积的结构光电荷与背景光电荷按照电荷类别及先后时序分别单独存储于同一存储单元内;
S2、通过读出电路按照时序分别逐行读取位于存储单元内每个像素的结构光电荷所对应的结构光电压及每个像素的背景光电荷所对应的背景光电压;
S3、通过读出电路将读取的每个像素的结构光电压与背景光电压相减,以去除背景光。
优先地,在前后两帧图像分别采用全局快门曝光方式、卷帘快门曝光方式对图像传感器的全部像素进行曝光的过程中,具体包括如下步骤:
S110、第一帧曝光:开启结构光光源,采用全局快门曝光方式对图像传感器的全部像素同时进行曝光;
S120、第二帧曝光:关闭结构光光源,采用卷帘快门曝光方式对图像传感器的全部像素逐行进行曝光。
优先地,在每个像素曝光后累积的结构光电荷与背景光电荷按照电荷类别及先后时序分别单独存储于同一存储单元内的过程中,具体包括如下步骤:
S130、结构光电荷存储:将每个像素的感光单元累积的结构光电荷分别转移至每个像素的存储单元内进行存储;
S140、结构光电荷转移:将每个像素的存储单元内的结构光电荷分别转移至每个像素的浮动扩散节点;
S150、背景光电荷存储:在各存储单元内存储的结构光电荷转移至浮动扩散节点后,将每行像素的各感光单元累积的背景光电荷依次转移至对应的存储单元内进行存储;
S160、背景光电荷转移:将每个存储单元内的背景光电荷分别转移至每个像素的浮动扩散节点。
优先地,步骤S2具体包括如下步骤:
S210、结构光电压读取:在将每个像素的存储单元内的结构光电荷分别转移至每个像素的浮动扩散节点后,通过读出电路逐行读取每个像素的浮动扩散节点的结构光电压;
S220、背景光电压读取:在将每个像素的存储单元内的背景光电荷分别转移至每个像素的浮动扩散节点后,通过读出电路逐行读取每个像素的浮动扩散节点的背景光电压。
优先地,在将每个像素的存储单元内的结构光电荷分别转移至每个像素的浮动扩散节点之前,先将每个像素的复位晶体管置为高电平,使每个像素的浮动扩散节点的电压复位为供电电压,通过读出电路逐行读取每个浮动扩散节点的供电电压。
优先地,通过读出电路将读取的每个浮动扩散节点的供电电压与结构光电压相减,获得每个像素的结构光曝光结果电压。
优先地,在将每个像素的存储单元内的背景光电荷分别转移至每个像素的浮动扩散节点之前,先将每个像素的复位晶体管置为高电平,使每个像素的浮动扩散节点的电压复位为供电电压,通过读出电路逐行读取浮动扩散节点的供电电压。
优先地,通过读出电路将读取的每个浮动扩散节点的供电电压与背景光电压相减,获得每个像素的背景光曝光结果电压。
优先地,通过读出电路将每个像素的结构光曝光结果电压与背景光曝光结果电压相减,以去除背景光。
优先地,读出电路逐行或逐列读取像素的浮动扩散节点的结构光电压和背景光电压。
发明能够取得以下技术效果:
1、在全局快门的像素不增加存储单元个数的情况下,只需一个存储单元即可存储结构光信息和背景光信息,实现两帧相减的效果,不会过多占用像素的面积,无需缩小感光单元的尺寸,避免对像素的性能产生不利影响;
2、在全局快门曝光结束后,立马开始卷帘快门曝光,两帧的间隔时间非常短,避免被摄物体移动带来的两帧相减的数据错误;
3、图像传感器输出即为两帧相减后的数据,相比较传统方式,能够节省系统的存储空间、数据带宽及功耗。
附图说明
图1是结构光三维视觉系统的结构示意图;
图2是传统的两帧相减方法的时序示意图;
图3是全局快门像素的简易结构示意图;
图4是全局快门像素在曝光器期间的时序示意图;
图5是根据本发明一个实施例的全局快门的像素的结构示意图;
图6是根据本发明一个实施例的全局快门的像素在曝光期间的时序示意图;
图7是根据本发明一个实施例的结构光成像中去除背景光的方法的流程示意图;
图8是根据本发明一个实施例的全局快门曝光与卷帘快门曝光的时序示意图。
其中的附图标记包括:光学投射器1、摄像机2、第一存储单元3、第二存储单元4、感光单元5、像素复位晶体管GRST、光电二极管PD、第一电荷转移晶体管TX1、第二电荷转移晶体管TX2、复位晶体管RST、浮动扩散节点FD、源极跟随器SF、存储单元CD。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,而不构成对本发明的限制。
名词解释
卷帘快门(Rolling shutter):在曝光开始时,现将其中一行像素清零,然后等待曝光时间过后,将该行信号值读出。清零/曝光/读出按照逐行顺序进行。
全局快门(Global shutter):在曝光开始时,现将所有像素清零,然后等待曝光时间过后,将像素信号值逐行读出。全局快门与卷帘快门主要的区别是全局快门在每个像素内增加一个存储单元。
为了解决全局快门的像素内需要增加存储单元才能实现两帧存储的问题,本发明第一帧开启结构光光源后采用全局快门曝光方式记录结构光信息,第二帧关闭结构光光源采用卷帘快门曝光方式记录背景光信息。由于全局快门曝光方式在像素上设置一个存储单元,而卷帘快门曝光方式在像素上不设置存储单元,因此只要按照时序错开结构光信息与背景光信息的存储时间,就能实现通过一个存储单元存储两种信息的功能。更为具体地,当第一帧的结构光信息从像素的存储单元移出时,再将第二帧的背景光信息存储至像素的存储单元内,从而使两帧信息共用一个存储单元进行存储,以此来达到在不增加存储单元的情况下实现两帧信息存储并相减的结果。
本发明实施例提供的全局快门的像素的结构如图5所示,具体包括像素复位晶体管GRST、感光单元PD、第一电荷转移晶体管TX1、第二电荷转移晶体管TX2、复位晶体管RST、浮动扩散节点FD、源极跟随器SF和存储单元CD,像素复位晶体管GRST的源极S耦接于供电电源,供电电源用于为像素复位晶体管GRST供电,供电电压为VDDPIX,像素复位晶体管GRST的漏极D耦接于第一电荷转移晶体管TX1的源极S,第一电荷转移晶体管TX1的漏极D耦接于第二电荷转移晶体管TX2的源极S,第二电荷转移晶体管TX2的漏极D耦接于浮动扩散节点FD,复位晶体管RST的源极S耦接于浮动扩散节点FD,复位晶体管RST的漏极D耦接于供电电源,供电电源用于为复位晶体管RST供电,供电电压为VDDC,源极跟随器SF的栅极G耦接于浮动扩散节点FD与复位晶体管RST的源极S之间,源极跟随器SF的源极S为像素输出节点,耦接于读出电路,源极跟随器SF的漏极D耦接于供电电源,该供电电源用于为源极跟随器SF供电,供电电压为VDDSF,存储单元CD位于第一电荷转移晶体管TX1的下方。
感光单元PD可以为光电二极管、光电三极管等感光元件。本发明中以光电二极管为例进行说明。
光电二极管PD用于累积光电效应产生的电荷。
像素复位晶体管GRST用于对光电二极管PD进行复位。
第一电荷转移晶体管TX1将光电二极管PD累积的电荷转移至该第一电荷转移晶体管TX1下方的存储单元CD内。
第二电荷转移晶体管TX2用于将存储单元CD内的电荷转移至浮动扩散节点FD上。
复位晶体管RST用于对浮动扩散节点FD的电压进行复位。
源极跟随器SF用于将浮动扩散节点FD的电压输出至像素输出节点,通过读出电路进行读取。
上述全局快门的像素在曝光期间的时序如图6所示,结合图5,本发明实施例提供的全局快门的像素的全局快门曝光原理如下:
首先,对像素进行全局快门曝光操作。
通过全局信号控制像素复位晶体管GRST由低电平变为高电平,对光电二极管PD进行复位,开启结构光光源,全部像素开始曝光。在结束曝光之前,供电电压VDDC,复位晶体管RST,第二电荷转移晶体管TX2均为高电平,清空存储单元。之后控制第一电荷转移晶体管TX1由低电平变为高电平,将每个像素的光电二极管PD曝光后累积的结构光电荷从光电二极管PD转移至存储单元CD内。
其次,在像素曝光结束并完成存储后,进行像素的读出操作。
多个像素组成一个像素阵列,每一列的像素对应一个列级读出电路,在读出某一行像素曝光后累积的结构光电荷时,通过每一列像素对应的读出电路读取像素的结构光电荷。
当然也可以采用行级读出电路,逐列读取像素的结构光电荷。或者,只采用一个读出电路读取像素的结构光电荷。但采用一个读出电路的方式工作效率会很低。下述以逐行读取为例进行说明。
在对像素阵列进行逐行读出的过程中,控制第二电荷转移晶体管TX2由低电平变为高电平,使存储单元CD内的结构光电荷转移到浮动扩散节点FD,通过读出电路读取像素的结构光电压。
为了降低像素噪声,在将存储单元CD内的曝光电荷转移至像素的浮动扩散节点FD之前,先将待读出行的供电电压VDDC置为高电平,控制该行的复位晶体管RST由低电平变为高电平,使每个像素的浮动扩散节点FD的电压复位为VDDC电压,然后通过各读出电路读取浮动扩散节点FD的复位电压,该复位电压即为浮动扩散节点FD的供电电压VDDC。
然后,再控制第二电荷转移晶体管TX2由低电平变为高电平,使存储单元CD内的结构光电荷转移到浮动扩散节点FD,通过读出电路读取像素的结构光电压。
最后,读出电路将读取的VDDC电压减去结构光电压,实现相关双采样操作,以降低像素噪声,相减后的电压结果存储于读出电路内。
需要说明的是,由于复位晶体管GRST、第一电荷转移晶体管TX1、第二电荷转移晶体管TX2和复位晶体管RST只是起到开关的作用,因此复位晶体管GRST、第一电荷转移晶体管TX1、第二电荷转移晶体管TX2和复位晶体管RST的源极S与漏极D可以互换。
本发明的创新之处为:在上述全局快门曝光结束后,关闭结构光光源,并立刻开始卷帘快门曝光,卷帘快门曝光为像素逐行曝光,曝光后累积的背景光电荷的存储与转移方式与结构光电荷的存储于转移方式相同。重点在于,先进行全局快门曝光,后进行卷帘快门曝光,由于第一帧的曝光与第二帧的曝光具有先后时序,因此结构光电荷的存储时间与背景光电荷的存储时间具有一个时间差,当背景光电荷在光电二极管PD内时,结构光电荷位于存储单元CD内,当背景光电荷转移至存储单元CD内时,结构光电荷已经转移至浮动扩散节点FD被读数电路读取。也就是说,结构光电荷与背景光电荷按照先后时序独自存储在存储单元CD内,存储单元CD先存储结构光电荷,在结构光电荷移出后,再存储背景光电荷。通过此种方式,使像素在只具有一个存储单元的情况下,实现存储两种类别电荷的功能。由于无需在像素内另增一个存储单元,也就不会过多的占用像素的面积,节省出来的空间可以用于安放感光单元,不必缩小感光单元的尺寸,避免对像素的性能产生不利影响。
需要强调的是,在全局快门曝光结束后,立刻开始卷帘快门曝光,两帧间隔的时间非常短,可以避免被摄物体移动带来的两帧相减的数据错误。
下面结合附图将对本发明提供的结构光成像中去除背景光的方法进行详细阐述。
如图7和图8所示,本发明提供的结构光成像中去除背景光的方法,包括如下步骤:
S1、前后两帧图像分别采用全局快门曝光方式、卷帘快门曝光方式对图像传感器的全部像素进行曝光,每个像素曝光后累积的结构光电荷与背景光电荷按照电荷类别及先后时序分别单独存储于同一存储单元内。
本发明将前一帧称之为第一帧,后一帧称之为第二帧。
第一帧开启结构光光源,采用全局快门曝光方式对全部像素进行曝光,用于记录结构光信息(即结构光电荷)。
第二帧关闭结构光光源,采用卷帘快门曝光方式对像素进行逐行曝光,用于记录背景光信息(即背景光电荷)。
结合图5,由于第一帧曝光与第二帧曝光具有时序性,因此每个像素的光电二极管PD曝光累积的结构光电荷先从像素的光电二极管PD转移至存储单元CD进行存储,当进行读数操作时,再将存储单元CD内存储的结构光电荷转移至浮动扩散节点,通过图像传感器的各读出电路逐行读取每个像素的浮动扩散节点FD的结构光电压。
结构光电荷累积及转移的具体过程为:通过全局信号控制像素复位晶体管GRST由低电平变为高电平,对全部像素的光电二极管PD进行复位,开启结构光光源,全部像素开始曝光。在结束曝光之前,供电电压VDDC,复位晶体管RST,第二电荷转移晶体管TX2均为高电平,清空存储单元之前存留的电荷,之后控制第一电荷转移晶体管TX1由低电平变为高电平,将每个像素的光电二极管PD曝光后累积的结构光电荷从光电二极管PD转移至存储单元CD内。
背景光电荷累积及转移的具体过程为:以行为单位对像素复位晶体管GRST进行控制,逐行将像素复位晶体管GRST由低电平变为高电平,从而完成逐行对像素的光电二极管的复位操作,开始卷帘快门曝光,第一电荷转移晶体管TX1依次进行行操作,逐行进行曝光直到结束曝光,即逐行控制第一电荷转移晶体管TX1由低电平变为高电平,将每个像素的光电二极管PD曝光后累积的背景光电荷从光电二极管PD转移至存储单元CD内。
S2、读出电路按照时序分别逐行读取位于存储单元内每个像素的结构光电荷所对应的结构光电压及每个像素的背景光电荷所对应的背景光电压。
虽然全局快门曝光与卷帘快门曝光的曝光方式不同,但是在电压读出操作时,结构光电压的读取与背景光电压的读取是一致的,均为逐行读取。
结构光电压读取的具体过程为:控制第二电荷转移晶体管TX2由低电平变为高电平,使存储单元CD内的结构光电荷转移到浮动扩散节点FD,通过图像传感器的各读出电路逐行读取每个像素的浮动扩散节点FD的结构光电压。
背景光电压读取的具体过程与上述结构光电压读取的具体过程一致,故在此不再赘述。
由于背景光电荷与结构光电荷分时段存储于像素的存储单元CD内,因此,不必增加像素内的存储单元的数量,以为感光单元留出必要的安装空间,从而避免压缩感光单元的尺寸,对像素的性能产生不利影响。
为了降低像素噪声,优选的实施方式为,在将每个像素的存储单元内的结构光电荷分别转移至每个像素的浮动扩散节点之前,先将每个像素的复位晶体管置为高电平,使每个像素的浮动扩散节点FD的电压复位为供电电压,通过各读出电路逐行读取浮动扩散节点的复位电压(即浮动扩散节点FD的供电电压VDDC),然后再控制第二电荷转移晶体管TX2由低电平变为高电平,将结构光电荷转移至浮动扩散节点FD,通过各读出电路逐行读取每个像素的浮动扩散节点FD的结构光电压,最后通过各读出电路将读取的每个像素的复位电压与结构光电压相减得到每个像素的结构光曝光结果电压。
同理,在将每个像素的存储单元内的背景光电荷分别转移至每个像素的浮动扩散节点之前,也需要对每个像素的浮动扩散节点FD的电压进行复位,然后再将背景光电荷转移至浮动扩散节点FD,最后各读出电路将读取的每个像素的复位电压减去背景光电压得到每个像素的背景光曝光结果电压。
S3、读出电路将读取的每个像素的结构光电压与背景光电压相减,以去除背景光。
在各读出电路逐行读出该行内每个像素的结构光电压与背景光电压后,将每个像素的结构光电压与背景光电压相减,以去除每个像素的背景光,当完成最后一行像素的背景光去除后,完成像素阵列的背景光去除。
每个像素的结构光电压与背景光电压相减后的电压结果存储于图像传感器的各读出电路内,因此图像传感器输出的即为两帧相减后的数据,相比较传统方式,能够节省系统的存储空间、数据带宽及功耗。
由于本发明以共用存储单元的方式实现背景光的去除,从而不必增加像素内存储单元的数量。
作为优选的实施方式,以各个读出电路将计算出的每个像素的结构光曝光结果电压与背景光曝光结果电压相减,以此来去除背景光,可以降低像素的噪声。
需要说明的是,本发明提供的结构光成像中去除背景光的方法并不仅限于上述图5所举出的像素结构类型,对所有类型全局快门的像素结构具有普适性。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
以上本发明的具体实施方式,并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形,均应包含在本发明权利要求的保护范围内。

Claims (9)

1.一种结构光成像中去除背景光的方法,其特征在于,包括如下步骤:
S1、前后两帧图像分别采用全局快门曝光方式、卷帘快门曝光方式对图像传感器的全部像素进行曝光,每个像素曝光后累积的结构光电荷与背景光电荷按照电荷类别及先后时序分别单独存储于同一存储单元内;其中,在前后两帧图像分别采用全局快门曝光方式、卷帘快门曝光方式对图像传感器的全部像素进行曝光的过程中,具体包括如下步骤:
S110、第一帧曝光:开启结构光光源,采用全局快门曝光方式对图像传感器的全部像素同时进行曝光;
S120、第二帧曝光:关闭结构光光源,采用卷帘快门曝光方式对所述图像传感器的全部像素逐行进行曝光;
S2、读出电路按照时序分别读取位于存储单元内每个像素的结构光电荷所对应的结构光电压及每个像素的背景光电荷所对应的背景光电压;
S3、所述读出电路将每个像素的结构光电压与背景光电压相减,以去除背景光。
2.根据权利要求1所述的结构光成像中去除背景光的方法,其特征在于,在每个像素曝光后累积的结构光电荷与背景光电荷按照电荷类别及先后时序分别单独存储于同一存储单元内的过程中,具体包括如下步骤:
S130、结构光电荷存储:将每个像素的感光单元累积的结构光电荷分别转移至每个像素的存储单元内进行存储;
S140、结构光电荷转移:将每个像素的存储单元内的结构光电荷分别转移至每个像素的浮动扩散节点;
S150、背景光电荷存储:在各存储单元内存储的结构光电荷转移至浮动扩散节点后,将每行像素的各感光单元累积的背景光电荷依次转移至对应的存储单元内进行存储;
S160、背景光电荷转移:将每个存储单元内的背景光电荷分别转移至每个像素的浮动扩散节点。
3.根据权利要求2所述的结构光成像中去除背景光的方法,其特征在于,步骤S2具体包括如下步骤:
S210、结构光电压读取:在将每个像素的存储单元内的结构光电荷分别转移至每个像素的浮动扩散节点后,通过所述读出电路读取每个像素的浮动扩散节点的结构光电压;
S220、背景光电压读取:在将每个像素的存储单元内的背景光电荷分别转移至每个像素的浮动扩散节点后,通过所述读出电路读取每个像素的浮动扩散节点的背景光电压。
4.根据权利要求3所述的结构光成像中去除背景光的方法,其特征在于,在将每个像素的存储单元内的结构光电荷分别转移至每个像素的浮动扩散节点之前,先将每个像素的复位晶体管置为高电平,使每个像素的浮动扩散节点的电压复位为供电电压,通过所述读出电路读取每个浮动扩散节点的供电电压。
5.根据权利要求4所述的结构光成像中去除背景光的方法,其特征在于,通过所述读出电路将读取的每个浮动扩散节点的供电电压与结构光电压相减,获得每个像素的结构光曝光结果电压。
6.根据权利要求5所述的结构光成像中去除背景光的方法,其特征在于,在将每个像素的存储单元内的背景光电荷分别转移至每个像素的浮动扩散节点之前,先将每个像素的复位晶体管置为高电平,使每个像素的浮动扩散节点的电压复位为供电电压,通过所述读出电路读取浮动扩散节点的供电电压。
7.根据权利要求6所述的结构光成像中去除背景光的方法,其特征在于,通过所述读出电路将读取的每个浮动扩散节点的供电电压与背景光电压相减,获得每个像素的背景光曝光结果电压。
8.根据权利要求7所述的结构光成像中去除背景光的方法,其特征在于,通过所述读出电路将每个像素的结构光曝光结果电压与背景光曝光结果电压相减,以去除背景光。
9.根据权利要求1-3中任一项所述的结构光成像中去除背景光的方法,其特征在于,所述读出电路逐行或逐列读取像素的浮动扩散节点的结构光电压和背景光电压。
CN202010363898.4A 2020-04-30 2020-04-30 结构光成像中去除背景光的方法 Active CN111526303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010363898.4A CN111526303B (zh) 2020-04-30 2020-04-30 结构光成像中去除背景光的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010363898.4A CN111526303B (zh) 2020-04-30 2020-04-30 结构光成像中去除背景光的方法

Publications (2)

Publication Number Publication Date
CN111526303A CN111526303A (zh) 2020-08-11
CN111526303B true CN111526303B (zh) 2022-05-24

Family

ID=71906447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010363898.4A Active CN111526303B (zh) 2020-04-30 2020-04-30 结构光成像中去除背景光的方法

Country Status (1)

Country Link
CN (1) CN111526303B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112437236A (zh) * 2020-11-24 2021-03-02 长春长光辰芯光电技术有限公司 像素曝光方法
CN113038027B (zh) * 2021-03-05 2022-08-19 上海商汤临港智能科技有限公司 曝光控制方法、装置、设备以及存储介质
CN115911064A (zh) * 2021-09-30 2023-04-04 宁波飞芯电子科技有限公司 一种探测器像素单元、图像传感器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101784911A (zh) * 2007-08-22 2010-07-21 浜松光子学株式会社 固体摄像装置和距离图像测量装置
CN104486563A (zh) * 2014-12-19 2015-04-01 中国科学院长春光学精密机械与物理研究所 带电荷倾倒功能的帧转移ccd曝光时间短至零的实现方法
CN204633945U (zh) * 2014-05-29 2015-09-09 半导体元件工业有限责任公司 图像传感器、成像系统和处理器系统
CN109661683A (zh) * 2017-12-15 2019-04-19 深圳配天智能技术研究院有限公司 基于图像内容的投射结构光方法、深度检测方法及结构光投射装置
CN109982011A (zh) * 2019-04-23 2019-07-05 思特威电子科技(开曼)有限公司 基于红外结构光的成像方法
CN110546530A (zh) * 2017-04-23 2019-12-06 齐诺马蒂赛股份有限公司 一种像素结构

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106662433B (zh) * 2014-06-27 2019-09-06 新加坡恒立私人有限公司 结构化光成像系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101784911A (zh) * 2007-08-22 2010-07-21 浜松光子学株式会社 固体摄像装置和距离图像测量装置
CN204633945U (zh) * 2014-05-29 2015-09-09 半导体元件工业有限责任公司 图像传感器、成像系统和处理器系统
CN104486563A (zh) * 2014-12-19 2015-04-01 中国科学院长春光学精密机械与物理研究所 带电荷倾倒功能的帧转移ccd曝光时间短至零的实现方法
CN110546530A (zh) * 2017-04-23 2019-12-06 齐诺马蒂赛股份有限公司 一种像素结构
CN109661683A (zh) * 2017-12-15 2019-04-19 深圳配天智能技术研究院有限公司 基于图像内容的投射结构光方法、深度检测方法及结构光投射装置
CN109982011A (zh) * 2019-04-23 2019-07-05 思特威电子科技(开曼)有限公司 基于红外结构光的成像方法

Also Published As

Publication number Publication date
CN111526303A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111526303B (zh) 结构光成像中去除背景光的方法
US11743595B2 (en) Method and apparatus providing pixel array having automatic light control pixels and image capture pixels
US7326904B2 (en) In-pixel kTC noise suppression using circuit techniques
US20180213205A1 (en) Image sensors with hybrid three-dimensional imaging
US8643755B2 (en) Solid-state imaging device and camera system
TWI382757B (zh) 提供多像素整合週期之方法,裝置以及系統
KR20190069557A (ko) 오버플로우 능력을 갖는 이미지 센서 픽셀
KR101945052B1 (ko) 고체 촬상 장치, 고체 촬상 장치의 구동 방법, 및 전자 기기
KR102612718B1 (ko) 복수의 슈퍼-픽셀(super-pixel)들을 포함하는 이미지 센서
CN101406036A (zh) 为图像传感器中整体存储提供滚动双重复位时序的方法及设备
CN105308747A (zh) 分离栅极有条件重置的图像传感器
CN101160956A (zh) 用于图像传感器的多点相关取样
CN101841635A (zh) 固体成像设备、其驱动方法和电子装置
US6885400B1 (en) CCD imaging device and method for high speed profiling
EP4274251A1 (en) Image sensor, image output method therefor, and use thereof
JP2010245891A (ja) 撮像装置および撮像方法
CN212012776U (zh) 用于生成颜色信息和脉冲光信息的成像系统和图像传感器
US8908071B2 (en) Pixel to pixel charge copier circuit apparatus, systems, and methods
CN111684791A (zh) 像素结构、具有像素结构的图像传感器装置和系统、以及操作该像素结构的方法
JP5058840B2 (ja) 撮像装置
JP2007535212A (ja) カメラぶれ補正方法及び装置
JP2008042573A (ja) 撮像装置及びその制御方法、撮像システム並びにプログラム
JP4840991B2 (ja) 光電変換装置及びその制御方法並びに撮像装置
JP4602541B2 (ja) 撮像装置
JPH0265381A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Office Buildings 1 and 5, Phase I, Optoelectronic Information Industry Park, No. 7691 Ziyou Road, Changchun Economic and Technological Development Zone, Jilin Province, 130000

Patentee after: Changchun Changguang Chenxin Microelectronics Co.,Ltd.

Address before: 130000 No. 77, Yingkou Road, Changchun Economic Development Zone, Jilin Province

Patentee before: Changchun Changguangchenxin Optoelectronics Technology Co.,Ltd.

CP03 Change of name, title or address