CN109155827B - 高动态范围成像传感器阵列 - Google Patents

高动态范围成像传感器阵列 Download PDF

Info

Publication number
CN109155827B
CN109155827B CN201680085750.0A CN201680085750A CN109155827B CN 109155827 B CN109155827 B CN 109155827B CN 201680085750 A CN201680085750 A CN 201680085750A CN 109155827 B CN109155827 B CN 109155827B
Authority
CN
China
Prior art keywords
photodiode
exposure
signal
sensor array
imaging sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680085750.0A
Other languages
English (en)
Other versions
CN109155827A (zh
Inventor
B·穆
A·M·麦格纳尼
S·W·米姆斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BAE Systems Imaging Solutions Inc
Original Assignee
BAE Systems Imaging Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BAE Systems Imaging Solutions Inc filed Critical BAE Systems Imaging Solutions Inc
Publication of CN109155827A publication Critical patent/CN109155827A/zh
Application granted granted Critical
Publication of CN109155827B publication Critical patent/CN109155827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power

Abstract

本发明公开了一种具有矩形成像阵列的装置,其特征在于多个像素传感器和多个读出线。该装置具有多个列处理电路,每个列处理电路连接到相应的一个读出线和多个信号注入器,一个信号注入器连接到每个读出线。每个信号注入器使预定数量的电压中的一个耦合到该读出线。在图像记录周期期间确定每个像素传感器的曝光。信号注入器在校准周期期间将多个校准电压注入读出线,并通过测量多个校准电压的放大器的输出来确定一个列处理电路中的放大器的增益函数,校准周期在成像记录周期之间。

Description

高动态范围成像传感器阵列
技术领域
本发明涉及高动态范围成像传感器阵列。
背景技术
CMOS相机通常通过将来自场景的光成像到像素传感器阵列上来形成场景的图像。通常,每个像素传感器具有一个或多个光电探测器。每个光电探测器将在曝光期间接收的光转换成电信号。然后,电信号由模数转换器(ADC)数字化,以产生表示在曝光时间段期间接收的光量的数字值。该阵列通常是具有数千列和行的像素的二维阵列。每行使用单独的列放大器和ADC,一次读出一行阵列。
通常,光电二极管具有一些范围,其中来自光电二极管的信号是在曝光时段中接收的光的单调递增函数。在该范围的底部,从所产生的信号确定光强度的精度受到各种噪声源的限制。在该范围之上,光电二极管的输出饱和,因此,不能精确地测量高于该范围的强度。对于当前的光电二极管,可用信号的范围小于测量许多图像中的所有强度所需的信号范围。如果将曝光设置为检测低电平光信号,则图像的亮区域将在该范围之外,并因此饱和。
用于扩展像素传感器的高范围的现有技术解决方案通常利用第二曝光或第二光电二极管。在这样的方案中,第一曝光或光电二极管被设置为检测低光像素。经受高光强度的像素传感器饱和,因此不能提供关于图像的那些高光强度区域中的光强度的有用信息。通过以低光强度区域为代价捕获高光强度区域来进行第二测量。第二测量可以是像素传感器中的第二光电二极管,其使用相同的光电二极管,具有低得多的光灵敏度或者第二、更短的曝光。后一种方案在运动图像系统中不是优选的,因为两次曝光中的时间差可能导致运动伪影。双光电二极管方案的缺点是需要更大的像素传感器。然而,光电二极管的最新发展已经提供常规光电二极管内的第二低灵敏度光电二极管,而不会显著增加像素传感器的尺寸。
虽然在每个像素传感器中提供第二光电二极管扩展了像素传感器的高强度响应,但是各种噪声源限制了低光区域在合理曝光时间下成像的程度。虽然散粒噪声表示可以获得的最小噪声基底,但是其它噪声源仍然很重要,因此需要降低从而进一步增加图像传感器的动态范围。
发明内容
本发明包括一种具有矩形成像阵列的装置,其特征在于多个像素传感器和多个读出线。该装置具有多个列处理电路,每个列处理电路连接到相应的一个读出线和多个信号注入器,一个信号注入器连接到每个读出线。每个信号注入器使预定数量的电压中的一个耦合到该读出线。控制器在多个图像记录周期的每一个期间确定每个像素传感器的曝光。控制器还使信号注入器在多个校准周期的每一个期间将多个校准电压注入读出线,并通过测量用于多个校准电压的放大器的输出来确定一个列处理电路中的放大器的增益函数,校准周期在成像记录周期之间。
在本发明的一个方面中,控制器使信号注入器注入信号,该信号具有像素传感器在不暴露于光的情况下将产生的值,控制器确定每个列处理电路的列偏移值。在另一方面,存在多行信号注入器,每个列处理电路连接到多个信号注入器。控制器在确定列偏移值时对由信号注入器产生的放大器偏移值求平均。在本发明的又一方面,在校准周期期间确定列偏移值。
在本发明的又一个方面,每个像素传感器包括第一和第二光电二极管,第一光电二极管的特征在于与第二光电二极管不同的光转换效率。在一个示例性实施例中,第二光电二极管的光转换效率小于第一光电二极管的1/30。在另一方面,第二光电二极管包括寄生光电二极管,该寄生光电二极管包括浮动扩散节点,该浮动扩散节点还用于将由第一光电二极管产生的电荷转换为电压。
在另一方面,控制器确定图像记录周期期间第一光电二极管光转换效率与第二光电二极管光转换效率的比率。在本发明的一个方面,控制器通过对来自多个像素传感器的信号求平均来确定比率,在像素传感器中第二光电二极管产生在校准范围内的信号。在本发明的另一方面,校准范围不包括其中第二光电二极管具有大于暗电流阈值的暗电流的像素传感器。
在本发明的另一个方面,像素传感器被分成颜色通道,每个颜色通道在该颜色通道中的像素传感器上具有相应的滤色器,并且控制器分别为每个颜色通道确定比率。
在本发明的又一个方面,第一光电二极管测量第一曝光与第二曝光之间的曝光,并且其中第二光电二极管可以测量第三曝光与第四曝光之间的曝光,第三曝光小于第二曝光,并且第四曝光大于第二曝光。
在本发明的另一个方面,控制器使用第一光电二极管测量小于第二曝光的曝光,并使用第二光电二极管测量大于第二曝光的曝光,从而模拟可测量第一与第四曝光之间的曝光的单个光电二极管。在本发明的另一个方面,模拟的单个光电二极管产生第一曝光值,该第一曝光值是曝光的线性函数,并且独立于第一和第二光电二极管的光转换效率以及每个像素传感器的列处理电路的变化。在本发明的又一个方面,第一曝光值的特征在于散粒噪声值,并且控制器输出每个像素传感器的第二曝光值,第二曝光值由第一曝光值确定,第二曝光值需要较少的位数来输出并且与第一曝光值的差值小于该散粒噪声值。
附图说明
图1示出了根据本发明一个实施例的二维成像阵列。
图2示出了现有技术的像素传感器。
图3示出了像素传感器,其中寄生光电二极管用于图像测量。
图4示出了根据本发明一个实施例的列放大器和ADC。
图5示出了响应于线197上的行选择信号,在读出线83上读出的信号注入器。
具体实施方式
为了简化以下讨论,像素传感器被定义为将入射在其上的光转换成电信号的电路,该电信号的大小由在一段时间内入射到该电路上的光量确定,称为曝光。像素传感器具有栅极,该栅极响应于行选择线上的信号从而将该电信号耦合到读出线。
矩形成像阵列被定义为多个像素传感器,其组织为多个行和列的像素传感器。矩形阵列包括多个读出线和多个行选择线,每个像素传感器连接到一个行选择线和一个读出线,由该像素产生的电信号响应于与该像素传感器相关联的行选择线上的信号,连接到与该像素相关联的读出线。
参考图1,可以更容易地理解本发明提供其优点的方式,图1示出了根据本发明一个实施例的二维成像阵列。矩形成像阵列80包括像素传感器81。每个像素传感器具有主光电二极管86和寄生光电二极管91。下面将更详细地讨论像素传感器运转的方式。每个像素中的复位电路和放大电路在87处示出。像素传感器布置为多个行和列。示例性的行在94和95处示出。一列中的每个像素传感器连接到读出线83,该读出线83由该列中的所有像素传感器共享。一行中的每个像素传感器连接到行选择线82,行选择线82确定该行中的像素传感器是否连接到相应的读出线。
矩形成像阵列80的运转由控制器92控制,控制器92接收要读出的像素地址。控制器92产生行选择地址,行选择地址由行解码器85使用从而能够读出矩形成像阵列80中的相应行上的像素传感器。列放大器被包括在执行读出算法的列放大器84的阵列中,这将在下面更详细地讨论。给定的行中的所有像素传感器并行读出;因此,每个读出线83有一个列放大和ADC电路。下面将更详细地讨论列处理电路。
当矩形成像阵列80被重置然后在成像曝光期间曝光时,每个光电二极管累积取决于该光电二极管的曝光和光转换效率的电荷。当读出与该光电二极管相关联的像素传感器的行时,该电荷通过该像素传感器中的复位和放大电路87转换为电压。该电压耦合到相应的读出线83,并被与所述读出线相关联的放大和ADC电路处理,以产生表示在成像曝光期间入射在像素传感器上的光量的数字值。
理想地,每个像素传感器与每个其它像素传感器相同,在读出期间被重置为相同的电压,并且当没有光照射在矩形成像阵列80上时产生零信号值。此外,在理想条件下每列应用电路与其它每个列放大电路相同。从光电二极管的曝光到最终数字值的处理链中有四个模拟转换因子。这些是光电二极管的光—电荷转换效率。电荷—电压转换在像素复位和放大电路87中,并且在列处理电路中存在电压放大电路。这些模拟转换因子的差异导致固定模式噪声(FPN)。FPN可以取决于随时间变化的参数,并且还取决于在进行曝光时成像阵列的温度。
除了FPN之外,还必须减少其它噪声因子以获得与散粒噪声相比较小的噪声因子。复位噪声就是此类噪声的一个例子。参考图2可以更容易地理解产生复位噪声的方式,图2示出了现有技术的像素传感器。图2是成像阵列中的一列像素传感器中的典型现有技术像素传感器的示意图。像素传感器21包括光电二极管22,其测量图像中的对应像素处的光强度。首先,通过将栅极25置于导通状态并将浮动扩散节点23连接到复位电压Vr来复位光电二极管22。然后关闭栅极25并允许光电二极管22累积光电子。栅极27上的电位设定可以在光电二极管22上累积的最大电荷量。如果累积的电荷多于栅极27上的电势所允许的电荷,则多余的电荷通过栅极27分流到地。
在光电二极管22已经曝光之后,通常通过记录当来自光电二极管22的累积电荷被转移到浮动扩散节点23时浮动扩散节点23上的电压变化来测量光电二极管22中累积的电荷。浮动扩散节点23的特征在于由电容器23'表示的电容。实际上,在浮动扩散节点23连接到光电二极管22之前,电容器23'被充电到电压Vr并通过对栅极24的复位线进行脉冲而被隔离。当栅极25打开时,累积在光电二极管22上的电荷被转移到浮动扩散节点23。浮动扩散节点23上的电压足以去除所有这些电荷,使浮动扩散节点23上的电压减少一定量,该量取决于传输的电荷量和电容器23'的电容。因此,通过在栅极25打开之后测量浮动扩散节点23上的电压变化,可以确定累积电荷。
如果浮动扩散节点23上的复位电压可充分再现,则在复位之后,浮动扩散节点上的电压的单次测量就足够了。然而,噪声导致复位电压的微小变化。如果该噪声很明显,则使用相关双采样算法。在该算法中,首先使用复位栅极24将浮动扩散节点23复位到Vr。然后,通过将选择信号施加到线28到读出栅极,将源极跟随器26连接到读出线31,从而测量浮动扩散节点23上的电位。该复位电位存储在列放大器32中。接下来,栅极25处于导通状态,并且累积在光电二极管22中的电荷被转移到浮动扩散节点23。应当注意,浮动扩散节点23实际上是被充电到Vr的电容器。因此,离开光电二极管22的电荷将浮动扩散节点23上的电压降低一定量,该量取决于浮动扩散节点23的电容和转移的电荷量。在转移之后再次测量浮动扩散节点23上的电压。然后使用电压差来计算在曝光期间累积的电荷量。
本发明基于以下观察:可以修改上述类型的像素以包括第二寄生光电二极管,该第二寄生光电二极管是浮动扩散节点的一部分并且具有显著的光电二极管检测效率。该第二光检测器不会显著增加像素的尺寸,因此,本发明提供了双光电二极管像素的优点而不会显著增加像素尺寸。
为了区分寄生光电二极管和光电二极管22,光电二极管22和用于模拟功能的光电二极管将被称为“常规光电二极管”。现在参考图3,其示出了像素传感器,其中寄生光电二极管用于图像测量。为了简化以下讨论,像素传感器41的那些用于与上面参照图1所讨论的功能类似的功能的元件已经被赋予相同的附图标记,并且将不再进一步讨论,除非这样的讨论对于说明使用了这些部件的新方式是必要的。通常,寄生光电二极管42的检测效率显著小于光电二极管22的检测效率。在2015年7月1日提交的美国专利共同申请14/591,873中更详细地讨论了调节两个光电二极管的光电二极管检测效率的比率的方式。在一个示例性实施例中,主光电二极管与寄生光电二极管的转换效率之比为30:1。其中该比例为20:1或15:1的其它实施方案是有用的。
现在将更详细地解释在本发明的一个实施例中利用像素传感器41来测量像素强度的方式。可以更容易地理解该过程,在完成最后一次图像读出操作之后,重置像素。首先,主光电二极管22复位到Vr,栅极25闭合。这也使浮动扩散节点43复位到Vr。如果要进行相关双采样测量,则通过将浮动扩散节点43连接到列放大器170来在曝光开始时测量该电压。否则,使用对复位电压的先前的电压测量。在图像曝光期间,寄生光电二极管42产生存储在浮动扩散节点43上的光电子。这些光电子降低浮动扩散节点43上的电位。在曝光结束时,通过将源极跟随器26的输出连接到列放大器170来测量浮动扩散节点43上的电压。并且确定由寄生光电二极管42产生的电荷量以提供第一像素强度值。接下来,浮动扩散节点43再次复位到Vr,并且通过将源极跟随器26的输出连接到列放大器170来测量浮动扩散节点43上的电位。然后将栅极25置于导通状态并且将主光电二极管累积的光电子转移到浮动扩散节点43。然后,再次测量浮动扩散节点43上的电压并且列放大器170使用浮动扩散节点43上的电压来计算第二像素强度值。
如果相应像素上的光强度高,则主光电二极管22将溢出;然而,具有低得多的转换效率的寄生光电二极管42将具有在所需范围内的值。另一方面,如果光强度低,则寄生光电二极管42上累积的光电子不足以提供可靠的估计,并且将利用来自主光电二极管22的测量。
双相关采样校正复位噪声。除了复位噪声之外,噪声还通过与读出线相关联的ADC将读出线83上的模拟电压转换为数字值而产生。在最简单的情况下,ADC通过V=NS将输入的电压转换为与电压V相关的数字值,其中N是该数字值,S是ADC的步长。给定N值和S的已知值,重建的电压值将与原始值不同,误差是步长的一半。在下面的讨论中,该误差引起将被称为数字化噪声的噪声。在每个像素的曝光的最终数字表示中,将该数字化噪声添加到散粒噪声中。散粒噪声约等于光电二极管中转换为光电子的光子数的平方根。因此,散粒噪声随着曝光量的增加而增加。在低光条件下,散粒噪声的绝对值很小,因此,如果S很小,则数字化噪声可能很大。但是,如果S很小,则ADC中必须用来表示整个输入电压范围的位数变大。考虑到成像阵列中的大量ADC,成本的增加变得显著。
原则上,可以利用具有可变步长的ADC来数字化列电压。然而,用于根据输入电压改变步长的附加电路增加了ADC的成本。在这样的布置中,ADC的输出是输入电压的非线性函数,小的输入电压以较小的步长数字化。虽然这种布置允许系统将数字化噪声维持在与散粒噪声相比较小的水平,但ADC需要能够在任何图像中可能产生的整个电压值范围内起作用。
本发明通过使用双增益放大器来放大相应读出线83上的信号,从而避免这些问题。然后,单个ADC将放大器的输出数字化。改变放大系数相当于改变ADC的步长。此外,降低了ADC必须工作的电压范围。现在参考图4,其示出了根据本发明一个实施例的列放大器和ADC。在2013年4月12日提交的美国专利共同申请14/097,162中更详细地讨论了该列处理电路,该专利申请通过引用结合于此。为了本讨论的目的,列处理电路70放大并处理位线37上的信号。电容互阻抗放大器50由运算放大器51和在52和53处示出的分别具有电容C52和C53的两个反馈电容器构成。当开关54断开时,电容互阻抗放大器50的增益与C56/C52成比例,其中C56是电容器56的电容。当开关54闭合时,电容器52和53并联连接,并且电容互阻抗放大器50的增益与C56/(C52+C53)成比例。开关54的状态由锁存比较器68设定,锁存比较器68将电容互阻抗放大器50的输出与参考电压V2进行比较。在一个实施方案中,C56/(C52+C53)约为1,C56/C52为20至30。
在操作中,开关54由68所示的锁存比较器的输出和图1中所示的控制器92的输出控制。在位线37上的每个电压测量之前,锁存比较器68被复位并且开关55被闭合到将运算放大器51的输入和输出短路。最初,开关54断开,运算放大器51具有其最大增益。当信号被转移到电容器56进行测量时,运算放大器51的输出上升。如果运算放大器51的输出超过V2,则设置锁存比较器68,从而在线67上产生用于闭合开关54的信号。因此,电容互阻抗放大器50的增益减小到低值。在电容互阻抗放大器50稳定后,输出电压分别根据开关61和62的状态存储在双采样电路60中的电容器63或电容器64上。当复位值和表示当前连接到位线37的像素中的光电二极管上的存储电荷的值分别存储在电容器64和63上时,电位差由ADC 65和线66上的输出值连同用于指示线67上的电容互阻抗放大器50的增益值的值而数字化。
当存储在连接到位线37的像素中的光水平较低时,电容互阻抗放大器50和相关的相关双采样电路表现为常规的列处理电路,因为电容互阻抗放大器50的增益对于相关双采样的复位和测量阶段来说处于高值。然而,当光水平高时,用于测量复位电位的增益将不同于用于测量从光电二极管转移的电荷的增益。因此,差异计算将是错误的。在许多情况下,这不会引起显著问题,因为相关双采样计算仅提供与在光电二极管电荷小的情况下测量的存储在光电二极管中的电荷所获得的值之间的显著差异。然而,如果需要对该误差进行校正,则可以使用改进的双采样电路,其中观察到的复位值除以取决于两相增益差的适当因子。
电容互阻抗放大器50可被视为具有可变电容反馈电路作为反馈回路的电容互阻抗放大器。设置反馈电容以将输出信号维持在预定信号电平以下。虽然图4中所示的实施例具有两个增益电平,但是可以通过提供更多反馈电容器来设置附加增益电平,每个反馈电容器具有单独激活的开关。如下面将更详细说明的,在本发明的一个实施例中,电容互阻抗放大器50具有四个增益电平。两个增益用于处理来自寄生光电二极管的信号,两个增益用于处理来自主光电二极管的信号。
如上所述,当没有光被引导到成像阵列上时,理想像素传感器将产生零信号。然而,实际上,即使暗像素信号也具有一些小信号。该暗信号可以响应于温度变化和其它因素,随着一次次暴露而变化。另外,在每行中包括放大器、相关双采样和ADC的读出电路可以具有非零偏移。原则上,通过掩蔽这些行中的像素传感器,可以通过在成像阵列中包括一个或多个光学暗行来减少这种噪声源。在图1中的94处示出了示例性光学黑行。在这种类型的校正方案中,在处理一行中的每个像素传感器时,将来自该行的信号或来自多个这样的行的信号的平均值从由其它非黑像素传感器生成的信号中减去。
遗憾的是,充分地掩蔽像素传感器以提供光学黑行会带来显著的挑战,因为光可以从成像阵列的其它部分反射到光学暗行中的像素传感器中。虽然这种噪声源在常规的成像阵列中是可接受的,但是在具有根据本发明的成像阵列的动态范围的成像阵列中存在显著的问题。
本发明提供了第二“黑”信号,其可用于校正列处理电路中的偏移。该信号由图1中所示的列校准电路96产生。在本发明的一个方面,校准电路包括多行信号注入器。参考图5,其示出了信号注入器,其响应于线197上的行选择信号从而在读出线83上被读出。信号注入器196包括与在像素传感器中的相应元件相同的源极跟随器191和选择栅极192。信号注入器196在总线193上接收测试信号,该总线193耦合到源极跟随器191的栅极。因此,信号注入器196的输出是电压,该电压反映了由在栅极由具有电压Vtest的像素传感器所产生的电压。
读出线83上的结果信号由对应的列处理电路以与来自像素传感器的信号相同的方式处理。特别地,在信号处理期间应用相关双采样。也就是说,首先将Vtest设置为复位电压Vr并处理信号。接下来,将Vtest设置为另一电压以提供在减去先前信号之后处理的测试信号。如果在两个步骤期间将信号设置为Vr,则列处理电路中ADC处的结果信号应该为零,这将是像素没有接收到任何光得到的结果。因此,该值将被称为电黑(EB)。
在本发明的一个方面,有几个这样的连接到每个读出线的信号注入器。对结果EB信号求平均,以提供从正常像素传感器的信号中减去的平均EB信号,从而产生最终像素传感器值,其反映每个像素传感器接收的实际曝光。平均EB值具有降低了的噪音。EB值可以随温度等环境变量缓慢变化。因此,为每列像素传感器保持EB值的运行平均值。在预定的时间间隔,测量额外的EB值并将其添加到该运行平均值,并丢弃先前的EB值。
信号注入器还用于在成像传感器的运行期间校准列处理电路。如上所述,读出处理电路中的跨越列的放大器、ADC和其它组件的变化导致CMOS传感器中的列固定模式噪声(CFPN)。CFPN是低光和/或低对比度(例如照明白纸)场景中图像质量下降的主要原因。可以将CFPN视为具有两个成分,偏移CFPN和增益CFPN。列放大器放大输入信号并为该放大信号增加一些偏移。本发明基于以下观察:偏移CFPN独立于到列放大器的输入信号;但是,增益CFPN取决于输入信号幅度以及单个放大器,因为增益在相应读出线上呈现的电压范围内不是完全恒定的。放大器的增益函数被定义为放大器的增益,作为该放大器的输入电压的函数。此外,增益和偏移CFPN随时间和环境变量(例如成像阵列的温度)而变化。
列的平均EB信号的减法校正该列中的偏移CFPN。这是每帧处理的一部分,并因此,考虑固定偏移CFPN和固定偏移CFPN随时间的变化以及其它缓慢变化的环境因素。
在现有技术的成像阵列中,在进行了偏移CFPN校正之后,使用每列的预校准系数来校正增益CFPN。校准步骤通常在出厂时完成,并在相机寿命中保持不变。因此,该方法不能校正时间增益变化。结果,仍然存在显著的增益CFPN。
除了偏移CFPN校正之外,本发明还包括动态增益CFPN补偿方案。列处理电路中的放大器具有四个标称增益设置。这些增益设置中的两个,称为高和低主光电二极管增益设置,用于处理来自主光电二极管的信号。类似地,这些增益设置中的两个,称为高和低寄生光电二极管增益设置,用于处理来自寄生光电二极管的信号。因此,必须校准四个放大器增益,以及作为每个放大器增益存储的电压的函数的增益。
再次参考图1,矩形成像阵列80包括列校准电路96,其产生校准信号,当放大器被设置为每个增益设置时,该校准信号被馈送到列放大器和下游电路。在本发明的一个方面,上面讨论的注入器用于在读出线上产生已知电压以提供校准信号。校准信号也使用双相关采样处理;然而,序列中的第二电压被设置为低于Vr的电压以提供已知幅度的信号,从而可以确定通过列处理电路处理的信号的处理值。生成的偏移和增益配置文件存储在作为系统控制器一部分的存储器中。传感器运行时,在后台生成不同的校准信号电平。然后使用这些存储的配置文件来应用校正算法,从而校正CFPN。由于这些配置文件是动态生成的并且当传感器运行时校正算法在后台运行,因此系统控制器能够跟踪列变化并在传感器运行条件发生变化(例如温度、电源电压等)时应用相应的补偿。
如上所述,在本发明利用的像素传感器中,每个像素传感器具有两个光电二极管:主光电二极管和寄生光电二极管。主光电二极管适用于低光检测,因此具有高光转换增益,并且是PIN型光电二极管以降低噪声。该寄生光电二极管适用于高光检测并具有低光转换增益。另外,来自每个光电二极管的信号可以是利用两个不同的列增益电平获得的结果。将这些结果组合起来产生数字光测量,如果主光电二极管具有扩展范围并且使用单个放大增益处理来自该光电二极管的信号,则可以获得该数字光测量。
来自低灵敏度寄生光电二极管的信号扩展了像素传感器的有用范围。当寄生光电二极管提供光强度值时,如果主光电二极管没有饱和,则需要将寄生光电二极管测量值转换为从主光电二极管获得的值。为了提供这种扩展,需要知道两个光电二极管的相对增益。两个增益的比率取决于光电二极管接收的光的平均波长,因此必须针对成像阵列中的不同颜色通道进行校准。然而,即使在给定的颜色通道内,也存在取决于入射光的色温的变化。因此,在本发明中,针对每个图像校准比率。
设置主光电二极管和寄生光电二极管的相对灵敏度,使得存在一系列入射光强度,其为同一像素传感器中的两个光电二极管提供有用信号。为了适合于校准,光强度必须在第一强度值与第二强度值之间,该第一强度值小于主光电二极管饱和的强度,该第二强度值大于寄生光电二极管提供有意义信号的最小强度。在读出成像阵列期间,从列信号中去除EB偏移,并识别在校准范围内的那些信号。计算这些像素的两个光电二极管信号的比率并将其加到运行平均校准比率上,该运行平均校准比率用于计算寄生光电二极管信号提供光测量的该颜色通道中的所有像素传感器的光强度。
在本发明的一个方面中,最终图像中的每个像素是从彼此相邻的四个像素传感器的输出计算的。两个像素传感器G1和G2被绿色滤光器覆盖,剩下的两个像素传感器R和B分别被红色和蓝色滤光器覆盖。由成像阵列内的相同颜色像素覆盖的像素传感器被称为“颜色通道”。像素传感器具有一定程度的串扰。也就是说,红色光谱区域中的光输入在四个像素组中的其它颜色像素传感器中产生非零响应。已经观察到G1和G2的串扰是不同的。因此,对每个绿色传感器分别计算校准比率;也就是说,在本发明的这个方面,两个绿色传感器被视为单独的颜色通道。
主光电二极管与寄生光电二极管的校准比取决于两个光电二极管中的可忽略不计的暗电流。虽然这个假设适用于主光电二极管,但寄生光电二极管中的暗电流可能会超出容许限度。其中寄生光电二极管具有大的暗电流的像素传感器将被称为“热像素”。必须从每个颜色通道中的校准比率的运行平均值中排除这些像素。在本发明的一个方面,校准比率值的统计分布中的异常值的校准比率值不用于计算运行平均值。
如果根据本发明的成像阵列的特定实施例具有足够的存储器,则控制器可以存储由在工厂执行的校准过程所确定的热像素列表。在这种情况下,这些像素的校准比率从不用于提供运行平均值。
对于每个像素传感器,寄生和主光电二极管信号被数字化。数字值包括在数字化之前由列放大器使用的放大增益。假设放大器的增益在相应的输入电压范围上是恒定的。然后,光强度是与增益相关的“步长”和来自ADC的数字值的乘积。如上所述,对于给定的放大器增益,增益不一定是恒定的,但在某种程度上取决于输入电压,并因此取决于数字值。控制器92为每一个列放大器存储增益表。
如上所述,混合来自主光电二极管和寄生光电二极管的输出的目的是提供信号值,该信号值是对应像素传感器处的曝光的线性函数。根据本发明的图像传感器的动态范围可以高达106。为了在整个曝光范围内充分表示该线性值,需要24位的整数。因此,来自控制器92的输出总线需要是24位总线。用于以监视或其它电影摄像机所需的速度驱动这样大的总线所需的功率是重要的。因此,在本发明的一个方面,最终曝光值被压缩至小得多的位数。
在低曝光时,数字值的最高位为零。在高曝光时,高位的数字值很重要;然而,最低位的值由散粒噪声所控制,因此提供的信息很少。因此,这些值可以用零或任何其它值代替,而不会显著改变曝光值。在本发明的一个方面中,使用非线性变换将线性曝光值变换为压缩曝光值,所述非线性变换被选择为使得最高压缩数字值需要比非压缩数字值明显更少的位。
考虑阈值Vi值的表。如果数字曝光V大于或等于Vi且小于Vi+1,则V由i代替。这里,i=1至Nt。在解压缩时,V由Vi代替。选择表值Vi,使得Vi和Vi+1之间的差小于具有值Vi的信号中的散粒噪声。另外,选择表格中的条目数量使得Nt<<Vmax,其中Vmax是最大像素信号。在示例性实施例中,线性曝光值需要24位,但i的最大值仅需要14位。因此,实现了输出值数量的显著节省。
上述实施例利用具有主光电二极管和寄生光电二极管的像素传感器。然而,本发明的教示可以应用于减少成像阵列中的CFPN,该成像阵列中像素传感器具有两个常规的光电二极管。通常,第一光电二极管可以测量以第一和第二曝光极限为特征的第一曝光带中的曝光。第二光电二极管测量以第三和第四曝光极限为特征的第二曝光带中的曝光。第一和第二带重叠;也就是说,第三曝光限制大于第一曝光限制并且小于第二曝光限制,并且第四曝光限制大于第二曝光限制。本发明优选地使用寄生光电二极管作为第二光电二极管,因为所得到的成像传感器明显更小,因此比使用两个常规光电二极管和额外内部栅极以确定哪个光电二极管当前连接到浮动扩散节点的成像传感器更便宜。
已经提供了本发明的上述实施例以说明本发明的各个方面。然而,应该理解,可以把在不同的具体实施方式中显示的本发明的不同方面组合在一起,以提供本发明的其它实施方案。另外,根据前面的描述和附图,对本发明的各种修改将变得显而易见。因此,本发明仅受后附权利要求的范围限制。

Claims (15)

1.一种成像传感器阵列装置,包括:
矩形成像阵列,其特征在于具有多个像素传感器和多个读出线;
多个列处理电路,每个所述列处理电路连接到所述多个读出线中相应的一个;
多个信号注入器,一个信号注入器连接到每个所述读出线,每个信号注入器使预定数量的电压之一耦合到该读出线;和
控制器,其在多个图像记录周期的每一个期间确定所述多个像素传感器中的每一个的曝光,使得所述信号注入器在多个校准周期的每一个期间将多个校准电压注入到所述读出线中,并通过在所述多个校准周期期间测量所述多个列处理电路之一中的放大器的输出,确定所述放大器的增益函数,所述多个校准周期在所述图像记录周期之间。
2.如权利要求1所述的成像传感器阵列装置,其中,所述控制器使所述信号注入器注入信号,该信号具有如果该像素传感器未曝光则像素传感器将产生的值,所述控制器确定所述多个列处理电路中的每一个的列偏移值。
3.如权利要求2所述的成像传感器阵列装置,还包括多行的信号注入器,每个列处理电路连接到多个所述信号注入器,在确定所述列偏移值时,所述控制器对由所述信号注入器产生的所述列偏移值求平均。
4.如权利要求2所述的成像传感器阵列装置,其中,在多个所述校准周期期间确定所述列偏移值。
5.如权利要求1所述的成像传感器阵列装置,其中,所述多个像素传感器中的每一个包括第一和第二光电二极管,所述第一光电二极管的特征在于与所述第二光电二极管不同的光转换效率。
6.如权利要求5所述的成像传感器阵列装置,其中,所述第二光电二极管的光转换效率小于所述第一光电二极管的1/30。
7.如权利要求6所述的成像传感器阵列装置,其中,所述第二光电二极管包括寄生光电二极管,所述寄生光电二极管包括浮动扩散节点,所述浮动扩散节点还用于将由所述第一光电二极管产生的电荷转换为电压。
8.如权利要求5所述的成像传感器阵列装置,其中,所述控制器在所述多个图像记录周期期间,确定所述第一光电二极管的光转换效率与所述第二光电二极管的光转换效率之间的比率。
9.如权利要求8所述的成像传感器阵列装置,其中,所述控制器通过对来自多个像素传感器的信号求平均来确定所述比率,在所述像素传感器中所述第二光电二极管在校准范围内产生信号。
10.如权利要求9所述的成像传感器阵列装置,其中,所述校准范围不包括一种像素传感器,其中所述第二光电二极管具有大于暗电流阈值的暗电流。
11.如权利要求8所述的成像传感器阵列装置,其中,所述多个像素传感器被分成彩色通道,每个彩色通道在该彩色通道中的像素传感器上具有相应的彩色滤光器,并且其中所述控制器分别为每个所述彩色通道确定所述比率。
12.如权利要求5所述的成像传感器阵列装置,其中,所述第一光电二极管测量第一曝光与第二曝光之间的曝光,并且其中所述第二光电二极管可以测量第三曝光与第四曝光之间的曝光,所述第三曝光小于所述第二曝光,所述第四曝光大于所述第二曝光。
13.如权利要求12所述的成像传感器阵列装置,其中,所述控制器使用所述第一光电二极管测量小于所述第二曝光的曝光,并且所述第二光电二极管测量大于所述第二曝光的曝光,从而模拟可测量所述第一和第四曝光之间的曝光的单个光电二极管。
14.如权利要求13所述的成像传感器阵列装置,其中,所述模拟的单个光电二极管产生第一曝光值,该第一曝光值是所述曝光的线性函数,并且与所述第一和第二光电二极管的所述光转换效率和所述多个列处理电路中的变化无关。
15.如权利要求14所述的成像传感器阵列装置,其中,所述第一曝光的特征在于具有散粒噪声,并且所述控制器为所述多个像素传感器中的每一个输出第二曝光值,所述第二曝光值由所述第一曝光值确定,所述第二曝光值需要较少的位数来输出并且与所述第一曝光值的差值小于所述散粒噪声的值。
CN201680085750.0A 2016-03-16 2016-08-18 高动态范围成像传感器阵列 Active CN109155827B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662309377P 2016-03-16 2016-03-16
US62/309,377 2016-03-16
PCT/US2016/047602 WO2017160336A1 (en) 2016-03-16 2016-08-18 High dynamic range imaging sensor array

Publications (2)

Publication Number Publication Date
CN109155827A CN109155827A (zh) 2019-01-04
CN109155827B true CN109155827B (zh) 2021-04-23

Family

ID=59851169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680085750.0A Active CN109155827B (zh) 2016-03-16 2016-08-18 高动态范围成像传感器阵列

Country Status (6)

Country Link
US (1) US10057530B2 (zh)
EP (1) EP3430800B1 (zh)
JP (1) JP6553318B2 (zh)
CN (1) CN109155827B (zh)
CA (1) CA3017935C (zh)
WO (1) WO2017160336A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019227067A1 (en) * 2018-05-24 2019-11-28 Gigajot Technology Llc Image sensor having column-level correlated-double-sampling charge transfer amplifier
EP3623840A1 (en) * 2018-09-13 2020-03-18 IDT Inc. Optical sensor, particularly hybrid analog-digital optical sensor array
US10484618B1 (en) * 2018-10-24 2019-11-19 BAE Systems Imaging Solutions Inc. Ultra-high dynamic range CMOS sensor
KR20200143141A (ko) * 2019-06-14 2020-12-23 삼성전자주식회사 Cis, 및 그 cis에서 픽셀별 ae 방법
KR20210002966A (ko) * 2019-07-01 2021-01-11 삼성전자주식회사 이미지 센서 및 그것의 구동 방법
KR20210151316A (ko) * 2020-06-04 2021-12-14 삼성전자주식회사 멀티-컬러 필터 어레이를 갖는 이미지 센서의 크로스토크를 보상하는 전자 장치 및 방법
CN112804467B (zh) * 2021-04-15 2021-06-25 北京惠风智慧科技有限公司 一种基于多cmos传感器的图像编码方法及装置
US11885646B2 (en) * 2021-08-12 2024-01-30 Allegro Microsystems, Llc Programmable active pixel test injection
US11722141B1 (en) 2022-04-22 2023-08-08 Allegro Microsystems, Llc Delay-locked-loop timing error mitigation
CN115267875B (zh) * 2022-07-28 2023-08-22 北京朗视仪器股份有限公司 一种平板探测器
CN115988348B (zh) * 2023-03-22 2023-06-09 深圳锐视智芯科技有限公司 一种图像传感器及其图像输出方法、光电设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009177797A (ja) * 2007-12-26 2009-08-06 Panasonic Corp 固体撮像装置及びその駆動方法
CN101557462A (zh) * 2008-04-02 2009-10-14 英属开曼群岛商恒景科技股份有限公司 高效率的大范围及高分辨率的黑电平及偏移校准系统
JP2011526088A (ja) * 2008-02-25 2011-09-29 フェアチャイルド・イメージング 改善されたダイナミックレンジを有するイメージング配列
WO2015026550A1 (en) * 2013-08-21 2015-02-26 Qualcomm Incorporated System and method for capturing images with multiple image sensing elements
CN104733480A (zh) * 2013-12-19 2015-06-24 全视科技有限公司 用于高动态范围图像传感器的图像传感器像素

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6864916B1 (en) 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
JP3844699B2 (ja) * 2001-02-19 2006-11-15 イノテック株式会社 可変利得アンプ
US7409880B2 (en) 2005-03-28 2008-08-12 Indiana Proteomics Consortium, Llc System useful for holding a sample and in subjecting the sample to chromatographic analysis
JP4351658B2 (ja) * 2005-07-21 2009-10-28 マイクロン テクノロジー, インク. メモリ容量低減化方法、メモリ容量低減化雑音低減化回路及びメモリ容量低減化装置
US7808538B2 (en) 2007-01-22 2010-10-05 Omnivision Technologies, Inc. Image sensors with blooming reduction mechanisms
US8289430B2 (en) 2007-02-09 2012-10-16 Gentex Corporation High dynamic range imaging device
JP2010187317A (ja) * 2009-02-13 2010-08-26 Panasonic Corp 固体撮像装置及び撮像装置
US10128296B2 (en) * 2013-07-08 2018-11-13 BAE Systems Imaging Solutions Inc. Imaging array with improved dynamic range utilizing parasitic photodiodes
US9412782B2 (en) 2013-07-08 2016-08-09 BAE Systems Imaging Solutions Inc. Imaging array with improved dynamic range utilizing parasitic photodiodes within floating diffusion nodes of pixels
US9253396B2 (en) 2013-12-04 2016-02-02 BAE Systems Imaging Solutions Inc. Variable gain column amplifier adapted for use in imaging arrays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009177797A (ja) * 2007-12-26 2009-08-06 Panasonic Corp 固体撮像装置及びその駆動方法
JP2011526088A (ja) * 2008-02-25 2011-09-29 フェアチャイルド・イメージング 改善されたダイナミックレンジを有するイメージング配列
CN101557462A (zh) * 2008-04-02 2009-10-14 英属开曼群岛商恒景科技股份有限公司 高效率的大范围及高分辨率的黑电平及偏移校准系统
WO2015026550A1 (en) * 2013-08-21 2015-02-26 Qualcomm Incorporated System and method for capturing images with multiple image sensing elements
CN104733480A (zh) * 2013-12-19 2015-06-24 全视科技有限公司 用于高动态范围图像传感器的图像传感器像素

Also Published As

Publication number Publication date
CA3017935C (en) 2020-04-21
JP6553318B2 (ja) 2019-07-31
JP2019509704A (ja) 2019-04-04
EP3430800A1 (en) 2019-01-23
CA3017935A1 (en) 2017-09-21
US10057530B2 (en) 2018-08-21
US20180191979A1 (en) 2018-07-05
CN109155827A (zh) 2019-01-04
EP3430800A4 (en) 2019-03-20
EP3430800B1 (en) 2020-04-29
WO2017160336A1 (en) 2017-09-21

Similar Documents

Publication Publication Date Title
CN109155827B (zh) 高动态范围成像传感器阵列
US5969758A (en) DC offset and gain correction for CMOS image sensor
JP5034610B2 (ja) 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
US5920345A (en) CMOS image sensor with improved fill factor
US7502061B2 (en) Method for image sensor calibration and associated devices
US6320616B1 (en) CMOS image sensor with reduced fixed pattern noise
US6757018B1 (en) CMOS image sensor with pixel level gain control
US6903670B1 (en) Circuit and method for cancellation of column pattern noise in CMOS imagers
TWI555402B (zh) 用於行類比數位轉換器(adc)之晶片測試模式之影像處理系統
JP5312246B2 (ja) 撮像装置及び制御方法
US10630912B2 (en) Image sensor, image capturing apparatus, and method for controlling image sensor
EP2163084A1 (en) Circuit providing low-noise readout
US10158813B2 (en) Image pickup device, electronic apparatus, radiation detection apparatus and method for an image pickup device
US9088739B2 (en) CMOS image sensor having a wide linear dynamic range
US10560653B2 (en) Image sensing apparatus and control method for performing analog-to-digital conversion
US11412169B2 (en) Pixel circuit outputting over exposure information and method of calculating real intensity thereof, pixel array having the same
US8564697B2 (en) Black level calibration method and system
US11595611B2 (en) Pixel circuit and pixel array outputting over exposure information, and operating method of pixel array
JP2002044370A (ja) イメージセンサ
US10863130B2 (en) Backside illuminated global shutter imaging array
JP2011139181A (ja) 固体撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1262355

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant