CN114390224A - 一种适用于图像传感器的均值减噪快速处理电路及方法 - Google Patents
一种适用于图像传感器的均值减噪快速处理电路及方法 Download PDFInfo
- Publication number
- CN114390224A CN114390224A CN202210026589.7A CN202210026589A CN114390224A CN 114390224 A CN114390224 A CN 114390224A CN 202210026589 A CN202210026589 A CN 202210026589A CN 114390224 A CN114390224 A CN 114390224A
- Authority
- CN
- China
- Prior art keywords
- cds
- subtraction
- sel
- circuit
- addition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
- H04N25/626—Reduction of noise due to residual charges remaining after image readout, e.g. to remove ghost images or afterimages
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明公开了一种适用于图像传感器的均值减噪快速处理电路及方法,包括可控加减法的CDS运算电路,所述可控加减法的CDS运算电路的输入端接入ADC转换电路,所述可控加减法的CDS运算电路的第一输出端连接所述可控加减法的CDS运算电路的输入端,所述可控加减法的CDS运算电路的第二输出端接出至ISP图像信号处理器;所述可控加减法的CDS运算电路,用于实现循环加减运算组合的形式来实现在一帧图像像素读出时得到多次采样CDS电压差值的总和。本发明在一帧图像像素读出时就能取得平均值,大大地减少了信号传输和图像处理的时间;并且对同一行像素多次取样进行计算,取样时间间隔非常短,因此不会导致残影的产生。
Description
技术领域
本发明涉及图像传感器技术领域,具体涉及一种适用于图像传感器的均值减噪快速处理电路及方法。
背景技术
散粒噪声是电子本身的离散特性引起的,主要由暗电流和随机光生电子两部分产生,且粒子在一定的时间间隔内发射的概率服从泊松分布。对于泊松分布,其均值与方差相同。
随着人们对图像质量和夜景模式的需求,特别是夜景模式,在低光照的情况下,由于亮度太低,就会混入大量的暗电流和随机噪声;而针对于其中由暗电流和随机光生电子产生的散粒噪声,现有技术是采用多帧图像CDS(Correlated Double Sampling)转换完成后在后续图像处理器ISP(Image signal processor)部分对图像整体的灰度值取均值处理。即现有的散粒噪声减噪处理方法是通过图像传感器获取多帧图像,在后续图像处理器ISP(Image signal processor)中取得多张图像的灰度值的均值来减小噪声。像素是由行依次读出进行CDS运算到后续的ISP处理,如图1所示,这样就会导致每一行像素都要多次选择读取,处理一张图像的时间等倍增长。并且在拍摄高速运动中的物体时,获取多帧图像存在时间差,所以还有可能会产生运动残影。
发明内容
本发明所要解决的技术问题是针对图像传感器光电成像器件中由暗电流和随机光生电子产生的散粒噪声,现有技术散粒噪声减噪处理方法是通过图像传感器获取多帧图像,在后续图像处理器ISP中取得多张图像的灰度值的均值来减小噪声,这种处理方法会导致每一行像素都要多次选择读取,处理一张图像的时间等倍增长;并且在拍摄高速运动中的物体时,获取多帧图像存在时间差,所以还有可能会产生运动残影。
本发明目的在于提供一种适用于图像传感器的均值减噪快速处理电路及方法,针对于其中光电成像器件中由暗电流和随机光生电子产生的散粒噪声,本发明通过均值减噪原理将图像信号和散粒噪声的信噪比提高,从而抑制图像中的散粒噪声。本发明通过改进CDS运算电路,可以在一行像素读出时就取得多次CDS总和,只需传输一次到ISP进行处理。这样缩短了图像数字信号传输和处理的时间;且同一像素点采样时间非常短,有效的改善了拍摄高速运动物体时产生残影的问题。
本发明通过下述技术方案实现:
第一方面,本发明提供了一种适用于图像传感器的均值减噪快速处理电路,包括可控加减法的CDS运算电路,所述可控加减法的CDS运算电路的输入端接入ADC转换电路,所述可控加减法的CDS运算电路的第一输出端连接所述可控加减法的CDS运算电路的输入端,所述可控加减法的CDS运算电路的第二输出端接出至ISP图像信号处理器;
所述可控加减法的CDS运算电路,用于实现循环加减运算组合的形式来实现在一帧图像像素读出时就可以得到多次采样CDS电压差值的总和;其中,在读出一行像素时,在复位信号采样Rs阶段时取N次值,图像信号采样Ss阶段取N次值,依次在所述可控加减法的CDS运算电路中进行加减运算后即可得到多次CDS电压差值的总和。
进一步地,所述可控加减法的CDS运算电路包括可控加减法器、CDS运算用存储器和选择输出电路,所述可控加减法器的输入端接入ADC转换电路,所述可控加减法器的输出端连接CDS运算用存储器,所述CDS运算用存储器连接选择输出电路的输入端,所述选择输出电路的第一输出端(B端)连接可控加减法器的输入端,所述选择输出电路的第二输出端(ISP端)接出至ISP图像信号处理器;
所述可控加减法器,用于SEL控制信号通过异或门实现对所述选择输出电路的第一输出端数据B是否取反的控制,并且第0比特需要进行加算的进位值与SEL控制信号相连接来实现全加器输出结果是否+1;
所述CDS运算用存储器,用于存储复位信号采样Rs阶段和图像信号采样Ss阶段的加算、减算数据;
所述选择输出电路,用于根据所述CDS运算用存储器存储的数据CDS_OUT及控制选择输出信号SEL_OUT进行选择第一输出端或者第二输出端输出。
进一步地,所述可控加减法器包括异或门和全加器,所述异或门的第一输入端接入SEL控制信号,所述异或门的第二输入端接入所述选择输出电路的第一输出端数据B;所述异或门的输出端连接所述全加器;所述异或门的输出端、ADC转换后的二进制数据同时作为所述全加器的输入,所述全加器输出运算后数据。
进一步地,所述选择输出电路包括与非门、第一非门、或非门和第二非门;
所述与非门的第一输入端接入所述CDS运算用存储器存储的数据CDS_OUT、第二输入端接入控制选择输出信号SEL_OUT,所述与非门的输出端连接第一非门的输入端,所述第一非门的输出端作为选择输出电路的第一输出端(B端);
所述或非门的第一输入端接入所述CDS运算用存储器存储的数据CDS_OUT、第二输入端接入控制选择输出信号SEL_OUT,所述或非门的输出端连接第二非门的输入端,所述第二非门的输出端作为选择输出电路的第二输出端(ISP端)。
进一步地,当所述控制选择输出信号SEL_OUT=1时,CDS运算后的数据可再返回所述可控加减法器再次进行运算;当所述控制选择输出信号SEL_OUT=0时,选择输出到ISP图像信号处理器进行后续处理;开始时刻,所述CDS运算用存储器里面的值为0,保持SEL_OUT=1。
第二方面,本发明又提供了一种适用于图像传感器的均值减噪快速处理方法,该方法包括:
利用图像传感器进行帧选取,获取一帧图像;
从获取的一帧图像中进行行选取,针对一行像素,采用可控加减法的CDS运算电路实现循环加减运算组合的形式来使得在同一行像素读出时就可以得到多次采样CDS电压差值的总和;其中,所述可控加减法的CDS运算电路采用如权利要求1至5中任一所述的一种适用于图像传感器的均值减噪快速处理电路;
根据获取的一行像素多次采样CDS电压差值的总和,并把一行像素多次采样CDS电压差值的总和传输至ISP图像信号处理器得到电压均值;
按照以上步骤依次循环每行像素得到每行像素的电压均值,并进行后续图像处理及输出图像。
工作原理如下:
针对图像传感器光电成像器件中由暗电流和随机光生电子产生的散粒噪声,现有技术散粒噪声减噪处理方法是通过图像传感器获取多帧图像,在后续图像处理器ISP中取得多张图像的灰度值的均值来减小噪声,这种处理方法会导致每一行像素都要多次选择读取,处理一张图像的时间等倍增长;并且在拍摄高速运动中的物体时,获取多帧图像存在时间差,所以还有可能会产生运动残影。
基于现有技术散粒噪声减噪处理方法的以上问题,本发明考虑到,对于散粒噪声,噪声是与信号有关的。均值可以看作是信号;而在图像中定义信噪比的时候,可以将标准差定义为噪声,而标准差等于方差的算术平方根。当进行多次(N次)CDS(Correlated DoubleSampling)采样后,总光子数越多,均值就越高,同时标准差也越大,但是信号(均值)是N倍的提高,而噪声(标准差)是倍的提高,所以会带来信噪比倍的改善。本发明通过改进CDS运算电路,可以仅用一帧图像在一行像素读出时就取得多次CDS总和,只需传输一次到ISP进行处理。这种处理方法缩短了图像数字信号传输和处理的时间。同一像素点采样的间隔时间非常短,有效的改善了拍摄高速运动物体时产生残影的问题。具体地,本发明通过在可控加减法的CDS运算电路中实现循环加减运算组合的形式来使得在同一行像素读出时就可以得到多次采样CDS电压差值的总和。在读出一行像素时,在复位信号采样Rs阶段时取值N次,和图像信号采样Ss阶段取N次值,依次在可控加减法的CDS运算电路中进行加减运算后即可得到多次CDS差值的总和;同一行像素最后只需传输一次到ISP图像信号处理器去进行后续处理。详细流程如下图3所示,图2为现有散粒噪声处理流程;对比图2和图3可以看出,相比现有技术,本发明虽然ADC转换的次数没变,但本发明减少了帧选取和CDS运算后传输到ISP图像信号处理器传输次数,并且ISP图像信号处理器的处理更加快速,即用得到的多次CDS差值的总和除以N即可得到均值。
进一步地,所述多次采样CDS电压差值的总和是在读出一行像素时,在复位信号采样Rs阶段时取N次值,图像信号采样Ss阶段取N次值,依次在所述可控加减法的CDS运算电路中进行加减运算后即可得到多次CDS电压差值的总和。
进一步地,所述的从获取的一帧图像中进行行选取,针对一行像素,采用可控加减法的CDS运算电路实现循环加减运算组合的形式来使得在同一行像素读出时就可以得到多次采样CDS电压差值的总和之前,还包括对一行像素进行一次光电转换和多次ADC转换处理。
进一步地,所述可控加减法的CDS运算电路,在需要去除散粒噪声时,进行多次CDS采样数据传输过程为:
当第一次Rs阶段时,经ADC转换过来时与0进行加算后得到Rs1传入CDS运算用存储器中;
当第二次Rs阶段时,经ADC转换时,设置SEL=0,与此时CDS运算用存储器传输出来的值Rs1进行加算得到Rs2+Rs1,再次传入到CDS运算用存储器;
保持SEL=0,这样Rs采样N次之后,此时CDS运算用存储器中的值为Rs1+Rs2+…+RsN;
后续第一次图像信号采样Ss阶段时,设置SEL=1,此时ADC转后的数据Ss1和CDS运算用存储器传输出来的值Rs1+Rs2+…+RsN进行减算得到Ss1-(Rs1+Rs2+...+RsN)再传入到CDS运算用存储器中;
第二次图像信号采样Ss阶段时,设置SEL=0,CDS运算还原为加算状态;CDS运算用存储器传输出来的值Ss1-(Rs1+Rs2+...+RsN)加算得到(Ss1+Ss2)-(Rs1+Rs2+...+RsN)再传入到CDS运算用存储器中;
保持SEL=0,经N次图像信号采样后,则CDS运算用存储器中的值为(Ss1+Ss2+…+SsN)-(Rs1+Rs2+...+RsN),即(Ss1-Rs1)+(Ss2-Rs2)+…+(SsN-RsN),得到N次CDS电压差值的总和;
设置SEL_OUT=0,将上述N次CDS电压差值的总和传输到ISP图像信号处理器,最后在ISP图像信号处理器中,N次CDS电压差值的总和除以N取得平均值后再进行后续的图像处理;
其中,SEL为选择加算或者减算的控制信号,0为加算,1为减算;SEL_OUT为控制选择输出信号。
进一步地,所述可控加减法的CDS运算电路,在普通模式下,单次CDS采样数据传输过程为:
当单次CDS取得电压差时,设置SEL=1,SEL_OUT=1;将Rs阶段ADC转换后数据与0进行运算即本身传入CDS运算用存储器中;
后续Ss阶段采样数据传输过来时,再与CDS运算用存储器(Latch)传输出来的值Rs减算得到CDS相关双采样后的差值Ss-Rs,然后传输到CDS运算用存储器中;
最后设置SEL_OUT=0,使得CDS运算用存储器中的差值传输到ISP图像信号处理器进行处理。
本发明与现有技术相比,具有如下的优点和有益效果:
1、本发明通过改进CDS运算电路,可以仅用一帧图像在一行像素读出时就取得多次CDS总和,只需传输一次到ISP进行处理。这种处理方法缩短了图像数字信号传输和处理的时间。同一像素点采样的间隔时间非常短,有效的改善了拍摄高速运动物体时产生残影的问题。具体地,本发明通过在可控加减法的CDS运算电路中实现循环加减运算组合的形式来使得在同一行像素读出时就可以得到多次采样CDS电压差值的总和。在读出一行像素时,在复位信号采样Rs阶段时取值N次,和图像信号采样Ss阶段取N次值,依次在可控加减法的CDS运算电路中进行加减运算后即可得到多次CDS差值的总和;同一行像素最后只需传输一次到ISP图像信号处理器去进行后续处理。本发明减少了帧选取和CDS运算后传输到ISP图像信号处理器传输次数,并且ISP图像信号处理器的处理更加快速,即用得到的多次CDS差值的总和除以N即可得到均值。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:
图1为现有技术图像读出示意图。
图2为现有技术散粒噪声处理方法流程图。
图3为本发明一种适用于图像传感器的均值减噪快速处理方法流程图。
图4为本发明可控加减法器电路示意图。
图5为本发明一种适用于图像传感器的均值减噪快速处理电路示意图。
图6为本发明选择输出电路示意图。
图7为本发明单次CDS采样数据传输示意图。
图8为本发明多次CDS采样数据传输示意图。
具体实施方式
在下文中,可在本发明的各种实施例中使用的术语“包括”或“可包括”指示所发明的功能、操作或元件的存在,并且不限制一个或更多个功能、操作或元件的增加。此外,如在本发明的各种实施例中所使用,术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合,并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
在本发明的各种实施例中,表述“或”或“A或/和B中的至少一个”包括同时列出的文字的任何组合或所有组合。例如,表述“A或B”或“A或/和B中的至少一个”可包括A、可包括B或可包括A和B二者。
在本发明的各种实施例中使用的表述(诸如“第一”、“第二”等)可修饰在各种实施例中的各种组成元件,不过可不限制相应组成元件。例如,以上表述并不限制所述元件的顺序和/或重要性。以上表述仅用于将一个元件与其它元件区别开的目的。例如,第一用户装置和第二用户装置指示不同用户装置,尽管二者都是用户装置。例如,在不脱离本发明的各种实施例的范围的情况下,第一元件可被称为第二元件,同样地,第二元件也可被称为第一元件。
应注意到:如果描述将一个组成元件“连接”到另一组成元件,则可将第一组成元件直接连接到第二组成元件,并且可在第一组成元件和第二组成元件之间“连接”第三组成元件。相反地,当将一个组成元件“直接连接”到另一组成元件时,可理解为在第一组成元件和第二组成元件之间不存在第三组成元件。
在本发明的各种实施例中使用的术语仅用于描述特定实施例的目的并且并非意在限制本发明的各种实施例。如在此所使用,单数形式意在也包括复数形式,除非上下文清楚地另有指示。除非另有限定,否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义,除非在本发明的各种实施例中被清楚地限定。
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
实施例1
如图1至图8所示,本发明一种适用于图像传感器的均值减噪快速处理电路,包括可控加减法的CDS运算电路,所述可控加减法的CDS运算电路的输入端接入ADC转换电路,所述可控加减法的CDS运算电路的第一输出端连接所述可控加减法的CDS运算电路的输入端,所述可控加减法的CDS运算电路的第二输出端接出至ISP图像信号处理器;
所述可控加减法的CDS运算电路,用于实现循环加减运算组合的形式来实现在一帧图像像素读出时就可以得到多次采样CDS电压差值的总和;其中,在读出一行像素时,在复位信号采样Rs阶段时取N次值,图像信号采样Ss阶段取N次值,依次在所述可控加减法的CDS运算电路中进行加减运算后即可得到多次CDS电压差值的总和。
具体地,如图5所示,所述可控加减法的CDS运算电路包括可控加减法器、CDS运算用存储器和选择输出电路,所述可控加减法器的输入端接入ADC转换电路,所述可控加减法器的输出端连接CDS运算用存储器,所述CDS运算用存储器连接选择输出电路的输入端,所述选择输出电路的第一输出端(B端)连接可控加减法器的输入端,所述选择输出电路的第二输出端(ISP端)接出至ISP图像信号处理器;
所述可控加减法器,用于SEL控制信号通过异或门实现对所述选择输出电路的第一输出端数据B是否取反的控制,并且第0比特需要进行加算的进位值与SEL控制信号相连接来实现全加器输出结果是否+1;
所述CDS运算用存储器,用于存储复位信号采样Rs阶段和图像信号采样Ss阶段的加算、减算数据;
所述选择输出电路,用于根据所述CDS运算用存储器存储的数据CDS_OUT及控制选择输出信号SEL_OUT进行选择第一输出端或者第二输出端输出。
结合本发明实际运用,电路结构如下图5所示,像素采样通过ADC转换电路后的数据传入可控加减法器,进行运算后传入CDS运算用存储器,后面再加上一个由SEL_OUT信号控制的选择输出电路;如图6所示,当SEL_OUT=1时,CDS运算后的数据可再返回可控加减法器再次进行运算;当SEL_OUT=0时选择输出到ISP图像信号处理器部分进行后续处理,开始时刻CDS运算用存储器里面的值为0,保持SEL_OUT=1。
具体地,所述可控加减法器包括异或门和全加器,所述异或门的第一输入端接入SEL控制信号,所述异或门的第二输入端接入所述选择输出电路的第一输出端数据B;所述异或门的输出端连接所述全加器;所述异或门的输出端、ADC转换后的二进制数据同时作为所述全加器的输入,所述全加器输出运算后数据。
如图4所示,在图4的结构示意图中:
A[n],B[n]:逻辑加算或减算的数据;
C[n]:当前比特需要进行加算的进位值,即上一比特输出进位值;
SEL:选择加算或者减算的控制信号;0:加算(S=A+B),1:减算(S=A-B);
OUT[n]:运算后数据。
S=A+B换算位补码运算后还是S=A+B;
因此在电路中只需控制数据B是否取反,和全加计算是否+1即可实现二进制加减运算的切换。对于可控加减法器而言,SEL控制信号通过异或门实现对数据B是否取反,并且第0比特需要进行加算的进位值(C[0])与SEL控制信号相连接来实现全加器输出结果是否+1。当SEL=0时,B和SEL控制信号异或就等于B本身,C[0]=0,S的输出为A+B;当SEL=1时,B和SEL异或得到C[0]=1,S的输出为如图4所示。
具体地,如图6所示,所述选择输出电路包括与非门NAND、第一非门NOT、或非门NOR和第二非门NOT;
所述与非门的第一输入端接入所述CDS运算用存储器存储的数据CDS_OUT、第二输入端接入控制选择输出信号SEL_OUT,所述与非门的输出端连接第一非门的输入端,所述第一非门的输出端作为选择输出电路的第一输出端(B端);
所述或非门的第一输入端接入所述CDS运算用存储器存储的数据CDS_OUT、第二输入端接入控制选择输出信号SEL_OUT,所述或非门的输出端连接第二非门的输入端,所述第二非门的输出端作为选择输出电路的第二输出端(ISP端)。
当所述控制选择输出信号SEL_OUT=1时,CDS运算后的数据可再返回所述可控加减法器再次进行运算;当所述控制选择输出信号SEL_OUT=0时,选择输出到ISP图像信号处理器进行后续处理;开始时刻,所述CDS运算用存储器里面的值为0,保持SEL_OUT=1。
如图7所示,所述可控加减法的CDS运算电路,在普通模式下,单次CDS采样数据传输过程为:
当单次CDS取得电压差时,设置SEL=1,SEL_OUT=1;将Rs阶段ADC转换后数据与0进行运算即本身传入CDS运算用存储器中;
后续Ss阶段采样数据传输过来时,再与CDS运算用存储器(Latch)传输出来的值Rs减算得到CDS相关双采样后的差值Ss-Rs,然后传输到CDS运算用存储器中;
最后设置SEL_OUT=0,使得CDS运算用存储器中的差值传输到ISP图像信号处理器进行处理。
如图8所示,所述可控加减法的CDS运算电路,在需要去除散粒噪声时,进行多次CDS采样数据传输过程为:
当第一次Rs阶段时,经ADC转换过来时与0进行加算后得到Rs1传入CDS运算用存储器中;
当第二次Rs阶段时,经ADC转换时,设置SEL=0,与此时CDS运算用存储器传输出来的值Rs1进行加算得到Rs2+Rs1,再次传入到CDS运算用存储器;
保持SEL=0,这样Rs采样N次之后,此时CDS运算用存储器中的值为Rs1+Rs2+…+RsN;
后续第一次图像信号采样Ss阶段时,设置SEL=1,此时ADC转后的数据Ss1和CDS运算用存储器传输出来的值Rs1+Rs2+…+RsN进行减算得到Ss1-(Rs1+Rs2+...+RsN)再传入到CDS运算用存储器中;
第二次图像信号采样Ss阶段时,设置SEL=0,CDS运算还原为加算状态;CDS运算用存储器传输出来的值Ss1-(Rs1+Rs2+...+RsN)加算得到(Ss1+Ss2)-(Rs1+Rs2+...+RsN)再传入到CDS运算用存储器中;
保持SEL=0,经N次图像信号采样后,则CDS运算用存储器中的值为(Ss1+Ss2+…+SsN)-(Rs1+Rs2+...+RsN),即(Ss1-Rs1)+(Ss2-Rs2)+…+(SsN-RsN),得到N次CDS电压差值的总和;
设置SEL_OUT=0,将上述N次CDS电压差值的总和传输到ISP图像信号处理器,最后在ISP图像信号处理器中,N次CDS电压差值的总和除以N取得平均值后再进行后续的图像处理;
其中,SEL为选择加算或者减算的控制信号,0为加算,1为减算;SEL_OUT为控制选择输出信号。
本发明能明显改善低光照下拍摄出来照片的画质,在低光照下,信号所承载的能量较弱,因此散粒噪声占比就会很大。本发明通过改善电路结构来实现信号与散粒噪声的信噪比提高倍。对于现在大多数相机所采用的夜景模式下有非常好的效果,尤其能够有效消除夜景模式下拍摄高速运动物体时的残影。
实施例2
如图1至图8所示,本实施例与实施例1的区别在于,本实施例提供了一种适用于图像传感器的均值减噪快速处理方法,如图3所示,该方法包括:
利用图像传感器进行帧选取,获取一帧图像;
从获取的一帧图像中进行行选取,针对一行像素,采用可控加减法的CDS运算电路实现循环加减运算组合的形式来使得在同一行像素读出时就可以得到多次采样CDS电压差值的总和;其中,所述可控加减法的CDS运算电路采用实施例1所述的一种适用于图像传感器的均值减噪快速处理电路;
根据获取的一行像素多次采样CDS电压差值的总和,并把一行像素多次采样CDS电压差值的总和传输至ISP图像信号处理器得到电压均值;
按照以上步骤依次循环每行像素得到每行像素的电压均值,并进行后续图像处理及输出图像。
具体地,所述多次采样CDS电压差值的总和是在读出一行像素时,在复位信号采样Rs阶段时取N次值,图像信号采样Ss阶段取N次值,依次在所述可控加减法的CDS运算电路中进行加减运算后即可得到多次CDS电压差值的总和。
具体地,所述的从获取的一帧图像中进行行选取,针对一行像素,采用可控加减法的CDS运算电路实现循环加减运算组合的形式来使得在同一行像素读出时就可以得到多次采样CDS电压差值的总和之前,还包括对一行像素进行一次光电转换和多次ADC转换处理。
具体地,如图7所示,所述可控加减法的CDS运算电路,在普通模式下,单次CDS采样数据传输过程为:
当单次CDS取得电压差时,设置SEL=1,SEL_OUT=1;将Rs阶段ADC转换后数据与0进行运算即本身传入CDS运算用存储器中;
后续Ss阶段采样数据传输过来时,再与CDS运算用存储器(Latch)传输出来的值Rs减算得到CDS相关双采样后的差值Ss-Rs,然后传输到CDS运算用存储器中;
最后设置SEL_OUT=0,使得CDS运算用存储器中的差值传输到ISP图像信号处理器进行处理。
具体地,如图8所示,所述可控加减法的CDS运算电路,在需要去除散粒噪声时,进行多次CDS采样数据传输过程为:
当第一次Rs阶段时,经ADC转换过来时与0进行加算后得到Rs1传入CDS运算用存储器中;
当第二次Rs阶段时,经ADC转换时,设置SEL=0,与此时CDS运算用存储器传输出来的值Rs1进行加算得到Rs2+Rs1,再次传入到CDS运算用存储器;
保持SEL=0,这样Rs采样N次之后,此时CDS运算用存储器中的值为Rs1+Rs2+…+RsN;
后续第一次图像信号采样Ss阶段时,设置SEL=1,此时ADC转后的数据Ss1和CDS运算用存储器传输出来的值Rs1+Rs2+…+RsN进行减算得到Ss1-(Rs1+Rs2+...+RsN)再传入到CDS运算用存储器中;
第二次图像信号采样Ss阶段时,设置SEL=0,CDS运算还原为加算状态;CDS运算用存储器传输出来的值Ss1-(Rs1+Rs2+...+RsN)加算得到(Ss1+Ss2)-(Rs1+Rs2+...+RsN)再传入到CDS运算用存储器中;
保持SEL=0,经N次图像信号采样后,则CDS运算用存储器中的值为(Ss1+Ss2+…+SsN)-(Rs1+Rs2+...+RsN),即(Ss1-Rs1)+(Ss2-Rs2)+…+(SsN-RsN),得到N次CDS电压差值的总和;
设置SEL_OUT=0,将上述N次CDS电压差值的总和传输到ISP图像信号处理器,最后在ISP图像信号处理器中,N次CDS电压差值的总和除以N取得平均值后再进行后续的图像处理;
其中,SEL为选择加算或者减算的控制信号,0为加算,1为减算;SEL_OUT为控制选择输出信号。
由图8可知,上述整个过程中只有一次减算(Ss1时),其他均执行加算。
工作原理如下:
针对图像传感器由暗电流和随机光生电子产生的散粒噪声,现有技术散粒噪声减噪处理方法是通过图像传感器获取多帧图像,在后续图像处理器ISP中取得多张图像的灰度值的均值来减小噪声,这种处理方法会导致每一行像素都要多次选择读取,处理一张图像的时间等倍增长;并且在拍摄高速运动中的物体时,获取多帧图像存在时间差,所以还有可能会产生运动残影。
基于现有技术散粒噪声减噪处理方法的以上问题,本发明通过改进CDS运算电路,可以仅用一帧图像在一行像素读出时就取得多次CDS总和,只需传输一次到ISP进行处理。这种处理方法缩短了图像数字信号传输和处理的时间。同一像素点采样的间隔时间非常短,有效的改善了拍摄高速运动物体时产生残影的问题。具体地,本发明通过在可控加减法的CDS运算电路中实现循环加减运算组合的形式来使得在同一行像素读出时就可以得到多次采样CDS电压差值的总和。在读出一行像素时,在复位信号采样Rs阶段时取值N次,和图像信号采样Ss阶段取N次值,依次在可控加减法的CDS运算电路中进行加减运算后即可得到多次CDS差值的总和;同一行像素最后只需传输一次到ISP图像信号处理器去进行后续处理。详细流程如下图3所示,图2为现有散粒噪声处理流程;对比图2和图3可以看出,相比现有技术,本发明虽然ADC转换的次数没变,但本发明减少了帧选取和CDS运算后传输到ISP图像信号处理器传输次数,并且ISP图像信号处理器的处理更加快速,即用得到的多次CDS差值的总和除以N即可得到均值。
本发明能明显改善低光照下拍摄出来照片的画质,在低光照下,信号所承载的能量较弱,因此散粒噪声占比就会很大。本发明通过改善电路结构来实现信号与散粒噪声的信噪比提高倍。对于现在大多数相机所采用的夜景模式下有非常好的效果,尤其能够有效消除夜景模式下拍摄高速运动物体时的残影。
现有技术是图像处理阶段通过在多帧图像平均处理的,耗时非常长,并且获取多帧图像时存在时间差的原因还有可能会产生残影。而本发明在一帧图像像素读出时就能取得平均值,大大地减少了信号传输和图像处理的时间;并且对同一行像素行素中读出时就多次取样进行计算,取样时间间隔非常短,因此不会导致残影的产生。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种适用于图像传感器的均值减噪快速处理电路,其特征在于,包括可控加减法的CDS运算电路,所述可控加减法的CDS运算电路的输入端接入ADC转换电路,所述可控加减法的CDS运算电路的第一输出端连接所述可控加减法的CDS运算电路的输入端,所述可控加减法的CDS运算电路的第二输出端接出至ISP图像信号处理器;
所述可控加减法的CDS运算电路,用于实现循环加减运算组合的形式来实现在一帧图像像素读出时得到多次采样CDS电压差值的总和;其中,在读出一行像素时,在复位信号采样Rs阶段时取N次值,图像信号采样Ss阶段取N次值,依次在所述可控加减法的CDS运算电路中进行加减运算后即得到多次CDS电压差值的总和。
2.根据权利要求1所述的一种适用于图像传感器的均值减噪快速处理电路,其特征在于,所述可控加减法的CDS运算电路包括可控加减法器、CDS运算用存储器和选择输出电路,所述可控加减法器的输入端接入ADC转换电路,所述可控加减法器的输出端连接CDS运算用存储器,所述CDS运算用存储器连接选择输出电路的输入端,所述选择输出电路的第一输出端连接可控加减法器的输入端,所述选择输出电路的第二输出端接出至ISP图像信号处理器;
所述可控加减法器,用于SEL控制信号通过异或门实现对所述选择输出电路的第一输出端数据B是否取反的控制,并且第0比特需要进行加算的进位值与SEL控制信号相连接来实现全加器输出结果是否+1;
所述CDS运算用存储器,用于存储复位信号采样Rs阶段和图像信号采样Ss阶段的加算、减算数据;
所述选择输出电路,用于根据所述CDS运算用存储器存储的数据CDS_OUT及控制选择输出信号SEL_OUT进行选择第一输出端或者第二输出端输出。
3.根据权利要求2所述的一种适用于图像传感器的均值减噪快速处理电路,其特征在于,所述可控加减法器包括异或门和全加器,所述异或门的第一输入端接入SEL控制信号,所述异或门的第二输入端接入所述选择输出电路的第一输出端数据B;所述异或门的输出端连接所述全加器;所述异或门的输出端、ADC转换后的二进制数据同时作为所述全加器的输入,所述全加器输出运算后数据。
4.根据权利要求2所述的一种适用于图像传感器的均值减噪快速处理电路,其特征在于,所述选择输出电路包括与非门、第一非门、或非门和第二非门;
所述与非门的第一输入端接入所述CDS运算用存储器存储的数据CDS_OUT、第二输入端接入控制选择输出信号SEL_OUT,所述与非门的输出端连接第一非门的输入端,所述第一非门的输出端作为选择输出电路的第一输出端;
所述或非门的第一输入端接入所述CDS运算用存储器存储的数据CDS_OUT、第二输入端接入控制选择输出信号SEL_OUT,所述或非门的输出端连接第二非门的输入端,所述第二非门的输出端作为选择输出电路的第二输出端。
5.根据权利要求4所述的一种适用于图像传感器的均值减噪快速处理电路,其特征在于,当所述控制选择输出信号SEL_OUT=1时,CDS运算后的数据再返回所述可控加减法器再次进行运算;当所述控制选择输出信号SEL_OUT=0时,选择输出到ISP图像信号处理器进行后续处理;开始时刻,所述CDS运算用存储器里面的值为0,保持SEL_OUT=1。
6.一种适用于图像传感器的均值减噪快速处理方法,其特征在于,该方法包括:
利用图像传感器进行帧选取,获取一帧图像;
从获取的一帧图像中进行行选取,针对一行像素,采用可控加减法的CDS运算电路实现循环加减运算组合的形式来使得在同一行像素读出时得到多次采样CDS电压差值的总和;其中,所述可控加减法的CDS运算电路采用如权利要求1至5中任一所述的一种适用于图像传感器的均值减噪快速处理电路;
根据获取的一行像素多次采样CDS电压差值的总和,并把一行像素多次采样CDS电压差值的总和传输至ISP图像信号处理器得到电压均值;
按照以上步骤依次循环每行像素得到每行像素的电压均值,并进行后续图像处理及输出图像。
7.根据权利要求6所述的一种适用于图像传感器的均值减噪快速处理方法,其特征在于,所述多次采样CDS电压差值的总和是在读出一行像素时,在复位信号采样Rs阶段时取N次值,图像信号采样Ss阶段取N次值,依次在所述可控加减法的CDS运算电路中进行加减运算后即得到多次CDS电压差值的总和。
8.根据权利要求6所述的一种适用于图像传感器的均值减噪快速处理方法,其特征在于,所述的从获取的一帧图像中进行行选取,针对一行像素,采用可控加减法的CDS运算电路实现循环加减运算组合的形式来使得在同一行像素读出时得到多次采样CDS电压差值的总和之前,还包括对一行像素进行一次光电转换和多次ADC转换处理。
9.根据权利要求8所述的一种适用于图像传感器的均值减噪快速处理方法,其特征在于,所述可控加减法的CDS运算电路,在需要去除散粒噪声时,进行多次CDS采样数据传输过程为:
当第一次Rs阶段时,经ADC转换过来时与0进行加算后得到Rs1传入CDS运算用存储器中;
当第二次Rs阶段时,经ADC转换时,设置SEL=0,与此时CDS运算用存储器传输出来的值Rs1进行加算得到Rs2+Rs1,再次传入到CDS运算用存储器;
保持SEL=0,这样Rs采样N次之后,此时CDS运算用存储器中的值为Rs1+Rs2+…+RsN;
后续第一次图像信号采样Ss阶段时,设置SEL=1,此时ADC转后的数据Ss1和CDS运算用存储器传输出来的值Rs1+Rs2+…+RsN进行减算得到Ss1-(Rs1+Rs2+...+RsN)再传入到CDS运算用存储器中;
第二次图像信号采样Ss阶段时,设置SEL=0,CDS运算还原为加算状态;CDS运算用存储器传输出来的值Ss1-(Rs1+Rs2+...+RsN)加算得到(Ss1+Ss2)-(Rs1+Rs2+...+RsN)再传入到CDS运算用存储器中;
保持SEL=0,经N次图像信号采样后,则CDS运算用存储器中的值为(Ss1+Ss2+…+SsN)-(Rs1+Rs2+...+RsN),即(Ss1-Rs1)+(Ss2-Rs2)+…+(SsN-RsN),得到N次CDS电压差值的总和;
设置SEL_OUT=0,将上述N次CDS电压差值的总和传输到ISP图像信号处理器,最后在ISP图像信号处理器中,N次CDS电压差值的总和除以N取得平均值后再进行后续的图像处理;
其中,SEL为选择加算或者减算的控制信号,0为加算,1为减算;SEL_OUT为控制选择输出信号。
10.根据权利要求8所述的一种适用于图像传感器的均值减噪快速处理方法,其特征在于,所述可控加减法的CDS运算电路,在普通模式下,单次CDS采样数据传输过程为:
当单次CDS取得电压差时,设置SEL=1,SEL_OUT=1;将Rs阶段ADC转换后数据与0进行运算即本身传入CDS运算用存储器中;
后续Ss阶段采样数据传输过来时,再与CDS运算用存储器传输出来的值Rs减算得到CDS相关双采样后的差值Ss-Rs,然后传输到CDS运算用存储器中;
最后设置SEL_OUT=0,使得CDS运算用存储器中的差值传输到ISP图像信号处理器进行处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210026589.7A CN114390224B (zh) | 2022-01-11 | 2022-01-11 | 一种适用于图像传感器的均值减噪快速处理电路及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210026589.7A CN114390224B (zh) | 2022-01-11 | 2022-01-11 | 一种适用于图像传感器的均值减噪快速处理电路及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114390224A true CN114390224A (zh) | 2022-04-22 |
CN114390224B CN114390224B (zh) | 2023-06-27 |
Family
ID=81201798
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210026589.7A Active CN114390224B (zh) | 2022-01-11 | 2022-01-11 | 一种适用于图像传感器的均值减噪快速处理电路及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114390224B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005217471A (ja) * | 2004-01-27 | 2005-08-11 | Victor Co Of Japan Ltd | Cmosイメージセンサ差分信号検出回路 |
US20100277622A1 (en) * | 2009-04-29 | 2010-11-04 | Samsung Electronics Co., Ltd. | Image sensor including noise removing unit, image pickup device having the image sensor, and image sensing method performed in the image sensor |
CN102047563A (zh) * | 2008-06-06 | 2011-05-04 | 索尼公司 | 固体摄像装置、成像装置、电子设备、ad转换器及ad转换方法 |
KR20120003313A (ko) * | 2010-07-02 | 2012-01-10 | 삼성전자주식회사 | 상관 이중 샘플링 회로 및 이를 포함하는 이미지 센서 |
US20150358562A1 (en) * | 2014-06-09 | 2015-12-10 | Kabushiki Kaisha Toshiba | Solid-state imaging device |
CN111201715A (zh) * | 2017-10-11 | 2020-05-26 | 科技创意有限公司 | 时域a/d转换器组以及使用该时域a/d转换器的传感器装置 |
CN111556266A (zh) * | 2020-04-26 | 2020-08-18 | 西安交通大学 | 一种基于背照式图像传感器的高动态范围读出电路 |
CN115665574A (zh) * | 2022-09-16 | 2023-01-31 | 中山大学 | 一种新型像素电路及降噪方法 |
-
2022
- 2022-01-11 CN CN202210026589.7A patent/CN114390224B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005217471A (ja) * | 2004-01-27 | 2005-08-11 | Victor Co Of Japan Ltd | Cmosイメージセンサ差分信号検出回路 |
CN102047563A (zh) * | 2008-06-06 | 2011-05-04 | 索尼公司 | 固体摄像装置、成像装置、电子设备、ad转换器及ad转换方法 |
US20100277622A1 (en) * | 2009-04-29 | 2010-11-04 | Samsung Electronics Co., Ltd. | Image sensor including noise removing unit, image pickup device having the image sensor, and image sensing method performed in the image sensor |
KR20120003313A (ko) * | 2010-07-02 | 2012-01-10 | 삼성전자주식회사 | 상관 이중 샘플링 회로 및 이를 포함하는 이미지 센서 |
US20150358562A1 (en) * | 2014-06-09 | 2015-12-10 | Kabushiki Kaisha Toshiba | Solid-state imaging device |
CN111201715A (zh) * | 2017-10-11 | 2020-05-26 | 科技创意有限公司 | 时域a/d转换器组以及使用该时域a/d转换器的传感器装置 |
CN111541453A (zh) * | 2017-10-11 | 2020-08-14 | 科技创意有限公司 | 时域a/d转换器组 |
CN111556266A (zh) * | 2020-04-26 | 2020-08-18 | 西安交通大学 | 一种基于背照式图像传感器的高动态范围读出电路 |
CN115665574A (zh) * | 2022-09-16 | 2023-01-31 | 中山大学 | 一种新型像素电路及降噪方法 |
Non-Patent Citations (1)
Title |
---|
白俊奇;陈钱;钱惟贤;: "红外凝视成像系统中的CDS噪声抑制技术", no. 07 * |
Also Published As
Publication number | Publication date |
---|---|
CN114390224B (zh) | 2023-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1477018B1 (en) | Image sensor with interleaved image output | |
US6563540B2 (en) | Light sensor with increased dynamic range | |
US9247162B2 (en) | System and method for digital correlated double sampling in an image sensor | |
US8054357B2 (en) | Image sensor with time overlapping image output | |
US8111309B2 (en) | Solid-state image pickup device and signal processing method using solid-state image pickup device | |
US11665446B2 (en) | Image sensing system and operating method thereof | |
KR20160145217A (ko) | 카운팅 회로, 그 카운팅 회로를 포함하는 이미지 센싱 장치 및 그 이미지 센싱 장치의 리드아웃 방법 | |
CN114390224B (zh) | 一种适用于图像传感器的均值减噪快速处理电路及方法 | |
Kim | Wide dynamic range technologies: For mobile imaging sensor systems | |
CN115396609A (zh) | 信号处理装置及电子设备 | |
CN101662593B (zh) | 图像摄取装置和图像摄取方法 | |
JP2019526991A (ja) | ハイダイナミックレンジ・デジタル二重サンプリング用のシステムおよび方法 | |
Peizerat et al. | A 120dB DR and 5µm pixel pitch imager based on local integration time adaptation | |
US20080151085A1 (en) | system with a random number generator used to remove contouring in cmos imager data having an extended dynamic range | |
JP4340803B2 (ja) | 欠陥感光画素からの誤った画像信号を補正するためのシステム及び方法 | |
CN106982336B (zh) | 在具有管线架构的图像传感器中实施动态接地共享的方法及图像传感器 | |
JP3711016B2 (ja) | 改良型リセットを有するアクティブピクセルセンサ | |
US11503237B2 (en) | Solid state imaging device capable of acquiring a desired image without using a frame memory, imaging apparatus, and imaging method | |
WO2024140724A1 (zh) | 图像传感器、摄像头模组及电子设备 | |
WO2024140873A1 (zh) | 图像传感器、传感器架构、摄像模组及电子设备 | |
CN116055905A (zh) | 图像传感器、摄像模组及电子设备 | |
US20230209226A1 (en) | Image Sensors with On-Chip ADC Data Compression for Multi-Bit Electron-Number Outputs | |
KR20240112303A (ko) | 다중 비트 전자수 출력들을 위한 온 칩 adc 데이터 압축을 갖는 이미지 센서들 | |
CN115118895A (zh) | 一种视觉系统 | |
CN117956291A (zh) | 亮度变化检测装置及方法、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |