CN104376534A - Cmos图像传感器合并的低功耗实时降噪锐化预处理算法 - Google Patents
Cmos图像传感器合并的低功耗实时降噪锐化预处理算法 Download PDFInfo
- Publication number
- CN104376534A CN104376534A CN201410550745.5A CN201410550745A CN104376534A CN 104376534 A CN104376534 A CN 104376534A CN 201410550745 A CN201410550745 A CN 201410550745A CN 104376534 A CN104376534 A CN 104376534A
- Authority
- CN
- China
- Prior art keywords
- value
- pixel
- sharpening
- current
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
为解决现有技术CMOS图像传感器图像预处理方法存在的将去噪和锐化算法分开执行,算法复杂度较高,不利于节省硬件资源和减少总体功耗等问题,本发明提出一种CMOS图像传感器合并的低功耗实时降噪锐化预处理算法,采用彩色滤波阵列CFA把输入的光信号分为红绿蓝RGB三基色,即RGB三种像素;采用片上分块分类型存取数据的方式进行数据缓存,采用空间自适应降噪算法降低RGB像素的噪声,将拉普拉斯算子和平滑算子结合起来生成一个新的算子模板并以此对G像素进行锐化处理。本发明的有益技术效果是将降噪和锐化过程合并在一起,大大降低了复杂程度、硬件开销和总体功耗,降低了硬件设计难度并提高了处理速度,且性能较好,利于实现。
Description
发明领域
本发明涉及数字图像处理领域,尤其涉及一种CMOS图像传感器合并的低功耗实时降噪锐化预处理算法。
背景技术
目前的单片彩色CMOS图像传感器采用彩色滤波器阵列CFA进行数字图像处理,彩色滤波阵列CFA把输入光信号分为红绿蓝RGB三基色,再对三基色彩色信息进行必要的片上图像预处理,就可以得到色彩逼真的彩色图像。一般情况下,CMOS图像传感器经过CFA阵列感光后,将光信号通过像素单元转化为电信号,然后,经过一系列的模拟信号处理通路(包括相关双采样CDS、信号放大、增益调节和模数转换等)处理,不可避免得会在像素阵列中产生噪声,同时,由于CMOS器件感应外界光源时暗电流所造成的随机噪声,都会对图像的质量产生很大影响。因此,必须在进行数据图像处理之前将图像的噪声进行抑制处理,尤其需要在彩色图像的插补算法以前进行消噪,否则,噪声的影响会扩大到一个区域,使后续的图像处理算法失效。
另外,图像的能量主要集中在低频部分,而噪声主要在高频段,同时图像边缘信息也主要集中在其高频部分。这将导致原始图像在平滑处理之后,出现图像边缘和轮廓的模糊。为了减少这类不利效果的影响,就需要利用图像锐化技术使图像的边缘变得清晰。从频率域来考虑,图像模糊的实质是因为其高频分量被衰减,可以用高通滤波器来使图像清晰,但进行锐化处理的图像必须有较高的性噪比,否则,锐化后图像性噪比反而更低,从而使得噪声增加的比信号还要多。因此,需要先去除或减轻噪声后再进行锐化处理。
现有技术CMOS图像传感器图像预处理方法将去噪和锐化算法分开执行,尽管其去噪和锐化效果较好,但算法复杂度较高,不利于节省硬件资源和减少总体功耗。同时,由于CMOS图像传感器的片上硬件资源有限,不允许使用复杂度较高的算法。
显然,现有技术CMOS图像传感器图像预处理方法存在着将去噪和锐化算法分开执行,算法复杂度较高,不利于节省硬件资源和减少总体功耗等问题。
发明内容
为解决现有技术CMOS图像传感器图像预处理方法存在的将去噪和锐化算法分开执行,算法复杂度较高,不利于节省硬件资源和减少总体功耗等问题,本发明提出一种CMOS图像 传感器合并的低功耗实时降噪锐化预处理算法。本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理算法,采用彩色滤波阵列CFA把输入的光信号分为红绿蓝RGB三基色,即RGB三种像素;采用片上分块分类型存取数据的方式进行数据缓存,采用空间自适应降噪算法降低RGB像素的噪声,将拉普拉斯算子和平滑算子结合起来生成一个新的算子模板并以此对G像素进行锐化处理。
进一步的,本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理算法,所述采用片上分块分类型存取数据的方式进行数据缓存,包括,将Bayer数据的RG或者GB两种行数据分别进行存储和读取,并且,奇偶列的数据分别存储在相应的奇偶编号存储器;数据读出时,存储器中由低地址码到高地址码依次并行输出,并根据算法需求具有可选择性;在数据读出的同时,新存储的Bayer数据依次串行分类型写入低地址码奇偶编号存储器并刷新原有的旧数据;依次类推,完直至成读写缓存过程。
进一步的,本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理算法,所述采用空间自适应降噪算法降低RGB像素的噪声,包括以下步骤;
S301、取RGB三基色中任一类型像素的任一像素点作为中心像素点,并将其与近邻空间的同类型周围像素点进行比较,得到最大值和最小值;其中,R或B像素取与中心像素点有最近邻空间关系的R或B像素点作为周围像素点,G像素取与中心像素点有次近邻空间关系的G像素点作为周围像素点;
S302、设置噪声阈值,所述噪声阈值主要由曝光增益和曝光时间来确定,其经验算法为:噪声阈值=40-曝光增益+曝光时间;针对不同帧像素阵列,该噪声阈值是不同的,但对于同一帧像素阵列的每个像素,该阈值是相同的;
S303、根据当前中心像素值和噪声阈值与最大值和最小值的关系,通过比较判断,将最大值或最小值赋给当前中心像素点;
S304、选择下一像素点作为中心像素点,重复执行步骤S301至S303,直至完成该类型所有像素点的降噪处理;
S305、针对另外二个类型的像素,重复执行步骤S301至S304,直至完成一帧图像数据的降噪处理。
进一步的,本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理算法,所述根据当前中心像素值和噪声阈值与最大值和最小值的关系,通过比较判断,将最大值或最小值赋给当前中心像素点,包括:
如果当前中心像素值小于最小值和降噪阈值的差,则将最小值赋给当前中心像素值,
如果当前中心像素值大于最大值和降噪阈值的和,则将最大值赋给当前中心像素值,
如果当前中心像素值介于最小值与降噪阈值差与最大值与降噪阈值的和之间,则保持当前中心像素值不变。
进一步的,本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理算法,将拉普拉斯算子和平滑算子结合起来生成一个新的算子模板并以此对G像素进行锐化处理,包括以下步骤:
S401、将拉普拉斯算子和平滑算子结合起来生成一个新的算子模板,即:
S402、设当前需要处理的像素为Gi,j,则对应的周围最近邻的同类型像素阵列为 设锐化因子为b,则锐化处理后的当前像素点的值为Y=(H×G+Gi,j)/2b;式中,Y为锐化处理后的当前像素点的像素值,H为新的算子模板,b为锐化因子,该锐化因子为经验正数值,其数值大小取决于锐化效果,增大该因子可以使锐化效果更为明显,对于整帧的所有像素,取值是相同的;
S403、确定整帧所有像素中的最大值,该最大值等于2像素位数-1;
S404、如果锐化过的当前像素点的Y值小于最大值,则保持当前像素点为Y值;如果锐化过的当前像素点的Y值大于最大值,则将当前像素点的Y值赋值为最大值;如果锐化过的当前像素点的Y值小于0,则就将当前像素点的Y值赋值为0;
S405、重复执行步骤S402至S404,直至完成一帧图像数据G像素的锐化处理。
进一步的,本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理算法,包括以下步骤:
S1、采用彩色滤波阵列CFA把输入的光信号分为红绿蓝RGB三基色,即RGB三种像素;
S2、采用片上分块分类型存取数据的方式进行数据缓存,即将Bayer数据的RG或者GB两种行数据分别进行存储和读取,并且,奇偶列的数据分别存储在相应的奇偶编号存储器;数据读出时,存储器中由低地址码到高地址码依次并行输出,并根据需求选择性输出R、G和B数据;在数据读出的同时,新存储的Bayer数据依次串行分类型写入低地址码奇偶编号存储器并刷新原有的旧数据;依次类推,完直至成读写缓存过程;
S3、采用空间自适应降噪算法降低RGB像素的噪声,包括:
S301、取RGB三基色中任一类型像素的任一像素点作为中心像素点,并将其与近邻空间 的同类型周围像素点进行比较,得到最大值和最小值;其中,R或B像素取与中心像素点有最近邻空间关系的R或B像素点作为周围像素点,G像素取与中心像素点有次近邻空间关系的G像素点作为周围像素点;
S302、设置噪声阈值,所述噪声阈值主要由曝光增益和曝光时间来确定,其经验算法为:噪声阈值=40-曝光增益+曝光时间;针对不同帧像素阵列,该噪声阈值是不同的,但对于同一帧像素阵列的每个像素,该阈值是相同的;
S303、根据当前中心像素值和噪声阈值与最大值和最小值的关系,通过比较判断,将最大值或最小值赋给当前中心像素点;包括:
如果当前中心像素值小于最小值和降噪阈值的差,则将最小值赋给当前中心像素值,
如果当前中心像素值大于最大值和降噪阈值的和,则将最大值赋给当前中心像素值,
如果当前中心像素值介于最小值与降噪阈值差与最大值与降噪阈值的和之间,则保持当前中心像素值不变;
S304、选择下一像素点作为中心像素点,重复执行步骤S301至303,直至完成该类型所有像素点的降噪处理;
S305、针对另外二个类型的像素,重复执行步骤S301至S304,直至完成一帧图像数据的降噪处理;
S4、将拉普拉斯算子和平滑算子结合起来生成一个新的算子模板并以此对G像素进行锐化处理,包括以下步骤:
S401、将拉普拉斯算子和平滑算子结合起来生成一个新的算子模板,即:
S402、设当前需要处理的像素为Gi,j,则对应的周围最近邻的同类型像素阵列为 设锐化因子为b,则锐化处理后的当前像素点的值为Y=(H×G+Gi,j)/2b;式中,Y为锐化处理后的当前像素点的像素值,H为新的算子模板,b为锐化因子,该锐化因子为经验正数值,其数值大小取决于锐化效果,增大该因子可以使锐化效果更为明显,对于整帧的所有像素,取值是相同的;
S403、确定整帧所有像素中的最大值,该最大值等于2像素位数-1;
S404、如果锐化过的当前像素点的Y值小于最大值,则保持当前像素点为Y值;如果锐 化过的当前像素点的Y值大于最大值,则将当前像素点的Y值赋值为最大值;如果锐化过的当前像素点的Y值小于0,则就将当前像素点的Y值赋值为0;
S405、重复执行步骤S402至S404,直至完成一帧图像数据G像素的锐化处理;
S5、输出经降噪和锐化后的图像数据,完成一帧图像数据的预处理。
本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理算法的有益技术效果是将降噪和锐化过程合并在一起,大大降低了复杂程度、硬件开销和总体功耗,降低了硬件设计难度并提高了处理速度,且性能较好,利于实现。
附图说明
附图1是彩色滤波阵列CFA图像的Bayer模型图;
附图2是Bayer数据载入半深度存储器过程的示意图;
附图3是本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理算法的步骤示意图。
下面结合附图及具体实施例对本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理算法作进一步的说明。
具体实施方式
附图1是彩色滤波阵列CFA图像的Bayer模型图,附图2是Bayer数据载入半深度存储器过程的示意图。由图可知,本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理算法,采用彩色滤波阵列CFA把输入的光信号分为红绿蓝RGB三基色,即RGB三种像素;采用片上分块分类型存取数据的方式进行数据缓存,采用空间自适应降噪算法降低RGB像素的噪声,将拉普拉斯算子和平滑算子结合起来生成一个新的算子模板并以此对G像素进行锐化处理。
所述采用片上分块分类型存取数据的方式进行数据缓存,包括,将Bayer数据的RG或者GB两种行数据分别进行存储和读取,并且,奇偶列的数据分别存储在相应的奇偶编号存储器;数据读出时,存储器中由低地址码到高地址码依次并行输出,并根据需求选择性输出R、G和B数据;在数据读出的同时,新存储的Bayer数据依次串行分类型写入低地址码奇偶编号存储器并刷新原有的旧数据;依次类推,完直至成读写缓存过程。以附图1、2所示为例。根据CMOS图像传感器数字处理部分的芯片面积和数据处理性能要求,针对一帧M(行)×N(列)阵列的Bayer数据,为了实现后续图像的预处理,必须缓存n(n≤M)行数据,如附图2所示,采用了将Bayer模型的RG或者GB两种行数据分开存取的思想进行了数据的缓存,并缓存了4行数据用于后面图像的预处理。即:
S101、将4行数据全部存入8个半深度(二分之一行深度)存储器并且奇偶列的数据分 别存在相应的奇偶编号存储器;
S102、在时钟CLK控制下,开始从8个半深度存储器中由低地址码到高地址码依次并行输出,并根据需求选择性输出R、G和B数据;
S103、在数据开始读出的同时,第5行新的Bayer数据依次串行分类型写入前两个奇偶编号存储器,刷新原有的旧数据,依次类推,完成读写缓存过程。
本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理算法,所述采用空间自适应降噪算法降低RGB像素的噪声,包括以下步骤;
S301、取RGB三基色中任一类型像素的任一像素点作为中心像素点,并将其与近邻空间的同类型周围像素点进行比较,得到最大值和最小值;其中,R或B像素取与中心像素点有最近邻空间关系的R或B像素点作为周围像素点,G像素取与中心像素点有次近邻空间关系的G像素点作为周围像素点;
S302、设置噪声阈值,所述噪声阈值主要由曝光增益和曝光时间来确定,其经验算法为:噪声阈值=40-曝光增益+曝光时间;针对不同帧像素阵列,该噪声阈值是不同的,但对于同一帧像素阵列的每个像素,该阈值是相同的;
S303、根据当前中心像素值和噪声阈值与最大值和最小值的关系,通过比较判断,将最大值或最小值赋给当前中心像素点;
S304、选择下一像素点作为中心像素点,重复执行步骤S301至S303,直至完成该类型所有像素点的降噪处理;
S305、针对另外二个类型的像素,重复执行步骤S301至S304,直至完成一帧图像数据的降噪处理。
本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理算法,通过比较判断,将最大值或最小值赋给当前中心像素点,使得该像素点和周围像素点的数值差别不大,这样就降低了当前像素点的噪声并对其有平滑作用。如果当前像素点为坏点,通过该算法的处理可以校正当前坏像素点,这就是空间自适应降噪算法。其中,所述根据当前中心像素值和噪声阈值与最大值和最小值的关系,通过比较判断,将最大值或最小值赋给当前中心像素点,包括:如果当前中心像素值小于最小值和降噪阈值的差,则将最小值赋给当前中心像素值,如果当前中心像素值大于最大值和降噪阈值的和,则将最大值赋给当前中心像素值;如果当前中心像素值介于最小值与降噪阈值差与最大值与降噪阈值的和之间,则保持当前中心像素值不变。
以R33为当前中心像素点为例,选取具有最近邻空间关系的3×3阵列像素实现算法处理,需要R11、R13、R15、R31、R35、R51、R53和R55这8个周围最近邻像素进行比较,即: 设置降噪阈值为a,用当前的R33像素同周围8个R像素分别进行大小比较,得到最大值和最小值。如果当前像素值小于最小值和降噪阈值的差,则将最小值赋给R33像素值;如果R33像素值大于最大值和降噪阈值的和,则将最大值赋给R33像素值;如果R33像素值介于最小值与降噪阈值差与最大值与降噪阈值的和之间,则保持R33像素值不变。
同理,对于B像素,取其最近邻空间关系的3×3像素阵列为 而对于G像素,需要选择其次近邻空间关系的3×3像素阵列 再利用当前像素值与最大值或最小值和降噪阈值进行比较,最终得到经过降噪处理后的像素值,整个处理过程对RGB三基色的坏点像素进行了校正并对像素点起平滑作用,其他有效像素点周围阵列的选取和处理过程与前面所述过程类似。
经过降噪处理后,图像保持较高信噪比。但由于图像的降噪处理具有平滑像素点的作用,使得当前像素点与周围同类型像素点差别不大,这就导致图像的边缘和轮廓出现模糊。因此,要在降噪的同时对当前像素点进行锐化处理,使得图像的边缘或线条细节变得清楚。但由于拉普拉斯算子在图像中的某些边缘产生双重效应,故本发明把拉普拉斯算子和平滑算子结合起来生成一个新的算子模板,并以此对G像素进行锐化处理。由于Bayer三基色中G像素是R或者B像素的两倍,故为了满足低功耗要求和节省硬件资源,本发明只对Bayer图像中的关键像素G进行了锐化处理。
本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理算法,将拉普拉斯算子和平滑算子结合起来生成一个新的算子模板并以此对G像素进行锐化处理,包括以下步骤:
S401、将拉普拉斯算子和平滑算子结合起来生成一个新的算子模板,即:
S402、设当前需要处理的像素为Gi,j,则对应的周围最近邻的同类型像素阵列为 设锐化因子为b,则锐化处理后的当前像素点的值为 Y=(H×G+Gi,j)/2b;式中,Y为锐化处理后的当前像素点的像素值,H为新的算子模板,b为锐化因子,该锐化因子为经验正数值,其数值大小取决于锐化效果,增大该因子可以使锐化效果更为明显,对于整帧的所有像素,取值是相同的;
S403、确定整帧所有像素中的最大值,该最大值等于2像素位数-1;
S404、如果锐化过的当前像素点的Y值小于最大值,则保持当前像素点为Y值;如果锐化过的当前像素点的Y值大于最大值,则将当前像素点的Y值赋值为最大值;如果锐化过的当前像素点的Y值小于0,则就将当前像素点的Y值赋值为0;
S405、重复执行步骤S402至S404,直至完成一帧图像数据G像素的锐化处理。
以附图1所示彩色滤波阵列CFA图像的Bayer模型图,若当前需要处理的像素为G23,对应的周围最近邻的3×3像素阵列为 同时选取 为了调节锐化效果,这里设置锐化因子b,锐化过的G23像素点的像素值Y=(H×G+G23)/2b,即:Y=[4×G23—(R13+R33+B22+B24)+G23]/2b,当b值越大,锐化效果越明显。同时,根据公式2像素位数-1确定所有像素的最大值,并将G23像素点的像素值Y与最大值进行比较。如果Y值小于最大值,则保持G23像素点像素值不变;如果Y值大于最大值,则将G23像素点的Y值赋值为最大值;如果Y值小于0,则将G23像素点的Y值赋值为0。其他有效G像素点周围阵列的选取和处理过程与前面所述过程类似。
为了对第一行和最后一行的有效像素类型RG以及第一列和最后一列的有效像素类型RG进行降噪和锐化处理,需要完整确定第一行和最后一行以及第一列和最后一列有效像素的最近邻空间像素阵列G或次近邻空间像素阵列B或者R,需要在CMOS图像传感器整个有效像素阵列的周围多加入的两行和两列(以附图1为例),即在整个像素阵列的周围添加多余的两行和两列像素用于近邻空间的选择。
附图3是本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理算法的步骤示意图,由图可知,本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理算法,包括以下步骤:
S1、采用彩色滤波阵列CFA把输入的光信号分为红绿蓝RGB三基色,即RGB三种像素;
S2、采用片上分块分类型存取数据的方式进行数据缓存,即将Bayer数据的RG或者GB两种行数据分别进行存储和读取,并且,奇偶列的数据分别存储在相应的奇偶编号存储器;数据读出时,存储器中由低地址码到高地址码依次并行输出,并根据算法需求具有可选择性;在数据读出的同时,新存储的Bayer数据依次串行分类型写入低地址码奇偶编号存储器并刷 新原有的旧数据;依次类推,完直至成读写缓存过程;
S3、采用空间自适应降噪算法降低RGB像素的噪声,包括:
S301、取RGB三基色中任一类型像素的任一像素点作为中心像素点,并将其与近邻空间的同类型周围像素点进行比较,得到最大值和最小值;其中,R或B像素取与中心像素点有最近邻空间关系的R或B像素点作为周围像素点,G像素取与中心像素点有次近邻空间关系的G像素点作为周围像素点;
S302、设置噪声阈值,所述噪声阈值主要由曝光增益和曝光时间来确定,其经验算法为:噪声阈值=40-曝光增益+曝光时间;针对不同帧像素阵列,该噪声阈值是不同的,但对于同一帧像素阵列的每个像素,该阈值是相同的;
S303、根据当前中心像素值和噪声阈值与最大值和最小值的关系,通过比较判断,将最大值或最小值赋给当前中心像素点;包括:
如果当前中心像素值小于最小值和降噪阈值的差,则将最小值赋给当前中心像素值,
如果当前中心像素值大于最大值和降噪阈值的和,则将最大值赋给当前中心像素值,
果当前中心像素值介于最小值与降噪阈值差与最大值与降噪阈值的和之间,则保持当前中心像素值不变;
S304、选择下一像素点作为中心像素点,重复执行步骤S301至S303,直至完成该类型所有像素点的降噪处理;
S305、针对另外二个类型的像素,重复执行步骤S301至S304,直至完成一帧图像数据的降噪处理;
S4、将拉普拉斯算子和平滑算子结合起来生成一个新的算子模板并以此对G像素进行锐化处理,包括以下步骤:
S401、将拉普拉斯算子和平滑算子结合起来生成一个新的算子模板,即:
S402、设当前需要处理的像素为Gi,j,则对应的周围最近邻的同类型像素阵列为 设锐化因子为b,则锐化处理后的当前像素点的值为Y=(H×G+Gi,j)/2b;式中,Y为锐化处理后的当前像素点的像素值,H为新的算子模板,b为锐化因子,该锐化因子为经验正数值,其数值大小取决于锐化效果,增大该因子可以使锐 化效果更为明显,对于整帧的所有像素,取值是相同的;
S403、确定整帧所有像素中的最大值,该最大值等于2像素位数-1;
S404、如果锐化过的当前像素点的Y值小于最大值,则保持当前像素点为Y值;如果锐化过的当前像素点的Y值大于最大值,则将当前像素点的Y值赋值为最大值;如果锐化过的当前像素点的Y值小于0,则就将当前像素点的Y值赋值为0;
S405、重复执行步骤S402至S404,直至完成一帧图像数据G像素的锐化处理;
S5、输出经降噪和锐化后的图像数据,完成一帧图像数据的预处理。
为了节省硬件资源,降低芯片功耗,本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理算法将G像素和BR像素的降噪和锐化处理过程合并在一起进行,可实时从缓存器中读取相应的像素类型来完成处理过程。当对有效G像素进行降噪和锐化处理时,先从存储器中读取当前像素G的次近邻像素阵列进行降噪处理,然后读取当前像素G的最近邻像素阵列进行锐化处理,而B和R只进行降噪处理,故只需从存储器中读取其周围最近邻的像素阵列进行处理。
虽然本发明已以较佳实施例披露如上,但是本发明能够以很多不同于在此描述的其它方式来实施,因此本发明不受上述公开的具体实施例的限制,任何采用本发明的方法构思和技术方案进行的各种改进,或者未经改进直接应用于其它场合的,均在本发明的保护范围之内。
显然,本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理算法的有益技术效果是将降噪和锐化过程合并在一起,大大降低了复杂程度、硬件开销和总体功耗,降低了硬件设计难度并提高了处理速度,且性能较好,利于实现。
Claims (6)
1.一种CMOS图像传感器合并的低功耗实时降噪锐化预处理算法,其特征在于,采用彩色滤波阵列CFA把输入的光信号分为红绿蓝RGB三基色,即RGB三种像素;采用片上分块分类型存取数据的方式进行数据缓存,采用空间自适应降噪算法降低RGB像素的噪声,将拉普拉斯算子和平滑算子结合起来生成一个新的算子模板并以此对G像素进行锐化处理。
2.根据权利要求1所述CMOS图像传感器合并的低功耗实时降噪锐化预处理算法,其特征在于,所述采用片上分块分类型存取数据的方式进行数据缓存,包括,将Bayer数据的RG或者GB两种行数据分别进行存储和读取,并且,奇偶列的数据分别存储在相应的奇偶编号存储器;数据读出时,存储器中由低地址码到高地址码依次并行输出,并根据算法需求具有可选择性;在数据读出的同时,新存储的Bayer数据依次串行分类型写入低地址码奇偶编号存储器并刷新原有的旧数据;依次类推,完直至成读写缓存过程。
3.根据权利要求1所述CMOS图像传感器合并的低功耗实时降噪锐化预处理算法,其特征在于,所述采用空间自适应降噪算法降低RGB像素的噪声,包括以下步骤;
S301、取RGB三基色中任一类型像素的任一像素点作为中心像素点,并将其与近邻空间的同类型周围像素点进行比较,得到最大值和最小值;其中,R或B像素取与中心像素点有最近邻空间关系的R或B像素点作为周围像素点,G像素取与中心像素点有次近邻空间关系的G像素点作为周围像素点;
S302、设置噪声阈值,所述噪声阈值主要由曝光增益和曝光时间来确定,其经验算法为:噪声阈值 = 40-曝光增益+曝光时间;针对不同帧像素阵列,该噪声阈值是不同的,但对于同一帧像素阵列的每个像素,该阈值是相同的;
S303、根据当前中心像素值和噪声阈值与最大值和最小值的关系,通过比较判断,将最大值或最小值赋给当前中心像素点;
S304、选择下一像素点作为中心像素点,重复执行步骤S301至S303,直至完成该类型所有像素点的降噪处理;
S305、针对另外二个类型的像素,重复执行步骤S301至S304,直至完成一帧图像数据的降噪处理。
4.根据权利要求3所述CMOS图像传感器合并的低功耗实时降噪锐化预处理算法,其特征在于,所述根据当前中心像素值和噪声阈值与最大值和最小值的关系,通过比较判断,将最大值或最小值赋给当前中心像素点,包括:
如果当前中心像素值小于最小值和降噪阈值的差,则将最小值赋给当前中心像素值,
如果当前中心像素值大于最大值和降噪阈值的和,则将最大值赋给当前中心像素值,
如果当前中心像素值介于最小值与降噪阈值差与最大值与降噪阈值的和之间,则保持当前中心像素值不变。
5.根据权利要求1所述CMOS图像传感器合并的低功耗实时降噪锐化预处理算法,其特征在于,将拉普拉斯算子和平滑算子结合起来生成一个新的算子模板并以此对G像素进行锐化处理,包括以下步骤:
S401、将拉普拉斯算子和平滑算子结合起来生成一个新的算子模板,即:
或 ,
S402、设当前需要处理的像素为,则对应的周围最近邻的同类型像素阵列为
,设锐化因子为b,则锐化处理后的当前像素点的值为
;
式中,Y为锐化处理后的当前像素点的像素值,H为新的算子模板,b为锐化因子,该锐化因子为经验正数值,其数值大小取决于锐化效果,增大该因子可以使锐化效果更为明显,对于整帧的所有像素,取值是相同的;
S403、确定整帧所有像素中的最大值,该最大值等于2像素位数-1;
S404、如果锐化过的当前像素点的Y值小于最大值,则保持当前像素点为Y值;如果锐化过的当前像素点的Y值大于最大值,则将当前像素点的Y值赋值为最大值;如果锐化过的当前像素点的Y值小于0,则就将当前像素点的Y值赋值为0;
S405、重复执行步骤S402至S404,直至完成一帧图像数据G像素的锐化处理。
6.根据权利要求1所述CMOS图像传感器合并的低功耗实时降噪锐化预处理算法,其特征在于,该预处理算法包括以下步骤:
S1、采用彩色滤波阵列CFA把输入的光信号分为红绿蓝RGB三基色,即RGB三种像素;
S2、采用片上分块分类型存取数据的方式进行数据缓存,即将Bayer数据的RG或者GB两种行数据分别进行存储和读取,并且,奇偶列的数据分别存储在相应的奇偶编号存储器;数据读出时,存储器中由低地址码到高地址码依次并行输出,并根据需求选择性输出R、G和B数据;在数据读出的同时,新存储的Bayer数据依次串行分类型写入低地址码奇偶编号存储器并刷新原有的旧数据;依次类推,完直至成读写缓存过程;
S3、采用空间自适应降噪算法降低RGB像素的噪声,包括:
S301、取RGB三基色中任一类型像素的任一像素点作为中心像素点,并将其与近邻空间的同类型周围像素点进行比较,得到最大值和最小值;其中,R或B像素取与中心像素点有最近邻空间关系的R或B像素点作为周围像素点,G像素取与中心像素点有次近邻空间关系的G像素点作为周围像素点;
S302、设置噪声阈值,所述噪声阈值主要由曝光增益和曝光时间来确定,其经验算法为:噪声阈值 = 40-曝光增益+曝光时间;针对不同帧像素阵列,该噪声阈值是不同的,但对于同一帧像素阵列的每个像素,该阈值是相同的;
S303、根据当前中心像素值和噪声阈值与最大值和最小值的关系,通过比较判断,将最大值或最小值赋给当前中心像素点;包括:
如果当前中心像素值小于最小值和降噪阈值的差,则将最小值赋给当前中心像素值,
如果当前中心像素值大于最大值和降噪阈值的和,则将最大值赋给当前中心像素值,
如果当前中心像素值介于最小值与降噪阈值差与最大值与降噪阈值的和之间,则保持当前中心像素值不变;
S304、选择下一像素点作为中心像素点,重复执行步骤S301至303,直至完成该类型所有像素点的降噪处理;
S305、针对另外二个类型的像素,重复执行步骤S301至S304,直至完成一帧图像数据的降噪处理;
S4、将拉普拉斯算子和平滑算子结合起来生成一个新的算子模板并以此对G像素进行锐化处理,包括以下步骤:
S401、将拉普拉斯算子和平滑算子结合起来生成一个新的算子模板,即:
或 ,
S402、设当前需要处理的像素为,则对应的周围最近邻的同类型像素阵列为
,设锐化因子为b,则锐化处理后的当前像素点的值为
,
式中,Y为锐化处理后的当前像素点的像素值,H为新的算子模板,b为锐化因子,该锐化因子为经验正数值,其数值大小取决于锐化效果,增大该因子可以使锐化效果更为明显,对于整帧的所有像素,取值是相同的;
S403、确定整帧所有像素中的最大值,该最大值等于2像素位数-1;
S404、如果锐化过的当前像素点的Y值小于最大值,则保持当前像素点为Y值;如果锐化过的当前像素点的Y值大于最大值,则将当前像素点的Y值赋值为最大值;如果锐化过的当前像素点的Y值小于0,则就将当前像素点的Y值赋值为0;
S405、重复执行步骤S402至S404,直至完成一帧图像数据G像素的锐化处理;
S5、输出经降噪和锐化后的图像数据,完成一帧图像数据的预处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410550745.5A CN104376534B (zh) | 2014-10-17 | 2014-10-17 | Cmos图像传感器合并的低功耗实时降噪锐化预处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410550745.5A CN104376534B (zh) | 2014-10-17 | 2014-10-17 | Cmos图像传感器合并的低功耗实时降噪锐化预处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104376534A true CN104376534A (zh) | 2015-02-25 |
CN104376534B CN104376534B (zh) | 2017-05-24 |
Family
ID=52555425
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410550745.5A Active CN104376534B (zh) | 2014-10-17 | 2014-10-17 | Cmos图像传感器合并的低功耗实时降噪锐化预处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104376534B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105260991A (zh) * | 2015-09-29 | 2016-01-20 | 中国电子科技集团公司第四十四研究所 | 用于cmos图像传感器降噪处理的自适应混合降噪方法 |
CN106504281A (zh) * | 2016-12-02 | 2017-03-15 | 中国电子科技集团公司第四十四研究所 | 应用于cmos图像传感器的图像画质增强和滤波方法 |
CN109426599A (zh) * | 2017-08-24 | 2019-03-05 | 财团法人工业技术研究院 | 功率估算方法与功率估算装置 |
CN109445527A (zh) * | 2018-12-21 | 2019-03-08 | 李银花 | 平板电脑数据转存系统 |
CN109712086A (zh) * | 2018-12-11 | 2019-05-03 | 上海集成电路研发中心有限公司 | 一种高效的cmos图像传感器片上去噪算法 |
CN111724326A (zh) * | 2020-06-28 | 2020-09-29 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007130503A2 (en) * | 2006-05-05 | 2007-11-15 | Micron Technology, Inc. | Method and apparatus providing adaptive noise suppression |
CN101227621A (zh) * | 2008-01-25 | 2008-07-23 | 炬力集成电路设计有限公司 | 在cmos传感器中对cfa进行插值的方法及电路 |
US20100067821A1 (en) * | 2008-09-18 | 2010-03-18 | Sony Corporation And Sony Electronics Inc. | System and method for denoising using signal dependent adaptive weights |
CN103327220A (zh) * | 2013-05-29 | 2013-09-25 | 山西绿色光电产业科学技术研究院(有限公司) | 低照度Bayer图像上以绿色通道为导向的去噪方法 |
CN104065937A (zh) * | 2014-06-20 | 2014-09-24 | 中国电子科技集团公司第四十四研究所 | 用于cmos图像传感器的实时高速图像预处理方法 |
-
2014
- 2014-10-17 CN CN201410550745.5A patent/CN104376534B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007130503A2 (en) * | 2006-05-05 | 2007-11-15 | Micron Technology, Inc. | Method and apparatus providing adaptive noise suppression |
WO2007130503A3 (en) * | 2006-05-05 | 2008-03-06 | Micron Technology Inc | Method and apparatus providing adaptive noise suppression |
CN101227621A (zh) * | 2008-01-25 | 2008-07-23 | 炬力集成电路设计有限公司 | 在cmos传感器中对cfa进行插值的方法及电路 |
US20100067821A1 (en) * | 2008-09-18 | 2010-03-18 | Sony Corporation And Sony Electronics Inc. | System and method for denoising using signal dependent adaptive weights |
CN103327220A (zh) * | 2013-05-29 | 2013-09-25 | 山西绿色光电产业科学技术研究院(有限公司) | 低照度Bayer图像上以绿色通道为导向的去噪方法 |
CN104065937A (zh) * | 2014-06-20 | 2014-09-24 | 中国电子科技集团公司第四十四研究所 | 用于cmos图像传感器的实时高速图像预处理方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105260991A (zh) * | 2015-09-29 | 2016-01-20 | 中国电子科技集团公司第四十四研究所 | 用于cmos图像传感器降噪处理的自适应混合降噪方法 |
CN105260991B (zh) * | 2015-09-29 | 2017-10-03 | 中国电子科技集团公司第四十四研究所 | 用于cmos图像传感器降噪处理的自适应混合降噪方法 |
CN106504281A (zh) * | 2016-12-02 | 2017-03-15 | 中国电子科技集团公司第四十四研究所 | 应用于cmos图像传感器的图像画质增强和滤波方法 |
CN106504281B (zh) * | 2016-12-02 | 2019-01-22 | 中国电子科技集团公司第四十四研究所 | 应用于cmos图像传感器的图像画质增强和滤波方法 |
CN109426599A (zh) * | 2017-08-24 | 2019-03-05 | 财团法人工业技术研究院 | 功率估算方法与功率估算装置 |
CN109426599B (zh) * | 2017-08-24 | 2022-05-06 | 财团法人工业技术研究院 | 功率估算方法与功率估算装置 |
CN109712086A (zh) * | 2018-12-11 | 2019-05-03 | 上海集成电路研发中心有限公司 | 一种高效的cmos图像传感器片上去噪算法 |
CN109445527A (zh) * | 2018-12-21 | 2019-03-08 | 李银花 | 平板电脑数据转存系统 |
CN109445527B (zh) * | 2018-12-21 | 2019-12-13 | 李银花 | 平板电脑数据转存系统 |
CN111724326A (zh) * | 2020-06-28 | 2020-09-29 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备及存储介质 |
CN111724326B (zh) * | 2020-06-28 | 2023-08-01 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104376534B (zh) | 2017-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104376534A (zh) | Cmos图像传感器合并的低功耗实时降噪锐化预处理算法 | |
US11836951B2 (en) | Image signal processor for processing images | |
JP6649750B2 (ja) | 画像処理装置、画像処理方法 | |
US9747514B2 (en) | Noise filtering and image sharpening utilizing common spatial support | |
CN103327220B (zh) | 低照度Bayer图像上以绿色通道为导向的去噪方法 | |
CN106504281A (zh) | 应用于cmos图像传感器的图像画质增强和滤波方法 | |
US9036047B2 (en) | Apparatus and techniques for image processing | |
CN103679759A (zh) | 图像优化方法以及使用此方法的装置 | |
CN101452573A (zh) | 一种图像边缘增强方法 | |
CN106780417A (zh) | 一种光照不均图像的增强方法及系统 | |
CN103778599A (zh) | 一种图像处理方法及系统 | |
CN111882504A (zh) | 图像中颜色噪声的处理方法、系统、电子设备和存储介质 | |
CN103886565A (zh) | 基于目的性优化及直方图均衡化的夜间彩色图像增强方法 | |
US11074849B2 (en) | Display method, display device, and display | |
CN105809644A (zh) | 图像边缘伪色抑制方法及装置 | |
CN103839245B (zh) | 基于统计规律的Retinex夜间彩色图像增强方法 | |
CN112233019A (zh) | 一种基于自适应高斯核的isp颜色插值方法及装置 | |
CN111340732A (zh) | 一种低照度视频图像增强方法及装置 | |
CN113379609B (zh) | 一种图像处理方法、存储介质及终端设备 | |
US20140055634A1 (en) | Image processing device and method, program, and solid-state imaging device | |
US9094565B2 (en) | Impulse noise removal design for bayer pattern image sensor | |
CN111028181B (zh) | 一种图像增强处理方法、装置、设备及存储介质 | |
CN105260991A (zh) | 用于cmos图像传感器降噪处理的自适应混合降噪方法 | |
CN106780402A (zh) | 基于Bayer格式的图像动态范围扩展方法及装置 | |
CN105704363B (zh) | 图像数据处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |