CN104376534B - Cmos图像传感器合并的低功耗实时降噪锐化预处理方法 - Google Patents

Cmos图像传感器合并的低功耗实时降噪锐化预处理方法 Download PDF

Info

Publication number
CN104376534B
CN104376534B CN201410550745.5A CN201410550745A CN104376534B CN 104376534 B CN104376534 B CN 104376534B CN 201410550745 A CN201410550745 A CN 201410550745A CN 104376534 B CN104376534 B CN 104376534B
Authority
CN
China
Prior art keywords
value
pixel
pixel point
noise
maximum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410550745.5A
Other languages
English (en)
Other versions
CN104376534A (zh
Inventor
李明
吴治军
李梦萄
李毅强
邓光平
任思伟
刘昌举
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 44 Research Institute
Original Assignee
CETC 44 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 44 Research Institute filed Critical CETC 44 Research Institute
Priority to CN201410550745.5A priority Critical patent/CN104376534B/zh
Publication of CN104376534A publication Critical patent/CN104376534A/zh
Application granted granted Critical
Publication of CN104376534B publication Critical patent/CN104376534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

为解决现有技术CMOS图像传感器图像预处理方法存在的将去噪和锐化算法分开执行,算法复杂度较高,不利于节省硬件资源和减少总体功耗等问题,本发明提出一种CMOS图像传感器合并的低功耗实时降噪锐化预处理方法,采用彩色滤波阵列CFA把输入的光信号分为红绿蓝RGB三基色,即RGB三种像素;采用片上分块分类型存取数据的方式进行数据缓存,采用空间自适应降噪算法降低RGB像素的噪声,将拉普拉斯算子作为平滑算子并以此对G像素进行锐化处理。本发明的有益技术效果是将降噪和锐化过程合并在一起,大大降低了复杂程度、硬件开销和总体功耗,降低了硬件设计难度并提高了处理速度,且性能较好,利于实现。

Description

CMOS图像传感器合并的低功耗实时降噪锐化预处理方法
发明领域
本发明涉及数字图像处理领域,尤其涉及一种CMOS图像传感器合并的低功耗实时降噪锐化预处理方法。
背景技术
目前的单片彩色CMOS图像传感器采用彩色滤波器阵列CFA进行数字图像处理,彩色滤波阵列CFA把输入光信号分为红绿蓝RGB三基色,再对三基色彩色信息进行必要的片上图像预处理,就可以得到色彩逼真的彩色图像。一般情况下,CMOS图像传感器经过CFA阵列感光后,将光信号通过像素单元转化为电信号,然后,经过一系列的模拟信号处理通路(包括相关双采样CDS、信号放大、增益调节和模数转换等)处理,不可避免得会在像素阵列中产生噪声,同时,由于CMOS器件感应外界光源时暗电流所造成的随机噪声,都会对图像的质量产生很大影响。因此,必须在进行数据图像处理之前将图像的噪声进行抑制处理,尤其需要在彩色图像的插补算法以前进行消噪,否则,噪声的影响会扩大到一个区域,使后续的图像处理算法失效。
另外,图像的能量主要集中在低频部分,而噪声主要在高频段,同时图像边缘信息也主要集中在其高频部分。这将导致原始图像在平滑处理之后,出现图像边缘和轮廓的模糊。为了减少这类不利效果的影响,就需要利用图像锐化技术使图像的边缘变得清晰。从频率域来考虑,图像模糊的实质是因为其高频分量被衰减,可以用高通滤波器来使图像清晰,但进行锐化处理的图像必须有较高的性噪比,否则,锐化后图像性噪比反而更低,从而使得噪声增加的比信号还要多。因此,需要先去除或减轻噪声后再进行锐化处理。
现有技术CMOS图像传感器图像预处理方法将去噪和锐化算法分开执行,尽管其去噪和锐化效果较好,但算法复杂度较高,不利于节省硬件资源和减少总体功耗。同时,由于CMOS图像传感器的片上硬件资源有限,不允许使用复杂度较高的算法。
显然,现有技术CMOS图像传感器图像预处理方法存在着将去噪和锐化算法分开执行,算法复杂度较高,不利于节省硬件资源和减少总体功耗等问题。
发明内容
为解决现有技术CMOS图像传感器图像预处理方法存在的将去噪和锐化算法分开执行,算法复杂度较高,不利于节省硬件资源和减少总体功耗等问题,本发明提出一种CMOS图像传感器合并的低功耗实时降噪锐化预处理方法。本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理方法,采用彩色滤波阵列CFA把输入的光信号分为红绿蓝RGB三基色,即RGB三种像素;采用片上分块分类型存取数据的方式进行数据缓存,采用空间自适应降噪算法降低RGB像素的噪声,将拉普拉斯算子作为平滑算子并以此对G像素进行锐化处理。
进一步的,本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理方法,所述采用片上分块分类型存取数据的方式进行数据缓存,包括,将Bayer数据的RG或者GB两种行数据分别进行存储和读取,并且,奇偶列的数据分别存储在相应的奇偶编号存储器;数据读出时,存储器中由低地址码到高地址码依次并行输出,并根据算法需求具有可选择性;在数据读出的同时,新存储的Bayer数据依次串行分类型写入低地址码奇偶编号存储器并刷新原有的旧数据;依次类推,完直至成读写缓存过程。
进一步的,本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理方法,所述采用空间自适应降噪算法降低RGB像素的噪声,包括以下步骤;
S301、取RGB三基色中任一类型像素的任一像素点作为中心像素点,并将其与近邻空间的同类型周围像素点进行比较,得到最大值和最小值;其中,R或B像素取与中心像素点有最近邻空间关系的R或B像素点作为周围像素点,G像素取与中心像素点有次近邻空间关系的G像素点作为周围像素点;
S302、设置噪声阈值,所述噪声阈值主要由曝光增益和曝光时间来确定,其经验算法为:噪声阈值=40-曝光增益+曝光时间;针对不同帧像素阵列,该噪声阈值是不同的,但对于同一帧像素阵列的每个像素,该阈值是相同的;
S303、根据当前中心像素值和噪声阈值与最大值和最小值的关系,通过比较判断,将最大值或最小值赋给当前中心像素点;
S304、选择下一像素点作为中心像素点,重复执行步骤S301至S303,直至完成该类型所有像素点的降噪处理;
S305、针对另外二个类型的像素,重复执行步骤S301至S304,直至完成一帧图像数据的降噪处理。
进一步的,本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理方法,所述根据当前中心像素值和噪声阈值与最大值和最小值的关系,通过比较判断,将最大值或最小值赋给当前中心像素点,包括:
如果当前中心像素值小于最小值和降噪阈值的差,则将最小值赋给当前中心像素值,
如果当前中心像素值大于最大值和降噪阈值的和,则将最大值赋给当前中心像素值,
如果当前中心像素值介于最小值与降噪阈值差与最大值与降噪阈值的和之间,则保持当前中心像素值不变。
进一步的,本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理方法,将拉普拉斯算子作为平滑算子并以此对G像素进行锐化处理,包括以下步骤:
S401、将拉普拉斯算子作为平滑算子,即:
S402、设当前需要处理的像素为Gi,j,则对应的周围最近邻的同类型像素阵列为设锐化因子为b,则锐化处理后的当前像素点的值为Y=(H×G+Gi,j)/2b;式中,Y为锐化处理后的当前像素点的像素值,H为新的算子模板,b为锐化因子,该锐化因子为经验正数值,其数值大小取决于锐化效果,增大该因子可以使锐化效果更为明显,对于整帧的所有像素,取值是相同的;
S403、确定整帧所有像素中的最大值,该最大值等于2像素位数-1;
S404、如果锐化过的当前像素点的Y值小于最大值,则保持当前像素点为Y值;如果锐化过的当前像素点的Y值大于最大值,则将当前像素点的Y值赋值为最大值;如果锐化过的当前像素点的Y值小于0,则就将当前像素点的Y值赋值为0;
S405、重复执行步骤S402至S404,直至完成一帧图像数据G像素的锐化处理。
进一步的,本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理方法,包括以下步骤:
S1、采用彩色滤波阵列CFA把输入的光信号分为红绿蓝RGB三基色,即RGB三种像素;
S2、采用片上分块分类型存取数据的方式进行数据缓存,即将Bayer数据的RG或者GB两种行数据分别进行存储和读取,并且,奇偶列的数据分别存储在相应的奇偶编号存储器;数据读出时,存储器中由低地址码到高地址码依次并行输出,并根据需求选择性输出R、G和B数据;在数据读出的同时,新存储的Bayer数据依次串行分类型写入低地址码奇偶编号存储器并刷新原有的旧数据;依次类推,完直至成读写缓存过程;
S3、采用空间自适应降噪算法降低RGB像素的噪声,包括:
S301、取RGB三基色中任一类型像素的任一像素点作为中心像素点,并将其与近邻空间的同类型周围像素点进行比较,得到最大值和最小值;其中,R或B像素取与中心像素点有最近邻空间关系的R或B像素点作为周围像素点,G像素取与中心像素点有次近邻空间关系的G像素点作为周围像素点;
S302、设置噪声阈值,所述噪声阈值主要由曝光增益和曝光时间来确定,其经验算法为:噪声阈值=40-曝光增益+曝光时间;针对不同帧像素阵列,该噪声阈值是不同的,但对于同一帧像素阵列的每个像素,该阈值是相同的;
S303、根据当前中心像素值和噪声阈值与最大值和最小值的关系,通过比较判断,将最大值或最小值赋给当前中心像素点;包括:
如果当前中心像素值小于最小值和降噪阈值的差,则将最小值赋给当前中心像素值,
如果当前中心像素值大于最大值和降噪阈值的和,则将最大值赋给当前中心像素值,
如果当前中心像素值介于最小值与降噪阈值差与最大值与降噪阈值的和之间,则保持当前中心像素值不变;
S304、选择下一像素点作为中心像素点,重复执行步骤S301至303,直至完成该类型所有像素点的降噪处理;
S305、针对另外二个类型的像素,重复执行步骤S301至S304,直至完成一帧图像数据的降噪处理;
S4、将拉普拉斯算子作为平滑算子并以此对G像素进行锐化处理,包括以下步骤:
S401、将拉普拉斯算子作为平滑算子,即:
S402、设当前需要处理的像素为Gi,j,则对应的周围最近邻的同类型像素阵列为设锐化因子为b,则锐化处理后的当前像素点的值为Y=(H×G+Gi,j)/2b;式中,Y为锐化处理后的当前像素点的像素值,H为新的算子模板,b为锐化因子,该锐化因子为经验正数值,其数值大小取决于锐化效果,增大该因子可以使锐化效果更为明显,对于整帧的所有像素,取值是相同的;
S403、确定整帧所有像素中的最大值,该最大值等于2像素位数-1;
S404、如果锐化过的当前像素点的Y值小于最大值,则保持当前像素点为Y值;如果锐化过的当前像素点的Y值大于最大值,则将当前像素点的Y值赋值为最大值;如果锐化过的当前像素点的Y值小于0,则就将当前像素点的Y值赋值为0;
S405、重复执行步骤S402至S404,直至完成一帧图像数据G像素的锐化处理;
S5、输出经降噪和锐化后的图像数据,完成一帧图像数据的预处理。
本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理方法的有益技术效果是将降噪和锐化过程合并在一起,大大降低了复杂程度、硬件开销和总体功耗,降低了硬件设计难度并提高了处理速度,且性能较好,利于实现。
附图说明
附图1是彩色滤波阵列CFA图像的Bayer模型图;
附图2是Bayer数据载入半深度存储器过程的示意图;
附图3是本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理方法的步骤示意图。
下面结合附图及具体实施例对本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理方法作进一步的说明。
具体实施方式
附图1是彩色滤波阵列CFA图像的Bayer模型图,附图2是Bayer数据载入半深度存储器过程的示意图。由图可知,本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理方法,采用彩色滤波阵列CFA把输入的光信号分为红绿蓝RGB三基色,即RGB三种像素;采用片上分块分类型存取数据的方式进行数据缓存,采用空间自适应降噪算法降低RGB像素的噪声,将拉普拉斯算子作为平滑算子并以此对G像素进行锐化处理。
所述采用片上分块分类型存取数据的方式进行数据缓存,包括,将Bayer数据的RG或者GB两种行数据分别进行存储和读取,并且,奇偶列的数据分别存储在相应的奇偶编号存储器;数据读出时,存储器中由低地址码到高地址码依次并行输出,并根据需求选择性输出R、G和B数据;在数据读出的同时,新存储的Bayer数据依次串行分类型写入低地址码奇偶编号存储器并刷新原有的旧数据;依次类推,完直至成读写缓存过程。以附图1、2所示为例。根据CMOS图像传感器数字处理部分的芯片面积和数据处理性能要求,针对一帧M(行)×N(列)阵列的Bayer数据,为了实现后续图像的预处理,必须缓存n(n≤M)行数据,如附图2所示,采用了将Bayer模型的RG或者GB两种行数据分开存取的思想进行了数据的缓存,并缓存了4行数据用于后面图像的预处理。即:
S101、将4行数据全部存入8个半深度(二分之一行深度)存储器并且奇偶列的数据分别存在相应的奇偶编号存储器;
S102、在时钟CLK控制下,开始从8个半深度存储器中由低地址码到高地址码依次并行输出,并根据需求选择性输出R、G和B数据;
S103、在数据开始读出的同时,第5行新的Bayer数据依次串行分类型写入前两个奇偶编号存储器,刷新原有的旧数据,依次类推,完成读写缓存过程。
本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理方法,所述采用空间自适应降噪算法降低RGB像素的噪声,包括以下步骤;
S301、取RGB三基色中任一类型像素的任一像素点作为中心像素点,并将其与近邻空间的同类型周围像素点进行比较,得到最大值和最小值;其中,R或B像素取与中心像素点有最近邻空间关系的R或B像素点作为周围像素点,G像素取与中心像素点有次近邻空间关系的G像素点作为周围像素点;
S302、设置噪声阈值,所述噪声阈值主要由曝光增益和曝光时间来确定,其经验算法为:噪声阈值=40-曝光增益+曝光时间;针对不同帧像素阵列,该噪声阈值是不同的,但对于同一帧像素阵列的每个像素,该阈值是相同的;
S303、根据当前中心像素值和噪声阈值与最大值和最小值的关系,通过比较判断,将最大值或最小值赋给当前中心像素点;
S304、选择下一像素点作为中心像素点,重复执行步骤S301至S303,直至完成该类型所有像素点的降噪处理;
S305、针对另外二个类型的像素,重复执行步骤S301至S304,直至完成一帧图像数据的降噪处理。
本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理方法,通过比较判断,将最大值或最小值赋给当前中心像素点,使得该像素点和周围像素点的数值差别不大,这样就降低了当前像素点的噪声并对其有平滑作用。如果当前像素点为坏点,通过该算法的处理可以校正当前坏像素点,这就是空间自适应降噪算法。其中,所述根据当前中心像素值和噪声阈值与最大值和最小值的关系,通过比较判断,将最大值或最小值赋给当前中心像素点,包括:如果当前中心像素值小于最小值和降噪阈值的差,则将最小值赋给当前中心像素值,如果当前中心像素值大于最大值和降噪阈值的和,则将最大值赋给当前中心像素值;如果当前中心像素值介于最小值与降噪阈值差与最大值与降噪阈值的和之间,则保持当前中心像素值不变。
以R33为当前中心像素点为例,选取具有最近邻空间关系的3×3阵列像素实现算法处理,需要R11、R13、R15、R31、R35、R51、R53和R55这8个周围最近邻像素进行比较,即:设置降噪阈值为a,用当前的R33像素同周围8个R像素分别进行大小比较,得到最大值和最小值。如果当前像素值小于最小值和降噪阈值的差,则将最小值赋给R33像素值;如果R33像素值大于最大值和降噪阈值的和,则将最大值赋给R33像素值;如果R33像素值介于最小值与降噪阈值差与最大值与降噪阈值的和之间,则保持R33像素值不变。
同理,对于B像素,取其最近邻空间关系的3×3像素阵列为而对于G像素,需要选择其次近邻空间关系的3×3像素阵列再利用当前像素值与最大值或最小值和降噪阈值进行比较,最终得到经过降噪处理后的像素值,整个处理过程对RGB三基色的坏点像素进行了校正并对像素点起平滑作用,其他有效像素点周围阵列的选取和处理过程与前面所述过程类似。
经过降噪处理后,图像保持较高信噪比。但由于图像的降噪处理具有平滑像素点的作用,使得当前像素点与周围同类型像素点差别不大,这就导致图像的边缘和轮廓出现模糊。因此,要在降噪的同时对当前像素点进行锐化处理,使得图像的边缘或线条细节变得清楚。但由于拉普拉斯算子在图像中的某些边缘产生双重效应,故本发明把拉普拉斯算子和平滑算子结合起来生成一个新的算子模板,并以此对G像素进行锐化处理。由于Bayer三基色中G像素是R或者B像素的两倍,故为了满足低功耗要求和节省硬件资源,本发明只对Bayer图像中的关键像素G进行了锐化处理。
本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理方法,将拉普拉斯算子作为平滑算子并以此对G像素进行锐化处理,包括以下步骤:
S401、将拉普拉斯算子作为平滑算子,即:
S402、设当前需要处理的像素为Gi,j,则对应的周围最近邻的同类型像素阵列为设锐化因子为b,则锐化处理后的当前像素点的值为Y=(H×G+Gi,j)/2b;式中,Y为锐化处理后的当前像素点的像素值,H为新的算子模板,b为锐化因子,该锐化因子为经验正数值,其数值大小取决于锐化效果,增大该因子可以使锐化效果更为明显,对于整帧的所有像素,取值是相同的;
S403、确定整帧所有像素中的最大值,该最大值等于2像素位数-1;
S404、如果锐化过的当前像素点的Y值小于最大值,则保持当前像素点为Y值;如果锐化过的当前像素点的Y值大于最大值,则将当前像素点的Y值赋值为最大值;如果锐化过的当前像素点的Y值小于0,则就将当前像素点的Y值赋值为0;
S405、重复执行步骤S402至S404,直至完成一帧图像数据G像素的锐化处理。
以附图1所示彩色滤波阵列CFA图像的Bayer模型图,若当前需要处理的像素为G23,对应的周围最近邻的3×3像素阵列为同时选取为了调节锐化效果,这里设置锐化因子b,锐化过的G23像素点的像素值Y=(H×G+G23)/2b,即:Y=[4×G23—(R13+R33+B22+B24)+G23]/2b,当b值越大,锐化效果越明显。同时,根据公式2像素位数-1确定所有像素的最大值,并将G23像素点的像素值Y与最大值进行比较。如果Y值小于最大值,则保持G23像素点像素值不变;如果Y值大于最大值,则将G23像素点的Y值赋值为最大值;如果Y值小于0,则将G23像素点的Y值赋值为0。其他有效G像素点周围阵列的选取和处理过程与前面所述过程类似。
为了对第一行和最后一行的有效像素类型RG以及第一列和最后一列的有效像素类型RG进行降噪和锐化处理,需要完整确定第一行和最后一行以及第一列和最后一列有效像素的最近邻空间像素阵列G或次近邻空间像素阵列B或者R,需要在CMOS图像传感器整个有效像素阵列的周围多加入的两行和两列(以附图1为例),即在整个像素阵列的周围添加多余的两行和两列像素用于近邻空间的选择。
附图3是本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理方法的步骤示意图,由图可知,本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理方法,包括以下步骤:
S1、采用彩色滤波阵列CFA把输入的光信号分为红绿蓝RGB三基色,即RGB三种像素;
S2、采用片上分块分类型存取数据的方式进行数据缓存,即将Bayer数据的RG或者GB两种行数据分别进行存储和读取,并且,奇偶列的数据分别存储在相应的奇偶编号存储器;数据读出时,存储器中由低地址码到高地址码依次并行输出,并根据算法需求具有可选择性;在数据读出的同时,新存储的Bayer数据依次串行分类型写入低地址码奇偶编号存储器并刷新原有的旧数据;依次类推,完直至成读写缓存过程;
S3、采用空间自适应降噪算法降低RGB像素的噪声,包括:
S301、取RGB三基色中任一类型像素的任一像素点作为中心像素点,并将其与近邻空间的同类型周围像素点进行比较,得到最大值和最小值;其中,R或B像素取与中心像素点有最近邻空间关系的R或B像素点作为周围像素点,G像素取与中心像素点有次近邻空间关系的G像素点作为周围像素点;
S302、设置噪声阈值,所述噪声阈值主要由曝光增益和曝光时间来确定,其经验算法为:噪声阈值=40-曝光增益+曝光时间;针对不同帧像素阵列,该噪声阈值是不同的,但对于同一帧像素阵列的每个像素,该阈值是相同的;
S303、根据当前中心像素值和噪声阈值与最大值和最小值的关系,通过比较判断,将最大值或最小值赋给当前中心像素点;包括:
如果当前中心像素值小于最小值和降噪阈值的差,则将最小值赋给当前中心像素值,
如果当前中心像素值大于最大值和降噪阈值的和,则将最大值赋给当前中心像素值,
果当前中心像素值介于最小值与降噪阈值差与最大值与降噪阈值的和之间,则保持当前中心像素值不变;
S304、选择下一像素点作为中心像素点,重复执行步骤S301至S303,直至完成该类型所有像素点的降噪处理;
S305、针对另外二个类型的像素,重复执行步骤S301至S304,直至完成一帧图像数据的降噪处理;
S4、将拉普拉斯算子作为平滑算子并以此对G像素进行锐化处理,包括以下步骤:
S401、将拉普拉斯算子作为平滑算子,即:
S402、设当前需要处理的像素为Gi,j,则对应的周围最近邻的同类型像素阵列为设锐化因子为b,则锐化处理后的当前像素点的值为Y=(H×G+Gi,j)/2b;式中,Y为锐化处理后的当前像素点的像素值,H为新的算子模板,b为锐化因子,该锐化因子为经验正数值,其数值大小取决于锐化效果,增大该因子可以使锐化效果更为明显,对于整帧的所有像素,取值是相同的;
S403、确定整帧所有像素中的最大值,该最大值等于2像素位数-1;
S404、如果锐化过的当前像素点的Y值小于最大值,则保持当前像素点为Y值;如果锐化过的当前像素点的Y值大于最大值,则将当前像素点的Y值赋值为最大值;如果锐化过的当前像素点的Y值小于0,则就将当前像素点的Y值赋值为0;
S405、重复执行步骤S402至S404,直至完成一帧图像数据G像素的锐化处理;
S5、输出经降噪和锐化后的图像数据,完成一帧图像数据的预处理。
为了节省硬件资源,降低芯片功耗,本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理方法将G像素和BR像素的降噪和锐化处理过程合并在一起进行,可实时从缓存器中读取相应的像素类型来完成处理过程。当对有效G像素进行降噪和锐化处理时,先从存储器中读取当前像素G的次近邻像素阵列进行降噪处理,然后读取当前像素G的最近邻像素阵列进行锐化处理,而B和R只进行降噪处理,故只需从存储器中读取其周围最近邻的像素阵列进行处理。
虽然本发明已以较佳实施例披露如上,但是本发明能够以很多不同于在此描述的其它方式来实施,因此本发明不受上述公开的具体实施例的限制,任何采用本发明的方法构思和技术方案进行的各种改进,或者未经改进直接应用于其它场合的,均在本发明的保护范围之内。
显然,本发明CMOS图像传感器合并的低功耗实时降噪锐化预处理方法的有益技术效果是将降噪和锐化过程合并在一起,大大降低了复杂程度、硬件开销和总体功耗,降低了硬件设计难度并提高了处理速度,且性能较好,利于实现。

Claims (4)

1.一种CMOS图像传感器合并的低功耗实时降噪锐化预处理方法,其特征在于,采用彩色滤波阵列CFA把输入的光信号分为红绿蓝RGB三基色,即RGB三种像素;采用片上分块分类型存取数据的方式进行数据缓存,采用空间自适应降噪算法降低RGB像素的噪声,将拉普拉斯算子作为平滑算子并以此对G像素进行锐化处理,其中,
所述采用空间自适应降噪算法降低RGB像素的噪声,包括以下步骤;
S301、取RGB三基色中任一类型像素的任一像素点作为中心像素点,并将其与近邻空间的同类型周围像素点进行比较,得到最大值和最小值;其中,R或B像素取与中心像素点有最近邻空间关系的R或B像素点作为周围像素点,G像素取与中心像素点有次近邻空间关系的G像素点作为周围像素点;
S302、设置噪声阈值,所述噪声阈值主要由曝光增益和曝光时间来确定,其经验算法为:噪声阈值=40-曝光增益+曝光时间;针对不同帧像素阵列,该噪声阈值是不同的,但对于同一帧像素阵列的每个像素,该阈值是相同的;
S303、根据当前中心像素值和噪声阈值与最大值和最小值的关系,通过比较判断,将最大值或最小值赋给当前中心像素点;
S304、选择下一像素点作为中心像素点,重复执行步骤S301至S303,直至完成该类型所有像素点的降噪处理;
S305、针对另外二个类型的像素,重复执行步骤S301至S304,直至完成一帧图像数据的降噪处理;
所述将拉普拉斯算子作为平滑算子并以此对G像素进行锐化处理,包括以下步骤:
S401、将拉普拉斯算子作为平滑算子,即:
S402、设当前需要处理的像素为Gi,j,则对应的周围最近邻的同类型像素阵列为设锐化因子为b,则锐化处理后的当前像素点的值为Y=(H×G+Gi,j)/2b;式中,Y为锐化处理后的当前像素点的像素值,H为拉普拉斯算子,b为锐化因子,该锐化因子为经验正数值,其数值大小取决于锐化效果,增大该因子可以使锐化效果更为明显,对于整帧的所有像素,取值是相同的;
S403、确定整帧所有像素中的最大值,该最大值等于2像素位数-1;
S404、如果锐化过的当前像素点的Y值小于最大值,则保持当前像素点为Y值;如果锐化过的当前像素点的Y值大于最大值,则将当前像素点的Y值赋值为最大值;如果锐化过的当前像素点的Y值小于0,则就将当前像素点的Y值赋值为0;
S405、重复执行步骤S402至S404,直至完成一帧图像数据G像素的锐化处理。
2.根据权利要求1所述CMOS图像传感器合并的低功耗实时降噪锐化预处理方法,其特征在于,所述采用片上分块分类型存取数据的方式进行数据缓存,包括,将Bayer数据的RG或者GB两种行数据分别进行存储和读取,并且,奇偶列的数据分别存储在相应的奇偶编号存储器;数据读出时,存储器中由低地址码到高地址码依次并行输出,并根据算法需求具有可选择性;在数据读出的同时,新存储的Bayer数据依次串行分类型写入低地址码奇偶编号存储器并刷新原有的旧数据;依次类推,完直至成读写缓存过程。
3.根据权利要求1所述CMOS图像传感器合并的低功耗实时降噪锐化预处理方法,其特征在于,所述根据当前中心像素值和噪声阈值与最大值和最小值的关系,通过比较判断,将最大值或最小值赋给当前中心像素点,包括:
如果当前中心像素值小于最小值和降噪阈值的差,则将最小值赋给当前中心像素值,
如果当前中心像素值大于最大值和降噪阈值的和,则将最大值赋给当前中心像素值,
如果当前中心像素值介于最小值与降噪阈值差与最大值与降噪阈值的和之间,则保持当前中心像素值不变。
4.根据权利要求1所述CMOS图像传感器合并的低功耗实时降噪锐化预处理方法,其特征在于,该预处理算法包括以下步骤:
S1、采用彩色滤波阵列CFA把输入的光信号分为红绿蓝RGB三基色,即RGB三种像素;
S2、采用片上分块分类型存取数据的方式进行数据缓存,即将Bayer数据的RG或者GB两种行数据分别进行存储和读取,并且,奇偶列的数据分别存储在相应的奇偶编号存储器;数据读出时,存储器中由低地址码到高地址码依次并行输出,并根据需求选择性输出R、G和B数据;在数据读出的同时,新存储的Bayer数据依次串行分类型写入低地址码奇偶编号存储器并刷新原有的旧数据;依次类推,完直至成读写缓存过程;
S3、采用空间自适应降噪算法降低RGB像素的噪声,包括:
S301、取RGB三基色中任一类型像素的任一像素点作为中心像素点,并将其与近邻空间的同类型周围像素点进行比较,得到最大值和最小值;其中,R或B像素取与中心像素点有最近邻空间关系的R或B像素点作为周围像素点,G像素取与中心像素点有次近邻空间关系的G像素点作为周围像素点;
S302、设置噪声阈值,所述噪声阈值主要由曝光增益和曝光时间来确定,其经验算法为:噪声阈值=40-曝光增益+曝光时间;针对不同帧像素阵列,该噪声阈值是不同的,但对于同一帧像素阵列的每个像素,该阈值是相同的;
S303、根据当前中心像素值和噪声阈值与最大值和最小值的关系,通过比较判断,将最大值或最小值赋给当前中心像素点;包括:
如果当前中心像素值小于最小值和降噪阈值的差,则将最小值赋给当前中心像素值,
如果当前中心像素值大于最大值和降噪阈值的和,则将最大值赋给当前中心像素值,
如果当前中心像素值介于最小值与降噪阈值差与最大值与降噪阈值的和之间,则保持当前中心像素值不变;
S304、选择下一像素点作为中心像素点,重复执行步骤S301至303,直至完成该类型所有像素点的降噪处理;
S305、针对另外二个类型的像素,重复执行步骤S301至S304,直至完成一帧图像数据的降噪处理;
S4、将拉普拉斯算子作为平滑算子并以此对G像素进行锐化处理,包括以下步骤:
S401、将拉普拉斯算子作为平滑算子,即:
S402、设当前需要处理的像素为Gi,j,则对应的周围最近邻的同类型像素阵列为设锐化因子为b,则锐化处理后的当前像素点的值为Y=(H×G+Gi,j)/2b;式中,Y为锐化处理后的当前像素点的像素值,H为拉普拉斯算子,b为锐化因子,该锐化因子为经验正数值,其数值大小取决于锐化效果,增大该因子可以使锐化效果更为明显,对于整帧的所有像素,取值是相同的;
S403、确定整帧所有像素中的最大值,该最大值等于2像素位数-1;
S404、如果锐化过的当前像素点的Y值小于最大值,则保持当前像素点为Y值;如果锐化过的当前像素点的Y值大于最大值,则将当前像素点的Y值赋值为最大值;如果锐化过的当前像素点的Y值小于0,则就将当前像素点的Y值赋值为0;
S405、重复执行步骤S402至S404,直至完成一帧图像数据G像素的锐化处理;
S5、输出经降噪和锐化后的图像数据,完成一帧图像数据的预处理。
CN201410550745.5A 2014-10-17 2014-10-17 Cmos图像传感器合并的低功耗实时降噪锐化预处理方法 Active CN104376534B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410550745.5A CN104376534B (zh) 2014-10-17 2014-10-17 Cmos图像传感器合并的低功耗实时降噪锐化预处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410550745.5A CN104376534B (zh) 2014-10-17 2014-10-17 Cmos图像传感器合并的低功耗实时降噪锐化预处理方法

Publications (2)

Publication Number Publication Date
CN104376534A CN104376534A (zh) 2015-02-25
CN104376534B true CN104376534B (zh) 2017-05-24

Family

ID=52555425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410550745.5A Active CN104376534B (zh) 2014-10-17 2014-10-17 Cmos图像传感器合并的低功耗实时降噪锐化预处理方法

Country Status (1)

Country Link
CN (1) CN104376534B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260991B (zh) * 2015-09-29 2017-10-03 中国电子科技集团公司第四十四研究所 用于cmos图像传感器降噪处理的自适应混合降噪方法
CN106504281B (zh) * 2016-12-02 2019-01-22 中国电子科技集团公司第四十四研究所 应用于cmos图像传感器的图像画质增强和滤波方法
TWI670615B (zh) * 2017-08-24 2019-09-01 財團法人工業技術研究院 功耗估算方法與功耗估算裝置
CN109712086B (zh) * 2018-12-11 2023-06-02 上海集成电路研发中心有限公司 一种高效的cmos图像传感器片上去噪算法
CN109445527B (zh) * 2018-12-21 2019-12-13 李银花 平板电脑数据转存系统
CN111724326B (zh) * 2020-06-28 2023-08-01 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007130503A3 (en) * 2006-05-05 2008-03-06 Micron Technology Inc Method and apparatus providing adaptive noise suppression
CN101227621A (zh) * 2008-01-25 2008-07-23 炬力集成电路设计有限公司 在cmos传感器中对cfa进行插值的方法及电路
CN103327220A (zh) * 2013-05-29 2013-09-25 山西绿色光电产业科学技术研究院(有限公司) 低照度Bayer图像上以绿色通道为导向的去噪方法
CN104065937A (zh) * 2014-06-20 2014-09-24 中国电子科技集团公司第四十四研究所 用于cmos图像传感器的实时高速图像预处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8320698B2 (en) * 2008-09-18 2012-11-27 Sony Corporation System and method for denoising using signal dependent adaptive weights

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007130503A3 (en) * 2006-05-05 2008-03-06 Micron Technology Inc Method and apparatus providing adaptive noise suppression
CN101227621A (zh) * 2008-01-25 2008-07-23 炬力集成电路设计有限公司 在cmos传感器中对cfa进行插值的方法及电路
CN103327220A (zh) * 2013-05-29 2013-09-25 山西绿色光电产业科学技术研究院(有限公司) 低照度Bayer图像上以绿色通道为导向的去噪方法
CN104065937A (zh) * 2014-06-20 2014-09-24 中国电子科技集团公司第四十四研究所 用于cmos图像传感器的实时高速图像预处理方法

Also Published As

Publication number Publication date
CN104376534A (zh) 2015-02-25

Similar Documents

Publication Publication Date Title
CN104376534B (zh) Cmos图像传感器合并的低功耗实时降噪锐化预处理方法
CN106339196B (zh) DeMura表的数据压缩、解压缩方法及Mura补偿方法
US10868985B2 (en) Correcting pixel defects based on defect history in an image processing pipeline
JP6636637B2 (ja) 画像データ内のキーポイントの検出
CN108205804B (zh) 图像处理方法、装置及电子设备
US9747514B2 (en) Noise filtering and image sharpening utilizing common spatial support
US9832388B2 (en) Deinterleaving interleaved high dynamic range image by using YUV interpolation
TWI542224B (zh) 影像訊號處理方法以及影像訊號處理裝置
CN103067661A (zh) 图像处理方法、装置和拍摄终端
US20170091575A1 (en) Method and system of low-complexity histrogram of gradients generation for image processing
CN111127336A (zh) 一种基于自适应选择模块的图像信号处理方法
CN102970549A (zh) 图像处理方法及装置
CN105046658A (zh) 一种低照度图像处理方法和装置
CN112184591A (zh) 一种基于深度学习图像摩尔纹消除的图像复原方法
CN102893609B (zh) 图像处理设备和图像处理设备的控制方法
CN109858449B (zh) 图像处理方法、装置、介质及系统
US20170185863A1 (en) System and method for adaptive pixel filtering
CN113379609B (zh) 一种图像处理方法、存储介质及终端设备
WO2017192366A1 (en) Defective pixel value correction for digital raw image frames
CN116996786B (zh) 一种rgb-ir图像色彩恢复及校正的方法及装置
US11893710B2 (en) Image reconstruction method, electronic device and computer-readable storage medium
US20190220956A1 (en) Image processing method, image processing device and nonvolatile storage medium
CN116503259B (zh) 一种马赛克插值方法和系统
US10178359B2 (en) Macropixel processing system, method and article
CN105260991B (zh) 用于cmos图像传感器降噪处理的自适应混合降噪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant