CN101371592A - 用于自适应且自校准传感器绿色通道增益平衡的方法及设备 - Google Patents
用于自适应且自校准传感器绿色通道增益平衡的方法及设备 Download PDFInfo
- Publication number
- CN101371592A CN101371592A CNA2007800030664A CN200780003066A CN101371592A CN 101371592 A CN101371592 A CN 101371592A CN A2007800030664 A CNA2007800030664 A CN A2007800030664A CN 200780003066 A CN200780003066 A CN 200780003066A CN 101371592 A CN101371592 A CN 101371592A
- Authority
- CN
- China
- Prior art keywords
- green
- green pixel
- pixel
- sublevel
- weighting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明揭示一种用于自适应绿色通道奇偶失配移除以在经去马赛克处理的图像中实现由奇偶失配导致的伪影的消失的方法及设备。在一种自适应方法中,确定红色行的经校准GR通道增益及蓝色行的经校准GB通道增益且其是仅在每一相应区域中的有效像素的函数。在所述校准之后,在校正过程中,将一区域的红色行中的绿色像素乘以所述经校准的GR通道增益。另一方面,将蓝色行中的绿色像素乘以所述经校准的GB通道增益。因此,在去马赛克处理之后,所述经校正的图像实质上不具有由所述绿色通道的奇偶失配所导致的伪影。另一选择为,所述自适应绿色通道奇偶失配移除方法用经规范化的经加权绿色像素总和替代具有奇数数量的列及行的区域的中心绿色像素。所述经加权绿色像素总和将由第一加权因数加权的中心绿色像素、基于第二加权因数的第一层次层的经加权绿色像素值的和及基于第三加权因数的第二层次层的经加权绿色像素值的和相加。
Description
相关申请交叉参考案
本申请案请求对2006年1月19日提出申请的第60/760,769号较早提出申请的临时专利申请案及2006年1月18日提出申请的第60/759,842号临时专利申请案的权益,所述两个临时专利申请案以引用的方式并入本文中,就像下文所全面论述的那样。
技术领域
本发明大体来说涉及图像校正方法,且更具体来说涉及用于自适应地移除绿色通道奇偶失配的过程。
背景技术
随着传感器像素数的增加,每一像素光电二极管的面积缩小。信号读出电路必须关照读取及传送较弱的信号电平。对于具有ROB贝尔图案的传感器来说,奇数及偶数行上的绿色通道通常经由不同的电路读出。更具体来说,光电二极管、电子泄漏、光入射角及信号输出电路的金属线布局导致贝尔图案传感器的绿色通道展现不平衡的响应。此不平衡包含全局及局部变异两者。虽然所述电路布局是相同的,但有缺陷的制造过程可导致所述读出与放大器电路失配。而且,色彩滤波器阵列与透镜镀膜及安装的不一致等也可导致绿色通道展现奇偶失配。因此,总的绿色通道奇偶失配是由位置决定且不均匀的。所述绿色通道奇偶失配使图像处理任务困难,因为所述绿色通道奇偶失配转化为如图1中所示的伪影的交叉阴影线图案。
在图1中,通过去马赛克操作产生平场图像10。此平场图像应该是平的,因为所述透镜由漫射透镜覆盖。在所述图像被处理之后,其上不应存在任何纹理。然而,如在图1中所见,交叉阴影线图案在整个图像10中普遍存在。进一步研究表明此伪影是由绿色通道奇偶失配导致的。
去马赛克算法通常很大程度上依据绿色通道信号来确定边缘,因为贝尔像素的50%是绿色的。图10B中显示实例性贝尔像素布置。然而,如果存在绿色通道奇偶失配,那么将所述失配视为边缘且去马赛克模块尝试在垂直或水平方向上保留所述边缘。最终结果是去马赛克处理之后的图1中所示的交叉阴影线图案。当所述图像放大约300%时,此伪影最明显。
一种失败的解决方案提出全局绿色通道增益平衡。如果通道读出及放大器电路是绿色奇偶失配的仅存因素,那么应用全局绿色通道增益平衡可解决所述问题。然而,对于SonyTM 3MP传感器来说,使用全局绿色通道增益平衡并不起作用。进一步分析表明所述奇偶失配在所述整个图像中是不均匀的。
将所述3MP传感器图像分割为每一区域具有32×32像素的区域,对所述平场图像执行基于区域的通道平衡校准。图2A及2B中显示用以平衡所述绿色通道所需要的Gr增益及Gb增益。如可从图2A及2B容易地看出,所述绿色通道平衡在所述整个图像中是非常不均匀的。因此,应用全局绿色通道增益不能够解决所述问题或消除图1中所示的伪影的交叉阴影线图案。
另一种可行的解决方案采用自适应贝尔滤波器。仅可将所述自适应贝尔滤波器应用于绿色像素上以去除奇偶失配。问题是,对于研究中的索尼传感器来说,某些区域显示13%的绿色通道奇偶失配。如果打算去除所述大的失配,那么图像中的真实边缘也可受到损害。因此,所述图像将变模糊。
此外,自适应贝尔滤波器的计算成本在软件/固件方面相对较高。所述计算还将向快照图像处理添加相当大量的延迟时间。图3图解说明在将自适应贝尔滤波器应用到图1的平场图像之后的所得图像20。所得图像20已穿过整个处理管线。在所述自适应贝尔滤波器中应用适量的平滑。虽然在所得图像20中去除了某些交叉阴影线图案伪影,但某些仍存在。
如果在所述自适应贝尔滤波器中应用更大量的平滑,那么可完全移除所述交叉阴影线图案,但此以图像中的模糊纹理为代价。
如果对贝尔域上的原始图像执行简单的平滑,那么边缘及纹理将受到损害。如果迫使每一对绿色像素(Gr与Gb)相等,那么高频率边缘受到损害。
发明内容
本发明的目标是提供一种用于自适应绿色通道奇偶失配移除以实现所述失配所产生的伪影的消失的方法。
本发明的另一目标是提供一种自适应绿色通道奇偶失配移除模块以实现所述失配所产生的伪影的消失。
本发明的又一目标是提供可由处理器执行的程序指令以自适应地移除绿色通道奇偶失配以实现所述失配所产生的伪影的消失。
本发明的再一目标是提供以使计算复杂性降到最低且不降低图像处理速度的方式容易地实施的自适应绿色通道奇偶失配移除。
本发明的又一目标是提供以以下方式的自适应绿色通道奇偶失配移除:自适应地校准以逐区域地校正所述奇偶失配以补偿图像内容变异以及室内及室外图像变异。
本发明的再一目标是提供以自适应地补偿空间变化绿色通道奇偶失配方式的自适应绿色通道奇偶失配移除。
本发明的又一目标是提供以以下方式的自适应绿色通道奇偶失配移除:使用自适应方法来解决具有包括高频率边缘及垂直方向或水平方向上的边缘在内的边缘的巨大保留的绿色通道奇偶失配。
鉴于以上目标,本发明的目标由用于自适应绿色通道奇偶失配移除的包含以下步骤的方法实现:将来自传感器的原始图像分割为多个区域;及针对每一区域自适应地移除所述原始图像中的绿色通道奇偶失配以在经去马赛克处理的图像中实现伪影的消失。
本发明的目标由通过对所述原始图像逐区域地校准红色行的绿色(GR)通道增益及蓝色行的绿色(GB)通道增益来自适应地移除所述绿色通道奇偶失配的方法实现。在所述校准步骤之后,然后逐区域地将针对每一相应区域校准的所述GR通道增益应用到所述红色行中的绿色像素且将针对每一相应区域校准的所述GB通道增益应用到所述蓝色行中的绿色像素以移除所述绿色通道奇偶失配。
本发明的目标由通过以下方式自适应地移除绿色通道奇偶失配的方法实现:针对所述原始图像中的每一区域,通过基于中心绿色像素的第一加权因数产生经加权中心绿色像素值;将基于第一层次层中的相对于所述区域的所述中心绿色像素的周围绿色像素的第二加权因数的经加权绿色像素值相加以形成第一层次层和;将基于第二层次层中的相对于所述区域的所述中心绿色像素的周围绿色像素的第三加权因数的经加权绿色像素值相加以形成第二层次层和;将所述经加权中心绿色像素值、所述第一层次层和及所述第二层次层和相加以形成经加权绿色像素总和。在产生所述经加权绿色像素总和之后,将所述经加权绿色像素总和规范化。所述经规范化的经加权绿色像素总和替代所述区域的所述中心绿色像素值以移除绿色通道奇偶失配。
本发明的目标由从原始贝尔图像移除绿色通道奇偶失配的方法实现。
本发明的目标由在去马赛克处理之前通过在校准增益时对图像逐区域地移除边缘像素来移除绿色通道奇偶失配的方法实现。
本发明的目标由用于自适应绿色通道奇偶失配移除的方法实现,所述方法在校准时滤除出每一区域中的坏像素及边缘像素以形成一组有效像素对。
本发明的目标由用于自适应绿色通道奇偶失配移除的方法实现,所述方法在校准时对所述区域中的有效像素对的数量进行计数,计算红色行的有效绿色像素的平均数量,且计算蓝色行的有效绿色像素的平均数量。
本发明的目标由用于自适应绿色通道奇偶失配移除的方法实现,所述方法在校准时用先前图像的GR通道增益及GB通道增益对GR通道增益及GB通道增益进行滤波以减小噪声方差。所应用的GR通道增益及所应用的GB通道增益分别是经滤波的GR通道增益及经滤波的GB通道增益。
本发明的目标由用于自适应绿色通道奇偶失配移除的方法实现,所述方法包括将每一区域中的红色行中的绿色像素与所述GR通道增益相乘;将蓝色行中的绿色像素与所述GB通道增益相乘,以校正所述奇偶失配并实现去马赛克处理之后的伪影的消失。
本发明的目标由程序码实现,所述程序码由处理装置执行且包含在执行时可操作以在图像中逐区域地校准GR通道增益及GB通道增益的指令。所述指令还可操作以逐区域地应用针对每一相应区域校准的所述GR通道增益及所述GB通道增益以自适应地从所述图像移除绿色通道奇偶失配。
本发明的目标由包含以下装置的自适应绿色通道奇偶失配移除模块实现:用于在图像中逐区域地校准GR通道增益及GB通道增益的装置。所述模块还包括用于逐区域地将针对每一相应区域校准的所述GR通道增益应用到红色行中的绿色像素且将针对每一相应区域校准的所述GB通道增益应用到蓝色行中的绿色像素的装置。
本发明的目标由自适应绿色通道奇偶失配移除模块实现,所述模块包含用于基于中心绿色像素的第一加权因数产生经加权中心绿色像素值的装置。所述模块进一步包含:用于将基于第一层次层中相对于所述区域的所述中心绿色像素的周围绿色像素的第二加权因数的经加权绿色像素值相加以形成第一层次层和的装置;及用于将基于第二层次层中相对于所述区域的所述中心绿色像素的周围绿色像素的第三加权因数的经加权绿色像素值相加以形成第二层次层和的装置。所述模块还包括:用于将所述经加权中心绿色像素值、所述第一层次层和及所述第二层次层和相加以形成经加权绿色像素总和的装置,用于将所述经加权绿色像素总和规范化的装置,及用于用所述经规范化的经加权绿色像素总和替代所述中心绿色像素的像素值以移除绿色通道奇偶失配的装置。
本发明的目标由程序码实现,所述程序码由处理装置执行且包含在执行时可操作以基于中心绿色像素的第一加权因数产生的经加权中心绿色像素值的指令。所述程序码进一步可操作以:将基于第一层次层中相对于所述区域的所述中心绿色像素的周围绿色像素的第二加权因数的经加权绿色像素值相加以形成第一层次层和,且将基于第二层次层中相对于所述区域的所述中心绿色像素的周围绿色像素的第三加权因数的经加权绿色像素值相加以形成第二层次层和。所述程序码进一步可操作以:将所述经加权中心绿色像素值、所述第一层次层和及所述第二层次层和相加以形成经加权绿色像素总和,将所述经加权绿色像素总和规范化,且用所述经规范化的经加权绿色像素总和替代所述中心绿色像素的像素值以移除绿色通道奇偶失配。
附图说明
当结合附图阅读时将更好地理解以上发明内容以及对本发明的优选实施例的以下详细说明。出于图解说明本发明的目的,图式中显示目前为优选的实施例。然而,应了解,本发明并不限于所显示的精确布置。图式中:
图1图解说明去马赛克操作之后的平场图像(放大300%);
图2A图解说明绿色通道奇偶失配分布的Gb增益分布的曲线图,其中每一点表示一个区域(32×32像素);
图2B图解说明所述绿色通道奇偶失配分布的Gr增益分布的曲线图,其中每一点表示一个区域(32×32像素);
图3图解说明在应用用以通过适当的平滑处置所述绿色通道奇偶失配的自适应贝尔滤波器之后的经修改平场图像(放大300%);
图4图解说明室内图像的绿色通道失配(Gr/Gb)的曲线图,其中每一点表示一个区域(32×32像素);
图5图解说明室外图像的绿色通道失配(Gr/Gb)的曲线图,其中每一点表示一个区域(32×32像素);
图6A-6B图解说明绿色通道奇偶失配移除方法的自适应逐区域绿色通道增益自校准过程的流程图;
图7图解说明所述绿色通道奇偶失配移除方法的校正过程的流程图;
图8图解说明用以计算有效像素对的平均GB及GR值的流程图;
图9图解说明用以计算每一GB、GR对的平均增益的流程图;
图10A图解说明具有4×3区域的经分割原始贝尔图像,其中一个区域具有交叉阴影线;
图10B图解说明图10A的分割为8×8像素的交叉阴影线区域;
图11图解说明并入有绿色通道奇偶失配移除模块的快照成像装置的方块图;
图12图解说明逐区域增益校正及去马赛克之后的平场图像,其中每一区域大小是32×32(放大300%);
图13A图解说明具有绿色像素索引的贝尔图案;
图13B图解说明具有绿色像素索引及红色像素索引的贝尔图案;
图14A-14E图解说明用于自适应通道平衡的替代性自适应绿色通道奇偶失配移除方法的流程图;
图15A图解说明不具有所述自适应通道平衡的平场图像(放大300%且具有去马赛克处理);
图15B图解说明具有所述自适应通道平衡的平场图像(放大300%且具有去马赛克处理);
图16A图解说明不具有所述自适应通道平衡的分辨率测试卡图像(中心圈)(放大300%且具有去马赛克处理);
图16B图解说明具有所述自适应通道平衡的分辨率测试卡图像(中心圈)(放大300%且具有去马赛克处理);
图17A图解说明不具有所述自适应通道平衡的分辨率测试卡图像(垂直线)(放大300%且具有去马赛克处理);
图17B图解说明具有所述自适应通道平衡的分辨率测试卡图像(垂直线)(放大300%且具有去马赛克处理);
图18A图解说明不具有所述自适应通道平衡的分辨率测试卡图像(水平线)(放大300%且具有去马赛克处理);
图18B图解说明具有所述自适应通道平衡的分辨率测试卡图像(水平线)(放大300%且具有去马赛克处理);
图19A图解说明不具有所述自适应通道平衡的MacBeth测试卡图像(放大300%且具有去马赛克处理);
图19B图解说明具有所述自适应通道平衡算法的MacBeth测试卡图像(放大300%且具有去马赛克处理);
图20A图解说明不具有所述自适应通道平衡而具有去马赛克处理的MacBeth测试卡图像;及
图20B图解说明具有所述自适应通道平衡且具有去马赛克处理的MacBeth测试卡图像。
具体实施方式
虽然本发明容许许多不同形式的实施例,但本说明书及附图仅揭示某些形式作为使用本发明的实例。并非打算将本发明限定为所说明的实施例,且将在随附权利要求书中指出本发明的范围。
下文通过到快照图像的具体应用来说明根据本发明的绿色通道奇偶失配移除方法的优选实施例。然而,所属技术领域的技术人员将了解,本发明还很好地适用于需要绿色通道校正的其它类型的图像。现在详细参照图式,其中所有图式中使用相同的编号来指示相同的元件,图6A-6B及7中显示根据本发明的自校准过程及校正过程,其大体指示为100及120。
然而,为准许理解本发明,奇偶失配是指红色行上的绿色像素存在红色与绿色像素失配且指蓝色行上的绿色像素存在蓝色与绿色像素失配。由于上文提及的多个原因,绿色像素响应是不同的,即使所述景物是平滑的平场图像。此失配通常表征为Gr/Gb的比率。其中Gr意指红色行上的绿色像素而Gb意指蓝色行上的绿色像素。理想地,此比率应为1.0。
如图2A及2B中所示,所述绿色通道奇偶失配在整个图像中非常不均匀。不能够以简单的方式建模所述失配图案。很明显,所述绿色通道失配从传感器到传感器不同。此外,同一传感器模式的不同模块可偏离。通过将图4中的室内图像的绿色通道失配与同一传感器所捕获的图5中的室外图像的绿色通道失配相比较,可容易地看出所述绿色通道失配还取决于图像内容。
在第一实例性实施例中,所述绿色通道奇偶失配移除方法包括结合图6A-6B说明的自适应逐区域绿色通道增益自校准过程100及结合图7说明的校正过程120。大体来说,所述绿色通道奇偶失配移除方法通过自适应逐区域绿色通道增益自校准过程100补偿所述绿色通道失配,且然后逐区域地将所述绿色通道增益应用到在校正过程120中从快照成像装置200的传感器模块210(图11)输出的每一最终快照图像。
现在参照图6A-6B、8、9及10A-10B,自适应逐区域绿色通道增益自校准过程100以步骤S102开始,其中从传感器模块210(图11)输出的整个图像150(例如原始图像)被分割为具有M×M像素(图10B)的X×Y区域(图10A),其中M是2的倍数。在所述实例性实施例中,图像150被分割为4×3(X=4,Y=3)区域,其中每一区域被分割为8×8像素。对于此实例,图像150中有12个区域。标为R1的阴影线区域被分割为M×M像素,如图10B中所示。图像150为原始贝尔图像且尚未经去马赛克处理230。因此,图10B图解说明原始贝尔代表区域R1。
仅出于例示的目的,图10B中的第一行是具有交互绿色与蓝色像素的蓝色行。所述蓝色行中的绿色像素表示为GB。紧跟所述第一行的第二行是具有交互绿色与红色像素的红色行。所述红色行上的绿色像素表示为GR。在所述实例性实施例中,图10B中的第一列包括交互绿色与红色像素。
再次返回到图6A的流程图,步骤S102跟随其中将所述区域设定为1的步骤S103。步骤S103后跟其中针对每一区域计算红色行及蓝色行上的毗邻绿色像素GR与GB的比率的步骤S104。在所述实例性实施例中,选择每一区域的两个GB、GR像素对。步骤S104后跟其中滤除出坏像素及边缘像素的步骤S106。
可基于同一颜色的相邻像素检测坏像素。举例来说,如果当前像素与同一颜色的相邻像素的比较超过某阈值,那么可确定所述当前像素是坏的。另一方面,边缘像素检测可采用A×A大小的窗口及2-D卷积。将所述2-D卷积的输出与阈值相比较。如果所述输出大于所述阈值,那么所述输出是边缘。否则,所述输出不是边缘。存在多种坏像素检测及边缘像素检测算法。因此,上文对坏像素检测及边缘像素检测的说明是仅出于例示的目的。
步骤S106后跟其中计算所述区域内的非坏像素的GB及GR像素值的平均值(表示为Gr_avg及Gb_avg)的步骤S108。步骤S108后跟图6B中的步骤S110。下文分别基于方程式Eq.(1)及Eq.(2)计算所述Gr_avg及Gb_avg,论述如下。
现在参照图8,说明用于计算所述Gr_avg及Gb_avg像素值的过程。在跟随此章节的附件中还提供用于计算Gr_avg及Gb_avg的实例性码。步骤S108的过程以其中计数或确定考虑中的区域中的有效像素对的数量(#VP)的步骤S140。所述有效对是在滤波步骤S106之后仍存在的非坏像素对。步骤S140后跟其中将i设定为0的步骤S142。步骤S142后跟步骤S144(确定步骤),其确定i是否小于所述区域的有效对的数量(#VP),如果所述确定为“是”,那么在步骤S146处计算红色行中非坏绿色像素GR的GR像素值的和(表示为Gr_sum)。步骤S146后跟其中计算蓝色行中非坏绿色像素GB的GB像素值的和(表示为Gb_sum)的步骤S148。步骤S148后跟其中将i增加1的步骤S150。
步骤S150返回到步骤S144。步骤S144、S146、148及150是回路且重复直到i小于所述有效对数量。因此,在步骤S146处,将所述和增加所述区域中每一对应非坏GR像素的绿色像素值。在步骤S148处,将所述和增加每一对应非坏GB像素的绿色像素值。一旦将所有非坏GR及GB像素单独相加,那么步骤S144后跟其中基于方程式Eq.(1)计算Gr_avg(区域的红色行中的非坏绿色像素的平均像素值)的步骤S152,Eq.(1)定义为:
Gr_avg=Gr_sum/Number of Valid Pairs per Region. 方程式(1)
步骤S152后跟其中基于方程式Eq.(2)计算Gb_avg(区域的蓝色行中的非坏绿色像素的平均像素值)的步骤S154,Eq.(2)定义为:
Gb_avg=Gb_sum/Number of Valid Pairs per Region.方程式(2)
现在参照图6B及图9,在步骤S110处计算2个通道绿色像素值Gr_gain与Gb_gain的平均增益。此意指对较弱的绿色通道应用>1的数字增益,而对较强的绿色通道应用<1.0的数字增益。注意,此过程的目标是平衡来自所述2个通道的绿色像素,而不是在不同颜色的通道之间,因此应用<1.0的增益不将导致色移。因此,可在步骤S160处在以下方程式Eq.(3)中,在步骤S162处在Eq.(4)中且在步骤S164处在方程式Eq.(5)中导出每一(GB,GR)对的通道增益,所述方程式定义为:
avg=(Gr_avg+Gb_avg)/2; 方程式(3)
Gr_gain=avg/GR_avg; 方程式(4)
Gb_gain=avg/GB_avg; 方程式(5)
其中avg是从在方程式Eq.(1)中计算的红色行中有效(非坏)绿色像素GR的平均值与在方程式Eq.(2)中计算的蓝色行中有效(非坏)绿色像素GR的平均值计算的所述区域中非坏或有效像素对的平均值。
步骤S110产生Gr_gain及Gb_gain的通道增益,其被传递到步骤S112。在步骤S112处,可通过先前图像的通道增益(Gr__gain及Gb_gain)对当前图像150的Gr_gain及Gb_gain进行低通滤波以减小噪声方差。将所述当前图像的经滤波Gr_gain及Gb_gain表示为Gr_gain′及Gb_gain'。
表示步骤S112的方框具有表示为Gr_gain′及Gb_gain′的两个输出,其被存储以用于校正过程中的计算。步骤S112后跟其中增加所述区域的步骤S114。
重复图6A-6B中的过程以计算Gr_gain及Gb_gain或每一区域的Gr_gain'及Gb_gain′(如果经滤波的话)。相应地,步骤S114后跟确定步骤S116以确定是否还有区域。如果“是”,那么步骤S116返回到图6A的步骤S104以自校准下一区域。否则,如果没有区域,那么用以校准所述两个通道增益的自校准过程100结束。
现在参照图7,现在将说明使用每一区域的Gr_gain′及Gb_gain′的校正过程120。过程120以其中将区域设定为1的步骤S122开始。步骤S122后跟其中将蓝色行中的每一绿色像素GB的像素值乘以Gb_gain′的步骤S124。步骤S124后跟其中将红色行中的每一绿色像素GR的像素值乘以Gr_gain'的步骤S126。步骤S126后跟其中增加所述区域的步骤S128,步骤S128后跟其中做出是否还有区域的确定的步骤S130。如果“否”,那么过程120结束。否则,如果“是”,那么步骤S130返回到其中将校正应用到下一区域的步骤S124。
通过32×32像素的区域大小,借助测试图像执行自校准及校正过程100及120,且所述测试图像的去马赛克输出不再显示任何交叉阴影线图案。由于32×32的区域大小足够小,因此经校正的图像不显示任何可观察到的区域边界伪影。然而,如果所述区域大小太大(例如256×256),那么块状伪影可变得可观察得到。图12显示去马赛克处理之后的经校正图像10′。与图1相比,图12中的图像10′是较大的改善。
现在参照图11,快照成像装置200包括透镜202及具有图像处理单元212及色彩滤波单元214的传感器模块210。色彩滤波单元214是产生原始贝尔图像的贝尔色彩滤波器阵列。此原始贝尔图像由绿色通道奇偶失配移除模块220校正。从毗邻像素内插单个像素位置处的所有三个原色红色、绿色及蓝色的传感器值。此内插过程由去马赛克处理单元230实现。存在多种去马赛克方法,例如像素复制、双线性内插及中值内插。自适应绿色通道奇偶失配移除模块220的输出向去马赛克处理单元230提供经校正的原始贝尔图像。
可使用固件、软件及硬件来实施绿色通道奇偶失配移除模块220所执行的绿色通道奇偶失配移除方法。对于固件实施方案来说,数字信号处理(DSP)222一次读取一个区域,ARM(高级RISC机器)226将Gr_gain′及Gb_gain′供应到DSP 222。DSP 222对所述绿色像素执行乘法。所述处理是在原地进行的,即,输入与输出像素共享同一缓冲器228。换句话说,可直接用新的值替代所述图像像素而无需分配用于处理的另一缓冲器。程序指令224在执行时可操作以执行自适应逐区域绿色通道增益自校准过程100及校正过程120。
虽然将DSP 222及ARM 226显示为绿色通道奇偶失配移除模块220的部分,但快照成像装置200可已经包括DSP 222及ARM 226以实现图像处理单元212、色彩滤波单元214及去马赛克处理单元230中的功能。因此,用以执行程序指令224的处理装置可能已经存在。
另一方面,对于软件实施方案来说,用编程语言编写的程序指令(例如但非限制,C码)在ARM 226上运行以将原始图像(例如原始贝尔图像)分割为数个区域并使用所述区域的Gr_gain′及Gb_gain′对绿色像素执行乘法。ARM 226通常预先存在且可用于执行程序指令224。因此,ARM 226执行自校准及校正过程100及120两者。在所述软件实施方案的情况下,所述处理也是在原地进行的,使得可直接用新的值替代所述图像像素而无需分配用于处理的另一缓冲器。
对于硬件实施方案来说,只要查找表的大小不是问题便可将自校准及校正过程100及120实施于硬件中。
绿色通道奇偶失配产生图像处理器的视频前端(VFE)处理的全新的问题。由于不均匀失配分布的性质,全局通道增益不解决所述问题。逐区域校准及校正过程100及120提供用以解决与所述不均匀失配分布相关的问题的有效且快速的方法。
图13A显示具有将在下文中更加详细说明的绿色像素索引的典型RGB贝尔图案。结合图14A-14E的流程图及图13A-13B的图像说明用于自适应地平衡绿色通道以移除奇偶失配的替代性自适应绿色通道奇偶失配移除方法300。在此实施例中,将修改程序指令224(图11)以包括操作以执行本文中所说明的自适应绿色通道奇偶失配移除方法300的指令。
自适应绿色通道奇偶失配移除方法300以其中获得原始图像(例如原始贝尔图像,如最佳见于图13A中)的步骤S302开始。图13A具有加索引以准许理解方法300的绿色像素。步骤S302后跟其中从所述图像产生N×N像素区域的步骤S304。在所述实例性实施例中,N是奇数且等于5。步骤S304后跟其中选择中心绿色像素(CGP)的步骤S306。在此实施例中,将所述CGP表示为图13A中的G22。步骤S306后跟其中向CGP G22指派第一加权因数的步骤S308。在所述实例性实施例中,所述第一加权因数是8。步骤S308后跟其中为距离CGP1个像素的区域N×N中的所有绿色像素指派第二加权因数的步骤S310。在所述实例性实施例中,有四(4)个邻近绿色像素在相对的绿色通道中且到CGP的距离为1。因此,这些具有1个像素的距离的邻近像素将被称作“GP1”且共同定义第一层次层。所述第一层次层的GP1包括加索引为G11、G13、G31及G33的绿色像素。在所述实例性实施例中,所述第二加权因数是四(4)。
步骤S310后跟其中向距离CGP G22两个(2)像素的绿色像素指派第三加权因数的步骤S312。因此,这些具有2个像素的距离的邻近像素将被称作“GP2”且共同定义第二层次层。在所述实例性实施例中,所述第二层次层中存在加索引为G00、G02、G04、G20、G24、G40、G42及G44的8个GP2。因此,总的加权因数为32,因此可容易地通过5个位的下移位或除以25进行规范化,其中所述像素值可由8、10或12位表示(使用二进制表示法)。将在下文中说明规范化。
步骤S312后跟其中设定并计算F-max、F_min的步骤S314。F_max是最大绿色失配的比率的上限阈值。F_min是最大绿色失配的比率的下限阈值。步骤314后跟其中计算偏移的步骤316,其中所述偏移是执行平滑的强度阈值。
绿色通道失配产生的一个重要因素是由于周围红色像素的串话干扰。即,Gr/Gb通道变异取决于所述红色通道值。因此,所述偏移自适应于所述周围红色像素以正确地移除空间变化绿色通道奇偶失配。在实例性实施例中,所述周围红色像素是索引且表示为R10、R12、R14、R30、R32及R34(图13B)。在所述实例性实施例中,存在六个(6)周围红色像素。所述偏移参数由方程式Eq.(6)定义为:
Offset=k*mean(R10,R12,R14,R30,R32,R34) 方程式(6)
其中k是调整串话干扰的校正的量值的参数;且R10、R12、R14、R30、R32、R34表示对应的加索引红色像素的像素值。
此外,所述偏移由表示为偏移上限的常数限定以避免过大的偏移阈值。因此,步骤S316后跟其中如果偏移大于所述偏移上限那么在步骤S318处将所述偏移设定为偏移上限或其它常数的步骤S317。步骤S318后跟步骤S319。然而,如果所述偏移不大于所述偏移上限,那么步骤S317后跟步骤S319。
在步骤S319处,针对CGP G22,通过方程式Eq.(7)、Eq.(8)及Eq.(9a.)计算变量P_max、P_min及G_sum,所述方程式定义如下:
P_max=max(F_max*G22,G22+偏移); 方程式(7)
P_min=min(F_min*G22,G22-4偏移); 及 方程式(8)
G_sum=G22<<3 方程式(9a)
其中G22表示中心像素G22的绿色像素值;P_max是所述绿色像素的最大值;而P_min是绿色像素的最小值。此外,符号“<<”表示3个位的上移位。换句话说,G_sum等于绿色中心像素G22的像素值乘以其加权因数8(23)。因此,还可将方程式Eq.(9a)写作方程式Eq.9(b),方程式Eq.9(b)定义如下:
G_sum=G22的像素值 *G22的加权因数。 方程式9(b)
可容易地看出,Eq.(9a)或Eq.(9b)中的G-sum产生基于中心绿色像素(CGP)G22的第一加权因数的经加权中心绿色像素值。
步骤S319后跟其中在第一层次层中获得距离中心绿色像素(CGP)G22为1的第一绿色像素的步骤S320。步骤S320后跟其中做出绿色像素GP1的像素值是否大于或等于P_min且小于或等于P_max(参见步骤S322)的确定的步骤S322。换句话说,步骤S322确定被评价的所述绿色像素是否在范围内。如果步骤S322处的确定为“是”,那么步骤S322后跟其中将值G_sum增加上移位2个位的第一绿色像素GP1(例如加索引像素G11)的绿色像素值以产生所述第一层次层的经加权像素值的步骤S324。更具体来说,通过方程式Eq.(10a)或Eq.(10b)增加G_sum:
G_sum+=GP1<<2;或 方程式(10a)
G_sum=G_sum+(GP1*GP1的加权因数) 方程式(10b)
(所述第一层次层的加权因数,=4)
其中GP1是所述中心绿色像素周围的第一层次层中的加索引绿色像素的像素值。在所述实例性实施例中,所述第一层次层中的GP1包括G11、G13、G31及G33。因此,如果被评价的绿色像素值GP1在P_min与P_max所定义的范围内,那么将Eq.(10a)或Eq.(10b)的G_sum增加乘以所述第一层次层加权因数(4)或(22)的每一GP1(G11、G13、G31及G33)的像素值。
另一方面,如果步骤S322处的确定为“否”,那么绿色像素GP1的像素值不大于或等于P_min及/或不小于或等于P_max。换句话说,被评价的绿色像素值GP1超出范围。因此,步骤S322后跟其中将值G_sum增加表示为G22的中心绿色像素值的上移位2的像素值的步骤S326。更具体来说,通过方程式Eq.(11a)或Eq.(11b)来增加G_sum:
G_sum+=G22<<2;或 方程式(11a)
G_sum=G_sum+(G22*GP1的加权因数) 方程式(11b)
(所述第一层次层的加权因数,=4)
其中G22表示加索引中心绿色像素G22的像素值。给予所述第一层次层的G13、G31及G33相同的操作及加权。如果被评价的绿色像素值GP1超出P_min与P_max所定义的范围,那么使用Eq.(11a)或Eq.(11b)处的G_sum方程式。可在Eq.(11a)或Eq.(11b)中容易地看出,所述层次层的超出范围的绿色像素被中心绿色像素G22的像素值替代。
步骤S324及S326后跟步骤S328以确定是否存在另一GP1。如果是,那么步骤S328返回到步骤S320,以便基于下一GP1的像素值重新评价步骤S322、S324、S326。
在步骤S320、S322、S324、S326及S328所定义的回路的末尾,Eq.(10a)、(10b)、(11a)及/或11(b)的G_sum已将所述第一层次层的经加权绿色像素值加在一起,其通常形成第一层次层和。在所提供的所提出程序码中,所述G_sum方程式还将所述第一层次层和加入到先前针对所述经加权中心绿色像素值计算的G_sum。
当所述第一层次层中不再有GP1时,步骤S328后跟其中在第二层次层中获得距离中心绿色像素(CGP)G22为2的第一绿色像素的步骤S330。步骤S330后跟其中做出绿色像素GP2的像素值是否大于或等于P_min且小于或等于P_max(参见步骤S332)或是否在范围中的确定的步骤S332。如果步骤S332处的确定为“是”,那么步骤S332后跟其中将值G_sum增加第一绿色像素GP2(例如加索引像素G00)的绿色像素值的步骤S334。更具体来说,通过方程式Eq.(12a)或Eq.(12b)来增加所述G_sum:
G_sum+=GP2;或 方程式(12a)
G_sum=G_sum+GP2*GP2的加权因数 方程式(12b)
(所述第二层次层的加权因数,=1)
其中GP2是所述第二层次层中加索引绿色像素的像素值。在所述实例性实施例中,所述第二层次层中的GP2包括G00、G02、G04、G20、G24、G42及G44。因此,如果被评价的绿色像素值GP2在P_min与P_max所定义的范围内,那么由于加权因数为1,因此G_sum增加所述GP2的像素值。
另一方面,如果步骤S332处的确定是绿色像素GP2的像素值不大于或等于P_min及/或不小于或等于P_max或超出范围,那么步骤S332后跟其中将值G_sum增加表示为G22的中心绿色像素值的像素值的步骤S336。更具体来说,通过方程式Eq.(13a)或Eq.(13b)增加所述G_sum:
G_sum+=G22;或 方程式(13a)
G_sum=G_sum+(G22*GP2的加权因数) 方程式(13b)
(所述第二层次层的加权因数,=1)
其中G22表示加索引中心绿色像素G22的像素值。给予所述第二层次层中表示为G00、G02、G04、G20、G24、G42及G44的GP2相同的操作及加权。如果被评价的绿色像素值GP2超出P_min与P_max所定义的范围,那么使用Eq.(13a)或Eq.(13b)处的G_sum方程式。因此,用中心绿色像素G22的像素值替代所述第二层次层中超出范围的绿色像素的绿色像素值。
可容易地看出,Eq.(12a)、(12b)、(13a)及/或13(b)将所述第二层次层的经加权像素值相加。
步骤S334及步骤S336后跟步骤S338以确定是否存在另一GP2。如果是,那么步骤S338返回到其中基于下一GP2的像素值重新评价步骤S332、S334、S336的步骤S330。在步骤S330、S332、S334、S336及S338所定义的回路的末尾,G_sum已将所述第二层次层的经加权绿色像素值加在一起,其形成第二层次层和。在所提供的所提出程序码中,G_sum也已将所述第二层次层和、所述第一层次层和及所述经加权中心绿色像素值加在一起以形成经加权绿色像素总和。
现在参照图14E,在处理所述N×N(N=5)区域中的绿色像素之后,在步骤S340处将所述G_sum(经加权绿色像素总和)规范化。通过将所述G_sum下移位5个位(25=二进制表示法的总加权因数32)来将所述G_sum规范化。所述总加权因数等于第一加权因数、乘以所述第一层次层中的绿色像素的数量的第二加权因数与乘以所述第二层次层中的绿色像素的数量的第三加权因数的总和。在所述实例性实施例中,所述第一加权因数是8。乘以所述第一层次层中的绿色像素的数量的第二加权因数等于18。乘以所述第二层次层中的绿色像素的数量的第三加权因数等于8。
在步骤S342处,用在步骤S340中计算的经规范化G_sum替代中心绿色像素G22的像素值。更具体来说,中心绿色像素(G22)的新像素值由方程式Eq.(14)定义
新的G22=G_sum>>5;方程式(14)
其中G22表示中心绿色像素G22的像素值且符号“>>”表示下移位;且Eq.(14)中的G_sum是经加权绿色像素总和。下移位5个位与除以25或32相同。
通过自适应绿色通道奇偶失配移除方法300,对于靠近中心绿色像素G22的绿色像素来说,其用于执行低通滤波。如果所述绿色像素超过所定义的靠近程度的范围,那么将其跳过(用所述中心绿色像素的像素值替代)。在所述实例性实施例中,所定义的靠近程度是一个(1)像素的距离处或两个(2)像素的距离处的像素。因此,所述规范化因数为常数。因此,可用简单的下移位替代除法。
步骤342后跟其中针对图像的下一区域重复方法300直到不再有区域为止的步骤S344。在步骤S344处,如果所述确定为“否”,那么方法300结束,因为不再有区域。另一方面,如果所述确定为“是”,那么步骤S344循环回到图14A中的步骤S304以针对所述整个帧图像的下一区域重复所述过程。
另一选择为,可将步骤S344移动到规范化步骤S340(其可允许将所有中心像素同时规范化)之前的位置。
注意,值P_max与P_min利用比率及偏移参数两者。对于小的信号,所述比率不能够产生有用的范围。在所述偏移的帮助下,其可提供有意义的范围[P_min,P_max]。附加收益是噪声的同时降低。对于大的信号,所述比率支配并匹配在所述校准过程期间从亮灰信号估计的经校准最差Gr/Gb比率失配。
通过自适应绿色通道奇偶失配移除方法300,仅需要知道传感器(例如传感器模块210)的最差失配作为现有知识。在运行时间,不存在参数需要改变或调谐。在所述传感器校准程序期间知道所述最差失配。
实验结果
图15A、15B、16A、16B、17A、17B、18A、18B、19A、19B、20A及20B显示具有及不具有自适应绿色通道奇偶失配移除方法300、具有去马赛克处理的图像的比较。可容易地看出,通过自适应绿色通道奇偶失配移除方法300(下文中称作“自适应绿色通道平衡方法”),高频率分量(清晰线及曲线)被保留得很好且交叉阴影线图案被移除。通过所述自适应绿色通道平衡方法,所述图像中未引入新的伪影。用F_max=1.13、F_min=0.87及限定为5的偏移来处理图15A、15B、16A、16B、17A、17B、18A、18B、19A、19B、20A及20B的图像。图15A-15B图解说明不具有及具有所述自适应绿色通道平衡方法的平场图像(放大300%且具有去马赛克);图16A-16B图解说明不具有及具有所述自适应绿色通道平衡方法的分辨率测试卡图像(中心圈)(放大300%且具有去马赛克处理);图17A-17B图解说明不具有及具有所述自适应绿色通道平衡方法的分辨率测试卡图像(垂直线)(放大300%且具有去马赛克处理);图18A-18B图解说明不具有及具有所述自适应绿色通道平衡方法的分辨率测试卡图像(水平线)(放大300%且具有去马赛克处理);图19A-19B图解说明不具有及具有所述自适应通道平衡算法的MacBeth测试卡图像(放大300%且具有去马赛克处理);及图20A-20B图解说明不具有及具有所述自适应通道平衡的MacBeth测试卡图像(具有去马赛克处理)。
可从图15B、16B、17B、18B、19B及20B中容易地看出,自适应绿色通道平衡方法300将图像中的边缘保留得很好,同时可移除藉由失配伪影(交叉阴影线图案)。自适应绿色通道平衡方法300不需要具有运行时间调谐或监督。仅需要对最差奇偶失配的离线校准来确定用于自适应绿色通道平衡方法300中的参数(F_max及F_min)。所述校准程序将提供所述绿色通道失配增益及所述增益方差。基于此,可导出所述参数(F_max及F_min)。
自适应绿色通道平衡方法300适合实施于硬件、固件或软件中。
已出于例示及说明的目的提供对本发明的实施例的以上说明,其并非打算为穷尽性或将本发明限定为所揭示的精确形式,且按照以上教示可得出修改及变更或从对本发明的实践中获得修改及变更。选择并说明所述实施例旨在解释本发明原理及其实际应用,以使所属技术领域的技术人员能够以适于所涵盖的特定使用的各种实施例及各种修改来利用本发明。本发明的范围打算由其随附权利要求书及其等效物来定义。
附件
根据以下程序计算所述区域内的非坏绿色像素的Gr_avg及Gb_avg值:
对于(i=0;i<每一区域的有效对的数量;i++)
{
Gr_sum+=GR;
Gb_sum+=GB;
}
Gr_avg=Gr_sum/每一区域的有效对的数量;
Gb_avg=Gb_sum/每一区域的有效对的数量。
可使用所述伪码导出每一(GB,GR)对的通道增益:
avg=(Gr_avg+Gb_avg)/2;
Gr_gain=avg/GR_avg;
Gb_gain=avg/GB_avg.
可将以下码用于替代性自适应绿色通道奇偶失配移除方法300。
P_max=max(F_max*G22,G22+offset):
P_min=min(F_min*G22,G22-offset);及
G_sum=G22<<3.
可将以下实例性码用于替代性自适应绿色通道奇偶失配移除方法300以基于距离所述第一层次层中的绿色中心像素为1的绿色像素将参数G_sum相加。
对于 G11.
如果(G11>=P_min and G11<=P_max)
G_sum+=G11<<2; (加权=4)
另外
G_sum+=G22<<2.
给予G13、G31及G33相同的操作及加权。
可将以下实例性码用于替代性自适应绿色通道奇偶失配移除方法300以基于距离所述第二层次层中的绿色中心像素为2的绿色像素将参数G_sum相加。
对于GOO,
如果(GOO>=P_min and GOO<=P_max)
G_sum+=GOO; (加权=1)
另外
G_sum+=G22.
给予G02、G04、G20、G24、G40、G42及G44相同的操作及加权。
Claims (50)
1.一种用于自适应绿色通道奇偶失配移除的方法,其包含以下步骤:
对图像逐区域地校准红色行的绿色(GR)通道增益及蓝色行的绿色(GB)通道增益,及
逐区域地将针对每一相应区域校准的所述GR通道增益应用到所述红色行中的绿色像素且将针对每一相应区域校准的所述GB通道增益应用到所述蓝色行中的所述绿色像素以移除所述绿色通道奇偶失配。
2.如权利要求1所述的方法;其中所述图像是原始贝尔图像。
3.如权利要求1所述的方法;其中所述校准步骤包括滤除出所述每一相应区域中的坏像素及边缘像素以形成一组有效像素对的步骤。
4.如权利要求3所述的方法;其中所述校准步骤包括以下步骤:对所述区域中的所述有效像素对的数量进行计数;计算所述红色行的所述有效绿色像素的平均数量;及计算所述蓝色行的所述有效绿色像素的平均数量。
5.如权利要求4所述的方法;其中所述GR通道增益及所述GB通道增益是所述所计算的所述红色行及所述蓝色行的所述有效绿色像素的平均数量的函数。
6.如权利要求1所述的方法;其中所述校准步骤包括用先前图像的GR通道增益及GR通道增益对所述GR通道增益及所述GB通道增益进行滤波的步骤;且其中所述应用步骤的所述所应用GR通道增益及所述所应用GB通道增益是所述经滤波GR通道增益及所述经滤波GB通道增益。
7.如权利要求1所述的方法;其中所述应用步骤包含以下步骤:将所述每一相应区域中的红色行中的所述绿色像素与所述GR通道增益相乘;及将蓝色行中的所述绿色像素与所述GB通道增益相乘。
8.一种由处理装置执行的程序码,其包含:
在执行时可操作以进行以下操作的指令:
在图像中逐区域地校准红色行的绿色(GR)通道增益及蓝色行的绿色(GB)通道增益,及
逐区域地将针对每一相应区域校准的所述GR通道增益应用到所述红色行中的绿色像素且将针对每一相应区域校准的所述GB通道增益应用到所述蓝色行中的绿色像素以自适应地从所述图像中移除绿色通道奇偶失配。
9.如权利要求8所述的码;其中所述可操作以进行校准的指令包括可操作以滤除出所述每一相应区域中的坏像素及边缘像素以形成一组有效像素对的指令。
10.如权利要求9所述的码;其中所述可操作以进行校准的指令包括可操作以进行以下操作的指令:对所述区域中的所述有效像素对的数量进行计数;计算所述红色行的有效绿色像素的平均数量;及计算所述蓝色行的有效绿色像素的平均数量。
11.如权利要求10所述的码;其中所述GR通道增益及所述GB通道增益是所述所计算的所述红色行及所述蓝色行的所述有效绿色像素的平均数量的函数。
12.如权利要求8所述的码;其中所述可操作以进行校准的指令包括可操作以用先前图像的GR通道增益及GB通道增益对所述GR通道增益及所述GB通道增益进行滤波的指令;且其中所述指令可操作以应用所述GR通道增益且所述所应用GB通道增益应用所述经滤波GR通道增益及所述经滤波GB通道增益。
13.如权利要求8所述的码;其中所述可操作以应用的指令包括可操作以进行以下操作的指令:将所述每一相应区域中的所述红色行中的所述绿色像素与所述GR通道增益相乘;及将所述蓝色行中的所述绿色像素与所述GB通道增益相乘。
14.一种自适应绿色通道奇偶失配移除模块,其包含:
校准装置,其用于在图像中逐区域地校准红色行的绿色(GR)通道增益及蓝色行的绿色(GB)通道增益,及
应用装置,其用于逐区域地将针对每一相应区域校准的所述GR通道增益应用到所述红色行中的绿色像素且将针对每一相应区域校准的所述GB通道增益应用到所述蓝色行中的绿色像素以移除所述绿色通道奇偶失配。
15.如权利要求14所述的模块;其中所述图像是原始贝尔图像。
16.如权利要求14所述的模块;其中所述校准装置包括用于滤除出所述每一相应区域中的坏像素及边缘像素以形成一组有效像素对的装置。
17.如权利要求16所述的模块;其中所述校准装置包括用于对所述区域中的所述有效像素对的数量进行计数的装置;用于计算所述红色行的有效绿色像素的平均数量的装置;及用于计算所述蓝色行的有效绿色像素的平均数量的装置。
18.如权利要求17所述的模块;其中所述GR通道增益及所述GB通道增益是所述所计算的所述红色行及所述蓝色行的所述有效绿色像素的平均数量的函数。
19.如权利要求17所述的模块;其中所述校准装置包括用于用先前图像的GR通道增益及GR通道增益对所述GR通道增益及所述GR通道增益进行滤波的装置;且其中所述应用装置的所述所应用GR通道增益及所述所应用GB通道增益是所述经滤波GR通道增益及所述经滤波GB通道增益。
20.如权利要求19所述的模块;其中所述应用装置包含用于将所述每一相应区域中的所述红色行中的所述绿色像素与所述GR通道增益相乘的装置;及用于将所述蓝色行中的所述绿色像素与所述GB通道增益相乘的装置。
21.一种用于自适应绿色通道奇偶失配移除的方法,其包含以下步骤:
将来自传感器的原始图像分割为多个区域;及
针对每一区域,自适应地移除所述原始图像中的绿色通道奇偶失配以在经去马赛克处理的图像中实现伪影的消失。
22.如权利要求21所述的方法;其中所述原始图像是原始贝尔图像。
23.如权利要求21所述的方法;其中所述移除步骤包含以下步骤:
对所述原始图像逐区域地校准红色行的绿色(GR)通道增益及蓝色行的绿色(GB)通道增益,及
逐区域地将针对每一相应区域校准的所述GR通道增益应用到所述红色行中的绿色像素且将针对每一相应区域校准的所述GB通道增益应用到所述蓝色行中的所述绿色像素以移除所述绿色通道奇偶失配。
24.如权利要求21所述的方法;其中所述移除步骤包含以下步骤:
针对所述原始图像中的所述每一相应区域:
基于中心绿色像素的第一加权因数产生经加权中心绿色像素值;
将基于第一层次层中相对于所述区域的所述中心绿色像素的周围绿色像素的第二加权因数的经加权绿色像素值相加以形成第一层次层和;
将基于第二层次层中相对于所述区域的所述中心绿色像素的周围绿色像素的第三加权因数的经加权绿色像素值相加以形成第二层次层和;
将所述经加权中心绿色像素值、所述第一层次层和及所述第二层次层和相加以形成经加权绿色像素总和;
将所述经加权绿色像素总和规范化;及
用所述经规范化的经加权绿色像素总和替代所述中心绿色像素的像素值。
25.如权利要求24所述的方法;其中所述产生步骤包含以下步骤:
将所述中心绿色像素值乘以所述第一加权因数以产生所述经加权中心绿色像素值。
26.如权利要求24所述的方法;其进一步包含以下步骤:
在所述第一层次层的所述相加步骤之前:
将所述第一层次层中的每一绿色像素的像素值与像素最大值及像素最小值相比较以确定所述第一层次层中的每一绿色像素的所述像素值是否在一范围内;
针对所述第一层次层中的在所述范围内的每一绿色像素,将所述每一绿色像素的所述像素值乘以所述第一加权因数以形成对应的范围内经加权绿色像素值;及
针对所述第一层次层中的不在所述范围内的每一绿色像素,将所述中心绿色像素值乘以所述第一加权因数以形成对应的范围外经加权绿色像素值,其中所述第一层次层的所述相加步骤将所述第一层次层中的在所述范围内的所有绿色像素的所述范围内经加权绿色像素值与所述第一层次层中的超出所述范围的所有绿色像素的所述范围外经加权绿色像素值相加。
27.如权利要求26所述的方法;其进一步包含以下步骤:
在所述第二层次层的所述相加步骤之前:
将所述第二层次层中的每一绿色像素的像素值与所述像素最大值及所述像素最小值相比较以确定所述第二层次层中的每一绿色像素的所述像素值是否在所述范围内;
针对所述第二层次层中的在所述范围内的每一绿色像素,将每一绿色像素的所述像素值乘以所述第二加权因数以形成对应的范围内经加权绿色像素值;及
针对所述第二层次层中的不在所述范围内的每一绿色像素,将所述中心绿色像素值乘以所述第二加权因数以形成对应的范围外经加权绿色像素值
其中所述第二层次层的所述相加步骤将所述第二层次层中的在所述范围内的所有绿色像素的所述范围内经加权绿色像素值与所述第二层次层中的超出所述范围的所有绿色像素的所述范围外经加权绿色像素值相加。
28.如权利要求26所述的方法;其进一步包含以下步骤:
设定最大绿色失配比率的上限阈值(F_max);
设定所述最大绿色失配比率的下限阈值(F_min);
计算自适应于所述中心绿色像素(CGP)周围的红色像素的偏移以移除空间变化绿色通道奇偶失配;
基于如下定义的方程式计算所述像素最大值(P_max)
P_max=max(F_max*CGP,CGP+offset);及
基于如下定义的方程式计算所述像素最小值(P_min)
P_min=min(F_min*CGP,CGP-offset).
29.如权利要求28所述的方法;其中所述偏移计算步骤包含:
将k乘以所述周围红色像素的周围红色像素值的平均数,其中k是调整串话干扰校正的量值的参数。
30.一种自适应绿色通道奇偶失配移除模块,其包含:
分割装置,其用于将来自传感器的原始图像分割为多个区域;及
移除装置,其用于自适应地移除所述原始图像中每一区域中的绿色通道奇偶失配以在经去马赛克处理的图像中实现伪影的消失。
31.如权利要求30所述的模块;其中所述原始图像是原始贝尔图像。
32.如权利要求30所述的模块;其中所述移除模块包含:
校准装置,其用于对所述原始图像逐区域地校准红色行的绿色(GR)通道增益及蓝色行的绿色(GB)通道增益;及
应用装置,其用于逐区域地将针对每一相应区域校准的所述GR通道增益应用到所述红色行中的绿色像素且将针对每一相应区域校准的所述GB通道增益应用到所述蓝色行中的绿色像素以移除所述绿色通道奇偶失配。
33.如权利要求32所述的模块;其中所述移除装置包含:
产生装置,其用于基于中心绿色像素的第一加权因数产生经加权中心绿色像素值;
相加装置,其用于将基于第一层次层中相对于所述区域的所述中心绿色像素的周围绿色像素的第二加权因数的经加权绿色像素值相加以形成第一层次层和;
相加装置,其用于将基于第二层次层中相对于所述区域的所述中心绿色像素的周围绿色像素的第三加权因数的经加权绿色像素值相加以形成第二层次层和;
相加装置,其用于将所述经加权中心绿色像素值、所述第一层次层和及所述第二层次层和相加以形成经加权绿色像素总和;
规范化装置,其用于将所述经加权绿色像素总和规范化;及
替代装置,其用于用所述经规范化的经加权绿色像素总和替代所述中心绿色像素的像素值。
34.如权利要求33所述的模块;其中所述产生装置包含:
相乘装置,其用于将所述中心绿色像素值乘以所述第一加权因数以产生所述经加权中心绿色像素值。
35.如权利要求33所述的模块;其进一步包含:
比较装置,其用于将所述第一层次层中的每一绿色像素的像素值与像素最大值及像素最小值相比较以确定所述第一层次层中的每一绿色像素的所述像素值是否在一范围内;
相乘装置,其用于针对所述第一层次层中的在所述范围内的每一绿色像素,将相应绿色像素的所述像素值乘以所述第一加权因数以形成对应的范围内经加权绿色像素值;
相乘装置,其用于针对所述第一层次层中的不在所述范围内的每一绿色像素,将所述中心绿色像素值乘以所述第一加权因数以形成对应的范围外经加权绿色像素值;
其中所述第一层次层的所述相加装置将所述第一层次层中的在所述范围内的所有绿色像素的所述范围内经加权绿色像素值与所述第一层次层中的超出所述范围的所有绿色像素的所述范围外经加权绿色像素值相加。
36.如权利要求35所述的模块;其进一步包含:
比较装置,其用于在所述第二层次层的所述相加之前将所述第二层次层中的每一绿色像素的像素值与所述像素最大值及所述像素最小值相比较以确定所述第二层次层中的每一绿色像素的所述像素值是否在所述范围内;
相乘装置,其用于针对所述第二层次层中的在所述范围内的每一绿色像素,将每一绿色像素的所述像素值乘以所述第二加权因数以形成对应的范围内经加权绿色像素值;
相乘装置,其用于针对所述第二层次层中的不在所述范围内的每一绿色像素,将所述中心绿色像素值乘以所述第二加权因数以形成对应的范围外经加权绿色像素值
其中所述第二层次层的所述相加装置将所述第二层次层中的在所述范围内的所有绿色像素的所述范围内经加权绿色像素值与所述第二层次层中的超出所述范围的所有绿色像素的所述范围外经加权绿色像素值相加。
37.如权利要求36所述的模块;其进一步包含:
设定装置,其用于设定最大绿色失配比率的上限阈值(F_max);
设定装置,其用于设定所述最大绿色失配比率的下限阈值(F_min);
计算装置,其用于计算自适应于所述中心绿色像素(CGP)周围的红色像素的偏移以移除空间变化绿色通道奇偶失配;
计算装置,其基于如下定义的方程式计算所述像素最大值(P_max)
P_max=max(F_max*CGP,CGP+offset);及
计算装置,其基于如下定义的方程式计算所述像素最小值(P_min)
P_min=min(F_min*CGP,CGP-offset).
38.如权利要求37所述的模块;其中所述偏移计算装置包含:
相乘装置,其用于将k乘以所述周围红色像素的周围红色像素值的平均数,其中k是调整串话干扰校正的量值的参数。
39.一种用于自适应绿色通道奇偶失配移除的方法,其包含以下步骤:
针对所述原始图像中的每一区域:
基于中心绿色像素的第一加权因数产生经加权中心绿色像素值;
将基于第一层次层中相对于所述区域的所述中心绿色像素的周围绿色像素的第二加权因数的经加权绿色像素值相加以形成第一层次层和;
将基于第二层次层中相对于所述区域的所述中心绿色像素的周围绿色像素的第三加权因数的经加权绿色像素值相加以形成第二层次层和;
将所述经加权中心绿色像素值、所述第一层次层和及所述第二层次层和相加以形成经加权绿色像素总和;
将所述经加权绿色像素总和规范化;及
用所述经规范化的经加权绿色像素总和替代所述中心绿色像素的像素值以移除所述绿色通道奇偶失配。
40.如权利要求39所述的方法;其中所述产生步骤包含以下步骤:
将所述中心绿色像素值乘以所述第一加权因数以产生所述经加权中心绿色像素值。
41.如权利要求40所述的方法;其进一步包含以下步骤:
在所述第一层次层的所述相加步骤之前:
将所述第一层次层中的每一绿色像素的像素值与像素最大值及像素最小值相比较以确定所述第一层次层中的每一绿色像素的所述像素值是否在一范围内;
针对所述第一层次层中的在所述范围内的每一绿色像素,将相应绿色像素的所述像素值乘以所述第一加权因数以形成对应的范围内经加权绿色像素值;及
针对所述第一层次层中的不在所述范围内的每一绿色像素,将所述中心绿色像素值乘以所述第一加权因数以形成对应的范围外经加权绿色像素值
其中所述第一层次层的所述相加步骤将所述第一层次层中的在所述范围内的所有绿色像素的所述范围内经加权绿色像素值与所述第一层次层中的超出所述范围的所有绿色像素的所述范围外经加权绿色像素值相加。
42.如权利要求41所述的方法;其进一步包含以下步骤:
在所述第二层次层的所述相加步骤之前:
将所述第二层次层中的每一绿色像素的像素值与所述像素最大值及所述像素最小值相比较以确定所述第二层次层中的每一绿色像素的所述像素值是否在所述范围内;
针对所述第二层次层中的在所述范围内的每一绿色像素,将相应绿色像素的所述像素值乘以所述第二加权因数以形成对应的范围内经加权绿色像素值;及
针对所述第二层次层中的不在所述范围内的每一绿色像素,将所述中心绿色像素值乘以所述第二加权因数以形成对应的范围外经加权绿色像素值
其中所述第二层次层的所述相加步骤将所述第二层次层中的在所述范围内的所有绿色像素的所述范围内经加权绿色像素值与所述第二层次层中的超出所述范围的所有绿色像素的所述范围外经加权绿色像素值相加。
43.如权利要求41所述的方法;其进一步包含以下步骤:
设定最大绿色失配比率的上限阈值(F_max);
设定所述最大绿色失配比率的下限阈值(F_min);
计算自适应于所述中心绿色像素(CPG)的周围红色像素的偏移以移除空间变化绿色通道奇偶失配;
基于如下定义的方程式计算所述像素最大值(P_max)
P_max=max(F_max*CGP,CGP+offset);及
基于如下定义的方程式计算所述像素最小值(P_min)
P_min=min(F_min*CGP,CGP-offset).
44.如权利要求43所述的方法;其中所述偏移计算步骤包含:
将k乘以所述周围红色像素的周围红色像素值的平均数,其中k是调整串话干扰校正的量值的参数。
45.一种自适应绿色通道奇偶失配移除模块,其包含:
产生装置,其用于基于中心绿色像素的第一加权因数产生经加权中心绿色像素值;
相加装置,其用于将基于第一层次层中相对于所述区域的所述中心绿色像素的周围绿色像素的第二加权因数的经加权绿色像素值相加以形成第一层次层和;
相加装置,其用于将基于第二层次层中相对于所述区域的所述中心绿色像素的周围绿色像素的第三加权因数的经加权绿色像素值相加以形成第二层次层和;
相加装置,其用于将所述经加权中心绿色像素值、所述第一层次层和及所述第二层次层和相加以形成经加权绿色像素总和;
规范化装置,其用于将所述经加权绿色像素总和规范化;及
替代装置,其用于用所述经规范化的经加权绿色像素总和替代所述中心绿色像素的像素值。
46.如权利要求45所述的模块;其中所述产生装置包含:
相乘装置,其用于将所述中心绿色像素值乘以所述第一加权因数以产生所述经加权中心绿色像素值。
47.如权利要求45所述的模块;其进一步包含:
比较装置,其用于将所述第一层次层中的每一绿色像素的像素值与像素最大值及像素最小值相比较以确定所述第一层次层中的每一绿色像素的所述像素值是否在一范围内;
相乘装置,其用于针对所述第一层次层中的在所述范围内的每一绿色像素将相应绿色像素的所述像素值乘以所述第一加权因数以形成对应的范围内经加权绿色像素值;
相乘装置,其用于针对所述第一层次层中的不在所述范围内的每一绿色像素将所述中心绿色像素值乘以所述第一加权因数以形成对应的范围外经加权绿色像素值;
其中所述第一层次层的所述相加装置将所述第一层次层中的在所述范围内的所有绿色像素的所述范围内经加权绿色像素值与所述第一层次层中的超出所述范围的所有绿色像素的所述范围外经加权绿色像素值相加。
48.如权利要求47所述的模块;其进一步包含:
比较装置,其用于在所述第二层次层的所述相加装置进行相加之前将所述第二层次层中的每一绿色像素的像素值与所述像素最大值及所述像素最小值相比较以确定所述第二层次层中的每一绿色像素的所述像素值是否在所述范围内;
相乘装置,其用于针对所述第二层次层中的在所述范围内的每一绿色像素将相应绿色像素的所述像素值乘以所述第二加权因数以形成对应的范围内经加权绿色像素值;
相乘装置,其用于针对所述第二层次层中的不在所述范围内的每一绿色像素将所述中心绿色像素值乘以所述第二加权因数以形成对应的范围外经加权绿色像素值
其中所述第二层次层的所述相加装置将所述第二层次层中的在所述范围内的所有绿色像素的所述范围内经加权绿色像素值与所述第二层次层中的超出所述范围的所有绿色像素的所述范围外经加权绿色像素值相加。
49.如权利要求38所述的模块;其进一步包含:
设定装置,其用于设定最大绿色失配比率的上限阈值(F_max);
设定装置,其用于设定所述最大绿色失配比率的下限阈值(F_min);
计算装置,其用于计算自适应于所述中心绿色像素(CPG)的周围红色像素的偏移以移除空间变化绿色通道奇偶失配;
计算装置,其基于如下定义的方程式计算所述像素最大值(P_max)
P_max=max(F_max*CGP,CGP+offset);及
计算装置,其基于如下定义的方程式计算所述像素最小值(P_min)
f_min=min(F_min*CGP,CGP-offset).
50.如权利要求49所述的模块;其中所述偏移计算装置包含:
相乘装置,其用于将k乘以所述周围红色像素的周围红色像素值的平均数,其中k是调整串话干扰校正的量值的参数。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US76076906P | 2006-01-19 | 2006-01-19 | |
US60/760,769 | 2006-01-19 | ||
US60/759,842 | 2006-01-20 | ||
US11/470,619 | 2006-09-06 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101371592A true CN101371592A (zh) | 2009-02-18 |
Family
ID=40414080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2007800030664A Pending CN101371592A (zh) | 2006-01-19 | 2007-01-17 | 用于自适应且自校准传感器绿色通道增益平衡的方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101371592A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106911918A (zh) * | 2015-12-23 | 2017-06-30 | 展讯通信(上海)有限公司 | 图像像素校正的方法及装置 |
CN108234970A (zh) * | 2018-01-04 | 2018-06-29 | 努比亚技术有限公司 | 一种图像处理方法、终端及计算机可读存储介质 |
-
2007
- 2007-01-17 CN CNA2007800030664A patent/CN101371592A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106911918A (zh) * | 2015-12-23 | 2017-06-30 | 展讯通信(上海)有限公司 | 图像像素校正的方法及装置 |
CN106911918B (zh) * | 2015-12-23 | 2018-11-27 | 展讯通信(上海)有限公司 | 图像像素校正的方法及装置 |
CN108234970A (zh) * | 2018-01-04 | 2018-06-29 | 努比亚技术有限公司 | 一种图像处理方法、终端及计算机可读存储介质 |
CN108234970B (zh) * | 2018-01-04 | 2021-05-21 | 努比亚技术有限公司 | 一种图像处理方法、终端及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1801752B1 (en) | Image processing circuit and image processing method | |
US7580070B2 (en) | System and method for roll-off correction in image processing | |
US7683948B2 (en) | System and method for bad pixel replacement in image processing | |
US6526181B1 (en) | Apparatus and method for eliminating imaging sensor line noise | |
US8005297B2 (en) | Method and apparatus for adaptive and self-calibrated sensor green channel gain balancing | |
JP4161295B2 (ja) | 画像センサのダイナミックレンジを拡大するカラー画像撮像システム | |
US8467003B2 (en) | Noise reduction method, medium, and system | |
TWI236851B (en) | Apparatus and method for detecting/correcting pixel defect | |
CN111818239B (zh) | 一种图像传感器中镜头阴影校正方法 | |
US8164661B2 (en) | Method and apparatus for eliminating defective pixels and noise | |
JP2006013988A (ja) | イメージセンサ | |
JP2016048815A (ja) | 画像処理装置、画像処理方法、及び、画像処理システム | |
JP2011071616A (ja) | 画像処理装置 | |
CN101371592A (zh) | 用于自适应且自校准传感器绿色通道增益平衡的方法及设备 | |
CN111784575A (zh) | 一种基于标定的监控摄像机去马赛克的方法 | |
CN109565556A (zh) | 图像处理装置、图像处理方法和程序 | |
US11875481B2 (en) | Method and system for compensating image having fixed pattern noise | |
JP2006041687A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、電子カメラ、及びスキャナ | |
JP7414538B2 (ja) | 撮像装置及びその制御方法 | |
US8068145B1 (en) | Method, systems, and computer program product for demosaicing images | |
CN114757853A (zh) | 平场校正函数的获取方法及系统、平场校正方法及系统 | |
JP4483746B2 (ja) | 欠陥画素補正方法及び装置 | |
JPH1042201A (ja) | 画像欠陥補正回路 | |
JP2008277911A (ja) | 補間処理装置、撮像装置、及び、補間処理方法 | |
JP3678438B2 (ja) | 測距装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20090218 |
|
C20 | Patent right or utility model deemed to be abandoned or is abandoned |