CN104935838A - 一种图像还原的方法 - Google Patents

Abstract

本发明提出一种图像还原的方法，先对单色图像进行YCrCb变换，然后仅针对Y层图像以2*2像素为一个单元进行坏点/热点检测，并判断和记录坏点/热点的坐标，再按照检测结果分类，分别进行校正，最后还原图像成RGB制式。本发明的方法检测坏点/热点不受坏点/热点的数量以及分布范围的限制，检测结果准确，按坏点/热点的类别分别采用不同的校正方法，能够最大化地保证所还原的图像其色彩/亮度变化的连续性，保证了图像的清晰度和完整性，真正提高了图像质量。

Description

一种图像还原的方法

技术领域

本发明属于图像处理的技术领域。本发明涉及一种图像还原的方法，尤其涉及基于图像后处理的坏点/热点的图像还原方法。

背景技术

随着越来越多移动设备配备摄像头，嵌入式应用的CMOS成像技术正在迅速发展。CMOS图像传感器的像素单元是图像传感器实现感光的核心器件，通常包括：实现光电转换的感光单元光电二极管和一系列作用为传输、转换和放大和控制感光单元信号的晶体管。像素单元阵列由多个满足最小BAYER图案和红、蓝、绿三种颜色排列的像素单元电路组合扩展而成。

对于一个由像素单元组成的CMOS图像传感器来说，不仅在参数上需要有出色的灵敏度和宽幅动态范围，而且是否能够准确的，真实的，稳定的反应所摄录图像也是对像素单元作为半导体器件的最基本的要求。而在实际的摄像头成像过程中，其基本组成单元-像素单元，由于在制造中工艺的局限性，或者使用在长时间、高温环境的严苛条件下，在做完降噪等步骤后加大数字增益和模拟增益时，会出现固定的坏点/热点的情况，影响图像质量。

所谓坏点，就是不随感光变化，始终呈现一种颜色，比如一直是白色、黑色或单色的像素点。所谓热点，会随着曝光时间变长越来越明显。由于坏点或热点的存在，直接破坏了图像的清晰度和完整性。坏点的存在是图像质量下降的原因之一。同时坏点的增多，低噪环境下图像会更差，直接影响CMOS图像传感器的使用。热点的存在，在传感器长时间工作情况下同样严重影响图像质量。

现有技术中传统的坏点矫正的方法采用上电初始化一次的方式，确定本次上电视的坏点位置，固定的解决上电判断出来的坏点，如若不重启上电，坏点的纠正将局限于初始化的几个，因此不适合相机在长时间使用过程中产生的坏点纠正。在常规办法中，对坏点/热点的处理主要是对于在Bayer矩阵中的坏点进行检测和直接的校正，但是这种方法大部分是对于单个坏点/热点，也就是不集中的时候处理效果比较好

已公开的专利CN103475828A，其主要方法是以待测点为中心像素点建立5*5的Bayer色彩矩阵。首先对5*5Bayer色彩矩阵的中心像素点周围像素点进行坏点校正，以所述中心像素点的周围像素点为参考点，判断所述中心像素点像素值的色值与周围像素点的差值是否大于一定阈值且连续，如果是，则中心像素点为坏点，再对判定为坏点的中心像素点进行图像校正。这种方法的主要问题是如果相邻点中存在坏点，检测的效果就不理想，且以此为据进行校正的校正效果也不好。

发明内容

本发明要解决当图像存在坏点/热点的还原和校正，尤其是相邻点存在坏点/热点时，图像还原的检测的效果不理想，校正效果差的技术问题。

为解决上述技术问题，本发明提出的解决方案为提供一种图像还原的方法，针对图像后处理的中对于图像坏点/热点的还原方法，通过检测对坏点/热点的类型进行分类，根据不同类型的坏点/热点采用不同的方法校正，以提高校正效果。

本发明提出一种图像还原的方法，步骤为：

1)将RGB图像转换为YCrCb图像；

2)在图像检测区域内建立坐标，定义原点；

3)以2×2的矩阵为单元划分像素，进行坏点/热点检测判断和分类，记录坏点/热点坐标；

4)以单元内坏点/热点个数分类，分别进行校正；

5)转换YCrCb图像为RGB图像；

可选的，步骤1中所述YCrCb图像分为Y层、Cr和Cb层，仅对Y层图像进行坏点/热点检测；

可选的，步骤2中所述图像检测区域不包含图像最右列和最下行的像素；

可选的，所述步骤2中所述坐标定义为：在图像检测区域内，图像左上方第一像素为原点，向右为正向X轴，向下为正向Y轴；

可选的，所述步骤3中将左上点为原点的单元定义为第一单元，从第一单元开始按单元逐一进行坏点/热点检测判断；

优选的，步骤3所述像素单元检测步骤为：

1)以原点为初始位置，检测第一单元内4个像素；

2)将第一单元从初始位置向右移动一列，检测第一单元右列2个像素；

3)将第一单元从初始位置向下移动一行，检测第一单元下行2个像素；

4)同样方法检测所有单元；

可选的，步骤3中取被检测像素所对应的2×2矩阵内对角线上所有像素亮度均值的1.2倍为该被检测像素的阈值，矩阵内所有像素亮度逐一与各自对应的阈值进行比较，大于阈值为坏点/热点，否则为正常点；

可选的，步骤3以所述单元中被检测出的坏点/热点的数量进行分类，分为2个以下，3个和4个；

可选的，所述按分类进行校正具体方法为：

1)2个坏点/热点或以下：将坏点/热点均校正为单元内对应的对角线上像素亮度的最小值；

2)3个坏点/热点：将坏点/热点均校正为单元内唯一正常像素的亮度值；

3)4个坏点/热点：先将2×2的单元扩大成4×4的矩阵，4个坏点/热点的亮度值分别校正为扩大后矩阵内每个坏点/热点各自相邻的两个正常像素亮度的均值；

优选的，针对4个坏点/热点的校正，将2×2矩阵单元向四周均扩大一行/列，成为4×4的矩阵。

YCrCb即YUV，-是被欧洲电视系统所采用的一种颜色编码方法主要用于优化单色视频信号的传输，是基于人眼感知的颜色空间。其中“Y”表示明亮度(Luminance或Luma)，也就是灰阶值。“U”是Cb，是RGB中的蓝色分量，“V”是Cr，是RGB中的红色分量。

采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量，那么这样表示的图像就是黑白灰度图像。而YUV与RGB是可以转换的，相互转换的公式如下(RGB取值范围均为0-255)︰

Y＝(B*1868+G*9617+R*4899+8192)/16384；

U＝((B-Y)*9241+8192)/16384+128；

V＝((R-Y)*11682+8192)/16384+128；

R＝Y+1.14V

G＝Y-0.39U-0.58V

B＝Y+2.03U

所谓坏点是不随感光变化，始终呈现一种颜色的像素点。所谓热点是随着曝光时间变长越来越明显份的高亮点。两者的存在都会影响图像的质量。本发明就是通过对图像中坏点/热点的检测、查找、定位，再有针对性的进行校正，以达到减少坏点/热点的突兀对整个图像清晰度和完整性的破坏，使图像中亮度或色彩过渡连贯，实现还原图像的目的。

由上述描述可知，在实际图像还原过程中，可以通过YCrCb制式，检测像素的亮度来查找坏点/热点。本发明方法将RGB的单色图像转化成的YCrCb制式，通过对其中Y层(即灰度)-亮度图像的检测，判断出坏点/热点并分类，然后针对不同类型采用不同校正方式，以达到更好的图像还原效果，最后将校正后的YCrCb图像转换会RGB制式。

针对现有技术的图像还原技术，只能校正少数的离散的坏点/热点，以及对所有坏点/热点采用相同校正的局限，本发明提出的方法包括：

对单色图像进行YCrCb变换。

针对Y层图像，检测像素的亮度，进行坏点/热点判断，并记录坏点/热点的坐标。以一定大小的像素矩阵为单元进行检测，设定单元对角线像素亮度均值的1～1.5倍为阈值，进行坏点/热点的判断和分类。具体的，在以2*2像素矩阵为一个单元的检测过程中，一般以待测点的对角线像素亮度均值的1.2倍为阈值，比较待检点与阈值之间的关系，如果大于阈值，则为坏点/热点，否则，则为正常点。实际操作上，以所设阈值是否能够检测出图像上肉眼可查的坏点/热点作为标准，判断其是否合适。阈值可以在所对应对角线像素亮度均值的1～1.5倍范围内做调整。

按上述方法，每个2×2的矩阵单元中，都有4个待测点和2个阈值。

然后，按照上述方法完成整个图像的坏点/热点检测。记录坏点/热点的坐标。

按2×2矩阵单元中坏点/热点的个数分类，检测结果可分为3类：两个以下，三个和四个坏点/热点。

对待测的图像进行YCbCr变换，针对所记录的坏点/热点坐标按所分类别采用不同方法进行校正.

最后转换YCbCr图像为RGB制式。

本发明的方法完全不受坏点/热点个数和分布状态的限制。由于在检测中每个待测点对应的阈值同样随着检测区域变动，因此能够依据实际图像情况确定真实的坏点/热点的个数和位置。唯一的不确定情况是，当2×2单位中4个像素均为坏点/热点，则可能因为判断阈值本身的差错引起误判。但本发明已经针对这种情况提出了进一步优化方案。

进一步的，2×2单元在完成原位置检测后，需要向右，继而再向下个移动一行/列。具体的，将测试矩阵从初始位置往右移一列，在包含新像素的矩阵中再次检测原单元中右列的两个像素；再将测试矩阵从初始位置向下移一行，在包含新像素的矩阵中再次检测原单元中下行的两个像素。将单元右移和下移的目的是避免由于存在4个坏点/热点导致检测结果不准确。这一优化方案也进一步解决了对比文件：已公开的专利CN 103475828 A的缺陷。对比文件对于坏点校正是以所述被测中心像素点的周围像素点为参考点，进行判断的。如果被测中心像素点相邻的点中存在坏点，甚至都是坏点，对比文件的判断就是不正确的。而本发明通过采用主动扩大检测范围的方法，有效的避免的对比文件可能出现的差错。

同时，本发明根据坏点/热点的分类，针对性的采用不同的校正的方法，主要包括：

两个以下的坏点/热点时，校正待测点的值为单元中所对应的对角线两个值中的最小值。

三个点时，校正待测点的值为单元中唯一的正常值。

四个点时，则需要将2*2的区域扩大一层变成4*4，然后4个坏点的值为对应的两个相邻正常值的均值。

本发明所提出校正方法从坏点/热点所存在的周围环境图像出发，全面考虑，确保还原后图像色彩/亮度变化的连续性。而现有技术所采用的统一校正方法，只是简单的将坏点/热点做了修正，完全不考虑新的修正值是否能够与周围图像自然且连续的过渡，其一刀切的校正结果只能是去除坏点/热点，并不能提高图像质量，也不能带来更好的清晰度。而本发明方法在完成图像还原的同时保证了图像的清晰度和完整性，真正提高了图像质量，相较于现有技术和对比文件的方法有了很大的进步，。

附图说明

图1是图像检测区域示意图。

图2是2×2的单元示意图。

图3为左移检测的图像区域的示意图。

图4为下移检测的图像区域的示意图。

图5为2×2单元内4个均为坏点时的校正方法示意图。

图6为本发明方法流程图。

具体实施方式

为使本发明的内容更加清楚易懂，以下结合说明书附图，对本发明的内容作进一步说明。当然本发明并不局限于该具体实施例，本领域内的技术人员所熟知的一般替换也涵盖在本发明的保护范围内。

其次，本发明利用示意图进行详细的表述，在详述本发明实例时，为了便于说明，示意图不依照一般比例局部放大，不应以此作为对本发明的限定。

下面结合说明书附图对本发明的实施例做进一步的说明

本发明具体方法为：

对单色图像进行YCrCb变换。

针对Y层图像，检测像素的亮度，进行坏点/热点判断，并记录坏点/热点的坐标。以一定大小的像素矩阵为单元进行检测，设定单元对角线像素亮度均值的倍数为阈值，进行坏点/热点的判断和分类。具体的，在以2*2像素矩阵为一个单元的检测过程中，一般以待测点的对角线像素亮度均值的1.2倍为阈值，比较待检点与阈值之间的关系，如果大于阈值，则为坏点/热点，否则，则为正常点。实际操作上，以所设阈值是否能够检测出图像上肉眼可查的坏点/热点作为标准，判断其是否合适。阈值可以在所对应对角线像素亮度均值的1～1.5倍范围内做调整。

按上述方法，每个2×2的矩阵单元中，都有4个待测点和2个阈值。

然后，按照上述方法完成整个图像的坏点/热点检测。记录坏点/热点的坐标。

按2×2矩阵单元中坏点/热点的个数分类，检测结果可分为3类：两个以下，三个和四个坏点/热点。

对待测的图像进行YCbCr变换，针对所记录的坏点/热点坐标按所分类别采用不同方法进行校正.

最后转换YCbCr图像为RGB制式。

实施例中的图像由i列×j行的像素矩阵组成。以左上角第一个像素为原点，建立坐标，向右和向下分别为X轴和Y轴的正方向。左上角第一个像素坐标为(00)。除了最底一行：j行和最右一列：i列以外的整个图像区域都是图像检测区域。将最底一行和最右一列排除在图像检测区域外，是为了确保以2*2像素矩阵作为一个检测单元区域的划分不会包含所述的最底一行和最右一列。按2*2个像素矩阵作为一个检测单元进行划分，则图像检测区域的首两行每行有i+1个像素，则有i/2的整数个单元。

如图2所示，一个2*2的单元区域P，包含4个像素{P00,P01,P10,P11}，位于图像检测区域的中部。检测的方法为，以待测点的对角线像素亮度均值的1～1.5倍作为阈值，比较待测点与阈值之间的关系，如果大于阈值，则为坏点/热点，否则，则为正常点。在一个2×2单元中，有4个待测点和2个阈值。

实际操作时，待测点P00的对角线像素为P01和P10，将P00与mean(P01，P10)的倍数进行对比，假设倍数为Thres，则如果P00大于Thres*mean(P01，P10)，则P00为坏点/热点，坐标记入到记入单元中；待测点P11的对角线像素与P00相同，如果P11大于Thres*mean(P01，P10)，则P11为坏点/热点，坐标记入到记入单元中。待测点P01的对角线像素为P00和P11，然后比较P01与Thres*mean(P00，P11)，P10与Thres*mean(P00,P11),将坏点坐标记录保存。倍数的范围通常在1～1.5之间。

在本实施例中，Thres的值为1.2，对P00而言，判断其是否坏点/热点的阈值为1.2*mean(P01，P10)。如果P00为肉眼可查的坏点/热点，则需要将Thres下调到1～1.2倍的范围；如果P00不是肉眼可查的坏点/热点，则需要将Thres上调到1.2～1.5倍的范围，然后再做检测。

将图2从初始位置右移一列，即图3的区域，同样方法检测P01和P11，将检测的坏点坐标记录到记录环节中。该方法可以避免单元P中出现3个坏点，造成检测不准确。例如P00，P11，P10是坏点，P01就会检测不出，因为P01对角线上像素均是坏点/热点。右移一列之后，就可以根据新的单元区域{P01,P02,P11,P12}来判定P01。

将图2从初始位置下移一行，即图4的区域，同样方法检测P10和P11，将检测的坏点坐标记录到记录环节中。该方法可以避免3个坏点出现检测不准确的情况，例如P00，P11，P01是坏点，P10就检测不出，下移之后可以根据新的单元区域来判定P10，

重复上述单元检测，可以在整个检测区域中查找到坏点/热点。

然后对待测图像进行坏点校正，同样以单元P为例：

在这个2*2的区域单元中，如果检测发现坏点/热点的个数小于4个，则直接进行校正。

小于4个坏点/热点的校正方法是，

定义P00，P01,P11,P10为一个数组P[i]＝{P[0],P[1],P[2],P[3]},为了简化运算量，定义如果i-1<0,则i-1＝4,如果i+1>3则i+1＝1

如果坏点/热点个数为一个，则坏点的校正值为对应的对角线两个值中的最小值：

P[i]＝min(P[i-1],P[i+1]).

如果坏点/热点个数为两个：P[a],P[b],若|a-b|＝1,则校正值为P[a]＝min(P[a-1],P[a+1])，P[b]＝min(P[b-1],P[b+1])，

如果坏点/热点个数为三个，则坏点的校正值等于那个正常值，假如P[0],P[1],P[2]为坏点，则P[0]＝P[1]＝P[2]＝P[3]；

需要注意的是，如果发现坏点/热点个数为4个，则需要将单元P往外扩大一圈像素，从2×2扩展成4×4，4个坏点的校正值为相邻两个扩展的正常像素亮度值的均值,如图5所示。

P00＝mean(P(-1)0,P0(-1))；

P01＝mean(P(-1)1,P02)；

P10＝mean(P1(-1),P20)；

P11＝mean(P21，P12)；

完成整个图像校正后，将YCrCb图像转换成RGB图像输出。

需要指出的是，本发明方法也存在局限，即无法检测出图像最外围行/列上像素是否为坏点/热点。以最左上角的像素为例，即原点位置的像素。因为如果检测发现以原点为左上点的2×2单元的4个点均无法检测出，按实施例所述，就必须要向右移一列，这样最多可以检测出2个坏点(P01，P11)，而向下移一行，这样也最多可以检测出两个坏点(P10，P11)，而整个图像最左上角P00其实是检测不出的。可以看出，该缺陷仅仅会发生在在图像最边缘出现坏点/热点的极限情况。在图像的重点表现区域集中在较中心部分的大多数情况下，边缘像素只是作为图像的边界，对图像的整体表现没有影响，所以边缘像素是否完全被检测和校正对图像的最后校正结果的影响同样可以忽略。

虽然本发明已以较佳实施例揭示如上，然所述实施例仅为了便于说明而举例而已，并非用以限定本发明，本领域的技术人员在不脱离本发明精神和范围的前提下可作若干的更动与润饰，本发明所主张的保护范围应以权利要求书所述为准。

Claims (10)

1.一种图像还原的方法，步骤为：

1)将RGB图像转换为YCrCb图像；

2)在图像检测区域内建立坐标，定义原点；

3)以2×2的矩阵为单元划分像素，进行坏点/热点检测判断和分类，记录坏点/热点坐标；

4)以单元内坏点/热点个数分类，分别进行校正；

5)转换YCrCb图像为RGB图像。

2.如权利要求1所述的一种图像还原的方法，其特征在于，步骤1中所述YCrCb图像分为Y层、Cr和Cb层，仅对Y层图像进行坏点/热点检测。

3.如权利要求1所述的一种图像还原的方法，其特征在于，步骤2中所述图像检测区域不包含图像最右列和最下行的像素。

4.如权利要求1所述的一种图像还原的方法，其特征在于，所述步骤2中所述坐标定义为：在图像检测区域内，图像左上方第一像素为原点，向右为正向X轴，向下为正向Y轴。

5.如权利要求1所述的一种图像还原的方法，其特征在于，所述步骤3中将左上点为原点的单元定义为第一单元，从第一单元开始按单元逐一进行坏点/热点检测判断。

6.如权利要求5所述的一种图像还原的方法，其特征在于，步骤3所述像素单元检测步骤为：

1)以原点为初始位置，检测第一单元内4个像素；

2)将第一单元从初始位置向右移动一列，检测第一单元右列2个像素；

3)将第一单元从初始位置向下移动一行，检测第一单元下行2个像素；

4)同样方法检测所有单元。

7.如权利要求1所述的一种图像还原的方法，其特征在于，步骤3中取被检测像素所对应的2×2矩阵内对角线上所有像素亮度均值的1.2倍为该被检测像素的阈值，矩阵内所有像素亮度逐一与各自对应的阈值进行比较，大于阈值为坏点/热点，否则为正常点。

8.如权利要求1所述的一种图像还原的方法，其特征在于，步骤3以所述单元中被检测出的坏点/热点的数量进行分类，分为2个以下，3个和4个。

9.如权利要求1所述的一种图像还原的方法，其特征在于，所述按分类进行校正具体方法为：

1)2个坏点/热点或以下：将坏点/热点均校正为单元内对应的对角线上像素亮度的最小值；

2)3个坏点/热点：将坏点/热点均校正为单元内唯一正常像素的亮度值；

3)4个坏点/热点：先将2×2的单元扩大成4×4的矩阵，4个坏点/热点的亮度值分别校正为扩大后矩阵内每个坏点/热点各自相邻的两个正常像素亮度的均值。

10.如权利要求9所述的一种图像还原的方法，其特征在于，针对4个坏点/热点的校正，将2×2矩阵单元向四周均扩大一行/列，成为4×4的矩阵。