CN110891172A - 坏点检测及校正装置 - Google Patents

Abstract

本发明提供了一种坏点检测及校正装置，包括：数据输入单元、增益补偿单元、坏点检测强度单元、多个坏点检测单元、坏点检测融合单元和校正单元；所述数据输入单元用于输入图像信息；所述增益补偿单元用于多个通道的增益补偿；所述坏点检测强度单元用于输送逻辑值为0或者1的控制参数；所述坏点检测单元接收所述控制参数并且检测增益补偿后的图像数据是否有坏点；所述坏点检测融合单元将多个所述坏点检测单元的检测结果进行融合并输出坏点信息；所述校正单元对所述坏点信息进行校正。在本发明提供的坏点检测及校正装置中，图像中的静态坏点和动态坏点在单一坏点和双坏点簇两种情形下的坏点检测和校正功能。

Description

坏点检测及校正装置

技术邻域

本发明涉及图像处理技术邻域，尤其是涉及一种坏点检测及校正装置。

背景技术

在图像信号处理中，由于图像采集设备的制造工艺以及原材料的差异，会导致传感器中存在一些坏点。这些坏点主要分为两种类型：一种是像素点保持固定亮度或暗度的静态坏点；一种是像素点在时间上变化的方差比周围的像素大的动态坏点。在经过插值、滤波等过程后，坏点会在RGB/YUV图像上扩大，对后续图像处理造成干扰。因此，提前对坏点进行检测和校正至关重要。

现有技术在检测图像传感器中的坏点时，通常在图像传感器生产过程当中，通过离线方式统计存在的坏点位置，并设置坏点对应的校正方法，在坏点检测过程中直接读取和进行坏点校正。然而，这种方法并没有考虑到图像传感器的坏点位置和强度会随着温度和时间的变化而变化，且无法针对动态坏点进行实时的坏点检测和校正。

发明内容

本发明的目的在于提供一种坏点检测及校正装置，可以判断单一坏点和双坏点簇两种情形下的坏点检测和校正功能；并且根据坏点所处区域的场景信息配置对应的坏点校正强度，实时高效地进行坏点校正。

为了达到上述目的，本发明提供了一种坏点检测及校正装置，包括：数据输入单元、增益补偿单元、坏点检测强度单元、多个坏点检测单元、坏点检测融合单元和校正单元；所述数据输入单元用于输入图像信息；所述增益补偿单元用于多个通道的增益补偿；所述坏点检测强度单元用于输送逻辑值为0或者1的控制参数；所述坏点检测单元接收所述控制参数并且检测增益补偿后的图像数据是否有坏点；所述坏点检测融合单元将多个所述坏点检测单元的检测结果进行融合并输出坏点信息；所述校正单元对所述坏点信息进行校正。

可选的，在所述的坏点检测及校正装置，所述输入的图像为GRBG模式、GBRG模式、BGGR模式或RGGB模式；以当前像素点为中心，选择一5x5数据窗，5x5数据窗命名为D0、D1、D2、D3、D4；D5、D6、D7、D8、D9；D10、D11、D12、D13、D14；D15、D16、D17、D18、D19；D20、D21、D22、D23、D24。

可选的，在所述的坏点检测及校正装置，所述坏点检测单元包括：第一坏点检测单元、第二坏点检测单元、第三坏点检测单元、第四坏点检测单元、第五坏点检测单元和第六坏点检测单元。

可选的，在所述的坏点检测及校正装置，所述第一坏点检测单元包括：第一邻域像素排序模块和第一阈值判断模块；所述第一邻域像素排序模块对5x5数据窗中和当前像素点相同的通道的邻域像素进行排序；所述第一阈值判断模块根据控制参数在排序后的像素中选择最大值的像素和最小值的像素，并且结合预设的参数计算第一上限阈值和第一下限阈值，最后，通过判断当前像素点是否大于第一上限阈值或者小于第一下限阈值来判断当前像素点在第一坏点检测单元中是否满足坏点的条件，并且输出判断结果。

可选的，在所述的坏点检测及校正装置，所述第二坏点检测单元包括：邻域像素插值模块、第二邻域像素排序模块和第二阈值判断模块；所述邻域像素插值模块用于获取以当前像素点的为中心的3x3数据窗，查找3x3数据窗中与当前像素点非相同通道的像素点，再查找出每个非相同通道像素点的与当前像素点相同通道的相邻像素点，取相邻像素点的平均值作为非相同通道的像素点的插值，以多个插值、3x3数据窗中与当前像素点相同通道的像素点和当前像素点组成一个新的3x3数据窗；所述第二阈值判断模块根据控制参数在排序后的像素中选择最大值的像素和最小值的像素，并且结合预设的参数计算第二上限阈值和第二下限阈值，最后，通过判断当前像素点是否大于第二上限阈值或者小于第二下限阈值来判断当前像素点在第二坏点检测单元中是否满足坏点的条件，并且输出判断结果。

可选的，在所述的坏点检测及校正装置，所述第三坏点检测单元包括：第一水平梯度计算模块、第一垂直梯度计算模块、第一45度梯度计算模块、第一135度梯度计算模块、第一梯度排序模块和第三阈值判断模块；所述第一水平梯度计算模块根据当前像素点所处通道计算当前像素点的水平方向绝对梯度；所述第一垂直梯度计算模块用于根据当前像素点所处通道计算当前像素点垂直方向绝对梯度；所述第一45度梯度计算模块用于根据当前像素点所处通道计算当前像素点45度方向绝对梯度；所述第一135度梯度计算模块用于根据当前像素点所处通道计算当前像素点135度方向绝对梯度；所述第一梯度排序模块用于对所述水平方向绝对梯度、所述垂直方向绝对梯度、所述45度方向绝对梯度和所述135度方向绝对梯度进行排序，按照从大到小排列，得到最小绝对梯度；所述第三阈值判断模块通过判断最小绝对梯度值是否大于预设值来判断当前像素点在所述第三坏点检测单元中是否满足坏点的条件，并且输出判断结果。

可选的，在所述的坏点检测及校正装置，所述第四坏点检测单元包括：第二水平梯度计算模块、第二垂直梯度计算模块、第二45度梯度计算模块、第二135度梯度计算模块、第二梯度排序模块和第四阈值判断模块；所述第二水平梯度计算模块用于根据当前像素点所处通道计算该数据窗水平方向上的三个绝对梯度值；取三个绝对梯度值的中值，得到水平方向中值绝对梯度；所述第二垂直梯度计算模块用于根据当前像素点所处通道计算该数据窗垂直方向上的三个绝对梯度值，取三个绝对梯度值的中值，得到垂直方向中值绝对梯度；所述第二45度梯度计算模块用于根据当前像素点所处通道计算45度方向上的三个绝对梯度值，取三个绝对梯度值的中值，得到45度方向中值绝对梯度；所述第二135度梯度计算模块用于根据当前像素点所处通道计算该数据框135度方向上的三个绝对梯度值，取三个绝对梯度值的中值，得到135度方向中值绝对梯度；所述第二梯度排序模块用于对水平方向中值绝对梯度、垂直方向中值绝对梯度、45度方向中值绝对梯度和135度方向中值绝对梯度按照从大到小排列，得到最小中值绝对梯度；所述第四阈值判断模块通过判断最小中值绝对梯度是否大于预设值来判断当前像素点在第四坏点检测单元中满足坏点的条件，并且输出判断结果。

可选的，在所述的坏点检测及校正装置，所述第五坏点检测单元包括：一次差值计算模块、二次差值计算模块、绝对差值排序模块和第五阈值判断模块；所述一次差值计算模块用于获取当前像素点的邻域像素进行差值计算；所述二次差值计算模块用于对第一次差值计算后得到的数字再次进行差值计算获得第二次差值后的值；所述绝对差值排序模块用于对二次绝对差值数组按照从大到小排列，并记录排序后各个数值的点的在邻域环中的对应的位置；所述第五阈值判断模块根据预先设置的阈值参数判断所对应的点在第五坏点检测单元中是否满足坏点的条件，并且输出判断结果。

可选的，在所述的坏点检测及校正装置，所述第六坏点检测单元包括：水平差值计算模块、垂直差值计算模块、45度差值计算模块、135度差值计算模块和第六阈值判断模块；所述水平差值计算模块用于计算当前像素点水平方向上3个相同通道像素的相邻绝对差值；所述垂直差值计算模块用于计算当前像素点垂直方向上3个相同通道像素的相邻绝对差值；所述45度差值计算模块用于计算当前像素点45度方向上3个相同通道像素的相邻绝对差值；所述135度差值计算模块用于计算当前像素点135度方向上3个相同通道像素的相邻绝对差值；所述第六阈值判断模块通过预设的参数和控制参数判断当前像素点在第六坏点检测单元中是否满足坏点的条件，并且输出判断结果。

可选的，在所述的坏点检测及校正装置，所述所述坏点检测融合单元包括坏点信息融合模块和智能化坏点判断模块，所述坏点信息融合模块用于将六个所述坏点检测单元输出的判断结果进行融合，输出十进制的坏点融合信息；所述智能化坏点判断模块由神经网络组成，输出训练好的坏点判断信息。

可选的，在所述的坏点检测及校正装置，所述坏点检测及校正装置还包括坏点校正强度控制单元，所述坏点校正强度控制单元包括：均值计算模块、方差计算模块和坏点校正强度计算模块；所述均值计算模块以当前像素点为中心的5×5数据窗，根据当前像素点所处通道来计算邻域像素的均值；所述方差计算模块以当前像素点为中心的5×5数据窗，根据当前像素点所处通道来计算其邻域像素的方差；所述坏点校正强度计算模块使用当前像素点邻域像素的方差与邻域像素的均值的比来表征当前场景的信息，根据预先设置的第三上限阈值和第三下限阈值与当前场景的信息进行比较来计算坏点校正强度。

可选的，在所述的坏点检测及校正装置，如果Inf≤THL，则判断当前场景为弱纹理区，坏点校正强度为0；

如果THL＜Inf＜THH，则判断当前场景为中纹理区，坏点校正强度W＝(Inf-THL)/(THH-THL)；

如果Inf≥THL，则判断当前场景为强纹理区，坏点校正强度1；其中：Inf为当前场景的信息，THL为预设的第三下限阈值，THH为预设的第三上限阈值。

可选的，在所述的坏点检测及校正装置，所述校正单元包括：邻域像素排序模块、最大值计算模块、最小值计算模块、中值计算模块和坏点校正模块；所述邻域像素排序模块以当前像素点为中心的5×5数据窗，根据当前像素点所处通道对其邻域像素按照从大到小进行排序；所述最大值计算模块用于计算当前像素点所处通道邻域像素的最大值；所述最小值计算模块用于计算当前像素点所处通道邻域像素的最小值；所述中值计算模块用于计算当前像素点所处通道邻域像素的中值；所述坏点校正模块根据坏点判断信息和坏点校正强度信息来对坏点进行校正。

可选的，在所述的坏点检测及校正装置，如果坏点判断信息为0，则不需要对当前像素点进行坏点校正，将当前像素点的值作为坏点校正模块的输出信号。

可选的，在所述的坏点检测及校正装置，如果坏点判断信息为1，则计算坏点校正值，并将坏点校正值作为坏点校正模块输出信号。

可选的，在所述的坏点检测及校正装置，如果当前像素点是5×5数据窗中相同通道的最大值，坏点校正值的计算公式如下：

DPCVal＝MedianVal×(1-W)+MaxVal×W

如果当前像素点是5×5数据窗中相同通道的最小值，坏点校正值的计算公式如下：

DPCVal＝MedianVal×(1-W)+MinVal×W

如果当前像素点的大小处于5×5数据窗中相同通道的最大值与最小值之间，坏点校正值的计算公式如下：

DPCVal＝MedianVal×(1-W)+PVal×W

其中，PVal是当前像素点所对应的像素值，W是坏点校正强度，DPCVal为坏点校正值，MedianVal是当前像素点所处通道邻域像素的中值。

在本发明提供的坏点检测及校正装置中，能够满足Bayer格式图像中的静态坏点和动态坏点在单一坏点和双坏点簇两种情形下的坏点检测和校正功能，对于坏点判断的准确率高。本发明还能根据坏点所处区域的场景信息配置对应的坏点校正强度，实时高效地进行坏点校正，满足各种场景的变化和需求。

附图说明

图1是本发明实施例的坏点检测及校正装置的示意图；

图2-图5是Bayer格式图像的示意图；

图6是本发明实施例的5x5数据窗的示意图；

图7是本发明实施例的第一坏点检测单元的示意图；

图8是本发明实施例的第二坏点检测单元的示意图；

图9是本发明实施例的3x3数据窗示意图；

图10是本发明实施例的第三坏点检测单元的示意图；

图11是本发明实施例的第四坏点检测单元的示意图；

图12是本发明实施例的第五坏点检测单元的示意图；

图13是本发明实施例的第六坏点检测单元的示意图；

图14是本发明实施例的坏点校正强度控制单元的示意图；

图15是本发明实施例的坏点检测融合单元的示意图；

图16是本发明实施例的校正单元的示意图；

图中：100-数据输入单元、200-增益补偿单元、300-坏点检测强度单元、400-坏点检测单元、500-坏点检测融合单元、600-校正单元、410-第一坏点检测单元、420-第二坏点检测单元、430-第三坏点检测单元、440-第四坏点检测单元、450-第五坏点检测单元、460-第六坏点检测单元、411-第一邻域像素排序模块、412-第一阈值判断模块、421-邻域像素插值模块、422-第二邻域像素排序模块、423-第二阈值判断模块、431-第一水平梯度计算模块、432-第一垂直梯度计算模块、433-第一45度梯度计算模块、434-第一135度梯度计算模块、435-第一梯度排序模块、436-第三阈值判断模块、441-第二水平梯度计算模块、442-第二垂直梯度计算模块、443-第二45度梯度计算模块、444-第二135度梯度计算模块、445-第二梯度排序模块、446-第四阈值判断模块、451-一次差值计算模块、452-二次差值计算模块、453-绝对差值排序模块、454-第五阈值判断模块、461-水平差值计算模块、462-垂直差值计算模块、463-45度差值计算模块、464-135度差值计算模块、465-第六阈值判断模块、510-坏点信息融合模块、520-智能化坏点判断模块、610-邻域像素排序模块、620-最大值计算模块、630-最小值计算模块、640-中值计算模块、650-坏点校正模块、700-坏点校正强度控制单元、710-均值计算模块、720-方差计算模块、730-坏点校正强度计算模块。

具体实施方式

下面将结合示意图对本发明的具体实施方式进行更详细的描述。根据下列描述，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

在下文中，术语“第一”“第二”等用于在类似要素之间进行区分，且未必是用于描述特定次序或时间顺序。要理解，在适当情况下，如此使用的这些术语可替换。类似的，如果本文所述的方法包括一系列步骤，且本文所呈现的这些步骤的顺序并非必须是可执行这些步骤的唯一顺序，且一些所述的步骤可被省略和/或一些本文未描述的其他步骤可被添加到该方法。

如图1，本发明提供了一种坏点检测及校正装置，包括：数据输入单元100、增益补偿单元200、坏点检测强度单元300、坏点检测单元400、坏点检测融合单元500和校正单元600；所述数据输入单元100用于输入图像信息；所述增益补偿单元200用于多个通道的增益补偿；所述坏点检测强度单元300用于输送逻辑值为0或者1的控制参数；所述坏点检测单元400接收所述控制参数并且检测增益补偿后的图像数据是否有坏点；所述坏点检测融合单元500将多个所述坏点检测单元400的检测结果进行融合并输出坏点信息；所述校正单元600对所述坏点信息进行校正。

优选的，所述数据输入单元100输入的图像为Bayer格式的图像，具体为GRBG模式，如图2，GBRG模式如图3，BGGR模式如图4或RGGB模式图5。以当前像素点为中心，选取一个数据窗，可以选择5x5数据窗，如图6，5x5数据窗命名为D0、D1、D2、D3、D4；D5、D6、D7、D8、D9；D10、D11、D12、D13、D14；D15、D16、D17、D18、D19；D20、D21、D22、D23、D24。例如，如果是输入的图像为GRBG模式，则D0、D1、D2、D3、D4分别为G通道、R通道、G通道、R通道、G通道；D5、D6、D7、D8、D9分别为：B通道、G通道、B通道、G通道、B通道；D10、D11、D12、D13、D14、分别为：G通道、R通道、G通道、R通道、G通道；D15、D16、D17、D18、D19分别为：B通道、G通道、B通道、G通道、B通道；D20、D21、D22、D23、D24分别为：G通道、R通道、G通道、R通道、G通道，如图6。当前像素点即5x5数据窗的中心点D12为G通道，则它的邻域像素为与D12同一通道的相邻的像素点，即为Ring＝{D2,D6,D10,D16,D22,D18,D14,D8}。

进一步的，所述增益补偿单元200的数量为四个，分别为第一增益补偿单元、第二增益补偿单元、第三增益补偿单元和第四增益补偿单元。例如输入模式为GRBG模式，则四个通道分别为G通道、R通道、B通道和G通道，求得四个通道的平均值，这个平均值与第一通道的比值作为各通道的补偿的增益使得各个通道的亮度相近，增益补偿后的数据输入坏点检测单元中。

本实施例中，所述坏点检测单元400包括：第一坏点检测单元410、第二坏点检测单元420、第三坏点检测单元430、第四坏点检测单元440、第五坏点检测单元450和第六坏点检测单元460。

本实施例中，如图7，所述第一坏点检测单元410包括：第一邻域像素排序模块411和第一阈值判断模块412；增益补偿后的图像数据输入第一邻域像素排序模块411，所述第一邻域像素排序模块对当前像素点为中心的5x5数据窗中和当前像素点相同的通道的邻域像素进行排序；所述第一阈值判断模块411根据控制参数对排序后的像素中选择最大值的像素和最小值的像素，并且结合预设的参数计算第一上限阈值和第一下限阈值，最后，通过判断当前像素点是否大于第一上限阈值或者小于第一下限阈值来判断当前像素点在第一坏点检测单元410中满足坏点的条件，并且输出判断结果。具体的，首先，以D12为当前像素点，以D12为中心选取一个5x5的数据窗，其邻域像素位Ring，对Ring的像素进行大小排序。如果坏点检测强度单元300输出给第一坏点检测单元410的第一控制参数DPC_LEVEL_1＝0，则最大值的像素MaxVal为邻域像素中的最大值，最小值的像素MinVal为邻域像素中的最小值。如果第一控制参数DPC_LEVEL_1＝1，MaxVal为邻域像素中的次大值，MinVal为邻域像素中的次小值。再根据发明人预先设置的参数结合MaxVal和MinVal计算出第一上限阈值和第一下限阈值，具体的计算方法为现有技术，这里不再赘述。最后，如果当前像素点大于第一上限阈值或者小于第一下限阈值，则当前像素点在第一坏点检测单元410中满足坏点的条件，并且输出判断结果。

本实施例中，如图8，所述第二坏点检测单元420包括：邻域像素插值模块421、第二邻域像素排序模块422和第二阈值判断模块423；增益补偿后的图像数据输入邻域像素插值模块421，所述邻域像素插值模块421用于获取以当前像素点为中心的3x3数据窗，查找3x3数据窗中与当前像素点非相同通道像素点，再查找出每个非相同通道的像素点的与当前像素点相同通道的相邻像素点，取相邻像素点的平均值作为非相同通道的像素点的插值，以多个插值、3x3数据窗中与当前像素点相同通道的像素点和当前像素点组成一个新的3x3数据窗；所述第二邻域像素排序模块422对所述新的3x3数据窗内的像素进行排序；所述第二阈值判断模块423根据控制参数对排序后的像素中选择最大值的像素和最小值的像素，并且结合预设的参数计算第二上限阈值和第二下限阈值，最后，通过判断当前像素点是否大于第一上限阈值或者小于第一下限阈值来判断当前像素点在第二坏点检测单元420中是否满足坏点的条件，并且输出判断结果。具体的，邻域像素插值模块421的作用，以D12为中心点，组成3x3的数据窗{D6,D7,D8,D11,D12,D13,D16,D17,D18}。例如，如果输入的图像为GRBG/GBRG模式，则其中与D12相同通道的像素点为：D6、D8、D16和D18。而与D12不是相同通道的数据点为：D7、D11、D13和D17。D7在5x5数据窗中的与D12是相同通道的相邻像素点是D2、D6和D8，因此，求得D2、D6和D8的平均值作为D7的插值，同理，D11在5x5数据窗中的与D12是相同通道的相邻像素点(除去中心点即除去D12)是D6、D10和D16，因此，求得D6、D10和D16的平均值作为D11的插值，依次求得D17和D13插值，求得的多个插值与D6、D8,D16,D18组成一个新的3x3数据窗，如图9，新的3x3数据窗为{R0,R7,R6,R1,D12,R5,R2,R3,R4}，其中：R0为原3x3数据窗中的D6，R7为原3x3数据窗中的D7的插值，R6为原3x3数据窗中的D8，R1为原3x3数据窗中的D11的插值，R5为原3x3数据窗中的D13的插值，R2为原3x3数据窗中的D16，R3为原3x3数据窗中的D17的插值，R4为原3x3数据窗中的D18。如果输入的图像为RGGB/BGGR模式，则以D12为中心的3x3数据窗中没有与D12相同通道的像素点，即与D12不是相同通道的数据点为D6、D7、D8、D11、D13、D16、D17和D18。D6在5x5数据窗中的与D12是相同通道的相邻像素点是D0、D2和D10，因此，求得D0、D2和D10的平均值作为D6的插值，同理，D8在5x5数据窗中的与D12是相同通道的相邻像素点是D2、D4和D14，因此，求得D2、D4和D14的平均值作为D8的插值，再依次求得D16和D18的插值。之后，D7在5x5数据窗中的与D12是相同通道的相邻像素点是D2、D6的插值和D8的插值，因此，求得D2、D6的插值和D8的插值的平均值作为D7的插值，同理，D11在5x5数据窗中的与D12是相同通道的相邻像素点是D6的插值，D10和D16的插值，因此，求得的D6的插值，D10和D16插值的平均值作为D11的插值，再依次求得D17和D13的插值，最后，D6的差值、D7的差值、D8的差值、D11的差值、D12的差值、D13的差值、D16的差值、D17的差值、D18的差值以及D12组成一个新的3x3数据窗，如图9，新的3x3数据窗为{R0,R7,R6,R1,D12,R5,R2,R3,R4}，其中：R0为原3x3数据窗中的D6的插值，R7为原3x3数据窗中的D7的插值，R6为原3x3数据窗中的D8的插值，R1为原3x3数据窗中的D11的插值，R5为原3x3数据窗中的D13的插值，R2为原3x3数据窗中的D16的插值，R3为原3x3数据窗中的D17的插值，R4为原3x3数据窗中的D18的插值。之后，对新的3x3数据窗的数据的像素从大到小进行排序。根据排序后的3x3数据窗的像素和坏点检测强度单元300输出给第二坏点检测单元420的第二控制参数DPC_LEVEL_2，选出其中的MaxVal和MinVal。具体的，如果DPC_LEVEL_2＝0，MaxVal为邻域像素中的最大值，MinVal为邻域像素中的最小值。如果DPC_LEVEL_2＝1，MaxVal为邻域像素中的次大值，MinVal为邻域像素中的次小值。再根据发明人预先设置的参数结合MaxVal和MinVal计算出第二上限阈值和第二下限阈值，具体的计算方法为现有技术，这里不再赘述。最后，如果当前像素点大于第二上限阈值或者小于第二下限阈值，则当前像素点在第二坏点检测单元420中满足坏点的条件，并且输出判断结果。

进一步的，如图10，所述第三坏点检测单元430包括：第一水平梯度计算模块431、第一垂直梯度计算模块432、第一45度梯度计算模块433、第一135度梯度计算模块434、第一梯度排序模块435和第三阈值判断模块436；所述第一水平梯度计算模块431根据当前像素点所处通道计算当前像素点的水平方向绝对梯度；所述第一垂直梯度计算模块432用于根据当前像素点所处通道计算当前像素点垂直方向绝对梯度；所述第一45度梯度计算模块433用于根据当前像素点所处通道计算当前像素点45度方向绝对梯度；所述第一135度梯度计算模块434用于根据当前像素点所处通道计算当前像素点135度方向绝对梯度；所述第一梯度排序模块435用于对所述水平方向绝对梯度、所述垂直方向绝对梯度、所述45度方向绝对梯度和所述135度方向绝对梯度进行排序，按照从大到小排列，得到最小绝对梯度；所述第三阈值判断模块436通过判断最小绝对梯度值是否大于预设值，来判断当前像素点在所述第三坏点检测单元中是否满足坏点的条件，并且输出判断结果。增益补偿后的图像数据输入第一水平梯度计算模块431、第一垂直梯度计算模块432、第一45度梯度计算模块433、第一135度梯度计算模块434和第一梯度排序模块435。以D12位中心的数据窗，根据当前根据当前像素点所处通道计算当前像素点水平方向绝对梯度Grad_h。根据当前像素点所处通道计算当前像素点垂直方向绝对梯度Grad_v。根据当前像素点所处通道计算当前像素点45度方向绝对梯度Grad_45。根据当前像素点所处通道计算当前像素点135度方向绝对梯度Grad_135。对这四个绝对值Grad_h、Grad_v、Grad_45和Grad_135进行排序，按照从大到小排列，得到最小绝对梯度。如果最小绝对梯度值大于预设值，预设值可以参照所述坏点检测强度单元300用于输送第三控制参数设置，那么当前像素点在106第三坏点检测单元430中满足坏点的条件，并且输出判断结果。

进一步的，如图11，所述第四坏点检测单元440包括：第二水平梯度计算模块441、第二垂直梯度计算模块442、第二45度梯度计算模块443、第二135度梯度计算模块444、第二梯度排序模块445和第四阈值判断模块446。增益补偿后的图像数据输入第二水平梯度计算模块441、第二垂直梯度计算模块442、第二45度梯度计算模块443、第二135度梯度计算模块444、和第二梯度排序模块445，所述第二水平梯度计算模块441用于根据当前像素点所处通道计算该数据窗水平方向上的三个绝对梯度Grad_h_1、Grad_h_2和Grad_h_3。取Grad_h_1、Grad_h_2和Grad_h_3的中值，得到水平方向中值绝对梯度，命名为：Grad_h；所述第二垂直梯度计算模块442用于根据当前像素点所处通道计算该数据窗垂直方向上的三个绝对梯度Grad_v_1、Grad_v_2和Grad_v_3，取Grad_v_1、Grad_v_2和Grad_v_3的中值，得到垂直方向中值绝对梯度，命名为：Grad_v，所述第二45度梯度计算模块443用于根据当前像素点所处通道计算该数据窗的45度方向上的三个绝对梯度Grad_45_1、Grad_45_2和Grad_45_3，取Grad_45_1、Grad_45_2、Grad_45_3的中值，得到45度方向中值绝对梯度Grad_45，所述第二135度梯度计算模块444用于根据当前像素点所处通道计算该数据框135度方向上的三个绝对梯度Grad_135_1、Grad_135_2和Grad_135_3，取Grad_135_1、Grad_135_2和Grad_135_3的中值，得到135度方向中值绝对梯度，命名为：Grad_135；所述第二梯度排序模块445用于对Grad_h、Grad_v、Grad_45和Grad_135按照从大到小排列，得到最小中值绝对梯度；所述第四阈值判断模块446用于判断如果最小中值绝对梯度大于预设值，预设值可以参照所述坏点检测强度单元300用于输送第四控制参数设置，那么当前像素点在第四坏点检测单元中满足坏点的条件，并且输出判断结果。

进一步的，如图12，所述第五坏点检测单元450包括：一次差值计算模块451、二次差值计算模块452、绝对差值排序模块453和第五阈值判断模块454；所述一次差值计算模块451用于获取当前像素点的邻域像素进行差值计算；所述二次差值计算模块452用于对第一次差值计算后得到的数字再次进行差值计算获得第二次差值后的值；所述绝对差值排序模块453用于对二次绝对差值数组按照从大到小排列，并记录排序后各个数值的点的在邻域环中的对应的位置；所述第五阈值判断模块454根据预先设置的阈值参数判断所对应的点在第五坏点检测单元中是否满足坏点的条件，并且输出判断结果。具体的，增益补偿后的图像数据输入一次差值计算模块451，对邻域像素Ring进行顺序绝对差值计算，得到一次差值数组Dig，对一次差值数组Dig进行顺序绝对差值计算，得到二次绝对差值数组AbsDig2，对二次绝对差值数组AbsDig2从大到小排列，并记录排序数组中各个数值所对应点的在领域像素中的位置，根据预先设置的参数和坏点检测强度单元300输出给第五坏点检测单元450的第五控制参数DPC_LEVEL_5计算判断模块的阈值。如果二次绝对差值数组最大值所对应的点处于第二大值和第三大值所对应的点之间，且二次绝对差值数组的第三大值大于阈值，那么最大值所对应的像素点在第五坏点检测单元450中满足坏点的条件。

进一步的，如图13，第六坏点检测单元460包括：水平差值计算模块461、垂直差值计算模块462、45度差值计算模块463、135度差值计算模块464和第六阈值判断模块465；所述水平差值计算模块461用于计算当前像素点水平方向上3个相同通道像素的相邻绝对差值；所述垂直差值计算模块462用于计算当前像素点垂直方向上3个相同通道像素的相邻绝对差值；所述45度差值计算模块463用于计算当前像素点45度方向上3个相同通道像素的相邻绝对差值；所述135度差值计算模块464用于计算当前像素点135度方向上3个相同通道像素的相邻绝对差值；所述第六阈值判断模块465通过预设的参数和第六控制参数判断当前像素点在第六坏点检测单元中是否满足坏点的条件，并且输出判断结果。具体的，增益补偿后的图像数据输入水平差值计算模块461、垂直差值计算模块462、45度差值计算模块463和135度差值计算模块464。以当前像素点D12为中心的5×5数据窗，计算当前像素点水平方向上3个相同通道像素的相邻绝对差值：

Diff_1_h＝|D11-D13|

Diff_2_h＝|D10-D12|

Diff_3_h＝|D12-D14|；

以当前像素点D12为中心的5×5数据窗，计算当前像素点垂直方向上3个相同通道像素的相邻绝对差值：

Diff_1_v＝|D7-D17|

Diff_2_v＝|D2-D12|

Diff_3_v＝|D12-D22|；

以当前像素点D12为中心的5×5数据窗，计算当前像素点45度方向上3个相同通道像素的相邻绝对差值：

Diff_1₄₅＝|D7-D17|

Diff_2₄₅＝|D2-D12|

Diff_3₄₅＝|D12-D22|；

以当前像素点D12为中心的5×5数据窗，计算当前像素点135度方向上3个相同通道像素的相邻绝对差值：

Diff_1₁₃₅＝|D6-D18|

Diff_2₁₃₅＝|D0-D12|

Diff_3₁₃₅＝|D12-D24|。

第六阈值判断模块465根据预先设置的阈值参数T0/T1和DPC_LEVEL_6计算计算判断模块的阈值Th。如果四个方向上都满足以下条件：

Diff_2＞Diff_1+Th且Diff_3＞Diff_1+Th

那么当前像素点在109第六坏点检测单元中满足坏点的条件。

进一步的，如图14，所述所述坏点检测融合单元500包括：坏点信息融合模块510和智能化坏点判断模块520，所述坏点信息融合模块510用于将六个所述坏点检测单元输出的判断结果进行融合，输出十进制的坏点融合信息；所述智能化坏点判断模块520由神经网络组成，输出训练好的坏点判断信息。坏点信息融合模块510的输入是当前像素点在六个坏点检测单元中的判断结果，如果坏点检测单元400判断当前像素点是坏点，则对应的输入信号为1；如果坏点检测单元400判断当前像素点不是坏点，则输入为0。因此，每一个坏点检测单元的输入信号有两种情况，一共有六个坏点检测单元，因此总共有2^6＝64种情况。输入信号的顺序排列，可以以二进制形式一一对应这64种情况。例如，第一坏点检测单元410的判断结果输入为0，第二坏点检测单元420的判断结果输入为1，第三坏点检测单元430的判断结果输入为1，第四坏点检测单元440的判断结果输入为0，第五坏点检测单元450的判断结果输入为1，第六坏点检测单元460的判断结果输入为1，则其融合后的坏点信息对应的二进制数为011011。其对应的十进制数为27，该十进制数即为坏点信息融合模块的输出信息。智能化坏点判断模块520由一个离线训练的神经网络组成。其输入层是由各个坏点检测单元的坏点检测信息所组成的向量，输出层由两个神经元组成，代表坏点判断信息。训练集和测试集的输入信息是从Real_Raw数据库中的坏点图像经过各个坏点检测单元获得，坏点信息输出结果通过随机选择的多人小组感官观测后由投票法判定获得。

由于不同场景信息中的坏点需要通过不同的强度来进行校正，因此需要根据场景信息来自适应地调整坏点校正强度。因此，进一步的，如图15，所述坏点检测及校正装置还包括坏点校正强度控制单元700，所述坏点校正强度控制单元700还包括：均值计算模块710、方差计算模块720和坏点校正强度计算模块730；所述均值计算模块710以当前像素点为中心的5×5数据窗，根据当前像素点所处通道来计算邻域像素的均值；所述方差计算模块720以当前像素点为中心的5×5数据窗，根据当前像素点所处通道来计算其邻域像素的方差；所述坏点校正强度计算模块730使用当前像素点邻域像素的方差与邻域像素的均值的比来表征当前场景的信息，根据预先设置的上限阈值和下限阈值与当前场景的信息进行比较来计算坏点校正强度。具体的，所述均值计算模块710以当前像素点为中心的5×5数据窗，根据当前像素点所处通道来计算其邻域像素的均值MeanVal；所述方差计算模块720以当前像素点为中心的5×5数据窗，根据当前像素点所处通道来计算其邻域像素的方差Sigma；所述坏点校正强度计算模块730使用当前像素点邻域像素的方差/均值(Sigma/MeanVal)来表征当前场景的信息Inf，根据预先设置的参数THL/THH与Inf进行比较来计算坏点校正强度W。

如果Inf≤THL，则判断当前场景为弱纹理区，坏点校正强度W＝0。

如果THL＜Inf＜THH，则判断当前场景为中纹理区，坏点校正强度W＝(Inf-THL)/(THH-THL)。

如果Inf≥THL，则判断当前场景为强纹理区，坏点校正强度W＝1，其中：Inf为当前场景的信息，THL为预设的第三下限阈值，THH为预设的第三上限阈值。

进一步的，如图16，所述校正单元600包括：邻域像素排序模块610、最大值计算模块620、最小值计算模块630、中值计算模块640和坏点校正模块650；所述邻域像素排序模块610以当前像素点为中心的5×5数据窗，根据当前像素点所处通道对其邻域像素按照从大到小进行排序；所述最大值计算模块620用于计算当前像素点所处通道邻域像素的最大值；所述最小值计算模块630用于计算当前像素点所处通道邻域像素的最小值；所述中值计算模块640用于计算当前像素点所处通道邻域像素的中值；所述坏点校正模块650根据坏点判断信息和坏点校正强度信息来对坏点进行校正。

进一步的，如果坏点判断信息为0，则不需要对当前像素点进行坏点校正，将当前像素点所对应的像素值PVal作为坏点校正模块650的输出信号。

进一步的，如果坏点判断信息为1，则计算坏点校正值DPCVal，并将坏点校正值DPCVal作为坏点校正模块650输出信号。

进一步的，如果当前像素点是5×5数据窗中相同通道的最大值，坏点校正值DPCVal的计算如下：

DPCVal＝MedianVal×(1-W)+MaxVal×W

如果当前像素点是5×5数据窗中相同通道的最小值，坏点校正值DPCVal的计算公式如下：

DPCVal＝MedianVal×(1-W)+MinVal×W

如果当前像素点的大小处于5×5数据窗中相同通道的最大值与最小值之间，坏点校正值DPCVal的计算公式如下：

DPCVal＝MedianVal×(1-W)+PVal×W

其中，PVal是当前像素点所对应的像素值，W是坏点校正强度，DPCVal为坏点校正值，MedianVal是当前像素点所处通道邻域像素的中值。

综上，在本发明实施例提供的的坏点检测及校正装置中，能够满足Bayer格式图像中的静态坏点和动态坏点在单一坏点和双坏点簇两种情形下的坏点检测和校正功能，对于坏点判断的准确率高。本发明还能根据坏点所处区域的场景信息配置对应的坏点校正强度，实时高效地进行坏点校正，满足各种场景的变化和需求。

上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术邻域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (16)

1.一种坏点检测及校正装置，其特征在于，包括：数据输入单元、增益补偿单元、坏点检测强度单元、多个坏点检测单元、坏点检测融合单元和校正单元；所述数据输入单元用于输入图像信息；所述增益补偿单元用于多个通道的增益补偿；所述坏点检测强度单元用于输送逻辑值为0或者1的控制参数；所述坏点检测单元接收所述控制参数并且检测增益补偿后的图像数据是否有坏点；所述坏点检测融合单元将多个所述坏点检测单元的检测结果进行融合并输出坏点信息；所述校正单元对所述坏点信息进行校正。

2.如权利要求1所述的坏点检测及校正装置，其特征在于，所述输入的图像为GRBG模式、GBRG模式、BGGR模式或RGGB模式；以当前像素点为中心，选择一5x5数据窗，5x5数据窗命名为D0、D1、D2、D3、D4；D5、D6、D7、D8、D9；D10、D11、D12、D13、D14；D15、D16、D17、D18、D19；D20、D21、D22、D23、D24。

3.如权利要求2所述的坏点检测及校正装置，其特征在于，所述坏点检测单元包括：第一坏点检测单元、第二坏点检测单元、第三坏点检测单元、第四坏点检测单元、第五坏点检测单元和第六坏点检测单元。

4.如权利要求3所述的坏点检测及校正装置，其特征在于，所述第一坏点检测单元包括：第一邻域像素排序模块和第一阈值判断模块；所述第一邻域像素排序模块对5x5数据窗中和当前像素点相同的通道的邻域像素进行排序；所述第一阈值判断模块根据控制参数在排序后的像素中选择最大值的像素和最小值的像素，并且结合预设的参数计算第一上限阈值和第一下限阈值，最后，通过判断当前像素点是否大于第一上限阈值或者小于第一下限阈值来判断当前像素点在第一坏点检测单元中是否满足坏点的条件，并且输出判断结果。

5.如权利要求4所述的坏点检测及校正装置，其特征在于，所述第二坏点检测单元包括：邻域像素插值模块、第二邻域像素排序模块和第二阈值判断模块；所述邻域像素插值模块用于获取以当前像素点为中心的3x3数据窗，查找3x3数据窗中与当前像素点非相同通道的像素点，再查找出每个非相同通道像素点的与当前像素点相同通道的相邻像素点，取相邻像素点的平均值作为非相同通道的像素点的插值，以多个插值、3x3数据窗中与当前像素点相同通道的像素点和当前像素点组成一个新的3x3数据窗；所述第二邻域像素排序模块对所述新的3x3数据窗内的像素进行排序；所述第二阈值判断模块根据控制参数在排序后的像素中选择最大值的像素和最小值的像素，并且结合预设的参数计算第二上限阈值和第二下限阈值，最后，通过判断当前像素点是否大于第二上限阈值或者小于第二下限阈值来判断当前像素点在第二坏点检测单元中是否满足坏点的条件，并且输出判断结果。

6.如权利要求5所述的坏点检测及校正装置，其特征在于，所述第三坏点检测单元包括：第一水平梯度计算模块、第一垂直梯度计算模块、第一45度梯度计算模块、第一135度梯度计算模块、第一梯度排序模块和第三阈值判断模块；所述第一水平梯度计算模块根据当前像素点所处通道计算当前像素点的水平方向绝对梯度；所述第一垂直梯度计算模块用于根据当前像素点所处通道计算当前像素点垂直方向绝对梯度；所述第一45度梯度计算模块用于根据当前像素点所处通道计算当前像素点45度方向绝对梯度；所述第一135度梯度计算模块用于根据当前像素点所处通道计算当前像素点135度方向绝对梯度；所述第一梯度排序模块用于对所述水平方向绝对梯度、所述垂直方向绝对梯度、所述45度方向绝对梯度和所述135度方向绝对梯度进行排序，按照从大到小排列，得到最小绝对梯度；所述第三阈值判断模块通过判断最小绝对梯度值是否大于预设值来判断当前像素点在所述第三坏点检测单元中是否满足坏点的条件，并且输出判断结果。

7.如权利要求6所述的坏点检测及校正装置，其特征在于，所述第四坏点检测单元包括：第二水平梯度计算模块、第二垂直梯度计算模块、第二45度梯度计算模块、第二135度梯度计算模块、第二梯度排序模块和第四阈值判断模块；所述第二水平梯度计算模块用于根据当前像素点所处通道计算该数据窗水平方向上的三个绝对梯度值；取三个绝对梯度值的中值，得到水平方向中值绝对梯度；所述第二垂直梯度计算模块用于根据当前像素点所处通道计算该数据窗垂直方向上的三个绝对梯度值，取三个绝对梯度值的中值，得到垂直方向中值绝对梯度；所述第二45度梯度计算模块用于根据当前像素点所处通道计算45度方向上的三个绝对梯度值，取三个绝对梯度值的中值，得到45度方向中值绝对梯度；所述第二135度梯度计算模块用于根据当前像素点所处通道计算该数据框135度方向上的三个绝对梯度值，取三个绝对梯度值的中值，得到135度方向中值绝对梯度；所述第二梯度排序模块用于对水平方向中值绝对梯度、垂直方向中值绝对梯度、45度方向中值绝对梯度和135度方向中值绝对梯度按照从大到小排列，得到最小中值绝对梯度；所述第四阈值判断模块通过判断最小中值绝对梯度是否大于预设值来判断当前像素点在第四坏点检测单元中满足坏点的条件，并且输出判断结果。

8.如权利要求7所述的坏点检测及校正装置，其特征在于，所述第五坏点检测单元包括：一次差值计算模块、二次差值计算模块、绝对差值排序模块和第五阈值判断模块；所述一次差值计算模块用于获取当前像素点的邻域像素进行差值计算；所述二次差值计算模块用于对第一次差值计算后得到的数字再次进行差值计算获得第二次差值后的值；所述绝对差值排序模块用于对二次绝对差值数组按照从大到小排列，并记录排序后各个数值的点的在邻域环中的对应的位置；所述第五阈值判断模块根据预先设置的阈值参数判断所对应的点在第五坏点检测单元中是否满足坏点的条件，并且输出判断结果。

9.如权利要求8所述的坏点检测及校正装置，其特征在于，所述第六坏点检测单元包括：水平差值计算模块、垂直差值计算模块、45度差值计算模块、135度差值计算模块和第六阈值判断模块；所述水平差值计算模块用于计算当前像素点水平方向上3个相同通道像素的相邻绝对差值；所述垂直差值计算模块用于计算当前像素点垂直方向上3个相同通道像素的相邻绝对差值；所述45度差值计算模块用于计算当前像素点45度方向上3个相同通道像素的相邻绝对差值；所述135度差值计算模块用于计算当前像素点135度方向上3个相同通道像素的相邻绝对差值；所述第六阈值判断模块通过预设的参数和控制参数判断当前像素点在第六坏点检测单元中是否满足坏点的条件，并且输出判断结果。

10.如权利要求9所述的坏点检测及校正装置，其特征在于，所述所述坏点检测融合单元包括坏点信息融合模块和智能化坏点判断模块，所述坏点信息融合模块用于将六个所述坏点检测单元输出的判断结果进行融合，输出十进制的坏点融合信息；所述智能化坏点判断模块由神经网络组成，输出训练好的坏点判断信息。

11.如权利要求10所述的坏点检测及校正装置，其特征在于，所述坏点检测及校正装置还包括坏点校正强度控制单元，所述坏点校正强度控制单元包括：均值计算模块、方差计算模块和坏点校正强度计算模块；所述均值计算模块以当前像素点为中心的5×5数据窗，根据当前像素点所处通道来计算邻域像素的均值；所述方差计算模块以当前像素点为中心的5×5数据窗，根据当前像素点所处通道来计算其邻域像素的方差；所述坏点校正强度计算模块使用当前像素点邻域像素的方差与邻域像素的均值的比来表征当前场景的信息，根据预先设置的第三上限阈值和第三下限阈值与当前场景的信息进行比较来计算坏点校正强度。

12.如权利要求11所述的坏点检测及校正装置，其特征在于，如果Inf≤THL，则判断当前场景为弱纹理区，坏点校正强度为0；

如果THL＜Inf＜THH，则判断当前场景为中纹理区，坏点校正强度W＝(Inf-THL)/(THH-THL)；

如果Inf≥THL，则判断当前场景为强纹理区，坏点校正强度1；其中：Inf为当前场景的信息，THL为预设的第三下限阈值，THH为预设的第三上限阈值。

13.如权利要求12所述的坏点检测及校正装置，其特征在于，所述校正单元包括：邻域像素排序模块、最大值计算模块、最小值计算模块、中值计算模块和坏点校正模块；所述邻域像素排序模块以当前像素点为中心的5×5数据窗，根据当前像素点所处通道对其邻域像素按照从大到小进行排序；所述最大值计算模块用于计算当前像素点所处通道邻域像素的最大值；所述最小值计算模块用于计算当前像素点所处通道邻域像素的最小值；所述中值计算模块用于计算当前像素点所处通道邻域像素的中值；所述坏点校正模块根据坏点判断信息和坏点校正强度信息来对坏点进行校正。

14.如权利要求13所述的坏点检测及校正装置，其特征在于，如果坏点判断信息为0，则不需要对当前像素点进行坏点校正，将当前像素点的值作为坏点校正模块的输出信号。

15.如权利要求14所述的坏点检测及校正装置，其特征在于，如果坏点判断信息为1，则计算坏点校正值，并将坏点校正值作为坏点校正模块输出信号。

16.如权利要求15所述的坏点检测及校正装置，其特征在于，如果当前像素点是5×5数据窗中相同通道的最大值，坏点校正值的计算公式如下：

DPCVal＝MedianVal×(1-W)+MaxVal×W

如果当前像素点是5×5数据窗中相同通道的最小值，坏点校正值的计算公式如下：

DPCVal＝MedianVal×(1-W)+MinVal×W

如果当前像素点的大小处于5×5数据窗中相同通道的最大值与最小值之间，坏点校正值的计算公式如下：

DPCVal＝MedianVal×(1-W)+PVal×W

其中，PVal是当前像素点所对应的像素值，W是坏点校正强度，DPCVal为坏点校正值，MedianVal是当前像素点所处通道邻域像素的中值。

Images