CN107948634B - 一种图像坏点检测方法、装置和图像处理芯片 - Google Patents

Abstract

本发明公开一种图像坏点检测方法、装置和图像处理芯片，该方法包括步骤：接收图像原始数据，将图像原始数据的每一像素值减去预设的偏移电平，得到该像素点偏移校正后的偏移校正值；根据M帧图像内全像素点的所述偏移校正值的累加值，得到第一误差值；根据M帧图像内单一像素点的偏移校正值的累加值，得到第二误差值；根据所述偏移校正值与所述第二误差值的均值的差值的绝对值，得到第一绝对误差值，通过该第一绝对误差值是否超出预设的第一阈值，判断该像素点是否为坏点。本发明通过计算多重帧内和帧间的像素误差，使最终得到的误差绝对值准确地反映了像素点是否损坏，以及损坏的程度。

Description

一种图像坏点检测方法、装置和图像处理芯片

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像坏点检测方法、装置和图像处理芯片。

背景技术

随着图像处理技术的发展，数字视频图像的应用日益普遍，在摄像机、手机等移动设备和车载以及监控等领域中，对视频图像的质量要求也越来越高。由于半导体的制造工艺和材料的差异以及在使用过程中的损坏，图像传感器都会存在一些坏像素点，为了使最终的成像满足人们的视觉需求，必须对这些坏像素点进行检测和校正。

现有的坏像素点检测技术，主要应用邻域判断法，即在一帧图像内，根据该像素点和其周围邻域内的像素点判断该点是否为坏像素点，若该点与周围邻域内像素点的差距很大，则认为该点为坏像素点。校正该像素点时，一般通过对邻域内像素点进行加权平均或按一定的方式计算得到该点校正后的像素值。而当出现坏像素块或加权校正计算不准确时，都可能出现坏点检测和校正的不准确。

另一些坏点检测技术虽然也考虑了前后帧图像内，运动图像对坏像素的影响来判断该点是否是坏像素点，也是通过判断坏像素点在前后帧的变化误差来对坏像素进行判断。但是由于视频图像场景(例如亮度、色度等)是实时改变的，当采用运动的实时图像来进行判断坏像素点时，对一些制造工艺中产生的像素点线性漂移或使用中镜头被部分灰尘遮挡所产生的偏亮或偏暗等坏像素点是无法进行准确判断的。

因此，有必要设计一种全新的图像坏点检测方法，解决上述问题，使图像坏点检测更准确。

发明内容

本发明所要解决的技术问题是提供一种图像坏点检测方法、装置和图像处理芯片，其可更准确地反映像素点是否损坏，以及损坏的程度。

为解决本发明的技术问题，本发明公开一种图像坏点检测方法，包括以下步骤：

接收图像原始数据，将图像原始数据的每一像素点的像素值减去预设的偏移电平，得到该像素点偏移校正后的偏移校正值；

根据M帧图像内单一像素点的偏移校正值的累加值，得到第二误差值；M为自然数；

根据所述偏移校正值与所述第二误差值的均值的差值的绝对值，得到第一绝对误差值，通过判断该第一绝对误差值是否超出预设的第一阈值，判断该像素点是否为坏点。

为解决本发明的技术问题，本发明还公开一种图像坏点检测装置，包括时序控制单元、图像校正单元，一维误差计算单元、二维误差计算单元、多帧绝对误差计算单元、存储器控制单元和存储器；

所述时序控制单元根据接收到的行场同步信号和坏点检测信号，控制所述一维误差计算单元、二维误差计算单元、多帧绝对误差计算单元和存储器控制单元工作；

所述图像校正单元用于将接收到的图像原始数据的每一像素点的像素值减去预设的偏移电平，得到该像素点偏移校正后的偏移校正值；

所述二维误差计算单元用于将M帧图像内单一像素点的所述偏移校正值进行累加，得到第二误差值；M为自然数；

所述存储器控制单元用于根据所述时序控制单元的控制对所述存储器进行读写控制操作；

所述多帧绝对误差计算单元用于将所述偏移校正值与所述第二误差值的均值的差值取绝对值，得到第一绝对误差值，输出所述第一绝对误差值；

所述存储器用于存储所述第二误差值和第一绝对误差值。

为解决本发明的技术问题，本发明公开一种图像处理芯片，包括上述的图像坏点检测装置和图像传感器；

所述图像传感器用于接收图像信号，输出图像原始数据、行同步信号和场同步信号至所述图像坏点检测装置的图像校正单元。

与现有技术相比，本发明具有如下有益效果：本发明通过计算多重帧内和帧间的像素误差，使最终得到的误差绝对值准确地反映了像素点是否损坏，以及损坏的程度。由于发明的图像检测装置是和整个图像处理芯片的正常处理通路并行，当作坏点检测的时候，可以关闭芯片中3D降噪等功能模块，降低系统带宽需求，同时也不影响图像的显示，可集成度较好，应用价值高。

附图说明

图1是本发明实施例的图像坏点检测方法步骤图；

图2是本发明一实施例的图像坏点检测装置结构图；

图3是本发明另一实施例的图像坏点检测装置结构图。

具体实施方式

下面结合附图和实施例，对本发明作进一步详细说明。

如图1所示，本发明实施例提供一种图像坏点检测方法，包括步骤：

S1：接收图像原始数据，将图像原始数据的每一像素点的像素值减去预设的偏移电平，得到该像素点偏移校正后的偏移校正值；

具体的，图像传感器采集视频图像，将采集到的光信号转化为电信号，在将电信号转化为数字信号的像素值，连同行同步信号和场同步信号一起输出到图像坏点检测装置，在本发明实施例中，图像传感器输出的像素值为贝尔格式的图像原始数据。

在本发明实施例中，当进行坏点检测时，输入图像传感器的图像为纯色的灰度图像，具体的，为方便检测可输入黑色图像。在理想状态下，黑色图像的所有像素点的值都为0，但是由于图像传感器制造工艺或传输电路的影响，可能导致输出的像素值不为0，会存在一定的偏移。为了纠正输入的像素值存在的偏移，本发明实施例，将图像原始数据的每一像素点的像素值减去预设的偏移电平，得到该像素点带符号数的偏移校正后的偏移校正值。所述预设的偏移电平数值范围在0-30之间。

S2：根据M帧图像内全像素点的所述偏移校正值的累加值，得到第一误差值；M为2的n次幂，n为大于1的自然数；

具体的，设置误差计算的时间单位为M帧，M为自然数，可以是2的n次幂，n为大于1的自然数，通常取1到8之间的正数即可。将M帧内所有像素点的偏移校正值进行累加，得到第一误差值，其中，累加器设为W比特，W为大于8的自然数，本实施例优选W等于32，累加器具有上下溢出保护功能。正常情况下，累加器最终输出的结果应该是接近0的一个常数，如果太大，可将偏移电平调大，反之则调小。具体的，可将第一误差值与预设的阈值进行对比，如果超出预设的最大阈值，则表明预设的偏移电平较小，可将偏移电平调大。如果超出预设的最小阈值，则表明预设的偏移电平较大，可将偏移电平调小。

在本发明另一实施例中，为了达到更快地坏点检测的目的，将第一误差值在M帧图像内全像素点的平均值作为偏移电平，这样避免了手动加大或减小偏移电平，导致计算速度过慢的问题。具体的，将第一误差值除以图像分辨率和M即可得到。

S3：根据M帧图像内单一像素点的偏移校正值的累加值，得到第二误差值；

具体的，本步骤S3和步骤S2可同时进行，计算时间也为M帧。在第一帧时间内，直接将第一帧的各个像素点的偏移校正值通过存储器控制单元写入存储器二维阵列中暂存起来。第二帧开始后，将该帧的各个像素点的偏移校正值和上一帧暂存的对应像素点的偏移校正值进行累加，再将累加后得到的数值，通过存储器控制单元写回到存储器二维阵列的对应位置。在时序控制器的控制下，不停地重复累加工作直到第M帧结束为止，经过M帧输入重复累加后，得到了一定程度上反映图像传感器各个像素点误差情况的第二误差值，并存储在存储器中。

S4：根据所述偏移校正值与所述第二误差值的均值的差值的绝对值，得到第一绝对误差值，通过该第一绝对误差值是否超出预设的第一阈值，判断该像素点是否为坏点。

具体的，本步骤S4是在步骤S3完成后才进行的，从第一帧开始，将每一帧的每个像素点的偏移校正值与对应像素点的第二误差值右移M比特后的值(即第二误差值除以M得到的均值)相减，再将得到的差值求绝对值，最后得到第一绝对误差值，其反映了像素点的破损程度，理想情况下，绝对误差为0，误差越大，表明像素为坏点的程度越大。

具体的，可将第一绝对误差值与预设的第一阈值进行比较，若超出第一阈值的范围，则该像素点为坏点。第一阈值的数值范围可在0-255之间，具体的，可根据实际情况设置为5、10、20等。

在本发明另一实施例中，为了更准确的反映像素点的好坏程度，在步骤S4之后还包括步骤S5：根据N帧图像内的所述第一绝对误差值的累加值，得到第二绝对误差值，其中，N为自然数。

具体的，在时序控制器的控制下，首先，将第一帧输入的第一绝对误差值直接作为本单元的输出发送到存储器控制单元，并最终存储到存储器中。第二帧开始到第N帧结束，每一帧都通过存储器控制单元读取暂存在存储器中的上一帧的第一绝对误差值，并将当前输入的第一绝对误差值与对应点的上一帧的第一绝对误差值进行累加，最终将N帧结束后的累加值通过存储器控制单元存储到存储器中。经过多帧绝对误差的累加单元运算后，所得到的像素点的第二绝对误差值的精度相比第一绝对误差值，更能实际反映当前图像传感器的像素点好坏程度。通过判断第二绝对误差值是否超出预设的第二阈值，即可使用户对图像中是否存在坏点进行更准确地判断了。在本实施例中，第二阈值的数值范围可在0-255之间，具体的，可根据实际情况设置为5、10、20等。

绝对误差越大，表明像素点损坏越大，在后续的坏点校正中，可以针对坏像素点进行相应的校正操作，例如，当图像某个点或块由于制造工艺或镜头被遮挡等造成像素点产生了偏移导致图像偏亮或偏暗，就可以根据绝对误差值减去或加上一个偏移，以抵消坏点的影响，误差越大偏移越大，这样不仅可以用于普通的坏点校正，还可以用于图像的正常降噪，得到更加平滑，质量更高的图像。

综上所述，本发明实施例提供的图像坏点检测方法，充分考虑了单帧图像中存在连续的坏像素点和坏像素块带来的传统方法检测不准的问题，以及先前方法中由于视频图像实时运动带来的运动误差检测的不定性，通过一系列多重帧内和帧间的像素误差的计算，最终得到的多帧像素误差绝对值准确地反映了像素点是否损坏，以及损坏的程度。

再如图2所示，本发明实施例还提供一种图像坏点检测装置，包括时序控制单元、图像校正单元，一维误差计算单元、二维误差计算单元、多帧绝对误差计算单元、存储器控制单元和存储器。

其中，所述时序控制单元根据接收到的行场同步信号和坏点检测信号，控制所述一维误差计算单元、二维误差计算单元、多帧绝对误差计算单元和存储器控制单元工作。

具体的，该单元负责坏点检测过程中时序的控制，接收图像传感器输出的行同步信号和场同步信号，以及由系统配置的坏点检测使能信号，当坏点检测使能信号由0变为1时，表明需要开始进行坏点检测，时序控制单元将根据行同步信号和场同步信号的变化，在下一个场同步信号的上升沿来之后，发出控制一维误差计算单元和二维误差计算单元的控制信号以及存储器控制单元开始工作的读写控制信号。当一维误差计算单元和二维误差计算单元计算完成后，时序控制单元接下来根据系统软件的指令启动多帧绝对误差计算单元以及存储器控制单元开始进行坏点检测的计算。当坏点检测计算完成后，时序控制单元回到空闲状态，一直到系统重新启动使能坏点检测单元工作。

其中，所述图像校正单元用于将接收到的图像原始数据的每一像素点减去预设的偏移电平，得到该像素点偏移校正后的偏移校正值。

具体的，本发明实施例通过图像传感器采集视频图像，将采集到的光信号转化为电信号，在将电信号转化为数字信号的像素值，输出到图像校正单元，在本发明实施例中，图像传感器输出的像素值为贝尔格式的图像原始数据。

在本发明实施例中，当进行坏点检测时，输入图像传感器的图像为纯色的灰度图像，具体的，为方便检测可输入黑色图像。在理想状态下，黑色图像的所有像素点的值都为0，但是由于图像传感器制造工艺或传输电路的影响，可能导致输出的像素值不为0，会存在一定的偏移。为了纠正输入的像素值存在的偏移，本发明实施例，将图像原始数据的每一像素点的像素值减去预设的偏移电平，得到该像素点带符号数的偏移校正后的偏移校正值。所述预设的偏移电平数值范围在0-30之间。

其中，所述一维误差计算单元用于将M帧图像内全像素点的所述偏移校正值进行累加，得到第一误差值。M为自然数，可以是2的n次幂，n为大于1的自然数，通常取1到8之间的正数即可。

具体的，该单元接收偏移校正单元输出的偏移校正值和时序控制单元的控制信号，当坏点检测使能后，时序控制单元会首先发出误差计算的控制信号，控制一维误差计算单元进行误差的累加计算。设置误差计算的时间单位为M帧。将M帧内所有像素点的偏移校正值进行累加，得到第一误差值，其中，累加器设为W比特，W为大于8的自然数，本实施例优选W等于32，累加器具有上下溢出保护功能。正常情况下，累加器最终输出的结果应该是接近0的一个常数，如果太大，可将偏移电平调大，反之则调小。具体的，可将第一误差值与预设的阈值进行对比，如果超出预设的最大阈值，则表明预设的偏移电平较小，可将偏移电平调大。如果超出预设的最小阈值，则表明预设的偏移电平较大，可将偏移电平调小。

如图3所示，在本发明另一实施例中，为了达到更快地坏点检测的目的，还包括偏移电平计算单元，连接所述一维误差计算单元，用于将所述第一误差值在M帧图像内全像素点的平均值作为所述偏移电平输入到所述图像校正单元。

具体的，偏移电平计算单元将第一误差值在M帧图像内全像素点的平均值作为偏移电平，这样避免了手动加大或减小偏移电平，导致计算速度过慢的问题。具体的，将第一误差值除以图像分辨率和M即可得到。

其中，所述二维误差计算单元用于将M帧图像内单一像素点的所述偏移校正值进行累加，得到第二误差值。

具体的，该单元接收偏移校正单元输出的偏移校正数据和时序控制单元输出的控制信号，该单元和一维误差计算单元同时并行工作，计算时间也为M帧，在第一帧时间内，直接将第一帧的各个像素点的偏移校正值通过存储器控制单元写入存储器二维阵列中暂存起来。第二帧开始后，将该帧的各个像素点的偏移校正值和上一帧暂存的对应像素点的偏移校正值进行累加，再将累加后得到的数值，通过存储器控制单元写回到存储器二维阵列的对应位置。在时序控制器的控制下，不停地重复累加工作直到第M帧结束为止，经过M帧输入重复累加后，得到了一定程度上反映图像传感器各个像素点误差情况的第二误差值，并存储在存储器中。

其中，所述存储器控制单元用于根据所述时序控制单元的控制对所述存储器进行读写控制操作。

其中，所述存储器用于存储所述第二误差值和第一绝对误差值。在本发明实施例中，存储器可为DDR(Double Data Rate，双倍速率同步动态随机存储器)、或SDRAM(Synchronous Dynamic Random Access Memory，同步动态随机存取存储器)等。

其中，所述多帧绝对误差计算单元用于将所述偏移校正值与所述第二误差值的均值的差值取绝对值，得到第一绝对误差值，输出所述第一绝对误差值。

具体的，该单元接收偏移校正单元输出的偏移校正值和存储器控制单元输出的第二误差值，在时序控制单元的控制下，对输入的偏移校正值作多帧绝对误差的计算。从第一帧开始，将每一帧的每个像素点的偏移校正值与对应像素点的第二误差值右移M比特后的值相减，再将得到的差值求绝对值，最后得到第一绝对误差值，其反映了像素点的破损程度，理想情况下，绝对误差为0，误差越大，表明像素为坏点的程度越大。

具体的，可将第一绝对误差值与预设的第一阈值进行比较，若超出第一阈值的范围，则该像素点为坏点。在本实施例中，第一阈值的数值范围可在0-255之间，具体的，可根据实际情况设置为5、10、20等。

如图3所示，在本发明另一实施例中，为了更准确的反映像素点的好坏程度，还包括多帧绝对误差累加单元，连接所述时序控制单元、存储器和多帧绝对误差计算单元，用于累加N帧图像内的所述第一绝对误差值，得到第二绝对误差值，输出所述第二绝对误差值，其中，N为自然数。

具体的，该单元接收多帧绝对误差计算单元输出的第一绝对误差值和存储器中存储的上一帧暂存的第一绝对误差值，在时序控制器的控制下，将第一帧输入的第一绝对误差值直接作为本单元的输出发送到存储器控制单元，并最终存储到存储器中。第二帧开始到第N帧结束，每一帧都通过存储器控制单元读取暂存在存储器中的上一帧的第一绝对误差值，并将当前输入的第一绝对误差值与对应点的上一帧的第一绝对误差值进行累加，最终将N帧结束后的累加值通过存储器控制单元存储到存储器中。经过多帧绝对误差的累加单元运算后，所得到的像素点的第二绝对误差值的精度相比第一绝对误差值，更能实际反映当前图像传感器的像素点好坏程度。通过判断第二绝对误差值是否超出预设的第二阈值，即可使用户对图像中是否存在坏点进行更准确地判断了。在本实施例中，第二阈值的数值范围可在0-255之间，具体的，可根据实际情况设置为5、10、20等。

绝对误差越大，表明像素点损坏越大，在后续的坏点校正中，可以针对坏像素点进行相应的校正操作，例如，当图像某个点或块由于制造工艺或镜头被遮挡等造成像素点产生了偏移导致图像偏亮或偏暗，就可以根据绝对误差值减去或加上一个偏移，以抵消坏点的影响，误差越大偏移越大，这样不仅可以用于普通的坏点校正，还可以用于图像的正常降噪，得到更加平滑，质量更高的图像。

综上所述，本发明实施例提供的图像坏点检测装置，充分考虑了单帧图像中存在连续的坏像素点和坏像素块带来的传统方法检测不准的问题，以及先前方法中由于视频图像实时运动带来的运动误差检测的不定性，通过一系列多重帧内和帧间的像素误差的计算，最终得到的多帧像素误差绝对值准确地反映了像素点是否损坏，以及损坏的程度。

再如图2、图3所示，本发明实施例还提供一种图像处理芯片，包括图像传感器和图像坏点检测装置。所述图像传感器用于接收图像信号，输出图像原始数据、行同步信号和场同步信号至所述图像坏点检测装置的图像校正单元。

在本发明实施例中，所述图像坏点检测装置位于所述图像处理芯片的输入前端部分，与芯片的处理电路并行工作。所以，图像坏点检测装置的工作不影响芯片后续模块的流水处理。

所述图像坏点检测装置的具体工作原理和技术方案，可参见图2、图3所示实施例的描述，在此处不再赘述。

综上所述，本发明实施例提供的图像处理芯片，充分考虑了单帧图像中存在连续的坏像素点和坏像素块带来的传统方法检测不准的问题，以及先前方法中由于视频图像实时运动带来的运动误差检测的不定性，通过一系列多重帧内和帧间的像素误差的计算，最终得到的多帧像素误差绝对值准确地反映了像素点是否损坏，以及损坏的程度。另外，由于发明实施例的图像检测装置是和整个图像处理芯片的正常处理通路并行，当作坏点检测的时候，可以关闭芯片中3D降噪等功能模块，降低系统带宽需求，同时也不影响图像的显示，可集成度较好，应用价值高。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上举较佳实施例，对本发明的目的、技术方案和优点进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内，本发明所主张的权利范围应以发明申请范围所述为准，而非仅限于上述实施例。

Claims (9)

1.一种图像坏点检测方法，其特征在于，包括以下步骤：

接收图像原始数据，将图像原始数据的每一像素点的像素值减去预设的偏移电平，得到该像素点偏移校正后的偏移校正值；

根据M帧图像内对应位置处的单一像素点的偏移校正值的累加值，得到第二误差值；将所述第二误差值除以M得到第二误差值的均值；M为2的n次幂，n为大于1的自然数；

根据所述偏移校正值与对应的所述第二误差值的均值的差值的绝对值，得到第一绝对误差值，通过判断该第一绝对误差值是否超出预设的第一阈值，判断该像素点是否为坏点。

2.如权利要求1所述的图像坏点检测方法，其特征在于，在所述得到该像素点偏移校正后的偏移校正值的步骤之后，还包括：根据M帧图像内全像素点的所述偏移校正值的累加值，得到第一误差值；将所述第一误差值在M帧图像内全像素点的平均值作为所述偏移电平输入。

3.如权利要求1所述的图像坏点检测方法，其特征在于，

在所述得到第一绝对误差值的步骤之后，包括：根据N帧图像内的所述第一绝对误差值的累加值，得到第二绝对误差值，通过判断该第二绝对误差值是否超出第二阈值，判断该像素点是否为坏点。

4.如权利要求3所述的图像坏点检测方法，其特征在于，所述第一阈值和第二阈值的数值范围为0-255。

5.一种图像坏点检测装置，其特征在于，包括时序控制单元、图像校正单元、二维误差计算单元、多帧绝对误差计算单元、存储器控制单元和存储器；

所述时序控制单元根据接收到的行场同步信号和坏点检测信号，控制所述二维误差计算单元、多帧绝对误差计算单元和存储器控制单元工作；

所述图像校正单元用于将接收到的图像原始数据的每一像素点的像素值减去预设的偏移电平，得到该像素点偏移校正后的偏移校正值；

所述二维误差计算单元用于将M帧图像内对应位置处的单一像素点的所述偏移校正值进行累加，得到第二误差值；M为2的n次幂，n为大于1的自然数；

所述存储器控制单元用于根据所述时序控制单元的控制对所述存储器进行读写控制操作；

所述多帧绝对误差计算单元用于将所述偏移校正值与对应的所述第二误差值的均值的差值取绝对值，得到第一绝对误差值，输出所述第一绝对误差值；所述第二误差值的均值通过所述二维误差计算单元得到的第二误差值除以M得到；通过判断所述第一绝对误差值是否超出预设的第一阈值，判断该像素点是否为坏点；

所述存储器用于存储所述第二误差值和第一绝对误差值。

6.如权利要求5所述的图像坏点检测装置，其特征在于，还包括一维误差计算单元和偏移电平计算单元，所述一维误差计算单元用于将M帧图像内全像素点的所述偏移校正值进行累加，得到第一误差值；所述偏移电平计算单元，连接所述一维误差计算单元，用于将所述第一误差值在M帧图像内全像素点的平均值作为所述偏移电平输入到所述图像校正单元。

7.如权利要求5所述的图像坏点检测装置，其特征在于，还包括多帧绝对误差累加单元，连接所述时序控制单元、存储器和多帧绝对误差计算单元，用于累加N帧图像内的所述第一绝对误差值，得到第二绝对误差值，输出所述第二绝对误差值，通过判断该第二绝对误差值是否超出第二阈值，判断该像素点是否为坏点。

8.如权利要求7所述的图像坏点检测装置，其特征在于，所述第一阈值和第二阈值的数值范围为0-255。

9.一种图像处理芯片，包括权利要求5至8任一项所述的图像坏点检测装置和图像传感器；

所述图像传感器用于接收图像信号，输出图像原始数据、行同步信号和场同步信号至所述图像坏点检测装置的图像校正单元。

Images