CN110807731B - 用于补偿图像坏点的方法、装置、系统及存储介质 - Google Patents

Abstract

本申请提供了用于补偿图像坏点的方法、装置、系统和存储介质，所述方法包括：获得成像模组中的模组坏点组群的位置信息，其中，模组坏点组群包括在成像模组中能够通过至少一条路径相连的多个模组坏点；根据位置信息在图像中定位图像坏点组群的位置；根据图像坏点组群周围预定范围内的正常像素区域的纹理特征来对图像坏点组群进行纹理填充；以及根据每个图像坏点的邻近区域中正常像素的像素值来对图像坏点组群中的图像坏点进行插值补偿。

Description

用于补偿图像坏点的方法、装置、系统及存储介质

技术领域

本申请涉及图像处理领域，具体地，涉及用于补偿图像坏点的方法、装置、系统及存储介质。

背景技术

随着移动设备的发展，摄像功能已经成为移动设备的标准配置。近年来，人们对于移动设备轻薄化的需求以及对移动设备成像质量的要求日益提高。这促使移动设备中成像模组的像素越来越高，相应的制造工艺也日渐复杂。然而，这样的发展在不断提高成像质量的同时也带来了一些难以避免的问题。例如，在生产成像模组时，会产生存在坏点的模组，而这些模组中的较大部分是无法通过拆卸、清洗、返修等再次使用的，这无疑增加了模组的生产成本。

针对成像模组中的坏点，已经提出了一些在软件层面上校正坏点的方法。这些方法先将模组的坏点信息存储在存储设备中，然后在模组成像后从存储设备中读取坏点信息，再通过校正算法进行坏点补偿。

然而，现有的校正方法多是使用传统的双向插值或多样条插值来进行坏点修复，这样的方法在坏点数量较多的情况下会产生明显的画面模糊及突变，导致最终的成像质量不佳。

因此，需要一种能够更好地补偿坏点且更加通用的坏点补偿方案。

发明内容

本申请提供了一种用于补偿图像坏点的方法，图像通过成像模组获得，方法包括：获得成像模组中的模组坏点组群的位置信息，其中，模组坏点组群包括在成像模组中能够通过至少一条路径相连的多个模组坏点；根据位置信息在图像中定位图像坏点组群的位置；根据图像坏点组群周围预定范围内的正常像素区域的纹理特征来对图像坏点组群进行纹理填充；以及根据每个图像坏点的邻近区域中正常像素的像素值来对图像坏点组群中的图像坏点进行插值补偿。

在一个实施方式中，所述方法还包括：根据每个图像坏点相对于图像坏点组群的位置，调整每个图像坏点处的纹理填充和插值补偿的权重。

在一个实施方式中，对于图像坏点组群中的任意一个图像坏点，该图像坏点越靠近图像坏点组群的中心，该图像坏点处的纹理填充的权重越大。

在一个实施方式中，根据图像坏点组群周围预定范围内的正常像素区域的纹理特征来对图像坏点组群进行纹理填充包括：根据包围图像坏点组群的第一正常像素区域的纹理特征，在图像坏点组群周围预定范围内的多个第二正常像素区域中搜索纹理特征与第一正常像素区域的纹理特征最相近的第二正常像素区域，并利用搜索到的第二正常像素区域中像素的像素值填充图像坏点组群中的相应图像坏点。

在一个实施方式中，在图像坏点组群周围的多个第二正常像素区域中搜索纹理特征与第一正常像素区域的纹理特征最相近的第二正常像素区域包括：以第一正常像素区域的外边界为搜索窗口，在图像坏点组群周围预定范围内从图像坏点组群以预定步进距离向多个方向移动搜索窗口，其中，搜索窗口中的区域为第二正常像素区域；在每次移动后，将第一正常像素区域中的每个像素的像素值与搜索窗口中的对应像素的像素值进行比较，以获得两者之间的像素值差异；以及选择与第一正常像素区域的像素值差异最小的搜索窗口中的区域作为纹理特征与第一正常像素区域的纹理特征最相近的第二正常像素区域。

在一个实施方式中，根据每个图像坏点的邻近区域中正常像素的像素值来对图像坏点组群中的图像坏点进行插值补偿包括：在图像坏点组群中，根据每个图像坏点的邻近区域中正常像素的像素值变化趋势来调整每个图像坏点处的像素值。

在一个实施方式中，根据每个图像坏点的邻近区域中正常像素的像素值变化趋势来调整每个图像坏点处的像素值包括：对图像坏点组群最外边缘处的图像坏点以预定顺序进行遍历补偿；以及对最外边缘以内的图像坏点，从外到内逐层进行调整，其中，在每层中，以预定顺序对图像坏点进行遍历调整。

在一个实施方式中，每个图像坏点的邻近区域包括位于每个图像坏点的上侧、下侧、左侧、右侧、左上侧、右上侧、左下侧以及右下侧的区域。

在一个实施方式中，插值补偿还包括：在图像坏点的邻近区域中存在纹理特征时，根据该纹理特征对图像坏点进行补偿。

在一个实施方式中，所述方法还包括：在定位图像坏点组群之后，对图像坏点组群进行扩展，使得图像坏点组群包括其周围预定范围内的正常像素。

在一个实施方式中，获得成像模组中的模组坏点组群的位置信息包括：从成像模组的存储装置中读取成像模组中的模组坏点组群的位置信息。

在一个实施方式中，模组坏点组群的位置信息在存储装置中以包括以下各项的格式存储：群组标识、行序号、起始列序号以及坏点个数。

在一个实施方式中，安装有成像模组的平台装置在启动时检测成像模组的信息并从成像模组的存储装置中读取模组坏点组群的位置信息。

在一个实施方式中，所述方法还包括通过以下操作确定成像模组中的模组坏点组群的位置信息：在均匀光源下通过成像模组获得测试图像；将测试图像划分为多个块区；将每个像素的亮度值与其所属块区的平均亮度值进行比较以获得每个像素的相对亮度值；将相对亮度值超过预定阈值的像素确定为坏点；将能够通过至少一条路径相连的坏点确定为测试图像坏点群组；以及根据测试图像坏点群组的位置信息确定成像模组中的模组坏点组群的位置信息。

本申请还提供了一种用于补偿图像坏点的装置，图像通过成像模组获得，装置包括：模组坏点位置获取器，用于获得成像模组中的模组坏点组群的位置信息，其中，模组坏点组群包括在成像模组中能够通过至少一条路径相连的多个模组坏点；图像坏点位置确定器，用于根据位置信息在图像中定位图像坏点组群的位置；纹理填充器，用于根据图像坏点组群周围预定范围内的正常像素区域的纹理特征来对图像坏点组群进行纹理填充；以及插值补偿器，用于根据每个图像坏点的邻近区域中正常像素的像素值来对图像坏点组群中的图像坏点进行插值补偿。

本申请还提供了一种用于补偿图像坏点的系统，图像通过成像模组获得，其特征在于，系统包括：处理器；以及存储器，联接至处理器并存储有机器可读指令，机器可读指令能够由处理器运行以执行以下操作：获得成像模组中的模组坏点组群的位置信息，其中，模组坏点组群包括在成像模组中能够通过至少一条路径相连的多个模组坏点；根据位置信息在图像中定位图像坏点组群的位置；根据图像坏点组群周围预定范围内的正常像素区域的纹理特征来对图像坏点组群进行纹理填充；以及根据每个图像坏点的邻近区域中正常像素的像素值来对图像坏点组群中的图像坏点进行插值补偿。

本申请还提供了一种非暂时性机器可读存储介质，非暂时性机器可读存储介质存储有机器可读指令，其特征在于，机器可读指令能够由处理器运行以执行以下操作：获得成像模组中的模组坏点组群的位置信息，其中，模组坏点组群包括在成像模组中能够通过至少一条路径相连的多个模组坏点；根据位置信息在通过成像模组获得的图像中定位图像坏点组群的位置；根据图像坏点组群周围预定范围内的正常像素区域的纹理特征来对图像坏点组群进行纹理填充；以及根据每个图像坏点的邻近区域中正常像素的像素值来对图像坏点组群中的图像坏点进行插值补偿。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了根据本发明示例性实施方式的用于补偿图像坏点的方法的流程图；

图2示出了根据本发明示例性实施方式的确定与第一正常像素区域的纹理特征最相近的第二正常像素区域的方法的流程图；

图3示出了根据本申请示例性实施方式的用于补偿图像坏点的装置的示意图；以及

图4示出了适于用来实现本申请的终端设备或服务器的计算机系统400的结构示意图。

具体实施方式

在以下描述中，为了解释的目的，阐述了许多具体细节以提供对多种示例性实施方式的全面理解。然而，显而易见的是，可在没有这些具体细节的情况下或利用一个或多个等效布置来实践多种示例性实施方式。在其他情况下，众所周知的结构和设备以框图形式示出以避免使各种示例性实施方式不必要地含糊不清。

在附图中，为了清楚和描述的目的，可能夸大层、膜、面板、区域等的尺寸和相对尺寸。此外，相同的附图标记指代相同的元件。

当元件或层被称为在另一元件或层“上”、“连接到”或“联接到”另一元件或层时，该元件或层可直接在另一元件或层上、直接地连接到或联接到另一元件或层，或可存在中间元件或中间层。然而，当元件或层被称为“直接”在另一元件或层“上”、“直接连接到”或“直接联接到”另一元件或层时，不存在中间元件或中间层。为了本公开的目的，“X、Y和Z中的至少一个”以及“从包含X、Y和Z的组中选择的至少一个”可被解释为仅X、仅Y、仅Z、或X、Y和Z中的两个或更多个的任何组合(诸如，例如，XYZ、XYY、YZ和ZZ)。在全文中，相同的附图标记指代相同的元件。如本文中所使用的，术语“和/或”包括一个或多个相关列出项目的任何和所有组合。

虽然术语第一、第二等可在本文中用以描述各种元件、组件、区域、层和/或部分，但是这些元件、组件、区域、层和/或部分不应由这些术语限制。这些术语用于区分一个元件、组件、区域、层和/或部分与另一元件、组件、区域、层和/或部分。因此，在不背离本公开的教导的情况下，以下讨论的第一元件、第一组件、第一区域、第一层和/或第一部分能够被称为第二元件、第二组件、第二区域、第二层和/或第二部分。

为了描述的目的，诸如“在…下面”、“在…下方”、“下部”、“在…上方”、“上部”等的空间相对术语可在本文中使用，并且从而描述如附图中所示的一个元件或特征与另一元件(多个元件)或特征(多个特征)的关系。除了附图中描绘的定向之外，空间相对术语旨在包含装置在使用中、操作中和/或制造中的不同的定向。例如，如果附图中的装置翻转，则描述为在其他元件或特征“下方”或“下面”的元件将随之被定向在其他元件或特征“上方”。因此，示例性术语“在…下方”可以包含上方和下方两种定向。此外，装置可以以其他方式定向(例如，旋转90度或处于其他定向)，并且由此相应地解释本文中使用的空间相对描述语。

本文中使用的术语仅是用于描述特定实施方式的目的，并且不旨在限制。除非上下文另有明确指示，否则如本文中所使用的，单数形式“一”和“一个”等旨在也包括复数形式。此外，当在本说明书中使用时，术语“包含”、“包含有”、“包括”和/或“包括有”表示所述特征、整体、步骤、操作、元件、组件和/或它们的组合的存在，但是不排除一个或多个其他特征、整体、步骤、操作、元件、组件、和/或它们的组合的存在或添加。

在本文中，参考作为理想化的示例性实施方式和/或中间结构的示意图的截面图来描述多种实施方式。照此，由于例如制造技术和/或公差的原因，将预期发生图示的形状的变化。因此，本文中公开的示例性实施方式不应被解释为限于区域的特定的示出形状，而是将包括例如由制造引起的形状中的偏差。例如，示出为矩形的植入区域将通常在其边缘处具有圆形或弯曲的特征和/或植入浓度的梯度，而不是从植入区域到非植入区域的二元变化。同样地，由植入形成的掩埋区域可导致在掩埋区域与穿过其发生植入的表面之间的区域中的一些植入。因此，附图中示出的区域本质上是示意性的，并且其形状不旨在示出设备的区域的实际形状，并且不旨在限制。

除非另有限定，否则本文中所使用的所有术语(包括技术术语和科学术语)具有与本公开所属技术领域的普通技术人员的通常理解相同的含义。除非在本文中明确地如此限定，否则术语(诸如在常用词典中限定的术语)应该被解释为具有与其在相关领域的上下文中的含义相同的含义，并且将不以理想化或过度正式的意义进行解释。

在本发明中，图像可以通过成像模组获得，该成像模组可以安装于手机、平板电脑等移动装置中，但是本发明的实施方式不限于此，所述成像模组可以安装于任何合适的装置中。在成像模组中可包括多个感光单元，这些感光单元以矩阵形式排列。在成像模组的实际生产过程中，由于生产工艺等原因，可能在成像模组中产生非正常感光单元，即，模组坏点。模组坏点会在成像模组获得的图像中产生不正常像素(下文中称为图像坏点)，并且不正常像素会显示与期望像素值有差异的像素值。

图1示出了根据本发明示例性实施方式的用于补偿图像坏点的方法的流程图。

参照图1，根据本发明实施方式的用于补偿图像坏点的方法100包括：步骤S101，获得成像模组中的模组坏点组群的位置信息；步骤S102，根据所述位置信息在图像中定位图像坏点组群的位置；步骤S103，根据图像坏点组群周围预定范围内的正常像素区域的纹理特征来对图像坏点组群进行纹理填充；以及步骤S104，根据每个图像坏点的邻近区域中正常像素的像素值来对图像坏点组群中的图像坏点进行插值补偿。

根据本发明实施方式的用于补偿图像坏点的方法可首先在步骤S101中获得成像模组中的模组坏点组群的位置信息。模组坏点组群为成像模组中的模组坏点的集合，其包括在成像模组中能够通过至少一条路径相连的多个模组坏点。模组坏点组群的位置信息可以包括模组坏点组群相对于成像模组的位置。一个成像模组中可以包含多个模组坏点组群，在下文中为了描述的清楚，仅描述了针对一个模组坏点组群(或其对应的图像坏点组群)的补偿方法，其它模组坏点组群(或其对应的图像坏点组群)可以使用同样的方法进行补偿。

在一些实施方式中，模组坏点组群的位置信息可以从成像模组的存储装置中读取，例如，从成像模组的电可擦可编程只读存储器(EEPROM)中读取。模组坏点组群的位置信息还可以从安装成像模组的平台装置的储存装置中读取。例如，当成像模组安装在诸如手机、平板电脑等平台装置上时，可以从手机、平板电脑等的存储器中读取预先存储的模组坏点组群的位置信息。但是本发明的实施方式不限于此，可以使用任何合适的方法获得模组坏点组群的位置。

在一些实施方式中，平台装置可以在启动时检测成像模组的信息并从成像模组的存装置中读取模组坏点组群的位置信息，并在处理通过成像模组获得的每张图像或每帧图像时利用本申请的方法进行图像坏点补偿。

当模组坏点组群的位置信息存储于成像模组的EEPROM中时，位置信息可以通过群组标识(ID)、行序号、起始列序号以及坏点个数来表示。其中，群组标识用于标识不同的模组坏点组群，行序号可为模组坏点组群在成像模组的感光单元矩阵中所占的行的行号，起始列序号可为模组坏点组群在成像模组的感光单元矩阵中起始列的列号，坏点个数可为模组坏点组群在每一行上包含的坏点数量。

与传统的存储格式相比，本发明的存储格式可以显著减小模组坏点组群的位置信息所占用的存储空间。具体地，在传统的记录模组坏点的记录方式中，位置信息包含了每个模组坏点的X坐标和Y坐标。当模组坏点数量较多时，这样的记录方式需要较大的存储空间，而成像模组自身的存储装置通常具有较小的存储空间，这使得传统的记录方式往往需要压缩其格式，甚至改为将位置信息存储在诸如手机flash等的大容量存储器中，但是这样的设计通常不利于信息的读写和交换移植。而在本发明中，使用了记录模组坏点的相对位置的方式，仅记录模组坏点的起始位置和每行中模组坏点个数等信息，然后在使用时根据起始位置和每行中模组坏点的个数信息等计算出每个模组坏点的位置。这样的方式显著减小了所需的存储空间，使得模组坏点组群的位置信息可以存储在成像模组的存储装置中，改善了位置信息的读写性能和可移植性。

在一些实施方式，本发明的方法还可包括以下确定成像模组中模组坏点组群的位置信息的操作。

首先，在均匀光源下通过成像模组获得(例如，拍摄)测试图像，该测试图像的格式可以为Bayer图、BMP位图、YUV位图等，但是本申请不限于此，测试图像也可以为其它格式。对于8位图像且灰度值为0～255的测试图像，中心亮度约为200，对于其它位数的图像，中心亮度可以进行适当地调整。

在获得测试图像之后，可以将测试图像(例如，均匀地)划分为多个块区，并计算每个块区的平均亮度值，然后，可以将每个块区里的像素与其所属块区的平均亮度值进行比较以获得每个像素的相对亮度值，例如，通过下式(1)来计算每个像素的相对亮度值：

Ratio_i＝|P_i-S_avg|/S_avg (1)

其中，Ratio_i表示像素的相对亮度值，P_i表示像素的像素值，S_avg表示像素所属块区的平均亮度值。

如果像素的相对亮度值Ratio_i大于阈值，则可以认为该像素为坏点，其中，所述阈值可以为经验阈值，例如，可以通过统计多个测试图像的中的正常像素的相对亮度值的范围，然后确定所述阈值。

在确定测试图像中的坏点之后，将能够通过至少一条路径相连的坏点划分进一个测试图像坏点群组，测试图像中可以包括多个测试图像坏点群组。然后，根据测试图像坏点群组的位置信息确定成像模组中的模组坏点组群的位置信息，例如，通过将与测试图像坏点群组对应的感光单元群组确定为模组坏点组群，并确定该模组坏点组群的位置信息。

返回参照图1，在步骤S102中，在通过成像模组获得的图像中，根据模组坏点组群的位置信息定位图像坏点组群的位置。例如，可以根据成像模组每个感光单元与图像中每个像素的对应关系，将模组坏点组群的位置换算为图像坏点组群的位置。

在实际应用中，平台装置通常会通过诸如图像信号处理器(ISP)的部件对成像模组获得的raw格式的图像进行进一步处理，而这些处理可能造成图像坏点组群周围的像素也出现异常，例如，像素值增强，所以这些像素也应在补偿过程中被修正，因此需要将原先的图像坏点组群进行扩展以包括进这些异常像素。所以，在一些实施方式中，在定位图像坏点组群之后，可以对图像坏点组群进行扩展，使得图像坏点组群包括其周围预定范围内的正常像素。即，将图像中的图像坏点组群范围扩大，使得图像坏点组群也包括一些正常像素，这些正常像素是位于原图像坏点组群周围的像素，例如，可以是在原图像坏点组群周围数圈的像素。

在获得图像坏点组群的位置之后，可以模拟图像坏点组群周围区域的纹理，对图像坏点组群进行填充。即，在步骤S103中，可以根据图像坏点组群周围预定范围内的正常像素区域的纹理特征来对图像坏点组群进行纹理填充。图像坏点组群中的像素应有的正常像素值通常与其周围的正常像素具有一定的关联性，在纹理上，可能表现为具有一定的延续性，所以可以利用这种关联性来推测出图像坏点组群位置处应有的纹理，这可以让经过纹理填充后的图像坏点组群融入其周围的图像环境中，达到修复的目的。

在一些实施方式中，可以根据包围图像坏点组群的第一正常像素区域的纹理特征，在图像坏点组群周围预定范围内的多个第二正常像素区域中搜索纹理特征与第一正常像素区域的纹理特征最相近的第二正常像素区域，并利用搜索到的第二正常像素区域中像素的像素值填充图像坏点组群中的相应图像坏点。其中，第一正常像素区域可以是紧邻图像坏点组群的数圈像素组成的区域，其可以形成包围图像坏点组群的环形区域；第二正常像素区域可以是图像坏点组群周围多个方向上的正常像素区域，可以在图像坏点组群周围8个邻域选取第二正常像素区域，该8个邻域可以是图像坏点组群的上侧、下侧、左侧、右侧、左上侧、右上侧、左下侧以及右下侧的区域。对于每个第二正常像素区域，可以通过将第一正常像素区域中的像素的值与第二正常像素区域中的对应像素的值进行比较来确定与第一正常像素区域的纹理特征最相近的第二正常像素区域。

图2示出了根据本发明的示例性实施方式的确定与第一正常像素区域的纹理特征最相近的第二正常像素区域的方法的流程图。参照图2，在步骤S1031中，以第一正常像素区域的外边界为搜索窗口，在图像坏点组群周围预定范围内从所述图像坏点组群以预定步进距离向多个方向移动搜索窗口。在该步骤中，通过以第一正常像素区域的外边界为轮廓去框取图像坏点组群周围的多个正常像素区域，这些正常像素区域可以对应于上文描述的多个第二正常像素区域，框取的过程可以遍历图像坏点组群周围的一定范围，即，以预定的步进距离(例如，数个像素点的距离)在图像坏点组群周围多个方向上移动搜索框。

在每次移动搜索框后，可以将第一正常像素区域中的每个像素的像素值与搜索窗口中的对应像素的像素值进行比较，以获得两者之间的像素值差异，即步骤S1032。在该步骤中，可以获得图像坏点组群周围多个区域与第一正常像素区域在纹理特征上的差异。

然后，在步骤S1033中，可以选择与第一正常像素区域的像素值差异最小的搜索窗口中的区域作为纹理特征与第一正常像素区域的纹理特征最相近的第二正常像素区域。

在一些实施方式中，搜索纹理特征与第一正常像素区域的纹理特征最相近的第二正常像素区域也可以通过以下步骤来执行。首先，在图像坏点组群周围选择8个邻域(例如，图像坏点组群的上侧、下侧、左侧、右侧、左上侧、右上侧、左下侧以及右下侧的区域)并计算每个领域的像素中值；然后，计算每个邻域四角区域的像素值并与对应领域的像素中值进行比较，以确定它们之间的差异情况，例如，可以分为差异大和差异小两种情况；然后，计算图像坏点组群周围预定像素区域的像素中值并与其四角区域的像素值进行比较以确定它们之间的差异情况；最后，在8个邻域中选择差异情况与图像坏点组群周围预定像素区域最一致的邻域作为纹理填充的模版，以填充图像坏点组群区域。

返回参照图1，在对图像坏点组群进行纹理填充后，在步骤S104中，可以根据每个图像坏点的邻近区域中正常像素的像素值来对图像坏点组群中的图像坏点进行插值补偿。由于在图像中，邻近的像素点通常具有一定的关联性，所以可以通过图像坏点附近的正常像素点来推测坏点处的像素值。前述纹理填充过程旨在使得图像坏点组群与周围图像环境一致，而插值补偿旨在对纹理填充后的图像坏点组群进行进一步修复，以恢复细节并减小突变。

在该步骤中，可以根据每个图像坏点的邻近区域中正常像素的像素值变化趋势来调整每个图像坏点处的像素值。例如，可以根据每个图像坏点的周围8个邻域(例如，图像坏点的上侧、下侧、左侧、右侧、左上侧、右上侧、左下侧以及右下侧的区域)中正常像素的趋势对图像坏点进行卷积插值补偿。

在对图像坏点组群进行插值补偿的过程中，可以从外到内地对图像坏点组群中的图像坏点进行补偿。具体地，可以先对图像坏点组群最外边缘处的图像坏点(例如，图像坏点组群的最外一圈图像坏点)以预定顺序(例如，以顺时针顺序或逆时针顺序)进行遍历补偿。然后，再对内部图像坏点进行补偿。例如，从外到内逐层(或逐圈)补偿图像坏点，在每层中，以与补偿图像坏点组群最外边缘处的图像坏点相同的顺序(即，与最外边缘处的图像坏点相同的顺时针顺序或逆时针顺序)对该层中的图像坏点进行遍历补偿。

在一些实施方式中，在对图像坏点组群进行插值补偿时，可以根据图像坏点组群周围区域的情况来调整补偿策略，例如，当在图像坏点的邻近区域中存在纹理特征时，可以根据该纹理特征对图像坏点进行补偿。

如上文中所述，纹理填充过程旨在使得图像坏点组群与周围图像环境一致，而插值补偿旨在对纹理填充后的图像坏点组群进行进一步修复，以恢复细节并减小突变，所以，为了结合两者的优势，可以对两种调整方法进行动态加权调整。由于每个图像坏点周围的图像环境不尽相同，所以可以根据每个图像坏点的位置来调整每个图像坏点处的纹理填充和插值补偿的权重，例如，根据每个图像坏点相对于图像坏点组群的位置来进行调整。

在一些实施方式中，对于图像坏点组群中的任意一个图像坏点，该图像坏点越靠近图像坏点组群的中心，该图像坏点处的纹理填充的权重越大。由于图像坏点组群外层的图像坏点与图像坏点组群周围的正常像素离得更近，其与周围正常像素的关联性也更强，而越靠近图像坏点组群的中心，图像坏点离正常像素越远，相应地，它们之间的关联性也就越弱。所以，图像坏点组群外层的图像坏点更适合用插值补偿，而靠近图像坏点组群中心的图像坏点更适合用纹理填充。这样的设置可以使得两种调整方法更好地配合。

在根据本发明的方法中，首先利用图像坏点组群周围区域的纹理特征对图像坏点组群进行纹理填充，使得图像坏点组群融入周围图像环境，然后利用图像坏点周围的正常像素对图像坏点进行插值补偿进一步恢复细节并减小突变，并且在图像补偿过程中对两种调整方法进行动态加权调整使得图像坏点可以被更好地修复。

图3示出了根据本申请的示例性实施方式的用于补偿图像坏点的装置的示意图。参照图3，根据本申请示例性实施方式的用于补偿图像坏点的装置300包括模组坏点位置获取器301、图像坏点位置确定器302、纹理填充器303和插值补偿器304。其中，模组坏点位置获取器301用于获得所述成像模组中的模组坏点组群的位置信息，其中，模组坏点组群包括在成像模组中能够通过至少一条路径相连的多个模组坏点；图像坏点位置确定器302用于根据位置信息在图像中定位图像坏点组群的位置；纹理填充器303用于根据图像坏点组群周围预定范围内的正常像素区域的纹理特征来对图像坏点组群进行纹理填充；插值补偿器304用于根据每个图像坏点的邻近区域中正常像素的像素值来对图像坏点组群中的图像坏点进行插值补偿。

在一个实施方式中，装置300还包括权重调节器，其用于根据每个图像坏点相对于图像坏点组群的位置，调整每个图像坏点处的纹理填充和插值补偿的权重。

在一个实施方式中，权重调节器还用于：对于图像坏点组群中的任意一个图像坏点，该图像坏点越靠近图像坏点组群的中心，将该图像坏点处的纹理填充的权重调节为越大。

在一个实施方式中，纹理填充器303还用于：根据包围图像坏点组群的第一正常像素区域的纹理特征，在图像坏点组群周围预定范围内的多个第二正常像素区域中搜索纹理特征与第一正常像素区域的纹理特征最相近的第二正常像素区域，并利用搜索到的第二正常像素区域中像素的像素值填充图像坏点组群中的相应图像坏点。

在一个实施方式中，纹理填充器303还用于：以第一正常像素区域的外边界为搜索窗口，在图像坏点组群周围预定范围内从图像坏点组群以预定步进距离向多个方向移动搜索窗口，其中，搜索窗口中的区域为第二正常像素区域；在每次移动后，将第一正常像素区域中的每个像素的像素值与搜索窗口中的对应像素的像素值进行比较，以获得两者之间的像素值差异；以及选择与第一正常像素区域的像素值差异最小的搜索窗口中的区域作为纹理特征与第一正常像素区域的纹理特征最相近的第二正常像素区域。

在一个实施方式中，插值补偿器304还用于：在图像坏点组群中，根据每个图像坏点的邻近区域中正常像素的像素值变化趋势来调整每个图像坏点处的像素值。

在一个实施方式中，插值补偿器304还用于：对图像坏点组群最外边缘处的图像坏点以预定顺序进行遍历补偿；以及对最外边缘以内的图像坏点，从外到内逐层进行调整，其中，在每层中，以预定顺序对图像坏点进行遍历调整。

在一个实施方式中，每个图像坏点的邻近区域包括位于每个图像坏点的上侧、下侧、左侧、右侧、左上侧、右上侧、左下侧以及右下侧的区域。

在一个实施方式中，插值补偿器304还用于：在图像坏点的邻近区域中存在纹理特征时，根据该纹理特征对图像坏点进行补偿。

在一个实施方式中，图像坏点位置确定器302还用于：在定位图像坏点组群之后，对图像坏点组群进行扩展，使得图像坏点组群包括其周围预定范围内的正常像素。

在一个实施方式中，模组坏点位置获取器301还用于：从成像模组的存储装置中读取成像模组中的模组坏点组群的位置信息。

在一个实施方式中，模组坏点组群的位置信息在存储装置中以包括以下各项的格式存储：群组标识、行序号、起始列序号以及坏点个数。

在一个实施方式中，模组坏点位置获取器301还用于：在启动时检测成像模组的信息并从成像模组的存储装置中读取模组坏点组群的位置信息。

在一个实施方式中，装置300还包括模组坏点组群位置确定器，其用于：在均匀光源下通过成像模组获得测试图像；将测试图像划分为多个块区；将每个像素的亮度值与其所属块区的平均亮度值进行比较以获得每个像素的相对亮度值；将相对亮度值超过预定阈值的像素确定为坏点；将能够通过至少一条路径相连的坏点确定为测试图像坏点群组；以及根据测试图像坏点群组的位置信息确定成像模组中的模组坏点组群的位置信息。

本申请还提供了一种计算机系统，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图4，其示出了适于用来实现本申请的终端设备或服务器的计算机系统400的结构示意图：如图4所示，计算机系统400包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)401，和/或一个或多个图像处理器(GPU)413等，处理器可以根据存储在只读存储器(ROM)402中的可执行指令或者从存储部分408加载到随机访问存储器(RAM)403中的可执行指令而执行各种适当的动作和处理。通信部412可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡。

处理器可与只读存储器402和/或随机访问存储器403中通信以执行可执行指令，通过总线404与通信部412相连、并经通信部412与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如：获得成像模组中的模组坏点组群的位置信息，其中，模组坏点组群包括在成像模组中能够通过至少一条路径相连的多个模组坏点；根据位置信息在图像中定位图像坏点组群的位置；根据图像坏点组群周围预定范围内的正常像素区域的纹理特征来对图像坏点组群进行纹理填充；以及根据每个图像坏点的邻近区域中正常像素的像素值来对图像坏点组群中的图像坏点进行插值补偿。

此外，在RAM 403中，还可存储有装置操作所需的各种程序和数据。CPU 401、ROM402以及RAM 403通过总线404彼此相连。在有RAM 403的情况下，ROM 402为可选模块。RAM403存储可执行指令，或在运行时向ROM 402中写入可执行指令，可执行指令使处理器401执行上述通信方法对应的操作。输入/输出(I/O)接口405也连接至总线404。通信部412可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。

以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。

需要说明的，如图4所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图4的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本申请公开的保护范围。

另外，根据本申请的实施方式，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质存储有机器可读指令，所述机器可读指令能够由处理器运行以执行与本申请提供的方法步骤对应的指令，例如：获得成像模组中的模组坏点组群的位置信息，其中，模组坏点组群包括在成像模组中能够通过至少一条路径相连的多个模组坏点；根据位置信息在图像中定位图像坏点组群的位置；根据图像坏点组群周围预定范围内的正常像素区域的纹理特征来对图像坏点组群进行纹理填充；以及根据每个图像坏点的邻近区域中正常像素的像素值来对图像坏点组群中的图像坏点进行插值补偿。

在这样的实施方式中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的方法中限定的上述功能。

可能以许多方式来实现本申请的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。

本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施例。

Claims (30)

1.一种用于补偿图像坏点的方法，所述图像通过成像模组获得，其特征在于，所述方法包括：

获得所述成像模组中的模组坏点组群的位置信息，其中，所述模组坏点组群包括在所述成像模组中能够通过至少一条路径相连的多个模组坏点；

根据所述位置信息在所述图像中定位图像坏点组群的位置；

根据所述图像坏点组群周围预定范围内的正常像素区域的纹理特征来对所述图像坏点组群进行纹理填充；以及

根据每个图像坏点的邻近区域中正常像素的像素值来对所述图像坏点组群中的图像坏点进行插值补偿。

2.根据权利要求1所述的方法，其特征在于，还包括：

根据每个所述图像坏点相对于所述图像坏点组群的位置，调整每个图像坏点处的纹理填充和插值补偿的权重。

3.根据权利要求2所述的方法，其特征在于，

对于所述图像坏点组群中的任意一个图像坏点，该图像坏点越靠近所述图像坏点组群的中心，该图像坏点处的纹理填充的权重越大。

4.根据权利要求1所述的方法，其特征在于，所述根据所述图像坏点组群周围预定范围内的正常像素区域的纹理特征来对所述图像坏点组群进行纹理填充包括：

根据包围所述图像坏点组群的第一正常像素区域的纹理特征，在所述图像坏点组群周围预定范围内的多个第二正常像素区域中搜索纹理特征与所述第一正常像素区域的纹理特征最相近的第二正常像素区域，并利用搜索到的第二正常像素区域中像素的像素值填充所述图像坏点组群中的相应图像坏点。

5.根据权利要求4所述的方法，其特征在于，所述在所述图像坏点组群周围的多个第二正常像素区域中搜索纹理特征与所述第一正常像素区域的纹理特征最相近的第二正常像素区域包括：

以所述第一正常像素区域的外边界为搜索窗口，在所述图像坏点组群周围预定范围内从所述图像坏点组群以预定步进距离向多个方向移动所述搜索窗口，其中，所述搜索窗口中的区域为所述第二正常像素区域；

在每次移动后，将所述第一正常像素区域中的每个像素的像素值与所述搜索窗口中的对应像素的像素值进行比较，以获得两者之间的像素值差异；以及

选择与所述第一正常像素区域的像素值差异最小的搜索窗口中的区域作为纹理特征与所述第一正常像素区域的纹理特征最相近的第二正常像素区域。

6.根据权利要求1所述的方法，其特征在于，所述根据每个图像坏点的邻近区域中正常像素的像素值来对所述图像坏点组群中的图像坏点进行插值补偿包括：

在所述图像坏点组群中，根据每个图像坏点的邻近区域中正常像素的像素值变化趋势来调整每个图像坏点处的像素值。

7.根据权利要求6所述的方法，其特征在于，所述根据每个图像坏点的邻近区域中正常像素的像素值变化趋势来调整每个图像坏点处的像素值包括：

对所述图像坏点组群最外边缘处的图像坏点以预定顺序进行遍历补偿；以及

对最外边缘以内的图像坏点，从外到内逐层进行调整，其中，在每层中，以所述预定顺序对所述图像坏点进行遍历调整。

8.根据权利要求1和6-7中的任一个所述的方法，其特征在于，所述每个图像坏点的邻近区域包括位于每个图像坏点的上侧、下侧、左侧、右侧、左上侧、右上侧、左下侧以及右下侧的区域。

9.根据权利要求1所述的方法，其特征在于，所述插值补偿还包括：

在所述图像坏点的所述邻近区域中存在纹理特征时，根据该纹理特征对所述图像坏点进行补偿。

10.根据权利要求1所述的方法，其特征在于，还包括：

在定位所述图像坏点组群之后，对所述图像坏点组群进行扩展，使得所述图像坏点组群包括其周围预定范围内的正常像素。

11.根据权利要求1所述的方法，其特征在于，所述获得所述成像模组中的模组坏点组群的位置信息包括：

从所述成像模组的存储装置中读取所述成像模组中的模组坏点组群的位置信息。

12.根据权利要求11所述的方法，其特征在于，模组坏点组群的位置信息在所述存储装置中以包括以下各项的格式存储：

群组标识、行序号、起始列序号以及坏点个数。

13.根据权利要求11所述的方法，其特征在于，

安装有所述成像模组的平台装置在启动时检测所述成像模组的信息并从所述成像模组的存储装置中读取所述模组坏点组群的位置信息。

14.根据权利要求1所述的方法，其特征在于，还包括通过以下操作确定所述成像模组中的模组坏点组群的位置信息：

在均匀光源下通过所述成像模组获得测试图像；

将所述测试图像划分为多个块区；

将每个像素的亮度值与其所属块区的平均亮度值进行比较以获得每个像素的相对亮度值；

将相对亮度值超过预定阈值的像素确定为坏点；

将能够通过至少一条路径相连的坏点确定为测试图像坏点群组；以及

根据测试图像坏点群组的位置信息确定所述成像模组中的模组坏点组群的位置信息。

15.一种用于补偿图像坏点的装置，所述图像通过成像模组获得，其特征在于，所述装置包括：

模组坏点位置获取器，用于获得所述成像模组中的模组坏点组群的位置信息，其中，所述模组坏点组群包括在所述成像模组中能够通过至少一条路径相连的多个模组坏点；

图像坏点位置确定器，用于根据所述位置信息在所述图像中定位图像坏点组群的位置；

纹理填充器，用于根据所述图像坏点组群周围预定范围内的正常像素区域的纹理特征来对所述图像坏点组群进行纹理填充；以及

插值补偿器，用于根据每个图像坏点的邻近区域中正常像素的像素值来对所述图像坏点组群中的图像坏点进行插值补偿。

16.根据权利要求15所述的装置，其特征在于，还包括：

权重调节器，用于根据每个所述图像坏点相对于所述图像坏点组群的位置，调整每个图像坏点处的纹理填充和插值补偿的权重。

17.根据权利要求16所述的装置，其特征在于，所述权重调节器还用于：

对于所述图像坏点组群中的任意一个图像坏点，该图像坏点越靠近所述图像坏点组群的中心，将该图像坏点处的纹理填充的权重调节为越大。

18.根据权利要求15所述的装置，其特征在于，所述纹理填充器还用于：

根据包围所述图像坏点组群的第一正常像素区域的纹理特征，在所述图像坏点组群周围预定范围内的多个第二正常像素区域中搜索纹理特征与所述第一正常像素区域的纹理特征最相近的第二正常像素区域，并利用搜索到的第二正常像素区域中像素的像素值填充所述图像坏点组群中的相应图像坏点。

19.根据权利要求18所述的装置，其特征在于，所述纹理填充器还用于：

以所述第一正常像素区域的外边界为搜索窗口，在所述图像坏点组群周围预定范围内从所述图像坏点组群以预定步进距离向多个方向移动所述搜索窗口，其中，所述搜索窗口中的区域为所述第二正常像素区域；

在每次移动后，将所述第一正常像素区域中的每个像素的像素值与所述搜索窗口中的对应像素的像素值进行比较，以获得两者之间的像素值差异；以及

选择与所述第一正常像素区域的像素值差异最小的搜索窗口中的区域作为纹理特征与所述第一正常像素区域的纹理特征最相近的第二正常像素区域。

20.根据权利要求15所述的装置，其特征在于，所述插值补偿器还用于：

在所述图像坏点组群中，根据每个图像坏点的邻近区域中正常像素的像素值变化趋势来调整每个图像坏点处的像素值。

21.根据权利要求20所述的装置，其特征在于，所述插值补偿器还用于：

对所述图像坏点组群最外边缘处的图像坏点以预定顺序进行遍历补偿；以及

对最外边缘以内的图像坏点，从外到内逐层进行调整，其中，在每层中，以所述预定顺序对所述图像坏点进行遍历调整。

22.根据权利要求15和20-21中的任一个所述的装置，其特征在于，

所述每个图像坏点的邻近区域包括位于每个图像坏点的上侧、下侧、左侧、右侧、左上侧、右上侧、左下侧以及右下侧的区域。

23.根据权利要求15所述的装置，其特征在于，所述插值补偿器还用于：

在所述图像坏点的所述邻近区域中存在纹理特征时，根据该纹理特征对所述图像坏点进行补偿。

24.根据权利要求15所述的装置，其特征在于，所述图像坏点位置确定器还用于：

在定位所述图像坏点组群之后，对所述图像坏点组群进行扩展，使得所述图像坏点组群包括其周围预定范围内的正常像素。

25.根据权利要求15所述的装置，其特征在于，所述模组坏点位置获取器还用于：

从所述成像模组的存储装置中读取所述成像模组中的模组坏点组群的位置信息。

26.根据权利要求25所述的装置，其特征在于，模组坏点组群的位置信息在所述存储装置中以包括以下各项的格式存储：

群组标识、行序号、起始列序号以及坏点个数。

27.根据权利要求25所述的装置，其特征在于，所述模组坏点位置获取器还用于：

在启动时检测所述成像模组的信息并从所述成像模组的存储装置中读取所述模组坏点组群的位置信息。

28.根据权利要求15所述的装置，其特征在于，还包括模组坏点组群位置确定器，其用于：

在均匀光源下通过所述成像模组获得测试图像；

将所述测试图像划分为多个块区；

将每个像素的亮度值与其所属块区的平均亮度值进行比较以获得每个像素的相对亮度值；

将相对亮度值超过预定阈值的像素确定为坏点；

将能够通过至少一条路径相连的坏点确定为测试图像坏点群组；以及

根据测试图像坏点群组的位置信息确定所述成像模组中的模组坏点组群的位置信息。

29.一种用于补偿图像坏点的系统，所述图像通过成像模组获得，其特征在于，所述系统包括：

处理器；以及

存储器，联接至所述处理器并存储有机器可读指令，所述机器可读指令能够由所述处理器运行以执行以下操作：

获得所述成像模组中的模组坏点组群的位置信息，其中，所述模组坏点组群包括在所述成像模组中能够通过至少一条路径相连的多个模组坏点；

根据所述位置信息在所述图像中定位图像坏点组群的位置；

根据所述图像坏点组群周围预定范围内的正常像素区域的纹理特征来对所述图像坏点组群进行纹理填充；以及

根据每个图像坏点的邻近区域中正常像素的像素值来对所述图像坏点组群中的图像坏点进行插值补偿。

30.一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质存储有机器可读指令，其特征在于，所述机器可读指令能够由处理器运行以执行以下操作：

获得成像模组中的模组坏点组群的位置信息，其中，所述模组坏点组群包括在所述成像模组中能够通过至少一条路径相连的多个模组坏点；

根据所述位置信息在通过所述成像模组获得的图像中定位图像坏点组群的位置；

根据所述图像坏点组群周围预定范围内的正常像素区域的纹理特征来对所述图像坏点组群进行纹理填充；以及

根据每个图像坏点的邻近区域中正常像素的像素值来对所述图像坏点组群中的图像坏点进行插值补偿。

Images