CN114820334A

CN114820334A - 图像修复方法、装置、终端设备和可读存储介质

Info

Publication number: CN114820334A
Application number: CN202110129967.XA
Authority: CN
Inventors: 王亮; 白宏益
Original assignee: Oneplus Technology Shenzhen Co Ltd
Current assignee: Oneplus Technology Shenzhen Co Ltd
Priority date: 2021-01-29
Filing date: 2021-01-29
Publication date: 2022-07-29

Abstract

本申请实施例提供一种图像修复方法、装置、终端设备和可读存储介质，该方法包括：以异常区域的边界上的像素点为中心，选取一个像素块，基于像素块的相关信息计算边界上每个像素点的填充优先级；选取出填充优先级最大的像素点作为当前待填充点，并根据所述待填充点所在像素块的所有像素的信息构建相似像素块优化函数以查找最相似像素块；利用最相似像素块对待填充点所在像素块进行填充，当更新后的边界不满足预设条件时，返回上述的像素块选取步骤。本申请的技术方案能够应用于需要进行图像修复的各种场合，在进行图像修复的过程中，综合考虑最相似像素块和当前待填充像素块的像素信息，能够达到较好的修复效果等。

Description

图像修复方法、装置、终端设备和可读存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像修复方法、装置、终端设备和可读存储介质。

背景技术

通常地，如手机等手持式终端在出厂前需要进行镜头成像的出厂测试，以保证镜头成像质量等。例如，对于一些因灰尘附着而导致镜头成像会出现一些异常的黑点或白点，进而影响成像效果。又或者是，对于一些局部区域存在显示异常的图像，可利用图像修复技术进行修复。对于如在测试过程中，检测出异常区域等，需要利用相应的修复算法进行修复，从而提高图像质量等。

发明内容

有鉴于此，本申请为了克服现有技术中的不足，提供一种图像修复方法、装置、终端设备和可读存储介质。

本申请的实施例提供一种图像修复方法，包括：

在目标图像中的异常区域的边界上，以所述边界上的像素点为中心，选取一个像素块，基于所述像素块的相关信息计算所述像素点的填充优先级，遍历所述边界上的所有像素点，得到所述边界上每个像素点的填充优先级；

选取出填充优先级最大的像素点作为当前待填充点，并根据所述当前待填充点所在像素块的所有像素的信息构建相似像素块优化函数，所述优化函数的最优解作为从所述正常区域中查找到的最相似像素块；

利用所述最相似像素块对所述当前待填充点所在像素块进行填充，并在填充后更新所述边界、所述异常区域和所述正常区域；

当更新后的边界不满足预设条件时，返回上述的像素块选取步骤。

在一种实施例中，所述根据所述待填充点所在像素块的所有像素的信息构建相似像素块优化函数，包括：

根据所述待填充点所在像素块中的异常像素点和正常像素点的数量分别计算所述异常像素点和所述正常像素点各自的权重；

求解所述待填充点所在像素块的异常像素点和目标相似像素块在对应位置的像素点的相似度；

求解所述待填充点所在像素块的正常像素点和目标相似像素块对应位置的像素的反相似度；

基于所述权重、所述相似度和所述反相似度构建相似像素块优化函数。

在一种实施例中，所述相似像素块优化函数的表达式为：

其中，Φ表示所述目标图像中的正常区域；Ω表示所述目标图像中的异常区域；函数argmin()用于求解使目标取得最小值时的最相似像素块

w_Φ表示所述待填充点所在像素块

中的正常像素点的权重；w_Ω表示像素块

中的异常像素点的权重；dΦ表示像素块

的异常像素点与目标相似像素块ψ_q对应位置的像素的相似度；dΩ表示像素块

的正常像素点与目标相似像素块ψ_q对应位置的像素的反相似度；nΩ表示像素块

中的异常像素点的数量；

表示像素块

中的第i个像素点的颜色；Iq,i表示目标相似像素块ψ_q中的第i个像素点的颜色。

在一种实施例中，所述利用所述最相似像素块对所述待填充点所在像素块进行填充时，所述方法还包括：

利用所述最相似像素块对应位置的像素点的颜色对所述待填充点所在像素块中的所有正常像素点进行直接填充；

利用所述最相似像素块中对应像素点的颜色和所述反相似度按照颜色调和公式对所述待填充点所在像素块中的对应异常像素点进行颜色调和填充。

在一种实施例中，所述颜色调和公式为：

a＝(1-d_Ω)*f；

其中，Φ表示所述目标图像中的正常区域；Ω表示所述目标图像中的异常区域；I_Ω,i表示所述待填充点所在像素块

中的第i个异常像素点的颜色；f为预设值；a表示调和权重；

表示像素块

中的第i个像素点的颜色；

表示所述最相似像素块ψ_q中的第i个像素点的颜色；d_Ω表示像素块

中的正常像素点与目标相似像素块ψ_q对应位置的像素点的反相似度。

在一种实施例中，所述基于所述像素块的相关信息计算当前像素点的填充优先级，包括：

根据当前像素点所在像素块中的正常像素点的数量和该像素块的所有像素点的数量计算当前像素点的置信度；

计算当前像素点的法向量与灰阶梯度方向的偏差；

根据所述置信度和所述偏差的乘积计算当前像素点的填充优先级。

在一种实施例中，所述方法还包括：

获取所述目标图像中的异常区域与围绕所述异常区域的局部区域之间的纹理匹配度和颜色匹配度；

当所述纹理匹配度和所述颜色匹配度均超过各自对应的阈值，则执行上述的像素块选取的步骤。

在上述实施例中，该图像修复方法还包括：

当修复后的区域的颜色匹配度超过所述对应的阈值，则按照图像偏色处理算法继续修复。

本申请的实施例还提供一种图像修复装置，包括：

计算模块，用于在目标图像中的异常区域的边界上，以所述边界上的像素点为中心，选取一个像素块，基于所述像素块的相关信息计算所述像素点的填充优先级，遍历所述边界上的所有像素点，得到所述边界上每个像素点的填充优先级；

查找模块，用于选取出填充优先级最大的像素点作为当前待填充点，并根据所述当前待填充点所在像素块的所有像素的信息构建相似像素块优化函数，所述优化函数的最优解作为从所述目标图像中的正常区域中查找到的最相似像素块；

填充模块，用于利用所述最相似像素块对所述当前待填充点所在像素块进行填充；并在填充后更新所述边界、所述异常区域和所述正常区域；

更新模块，用于在填充后更新所述边界、所述异常区域和所述正常区域，并当更新后的边界不满足预设条件时，返回所述计算模块以执行像素块选取的步骤。

本申请的实施例还提供一种终端设备，所述终端设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在被所述处理器执行时，实施上述的图像修复方法。

本申请的实施例还提供一种可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实施上述的图像修复方法。

本申请的实施例具有如下有益效果：

本申请的图像修复方法通过对异常区域的边界上的像素按照填充优先级进行选取，并在查找最相似像素块时利用待填充点所在像素块的所有像素的信息来进行优化函数构建，可以综合考虑最相似像素块和当前待填充像素块的像素信息，从而提高填充效果。此外，在填充过程中，对于异常像素点部分，通过综合考虑最相似像素块和当前待填充像素块中的颜色信息进行调和填充，可进一步提高填充效果等。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅用于示出为本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1所示为本申请实施例1图像异常检测方法的第一流程示意图；

图2所示为本申请实施例1图像存在白点圆形异常区域的一种示意图；

图3所示为本申请实施例1图像异常检测方法的获取增强图像的流程示意图；

图4所示为本申请实施例1图像异常检测方法的积分投影波形；

图5所示为本申请实施例1图像异常检测方法的异常区域所在的标注框定位示意图；

图6所示为本申请实施例2图像异常处理方法的第一流程示意图；

图7所示为本申请实施例2图像异常处理方法的第二流程示意图；

图8所示为本申请实施例2图像异常处理方法的纹理匹配度计算流程示意图；

图9所示为本申请实施例2图像异常处理方法的边缘检测示意图；

图10所示为本申请实施例2图像异常处理方法的颜色匹配度计算流程示意图；

图11所示为本申请实施例2图像异常处理方法的颜色匹配示意图；

图12所示为本申请实施例3图像修复方法的第一流程示意图；

图13所示为本申请实施例3图像修复方法的边界像素点的填充优先级计算流程示意图；

图14所示为本申请实施例3图像修复方法的填充应用示意图；

图15所示为本申请实施例3图像修复方法的相似像素块优化函数构建流程示意图；

图16所示为本申请实施例3图像修复方法的一种填充流程示意图；

图17所示为本申请实施例3图像修复方法的一种填充效果对比图；

图18所示为本申请实施例3图像修复方法的另一种应用场景；

图19所示为本申请实施例4图像异常检测装置的一种结构示意图；

图20所示为本申请实施例5图像异常处理装置的一种结构示意图；

图21所示为本申请实施例6图像修复装置的一种结构示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1

请参照图1，本实施例提出一种图像异常检测方法，可用于如手机、平板等终端设备的拍摄镜头的成像质量的出厂检测，尤其是对因镜头存在灰尘附着而导致拍摄得到的图像会出现黑色区域或如图2所示的白色区域等。该方法可以很好地检测是否存在灰尘附着问题，以及具体的灰尘成像后的异常区域位置，从而方便后续进行图像修复以解决成像质量问题等。

应当理解，本实施例所述的黑色/白色区域并不限于为灰阶为255或0的图像，还可以指该异常区域的像素与周围像素的纹理、颜色不一致等的情况。下面对该图像异常检测方法进行说明。

步骤S110，对目标图像进行颜色空间转换及对转换后的图像像素增强处理以获得增强图像。

考虑到图像中的白色/黑色区域通常在YUV颜色空间下的Y通道下的成像是比较清晰的，其次是U通道，显示较淡；最后是V通道，此时黑色/白色区域的像素与周围像素基本没法区分开。为此，本实施例对目标图像进行YUV颜色空间转换后，并通过像素增强处理以增加如白色/黑色等异常区域与周围像素的对比度，同时还可以滤除一些图像中的噪声等。

在一种实施方式中，如图3所示，该增强图像的获取过程，包括：

子步骤S111，将目标图像转换至YUV颜色空间，并对转换得到的YUV图像进行图像通道分离以得到Y通道图像、U通道图像和V通道图像。

其中，三通道YUV图像是由Y通道、U通道和V通道这三通道叠加构成的图像。将目标图像转换为YUV格式后，进行三个单通道分离处理，即得到分离的Y通道、U通道和V通道的图像。

子步骤S112，将Y通道图像与V通道图像、以及U通道图像与V通道图像分别进行像素平方差处理，得到两个一次处理图像。

例如，若Y通道图像的像素点的坐标为(i，j)的像素值记为Y_i,j，V通道图像的像素点的坐标为(i，j)的像素值记V_i,j，其中，i和j分别为大于0的整数。于是，Y通道对V通道进行像素值平方差处理得到的一次处理图像(记为Y¹)的像素点的坐标为(i，j)的像素值

可表示为：

同理，有U通道对V通道进行像素值平方差处理得到的一次处理图像(记为U¹)的像素点的坐标为(i，j)的像素值

可表示为：

子步骤S113，将两个一次处理图像分别进行归一化，并将经过归一化后得到的两个二次处理图像进行像素叠加以得到一预处理图像。

子步骤S114，对两个二次处理图像进行像素均值化处理，得到一均值图像。

示范性地，可通过归一化函数对这两个一次处理图像进行处理，进而，将归一化后的两个图像按照对应位置的像素点进行像素值叠加，得到预处理图像。同时，根据两个二次处理图像对应位置的像素点的像素值通过均值函数计算对应位置的像素点的像素值，得到上述的均值图像。

例如，若预处理图像记为NYU，均值图像记为Mean_NYU，则有：

NYU＝Normalize(Y¹)+Normalize(U¹)；

Mean_NYU＝mean(NYU)；

其中，Normalize()表示归一化函数；mean()表示均值函数。

子步骤S115，通过滑动窗口遍历预处理图像中的所有像素点，并在该滑动窗口中根据预处理图像和均值图像中对应位置的像素点之间的像素差值计算当前窗口图像中对应位置的像素点的像素值，根据所有的窗口图像生成增强图像。

本实施例中，通过一个滑动的窗口对该预处理图像进行积分，以增强黑点/白点异常区域的像素与周围像素之间的对比度，还对图像中的高斯噪声进行滤波等。示范性地，当滑动窗口在预处理图像中的某个位置时，可根据在该滑动窗口中的预处理图像中的对应位置的像素点分别与该均值图像中的对应位置的像素点进行像素值作差，然后将得到的差值与0比较；若大于0，则选取差值作为当前窗口中对应位置的像素点的像素值，若小于或等于0，则该对应位置的像素点的像素值为0。

进而，将当前窗口图像中的所有像素点的像素值进行累加，得到当前窗口图像中相应位置的像素点的像素值。最后，将该滑动窗口在预处理图像中进行逐步滑动，根据输出的所有窗口图像生成该目标图像对应的增强图像。

例如，若滑动窗口的尺寸为4*4个像素，该滑动窗口对该预处理图像进行滑动卷积处理的过程表示如下：

其中，SLID_i,j表示当前滑动窗口图像中像素点的坐标为(i，j)的像素值；NYU_i,j和Mean_NYU_i,j分别表示预处理图像和均值图像中像素点的坐标为(i，j)的像素值；n和m分别为该滑动窗口在长度方向和宽度方向上的像素点坐标。

步骤S120，对增强图像进行平面坐标轴积分投影以获取每个坐标轴下的积分投影波形。

在一种实施方式中，该平面坐标轴包括在水平方向上的X轴，以及在竖直方向上的Y轴，通过将增强图像分别在X轴和Y轴上进行投影以得到各自的投影积分，进而对X轴和Y轴上的投影向量分别进行积分计算，得到对应的积分投影波形。以一实际图像为例，通过对其进行像素增强及积分投影处理后，可得到如图4所示的积分投影波形，其包括在X轴方向上的积分投影波形和Y轴方向上的积分投影波形。

步骤S130，当每个积分投影波形中存在相邻至少两个波峰，则根据每个坐标轴下的积分投影波形中对应的波峰坐标确定目标图像中异常区域所在的标注框位置。

示范性地，可判断上述的每个积分投影波形中是否存在相邻的两个或两个以上的波峰，若存在，则说明该目标图像中存在黑色/白色区域，即想要检测出的异常区域，若不存在，则说明不存在异常区域。

通常地，X轴和Y轴上的波峰数量是成对出现。以图4为例，X轴方向上的积分投影波形中的两个波峰的横坐标分别为x1和x2，并根据这两个波峰的距离(x2-x1)可得到该异常区域对应的标注框的长度，而Y轴方向上的积分投影波形中的两个波峰的横坐标分别为y1和y2，并根据这两个波峰的距离(y2-y1)可得到该异常点对应的标注框的宽度，由此，根据每个坐标轴上的波峰坐标可计算出目标图像中异常区域所在的标注框的四个顶点的位置，如图5所示，可计算出4个顶点的坐标分别为(x1，y1)、(x2，y1)、(x1,y2)，(x2,y2)，即为该异常区域所在标注框的位置。

由于在平面坐标轴下投影，故得到的标注框为矩形框。若是在其他坐标系下投影，还可以得到更高维度的标注框等。可以理解，积分投影是利用在时间上进行信息累加的原理。通过积分投影可将该增强图像中的异常区域(如黑点/白点等)的边缘信息进行增强，进而利用积分投影得到的波峰坐标来准确地获取异常区域对应的标注框在该目标图像中的位置。

至此，通过上述步骤可判断出目标图像中是否存在因灰尘等赃物而导致的异常区域，以及对于存在的异常区域进行定位以及获取区域大小等信息，可方便后续进行图像修复处理等。

由于光线的聚集和扩散，点状物的影像会变模糊并形成一个扩大的圆(称为弥散圆)，考虑到存在上述的弥散斑现象，由于镜头中的黑色/白色的灰尘或赃物等呈点状，故在图像中通常呈现为黑色/白色的圆形区域。进一步地，如图1所示，可按照弥散斑原则根据已确定的矩形标注框的位置来进一步确定圆形黑点/白点在图像中的位置。

步骤S140，根据由波峰坐标得到的标注框位置利用弥散斑计算公式计算圆点在目标图像中的位置。

示范性地，可根据弥散斑计算公式及上述的矩形标注框的位置即可计算得到该圆形区域的位置，例如，若该圆形区域的半径为R，其满足如下的弥散斑计算公式：

由此，可计算出该目标图像中存在的黑点/白点的位置和圆形区域大小信息。可以理解，上述的异常检测既适用于黑点的异常检测，也适用于白点的异常检测，这两种类型的异常区域的检测原理是相同的。

可选地，在上述步骤S110中，对目标图像进行颜色空间转换之前，该方法还包括：对该目标图像进行亮度不均匀和/或偏色检测，并在检测出未出现亮度不均匀和/或检测出不偏色时，再执行上述步骤S110～S140。

进一步地，在上述步骤S130或S140之后，即对该异常区域进行定位后，该方法还包括：根据异常区域的位置进行HSV颜色空间转换，并从转换后得到的HSV图像的V通道图像中获取该异常区域的亮度信息(可称为浓度信息)，该亮度信息可用于后续的图像修复等。

实施例2

请参照图6，本实施例提出一种图像异常处理方法，例如，当图像中存在一些如上述实施例1中的黑色/白色异常区域时，通过该图像异常处理方法进行如纹理、颜色等方面的处理，可提高图像异常处理效率等。

步骤S210，当检测到输入图像包括异常区域时，计算异常区域与围绕异常区域的局部区域之间的纹理匹配度和颜色匹配度。

示范性地，可在输入的目标图像中截取一个包含异常区域在内的局部图像，该局部图像由异常区域和围绕该异常区域的局部区域构成。其中，该局部区域是指成像正常且位于异常点周围的像素区域。

本实施例中，通过判断该异常区域与周围的局部区域之间的纹理和颜色是否满足相应的条件，并根据不同的判断结果来选取不同的规则进行图像修复处理，以达到提高图像处理效率目的。

可以理解，本实施例中所指的异常区域可以是如上述实施例1中的因灰尘等赃物而导致成像出现的黑色/白色异常区域，如图2所示的白色圆形区域等，当然也可以是位置已知的显示异常的区域等，因此本实施例中将对其进行相应处理，以使其与周围区域的差异尽量减少，从而得到质量较好的图像。

其中，所述的纹理匹配度是指异常区域和正常的局部区域中的像素点的纹理匹配程度，本实施例中将利用图像的边缘特性来判断纹理的匹配程度。所述的颜色匹配度是指异常区域和局部区域中的像素点的颜色匹配程度，例如，若这两个区域内的像素点的颜色差值在可接受的范围内，即颜色相差不大或相同，则判定两个像素点的颜色是匹配的。反之，则判定这两个像素点的颜色不匹配。

步骤S220，当纹理匹配度和颜色匹配度均超过各自对应的阈值，则选取图像修补算法对该异常区域进行修复。

在一种实施方式中，对于纹理匹配度，可通过预设的纹理匹配度阈值来判断当前的异常区域的边缘纹理与相邻的局部区域的纹理之间的差异是否较大，进而可判断是否需要进行图像的区域修复。同理，对于颜色匹配度，可通过预设的颜色匹配度阈值来判断当前的异常区域的颜色与局部区域的颜色的差异是否较大，若较大，则可进行偏色修复等处理。应当理解，上述预设的纹理匹配度阈值和颜色匹配度阈值，可以是终端中预先存储的或预先生成的，也可以是用户预先输入的等，其实现形式并不作限定。

示范性地，当计算出的纹理匹配度超过纹理匹配度阈值且颜色匹配度超过颜色匹配度阈值时，则选取图像修补算法对异常区域进行修复。

本实施例中，该图像修补算法主要用于进行图像的异常区域修补，例如，该图像修补算法可包括但不限于为，基于小波变换和纹理合成结合的图像修复算法，基于整体变分的图像修复算法，基于偏微分方程(PDE)的图像修复算法，或基于偏微分方程的图像修复改进算法等等。其中，前三种图像修复算法可参见相应的公开文献，在此不展开描述。关于基于偏微分方程的图像修复改进算法，将在下面的实施例中描述。

可以理解，上述列举的各种算法具有各自的特点，故可根据不同的测试需求场合选取不同的算法来处理。上述的图像修补算法可以是终端中预先存储的或预先生成的，也可以是由用户预先输入的等。

通常地，当图像纹理出现显示异常时，其颜色也往往会显示异常，可以理解为，若出现区域的纹理匹配度超过阈值，则该区域的颜色匹配度也会超过对应的阈值。但是，如果颜色匹配度超过阈值时，不一定会出现纹理匹配度超过对应阈值的情况。

可选地，上述步骤S210后，若只有颜色匹配度超过对应的阈值，则执行步骤S230。

步骤S230，在只有颜色匹配度超过对应的阈值的情况下，则选取图像偏色处理算法对异常区域进行修复。

本实施例中，该图像偏色处理算法主要用于对图像的颜色进行调整，以使其满足预设或标准的颜色显示要求。在一种实施方式中，利用该图像偏色处理算法进行修复，包括：计算异常区域的灰度直方图，其中，灰度直方图是一种将图像中的所有像素，按照灰度值的大小，统计其出现的频率的直方图；进而，利用该灰度直方图对异常区域的颜色进行均衡化处理，以使经过均衡化处理后的区域的颜色匹配度小于上述的颜色匹配度预设阈值。

此外，考虑到进行图像区域修复后，还可进一步进行颜色匹配度的判断，为确保该修复的区域的颜色能够满足要求。进一步地，如图7所示，在上述步骤S220之后，该方法还包括：

步骤S240，当修复后的区域的颜色匹配度超过上述对应的阈值，则按照图像偏色处理算法继续修复。

示范性地，若修复后的区域的颜色匹配度超过上述的阈值，则将继续修复。例如，可采用上述的灰度直方图的均衡化处理进行颜色调整。可选地，直到修复的区域的颜色能够达到要求，停止修复，此时将完成修复。

本实施例中，对于上述步骤S210中的纹理匹配度的计算过程，在一种实施方式中，如图8所示，可包括：

子步骤S211，在输入图像中选取一个围绕异常区域的局部区域。其中，该局部区域的形状任意，具体要根据实际需求来选定。

子步骤S212，对异常区域和局部区域进行边缘检测。

本实施例中，通过对异常区域及周围的局部区域的边缘进行检测，进而判断异常区域的边界两侧的边缘特征是否一致，以达到异常区域和局部区域的纹理特征匹配的判断。其中，该边缘特征可包括边缘强度、边缘方向等中的一种或组合等。

在图像中，边缘是指局部强度变化最显著的部分，可反映出图像像素灰度有阶跃变化的情况，可能会存在不闭合的情况。例如，对于某一图像，该异常区域和局部区域的边缘是一条不闭合的线段，如图9所示。例如，可根据梯度幅值阈值作为判断依据，或者采用如拉普拉斯高斯算法、高斯平滑和梯度逼近相结合的方法或Canny边缘检测器等进行边缘检测，具体的边缘检测方法不作限定。

子步骤S213，统计位于异常区域的边界两侧的边缘特性一致的像素，并将统计的边缘特性一致的像素在边界两侧的像素区域中的占比作为上述的纹理匹配度。

示范性地，判断位于异常区域的边界的两侧像素的边缘特性是否一致，如果边缘特征一致或基本一致，即在可接受的较小偏差范围内，则判定该异常区域和局部区域的纹理特征匹配，否则判断两者的纹理特征不匹配。进而，将统计的纹理一致的像素区域在边界两侧的像素区域中的占比作为计算出的纹理匹配度。

对于上述步骤S210中的颜色匹配度的计算过程，在一种实施方式中，如图10所示，可包括：

子步骤S311，在输入图像中选取一个围绕异常区域的环状局部区域。

子步骤S312，在异常区域内选取一环状异常区域，该异常区域的边界作为环状异常区域的外边界。

示范性地，可在异常区域的周围选取一个环状的局部区域，同时，在异常区域内也选取一个环状的异常区域，其中，该环状的异常区域与正常的环状局部区域共用区域边界，如图11所示，以便后续将异常区域的边界两侧的像素进行颜色比对，进而计算颜色匹配度。

子步骤S313，以环状异常区域的外边界作为分界线，将环状异常区域与环状局部区域的对应位置的像素点进行颜色比对以得到颜色比对度，该颜色比对度用于判断两者的像素点的颜色是否匹配。

子步骤S314，统计颜色匹配的像素点数量，将该像素点数量与用于颜色比对的总像素点的比值作为上述的颜色匹配度。

示范性地，以异常区域的边界为基准，可根据位于边界两侧对应位置的像素点的颜色进行比对，若两者的颜色差值在允许的差值范围内，即颜色比较接近或完全相同时，则可判断两者的颜色是匹配的。进而，统计所有颜色匹配的像素点在比对的总像素的占比，并将其作为颜色匹配度。

本实施例的图像异常处理方法通过基于异常区域的纹理及颜色信息来判断当前应采取哪种方案来进行修复，例如，若异常区域只出现偏色现象，则可优先选取偏色处理算法进行调整以达到快速简单修复目的；又或者，若异常区域出现了纹理异常，则应当选取图像修补算法进行区域补修。通过针对不同的情况，自适应采用不同的处理算法进行图像异常处理，可提高处理效率等。

实施例3

请参照图12，本实施例提出一种图像修复方法，用于对图像中的异常区域进行修复。示范性地，该图像修复方法包括：

步骤S410，在目标图像中的异常区域的边界上，以边界上的像素点为中心，选取一个像素块，基于该像素块的相关信息计算该像素点的填充优先级，遍历边界上的所有像素点，得到边界上每个像素点的填充优先级。

本实施例中，对于输入的包含异常区域的目标图像，可获得该异常区域的位置信息及区域大小，其中包括边界的位置等，以及该图像中除异常区域之处的显示正常的区域(即正常区域)。值得注意的是，所述的异常区域可以是图像中出现的会影响显示效果的黑色/白色斑点、反射光斑等，也可以是因遮挡背景而需要去除的前景或用户想要去除的其他指定区域等。

示范性地，在异常区域的边界上，选取一个以像素点为中心的预设大小的像素块，该像素块将作为每次填充的最小区域。其中，该像素块的尺寸参数可以是终端预先存储的或预先生成的，也可以是由用户根据实际需求预先输入的等。由于后续的填充效果会受到前面填充的结果影响，即受到修复顺序的影响较大，因此，将每次从边界上选取出最佳的像素点以作为当前的填充点。为选取出该最佳的像素点，将遍历该边界上的所有像素点，并计算对每个像素点进行填充的优先级，并从中选取出优先级最大的像素点作为待填充点。

在一种实施方式中，如图13所示，对于单个像素点的填充优先级的计算过程，包括：

子步骤S411，根据当前像素点所在像素块中的正常像素点的数量和该像素块的所有像素点的数量计算当前像素点的置信度。其中，该置信度等于上述的正常像素点的数量在该像素块的所有像素点数量的占比。

子步骤S412，计算当前像素点的法向量与灰阶梯度方向的偏差。其中，该法向量是指当前像素点在边界上的法向量。

子步骤S413，根据该置信度和偏差的乘积计算当前像素点的填充优先级。

示范性地，如图14所示，若Φ表示目标图像I中的正常区域，Ω表示目标图像中的异常区域，法向量为nP，灰阶梯度方向为▽p，当前像素点记为P,其对应的像素块记为ψ_p，于是，像素点p的填充优先级P(p)的计算公式如下：

P(p)＝C(p)·D(p)；

其中，C(p)表示置信度；q∈ψ_p∩Φ表示边界上的像素点p所在的像素块ψ_p与正常区域的交集中的第q个像素点，即像素块ψ_p中的第q个正常像素点；c(q)表示第q个正常像素点的置信度；D(p)表示边界上的像素点p的法向量与灰阶梯度方向的偏差；▽I_p表示像素灰阶的梯度；a为预设值。

通过上述公式可计算到边界上的每个像素点的填充优先级，进而从中选取一个最佳像素点所在像素块进行填充。

步骤S420，选取出填充优先级最大的像素点作为当前待填充点，并根据该待填充点所在像素块的所有像素的信息构建相似像素块优化函数，该优化函数的最优解作为从正常区域中查找到的最相似像素块。

示范性地，从边界上选取出一个待填充点后，将根据该待填充点的所有像素信息来从目标图像中的正常区域中查找一个与该待填充点所在像素块最相似的像素块，以便进行像素块填充。通常地，该最相似像素块的大小与上述步骤S410中选取出的像素块的大小相等。可以理解，在查找最相似像素块时，本实施例除了考虑该待填充点所在像素块的正常像素的信息外，还同时考虑了该待填充点所在像素块的异常像素的信息，以便达到更好的修复效果。

在一种实施方式中，如图15所示，上述的根据待填充点所在像素块的所有像素的信息构建相似像素块优化函数，包括：

子步骤S421，根据待填充点所在像素块中的异常像素点和正常像素点的数量分别计算异常像素点和正常像素点各自的权重。其中，所述的权重依据异常像素点在所在像素块中的占比来计算得到。

子步骤S422，求解待填充点所在像素块的异常像素点和目标相似像素块在对应位置的像素点的相似度。

子步骤S423，求解待填充点所在像素块的正常像素点和目标相似像素块对应位置的像素的反相似度。

子步骤S424，基于上述的权重、相似度和反相似度构建相似像素块优化函数。

示范性地，在一种实施方式中，该相似像素块优化函数的表达式如下：

其中，Φ表示目标图像中的正常区域；Ω表示目标图像中的异常区域；ψ_q表示目标相似像素，函数argmin()用于求解使目标取得最小值时的最相似像素块

w_Φ表示待填充点所在像素块

中的正常像素点的权重；w_Ω表示待填充点所在像素块

中的异常像素点的权重；d_Φ表示待填充点所在像素块

的异常像素点与目标相似像素块ψ_q对应位置的像素的相似度；d_Ω表示待填充点所在像素块

的正常像素点与目标相似像素块ψ_q对应位置的像素的反相似度；n_Ω表示待填充点所在像素块

中的异常像素点的数量；

表示待填充点所在像素块

中的第i个像素点的颜色；I_q,i表示目标相似像素块ψ_q中的第i个像素点的颜色。

可以理解，相似度或反相似度均是依据待填充点所在像素块和目标相似像素块之间的像素距离计算得到。

步骤S430，利用最相似像素块对该待填充点所在像素块进行填充，并在填充后更新边界、异常区域和正常区域。

通过最优化求解方法可得到一最相似像素块

进而，根据该最相似像素块对该当前待填充点所在的像素块进行填充。

在一种实施方式中，可直接将最相似像素块的所有像素对应填充该待填充点所在像素块的所有像素，即进行直接贴合处理以达到填充目的。

而在另一种实施方式中，在填充时，可对正常像素点部分进行直接贴合，而对于异常像素点部分则结合该异常像素点原来的颜色信息及最相似像素块中对应位置的颜色信息来综合填充。

示范性地，如图16所示，利用最相似像素块对待填充点所在像素块进行填充，包括：

步骤S431，利用最相似像素块对应位置的像素点的颜色对待填充点所在像素块中的所有正常像素点进行直接填充。

步骤S432，利用最相似像素块中对应像素点的颜色和上述反相似度按照颜色调和公式对待填充点所在像素块中的对应异常像素点进行颜色调和填充。

在一种实施方式中，该颜色调和公式为：

a＝(1-d_Ω)*f；

其中，I_Ω,i表示待填充点所在像素块

中的第i个异常像素点的颜色；f为预设值；a表示调和权重；

表示待填充点所在像素块

中的第i个像素点的颜色；

表示最相似像素块

中的第i个像素点的颜色；d_Ω表示待填充点所在像素块

中的正常像素点与最相似像素块

对应位置的像素点的反相似度。

可以理解，f的取值范围可根据实际需求由终端或用户进行预先设定，如可设为0.5等，或者，当异常区域颜色较浅时，可设为大于0.5等。以f＝0.5为例，当相似度(1-d_Ω)最高等于1时，a＝0.5，即表示根据两个像素点各自的颜色进行平均填充。又例如，当相似度(1-d_Ω)最小等于0时，a＝0，此时则表示由最相似像素块

中的像素点的颜色进行填充。

于是，对当前填充点所在像素块进行填充后，由于此时的异常区域和正常区域均发生变化，相应地，异常区域的边界也将变化，此时需要进行区域及边界的更新。

步骤S440，当更新后的边界不满足预设条件时，返回上述的像素块选取步骤。

示范性地，进行更新后，可判断该更新的边界是否为0，若不为0，即表示还存在待填充区域，故将返回上述的步骤S410以继续执行步骤S410～S430，直到最新更新后的边界等于0，即满足预设的条件，此时停止填充，即完成当前异常区域的图像修复。

例如，以存在一个白色异常区域(也称异常白点)的图像为例，如图17所示，通过采用本实施例的上述步骤进行修复后，可得到图17中右边的已修复图像。可知，上述的图像修复方法通过对图像中的白点/黑点等异常区域进行去除，并填补上合理的背景颜色和纹理，可以提升图像质量等。

应当理解的是，本实施例的方法并不仅限于对上述黑色/白色异常区域的修复，还可以对图像中存在的其他类型的区域进行处理，例如，由于玻璃的反射而在拍摄的图像中形成的光斑，又或者是拍摄窗外的景物时遮挡了背景的玻璃上的不透明对象等，如图18所示的线条区域等，同样可采用上述方法进行修复。

本实施例的图像修复方法通过对异常区域的边界上的像素按照填充优先级进行选取，并在查找最相似像素块时利用待填充点所在像素块的所有像素的信息来进行优化函数构建，可以综合考虑最相似像素块和当前待填充像素块的像素信息，从而提高填充效果；此外，在填充过程中，对于异常像素点部分，通过综合考虑最相似像素块和当前待填充像素块中的颜色信息进行调和填充，可进一步提高填充效果等。该图像修复方法可以应用于图像修复，进而提升图像质量等。

实施例4

请参照图19，基于上述实施例1的方法，本实施例还提出一种图像异常检测装置100，示范性地，该图像异常检测装置100包括：

示范性地，该图像异常检测装置100包括：

增强模块110，用于对目标图像进行颜色空间转换及对转换后的图像像素增强处理以获得增强图像。

投影模块120，用于对增强图像进行平面坐标轴积分投影以获取每个坐标轴下的积分投影波形。

定位模块130，用于当每个积分投影波形中存在相邻至少两个波峰，则根据每个坐标轴下的积分投影波形中对应的波峰坐标确定所述目标图像中异常区域所在的标注框位置。

进一步地，定位模块130还用于根据由波峰坐标得到的所述标注框位置利用弥散斑计算公式计算所述圆点在所述目标图像中的位置。

可以理解，本实施例的装置对应于上述实施例1的方法，上述实施例1的可选项同样适用于本实施例，故在此不再详述。

实施例5

请参照图20，基于上述实施例2的方法，本实施例提出一种图像异常处理装置200，示范性地，该图像异常处理装置200包括：

计算模块210，用于在检测到输入图像包括异常区域时，计算异常区域与围绕异常区域的局部区域之间的纹理匹配度和颜色匹配度。

修复模块230，用于当纹理匹配度和颜色匹配度均超过各自对应的阈值，则选取图像修补算法对异常区域进行修复。

可以理解，本实施例的装置对应于上述实施例2的方法，上述实施例2的可选项同样适用于本实施例，故在此不再详述。

实施例6

请参照图21，基于上述实施例3的方法，本实施例提出一种图像修复装置300，示范性地，该图像修复装置300包括：

计算模块310，用于在目标图像中的异常区域的边界上，以边界上的像素点为中心，选取一个像素块，基于所述像素块的相关信息计算当前像素点的填充优先级，遍历所述边界上的所有像素点，得到所述边界上每个像素点的填充优先级。

查找模块320，用于选取出填充优先级最大的像素点作为当前待填充点，并根据所述当前待填充点所在像素块的所有像素的信息构建相似像素块优化函数，所述优化函数的最优解作为从所述正常区域中查找到的最相似像素块。

填充模块330，用于利用最相似像素块对当前待填充点所在像素块进行填充。

更新模块340，用于在填充后更新所述边界、所述异常区域和所述正常区域，并当更新后的边界不满足预设条件时，返回所述计算模块以执行像素块选取的步骤。

可以理解，本实施例的装置对应于上述实施例3的方法，上述实施例3的可选项同样适用于本实施例，故在此不再详述。

本申请还提供了一种终端设备，例如，该终端设备可以包括手机、平板、笔记本电脑等。该终端设备包括具有拍摄镜头的拍摄装置、存储器和处理器，其中，拍摄装置用于拍摄图像，存储器存储有计算机程序，处理器通过运行所述计算机程序，从而使移动终端执行上述的方法或者上述装置中的各个模块的功能。

本申请还提供了一种可读存储介质，用于储存上述终端设备中使用的所述计算机程序。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。