CN110246095B - 一种图像修复方法、装置、存储介质及终端设备 - Google Patents

Abstract

本发明涉及图像处理技术领域，尤其涉及一种图像修复方法、装置、存储介质及终端设备。所述方法包括确定原始图像中待修复的目标区域和已知的源区域，并获取目标区域的边界像素点；以各边界像素点为中心点，构建预设大小的多个修复块；计算各修复块的优先权，并根据优先权选择最先修复块；利用预设蛙跳算法寻找源区域中与最先修复块最相似的最佳匹配块；采用最佳匹配块对应的样本像素点修复最先修复块的对应像素点；将已修复的最先修复块划分至源区域，并更新目标区域的边界像素点，若边界像素点的个数大于设定阈值，返回执行以各边界像素点为中心点，构建预设大小的多个修复块的步骤以及后续步骤，以通过预设蛙跳算法进行搜索匹配，减少搜索时长。

Description

一种图像修复方法、装置、存储介质及终端设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像修复方法、装置、计算机可读存储介质及终端设备。

背景技术

图像修复是一种利用图像中的已知信息来对图像中的受损区域进行恢复的技术，以使得图像修复效果满足人的视觉需求，从而让观察者觉察不出图像曾经破损。目前，一般采用基于Criminisi算法的图像修复方法来进行图像的修复，Criminisi算法在进行图像修复时，采用的是基于SSD匹配原则的全局搜索，即在计算出待修复像素点与各已知像素点差值的平方和后，通过SSD匹配原则进行全局搜索来得到最小平方和，以根据最小平方和确定最佳匹配块来进行图像修复，这种基于全局搜索的图像修复方法可适用于小面积的待修复图像，而对于大面积的待修复图像使用这种基于全局搜索的图像修复方法，将会导致搜索匹配占用时间较长，极大地增加了算法的时间复杂度，从而使得图像修复速度较慢以及效率较低。

发明内容

本发明实施例提供了一种图像修复方法、装置、计算机可读存储介质及终端设备，能够降低图像修复中最佳匹配块搜索匹配的时间复杂度，减少搜索匹配的占用时长，提高图像修复的修复速度和修复效率。

本发明实施例的第一方面，提供了一种图像修复方法，包括：

确定原始图像中待修复的目标区域和已知的源区域，并获取所述目标区域的边界像素点，其中，已知的源区域为所述原始图像中除所述目标区域以外的区域；

以各边界像素点为中心点，构建预设大小的多个修复块，其中，所构建的修复块的数量与边界像素点的数量对应；

根据各修复块中样本像素点的个数和各修复块的结构信息计算各修复块的优先权，并根据所述优先权选择最先修复块；

利用预设蛙跳算法寻找所述源区域中与所述最先修复块最相似的最佳匹配块；

采用所述最佳匹配块对应的样本像素点修复所述最先修复块的对应像素点；

将已修复的所述最先修复块划分至所述源区域，并更新所述目标区域的边界像素点；

若更新后的边界像素点的个数大于设定阈值，则返回执行以各边界像素点为中心点，构建预设大小的多个修复块的步骤以及后续步骤，直到更新后的边界像素点的个数小于或者等于所述设定阈值时，确定所述原始图像修复完成并获取更新后的所述源区域。

本发明实施例的第二方面，提供了一种图像修复装置，包括：

边界点获取模块，用于确定原始图像中待修复的目标区域和已知的源区域，并获取所述目标区域的边界像素点，其中，已知的源区域为所述原始图像中除所述目标区域以外的区域；

修复块构建模块，用于以各边界像素点为中心点，构建预设大小的多个修复块，其中，所构建的修复块的数量与边界像素点的数量对应；

优先权计算模块，用于根据各修复块中样本像素点的个数和各修复块的结构信息计算各修复块的优先权，并根据所述优先权选择最先修复块；

匹配块寻找模块，用于利用预设蛙跳算法寻找所述源区域中与所述最先修复块最相似的最佳匹配块；

修复块修复模块，用于采用所述最佳匹配块对应的样本像素点修复所述最先修复块的对应像素点；

边界点更新模块，用于将已修复的所述最先修复块划分至所述源区域，并更新所述目标区域的边界像素点；

修复完成确定模块，用于若更新后的边界像素点的个数大于设定阈值，则返回执行以各边界像素点为中心点，构建预设大小的多个修复块的步骤以及后续步骤，直到更新后的边界像素点的个数小于或者等于所述设定阈值时，确定所述原始图像修复完成并获取更新后的所述源区域。

本发明实施例的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如前述第一方面所述图像修复方法的步骤。

本发明实施例的第四方面，提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：

确定原始图像中待修复的目标区域和已知的源区域，并获取所述目标区域的边界像素点，其中，已知的源区域为所述原始图像中除所述目标区域以外的区域；

以各边界像素点为中心点，构建预设大小的多个修复块，其中，所构建的修复块的数量与边界像素点的数量对应；

根据各修复块中样本像素点的个数和各修复块的结构信息计算各修复块的优先权，并根据所述优先权选择最先修复块；

利用预设蛙跳算法寻找所述源区域中与所述最先修复块最相似的最佳匹配块；

采用所述最佳匹配块对应的样本像素点修复所述最先修复块的对应像素点；

将已修复的所述最先修复块划分至所述源区域，并更新所述目标区域的边界像素点；

若更新后的边界像素点的个数大于设定阈值，则返回执行以各边界像素点为中心点，构建预设大小的多个修复块的步骤以及后续步骤，直到更新后的边界像素点的个数小于或者等于所述设定阈值时，确定所述原始图像修复完成并获取更新后的所述源区域。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例中，在确定出待修复的原始图像的最先修复块后，可通过预设蛙跳算法来寻找源区域中与该最先修复块最相似的最佳匹配块，从而利用最佳匹配块的样本像素点来对最先修复块进行修复，即通过预设蛙跳算法的快速局部搜索和全局搜索来进行最佳匹配块的搜索匹配，可降低最佳匹配块搜索匹配的时间复杂度，减少搜索匹配的占用时长，从而极大地提高了图像修复的修复速度和修复效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种图像修复方法的一个实施例流程图；

图2为本发明实施例中一种图像修复方法在一个应用场景下寻找最佳匹配块的流程示意图；

图3为本发明实施例中一种图像修复方法在一个应用场景下更新青蛙个体的流程示意图；

图4为本发明实施例中一种图像修复装置的一个实施例结构图；

图5为本发明一实施例提供的一种终端设备的示意图。

具体实施方式

本发明实施例提供了一种图像修复方法、装置、计算机可读存储介质及终端设备，用于降低图像修复中最佳匹配块搜索匹配的时间复杂度，减少搜索匹配的占用时长，提高图像修复的修复速度和修复效率。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例提供了一种图像修复方法，所述图像修复方法包括：

步骤S101、确定原始图像中待修复的目标区域和已知的源区域，并获取所述目标区域的边界像素点，其中，已知的源区域为所述原始图像中除所述目标区域以外的区域；

本发明实施例的执行主体为终端设备，该终端设备包括但不限于：服务器、计算机、智能手机以及平板电脑等设备。当某一原始图像存在破损需要对其进行修复时，可由相关人员自行标记出待修复的区域，并将标记后的原始图像输入至该终端设备中，该终端设备在接收到该原始图像后，即可根据标记确定出该原始图像中待修复的目标区域，并将该原始图像中除目标区域以外的区域确定为完好已知的源区域，同时确定出目标区域与源区域之间的边界，并获取边界处的边界像素点。

可以理解的是，本发明实施例中，也可以在该终端设备中集成识别算法来自动识别原始图像中的破损区域，即当需要进行图像修复时，可直接将待修复的原始图像输入至该终端设备中，由该终端设备自行识别出该原始图像中待修复的区域，以确定出目标区域和源区域，从而省去人工标记过程，避免人工参与，提高图像修复的准确性和修复效率。

步骤S102、以各边界像素点为中心点，构建预设大小的多个修复块，其中，所构建的修复块的数量与边界像素点的数量对应；

本发明实施例中，在获取到所述目标区域中的边界像素点后，则可以各边界像素点为中心点，构建出多个预设大小的修复块，如构建出多个m×n像素的修复块。其中，所述预设大小可以根据实际需要进行选取，而所构建的修复块的数量则与边界像素点的数量对应。

步骤S103、根据各修复块中样本像素点的个数和各修复块的结构信息计算各修复块的优先权，并根据所述优先权选择最先修复块；

在此，在构建出多个预设大小的修复块后，可根据下述公式计算各修复块的优先权，并可将具有最高优先权的修复块确定为最先修复块，以进行首先修复：

Priority(p)＝Credit(p)*Data(p)

其中，Priority(p)为修复块p的优先权，Credit(p)为修复块p的置信度，表示修复块p中包含的样本像素点的个数，Data(p)为修复块p的数据项，表示修复块p的结构信息，

Ω为目标区域，

为源区域，|Ψ_p|为修复块p的待修复像素点的个数，n_p为修复块p的边缘像素点p的法向量，

为边缘像素点p处的等辐照线的方向和强度，α为归一化参数。

可以理解的是，归一化参数α可以为255，|n_p|＝1。当修复块中位于源区域的样本像素点多，或者已填充好的像素点多，表明在修复过程中该修复块能提供更可靠的信息，因此置信度就会比较高，应优先修复。

具体表示边缘像素点p梯度方向的垂直方向，其中，

可通过偏微分方式来求取，如可根据

I_x、I_y为边缘像素点在x、y方向上的偏微分来求取。由于图像在一个像素点上梯度值较大时，该点附近图像的纹理较为丰富、线性结构信息较多，而通过优先修复纹理较为丰富、线性结构信息较多的像素点，可使得图像的边缘结构更加平滑，进而使得修复效率和修复效果更好。因此，在图像修复过程中，图像的边缘部分，即纹理较为复杂、线性结构信息比较多的区域应优先得到修复，以使得图像在纹理修复的同时能扩散图像的结构信息，从而提高图像修复效率和修复效果。

步骤S104、利用预设蛙跳算法寻找所述源区域中与所述最先修复块最相似的最佳匹配块；

本发明实施例中，在确定出最先修复块后，则可以利用预设蛙跳算法来寻找完好的源区域中与所述最先修复块最相似的最佳匹配块，以通过所述最佳匹配块来进行所述最先修复块的修复。具体地，如图2所示，所述利用预设蛙跳算法寻找所述源区域中与所述最先修复块最相似的最佳匹配块，可以包括：

步骤S201、获取所述源区域的样本像素点，并以所述样本像素点为中心点在所述源区域中构建所述预设大小的多个样本块；

可以理解的是，在利用预设蛙跳算法寻找所述源区域中与所述最先修复块最相似的最佳匹配块时，可首先在所述源区域中构建与所述最先修复块大小相同的多个样本块，以使得可利用样本块的样本像素点来对最先待修复块进行修复。具体地，可首先获取所述源区域的各样本像素点，随后以各样本像素点为中心点在所述源区域中构建出所述预设大小的样本块，如若修复块的大小为4×3像素的话，则所构建的各样本块的大小也为4×3像素。

步骤S202、将各所述样本块确定为一青蛙个体，得到所述预设蛙跳算法的初始群体；

本发明实施例中，在所述源区域中构建出各样本块后，则可将各样本块设置为一青蛙个体，从而得到所述预设蛙跳算法的初始群体。可以理解的是，本发明实施例中，还可事先在该终端设备中进行预设蛙跳算法的初始化，即可预先设置所述预设蛙跳算法的族群数Q、族群内最大迭代次数J、群体最大迭代次数G、青蛙个体在改变位置时能够允许的最大变量Dmax等等。

步骤S203、采用预设适应度值计算方式计算所述初始群体中各青蛙个体的适应度值，并根据所述适应度值将所述初始群体划分为多个初始族群；

可以理解的是，在确定出所述预设蛙跳算法的初始群体后，可采用预设适应度值计算方式计算所述初始群体中各青蛙个体的适应度值，如可采用下述适应度值计算公式计算各青蛙个体的适应度值：

其中，F(X_i)为样本块i对应的青蛙个体i的适应度值，a_j为最先修复块中的第j个待修复像素点对应的灰度值，X_ij为样本块i中的第j个样本像素点对应的灰度值，n为样本块i中像素点的总个数。

本发明实施例中，优选采用样本块与最先修复块之间的像素差值的平方和来作为对应青蛙个体的适应度值，从而可通过适应度值初步反映出各样本块与最先修复块之间的匹配程度。

在此，在计算得到各青蛙个体的适应度值后，则可根据适应度值对各青蛙个体进行族群划分，以将所述初始群体划分为多个初始族群，其中，初始族群的族群数则可为所述预设蛙跳算法中初始化的族群数Q，即可将所述初始群体划分为Q个初始族群。其中，划分过程具体可以为：首先按照适应度值的大小对所有青蛙个体进行升序排列，然后，可将排名第1的青蛙个体划分至第1族群、将排名第2的青蛙个体划分至第2族群、……、将排名第q的青蛙个体划分至第Q族群，即首先将第1只青蛙个体-第q只青蛙个体分别划分至第1族群至第Q族群，再将第q+1只青蛙个体再次划分至第1族群，依次类推，直至将所有的青蛙个体划分完毕。

步骤S204、获取各初始族群中适应度值最大的最差青蛙个体，并按照预设更新方式对各最差青蛙个体进行更新，得到更新后的新族群；

在完成所有青蛙个体的划分，得到Q个初始族群后，可获取各初始族群内的最差青蛙个体，并可按照预设更新方式对各最差青蛙个体进行更新，如可采用基于收缩因子的更新方式分别对各初始族群内的最差青蛙个体进行更新，以得到更新后的各新族群，其中，所述最差青蛙个体是指各初始族群或者新族群内适应度值最大的青蛙个体，相应地，最优青蛙个体则是指各初始族群或者新族群内适应度值最小的青蛙个体。本发明实施例中，基于收缩因子ε的位置更新方式具体可以为：

newX_i＝ε*(X_i+D)

phi＝4*rand(i)

其中，newX_i为样本块i对应的青蛙个体i更新后的灰度值，ε为收缩因子，X_i为青蛙个体i更新之前的灰度值，D为青蛙个体的更新步长系数。在此，更新步长系数可根据实际情况进行具体设定。

进一步地，如图3所示，所述按照预设更新方式对各最差青蛙个体进行更新，得到更新后的新族群，可以包括

步骤S301、按照预设更新方式对各最差青蛙个体进行更新，得到更新后的最差青蛙个体；

步骤S302、计算更新后的最差青蛙个体的新适应度值；

步骤S303、判断所述新适应度值是否满足预设条件；

步骤S304、若所述新适应度值满足所述预设条件，则得到更新后的新族群；

步骤S305、若所述新适应度值不满足所述预设条件，则随机生成一新青蛙个体，并利用所述新青蛙个体替换所述最差青蛙个体，得到更新后的新族群。

对于上述步骤S301至步骤S305，可以理解的是，在采用基于收缩因子ε的更新方式对各最差青蛙个体进行更新后，可计算更新后的各最差青蛙个体的新适应度值，并可判断所述新适应度值是否满足预设条件，如可判断所述新适应度值是否小于该最差青蛙个体更新前的适应度值，若所述新适应度值满足所述预设条件，如所述新适应度值小于该最差青蛙个体更新前的适应度值的话，则在初始族群中保留更新后的最差青蛙个体，并将保留后的初始族群确定为更新后的新族群；若所述新适应度值不满足所述预设条件，如所述新适应度值大于或者等于该最差青蛙个体更新前的适应度值的话，则可随机生成一新青蛙个体，并可以利用所生成的新青蛙个体来替换该最差青蛙个体，以得到更新后的新族群。

也就是说，当某一初始族群中的最差青蛙个体，在采用基于收缩因子ε的更新方式进行更新后，并未得到优化时，则可通过随机产生一个全新的青蛙个体作为该初始族群中的青蛙个体，以替换未优化的最差青蛙个体来得到对应的新族群，从而提高所述预设蛙跳算法的收敛速度，进而提高图像修复效率。

步骤S205、判断所述新族群是否满足第一预设终止条件；

步骤S206、若所述新族群不满足所述第一预设终止条件，则将所述新族群确定为初始族群，并返回执行获取各初始族群中适应度值最大的最差青蛙个体的步骤以及后续步骤；

步骤S207、若所述新族群满足所述第一预设终止条件，则对各所述新族群进行混合，得到新群体；

对于上述步骤S205至步骤S207，可以理解的是，在得到各初始族群的每一代新族群后，可判断所述新族群是否满足第一预设终止条件，其中，所述第一预设终止条件可以为各族群的迭代次数是否达到预先设置的族群内最大迭代次数J，如当族群内最大迭代次数J设置为5次时，则表明对各族群需进行5次最差青蛙个体的更新，因此，在得到各初始族群的每一代新族群后，可判断各新族群的迭代次数是否达到5次，若未达到5次的话，则可确定新族群不满足所述第一预设终止条件，则可以在各新族群内重新计算各青蛙个体的适应度值，然后再次获取适应度值最大的最差青蛙个体，并对再次获取的各最差青蛙个体重新进行更新操作，直到各新族群中的迭代次数达到5次为止，即直到在各族群中进行了5次最差青蛙个体的更新时，停止迭代操作，然后对停止迭代后的所有新族群进行混合处理，以得到新群体。

可以理解的是，本发明实施例中，所述第一预设终止条件也可以为各族群中的最优青蛙个体连续相同的代数是否达到第一预设代数值，即可在族群的更新过程中实时统计最优青蛙个体连续相同的代数，当连续相同的代数达到预先设定的第一预设代数值时，则停止迭代操作，然后对停止迭代后的所有新族群进行混合处理，以得到新群体。

步骤S208、判断所述新群体是否满足第二预设终止条件；

步骤S209、若所述新群体满足所述第二预设终止条件，则获取所述新群体的最优青蛙个体，并将所述最优青蛙个体对应的样本块确定为与所述最先修复块最相似的最佳匹配块；

步骤S210、若所述新群体不满足所述第二预设终止条件，则将所述新群体确定为初始群体，并返回执行采用预设适应度值计算方式计算所述初始群体中各青蛙个体的适应度值的步骤以及后续步骤。

对于上述步骤S208至步骤S210，可以理解的是，在得到混合后的新群体之后，可进一步判断所述新群体是否满足第二预设终止条件，其中，所述第二预设终止条件可以为群体的迭代次数是否达到预先设置的群体最大迭代次数G，如当群体最大迭代次数G设置为10次时，则在得到混合后的新群体后，判断所述新群体的迭代次数是否达到10次，若未达到10次的话，则可确定新群体不满足所述第二预设条件，并对所述新群体的各青蛙个体重新进行适应度值的计算，然后按照新计算的适应度值重新进行族群的划分，并重新进行最差青蛙个体的更新，直到新群体的迭代次数达到10次时，停止迭代操作，并将所述新群体此时的最优青蛙个体所表示的样本块确定为与所述最先修复块最相似的最佳匹配块。

可以理解的是，所述第二预设终止条件也可以为群体中的最优青蛙个体连续相同的代数是否达到第二预设代数值，即可在群体迭代过程中实时统计最优青蛙个体连续相同的代数，当连续相同的代数达到预先设定的第二预设代数值时，则停止迭代操作，并将当前新群体的最优青蛙个体所表示的样本块确定为与所述最先修复块最相似的最佳匹配块。

步骤S105、采用所述最佳匹配块对应的样本像素点修复所述最先修复块的对应像素点；

本发明实施例中，在得到与所述最先修复块最相似的最佳匹配块后，可采用所述最佳匹配块对应的样本像素点来填充所述最先修复块中待修复的对应像素点，以对所述最先修复块进行修复。

步骤S106、将已修复的所述最先修复块划分至所述源区域，并更新所述目标区域的边界像素点；

步骤S107、判断更新后的边界像素点的个数是否大于设定阈值；

步骤S108、若更新后的边界像素点的个数小于或者等于所述设定阈值，则确定所述原始图像修复完成并获取更新后的所述源区域；若更新后的边界像素点的个数大于所述设定阈值，则返回执行以各边界像素点为中心点，构建预设大小的多个修复块的步骤以及后续步骤。

对于上述步骤S106至步骤S108，可以理解的是，在每一次完成最先修复块的修复之后，可将修复完成的最先修复块划分至所述源区域，并将修复完成的最先修复块所对应的边界像素点确定已知的样本像素点来更新所述目标区域的边界像素点，边界像素点更新完成后，可对所述目标区域进行检测，以判断所述原始图像是否修复完成，即检测所述目标区域的边界像素点的个数是否大于设定阈值，其中，所述设定阈值可以设置为0，也就是说，检测所述目标区域是否为空，若所述目标区域的边界像素点的个数大于设定阈值，如大于0的话，则表明还存在未修复的目标区域，即所述原始图像未修复完成，此时则可根据更新后的边界像素点重新构建修复块，并重新计算所新构建的各修复块的优先权来进行下一个最先修复块的确定与修复，直到所述目标区域的边界像素点的个数小于或者等于设定阈值时，如所述目标区域的边界像素点的个数等于0时，则确定所述原始图像修复完成，并获取修复完成的修复图像。

本发明实施例中，在确定出待修复的原始图像的最先修复块后，可通过预设蛙跳算法来寻找源区域中与该最先修复块最相似的最佳匹配块，从而利用最佳匹配块的样本像素点来对最先修复块进行修复，即通过预设蛙跳算法的快速局部搜索和全局搜索来进行最佳匹配块的搜索匹配，可降低最佳匹配块搜索匹配的时间复杂度，减少搜索匹配的占用时长，从而及大地提高了图像修复的修复速度和修复效率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

上面主要描述了一种图像修复方法，下面将对一种图像修复装置进行详细描述。

如图4所示，本发明实施例提供了一种图像修复装置，所述图像修复装置包括：

边界点获取模块401，用于确定原始图像中待修复的目标区域和已知的源区域，并获取所述目标区域的边界像素点，其中，已知的源区域为所述原始图像中除所述目标区域以外的区域；

修复块构建模块402，用于以各边界像素点为中心点，构建预设大小的多个修复块，其中，所构建的修复块的数量与边界像素点的数量对应；

优先权计算模块403，用于根据各修复块中样本像素点的个数和各修复块的结构信息计算各修复块的优先权，并根据所述优先权选择最先修复块；

匹配块寻找模块404，用于利用预设蛙跳算法寻找所述源区域中与所述最先修复块最相似的最佳匹配块；

修复块修复模块405，用于采用所述最佳匹配块对应的样本像素点修复所述最先修复块的对应像素点；

边界点更新模块406，用于将已修复的所述最先修复块划分至所述源区域，并更新所述目标区域的边界像素点；

修复完成确定模块，用于若更新后的边界像素点的个数大于设定阈值，则返回执行以各边界像素点为中心点，构建预设大小的多个修复块的步骤以及后续步骤，直到更新后的边界像素点的个数小于或者等于所述设定阈值时，确定所述原始图像修复完成并获取更新后的所述源区域。

进一步地，所述匹配块寻找模块404，可以包括：

样本块构建单元，用于获取所述源区域的样本像素点，并以所述样本像素点为中心点在所述源区域中构建所述预设大小的多个样本块；

初始群体获取单元，用于将各所述样本块确定为一青蛙个体，得到所述预设蛙跳算法的初始群体；

初始族群划分单元，用于采用预设适应度值计算方式计算所述初始群体中各青蛙个体的适应度值，并根据所述适应度值将所述初始群体划分为多个初始族群；

新族群获取单元，用于获取各初始族群中适应度值最大的最差青蛙个体，并按照预设更新方式对各最差青蛙个体进行更新，得到更新后的新族群；

新族群判断单元，用于判断所述新族群是否满足第一预设终止条件；

初始族群确定单元，用于若所述新族群不满足所述第一预设终止条件，则将所述新族群确定为初始族群，并返回执行获取各初始族群中适应度值最大的最差青蛙个体的步骤以及后续步骤；

新群体获取单元，用于若所述新族群满足所述第一预设终止条件，则对各所述新族群进行混合，得到新群体；

新群体判断单元，用于判断所述新群体是否满足第二预设终止条件；

匹配块确定单元，用于若所述新群体满足所述第二预设终止条件，则获取所述新群体的最优青蛙个体，并将所述最优青蛙个体对应的样本块确定为与所述最先修复块最相似的最佳匹配块；

初始群体确定单元，用于若所述新群体不满足所述第二预设终止条件，则将所述新群体确定为初始群体，并返回执行采用预设适应度值计算方式计算所述初始群体中各青蛙个体的适应度值的步骤以及后续步骤。

优选地，所述预设适应度值计算方式为：

其中，F(X_i)为样本块i对应的青蛙个体i的适应度值，a_j为最先修复块中的第j个待修复像素点对应的灰度值，X_ij为样本块i中的第j个样本像素点对应的灰度值，n为样本块i中像素点的总个数。

可选地，所述新族群获取单元，具体用于根据下述更新公式对各最差青蛙个体进行更新：

newX_i＝ε*(X_i+D)

phi＝4*rand(i)

其中，newX_i为样本块i对应的青蛙个体i更新后的灰度值，X_i为青蛙个体i更新之前的灰度值，D为青蛙个体的更新步长系数。

进一步地，所述新族群获取单元，可以包括：

更新子单元，用于按照预设更新方式对各最差青蛙个体进行更新，得到更新后的最差青蛙个体；

新适应度值计算子单元，用于计算更新后的最差青蛙个体的新适应度值；

新适应度值判断子单元，用于判断所述新适应度值是否满足预设条件；

个体随机生成子单元，用于若所述新适应度值不满足所述预设条件，则随机生成一新青蛙个体，并利用所述新青蛙个体替换所述最差青蛙个体，得到更新后的新族群。

优选地，所述优先权计算模块403，具体用于根据下述公式计算各修复块的优先权：

Priority(p)＝Credit(p)*Data(p)

其中，Priority(p)为修复块p的优先权，Credit(p)为修复块p的置信度，表示修复块p中包含的样本像素点的个数，Data(p)为修复块p的数据项，表示修复块p的结构信息，

Ω为目标区域，

为源区域，|甲_p|为修复块p的待修复像素点的个数，n_p为修复块p的边缘像素点p的法向量，

为边缘像素点p处的等辐照线的方向和强度，α为归一化参数。

图5是本发明一实施例提供的一种终端设备的示意图。如图5所示，该实施例的一种终端设备5包括：处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机可读指令52，例如图像修复程序。所述处理器50执行所述计算机可读指令52时实现上述各个图像修复方法实施例中的步骤，例如图1所示的步骤S101至步骤S108。或者，所述处理器50执行所述计算机可读指令52时实现上述各装置实施例中各模块/单元的功能，例如图4所示的模块401至模块407的功能。

示例性的，所述计算机可读指令52可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器51中，并由所述处理器50执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机可读指令52在所述终端设备5中的执行过程。

所述终端设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是终端设备5的示例，并不构成对终端设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所述处理器50可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器51可以是所述终端设备5的内部存储单元，例如终端设备5的硬盘或内存。所述存储器51也可以是所述终端设备5的外部存储设备，例如所述终端设备5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述终端设备6的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机可读指令以及所述终端设备所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种图像修复方法，其特征在于，包括：

确定原始图像中待修复的目标区域和已知的源区域，并获取所述目标区域的边界像素点，其中，已知的源区域为所述原始图像中除所述目标区域以外的区域；

以各边界像素点为中心点，构建预设大小的多个修复块，其中，所构建的修复块的数量与边界像素点的数量对应；

根据各修复块中样本像素点的个数和各修复块的结构信息计算各修复块的优先权，并根据所述优先权选择最先修复块；

利用预设蛙跳算法寻找所述源区域中与所述最先修复块最相似的最佳匹配块；

采用所述最佳匹配块对应的样本像素点修复所述最先修复块的对应像素点；

将已修复的所述最先修复块划分至所述源区域，并更新所述目标区域的边界像素点；

若更新后的边界像素点的个数大于设定阈值，则返回执行以各边界像素点为中心点，构建预设大小的多个修复块的步骤以及后续步骤，直到更新后的边界像素点的个数小于或者等于所述设定阈值时，确定所述原始图像修复完成并获取更新后的所述源区域；

其中，所述利用预设蛙跳算法寻找所述源区域中与所述最先修复块最相似的最佳匹配块，包括：

获取所述源区域的样本像素点，并以所述样本像素点为中心点在所述源区域中构建预设大小的多个样本块；

将各所述样本块确定为一青蛙个体，得到所述预设蛙跳算法的初始群体；

采用预设适应度值计算方式计算所述初始群体中各青蛙个体的适应度值，并根据所述适应度值将所述初始群体划分为多个初始族群；

获取各初始族群中适应度值最大的最差青蛙个体，并按照预设更新方式对各最差青蛙个体进行更新，得到更新后的新族群；

判断所述新族群是否满足第一预设终止条件；

若所述新族群不满足所述第一预设终止条件，则将所述新族群确定为初始族群，并返回执行获取各初始族群中适应度值最大的最差青蛙个体的步骤以及后续步骤；

若所述新族群满足所述第一预设终止条件，则对各所述新族群进行混合，得到新群体；

判断所述新群体是否满足第二预设终止条件；

若所述新群体满足所述第二预设终止条件，则获取所述新群体的最优青蛙个体，并将所述最优青蛙个体对应的样本块确定为与所述最先修复块最相似的最佳匹配块；

若所述新群体不满足所述第二预设终止条件，则将所述新群体确定为初始群体，并返回执行采用预设适应度值计算方式计算所述初始群体中各青蛙个体的适应度值的步骤以及后续步骤；所述预设适应度值计算方式为：

其中，F(X_i)为样本块i对应的青蛙个体i的适应度值，a_j为最先修复块中的第j个待修复像素点对应的灰度值，X_ij为样本块i中的第j个样本像素点对应的灰度值，n为样本块i中像素点的总个数。

2.根据权利要求1所述的图像修复方法，其特征在于，所述按照预设更新方式对各最差青蛙个体进行更新，包括：

根据下述更新公式对各最差青蛙个体进行更新：

newX_i＝ε*(X_i+D)

phi＝4*rand(i)

其中，newX_i为样本块i对应的青蛙个体i更新后的灰度值，X_i为青蛙个体i更新之前的灰度值，D为青蛙个体的更新步长系数，ε为收缩因子，rand(i)为青蛙个体i对应的随机数。

3.根据权利要求1所述的图像修复方法，其特征在于，所述按照预设更新方式对各最差青蛙个体进行更新，得到更新后的新族群，包括：

按照预设更新方式对各最差青蛙个体进行更新，得到更新后的最差青蛙个体；

计算更新后的最差青蛙个体的新适应度值；

判断所述新适应度值是否满足预设条件；

若所述新适应度值不满足所述预设条件，则随机生成一新青蛙个体，并利用所述新青蛙个体替换所述最差青蛙个体，得到更新后的新族群。

4.根据权利要求1至3中任一项所述的图像修复方法，其特征在于，所述根据各修复块中样本像素点的个数和各修复块的结构信息计算各修复块的优先权，包括：

根据下述公式计算各修复块的优先权：

Priority(p)＝Credit(p)*Data(p)

其中，Priority(p)为修复块p的优先权，Credit(p)为修复块p的置信度，表示修复块p中包含的样本像素点的个数，Data(p)为修复块p的数据项，表示修复块p的结构信息，

Ω为目标区域，

为源区域，|Ψp|为修复块p的待修复像素点的个数，n_p为修复块p的边缘像素点p的法向量，

为边缘像素点p处的等辐照线的方向和强度，α为归一化参数。

5.一种图像修复装置，其特征在于，包括：

边界点获取模块，用于确定原始图像中待修复的目标区域和已知的源区域，并获取所述目标区域的边界像素点，其中，已知的源区域为所述原始图像中除所述目标区域以外的区域；

修复块构建模块，用于以各边界像素点为中心点，构建预设大小的多个修复块，其中，所构建的修复块的数量与边界像素点的数量对应；

优先权计算模块，用于根据各修复块中样本像素点的个数和各修复块的结构信息计算各修复块的优先权，并根据所述优先权选择最先修复块；

匹配块寻找模块，用于利用预设蛙跳算法寻找所述源区域中与所述最先修复块最相似的最佳匹配块；

修复块修复模块，用于采用所述最佳匹配块对应的样本像素点修复所述最先修复块的对应像素点；

边界点更新模块，用于将已修复的所述最先修复块划分至所述源区域，并更新所述目标区域的边界像素点；

修复完成确定模块，用于若更新后的边界像素点的个数大于设定阈值，则触发所述修复块构建模块，直到更新后的边界像素点的个数小于或者等于所述设定阈值时，确定所述原始图像修复完成并获取更新后的所述源区域；

其中，所述匹配块寻找模块，包括：

样本块构建单元，用于获取所述源区域的样本像素点，并以所述样本像素点为中心点在所述源区域中构建所述预设大小的多个样本块；

初始群体获取单元，用于将各所述样本块确定为一青蛙个体，得到所述预设蛙跳算法的初始群体；

初始族群划分单元，用于采用预设适应度值计算方式计算所述初始群体中各青蛙个体的适应度值，并根据所述适应度值将所述初始群体划分为多个初始族群；

新族群获取单元，用于获取各初始族群中适应度值最大的最差青蛙个体，并按照预设更新方式对各最差青蛙个体进行更新，得到更新后的新族群；

新族群判断单元，用于判断所述新族群是否满足第一预设终止条件；

初始族群确定单元，用于若所述新族群不满足所述第一预设终止条件，则将所述新族群确定为初始族群，并触发所述新族群获取单元；

新群体获取单元，用于若所述新族群满足所述第一预设终止条件，则对各所述新族群进行混合，得到新群体；

新群体判断单元，用于判断所述新群体是否满足第二预设终止条件；

匹配块确定单元，用于若所述新群体满足所述第二预设终止条件，则获取所述新群体的最优青蛙个体，并将所述最优青蛙个体对应的样本块确定为与所述最先修复块最相似的最佳匹配块；

初始群体确定单元，用于若所述新群体不满足所述第二预设终止条件，则将所述新群体确定为初始群体，并触发所述初始族群划分单元；

所述预设适应度值计算方式为：

其中，F(X_i)为样本块i对应的青蛙个体i的适应度值，a_j为最先修复块中的第j个待修复像素点对应的灰度值，X_ij为样本块i中的第j个样本像素点对应的灰度值，n为样本块i中像素点的总个数。

6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1至4中任一项所述图像修复方法的步骤。

7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：

确定原始图像中待修复的目标区域和已知的源区域，并获取所述目标区域的边界像素点，其中，已知的源区域为所述原始图像中除所述目标区域以外的区域；

以各边界像素点为中心点，构建预设大小的多个修复块，其中，所构建的修复块的数量与边界像素点的数量对应；

根据各修复块中样本像素点的个数和各修复块的结构信息计算各修复块的优先权，并根据所述优先权选择最先修复块；

利用预设蛙跳算法寻找所述源区域中与所述最先修复块最相似的最佳匹配块；

采用所述最佳匹配块对应的样本像素点修复所述最先修复块的对应像素点；

将已修复的所述最先修复块划分至所述源区域，并更新所述目标区域的边界像素点；

若更新后的边界像素点的个数大于设定阈值，则返回执行以各边界像素点为中心点，构建预设大小的多个修复块的步骤以及后续步骤，直到更新后的边界像素点的个数小于或者等于所述设定阈值时，确定所述原始图像修复完成并获取更新后的所述源区域；其中，所述利用预设蛙跳算法寻找所述源区域中与所述最先修复块最相似的最佳匹配块，包括：

获取所述源区域的样本像素点，并以所述样本像素点为中心点在所述源区域中构建预设大小的多个样本块；

将各所述样本块确定为一青蛙个体，得到所述预设蛙跳算法的初始群体；

采用预设适应度值计算方式计算所述初始群体中各青蛙个体的适应度值，并根据所述适应度值将所述初始群体划分为多个初始族群；

获取各初始族群中适应度值最大的最差青蛙个体，并按照预设更新方式对各最差青蛙个体进行更新，得到更新后的新族群；

判断所述新族群是否满足第一预设终止条件；

若所述新族群不满足所述第一预设终止条件，则将所述新族群确定为初始族群，并返回执行获取各初始族群中适应度值最大的最差青蛙个体的步骤以及后续步骤；

若所述新族群满足所述第一预设终止条件，则对各所述新族群进行混合，得到新群体；

判断所述新群体是否满足第二预设终止条件；

若所述新群体满足所述第二预设终止条件，则获取所述新群体的最优青蛙个体，并将所述最优青蛙个体对应的样本块确定为与所述最先修复块最相似的最佳匹配块；

若所述新群体不满足所述第二预设终止条件，则将所述新群体确定为初始群体，并返回执行采用预设适应度值计算方式计算所述初始群体中各青蛙个体的适应度值的步骤以及后续步骤；

所述预设适应度值计算方式为：

其中，F(X_i)为样本块i对应的青蛙个体i的适应度值，a_j为最先修复块中的第j个待修复像素点对应的灰度值，X_ij为样本块i中的第j个样本像素点对应的灰度值，n为样本块i中像素点的总个数。

Images