CN113222843B - 一种图像修复方法及其相关设备 - Google Patents

Abstract

本申请公开了一种图像修复方法及其相关设备，该方法包括：在获取到待修复图像之后，先将该待修复图像输入预先构建的文字灰度图生成模型，得到该文字灰度图生成模型输出的该待修复图像对应的文字灰度图；再根据该待修复图像、该待修复图像对应的文字灰度图和预先构建的图像修复模型，确定该待修复图像对应的修复后图像。其中，因上述文字灰度图能够准确地表示出该待修复图像中待修复区域与其周围区域之间的像素过渡信息，从而使得基于该文字灰度图生成的修复后图像中被修复区域与其周围区域之间不存在像素值突变，如此能够有效地避免因修复后图像中被修复区域与其周围区域之间存在像素值突变而导致的失真现象，从而能够有效地提高图像修复效果。

Description

一种图像修复方法及其相关设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像修复方法及其相关设备。

背景技术

图像修复是指对一个图像中丢失或遮挡部分(如被文字遮挡的部分)进行修复，以使修复后的图像整体尽可能地接近于原图。

然而，因现有的图像修复方案的修复效果不好，导致如何提高图像的修复效果成为一项亟待解决的技术问题。

发明内容

为了解决现有技术中存在的以上技术问题，本申请提供了一种图像修复方法及其相关设备，能够有效地提高图像修复效果。

为了实现上述目的，本申请实施例提供的技术方案如下：

本申请实施例提供一种图像修复方法，所述方法包括：

获取待修复图像；

将所述待修复图像输入预先构建的文字灰度图生成模型，得到所述文字灰度图生成模型输出的所述待修复图像对应的文字灰度图；其中，所述文字灰度图生成模型是根据第一样本图像和所述第一样本图像对应的实际文字灰度图构建的；

根据所述待修复图像、所述待修复图像对应的文字灰度图和预先构建的图像修复模型，确定所述待修复图像对应的修复后图像；其中，所述待修复图像对应的修复后图像是由所述图像修复模型针对所述待修复图像中至少一个文字遮挡区域进行修复得到的。

在一种可能的实施方式下，所述第一样本图像对应的实际文字灰度图的获取过程，包括：

获取至少一个像素阈值；

根据所述至少一个像素阈值和所述第一样本图像，生成至少一个像素提取图；

将所述至少一个像素提取图进行加权求和，得到所述第一样本图像对应的实际文字灰度图，以使所述实际文字灰度图中任一文字的文字骨架及其文字轮廓之间的区域呈像素渐变状态。

在一种可能的实施方式下，所述待修复图像对应的修复后图像的确定过程包括：

将所述待修复图像和所述待修复图像对应的文字灰度图输入预先构建的图像修复模型，得到所述图像修复模型输出的所述待修复图像对应的修复后图像；

或者，

所述待修复图像对应的修复后图像的确定过程包括：

根据所述待修复图像和所述待修复图像对应的文字灰度图，生成所述待修复图像对应的特征图；将所述待修复图像对应的特征图输入预先构建的图像修复模型，得到所述图像修复模型输出的所述待修复图像对应的修复后图像。

在一种可能的实施方式下，所述根据所述待修复图像和所述待修复图像对应的文字灰度图，生成所述待修复图像对应的特征图，包括：

将所述待修复图像和所述待修复图像对应的文字灰度图进行合并，得到所述待修复图像对应的特征图，以使所述待修复图像对应的特征图的图像通道个数等于所述待修复图像的图像通道个数与所述待修复图像对应的文字灰度图的图像通道个数之和。

在一种可能的实施方式下，所述方法还包括：

获取用户指定的目标修复区域；

根据所述目标修复区域和所述待修复图像对应的文字灰度图，确定所述待修复图像对应的目标灰度图；

所述根据所述待修复图像、所述待修复图像对应的文字灰度图和预先构建的图像修复模型，确定所述待修复图像对应的修复后图像，包括：

根据所述待修复图像、所述待修复图像对应的目标灰度图和预先构建的图像修复模型，确定所述待修复图像对应的修复后图像。

在一种可能的实施方式下，所述待修复图像对应的目标灰度图的确定过程包括：

将所述待修复图像输入预先构建的文字位置检测模型，得到所述文字位置检测模型输出的所述待修复图像对应的文字位置；其中，所述文字位置检测模型是根据第三样本图像和所述第三样本图像对应的实际文字位置构建的；

根据所述目标修复区域和所述待修复图像对应的文字位置，确定所述待修复图像对应的待修复位置；

根据所述待修复图像对应的待修复位置和所述待修复图像对应的文字灰度图，确定所述待修复图像对应的目标灰度图。

本申请实施例还提供了一种图像修复装置，所述装置包括：

图像获取单元，用于获取待修复图像；

灰度图生成单元，用于将所述待修复图像输入预先构建的文字灰度图生成模型，得到所述文字灰度图生成模型输出的所述待修复图像对应的文字灰度图；其中，所述文字灰度图生成模型是根据第一样本图像和所述第一样本图像对应的实际文字灰度图构建的；

图像修复单元，用于根据所述待修复图像、所述待修复图像对应的文字灰度图和预先构建的图像修复模型，确定所述待修复图像对应的修复后图像；其中，所述待修复图像对应的修复后图像是由所述图像修复模型针对所述待修复图像中至少一个文字遮挡区域进行修复得到的。

本申请实施例还提供了一种设备，所述设备包括处理器以及存储器：

所述存储器用于存储计算机程序；

所述处理器用于根据所述计算机程序执行本申请实施例提供的图像修复方法的任一实施方式。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行本申请实施例提供的图像修复方法的任一实施方式。

本申请实施例还提供了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行本申请实施例提供的图像修复方法的任一实施方式。

与现有技术相比，本申请实施例至少具有以下优点：

本申请实施例提供的图像修复方法中，在获取到待修复图像之后，先将该待修复图像输入预先构建的文字灰度图生成模型，得到该文字灰度图生成模型输出的该待修复图像对应的文字灰度图；再根据该待修复图像、该待修复图像对应的文字灰度图和预先构建的图像修复模型，确定该待修复图像对应的修复后图像。

其中，因文字灰度图生成模型是根据第一样本图像和该第一样本图像对应的实际文字灰度图构建的，使得该文字灰度图生成模型能够针对待修复图像准确地确定出该待修复图像对应的文字灰度图，以使该文字灰度图能够准确地表示出该待修复图像中待修复区域与其周围区域之间的像素过渡信息，从而使得基于该文字灰度图生成的修复后图像中被修复区域与其周围区域之间不存在像素值突变，如此能够有效地避免因修复后图像中被修复区域与其周围区域之间存在像素值突变而导致的失真现象，从而能够有效地提高图像修复效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种图像修复方法的流程图；

图2为本申请实施例提供的一种待修复图像的示意图；

图3为本申请实施例提供的一种文字灰度图的示意图；

图4为本申请实施例提供的一种待修复图像对应的文字灰度图的示意图；

图5为本申请实施例提供的一种待修复图像对应的修复后图像的示意图；

图6为本申请实施例提供的一种待修复图像对应的文字位置的示意图；

图7为本申请实施例提供的一种图像修复装置的结构示意图。

具体实施方式

发明人在针对图像修复的研究中发现，利用相关图像修复方案得到的修复后图像中被修复区域与该被修复区域的周围区域之间存在像素值突变，使得该修复后图像中被修复区域与其周围区域之间的界限十分明显，如此导致该修复后图像发生失真现象。

基于上述发现，本申请实施例提供了一种图像修复方法，该方法包括：获取待修复图像；将该待修复图像输入预先构建的文字灰度图生成模型，得到该文字灰度图生成模型输出的该待修复图像对应的文字灰度图；根据该待修复图像、该待修复图像对应的文字灰度图和预先构建的图像修复模型，确定该待修复图像对应的修复后图像，以使该待修复图像对应的修复后图像是由该图像修复模型针对该待修复图像中至少一个文字遮挡区域进行修复得到的。其中，文字灰度图生成模型是根据第一样本图像和该第一样本图像对应的实际文字灰度图构建的。

可见，因文字灰度图生成模型是根据第一样本图像和该第一样本图像对应的实际文字灰度图构建的，使得该文字灰度图生成模型能够针对待修复图像准确地确定出该待修复图像对应的文字灰度图，以使该文字灰度图能够准确地表示出该待修复图像中待修复区域与其周围区域之间的像素过渡信息，从而使得基于该文字灰度图生成的修复后图像中被修复区域与其周围区域之间不存在像素值突变，如此能够有效地避免因修复后图像中被修复区域与其周围区域之间存在像素值突变而导致的失真现象，从而能够有效地提高图像修复效果。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

方法实施例一

参见图1，该图为本申请实施例提供的一种图像修复方法的流程图。

本申请实施例提供的图像修复方法，包括S1-S3：

S1：获取待修复图像。

其中，待修复图像是指需要进行图像修复处理的图像(如，部分区域被文字遮挡的图像)。另外，本申请实施例不限定待修复图像，例如，待修复图像可以是图2所示的图像。

S2：将待修复图像输入预先构建的文字灰度图生成模型，得到该文字灰度图生成模型输出的该待修复图像对应的文字灰度图。

其中，文字灰度图生成模型用于针对该文字灰度图生成模型的输入图像进行文字灰度图预测。

文字灰度图用于描述一个图像中文字区域与该文字区域的周围区域之间的像素过渡信息。另外，本申请实施例不限定文字灰度图，例如，文字灰度图可以是图3所示的灰度图。

需要说明的是，在图3所示的灰度图中，对于每个文字所占区域及其周围区域来说，距离文字骨架越近的位置的像素值越大，而且距离文字骨架越远的位置的像素值越小，如此使得每个文字的文字骨架及其文字轮廓之间的区域呈像素渐变状态，从而使得该文字灰度图中任一文字的文字轮廓内部(也就是，该文字的文字所在区域)能够通过文字骨架及其该文字骨架相邻区域之间的渐变过程保留该文字轮廓内部的纹理和色彩变化的信息。

另外，本申请实施例不限定文字灰度图生成模型，例如，该文字灰度图生成模型可以是一种基于卷积神经网络的深度学习模型。

此外，文字灰度图生成模型是根据第一样本图像和该第一样本图像对应的实际文字灰度图构建的；而且本申请实施例不限定文字灰度图生成模型的构建过程，为了便于理解，下面结合示例进行说明。

作为示例，文字灰度图生成模型的构建过程，具体可以包括步骤11-步骤15：

步骤11：获取第一样本图像和该第一样本图像对应的实际文字灰度图。

其中，第一样本图像是指构建文字灰度图生成模型时所使用的图像。另外，本申请实施例不限定第一样本图像的获取过程。

第一样本图像对应的实际文字灰度图用于表示该第一样本图像中各个文字所占区域及其周围区域之间的实际像素过渡信息。

另外，本申请实施例不限定第一样本图像对应的实际文字灰度图的获取方式，例如，在一种可能的实施方式下，第一样本图像对应的实际文字灰度图的获取过程，包括步骤21-步骤23：

步骤21：获取至少一个像素阈值。

其中，像素阈值是指对第一样本图像进行像素提取处理时所需依据的参考像素值。

另外，本申请实施例不限定像素阈值的生成方式，例如，可以由预先设定。

此外，本申请实施例不限定像素阈值的个数，例如，像素阈值的个数为N。N为正整数。

步骤22：根据至少一个像素阈值和第一样本图像，生成至少一个像素提取图。

其中，像素提取图是一种用于表示第一样本图像中文字所处位置的灰度图。另外，本申请实施例不限定像素提取图的提取方式，例如，可以采用文字骨架的提取方法进行实施。

基于上述步骤22的相关内容可知，若像素阈值的个数为N，则在获取到N个像素阈值和第一样本图像之后，可以根据第i个像素阈值和第一样本图像，生成第i个像素提取图，以使该第i个像素提取图表示按照第i个像素阈值从第一样本图像中提取出的文字信息(如，文字骨架等)，以使该第i个像素提取图用于表示第一样本图像中像素值不低于第i个像素阈值的位置及其像素值。其中，i为正整数，i≤N，N为正整数。

步骤23：将至少一个像素提取图进行加权求和，得到第一样本图像对应的实际文字灰度图，以使该实际文字灰度图中任一文字的文字骨架及其文字轮廓之间的区域呈像素渐变状态。

本申请实施例不限定各个像素提取图对应的加权权重，例如，各个像素提取图对应的加权权重可以预先设定。又如，各个像素提取图对应的加权权重也可以根据各个像素提取图对应的像素阈值确定。为了便于理解，下面结合示例进行说明。

作为示例，若像素提取图的个数为N，则各个像素提取图对应的加权权重的确定过程，具体可以包括步骤31-步骤32：

步骤31：将第1个像素阈值与第N个像素阈值进行加和，得到阈值总和。

步骤32：将第i个像素提取图对应的像素阈值与阈值总和之间的比值，确定为该第i个像素提取图对应的加权权重。其中，第i个像素提取图对应的像素阈值是指生成第i个像素提取图时使用的像素阈值。i为正整数，i≤N，N为正整数。

基于上述步骤31至步骤32的相关内容可知，对于各个像素提取图来说，可以将各个像素提取图对应的像素阈值在所有像素阈值总和中的占比，分别确定为各个像素提取图对应的加权权重，以使所有像素提取图对应的加权权重之和为1。

基于上述步骤21至步骤23的相关内容可知，若像素阈值的个数为N，则在获取到第一样本图像之后，可以先依据N个像素阈值从该第一样本图像中确定出N个像素提取图；再将该N个像素提取图进行加权求和，得到该第一样本图像对应的实际文字灰度图，以使该实际文字灰度图中任一文字的文字骨架及其文字轮廓之间的区域呈像素渐变状态，从而使得该实际文字灰度图中任一文字的文字轮廓内部(也就是，该文字的文字所在区域)能够通过文字骨架及其该文字骨架相邻区域之间的渐变过程保留该文字轮廓内部的纹理和色彩变化的信息，如此使得该实际文字灰度图能够准确地表示出该第一样本图像中各个文字所占区域及其周围区域之间的实际像素过渡信息。

步骤12：将第一样本图像输入第一模型，得到该第一模型输出的该第一样本图像对应的预测文字灰度图。

其中，第一模型用于针对该第一模型的输入图像进行文字灰度图预测。另外，本申请实施例不限定第一模型，例如，第一模型可以是一种基于卷积神经网络的深度学习模型。

预测文字灰度图用于表示第一样本图像中各个文字所占区域及其周围区域之间的预测像素过渡信息。

基于步骤12的相关内容可知，在获取到第一样本图像(或者，对第一模型完成一次更新)之后，可以将第一样本图像输入第一模型，以使该第一模型针对该第一样本图像进行文字灰度图预测，得到并输出该第一样本图像对应的预测文字灰度图，以使该预测文字灰度图能够表示出第一样本图像中各个文字所占区域及其周围区域之间的预测像素过渡信息，以便后续能够依据该预测文字灰度图，确定该第一模型的预测性能。

步骤13：判断是否达到第一停止条件，若是，则执行步骤15；若否，则执行步骤14。

第一停止条件可以预先设定；而且本申请实施例不限定第一停止条件，例如，第一停止条件可以为第一模型的损失值低于第一差距阈值，也可以为第一模型的损失值的变化率低于第一变化率阈值(也就是，第一模型达到收敛)，还可以是第一模型的更新次数高于第一次数阈值。

其中，第一模型的损失值可以根据第一样本图像对应的预测文字灰度图与该第一样本图像对应的实际文字灰度图之间的差距确定；而且本申请实施例不限定第一模型的损失值的计算方式。

基于上述步骤13的相关内容可知，对于当前轮的第一模型来说，在获取到当前轮的第一模型之后，可以判断当前轮的第一模型是否达到第一停止条件，若达到第一停止条件，则表示当前轮的第一模型具有较好的预测性能，故可以直接根据当前轮的第一模型，构建文字灰度图生成模型，以使构建好的文字灰度图生成模型与该当前轮的第一模型具有相同的预测性能；若未达到第一停止条件，则表示当前轮的第一模型的预测性能仍然较差，故可以依据第一样本图像对应的预测文字灰度图以及实际文字灰度图对第一模型进行更新，以使更新后的第一模型具有更好的预测性能。

步骤14：根据第一样本图像对应的预测文字灰度图和该第一样本图像对应的实际文字灰度图，更新第一模型，并返回执行步骤12。

本申请实施例中，在确定当前轮的第一模型未达到第一停止条件之后，可以根据第一样本图像对应的预测文字灰度图和该第一样本图像对应的实际文字灰度图，更新第一模型，以使更新后的第一模型具有更好的预测性能，从而可以继续返回执行步骤12及其后续步骤。需要说明的是，本申请实施例不限定第一模型的更新过程。

步骤15：根据第一模型，确定文字灰度图生成模型。

本申请实施例中，在确定当前轮的第一模型达到第一停止条件之后，可以根据该当前轮的第一模型，确定文字灰度图生成模型(例如，直接将当前轮的第一模型，确定为文字灰度图生成模型。又如，可以根据当前轮的第一模型的模型结构以及模型参数，构建文字灰度图生成模型，以使该文字灰度图生成模型的模型结构以及模型参数分别与当前轮的第一模型的模型结构以及模型参数相同)，以使该文字灰度图生成模型与该当前轮的第一模型具有相同的预测性能，从而使得该文字灰度图生成模型也具有较好的预测性能。

基于上述步骤11至步骤15的相关内容可知，在获取到第一样本图像和该第一样本图像对应的实际文字灰度图之后，可以依据该第一样本图像及其对应的实际文字灰度图，构建文字灰度图生成模型，以使构建好的文字灰度图生成模型能够针对一个图像对应的文字灰度图进行准确地预测，以便后续能够利用构建好的文字灰度图生成模型进行文字灰度图预测。

另外，待修复图像对应的文字灰度图用于表示待修复图像中文字所占区域及其周围区域之间的像素过渡信息。

基于上述S2的相关内容可知，在获取到待修复图像(例如，图2所示的图像)之后，可以将该待修复图像输入至预先构建的文字灰度图生成模型中，以使该文字灰度图生成模型针对该待修复图像进行文字灰度图预测，得到并输出该待修复图像对应的文字灰度图(例如，图4所示的灰度图)，以使该待修复图像对应的文字灰度图能够准确地表示出该待修复图像中文字所占区域及其周围区域之间的像素过渡信息。

S3：根据待修复图像、该待修复图像对应的文字灰度图和预先构建的图像修复模型，确定该待修复图像对应的修复后图像。

其中，待修复图像对应的修复后图像是由图像修复模型针对该待修复图像中至少一个文字遮挡区域进行修复得到的。

图像修复模型具有图像修复功能；而且本申请实施例不限定图像修复模型，例如，该图像修复模型可以是一种基于卷积神经网络的深度学习模型。

另外，图像修复模型是根据第二样本图像、该第二样本图像对应的文字灰度图和该第二样本图像对应的原图构建的；而且本申请实施例不限定图像修复模型的构建过程，为了便于理解，下面结合两种可能的实施方式进行说明。

在第一种可能的实施方式中，图像修复模型的构建过程，具体可以包括步骤41-步骤45：

步骤41：获取第二样本图像、该第二样本图像对应的文字灰度图和该第二样本图像对应的原图。

其中，第二样本图像是指构建图像修复模型时所需使用的图像。另外，本申请实施例不限定第二样本图像的获取方式。

第二样本图像对应的文字灰度图用于表示该第二样本图像中文字所占区域及其周围区域之间的像素过渡信息。另外，本申请实施例不限定第二样本图像对应的文字灰度图的获取方式，例如，第二样本图像对应的文字灰度图可以由上文“文字灰度图生成模型”针对该第二样本图像进行文字灰度图预测得到。又如，第二样本图像对应的文字灰度图也可以利用上文步骤21-步骤23进行获取，只需将上文步骤21-步骤23中“第一样本图像”替换为“第二样本图像”即可。

第二样本图像对应的原图可以是指不存在文字遮挡区域的第二样本图像，以使该第二样本图像对应的原图可以用于表示该第二样本图像对应的理想的修复后图像；而且本申请实施例不限定第二样本图像对应的原图的获取方式。例如，若第二样本图像是通过向预设样本原图添加文字获取的，则该第二样本图像对应的原图可以是指该预设样本原图。其中，预设样本原图中不存在待修复区域(如，文字遮挡部分)。

步骤42：将第二样本图像和该第二样本图像对应的文字灰度图输入第二模型，得到该第二模型输出的该第二样本图像对应的第一修复图像。

其中，第二模型具有图像修复功能；而且本申请实施例不限定第二模型，例如，第二模型可以是一种基于卷积神经网络的深度学习模型。

第一修复图像是指由第二模型针对第二样本图像进行图像修复处理得到的修复后图像。

基于上述步骤42的相关内容可知，在获取到第二样本图像(或者对第二模型完成一次更新)之后，可以将第二样本图像输入至第二模型，以使该第二模型能够依据该第二样本图像及其对应的文字灰度图携带的信息，对该第二样本图像进行图像修复处理，得到并输出该第二样本图像对应的第一修复图像，以便后续能够基于该第一修复图像，确定该第二模型的图像修复性能。

步骤43：判断是否达到第二停止条件，若是，则执行步骤45；若否，则执行步骤44。

第二停止条件可以预先设定；而且本申请实施例不限定第二停止条件，例如，第二停止条件可以为第二模型的损失值低于第二差距阈值，也可以为第二模型的损失值的变化率低于第二变化率阈值(也就是，第二模型达到收敛)，还可以是第二模型的更新次数高于第二次数阈值。

其中，第二模型的损失值可以根据第二样本图像对应的第一修复图像与该第二样本图像对应的原图之间的差距确定；而且本申请实施例不限定第二模型的损失值的计算方式。

基于上述步骤43的相关内容可知，对于当前轮的第二模型来说，在获取到当前轮的第二模型之后，可以判断当前轮的第二模型是否达到第二停止条件，若达到第二停止条件，则表示当前轮的第二模型具有较好的图像修复性能，故可以直接根据当前轮的第二模型，构建图像修复模型，以使构建好的图像修复模型与该当前轮的第二模型具有相同的图像修复性能；若未达到第二停止条件，则表示当前轮的第二模型的图像修复性能仍然较差，故可以依据第二样本图像对应的第一修复图像以及实际修复后图像对第二模型进行更新，以使更新后的第二模型具有更好的图像修复性能。

步骤44：根据第二样本图像对应的第一修复图像和该第二样本图像对应的原图，更新第二模型，并返回执行步骤42。

本申请实施例中，在确定当前轮的第二模型未达到第二停止条件之后，可以根据第二样本图像对应的第一修复图像和该第二样本图像对应的原图，更新第二模型，以使更新后的第二模型具有更好的图像修复性能，从而可以继续返回执行步骤42及其后续步骤。需要说明的是，本申请实施例不限定第二模型的更新过程。

步骤45：根据第二模型，确定图像修复模型。

本申请实施例中，在确定当前轮的第二模型达到第二停止条件之后，可以根据该当前轮的第二模型，确定图像修复模型(例如，直接将当前轮的第二模型，确定为图像修复模型。又如，可以根据当前轮的第二模型的模型结构以及模型参数，构建图像修复模型，以使该图像修复模型的模型结构以及模型参数分别与当前轮的第二模型的模型结构以及模型参数相同)，如此使得该图像修复模型与该当前轮的第二模型具有相同的预测性能，从而使得该图像修复模型也具有较好的预测性能。

基于上述步骤41至步骤45的相关内容可知，在获取到第二样本图像、该第二样本图像对应的文字灰度图和该第二样本图像对应的原图之后，可以直接利用第二样本图像、该第二样本图像对应的文字灰度图和该第二样本图像对应的原图，构建图像修复模型，以使构建好的图像修复模型能够依据一个图像及其对应的文字灰度图对该图像进行准确地图像修复，以使该图像对应的修复后图像中被修复区域与其周围区域之间不存在像素值突变。

在第二种可能的实施方式中，图像修复模型的构建过程，具体可以包括步骤51-步骤56：

步骤51：获取第二样本图像、该第二样本图像对应的文字灰度图和该第二样本图像对应的原图。

需要说明的是，步骤51的相关内容请参见上文步骤41的相关内容。

步骤52：根据第二样本图像和该第二样本图像对应的文字灰度图，生成该第二样本图像对应的特征图。

其中，第二样本图像对应的特征图是指针对第二样本图像和该第二样本图像对应的文字灰度图进行图像融合得到的融合图，以使该第二样本图像对应的特征图用于表示第二样本图像和该第二样本图像对应的文字灰度图携带的信息。

另外，本申请实施例不限定第二样本图像对应的特征图的生成方式，可以采用现有的或者未来出现的任一图像融合方法进行实施。例如，可以将第二样本图像和该第二样本图像对应的文字灰度图进行合并，得到该第二样本图像对应的特征图，以使该第二样本图像对应的特征图的图像通道个数等于该第二样本图像的图像通道个数与该第二样本图像对应的文字灰度图的图像通道个数之和。

也就是，如果第二样本图像的图像通道个数为3(也就是，第二样本图像属于三维图像)且该第二样本图像对应的文字灰度图的通道个数为1(也就是，第二样本图像对应的文字灰度图属于一维图像)，则该第二样本图像对应的特征图的图像通道个数为4(也就是，该第二样本图像对应的特征图属于四维图像)。

基于上述步骤52的相关内容可知，在获取到第二样本图像和该第二样本图像对应的文字灰度图之后，可以将该第二样本图像和该第二样本图像对应的文字灰度图进行图像融合，得到该第二样本图像对应的特征图，以使该第二样本图像对应的特征图能够准确地表示出该第二样本图像及其对应的文字灰度图携带的信息。

步骤53：将第二样本图像对应的特征图输入第三模型，得到该第三模型输出的该第二样本图像对应的第二修复图像。

其中，第三模型具有图像修复功能；而且本申请实施例不限定第三模型，例如，第三模型可以是一种基于卷积神经网络的深度学习模型。

第二修复图像是指由第三模型针对第二样本图像进行图像修复处理得到的修复后图像。

基于上述步骤53的相关内容可知，在获取到第二样本图像对应的特征图(或者对第三模型完成一次更新)之后，可以将第二样本图像对应的特征图输入至第三模型，以使该第三模型能够依据该第二样本图像对应的特征图携带的信息，对该第二样本图像进行图像修复处理，得到并输出该第二样本图像对应的第二修复图像，以便后续能够基于该第二修复图像，确定该第三模型的图像修复性能。

步骤54：判断是否达到第三停止条件，若是，则执行步骤56；若否，则执行步骤55。

第三停止条件可以预先设定；而且本申请实施例不限定第三停止条件，例如，第三停止条件可以为第三模型的损失值低于第三差距阈值，也可以为第三模型的损失值的变化率低于第三变化率阈值(也就是，第三模型达到收敛)，还可以是第三模型的更新次数高于第三次数阈值。

其中，第三模型的损失值可以根据第二样本图像对应的第二修复图像与该第二样本图像对应的原图之间的差距确定；而且本申请实施例不限定第三模型的损失值的计算方式。

基于上述步骤54的相关内容可知，对于当前轮的第三模型来说，在获取到当前轮的第三模型之后，可以判断当前轮的第三模型是否达到第三停止条件，若达到第三停止条件，则表示当前轮的第三模型具有较好的图像修复性能，故可以直接根据当前轮的第三模型，构建图像修复模型，以使构建好的图像修复模型与该当前轮的第三模型具有相同的图像修复性能；若未达到第三停止条件，则表示当前轮的第三模型的图像修复性能仍然较差，故可以依据第二样本图像对应的第二修复图像以及实际修复后图像对第三模型进行更新，以使更新后的第三模型具有更好的图像修复性能。

步骤55：根据第二样本图像对应的第二修复图像和该第二样本图像对应的原图，更新第三模型，并返回执行步骤53。

本申请实施例中，在确定当前轮的第三模型未达到第三停止条件之后，可以根据第二样本图像对应的第二修复图像和该第二样本图像对应的原图，更新第三模型，以使更新后的第三模型具有更好的图像修复性能，从而可以继续返回执行步骤53及其后续步骤。需要说明的是，本申请实施例不限定第三模型的更新过程。

步骤56：根据第三模型，确定图像修复模型。

本申请实施例中，在确定当前轮的第三模型达到第三停止条件之后，可以根据该当前轮的第三模型，确定图像修复模型(例如，直接将当前轮的第三模型，确定为图像修复模型。又如，可以根据当前轮的第三模型的模型结构以及模型参数，构建图像修复模型，以使该图像修复模型的模型结构以及模型参数分别与当前轮的第三模型的模型结构以及模型参数相同)，如此使得该图像修复模型与该当前轮的第三模型具有相同的预测性能，从而使得该图像修复模型也具有较好的预测性能。

基于上述步骤51至步骤56的相关内容可知，在获取到第二样本图像、该第二样本图像对应的文字灰度图和该第二样本图像对应的原图之后，可以先将该第二样本图像和该第二样本图像对应的文字灰度图进行图像融合，得到该第二样本图像对应的特征图；再利用该第二样本图像对应的特征图和该第二样本图像对应的原图，构建图像修复模型，以使构建好的图像修复模型能够依据一个图像及其对应的文字灰度图对该图像进行准确地图像修复，以使该图像对应的修复后图像中被修复区域与其周围区域之间不存在像素值突变。

另外，待修复图像对应的修复后图像是指由预先构建的图像修复模型针对该待修复图像进行图像修复后得到的图像。例如，若待修复图像为图2所示的图像，则该待修复图像对应的修复后图像可以是图5所示的图像。

此外，本申请实施例不限定待修复图像对应的修复后图像的确定过程(也就是，S3的实施方式)，为了便于理解，下面结合两个示例进行说明。

示例1，若图像修复模型是直接利用第二样本图像、该第二样本图像对应的文字灰度图和该第二样本图像对应的原图进行构建的(如上述步骤41-步骤45)，则S3具体可以包括：将待修复图像和该待修复图像对应的文字灰度图输入该图像修复模型，得到该图像修复模型输出的该待修复图像对应的修复后图像。

示例2，若图像修复模型是利用第二样本图像对应的特征图和该第二样本图像对应的原图进行构建的(如上述步骤51-步骤56)，则S3具体可以包括S31-S32：

S31：根据待修复图像和该待修复图像对应的文字灰度图，生成该待修复图像对应的特征图。

其中，待修复图像对应的特征图是指针对该待修复图像和该待修复图像对应的文字灰度图进行图像融合得到的融合图。

另外，待修复图像对应的特征图的生成方式可以采用上文步骤52的任一实施方式进行实施，只需将上文步骤52中“第二样本图像”替换为“待修复图像”即可。为了便于理解，下面结合示例进行说明。

作为示例，S31具体可以包括：将待修复图像和该待修复图像对应的文字灰度图进行合并，得到该待修复图像对应的特征图，以使该待修复图像对应的特征图的图像通道个数等于该待修复图像的图像通道个数与该待修复图像对应的文字灰度图的图像通道个数之和。

基于上述步骤31的相关内容可知，在获取到待修复图像对应的文字灰度图之后，可以将该待修复图像及其对应的文字灰度图进行图像融合，得到该待修复图像对应的特征图，以使该待修复图像对应的特征图能够准确地表示出该待修复图像及其对应的文字灰度图携带的信息，以便后续能够基于该待修复图像对应的特征图进行图像修复。

S32：将待修复图像对应的特征图输入预先构建的图像修复模型，得到该图像修复模型输出的该待修复图像对应的修复后图像。

本申请实施例中，在获取到待修复图像对应的特征图之后，可以将该待修复图像对应的特征图输入预先构建的(例如，利用上文步骤51-步骤56构建的)图像修复模型，以使该图像修复模型依据该待修复图像对应的特征图携带的信息，对该待修复图像进行图像修复，得到并输出该待修复图像对应的修复后图像，以使该待修复图像对应的修复后图像中被修复区域与其周围区域之间不存在像素值突变。

基于上述S1至S3的相关内容可知，对于本申请实施例提供的图像修复方法来说，在获取到待修复图像之后，先将该待修复图像输入预先构建的文字灰度图生成模型，得到该文字灰度图生成模型输出的该待修复图像对应的文字灰度图；再根据该待修复图像、该待修复图像对应的文字灰度图和预先构建的图像修复模型，确定该待修复图像对应的修复后图像。

其中，因文字灰度图生成模型是根据第一样本图像和该第一样本图像对应的实际文字灰度图构建的，使得该文字灰度图生成模型能够针对待修复图像准确地确定出该待修复图像对应的文字灰度图，以使该文字灰度图能够准确地表示出该待修复图像中待修复区域与其周围区域之间的像素过渡信息，从而使得基于该文字灰度图生成的修复后图像中被修复区域与其周围区域之间不存在像素值突变，如此能够有效地避免因修复后图像中被修复区域与其周围区域之间存在像素值突变而导致的失真现象，从而能够有效地提高图像修复效果。

方法实施例二

在一些情况下，用户只希望针对待修复图像的一部分区域进行修复，故为了满足该用户需求，本申请实施例还提供了图像修复方法的一种可能的实施方式，在该实施方式中，该图像修复方法可以包括步骤61-步骤65：

步骤61：获取待修复图像。

步骤62：将待修复图像输入预先构建的文字灰度图生成模型，得到该文字灰度图生成模型输出的该待修复图像对应的文字灰度图。

需要说明的是，步骤61-步骤62的相关内容请分别参见上文S1-S2。

步骤63：获取用户指定的目标修复区域。

其中，目标修复区域是指由用户针对待修复图像指定的需要进行图像修复的区域。

另外，本申请实施例不限定目标修复区域的表示方式，例如，若目标修复区域为多边形，则可以利用该目标修复区域的顶点坐标表示该目标修复区域。

此外，本申请实施例不限定目标修复区域的获取方式，例如，可以借助人机交互方式获取由用户指定的该目标修复区域。

需要说明的是，本申请实施例不限定步骤63的执行时间，只需在执行步骤64之前完成执行即可。

步骤64：根据目标修复区域和待修复图像对应的文字灰度图，确定该待修复图像对应的目标灰度图。

其中，待修复图像对应的目标灰度图用于表示该待修复图像中目标修复区域内文字所占区域及其周围区域之间的像素过渡信息。

另外，本申请实施例不限定步骤64的实施方式，为了便于理解，下面结合两种可能的实施方式进行说明。

在一种可能的实施方式下，步骤64具体可以包括：利用目标修复区域对待修复图像对应的文字灰度图进行筛选处理，得到该待修复图像对应的目标灰度图。

需要说明的是，本申请实施例不限定上文“筛选处理”的实施方式，例如，可以直接将待修复图像对应的文字灰度图中除了目标区域以外的所有位置均设置为预设像素值。又如，可以先根据目标修复区域，构建该目标修复区域对应的区域筛选权重矩阵，以使在该区域筛选权重矩阵中目标修复区域内各个位置对应的权重均是第一数值(如1)，且除了目标修复区域以外的所有位置均是第二数值(如0)；再利用该目标修复区域对应的区域筛选权重矩阵，对待修复图像对应的文字灰度图进行加权处理，得到该待修复图像对应的目标灰度图。

可见，在获取到目标修复区域和待修复图像对应的文字灰度图之后，可以直接利用目标修复区域对该文字灰度图中文字区域进行筛选处理，得到该待修复图像对应的目标灰度图，以使该目标灰度图只用于记录待修复图像中目标修复区域内文字所占区域及其周围区域之间的像素过渡信息。

在另一种可能的实施方式下，步骤64具体可以包括步骤641-步骤643：

步骤641：将待修复图像输入预先构建的文字位置检测模型，得到该文字位置检测模型输出的该待修复图像对应的文字位置。

其中，文字位置检测模型用于针对该文字位置检测模型的输入图像进行文字位置检测。其中，文字位置用于表示一个图像中文字在该图像内所处位置。

另外，本申请实施例不限定文字位置检测模型，例如，文字位置检测模型可以是一种基于卷积神经网络的深度学习模型。

此外，文字位置检测模型是根据第三样本图像和该第三样本图像对应的实际文字位置构建的；而且，本申请实施例不限定文字位置检测模型的构建过程，为了便于理解，下面结合示例进行说明。

作为示例，文字位置检测模型的构建过程，具体可以包括步骤71-步骤75：

步骤71：获取第三样本图像和该第三样本图像对应的实际文字位置。

其中，第三样本图像是指构建文字位置检测模型时所需使用的图像。另外，本申请实施例不限定第三样本图像的获取过程。

第三样本图像对应的实际文字位置用于表示该第三样本图像中各个文字在该第三样本图像内实际所处位置。另外，本申请实施例不限定第三样本图像对应的实际文字位置的获取方式，例如，可以通过人工标注的方式进行实施。

步骤72：将第三样本图像输入第四模型，得到该第四模型输出的该第三样本图像对应的预测文字位置。

其中，第四模型用于对该第四模型的输入图像进行文字位置预测。另外，本申请实施例不限定第四模型，例如，第四模型可以是一种基于卷积神经网络的深度学习模型。

第三样本图像对应的预测文字位置用于表示该第三样本图像中文字在该第三样本图像内预测所处位置。

基于上述步骤72的相关内容可知，在获取到第三样本图像(或者，对第四模型完成一次更新)之后，可以将第三样本图像输入第四模型，以使该第四模型针对该第三样本图像进行文字位置预测，得到并输出该第三样本图像对应的预测文字位置，以便后续能够基于该第三样本图像对应的预测文字位置，确定该第四模型的预测性能。

步骤73：判断是否达到第四停止条件，若是，则执行步骤75；若否，则执行步骤74。

第四停止条件可以预先设定；而且本申请实施例不限定第四停止条件，例如，第四停止条件可以为第四模型的损失值低于第四差距阈值，也可以为第四模型的损失值的变化率低于第四变化率阈值(也就是，第四模型达到收敛)，还可以是第四模型的更新次数高于第四次数阈值。

其中，第四模型的损失值可以根据第三样本图像对应的预测文字位置与该第三样本图像对应的实际文字位置之间的差距确定；而且本申请实施例不限定第四模型的损失值的计算方式。

基于上述步骤73的相关内容可知，对于当前轮的第四模型来说，在获取到当前轮的第四模型之后，可以判断当前轮的第四模型是否达到第四停止条件，若达到第四停止条件，则表示当前轮的第四模型具有较好的预测性能，故可以直接根据当前轮的第四模型，构建文字位置检测模型，以使构建好的文字位置检测模型与该当前轮的第四模型具有相同的预测性能；若未达到第四停止条件，则表示当前轮的第四模型的预测性能仍然较差，故可以依据第三样本图像对应的预测文字位置以及实际文字位置对第四模型进行更新，以使更新后的第四模型具有更好的预测性能。

步骤74：根据第三样本图像对应的预测文字位置和该第三样本图像对应的实际文字位置，更新第四模型，并返回执行步骤72。

本申请实施例中，在确定当前轮的第四模型未达到第四停止条件之后，可以根据第三样本图像对应的预测文字位置和该第三样本图像对应的实际文字位置，更新第四模型，以使更新后的第四模型具有更好的预测性能，从而可以继续返回执行步骤72及其后续步骤。需要说明的是，本申请实施例不限定第四模型的更新过程。

步骤75：根据第四模型，确定文字位置检测模型。

本申请实施例中，在确定当前轮的第四模型达到第四停止条件之后，可以根据该当前轮的第四模型，确定文字位置检测模型(例如，直接将当前轮的第四模型，确定为文字位置检测模型。又如，可以根据当前轮的第四模型的模型结构以及模型参数，构建文字位置检测模型，以使该文字位置检测模型的模型结构以及模型参数分别与当前轮的第四模型的模型结构以及模型参数相同)，以使该文字位置检测模型与该当前轮的第四模型具有相同的预测性能，从而使得文字位置检测模型也具有较好的预测性能。

基于上述步骤71至步骤75的相关内容可知，在获取到第三样本图像和该第三样本图像对应的实际文字位置之后，可以依据该第三样本图像和该第三样本图像对应的实际文字位置，构建文字位置检测模型，以使构建好的文字位置检测模型能够针对一个图像中文字位置进行准确地预测，以便后续能够利用构建好的文字位置检测模型进行文字位置预测。

另外，待修复图像对应的文字位置用于表示该待修复图像中文字在该待修复图像内所处位置；而且本申请实施例不限定待修复图像对应的文字位置的表示方式，例如，若待修复图像为图2所示的图像，则该待修复图像对应的文字位置可以利用图6中矩形框进行表示。

基于上述步骤641的相关内容可知，在获取到待修复图像之后，可以将该待修复图像输入预先构建的文字位置检测模型，以使该文字位置检测模型针对该待修复图像进行文字位置预测，得到并输出该待修复图像对应的文字位置，以使该待修复图像对应的文字位置能够准确地表示出该待修复图像中文字在该待修复图像内所处位置。

步骤642：根据目标修复区域和待修复图像对应的文字位置，确定待修复图像对应的待修复位置。

其中，待修复图像对应的待修复位置用于表示待修复图像中目标修复区域内的文字所处位置。

本申请实施例中，在获取到目标修复区域和待修复图像对应的文字位置之后，可以将待修复图像对应的文字位置中属于目标修复区域内的文字位置，确定为待修复图像对应的待修复位置，以使该待修复图像对应的待修复位置能够准确地表示出该待修复图像中目标修复区域内的文字所处位置。

步骤643：根据待修复图像对应的待修复位置和该待修复图像对应的文字灰度图，确定待修复图像对应的目标灰度图。

本申请实施例中，在获取到待修复图像对应的待修复位置之后，可以利用该待修复位置对该待修复图像对应的文字灰度图中文字位置进行位置筛选，得到该待修复图像对应的目标灰度图，以使该目标灰度图只用于表示待修复图像中目标修复区域内文字所占区域及其周围区域之间的像素过渡信息。

需要说明的是，本申请实施例不限定上文“位置筛选”的实施方式，例如，可以直接将待修复图像对应的文字灰度图中除了待修复图像对应的待修复位置以外的所有位置均设置为预设像素值。又如，可以先根据待修复图像对应的待修复位置，构建该待修复位置对应的位置筛选权重矩阵，以使在该位置筛选权重矩阵中待修复图像对应的待修复位置对应的权重均是第一数值(如1)，且除了待修复图像对应的待修复位置以外的所有位置均是第二数值(如0)；再利用该待修复位置对应的位置筛选权重矩阵，对待修复图像对应的文字灰度图进行加权处理，得到该待修复图像对应的目标灰度图。

基于上述步骤64的相关内容可知，在获取到目标修复区域和待修复图像对应的文字灰度图之后，可以利用该目标修复区域和该待修复图像对应的文字灰度图，确定该待修复图像对应的目标灰度图，以使该目标灰度图能够准确地表示出该待修复图像中用户希望进行图像修复的待修复区域在该待修复图像内所处位置。

步骤65：根据待修复图像、该待修复图像对应的目标灰度图和预先构建的图像修复模型，确定该待修复图像对应的修复后图像。

需要说明的是，步骤65可以采用上文S3的任一实施方式进行实施，只需将上文S3中“待修复图像对应的文字灰度图”替换为“待修复图像对应的目标灰度图”即可。

基于上述步骤61至步骤65的相关内容可知，在一些情况下，可以依据用户指定的修复区域对待修复图像进行图像修复，以使修复好的图像能够满足该用户的修复需求，如此有利于提高图像修复的灵活性。

基于上述方法实施例提供的图像修复方法，本申请实施例还提供了一种图像修复装置，下面结合附图进行解释和说明。

装置实施例

装置实施例提供的图像修复装置的技术详情，请参照上述方法实施例。

参见图7，该图为本申请实施例提供的一种图像修复装置的结构示意图。

本申请实施例提供的图像修复装置700，包括：

图像获取单元701，用于获取待修复图像；

灰度图生成单元702，用于将所述待修复图像输入预先构建的文字灰度图生成模型，得到所述文字灰度图生成模型输出的所述待修复图像对应的文字灰度图；其中，所述文字灰度图生成模型是根据第一样本图像和所述第一样本图像对应的实际文字灰度图构建的；

图像修复单元703，用于根据所述待修复图像、所述待修复图像对应的文字灰度图和预先构建的图像修复模型，确定所述待修复图像对应的修复后图像；其中，所述待修复图像对应的修复后图像是由所述图像修复模型针对所述待修复图像中至少一个文字遮挡区域进行修复得到的。

在一种可能的实施方式中，所述第一样本图像对应的实际文字灰度图的获取过程，包括：

获取至少一个像素阈值；

根据所述至少一个像素阈值和所述第一样本图像，生成至少一个像素提取图；

将所述至少一个像素提取图进行加权求和，得到所述第一样本图像对应的实际文字灰度图，以使所述实际文字灰度图中任一文字的文字骨架及其文字轮廓之间的区域呈像素渐变状态。

在一种可能的实施方式中，所述图像修复单元703，具体用于：

将所述待修复图像和所述待修复图像对应的文字灰度图输入预先构建的图像修复模型，得到所述图像修复模型输出的所述待修复图像对应的修复后图像；

在一种可能的实施方式中，所述图像修复单元703，包括：

特征图生成子单元，用于根据所述待修复图像和所述待修复图像对应的文字灰度图，生成所述待修复图像对应的特征图；

修复子单元，用于将所述待修复图像对应的特征图输入预先构建的图像修复模型，得到所述图像修复模型输出的所述待修复图像对应的修复后图像。

在一种可能的实施方式中，所述特征图生成子单元，具体用于：

将所述待修复图像和所述待修复图像对应的文字灰度图进行合并，得到所述待修复图像对应的特征图，以使所述待修复图像对应的特征图的图像通道个数等于所述待修复图像的图像通道个数与所述待修复图像对应的文字灰度图的图像通道个数之和。

在一种可能的实施方式中，所述图像修复装置700还包括：

目标获取单元，用于获取用户指定的目标修复区域；

灰度图确定单元，用于根据所述目标修复区域和所述待修复图像对应的文字灰度图，确定所述待修复图像对应的目标灰度图；

所述图像修复单元703，具体用于：

根据所述待修复图像、所述待修复图像对应的目标灰度图和预先构建的图像修复模型，确定所述待修复图像对应的修复后图像。

在一种可能的实施方式中，所述灰度图确定单元，具体用于：

将所述待修复图像输入预先构建的文字位置检测模型，得到所述文字位置检测模型输出的所述待修复图像对应的文字位置；其中，所述文字位置检测模型是根据第三样本图像和所述第三样本图像对应的实际文字位置构建的；

根据所述目标修复区域和所述待修复图像对应的文字位置，确定所述待修复图像对应的待修复位置；

根据所述待修复图像对应的待修复位置和所述待修复图像对应的文字灰度图，确定所述待修复图像对应的目标灰度图。

基于上述图像修复装置700的相关内容可知，在获取到待修复图像之后，先将该待修复图像输入预先构建的文字灰度图生成模型，得到该文字灰度图生成模型输出的该待修复图像对应的文字灰度图；再根据该待修复图像、该待修复图像对应的文字灰度图和预先构建的图像修复模型，确定该待修复图像对应的修复后图像。

其中，因文字灰度图生成模型是根据第一样本图像和该第一样本图像对应的实际文字灰度图构建的，使得该文字灰度图生成模型能够针对待修复图像准确地确定出该待修复图像对应的文字灰度图，以使该文字灰度图能够准确地表示出该待修复图像中待修复区域与其周围区域之间的像素过渡信息，从而使得基于该文字灰度图生成的修复后图像中被修复区域与其周围区域之间不存在像素值突变，如此能够有效地避免因修复后图像中被修复区域与其周围区域之间存在像素值突变而导致的失真现象，从而能够有效地提高图像修复效果。

进一步地，本申请实施例还提供了一种设备，所述设备包括处理器以及存储器：

所述存储器用于存储计算机程序；

所述处理器用于根据所述计算机程序执行本申请实施例提供的图像修复方法的任一实施方式。

进一步地，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行本申请实施例提供的图像修复方法的任一实施方式。

进一步地，本申请实施例还提供了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行本申请实施例提供的图像修复方法的任一实施方式。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (10)

1.一种图像修复方法，其特征在于，所述方法包括：

获取待修复图像；

将所述待修复图像输入预先构建的文字灰度图生成模型，得到所述文字灰度图生成模型输出的所述待修复图像对应的文字灰度图；其中，所述文字灰度图生成模型是根据第一样本图像和所述第一样本图像对应的实际文字灰度图构建的；对于所述文字灰度图中任一文字的文字轮廓内部，所述文字轮廓内部包括文字骨架和所述文字骨架相邻区域，所述文字骨架与所述文字骨架相邻区域之间呈渐变状态；

根据所述待修复图像、所述待修复图像对应的文字灰度图和预先构建的图像修复模型，确定所述待修复图像对应的修复后图像；其中，所述待修复图像对应的修复后图像是由所述图像修复模型针对所述待修复图像中至少一个文字遮挡区域进行修复得到的。

2.根据权利要求1所述的方法，其特征在于，所述第一样本图像对应的实际文字灰度图的获取过程，包括：

获取至少一个像素阈值；

根据所述至少一个像素阈值和所述第一样本图像，生成至少一个像素提取图；

将所述至少一个像素提取图进行加权求和，得到所述第一样本图像对应的实际文字灰度图，以使所述实际文字灰度图中任一文字的文字骨架及其文字轮廓之间的区域呈像素渐变状态。

3.根据权利要求1所述的方法，其特征在于，所述待修复图像对应的修复后图像的确定过程包括：

将所述待修复图像和所述待修复图像对应的文字灰度图输入预先构建的图像修复模型，得到所述图像修复模型输出的所述待修复图像对应的修复后图像；

或者，

所述待修复图像对应的修复后图像的确定过程包括：

根据所述待修复图像和所述待修复图像对应的文字灰度图，生成所述待修复图像对应的特征图；将所述待修复图像对应的特征图输入预先构建的图像修复模型，得到所述图像修复模型输出的所述待修复图像对应的修复后图像。

4.根据权利要求3所述的方法，其特征在于，所述根据所述待修复图像和所述待修复图像对应的文字灰度图，生成所述待修复图像对应的特征图，包括：

将所述待修复图像和所述待修复图像对应的文字灰度图进行合并，得到所述待修复图像对应的特征图，以使所述待修复图像对应的特征图的图像通道个数等于所述待修复图像的图像通道个数与所述待修复图像对应的文字灰度图的图像通道个数之和。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取用户指定的目标修复区域；

根据所述目标修复区域和所述待修复图像对应的文字灰度图，确定所述待修复图像对应的目标灰度图；

所述根据所述待修复图像、所述待修复图像对应的文字灰度图和预先构建的图像修复模型，确定所述待修复图像对应的修复后图像，包括：

根据所述待修复图像、所述待修复图像对应的目标灰度图和预先构建的图像修复模型，确定所述待修复图像对应的修复后图像。

6.根据权利要求5所述的方法，其特征在于，所述待修复图像对应的目标灰度图的确定过程包括：

将所述待修复图像输入预先构建的文字位置检测模型，得到所述文字位置检测模型输出的所述待修复图像对应的文字位置；其中，所述文字位置检测模型是根据第三样本图像和所述第三样本图像对应的实际文字位置构建的；

根据所述目标修复区域和所述待修复图像对应的文字位置，确定所述待修复图像对应的待修复位置；

根据所述待修复图像对应的待修复位置和所述待修复图像对应的文字灰度图，确定所述待修复图像对应的目标灰度图。

7.一种图像修复装置，其特征在于，所述装置包括：

图像获取单元，用于获取待修复图像；

灰度图生成单元，用于将所述待修复图像输入预先构建的文字灰度图生成模型，得到所述文字灰度图生成模型输出的所述待修复图像对应的文字灰度图；其中，所述文字灰度图生成模型是根据第一样本图像和所述第一样本图像对应的实际文字灰度图构建的；对于所述文字灰度图中任一文字的文字轮廓内部，所述文字轮廓内部包括文字骨架和所述文字骨架相邻区域，所述文字骨架与所述文字骨架相邻区域之间呈渐变状态；

图像修复单元，用于根据所述待修复图像、所述待修复图像对应的文字灰度图和预先构建的图像修复模型，确定所述待修复图像对应的修复后图像；其中，所述待修复图像对应的修复后图像是由所述图像修复模型针对所述待修复图像中至少一个文字遮挡区域进行修复得到的。

8.一种设备，其特征在于，所述设备包括处理器以及存储器：

所述存储器用于存储计算机程序；

所述处理器用于根据所述计算机程序执行权利要求1-6中任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-6中任一项所述的方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行权利要求1-6中任一项所述的方法。