CN117557447B - 图像还原方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及图像处理数据技术领域，公开了一种图像还原方法、装置、设备及存储介质，该方法包括：对初始形变图进行前后景分离，获得目标形变图；将目标形变图输入预设注意力网络模型，获得二维映射图；根据二维映射图和目标形变图，获得还原图。不同于现有的需要借助硬件或多张不同角度的图片进行还原的扭曲图像还原方法，本发明不需要借助硬件，可节省硬件成本；只需要一张图即可对各种复杂形变进行还原，能有效矫正图片的形变，适用范围广。同时，本发明可基于二维映射图对目标形变图进行图像还原，在保证还原精度的同时提高还原速度。

Description

图像还原方法、装置、设备及存储介质

技术领域

本发明涉及屏幕信息调节技术领域，尤其涉及一种图像还原方法、装置、设备及存储介质。

背景技术

随着信息技术的发展，文档电子化逐渐普及。文档电子化可通过拍照或扫描的方式实现，然而由于拍摄的角度、光线等原因，又或者文档本身质量的原因，拍照件与扫描件的质量会相去甚远，会出现各种诸如倾斜、透视、折叠甚至弯曲的情况。因此，如何将拍照件中的文档“抚平”或摆正还原愈发受到人们重视。

现有还原形变图像的方法有：（1）将文档表面视为圆柱体表面建模来还原的；（2）利用激光等硬件设施来辅助测量图片深度从而还原的；（3）借助多角度拍摄的多张图片来还原的，等等。但在实际运用中，方法1的前提条件繁多，不仅效率低，且适用场景少，如复杂形变（比如折叠）的文档就完全不是圆柱体表面所能模拟的；方法2需借助硬件实现，效率低且复杂度高，适用范围也小；方法3需要的拍摄图较多，而实际情况是拍摄图往往只有一张，因此也存在使用受限的情况。故而，现有图像还原方法前提条件多，适用范围窄，且处理效率低。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种图像还原方法、装置、设备及存储介质，旨在解决现有图像还原方法前提条件多，适用范围窄，且处理效率低的技术问题。

为实现上述目的，本发明提供了一种图像还原方法，所述方法包括：

对初始形变图进行前后景分离，获得目标形变图；

将所述目标形变图输入预设注意力网络模型，获得二维映射图；

根据所述二维映射图和所述目标形变图，获得还原图。

可选地，所述预设注意力网络模型包括：预设编码器和预设解码器，所述预设编码器和所述预设解码器均包括Swin-Transformer模块；所述将所述目标形变图输入预设注意力网络模型，获得二维映射图的步骤，包括：

通过所述预设编码器对所述目标形变图进行特征提取，获得多尺寸初始特征图；

通过所述预设解码器对目标特征图进行特征还原，获得中间特征图；所述目标特征图为所述多尺寸初始特征图中尺寸最小的特征图；

通过所述预设解码器对所述多尺寸初始特征图和所述中间特征图进行特征融合，获得二维映射图。

可选地，所述预设编码器包括：分块模块、位置编码模块和所述Swin-Transformer模块；所述通过所述预设编码器对所述目标形变图进行特征提取，获得多尺寸初始特征图的步骤，包括：

通过所述分块模块对所述目标形变图进行特征提取，获得初始特征图；

通过所述位置编码模块对所述初始特征图进行位置编码，获得编码特征图；

通过所述Swin-Transformer模块对所述编码特征图进行特征编码，获得多尺寸初始特征图。

可选地，所述根据所述二维映射图和所述目标形变图，获得还原图的步骤，包括：

基于所述目标形变图的原始边缘尺寸确定中间校正图；

将所述二维映射图缩放至与所述中间校正图尺寸相同，获得二维映射图；

根据所述二维映射图、所述目标形变图和所述中间校正图，获得还原图。

可选地，所述根据所述二维映射图、所述目标形变图和所述中间校正图，获得还原图的步骤，包括：

基于所述二维映射图中各点的映射值确定所述目标形变图中的源像素点，并根据所述各点的坐标值确定所述中间校正图中的目标像素点；

将所述源像素点对应的颜色值填充至所述目标像素点，获得还原图。

可选地，所述对初始形变图进行前后景分离，获得目标形变图之前，还包括：

对样本图进行反向映射，获得初始形变图；

通过预设图像集对所述初始形变图进行背景填充，获得样本形变图；

基于所述样本形变图对初始注意力网络模型进行迭代训练，获得预设注意力网络模型。

可选地，所述对样本图进行反向映射，获得初始形变图的步骤，包括：

对样本图的像素点施加形变量，并调整所述形变量的权重，获得中间标注图；

基于所述样本图和所述中间标注图，生成初始形变图。

此外，为实现上述目的，本发明还提出一种图像还原装置，所述图像还原装置包括：

背景分离模块，用于对初始形变图进行前后景分离，获得目标形变图；

映射模块，用于将所述目标形变图输入预设注意力网络模型，获得二维映射图；

还原模块，用于根据所述二维映射图和所述目标形变图，获得还原图。

此外，为实现上述目的，本发明还提出一种图像还原设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像还原程序，所述图像还原程序配置为实现如上文所述的图像还原方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有图像还原程序，所述图像还原程序被处理器执行时实现如上文所述的图像还原方法的步骤。

本发明公开了一种图像还原方法、装置、设备及存储介质，该方法包括：对初始形变图进行前后景分离，获得目标形变图；通过分块模块对目标形变图进行特征提取，获得初始特征图；通过位置编码模块对初始特征图进行位置编码，获得编码特征图；通过Swin-Transformer模块对编码特征图进行特征编码，获得多尺寸初始特征图。通过预设解码器对目标特征图进行特征还原，获得中间特征图，目标特征图为多尺寸初始特征图中尺寸最小的特征图；通过预设解码器对多尺寸初始特征图和中间特征图进行特征融合，获得二维映射图。基于目标形变图的前景边缘对目标形变图进行缩放，获得中间校正图；将二维映射图缩放至与中间校正图尺寸相同，获得二维映射图；基于二维映射图中各点的映射值确定目标形变图中的源像素点，并根据各点的坐标值确定中间校正图中的目标像素点；将源像素点对应的颜色值填充至目标像素点，获得还原图。本发明可首先对初始形变图进行过滤，获得目标形变图，再基于预设注意力网络模型图从目标形变图中获取二维映射图，最后基于二维映射图对目标形变图进行还原。不同于现有的需要借助硬件或多张不同角度的图片进行还原的扭曲图像还原方法，本发明不需要借助硬件，可节省硬件成本；只需要一张图即可对各种复杂形变进行还原，能有效矫正图片的形变，适用范围广。同时，本发明可基于二维映射图对目标形变图进行图像还原，在保证还原精度的同时提高还原速度，实现图像还原在推理速度和还原精度的平衡。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的图像还原设备的结构示意图；

图2为本发明图像还原方法第一实施例的第一流程示意图；

图3为本发明图像还原方法第一实施例的预设注意力网络模型的结构示意图；

图4为本发明图像还原方法第一实施例的第二流程示意图；

图5为本发明图像还原方法第一实施例的第三流程示意图；

图6为本发明图像还原方法第一实施例的第四流程示意图；

图7为本发明图像还原方法第一实施例的图像映射示意图；

图8为本发明图像还原方法第一实施例的图像还原示意图；

图9为本发明图像还原方法第二实施例的第一流程示意图；

图10为本发明图像还原方法第二实施例的形变过程示意图；

图11为本发明图像还原方法第二实施例的第二流程示意图；

图12为本发明图像还原方法第二实施例的反向映射过程示意图；

图13为本发明图像还原方法第二实施例的形变程度示意图；

图14为本发明图像还原装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的图像还原设备结构示意图。

如图1所示，该图像还原设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM），也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对图像还原设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及图像还原程序。

在图1所示的图像还原设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明图像还原设备中的处理器1001、存储器1005可以设置在图像还原设备中，所述图像还原设备通过处理器1001调用存储器1005中存储的图像还原程序，并执行本发明实施例提供的图像还原方法。

本发明实施例提供了一种图像还原方法，参照图2，图2为本发明图像还原方法第一实施例的第一流程示意图。

本实施例中，所述图像还原方法包括以下步骤：

步骤S10：对初始形变图进行前后景分离，获得目标形变图；

需要说明的是，本实施例方法的执行主体可以是具有数据处理、网络通信以及程序运行功能的计算服务设备，例如手机、电视机、平板电脑、个人电脑等，还可以是能够实现相同或相似功能的其他电子设备。此处以上述图像还原设备（简称还原设备）对本实施例和下述各实施例提供的图像还原方法进行具体说明。

可以理解的是，初始形变图可以是经过拍摄后由于光线等原因发生形变的图片或图像的任意一帧，因此，初始形变图中除了待还原的文档内容外，可能还存在背景等干扰因素。为提高后续的图像还原效果，本实施例可对初始形变图进行前后景分离，将初始形变图中的背景剥离，只剩下包含文档内容的目标形变图。该前后景分离的过程可以是，将初始形变图输入进行前处理的语音分割二分类CNN（Convolutional Neural Networks，卷积神经网络），CNN网络再输出将背景掩码的图片，即目标形变图。

步骤S20：将所述目标形变图输入预设注意力网络模型，获得二维映射图；

需要理解的是，本实施例中，上述预设注意力网络模型包括：预设编码器和预设解码器，预设编码器和预设解码器均包括Swin-Transformer模块。具体地，本实施例采用的预设注意力网络模型的结构可以是Swin-Unet，一种基于注意力机制的深度学习神经网络模型，其结构如图3所示，图3为本发明图像还原方法第一实施例的预设注意力网络模型的结构示意图，图3中的Encoder为预设编码器，Decoder为预设解码器，本实施例中预设注意力网络模型是基于Swin-Transformer和Unet的变形，该预设注意力网络模型保持了Unet的Encoder-Decoder（编码器-解码器）的对称的U型结构，但其左半边的Encoder结构就是Swin-Transformer，右半边是一个对称的Decoder结构，可以看做是一个反向的Swin-Transformer。因此，本实施例中，上述预设编码器和预设解码器均包括Swin-Transformer模块。

需要说明的是，本实施例提出的Swin-Unet与Unet最大的区别就是预设编码器和预设解码器中间层的组成由卷积层变换为了基于注意力的Swin-Transformer Block（神经网络块），其原因在于卷积层感受野较小，局部信息难以互相联系，缺乏对整体的关注。因此，本实施例将预设编码器和预设解码器中间层的组成替换为基于注意力的Swin-Transformer Block后，通过Swin-Transformer Block处理后的图像可强化各向量之间的联系，其“感受野”相较于卷积大得多，且序列中任意距离的两个向量之间都能相互产生联系，因此相较于现有的Unet网络结构，本实施例提出的预设注意力网络模型可以更好的获取扭曲图像的图像信息。

具体地，作为一种可实施方式，如图4所示，图4为本发明图像还原方法第一实施例的第二流程示意图，本实施例中，步骤S20包括：

步骤S21：通过所述预设编码器对所述目标形变图进行特征提取，获得多尺寸初始特征图；

需要说明的是，预设注意力网络模型输入为一张具有形变且背景被分割剥离的图，即目标形变图。预设注意力网络模型结构左侧的预设编码器可反复地对图片进行特征提取，得到多个尺寸的特征图，即上述多尺寸初始特征图；相应地，右侧的预设解码器则可反复地进行特征还原与融合，最后输出为一张backward map（简写为bm），即上述二维映射图。在获取二维映射图后，后续即可将形变图映射为一张矫正后的还原图。

可以理解的是，上述目标形变图的尺寸可为，其中，W代表width，指宽度；H代表height，指高度；3为通道数，因为是RGB格式，所以通道数可设为3。

具体地，作为一种可实施方式，所述预设编码器包括：分块模块、位置编码模块和所述Swin-Transformer模块；如图5所示，图5为本发明图像还原方法第一实施例的第三流程示意图，本实施例中，步骤S21包括：

步骤S211：通过所述分块模块对所述目标形变图进行特征提取，获得初始特征图；

步骤S212：通过所述位置编码模块对所述初始特征图进行位置编码，获得编码特征图；

步骤S213：通过所述Swin-Transformer模块对所述编码特征图进行特征编码，获得多尺寸初始特征图。

需要说明的是，图3中的patch partition（图像块分割）和Linear Embedding（线性嵌入）可为上述分块模块，其可对目标形变图做简单编码，获得初始特征图。具体地，patch partition可对目标形变图做图像块分割，一个块的大小可为（其具体大小可根据实际情况设置，本实施例对此不加限制），将其展平可得到一个长为48的向量。若将其视为基本元素的话，patch partition处理后可得到/>个基本元素，也就得到了一个/>的特征图；然后，本实施例可通过Linear Embedding做线性映射处理，具体地，在经过patch partition的初步特征提取后，本实施例可通过Linear Embedding将每一个长度48的向量分别映射为一个长度为C的向量，从而得到/>的特征图，进而获得上述初始特征图。

需要理解的是，对于上述预设注意力网络模型而言，若改变向量的输入顺序，并不会对最终输出O的值产生影响，但这并不符合实际。举例来说，若输入一个句子Q1（其每个词/字都会被编码为一个向量，再按序排列成向量序列），可得到输出O1，若改变Q1中词/字顺序，此时语义可能完全发生了变化，其输出应该完全不同，而不应该仅仅是O1里的字/词相应改变顺序而已，比如“不好吃”翻译为“It tastes bad”，而改变顺序后“好吃不”应翻译为“Does it taste good”而不是“Tastes bad it”，因此，在将初始特征图输入Swin-Transformer模块之前，本实施例还可对初始特征图进一步编码。

具体地，本实施例可通过位置编码模块基于个向量的向量顺序进行位置编码，以期改变输入向量顺序时获得完全不同的输出。本实施例可通过位置编码模块（Positional encoding）对向量的位置进行编码，编码过程与各位置上的向量无关。以最简单的线性编码为例，若序列长度为N，则编码为1、2、3...N-1、N，再将其分别映射为长为d的向量即可，最简单的，比如1表示为（1/d，1/d，...1/d），2为（2/d，2/d，...2/d），以此类推。如图3所示，本实施例可将该位置编码模块设置于Linear Embedding与Swin-Transformer模块（即图3中Swin-Transformer Block x2）之间，并根据Linear Embedding输出的初始特征图中各向量在图中的位置进行编号，再将每个编号分别映射为长为C的向量与该位置的原向量相加，最终得到加上了位置编码的/>的特征图，即上述编码特征图，从而将编码特征图输出至Swin-Transformer模块。

可以理解的是，初始特征图在经过位置编码模块处理之后可再经过至少两个Swin-Transformer模块，Swin-Transformer模块可保持输入输出尺寸保持不变，并对特征图进一步抽象编码。但除了第一个与Linear Embedding相接的Swin-Transformer模块外，后续Swin-Transformer模块的输入均可与无卷积下采样模块（即图3中的Patch Merging）连接。以图3的预设编码器的第一个Patch Merging为例，该Patch Merging可先将相邻的四个向量拼接为一个向量/>，则特征图长宽各减半，通道变为4倍，得到，再将每个长为4C的向量分别映射为2C的向量，则得到/>，相应地，Swin-Transformer模块对应输出的特征图尺寸仍为/>。之后的结构可如图3所示，都是重复的模块，具体操作本实施例对此不再赘述。因此，如图3所示，目标形变图I在预设编码器Encoder的一路操作后，可得到4个不同尺寸的特征图（/>，，/>，/>），即可获得上述多尺寸初始特征图。可理解的是，在实际情况中，多尺寸初始特征图所包含的特征图数量和各特征图的尺寸均可根据具体情况设置，本实施可对此不加限制。

步骤S22：通过所述预设解码器对目标特征图进行特征还原，获得中间特征图；所述目标特征图为所述多尺寸初始特征图中尺寸最小的特征图；

需要说明的是，如图3所示，预设编码器Encoder的最后一层输出的特征图的尺寸可为，即为上述目标特征图，也即多尺寸初始特征图中尺寸最小的特征图。可使该目标特征图该进入Bottleneck（瓶颈结构），并使Bottleneck再输出尺寸不变，仍为/>的目标特征图至预设解码器Decoder，以便后续预设解码器再对目标特征图进行一系列的特征还原，如图3右侧结构所示，预设解码器亦可获得多个不同尺寸的特征图，即上述中间特征图。

具体地，目标特征图进入预设解码器后，可先进行无卷积上采样（即图3中的PatchExpanding），其为上述Patch Merging的逆操作，可先将每个长为8C的向量映射为16C的向量，得到，再将每个/>的向量分成4段长为4C的向量，再重新排布为一个/>的向量集合，则特征图长宽各加倍，通道数变为1/4，得到。同样，经过Patch Expanding扩展的特征输入预设解码器中的Swin-Transformer模块（即图3右侧的Swin-Transformer Block x2）后，尺寸不变，从而获得中间特征图中的第一个中间特征图/>。重复上述操作步骤，本实施例可获得3个不同尺寸的特征图（/>，/>，/>），从而获得上述中间特征图。

步骤S23：通过所述预设解码器对所述多尺寸初始特征图和所述中间特征图进行特征融合，获得二维映射图。

需要理解的是，预设解码器在获得中间特征图后，还可将其与左侧预设解码器的获得的，同尺寸的初始特征图做一个跳跃连接Skip Connection，即上述特征融合，以获得融合特征图。具体地，本实施例可首先将预设解码器输出的与预设编码器输出的/>拼接在一起（即图3中的Skip Connection 1/16）得到，再将每个长为8C的向量映射为长为4C的向量，最终得到的融合特征图，即融合后的特征图尺寸不变。然后将该融合特征图输入至下一个Patch Expanding，获得特征图/>，然后再将该/>与预设编码器输出的/>做Skip Connection 1/8的特征融合和映射，获得/>的融合特征图。重复该过程，直到最后一个PatchExpanding时，可先将/>特征图中每个长为C的向量映射为长为16C的向量，再将其重新排布为/>的向量集合，即可得到/>的特征图。

需要说明的是，预设解码器在获得的特征图后可再经过一个线性投影（即图3中的Linear Projection）将/>中每个长为C的向量映射为长为Class的向量，最后得到/>的特征图，即上述二维映射图。易理解的是，本实施例中，参数可设置为：W=H=448，C=512，Class=2，但也可以根据实际情况设置为其他数值，本实施例对此不加限制。

步骤S30：根据所述二维映射图和所述目标形变图，获得还原图。

需要理解的是，关于图像还原模型的输出，如果直接推理无形变图，当使用原图大小（通常在2k~4k）时，会存在模型推理速度缓慢，效率低的问题；而如果使用下采样之后的缩小图（通常为100-200），则模型推理得到的图也非常小，在放大到原图大小后会失真，显得非常模糊，即存在精度低的问题。

因此，为实现推理速度和推理效果二者的兼顾，本实施例可采用二维映射图的方式，则本实施例可以由上述预设注意力网络模型推理得到较小的二维映射图，再将其放大到原图大小再作用于原图，这样，精度方面不仅几乎没什么损失，速度上也能保持在几百毫秒一张的量级。因此，本实施例可在获得二维映射图后，对其进行放大，再将放大后的二维映射图作用于目标形变图，该二维映射图中各点存储的值可以是目标形变图的像素点坐标，从而可基于该二维映射图和目标形变图获得还原图。

进一步地，作为一种可实施方式，如图6所示，图6为本发明图像还原方法第一实施例的第四流程示意图，本实施例中，步骤S30包括：

步骤S31：基于所述目标形变图的原始边缘尺寸确定中间校正图；

步骤S32：将所述二维映射图缩放至与所述中间校正图尺寸相同，获得二维映射图；

可以理解的是，本实施例中，上述初始形变图可以是对实际形变图进行缩放后的图像，例如，实际形变图的尺寸为1000x1000，则初始形变图的尺寸可以是100x100。该步骤是为了降低模型的运算量，提高模型的训练速度。因此，上述目标形变图的原始边缘尺寸可以是其对应的未经过缩放的前景的外接最小矩形尺寸，从而确定与原始边缘尺寸大小相同，但像素点颜色值留待进一步填充的中间校正图。

步骤S33：根据所述二维映射图、所述目标形变图和所述中间校正图，获得还原图。

需要说明的是，本实施例在构建还原图时可根据二维映射图中各点的映射值，从目标形变图的像素点中采样像素颜色值，以填充至中间校正图。因此，进一步地，作为一种可实施方式，本实施例中，步骤S33包括：

步骤S331：基于所述二维映射图中各点的映射值确定所述目标形变图中的源像素点，并根据所述各点的坐标值确定所述中间校正图中的目标像素点；

步骤S332：将所述源像素点对应的颜色值填充至所述目标像素点，获得还原图。

需要理解的是，上述二维映射图中各点可基于映射值与目标形变图一一对应，具体地，二维映射图中各点的映射值可以是目标形变图中的像素点坐标，基于该像素点坐标即可确定目标形变图中的源像素点。同时，二维映射图中各点还可基于坐标值与中间校正图一一对应，具体地，二维映射图中各点的坐标值即可以是中间校正图中的各像素点的坐标，从而可基于各点坐标直接确定目标形变图中的目标像素点。

在实际应用中，本实施例可将二维映射图示为，目标形变图表示为/>，中间校正图表示为/>。则二维映射图/>中坐标为（/>）的点，若其对应的映射值/>）为（/>），则表示中间校正图/>中坐标为（/>）的像素点为目标像素点，目标形变图/>处坐标为（/>）的像素点为源像素点，同时应将目标形变图/>处坐标为（/>）点处的颜色值（RGB值）填充至中间校正图/>中坐标为（/>）。重复上述步骤，直至中间校正图中所有像素点处的颜色值均从目标形变图中采样后填充，即可获得还原图。

为了便于理解，以图7为例进行举例说明，图7为本发明图像还原方法第一实施例的图像映射示意图，如图7所示，若二维映射图中坐标（2，3）处的值为（m，n），则意味着中间校正图中坐标（2，3）处的RGB值等于目标形变图中坐标为（m，n）的点的RGB值(r，g，b)；又比如，若二维映射图中坐标（1，1）处的值若为（2，3），则意味着中间校正图中坐标（1，1）处的RGB值等于目标形变图中坐标为（2，3）的点的RGB值（0，0，0）。

又或者，已知二维映射图、目标形变图和中间校正图的长宽是相同的大小，对中间校正图图中的每个像素点，其坐标依次为（1，1），（1，2）...（W，H），其上RGB值是未知的。因此，本实施例可首先对于中间校正图中坐标（1，1）的像素点，先找到二维映射图中同样坐标为（1，1）的点，获得该处的值比如（2，3），再找到目标形变图中坐标为（2，3）的像素点，它的RGB值比如（0，0，0）就是我们要找的；对中间校正图中坐标（5，2）的像素点，先找到二维映射图中同样坐标为（5，2）的点，获得该处的值比如（4，4），再找到目标形变图中坐标为（4，4）的像素点，它的RGB值比如（50，10，30）就是我们要找的；这样依次找完，我们就可以获得中间校正图中每个像素点的RGB值，从而获得最终的还原图。

在具体实现中，为了便于理解，以图8为例进行举例说明，图8为本发明图像还原方法第一实施例的图像还原示意图，如图8所示，本实施中，可首先将扭曲变形的目标形变图先经过一个前后景分离的前处理卷积神经网络CNN后，得到把背景滤除的目标形变图。然后结合位置编码（如图8中的positional encoding）和预设注意力网络模型中的预设编码器和预设解码器，输出二维映射图。图8中的Flow Head为后处理模块，其功能为还原图片尺寸（或Resize），前一步得到的二维映射图的图片尺寸比较小，这里把它resize成与中间校正图一样大后，最后结合放大后的二维映射图从去除背景的目标形变图采样（即图8中的sampling）即可得到还原图。

综上所述，本实施例提出的基于Swin-Transformer的图像还原网络不需要借助硬件，可节省硬件成本；只需要一张图即可对各种复杂形变进行还原，能有效矫正图片的形变，适用范围广。同时，本实施例可基于二维映射图使得图像还原在推理速度和还原精度上取得平衡。

本实施例公开一种图像还原方法，该方法包括：对初始形变图进行前后景分离，获得目标形变图；通过分块模块对目标形变图进行特征提取，获得初始特征图；通过位置编码模块对初始特征图进行位置编码，获得编码特征图；通过Swin-Transformer模块对编码特征图进行特征编码，获得多尺寸初始特征图。通过预设解码器对目标特征图进行特征还原，获得中间特征图，目标特征图为多尺寸初始特征图中尺寸最小的特征图；通过预设解码器对多尺寸初始特征图和中间特征图进行特征融合，获得二维映射图。基于目标形变图的前景边缘对目标形变图进行缩放，获得中间校正图；将二维映射图缩放至与中间校正图尺寸相同，获得二维映射图；基于二维映射图中各点的映射值确定目标形变图中的源像素点，并根据各点的坐标值确定中间校正图中的目标像素点；将源像素点对应的颜色值填充至目标像素点，获得还原图。本实施例可首先对初始形变图进行过滤，获得目标形变图，再基于预设注意力网络模型图从目标形变图中获取二维映射图，最后基于二维映射图对目标形变图进行还原。不同于现有的需要借助硬件或多张不同角度的图片进行还原的扭曲图像还原方法，本实施例不需要借助硬件，可节省硬件成本；只需要一张图即可对各种复杂形变进行还原，能有效矫正图片的形变，适用范围广。同时，本实施例本发明可基于二维映射图对目标形变图进行图像还原，在保证还原精度的同时提高还原速度，实现图像还原在推理速度和还原精度的平衡。

参照图9，图9为本发明图像还原方法第二实施例的第一流程示意图，基于上述图2所示的实施例，提出本发明图像还原方法的第二实施例。

本实施例中，步骤S10之前，还包括：

步骤S01：对样本图进行反向映射，获得初始形变图；

可以理解的是，上述预设注意力网络模型在使用前，需要预先经过迭代训练方可使用。本实施例可采用监督学习进行模型训练，需要大量训练数据，然而，真实拍照件虽然很多，但是真实拍照件中通常没有有效标注，无法用于训练。基于此，本方案提出了使用人工合成训练数据的方法，利用形变的数学本质来反向合成多种复杂形变文档。如图10所示，图10为本发明图像还原方法第二实施例的形变过程示意图，本实施例可利用反向映射可对样本图施加形变得到扭曲后的初始形变图，而该反向映射即可作为标注。

进一步地，作为一种可实施方式，如图11所示，图11为本发明图像还原方法第二实施例的第二流程示意图，本实施例中，步骤S01包括：

步骤S011：对样本图的像素点施加形变量，并调整所述形变量的权重，获得中间标注图；

步骤S012：基于所述样本图和所述中间标注图，生成初始形变图。

需要理解的是，上述中间标注图的生成过程是一个坐标转换过程。参见图12，图12为本发明图像还原方法第二实施例的反向映射过程示意图，如图12所示，本实施例可对样本图中的每个像素点（）施加一个偏移向量（/>），即上述形变量以得到一个新的坐标（/>），该新坐标就是该像素点在生成的初始形变图中的坐标，而中间标注图就是用来记录样本图的原图中这些点的偏移位置，也就是说中间标注图上坐标（）处的值应为（/>）。

简而言之，就是对样本图中每个像素点（）施加一个形变量（/>），以得到一个新的坐标（/>），而中间标注图上坐标（/>）处的值则为（）。如图12所示，当样本图中像素点（x，y）的形变量（或偏移量）为（m-x，n-y）时，中间标注图上坐标为（x，y）的点所记录的值即为（m，y），后续生成初始形变图时即可将样本图中（x，y）处的像素值填充至初始形变图中坐标为（m，y）的点。因此，进一步地，基于该中间标注图的坐标和值，本实施例可将样本图中的像素点的颜色值依次填充至扭曲图，从而获得上述初始形变图。

显而易见的是，如果对样本图中所有像素点的偏移量都相同，则扭曲的效果会仅仅是平移。因此，为了使得扭曲的种类更加丰富更加接近真实图片，本实施例提出了一个对每个像素点生成随机偏移量的方法，具体做法可以为：对样本图中任一点p（即上述（）），施加一个随机向量v（即上述（/>）），但是v需要带一定的权重/>，以使点p在施加随机向量后可得到点p+/>v。

需要说明的是，即为上述形变量的权重，其设计尤为关键。对于“折叠”形变，其确定公式可为：/>；对于“弯曲”形变，其确定公式可为：/>。其中，d为对所有v的长度归一化后的值，d∈(0，1)。/>为形变参数，其取值随机，且控制着形变程度；总体来说，更大的/>会使得/>更接近于1，从而使更多的点都拥有相同的权重/>，整体的形变会更一致些；而更小的/>则会使/>各异，从而使每个区域的形变差异较大。如图13所示，图13为本发明图像还原方法第二实施例的形变程度示意图。图13中，（a）和（b）均为“折叠”形变，且（a）为大/>，（b）为小/>；（c）和（d）均为“弯曲”形变，且（c）为大/>，（d）为小/>。

易理解的是，由图12可知，本实施例的模型训练过程中，中间标注图的尺寸小于初始形变图的尺寸，因此，在确定形变向量的调整权重后，本实施例还可将中间标注图假设尺寸为缩放到与初始形变图（假设尺寸为W+w，H+h）的尺寸一样大，因为中间标注图中存储的值为样本图的像素点在初始形变图中的坐标，其取值范围可以是：x∈（0~W+w），y∈（0~H+h）。本实施例可先将其归一化，使通道x中的值全部除以W+w，通道y中的值全部除以H+h，使得取值范围都变为（0~1），再利用双线性插值的方式将中间标注图缩放至（W+w，H+h）即可。

步骤S02：通过预设图像集对所述初始形变图进行背景填充，获得样本形变图；

需要理解的是，经由上述方法生成的初始形变图比样本图的尺寸要稍微大一些，周围会多出一圈黑色的背景，因此，为了使背景更加丰富，也更切合实际，本实施例还可通过预设图像集随机对初始形变图进行背景填充，该预设图像集可以是DTD数据集（DescribableTexture Dataset），其中可包含各种纯纹理背景图片。

步骤S03：基于所述样本形变图对初始注意力网络模型进行迭代训练，获得预设注意力网络模型。

可理解的是，在生成样本形变图后，本实施例即可基于样本形变图来训练初步构建的神经网络模型，即上述初始注意力网络模型，直至模型迭代完毕，获得后续用于进行图像还原的预设注意力网络模型。

综上所述，本实施例可在步骤S10之前基于上述施加随机权重形变量的方法和预设图像集生成大量的样本形变图，从而为预设注意力网络模型的模型训练提供了大量高质量训练数据，进而提高预设注意力网络模型的拟合能力，获得能达到更好的还原效果的预设注意力网络模型，提高后续图像还原效果。

本实施例通过对样本图的像素点施加形变量，并调整形变量的权重，获得中间标注图；基于样本图和中间标注图，生成初始形变图。通过预设图像集对初始形变图进行背景填充，获得样本形变图；基于样本形变图对初始注意力网络模型进行迭代训练，获得预设注意力网络模型。本实施例可基于上述施加随机权重形变量的方法和预设图像集生成大量的样本形变图，从而为预设注意力网络模型的模型训练提供了大量高质量训练数据，进而提高预设注意力网络模型的拟合能力，获得能达到更好的还原效果的预设注意力网络模型，提高后续图像还原效果。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有图像还原程序，所述图像还原程序被处理器执行时实现如上文所述的图像还原方法的步骤。

参考图14，图14为本发明图像还原装置第一实施例的结构框图。

如图14所示，本发明实施例提出的图像还原装置包括：

背景分离模块A1，用于对初始形变图进行前后景分离，获得目标形变图；

映射模块A2，用于将所述目标形变图输入预设注意力网络模型，获得二维映射图；

还原模块A3，用于根据所述二维映射图和所述目标形变图，获得还原图。

进一步地，作为一种可实施方式，所述预设注意力网络模型包括：预设编码器和预设解码器，所述预设编码器和所述预设解码器均包括Swin-Transformer模块；本实施例中，映射模块A2，还用于通过所述预设编码器对所述目标形变图进行特征提取，获得多尺寸初始特征图；

映射模块A2，还用于通过所述预设解码器对目标特征图进行特征还原，获得中间特征图，所述目标特征图为所述多尺寸初始特征图中尺寸最小的特征图；

映射模块A2，还用于通过所述预设解码器对所述多尺寸初始特征图和所述中间特征图进行特征融合，获得二维映射图。

进一步地，作为一种可实施方式，所述预设编码器包括：分块模块、位置编码模块和所述Swin-Transformer模块；本实施例中，映射模块A2，还用于通过所述分块模块对所述目标形变图进行特征提取，获得初始特征图；

映射模块A2，还用于通过所述位置编码模块对所述初始特征图进行位置编码，获得编码特征图；

映射模块A2，还用于通过所述Swin-Transformer模块对所述编码特征图进行特征编码，获得多尺寸初始特征图。

进一步地，作为一种可实施方式，本实施例中，还原模块A3，还用于基于所述目标形变图的前景边缘对所述目标形变图进行缩放，获得中间校正图；

还原模块A3，还用于将所述二维映射图缩放至与所述中间校正图尺寸相同，获得二维映射图；

还原模块A3，还用于根据所述二维映射图、所述目标形变图和所述中间校正图，获得还原图。

进一步地，作为一种可实施方式，本实施例中，还原模块A3，还用于基于所述二维映射图中各点的映射值确定所述目标形变图中的源像素点，并根据所述各点的坐标值确定所述中间校正图中的目标像素点；

还原模块A3，还用于将所述源像素点对应的颜色值填充至所述目标像素点，获得还原图。

本实施例通过对初始形变图进行前后景分离，获得目标形变图；通过分块模块对目标形变图进行特征提取，获得初始特征图；通过位置编码模块对初始特征图进行位置编码，获得编码特征图；通过Swin-Transformer模块对编码特征图进行特征编码，获得多尺寸初始特征图。通过预设解码器对目标特征图进行特征还原，获得中间特征图，目标特征图为多尺寸初始特征图中尺寸最小的特征图；通过预设解码器对多尺寸初始特征图和中间特征图进行特征融合，获得二维映射图。基于目标形变图的前景边缘对目标形变图进行缩放，获得中间校正图；将二维映射图缩放至与中间校正图尺寸相同，获得二维映射图；基于二维映射图中各点的映射值确定目标形变图中的源像素点，并根据各点的坐标值确定中间校正图中的目标像素点；将源像素点对应的颜色值填充至目标像素点，获得还原图。本实施例可首先对初始形变图进行过滤，获得目标形变图，再基于预设注意力网络模型图从目标形变图中获取二维映射图，最后基于二维映射图对目标形变图进行还原。不同于现有的需要借助硬件或多张不同角度的图片进行还原的扭曲图像还原方法，本实施例不需要借助硬件，可节省硬件成本；只需要一张图即可对各种复杂形变进行还原，能有效矫正图片的形变，适用范围广。同时，本实施例本发明可基于二维映射图对目标形变图进行图像还原，在保证还原精度的同时提高还原速度，实现图像还原在推理速度和还原精度的平衡。

基于本发明上述图像还原装置第一实施例，提出本发明图像还原装置的第二实施例。

在本实施例中，映射模块A2，还用于通过预设图像集对所述初始形变图进行背景填充，获得样本形变图；

映射模块A2，还用于基于所述样本形变图对初始注意力网络模型进行迭代训练，获得预设注意力网络模型。

进一步地，作为一种可实施方式，本实施例中，映射模块A2，还用于对样本图的像素点施加形变量，并调整所述形变量的权重，获得中间标注图；

映射模块A2，还用于基于所述样本图和所述中间标注图，生成初始形变图。

本实施例通过对样本图的像素点施加形变量，并调整形变量的权重，获得中间标注图；基于样本图和中间标注图，生成初始形变图。通过预设图像集对初始形变图进行背景填充，获得样本形变图；基于样本形变图对初始注意力网络模型进行迭代训练，获得预设注意力网络模型。本实施例可基于上述施加随机权重形变量的方法和预设图像集生成大量的样本形变图，从而为预设注意力网络模型的模型训练提供了大量高质量训练数据，进而提高预设注意力网络模型的拟合能力，获得能达到更好的还原效果的预设注意力网络模型，提高后续图像还原效果。

本发明图像还原装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种图像还原方法，其特征在于，所述图像还原方法包括：

对初始形变图进行前后景分离，获得目标形变图；

将所述目标形变图输入预设注意力网络模型，获得二维映射图；所述预设注意力网络模型包括：预设编码器和预设解码器，所述预设编码器和所述预设解码器均包括Swin-Transformer模块；所述预设编码器包括：分块模块、位置编码模块和所述Swin-Transformer模块；

根据所述二维映射图和所述目标形变图，获得还原图；

所述将所述目标形变图输入预设注意力网络模型，获得二维映射图的步骤，包括：

通过所述预设编码器对所述目标形变图进行特征提取，获得多尺寸初始特征图；

通过所述预设解码器对目标特征图进行特征还原，获得中间特征图；所述目标特征图为所述多尺寸初始特征图中尺寸最小的特征图；

通过所述预设解码器对所述多尺寸初始特征图和所述中间特征图进行特征融合，获得二维映射图；

所述通过所述预设编码器对所述目标形变图进行特征提取，获得多尺寸初始特征图的步骤，包括：

通过所述分块模块对所述目标形变图进行特征提取，获得初始特征图；

通过所述位置编码模块对所述初始特征图进行位置编码，获得编码特征图；

通过所述Swin-Transformer模块对所述编码特征图进行特征编码，获得多尺寸初始特征图。

2.如权利要求1所述的图像还原方法，其特征在于，所述根据所述二维映射图和所述目标形变图，获得还原图的步骤，包括：

基于所述目标形变图的原始边缘尺寸确定中间校正图；

将所述二维映射图缩放至与所述中间校正图尺寸相同，获得二维映射图；

根据所述二维映射图、所述目标形变图和所述中间校正图，获得还原图。

3.如权利要求2所述的图像还原方法，其特征在于，所述根据所述二维映射图、所述目标形变图和所述中间校正图，获得还原图的步骤，包括：

基于所述二维映射图中各点的映射值确定所述目标形变图中的源像素点，并根据所述各点的坐标值确定所述中间校正图中的目标像素点；

将所述源像素点对应的颜色值填充至所述目标像素点，获得还原图。

4.如权利要求3所述的图像还原方法，其特征在于，所述对初始形变图进行前后景分离，获得目标形变图之前，还包括：

对样本图进行反向映射，获得初始形变图；

通过预设图像集对所述初始形变图进行背景填充，获得样本形变图；

基于所述样本形变图对初始注意力网络模型进行迭代训练，获得预设注意力网络模型。

5.如权利要求4所述的图像还原方法，其特征在于，所述对样本图进行反向映射，获得初始形变图的步骤，包括：

对样本图的像素点施加形变量，并调整所述形变量的权重，获得中间标注图；

基于所述样本图和所述中间标注图，生成初始形变图。

6.一种图像还原装置，其特征在于，所述图像还原装置包括：

背景分离模块，用于对初始形变图进行前后景分离，获得目标形变图；

映射模块，用于将所述目标形变图输入预设注意力网络模型，获得二维映射图；所述预设注意力网络模型包括：预设编码器和预设解码器，所述预设编码器和所述预设解码器均包括Swin-Transformer模块；所述预设编码器包括：分块模块、位置编码模块和所述Swin-Transformer模块；

还原模块，用于根据所述二维映射图和所述目标形变图，获得还原图；

所述映射模块，还用于通过所述预设编码器对所述目标形变图进行特征提取，获得多尺寸初始特征图；通过所述预设解码器对目标特征图进行特征还原，获得中间特征图；所述目标特征图为所述多尺寸初始特征图中尺寸最小的特征图；通过所述预设解码器对所述多尺寸初始特征图和所述中间特征图进行特征融合，获得二维映射图；

所述映射模块，还用于通过所述分块模块对所述目标形变图进行特征提取，获得初始特征图；通过所述位置编码模块对所述初始特征图进行位置编码，获得编码特征图；通过所述Swin-Transformer模块对所述编码特征图进行特征编码，获得多尺寸初始特征图。

7.一种图像还原设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像还原程序，所述图像还原程序配置为实现如权利要求1至5中任一项所述的图像还原方法的步骤。

8.一种存储介质，其特征在于，所述存储介质上存储有图像还原程序，所述图像还原程序被处理器执行时实现如权利要求1至5任一项所述的图像还原方法的步骤。