CN112184592A - 一种图像修复方法、装置、设备及计算机可读存储介质 - Google Patents
一种图像修复方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112184592A CN112184592A CN202011072199.0A CN202011072199A CN112184592A CN 112184592 A CN112184592 A CN 112184592A CN 202011072199 A CN202011072199 A CN 202011072199A CN 112184592 A CN112184592 A CN 112184592A
- Authority
- CN
- China
- Prior art keywords
- feature
- features
- coding
- image
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000009466 transformation Effects 0.000 claims abstract description 171
- 230000008439 repair process Effects 0.000 claims abstract description 102
- 238000013507 mapping Methods 0.000 claims description 85
- 239000011159 matrix material Substances 0.000 claims description 61
- 238000006243 chemical reaction Methods 0.000 claims description 49
- 230000015654 memory Effects 0.000 claims description 23
- 230000011218 segmentation Effects 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 14
- 238000005192 partition Methods 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 7
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 19
- 230000008707 rearrangement Effects 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000002950 deficient Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请提供了一种图像修复方法、装置、设备及计算机可读存储介质；方法应用于图像修复模型，所述图像修复模型包括特征编码网络、特征修复网络及特征解码网络，所述方法包括：通过所述特征编码网络，对包含标记信息的待修复图像进行特征编码，得到对应的编码特征；其中，所述标记信息，用于指示所述待修复图像的待修复区域；通过所述特征修复网络，对所述编码特征进行位置变换，得到位置变换特征，并基于所述位置变换特征对所述编码特征进行特征修复，得到对应的修复特征；通过所述特征解码网络，对所述修复特征进行特征解码，得到对应的修复图像。通过本申请，能够提高图像修复的效率。
Description
技术领域
本申请涉及人工智能的图像处理技术，尤其涉及一种图像修复方法、装置、设备及计算机可读存储介质。
背景技术
人工智能(Artificial Intelligence，AI)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理技术以及机器学习/深度学习等几大方向，随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
图像修复是人工智能领域的重要应用之一，图像修复是指对图像或视频中丢失或损坏的待修复区域进行修复重建的过程。目标大多主流的图像修复算法都是基于卷积神经网络对待修复区域进行修复，但在实际应用中，待修复区域可能比较大，为了达到较好地修复效果，相关技术通常采用多个相互独立的图像修复模型进行多阶段的图像修复，但这会消耗较长时间，图像修复效率低下。
发明内容
本申请实施例提供一种图像修复方法、装置、设备及计算机可读存储介质，能够提高图像修复的效率。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种图像修复方法，应用于图像修复模型，所述图像修复模型包括特征编码网络、特征修复网络及特征解码网络，包括：
通过所述特征编码网络，对包含标记信息的待修复图像进行特征编码，得到对应的编码特征；
其中，所述标记信息，用于指示所述待修复图像的待修复区域；
通过所述特征修复网络，对所述编码特征进行位置变换，得到位置变换特征，并基于所述位置变换特征对所述编码特征进行特征修复，得到对应的修复特征；
通过所述特征解码网络，对所述修复特征进行特征解码，得到对应的修复图像。
本申请实施例提供一种图像修复装置，应用于图像修复模型，所述图像修复模型包括特征编码网络、特征修复网络及特征解码网络，所述装置包括：
特征编码模块，用于通过所述特征编码网络，对包含标记信息的待修复图像进行特征编码，得到对应的编码特征；
其中，所述标记信息，用于指示所述待修复图像的待修复区域；
特征修复模块，用于通过所述特征修复网络，对所述编码特征进行位置变换，得到位置变换特征，并基于所述位置变换特征对所述编码特征进行特征修复，得到对应的修复特征；
特征解码模块，用于通过所述特征解码网络，对所述修复特征进行特征解码，得到对应的修复图像。
上述方案中，所述特征修复模块包括位置变换单元，所述位置变换单元，用于按照预设大小的分割因子，对所述编码特征进行特征分割，得到目标数量的子编码特征；
将所述目标数量的子编码特征进行位置重排列，得到位置变换特征。
上述方案中，所述位置变换单元，用于获取待修复图像的编码特征对应的特征图；
按照预设大小的分割因子，对所述特征图进行分割，得到目标数量的子特征图，并将所述子特征图确定为所述子编码特征对应的特征图。
上述方案中，所述特征修复模块还包括矩阵构建单元和特征更新单元，所述矩阵构建单元，用于基于所述位置变换特征，构建所述待修复图像对应的邻接矩阵；
所述特征更新单元，用于基于所述邻接矩阵，对所述待修复区域对应的编码特征进行特征修复，得到对应的修复特征。
上述方案中，所述矩阵构建单元，还用于
针对所述位置变换特征中的各个位置，分别获取每个位置对应的位置变换特征与其他位置对应的位置变换特征之间的相似度值；
以每个位置为节点、节点之间的连接关系为边，构建所述待修复图像对应的邻接矩阵；
其中，所述邻接矩阵的矩阵元素为对应的相似度值。
上述方案中，所述特征修复模块还包括位置逆变换单元，
所述特征更新单元，还用于对所述邻接矩阵中的矩阵元素进行归一化处理，得到归一化后的邻接矩阵；
将所述归一化后的邻接矩阵与所述位置变换特征进行点乘求和，得到更新后的位置变换特征；
所述位置逆变换单元，用于将所述更新后的位置变换特征进行位置逆变换，得到对应的修复特征。
上述方案中，所述特征修复模块还包括特征映射单元，
所述特征映射单元，用于所述得到更新后的位置变换特征之后，对所述更新后的位置变换特征进行特征映射，得到映射特征；
相应的，所述位置逆变换单元，还用于对所述映射特征进行位置逆变换，得到对应的修复特征。
上述方案中，所述得到更新后的位置变换特征之后，所述特征映射单元，还用于对所述更新后的位置变换特征进行特征映射，得到第一映射特征；
所述特征更新单元，还用于将所述第一映射特征与所述归一化后的邻接矩阵进行点乘求和，得到更新后的映射特征；
所述特征映射单元，还用于对所述更新后的映射特征进行特征映射，得到第二映射特征；
所述位置逆变换单元，还用于对所述第二映射特征进行位置逆变换，得到对应的修复特征。
上述方案中，所述特征修复模块包括位置变换单元、特征采样单元、特征更新单元和位置逆变换单元，
所述特征采样单元，用于对所述位置变换特征中，所述待修复区域之外的其他区域对应的位置变换特征进行采样，得到采样位置变换特征；
所述特征更新单元，用于采用所述采样位置变换特征，对所述位置变换特征中待修复区域对应的位置变换特征进行更新；
所述位置逆变换单元，用于对更新后的位置变换特征进行位置逆变换，得到对应的修复特征。
上述方案中，所述特征编码网络由至少两个子编码网络级联构成，所述特征编码模块，用于通过所述至少两个子编码网络中的第一个子编码网络，对包含标记信息的待修复图像进行编码处理，得到相应的子编码特征；
将所述子编码特征输入至后续级联的子编码网络，以通过后续级联的子编码网络，对所述子编码特征进行编码处理得到目标编码特征，并经最后一个子编码网络输出，作为所述待修复图像对应的编码特征。
上述方案中，所述特征解码网络包含与所述子编码网络的数量相同的子解码网络，所述特征解码模块，用于通过所述至少两个子解码网络中的第一个子解码网络，对所述修复特征进行解码处理，得到相应的初始修复图像；
将所述初始修复图像对应的修复特征输出至后续级联的子编码网络，以通过后续级联的子解码网络，对所述初始修复图像对应的修复特征进行解码处理得到目标修复图像，并经最后一个子解码网络输出，作为所述待修复图像对应的修复图像。
上述方案中，所述装置还包括模型训练模块，所述模型训练模块，用于
通过所述特征编码网络，对图像样本中包含标记信息的待修复图像进行特征提取，得到对应的编码特征；
其中，所述图像样本包括原始图像及对应所述原始图像的待修复图像，所述标记信息用于指示所述待修复图像的待修复区域；
通过所述特征修复网络，对所述编码特征进行位置变换，得到位置变换特征，并基于所述位置变换特征对所述编码特征进行特征修复，得到对应的修复特征；
通过所述特征解码网络，对所述修复特征进行特征解码，得到对应的修复图像；
获取所述修复图像与所述原始图像之间的差异，并基于获取的所述差异，更新所述图像修复模型的模型参数。
本申请实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的图像修复方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的图像修复方法。
本申请实施例具有以下有益效果：
通过对待修复图像对应的编码特征进行位置变换，得到位置变换特征，并基于位置变换特征对待修复图像的编码特征进行特征修复，这里，编码特征对应待修复图像的原始特征，通过对编码特征进行位置变换操作，实现了对原始特征的位置重排列，使得更新某一位置的编码特征时，在该位置对应的多个编码特征都会被同时更新，提高了图像修复的效率。
附图说明
图1为本申请实施例提供的图像修复系统的一个可选的架构示意图；
图2为本申请实施例提供的电子设备的一个可选的结构示意图；
图3为本申请实施例提供的图像修复模型的一个可选的架构示意图；
图4A-图4D为本申请实施例提供的特征修复网络的一个可选的结构组成示意图；
图5为本申请实施例提供的图像修复方法的一个可选的流程示意图；
图6为本申请实施例提供的位置变换示意图；
图7为本申请实施例提供的确定修复特征的方法的一个可选的流程示意图；
图8为本申请实施例提供的构建邻接矩阵的方法的一个可选的流程示意图；
图9为本申请实施例提供的确定修复特征的方法的一个可选的流程示意图；
图10为本申请实施例提供的确定修复特征的方法的一个可选的流程示意图；
图11为本申请实施例提供的特征修复网络的数据流向示意图；
图12为本申请实施例提供的图像修复方法的一个可选的流程示意图；
图13为本申请实施例提供的图像修复装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二…”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二…”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
发明人在实施本申请实施例时发现，当待修复图像的待修复区域比较大时，为了达到较好地修复效果，相关技术通常采用多个相互独立的修复模型进行图像修复，例如，采用两个阶段进行图像修复，具体地，在第一阶段，采用图像修复模型对待修复图像进行修复，生成一张较为粗糙的初始修复图像，然后在第二阶段，采用另一个与第一阶段中的图像修复模型相互独立的图像修复模型，对第一阶段得到的初始修复图像进行修复，进一步生成精细的最终修复图像。在修复的过程中，一般采用上下文注意力的方式来查找与待修复区域相关的特征并进行修复，具体地，通过获取待修复区域对应的特征与其他区域对应的特征之间的相似度值，找到最相似的特征进行修复，通常而言，只进行一次修复，然后，将修复后的特征输入至后续网络中进行重建。然而，由于采用上述两个阶段进行图像修复的方式，需要采用两个修复模型进行图像修复，消耗的时间较长；在采用上下文注意力修复时，一次修复往往无法达到较好的修复效果。
鉴于此，本申请实施例提供一种图像修复方法、装置、设备及计算机可读存储介质，那个提高图像修复的效率和效果。
本申请实施例所提供的图像修复方法，可以由终端或服务器独自实现；也可以由终端和服务器协同实现，例如终端独自承担下文所述的图像修复方法，或者，终端向服务器发送待修复图像，服务器对接收的待修复图像执行图像修复方法。
本申请实施例提供的图像修复的电子设备可以是各种类型的终端设备或服务器，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器；终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
以服务器为例，例如可以是部署在云端的服务器集群，向用户开放人工智能云服务(AI as a Service，AIaaS)，AIaaS平台会把几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务，这种服务模式类似于一个AI主题商城，所有的用户都可以通过应用程序编程接口的方式来接入使用AIaaS平台提供的一种或者多种人工智能服务。
例如，其中的一种人工智能云服务可以为图像修复服务，即云端的服务器封装有本申请实施例提供的图像修复的程序。用户通过终端(运行有客户端，例如浏览器客户端、视频播放客户端等)调用云服务中的图像修复服务，以使部署在云端的服务器调用封装的图像修复的程序，对待修复图像进行图像修复，提高了图像修复的效率和效果，例如，对浏览的带有日期、水印等视频图像去日期、水印应用，可以极大提高处理速度；对于播放的带有瑕疵画面的电影，对瑕疵画面进行图像修复，提高线上图像修复的速度和效果。
参见图1，图1为本申请实施例提供的图像修复系统100的一个可选的架构示意图，为实现支撑一个示例性应用，终端(示例性示出了终端400-1和终端400-2)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。
终端上运行有客户端，如浏览器客户端、视频播放客户端等，终端用于获取待修复图像，该待修复图像包含用于指示待修复图像的待修复区域的标记信息。
在一些实施例中，终端中运行的客户端中可以植入有图像修复插件，用以在客户端本地实现图像修复方法，其中，图像修复方法应用于图像修复模型，图像修复模型包括特征编码网络、特征修复网络及特征解码网络，终端通过特征编码网络，对待修复图像进行特征编码，得到对应的编码特征；通过特征修复网络，对编码特征进行位置变换，得到位置变换特征，并基于位置变换特征对编码特征进行特征修复，得到对应的修复特征；通过特征解码网络，对修复特征进行特征解码，得到对应的修复图像。
在一些实施例中，终端获取待修复图像后，调用服务器200的图像修复接口，服务器200通过特征编码网络，对待修复图像进行特征编码，得到对应的编码特征；通过特征修复网络，对编码特征进行位置变换，得到位置变换特征，并基于位置变换特征对编码特征进行特征修复，得到对应的修复特征；通过特征解码网络，对修复特征进行特征解码，得到对应的修复图像，并将修复图像返回至终端进行呈现。
参见图2，图2为本申请实施例提供的电子设备500的一个可选的结构示意图，在实际应用中，电子设备500可以为图1中的终端或服务器200，以电子设备为图1所示的终端为例，对实施本申请实施例的图像修复方法的电子设备进行说明。图2所示的电子设备500包括：至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。电子设备500中的各个组件通过总线系统540耦合在一起。可理解，总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统540。
处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器550可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器550旨在包括任意适合类型的存储器。
在一些实施例中，存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统551，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块552，用于经由一个或多个(有线或无线)网络接口520到达其他计算设备，示例性的网络接口520包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
呈现模块553，用于经由一个或多个与用户接口530相关联的输出装置531(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块554，用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本申请实施例提供的图像修复装置可以采用软件方式实现，图2示出了存储在存储器550中的图像修复装置555，其可以是程序和插件等形式的软件，包括以下软件模块：特征编码模块5551、特征修复模块5552和特征解码模块5553，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。
将在下文中说明各个模块的功能。
在另一些实施例中，本申请实施例提供的图像修复装置可以采用硬件方式实现，作为示例，本申请实施例提供的图像修复装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的图像修复方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific IntegratedCircuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
接下来对本申请实施例的提供的图像修复方法进行说明，本申请实施例提供的图像修复方法应用于图像修复模型，参见图3，图3为本申请实施例提供的图像修复模型的一个可选的架构示意图，如图3所示，图像修复模型包括特征编码网络、特征修复网络及特征解码网络，将待修复图像输入至图像修复模型中，经特征编码网络、特征修复网络和特征解码网络，对待修复区域执行一系列处理，得到待修复区域对应的修复图像，并将得到的待修复区域对应的修复图像与待修复图像中除待修复区域之外的其他区域进行图像融合，得到最终的修复图像。
在实际应用中，在通过图像修复模型对待修复图像进行图像修复之前，需先训练得到图像修复模型，在一些实施例中，可通过如下方式训练得到图像修复模型：
通过特征编码网络，对图像样本中包含标记信息的待修复图像进行特征提取，得到对应的编码特征；其中，图像样本包括原始图像及对应原始图像的待修复图像，标记信息用于指示待修复图像的待修复区域；通过特征修复网络，对编码特征进行位置变换，得到位置变换特征，并基于位置变换特征对编码特征进行特征修复，得到对应的修复特征；通过特征解码网络，对修复特征进行特征解码，得到对应的修复图像；获取修复图像与原始图像之间的差异，并基于获取的差异，更新图像修复模型的模型参数。
其中，特征编码网络由至少两个子编码网络级联构成，特征解码网络由至少两个子解码网络级联构成，特征修复网络主要用于对经特征编码网络得到的对应图像样本中待修复图像的编码特征进行位置变换、特征更新、位置逆变换等一系列处理，得到最终的修复特征。
在一些实施例中，参见图4A，图4A为本申请实施例提供的特征修复网络的一个可选的结构组成示意图，如图4A所示，特征修复网络包括：位置变换层、特征更新层和位置逆变换层，在实际实施时，通过位置变换层，对图像样本中待修复图像的编码特征进行位置变换，得到对应的位置变换特征，通过特征更新层，基于位置变换特征对待修复区域的编码特征进行特征更新，通过位置逆变换层，对更新后的位置变换特征进行位置逆变换，将更新后的位置变换特征恢复至与编码特征相同空间大小的修复特征，以基于得到的修复特征执行后续处理。
在另一些实施例中，参见图4B，图4B为本申请实施例提供的特征修复网络的一个可选的结构组成示意图，如图4B所示，特征修复网络包括：位置变换层、特征更新层、特征映射层和位置逆变换层，其中，特征映射层是为了强化修复特征中的高频信息，因此，在对位置变换特征进行特征更新后，将更新后的位置变换特征输入至特征映射层(如多个卷积层)中进行非线性映射，并将得到的映射特征输入至位置逆变换层进行位置逆变换，其中，非线性变换即激活函数(例如ReLU函数)。
在另一些实施例中，参见图4C，图4C为本申请实施例提供的特征修复网络的一个可选的结构组成示意图，如图4C所示，特征修复网络包括：位置变换层、N个特征更新层、特征映射层和位置逆变换层，这是考虑到当待修复图像的待修复区域较大时，为了达到很好的修复效果，对位置变换特征执行多次特征更新，其中，N为大于等于2的整数，N的取值与待修复区域的大小呈正相关关系；然后将多次更新后的位置变换特征输入至特征映射层(如多个卷积层)中进行非线性映射，并将得到的映射特征输入至位置逆变换层进行位置逆变换。
在另一些实施例中，参见图4D，图4D为本申请实施例提供的特征修复网络的一个可选的结构组成示意图，如图4D所示，特征修复网络包括：位置变换层、N个特征更新层、N个特征映射层和位置逆变换层，其中，N为大于等于2的整数，N的取值与待修复区域的大小呈正相关关系，这是将每次更新后的位置变换特征经特征映射层进行非线性映射后，对得到的映射特征进行再次特征更新，将最后一次特征更新和特征映射得到的映射特征输入至位置逆变换层进行位置逆变换。
需要说明的是，上述仅为本申请实施例提供的特征修复网络的示例性的结构组成，在实际应用中，还可基于上述实现原理，对各个特征处理层进行扩展与组合，本申请并不对特征修复网络的结构组成进行具体限定。
当图像样本经图像修复模型处理得到对应的修复图像后，可根据得到的修复图像与原始图像之间的差异，确定图像修复模型的损失函数的值；当损失函数的值达到预设阈值时，基于图像修复模型的损失函数的值确定相应的误差信号；将误差信号在图像修复模型中反向传播，并在传播的过程中更新图像修复模型的各个网络的模型参数。
这里，对反向传播进行说明，将训练的图像样本输入到神经网络模型的输入层，经过隐藏层，最后达到输出层并输出结果，这是神经网络模型的前向传播过程，由于神经网络模型的输出结果与实际结果有误差，则计算输出结果与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层，在反向传播的过程中，根据误差调整模型参数的值；不断迭代上述过程，直至收敛。
基于上述图像修复模型的组成及训练过程，接下来对本申请实施例提供的图像修复方法进行说明。参见图5，图5为本申请实施例提供的图像修复方法的一个可选的流程示意图，将结合图5示出的步骤对本申请实施例的提供的图像修复方法进行说明。
步骤101：终端通过特征编码网络，对包含标记信息的待修复图像进行特征编码，得到对应的编码特征。
其中，所述标记信息，用于指示待修复图像的待修复区域。
在一些实施例中，特征编码网络由至少两个子编码网络级联构成，可通过如下方式实现通过特征编码网络，对包含标记信息的待修复图像进行特征编码，得到对应的编码特征：
通过至少两个子编码网络中的第一个子编码网络，对包含标记信息的待修复图像进行编码处理，得到相应的子编码特征；将子编码特征输入至后续级联的子编码网络，以通过后续级联的子编码网络，对子编码特征进行编码处理得到目标编码特征，并经最后一个子编码网络输出，作为待修复图像对应的编码特征。
这里，特征编码网络的网络深度可为多层，在实际实施时，将待修复图像输入至特征编码网络中，经过多层子编码网络的编码处理，得到最终的编码特征，例如，在特征编码网络的第1层(即第一个子编码网络)对待修复图像进行编码处理，得到对应第1层的特征图(即子编码特征)，并将该特征图输入至后续的网络层进行编码处理，如在特征编码网络的第i层(i>＝2，即第i个子编码网络)，对特征编码网络的第i-1层(即第i-1个子编码网络)的特征图进行编码处理，得到对应第i层的特征图，然后将得到的对应第i层的特征图输入特征编码网络的第i+1层(即第i+1个子编码网络)继续进行编码处理，重复上次步骤，直至通过特征编码网络的最后一层(即最后一个子编码网络)得到并输出对应待修复图像的最终的编码特征。
步骤102：通过特征修复网络，对编码特征进行位置变换，得到位置变换特征，并基于位置变换特征对编码特征进行特征修复，得到对应的修复特征。
在一些实施例中，可通过如下方式实现对编码特征进行位置变换，得到位置变换特征：
按照预设大小的分割因子，对编码特征进行特征分割，得到目标数量的子编码特征；将目标数量的子编码特征进行位置重排列，得到位置变换特征。
在一些实施例中，可通过如下方式实现按照预设大小的分割因子，对编码特征进行特征分割，得到目标数量的子编码特征：
获取待修复图像的编码特征对应的特征图；按照预设大小的分割因子，对特征图进行分割，得到目标数量的子特征图，并将子特征图确定为子编码特征对应的特征图。
这里，通过特征编码网络得到的编码特征的表现形式实际上为特征图的形式，如以矩阵的形式表征编码特征，按照一定大小的子矩阵(即分割因子)对待修复图像对应的特征图进行分割，得到多个子特征图，然后将得到的多个子特征图进行重新排列，得到新的位置变换特征。如此，对待修复特征对应的编码特征按照预设大小的分割因子进行特征分割后再排列，实现对原编码特征的位置重排列，重排列得到的新的位置变换特征相对于原编码特征的长和宽均缩小，通道数增加。
其中，分割因子的大小可根据实际情况而确定，如待修复图像对应的编码特征的特征图较大时，可设置较大的分割因子，以降低计算的复杂度，或设置较小的分割因子，以将相邻的特征打包在一起。
例如，参见图6，图6为本申请实施例提供的位置变换示意图，如图6所示，假设通过特征编码网络得到的对应待修复图像的编码特征(特征图)的大小为4x4，分割因子的大小为2x2，则以该分割因子对原编码特征进行位置重排列后，得到4个2x2的子区域(即子特征图)，对于每一个子区域，将内部的4个位置对应的子编码特征，按照一定次序排成一列，这样就形成了一个4x2x2的体，得到对应待修复图像的特征图的位置变换特征，对于每一个位置，位置重排列的目的在于将相邻位置的特征打包到一起。
在一些实施例中，参见图7，图7为本申请实施例提供的确定修复特征的方法的一个可选的流程示意图，图5示出的步骤102中的基于位置变换特征对编码特征进行特征修复，得到对应的修复特征，可通过如图7所示的步骤201-步骤202来实现：
步骤201：基于位置变换特征，构建待修复图像对应的邻接矩阵。
步骤202：基于邻接矩阵，对待修复区域对应的编码特征进行特征修复，得到对应的修复特征。
在一些实施例中，参见图8，图8为本申请实施例提供的构建邻接矩阵的方法的一个可选的流程示意图，图7示出的步骤201可通过如图8所示的步骤2011-步骤2012来实现：
步骤2011：针对位置变换特征中的各个位置，分别获取每个位置对应的位置变换特征与其他位置对应的位置变换特征之间的相似度值；
步骤2012：以每个位置为节点、节点之间的连接关系为边，构建待修复图像对应的邻接矩阵；其中，邻接矩阵的矩阵元素为对应的相似度值。
这里，在位置重排后的位置变换特征上计算每个位置的位置变换特征与其他位置的位置变换特征之间的相似度，在计算相似度时，可采用余弦距离的计算方式或采用欧式距离的计算方式。
在一些实施例中，参见图9，图9为本申请实施例提供的确定修复特征的方法的一个可选的流程示意图，图7示出的步骤202可通过如图9所示的步骤2021-步骤2023来实现：
步骤2021：对邻接矩阵中的矩阵元素进行归一化处理，得到归一化后的邻接矩阵；
步骤2022：将归一化后的邻接矩阵与位置变换特征进行点乘求和，得到更新后的位置变换特征；
步骤2023：将更新后的位置变换特征进行位置逆变换，得到对应的修复特征。
这里，对邻接矩阵的每一行归一化除了自身外的所有权重，并与位置变换特征点乘求和，得到对应各位置的更新后的位置变换特征，这里，仅更新待修复区域内的位置对应的位置变换特征，对更新后的位置变换特征进行位置逆变换，得到对应的修复特征，上述实施方式中的特征修复网络的结构图对应于图4A。
在一些实施例中，在得到更新后的位置变换特征之后，终端还可对更新后的位置变换特征进行特征映射，得到映射特征；相应的，终端可通过如下方式实现将更新后的位置变换特征进行位置逆变换，得到对应的修复特征：对映射特征进行位置逆变换，得到对应的修复特征。
上述实施方式中的特征修复网络的结构图对应于图4B，为了强化修复特征中的高频信息，在对位置变换特征进行特征更新后，将更新后的位置变换特征输入至特征映射层(如多个卷积层)中进行非线性映射，并将得到的映射特征输入至位置逆变换层进行位置逆变换以得到最终的修复特征。
在一些实施例中，在得到更新后的位置变换特征之后，终端还可对更新后的位置变换特征进行特征映射，得到第一映射特征；将第一映射特征与归一化后的邻接矩阵进行点乘求和，得到更新后的映射特征；对更新后的映射特征进行特征映射，得到第二映射特征；相应的，终端可通过如下方式实现将更新后的位置变换特征进行位置逆变换，得到对应的修复特征；对第二映射特征进行位置逆变换，得到对应的修复特征。
上述实施方式中的特征修复网络的结构图对应于图4D，即特征修复网络中可包括多个特征更新层和特征映射层，将每次更新后的位置变换特征经特征映射层进行非线性映射后，对得到的映射特征再次进行特征更新，将最后一次特征更新和特征映射得到的映射特征输入至位置逆变换层进行位置逆变换以得到最终的修复特征。
在一些实施例中，参见图10，图10为本申请实施例提供的确定修复特征的方法的一个可选的流程示意图，图5示出的步骤102中的基于位置变换特征对编码特征进行特征修复，得到对应的修复特征，可通过如图10所示的步骤301-步骤303来实现：
步骤301：对位置变换特征中待修复区域之外的其他区域对应的位置变换特征进行采样，得到采样位置变换特征；
步骤302：采用采样位置变换特征，对位置变换特征中待修复区域对应的位置变换特征进行更新；
步骤303：将更新后的位置变换特征进行位置逆变换，得到对应的修复特征。
在一些实施例中，在采用采样位置变换特征，对位置变换特征中待修复区域对应的位置变换特征进行更新后，还可对更新后的位置变换特征进行非线性映射，得到对应的映射特征；对映射特征进行位置逆变换，得到对应的修复特征。
这里，将从待修复区域之外的其他区域对应的位置变换特征中采样得到的特征，直接更新待修复区域对应的特征，可大大提高特征修复的效率。
步骤103：通过特征解码网络，对修复特征进行特征解码，得到对应的修复图像。
在一些实施例中，特征解码网络由至少两个子解码网络级联构成，终端可通过特征解码网络，对修复特征进行特征解码，得到对应的修复图像：
通过至少两个子解码网络中的第一个子解码网络，对修复特征进行解码处理，得到相应的初始修复图像；将初始修复图像对应的修复特征输出至后续级联的子编码网络，以通过后续级联的子解码网络，对初始修复图像对应的修复特征进行解码处理得到目标修复图像，并经最后一个子解码网络输出，作为待修复图像对应的修复图像。
在实际应用中，特征解码网络可包括多层子解码网络，特征解码网络所包括的子解码网络的层数与特征编码网络所包括的子编码网络的层数可相同也可不同。通过第一子解码网络对待修复图像的修复特征进行解码，得到第一初始修复图像；然后将第一初始修复图像对应的修复特征输入至第二子解码网络中，通过第二子解码网络对第一初始修复图像对应的修复特征进行解码，得到第二初始修复图像，重复上述步骤，直至将第j-1(其中，j为特征解码网络的层数)初始修复图像对应的修复特征输入至第j个子解码网络中，通过第j个子解码网络对第j-1初始修复图像对应的修复特征进行解码，得到最终的修复图像。
通过上述方式，通过对待修复图像对应的原始的编码特征进行位置变换操作，实现了对原始的编码特征的位置重排列，即将多个位置的编码特征打包在一个位置上，使得位置重排列后，待修复区域的多个编码特征被打包在一起，由于在进行特征修复时，是按照位置来更新待修复图像的原始特征的，因此更新某一位置的编码特征时，在该位置对应的多个编码特征都会被同时更新，提高了图像修复的效率。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。
本申请实施例提供一种通用的图像修复方法，它适应于如视频图像去日期、水印等应用，对于播放的带有瑕疵画面的电影，对瑕疵画面进行图像修复改善画面质量，可极大提高图像修复的速度和效果。
参见图3，本申请实施例提供的图像修复模型为卷积神经网络，包括特征编码网络、特征修复网络及特征解码网络，在实际实施时，将包含用于指示待待修复区域的标记信息的待修复图像输入至图像修复模型中，经特征编码网络、特征修复网络和特征解码网络，对待修复区域执行一系列处理，得到待修复区域对应的修复图像，并将得到的待修复区域对应的修复图像与待修复图像中除待修复区域之外的其他区域进行图像融合，得到最终的修复图像。
其中，特征修复网络主要用于对经特征编码网络得到的待修复图像的特征图进行位置重排(即上述的位置变换)、特征更新、位置逆变换等一系列处理，得到最终的修复特征图，并输出至特征解码网络得到最终的修复图像。在进行图像修复之前，需先对图像修复模型进行训练，在训练时，需考虑待修复区域的大小，通常而言，当待修复区域较大时，需对待修复区域进行多次特征更新，如执行两次或两次以上的特征更新才能达到较好的修复效果。
参见图11，图11为本申请实施例提供的特征修复网络的数据流向示意图，特征修复网络的输入为卷积神经网络的中间层特征图，即特征编码网络输出的对应待修复图像的原始特征图(与上述的编码特征相对应)，通过特征修复网络对该原始特征图进行位置重排列(即位置变换)得到新的重排特征图F(与上述的位置变换特征相对应)，经过两次特征更新得到待修复图像对应的最终特征图，以将最终特征图输出至后续的特征解码网络进行特征解码得到最终的修复图像。
基于上述图像修复模型与特征修复网络的架构，对本申请实施例提供的图像修复方法进行说明，参见图12，图12为本申请实施例提供的图像修复方法的一个可选的流程示意图，接下来将结合图12示出的步骤进行说明。
步骤401：通过特征编码网络，对待修复图像进行特征编码，得到待修复图像对应的原始特征图。
这里，将待修复图像输入至图像修复模型中，首先通过特征编码网络对待修复图像进行特征编码，得到对应待修复图像的原始特征图，并将得到的原始特征图输入至特征修复网络。
步骤402：通过特征修复网络，按照预设大小的分割因子对原始特征图进行分割，得到目标数量的子特征图，并将子特征图进行位置重排列得到重排特征图。
其中，分割因子的大小可根据实际情况而确定，如可为2x2、3x3或其他大小，若待修复图像对应的原始特征图的大小为4x4，可按照大小为2x2的分割因子对原始特征图进行位置重排列后，得到4个2x2的子区域(即子特征图)，重排列得到的新的重排特征图相对于原特征图的长和宽均缩小，通道数增加。对于每一个子区域，将内部的4个位置对应的子编码特征，按照一定次序排成一列，这样就形成了一个4x2x2的体，得到对应待修复图像的新的重排特征图，对于每一个位置，位置重排列的目的在于将相邻位置的特征打包到一起。
步骤403：针对重排得到的重排特征图中的各个位置，分别获取每个位置的特征与其他位置的特征之间的相似度值。
步骤404：以每个位置为节点、节点之间的连接关系为边，构建待修复图像对应的邻接矩阵；其中，邻接矩阵的矩阵元素为对应的相似度值。
这里，在位置重排后的重排特征图上计算每个位置的特征与其他位置的特征之间的相似度，进而构建邻接矩阵，在计算相似度时，可采用余弦距离的计算方式或采用欧式距离的计算方式。
步骤405：对邻接矩阵中的矩阵元素进行归一化处理，得到归一化后的邻接矩阵；
步骤406：将归一化后的邻接矩阵与重排特征图进行点乘求和，得到更新后的特征图；
步骤407：对更新后的特征图进行非线性映射，得到映射特征图。
这里，为了强化特征中的高频信息，在对特征图更新后，将更新后的特征图输入至多个卷积层中进行非线性映射，得到映射特征图。
在实际应用中，可根据实际情况重复执行步骤406-步骤407多次。
步骤408：将映射特征图进行位置逆变换，得到对应的最终特征图。
这里，对映射得到的映射特征图(与上述的映射特征相对应)进行位置逆变换，得到最终特征图(与上述的修复特征相对应)，以将映射特征图恢复至与原始特征图相同空间大小的特征，并基于得到的最终特征图执行后续处理。
步骤409：通过特征编码网络，对最终特征图进行特征编码，得到对应的修复图像。
通过上述方式，将多个位置的特征打包在一个位置上，使得位置重排列后，待修复区域的多个特征被打包在一起，由于在进行特征修复时，是按照位置来更新待修复图像的特征的，因此更新某一位置的特征时，在该位置对应的多个特征都会被同时更新，提高了图像修复的效率；同时在特征图更新后，将更新后的特征图输入多个卷基层中，引入非线性变换，强化了特征中的高频信息，提高了图像修复效果。
下面继续说明本申请实施例提供的图像修复装置555的实施为软件模块的示例性结构，本申请实施例提供的图像修复装置应用于图像修复模型，所述图像修复模型包括特征编码网络、特征修复网络及特征解码网络，在一些实施例中，如图13所示，图13为本申请实施例提供的图像修复装置的结构示意图，存储在存储器550的图像修复装置555中的软件模块可以包括：
特征编码模块5551，用于通过所述特征编码网络，对包含标记信息的待修复图像进行特征编码，得到对应的编码特征；
其中，所述标记信息，用于指示所述待修复图像的待修复区域；
特征修复模块5552，用于通过所述特征修复网络，对所述编码特征进行位置变换，得到位置变换特征，并基于所述位置变换特征对所述编码特征进行特征修复，得到对应的修复特征；
特征解码模块5553，用于通过所述特征解码网络，对所述修复特征进行特征解码，得到对应的修复图像。
在一些实施例中，所述特征修复模块包括位置变换单元，所述位置变换单元，用于按照预设大小的分割因子，对所述编码特征进行特征分割，得到目标数量的子编码特征；
将所述目标数量的子编码特征进行位置重排列，得到位置变换特征。
在一些实施例中，所述位置变换单元，用于获取待修复图像的编码特征对应的特征图；
按照预设大小的分割因子，对所述特征图进行分割，得到目标数量的子特征图，并将所述子特征图确定为所述子编码特征对应的特征图。
在一些实施例中，所述特征修复模块还包括矩阵构建单元和特征更新单元，所述矩阵构建单元，用于基于所述位置变换特征，构建所述待修复图像对应的邻接矩阵；
所述特征更新单元，用于基于所述邻接矩阵，对所述待修复区域对应的编码特征进行特征修复，得到对应的修复特征。
在一些实施例中，所述矩阵构建单元，还用于
针对所述位置变换特征中的各个位置，分别获取每个位置对应的位置变换特征与其他位置对应的位置变换特征之间的相似度值；
以每个位置为节点、节点之间的连接关系为边，构建所述待修复图像对应的邻接矩阵；
其中，所述邻接矩阵的矩阵元素为对应的相似度值。
在一些实施例中，所述特征修复模块还包括位置逆变换单元，
所述特征更新单元，还用于对所述邻接矩阵中的矩阵元素进行归一化处理，得到归一化后的邻接矩阵；
将所述归一化后的邻接矩阵与所述位置变换特征进行点乘求和，得到更新后的位置变换特征；
所述位置逆变换单元，用于将所述更新后的位置变换特征进行位置逆变换，得到对应的修复特征。
在一些实施例中，所述特征修复模块还包括特征映射单元，
所述特征映射单元，用于所述得到更新后的位置变换特征之后，对所述更新后的位置变换特征进行特征映射，得到映射特征；
相应的，所述位置逆变换单元，还用于对所述映射特征进行位置逆变换，得到对应的修复特征。
在一些实施例中，所述得到更新后的位置变换特征之后，所述特征映射单元，还用于对所述更新后的位置变换特征进行特征映射，得到第一映射特征；
所述特征更新单元，还用于将所述第一映射特征与所述归一化后的邻接矩阵进行点乘求和，得到更新后的映射特征；
所述特征映射单元，还用于对所述更新后的映射特征进行特征映射，得到第二映射特征；
所述位置逆变换单元，还用于对所述第二映射特征进行位置逆变换，得到对应的修复特征。
在一些实施例中，所述特征修复模块包括位置变换单元、特征采样单元、特征更新单元和位置逆变换单元，
所述特征采样单元，用于对所述位置变换特征中，所述待修复区域之外的其他区域对应的位置变换特征进行采样，得到采样位置变换特征；
所述特征更新单元，用于采用所述采样位置变换特征，对所述位置变换特征中待修复区域对应的位置变换特征进行更新；
所述位置逆变换单元，用于对更新后的位置变换特征进行位置逆变换，得到对应的修复特征。
在一些实施例中，所述特征编码网络由至少两个子编码网络级联构成，所述特征编码模块，用于通过所述至少两个子编码网络中的第一个子编码网络，对包含标记信息的待修复图像进行编码处理，得到相应的子编码特征；
将所述子编码特征输入至后续级联的子编码网络，以通过后续级联的子编码网络，对所述子编码特征进行编码处理得到目标编码特征，并经最后一个子编码网络输出，作为所述待修复图像对应的编码特征。
在一些实施例中，所述特征解码网络由至少两个子解码网络级联构成，所述特征解码模块，用于通过所述至少两个子解码网络中的第一个子解码网络，对所述修复特征进行解码处理，得到相应的初始修复图像；
将所述初始修复图像对应的修复特征输出至后续级联的子编码网络，以通过后续级联的子解码网络，对所述初始修复图像对应的修复特征进行解码处理得到目标修复图像，并经最后一个子解码网络输出，作为所述待修复图像对应的修复图像。
在一些实施例中，所述装置还包括模型训练模块，所述模型训练模块，用于
通过所述特征编码网络，对图像样本中包含标记信息的待修复图像进行特征提取，得到对应的编码特征；
其中，所述图像样本包括原始图像及对应所述原始图像的待修复图像，所述标记信息用于指示所述待修复图像的待修复区域；
通过所述特征修复网络，对所述编码特征进行位置变换，得到位置变换特征，并基于所述位置变换特征对所述编码特征进行特征修复，得到对应的修复特征；
通过所述特征解码网络，对所述修复特征进行特征解码，得到对应的修复图像；
获取所述修复图像与所述原始图像之间的差异，并基于获取的所述差异，更新所述图像修复模型的模型参数。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的图像修复方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。
Claims (15)
1.一种图像修复方法，其特征在于，应用于图像修复模型，所述图像修复模型包括特征编码网络、特征修复网络及特征解码网络，所述方法包括：
通过所述特征编码网络，对包含标记信息的待修复图像进行特征编码，得到对应的编码特征；
其中，所述标记信息，用于指示所述待修复图像的待修复区域；
通过所述特征修复网络，对所述编码特征进行位置变换，得到位置变换特征，并基于所述位置变换特征对所述编码特征进行特征修复，得到对应的修复特征；
通过所述特征解码网络，对所述修复特征进行特征解码，得到对应的修复图像。
2.如权利要求1所述的方法，其特征在于，所述对所述编码特征进行位置变换，得到位置变换特征，包括：
按照预设大小的分割因子，对所述编码特征进行特征分割，得到目标数量的子编码特征；
将所述目标数量的子编码特征进行位置重排列，得到位置变换特征。
3.如权利要求2所述的方法，其特征在于，所述按照预设大小的分割因子，对所述编码特征进行特征分割，得到目标数量的子编码特征，包括：
获取待修复图像的编码特征对应的特征图；
按照预设大小的分割因子，对所述特征图进行分割，得到目标数量的子特征图，并将所述子特征图确定为所述子编码特征对应的特征图。
4.如权利要求1所述的方法，其特征在于，所述基于所述位置变换特征对所述编码特征进行特征修复，得到对应的修复特征，包括：
基于所述位置变换特征，构建所述待修复图像对应的邻接矩阵；
基于所述邻接矩阵，对所述待修复区域对应的编码特征进行特征修复，得到对应的修复特征。
5.如权利要求4所述的方法，其特征在于，所述基于所述位置变换特征，构建所述待修复图像对应的邻接矩阵，包括：
针对所述位置变换特征中的各个位置，分别获取每个位置对应的位置变换特征与其他位置对应的位置变换特征之间的相似度值；
以每个位置为节点、节点之间的连接关系为边，构建所述待修复图像对应的邻接矩阵；
其中，所述邻接矩阵的矩阵元素为对应的相似度值。
6.如权利要求4所述的方法，其特征在于，所述基于所述邻接矩阵，对所述待修复区域对应的编码特征进行特征修复，得到对应的修复特征，包括：
对所述邻接矩阵中的矩阵元素进行归一化处理，得到归一化后的邻接矩阵；
将所述归一化后的邻接矩阵与所述位置变换特征进行点乘求和，得到更新后的位置变换特征；
将所述更新后的位置变换特征进行位置逆变换，得到对应的修复特征。
7.如权利要求6所述的方法，其特征在于，所述得到更新后的位置变换特征之后，所述方法还包括：
对所述更新后的位置变换特征进行特征映射，得到映射特征；
相应的，将所述更新后的位置变换特征进行位置逆变换，得到对应的修复特征，包括：
对所述映射特征进行位置逆变换，得到对应的修复特征。
8.如权利要求6所述的方法，其特征在于，所述得到更新后的位置变换特征之后，所述方法还包括：
对所述更新后的位置变换特征进行特征映射，得到第一映射特征；
将所述第一映射特征与所述归一化后的邻接矩阵进行点乘求和，得到更新后的映射特征；
对所述更新后的映射特征进行特征映射，得到第二映射特征；
相应的，将所述更新后的位置变换特征进行位置逆变换，得到对应的修复特征，包括：
对所述第二映射特征进行位置逆变换，得到对应的修复特征。
9.如权利要求1所述的方法，其特征在于，所述基于所述位置变换特征对所述待修复区域的编码特征进行特征修复，得到对应的修复特征，包括：
对所述位置变换特征中，所述待修复区域之外的其他区域对应的位置变换特征进行采样，得到采样位置变换特征；
采用所述采样位置变换特征，对所述位置变换特征中待修复区域对应的位置变换特征进行更新；
对更新后的位置变换特征进行位置逆变换，得到对应的修复特征。
10.如权利要求1所述的方法，其特征在于，所述特征编码网络由至少两个子编码网络级联构成，所述通过所述特征编码网络，对包含标记信息的待修复图像进行特征编码，得到对应的编码特征，包括：
通过所述至少两个子编码网络中的第一个子编码网络，对包含标记信息的待修复图像进行编码处理，得到相应的子编码特征；
将所述子编码特征输入至后续级联的子编码网络，以通过后续级联的子编码网络，对所述子编码特征进行编码处理得到目标编码特征，并经最后一个子编码网络输出，作为所述待修复图像对应的编码特征。
11.如权利要求1所述的方法，其特征在于，所述特征解码网络由至少两个子解码网络级联构成，所述通过所述特征解码网络，对所述修复特征进行特征解码，得到对应的修复图像，包括：
通过所述至少两个子解码网络中的第一个子解码网络，对所述修复特征进行解码处理，得到相应的初始修复图像；
将所述初始修复图像对应的修复特征输出至后续级联的子编码网络，以通过后续级联的子解码网络，对所述初始修复图像对应的修复特征进行解码处理得到目标修复图像，并经最后一个子解码网络输出，作为所述待修复图像对应的修复图像。
12.如权利要求1所述的方法，其特征在于，所述方法还包括：
通过所述特征编码网络，对图像样本中包含标记信息的待修复图像进行特征提取，得到对应的编码特征；
其中，所述图像样本包括原始图像及对应所述原始图像的待修复图像，所述标记信息用于指示所述待修复图像的待修复区域；
通过所述特征修复网络，对所述编码特征进行位置变换，得到位置变换特征，并基于所述位置变换特征对所述编码特征进行特征修复，得到对应的修复特征；
通过所述特征解码网络，对所述修复特征进行特征解码，得到对应的修复图像；
获取所述修复图像与所述原始图像之间的差异，并基于获取的所述差异，更新所述图像修复模型的模型参数。
13.一种图像修复装置，其特征在于，应用于图像修复模型，所述图像修复模型包括特征编码网络、特征修复网络及特征解码网络，所述装置包括：
特征编码模块，用于通过所述特征编码网络，对包含标记信息的待修复图像进行特征编码，得到对应的编码特征；
其中，所述标记信息，用于指示所述待修复图像的待修复区域；
特征修复模块，用于通过所述特征修复网络，对所述编码特征进行位置变换，得到位置变换特征，并基于所述位置变换特征对所述编码特征进行特征修复，得到对应的修复特征；
特征解码模块，用于通过所述特征解码网络，对所述修复特征进行特征解码，得到对应的修复图像。
14.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至12任一项所述的图像修复方法。
15.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被处理器执行时，实现权利要求1至12任一项所述的图像修复方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011072199.0A CN112184592A (zh) | 2020-10-09 | 2020-10-09 | 一种图像修复方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011072199.0A CN112184592A (zh) | 2020-10-09 | 2020-10-09 | 一种图像修复方法、装置、设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112184592A true CN112184592A (zh) | 2021-01-05 |
Family
ID=73948582
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011072199.0A Pending CN112184592A (zh) | 2020-10-09 | 2020-10-09 | 一种图像修复方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112184592A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113793286A (zh) * | 2021-11-18 | 2021-12-14 | 成都索贝数码科技股份有限公司 | 一种基于多阶注意力神经网络的媒体图像水印移除方法 |
-
2020
- 2020-10-09 CN CN202011072199.0A patent/CN112184592A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113793286A (zh) * | 2021-11-18 | 2021-12-14 | 成都索贝数码科技股份有限公司 | 一种基于多阶注意力神经网络的媒体图像水印移除方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107977704B (zh) | 权重数据存储方法和基于该方法的神经网络处理器 | |
| CN111079532B (zh) | 一种基于文本自编码器的视频内容描述方法 | |
| CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
| CN109074512A (zh) | 使用神经网络压缩图像 | |
| CN110825884A (zh) | 基于人工智能的嵌入表示处理方法、装置及电子设备 | |
| CN116681630B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN114283347B (zh) | 目标检测方法、系统、智能终端及计算机可读存储介质 | |
| CN114580794B (zh) | 数据处理方法、装置、程序产品、计算机设备和介质 | |
| CN118230081B (zh) | 图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
| CN114781513A (zh) | 数据处理方法及装置、设备、介质 | |
| CN113705589A (zh) | 数据处理方法、装置及设备 | |
| CN116975357A (zh) | 视频生成方法、装置、电子设备、存储介质及程序产品 | |
| CN116958325A (zh) | 图像处理模型的训练方法、装置、电子设备及存储介质 | |
| CN112184592A (zh) | 一种图像修复方法、装置、设备及计算机可读存储介质 | |
| CN113554655A (zh) | 基于多特征增强的光学遥感图像分割方法及装置 | |
| CN116740078A (zh) | 图像分割处理方法、装置、设备以及介质 | |
| CN114756768B (zh) | 数据处理方法、装置、设备、可读存储介质及程序产品 | |
| CN112950501B (zh) | 基于噪声场的图像降噪方法、装置、设备及存储介质 | |
| CN116977502A (zh) | 运动重定向方法、装置、电子设备及计算机可读存储介质 | |
| CN117216537A (zh) | 集成模型的训练方法、装置、设备、存储介质及程序产品 | |
| CN115187775A (zh) | 一种遥感图像语义分割方法及装置 | |
| CN114333069A (zh) | 对象的姿态处理方法、装置、设备及存储介质 | |
| CN111144492B (zh) | 面向移动端虚拟现实与增强现实的场景图谱生成方法 | |
| CN114332561A (zh) | 超分辨率模型的训练方法、装置、设备及介质 | |
| CN111915701A (zh) | 一种基于人工智能的按钮图像生成方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40038167 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |