CN116309160A - 图像分辨率修复方法、装置、设备及存储介质 - Google Patents
图像分辨率修复方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116309160A CN116309160A CN202310263699.XA CN202310263699A CN116309160A CN 116309160 A CN116309160 A CN 116309160A CN 202310263699 A CN202310263699 A CN 202310263699A CN 116309160 A CN116309160 A CN 116309160A
- Authority
- CN
- China
- Prior art keywords
- image
- channel
- restoration
- resolution
- repair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000008439 repair process Effects 0.000 claims abstract description 181
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000010586 diagram Methods 0.000 claims description 67
- 238000009499 grossing Methods 0.000 claims description 54
- 238000013136 deep learning model Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 3
- 239000004973 liquid crystal related substance Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 30
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 22
- 238000000605 extraction Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Abstract
本公开提供了一种图像分辨率修复方法、装置、设备及存储介质，涉及人工智能技术领域中的计算机视觉、图像处理、深度学习、大数据等技术领域。获取待修复图像对应的第一修复图像，第一修复图像是根据第一参考图像和第二参考图像对待修复图像进行分辨率修复得到的，第一修复图像的分辨率大于待修复图像的分辨率，第一参考图像和第二参考图像对应相同图像内容且第一参考图像的分辨率大于第二参考图像的分辨率；根据第一参考图像，在图像通道上对第一修复图像进行分辨率修复，得到待修复图像对应的第二修复图像，第二修复图像的分辨率大于第一修复图像的分辨率。从而，通过在图像通道上对第一修复图像进一步修复，提高分辨率修复效果。
Description
技术领域
本公开涉及人工智能技术领域中的计算机视觉、图像处理、深度学习、大数据等技术领域，尤其涉及一种图像分辨率修复方法、装置、设备及存储介质。
背景技术
在图像修复任务中，图像分辨率修复能够将低分辨率图像转换为高分辨率图像，通过增大图像分辨率的方式提高图像的清晰度。
相关技术中，可将高分辨率图像、高分辨率图像对应的低分辨率图像和待修复的低分辨率图像输入至模型中，在模型中对高分辨率图像、高分辨率图像对应的低分辨率图像和待修复的低分辨率图像进行图像特征提取，对图像特征进行线性插值，得到待修复的低分辨率图像对应的高分辨率图像。
然而，上述方式的图像分辨率修复效果不佳。
发明内容
本公开提供了一种用于提高图像分辨率修复效果的图像分辨率修复方法、装置、设备及存储介质。
根据本公开的第一方面，提供了一种图像分辨率修复方法，包括：
获取待修复图像对应的第一修复图像，所述第一修复图像是根据第一参考图像和第二参考图像对所述待修复图像进行分辨率修复得到的，所述第一修复图像的分辨率大于所述待修复图像的分辨率，所述第一参考图像和所述第二参考图像为对应相同图像内容的图像，且所述第一参考图像的分辨率大于所述第二参考图像的分辨率；
根据所述第一参考图像，在图像通道上对所述第一修复图像进行分辨率修复，得到所述待修复图像对应的第二修复图像，所述第二修复图像的分辨率大于所述第一修复图像的分辨率。
根据本公开的第二方面，提供了一种图像分辨率修复装置，包括：
获取单元，用于获取待修复图像对应的第一修复图像，所述第一修复图像是根据第一参考图像和第二参考图像对所述待修复图像进行分辨率修复得到的，所述第一修复图像的分辨率大于所述待修复图像的分辨率，所述第一参考图像和所述第二参考图像为对应相同图像内容的图像，且所述第一参考图像的分辨率大于所述第二参考图像的分辨率；
修复单元，用于根据所述第一参考图像，在图像通道上对所述第一修复图像进行分辨率修复，得到所述待修复图像对应的第二修复图像，所述第二修复图像的分辨率大于所述第一修复图像的分辨率。
根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的图像分辨率修复方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的图像分辨率修复方法。
根据本公开的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的图像分辨率修复方法。
根据本公开提供的技术方案，在根据第一参考图像和第二参考图像对待修复图像进行分辨率修复得到第一修复图像之后，考虑到第一修复图像的分辨率修复效果还有待提高，利用第一参考图像的分辨率大于第二参考图像的分辨率的特点，基于第一参考图像在图像通道上对第一修复图像进行分辨率修复，提高第一修复图像的分辨率。从而，通过进行两阶段的分辨率修复，并在第二阶段以图像通道为分辨率修复的粒度，有效提高了图像分辨率修复效果，提高了分辨率修复后的图像质量。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1为DGF模型的网络结构示意图；
图2为本公开实施例适用的一种应用场景的示意图；
图3为根据本公开实施例提供的图像分辨率修复方法的流程示意图一；
图4为根据本公开实施例提供的图像分辨率修复方法的流程示意图二；
图5为本公开实施例提供的模型结构示意图一；
图6为本公开实施例提供的模型结构示意图二；
图7为根据本公开实施例提供的图像分辨率修复方法的流程示意图三；
图8为本公开实施例提供的图像分辨率修复过程的示例图；
图9为本公开实施例提供的图像分辨率修复装置的结构示意图一；
图10为本公开实施例提供的图像分辨率修复装置的结构示意图二；
图11为可以用来实施本公开的实施例的示例电子设备1100的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
随着拍摄设备的不断升级，拍摄图像的分辨率大小也在不断增大，在实际场景中高分辨率图像已经非常常见。在各类的图像修复任务中，深度学习模型的输入数据与输出数据通常为分辨率相同的图像，输入深度学习模型的图像的分辨率越大，则图像传输和深度学习模型推理的耗时越长，如此，导致诸多的深度学习模型无法在高分辨率图像非常常见的实际场景中应用。
基于上述情况，发明人发现有必要在不影响模型效果的条件下缩小深度学习模型的输入图像的分辨率，再对深度学习模型的输出图像进行分辨率修复，使得深度学习模型依旧能够实际应用。
相关技术中，对图像分辨率进行修复的方式如下：
方式一：采用图像超分辨率模型对低分辨率图像进行图像重建，得到低分辨率图像对应的高分辨率图像。然而，图像超分辨率模型的结构复杂，推理运算过程耗时较长，导致图像分辨率修复效率较低。
方式二：通过深度导向滤波器(Deep Guided Filter，DGF)模型对低分辨率图像进行图像重建。
作为示例的，图1为DGF模型的网络结构示意图，如图1所示，DGF模型中包括导向图提取网络、膨胀卷积(Dilated convolution)网络、逐点卷积(Pointwise Convolution)网络、双线性上采样(Bilinear Upsample)层和线性插值层(Linear Layer)。基于图1所示的DGF模型进行图像分辨率修复的过程包括：将高分辨率图像、高分辨率图像对应的低分辨率图像以及待修复的低分辨率图像输入至DGF模型中；在DGF模型中通过导向图提取网络分别提取高分辨率图像的导向图、高分辨率图像对应的低分辨率图像的导向图；将高分辨率图像对应的低分辨率图像的导向图输入至膨胀卷积网络进行特征提取，得到高分辨率图像对应的低分辨率图像的图像特征，将待修复的低分辨率图像输入至膨胀卷积网络进行特征提取，得到待修复的低分辨率图像的图像特征；将高分辨率图像对应的低分辨率图像的图像特征和待修复的低分辨率图像的图像特征输入至逐点卷积网络中进行卷积处理，再将逐点卷积网络的输出数据输入至双线性上采样层中进行上采样；将双线性上采样层的输出数据与高分辨率图像的导向图输入至线性插值层中进行线性插值，得到待修复的低分辨率图像对应的分辨率修复图像。可见，在方式二中，利用线性上采样、线性插值的方式进行分辨率修复，该方式的分辨率修复效果较差。
为解决上述缺陷，本公开提供一种图像分辨率修复方法、装置、设备及存储介质，应用于人工智能技术领域，具体可为计算机视觉、图像处理、深度学习、大数据等技术领域。在图像分辨率修复方法中，将待修复图像的分辨率修复分为两阶段，第一阶段，根据第一参考图像和第二参考图像对于待修复图像经过分辨率修复，得到第一修复图像，第二阶段，根据第一参考图像在图像通道上对第一修复图像进一步进行分辨率修复，以提高第一修复图像的分辨率。如此，通过两阶段的分辨率修复和以图像通道为粒度的图像修复，提高了图像的分辨率修复效果，提高了图像质量。相较于图像超分辨率模型，本公开未涉及复杂的模型结构，提高了分辨率修复效率。
图2为本公开实施例适用的一种应用场景的示意图。在应用场景中，涉及的设备包括图像分辨率修复装置，图像分辨率修复装置可以为终端或者服务器，其中，图2以图像分辨率修复装置为服务器210为例。
在一示例中，服务器210上可对自身存储的低分辨率图像进行分辨率修复；在又一示例中，如图2所示，服务器210上部署有深度学习模型，在服务器210上，可将高分辨率图像转换为低分辨率图像，将低分辨率图像输入至深度学习模型中，利用本公开实施例对深度学习模型输出的低分辨率图像进行分辨率修复，得到低分辨率图像对应的分辨率修复图像。
本公开实施例可在终端或者服务器上实现。其中，终端可以是个人数字处理(personal digital assistant，简称PDA)设备、具有无线通信功能的手持设备(例如智能手机、平板电脑)、计算设备(例如个人电脑(personal computer，简称PC))、可穿戴设备(例如智能手表、智能手环)以及智能家居设备(例如智能音箱、智能显示设备)等。服务器可以为独立的服务器也可以为服务器集群，可以为本地服务器也可以为云服务器。
下面以具体的实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本公开的实施例进行描述。
图3为根据本公开实施例提供的图像分辨率修复方法的流程示意图一。
如图3所示，图像分辨率修复方法包括：
S301，获取待修复图像对应的第一修复图像。
其中，第一修复图像是根据第一参考图像和第二参考图像对待修复图像进行分辨率修复得到的，第一修复图像的分辨率大于待修复图像的分辨率。
其中，第一参考图像和第二参考图像为对应相同图像内容的图像，且第一参考图像的分辨率大于第二参考图像的分辨率。所以，第一参考图像和第二参考图像可以为一对高分辨率图像和低分辨率图像。
比如，可获取第一参考图像，对第一参考图像进行分辨率降低，得到第二参考图像；又如，可获取第二参考图像，采用分辨率修复效果较好的方式(比如采用图像超分辨率模型)对第二参考图像进行分辨率修复，得到第一参考图像；又如，可从数据库中获取预先采集的第一参考图像和第二参考图像；又如，可通过不同的拍摄设备拍摄得到第一参考图像和第二参考图像。
其中，第一参考图像的分辨率还可大于待修复图像的分辨率，从而根据第一参考图像和第二参考图像能够对待修复图像的分辨率进行有效修复。
其中，第一参考图像的分辨率还可大于第一修复图像的分辨率，以使后续根据第一参考图像能够对第一修复图像的分辨率进行有效修复。
本实施例中，可获取待修复图像，根据第一参考图像和第二参考图像，对待修复图像进行分辨率修复，得到待修复图像对应的第一修复图像。
或者，可获取预先存储的第一修复图像。其中，第一修复图像可以是在其他设备上根据第一参考图像和第二参考图像对待修复图像进行分辨率修复得到的，也可以是从包含第一修复图像的公开图像库中采集得到的。
S302，根据第一参考图像，在图像通道上对第一修复图像进行分辨率修复，得到待修复图像对应的第二修复图像。
其中，一幅图像可由多个图像通道组成的。
本实施例中，为提高待修复图像的分辨率，考虑到图像是由多个图像通道组成的，可从图像通道这一粒度对第一修复图像进行分辨率修复。在实现过程中，由于第一参考图像的分辨率大于第二参考图像的分辨率，选择第一参考图像对第一修复图像进行分辨率修复，可按照第一参考图像在至少一个图像通道上的通道图，对第一修复图像在同一图像通道上的通道图进行分辨率修复，如此得到分辨率修复后的第一修复图像。为便于区分，将分辨修复后的第一修复图像称为待修复图像对应的第二修复图像。
其中，按照第一参考图像在至少一个图像通道上的通道图，对第一修复图像在同一图像通道上的通道图进行分辨率修复，例如：按照第一参考图像在第一个图像通道上的通道图，对第一修复图像在第一个图像通道上的通道图进行分辨率修复；按照第一参考图像在第二个图像通道上的通道图，对第一修复图像在第二个图像通道上的通道图进行分辨率修复；……，如此类推。
本公开实施例中，在得到根据第一参考图像和第二参考图像对待修复图像进行修复后得到的第一修复图像后，根据第一参考图像在图像通道上对第一修复图像进行修复，得到待修复图像对应的第二修复图像。可见，本公开实施例通过对待修复图像进行了两阶段的分辨率修复，而且在第二阶段将分辨率修复的粒度细化到图像通道，有效地提高了分辨率修复效果，同时整个修复过程未涉及复杂模型结果和复杂运算过程，提高了分辨率修复效率。
在一些实施例中，待修复图像、第一修复图像以及第一参考图像的图像格式可为RGB格式，图像通道可包括如下至少一种：红色通道(即R通道)、绿色通道(即G通道)、蓝色通道(即B通道)。基于此，S302可包括：根据第一参考图像，在R通道、G通道、B通道中的至少一个图像通道上，对第一修复图像进行分辨率修复，得到待修复图像对应的第二修复图像。从而，在R通道、G通道、B通道中的至少一个图像通道上，提高第一修复图像的分辨率，提高待修复图像的分辨率修复效果。
此外，待修复图像、第一修复图像以及第一参考图像的图像格式还可为HSV格式或者YUV格式，可将第一修复图像和第一参考图像转换为RGB格式后进行通道图像的修复，也可以在HSV通道或者YUV通道上进行通道图像的修复。相较于在HSV通道或者YUV通道上进行通道图像的修复，在RGB通道上进行通道图像的修复能够从对各个颜色通道对应的单通道图像进行分辨率修复，即从色彩的角度进行分辨率修复，分辨率修复效果更好。
图4为根据本公开实施例提供的图像分辨率修复方法的流程示意图二。
如图4所示，图像分辨率修复方法包括：
S401，获取待修复图像对应的第一修复图像。
其中，第一修复图像是根据第一参考图像和第二参考图像对待修复图像进行分辨率修复得到的，第一修复图像的分辨率大于待修复图像的分辨率，第一参考图像和第二参考图像为对应相同图像内容的图像，且第一参考图像的分辨率大于第二参考图像的分辨率。
其中，S401的实现原理和技术效果可参照前述实施例，不再赘述。
S402，分别对第一修复图像和第一参考图像进行通道分割，得到第一修复图像对应不同图像通道的多个第一通道图和第一参考图像对应不同图像通道的多个第二通道图。
其中，图像通道为多个。
在第一修复图像对应不同图像通道的多个第一通道图中，多个第一通道图可与多个图像通道一一对应；在第一参考图像对应不同图像通道的多个第二通道图中，多个第二通道图可与多个图像通道一一对应。
本实施例中，为提高分辨率修复效果，可将第一修复图像按照多个图像通道进行通道分割，得到第一修复图像对应不同图像通道的多个第一通道图，比如，得到第一修复图像对应第一个图像通道的第一通道图、对应第二个图像通道的第一通道图、……，依此类推；可将第一参考图像按照多个图像通道进行通道分割，得到第一参考图像对应不同图像通道的多个第二通道图，比如，得到第一参考图像对应第一个图像通道的第二通道图、对应第二个图像通道的第二通道图、……，依此类推。
其中，对图像进行通道分割的过程，相当于对图像矩阵进行拆分的过程，可以采用图像通道分割函数，在此对通道分割的具体实现不做限制。
在一种可能的实现方式中，图像通道为RGB通道，具体的，图像通道可包括R通道、G通道和B通道，基于此，S402可包括：按照RGB通道，分别对第一修复图像和第一参考图像进行通道分割，得到第一修复图像对应R通道的第一通道图、第一修复图像对应G通道的第一通道图、第一修复图像对应B通道的第一通道图、第一参考图像对应R通道的第二通道图、第一参考图像对应G通道的第二通道图、第一参考图像对应B通道的第二通道图。从而，将第一修复图像和第一参考图像分别按照RGB通道进行通道分割，以从RGB通道分别对第一修复图像进行分辨率修复。
S403，根据多个第二通道图对多个第一通道图进行分辨率修复，得到第一修复图像对应不同图像通道的多个通道修复图。
其中，通道修复图与图像通道一一对应，换句话说，第一修复图像在每个图像通道都对应有一个通道修复图。
本实施例中，针对多个图像通道中的每个图像通道，可基于第一参考图像对应图像通道的第二通道图，对第一修复图像对应该图像通道的第一通道图进行分辨率修复，得到第一修复图像对应图像通道的通道修复图。如此，得到第一修复图像对应不同图像通道的多个通道修复图。从而，对第一修复图像对应多个图像通道的通道图一一进行分辨率修复，提高分辨率修复效果。
在一种可能的实现方式中，S403可包括：将对应同一图像通道的第一通道图和第二通道图进行通道拼接，得到不同图像通道分别对应的通道拼接图；针对不同图像通道中每个图像通道，对通道拼接图进行平滑处理，得到平滑处理后的通道拼接图；对平滑处理后的通道拼接图进行分辨率修复，得到第一修复图像对应图像通道的通道修复图。
本实现方式中，将对应同一图像通道的第一通道图和第二通道图进行通道拼接，使得一个图像通道对应一张通道拼接图，便于对各个图像通道分别对应的整张通道拼接图进行分辨率修复，而且由于通道拼接图中一部分数据来自第一修复图像的第一通道图、另一部分数据来自第一参考图像的第二通道图，基于在整张通道拼接图的分辨率修复过程中可以利用来自第二通道图的图像数据对来自第一通道图的图像数据进行分辨率修复，提高分辨率修复效果和效率。其中，通道拼接过程例如：将第一修复图像对应第一个图像通道的第一通道图与第一参考图像对应第一个图像通道的第二通道图进行通道拼接，得到第一个图像通道对应的通道拼接图；将第一修复图像对应第二个图像通道的第一通道图与第一参考图像对应第二个图像通道的第二通道图进行通道拼接，得到第二个图像通道对应的通道拼接图；……，依此类推。通道拼接可以利用通道拼接函数来实现，在此不做具体限制。
在得到不同的图像通道分别对应的通道拼接图之后，考虑到在根据第一参考图像和第二参考图像对待修复图像进行分辨率修复得到第一修复图像的过程中，得到的第一修复图像可能比较粗糙，所以可采用图像平滑处理方式，对不同图像通道分别对应的通道拼接图进行平滑处理，得到不同图像通道对应的平滑处理后的通道拼接图；再对不同图像通道对应平滑处理后的通道拼接图进行分辨率修复，得到第一修复图像对应不同图像通道的通道修复图。
从而，通过同一图像通道的第一通道图和第二通道图的通道拼接、通道拼接图的平滑处理、平滑处理后的通道拼接图的分辨率修复，提高了图像的分辨率修复效果，提高了图像质量。
在一种可能的实现方式中，图像通道为RGB通道，具体地，图像通道可包括R通道、G通道和B通道，基于此，S403可包括：将对应R通道的第一通道图和对应R通道的第二通道图进行通道拼接，得到R通道对应的通道拼接图；将对应G通道的第一通道图和对应G通道的第二通道图进行通道拼接，得到G通道对应的通道拼接图；将对应B通道的第一通道图和对应R通道的第二通道图进行通道拼接，得到B通道对应的通道拼接图；对R通道对应的通道拼接图、G通道对应的通道拼接图、B通道对应的通道拼接图分别进行平滑处理，得到R通道对应的平滑处理后的通道拼接图、G通道对应的平滑处理后的通道拼接图、B通道对应的平滑处理后的通道拼接图；对R通道对应的平滑处理后的通道拼接图、G通道对应的平滑处理后的通道拼接图、B通道对应的平滑处理后的通道拼接图分别进行分辨率修复，得到第一修复图像对应R通道的通道修复图、第一修复图像对应G通道的通道修复图、第一修复图像对应B通道的通道修复图。从而，通过在R通道、G通道、B通道上分别进行通道拼接、平滑处理、分辨率修复，提高分辨率修复效果。
S404，对多个通道修复图进行通道拼接，得到第二修复图像。
本实施例中，在得到第一修复图像对应不同图像通道的多个通道修复图之后，可将对应不同图像通道的多个通道修复图进行通道拼接，得到拼接后的图像即为第二修复图像。从而，完成对第一修复图像的分辨率修复，得到分辨率大于第一修复图像的分辨率的第二修复图像。
在一种可能的实现方式中，图像通道为RGB通道，具体的，图像通道可包括R通道、G通道和B通道，基于此，S404可包括：将第一修复图像对应R通道的通道修复图、第一修复图像对应G通道的通道修复图与第一修复图像对应B通道的通道修复图进行通道拼接，得到第二修复图。其中，第二修复图的图像格式可为RGB格式。从而，通过对R通道、G通道、B通道进行通道分割后在R通道、G通道、B通道上分别进行分辨率修复，再对R通道、G通道、B通道进行通道拼接的方式，提高图像分辨率修复效果。
本公开实施例中，对待修复图像进行了两阶段的分辨率修复，在第一阶段修复得到第一修复图像，在第二阶段将分辨率修复的粒度细化到图像通道，通过通道分割、对通道图像进行分辨率修复和通道拼接，得到比第一修复图像的分辨率更高的第二修复图像，从而，有效提高了分辨率修复效果，同时整个修复过程未涉及复杂模型结果和复杂运算过程，提高了分辨率修复效率。
在一些实施例中，可根据第一参考图像，采用第一修复模型对第一修复图像进行分辨率修复。其中，第一修复模型可为神经网络模型，以通过神经网络模型来提高对第一修复图像进行分辨率修复的效果。
本实施例中，可将第一修复图像对应不同图像通道的多个第一通道图和第一参考图像对应不同图像通道的多个第二通道图输入至第一修复模型中，在第一修复模型中根据多个第二通道图对多个第一通道图进行分辨率修复，得到第一修复模型的输出数据，其中，第一修复模型的输出数据可包括第一修复图像对应不同图像通道的多个通道修复图。之后，对第一修复图像对应不同图像通道的多个通道修复图进行通道拼接，得到第二修复图像。
在一种可能的实现方式中，图5为本公开实施例提供的模型结构示意图一。如图5所示，第一修复模型中可包括平滑模块(又可以称为平滑网络层)。基于此，在对通道拼接图进行平滑处理的过程中，可针对不同图像通道中每个图像通道，将通道拼接图输入至第一修复模型中的平滑模块中进行平滑处理，得到平滑处理后的通道拼接图(图5中以图像通道为R通道、G通道、B通道为例，平滑处理后的通道拼接图可包括R通道对应的平滑处理后的通道拼接图、G通道对应的平滑处理后的通道拼接图、B通道对应的平滑处理后的通道拼接图)。
从而，利用平滑模块实现对通道拼接图像的平滑处理，提高了通道拼接图像的图像质量；而且，平滑模块可以对不同图像通道对应的通道拼接图进行平滑处理，即不同的图像通道共用了相同的平滑模块，换句话说，平滑模块为不同的图像通道权值共享的网络模块，能够在对各个图像通道对应的通道拼接图进行平滑处理的同时，保证了多个图像通道之间的关联性，并减少了模型的参数量，提高了分辨率修复效果和效率。
进一步的，平滑模块可采用残差模块(Residual Block，简称ResBlock)，即在第一修复模型中平滑模块为多个图像通道权值共享的残差模块。其中，残差模块又可以称为残差网络(Residual Network，简称ResNet)。从而，利用残差模块提高对通道拼接图进行平滑处理的效果。
在一种可能的实现方式中，第一修复模型还可包括不同图像通道分别对应的残差模块。基于此，在对平滑处理后的通道拼接图进行分辨率修复的过程中，可针对不同图像通道中每个图像通道，将平滑处理后的通道拼接图输入至图像通道对应的残差模块中进行分辨率修复，得到第一修复图像对应图像通道的通道修复图。从而，利用独立的多个残差模块分别对相应的通道拼接图进行分辨率修复，提高分辨率修复效果。
进一步的，图像通道为RGB通道，具体的，图像通道可包括R通道、G通道和B通道，基于此，如图5所示，第一修复模型可包括R通道对应的残差模块、G通道对应的残差模块和B通道对应的残差模块。在对平滑处理后的通道拼接图进行分辨率修复的过程中，可将R通道对应的平滑处理后的通道拼接图输入至R通道对应的残差模块中进行分辨率修复，得到第一修复图像对应R通道的通道修复图；可将G通道对应的平滑处理后的通道拼接图输入至G通道对应的残差模块中进行分辨率修复，得到第一修复图像对应G通道的通道修复图；可将B通道对应的平滑处理后的通道拼接图输入至B通道对应的残差模块中进行分辨率修复，得到第一修复图像对应B通道的通道修复图。从而，为R通道、G通道、B通道分别提供独立的残差模块，提高对R通道对应的通道拼接图、G通道对应的通道拼接图、B通道对应的通道拼接图进行分辨率修复的修复效果。
在一种可能的实现方式中，如图5所示，第一修复模型中的残差模块(可以是平滑模块，也可以是不同图像通道对应的残差模块)可包括一个或多个残差单元，在残差单元的网络结构中可包括：批量归一化(Batch Normalization，BN)层、修正线性单元(Rectifiedlinear unit，ReLU)层以及权重(Weight)层。例如，将残差单元的输入数据Xi输入至残差单元的BN层之后，再将BN层的输出数据输入至ReLU层，将ReLU层的输出数据输入权重层，之后，将输入数据Xi与权重层的输出数据相加，得到第i个残差单元的输入数据Xi+1。
在一些实施例中，可将第一参考图像、第二参考图像以及待修复图像输入至第二修复模型中，在第二修复模型中根据第一参考图像与第二参考图像之间的差异对待修复图像进行分辨率修复，得到第一修复图像。
本实施例中，可在第二修复图像中，对第一参考图像、第二参考图像以及待修复图像分别进行特征提取，得到第一参考图像对应的图像特征、第二参考图像对应的图像特征以及第三参考图像对应的图像特征，基于第一参考图像对应的图像特征、第二参考图像对应的图像特征以及第三参考图像对应的图像特征，学习第一参考图像与第二参考图像之间的差异并基于该差异对待修复图像进行分辨率修复，得到第一修复图像。
从而，利用第一参考图像的图像内容与第二参考图像的图像内容一致且第一参考图像的分辨率大于第二参考图像的分辨率的特点，即利用第一参考图像与第二参考图像为相互对应的高分辨率图像和分辨率图像的特点，通过第一参考图像与第二参考图像之间的差异来对待修复图像进行分辨率修复，提高分辨率修复效果，提高第一修复图像的分辨率。
进一步的，第二修复模型可为DGF模型。从而，通过DGF模型提高对待修复图像进行分辨率修复的效果，提高第一修复图像的分辨率。
图6为本公开实施例提供的模型结构示意图二，如图6所示，先通过第二修复模型对待修复图像进行分辨率修复，得到第一修复图像，图6以第二修复模型为DGF模型为例；再通过第一修复模型对第一修复图像进行修复，得到第二修复图像。其中，DGF模型中可包括导向图提取网络、膨胀卷积网络、逐点卷积网络、双线性上采样层和线性插值层；第一修复模型可包括平滑模块、R通道对应的残差模块、G通道对应的残差模块、B通道对应的残差模块，具体可参照前述实施例，不再赘述。
如图6所示，可将第一参考图像、第二参考图像以及待修复图像输入至DGF中；在DGF中通过导向图提取网络分别提取第一参考图像的导向图和第二参考图像的导向图；将第二参考图像的导向图输入至膨胀卷积网络进行特征提取，得到第二参考图像的图像特征，将待修复图像输入至膨胀卷积网络进行特征提取，得到待修复图像的图像特征；将第二参考图像的图像特征和待修复图像的图像特征输入至逐点卷积网络中进行卷积处理，得到逐点卷积网络的输出数据；将逐点卷积网络的输出数据输入至双线性上采样层中进行上采样，得到双线性上采样层的输出数据；将双线性上采样层的输出数据与第一参考图像的导向图输入至线性插值层中进行线性插值，得到待修复的低分辨率图像对应的第一修复图像。
如图6所示，在得到第一修复图像之后，分别对第一修复图像和第一参考图像进行通道分割，例如，进行R通道、G通道和B通道的分割，得到第一修复图像在R通道的第一通道图、第一修复图像在G通道的第一通道图、第一修复图像在B通道的第一通道图、第一参考图像在R通道的第二通道图、第一参考图像在G通道的第二通道图、第一参考图像在B通道的第二通道图。对这些通道图中位于同一通道的通道图进行拼接，得到R通道对应的通道拼接图、G通道对应的通道拼接图、B通道对应的通道拼接图；之后通过第一修复模型中的平滑模块对R通道对应的通道拼接图、G通道对应的通道拼接图、B通道对应的通道拼接图进行平滑处理，得到R通道对应的平滑处理后的通道拼接图、G通道对应的平滑处理后的通道拼接图、B通道对应的平滑处理后的通道拼接图，通过R通道对应残差模块对R通道对应的平滑处理后的通道拼接图进行图像处理、通过G通道对应残差模块对G通道对应的平滑处理后的通道拼接图进行图像处理、通过B通道对应残差模块对B通道对应的平滑处理后的通道拼接图进行图像处理，得到第一修复图像在R通道的通道修复图、第一修复图像在G通道的通道修复图、第一修复图像在B通道的通道修复图。第一修复模型的具体内容可参照前述实施例的描述，不再赘述。最后，对第一修复图像在R通道的通道修复图、第一修复图像在G通道的通道修复图、第一修复图像在B通道的通道修复图进行拼接，得到第二修复图像。
由于DGF模型中采用了线性插值的方式进行分辨率修复，得到的第一修复图像较为粗糙，所以在第一修复模型中利用平滑模块、各个图像通道分辨对应的残差模块，来提高第一修复图像的分辨率，提高第一修复图像的质量。
在一些实施例中，待修复图像包括深度学习模型的输出图像，深度学习模型的输出图像是将第二参考图像输入至深度学习模型进行图像处理后得到的。具体地，可以将第一参考图像降低分辨率之后得到的第二参考图像输入至深度学习模型中进行图像处理，得到深度学习模型的输出图像，即得到待修复图像，利用前述实施例提供的图像分辨率修复方法对待修复图像进行修复，得到待修复图像对应的第二修复图像。如此，在实际应用中，在面对高分辨率图像时，深度学习模型无需直接处理高分辨率图像，可以处理高分辨率图像对应的低分辨率图像，避免通过深度学习模型进行图像处理时因图像分辨率过高导致图像处理耗时较长，提高了深度学习模型的图像处理效率。
进一步的，深度学习模型可以为用于图像去噪、图像去雾和/或图像去阴影的神经网络模型。此外，也可以是用于提高图像的色彩、亮度、清晰度等一个或多个方面的图像质量的神经网络模型。
图7为根据本公开实施例提供的图像分辨率修复方法的流程示意图三。
如图7所示，图像分辨率修复方法包括：
S701，对第一参考图像进行分辨率降低，得到第二参考图像。
S702，将第二参考图像输入至深度学习模型中进行图像处理，得到深度学习模型输出的待修复图像。
其中，深度学习模型的输出图像即为待修复图像。深度学习模型的图像处理可以是图像去噪、图像去雾、图像去阴影等处理操作。
S703，根据第一参考图像和第二参考图像，对待修复图像进行分辨率修复，得到待修复图像对应的第一修复图像。
S704，根据第一参考图像，在图像通道上对第一修复图像进行分辨率修复，得到待修复图像对应的第二修复图像。
其中，S701～S704的实现原来和技术效果可参照前述实施例，不再赘述。
本公开实施例中，第一参考图像、第二参考图像和待修复图像都为图像内容的图像，第一参考图像的分辨率大于第二参考图像，在深度学习模型对第二参考图像进行图像处理得到待修复图像后，结合第一参考图像和第二参考图像对待修复图像进行分辨率修复，得到第一修复图像，再根据第一参考图像在图像通道上对第一修复图像进行修复，得到第二修复图像。如此，使得深度学习模型无需直接输入高分辨率图像，而是可以输入高分辨率图像对应的低分辨率图像，使得深度学习模型可以在高分辨率场景下实际应用，还提高了图像分辨率修复效果，提高了图像质量。
作为示例的，图8为本公开实施例提供的图像分辨率修复过程的示例图。
如图8所示，可通过对高分辨率原图(相当于第一参考图像)进行尺寸调整，降低高分辨率原图的分辨率，得到低分辨率原图(相当于第二参考图像)；接着，通过去阴影模型(相当于深度学习模型)对低分辨率原图进行去阴影，得到去阴影模型输出的低分辨率去阴影图；最后，通过改进的DGF模型(DGF模型+第一修复模型)对低分辨率去阴影图进行分辨率修复，得到高分辨率去阴影图(相当于第二修复图像)。
图9为本公开实施例提供的图像分辨率修复装置的结构示意图一。如图9所示，图像分辨率修复装置900包括：
获取单元901，用于获取待修复图像对应的第一修复图像，第一修复图像是根据第一参考图像和第二参考图像对待修复图像进行分辨率修复得到的，第一修复图像的分辨率大于待修复图像的分辨率，第一参考图像和第二参考图像为对应相同图像内容的图像，且第一参考图像的分辨率大于第二参考图像的分辨率；修复单元902，用于根据第一参考图像，在图像通道上对第一修复图像进行分辨率修复，得到待修复图像对应的第二修复图像，第二修复图像的分辨率大于第一修复图像的分辨率。
图10为本公开实施例提供的图像分辨率修复装置的结构示意图二。如图10所示，图像分辨率修复装置1000包括：
获取单元1001，用于获取待修复图像对应的第一修复图像，第一修复图像是根据第一参考图像和第二参考图像对待修复图像进行分辨率修复得到的，第一修复图像的分辨率大于待修复图像的分辨率，第一参考图像和第二参考图像为对应相同图像内容的图像，且第一参考图像的分辨率大于第二参考图像的分辨率；修复单元1002，用于根据第一参考图像，在图像通道上对第一修复图像进行分辨率修复，得到待修复图像对应的第二修复图像，第二修复图像的分辨率大于第一修复图像的分辨率。
在一些实施例中，修复单元1002包括：通道分割模块10021，用于分别对第一修复图像和第一参考图像进行通道分割，得到第一修复图像对应不同图像通道的多个第一通道图和第一参考图像对应不同图像通道的多个第二通道图；通道图修复模块10022，用于根据多个第二通道图对多个第一通道图进行分辨率修复，得到第一修复图像对应不同图像通道的多个通道修复图；多通道拼接模块，用于对多个通道修复图进行通道拼接，得到第二修复图像。
在一些实施例中，通道图修复模块10022包括：单通道拼接子模块(图中未示出)，用于将对应同一图像通道的第一通道图和第二通道图进行通道拼接，得到不同图像通道分别对应的通道拼接图；平滑处理子模块(图中未示出)，用于针对不同图像通道中每个图像通道，对通道拼接图进行平滑处理，得到平滑处理后的通道拼接图；分辨率修复子模块(图中未示出)，用于对平滑处理后的通道拼接图进行分辨率修复，得到第一修复图像对应图像通道的通道修复图。
在一些实施例中，平滑处理子模块具体用于：针对不同图像通道中每个图像通道，将通道拼接图输入至第一修复模型中的平滑模块中进行平滑处理，得到平滑处理后的通道拼接图。
在一些实施例中，第一修复模型还包括不同图像通道分别对应的残差模块，分辨率修复子模块具体用于：针对不同图像通道中每个图像通道，将平滑处理后的通道拼接图输入至图像通道对应的残差模块中进行分辨率修复，得到第一修复图像对应图像通道的通道修复图。
在一些实施例中，获取单元1001包括：初步修复模块10011，用于将第一参考图像、第二参考图像以及待修复图像输入至第二修复模型，在第二修复模型中根据第一参考图像与第二参考图像之间的差异对待修复图像进行分辨率修复，得到第一修复图像。
在一些实施例中，第二修复模型包括深度导向滤波模型。
在一些实施例中，待修复图像包括深度学习模型的输出图像，输出图像是将第二参考图像输入至深度学习模型进行图像处理后得到的。
图9～图10提供的图像分辨率修复装置，可以执行上述相应方法实施例，其实现原理和技术效果类似，在此不再赘述。
根据本公开的实施例，本公开还提供了一种电子设备，电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一实施例提供的方案。
根据本公开的实施例，本公开还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述任一实施例提供的方案。
根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
图11为可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图11所示，电子设备1100包括计算单元1101，其可以根据存储在只读存储器(Read Only Memory，ROM)(图11以ROM 1102为例)中的计算机程序或者从存储单元1108加载到随机访问存储器(Random Access Memory，RAM)(图11以RAM 1103为例)中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储电子设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口(图11以I/O接口1105为例)也连接至总线1104。
电子设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许电子设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(Central Processing Unit，CPU)、图形处理单元(Graphic Processing Unit，GPU)、各种专用的人工智能(ArtificialIntelligence，AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(Digital Signal Process，DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如图像分辨率修复方法。例如，在一些实施例中，图像分辨率修复方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到电子设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的图像分辨率修复方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像分辨率修复方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(Field Program Gate Array，FPGA)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、专用标准产品(Application Specific StandardParts，ASSP)、芯片上系统的系统(System On a Chip，SOC)、复杂可编程逻辑设备(ComplexProgramming Logic Device，CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (19)
1.一种图像分辨率修复方法，包括：
获取待修复图像对应的第一修复图像，所述第一修复图像是根据第一参考图像和第二参考图像对所述待修复图像进行分辨率修复得到的，所述第一修复图像的分辨率大于所述待修复图像的分辨率，所述第一参考图像和所述第二参考图像为对应相同图像内容的图像，且所述第一参考图像的分辨率大于所述第二参考图像的分辨率；
根据所述第一参考图像，在图像通道上对所述第一修复图像进行分辨率修复，得到所述待修复图像对应的第二修复图像，所述第二修复图像的分辨率大于所述第一修复图像的分辨率。
2.根据权利要求1所述的图像分辨率修复方法，其中，所述根据所述第一参考图像，在图像通道上对所述第一修复图像进行分辨率修复，得到所述待修复图像对应的第二修复图像，包括：
分别对所述第一修复图像和所述第一参考图像进行通道分割，得到所述第一修复图像对应不同图像通道的多个第一通道图和所述第一参考图像对应不同图像通道的多个第二通道图；
根据所述多个第二通道图对所述多个第一通道图进行分辨率修复，得到所述第一修复图像对应所述不同图像通道的多个通道修复图；
对所述多个通道修复图进行通道拼接，得到所述第二修复图像。
3.根据权利要求2所述的图像分辨率修复方法，其中，所述根据所述多个第二通道图对所述多个第一通道图进行分辨率修复，得到所述第一修复图像对应所述不同图像通道的多个通道修复图，包括：
将对应同一图像通道的第一通道图和第二通道图进行通道拼接，得到所述不同图像通道分别对应的通道拼接图；
针对所述不同图像通道中每个图像通道，对所述通道拼接图进行平滑处理，得到平滑处理后的通道拼接图；对平滑处理后的通道拼接图进行分辨率修复，得到所述第一修复图像对应所述图像通道的通道修复图。
4.根据权利要求3所述的图像分辨率修复方法，其中，所述针对所述不同图像通道中每个图像通道，对所述通道拼接图进行平滑处理，得到平滑处理后的通道拼接图，包括：
针对所述不同图像通道中每个图像通道，将所述通道拼接图输入至第一修复模型中的平滑模块中进行平滑处理，得到平滑处理后的通道拼接图。
5.根据权利要求4所述的图像分辨率修复方法，其中，所述第一修复模型还包括所述不同图像通道分别对应的残差模块，所述对平滑处理后的通道拼接图进行分辨率修复，得到所述第一修复图像对应所述图像通道的通道修复图，包括：
针对所述不同图像通道中每个图像通道，将平滑处理后的通道拼接图输入至所述图像通道对应的残差模块中进行分辨率修复，得到所述第一修复图像对应所述图像通道的通道修复图。
6.根据权利要求1至5中任一项所述的图像分辨率修复方法，其中，所述获取待修复图像对应的第一修复图像，包括：
将所述第一参考图像、所述第二参考图像以及所述待修复图像输入至第二修复模型，在所述第二修复模型中根据所述第一参考图像与所述第二参考图像之间的差异对所述待修复图像进行分辨率修复，得到所述第一修复图像。
7.根据权利要求6所述的图像分辨率修复方法，其中，所述第二修复模型包括深度导向滤波模型。
8.根据权利要求1至5中任一项所述的图像分辨率修复方法，其中，所述待修复图像包括深度学习模型的输出图像，所述输出图像是将所述第二参考图像输入至深度学习模型进行图像处理后得到的。
9.一种图像分辨率修复装置，包括：
获取单元，用于获取待修复图像对应的第一修复图像，所述第一修复图像是根据第一参考图像和第二参考图像对所述待修复图像进行分辨率修复得到的，所述第一修复图像的分辨率大于所述待修复图像的分辨率，所述第一参考图像和所述第二参考图像为对应相同图像内容的图像，且所述第一参考图像的分辨率大于所述第二参考图像的分辨率；
修复单元，用于根据所述第一参考图像，在图像通道上对所述第一修复图像进行分辨率修复，得到所述待修复图像对应的第二修复图像，所述第二修复图像的分辨率大于所述第一修复图像的分辨率。
10.根据权利要求9所述的图像分辨率修复装置，其中，所述修复单元包括：
通道分割模块，用于分别对所述第一修复图像和所述第一参考图像进行通道分割，得到所述第一修复图像对应不同图像通道的多个第一通道图和所述第一参考图像对应不同图像通道的多个第二通道图；
通道图修复模块，用于根据所述多个第二通道图对所述多个第一通道图进行分辨率修复，得到所述第一修复图像对应所述不同图像通道的多个通道修复图；
多通道拼接模块，用于对所述多个通道修复图进行通道拼接，得到所述第二修复图像。
11.根据权利要求10所述的图像分辨率修复装置，其中，所述通道图修复模块包括：
单通道拼接子模块，用于将对应同一图像通道的第一通道图和第二通道图进行通道拼接，得到所述不同图像通道分别对应的通道拼接图；
平滑处理子模块，用于针对所述不同图像通道中每个图像通道，对所述通道拼接图进行平滑处理，得到平滑处理后的通道拼接图；
分辨率修复子模块，用于对平滑处理后的通道拼接图进行分辨率修复，得到所述第一修复图像对应所述图像通道的通道修复图。
12.根据权利要求11所述的图像分辨率修复装置，其中，所述平滑处理子模块具体用于：
针对所述不同图像通道中每个图像通道，将所述通道拼接图输入至第一修复模型中的平滑模块中进行平滑处理，得到平滑处理后的通道拼接图。
13.根据权利要求12所述的图像分辨率修复装置，其中，所述第一修复模型还包括所述不同图像通道分别对应的残差模块，所述分辨率修复子模块具体用于：
针对所述不同图像通道中每个图像通道，将平滑处理后的通道拼接图输入至所述图像通道对应的残差模块中进行分辨率修复，得到所述第一修复图像对应所述图像通道的通道修复图。
14.根据权利要求9至13中任一项所述的图像分辨率修复装置，其中，所述获取单元包括：
初步修复模块，用于将所述第一参考图像、所述第二参考图像以及所述待修复图像输入至第二修复模型，在所述第二修复模型中根据所述第一参考图像与所述第二参考图像之间的差异对所述待修复图像进行分辨率修复，得到所述第一修复图像。
15.根据权利要求14所述的图像分辨率修复装置，其中，所述第二修复模型包括深度导向滤波模型。
16.根据权利要求9至13中任一项所述的图像分辨率修复装置，其中，所述待修复图像包括深度学习模型的输出图像，所述输出图像是将所述第二参考图像输入至深度学习模型进行图像处理后得到的。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至8中任一项所述的图像分辨率修复方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至8中任一项所述的图像分辨率修复方法。
19.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的图像分辨率修复方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310263699.XA CN116309160B (zh) | 2023-03-10 | 2023-03-10 | 图像分辨率修复方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310263699.XA CN116309160B (zh) | 2023-03-10 | 2023-03-10 | 图像分辨率修复方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116309160A true CN116309160A (zh) | 2023-06-23 |
| CN116309160B CN116309160B (zh) | 2024-04-12 |
Family
ID=86793882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310263699.XA Active CN116309160B (zh) | 2023-03-10 | 2023-03-10 | 图像分辨率修复方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309160B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108401104A (zh) * | 2018-02-08 | 2018-08-14 | 浙江大学 | 基于频带修复和超分辨的双焦相机数字变焦方法 |
| CN110544214A (zh) * | 2019-08-21 | 2019-12-06 | 北京奇艺世纪科技有限公司 | 一种图像修复方法、装置及电子设备 |
| CN110751605A (zh) * | 2019-10-16 | 2020-02-04 | 深圳开立生物医疗科技股份有限公司 | 一种图像处理方法、装置和电子设备及可读存储介质 |
| CN111325692A (zh) * | 2020-02-21 | 2020-06-23 | 厦门美图之家科技有限公司 | 画质增强方法、装置、电子设备和可读存储介质 |
| CN111507914A (zh) * | 2020-04-10 | 2020-08-07 | 北京百度网讯科技有限公司 | 人脸修复模型的训练方法、修复方法、装置、设备和介质 |
| CN111784580A (zh) * | 2020-06-30 | 2020-10-16 | 北京金山云网络技术有限公司 | 图像的超分辨率方法、装置和服务器 |
| CN113177892A (zh) * | 2021-04-29 | 2021-07-27 | 北京百度网讯科技有限公司 | 生成图像修复模型的方法、设备、介质及程序产品 |
| CN113362239A (zh) * | 2021-05-31 | 2021-09-07 | 西南科技大学 | 一种基于特征交互的深度学习图像修复方法 |
| CN113516604A (zh) * | 2021-09-14 | 2021-10-19 | 成都数联云算科技有限公司 | 图像修复方法 |
| WO2022036556A1 (zh) * | 2020-08-18 | 2022-02-24 | 香港中文大学（深圳） | 图像处理方法和装置、计算机设备及存储介质 |
-
2023
- 2023-03-10 CN CN202310263699.XA patent/CN116309160B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108401104A (zh) * | 2018-02-08 | 2018-08-14 | 浙江大学 | 基于频带修复和超分辨的双焦相机数字变焦方法 |
| CN110544214A (zh) * | 2019-08-21 | 2019-12-06 | 北京奇艺世纪科技有限公司 | 一种图像修复方法、装置及电子设备 |
| CN110751605A (zh) * | 2019-10-16 | 2020-02-04 | 深圳开立生物医疗科技股份有限公司 | 一种图像处理方法、装置和电子设备及可读存储介质 |
| CN111325692A (zh) * | 2020-02-21 | 2020-06-23 | 厦门美图之家科技有限公司 | 画质增强方法、装置、电子设备和可读存储介质 |
| CN111507914A (zh) * | 2020-04-10 | 2020-08-07 | 北京百度网讯科技有限公司 | 人脸修复模型的训练方法、修复方法、装置、设备和介质 |
| CN111784580A (zh) * | 2020-06-30 | 2020-10-16 | 北京金山云网络技术有限公司 | 图像的超分辨率方法、装置和服务器 |
| WO2022036556A1 (zh) * | 2020-08-18 | 2022-02-24 | 香港中文大学（深圳） | 图像处理方法和装置、计算机设备及存储介质 |
| CN113177892A (zh) * | 2021-04-29 | 2021-07-27 | 北京百度网讯科技有限公司 | 生成图像修复模型的方法、设备、介质及程序产品 |
| CN113362239A (zh) * | 2021-05-31 | 2021-09-07 | 西南科技大学 | 一种基于特征交互的深度学习图像修复方法 |
| CN113516604A (zh) * | 2021-09-14 | 2021-10-19 | 成都数联云算科技有限公司 | 图像修复方法 |
Non-Patent Citations (3)
| Title |
|---|
| HUAMING LIU; XUEHUI BI; GUANMING LU; WEILAN WANG; JINGJIE YAN; ZHENGYAN ZHANG: "Screen Window Propagating for Image Inpainting", IEEE ACCESS, pages 2169 - 3536 * |
| 李宣韩;罗毅;刘忠灵;王盛;彭宁: "基于生成对抗网络的人脸图像超分辨率重建", 四川轻化工大学学报(自然科学版), pages 55 - 61 * |
| 范新刚;: "基于深度学习的图像修复技术研究", 江苏科技信息, no. 08, pages 52 - 54 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116309160B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112991180B (zh) | 图像拼接方法、装置、设备以及存储介质 | |
| CN111768356A (zh) | 一种人脸图像融合方法、装置、电子设备及存储介质 | |
| CN114792355B (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
| US20230047748A1 (en) | Method of fusing image, and method of training image fusion model | |
| US20220375186A1 (en) | Method and apparatus for generating bounding box, device and storage medium | |
| CN113923474B (zh) | 视频帧处理方法、装置、电子设备以及存储介质 | |
| CN116309160B (zh) | 图像分辨率修复方法、装置、设备及存储介质 | |
| US20230005171A1 (en) | Visual positioning method, related apparatus and computer program product | |
| US20230011823A1 (en) | Method for converting image format, device, and storage medium | |
| CN116402914A (zh) | 用于确定风格化图像生成模型的方法、装置及产品 | |
| CN113781653B (zh) | 对象模型生成方法、装置、电子设备及存储介质 | |
| CN113240780B (zh) | 生成动画的方法和装置 | |
| CN115861510A (zh) | 对象渲染方法、装置、电子设备、存储介质及程序产品 | |
| CN113554721B (zh) | 图像数据格式转换方法和装置 | |
| CN113361535B (zh) | 图像分割模型训练、图像分割方法及相关装置 | |
| CN114782249A (zh) | 一种图像的超分辨率重建方法、装置、设备以及存储介质 | |
| CN116862762A (zh) | 一种视频超分方法、装置、设备及存储介质 | |
| CN113836455A (zh) | 特效渲染方法、装置、设备、存储介质及计算机程序产品 | |
| JP2023535662A (ja) | ビデオを修復するための方法、装置、機器、媒体及びコンピュータプログラム | |
| CN113344213A (zh) | 知识蒸馏方法、装置、电子设备及计算机可读存储介质 | |
| CN112862877B (zh) | 用于训练图像处理网络和图像处理的方法和装置 | |
| CN114820908B (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
| US20230119741A1 (en) | Picture annotation method, apparatus, electronic device, and storage medium | |
| CN113542620B (zh) | 一种特效处理方法、装置及电子设备 | |
| CN110400353B (zh) | 图像生成方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |