CN116894802B - 图像增强方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种图像增强方法、装置、计算机设备和存储介质。所述方法包括：获取训练好的图像增强模型和待增强图像；图像增强模型对待增强图像进行特征提取，得到初始全局特征和初始局部特征；图像增强模型将初始全局特征和初始局部特征进行融合，得到目标特征；图像增强模型基于目标特征和待增强图像的差异确定残差特征，基于残差特征对应的权重与待增强图像进行融合，得到目标增强图像。采用本方法能够提高图像增强的效果。

Description

图像增强方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像增强方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的发展，出现了图像增强技术。现有的图像增强技术通常只考虑了局部或全局的增强方式，或者只是简单的按照先全局再局部的单向顺序的增强方式，这样使得全局增强不能实现局部比对的最优以及局部增强导致全局增强不一致，无法充分地对图像进行全局和局部的协同增强，从而导致图像增强的效果较差。

发明内容

基于此，有必要针对上述技术问题，提供一种能够对图像进行全局和局部的双向引导增强的图像增强方法、装置、计算机设备和存储介质，提高了图像增强的效果。

第一方面，本申请提供了一种图像增强方法，所述方法包括：

获取训练好的图像增强模型和待增强图像；

所述图像增强模型对所述待增强图像进行特征提取，得到初始全局特征和初始局部特征；

所述图像增强模型将所述初始全局特征和初始局部特征进行融合，得到目标特征；

所述图像增强模型基于所述目标特征和所述待增强图像的差异确定残差特征，基于所述残差特征对应的权重与所述待增强图像进行融合，得到目标增强图像。

第二方面，本申请还提供了一种图像增强装置，所述装置包括：

获取模块，用于获取训练好的图像增强模型和待增强图像；

提取模块，用于所述图像增强模型对所述待增强图像进行特征提取，得到初始全局特征和初始局部特征；

特征融合模块，用于所述图像增强模型将所述初始全局特征和初始局部特征进行融合，得到目标特征；

残差分析模块，用于所述图像增强模型基于所述目标特征和所述待增强图像的差异确定残差特征，基于所述残差特征对应的权重与所述待增强图像进行融合，得到目标增强图像。

第三方面，本申请提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行该计算机程序时实现上述的方法中的步骤。

第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。

第五方面，本申请提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现本上述的方法中的步骤。

上述图像增强方法、装置、计算机设备和存储介质，通过训练好的图像增强模型对待增强图像进行全局特征和局部特征的提取，得到初始全局特征和初始局部特征，并将初始全局特征和初始局部特征进行融合，以得到充分协同分析了待增强图像中局部和全局的特征信息的目标特征，再基于目标特征和待增强图像的差异确定残差特征，根据残差特征对应的权重和待增强图像融合分析，得到目标增强图像，将待增强图像对应的全局特征信息和局部特征信息充分融合考虑，并将残差特征部分进行拆分权重分析，使得待增强图像中的信息能够更加精确全面，避免了现有技术中只考虑全局特征或者只考虑局部特征时图像增强不充分的情况，从而极好地提高了图像增强的效果。

附图说明

图1为本申请实施例提供的一种图像增强方法的应用环境图；

图2为本申请实施例提供的一种图像增强方法的流程示意图；

图3为本申请实施例提供的一种图像增强模型的结构示意图；

图4为本申请实施例提供的一种残差拆分分析的流程示意图；

图5为本申请实施例提供的一种聚合权重计算的流程示意图；

图6为本申请实施例提供的一种图像增强装置的结构框图；

图7为本申请实施例提供的一种计算机设备的内部结构图；

图8为本申请实施例提供的另一种计算机设备的内部结构图；

图9为本申请实施例提供的一种计算机可读存储介质的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的图像增强方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

如图2所示，本申请实施例提供了一种图像增强方法，以该方法应用于图1中的服务器104为例进行说明。可以理解的是，计算机设备可以包括终端和服务器中的至少一种。该方法包括以下步骤：

S200、获取训练好的图像增强模型和待增强图像。

其中，图像增强模型指用于增强图像的模型，比如用于将低光照的图像变为正常光照的图像，且保持原低光照图像的内容。待增强图像指将要进行图像增强的图像，是未进行图像增强处理的图像。

S202、图像增强模型对待增强图像进行特征提取，得到初始全局特征和初始局部特征。

其中，初始全局特征指从待增强图像中提取的全局特征；可以根据Transformer模型来提取待增强图像的全局特征，且提取的全局特征是一维的全局特征。初始局部特征指从待增强图像中提取的局部特征；可以基于CNN（Convolutional Neural Networks）模型提取待增强图像的局部特征。

具体地，当将待增强图像输入训练好的图像增强模型后，图像增强模型中的全局编码器和局部编码器分别对待增强图像进行全局特征提取和局部特征提取，从而得到一维的初始全局特征和二维的初始局部特征。其中，全局编码器可以是Transformer模型，Transformer模型可并行计算，对于全局特征的计算提取上效率相对更佳，但其对于局部信息的获取没有CNN那么强，因此局部编码器可以是CNN网络模型，针对不同的情况应用不同的模型去提取待增强图像对应的全局特征和局部特征，有利于更好的提取出待增强图像的初始全局与局部特征的信息，从而确保后续进行全局与局部特征信息双向融合时信息的精确。

S204、图像增强模型将初始全局特征和初始局部特征进行融合，得到目标特征。

其中，目标特征指融合初始全局特征和初始局部特征后的特征；其可以根据双向引导式的方式将初始全局特征和初始局部特征进行多次融合，具体可如图3所示，即将全局特征和局部特征均输入融合器中进行特征融合，并将融合器输出的特征又输入下一融合器进行融合，以实现多次全局特征和局部特征的双向特征信息融合，进而得到更加充分全面的图像特征信息。

具体地，为了进一步整合和提取待增强图像的特征信息，在进行初始全局特征和初始局部特征融合之前，可以先将初始全局特征和初始局部特征分别输入全连接层和卷积层中，再将从全连接层输出的特征以及从卷积层输出的特征输入图像增强模型的特征融合层，通过特征融合层对输入的全局特征和局部特征进行双向的特征信息融合，即进行从全局到局部的特征信息融合以及从局部到全局的特征信息融合。此外，特征融合层的个数可以根据具体的实验情况进行设置，特征融合层的数目在一定范围内越多，则全局和局部特征信息的融合效果更好，但与此同时特征融合层数目越多，对应运行的速度越慢，因此可以根据实际的需求，设置特征融合层的数目，相应的，在一些实验情况中，当特征融合层设置为5个时，对应特征融合效果以及运行速度均相对较好，因此可以对应的将图像增强模型中的特征融合层设置为5层。此外，特征融合层中包括融合器、全连接层和卷积层，融合器是具体实现全局特征和局部特征双向融合的结构，全连接层和卷积层在特征的进一步整合与提取上也发挥着一定的效果，通过各结构的共同协作，以高效精确地完成全局特征和局部特征的双向融合。

S206、图像增强模型基于目标特征和待增强图像的差异确定残差特征，基于残差特征对应的权重与待增强图像进行融合，得到目标增强图像。

其中，残差特征指目标特征对应的清晰图像与待增强图像的差异对应的特征。目标增强图像指对待增强图像进行图像特性增强后得到图像。

具体地，对于传统的残差分析中，均是以权重为1对残差部分进行聚合的，但是由于残差部分中各特征之间的差异，以及各特征将差异对最终图像增强的效果有影响不同，此时可以对残差特征进行拆分，以分析拆分后的残差特征对应的残差权重。最后再将各拆分残差特征以及其对应的权重的乘积进行累加，将累加值与原始的待增强图像进行聚合，从而得到精准度更高的、增强效果更高的目标增强图像，具体的残差拆分过程可见公式(10)至(13)和图4。

可见，本申请实施例中，通过训练好的图像增强模型对待增强图像进行全局特征和局部特征的提取，得到初始全局特征和初始局部特征，并将初始全局特征和初始局部特征进行融合，以得到充分协同分析了待增强图像中局部和全局的特征信息的目标特征，再基于目标特征和待增强图像的差异确定残差特征，根据残差特征对应的权重和待增强图像融合分析，得到目标增强图像，将待增强图像对应的全局特征信息和局部特征信息充分融合考虑，并将残差特征部分进行拆分权重分析，使得待增强图像中的信息能够更加精确全面，避免了现有技术中只考虑全局特征或者只考虑局部特征时图像增强不充分的情况，从而极好地提高了图像增强的效果。

在一些实施例中，S202包括：图像增强模型包括全局编码器和局部编码器，

S300、基于全局编码器，对待增强图像进行全局特征提取，得到初始全局特征。

S302、基于局部编码器，对待增强图像进行局部特征提取，得到初始局部特征。

其中，全局编码器指用于提取图像全局特征的模型，可以是Transformer模型。局部编码器指用于提取图像局部特征的模型，可以是CNN模型。

具体地，在进行待增强图像对应的全局特征和局部特征融合之前，可以通过Transformer模型提取待增强图像的全局特征，此时得到的全局特征并未做任何处理，以及可以通过CNN模型提取待增强图像的局部特征，此时得到的局部特征也并未做任何处理。此外，全局编码器和局部编码器在图像增强模型中以并联的形式构建的，具体可见图3所示，图3中的全局编码器输出待增强图像的一维全局特征，局部编码器输出待增强图像的二维局部特征。

可见，本实施例中，通过基于全局编码器对待增强图像进行全局特征提取，得到初始全局特征，基于局部编码器对待增强图像进行局部特征提取，得到初始局部特征，完成了初始全局特征和局部特征的提取，为后续做数据基础，此外分别根据不同模型的特性，有针对性的通过全局编码器提取全局特征以及通过编码器提取局部特征，使得提取到的全局特征和局部特征对应的特征信息更加的有效。

在一些实施例中，S204包括：图像增强模型包括第一全连接层、第一卷积层和预设数量个特征融合层，其中全局编码器与第一全连接层串联，局部编码器与第一卷积层串联，然后串联的全局编码器与第一全连接层和串联的局部编码器与第一卷积层并联，并联得到的结构与特征融合层进行串联。

S400、将初始全局特征输入第一全连接层，得到当前全局特征，将初始局部特征输入第一卷积层，得到当前局部特征。

S402、依次从预设数量个特征融合层中确定当前特征融合层，将当前全局特征和当前局部特征输入当前特征融合层，得到第一融合特征和第二融合特征。

S404、将第一融合特征作为当前全局特征，将第二融合特征作为当前局部特征，将当前特征融合层对应的后向特征融合层作为当前特征融合层，重复将当前全局特征和当前局部特征输入当前特征融合层的步骤，直至得到最后的当前特征融合层对应的第二融合特征，将最后的当前特征融合层对应的第二融合特征作为目标特征。

其中，第一全连接层指用于将特征进行初始整合的神经网络层，其可以高度提纯特征，进行分类与回归。当前全局特征指当前进行特征融合时对应的全局特征。第一卷积层指用于对输入图片进行初始特征提取的神经网络层，卷积层中不同的卷积核对应的特征图表示某一维度的特征。特征融合层指用于融合全局特征和局部特征的结构，其包括全连接层、融合器和卷积层。当前特征融合层指当前融合特征处理过程中所处的特征融合层，各特征融合层之间以串联的形式连接。第一融合特征指当前全局特征和当前局部特征经过当前特征融合层处理之后，输出的融合特征信息后的一维全局特征。第二融合特征指当前全局特征和当前局部特征经过当前特征融合层处理之后，输出的融合特征信息后的二维局部特征。后向特征融合层指当前特征融合层对应的下一层特征融合层。

具体地，为了进一步整合初始全局特征以及提取待增强图像中的特征信息，可以分别将初始全局特征输入第一全连接层以及将初始局部特征输入第一卷积层后，再将第一全连接层输出的当前全局特征以及第一卷积层输出的当前局部特征输入当前特征融合层中，为了使得全局特征和局部特征可以更加充分协同的双向融合，可以根据实际实验情况，确定特征融合层的数量，从而通过预设数量个的特征融合层对全局特征和局部特征进行双向特征信息的融合，进而得到待增强图像更为完善有效的特征信息。此外，最后的特征融合层输出的是对应的第一融合特征和第二融合特征，由于第一融合特征是一维的特征，其虽然亦融合有全局特征对应的特征信息，但是其不能够直接的用来增强二维的输入图像，而第二融合特征是融合了待增强图像全局和局部特征信息的二维特征，其可以直接用来增强二维的输入图像。

可见，本实施例中，通过在进行待增强图像全局和局部特征融合之前，先分别将初始全局特征输入全连接层以及将初始局部特征输入卷积层，以进一步整合全局特征信息以及进一步提取局部特征信息，从而为在特征融合层进行全局与局部特征融合提供更为有效的特征信息；进一步地，通过预设数量个的特征融合层进行预设数量次的全局特征与局部特征融合，既确保了全局与局部特征信息双向融合的充分，也确保了融合执行的效率，从而得到更有效且直接用于增强二维输入图像的特征信息，较好地提高了图像增强的效果。

在一些实施例中，S402包括：特征融合层包括融合器、全连接层和卷积层，

S500、融合器将当前局部特征进行降维，得到降维局部特征。

S502、融合器对当前全局特征和降维局部特征进行第一聚合权重计算操作，得到第一聚合权重，对降维局部特征和当前全局特征进行第二聚合权重计算操作，得到第二聚合权重。

S504、融合器将当前全局特征与第二聚合权重进行第一融合操作，得到第一特征，将当前局部特征与第一聚合权重进行第二融合操作，得到第二特征。

S506、将第一特征输入全连接层，得到第一融合特征，将第二特征输入卷积层，得到第二融合特征。

其中，融合器指用于融合全局特征和局部特征，以得到更新的全局特征和局部特征的结构，可以是对全局特征和局部特征进行双向聚合权重计算，并基于聚合全局到局部的聚合权重以及局部到全局的聚合权重计算更新的全局特征和更新的局部特征。降维局部特征指将当前局部特征进行降维后得到的局部特征，可以是将当前局部特征输入融合器中的池化层中，通过池化层对当前局部特征进行降维操作，具体可如公式(1)所示，其中公式(1)中为第t个特征融合层中的融合器对应输入的当前局部特征；/>为第t个特征融合层中的融合器对应的降维局部特征；/>指全局池化。池化层指用于降低各特征图的维度，以保持重要特征信息的神经网络层。第一聚合权重计算操作指从全局特征到局部特征的融合方向进行特征聚合权重计算的操作，具体可见公式(2)、(3)和(4)，其中，公式(2)中，/>为全局到局部的聚合权重，即第一聚合权重；/>为第t个特征融合层中的融合器对应输入的当前全局特征；公式(3)中，/>为第t个特征融合层的融合器中一个全连接层输入降维局部特征后得到的特征向量；/>为第t个特征融合层的融合器中的两个不同的全连接层输入当前全局特征后得到的特征向量，此处两个不同的全连接层与输入/>对应的全连接层不同；公式(4)中，d为/>的维度大小；其中/>与/>中对应的各全连接层设置的参数可能相同也可能不同。第一聚合权重指从全局特征到局部特征的融合方向进行特征聚合权重计算后得到的聚合权重。

第二聚合权重计算操作指从局部特征到全局特征的融合方向进行特征聚合权重计算的操作，具体可见公式(5)、(6)和(7)，公式(5)中，为局部到全部的聚合权重，即第二聚合权重；公式(6)中，/>为第t个特征融合层的融合器中一个全连接层输入当前全局特征后得到的特征向量；/>为第t个特征融合层的融合器中的两个不同的全连接层输入降维局部特征后得到的特征向量，此处两个不同的全连接层与/>对应的全连接层不同；公式(7)中，d为/>的维度大小；其中/>与/>中对应的各全连接层设置的参数可能相同也可能不同。第二聚合权重指从局部特征到全局特征的融合方向进行特征聚合权重计算后得到的聚合权重。

第一融合操作指当前全局特征与第二聚合权重进行乘积运算的操作，具体可见公 式(8),既是当前特征融合层对应的第一融合特征，也是当前特征融合层对应的下一特 征融合层对应输入的当前全局特征。第一特征指当前全局特征与第二聚合权重进行乘积运 算后得到的特征。第二融合操作指当前局部特征与第一聚合权重进行哈达玛积运算的操 作，具体可见公式(9)，既是当前特征融合层对应的第二融合特征，也是当前特征融合层 对应的下一个特征融合层对应输入的当前局部特征。第一特征指当前局部特征与第一聚合 权重进行同或运算后得到的特征。

具体地，为了提高计算效率，当将二维的当前局部特征输入到融合器后，可以将当前局部特征首先输入到融合器中的池化层，通过池化层对当前局部特征进行降维，得到降维局部特征。接着对降维后的降维局部特征和当前全局特征进行双向的聚合权重计算，也就是进行计算从全局到局部聚合权重的第一聚合权重计算操作，和计算从局部到全局聚合权重的第二聚合权重计算操作，进而得到双向特征信息融合时对应的第一聚合权重和第二聚合权重。此时，将当前全局特征与第二聚合权重进行乘积运算的第一融合操作，从而得到更新的当前局部特征对应的第一特征，以及将当前局部特征与第一聚合权重进行同或运算的第二融合操作，从而得到更新的当前全局特征对应的第二特征，此时第一特征与第二特征均融合有待增强图像对应的全局与局部的特征信息，为了进一步整合以及提取更新后的第一特征和第二特征，再将第一特征输入全连接层以及将第二特征输入卷积层，从而得到当前特征融合层对应的第一融合特征和第二融合特征。并将第一融合特征和第二融合特征作为当前特征融合层对应的下一特征融合层的输入，继续进行下一轮的全局特征与局部特征的双向特征信息融合的操作。

在一个实施例中，各特征融合层中的卷积层和与局部编码器串联的卷积层之间是Unet网络的对称结构，具体可如图3所示，图3中②框中的粗线方块即为卷积层，对称的卷积层之间的输出特征也会进行特征的融合，从而使得深层卷积层和浅层卷积层对应的局部特征信息也可以充分融合，这样较好地利用了Unet网络结构的特性，使得融合得到更为有效充分的局部特征信息后再与全局特征信息进行融合，实现全局与局部的信息融合以及局部与局部信息的融合，融合后的特征信息更加精确，有利于最终增强后的图像效果更好。

可见，在上述实施例中，通过特征融合层中的融合器对当前局部特征进行降维，得到降维局部特征，从而有利于提高计算效率；并基于融合器进一步对降维局部特征和当前全局特征进行第一聚合权重计算操作和第二聚合权重计算操作，从而得到从全局到局部的第一聚合权重以及从局部到全局的第二聚合权重，进而将第二聚合权重与当前全局特征进行第一融合操作得到第一特征，以及将第一权重与当前局部特征进行第二融合操作得到第二特征，完成了特征信息的双向融合，为进一步整合融合特征以及进一步提取更多有效的特征信息，将第一特征输入全连接层和将第二特征输入卷积层，得到特征融合层对应输出的第一融合特征和第二融合特征，为后续操作提供了精确有效的数据基础，在提高图像增强效果上起较大作用。

在一些实施例中，S504包括：

S600、将当前全局特征分别输入两个不同的全连接层，得到第一全局特征和第二全局特征，将降维局部特征输入第三个全连接层，得到第一局部特征。

S602、将第一全局特征、第二全局特征和第一局部特征输入融合器中的聚合层，得到第一聚合权重。

其中，第一全局特征指当前全局特征输入两个不同的全连接层中预设的一个全连接层后得到的特征。第二全局特征指当前全局特征输入两个不同的全连接层中预设的另一个全连接层后得到的特征。第一局部特征指将降维局部特征输入预设的第三个全连接层后得到的特征。聚合层指对从融合器中各全连接层输出的全局特征和局部特征进行聚合权重计算的结构，可以是深度学习中的注意力机制的结构。

具体地，融合器以全局到局部的融合方向进行融合所需的聚合权重计算时，先将当前全局特征分别输入两个不同的全连接层，以及将降维局部特征输入第三个全连接层中，从而得到从全局特征到局部特征聚合权重计算所需的数据，即第一全局特征、第二全局特征和第一局部特征，进而将第一全局特征、第二全局特征和第三局部特征输入聚合层中，计算得到从全局到局部的第一聚合权重。具体的可见公式(2)、(3)、(4)以及图5中的(a)，其中，分别对应第一全局特征、第二全局特征和第一局部特征，公式(4)即为聚合层计算第一聚合权重的操作。其中，图5中的(a)即为全局到局部方向对应的第一聚合权重的示意图，图5中的(a)的fg为当前全局特征，其输入的两个全连接层即为对应的两个不同的全连接层；图5中的(a)的fl为降维局部特征，其输入的全连接层为对应的第三个全连接层；图5中的(a)中各全连接层对应的参数可由实际情况进行设置；池化层为对当前局部特征进行降维时的池化层，聚合层即softmax()操作，图5中Fl对应/>，fg、fl分别对应/>、，kg、vg、ql分别对应/>，wg->l对应/>。

可见，本实施例中，将当前全局特征分别输入两个不同的全连接层，以及将降维局部特征输入第三个全连接层，从而得到进行全局特征到局部特征的聚合权重计算的第一全局特征、第二全局特征和第一局部特征，并基于融合器的聚合层输出从全局特征到局部特征的第一聚合权重，为后续第一聚合权重与当前局部特征进行融合提供数据基础，数据的精准性保障着图像增强的效果。

在一些实施例中，S504包括：

S700、将降维局部特征分别输入两个不同的全连接层，得到第二局部特征和第三局部特征，将当前全局特征输入第三个全连接层，得到第三全局特征。

S702、将第二局部特征、第三局部特征和第三全局特征输入融合器中的聚合层，得到第二聚合权重。

其中，第二局部特征指降维局部特征输入预设的两个不同的全连接层中的一个全连接层后得到的特征。第三局部特征指降维局部特征输入预设的两个不同的全连接层中另一个全连接层后得到的特征。第三全局特征指将当前全局特征输入预设的第三个全连接层后得到的特征。

具体地，融合器可以实现从全局到局部的聚合权重计算以及从局部到全局的聚合权重计算，图5所示的(b)则为权重从局部到全局的聚合权重计算的过程，也就是公式(1)、(5)、(6)和(7)对应的过程，其中kl、vl、qg分别对应，wl->g对应/>。图5中的(b)中fl为降维局部特征，其对应分别输入的两个全连接层即为对应的两个不同的全连接层；图5中的(b)中fg为当前全局特征，其对应输入的全连接层即为对应的第三个全连接层；图5中的(b)中各全连接层对应的参数可由实际情况进行设置。图5中的(a)和(b)均为融合器中计算聚合权重的过程，通过(a)和(b)这两个结构，实现了全局特征到局部特征的第一聚合权重计算以及局部特征到全局特征的第二聚合权重计算，是实现特征信息双向融合的基础。

可见，本实施例中，将降维局部特征分别输入两个不同的全连接层，以及将当前全局特征输入第三个全连接层，从而得到进行局部特征到全局特征的聚合权重计算的第二局部特征、第三局部特征和第三全局特征，并基于融合器的聚合层输出从局部特征到全局特征的第二聚合权重，为后续第二聚合权重与当前全局特征进行融合提供数据基础，数据的精准性亦保障着图像增强的效果。

在一些实施例中，S206包括：

S800、对残差特征进行拆分，得到多份残差拆分特征，将多份残差拆分特征分为多份待处理残差特征和剩余残差特征。

S802、将残差特征对应的残差图像输入预设卷积模型中，得到各待处理残差特征对应的残差权重。

S804、将各待处理残差特征与对应的残差权重、剩余残差特征和待增强图像进行融合，得到目标增强图像。

其中，残差拆分特征指拆分后的各部分残差特征，其可以根据公式(10)和(11)所表示的方式进行拆分，公式(10)和(11)中为残差特征，/>为待处理残差特征，/>为剩余残差特征，k为当前拆分的编号，K为一共拆分的份数。待处理残差特征指要进行残差权重聚合的残差特征。残差权重指用于衡量待处理残差特征的重要程度的权重。剩余残差特征指不进行对应的残差权重分析的残差特征。预设卷积模型指卷积神经网络模型，即CNN（Convolutional Neural Networks）模型。

具体地，为了使得特征信息更加精细，以及能够更加智能和精准的进行残差叠加， 可以将残差特征进行拆分，从而得到多份待处理残差特征和剩余残差特征，并将残差特征 对应的残差图像输入预设的CNN模型中，以得到每一份待处理残差特征对应的残差权重，最 后将各待处理残差特征与对应的残差权重进行聚合，并融合原始的待增强图像，从而得到 目标增强图像。其中，残差权重与待增强图像进行融合的操作具体如公式(12)所示，公式 (12)中，为各待处理残差特征对应的残差权重，x为待增强图像，y为目标增强图像。此 外，图4即对残差部分进行分析的结构图，图4中的为进行残差拆分对应的权重聚合之后 的残差，具体可如公式(13)中的计算过程所示。

比如，对于计算加法的算法X+3=6，其对应的残差为3.2，将3.2拆分为1.6、 0.8、0.4 和 0.2 以及 剩余的0.2， 可以看出之前的算法误差是0.2，若以上述实施例中残差拆分并计算对应的残差权重的方式去计算，则可估计出1.6、 0.8、 0.4 和 0.2对应的聚合权重分别是 1.2、0.9、0.85、0.1， 此时对应计算得到的残差聚合结果为：1.2*1.6 + 0.9*0.8+ 0.85*0.4 + 0.1*0.2 + 0.2 = 2.99，误差只有0.01，其相对传统残差学习聚合权重均为1的残差聚合计算中1*1.6 + 1*0.8 + 1*0.4 + 1*0.2 + 0.2 = 3.2的精确度要高。

可见，本实施例中，通过将全局与局部特征进行双向融合后得到的残差部分的残差特征进行拆分，得到多份残差拆分特征，并将将残差特征对应的残差图像输入预设的卷积模型中，以获得残差拆分特征中各分待处理残差特征对应的残差权重，从而将各待处理残差特征与对应的残差权重以及待增强图像进行融合，以得到最终增强后的目标增强图像，将残差部分进行拆分，使得对残差部分的分析更加自适应，进而可以更加智能精确的实现图像的增强，从而提高了图像增强的效果。

在一个实施例中，以将单帧低光照图像进行图像增强转变为正常光照图像并保持原图像内容的增强图像为例进行描述，且例子围绕图3所示的图像增强模型进行描述。具体可见图3，图3为一个实施例中图像增强模型的整体结构图，图3中，细线方块代表全连接层，各全连接层对应的参数可根据实际情况进行设置；粗线方块代表卷积层，各卷积层对应的参数可根据实际情况进行设置；①虚线框对应的支路为全局特征的处理支路；②虚线框对应的支路为局部特征的处理支路；椭圆粗虚线框为一个特征融合层的结构，其包括一个全连接层、一个融合器和一个卷积层；t1~t5为融合器；残差积分器的具体结构可如图4所示；输入的是待增强图像；输出的是目标增强图像；辅助损失函数为综合考虑全局特征处理支路以及局部特征处理支路在训练模型过程中产生的损失，其中为全局特征处理支路产生损失对应的系数，/>为全局特征处理支路所产生的损失值，/>为局部特征处理支路产生损失对应的系数，/>为局部特征处理支路所产生的损失值。在综合考虑全局特征与局部特征双向融合效果以及运行速度等方面的因素后，发现当特征融合层数目对应为3时图像增强达到的效果相对最好。在对待增强图像进行图像增强之前，需对如图3结构的图像增强模型进行训练，在训练以获得准确度以及泛化性能较好的图像增强模型时，需要考虑辅助损失函数，其中辅助损失函数是综合全局特征处理支路以及局部特征处理支路对应的损失情况的，使得最终训练得到的图像增强模型对图像的增强效果更佳。获取训练好的图像增强模型后，将待增强图像输入至图像增强模型中，图像增强模型中的全局编码器对待增强图像进行全局特征提取，局部编码器对待增强图像进行局部特征提取，从而得到初始全局特征和初始局部特征；将初始全局特征输入至全连接层中，将初始局部特征输入至卷积层中，进而将全连接层中输出的特征作为全局的特征，以及将卷积层中输出的特征作为局部的特征一并输入特征融合层中，特征融合层中的融合器以全局到局部以及局部到全局的引导方向对输入的全局特征和局部特征进行聚合权重计算，和更新融合全局特征信息与局部特征信息后的全局特征和局部特征，也就是第一特征和第二特征，进而分别将第一特征和第二特征输入又一全连接层和又一卷积层中，得到特征融合层对应的第一融合特征和第二融合特征；此时得到的第一融合特征和第二融合特征将会作为下一特征融合层的输入，再重复进行对应的特征融合操作，直至最终的特征融合层输出对应的第一融合特征和第二融合特征。

此外，融合器t1~t5对输入的全局特征和局部特征计算对应的聚合权重的过程可由图5以及公式(1)~(7)更为直观的体现，图5中各全连接层有其预设的参数，他们对应输出的结果是不同的，其中对于全局到局部的特征信息融合以及从局部到全局的特征信息融合主要在于输入的全局特征和局部特征在进行聚合权重计算前，对应分别输入两个不同的全连接层还是输入一个全连接层的情况；以及最终将输入融合器的全局特征与从局部到全局的聚合权重进行乘积、输入融合器的局部特征与从全局到局部的聚合权重进行哈达玛积运算的区别，通过综合全局与局部双向引导特征信息融合的考虑，使得最终直接应用于图像增强的数据信息更加的精确。

进一步地，由于第一融合特征对应的是一维信号，其不能够直接用来增强二维的输入图像，因为将属于二维信号的第二融合特征作为目标特征，并根据目标特征对应的清晰图像与待增强图像的差异确定对应的残差图像和残差特征，为了使得残差的聚合更加智能和精确，可以将残差特征进行拆分，并将残差图像输入CNNs（又为CNN）模型计算各拆分残差对应的权重，从而根据各拆分残差与对应的权重的聚合来计算更精准的残差，以根据更精准的残差和原始的待增强图像融合得到图像增强效果极佳的目标增强图像。通过以双向引导的方式层层地对从待增强图像中提取的全局特征和局部特征进行特征信息融合，并将融合后得到的残差进行拆分分析，使得用于增强图像的数据信息更加的精准有效，从而较好地提高了图像增强的效果。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种图像增强装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像增强装置实施例中的具体限定可以参见上文中对于图像增强方法的限定，在此不再赘述。

如图6所示，提供了一种图像增强装置600，包括：

获取模块602，用于获取训练好的图像增强模型和待增强图像。

提取模块604，用于所述图像增强模型对所述待增强图像进行特征提取，得到初始全局特征和初始局部特征。

特征融合模块606，用于所述图像增强模型将所述初始全局特征和初始局部特征进行融合，得到目标特征。

残差分析模块608，用于所述图像增强模型基于所述目标特征和所述待增强图像的差异确定残差特征，基于所述残差特征对应的权重与所述待增强图像进行融合，得到目标增强图像。

在一些实施例中，在图像增强模型对所述待增强图像进行特征提取，得到初始全局特征和初始局部特征方面，提取模块604具体用于：基于所述全局编码器，对所述待增强图像进行全局特征提取，得到所述初始全局特征；基于所述局部编码器，对所述待增强图像进行局部特征提取，得到所述初始局部特征。

在一些实施例中，在图像增强模型包括第一全连接层、第一卷积层和预设数量个特征融合层，图像增强模型将所述初始全局特征和初始局部特征进行融合，得到目标特征方面，特征融合模块606具体用于：将所述初始全局特征输入所述第一全连接层，得到当前全局特征，将所述初始局部特征输入所述第一卷积层，得到当前局部特征；依次从预设数量个特征融合层中确定当前特征融合层，将所述当前全局特征和所述当前局部特征输入所述当前特征融合层，得到第一融合特征和第二融合特征；将所述第一融合特征作为当前全局特征，将所述第二融合特征作为当前局部特征，将所述当前特征融合层对应的后向特征融合层作为当前特征融合层，重复将所述当前全局特征和所述当前局部特征输入所述当前特征融合层的步骤，直至得到最后的当前特征融合层对应的第二融合特征，将最后的当前特征融合层对应的第二融合特征作为所述目标特征。

在一些实施例中，在特征融合层包括融合器、全连接层和卷积层，将所述当前全局特征和所述当前局部特征输入所述当前特征融合层，得到第一融合特征和第二融合特征方面，特征融合模块606具体还用于：所述融合器将所述当前局部特征进行降维，得到降维局部特征；所述融合器对所述当前全局特征和降维局部特征进行第一聚合权重计算操作，得到第一聚合权重，对所述降维局部特征和当前全局特征进行第二聚合权重计算操作，得到第二聚合权重；所述融合器将所述当前全局特征与所述第二聚合权重进行第一融合操作，得到第一特征，将所述当前局部特征与所述第一聚合权重进行第二融合操作，得到第二特征；将所述第一特征输入所述全连接层，得到所述第一融合特征，将所述第二特征输入所述卷积层，得到所述第二融合特征。

在一些实施例中，在融合器包括三个全连接层；融合器对所述当前全局特征和降维局部特征进行第一聚合权重计算操作，得到第一聚合权重方面，特征融合模块606具体还用于：将所述当前全局特征分别输入两个不同的全连接层，得到第一全局特征和第二全局特征，将所述降维局部特征输入第三个全连接层，得到第一局部特征；将所述第一全局特征、第二全局特征和第一局部特征输入所述融合器中的聚合层，得到所述第一聚合权重。

在一些实施例中，在融合器包括另三个全连接层；融合器对所述降维局部特征和当前全局特征进行第二聚合权重计算操作，得到第二聚合权重方面，特征融合模块606具体还用于：将所述降维局部特征分别输入两个不同的全连接层，得到第二局部特征和第三局部特征，将所述当前全局特征输入第三个全连接层，得到第三全局特征；将所述第二局部特征、第三局部特征和第三全局特征输入所述融合器中的聚合层，得到所述第二聚合权重。

在一些实施例中，在图像增强模型包括预设卷积模型，图像增强模型基于所述残差特征对应的权重与所述待增强图像进行融合，得到目标增强图像方面，残差分析模块608具体用于：对所述残差特征进行拆分，得到多份残差拆分特征，将多份残差拆分特征分为多份待处理残差特征和剩余残差特征；将所述残差特征对应的残差图像输入所述预设卷积模型中，得到各待处理残差特征对应的残差权重；将各待处理残差特征与对应的残差权重、剩余残差特征和所述待增强图像进行融合，得到所述目标增强图像。

上述图像增强装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像增强执行过程中相关的数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像增强方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种图像增强方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图7和图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施例中，提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一些实施例中，如图9所示提供了一种计算机可读存储介质的内部结构图，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一些实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（MagnetoresistiveRandom Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccessMemory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像增强方法，其特征在于，所述方法包括：

获取训练好的图像增强模型和待增强图像；

所述图像增强模型对所述待增强图像进行特征提取，得到初始全局特征和初始局部特征；

所述图像增强模型包括第一全连接层、第一卷积层和预设数量个特征融合层，所述特征融合层包括融合器、全连接层和卷积层，所述图像增强模型将所述初始全局特征输入所述第一全连接层，得到当前全局特征，将所述初始局部特征输入所述第一卷积层，得到当前局部特征；

依次从预设数量个特征融合层中确定当前特征融合层，将所述当前全局特征和所述当前局部特征输入所述当前特征融合层，所述当前特征融合层中的融合器将所述当前局部特征进行降维，得到降维局部特征；所述融合器对所述当前全局特征和降维局部特征进行第一聚合权重计算操作，得到第一聚合权重，对所述降维局部特征和当前全局特征进行第二聚合权重计算操作，得到第二聚合权重；所述融合器将所述当前全局特征与所述第二聚合权重进行第一融合操作，得到第一特征，将所述当前局部特征与所述第一聚合权重进行第二融合操作，得到第二特征；将所述第一特征输入所述当前特征融合层中的全连接层，得到第一融合特征，将所述第二特征输入所述当前特征融合层中的卷积层，得到第二融合特征；

将所述第一融合特征作为当前全局特征，将所述第二融合特征作为当前局部特征，将所述当前特征融合层对应的后向特征融合层作为当前特征融合层，重复将所述当前全局特征和所述当前局部特征输入所述当前特征融合层的步骤，直至得到最后的当前特征融合层对应的第二融合特征，将最后的当前特征融合层对应的第二融合特征作为目标特征；

所述图像增强模型基于所述目标特征和所述待增强图像的差异确定残差特征，基于所述残差特征对应的权重与所述待增强图像进行融合，得到目标增强图像。

2.根据权利要求1所述的方法，其特征在于，所述图像增强模型包括全局编码器和局部编码器，所述图像增强模型对所述待增强图像进行特征提取，得到初始全局特征和初始局部特征包括：

基于所述全局编码器，对所述待增强图像进行全局特征提取，得到所述初始全局特征；

基于所述局部编码器，对所述待增强图像进行局部特征提取，得到所述初始局部特征。

3.根据权利要求1所述的方法，其特征在于，所述图像增强模型中各特征融合层中的卷积层和与局部编码器串联的卷积层之间是Unet网络的对称结构。

4.根据权利要求1所述的方法，其特征在于，所述当前特征融合层中的融合器将所述当前局部特征进行降维，得到降维局部特征包括：

将所述当前局部特征输入所述融合器中的池化层中，得到所述降维局部特征。

5.根据权利要求1所述的方法，其特征在于，所述融合器包括三个全连接层；所述融合器对所述当前全局特征和降维局部特征进行第一聚合权重计算操作，得到第一聚合权重包括：

将所述当前全局特征分别输入两个不同的全连接层，得到第一全局特征和第二全局特征，将所述降维局部特征输入第三个全连接层，得到第一局部特征；

将所述第一全局特征、第二全局特征和第一局部特征输入所述融合器中的聚合层，得到所述第一聚合权重。

6.根据权利要求1所述的方法，其特征在于，所述融合器包括另三个全连接层；所述融合器对所述降维局部特征和当前全局特征进行第二聚合权重计算操作，得到第二聚合权重包括：

将所述降维局部特征分别输入两个不同的全连接层，得到第二局部特征和第三局部特征，将所述当前全局特征输入第三个全连接层，得到第三全局特征；

将所述第二局部特征、第三局部特征和第三全局特征输入所述融合器中的聚合层，得到所述第二聚合权重。

7.根据权利要求1所述的方法，其特征在于，所述图像增强模型包括预设卷积模型，所述图像增强模型基于所述残差特征对应的权重与所述待增强图像进行融合，得到目标增强图像包括：

对所述残差特征进行拆分，得到多份残差拆分特征，将多份残差拆分特征分为多份待处理残差特征和剩余残差特征；

将所述残差特征对应的残差图像输入所述预设卷积模型中，得到各待处理残差特征对应的残差权重；

将各待处理残差特征与对应的残差权重、剩余残差特征和所述待增强图像进行融合，得到所述目标增强图像。

8.一种图像增强装置，其特征在于，所述装置包括：

获取模块，用于获取训练好的图像增强模型和待增强图像；

提取模块，用于所述图像增强模型对所述待增强图像进行特征提取，得到初始全局特征和初始局部特征；

特征融合模块，用于所述图像增强模型包括第一全连接层、第一卷积层和预设数量个特征融合层，所述特征融合层包括融合器、全连接层和卷积层，所述图像增强模型将所述初始全局特征输入所述第一全连接层，得到当前全局特征，将所述初始局部特征输入所述第一卷积层，得到当前局部特征；依次从预设数量个特征融合层中确定当前特征融合层，将所述当前全局特征和所述当前局部特征输入所述当前特征融合层，所述当前特征融合层中的融合器将所述当前局部特征进行降维，得到降维局部特征；所述融合器对所述当前全局特征和降维局部特征进行第一聚合权重计算操作，得到第一聚合权重，对所述降维局部特征和当前全局特征进行第二聚合权重计算操作，得到第二聚合权重；所述融合器将所述当前全局特征与所述第二聚合权重进行第一融合操作，得到第一特征，将所述当前局部特征与所述第一聚合权重进行第二融合操作，得到第二特征；将所述第一特征输入所述当前特征融合层中的全连接层，得到第一融合特征，将所述第二特征输入所述当前特征融合层中的卷积层，得到第二融合特征；将所述第一融合特征作为当前全局特征，将所述第二融合特征作为当前局部特征，将所述当前特征融合层对应的后向特征融合层作为当前特征融合层，重复将所述当前全局特征和所述当前局部特征输入所述当前特征融合层的步骤，直至得到最后的当前特征融合层对应的第二融合特征，将最后的当前特征融合层对应的第二融合特征作为目标特征；

残差分析模块，用于所述图像增强模型基于所述目标特征和所述待增强图像的差异确定残差特征，基于所述残差特征对应的权重与所述待增强图像进行融合，得到目标增强图像。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。