CN115880192A - 一种特征融合方法、图像去雾方法及装置 - Google Patents

一种特征融合方法、图像去雾方法及装置 Download PDF

Info

Publication number
CN115880192A
CN115880192A CN202111138532.8A CN202111138532A CN115880192A CN 115880192 A CN115880192 A CN 115880192A CN 202111138532 A CN202111138532 A CN 202111138532A CN 115880192 A CN115880192 A CN 115880192A
Authority
CN
China
Prior art keywords
feature
fused
fusion
result
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111138532.8A
Other languages
English (en)
Inventor
董航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202111138532.8A priority Critical patent/CN115880192A/zh
Priority to PCT/CN2022/121209 priority patent/WO2023046136A1/zh
Publication of CN115880192A publication Critical patent/CN115880192A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种特征融合方法、图像去雾方法及装置，涉及图像处理技术领域。该方法包括：获取目标特征和至少一个待融合特征，所述目标特征和所述至少一个待融合特征分别为同一图像的不同空间尺度的特征；将所述目标特征划分为第一特征和第二特征；基于残差稠密块RDB对所述第一特征进行处理，获取第三特征；对所述第二特征和所述至少一个待融合特征进行融合，获取第四特征；合并所述第三特征和所述第四特征，生成所述目标特征和至少一个待融合特征的融合结果。本发明实施例用于解决现有技术中的多尺度特征融合方式会限制网络架构中的特征的多样性的问题。

Description

一种特征融合方法、图像去雾方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种特征融合方法、图像去雾方法及装置。
背景技术
图像去雾是一个经典的图像处理问题。图像去雾的主要目的是对有雾图像进行修复，从而获取出清晰无雾的图像。由于在各种高级计算机视觉任务(图像检测、图像识别等)中首先需要对图像进行去雾处理得到清晰的图像才能进行，因此图像去雾问题在计算机视觉界受到了广泛重视。
在图像去雾领域，输入图像内部一般都存在着大量的冗余信息，充分的利用这些冗余信息可以有效的提升图像修复的效果。为了能够充分的利用这些冗余信息，需要从图像不同位置提取这些冗余信息，因此深度学习网络的感受野成为了一个重要的设计标准。为了扩大深度学习网的感受野，多尺度网络在图像去雾领域被广泛应用并取得了不错的效果。虽然多尺度网络通过提取和利用来自不同尺度的特征，提升了图像去雾的整体性能，但是多尺度网络架构存在图像特征下采样过程中会丢失图像特征的空间信息、非相邻网络层间的不同尺度的特征之间缺少足够的联系等问题。对多尺度的特征进行融合，提升网络特征的复用程度，已经在众多深度学习架构中被证明是一种有效地提升网络性能的手段。目前使用较为广泛的一种多尺度特征融合方式为：基于重投影技术的多尺度特征融合方式。然而，虽然基于重投影技术的多尺度特征融合方式能够实现多尺度特征融合，但重投影技术会限制不同尺度特征间的内容，在多尺度特征融合时限制了生成特征的多样性，进而影响图像去雾的学习能力。
发明内容
有鉴于此，本发明提供了一种特征融合方法、图像去雾方法及装置，用于解决现有技术中的多尺度特征融合方式会限制网络架构中的特征的多样性的问题。
为了实现上述目的，本发明实施例提供技术方案如下：
第一方面，本发明的实施例提供了一种特征融合方法，包括：
获取目标特征和至少一个待融合特征，所述目标特征和所述至少一个待融合特征分别为同一图像的不同空间尺度的特征；
将所述目标特征划分为第一特征和第二特征；
基于残差稠密块RDB对所述第一特征进行处理，获取第三特征；
对所述第二特征和所述至少一个待融合特征进行融合，获取第四特征；
合并所述第三特征和所述第四特征，生成所述目标特征和至少一个待融合特征的融合结果。
作为本发明实施例一种可选的实施方式，所述对所述第二特征和所述至少一个待融合特征进行融合，获取第四特征，包括：
按照各待融合特征的空间尺度与所述第二特征的空间尺度的差值对所述至少一个待融合特征进行降序排序，获取排序结果；
对所述排序结果中的第一个待融合特征和所述第二特征进行融合，生成所述第一个待融合特征的融合结果；
逐一对所述排序结果中的其它待融合特征和上一个待融合特征的融合结果进行融合，生成所述排序结果中的最后一个待融合特征的融合结果；
将所述排序结果中的最后一个待融合特征的融合结果作为所述第四特征。
作为本发明实施例一种可选的实施方式，所述对所述排序结果中的第一个待融合特征和所述第二特征进行融合，生成所述第一个待融合特征的融合结果，包括：
将所述第二特征采样为与所述第一个待融合特征空间尺度相同的特征，生成所述第一个待融合特征对应的第一采样特征；
计算所述第一个待融合特征对应的第一采样特征和所述第一个待融合特征的差值，获取所述第一个待融合特征对应的特征差；
将所述第一个待融合特征对应的特征差采样为与所述第二特征空间尺度相同的特征，获取所述第一个待融合特征对应的第二采样特征；
对所述第二特征和所述第一个待融合特征对应的第二采样特征进行相加融合，生成所述第一个待融合特征的融合结果。
作为本发明实施例一种可选的实施方式，所述逐一对所述排序结果中的其它待融合特征和上一个待融合特征的融合结果进行融合，包括：
将所述排序结果中的第m-1个待融合特征的融合结果采样为与所述排序结果中的第m个待融合特征空间尺度相同的特征，生成所述第m个待融合对应的第一采样特征，m为大于1的正整数；
计算所述第m个待融合特征与所述第m个待融合对应的第一采样特征的差值，获取所述第m个待融合特征对应的特征差；
将所述第m个待融合特征对应的特征差采样为与所述第m-1个待融合特征的融合结果空间尺度相同的特征，获取所述第m个待融合特征对应的第二采样特征；
对所述第m-1个待融合特征的融合结果和所述第m个待融合特征对应的第二采样特征进行相加融合，生成所述第m个待融合特征的融合结果。
作为本发明实施例一种可选的实施方式，所述将所述目标特征划分为第一特征和第二特征，包括：
基于所述目标特征的特征通道将所述目标特征划分为第一特征和第二特征。
第二方面，本发明的实施例提供了一种图像去雾方法，包括：
通过编码模块对目标图像进行处理，获取编码特征；其中，所述编码模块包括L个级联的且空间尺度均不相同的编码器，第m个编码器用于通过权利要求1-5任一项所述的特征融合方法融合所述编码模块在所述第m个编码器上的图像特征和所述第m个编码器之前的所有编码器输出的融合结果，生成所述第m个编码器的融合结果，并将所述第m个编码器的融合结果输出至所述第m个编码器之后的所有编码器，L、m均为正整数，且m≤L；
通过由至少一个残差块RDB构成的特征复原模块对所述编码特征进行处理，获取复原特征；
通过解码模块对所述复原特征进行处理，获取所述目标图像去雾效果图像；其中，所述解码模块包括L个级联的且空间尺度均不相同的解码器，第m个解码器用于通过权利要求1-5任一项所述的特征融合方法融合所述编码模块在所述第m个编码器上的图像特征和所述第m个解码器之前的所有解码器输出的融合结果，生成所述第m个解码器的融合结果，并将所述第m个解码器的融合结果输出至所述第m个解码器之后的所有解码器。
第三方面，本发明的实施例提供了一种特征融合装置，包括：
获取单元，用于获取目标特征和至少一个待融合特征，所述目标特征和所述至少一个待融合特征分别为同一图像的不同空间尺度的特征；
划分单元，用于将所述目标特征划分为第一特征和第二特征；
第一处理单元，用于基于残差稠密连接网络对所述第一特征进行处理，获取第三特征；
第二处理单元，用于对所述第二特征和所述至少一个待融合特征进行融合，获取第四特征；
合并单元，用于合并所述第三特征和所述第四特征，生成所述目标特征和至少一个待融合特征的融合结果。
作为本发明实施例一种可选的实施方式，所述第二处理单元，具体用于按照各待融合特征的空间尺度与所述第二特征的空间尺度的差值对所述至少一个待融合特征进行降序排序，获取排序结果；对所述排序结果中的第一个待融合特征和所述第二特征进行融合，生成所述第一个待融合特征的融合结果；逐一对所述排序结果中的其它待融合特征和上一个待融合特征的融合结果进行融合，生成所述排序结果中的最后一个待融合特征的融合结果；将所述排序结果中的最后一个待融合特征的融合结果作为所述第四特征。
作为本发明实施例一种可选的实施方式，所述第二处理单元，具体用于将所述第二特征采样为与所述第一个待融合特征空间尺度相同的特征，生成所述第一个待融合特征对应的第一采样特征；计算所述第一个待融合特征对应的第一采样特征和所述第一个待融合特征的差值，获取所述第一个待融合特征对应的特征差；将所述第一个待融合特征对应的特征差采样为与所述第二特征空间尺度相同的特征，获取所述第一个待融合特征对应的第二采样特征；对所述第二特征和所述第一个待融合特征对应的第二采样特征进行相加融合，生成所述第一个待融合特征的融合结果。
作为本发明实施例一种可选的实施方式，所述第二处理单元，具体用于将所述排序结果中的第m-1个待融合特征的融合结果采样为与所述排序结果中的第m个待融合特征空间尺度相同的特征，生成所述第m个待融合对应的第一采样特征，m为大于1的正整数；计算所述第m个待融合特征与所述第m个待融合对应的第一采样特征的差值，获取所述第m个待融合特征对应的特征差；将所述第m个待融合特征对应的特征差采样为与所述第m-1个待融合特征的融合结果空间尺度相同的特征，获取所述第m个待融合特征对应的第二采样特征；对所述第m-1个待融合特征的融合结果和所述第m个待融合特征对应的第二采样特征进行相加融合，生成所述第m个待融合特征的融合结果。
作为本发明实施例一种可选的实施方式，所述划分单元，具体用于基于所述目标特征的特征通道将所述目标特征划分为第一特征和第二特征。
第四方面，本发明实施例提供了图像去雾装置，包括：
特征提取单元，用于通过编码模块对目标图像进行处理，获取编码特征；其中，所述编码模块包括L个级联的且空间尺度均不相同的编码器，第m个编码器用于通过权利要求1-5任一项所述的特征融合方法融合所述编码模块在所述第m个编码器上的图像特征和所述第m个编码器之前的所有编码器输出的融合结果，生成所述第m个编码器的融合结果，并将所述第m个编码器的融合结果输出至所述第m个编码器之后的所有编码器，L、m均为正整数，且m≤L；
特征处理单元，用于通过由至少一个残差块RDB构成的特征复原模块对所述编码特征进行处理，获取复原特征；
图像生成单元，用于通过解码模块对所述复原特征进行处理，获取所述目标图像去雾效果图像；其中，所述解码模块包括L个级联的且空间尺度均不相同的解码器，第m个解码器用于通过权利要求1-5任一项所述的特征融合方法融合所述编码模块在所述第m个编码器上的图像特征和所述第m个解码器之前的所有解码器输出的融合结果，生成所述第m个解码器的融合结果，并将所述第m个解码器的融合结果输出至所述第m个解码器之后的所有解码器。
第五方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用计算机程序时，使得所述电子设备实现第一方面或第一方面任一种可选的实施方式所述的特征融合方法。
第六方面，本发明实施例提供一种计算机可读存储介质，当所述计算机程序被计算设备执行时，使得所述计算设备实现第一方面或第一方面任一种可选的实施方式所述的特征融合方法。
第七方面，本发明实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机实现第一方面或第一方面任一种可选的实施方式所述的特征融合方法。
本发明实施例提供的特征融合方法在获取目标特征和至少一个待融合特征后，首先将目标特征划分为第一特征和第二特征，然后分别基于RDB对所述第一特征进行处理获取第三特征，对所述第二特征和所述至少一个待融合特征进行融合获取第四特征，最后合并所述第三特征和所述第四特征，生成所述目标特征和至少一个待融合特征的融合结果。即，本发明实施例提供的特征融合方法将需要增强融合的特征分为第一特征和第二特征两部分，且基于RDB对其中的一部分(第一特征)进行处理，将其中的另一部分(第二特征)与待融合的特征进行融合。由于基于RDB对特征进行处理时可以进行特征更新和冗余特征的生成，融合第二特征和待融合特征可以实现将其它空间尺度的特征中的有效信息引入，实现多尺度特征融合，因此本发明实施例提供的特征融合方法可以在实现多尺度特征融合时，保证新特征的生成，保证了网络架构中的特征的多样性，因此本发明实施例提供的特征融合方法可以解决现有技术中的多尺度特征融合方式会限制网络架构中的特征的多样性的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的特征融合方法的步骤流程图；
图2为本发明实施例提供的特征融合方法的数据流示意图之一；
图3为本发明实施例提供的特征融合方法的数据流示意图之二；
图4为本发明实施例提供的图像去雾方法的步骤流程图；
图5为本发明实施例提供的用于实现图像去雾方法的网络模型的结构示意图；
图6为本发明实施例提供的特征融合装置的结构示意图；
图7为本发明实施例提供的图像去雾装置的结构示意图；
图8为本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面将对本发明的方案进行进一步描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但本发明还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本发明的一部分实施例，而不是全部的实施例。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。此外，在本发明实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。
本发明实施例提供了一种特征融合方法，该特征融合方法可以用于任意图像处理场景的图像处理过程中。例如：本发明实施例提供的特征融合方法可以在图像去雾场景中对提取的图像的特征进行融合；再例如：本发明实施例提供的特征融合方法也可以在图像修复过程中对提取的图像的特征进行融合。再例如：本发明实施例提供的特征融合方法还可以在图像超分过程中对提取的图像的特征进行融合。本发明实施例对特征融合方法的使用场景不做限定，以使用场景包括多个需要融合的不同空间尺度的图像特征为准。参照图1所示，该特征融合方法包括如下步骤：
S11、获取目标特征和至少一个待融合特征。
其中，所述目标特征和所述至少一个待融合特征分别为同一图像的不同空间尺度的特征。
具体的，本发明实施例中的目标特征是指需要进行融合增强的特征，待融合特征是指用于对目标特征进行融合增强的特征。具体可以基于不同空间尺度的特征提取函数或特征提取网络分别对待处理图像进行特征提取，以获取所述目标特征和所述至少一个待融合特征。
S12、将所述目标特征划分为第一特征和第二特征。
可选的，将所述目标特征划分为第一特征和第二特征的实现方式可以包括：
基于所述目标特征的特征通道将所述目标特征划分为第一特征和第二特征。
具体的，本发明实施例中特征的通道(channel)是指特征所包含的特征图(feature map)，特征的一个通道即为基于某一维度对特征进行特征提取所得到的特征图，因此特征的通道即为特定意义上的特征图。基于特征的特征通道对特征进行划分即为：将特征中的一部分维度的特征图划分为一个特征集合，将剩余维度的特征图作为另一个特征集合。
本发明实施例中不限定第一特征和第二特征的比例。第一特征的比例越高，则可以更多的生成新特征，第二特征的比例越高，则可以更多引入的其它空间尺度的特征的有效信息，因此实际应用中可以根据需要引入的其它空间尺度的特征的有效信息的量以及需要生成的新特征的量来确定第一特征和第二特征的比例。示例性的，第一特征和第二特征的比例可以1：1。
S13、基于残差稠密块(ResidualDenseBlock，RDB)对所述第一特征进行处理，获取第三特征。
具体的，残差稠密块包括主要三部分，该三部分分别为：近邻记忆(ContiguousMemory，CM)、局部特征融合(Local Feature Fusion，LFF)以及局部残差学习(LocalResidual Learning，LRL)。其中，CM主要用于将上一个RDB的输出发送到当前RDB中的每一个卷积层；LFF主要用于将前一个RDB的输出与当前RDB的所有卷积层的输出融合在一起；LRL主要用于将前一个RDB的输出与当前RDB的LFF的输出相加，并将相加结果作为当前RDB的输出。
由于RDB可以进行特征更新和冗余特征的生成，因此基于残差稠密块对第一特征进行处理可以增加特征的多样性。
S14、对所述第二特征和所述至少一个待融合特征进行融合，获取第四特征。
作为本发明实施例一种可选的实施方式，上述步骤S14(对所述第二特征和所述至少一个待融合特征进行融合，获取第四特征)包括如下步骤a至步骤d：
步骤a、按照各待融合特征的空间尺度与所述第二特征的空间尺度的差值对所述至少一个待融合特征进行降序排序，获取排序结果。
即，若某一待融合特征的空间尺度与所述第二特征的空间尺度相差越大，则该待融合特征在排序结果中的位置越靠前，而若待融合特征的空间尺度与所述第二特征的空间尺度相差越小，则该待融合特征在排序结果中的位置越靠后。
步骤b、对所述排序结果中的第一个待融合特征和所述第二特征进行融合，生成所述第一个待融合特征的融合结果。
参照图2所示，图2中以排序结果中的第一个待融合特征为J0，第二特征为jn2对上述步骤b进行说明。上述步骤b的实现方式可以包括如下步骤1至步骤4：
步骤1、将所述第二特征jn2采样为与所述第一个待融合特征空间尺度相同的特征，生成所述第一个待融合特征J0对应的第一采样特征
Figure BDA0003283142630000101
上述步骤中的采样可以为上采样也可以为下采样，具体由第一个待融合特征J0的空间尺度与第二特征jn2的空间尺度决定。
步骤2、计算所述第一个待融合特征J0对应的第一采样特征
Figure BDA0003283142630000102
和所述第一个待融合特征J0的差值，获取所述第一个待融合特征J0对应的特征差
Figure BDA0003283142630000111
上述步骤2的过程可以描述为：
Figure BDA0003283142630000112
步骤3、将所述第一个待融合特征j0对应的特征差
Figure BDA0003283142630000113
采样为与所述第二特征jn2空间尺度相同的特征，获取所述第一个待融合特征J0对应的第二采样特征
Figure BDA0003283142630000114
上述步骤中的采样可以为上采样也可以为下采样，具体由第一个待融合特征J0对应的特征差
Figure BDA0003283142630000115
的空间尺度与第二特征jn2的空间尺度决定。
步骤4、对所述第二特征jn2和所述第一个待融合特征J0对应的第二采样特征
Figure BDA0003283142630000116
进行相加融合，生成所述第一个待融合特征的融合结果J0 n。
上述步骤4的过程可以描述为：
Figure BDA0003283142630000117
步骤c、逐一对所述排序结果中的其它待融合特征和上一个待融合特征的融合结果进行融合，生成所述排序结果中的最后一个待融合特征的融合结果。
可选的，上述步骤c中对排序结果中的第m(大于1的正整数)个待融合特征和上一个待融合特征(第m-1个待融合特征)的融合结果进行融合的实现方式包括如下步骤Ⅰ至Ⅵ：
步骤Ⅰ、将所述排序结果中的第m-1个待融合特征的融合结果采样为与所述排序结果中的第m个待融合特征空间尺度相同的特征，生成所述第m个待融合对应的第一采样特征。
步骤Ⅱ、计算所述第m个待融合特征与所述第m个待融合对应的第一采样特征的差值，获取所述第m个待融合特征对应的特征差；
步骤Ⅲ、将所述第m个待融合特征对应的特征差采样为与所述第m-1个待融合特征的融合结果空间尺度相同的特征，获取所述第m个待融合特征对应的第二采样特征；
步骤Ⅵ、对所述第m-1个待融合特征的融合结果和所述第m个待融合特征对应的第二采样特征进行相加融合，生成所述第m个待融合特征的融合结果。
步骤Ⅰ至Ⅵ获取排序结果中的第m个待融合特征的融合结果与步骤1至4获取排序结果中的第1个待融合特征的融合结果的不同之处仅在在于：获取第1个待融合特征的融合结果时，输入为第二特征和第1个待融合特征，而获取第m个待融合特征的融合结果时，输入为第m-1个待融合特征的融合结果和第m个待融合特征。其计算方式相同。
示例性的，参照图3所示，图3中以排序结果依次包括：待融合特征J0、待融合特征J1、待融合特征J2、……、待融合特征Jt为例对上述步骤c进行说明。在图2所示实施例的基础上，获取第一个待融合特征的融合结果J0 n，获取排序结果中最后一个待融合特征Jt的融合结果Jt n的过程还包括：
将第1个待融合特征J0的融合结果J0 n采样为与第2个待融合特征J1空间尺度相同的特征，生成第2个待融合对应的第一采样特征
Figure BDA0003283142630000121
计算第2个待融合特征J1与第2个待融合特征J1对应的第一采样特征
Figure BDA0003283142630000122
的差值，获取所述第2个待融合特征对应的特征差
Figure BDA0003283142630000123
将第2个待融合特征J1对应的特征差
Figure BDA0003283142630000124
采样为与第1个待融合特征J0的融合结果J0 n空间尺度相同的特征，获取第2个待融合特征J1对应的第二采样特征
Figure BDA0003283142630000126
对第1个待融合特征J0的融合结果J0 n和第2个待融合特征j1对应的第二采样特征
Figure BDA0003283142630000127
进行相加融合，生成第2个待融合特征j1的融合结果j1 n；
将第2个待融合特征j1的融合结果J1 n采样为与第3个待融合特征J2空间尺度相同的特征，生成第3个待融合对应的第一采样特征
Figure BDA0003283142630000128
计算第3个待融合特征J2与第3个待融合特征J2对应的第一采样特征
Figure BDA0003283142630000129
的差值，获取所述第3个待融合特征对应的特征差
Figure BDA00032831426300001210
将第3个待融合特征J2对应的特征差
Figure BDA0003283142630000131
采样为与第2个待融合特征J1的融合结果J1 n空间尺度相同的特征，获取第3个待融合特征J2对应的第二采样特征
Figure BDA0003283142630000132
对第2个待融合特征J1的融合结果J1 n和第3个待融合特征J2对应的第二采样特征
Figure BDA0003283142630000133
进行相加融合，生成第3个待融合特征J2的融合结果J2 n；
基于上述方式逐一获取排序结果中的第4个待融合特征J3、第5个待融合特征J4、……、第t个待融合特征Jt-1以及第t+1个待融合特征Jt的融合结果，最终获取第t+1个待融合特征Jt的融合结果Jt n。
步骤d、将所述排序结果中的最后一个待融合特征的融合结果作为所述第四特征。
承上图3所示实施例，排序结果依次包括：待融合特征J0、待融合特征J1、待融合特征J2、……、待融合特征Jt，则将所述排序结果中的最后一个待融合特征Jt的融合结果Jt n作为所述第四特征。
S15、合并所述第三特征和所述第四特征，生成所述目标特征和至少一个待融合特征的融合结果。
具体的，合并所述第三特征和所述第四特征可以包括：将所述第三特征和所述第四特征在通道维度上串联。
本发明实施例提供的特征融合方法在获取目标特征和至少一个待融合特征后，首先将目标特征划分为第一特征和第二特征，然后分别基于RDB对所述第一特征进行处理获取第三特征，对所述第二特征和所述至少一个待融合特征进行融合获取第四特征，最后合并所述第三特征和所述第四特征，生成所述目标特征和至少一个待融合特征的融合结果。即，本发明实施例提供的特征融合方法将需要增强融合的特征分为第一特征和第二特征两部分，且基于RDB对其中的一部分(第一特征)进行处理，将其中的另一部分(第二特征)与待融合的特征进行融合。由于基于RDB对特征进行处理时可以进行特征更新和冗余特征的生成，融合第二特征和待融合特征可以实现将其它空间尺度的特征中的有效信息引入，实现多尺度特征融合，因此本发明实施例提供的特征融合方法可以在实现多尺度特征融合时，保证新特征的生成，保证了网络架构中的特征的多样性，因此本发明实施例提供的特征融合方法可以解决现有技术中的多尺度特征融合方式会限制网络架构中的特征的多样性的问题。
还需要说明的是，多个空间尺度的特征进行融合时，一般需要进行上采样/下采样的卷积和反卷积，而上采样/下采样的卷积和反卷积需要大量的计算资源，因此性能开销比较大。上述实施例通过将目标特征划分为第一特征和第二特征，且仅会使第二特征参与多空间尺度特征融合，因此上述实施例还可以减少需要融合的特征的数量(第二特征的特征数少于目标特征的特征数)，进而减少特征融合的计算量，提升特征融合的效率。
在上述实施例的基础上，本发明实施例还提供了一种图像去雾方法。参照图4所示，本发明实施例提供的图像去雾方法包括如下步骤S41至S43：
S41、通过编码模块对目标图像进行处理，获取编码特征。
其中，所述编码模块包括L个级联的且空间尺度均不相同的编码器，第m个编码器用于通过权利要求1-5任一项所述的特征融合方法融合所述编码模块在所述第m个编码器上的图像特征和所述第m个编码器之前的所有编码器输出的融合结果，生成所述第m个编码器的融合结果，并将所述第m个编码器的融合结果输出至所述第m个编码器之后的所有编码器，L、m均为正整数，且m≤L。
S42、通过由至少一个RDB构成的特征复原模块对所述编码特征进行处理，获取复原特征。
S43、通过解码模块对所述复原特征进行处理，获取所述目标图像去雾效果图像。
其中，所述解码模块包括L个级联的且空间尺度均不相同的解码器，第m个解码器用于通过权利要求1-5任一项所述的特征融合方法融合所述编码模块在所述第m个编码器上的图像特征和所述第m个解码器之前的所有解码器输出的融合结果，生成所述第m个解码器的融合结果，并将所述第m个解码器的融合结果输出至所述第m个解码器之后的所有解码器。
即，用于执行上述图4所示实施例的编码模块、特征复原模块以及解码模块形成U型网络(U-Net)。
具体的，U型网络(U-Net)一种特殊的卷积神经网络，U型网络神经网络主要包括：编码模块(又称为收缩路径)、特征复原模块以及解码模块(又称为扩展路径)。编码模块主要是用来捕捉原始图像中的上下文信息(context information)，而与之相对称的解码模块则是为了对原始图像中所需要分割出来的部分进行精准定位(localization)，进而生成处理后的图像。相比于全卷积神经网络(Fully Convolutional Neural，FCN)U型网络的改进之处在于，U-Net为了能精准的定位原始图像中需要分割出来的部分，编码模块上提取出来的特征会在升采样(upsampling)过程中与新的特征图(feature map)进行结合，以最大程度的保留特征中的重要信息，进而减少对训练样本数量和计算资源的需求。
参照图5所示，用于执行上述图4所示实施例的网络模型包括：形成U型网络的编码模块51、特征复原模块52以及解码模块53。
所述编码模块51包括L个级联的且空间尺度均不相同的编码器，用于对目标图像I进行处理，获取编码特征iL。其中，第m个编码器用于上述实施例提供的特征融合方法融合所述编码模块在所述第m个编码器上的图像特征和所述第m个编码器之前的所有编码器输出的融合结果，生成所述第m个编码器的融合结果，并将所述第m个编码器的融合结果输出至所述第m个编码器之后的所有编码器。
所述特征复原模块52包括至少一个RDB，用于接收所述编码模块51输出的编码特征iL，以及通过所述至少一个RDB对编码特征iL进行处理，获取复原特征jL。
所述解码模块53包括L个级联的且空间尺度均不相同的解码器，第m个解码器用于通过上述实施例提供的特征融合方法融合所述解码模块在所述第m个解码器上的图像特征和所述第m个解码器之前的所有解码器输出的融合结果，生成所述第m个解码器的融合结果，并将所述第m个解码器的融合结果输出至所述第m个解码器之后的所有解码器；以及根据最后一个解码器的输出的融合结果j1，获取所述目标图像I去雾效果图像J。
编码模块51中的第m个编码器通过上述实施例提供的特征融合方法融合所述编码模块在第m个编码器上的图像特征和所述第m个编码器之前的所有编码器(第1个编码器至第m-1个编码器)输出的融合结果的操作可以描述为：
im＝im1+im2
Figure BDA0003283142630000161
Figure BDA0003283142630000162
Figure BDA0003283142630000163
其中，im1表示对编码模块在第m个编码器中的特征im进行划分得到的第一特征，f(...)表示基于RDB对特征进行处理的操作，
Figure BDA0003283142630000164
表示基于RDB对im1进行处理得到的第三特征，im2表示对编码模块在第m个编码器中的特征im进行划分得到的第二特征，
Figure BDA0003283142630000165
表示第1个编码器至第m-1个编码器输出的融合结果，
Figure BDA0003283142630000166
表示对im2和
Figure BDA0003283142630000167
进行融合的操作，
Figure BDA0003283142630000168
表示对im2和
Figure BDA0003283142630000169
进行融合得到的融合结果，
Figure BDA00032831426300001610
编码模块的第m个编码器输出的融合结果。
解码模块53中的第m个解码器通过上述实施例提供的特征融合方法融合所述解码模块在第m个解码器上的图像特征和所述第m个解码器之前的所有解码器(第L个解码器至第m+1个解码器)输出的融合结果的操作可以描述为：
jm＝jm1+jm2
Figure BDA0003283142630000171
Figure BDA0003283142630000172
Figure BDA0003283142630000173
其中，jm1表示对解码模块在第m个解码器中的特征jm进行划分得到的第一特征，f(...)表示基于RDB对特征进行处理的操作，
Figure BDA0003283142630000174
表示基于RDB对jm1进行处理得到的第三特征，jm2表示对解码模块在第m个解码器中的特征jm进行划分得到的第二特征，L为编码模块中编码器的总数量，
Figure BDA0003283142630000175
表示第L个解码器至第m+1个解码器输出的融合结果，
Figure BDA0003283142630000176
表示对jm2和
Figure BDA0003283142630000177
进行融合的操作，
Figure BDA0003283142630000178
表示对jm2和
Figure BDA0003283142630000179
进行融合得到的融合结果，
Figure BDA00032831426300001710
解码模块的第m个解码器输出的融合结果。
由于本发明实施例提供的图像去雾方法可以通过上述实施例提供的特征融合方法进行特征融合，因此本发明实施例提供的图像去雾方法可以在实现多尺度特征融合时，保证新特征的生成，保证了网络架构中的特征的多样性，因此本发明实施例提供的图像去雾方法可以提升图像去雾的性能。
基于同一发明构思，作为对上述方法的实现，本发明实施例还提供了一种特征融合装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的特征融合装置能够对应实现前述方法实施例中的全部内容。
本发明实施例提供了一种特征融合装置，图6为该特征融合装置的结构示意图，如图6所示，该特征融合装置600包括：
获取单元61，用于获取目标特征和至少一个待融合特征，所述目标特征和所述至少一个待融合特征分别为同一图像的不同空间尺度的特征；
划分单元62，用于将所述目标特征划分为第一特征和第二特征；
第一处理单元63，用于基于残差稠密连接网络对所述第一特征进行处理，获取第三特征；
第二处理单元64，用于对所述第二特征和所述至少一个待融合特征进行融合，获取第四特征；
合并单元65，用于合并所述第三特征和所述第四特征，生成所述目标特征和至少一个待融合特征的融合结果。
作为本发明实施例一种可选的实施方式，所述第二处理单元64，具体用于按照各待融合特征的空间尺度与所述第二特征的空间尺度的差值对所述至少一个待融合特征进行降序排序，获取排序结果；对所述排序结果中的第一个待融合特征和所述第二特征进行融合，生成所述第一个待融合特征的融合结果；逐一对所述排序结果中的其它待融合特征和上一个待融合特征的融合结果进行融合，生成所述排序结果中的最后一个待融合特征的融合结果；将所述排序结果中的最后一个待融合特征的融合结果作为所述第四特征。
作为本发明实施例一种可选的实施方式，所述第二处理单元64，具体用于将所述第二特征采样为与所述第一个待融合特征空间尺度相同的特征，生成所述第一个待融合特征对应的第一采样特征；计算所述第一个待融合特征对应的第一采样特征和所述第一个待融合特征的差值，获取所述第一个待融合特征对应的特征差；将所述第一个待融合特征对应的特征差采样为与所述第二特征空间尺度相同的特征，获取所述第一个待融合特征对应的第二采样特征；对所述第二特征和所述第一个待融合特征对应的第二采样特征进行相加融合，生成所述第一个待融合特征的融合结果。
作为本发明实施例一种可选的实施方式，所述第二处理单元64，具体用于将所述排序结果中的第m-1个待融合特征的融合结果采样为与所述排序结果中的第m个待融合特征空间尺度相同的特征，生成所述第m个待融合对应的第一采样特征，m为大于1的正整数；计算所述第m个待融合特征与所述第m个待融合对应的第一采样特征的差值，获取所述第m个待融合特征对应的特征差；将所述第m个待融合特征对应的特征差采样为与所述第m-1个待融合特征的融合结果空间尺度相同的特征，获取所述第m个待融合特征对应的第二采样特征；对所述第m-1个待融合特征的融合结果和所述第m个待融合特征对应的第二采样特征进行相加融合，生成所述第m个待融合特征的融合结果。
作为本发明实施例一种可选的实施方式，所述划分单元61，具体用于基于所述目标特征的特征通道将所述目标特征划分为第一特征和第二特征。
本实施例提供的特征融合装置可以执行上述方法实施例提供的特征融合方法，其实现原理与技术效果类似，此处不再赘述。
本发明实施例提供了一种图像去雾装置，图7为该图像去雾装置的结构示意图，如图7所示，该图像去雾装置700包括：
特征提取单元71，用于通过编码模块对目标图像进行处理，获取编码特征；其中，所述编码模块包括L个级联的且空间尺度均不相同的编码器，第m个编码器用于通过权利要求1-5任一项所述的特征融合方法融合所述编码模块在所述第m个编码器上的图像特征和所述第m个编码器之前的所有编码器输出的融合结果，生成所述第m个编码器的融合结果，并将所述第m个编码器的融合结果输出至所述第m个编码器之后的所有编码器，L、m均为正整数，且m≤L；
特征处理单元72，用于通过由至少一个残差块RDB构成的特征复原模块对所述编码特征进行处理，获取复原特征；
图像生成单元73，用于通过解码模块对所述复原特征进行处理，获取所述目标图像去雾效果图像；其中，所述解码模块包括L个级联的且空间尺度均不相同的解码器，第m个解码器用于通过权利要求1-5任一项所述的特征融合方法融合所述编码模块在所述第m个编码器上的图像特征和所述第m个解码器之前的所有解码器输出的融合结果，生成所述第m个解码器的融合结果，并将所述第m个解码器的融合结果输出至所述第m个解码器之后的所有解码器。
本实施例提供的图像去雾装置可以执行上述方法实施例提供的图像去雾方法，其实现原理与技术效果类似，此处不再赘述。
基于同一发明构思，本发明实施例还提供了一种电子设备。图8为本发明实施例提供的电子设备的结构示意图，如图8所示，本实施例提供的电子设备包括：存储器81和处理器82，所述存储器81用于存储计算机程序；所述处理器82用于在调用计算机程序时执行上述实施例提供的特征融合方法或图像去雾方法。
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当计算机程序被处理器执行时，使得所述计算设备实现上述实施例提供的特征融合方法或图像去雾方法。
基于同一发明构思，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算设备实现上述实施例提供的特征融合方法或图像去雾方法。
本领域技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动存储介质。存储介质可以由任何方法或技术来实现信息存储，信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。根据本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (11)

1.一种特征融合方法，其特征在于，包括：
获取目标特征和至少一个待融合特征，所述目标特征和所述至少一个待融合特征分别为同一图像的不同空间尺度的特征；
将所述目标特征划分为第一特征和第二特征；
基于残差稠密块RDB对所述第一特征进行处理，获取第三特征；
对所述第二特征和所述至少一个待融合特征进行融合，获取第四特征；
合并所述第三特征和所述第四特征，生成所述目标特征和至少一个待融合特征的融合结果。
2.根据权利要求1所述的方法，其特征在于，所述对所述第二特征和所述至少一个待融合特征进行融合，获取第四特征，包括：
按照各待融合特征的空间尺度与所述第二特征的空间尺度的差值对所述至少一个待融合特征进行降序排序，获取排序结果；
对所述排序结果中的第一个待融合特征和所述第二特征进行融合，生成所述第一个待融合特征的融合结果；
逐一对所述排序结果中的其它待融合特征和上一个待融合特征的融合结果进行融合，生成所述排序结果中的最后一个待融合特征的融合结果；
将所述排序结果中的最后一个待融合特征的融合结果作为所述第四特征。
3.根据权利要求2所述的方法，其特征在于，所述对所述排序结果中的第一个待融合特征和所述第二特征进行融合，生成所述第一个待融合特征的融合结果，包括：
将所述第二特征采样为与所述第一个待融合特征空间尺度相同的特征，生成所述第一个待融合特征对应的第一采样特征；
计算所述第一个待融合特征对应的第一采样特征和所述第一个待融合特征的差值，获取所述第一个待融合特征对应的特征差；
将所述第一个待融合特征对应的特征差采样为与所述第二特征空间尺度相同的特征，获取所述第一个待融合特征对应的第二采样特征；
对所述第二特征和所述第一个待融合特征对应的第二采样特征进行相加融合，生成所述第一个待融合特征的融合结果。
4.根据权利要求2所述的方法，其特征在于，所述逐一对所述排序结果中的其它待融合特征和上一个待融合特征的融合结果进行融合，包括：
将所述排序结果中的第m-1个待融合特征的融合结果采样为与所述排序结果中的第m个待融合特征空间尺度相同的特征，生成所述第m个待融合对应的第一采样特征，m为大于1的正整数；
计算所述第m个待融合特征与所述第m个待融合对应的第一采样特征的差值，获取所述第m个待融合特征对应的特征差；
将所述第m个待融合特征对应的特征差采样为与所述第m-1个待融合特征的融合结果空间尺度相同的特征，获取所述第m个待融合特征对应的第二采样特征；
对所述第m-1个待融合特征的融合结果和所述第m个待融合特征对应的第二采样特征进行相加融合，生成所述第m个待融合特征的融合结果。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述将所述目标特征划分为第一特征和第二特征，包括：
基于所述目标特征的特征通道将所述目标特征划分为第一特征和第二特征。
6.一种图像去雾方法，其特征在于，包括：
通过编码模块对目标图像进行处理，获取编码特征；其中，所述编码模块包括L个级联的且空间尺度均不相同的编码器，第m个编码器用于通过权利要求1-5任一项所述的特征融合方法融合所述编码模块在所述第m个编码器上的图像特征和所述第m个编码器之前的所有编码器输出的融合结果，生成所述第m个编码器的融合结果，并将所述第m个编码器的融合结果输出至所述第m个编码器之后的所有编码器，L、m均为正整数，且m≤L；
通过由至少一个残差块RDB构成的特征复原模块对所述编码特征进行处理，获取复原特征；
通过解码模块对所述复原特征进行处理，获取所述目标图像去雾效果图像；其中，所述解码模块包括L个级联的且空间尺度均不相同的解码器，第m个解码器用于通过权利要求1-5任一项所述的特征融合方法融合所述编码模块在所述第m个编码器上的图像特征和所述第m个解码器之前的所有解码器输出的融合结果，生成所述第m个解码器的融合结果，并将所述第m个解码器的融合结果输出至所述第m个解码器之后的所有解码器。
7.一种特征融合装置，其特征在于，包括：
获取单元，用于获取目标特征和至少一个待融合特征，所述目标特征和所述至少一个待融合特征分别为同一图像的不同空间尺度的特征；
划分单元，用于将所述目标特征划分为第一特征和第二特征；
第一处理单元，用于基于残差稠密连接网络对所述第一特征进行处理，获取第三特征；
第二处理单元，用于对所述第二特征和所述至少一个待融合特征进行融合，获取第四特征；
合并单元，用于合并所述第三特征和所述第四特征，生成所述目标特征和至少一个待融合特征的融合结果。
8.一种图像去雾装置，其特征在于，包括：
特征提取单元，用于通过编码模块对目标图像进行处理，获取编码特征；其中，所述编码模块包括L个级联的且空间尺度均不相同的编码器，第m个编码器用于通过权利要求1-5任一项所述的特征融合方法融合所述编码模块在所述第m个编码器上的图像特征和所述第m个编码器之前的所有编码器输出的融合结果，生成所述第m个编码器的融合结果，并将所述第m个编码器的融合结果输出至所述第m个编码器之后的所有编码器，L、m均为正整数，且m≤L；
特征处理单元，用于通过由至少一个残差块RDB构成的特征复原模块对所述编码特征进行处理，获取复原特征；
图像生成单元，用于通过解码模块对所述复原特征进行处理，获取所述目标图像去雾效果图像；其中，所述解码模块包括L个级联的且空间尺度均不相同的解码器，第m个解码器用于通过权利要求1-5任一项所述的特征融合方法融合所述编码模块在所述第m个编码器上的图像特征和所述第m个解码器之前的所有解码器输出的融合结果，生成所述第m个解码器的融合结果，并将所述第m个解码器的融合结果输出至所述第m个解码器之后的所有解码器。
9.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用计算机程序时，使得所述电子设备实现权利要求1-6任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现权利要求1-6任一项所述的方法。
11.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机实现如权利要求1-6任一项所述的方法。
CN202111138532.8A 2021-09-27 2021-09-27 一种特征融合方法、图像去雾方法及装置 Pending CN115880192A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111138532.8A CN115880192A (zh) 2021-09-27 2021-09-27 一种特征融合方法、图像去雾方法及装置
PCT/CN2022/121209 WO2023046136A1 (zh) 2021-09-27 2022-09-26 一种特征融合方法、图像去雾方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111138532.8A CN115880192A (zh) 2021-09-27 2021-09-27 一种特征融合方法、图像去雾方法及装置

Publications (1)

Publication Number Publication Date
CN115880192A true CN115880192A (zh) 2023-03-31

Family

ID=85720113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111138532.8A Pending CN115880192A (zh) 2021-09-27 2021-09-27 一种特征融合方法、图像去雾方法及装置

Country Status (2)

Country Link
CN (1) CN115880192A (zh)
WO (1) WO2023046136A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090292468A1 (en) * 2008-03-25 2009-11-26 Shunguang Wu Collision avoidance method and system using stereo vision and radar sensor fusion
CN110544213B (zh) * 2019-08-06 2023-06-13 天津大学 一种基于全局和局部特征融合的图像去雾方法
CN111539886B (zh) * 2020-04-21 2023-01-03 西安交通大学 一种基于多尺度特征融合的去雾方法
CN112232132A (zh) * 2020-09-18 2021-01-15 北京理工大学 一种融合导航信息的目标识别定位方法
CN111968064B (zh) * 2020-10-22 2021-01-15 成都睿沿科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN112884682B (zh) * 2021-01-08 2023-02-21 福州大学 一种基于匹配与融合的立体图像颜色校正方法及系统
CN112801047B (zh) * 2021-03-19 2021-08-17 腾讯科技（深圳）有限公司 缺陷检测方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
WO2023046136A1 (zh) 2023-03-30

Similar Documents

Publication Publication Date Title
US11113816B2 (en) Image segmentation apparatus, method and relevant computing device
CN108062754B (zh) 基于密集网络图像的分割、识别方法和装置
WO2020018370A9 (en) Multi-modal electronic document classification
CN108765334A (zh) 一种图像去噪方法、装置以及电子设备
CN109816659B (zh) 图像分割方法、装置及系统
CN111914654B (zh) 一种文本版面分析方法、装置、设备和介质
CN116310667B (zh) 联合对比损失和重建损失的自监督视觉表征学习方法
CN109766918B (zh) 基于多层次上下文信息融合的显著性物体检测方法
CN112861795A (zh) 基于多尺度特征融合的遥感图像显著目标检测方法及装置
CN115496919A (zh) 基于窗口掩码策略的混合卷积-变压器架构及自监督方法
CN116128894A (zh) 图像分割方法、装置及电子设备
CN113962861A (zh) 图像重建方法、装置、电子设备和计算机可读介质
CN114202457A (zh) 低分辨率图像的处理方法、电子设备及计算机程序产品
CN112580656A (zh) 一种端到端的文本检测方法、系统、终端及存储介质
CN115880192A (zh) 一种特征融合方法、图像去雾方法及装置
CN111929688A (zh) 一种用于确定雷达回波预测帧序列的方法与设备
CN113592724A (zh) 目标人脸图像的修复方法和装置
CN116682076A (zh) 面向船舶安全监管的多尺度目标检测方法、系统及设备
CN116433686A (zh) 基于Transformer上下文信息融合的医学图像分割方法及相关设备
WO2023125522A1 (zh) 一种图像处理方法及装置
CN113537491A (zh) 神经网络训练方法、设备及计算机可读介质
CN113255675A (zh) 基于扩张卷积和残差路径的图像语义分割网络结构及方法
WO2023072176A1 (zh) 一种视频的超分辨率方法及装置
CN116092105B (zh) 表格结构的解析方法和装置
CN112699835B (zh) 基于重建偏重U-Net的道路提取方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination