CN112990171A - 图像处理方法、装置、计算机设备及存储介质 - Google Patents

图像处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112990171A
CN112990171A CN202110551653.9A CN202110551653A CN112990171A CN 112990171 A CN112990171 A CN 112990171A CN 202110551653 A CN202110551653 A CN 202110551653A CN 112990171 A CN112990171 A CN 112990171A
Authority
CN
China
Prior art keywords
sequence
sample
image
confidence
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110551653.9A
Other languages
English (en)
Other versions
CN112990171B (zh
Inventor
张昕昳
朱俊伟
储文青
邰颖
汪铖杰
李季檩
黄飞跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110551653.9A priority Critical patent/CN112990171B/zh
Publication of CN112990171A publication Critical patent/CN112990171A/zh
Application granted granted Critical
Publication of CN112990171B publication Critical patent/CN112990171B/zh
Priority to PCT/CN2022/090153 priority patent/WO2022242448A1/zh
Priority to US18/070,305 priority patent/US20230098548A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法、装置、计算机设备及存储介质，涉及图像处理领域。该方法包括：获取原始图像序列；对原始图像序列进行图像预处理，得到原始图像序列对应的特征图序列和置信图序列，特征图序列是对各帧原始图像帧进行特征提取得到的，置信图序列中包含各帧原始图像帧对应的置信图，置信图用于表征原始图像帧中各个像素点在特征融合过程中的置信度；基于置信图序列对特征图序列进行特征融合，得到原始图像序列中目标原始图像帧对应的目标融合特征图；基于目标融合特征图重建目标原始图像帧，得到目标重建图像帧。对特征融合过程的特征进行像素级别的可信度监督，引导融合可信度高的图像特征，从而提高了重建图像的图像质量。

Description

图像处理方法、装置、计算机设备及存储介质
技术领域
本申请实施例涉及图像处理领域，特别涉及一种图像处理方法、装置、计算机设备及存储介质。
背景技术
随着深度学习技术的发展，深度学习的应用领域也越来越多，比如，图像处理领域中，在图像处理领域中，图像质量的高低会直接影响到后续视觉处理任务好坏，而图像成像过程中，常常因为大气中的浑浊介质或其他外界因素导致采集到质量较差的图像，如何将低质量图像恢复成高质量图像越来越受到人们所关注。
相关技术中，采用深度学习提高图像质量的过程中，一般通过预测图像和真实图像之间的差异损失对图像处理模型进行监督学习，从而使得经过图像处理模型修复后的预测图像可以更接近于真实图像。
显然，相关技术中仅通过比较预测图像和真实图像之间的差异引导网络学习图像特征，即仅在图像级别提供了可信度监督，而忽略了图像中各个像素点在图像处理过程中的作用，从而导致图像处理质量较差。
发明内容
本申请实施例提供了一种图像处理方法、装置、计算机设备及存储介质，可以提高图像处理的质量。所述技术方案如下方面。
一方面，提供了一种图像处理方法，所述方法包括：
获取原始图像序列，所述原始图像序列中包含至少三帧原始图像帧；
对所述原始图像序列进行图像预处理，得到所述原始图像序列对应的特征图序列和置信图序列，所述特征图序列是对各帧原始图像帧进行特征提取得到的，所述置信图序列中包含各帧原始图像帧对应的置信图，所述置信图用于表征所述原始图像帧中各个像素点在特征融合过程中的置信度；
基于所述置信图序列对所述特征图序列进行特征融合，得到所述原始图像序列中目标原始图像帧对应的目标融合特征图；
基于所述目标融合特征图重建所述目标原始图像帧，得到目标重建图像帧。
另一方面，提供了一种图像处理方法，所述方法包括：
获取样本图像序列和参考图像序列，所述样本图像序列中包含至少三帧样本图像帧，所述参考图像序列是所述样本图像帧对应参考图像帧所构成的序列；
通过图像预处理网络对所述样本图像序列进行图像预处理，得到所述样本图像序列对应的样本特征图序列和样本置信图序列，所述样本特征图序列是对各帧样本图像帧进行特征提取得到的，所述样本置信图序列中包含各帧样本图像帧对应的样本置信图，所述样本置信图用于表征所述样本图像帧中各个像素点在特征融合过程中的置信度；
基于所述样本置信图序列对所述样本特征图序列进行特征融合，得到所述样本图像序列中目标样本图像帧对应的目标样本融合特征图；
基于所述目标样本融合特征图重建所述目标样本图像帧，得到样本重建图像帧；
基于目标参考图像帧和所述样本重建图像帧，训练所述图像预处理网络，所述目标参考图像帧是所述目标样本图像帧在所述参考图像序列中对应的参考图像帧。
另一方面，提供了一种图像处理装置，所述装置包括：
第一获取模块，用于获取原始图像序列，所述原始图像序列中包含至少三帧原始图像帧；
第一处理模块，用于对所述原始图像序列进行图像预处理，得到所述原始图像序列对应的特征图序列和置信图序列，所述特征图序列是对各帧原始图像帧进行特征提取得到的，所述置信图序列中包含各帧原始图像帧对应的置信图，所述置信图用于表征所述原始图像帧中各个像素点在特征融合过程中的置信度；
第一特征融合模块，用于基于所述置信图序列对所述特征图序列进行特征融合，得到所述原始图像序列中目标原始图像帧对应的目标融合特征图；
第一图像重建模块，用于基于所述目标融合特征图重建所述目标原始图像帧，得到目标重建图像帧。
另一方面，提供了一种图像处理装置，所述装置包括：
第二获取模块，用于获取样本图像序列和参考图像序列，所述样本图像序列中包含至少三帧样本图像帧，所述参考图像序列是所述样本图像帧对应参考图像帧所构成的序列；
第二处理模块，用于通过图像预处理网络对所述样本图像序列进行图像预处理，得到所述样本图像序列对应的样本特征图序列和样本置信图序列，所述样本特征图序列是对各帧样本图像帧进行特征提取得到的，所述样本置信图序列中包含各帧样本图像帧对应的样本置信图，所述样本置信图用于表征所述样本图像帧中各个像素点在特征融合过程中的置信度；
第二特征融合模块，用于基于所述样本置信图序列对所述样本特征图序列进行特征融合，得到所述样本图像序列中目标样本图像帧对应的目标样本融合特征图；
第二图像重建模块，用于基于所述目标样本融合特征图重建所述目标样本图像帧，得到样本重建图像帧；
训练模块，用于基于目标参考图像帧和所述样本重建图像帧，训练所述图像预处理网络，所述目标参考图像帧是所述目标样本图像帧在所述参考图像序列中对应的参考图像帧。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如上方面所述的图像处理方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方面所述的图像处理方法。
根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述可选实现方式中提供的图像处理方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过在图像处理过程中引入原始图像帧对应的置信图，由于置信图可以表征原始图像帧中各个像素点在特征融合过程中的置信度，使得在特征融合过程中，可以参考各个像素点对应的置信度进行融合，比如，保留置信度高的像素点特征，对特征融合过程的特征进行像素级别的可信度监督，引导融合可信度高的图像特征，使得重建出的目标重建图像帧可以保留原始图像帧中的高清图像特征，从而提高了重建图像的图像质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一个示例性实施例提供的图像处理方法的流程图；
图2是本申请一个示例性实施例示出的图像处理过程的过程示意图；
图3示出了本申请另一个示例性实施例提供的图像处理方法的流程图；
图4示出了本申请一个示例性实施例示出的图像预处理过程的示意图；
图5是本申请一个示例性实施例示出的特征融合的过程示意图；
图6示出了本申请另一个示例性实施例示出的图像处理方法的流程图；
图7示出了本申请一个示例性实施例示出的图像处理方法的流程图；
图8示出了本申请另一个示例性实施例示出的图像处理方法的流程图；
图9示出了本申请另一个示例性实施例示出的图像处理方法的流程图；
图10是本申请一个示例性实施例示出的置信度块的示意图；
图11示出了本申请一个示例性实施例示出的完整图像处理过程的流程框架图；
图12是本申请一个示例性实施例提供的图像处理装置的结构框图；
图13是本申请一个示例性实施例提供的图像处理装置的结构框图；
图14示出了本申请一个实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先对本申请实施例涉及的名词进行简介。
1）置信图：置信图用于表征原始图像帧中各个像素点在特征融合过程中的置信度，置信图中置信度的取值位于0~1之间，示意性的，置信图中某个像素点对应的置信度为0.9，表示该像素点在特征融合过程中置信度较高，要保留该像素特征，反之，若像素点对应的置信度为0.1，表示该像素点在特征融合过程中的置信度较低，不使用该像素特征。本申请实施例中通过置信图引导特征融合，可以在像素级别进行可信度监督，显示地引导神经网络向高质量帧的图像特征学习，从而恢复出更高质量的图像。
2）人工智能：（Artificial Intelligence，AI）：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。需要说明的是，本申请实施例主要涉及到人工智能技术领域中的机器学习技术领域。
本申请实施例所述的图像处理方法中，通过在图像处理过程中引入置信图，使得在模型训练过程中，可以在像素级别进行可信度监督，显示引导神经网络向高质量帧的特征学习，从而得到更高质量的图像，该图像处理方法的应用场景包括但不限于：图像（视频）超分辨率场景、图像（视频）去雾霾场景、图像（视频）去雨场景、图像（视频）去模糊场景、图像（视频）修复场景。以图像去雾霾场景为例：对于有雾或霾的天气下拍摄的视频，为了将其处理成高质量视频，即去除视频中的雾或霾对物体的遮挡，可以将有雾或霾的视频先按照时间戳划分为不同原始图像序列，对各个原始图像序列进行图像预处理，即进行图像特征提取和置信度估计，得到原始图像序列对应的置信图序列和特征图序列；并在置信图序列的引导下进行特征融合，生成具备高质量图像特征的目标原始图像帧对应的目标特征图，进而基于该目标特征图恢复出高质量的目标图像；通过本申请的图像处理方法，由置信图进行特征融合，即可以保证原始图像中的高清特征，又可以成功去除图像中的雾或霾，得到高质量的修复视频。
本申请提供了一种图像处理算法或图像处理模型，该图像处理模型的部署场景既可以在云平台、云服务器上，同时也可以部署在移动终端，比如，智能手机、平板电脑等。可选的，当模型部署在移动终端时，可以通过现有的模型压缩算法来缩小图像处理模型的运算成本。本申请涉及的方法包括模型应用阶段和模型训练阶段，该模型应用阶段和模型训练阶段可以在同一个计算机设备中执行，也可以在不同计算机设备中执行。
可选的，部署有神经网络模型（图像处理模型）的服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点（Peer To Peer，P2P）网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。其中，节点包括硬件层、中间层、操作系统层和应用层。在模型训练过程中，可以将图像处理模型的训练样本保存在区块链上。
请参考图1，其示出了本申请一个示例性实施例提供的图像处理方法的流程图。本实施例以该方法的执行主体是计算机设备为例进行示例性说明，该方法包括如下步骤。
步骤101，获取原始图像序列，原始图像序列中包含至少三帧原始图像帧。
由于本申请实施例所使用的图像处理方法中采用了多帧融合技术，即通过融合多个相邻帧的图像特征，以重建得到更高质量的目标图像帧。其中，相邻帧一般指采集时间（时间戳）为连续时间的图像帧，示意性的，通过对连续五帧原始图像帧进行图像处理，可以生成第三帧原始图像帧对应的目标图像帧。
在一种可能的实施方式中，当需要重建出低质量视频对应的高质量视频时，可以先以每个时间戳对应的原始图像帧为中心，构建出包含至少三帧原始图像帧的原始图像序列，示意性的，该原始图像序列中可以包含奇数个原始图像帧，也可以包含偶数个原始图像帧。
步骤102，对原始图像序列进行图像预处理，得到原始图像序列对应的特征图序列和置信图序列，特征图序列是对各帧原始图像帧进行特征提取得到的，置信图序列中包含各帧原始图像帧对应的置信图，置信图用于表征原始图像帧中各个像素点在特征融合过程中的置信度。
在多帧融合过程中，进行特征融合所需图像特征对应特征质量的高低，会直接影响到图像重建后的目标重建图像帧的图像质量，比如，若所选图像特征为低质量特征，显然会导致基于该图像特征重建出的目标重建图像帧的图像质量较差，因此，在一种可能的实施方式中，进行特征融合之前，首先需要对原始图像序列进行图像预处理，得到原始图像序列对应的特征图序列和置信图序列。其中，在图像预处理过程中可以包含两个过程，其一是对各帧原始图像帧进行特征提取后得到的特征图序列，用于后续进行特征层级上的特征对齐和特征融合；其二是对各帧原始图像帧进行置信度估计，以估计出各帧原始图像帧中各个像素点在特征融合过程中的置信度，进而生成置信图序列。
步骤103，基于置信图序列对特征图序列进行特征融合，得到原始图像序列中目标原始图像帧对应的目标融合特征图。
其中，若原始图像序列中包含奇数个原始图像帧，则目标原始图像帧即原始图像序列中位于中心时刻的一帧原始图像帧，示意性的，若原始图像序列包含7帧原始图像帧，则第4帧原始图像帧即目标原始图像帧，即本实施例中的图像处理任务是通过7帧原始图像帧，重建出第4帧原始图像帧对应的高质量图像帧。可选的，若原始图像序列中包含偶数个原始图像帧，则目标原始图像帧可以是原始图像序列中位于中心时刻附近的两帧原始图像帧中的至少一帧，示意性的，若原始图像序列中包含8帧原始图像帧，则目标原始图像帧可以是第4帧原始图像帧，也可以是第5帧原始图像帧，或者是第4帧原始图像帧和第5帧原始图像帧。
在一种可能的实施方式中，当获取到图像预处理阶段得到的特征图序列和置信图序列后，由于置信图中所包含的置信度可以表征该像素点在特征融合过程中的置信度（可信度），对应的，由置信图在特征融合过程中基于各个置信度来引导特征图进行特征融合，比如，保留置信度高的图像特征，从而得到目标原始图像帧对应的目标融合特征图。
步骤104，基于目标融合特征图重建目标原始图像帧，得到目标重建图像帧。
在一种可能的实施方式中，当确定出目标原始图像帧对应的目标融合特征图后，可以基于该目标融合特征图进行图像重建，从而得到高质量的目标重建图像帧。
可选的，本实施例中所示的图像处理方法可以应用于图像超分辨率（目标重建图像帧的清晰度高于目标原始图像帧）、图像去雾（目标重建图像帧上不存在雾气遮挡，或雾气遮挡范围小于目标原始图像帧）、图像去雨、图像去雾霾、图像去模糊、图像修复等场景。
如图2所示，其是本申请一个示例性实施例示出的图像处理过程的过程示意图。图像处理过程包括图像预处理阶段202、多帧融合阶段205和图像重建阶段207，示意性的，在图像预处理阶段202中对原始图像序列201进行特征提取和置信度估计，得到原始图像序列201对应的置信图序列203和特征图序列204；在多帧融合阶段205中基于置信图序列203对特征图序列204进行图像特征层级的特征融合，从而得到第t帧原始图像帧对应的目标融合特征图206，进而在图像重建阶段207中基于目标融合特征图206重建出第t帧原始图像帧对应的高质量图像帧208。
综上所述，本申请实施例中，通过在图像处理过程中引入原始图像帧对应的置信图，由于置信图可以表征原始图像帧中各个像素点在特征融合过程中的置信度，使得在特征融合过程中，可以参考各个像素点对应的置信度进行融合，比如，保留置信度高的像素点特征，对特征融合过程的特征进行像素级别的可信度监督，引导融合可信度高的图像特征，使得重建出的目标重建图像帧可以保留原始图像帧中的高清图像特征，从而提高了重建图像的图像质量。
在特征融合过程中，目标融合特征图中的图像特征具备两个特征来源，一是由目标原始图像帧进行特征提取后得到的，即来源于目标原始图像帧；一是融合了其他相邻原始图像帧提取后的图像特征，即来源于其他相邻原始图像帧；为了提高特征融合得到的目标融合特征的特征质量（即尽可能的保证融合的均是高质量特征），通过两个特征来源获取融合所需要的图像特征时，均需要由置信图引导获取。
在一个示例性的例子中，如图3所示，其示出了本申请另一个示例性实施例提供的图像处理方法的流程图。以该方法的执行主体计算机设备为例进行示例性说明，该方法包括如下步骤。
步骤301，获取原始图像序列，原始图像序列中包含至少三帧原始图像帧。
步骤301的实施方式可以参考步骤101，本实施例在此不做赘述。
步骤302，通过M个置信度块对原始图像序列进行串行处理，得到特征图序列和置信图序列，M为正整数。
本实施例中，通过预先搭建并训练完成的图像预处理网络对原始图像序列进行图像预处理，该图像预处理网络的训练过程可以参考下文实施例，本实施例在此不做赘述。其中，图像预处理网络中包含M个串联的置信度块，由M个串联的置信度块对原始图像序列中的各帧原始图像帧进行特征提取和置信度估计。
可选的，M的取值可以是1，也可以是大于1的整数，为了获取到更深层次的图像特征，在搭建图像预处理网络时，可以将1个以上的置信度块进行串联，以对原始图像序列进行串行处理，示意性的，图像预处理网络中包含三个串联的置信度块。
在一个示例性的例子中，步骤302还可以包括步骤302A至步骤302C。
步骤302A，将第i-1特征图序列和第i-1置信图序列输入第i置信度块，得到第i置信度块输出的第i特征图序列和第i置信图序列，i为小于M的正整数。
由于图像预处理网络中各个置信度块之间是串联关系，对应的，第i-1置信度块的输出是第i置信度块的输入，且最后一个置信度块（即第M置信度块）的输出也即是图像预处理网络的输出，在一种可能的实施方式中，将经过第i-1置信度块处理得到的第i-1特征图序列和第i-1置信图序列输入第i置信度块，由第i置信度块对其进行特征拼接和特征增强，从而得到第i置信度块输出的第i特征图序列和第i置信图序列。
可选的，当i为1时，对应图像预处理网络中的第一置信度块，该第一个置信度块的输入为初始化特征图序列和初始化置信图序列，其中，初始化特征图序列是由原始图像序列初始化得到，比如，将原始图像序列中包含的各个原始图像帧进行向量化表示，再输入第一置信度块；初始置信图序列中各个初始置信图的置信度均为初始值，该初始值可以全是0，或全为1，或由开发人员预先设置。
可选的，置信度块对特征图序列和置信图序列的处理过程为：将第i-1特征图序列和第i-1置信图序列输入第i置信度块后，首先对第i-1特征图序列和第i-1置信图序列进行拼接处理，即进行通道维度的结合，再送入增强支路，进行特征增强，从而得到第i置信图序列和第i-1特征图序列。
步骤302B，将第M置信度块输出的第M置信图序列确定为置信图序列。
由于图像预处理网络中包含M个置信度块，且M个置信度块串联连接，对应的，图像预处理网络的输出即为第M置信度块的输出，即将第M置信度块输出的第M置信图序列确定为特征融合步骤所需的置信图序列。
步骤302C，将第M置信度块输出的第M特征图序列确定为特征图序列。
对应的，将第M置信度块输出的第M特征图序列确定为特征融合步骤所需的特征图序列。
如图4所示，其示出了本申请一个示例性实施例示出的图像预处理过程的示意图。以图像预处理网络中包含3个置信度块为例，将原始图像序列401和初始置信图序列402输入第一置信度块，得到第一置信度块输出的第一特征图序列403和第一置信图序列404，进而将第一特征图序列403和第一置信图序列404输入第二置信度块，得到第二置信度块输出的第二特征图序列405和第二置信图序列406，再输入第三置信度块，得到第三置信度块输出的第三特征图序列407和第三置信图序列408。
步骤303，从置信图序列中确定出目标原始图像帧对应的目标置信图，并从特征图序列中确定出目标原始图像帧对应的目标特征图。
由于本申请实施例是为了重建目标原始图像帧对应的高质量图像，因此，特征融合的目的应该是：保留目标原始图像帧对应的高清特征（置信度较高的图像特征），而对于目标原始图像帧所不具备的高清特征（置信度较低的图像特征），通过对相邻原始图像帧进行特征融合得到，因此，在特征融合过程中，从置信图序列中获取到目标原始图像帧对应的目标置信图，由该目标置信图为特征融合提供置信度引导依据；从特征图序列中获取到目标原始图像帧对应的目标特征图，由该目标特征图提供目标原始图像帧所原有的高质量图像特征。
步骤304，基于目标置信图和目标特征图，确定第一融合特征图。
在一种可能的实施方式中，为了保留目标原始图像帧中的高质量图像特征，通过目标置信图对目标特征图进行特征处理，由于目标置信图指示了目标原始图像帧中各个像素点的置信度，在进行特征处理过程中，根据各个像素点对应的置信度对各个像素特征进行特征处理，从而筛选出目标原始图像帧中置信度较高的图像特征，得到第一融合特征图。
步骤305，基于目标置信图对特征图序列进行特征融合，得到第二融合特征图。
由于目标融合特征图中的部分特征来源于相邻原始图像帧，因此，在进行特征融合过程中，也需要通过目标置信图对特征图序列进行特征融合，提取出特征融合所需要的冗余图像特征，即生成第二融合特征。
需要说明的是，在实际应用过程中，可以先执行步骤304再执行步骤305，也可以先执行步骤305再执行步骤304，或者步骤304和步骤305同时执行，本申请实施例对步骤304和步骤305的实施顺序不构成限定。
由连续画面组成的原始图像序列中相邻原始图像帧中往往包含相同背景和移动物体，相邻原始图像帧之间的差异往往仅是移动物体所在空间位置略有不同，因此，帧间信息相同的部分即为时间冗余信息，此外，同一原始图像帧中相邻各像素点的取值往往相近或相同，同样产生了空间冗余信息，该空间冗余信息和时间冗余信息是特征融合过程中所需要的，因此，融合相邻原始图像帧对应的图像特征的过程，即提取出各帧原始图像帧对应的冗余图像特征的过程。
在一个示例性的例子中，步骤305还可以包括步骤305A至步骤305C。
步骤305A，对特征图序列进行冗余特征提取和特征融合，得到第三融合特征图，第三融合特征图中融合有各帧原始图像帧对应的冗余图像特征。
在一种可能的实施方式中，通过对特征图序列进行卷积-重塑-卷积（Conv-Reshape-Conv）的操作，提取出原始图像序列中各帧原始图像帧的冗余图像特征，将各帧原始图像帧对应的冗余图像特征（冗余空间特征+冗余时间特征）融合生成第三融合特征图，以便用于后续生成目标原始图像帧对应的目标融合特征图。
步骤305B，基于目标置信图确定出目标反向置信图，其中，同一像素点在目标置信图和目标反向置信图中的置信度之和为1。
由于第一融合特征图已经保留了目标原始图像帧对应的高质量特征，而对于目标原始图像帧本身不具备的高质量特征，就需要从相邻原始图像帧中获取，对应的，在一种可能的实施方式中，为了可以从第三融合特征图中提取出这类像素点所对应的图像特征，首先需要对目标置信图进行处理，即将各个像素点对应的置信度和1进行相减计算，得到目标反向置信图，该目标反向置信图中置信度高的像素点即是需要从第三融合特征图中获取的高质量特征。
步骤305C，基于目标反向置信图和第三融合特征图，确定第二融合特征图。
基于目标反向置信图和目标置信图的关系，其中，目标原始图像帧中像素点在特征融合过程中置信度高的一类像素点在目标反向置信图中的置信度低，而目标原始图像帧中像素点在特征融合过程中置信度低的一类像素点在目标反向置信图中的置信度高，因此，在基于目标反向置信图对第三融合特征图进行特征处理的过程中，基于选取置信度高的图像特征的原理，可以得到目标原始图像帧所不具备的高质量图像特征。
步骤306，对第一融合特征图和第二融合特征图进行特征融合，得到目标融合特征图。
由于第一融合特征图保留了目标原始图像帧中的高置信度特征，对于目标原始图像帧中的低置信度特征，由融合有各帧原始图像帧对应时间冗余特征和空间冗余特征的第二融合特征图提供，因此，若需要获取到目标原始图像帧对应的目标融合特征图，仅需要对第一融合特征和第二融合特征进行特征融合即可。
在一个示例性的例子中，上述特征融合的过程可以由以下公式表示：
Figure DEST_PATH_IMAGE001
其中，
Figure DEST_PATH_IMAGE002
表示目标原始图像帧对应的目标融合特征图，Ft表示目标原始图像帧对应的目标特征图，Ct表示目标原始图像帧对应的目标置信图，
Figure DEST_PATH_IMAGE003
表示原始图像序列经过图像预处理后得到的特征图序列，1-Ct表示目标反向置信图，
Figure DEST_PATH_IMAGE004
表示对特征图序列进行卷积-重塑-卷积（Conv-Reshape-Conv）的操作，以提取出原始图像序列中的冗余图像特征。
如图5所示，其是本申请一个示例性实施例示出的特征融合的过程示意图。示意性的，由置信图引导的特征融合过程为：将特征图序列501（特征图序列501中包含2N+1帧特征图，每个特征图对应的通道数为C，特征图宽度为W，特征图高度为H）经过卷积-重塑-卷积操作，提取出各帧原始图像帧的冗余图像特征，生成第三融合特征图（图中未示出），基于目标反向置信图504对第三融合特征图进行特征处理，得到第二融合特征图505；通过目标置信图503（目标置信图的通道数为1）对目标特征图502进行特征处理，得到第一融合特征图506，再对第一融合特征图506和第二融合特征图505进行特征融合，即生成目标原始图像帧对应的目标融合特征图507。
步骤307，基于目标融合特征图重建目标原始图像帧，得到目标重建图像帧。
步骤307的实施方式可以参考步骤104，本实施例在此不做赘述。
本实施例中，通过M个置信度块对原始图像序列进行特征提取、特征增强和置信度估计，从而得到后续用于进行特征融合的特征图序列和置信图序列；通过在特征融合阶段引入目标原始图像帧对应的目标置信图，使得在特征融合过程中可以保留目标原始图像帧中高置信度的图像特征，而目标原始图像帧中低置信度的图像特征可以由相邻原始图像帧提供，使得特征融合得到的目标融合特征图可以具备更多高置信度的图像特征，进而提高图像重建结果的图像质量。
在一种可能的应用场景下，可以将上述图像处理方法应用于视频处理过程，比如，将一段低质量视频处理为高质量视频，示例性的，请参考图6，其示出了本申请另一个示例性实施例示出的图像处理方法的流程图，该方法包括如下步骤。
步骤601，从原始视频中提取出至少一组原始图像序列，不同原始图像序列中的目标原始图像帧对应原始视频中的不同时间戳。
原始视频也是由多帧图像帧构成，为了将低质量视频修复为高质量视频，可以将原始视频以时间戳拆分出不同原始图像序列，通过对每一个原始图像序列进行上文实施例所示的图像处理方法，得到各个原始图像序列中的目标原始图像帧对应的目标重建图像帧，再基于时间戳排列目标重建图像帧，即可以得到修复后的高质量视频。
其中，在对原始视频按照时间戳拆分不同原始图像序列时，原始图像序列中可以包含奇数个原始图像帧，也可以包含偶数个原始图像帧。
步骤602，对原始图像序列进行图像预处理，得到原始图像序列对应的特征图序列和置信图序列。
步骤603，基于置信图序列对特征图序列进行特征融合，得到原始图像序列中目标原始图像帧对应的目标融合特征图。
步骤604，基于目标融合特征图重建目标原始图像帧，得到目标重建图像帧。
可选的，在原始图像序列中包含偶数个原始图像帧的情况下，若目标原始图像帧包含两帧原始图像帧，则分别重建出两帧原始图像帧对应的目标重建图像帧。
步骤602至步骤604的实施方式可以参考上文实施例，本实施例在此不做赘述。
步骤605，基于各个原始图像序列对应的目标重建图像帧，以及各个目标重建图像帧对应目标原始图像帧的时间戳，生成目标视频。
在一种可能的实施方式中，当获取到各个原始图像序列中的目标原始图像帧对应的目标重建图像帧后，即可以按照目标原始图像帧在原始视频中的时间戳进行排序，从而生成高质量的目标视频。
本实施例中，通过对原始视频进行预处理，即针对不同时间戳拆分出不同原始图像序列，进而通过对各个原始图像序列进行上述图像处理方法，可以实现将低质量的原始视频修复为高质量的目标视频。
为了实现上文实施例中的图像预处理过程，需要预先搭建神经网络，并对神经网络进行监督训练，使得该神经网络可以具备准确估计各帧原始图像帧所对应置信图的功能，本实施例即着重描述图像预处理网络的训练过程。
请参考图7，其示出了本申请一个示例性实施例示出的图像处理方法的流程图，本实施例以该方法的执行主体是计算机设备为例进行示例性说明，该方法包括如下步骤。
步骤701，获取样本图像序列和参考图像序列，样本图像序列中包含至少三帧样本图像帧，参考图像序列是样本图像帧对应参考图像帧所构成的序列。
为了监督图像预处理网络的训练结果，需要预先准备样本图像序列和参考图像序列，其中，参考图像序列用于为图像预处理网络提供图像重建损失的计算依据。在一种可能的实施方式中，训练样本集中包含若干图像序列对，每一个图像序列对中包括样本图像序列和参考图像序列，其中，样本图像序列中可以包含奇数个样本图像帧，也可以包含偶数个样本图像帧；且参考图像序列中所包含参考图像帧的数量与样本图像序列中所包含样本图像帧的数量相同。
其中，训练过程中的参考图像帧可以是采用其他图像质量提升方法对样本图像序列进行图像处理得到的；可选的，也可以对高质量图像进行图像质量降低处理，得到样本图像序列，示意性的，对高清视频进行模糊处理，得到低质量视频，其中，从高清视频中提取出参考图像序列，从低质量视频中提取出对应的样本图像序列。本申请对样本图像序列和参考图像序列的获取方法不构成限定。
可选的，由于上文实施例中的图像处理方法可以应用于不同应用场景，图像超分辨率、图像去模糊、图像去雾、图像去雨、图像去雾霾等，为了提高不同应用场景下的图像处理质量，可以分别针对不同应用场景采用特定的训练样本，进而使得训练得到的图像处理模型可以在特定场景下执行图像处理功能，示意性的，对于图像去雾场景，所使用的训练样本集中的样本图像帧均是各种有雾情况下采集到的图像。
步骤702，通过图像预处理网络对样本图像序列进行图像预处理，得到样本图像序列对应的样本特征图序列和样本置信图序列，样本特征图序列是对各帧样本图像帧进行特征提取得到的，样本置信图序列中包含各帧样本图像帧对应的样本置信图，样本置信图用于表征样本图像帧中各个像素点在特征融合过程中的置信度。
与上文实施例中的图像处理方法的应用过程类似，在训练过程中，首先将样本图像序列输入图像预处理网络，由图像预处理网络进行特征提取和置信度估计，从而得到样本图像序列对应的样本特征图序列和样本置信图序列，用于后续进行特征层级上的特征融合过程。
步骤703，基于样本置信图序列对样本特征图序列进行特征融合，得到样本图像序列中目标样本图像帧对应的目标样本融合特征图。
其中，若样本图像序列中包含奇数个样本图像帧，则目标样本图像帧即样本图像序列中位于中心时刻的一帧样本图像帧，示意性的，若样本图像序列包含7帧样本图像帧，则第4帧样本图像帧即目标样本图像帧，即本实施例中的图像处理任务是通过7帧样本图像帧，重建出第4帧样本图像帧对应的高质量样本图像帧。可选的，若样本图像序列中包含偶数个样本图像帧，则目标样本图像帧可以是样本图像序列中位于中心时刻附近的两帧样本图像帧中的至少一帧，示意性的，若样本图像序列中包含8帧样本图像帧，则目标样本图像帧可以是第4帧样本图像帧，也可以是第5帧样本图像帧，或者是第4帧样本图像帧和第5帧样本图像帧。
在一种可能的实施方式中，当获取到图像预处理阶段得到的样本特征图序列和样本置信图序列后，由于样本置信图中所包含的置信度可以表征该像素点在特征融合过程中的置信度（可信度），对应的，由样本置信图在特征融合过程中基于各个置信度来引导样本特征图进行特征融合，比如，保留置信度高的样本图像特征，从而得到目标样本图像帧对应的目标样本融合特征图。
步骤704，基于目标样本融合特征图重建目标样本图像帧，得到样本重建图像帧。
在一种可能的实施方式中，当确定出目标样本图像帧对应的目标样本融合特征图后，可以基于该目标样本融合特征图进行图像重建，从而得到高质量的样本重建图像帧。
可选的，基于样本融合特征图进行特征重建的过程可以由重建网络执行，该重建网络可以采用EDVR（Video Restoration with Enhanced Deformable ConvolutionalNetworks，基于增强可变形卷积网络的视频恢复）算法中的重建网络，即由若干残差块对融合后的目标样本融合特征图进行重建，示意性的，重建网络可以包含60个残差块。
步骤705，基于目标参考图像帧和样本重建图像帧，训练图像预处理网络，目标参考图像帧是目标样本图像帧在参考图像序列中对应的参考图像帧。
在一种可能的实施方式中，通过比较目标参考图像帧和样本重建图像帧之间的差异（即图像重建损失），作为图像预处理网络的损失，并采用反向传播算法更新图像预处理网络中的各个参数，并在目标参考图像帧和样本重建图像帧所指示的图像重建损失最小时，停止训练图像预处理网络，即确定图像预处理网络训练完成。
综上所述，本申请实施例中，通过训练图像预处理网络，使得图像预处理网络可以具备准确提取图像特征以及准确估计图像置信度的功能，从而在应用过程中，通过在图像处理过程中引入原始图像帧对应的置信图，由于置信图可以表征原始图像帧中各个像素点在特征融合过程中的置信度，使得在特征融合过程中，可以参考各个像素点对应的置信度进行融合，比如，保留置信度高的像素点特征，对特征融合过程的特征进行像素级别的可信度监督，引导融合可信度高的图像特征，使得重建出的目标重建图像帧可以保留原始图像帧中的高清图像特征，从而提高了重建图像的图像质量。
由上文实施例可知，在多帧融合过程中，需要由目标置信图分别对目标特征图和特征图序列进行特征融合处理，进而基于处理结果融合得到最终的目标融合特征图。因此，与应用过程类似，在训练过程中也需要由目标样本图像帧对应的目标样本置信图分别对目标样本特征图和样本特征图序列进行特征融合处理。
请参考图8，其示出了本申请另一个示例性实施例示出的图像处理方法的流程图，该方法包括如下步骤。
步骤801，获取样本图像序列和参考图像序列，样本图像序列中包含至少三帧样本图像帧，参考图像序列是样本图像帧对应参考图像帧所构成的序列。
步骤801的实施方式可以参考上文实施例，本实施例在此不做赘述。
步骤802，将第i-1样本特征图序列和第i-1样本置信图序列输入第i置信度块，得到第i置信度块输出的第i样本特征图序列和第i样本置信图序列，i为小于M的正整数。
其中，图像预处理网络包含M个置信度块，M为正整数。
步骤803，将第M置信度块输出的第M样本置信图序列确定为样本置信图序列。
步骤804，将第M置信度块输出的第M样本特征图序列确定为样本特征图序列。
步骤805，从样本特征图序列中确定出目标样本图像帧对应的目标样本特征图，并从样本置信图序列中确定出目标样本图像帧对应的目标样本置信图。
步骤806，基于目标样本置信图和目标样本特征图，确定第一样本融合特征图。
步骤807，基于目标样本置信图对样本特征图序列进行特征融合，得到第二样本融合特征图。
在一个示例性的例子中，步骤807可以包括如下步骤。
一、对样本特征图序列进行冗余特征提取和特征融合，得到第三样本融合特征图，第三样本融合特征图中融合有各帧样本图像帧对应的冗余图像特征。
二、基于目标样本置信图确定出目标样本反向置信图，其中，同一像素点在目标样本置信图和目标样本反向置信图中的置信度之和为1。
三、基于目标样本反向置信图和第三样本融合特征图，确定第二样本融合特征图。
步骤808，对第一样本融合特征图和第二样本融合特征图进行特征融合，得到目标样本融合特征图。
本实施例中如何对样本图像序列进行图像预处理，以及如何基于样本置信图序列对样本特征图序列进行特征融合的过程，可以参考上文实施例中对原始图像序列进行图像预处理，以及如何基于置信图序列对特征图序列进行特征融合的过程，本实施例在此不做赘述。
步骤809，基于目标样本融合特征图重建目标样本图像帧，得到样本重建图像帧。
步骤810，基于目标参考图像帧和样本重建图像帧，训练图像预处理网络，目标参考图像帧是目标样本图像帧在参考图像序列中对应的参考图像帧。
步骤809和步骤810的实施方式可以参考上文实施例，本实施例在此不做赘述。
本实施例中，通过M个置信度块对样本图像序列进行特征提取、特征增强和置信度估计，从而得到后续用于进行特征融合的样本特征图序列和样本置信图序列；通过在特征融合阶段引入目标样本图像帧对应的目标样本置信图，使得在特征融合过程中可以保留目标样本图像帧中高置信度的图像特征，对于目标样本图像帧中低置信度的图像特征可以由相邻样本图像帧提供，使得特征融合得到的目标样本融合特征图可以具备更多高置信度的样本图像特征，进而提高图像重建结果的图像质量。
上文实施例仅以图像重建损失来监督训练图像预处理网络，为了实现在像素级别对网络训练进行监督，在图像预处理网络的损失计算过程中引入了置信度估计损失，在另一种可能的实施方式中，通过在图像预处理网络中基于每个置信度块输出的样本特征图序列和样本置信图序列进行图像预重建，得到样本重建图序列，进而基于样本重建图序列和参考图像序列，为图像预处理网络提供置信度估计损失的监督，进一步提高图像预处理网络的图像处理性能。
在图8的基础上，如图9所示，步骤802可以包括步骤901和步骤902，且步骤810可以包括步骤903至步骤905。
步骤901，对第i-1样本特征图序列和第i-1样本置信图序列进行拼接处理和特征增强，得到第i样本特征图序列和第i样本置信图序列。
在一种可能的实施方式中，第i-1置信度块的输出是第i置信度块的输入，即将第i-1置信度块输出的第i-1样本特征图序列和第i-1样本置信图序列输入第i置信度块中，对第i-1样本特征图序列和第i-1样本置信图序列进行拼接处理和特征增强处理，从而得到第i置信度块输出的第i样本特征图序列和第i样本置信图序列。
步骤902，对第i-1样本特征图序列和第i-1样本置信图序列进行拼接处理、特征增强和图像重建，得到第i样本重建图序列。
在一种可能的实施方式中，置信度块除了对样本图像序列进行特征提取、特征增强和置信度估计之外，为了在训练过程中可以监督置信度估计结果是否准确，在第i置信度块中，还通过对第i-1样本特征图序列和第i-1样本置信图序进行拼接处理、特征增强和图像重建，从而重建出各帧样本图像帧分别对应的样本重建图像，构成第i样本重建图序列。
需要说明的是，第i样本重建图序列仅用于损失计算过程，不参与后续特征融合过程和图像重建过程。
如图10所示，其是本申请一个示例性实施例示出的置信度块的示意图。将第i-1样本置信图序列1001和第i-1样本特征图序列1002输入第i置信度块1003，经过通道拼接和特征增强后，输出第i样本特征图序列1005，以及由置信度头输出第i样本置信图序列1004，并由重建头输出第i样本重建图序列1006。
步骤903，基于目标参考图像帧和样本重建图像帧，计算图像重建损失。
在一个示例性的例子中，本实施例中图像预处理网络的损失函数可以表示为：
Figure DEST_PATH_IMAGE005
其中，L为图像预处理网络的总损失函数，Ld表示图像预处理网络对应的图像重建损失，Lc表示图像预处理网络对应的置信度估计损失，
Figure DEST_PATH_IMAGE006
表示图像重建损失和置信度估计损失之间的权重。
对应的，在一种可能的实施方式中，在计算模型损失时，首先根据目标参考图像帧和样本重建图像帧，计算出图像重建损失，由图像级别对图像预处理网络进行监督。
步骤904，基于参考图像序列、各个第i样本重建图序列和各个第i样本置信图序列，计算置信度估计损失。
在一个示例性的例子中，置信度估计损失的计算公式可以表示为：
Figure DEST_PATH_IMAGE007
其中，Lc表示置信度估计损失，M表示置信度块的数量，2N+1表示各个图像序列中包含样本图像帧的个数；i表示置信度块的顺序，Jt+n表示参考图像序列中的各个参考图像帧，
Figure DEST_PATH_IMAGE008
标识样本重建图序列中各个样本重建图像，
Figure DEST_PATH_IMAGE009
表示样本置信图序列中的样本置信图，
Figure DEST_PATH_IMAGE010
表示权重。通过最小化置信度估计损失，可以使得各个置信度块的预处理结果（样本重建图像）更逼近于真实值（参考图像帧）。
需要说明的是，在计算置信度估计损失的过程中，为了更新每个置信度块的参数，需要计算每个置信度块的输出损失，即需要获取到各个置信度块输出的第i样本重建图序列和第i样本置信图序列，从而将M组样本重建图序列和M组样本置信图序列用于置信度损失计算过程中。
示意性的，若图像预处理网络包含三个置信度块，在进行置信度估计损失的计算过程中，需要获取到三个置信度块分别输出的样本置信图序列（即包含第一样本置信图序列、第二样本置信图序列和第三样本置信图序列），以及三个置信度块分别输出的样本重建图序列（即包含第一样本重建图序列、第二样本重建图序列以及第三样本重建图序列），进而基于三组样本重建图序列和三组样本置信图序列以及参考图序列，计算置信度估计损失。
步骤905，基于置信度估计损失和图像重建损失，训练图像预处理网络。
当计算得到置信度估计损失和图像重建损失后，可以基于上述两个损失之和训练图像预处理网络，直至置信度估计损失达到最小值后，图像预处理网络训练完成。
本实施例中，通过在模型损失中增加置信度估计损失，使得不仅可以在图像级别监督图像处理，还可以在像素级别监督图像处理过程，使得训练完成的图像预处理网络可以具备准确估计置信图的功能，从而进一步提高后续重建图像的图像质量。
请参考图11，其示出了本申请一个示例性实施例示出的完整图像处理过程的流程框架图。该流程包括如下步骤。
步骤1101，获取训练样本集。
该训练样本集由若干训练样本对构成，每个训练样本对均包含样本图像序列和参考图像序列。
步骤1102，搭建图像处理网络并训练图像处理网络。
该图像处理网络可以包含上文实施例中的图像预处理网络、图像特征融合网络（即特征融合过程也由神经网络执行）以及图像重建网络。
步骤1103，图像处理网络是否训练完成。
若图像处理网络训练完成，则进入步骤1105，得到由置信度引导的图像处理网络，否则进入步骤1102，继续训练图像处理网络。
步骤1104，将测试视频预处理为若干原始图像序列。
其中，不同原始图像序列的目标原始图像对应测试视频中的不同时间戳。
步骤1105，由置信度引导的图像处理网络。
步骤1106，基于各个原始图像序列对应的目标图像帧，生成目标视频。
以下为本申请的装置实施例，对于装置实施例中未详细描述的细节，可参考上述方法实施例。
图12是本申请一个示例性实施例提供的图像处理装置的结构框图。该装置可以包括：
第一获取模块1201，用于获取原始图像序列，所述原始图像序列中包含至少三帧原始图像帧；
第一处理模块1202，用于对所述原始图像序列进行图像预处理，得到所述原始图像序列对应的特征图序列和置信图序列，所述特征图序列是对各帧原始图像帧进行特征提取得到的，所述置信图序列中包含各帧原始图像帧对应的置信图，所述置信图用于表征所述原始图像帧中各个像素点在特征融合过程中的置信度；
第一特征融合模块1203，用于基于所述置信图序列对所述特征图序列进行特征融合，得到所述原始图像序列中目标原始图像帧对应的目标融合特征图；
第一图像重建模块1204，用于基于所述目标融合特征图重建所述目标原始图像帧，得到目标重建图像帧。
可选的，所述第一特征融合模块1203，包括：
第一确定单元，用于从所述置信图序列中确定出所述目标原始图像帧对应的目标置信图，并从所述特征图序列中确定出所述目标原始图像帧对应的目标特征图；
第二确定单元，用于基于所述目标置信图和所述目标特征图，确定第一融合特征图；
第一特征融合单元，用于基于所述目标置信图对所述特征图序列进行特征融合，得到第二融合特征图；
第二特征融合单元，用于对所述第一融合特征图和所述第二融合特征图进行特征融合，得到所述目标融合特征图。
可选的，所述第一特征融合单元，还用于：
对所述特征图序列进行冗余特征提取和特征融合，得到第三融合特征图，所述第三融合特征图中融合有各帧原始图像帧对应的冗余图像特征；
基于所述目标置信图确定出目标反向置信图，其中，同一像素点在所述目标置信图和所述目标反向置信图中的置信度之和为1；
基于所述目标反向置信图和所述第三融合特征图，确定所述第二融合特征图。
可选的，所述原始图像序列通过图像预处理网络进行图像预处理，且所述图像预处理网络中包含M个串联的置信度块，M为正整数；
所述第一处理模块1202，包括：
第一处理单元，用于通过M个所述置信度块对所述原始图像序列进行串行处理，得到所述特征图序列和所述置信图序列。
可选的，所述第一处理单元，还用于：
将第i-1特征图序列和第i-1置信图序列输入第i置信度块，得到所述第i置信度块输出的第i特征图序列和第i置信图序列，i为小于M的正整数；
将第M置信度块输出的第M置信图序列确定为所述置信图序列；
将所述第M置信度块输出的第M特征图序列确定为所述特征图序列。
可选的，所述第一处理单元，还用于：
对所述第i-1特征图序列和所述第i-1置信图序列进行拼接处理和特征增强，得到所述第i特征图序列和所述第i置信图序列。
可选的，所述第一获取模块1201，包括：
提取单元，用于从原始视频中提取出至少一组原始图像序列，不同原始图像序列中的目标原始图像帧对应所述原始视频中的不同时间戳；
所述装置还包括：
生成模块，用于基于各个所述原始图像序列对应的所述目标重建图像帧，以及各个所述目标重建图像帧对应目标原始图像帧的时间戳，生成目标视频。
综上所述，本申请实施例中，通过在图像处理过程中引入原始图像帧对应的置信图，由于置信图可以表征原始图像帧中各个像素点在特征融合过程中的置信度，使得在特征融合过程中，可以参考各个像素点对应的置信度进行融合，比如，保留置信度高的像素点特征，对特征融合过程的特征进行像素级别的可信度监督，引导融合可信度高的图像特征，使得重建出的目标重建图像帧可以保留原始图像帧中的高清图像特征，从而提高了重建图像的图像质量。
图13是本申请一个示例性实施例提供的图像处理装置的结构框图。所述装置包括：
第二获取模块1301，用于获取样本图像序列和参考图像序列，所述样本图像序列中包含至少三帧样本图像帧，所述参考图像序列是所述样本图像帧对应参考图像帧所构成的序列；
第二处理模块1302，用于通过图像预处理网络对所述样本图像序列进行图像预处理，得到所述样本图像序列对应的样本特征图序列和样本置信图序列，所述样本特征图序列是对各帧样本图像帧进行特征提取得到的，所述样本置信图序列中包含各帧样本图像帧对应的样本置信图，所述样本置信图用于表征所述样本图像帧中各个像素点在特征融合过程中的置信度；
第二特征融合模块1303，用于基于所述样本置信图序列对所述样本特征图序列进行特征融合，得到所述样本图像序列中目标样本图像帧对应的目标样本融合特征图；
第二图像重建模块1304，用于基于所述目标样本融合特征图重建所述目标样本图像帧，得到样本重建图像帧；
训练模块1305，用于基于目标参考图像帧和所述样本重建图像帧，训练所述图像预处理网络，所述目标参考图像帧是所述目标样本图像帧在所述参考图像序列中对应的参考图像帧。
可选的，所述第二特征融合模块1303，包括：
第三确定单元，用于从所述样本特征图序列中确定出所述目标样本图像帧对应的目标样本特征图，并从所述样本置信图序列中确定出所述目标样本图像帧对应的目标样本置信图；
第四确定单元，用于基于所述目标样本置信图和所述目标样本特征图，确定第一样本融合特征图；
第三特征融合单元，用于基于所述目标样本置信图对所述样本特征图序列进行特征融合，得到第二样本融合特征图；
第四特征融合单元，用于对所述第一样本融合特征图和所述第二样本融合特征图进行特征融合，得到所述目标样本融合特征图。
可选的，所述第三特征融合单元，还用于：
对所述样本特征图序列进行冗余特征提取和特征融合，得到第三样本融合特征图，所述第三样本融合特征图中融合有各帧样本图像帧对应的冗余图像特征；
基于所述目标样本置信图确定出目标样本反向置信图，其中，同一像素点在所述目标样本置信图和所述目标样本反向置信图中的置信度之和为1；
基于所述目标样本反向置信图和所述第三样本融合特征图，确定所述第二样本融合特征图。
可选的，所述图像预处理网络包含M个置信度块，M为正整数；
所述第二处理模块，包括：
第二处理单元，用于将第i-1样本特征图序列和第i-1样本置信图序列输入第i置信度块，得到所述第i置信度块输出的第i样本特征图序列和第i样本置信图序列，i为小于M的正整数；
第五确定单元，用于将第M置信度块输出的第M样本置信图序列确定为所述样本置信图序列；
第六确定单元，用于将所述第M置信度块输出的第M样本特征图序列确定为所述样本特征图序列。
可选的，所述第二处理单元，还用于：
对所述第i-1样本特征图序列和所述第i-1样本置信图序列进行拼接处理和特征增强，得到所述第i样本特征图序列和所述第i样本置信图序列；
对所述第i-1样本特征图序列和所述第i-1样本置信图序列进行拼接处理、特征增强和图像重建，得到第i样本重建图序列。
可选的，所述训练模块1305，包括：
第一计算单元，用于基于所述目标参考图像帧和所述样本重建图像帧，计算图像重建损失；
第二计算单元，用于基于所述参考图像序列、各个第i样本重建图序列和各个第i样本置信图序列，计算置信度估计损失；
训练单元，用于基于所述置信度估计损失和所述图像重建损失，训练所述图像预处理网络。
综上所述，本申请实施例中，通过训练图像预处理网络，使得图像预处理网络可以具备准确提取图像特征以及准确估计图像置信度的功能，从而在应用过程中，通过在图像处理过程中引入原始图像帧对应的置信图，由于置信图可以表征原始图像帧中各个像素点在特征融合过程中的置信度，使得在特征融合过程中，可以参考各个像素点对应的置信度进行融合，比如，保留置信度高的像素点特征，对特征融合过程的特征进行像素级别的可信度监督，引导融合可信度高的图像特征，使得重建出的目标重建图像帧可以保留原始图像帧中的高清图像特征，从而提高了重建图像的图像质量。
请参考图14，其示出了本申请一个实施例提供的计算机设备的结构示意图，该计算机设备可以用于实施上述实施例中提供的计算机设备执行的图像处理方法。所述计算机设备1400包括中央处理单元（CPU，Central Processing Unit）1401、包括随机存取存储器（RAM，Random Access Memory）1402和只读存储器（ROM，Read-Only Memory）1403的系统存储器1404，以及连接系统存储器1404和中央处理单元1401的系统总线1405。所述计算机设备1400还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统（I/O，Input/Output）1406，和用于存储操作系统1413、应用程序1414和其他程序模块1415的大容量存储设备1407。
所述基本输入/输出系统1406包括有用于显示信息的显示器1408和用于用户输入信息的诸如鼠标、键盘之类的输入设备1409。其中所述显示器1408和输入设备1409都通过连接到系统总线1405的输入/输出控制器1410连接到中央处理单元1401。所述基本输入/输出系统1406还可以包括输入/输出控制器1410以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入/输出控制器1410还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1407通过连接到系统总线1405的大容量存储控制器（未示出）连接到中央处理单元1401。所述大容量存储设备1407及其相关联的计算机可读介质为计算机设备1400提供非易失性存储。也就是说，所述大容量存储设备1407可以包括诸如硬盘或者CD-ROM（Compact Disc Read-Only Memory，只读光盘）驱动器之类的计算机可读介质（未示出）。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM（Erasable Programmable Read-Only Memory，可擦除可编程只读存储器）、EEPROM（Electrically Erasable Programmable Read-Only Memory，带电可擦除可编程只读存储器）、闪存或其他固态存储其技术，CD-ROM、DVD（Digital Video Disc，高密度数字视频光盘）或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1404和大容量存储设备1407可以统称为存储器。
根据本申请的各种实施例，所述计算机设备1400还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1400可以通过连接在所述系统总线1405上的网络接口单元1411连接到网络1412，或者说，也可以使用网络接口单元1411来连接到其他类型的网络或远程计算机系统（未示出）。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上中央处理单元1401执行。
本申请还提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述任意示例性实施例所提供的图像处理方法。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述可选实现方式中提供的图像处理方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (17)

1.一种图像处理方法，其特征在于，所述方法包括：
获取原始图像序列，所述原始图像序列中包含至少三帧原始图像帧；
对所述原始图像序列进行图像预处理，得到所述原始图像序列对应的特征图序列和置信图序列，所述特征图序列是对各帧原始图像帧进行特征提取得到的，所述置信图序列中包含各帧原始图像帧对应的置信图，所述置信图用于表征所述原始图像帧中各个像素点在特征融合过程中的置信度；
基于所述置信图序列对所述特征图序列进行特征融合，得到所述原始图像序列中目标原始图像帧对应的目标融合特征图；
基于所述目标融合特征图重建所述目标原始图像帧，得到目标重建图像帧。
2.根据权利要求1所述的方法，其特征在于，所述基于所述置信图序列对所述特征图序列进行特征融合，得到所述原始图像序列中目标原始图像帧对应的目标融合特征图，包括：
从所述置信图序列中确定出所述目标原始图像帧对应的目标置信图，并从所述特征图序列中确定出所述目标原始图像帧对应的目标特征图；
基于所述目标置信图和所述目标特征图，确定第一融合特征图；
基于所述目标置信图对所述特征图序列进行特征融合，得到第二融合特征图；
对所述第一融合特征图和所述第二融合特征图进行特征融合，得到所述目标融合特征图。
3.根据权利要求2所述的方法，其特征在于，所述基于所述目标置信图对所述特征图序列进行特征融合，得到第二融合特征图，包括：
对所述特征图序列进行冗余特征提取和特征融合，得到第三融合特征图，所述第三融合特征图中融合有各帧原始图像帧对应的冗余图像特征；
基于所述目标置信图确定出目标反向置信图，其中，同一像素点在所述目标置信图和所述目标反向置信图中的置信度之和为1；
基于所述目标反向置信图和所述第三融合特征图，确定所述第二融合特征图。
4.根据权利要求1至3任一所述的方法，其特征在于，所述原始图像序列通过图像预处理网络进行图像预处理，且所述图像预处理网络中包含M个串联的置信度块，M为正整数；
所述对所述原始图像序列进行图像预处理，得到所述原始图像序列对应的特征图序列和置信图序列，包括：
通过M个所述置信度块对所述原始图像序列进行串行处理，得到所述特征图序列和所述置信图序列。
5.根据权利要求4所述的方法，其特征在于，所述通过M个所述置信度块对所述原始图像序列进行串行处理，得到所述特征图序列和所述置信图序列，包括：
将第i-1特征图序列和第i-1置信图序列输入第i置信度块，得到所述第i置信度块输出的第i特征图序列和第i置信图序列，i为小于M的正整数；
将第M置信度块输出的第M置信图序列确定为所述置信图序列；
将所述第M置信度块输出的第M特征图序列确定为所述特征图序列。
6.根据权利要求5所述的方法，其特征在于，所述将第i-1特征图序列和第i-1置信图序列输入第i置信度块，得到所述第i置信度块输出的第i特征图序列和第i置信图序列，包括：
对所述第i-1特征图序列和所述第i-1置信图序列进行拼接处理和特征增强，得到所述第i特征图序列和所述第i置信图序列。
7.根据权利要求1至3任一所述的方法，其特征在于，所述获取原始图像序列，包括：
从原始视频中提取出至少一组原始图像序列，不同原始图像序列中的目标原始图像帧对应所述原始视频中的不同时间戳；
所述基于所述目标融合特征图重建所述目标原始图像帧，得到目标重建图像帧之后，所述方法还包括：
基于各个所述原始图像序列对应的所述目标重建图像帧，以及各个所述目标重建图像帧对应目标原始图像帧的时间戳，生成目标视频。
8.一种图像处理方法，其特征在于，所述方法包括：
获取样本图像序列和参考图像序列，所述样本图像序列中包含至少三帧样本图像帧，所述参考图像序列是所述样本图像帧对应参考图像帧所构成的序列；
通过图像预处理网络对所述样本图像序列进行图像预处理，得到所述样本图像序列对应的样本特征图序列和样本置信图序列，所述样本特征图序列是对各帧样本图像帧进行特征提取得到的，所述样本置信图序列中包含各帧样本图像帧对应的样本置信图，所述样本置信图用于表征所述样本图像帧中各个像素点在特征融合过程中的置信度；
基于所述样本置信图序列对所述样本特征图序列进行特征融合，得到所述样本图像序列中目标样本图像帧对应的目标样本融合特征图；
基于所述目标样本融合特征图重建所述目标样本图像帧，得到样本重建图像帧；
基于目标参考图像帧和所述样本重建图像帧，训练所述图像预处理网络，所述目标参考图像帧是所述目标样本图像帧在所述参考图像序列中对应的参考图像帧。
9.根据权利要求8所述的方法，其特征在于，所述基于所述样本置信图序列对所述样本特征图序列进行特征融合，得到所述样本图像序列中目标样本图像帧对应的目标样本融合特征图，包括：
从所述样本特征图序列中确定出所述目标样本图像帧对应的目标样本特征图，并从所述样本置信图序列中确定出所述目标样本图像帧对应的目标样本置信图；
基于所述目标样本置信图和所述目标样本特征图，确定第一样本融合特征图；
基于所述目标样本置信图对所述样本特征图序列进行特征融合，得到第二样本融合特征图；
对所述第一样本融合特征图和所述第二样本融合特征图进行特征融合，得到所述目标样本融合特征图。
10.根据权利要求9所述的方法，其特征在于，所述基于所述目标样本置信图对所述样本特征图序列进行特征融合，得到第二样本融合特征图，包括：
对所述样本特征图序列进行冗余特征提取和特征融合，得到第三样本融合特征图，所述第三样本融合特征图中融合有各帧样本图像帧对应的冗余图像特征；
基于所述目标样本置信图确定出目标样本反向置信图，其中，同一像素点在所述目标样本置信图和所述目标样本反向置信图中的置信度之和为1；
基于所述目标样本反向置信图和所述第三样本融合特征图，确定所述第二样本融合特征图。
11.根据权利要求8至10任一所述的方法，其特征在于，所述图像预处理网络包含M个置信度块，M为正整数；
所述通过图像预处理网络对所述样本图像序列进行图像预处理，得到所述样本图像序列对应的样本特征图序列和样本置信图序列，包括：
将第i-1样本特征图序列和第i-1样本置信图序列输入第i置信度块，得到所述第i置信度块输出的第i样本特征图序列和第i样本置信图序列，i为小于M的正整数；
将第M置信度块输出的第M样本置信图序列确定为所述样本置信图序列；
将所述第M置信度块输出的第M样本特征图序列确定为所述样本特征图序列。
12.根据权利要求11所述的方法，其特征在于，所述将第i-1样本特征图序列和第i-1样本置信图序列输入第i置信度块，得到所述第i置信度块输出的第i样本特征图序列和第i样本置信图序列，包括：
对所述第i-1样本特征图序列和所述第i-1样本置信图序列进行拼接处理和特征增强，得到所述第i样本特征图序列和所述第i样本置信图序列；
对所述第i-1样本特征图序列和所述第i-1样本置信图序列进行拼接处理、特征增强和图像重建，得到第i样本重建图序列。
13.根据权利要求12所述的方法，其特征在于，所述基于目标参考图像帧和所述样本重建图像帧，训练所述图像预处理网络，包括：
基于所述目标参考图像帧和所述样本重建图像帧，计算图像重建损失；
基于所述参考图像序列、各个第i样本重建图序列和各个第i样本置信图序列，计算置信度估计损失；
基于所述置信度估计损失和所述图像重建损失，训练所述图像预处理网络。
14.一种图像处理装置，其特征在于，所述装置包括：
第一获取模块，用于获取原始图像序列，所述原始图像序列中包含至少三帧原始图像帧；
第一处理模块，用于对所述原始图像序列进行图像预处理，得到所述原始图像序列对应的特征图序列和置信图序列，所述特征图序列是对各帧原始图像帧进行特征提取得到的，所述置信图序列中包含各帧原始图像帧对应的置信图，所述置信图用于表征所述原始图像帧中各个像素点在特征融合过程中的置信度；
第一特征融合模块，用于基于所述置信图序列对所述特征图序列进行特征融合，得到所述原始图像序列中目标原始图像帧对应的目标融合特征图；
第一图像重建模块，用于基于所述目标融合特征图重建所述目标原始图像帧，得到目标重建图像帧。
15.一种图像处理装置，其特征在于，所述装置包括：
第二获取模块，用于获取样本图像序列和参考图像序列，所述样本图像序列中包含至少三帧样本图像帧，所述参考图像序列是所述样本图像帧对应参考图像帧所构成的序列；
第二处理模块，用于通过图像预处理网络对所述样本图像序列进行图像预处理，得到所述样本图像序列对应的样本特征图序列和样本置信图序列，所述样本特征图序列是对各帧样本图像帧进行特征提取得到的，所述样本置信图序列中包含各帧样本图像帧对应的样本置信图，所述样本置信图用于表征所述样本图像帧中各个像素点在特征融合过程中的置信度；
第二特征融合模块，用于基于所述样本置信图序列对所述样本特征图序列进行特征融合，得到所述样本图像序列中目标样本图像帧对应的目标样本融合特征图；
第二图像重建模块，用于基于所述目标样本融合特征图重建所述目标样本图像帧，得到样本重建图像帧；
训练模块，用于基于目标参考图像帧和所述样本重建图像帧，训练所述图像预处理网络，所述目标参考图像帧是所述目标样本图像帧在所述参考图像序列中对应的参考图像帧。
16.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至7任一所述的图像处理方法，或，实现如权利要求8至13任一所述的图像处理方法。
17.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至7任一所述的图像处理方法，或实现如权利要求8至13任一所述的图像处理方法。
CN202110551653.9A 2021-05-20 2021-05-20 图像处理方法、装置、计算机设备及存储介质 Active CN112990171B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110551653.9A CN112990171B (zh) 2021-05-20 2021-05-20 图像处理方法、装置、计算机设备及存储介质
PCT/CN2022/090153 WO2022242448A1 (zh) 2021-05-20 2022-04-29 图像处理方法、装置、计算机设备、程序及存储介质
US18/070,305 US20230098548A1 (en) 2021-05-20 2022-11-28 Image processing method and apparatus, computer device, program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110551653.9A CN112990171B (zh) 2021-05-20 2021-05-20 图像处理方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112990171A true CN112990171A (zh) 2021-06-18
CN112990171B CN112990171B (zh) 2021-08-06

Family

ID=76337151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110551653.9A Active CN112990171B (zh) 2021-05-20 2021-05-20 图像处理方法、装置、计算机设备及存储介质

Country Status (3)

Country Link
US (1) US20230098548A1 (zh)
CN (1) CN112990171B (zh)
WO (1) WO2022242448A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019092A (zh) * 2022-06-02 2022-09-06 深圳市华汉伟业科技有限公司 一种基于伪彩色图的分类网络辅助分析方法及装置
WO2022242448A1 (zh) * 2021-05-20 2022-11-24 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备、程序及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427927A (zh) * 2018-03-16 2018-08-21 深圳市商汤科技有限公司 目标再识别方法和装置、电子设备、程序和存储介质
CN110111351A (zh) * 2019-05-10 2019-08-09 电子科技大学 融合rgbd多模态信息的行人轮廓跟踪方法
CN111080593A (zh) * 2019-12-07 2020-04-28 上海联影智能医疗科技有限公司 一种图像处理装置、方法及存储介质
CN111340694A (zh) * 2020-02-07 2020-06-26 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
US20200327646A1 (en) * 2017-12-29 2020-10-15 Flir Systems, Inc. Point cloud denoising systems and methods

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060291750A1 (en) * 2004-12-16 2006-12-28 Peyman Milanfar Dynamic reconstruction of high resolution video from low-resolution color-filtered video (video-to-video super-resolution)
CN104240186B (zh) * 2013-06-14 2018-01-23 北京千里时空科技有限公司 一种单帧视频图像清晰度提高的方法
CN110070511B (zh) * 2019-04-30 2022-01-28 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
CN111047516B (zh) * 2020-03-12 2020-07-03 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN111639719B (zh) * 2020-06-08 2023-04-07 安徽大学 基于时空运动和特征融合的足迹图像检索方法
US20200402243A1 (en) * 2020-09-03 2020-12-24 Intel Corporation Video background estimation using spatio-temporal models
CN112990171B (zh) * 2021-05-20 2021-08-06 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200327646A1 (en) * 2017-12-29 2020-10-15 Flir Systems, Inc. Point cloud denoising systems and methods
CN108427927A (zh) * 2018-03-16 2018-08-21 深圳市商汤科技有限公司 目标再识别方法和装置、电子设备、程序和存储介质
CN110111351A (zh) * 2019-05-10 2019-08-09 电子科技大学 融合rgbd多模态信息的行人轮廓跟踪方法
CN111080593A (zh) * 2019-12-07 2020-04-28 上海联影智能医疗科技有限公司 一种图像处理装置、方法及存储介质
CN111340694A (zh) * 2020-02-07 2020-06-26 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《ARXIV:2004.02432V2 [CS.CV]》: "Deep Space-Time Video Upsampling Networks", 《ARXIV:2004.02432V2 [CS.CV]》 *
XINTAO WANG 等: "EDVR: Video Restoration with Enhanced Deformable Convolutional Networks", 《IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022242448A1 (zh) * 2021-05-20 2022-11-24 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备、程序及存储介质
CN115019092A (zh) * 2022-06-02 2022-09-06 深圳市华汉伟业科技有限公司 一种基于伪彩色图的分类网络辅助分析方法及装置

Also Published As

Publication number Publication date
CN112990171B (zh) 2021-08-06
US20230098548A1 (en) 2023-03-30
WO2022242448A1 (zh) 2022-11-24

Similar Documents

Publication Publication Date Title
CN112990171B (zh) 图像处理方法、装置、计算机设备及存储介质
CN110807757B (zh) 基于人工智能的图像质量评估方法、装置及计算机设备
CN112767468A (zh) 基于协同分割与数据增强的自监督三维重建方法及系统
CN113538480A (zh) 图像分割处理方法、装置、计算机设备和存储介质
CN114339409B (zh) 视频处理方法、装置、计算机设备及存储介质
CN112818955B (zh) 一种图像分割方法、装置、计算机设备以及存储介质
CN113269722A (zh) 生成对抗网络的训练方法、及高分辨率图像重建方法
CN112200732B (zh) 一种清晰特征融合的视频去模糊方法
CN111028166A (zh) 一种基于迭代神经网络的视频去模糊方法
CN114463218A (zh) 一种基于事件数据驱动的视频去模糊方法
CN116485741A (zh) 一种无参考图像质量评价方法、系统、电子设备及存储介质
CN112802076A (zh) 反射图像生成模型及反射去除模型的训练方法
CN110570375A (zh) 一种图像处理方法、装置、电子设置以及存储介质
CN112489103B (zh) 一种高分辨率深度图获取方法及系统
CN113888426A (zh) 一种基于深度可分离残差网络的电力监控视频去模糊方法
CN113538658A (zh) 一种基于深度修复的室内场景三维重构方法及系统
CN108460768B (zh) 层次化时域切分的视频关注对象分割方法和装置
CN111126166A (zh) 一种遥感影像道路提取方法及系统
CN112801912B (zh) 一种人脸图像复原方法、系统、装置及存储介质
CN111597847A (zh) 一种二维码识别方法、装置、设备及可读存储介质
CN112529815B (zh) 一种雨后真实图像中雨滴去除方法及系统
CN113973175A (zh) 一种快速的hdr视频重建方法
CN114140363B (zh) 视频去模糊方法及装置、视频去模糊模型训练方法及装置
Demirbilek et al. Check for updates Ghost-Free High Dynamic Range Imaging Based on Two-Stage Dense Image Alignment
CN114549334A (zh) 基于雨线特征重构的多维聚合网络的图像去雨方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40046455

Country of ref document: HK