CN116263943A - 图像修复方法和设备以及电子装置 - Google Patents

图像修复方法和设备以及电子装置 Download PDF

Info

Publication number
CN116263943A
CN116263943A CN202210730538.2A CN202210730538A CN116263943A CN 116263943 A CN116263943 A CN 116263943A CN 202210730538 A CN202210730538 A CN 202210730538A CN 116263943 A CN116263943 A CN 116263943A
Authority
CN
China
Prior art keywords
image
motion
feature representation
vector
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210730538.2A
Other languages
English (en)
Inventor
崔在硕
曺敏铢
金相贤
李钟旼
权基南
徐健锡
李炯旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Academy Industry Foundation of POSTECH
Original Assignee
Samsung Electronics Co Ltd
Academy Industry Foundation of POSTECH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd, Academy Industry Foundation of POSTECH filed Critical Samsung Electronics Co Ltd
Publication of CN116263943A publication Critical patent/CN116263943A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

公开图像修复方法和设备以及电子装置。所述方法包括：通过对突发图像集的单独图像进行编码，生成与单独图像对应的多个特征表示；从所述多个特征表示之中确定参考特征表示；确定包括参考特征表示和所述多个特征表示中的第一特征表示的第一比较对；基于参考特征表示与第一特征表示的相似性分数图，生成第一比较对的第一运动嵌入特征表示；通过将包括第一运动嵌入特征表示的多个运动嵌入特征表示进行融合生成融合结果；以及通过解码融合结果生成至少一个修复图像。

Description

图像修复方法和设备以及电子装置
本申请要求于2021年12月15日提交到韩国知识产权局的第10-2021-0179711号韩国专利申请的权益，该韩国专利申请的全部公开出于所有目的通过引用包含于此。
技术领域
下面的描述涉及用于基于突发图像的图像修复的方法和设备。
背景技术
图像修复表示用于将劣化的质量的图像修复为提高的质量的图像的技术。图像修复可使用基于深度学习的神经网络而被执行。神经网络可基于深度学习而被训练，然后通过映射彼此处于非线性关系下的输入数据和输出数据来执行针对期望的目标的推断。将被训练为生成这样的映射的能力可被称为神经网络的学习能力。此外，针对特定目的(诸如，图像修复)训练的神经网络可具有用于响应于还未被训练的输入模式来生成相对准确的输出的泛化能力。
发明内容
本发明内容被提供从而以简要的形式介绍在以下具体实施方式中进一步描述的构思的选择。本发明内容不意在确定要求保护的主题的关键特征或必要特征，也不意在用于帮助确定要求保护的主题的范围。
在一个总体方面，一种处理器实现的图像修复方法，包括：通过编码单独图像生成与突发图像集的单独图像对应的多个特征表示；从所述多个特征表示之中确定参考特征表示；确定包括参考特征表示和所述多个特征表示中的第一特征表示的第一比较对；基于参考特征表示与第一特征表示的相似性分数图生成第一比较对的第一运动嵌入特征表示；通过将包括第一运动嵌入特征表示的多个运动嵌入特征表示进行融合生成融合结果；以及通过解码融合结果生成至少一个修复图像。
第一运动嵌入特征表示的生成可包括：确定参考特征向量的第一点的第一特征向量，和在第一特征向量中的第一点的对应点居中的第一感兴趣的块；基于第一特征向量与第一感兴趣的块的通道向量之间的相似性生成与第一点对应的第一相似性分数图；基于第一相似性分数图生成与第一点对应的第一运动感知内核；基于第一感兴趣的块与第一运动感知内核之间的运算生成与第一点对应的第一运动嵌入向量；以及基于包括第一运动嵌入向量的运动嵌入向量生成第一运动嵌入特征表示。
第一运动嵌入特征表示的生成可包括：确定参考特征表示的第二点的第二特征向量，和在第一特征表示中的第二点的对应点居中的第二感兴趣的块；以及基于第二感兴趣的块生成与第二点对应的第二运动嵌入向量，其中，第一运动嵌入特征表示的生成包括：基于包括第一运动嵌入向量和第二运动嵌入向量的运动嵌入向量生成第一运动嵌入特征表示。
第一运动感知内核的生成可包括：确定与第一相似性分数图对应的第一运动信息向量；基于第一感兴趣的块与第一相似性分数图之间的运算生成第一上下文信息向量；以及通过将第一运动信息向量和第一上下文信息向量进行融合生成第一运动感知内核。
通过将第一运动信息向量和第一上下文信息向量进行融合的第一运动感知内核的生成可包括：使用第一全连接网络生成与第一运动信息向量对应的第一通道向量；使用第二全连接网络生成与第一上下文信息向量对应的第二通道向量；以及通过将第一通道向量和第二通道向量进行融合生成第一运动感知内核。
特征表示的生成可包括：使用包括至少一个卷积层的编码模型编码单独图像，以及至少一个修复图像的生成可包括：使用包括至少一个上卷积层的解码模型解码融合结果。
处理器实现的图像修复方法可包括：从单独图像之中选择固定图像，并且参考特征表示的确定可包括：从将是参考特征表示的特征表示之中确定固定图像的特征表示。
固定图像的选择可包括：基于质量从单独图像之中选择固定图像。
单独图像可包括第一单独图像和第二单独图像，并且所述至少一个修复图像可包括第一单独图像的第一修复图像和第二单独图像的第二修复图像，参考特征表示的确定可包括：在将第一单独图像修复为第一修复图像的情况下，从将是参考特征表示的特征表示之中确定第一单独图像的特征表示，以及在将第二单独图像修复为第二修复图像的情况下，从将是参考特征表示的特征表示之中确定第二单独图像的特征表示。
一种存储指令的非暂时性计算机可读存储介质，当由处理器执行时，可导致处理器执行图像修复方法。
在另一个一般的方面中，一种图像修复设备，包括：处理器，以及存储器，被配置为存储可由处理器执行的指令，其中，响应于指令由处理器执行，处理器被配置为：通过编码单独图像生成与突发图像集的单独图像对应的多个特征表示，从所述多个特征表示之中确定参考特征表示，确定包括参考特征表示和所述多个特征表示中的第一特征表示的第一比较对，基于参考特征表示与第一特征表示的相似性分数图生成第一比较对的第一运动嵌入特征表示，通过将包括第一运动嵌入特征表示的多个嵌入特征表示进行融合生成融合结果，以及通过解码融合结果生成至少一个修复图像。
在另一个一般的方面中，一种电子装置，包括：照相机，被配置为生成包括单独图像的突发图像集；以及处理器，被配置为：通过编码单独图像生成与单独图像对应的多个特征表示，从所述多个特征表示之中确定参考特征表示，确定包括参考特征表示的第一比较对和所述多个特征表示的第一特征表示，基于参考特征表示与第一特征表示的相似性分数图生成第一比较对的第一运动嵌入特征表示，通过将包括第一运动嵌入特征表示的多个运动嵌入特征表示进行融合生成融合结果，以及通过解码融合结果生成至少一个修复图像。
在另一个一般的方面中，一种电子装置，包括：一个或多个处理器，被配置为：获取包括在突发图像集中的单独图像；计算单独图像之间的相关性以生成内核；通过使用内核将卷积运算施加到单独图像生成特征表示；以及基于特征表示增强单独图像并且输出包括增强的单独图像的增强的突发图像集。
其他特征和方面将根据下面的具体实施方式、附图和权利要求而清楚。
附图说明
图1示出图像修复设备的操作的示例。
图2示出将输入图像编码为特征表示的示例。
图3示出生成特征表示的运动嵌入特征表示并将运动嵌入特征表示进行融合的示例。
图4示出生成运动嵌入特征表示的示例。
图5示出将运动信息向量和上下文信息向量进行融合的示例。
图6示出将特征表示解码为修复图像的示例。
图7示出数据流的示例。
图8示出图像修复方法的示例。
图9示出图像修复设备的配置的示例。
图10示出电子装置的配置的示例。
除非另外描述或提供，否则贯穿附图和具体实施方式，相同的附图参考标号将被理解为表示相同元件、特征和结构。附图可不按比例绘制，并且为了清楚、说明和方便，附图中的元件的相对尺寸、比例和描绘将可被夸大。
具体实施方式
下面的详细结构或功能描述仅作为示例被提供，并且可对示例进行各种变更和修改。这里，示例不被解释为限制公开，并应该被理解以包括公开的想法和技术范围内的所有改变、等同物和替代物。
术语(诸如，第一和第二等)可在此用于描述组件。这些术语中的每个不用于定义对应组件的本质、顺序或次序，而仅用于将对应组件与一个或多个其他组件区分开。例如，第一组件可被称为第二组件，并且相似地，第二组件也可被称为第一组件。
应注意，如果描述了一个组件“连接”、“结合”或“接合”到另一个组件，则虽然第一组件可直接连接、结合或接合到第二组件，但是第三组件可“连接”、“结合”或“接合”在第一组件与第二组件之间。
除非上下文另外清楚地指示，否则单数形式也意在包括复数形式。还将理解，术语“包括”和/或“包含”当在此使用时，指定存在叙述的特征、整数、步骤、操作、元件和/或组件的存在，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的总体。
除非另外定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。除非在此明确的如此定义，否则术语(诸如，在通用字典中定义的术语)将被解释为具有与它们在相关领域的上下文中的含义一致的含义，并且将不被以理想化或过于形式化的含义解释。
在下文中，示例将参照附图被详细描述。当参照附图描述示例时，表示相似组件的相似参考数字和涉及组件的重复描述将被省略。
图1示出图像修复设备的操作的示例。参照图1，图像修复设备100可接收突发图像集101，基于突发图像集101生成修复图像102，并输出修复图像102。突发图像集101可由相机(例如，图10的相机1030)生成。突发图像集101可包括连续拍摄的多个图像。例如，突发图像集101可以是通过视频录制功能生成的视频图像或通过连拍(burst shooting)功能生成的连续静态图像。突发图像集101的多个图像可被称为单独图像(individual images)。例如，突发图像集101可包括N个单独图像。在视频的情况下，每个图像帧可对应于单独图像，并且在连拍图像的情况下，每个静态图像可对应于单独图像。
假设突发图像集101通过使用相机拍摄目标对象而生成，突发图像集101的单独图像可由于相机和/或目标对象的运动、和/或环境光(例如，照度、颜色等)的改变而具有各种不同的特性。当突发图像集101在差的环境(诸如，低照度环境)中被拍摄、和/或突发图像集101的单独图像具有劣化的质量时，具有提高的质量的修复图像102可通过适当地组合各种特性的单独图像而被得到。因此，高质量修复图像102可通过单独低质量图像上的修复任务而被得到。
在突发图像集101被生成时，相机和/或目标对象可运动，并且突发图像集101的单独图像可包括由于这样的运动导致的退化。图像修复设备100可考虑这样的运动来执行图像修复。由于突发图像集101在相对短的时间内被连续生成的特性，由运动导致的图像像素的改变的区域可被限制。如在下面再次描述的，图像修复设备100可通过使用有限尺寸的相似性分数图来提高运动分析所需的计算效率。
图像修复设备100可通过基于突发图像集101的单独图像执行编码来生成与单独图像对应的特征表示，通过执行特征表示之间的信息交换来生成运动嵌入特征表示，并通过基于运动嵌入特征表示执行解码来生成修复图像102。图像修复设备100可使用编码模型110、信息交换模型120和解码模型130来执行一系列操作。
编码模型110、信息交换模型120和解码模型130中的任何一个或任何组合可以是神经网络模型。神经网络可对应于包括多个层的深度神经网络(DNN)。在这种情况下，多个层可包括输入层、至少一个隐藏层和输出层。
DNN可包括全连接网络(FCN)、卷积神经网络(CNN)和循环神经网络(RNN)中的至少一个。例如，包括在神经网络中的多个层的至少一部分可对应于CNN，并且多个层的另一部分可对应于FCN。在这种情况下，CNN可被称为卷积层，并且FCN可被称为全连接层。
在CNN的情况下，输入到每个层的数据可被称为输入特征图，从每个层输出的数据可被成为输出特征图。输入特征图和输出特征图可被称为特征表示或激活数据。当卷积层对应于输入层时，输入层的输入特征图可以是输入图像。
神经网络可基于深度学习而被训练，然后通过映射彼此之间处于非线性关系的输入数据和输出数据来执行针对训练的目的的推断。深度学习是用于解决问题(诸如，从大数据集进行的图像或语音识别)的深度学习技术。在使用准备好的训练数据训练神经网络时，深度学习可被解释为在使用准备的训练数据来训练神经网络时寻找能量最小化的点的最优化问题解决处理。
通过深度学习的有监督或无监督学习，与模型对应的神经网络的结构或权重可被获得，并且输入数据和输出数据可通过权重被彼此映射。如果神经网络的宽度和深度足够大，神经网络可具有足以实现预定功能的能力。当通过适当的训练处理而学习了足够大量的训练数据时，神经网络可达到最优性能。
神经网络可被表示为被预先训练，其中，“预先”意思是在神经网络开始“之前”，神经网络“开始”意思是神经网络准备好用于推断。例如，神经网络“开始”可包括神经网络被加载到存储器中，或用于推算的输入数据在神经网络被加载到存储器中之后被输入到神经网络中。
图像修复设备100可使用运动信息来执行神经网络模型。图像修复设备100可通过执行单独图像的特征表示之间的信息交换来生成运动嵌入特征表示。信息交换可通过信息交换模型120的运动感知模型而被执行。图像修复设备100可基于单独图像的特征表示之间的相似性分数图来执行信息交换。运动嵌入特征表示可包括根据相机和/或目标对象的运动的单独图像的运动信息。图像修复设备100可通过考虑这样的运动信息执行图像修复来提高修复图像102的质量。由于突发图像集101在相对短的时间内被连续生成的特性，所以由运动导致的图像像素的改变的区域可被限制。因此，图像修复设备100可通过使用有限尺寸的相似性分数图来高效地使用运动信息。
图2示出将输入图像编码为特征表示的示例。参照图2，图像修复设备可通过对单独图像201进行编码来生成特征表示220。单独图像201可使用编码模型被编码。当单独图像201被编码时，单独图像201可经过各种神经网络层(例如，至少一个卷积层)。
例如，编码模型的第一层和第二层可各自对应于卷积层。第一层可通过根据单独图像201执行卷积运算来生成第一中间特征表示211，第二层可通过根据第一中间特征表示211执行卷积运算来生成第二中间特征表示212。第三层可对应于池化层。第三层可通过根据第二中间特征表示212执行池化操作来生成第三中间特征表示213。接下来的层可对中间特征表示213至219交替地执行卷积运算和池化操作，结果，特征表示220可被生成。
在下文中，数据的尺寸(或称为大小)可以以高×宽×通道的数量的形式被表示。例如，单独图像201的尺寸可以是H×W×4。中间特征表示211和212的通道尺寸可以是32，中间特征表示213和214的通道尺寸可以是64。中间特征表示215和216的通道尺寸可以是128，中间特征表示217和218的通道尺寸可以是256。中间特征表示219的尺寸和中间特征表示220的尺寸可以是H'×W'×512。然而，编码模型的以上层布置和数据尺寸仅是示例，其他各种层布置和数据尺寸可被使用。编码模型可对突发图像集的单独图像被迭代地执行，据此与单独图像对应的特征表示可被生成。
图3示出生成特征表示的运动嵌入特征表示并将运动嵌入特征表示进行融合的示例。参照图3，图像修复设备可从特征表示I1至IN之中确定参考特征表示IR，并确定分别包括参考特征表示IR和特征表示I1至IN中的一个特征表示的比较对。参考特征表示IR的尺寸和特征表示I1至IN的尺寸可以是H'×W'×c。突发图像集中的单独图像的数量、特征表示I1至IN的数量、和比较对的数量可全部是“N”。例如，第一比较对可包括参考特征表示IR和第一特征表示I1，第二比较对可包括参考特征表示IR和第二特征表示I2。第一特征表示I1可对应于第一单独图像，第二特征表示I2可对应于第二单独图像。
图像修复设备可通过基于比较对执行运动感知模型310来生成运动嵌入特征表示3111至311N。运动感知模型310可基于特征表示的运动信息执行每个比较对的特征表示之间的信息交换。运动感知模型310可被迭代地执行多达比较对的数量那么多次，与比较对的数量对应的运动嵌入特征表示3111至311N可被生成。运动感知模型310的操作将在之后被详细描述。图像修复设备可通过将运动嵌入特征表示3111至311N进行融合来生成融合结果320。融合结果的尺寸可以是H×W×C。例如，图像修复设备可通过执行逐元素加法来生成融合结果320。
图4示出生成运动嵌入特征表示的示例。参照图4，图像修复设备可生成包括参考特征表示410和特征表示420的比较对的运动嵌入特征表示。例如，特征表示420可以是第一特征表示，并且比较对可以是第一比较对。图4的操作可通过运动感知模型被执行。
图像修复设备可确定参考特征表示410的点(i,j)的特征向量411，并确定特征表示420中的在点(i,j)处居中的感兴趣的块421。参考特征表示410和特征表示420可具有H'×W'×c的尺寸，并且参考特征表示410的点(i,j)和特征表示420的点(i,j)可彼此对应。这些点可被称为对应点。
图像修复设备可基于特征向量411与感兴趣的块421的通道向量之间的相似性生成与点(i,j)对应的相似性分数图430。例如，特征向量411的尺寸可以是1×1×c，感兴趣的块421的尺寸可以是k×k×c，相似性分数图430的尺寸可以是k×k×1。k×k可以是显著地小于H'×W'的值。由于突发图像在相对短的时间内被连续生成，因此由运动导致的图像像素的改变的区域可被限制。在相似性分数图的尺寸被限制为k×k时，运动分析所需的计算效率可被提高。感兴趣的块421可包括k×k个通道向量，并且每个通道向量的尺寸可以是1×1×c。相似性分数图430可包括k×k个分数元素，并且分数元素可指示特征向量411与感兴趣的块421的通道向量之间的相似性。例如，相似性可对应于余弦相关性或基于网络的相关性。在后者的情况下，单独的神经网络可被相加以计算这样的相关性。
图像修复设备可基于相似性分数图430来生成与点(i,j)对应的运动感知内核462。图像修复设备可基于感兴趣的块421与相似性分数图430之间的运算440来生成上下文信息向量441。例如，运算440可对应于点积对。上下文信息向量441的尺寸可以是1×1×c。图像修复设备可基于相似性分数图430的向量化450来确定与相似性分数图430对应的运动信息向量451。例如，向量化450可对应于整平化(flattening)。运动信息向量451的尺寸可以是1×1×k2。图像修复设备可通过将运动信息向量451和上下文信息向量441进行融合来生成融合结果461，并基于融合结果来确定运动感知内核462。融合结果461的尺寸可以是1×1×k2，运动感知内核462的尺寸可以是k×k×1。
图像修复设备可基于感兴趣的块421与运动感知内核462之间的运算生成与点(i,j)对应的运动嵌入向量470。例如，运算可以是卷积运算。运动嵌入向量470的尺寸可以是1×1×c。在改变点(i,j)时，图像修复设备可通过迭代地执行一系列操作多达H'×W'×c那么多次来生成具有H'×W'×c的运动嵌入向量的运动特征表示。例如，当运动嵌入向量470对应于第一点的第一运动嵌入向量时，图像修复设备可生成第二点的第二运动嵌入向量，并基于包括第一运动嵌入向量和第二运动嵌入向量的运动嵌入向量来生成运动嵌入特征表示。当参考特征表示410和特征表示420构成第一特征对时，运动嵌入特征表示可对应于第一特征对。
图5示出将运动信息向量和上下文信息向量进行融合的示例。参照图5，与上下文信息向量511对应的通道向量521可使用FCN 520生成，与运动信息向量531对应的通道向量541可使用FCN 540生成。上下文信息向量511和运动信息向量531可在尺寸上不同。FCN 520和540可调整上下文信息向量511的尺寸和运动信息向量531的尺寸。FCN 520和540可使通道向量521和通道向量541能够具有相同尺寸。例如，上下文信息向量511的尺寸可以是1×1×c，运动信息向量531的尺寸可以是1×1×k2，通道向量521和541的尺寸可以是1×1×c。FNC 520和540可各自包括一个或多个全连接层。
通道向量521和541可被融合并被输入到FCN 550。例如，通道向量521和541可通过逐元素加法而被融合。FNC 550的输出向量551可对应于图4的融合结果461。FCN 550可调整通道向量521和541的融合结果的尺寸。例如，输出向量551的尺寸可以是1×1×k2。FCN 550可包括一个或多个全连接层。输出向量551可被转变为运动感知内核。
上下文信息向量511和运动信息向量531可以以除了图5的操作的各种方式而被融合。另外，除FCN 520、540和550之外，其他神经网络可被使用，此外，与图5的神经网络结构不同的神经网络结构可被使用。
图6示出将特征表示解码为修复图像的示例。参照图6，图像修复设备可通过对特征表示612进行解码来生成修复图像627。特征表示612可对应于运动嵌入特征表示的融合结果(例如，融合结果320)。特征表示612可使用基于神经网络的解码模型而被解码。当特征表示612被解码时，特征表示612可经过各种神经网络层(例如，至少一个上卷积层)。
特征表示613可通过将特征表示611和特征表示612进行组合而被确定。例如，特征表示611和612可通过拼接(concatenation)进行组合。特征表示611可经由跳跃连接(skip-connection)从编码模型611被接收。例如，特征表示611可对应于图2的特征表示218。特征表示614可被转换为特征表示616。例如，特征表示614可基于根据特征表示613的卷积运算而被确定。特征表示611和612的通道尺寸可以是256，特征表示613的通道尺寸可以是512，特征表示614的通道尺寸可以是256。
特征表示614可基于根据特征表示614的上卷积而被确定。特征表示615可经由跳跃连接从解码模型601被接收。例如，特征表示615可对应于图2的特征表示216。特征表示617可通过将特征表示615和616进行组合而被确定。例如，特征表示615和616可通过拼接而被组合。特征表示617可被转换为特征表示618。例如，特征表示618可基于根据特征表示617的卷积运算而被确定。特征表示615和616的通道尺寸可以是128，特征表示617的通道尺寸可以是256，特征表示618的通道尺寸可以是128。
与应用于特征表示615至618的操作对应的操作还可应用于特征表示619至626。特征表示619和620的通道尺寸可以是64，特征表示621的通道尺寸可以是128，特征表示622的通道尺寸可以是64，特征表示623和624的通道尺寸可以是32，特征表示625的通道尺寸可以是64，特征表示626的通道尺寸可以是32。修复图像627可基于特征表示626而被确定。修复图像627可具有与单独图像相同的尺寸。例如，修复图像627的尺寸可以是H×W×4。
图7示出数据流的示例。参照图7，突发图像集710可包括单独图像701和702。编码模型720可通过对单独图像701和702进行编码来生成与单独图像701和702对应的多个特征表示。例如，编码模型720可生成与第一单独图像701对应的第一特征表示和与第二单独图像702对应的第二特征表示。例如，第一特征表示和第二特征表示可各自对应于图2的特征表示220。
信息交换模型730可通过执行特征表示的比较对的信息交换来生成运动嵌入特征表示的融合结果。图像修复设备可从特征表示之中确定参考特征表示，并确定各自包括参考特征表示和特征表示中的一个的比较对。例如，当存在包括第一特征表示至第N特征表示的N个特征表示，并且参考特征表示从N个特征表示之中被选择时，包括包含参考特征表示和第一特征表示的第一比较对至包含参考特征表示和第N特征表示的第N比较对的N个比较对可被确定。
当参考特征表示被确定时，图像修复可基于参考特征表示而被执行。根据示例，图像修复设备可从单独图像701和702选择锚图像(anchor image)，并将特征表示之中的锚图像的特征表示确定为参考特征表示。在这种情况下，图像修复可根据一个参考特征而被执行，并且单个修复图像750可被生成。图像修复设备可基于质量从单独图像之中选择锚图像。更具体地，图像修复设备可评估单独图像701和702的质量，并可从单独图像701和702选择具有最高质量的图像作为锚图像。
根据另一示例，单独图像701和702可被顺序地选择为锚图像。在这种情况下，与单独图像701和702对应的N个特征表示可被顺序地用作参考特征表示，并且N个修复图像可被生成。例如，在将第一单独图像701修复为第一修复图像的情况下，特征表示之中的第一单独图像的特征表示可被确定为参考特征表示，并且运动嵌入特征表示可使用参考特征表示而被生成。此外，在将第二单独图像702修复为第二修复图像的情况下，特征表示之中的第二单独图像的特征表示可被确定为参考特征表示，并且运动嵌入特征表示可使用参考特征表示而被生成。
解码模型740可通过对运动嵌入特征表示的融合结果进行解码来生成至少一个修复图像750。从编码模型720到解码模型740的箭头可指示跳跃连接，解码模型740中的虚线箭头可指示上卷积，解码模型740中的实线箭头可指示融合。例如，融合可对应于拼接。
图8示出图像修复方法的示例。参照图8，在操作810中，图像修复设备通过对突发图像集的单独图像进行编码来生成与单独图像对应的特征表示。图像修复设备可使用包括至少一个卷积层的编码模型来对单独图像进行编码。
在操作820中，图像修复设备从多个特征表示之中确定参考特征表示。图像修复设备可从单独图像之中选择锚图像，并将特征表示之中的锚图像的特征表示确定为参考特征表示。图像修复设备可基于质量从单独图像之中选择锚图像。单独图像可包括第一单独图像和第二单独图像，至少一个修复图像可包括第一单独图像的第一修复图像和第二单独图像的第二修复图像。在这种情况下，在将第一单独图像修复为第一修复图像的情况下，图像修复设备可将特征表示之中的第一单独图像的特征表示确定为参考特征表示，并且在将第二单独图像修复为第二修复图像的情况下，图像修复设备将特征表示之中的第二单独图像的特征表示确定为参考特征表示。
在操作830中，图像修复设备确定包括参考特征表示和多个特征表示中的第一特征表示的第一比较对。在操作840中，图像修复设备基于参考特征表示与第一特征表示(或第一目标特征表示)的相似性分数图来生成第一比较对的第一运动嵌入特征表示。
图像修复设备可确定参考特征表示的第一点的第一特征向量和第一特征表示中的在第一点的对应点处居中的第一感兴趣的块，基于第一特征向量与第一感兴趣的块的通道向量之间的相似性来生成与第一点对应的相似性分数图，基于第一相似性分数图来生成与第一点对应的第一运动感知内核，基于第一感兴趣的块与第一运动感知内核之间的运算来生成与第一点对应的运动嵌入向量，并基于包括第一运动嵌入向量的运动嵌入向量来生成第一运动嵌入特征表示。
图像修复装置可确定参考特征表示的第二点的第二特征向量和第一特征表示中的在第二点的对应点处居中的第二感兴趣的块，并基于第二感兴趣的块来生成与第二点对应的第二运动嵌入向量。图像修复设备可基于包括第一运动嵌入向量和第二运动嵌入向量的运动嵌入向量来生成第一运动嵌入特征表示。
图像修复设备可确定与第一相似性分数图对应的第一运动信息向量，基于第一感兴趣的块与第一相似性分数图之间的运算来生成第一上下文信息向量，并通过将第一运动信息向量和第一上下文信息向量进行融合来生成第一感知内核。图像修复设备可使用第一FCN来生成与第一运动信息向量对应的第一通道向量，使用第二FCN来生成与第一上下文信息向量对应的第二通道向量，并且通过将第一通道向量和第二通道向量进行融合来生成第一运动感知内核。
在操作850中，图像修复设备通过将包括第一运动嵌入特征表示的多个运动嵌入特征表示进行融合来生成融合结果。在操作860中，图像修复设备通过对融合结果进行解码来生成至少一个修复图像。图像修复设备可使用包括至少一个上卷积层的解码模型来对融合结果进行解码。
图9示出图像修复设备的配置的示例。参照图9，图像修复设备900包括处理器910和存储器920。存储器920可连接到处理器910，并存储可由处理器910执行的指令、将由处理器910计算的数据或由处理器910处理的数据。存储器920可包括非暂时性计算机可读介质(例如，高速随机存取存储器)和/或非易失性计算机可读介质(例如，至少一个磁盘存储装置、闪存装置或另一个非易失性固态存储器装置)。
处理器910可执行指令以执行在上面参照图1至图8和图10描述的操作。例如，处理器910可通过对单独图像进行编码来生成与突发图像集的单独图像对应的多个特征表示，从多个特征表示之中确定参考特征表示，确定包括参考特征表示和多个特征表示中的第一特征表示的第一比较对，基于参考特征表示与第一特征表示的相似性分数图来生成第一比较对的第一运动嵌入特征表示，通过将包括第一运动嵌入特征表示的多个运动嵌入特征表示进行融合来生成融合结果，并通过对融合结果进行解码来生成至少一个修复图像。此外，参照图1至图8和图10提供的描述可应用于图像修复设备900。
图10示出电子装置的配置的示例。参照图10，电子装置1000可包括处理器1010、存储器1020、相机1030、存储装置1040、输入装置1050、输出装置1060和可通过通信总线1080彼此通信的网络接口1070。例如，电子装置1000可被实现为运动装置(诸如，运动电话、智能电话、个人数字助理(PDA)、上网本、台式计算机或膝上型计算机)、可穿戴装置(诸如，智能手表、智能手环或智能眼镜)、计算装置(诸如，台式机或服务器)、家用电器(诸如，电视、智能电视或冰箱)、安全装置(诸如，门锁)、和车辆(诸如，自动驾驶车辆或智能车辆)中的至少一部分。电子装置1000可在结构上和/或功能上包括图1的图像修复设备100和/或图9的图像修复设备900。
处理器1010执行在电子装置1000中将被执行的功能和指令。例如，处理器1010可处理存储在存储器1020或存储装置1040中的指令。处理器1010可执行在图1至图9中描述的一个或多个操作。存储器1020可包括计算机可读存储介质或计算机可读存储装置。存储器1020可存储将由处理器1010执行的指令，并可在软件和/或应用由电子装置1000执行时存储相关的信息。
相机1030可拍摄照片和/或录制视频。相机1030可通过连续地拍摄照片或录制视频来生成突发图像集。如果突发图像集是连续的照片，则突发图像集的每个单独图像可对应于每个照片，并且如果突发图像集是视频，则突发图像集的每个单独图像可对应于视频的每个图像帧。存储装置1040包括计算机可读存储介质或计算机可读存储装置。存储装置1040可长时间存储比存储器1020的信息的量更大的信息的量。例如，存储装置1040可包括磁性硬盘、光盘、闪存、软盘或本领域已知的其他非易失性存储器。
输入装置1050可以以通过键盘和鼠标的传统的输入方式和新的输入方式(诸如，触摸输入、声音输入和图像输入)从用户接收输入。例如，输入装置1050可包括键盘、鼠标、触摸屏、麦克风或检测来自用户的输入并将检测的输入发送到电子装置1000的任何其他装置。输出装置1060可通过视觉、听觉或触觉通道将电子装置1000的输出提供给用户。输出装置1060可包括例如显示器、触摸屏、扬声器、振动生成器或将输出提供给用户的任何其他装置。网络接口1070可通过有线或无线网络来与外部装置进行通信。
在此针对图1至图7、图9和图10描述的图像修复设备以及其他装置、设备、单元、模块和组件由硬件组件实现或代表硬件组件。其中，可被用于执行在本申请中描述的操作的硬件组件的示例在适当的情况下包括控制器、传感器、生成器、驱动器、存储器、比较器、算数逻辑单元、加法器、减法器、乘法器、除法器、积分器和被配置为执行在本申请中描述的操作的任何其他电子组件。在其他示例中，执行在本申请中描述的操作的硬件组件中的一个或多个由计算硬件(例如，由一个或多个处理器或计算机实现)实现。处理器或计算机可由一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或被配置为以限定的方式响应并以执行指令以达到期望的结果的任何其他装置或装置的组合)实现。在一个示例中，处理器或计算机包括或者连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可执行指令或软件(诸如，操作系统(OS)和在OS上运行的一个或多个软件应用)以执行在本申请中描述的操作。硬件组件还可响应于指令或软件的执行来存取、操控、处理、创建和存储数据。为了简洁，单数术语“处理器”或“计算机”可被用于在本申请中描述的示例的描述中，但在其他示例中，多个处理器或计算机可被使用，或者处理器或计算机可包括多个处理单元、或多种类型发处理单元、或两者。例如，单个硬件组件、或者两个或更多个硬件组件可由单个处理器、或者两个或更多个处理器、或者处理器和控制器实现。一个或多个硬件组件可由一个或多个处理器、或者处理器和控制器实现，并且一个或多个其他硬件组件可由一个或多个其他处理器、或者另一处理器和另一控制器实现。一个或多个处理器、或者处理器和控制器可实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可具有不同处理配置中的任何一个或多个，不同处理配置的示例包括单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理和多指令多数据(MIMD)多处理。
图1-8中示出的例如执行在本申请中描述的操作的方法由被实现为如上所述地执行指令或软件以执行在本申请中描述的由所述方法执行的操作的计算硬件(例如，由一个或多个处理器或计算机)执行。例如，单个操作、或者两个或更多个操作可由单个处理器、或者两个或更多个处理器、或者处理器和控制器执行。一个或多个操作可由一个或多个处理器、或者处理器和控制器执行，并且一个或多个其他操作可由一个或多个其他处理器、或者另一处理器和另一控制器执行。一个或多个处理器、或者处理器和控制器可执行单个操作、或者两个或更多个操作。
用于控制计算硬件(例如，一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件可被编写为计算机程序、代码段、指令或它们的任何组合，以用于单独地或共同地指示或配置一个或多个处理器或计算机作为机器或专用计算机进行操作，以执行由硬件组件执行的操作和如上所述的方法。在一个示例中，指令或软件包括由一个或多个处理器或计算机直接执行的机器代码(诸如，由编译器产生的机器代码)。在另一示例中，指令或软件包括由一个或多个处理器或计算机使用解释器执行的高级代码。指令或软件可基于附图中示出的框图和流程图以及说明书中的对应描述使用任何编程语言来编写，附图中示出的框图和流程图以及说明书中的对应描述公开了用于执行由硬件组件执行的操作和如上所述的方法的算法。
控制计算硬件(例如，一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件、以及任何相关联的数据、数据文件和数据结构可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中或者被记录、存储或固定在一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储装置、硬盘驱动器(HDD)、固态驱动器(SSD)、卡型存储器(诸如，多媒体卡或微型卡(例如，安全数字(SD)或极限数字(XD)))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘和任何其他装置，该任何其他装置被配置为以非易失方式存储指令或软件、以及任何相关联的数据、数据文件和数据结构，并将指令或软件、以及任何相关联的数据、数据文件和数据结构提供给一个或多个处理器或计算机，使得一个或多个处理器或计算机可执行指令。在一个示例中，指令或软件、以及任何关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得指令和软件、以及任何相关联的数据、数据文件和数据结构由一个或多个处理器或计算机以分布方式存储、访问和执行。
以上已经描述了多个示例。然而，应该理解，可对这些示例进行各种修改。例如，如果描述的技术以不同的顺序被执行，和/或如果描述的系统、构架、装置或电路中的组件以不同的方式被组合和/或由其它元件或它们的等同物替换或补充，则可获得合适的结果。
因此，其他实施方式在所附权利要求的范围内。

Claims (21)

1.一种图像修复方法，包括：
通过对突发图像集的多个单独图像进行编码，生成与所述多个单独图像对应的多个特征表示；
从所述多个特征表示之中确定参考特征表示；
确定包括参考特征表示和所述多个特征表示中的第一特征表示的第一比较对；
基于参考特征表示与第一特征表示的相似性分数图，生成第一比较对的第一运动嵌入特征表示；
通过将包括第一运动嵌入特征表示的多个运动嵌入特征表示进行融合，生成融合结果；以及
通过对融合结果进行解码，生成至少一个修复图像。
2.根据权利要求1所述的图像修复方法，其中，生成第一运动嵌入特征表示的步骤包括：
确定参考特征表示的第一点的第一特征向量和第一特征表示中的在第一点的对应点处居中的第一感兴趣的块；
基于第一特征向量与第一感兴趣的块的通道向量之间的相似性，生成与第一点对应的第一相似性分数图；
基于第一相似性分数图，生成与第一点对应的第一运动感知内核；
基于第一感兴趣的块与第一运动感知内核之间的运算，生成与第一点对应的第一运动嵌入向量；以及
基于包括第一运动嵌入向量的运动嵌入向量，生成第一运动嵌入特征表示。
3.根据权利要求2所述的图像修复方法，其中，生成第一运动嵌入特征表示的步骤包括：
确定参考特征表示的第二点的第二特征向量和第一特征表示中的在第二点的对应点处居中的第二感兴趣的块；以及
基于第二感兴趣的块，生成与第二点对应的第二运动嵌入向量，
其中，生成第一运动嵌入特征表示的步骤包括：基于包括第一运动嵌入向量和第二运动嵌入向量的运动嵌入向量，生成第一运动嵌入特征表示。
4.根据权利要求2所述的图像修复方法，其中，生成第一运动感知内核的步骤包括：
确定与第一相似性分数图对应的第一运动信息向量；
基于第一感兴趣的块与第一相似性分数图之间的运算，生成第一上下文信息向量；以及
通过将第一运动信息向量和第一上下文信息向量进行融合，生成第一运动感知内核。
5.根据权利要求4所述的图像修复方法，其中，通过将第一运动信息向量和第一上下文信息向量进行融合，生成第一运动感知内核的步骤包括：
使用第一全连接网络，生成与第一运动信息向量对应的第一通道向量；
使用第二全连接网络，生成与第一上下文信息向量对应的第二通道向量；以及
通过将第一通道向量和第二通道向量进行融合，生成第一运动感知内核。
6.根据权利要求1至5中的任何一项所述的图像修复方法，其中，
生成所述多个特征表示的步骤包括：使用包括至少一个卷积层的编码模型，对所述多个单独图像进行编码，以及
生成至少一个修复图像的步骤包括：使用包括至少一个上卷积层的解码模型，对融合结果进行解码。
7.根据权利要求1至5中的任何一项所述的图像修复方法，还包括：
从所述多个单独图像之中选择锚图像，
其中，确定参考特征表示的步骤包括：将所述多个特征表示之中的锚图像的特征表示确定为参考特征表示。
8.根据权利要求7所述的图像修复方法，其中，选择锚图像的步骤包括：基于质量从所述多个单独图像之中选择锚图像。
9.根据权利要求1至5中的任何一项所述的图像修复方法，其中：
所述多个单独图像包括第一单独图像和第二单独图像，并且
所述至少一个修复图像包括第一单独图像的第一修复图像和第二单独图像的第二修复图像，
其中，确定参考特征表示的步骤包括：
在将第一单独图像修复为第一修复图像的情况下，将所述多个特征表示之中的第一单独图像的特征表示确定为参考特征表示，以及
在将第二单独图像修复为第二修复图像的情况下，将所述多个特征表示之中的第二单独图像的特征表示确定为参考特征表示。
10.一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时，使处理器执行权利要求1至9中的任何一项的图像修复方法。
11.一种图像修复设备，包括：
处理器；以及
存储器，被配置为存储能够由处理器执行的指令，
其中，响应于所述指令由处理器执行，处理器被配置为：
通过对突发图像集的多个单独图像进行编码，生成与所述多个单独图像对应的多个特征表示，
从所述多个特征表示之中确定参考特征表示，
确定包括参考特征表示和所述多个特征表示中的第一特征表示的第一比较对，
基于参考特征表示与第一特征表示的相似性分数图，生成第一比较对的第一运动嵌入特征表示，
通过将包括第一运动嵌入特征表示的多个运动嵌入特征表示进行融合，生成融合结果，以及
通过对融合结果进行解码，生成至少一个修复图像。
12.根据权利要求11所述的图像修复设备，其中，处理器还被配置为：
确定参考特征表示的第一点的第一特征向量和第一特征表示中的在第一点的对应点处居中的第一感兴趣的块，
基于第一特征向量与第一感兴趣的块的通道向量之间的相似性，生成与第一点对应的第一相似性分数图，
基于第一相似性分数图，生成与第一点对应的第一运动感知内核，
基于第一感兴趣的块与第一运动感知内核之间的运算，生成与第一点对应的第一运动嵌入向量，以及
基于包括第一运动嵌入向量的运动嵌入向量，生成第一运动嵌入特征表示。
13.根据权利要求12所述的图像修复设备，其中，处理器还被配置为：
确定参考特征表示的第二点的第二特征向量和第一特征表示中的在第二点的对应点处居中的第二感兴趣的块，
基于第二感兴趣的块，生成与第二点对应的第二运动嵌入向量，以及
基于包括第一运动嵌入向量和第二运动嵌入向量的运动嵌入向量生成第一运动嵌入特征表示。
14.根据权利要求12所述的图像修复设备，其中，处理器还被配置为：
确定与第一相似性分数图对应的第一运动信息向量，
基于在第一感兴趣的块与第一相似性分数图之间的运算，生成第一上下文信息向量，以及
通过将第一运动信息向量和第一上下文信息向量进行融合，生成第一运动感知内核。
15.根据权利要求14所述的图像修复设备，其中，处理器还被配置为：
使用第一全连接网络，生成与第一运动信息向量对应的第一通道向量，
使用第二全连接网络，生成与第一上下文信息向量对应的第二通道向量，以及
通过将第一通道向量和第二通道向量进行融合，生成第一运动感知内核。
16.根据权利要求11至15中的任何一项所述的图像修复设备，其中，处理器还被配置为：
从所述多个单独图像之中选择锚图像，以及
将所述多个特征表示之中的锚图像的特征表示确定为参考特征表示。
17.根据权利要求11至15中的任何一项所述的图像修复设备，其中：
所述多个单独图像包括第一单独图像和第二单独图像，并且
所述至少一个修复图像包括第一单独图像的第一修复图像和第二单独图像的第二修复图像，
其中，处理器还被配置为：
在将第一单独图像修复为第一修复图像的情况下，将所述多个特征表示之中的第一单独图像的特征表示确定为参考特征表示；
在将第二单独图像修复为第二修复图像的情况下，将所述多个特征表示之中的第二单独图像的特征表示确定为参考特征表示。
18.一种电子装置，包括：
相机，被配置为生成包括多个单独图像的突发图像集；以及
处理器，被配置为：
通过对所述多个单独图像进行编码，生成与所述多个单独图像对应的多个特征表示，
从所述多个特征表示之中确定参考特征表示，
确定包括参考特征表示和所述多个特征表示中的第一特征表示的第一比较对，
基于参考特征表示与第一特征表示的相似性分数图，生成第一比较对的第一运动嵌入特征表示，
通过将包括第一运动嵌入特征表示的多个运动嵌入特征表示进行融合，生成融合结果，以及
通过对融合结果进行解码，生成至少一个修复图像。
19.根据权利要求18所述的电子装置，其中，处理器还被配置为：
确定参考特征表示的第一点的第一特征向量和第一特征表示中的在第一点的对应点处居中的第一感兴趣的块，
基于第一特征向量与第一感兴趣的块的通道向量之间的相似性，生成与第一点对应的第一相似性分数图，
基于第一相似性分数图，生成与第一点对应的第一运动感知内核，
基于第一感兴趣的块与第一运动感知内核之间的运算，生成与第一点对应的第一运动嵌入向量，以及
基于包括第一运动嵌入向量的运动嵌入向量，生成第一运动嵌入特征表示。
20.根据权利要求19所述的电子装置，其中，处理器还被配置为：
确定与第一相似性分数图对应的第一运动信息向量，
基于第一感兴趣的块与第一相似性分数图之间的运算，生成第一上下文向量，以及
通过将第一运动信息向量和第一上下文信息向量进行融合，生成第一运动感知内核。
21.一种电子装置，包括：
一个或多个处理器，被配置为：
获取包括在突发图像集中的多个单独图像；
计算所述多个单独图像之间的相关性以生成内核；
通过使用内核将卷积运算应用于所述多个单独图像，生成特征表示；以及
基于特征表示增强所述多个单独图像，并且输出包括增强的单独图像的增强的突发图像集。
CN202210730538.2A 2021-12-15 2022-06-24 图像修复方法和设备以及电子装置 Pending CN116263943A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0179711 2021-12-15
KR1020210179711A KR20230090716A (ko) 2021-12-15 2021-12-15 연사 영상 기반의 영상 복원 방법 및 장치

Publications (1)

Publication Number Publication Date
CN116263943A true CN116263943A (zh) 2023-06-16

Family

ID=82851768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210730538.2A Pending CN116263943A (zh) 2021-12-15 2022-06-24 图像修复方法和设备以及电子装置

Country Status (4)

Country Link
US (1) US20230186432A1 (zh)
EP (1) EP4198878A1 (zh)
KR (1) KR20230090716A (zh)
CN (1) CN116263943A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12079957B2 (en) * 2022-01-24 2024-09-03 Adobe Inc. Modeling continuous kernels to generate an enhanced digital image from a burst of digital images

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010161521A (ja) * 2009-01-07 2010-07-22 Nec Corp 画像処理装置、撮像装置、画像ぶれの補正方法、及びプログラム
US8379120B2 (en) * 2009-11-04 2013-02-19 Eastman Kodak Company Image deblurring using a combined differential image
CN110070511B (zh) * 2019-04-30 2022-01-28 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
CN112801890B (zh) * 2021-01-08 2023-07-25 北京奇艺世纪科技有限公司 一种视频处理方法、装置及设备

Also Published As

Publication number Publication date
KR20230090716A (ko) 2023-06-22
EP4198878A1 (en) 2023-06-21
US20230186432A1 (en) 2023-06-15

Similar Documents

Publication Publication Date Title
US20210090327A1 (en) Neural network processing for multi-object 3d modeling
US10346726B2 (en) Image recognition method and apparatus, image verification method and apparatus, learning method and apparatus to recognize image, and learning method and apparatus to verify image
US20190279052A1 (en) Image recognition method and apparatus, image verification method and apparatus, learning method and apparatus to recognize image, and learning method and apparatus to verify image
US20220239844A1 (en) Neural 3D Video Synthesis
CN114913078A (zh) 基于连拍图像的图像恢复方法和设备
US20240096001A1 (en) Geometry-Free Neural Scene Representations Through Novel-View Synthesis
CN114494713A (zh) 用于图像识别的方法和设备
CN112396085B (zh) 识别图像的方法和设备
CN114792387A (zh) 图像恢复方法和设备
CN115861675A (zh) 对象分类方法和设备
CN114155568A (zh) 面部图像生成方法和设备
CN116363166A (zh) 对象跟踪方法、对象跟踪设备和电子设备
US20220188961A1 (en) Data processing method and sensor device for performing the same
CN115564639A (zh) 背景虚化方法、装置、计算机设备和存储介质
CN116263943A (zh) 图像修复方法和设备以及电子装置
CN115482159A (zh) 图像增强方法和设备
EP4248443A1 (en) Using interpolation to generate a video from static images
CN114254731A (zh) 用于神经网络操作的方法和设备
CN113055546A (zh) 处理图像的系统和方法
US20220383628A1 (en) Conditional Object-Centric Learning with Slot Attention for Video and Other Sequential Data
CN115731263A (zh) 融合移位窗口注意力的光流计算方法、系统、设备及介质
EP3401843A1 (en) A method, an apparatus and a computer program product for modifying media content
US20240221185A1 (en) Method and apparatus with target object tracking
EP4386655A1 (en) Method and apparatus with semiconductor image processing
US20240185589A1 (en) Method and apparatus with image restoration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination