CN108694700A - 用于深度学习图像超分辨率的系统和方法 - Google Patents

用于深度学习图像超分辨率的系统和方法 Download PDF

Info

Publication number
CN108694700A
CN108694700A CN201810310847.8A CN201810310847A CN108694700A CN 108694700 A CN108694700 A CN 108694700A CN 201810310847 A CN201810310847 A CN 201810310847A CN 108694700 A CN108694700 A CN 108694700A
Authority
CN
China
Prior art keywords
resolution
definition picture
processor
super
medium high
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810310847.8A
Other languages
English (en)
Other versions
CN108694700B (zh
Inventor
穆斯塔法·坎依
任昊宇
李正元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108694700A publication Critical patent/CN108694700A/zh
Application granted granted Critical
Publication of CN108694700B publication Critical patent/CN108694700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4069—Super resolution, i.e. output image resolution higher than sensor resolution by subpixel displacement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明提供一种用于超分辨率成像的方法，该方法包括：由处理器接收低分辨率图像；由所述处理器生成中等高分辨率图像，与所述低分辨率图像相比，所述中等高分辨率图像具有提高的分辨率；由所述处理器基于所述中等高分辨率图像和所述低分辨率图像生成最终高分辨率图像；以及由所述处理器将所述最终高分辨率图像发送到显示设备从而进行显示。

Description

用于深度学习图像超分辨率的系统和方法
技术领域
本发明涉及用于超分辨率成像的系统和方法，具体而言，涉及用于深度学习图像超分辨率的系统和方法。
背景技术
图像超分辨率是用于从单个低分辨率(LR)图像生成或恢复高分辨率(HR)图像的过程。输入是模糊图像或LR图像。输出是高分辨率图像。在某些应用中，由于获得期望质量所需的大量数据处理能力和时间，因此基于低分辨率输入图像实时生成高质量超分辨率图像会是困难的。
背景技术部分中公开的上述信息仅用于增强对本公开背景技术的理解，因此其可以包含不构成现有技术的信息。
发明内容
本公开的一些示例实施例的各方面涉及用于深度学习图像超分辨率的系统和方法。
根据本公开的一些示例性实施例，在一种用于超分辨率成像的方法中，该方法包括：由处理器接收低分辨率图像；由所述处理器生成中等高分辨率图像，与所述低分辨率图像相比，所述中等高分辨率图像具有提高的分辨率；由所述处理器基于所述中等高分辨率图像和所述低分辨率图像生成最终高分辨率图像；以及由所述处理器将所述最终高分辨率图像发送到显示设备从而进行显示。
根据一些示例性实施例，所述方法还包括：由所述处理器从请求捕获所述中等高分辨率图像的用户设备接收信号；以及在从所述用户设备接收到所述信号之后，由所述处理器生成所述最终高分辨率图像。
根据一些示例性实施例，所述方法还包括：由所述处理器同时生成一个或多个中等高分辨率图像，每个中等高分辨率图像利用单独的卷积神经网络；以及由所述处理器将所述一个或多个中等高分辨率图像存储在缓冲器中。
根据一些示例性实施例，所述方法还包括：由所述处理器从请求捕获所述一个或多个中等高分辨率图像的用户设备接收信号；由所述处理器从所述缓冲器中取回所述一个或多个中等高分辨率图像；以及在从所述用户设备接收到所述信号之后，基于对来自所述缓冲器的所述一个或多个中等高分辨率图像的处理以及另一卷积神经网络，由所述处理器生成所述最终高分辨率图像。
根据一些示例性实施例，所述方法还包括：由所述处理器将所述低分辨率图像存储在第一缓冲器中。
根据一些示例性实施例，所述方法还包括：由所述处理器利用第一单独的卷积神经网络来生成所述中等高分辨率图像；由所述处理器将所述中等高分辨率图像存储在第二缓冲器中；由所述处理器从请求捕获所述中等高分辨率图像的用户设备接收信号；由所述处理器从所述第一缓冲器取回所述低分辨率图像；以及由所述处理器通过第二单独的卷积神经网络生成另一中等高分辨率图像。
根据一些示例性实施例，所述方法还包括：由所述处理器将具有第一卷积核的第一融合层应用于所述第一单独的卷积神经网络的输出图像，以生成第一数据集；由所述处理器将具有第二卷积核的第二融合层应用于所述第二单独的卷积神经网络的输出图像，以生成第二数据集；以及由所述处理器合并所述第一数据集和所述第二数据集，以生成所述最终高分辨率图像。
根据一些示例性实施例，在一种用于超分辨率成像的系统中，所述系统包括：处理器；以及存储器，其耦接到所述处理器，其中，所述存储器存储指令，所述指令在由所述处理器执行时使所述处理器执行以下步骤：接收低分辨率图像；生成中等高分辨率图像，与所述低分辨率图像相比，所述中等高分辨率图像具有提高的分辨率；基于所述中等高分辨率图像和所述低分辨率图像生成最终高分辨率图像；以及将所述最终高分辨率图像传输至显示设备从而进行显示。
根据一些示例性实施例，所述指令还使所述处理器：从请求捕获所述中等高分辨率图像的用户设备接收信号；以及在从所述用户设备接收到所述信号之后，生成所述最终高分辨率图像。
根据一些示例性实施例，所述指令还使所述处理器：同时生成一个或多个中等高分辨率图像，每个中等高分辨率图像利用单独的卷积神经网络；以及将所述一个或多个中等高分辨率图像存储在缓冲器中。
根据一些示例性实施例，所述指令还使所述处理器：从请求捕获所述一个或多个中等高分辨率图像的用户设备接收信号；从所述缓冲器中取回所述一个或多个中等高分辨率图像；以及在从所述用户设备接收到所述信号之后，基于对来自所述缓冲器的所述一个或多个中等高分辨率图像的处理以及另一卷积神经网络，生成所述最终高分辨率图像。
根据一些示例性实施例，所述指令还使所述处理器：将所述低分辨率图像存储在第一缓冲器中。
根据一些示例性实施例，所述指令还使所述处理器：利用第一单独的卷积神经网络来生成所述中等高分辨率图像；将所述中等高分辨率图像存储在第二缓冲器中；从请求捕获所述中等高分辨率图像的用户设备接收信号；从所述第一缓冲器取回所述低分辨率图像；以及通过第二单独的卷积神经网络生成另一中等高分辨率图像。
根据一些示例性实施例，所述指令还使所述处理器：将具有第一卷积核的第一融合层应用于所述第一单独的卷积神经网络的输出图像，以生成第一数据集；将具有第二卷积核的第二融合层应用于所述第二单独的卷积神经网络的输出图像，以生成第二数据集；以及合并所述第一数据集和所述第二数据集，以生成所述最终高分辨率图像。
根据一些示例性实施例，在一种用于超分辨率成像的系统中，所述系统包括：处理器；以及存储器，其耦接到所述处理器，其中，所述存储器存储指令，所述指令在由所述处理器执行时使所述处理器执行以下步骤：接收低分辨率图像；生成中等高分辨率图像，与所述低分辨率图像相比，所述中等高分辨率图像具有提高的分辨率；基于所述中等高分辨率图像和所述低分辨率图像生成最终高分辨率图像；
从请求捕获所述中等高分辨率图像的用户设备接收信号；在从所述用户设备接收所述信号之后，生成所述最终高分辨率图像；以及将所述最终高分辨率图像传输至显示设备从而进行显示。
根据一些示例性实施例，所述指令还使所述处理器：利用单独的卷积神经网络生成所述中等高分辨率图像；以及将所述中等高分辨率图像存储在缓冲器中。
根据一些示例性实施例，所述指令还使所述处理器：从请求捕获所述中等高分辨率图像的用户设备接收信号；从所述缓冲器中取回所述中等高分辨率图像；以及在从所述用户设备接收到所述信号之后，基于来自所述缓冲器的所述中等高分辨率图像，生成所述最终高分辨率图像。
根据一些示例性实施例，所述指令还使所述处理器：将所述低分辨率图像存储在第一缓冲器中。
根据一些示例性实施例，所述指令还使所述处理器：利用第一单独的卷积神经网络生成所述中等高分辨率图像；将所述中等高分辨率图像存储在第二缓冲器中；从请求捕获所述中等高分辨率图像的用户设备接收信号；从所述第一缓冲器取回所述低分辨率图像；以及通过第二单独的卷积神经网络生成另一中等高分辨率图像。
根据一些示例性实施例，所述指令还使所述处理器：将具有第一卷积核的第一融合层应用于所述第一单独的卷积神经网络的输出图像，以生成第一数据集；将具有第二卷积核的第二融合层应用于所述第二单独的卷积神经网络的输出图像，以生成第二数据集；以及合并所述第一数据集和所述第二数据集，以生成所述最终高分辨率图像。
附图说明
当结合附图参考下面的详细描述时，本公开变得更好理解，对本公开更全面的理解及其许多伴随特征和方面将变得更加显而易见，其中：
图1是示出根据本公开的一些示例实施例的深度学习图像超分辨率系统的各方面的框图；
图2是示出根据本公开的一些示例实施例的渐进式融合系统的各方面的框图；
图3是示出根据一些示例实施例的用于训练渐进式融合式超分辨率成像系统的过程的流程图；
图4是根据一些示例实施例的用于像素级融合的示例图；
图5是根据一些示例实施例的利用上下文级融合架构的超分辨率成像系统的框图；
图6是示出根据一些示例实施例的用于训练双模式超分辨率的并行上下文级融合网络的过程的流程图；
图7A是根据本公开实施例的计算设备的框图；
图7B是根据本公开实施例的计算设备的框图；
图7C是根据本公开实施例的计算设备的框图；
图7D是根据本公开实施例的计算设备的框图；以及
图7E是包括根据本公开实施例的若干计算设备的网络环境的框图。
具体实施方式
在下文中，将参考附图更详细地描述示例实施例，其中相同的附图标记始终表示相同的元件。然而，本公开可以以各种不同的形式来实施，并且不应该被解释为仅限于本文所示的实施例。相反，提供这些实施例作为示例，以使得本公开将是彻底和完整的，并且将向本领域技术人员充分传达本公开的一些方面和特征。因此，关于本公开的一些实施例，不会描述对于本领域普通技术人员完全理解本公开的方面和特征不是必需的过程、元件和技术。除非另有说明，否则在整个附图和书面描述中，相同的附图标记表示相同的元件，并且因此将不重复其描述。在附图中，为了清楚起见，各元素、各层和各区域的相对尺寸可能被夸大。
应该理解，虽然术语“第一”、“第二”、“第三”等可以在本文中用于描述各种元件、部件、区域、层和/或部分，但是这些元件、部件、区域、层和/或部分不应受这些术语的限制。这些术语仅用于区分一个元素、组件、区域、层或部分与另一个元素、组件、区域、层或部分。因此，在不脱离本公开的范围的情况下，下面描述的第一元件、第一部件、第一区域、第一层或第一部分可以被称为第二元件、第二部件、第二区域、第二层或第二部分。
为便于说明，本文中可使用空间相关术语，诸如“在...之下”、“在...下”、“下”、“在...下面”、“在...之上”、“在...上”等来描述如图所示的一个元件或特征与另一个元素或特征的关系。应该理解的是，除了附图中描绘的方向之外，空间相对术语旨在涵盖装置在使用或操作中的不同方位。例如，如果附图中的设备翻转，则被描述为在其他元件或特征“下方”或“下”或“下面”的元件将被定向为在其它元件或特征“之上”。因此，示例术语“在...下方”和“在...下面”可以包含上方和下方两种方向。该装置可以以其他方式定向(例如，旋转90度或以其他方向)，并且相应地解释这里使用的空间相对描述符。此外，还将理解的是，当元件或层被称为在两个元件或层“之间”时，其可以是两个元件或层之间的唯一元件或层，或者也可能存在一个或多个中间元件或层。
这里使用的术语仅用于描述特定实施例的目，而不意在限制本公开。如本文所使用的，除非上下文另外清楚地指出，否则单数形式“一”和“一个”也旨在包括复数形式。将进一步理解的是，当在本说明书中使用时，术语“包括”、“包括有”、“包含”和/或“包含有”指明存在特征、整体、步骤、操作、元件和/或部件，但并不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、部件和/或其组合。如本文所使用的，术语“和/或”包括一个或多个相关所列项目的任何和所有组合。诸如“至少一个”之类的表达当在元素列表之前时，其修饰整个元素列表而不修饰该列表的单个元素。此外，当描述本公开的实施例时使用“可以”是指“本公开的一个或多个实施例”。此外，术语“示例性”旨在指代示例或例证。
应理解的是，当元件或层被称为“在另一元件或层上”，“连接到”、“与…连接”、“耦接到”或“邻近于”另一元件或层时，它可以是直接在另一元件或层上，或者连接到、耦接到或邻近于另一元件或层，或者可存在一个或多个中间元件或层。当元件或层被称为“直接在另一元件或层上”、“直接连接到”、“直接耦接到”或“紧邻”另一元件或层时，不存在中间元件或层。
除非另外定义，否则本文使用的所有术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员通常理解的相同的含义。将进一步理解的是，诸如在通用字典中定义的那些术语应该被解释为具有与其在相关技术和/或本说明书的上下文中的含义一致的含义，并且不应该被解释为理想化或过度形式化的意义，除非在此明确地如此定义。
超分辨率成像系统是配置为基于单个低分辨率(LR)图像生成或恢复高分辨率(HR)图像的电子系统。单图像超分辨率是指从一个LR图像生成单个HR图像。多图像超分辨率是指从不同时间、角度或空间维度获得的多个图像生成HR图像，其中，所述多个图像需要以子像素精度进行对准。
超分辨率(SR)成像在各种场景和应用中变得越来越重要。例如，可以利用超分辨率成像来提高以压缩或下采样格式呈现的网页图像和网页视频的感知质量。超分辨率成像也可用于数码相机(无论是单机相机还是手机相机)的数字变焦过程。超分辨率成像对于依赖于采集和分析图像的各种科学领域和应用具有额外的益处。例如，可以利用超分辨率成像来提高显微镜图像的质量。
在一些应用中，超分辨率成像系统的实时性能(例如，从较低分辨率图像生成较高分辨率图像的速度和质量)对于系统的质量和有用性会是重要因素。例如，在互联网或网络浏览器应用的环境中，提供快速互联网浏览同时观察到更高感知质量的图像会是有用的。快速和高质量的实时超分辨率成像对于提高数码相机的取景器或显示器的数字变焦功能的感知质量也会是有益的。
类似地，在显微镜中，用户可以认识到能够实时观察更高分辨率图像的益处。例如，在光学显微镜的环境下，小于特定阈值尺寸(例如，小于250纳米(nm))的物体看起来会模糊，这可能限制或阻碍用户在显微镜图像中分析物体。因此，在对透镜的衍射极限影响很小的情况下，超分辨率显微镜可以对小得多的物体进行分析。在其他情况下，用户可以从分子观察的实时观察结果中受益。因此，在诸如数码相机的数字变焦功能、光学显微镜和网页浏览等各种应用中，超高分辨率成像系统的用户可以从高质量的实时性能和增强的离线性能中受益。
另外，对于上述应用，在获取时间处的图像处理的离线性能也是重要的。在这样的应用中，例如，通过点击浏览器中的图像或保存图像、通过使用数字变焦的相机拍摄快照、通过使用数字变焦录制视频或动画、或者通过拍摄快照或记录显微镜输出，会触发离线性能。
因此，本公开的示例实施例包括用于超分辨率成像的系统和方法，所述系统和方法可在两种模式下操作：(1)足够快以实时生成更高分辨率图像的预览模式(例如，没有任何显着的感知延迟)，与较低分辨率输入图像相比，所述更高分辨率图像具有增强的定量与定性感知质量；以及(2)用于获取时后处理的离线模式，其不会像预览模式那样快地生成输出的高分辨率图像，但是输出的图像具有比在预览模式下生成的图像更高的分辨率。
本公开的一些示例实施例包括提供具有预览模式和离线模式的基于深度学习的超分辨率成像的系统和方法。根据一些示例实施例，在离线模式中利用(leverage)在预览模式下完成的计算。根据一些示例实施例，一种系统和方法包括超分辨率成像系统，其从低分辨率(LR)图像取回信息以生成或产生高分辨率(HR)输出图像。本系统可以通过学习非常深度卷积神经网络来实现。
因此，如上所述，本公开的一些示例实施例包括双模SR系统和方法。根据一些示例实施例，一种系统和方法包括基于深度学习的SR，其针对离线模式利用预览模式中的实时SR所完成的计算。因此，本系统提供了一种用于平衡准确性和效率之间的折衷的机制。
根据一些示例实施例的系统和方法包括预览网络和一个或多个细化网络。如下面将更详细描述的，一些示例实施例可以利用这里描述的两种深度学习架构中的一种，即，渐进式超分辨率系统和并行融合超分辨率系统。
如下面更详细描述的，在渐进式超分辨率系统中，可以连续地训练“预览”网络和“细化”网络。相反，在上下文级并行融合超分辨率系统中，可以利用针对多个并行网络的上下文级融合的上下文级融合层。下面将更详细地讨论在两种情况下的使用预览网络和细化网络的运行时程序。
图1是示出根据本公开的一些示例实施例的深度学习图像超分辨率系统的各方面的框图。如图1所示，根据一些示例实施例的超分辨率成像系统100包括图像处理系统102。图像处理系统102与图像源设备104和图像输出设备106进行电子通信。图像源设备104可以是被配置为捕获和/或存储数字图像的任何电子设备，诸如数字显微镜、数码相机、运行互联网网站的计算机以及个人计算机系统。图像输出设备106可以是被配置为接收基于低分辨率图像的超分辨率图像的任何合适的电子装置。例如，图像输出设备106可以是用于显示高分辨率图像的显示设备或计算机系统。如下面将更详细描述的，超分辨率成像系统100被配置为从图像源设备104接收低分辨率图像，并且基于低分辨率图像生成超分辨率图像，以提供给图像输出设备106。
根据一些示例实施例，本公开的系统和方法可以利用在此描述的两种深度学习架构中的一种，即，渐进式超分辨率系统和并行融合超分辨率系统。图2是示出根据本公开的一些示例实施例的渐进式融合系统的各方面的框图。
参考图2，图1的超分辨率成像系统100可以包括渐进式融合SR成像系统200，其被配置为经由渐进式融合提供渐进式超分辨率，从而允许超分辨率成像在预览模式中生成中等高分辨率图像作为预览图像，并且在非预览模式或离线模式中生成高分辨率图像(例如，具有比中等高分辨率图像更高的分辨率)。
如图2所示，渐进式融合SR成像系统200包括第一单独超分辨率网络S1。第一单独超分辨率网络S1被配置为(从图像源设备104)接收LR输入图像202并生成中等质量高分辨率图像204(例如，作为预览图像)，从而提供给显示设备和/或图像输出设备106。第一单独超分辨率网络S1可以使用本领域已知的任何合适的超分辨率成像算法或处理来生成所述中等质量高分辨率图像。
根据一些示例实施例，第一单独超分辨率网络S1包括任何合适的卷积神经网络架构。根据一些示例实施例，第一单独超分辨率网络S1可以具有相对低的复杂度(例如，在生成输出数据时具有相对较低的计算成本)。神经网络的输出是基于输入(例如，LR输入图像)和权重(例如，网络参数)的乘法和累加的前馈过程。如果网络较小(例如，因为层数和过滤器相对较少)，则计算成本将会更小。因此，第一单独超分辨率网络S1可以基于输入图像实时地(例如，在生成和显示图像时，感知到的延迟很少或没有)生成中等高分辨率图像204。根据本公开的实施例的“实时”的基准是每秒15帧。因此，根据本公开的一些示例实施例，由第一单独超分辨率网络S1生成中等输出图像的处理时间小于1/15秒。在这种情况下，人眼不会感觉到任何延迟。
根据一些示例实施例，第一单独超分辨率网络S1接收LR输入图像202，或者可替换地，第一单独超分辨率网络S1接收双三次上采样版本的LR输入图像202，其中上采样比率取决于目标上采样比率。给定输入是x1，则S1的输出y1可以由下面的等式(1)表示：
y1＝S1(x1) (1)
训练第一单独超分辨率网络S1以提供具有足够超分辨率感知质量的输出y1，以增强用户体验或用户对图像质量的感知。例如，对于照相机应用，围绕来自光学透镜的原始图像中的感兴趣区域，中等高分辨率图像204可以是LR输入图像202的放大版本(例如，其尺寸是LR输入图像202尺寸的数倍(例如是3倍尺寸))，其分辨率与LR输入图像202相同或比LR输入图像202的分辨率更高。这种增加的缩放和图像分辨率可以使，例如，用户能够扫描放大图像中的感兴趣物体，并提高感兴趣物体的清晰度，读取小字等。因此，中等高分辨率图像204可以被提供并显示在由用户操作的设备上，该设备与超分辨率成像系统100进行电子通信或被并入作为超分辨率成像系统100的一部分。
根据一些示例实施例，一旦用户对当前帧满意并且想要捕获图像，用户可以将信号发送到渐进式融合SR成像系统200(例如，通过在用户界面中选择按钮或提示来与渐进式融合SR成像系统200进行交互)，以生成高分辨率图像206。
在第一单独超分辨率网络S1生成中等高分辨率图像204时，所述中等高分辨率图像204(例如，输出y1)也可以被存储在临时帧缓冲器208中。然后，响应于从用户(或由用户操作的设备)接收到指示用户期望捕捉图像的信号，从临时帧缓冲器208中取回中等高分辨率图像204(例如，输出y1)并提供给第二单独超分辨率网络S2，以生成高分辨率图像206。
具体地，作为预览网络S1的输出而生成的超分辨率图像用作中等高分辨率成像器预览，并被缓冲在临时帧缓冲器208中以用于进一步超分辨率成像，从而基于原始低分辨率输入图像和中等高分辨率图像来生成最终高分辨率图像。如果捕获到帧，则将第一单独超分辨率网络S1的超分辨率输出作为输入提供给第二单独超分辨率网络S2，以便以相同的期望放大提供增强的超分辨率质量。第二单独超分辨率网络S2的输入分辨率和输出分辨率相同，但第二单独超分辨率网络S2的输出具有更好的感知质量。
例如，根据一些示例实施例，第二单独超分辨率网络S2的输出例如具有较高的峰值信噪比(PSNR)或较高的结构相似性度量(SSIM)。
PSNR是图像像素的最大可能功率与影响保真度的干扰噪声的功率之间的比率。PSNR可以根据下面的等式(2)来计算：
在等式(2)中，在真实数据(ground truth)与重构图像(SR输出)之间计算MSE。较大的PSNR对应于较好的质量。PSNR的最大值是无穷大。
SSIM是基于感知的模型，其将图像退化视为结构信息中的感知变化，同时还结合了亮度掩蔽和对比度掩蔽。与PSNR相比，SSIM对人类视觉表现出更好的一致性。SSIM可根据以下等式(3)计算：
其中，x是重建图像，y是参考图像(真实数据)，μ是均值，σ是方差，σxy是x和y之间的协方差。C1＝6.5025，C2＝58.5225。SSIM介于[0,1]之间。如果x是y的完美副本，则SSIM将为1。
可以由第二单独超分辨率网络S2基于中等高分辨率图像204和LR输入图像202使用本领域中已知的任何合适的超分辨率成像算法或处理来生成高分辨率图像206。
第二阶段的输出可以由下面的等式(4)表示：
y2＝S2(S1(x1)) (4)
因为这是离线执行的，所以在将输出存储在存储器中之前可以容忍更多的处理能力和延时。
根据一些示例实施例，多个渐进式超分辨率阶段(例如，额外的单独超分辨率网络Sa，其中“a”是大于2的自然数)可以与第一单独超分辨率网络S1和第二单独超分辨率网络S2级联，从而逐步获得更好的超高分辨率质量，每一阶段的输出设置为下一阶段的输入。例如，可以在移动设备上执行第二阶段，而可以由在具有更高数据处理能力和吞吐量的外部计算机器或云服务器上运行的离线软件执行第三阶段。每一阶段的每个输出都是有意义的输出，其可以被视为超分辨率输出图像。如果特定阶段的输出是令人满意的或者期望的，则可以不调用后续阶段。根据超分辨率成像系统100的设计和功能以及个体用户的需要和愿望，期望的图像可以基于许多因素，诸如感知质量、输出生成速度、计算能力或储存内存需求。
在图3中示出根据一些示例实施例的用于训练渐进式融合SR成像系统200的过程，该渐进式融合SR成像系统200操作为超分辨率成像系统100的一部分。首先，在300处，超分辨率成像系统100使用来自缩减成目标尺度的输入低分辨率图像和输出的真实数据图像的补丁对，来训练第一网络(例如，第一单独超分辨率网络S1)。第二，在302处，超分辨率成像系统100生成新数据集，其具有来自从第一网络输出的中等高分辨率和真实数据的补丁对。第三，在304处，然后超分辨率成像系统100修改后续阶段网络以在每个卷积层的输出处执行适当的尺寸调整(如拉伸或填充)以实施相同的输入和输出尺寸。第四，在306处，然后超分辨率成像系统100使用新数据集训练后续阶段网络。然后，在308处，超分辨率成像系统100判断是否已经生成了具有期望分辨率和感知质量(例如，预定义的阈值质量)的输出图像。如果不是，则超分辨率成像系统100重复304和306，直到生成期望的分辨率和感知质量，在此图像被提供为HR输出图像。
对于具有公共网络架构的多个阶段，在训练下一阶段网络时，可以通过前一阶段对网络进行初始化，这可以加快训练后续阶段网络的收敛。
根据一些示例实施例，与非渐进式3层和5层网络结构相比，具有渐进式3层和5层网络结构的超分辨率成像系统100可以提供相对更好的峰值信噪比(PSNR)和结构相似性度量(SSIM)。上述超分辨率成像系统100可以进一步应用于上下文级融合网络。
根据一些示例实施例，超分辨率成像系统100提供并行融合以通过深度学习实现双模超分辨率。如果离线步骤包括渐进式超分辨率系统中的多个阶段，则可能引入延时。在一些情况下，这样的延时可能是期望的，因为不同阶段的网络可能不搭配(collocated)。
然而，如果网络是搭配的，则超分辨率成像系统100可以并行地调用捕获模式的多个阶段。在这样的实施例中，超分辨率成像系统100可以与预览阶段的输出并行地融合捕获步骤的多个阶段(例如，在用户基于预览图像选择捕获高分辨率图像之后，使用第二单独超分辨率网络S2生成最终高分辨率输出图像的步骤)。假设并行处理能力足够，则并行处理的延时局限于在捕获阶段中最慢的融合网络的延时。
根据一些实施例，超分辨率成像系统100可以在捕获步骤提供用于平行融合的像素级融合。例如，所有的超分辨率网络都是针对相同的真实数据进行训练的，并且其输出具有相同的图像尺寸。例如，如果Si(xi)是第i个网络的输出，那么在像素级融合的情况下，并联融合网络的第(u，v)像素的输出是加权和，其可以根据以下的等式(5)来计算：
yu，v＝∑jwjSj，(u，v)+bj (5)
图4是根据一些示例实施例的用于像素级融合的示例图，其中像素级加权和被应用于多个单独超分辨率网络的输出图像，并且其中每个单独超分辨率网络的总和被设置为输出图像。对于诸如超分辨率的应用，独立于一个像素的相邻像素来看待该像素可能不是很有用。因此，根据一个实施例，本系统和方法在生成融合输出之前，合并从每个网络预测的关于像素的上下文信息。这可以通过使用卷积层的融合来实现。
相关卷积层应用三维(3D)内核，其中第三维的大小是每层中输入通道的数量。在像素级融合网络中，针对给定像素的输出是跨越卷积输出的加权和(即这些像素的周围像素的加权和)，其给出了由内核大小决定的所有融合网络的上下文信息。此外，可以插入额外的卷积层以进一步获得在融合后获得的特征的加权和。
图5是根据一些示例实施例的利用上下文级融合架构350的超分辨率成像系统100的框图。类似于上面关于图2描述的渐进式超分辨率成像，缓冲器352用于缓冲单独预览网络S1的中等高分辨率输出。然而，也可以利用另一缓冲器354来缓冲原始低分辨率帧，以在捕捉或离线模式下并行地馈送到其他超分辨率成像网络。
如图5所示，作为预览步骤网络操作的第一单独超分辨率网络S1可以接收如上面关于图2所述的LR输入图像202。另外，LR输入图像202被存储在低分辨率帧缓冲器354中。然后，第一单独超分辨率网络S1的输出图像356被存储在高分辨率帧缓冲器352中作为中等高分辨率预览图像。一旦用户设备接收指示用户希望生成预览图像的最终高分辨率图像的捕获信号，一个或多个捕获步骤网络(例如，单独超分辨率网络S2和S3)从低分辨率帧缓冲器354获取LR输入图像202以生成相应的中等高分辨率图像358和360。可以使用本领域中已知的任何合适的超分辨率成像算法或处理来生成中等高分辨率图像356、358和360。然后，将具有卷积核的对应融合层应用于中等高分辨率图像356、358和360，并且将每一个的输出合并成要提供给输出设备106的高分辨率图像206。合并基于上下文级融合，其首先通过单独融合层(W1，b1)(W2，b2)(W3，b3)来对中等高分辨率图像356、358和360进行卷积，然后将它们相加在一起以获得精确的HR图像206。类似于方程(5)，如果Si(xi)是第i个网络的输出，则在上下文融合的情况下，第(u，v)像素处的输出是可以根据等式(5)计算的加权和。加权和隐含地由上下文卷积层实现，所述上下文卷积层具有k×k×M卷积核，其中M是待融合网络的数量(M＝3)。在这个例子中，k×k是上下文融合接受场，其中输出信道Yo的(y，x)像素由下面的等式(6)给出：
因为与像素级融合相比，接受场大得多，所以输出HR的感知质量更好。
在图6中示出根据一些示例实施例的用于针对双模超分辨率训练并行上下文级融合网络的过程。首先，在600处，超分辨率成像系统100使用缩减至目标尺度的输入低分辨率图像以及输出的真实数据图像的补丁对来训练所有不同的网络。第二，在602处，在一个或多个上下文融合层的情况下，超分辨率成像系统100利用附加到3个网络输出端的3维卷积核来构建新的网络，由高斯分布对所述3个网络进行初始化。
然后，在604处，根据一些实施例，超分辨率成像系统100可以用相同的输入输出对来进行重新训练，同时冻结所有单独超分辨率网络的权重并且改变上下文融合层的权重。可替换地，根据一些实施例，超分辨率成像系统100以相同的输入输出对来进行重新训练，同时允许对除了预览网络的参数之外的所有层的参数进行微调。
可以观察到，训练过程比渐进式超分辨率成像更快。在超分辨率成像系统100以相同输入输出对进行重新训练的第二场景中，可以冻结预览网络的权重以利用在预览模式期间完成的计算。预览阶段的输出直接馈送到上下文级融合阶段，而不需要再次运行预览网络。
渐进式超分辨率成像或并行上下文级融合的应用取决于用户的目标以及超分辨率成像系统100的设计和功能。如果所有网络是搭配的，则可以通过并行上下文级融合实现最佳性能。否则，为了下一阶段的延迟应用，渐进式超分辨率融合架构可以取得优异的结果。
根据一些示例实施例，超分辨率成像系统100提供包括预览网络和至少一个细化网络的级联融合、用于训练网络的方法以及用于操作渐进式超分辨率成像的方法。根据另一个实施例，超分辨率成像系统100提供包括预览网络、至少一个细化网络和上下文级融合层的并行融合、用于训练网络及其融合层的方法以及用于在预览模式和细化模式中操作的方法。
图7A和图7B描绘了可以在本公开的示例实施例中采用的计算设备1500的框图。例如，计算设备1500可以用于超分辨率成像系统100的各种部件。
每个计算设备1500包括中央处理单元1521和主存储单元1522。如图7A所示，计算设备1500还可以包括存储设备1528、可移动介质接口1516、网络接口1518、输入/输出(I/O)控制器1523、一个或多个显示设备1530c、键盘1530a和诸如鼠标的定点设备1530b。存储设备1528可以包括但不限于，用于操作系统和软件的存储器。如图7B所示，每个计算设备1500还可以包括与中央处理单元1521通信的额外的可选元件，诸如存储器端口1503、桥接器1570、一个或多个附加输入/输出设备1530d、1530e和高速缓存1540。在这里可以使用附图标记1530来共同地表示输入/输出设备1530a、1530b、1530d和1530e。
中央处理单元1521是任何逻辑电路，其响应并处理从主存储单元1522获取的指令。中央处理单元1521可以例如在集成电路中以微处理器、微控制器或图形处理单元(GPU)或现场可编程门阵列(FPGA)或专用集成电路(ASIC)的形式实现。主存储单元1522可以是能够存储数据并允许中央处理单元1521直接访问任何存储位置的一个或多个存储芯片。如图7A所示，中央处理单元1521经由系统总线1550与主存储单元1522通信。如图7B所示，中央处理单元1521也可经由存储器端口1503直接与主存储单元1522通信。
图7B描绘了中央处理单元1521经由二级总线(有时称为后侧总线)直接与高速缓存1540通信的实施例。在其他实施例中，中央处理单元1521使用系统总线1550与高速缓存1540通信。高速缓存1540通常具有比主存储单元1522更快的响应时间。如图7A所示，中央处理单元1521经由本地系统总线1550与各种I/O设备1530通信。各种总线可以用作本地系统总线1550，包括视频电子标准协会(VESA)本地总线(VLB)、工业标准体系结构(ISA)总线、扩展工业标准体系结构(EISA)总线、微通道体系结构(MCA)总线、外围部件互连(PCI)总线、PCI扩展(PCI-X)总线、PCI-快速总线、或者NuBus。对于I/O设备是显示设备1530c的实施例，中央处理单元1521可以通过高级图形端口(AGP)与显示设备1530c通信。图7B描绘了中央处理单元1521直接与I/O设备1530e通信的计算设备1500的实施例。图7B还描述了混合本地总线和直接通信的实施例：中央处理单元1521使用本地系统总线1550与I/O设备1530d通信，同时直接与I/O设备1530e通信。
各种各样的I/O设备1530可以存在于计算设备1500中。输入设备包括一个或多个键盘1530a、鼠标、触控板、轨迹球、麦克风和绘图板。输出设备包括视频显示设备1530c、扬声器和打印机。如图7A所示的I/O控制器1523可以控制I/O设备。I/O控制器1523可以控制一个或多个I/O设备，例如键盘1530a和例如鼠标或光笔的定点设备1530b。
再次参考图7A，计算设备1500可以支持一个或多个可移动介质接口1516，诸如软盘驱动器、CD-ROM驱动器、DVD-ROM驱动器、各种格式的磁带驱动器、USB端口、SD存储卡端口或CFTM存储卡端口或适用于从只读介质读取数据或从读写介质读取数据或向读写介质写入数据的任何其他设备。I/O设备1530可以是系统总线1550和可移动介质接口1516之间的桥梁。
可移动介质接口1516可以例如用于安装软件和程序。计算设备1500还可以包括用于存储操作系统和其他相关软件以及用于存储应用软件程序的存储设备1528，诸如一个或多个硬盘驱动器或硬盘驱动器阵列。可选地，可移动介质接口1516也可以用作存储设备。例如，可以从可启动介质(例如，可启动CD)运行操作系统和软件。
在一些实施例中，计算设备1500可以包括或连接到多个显示设备1530c，这些显示设备1530c中的每一个可以具有相同或不同的类型和/或形式。这样，I/O设备1530和/或I/O控制器1523中的任何一个可以包括任何类型和/或形式的合适的硬件、软件或硬件和软件的组合，以由计算设备1500支持、启用或提供与多个显示设备1530c的连接以及使用多个显示设备1530c。例如，计算设备1500可以包括任何类型和/或形式的视频适配器、视频卡、驱动器和/或库，以用于与显示设备1530c交互、通信、连接，或者另外使用显示设备1530c。在一个实施例中，视频适配器可以包括多个连接器以与多个显示设备1530c交互。在其他实施例中，计算设备1500可以包括多个视频适配器，每个视频适配器连接到一个或多个显示设备1530c。在一些实施例中，计算设备1500的操作系统的任何部分可以被配置为使用多个显示设备1530c。在其他实施例中，一个或多个显示设备1530c可以由一个或多个其他计算设备提供，所述一个或多个其他计算设备例如经由网络连接到计算设备1500。这些实施例可以包括被设计和构造为使用另一个计算设备的显示设备作为计算设备1500的第二显示设备1530c的任何类型的软件。本领域的普通技术人员将认识并理解以下各种方式和实施例：计算设备1500可以被配置为具有多个显示设备1530c。
图7A和图7B中所描绘的类型的计算设备1500可以在操作系统的控制下操作，该操作系统控制任务的调度和对系统资源的访问。计算设备1500可以运行任何操作系统、任何嵌入式操作系统、任何实时操作系统、任何开源操作系统、任何专有操作系统、用于移动计算设备的任何操作系统、或任何其他能够在计算设备上运行并执行本文所述操作的操作系统。
计算设备1500可以是任何工作站、台式计算机、膝上型电脑或笔记本计算机、服务器机器、手持式计算机、移动电话或其它便携式电信设备、媒体播放设备、游戏系统、移动计算设备或任何其他类型和/或形式的计算、电信或媒体设备，其能够通信并且具有足够的处理器能力和存储容量来执行本文所述的操作。在一些实施例中，计算设备1500可以具有与该设备一致的不同的处理器、操作系统和输入设备。
在其他实施例中，计算设备1500是移动设备，诸如启用Java的蜂窝电话或个人数字助理(PDA)、智能电话、数字音频播放器或便携式媒体播放器。在一些实施例中，计算设备1500包括各种设备的组合，诸如移动电话与数字音频播放器或便携式媒体播放器组合。
如图7C所示，中央处理单元1521可以包括多个处理器P1、P2、P3、P4，并且可以提供用于对一条以上数据同时执行指令或者同时执行一个指令的功能。在一些实施例中，计算设备1500可以包括具有一个或多个核的并行处理器。在这些实施例之一中，计算设备1500是具有多个处理器和/或多个处理器核的共享式存储并行设备，所述多个处理器和/或多个处理器核访问作为单个全局地址空间的所有可用存储器。在这些实施例的另一个中，计算设备1500是具有多个处理器的分布式存储并行设备，每个处理器仅访问本地存储器。在这些实施例的又一个中，计算设备1500具有一些被共享的存储器和一些只能由特定处理器或处理器子集访问的存储器。在这些实施例中的又一个中，中央处理单元1521包括多核微处理器，其将两个或更多个独立处理器组合成单个封装件，例如组合到单个集成电路(IC)中。在一个示例实施例中，如图7D所示，计算设备1500包括至少一个中央处理单元1521和至少一个图形处理单元1521'。
在一些实施例中，中央处理单元1521提供单个指令、多数据(SIMD)功能，例如同时对多条数据执行单个指令。在其他实施例中，中央处理单元1521中的若干处理器可以提供对多条数据(MIMD)同时执行多条指令的功能。在其他实施例中，在单个设备中，中央处理单元1521可以使用SIMD核和MIMD核的任何组合。
计算设备可以是通过网络连接的多个机器中的一个，或者计算设备可以包括如此连接的多个机器。图7E显示了一个示例网络环境。网络环境包括一个或多个本地机器1502a、1502b(通常还称为本地机器1502、客户1502、客户节点1502、客户机1502、客户计算机1502、客户设备1506c、终点1502或终点节点1502)，其经由一个或多个网络1504与一个或多个远程机器1506a、1506b、1506c(也通常称为服务器机器1506或远程服务器1506)通信。在一些实施例中，本地机器1502具有用作客户机节点和服务器机器二者的功能，所述客户机节点寻求访问由服务器机器提供的资源，所述服务器机器提供对其他客户端1502a、1502b的托管资源的访问。尽管在图7E中仅示出了两个客户端1502和三个服务器机器1506，但是通常每种可以是任意数量。网络1504可以是局域网(LAN)，例如诸如公司内联网、城域网(MAN)的专用网络，或者诸如因特网或另一公众网络的广域网(WAN)，或其组合。
计算设备1500可以包括网络接口1518以通过包括但不限于，标准电话线、局域网(LAN)或广域网(WAN)链接的各种连接、宽带连接、无线连接或上述任何或全部的组合而与网络1504连接。可以使用各种通信协议建立连接。在一个实施例中，计算设备1500经由诸如安全套接层(SSL)或传输层安全性(TLS)的任何类型和/或形式的网关或隧道协议与其他计算设备1500通信。网络接口1518可以包括内置网络适配器(诸如网络接口卡)，其适用于将计算设备1500连接到能够通信并且执行本文所述操作的任何类型的网络。I/O设备1530可以是系统总线1550和外部通信总线之间的桥梁。
根据一个实施例，图7E的网络环境可以是网络的各种组件被虚拟化的虚拟网络环境。例如，各种机器1502可以是虚拟机，其被实现为在物理机上运行的基于软件的计算机。虚拟机可以共享相同的操作系统。在其他实施例中，可以在每个虚拟机实例上运行不同的操作系统。根据一个实施例，在同一主机物理机上运行多个虚拟机的情况下，实现“管理程序”类型的虚拟化，每个虚拟机如同它具有其自己的专用箱一样运行。当然，也可以在不同的主机物理机上运行虚拟机。
尽管已经在某些特定实施例中描述了本公开内容，但是本领域技术人员将毫不费力地设计对所描述的实施例的变化，而决不偏离本公开的范围。此外，对于各种技术领域的技术人员而言，本文中的公开本身将提出针对其他任务的解决方案以及针对其他应用的适应性修改。申请人的意图是通过权利要求覆盖本公开的所有这些用途以及为了公开的目的而可以对本文选择的本公开的实施例做出的那些改变和修改，而不偏离本公开的范围。因此，在所有方面本公开的当前实施例都应被认为是说明性的而非限制性的，本公开的范围由所附权利要求书及其等同物而不是前面的描述来指示。

Claims (20)

1.一种用于超分辨率成像的方法，所述方法包括：
由处理器接收低分辨率图像；
由所述处理器生成中等高分辨率图像，与所述低分辨率图像相比，所述中等高分辨率图像具有提高的分辨率；
由所述处理器基于所述中等高分辨率图像和所述低分辨率图像生成最终高分辨率图像；以及
由所述处理器将所述最终高分辨率图像发送到显示设备从而进行显示。
2.根据权利要求1所述的用于超分辨率成像的方法，还包括：
由所述处理器从请求捕获所述中等高分辨率图像的用户设备接收信号；以及
在从所述用户设备接收到所述信号之后，由所述处理器生成所述最终高分辨率图像。
3.根据权利要求1所述的用于超分辨率成像的方法，还包括：
由所述处理器同时生成一个或多个中等高分辨率图像，每个中等高分辨率图像利用单独的卷积神经网络；以及
由所述处理器将所述一个或多个中等高分辨率图像存储在缓冲器中。
4.根据权利要求3所述的用于超分辨率成像的方法，还包括：
由所述处理器从请求捕获所述一个或多个中等高分辨率图像的用户设备接收信号；
由所述处理器从所述缓冲器中取回所述一个或多个中等高分辨率图像；以及
在从所述用户设备接收到所述信号之后，基于对来自所述缓冲器的所述一个或多个中等高分辨率图像的处理以及不同于所述单独的卷积神经网络的第一卷积神经网络，由所述处理器生成所述最终高分辨率图像。
5.根据权利要求1所述的用于超分辨率成像的方法，还包括：
由所述处理器将所述低分辨率图像存储在第一缓冲器中。
6.根据权利要求5所述的用于超分辨率成像的方法，还包括：
由所述处理器利用第一单独的卷积神经网络来生成所述中等高分辨率图像；
由所述处理器将所述中等高分辨率图像存储在第二缓冲器中；
由所述处理器从请求捕获所述中等高分辨率图像的用户设备接收信号；
由所述处理器从所述第一缓冲器取回所述低分辨率图像；以及
由所述处理器通过第二单独的卷积神经网络生成与所述中等高分辨率图像不同的第一中等高分辨率图像。
7.根据权利要求6所述的用于超分辨率成像的方法，还包括：
由所述处理器将具有第一卷积核的第一融合层应用于所述第一单独的卷积神经网络的输出图像，以生成第一数据集；
由所述处理器将具有第二卷积核的第二融合层应用于所述第二单独的卷积神经网络的输出图像，以生成第二数据集；以及
由所述处理器合并所述第一数据集和所述第二数据集，以生成所述最终高分辨率图像。
8.一种用于超分辨率成像的系统，所述系统包括：
处理器；以及
存储器，其耦接到所述处理器，其中，所述存储器存储指令，所述指令在由所述处理器执行时使所述处理器执行以下步骤：
接收低分辨率图像；
生成中等高分辨率图像，与所述低分辨率图像相比，所述中等高分辨率图像具有提高的分辨率；
基于所述中等高分辨率图像和所述低分辨率图像生成最终高分辨率图像；以及
将所述最终高分辨率图像传输至显示设备从而进行显示。
9.根据权利要求8所述的用于超分辨率成像的系统，其中，所述指令还使所述处理器：
从请求捕获所述中等高分辨率图像的用户设备接收信号；以及
在从所述用户设备接收到所述信号之后，生成所述最终高分辨率图像。
10.根据权利要求8所述的用于超分辨率成像的系统，其中，所述指令还使所述处理器：
同时生成一个或多个中等高分辨率图像，每个中等高分辨率图像利用单独的卷积神经网络；以及
将所述一个或多个中等高分辨率图像存储在缓冲器中。
11.根据权利要求10所述的用于超分辨率成像的系统，其中，所述指令还使所述处理器：
从请求捕获所述一个或多个中等高分辨率图像的用户设备接收信号；
从所述缓冲器中取回所述一个或多个中等高分辨率图像；以及
在从所述用户设备接收到所述信号之后，基于对来自所述缓冲器的所述一个或多个中等高分辨率图像的处理以及不同于所述单独的卷积神经网络的第一卷积神经网络，生成所述最终高分辨率图像。
12.根据权利要求8所述的用于超分辨率成像的系统，其中，所述指令还使所述处理器：
将所述低分辨率图像存储在第一缓冲器中。
13.根据权利要求12所述的用于超分辨率成像的系统，其中，所述指令还使所述处理器：
利用第一单独的卷积神经网络来生成所述中等高分辨率图像；
将所述中等高分辨率图像存储在第二缓冲器中；
从请求捕获所述中等高分辨率图像的用户设备接收信号；
从所述第一缓冲器取回所述低分辨率图像；以及
通过第二单独的卷积神经网络生成与所述中等高分辨率图像不同的第一中等高分辨率图像。
14.根据权利要求13所述的用于超分辨率成像的系统，其中，所述指令还使所述处理器：
将具有第一卷积核的第一融合层应用于所述第一单独的卷积神经网络的输出图像，以生成第一数据集；
将具有第二卷积核的第二融合层应用于所述第二单独的卷积神经网络的输出图像，以生成第二数据集；以及
合并所述第一数据集和所述第二数据集，以生成所述最终高分辨率图像。
15.一种用于超分辨率成像的系统，所述系统包括：
处理器；以及
存储器，其耦接到所述处理器，其中，所述存储器存储指令，所述指令在由所述处理器执行时使所述处理器执行以下步骤：
接收低分辨率图像；
生成中等高分辨率图像，与所述低分辨率图像相比，所述中等高分辨率图像具有提高的分辨率；
基于所述中等高分辨率图像和所述低分辨率图像生成最终高分辨率图像；
从请求捕获所述中等高分辨率图像的用户设备接收信号；
在从所述用户设备接收到所述信号之后，生成所述最终高分辨率图像；以及
将所述最终高分辨率图像传输至显示设备从而进行显示。
16.根据权利要求15所述的用于超分辨率成像的系统，其中，所述指令还使所述处理器：
利用单独的卷积神经网络生成所述中等高分辨率图像；以及
将所述中等高分辨率图像存储在缓冲器中。
17.根据权利要求16所述的用于超分辨率成像的系统，其中所述指令还使所述处理器：
从请求捕获所述中等高分辨率图像的用户设备接收信号；
从所述缓冲器中取回所述中等高分辨率图像；以及
在从所述用户设备接收到所述信号之后，基于来自所述缓冲器的所述中等高分辨率图像，生成所述最终高分辨率图像。
18.根据权利要求15所述的用于超分辨率成像的系统，其中，所述指令还使所述处理器：
将所述低分辨率图像存储在第一缓冲器中。
19.根据权利要求18所述的用于超分辨率成像的系统，其中，所述指令还使所述处理器：
利用第一单独的卷积神经网络来生成所述中等高分辨率图像；
将所述中等高分辨率图像存储在第二缓冲器中；
从请求捕获所述中等高分辨率图像的用户设备接收信号；
从所述第一缓冲器取回所述低分辨率图像；以及
通过第二单独的卷积神经网络生成与所述中等高分辨率图像不同的第一中等高分辨率图像。
20.根据权利要求19所述的用于超分辨率成像的系统，其中，所述指令还使所述处理器：
将具有第一卷积核的第一融合层应用于所述第一单独的卷积神经网络的输出图像，以生成第一数据集；
将具有第二卷积核的第二融合层应用于所述第二单独的卷积神经网络的输出图像，以生成第二数据集；以及
合并所述第一数据集和所述第二数据集，以生成所述最终高分辨率图像。
CN201810310847.8A 2017-04-10 2018-04-09 用于深度学习图像超分辨率的系统和方法 Active CN108694700B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762483924P 2017-04-10 2017-04-10
US62/483,924 2017-04-10
US15/671,036 2017-08-07
US15/671,036 US10489887B2 (en) 2017-04-10 2017-08-07 System and method for deep learning image super resolution

Publications (2)

Publication Number Publication Date
CN108694700A true CN108694700A (zh) 2018-10-23
CN108694700B CN108694700B (zh) 2023-12-01

Family

ID=63711727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810310847.8A Active CN108694700B (zh) 2017-04-10 2018-04-09 用于深度学习图像超分辨率的系统和方法

Country Status (4)

Country Link
US (3) US10489887B2 (zh)
KR (1) KR102479965B1 (zh)
CN (1) CN108694700B (zh)
TW (1) TWI756378B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111447359A (zh) * 2020-03-19 2020-07-24 展讯通信（上海）有限公司 数字变焦方法、系统、电子设备、介质及数字成像设备
CN112435162A (zh) * 2020-11-13 2021-03-02 中国科学院沈阳自动化研究所 一种基于复数域神经网络的太赫兹图像超分辨重建方法
CN112565887A (zh) * 2020-11-27 2021-03-26 紫光展锐(重庆)科技有限公司 一种视频处理方法、装置、终端及存储介质
CN112905132A (zh) * 2019-11-19 2021-06-04 华为技术有限公司 投屏方法及设备
CN112999655A (zh) * 2021-03-05 2021-06-22 南京雷鲨信息科技有限公司 智能终端、应用于该智能终端的游戏实时ai超分方法、系统及计算机可读存储介质

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
US11308361B1 (en) * 2017-07-07 2022-04-19 Twitter, Inc. Checkerboard artifact free sub-pixel convolution
WO2019025298A1 (en) * 2017-07-31 2019-02-07 Institut Pasteur METHOD, DEVICE AND COMPUTER PROGRAM FOR IMPROVING THE RECONSTRUCTION OF VERY HIGH RESOLUTION DENSED IMAGES FROM LIMITED-LIFE DIFFRACTION IMAGES ACQUIRED BY MONOMOLECULAR LOCATION MICROSCOPY
US10679129B2 (en) * 2017-09-28 2020-06-09 D5Ai Llc Stochastic categorical autoencoder network
JP7073715B2 (ja) * 2017-12-28 2022-05-24 富士フイルムビジネスイノベーション株式会社 画像処理装置及び画像処理プログラム
EP3514733A1 (en) * 2018-01-18 2019-07-24 Aptiv Technologies Limited A device and a method for image classification using a convolutional neural network
JP6978675B2 (ja) * 2018-01-25 2021-12-08 富士通株式会社 データ圧縮装置、データ圧縮方法およびデータ圧縮プログラム
CN108282664B (zh) * 2018-01-30 2020-12-29 深圳创维－Rgb电子有限公司 图像处理方法、装置、系统及计算机可读存储介质
DE102018214198A1 (de) * 2018-08-22 2020-02-27 Robert Bosch Gmbh System zum Bewerten eines Bildes, Betriebsassistenzverfahren und Steuereinheit für eine Arbeitsvorrichtung sowie Arbeitsvorrichtung
KR20200063289A (ko) 2018-11-16 2020-06-05 삼성전자주식회사 영상 처리 장치 및 그 동작방법
CN110009093B (zh) * 2018-12-07 2020-08-07 阿里巴巴集团控股有限公司 用于分析关系网络图的神经网络系统和方法
CN109658352B (zh) * 2018-12-14 2021-09-14 深圳市商汤科技有限公司 图像信息的优化方法及装置、电子设备和存储介质
TWI694414B (zh) * 2018-12-18 2020-05-21 國立成功大學 卷積神經網路分析方法、電腦程式產品與電子裝置
CN109934773B (zh) * 2019-03-13 2023-08-25 北京旷视科技有限公司 一种图像处理方法、装置、电子设备和计算机可读介质
KR102167344B1 (ko) 2019-03-19 2020-10-19 중앙대학교 산학협력단 초고해상도 복원을 위한 깊이 조절 가능한 신경망 설계 방법 및 그 시스템
KR20200127766A (ko) * 2019-05-03 2020-11-11 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
CN110246083B (zh) * 2019-05-10 2023-02-24 杭州电子科技大学 一种荧光显微图像超分辨率成像方法
KR102410907B1 (ko) * 2019-05-22 2022-06-21 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
CN111986069A (zh) 2019-05-22 2020-11-24 三星电子株式会社 图像处理装置及其图像处理方法
CN112153465B (zh) * 2019-06-28 2024-01-16 北京京东尚科信息技术有限公司 图像加载方法及装置
CN112188237A (zh) * 2019-07-04 2021-01-05 国家广播电视总局广播电视科学研究院 节目分发方法和装置、接收方法、终端设备及介质
US20220358571A1 (en) * 2019-07-05 2022-11-10 Infilect Technologies Private Limited System and method for extracting product information from low resolution photos for updating product master
KR20210019835A (ko) 2019-08-13 2021-02-23 한국전자통신연구원 방향 적응형 병렬 신경망을 이용한 초해상도 영상 생성 장치 및 방법
KR102147912B1 (ko) * 2019-08-13 2020-08-25 삼성전자주식회사 프로세서 칩 및 그 제어 방법들
KR20210020387A (ko) * 2019-08-14 2021-02-24 삼성전자주식회사 전자 장치 및 그 제어 방법
EP4028984A4 (en) * 2019-09-11 2023-01-11 The State of Israel, Ministry of Agriculture & Rural Development, Agricultural Research Organization (ARO) (Volcani Center) SUPER-RESOLUTION METHODS AND SYSTEMS FOR INFRARED IMAGING
CN110689061B (zh) * 2019-09-19 2023-04-28 小米汽车科技有限公司 一种基于对齐特征金字塔网络的图像处理方法、装置及系统
US11588987B2 (en) * 2019-10-02 2023-02-21 Sensors Unlimited, Inc. Neuromorphic vision with frame-rate imaging for target detection and tracking
KR102624027B1 (ko) 2019-10-17 2024-01-11 삼성전자주식회사 영상 처리 장치 및 방법
CN111083359B (zh) * 2019-12-06 2021-06-25 Oppo广东移动通信有限公司 图像处理方法及其装置、电子设备和计算机可读存储介质
KR20210079956A (ko) * 2019-12-20 2021-06-30 삼성전자주식회사 네트워크를 통해 영상 처리 서비스를 제공하는 전자 장치
US11403734B2 (en) 2020-01-07 2022-08-02 Ademco Inc. Systems and methods for converting low resolution images into high resolution images
CN113160044B (zh) * 2020-01-23 2023-12-26 百度在线网络技术（北京）有限公司 深度图像超分辨率方法、训练方法及装置、设备、介质
TWI733341B (zh) 2020-02-20 2021-07-11 瑞昱半導體股份有限公司 用於圖像放大與增強的方法與裝置
KR20220162603A (ko) 2020-04-01 2022-12-08 보에 테크놀로지 그룹 컴퍼니 리미티드 컴퓨터 구현 방법, 장치 및 컴퓨터 프로그램 제품
US11790489B2 (en) * 2020-04-07 2023-10-17 Samsung Electronics Co., Ltd. Systems and method of training networks for real-world super resolution with unknown degradations
US11335112B2 (en) 2020-04-27 2022-05-17 Adernco Inc. Systems and methods for identifying a unified entity from a plurality of discrete parts
US11978328B2 (en) 2020-04-28 2024-05-07 Ademco Inc. Systems and methods for identifying user-customized relevant individuals in an ambient image at a doorbell device
CN111654621B (zh) * 2020-05-26 2021-04-16 浙江大学 一种基于卷积神经网络模型的双焦相机连续数字变焦方法
TWI768364B (zh) * 2020-06-01 2022-06-21 宏碁股份有限公司 處理可播放於一虛擬裝置的圖片的方法及電子裝置
KR102478813B1 (ko) * 2020-08-14 2022-12-19 주식회사 지디에프랩 검사용 이미지의 화질 개선 시스템
US11848015B2 (en) 2020-10-01 2023-12-19 Realwear, Inc. Voice command scrubbing
US20220130013A1 (en) * 2020-10-26 2022-04-28 Nvidia Corporation Training one or more neural networks using synthetic data
KR102339619B1 (ko) * 2020-11-19 2021-12-17 광주과학기술원 이미지 품질향상장치, 이미지 품질향상방법
KR20220071011A (ko) * 2020-11-23 2022-05-31 삼성전자주식회사 전자 장치 및 그 제어 방법
US11823350B2 (en) * 2021-01-25 2023-11-21 Lemon Inc. Image/video processing
CN112995504B (zh) * 2021-02-08 2023-04-07 北京小米移动软件有限公司 图像的显示方法及装置、存储介质
WO2023063939A1 (en) * 2021-10-13 2023-04-20 Hewlett-Packard Development Company, L.P. Neural network image enhancement
KR102651559B1 (ko) * 2021-12-08 2024-03-26 주식회사 딥엑스 영상 융합을 위한 신경 프로세싱 유닛 및 인공신경망 시스템
US20230252603A1 (en) * 2022-02-08 2023-08-10 Kyocera Document Solutions, Inc. Mitigation of quantization-induced image artifacts
CN114549328B (zh) * 2022-04-24 2022-07-22 西南财经大学 Jpg图像超分辨率恢复方法、计算机可读存储介质及终端
TWI799265B (zh) * 2022-05-12 2023-04-11 瑞昱半導體股份有限公司 超解析度裝置及方法
KR102628166B1 (ko) 2022-09-05 2024-01-24 주식회사 에어스메디컬 인공 신경망 기반 해상도 향상 방법, 프로그램 및 장치
CN116483587B (zh) * 2023-06-21 2023-09-08 湖南马栏山视频先进技术研究院有限公司 一种基于图像分割的视频超分并行方法、服务器及介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998057300A2 (en) * 1997-06-10 1998-12-17 Flashpoint Technology, Inc. A method and system for accelerating a user interface of an image capture unit during play mode
US20070019887A1 (en) * 2004-06-30 2007-01-25 Oscar Nestares Computing a higher resolution image from multiple lower resolution images using model-base, robust bayesian estimation
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
JP2011164967A (ja) * 2010-02-10 2011-08-25 Mitsubishi Electric Corp 画像処理装置および画像処理方法
US20130038758A1 (en) * 2010-04-15 2013-02-14 Olympus Corporation Image processing device, imaging device, information storage medium, and image processing method
US20130051519A1 (en) * 2011-08-31 2013-02-28 Dong Yang Methods and apparatus for super resolution scanning for cbct system and cone-beam image reconstruction
CN104750642A (zh) * 2013-12-31 2015-07-01 三星电子株式会社 具有极性处理机制的计算系统和其操作方法
US20150347861A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Object-Of-Interest Detection And Recognition With Split, Full-Resolution Image Processing Pipeline
WO2016019484A1 (en) * 2014-08-08 2016-02-11 Xiaoou Tang An apparatus and a method for providing super-resolution of a low-resolution image
JP2016110312A (ja) * 2014-12-04 2016-06-20 株式会社東芝 画像処理方法、画像処理装置及びプログラム
CA2921672A1 (en) * 2015-03-04 2016-09-04 Accenture Global Services Limited Digital image processing using convolutional neural networks
CN106204449A (zh) * 2016-07-06 2016-12-07 安徽工业大学 一种基于对称深度网络的单幅图像超分辨率重建方法
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
JP2017063467A (ja) * 2016-11-14 2017-03-30 シャープ株式会社 画像処理装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659666A (en) 1994-10-13 1997-08-19 Thaler; Stephen L. Device for the autonomous generation of useful information
US6324532B1 (en) * 1997-02-07 2001-11-27 Sarnoff Corporation Method and apparatus for training a neural network to detect objects in an image
US7545965B2 (en) * 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
GB2453263A (en) * 2006-05-16 2009-04-01 Douglas S Greer System and method for modeling the neocortex and uses therefor
US7817857B2 (en) 2006-05-31 2010-10-19 Microsoft Corporation Combiner for improving handwriting recognition
JP6384065B2 (ja) 2014-03-04 2018-09-05 日本電気株式会社 情報処理装置、学習方法、及び、プログラム
WO2015192316A1 (en) * 2014-06-17 2015-12-23 Beijing Kuangshi Technology Co., Ltd. Face hallucination using convolutional neural networks
KR101988222B1 (ko) 2015-02-12 2019-06-13 한국전자통신연구원 대어휘 연속 음성 인식 장치 및 방법
EP3259914A1 (en) * 2015-02-19 2017-12-27 Magic Pony Technology Limited Interpolating visual data
GB201604672D0 (en) * 2016-03-18 2016-05-04 Magic Pony Technology Ltd Generative methods of super resolution
CN105120130B (zh) * 2015-09-17 2018-06-29 京东方科技集团股份有限公司 一种图像升频系统、其训练方法及图像升频方法
CN108475415B (zh) * 2015-12-21 2022-05-27 商汤集团有限公司 用于图像处理的方法和系统
US9836820B2 (en) * 2016-03-03 2017-12-05 Mitsubishi Electric Research Laboratories, Inc. Image upsampling using global and local constraints
CN105847968B (zh) * 2016-03-21 2018-12-21 京东方科技集团股份有限公司 基于深度学习的解像方法和系统
US10929977B2 (en) * 2016-08-25 2021-02-23 Intel Corporation Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation
US11024009B2 (en) * 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network
TWI624804B (zh) * 2016-11-07 2018-05-21 盾心科技股份有限公司 利用超解析重建法生成高解析度影像的方法與系統
US10701394B1 (en) * 2016-11-10 2020-06-30 Twitter, Inc. Real-time video super-resolution with spatio-temporal networks and motion compensation
CN106709875B (zh) * 2016-12-30 2020-02-18 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
US10803378B2 (en) * 2017-03-15 2020-10-13 Samsung Electronics Co., Ltd System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions
WO2018216207A1 (ja) * 2017-05-26 2018-11-29 楽天株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US20180342045A1 (en) * 2017-05-26 2018-11-29 Microsoft Technology Licensing, Llc Image resolution enhancement using machine learning
US10438322B2 (en) * 2017-05-26 2019-10-08 Microsoft Technology Licensing, Llc Image resolution enhancement
WO2019025298A1 (en) * 2017-07-31 2019-02-07 Institut Pasteur METHOD, DEVICE AND COMPUTER PROGRAM FOR IMPROVING THE RECONSTRUCTION OF VERY HIGH RESOLUTION DENSED IMAGES FROM LIMITED-LIFE DIFFRACTION IMAGES ACQUIRED BY MONOMOLECULAR LOCATION MICROSCOPY
US10909657B1 (en) * 2017-09-11 2021-02-02 Apple Inc. Flexible resolution support for image and video style transfer
CN110838124B (zh) * 2017-09-12 2021-06-18 深圳科亚医疗科技有限公司 用于分割具有稀疏分布的对象的图像的方法、系统和介质
US11263782B2 (en) * 2017-10-11 2022-03-01 Qualcomm Incorporated Image signal processor for processing images
US10643306B2 (en) * 2017-10-11 2020-05-05 Qualcomm Incoporated Image signal processor for processing images
US10733714B2 (en) * 2017-11-09 2020-08-04 Samsung Electronics Co., Ltd Method and apparatus for video super resolution using convolutional neural network with two-stage motion compensation
US10922793B2 (en) * 2018-05-16 2021-02-16 Nvidia Corporation Guided hallucination for missing image content using a neural network
US10380753B1 (en) * 2018-05-30 2019-08-13 Aimotive Kft. Method and apparatus for generating a displacement map of an input dataset pair
US10547823B2 (en) * 2018-09-25 2020-01-28 Intel Corporation View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning
US11010872B2 (en) * 2019-04-29 2021-05-18 Intel Corporation Method and apparatus for person super resolution from low resolution image
CA3144236A1 (en) * 2019-06-18 2020-12-24 Huawei Technologies Co., Ltd. Real-time video ultra resolution

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998057300A2 (en) * 1997-06-10 1998-12-17 Flashpoint Technology, Inc. A method and system for accelerating a user interface of an image capture unit during play mode
US20070019887A1 (en) * 2004-06-30 2007-01-25 Oscar Nestares Computing a higher resolution image from multiple lower resolution images using model-base, robust bayesian estimation
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
JP2011164967A (ja) * 2010-02-10 2011-08-25 Mitsubishi Electric Corp 画像処理装置および画像処理方法
US20130038758A1 (en) * 2010-04-15 2013-02-14 Olympus Corporation Image processing device, imaging device, information storage medium, and image processing method
US20130051519A1 (en) * 2011-08-31 2013-02-28 Dong Yang Methods and apparatus for super resolution scanning for cbct system and cone-beam image reconstruction
CN104750642A (zh) * 2013-12-31 2015-07-01 三星电子株式会社 具有极性处理机制的计算系统和其操作方法
US20150347861A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Object-Of-Interest Detection And Recognition With Split, Full-Resolution Image Processing Pipeline
WO2016019484A1 (en) * 2014-08-08 2016-02-11 Xiaoou Tang An apparatus and a method for providing super-resolution of a low-resolution image
JP2016110312A (ja) * 2014-12-04 2016-06-20 株式会社東芝 画像処理方法、画像処理装置及びプログラム
CA2921672A1 (en) * 2015-03-04 2016-09-04 Accenture Global Services Limited Digital image processing using convolutional neural networks
CN106204449A (zh) * 2016-07-06 2016-12-07 安徽工业大学 一种基于对称深度网络的单幅图像超分辨率重建方法
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
JP2017063467A (ja) * 2016-11-14 2017-03-30 シャープ株式会社 画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DING LIU等: "Learning a Mixture of Deep Networks for Single Image Super-Resolution", pages 1 - 12 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905132A (zh) * 2019-11-19 2021-06-04 华为技术有限公司 投屏方法及设备
CN111447359A (zh) * 2020-03-19 2020-07-24 展讯通信（上海）有限公司 数字变焦方法、系统、电子设备、介质及数字成像设备
CN111447359B (zh) * 2020-03-19 2021-07-02 展讯通信（上海）有限公司 数字变焦方法、系统、电子设备、介质及数字成像设备
CN112435162A (zh) * 2020-11-13 2021-03-02 中国科学院沈阳自动化研究所 一种基于复数域神经网络的太赫兹图像超分辨重建方法
CN112565887A (zh) * 2020-11-27 2021-03-26 紫光展锐(重庆)科技有限公司 一种视频处理方法、装置、终端及存储介质
CN112999655A (zh) * 2021-03-05 2021-06-22 南京雷鲨信息科技有限公司 智能终端、应用于该智能终端的游戏实时ai超分方法、系统及计算机可读存储介质

Also Published As

Publication number Publication date
TW201837854A (zh) 2018-10-16
TWI756378B (zh) 2022-03-01
US20180293707A1 (en) 2018-10-11
US20210224953A1 (en) 2021-07-22
CN108694700B (zh) 2023-12-01
US20200090305A1 (en) 2020-03-19
US10970820B2 (en) 2021-04-06
US10489887B2 (en) 2019-11-26
US11694305B2 (en) 2023-07-04
KR20180114488A (ko) 2018-10-18
KR102479965B1 (ko) 2022-12-20

Similar Documents

Publication Publication Date Title
CN108694700A (zh) 用于深度学习图像超分辨率的系统和方法
US20190236452A1 (en) Video deblurring using neural networks
WO2021008166A1 (zh) 用于虚拟试衣的方法和装置
Wu et al. Revisiting light field rendering with deep anti-aliasing neural network
Singh et al. Single image dehazing for a variety of haze scenarios using back projected pyramid network
CN109509146A (zh) 图像拼接方法及装置、存储介质
CN112598045A (zh) 训练神经网络的方法、图像识别方法及图像识别装置
CN113256529B (zh) 图像处理方法、装置、计算机设备及存储介质
Akimoto et al. Diverse plausible 360-degree image outpainting for efficient 3dcg background creation
US11869172B2 (en) Kernel reshaping-powered splatting-based efficient image space lens blur
Zhao et al. LITAR: Visually coherent lighting for mobile augmented reality
Zhang et al. Pseudo-LiDAR point cloud magnification
Wang et al. A multi-scale attentive recurrent network for image dehazing
Zhang et al. Efficient propagation of sparse edits on 360∘ panoramas
Chen et al. Depth-guided deep filtering network for efficient single image bokeh rendering
Wang et al. Adaptive video stabilization based on feature point detection and full-reference stability assessment
Feng et al. Applying holo360 video and image super-resolution generative adversarial networks to virtual reality immersion
Li et al. Hybrid warping fusion for video frame interpolation
CN114299105A (zh) 图像处理方法、装置、计算机设备及存储介质
KR102550216B1 (ko) 영상 처리 장치, 서버, 영상 처리 시스템, 영상 처리 방법
Liu et al. Light field reconstruction via attention maps of hybrid networks
Hu et al. Multi-phase attention network for face super-resolution
Xiang et al. Gated contiguous memory U-Net for single image dehazing
CN112241934B (zh) 一种图像处理方法以及相关设备
US20230360170A1 (en) Extrapolating panoramas from images using a generative model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant