CN105339954B - 用于数码相机的基于单帧的超分辨率内插的系统和方法 - Google Patents

Abstract

本发明提供一种用于超分辨率图像处理的数码相机系统。所述数码相机系统包含：分辨率增强模块，其经配置以接收图像的至少一部分、增大所述所接收图像的分辨率，且输出分辨率经增强图像；以及边缘提取模块，其经配置以接收所述分辨率经增强图像、提取所述分辨率经增强图像的至少一个边缘，且输出所述分辨率经增强图像的所述所提取的至少一个边缘，所述至少一个边缘为出现像素值的突然改变处的一组相邻像素。所述数码相机系统还包含边缘增强模块，所述边缘增强模块经配置以接收所述分辨率经增强图像和所述所提取的至少一个边缘，且组合所述所提取的至少一个边缘或所述所提取的至少一个边缘的派生物与所述分辨率经增强图像。

Description

用于数码相机的基于单帧的超分辨率内插的系统和方法

技术领域

本发明涉及用于数码相机的基于单帧的超分辨率内插的系统和方法。

背景技术

数码相机使用各种系统以使摄影者能在远距离处俘获对象的图像。光学缩放系统使用一或多个缩放透镜，可调整所述缩放透镜以使入射于数码相机的光检测器上的可见光辐射的视场变窄。尽管具有较窄的视场，但在不引入显著图像像差的情况下，入射于光检测器上的可见光辐射的较窄视场会放大所俘获的图像。相比之下，数字缩放系统处理图像或图像的子组以增大其分辨率，从而产生类似于光学缩放的效果(即，放大的较窄视场)。然而，相对于光学缩放系统，数字缩放系统通常会产生显著的所不希望的图像像差。举例来说，数字缩放系统可能会将折叠失真(即，锯齿状对边)、模糊，和/或晕圈引入到图像中。在数字缩放处理期间引入的像差主要出现在图像中对象的边缘处或其周围。

发明内容

根据本文中揭示的实施例的至少一个方面，应认识到，数字缩放系统的标准方法产生显著的图像像差，其包含(但不限于)折叠失真、模糊和/或晕圈。为了使经由数字缩放引入的这些图像像差降到最小，提供用于数码相机的基于单帧的超分辨率内插的系统和方法。除了通过提取和增强图像中对象的边缘，用于超分辨率的系统和方法还通过增大图像或图像的任何部分的分辨率来对图像进行数字缩放。图像的边缘经由多个边缘保持滤波器来增强。这些滤波器实现图像中边缘的提取和增强以增加数字缩放图像的细节。

根据一个方面，提供用于超分辨率图像处理的数码相机系统。所述数码相机系统包括：分辨率增强模块，其经配置以接收图像的至少一部分、增大所接收图像的分辨率，且输出分辨率经增强图像；边缘提取模块，其经配置以接收分辨率经增强图像、提取分辨率经增强图像的至少一个边缘，且输出所提取的分辨率经增强图像的至少一个边缘，所述至少一个边缘为出现像素值的突然改变处的一组相邻像素；以及边缘增强模块，其经配置以接收分辨率经增强图像和所提取的至少一个边缘，且组合所提取的至少一个边缘或所提取的至少一个边缘的派生物与分辨率经增强图像。

根据一个实施例，所述分辨率增强模块进一步经配置以至少部分地通过内插所接收图像而增大所接收图像的分辨率。根据一个实施例，分辨率增强模块进一步经配置以根据双三次内插过程内插所接收图像。根据一个实施例，边缘提取模块进一步经配置以经由具有第一强度的第一边缘保持滤波器和具有第二强度的第二边缘保持滤波器对分辨率经增强图像进行滤波。根据一个实施例，第一边缘保持滤波器的强度是可配置的，且其中边缘提取模块进一步经配置以降低第一边缘保持滤波器的强度以增大图像细节水平，或增大第一边缘保持滤波器的强度以降低图像细节水平。根据一个实施例，第一强度小于第二强度，且其中边缘提取模块进一步经配置以从经由第一边缘保持滤波器滤波的分辨率经增强图像减去经由第二边缘保持滤波器滤波的分辨率经增强图像。根据一个实施例，边缘增强模块进一步经配置以将所提取的至少一个边缘添加到分辨率经增强图像。

根据一个实施例，分辨率增强模块进一步经配置以将所接收图像划分成多个子区段。根据一个实施例，分辨率增强模块进一步经配置以增大所接收图像的子区段中的每一者的分辨率，且其中边缘提取组件进一步经配置以提取分辨率经增强图像的每一子区段的至少一个边缘。根据一个实施例，数码相机系统进一步包括白噪声模块，所述白噪声模块经配置以将白噪声添加到分辨率经增强图像。

根据一个方面，提供在数码相机中的超分辨率图像处理的方法。所述方法包括：增大所接收图像的分辨率以获得分辨率经增强图像；提取分辨率经增强图像的至少一个边缘，所述至少一个边缘为出现像素值的突然改变处的一组相邻像素；以及通过组合所提取的至少一个边缘或所提取的至少一个边缘的派生物与分辨率经增强图像来增强分辨率经增强图像的至少一个边缘。

根据一个实施例，所述方法进一步包括增大所接收图像的分辨率包含内插所接收图像。根据一个实施例，内插所接收图像包含根据双三次内插过程内插所接收图像。根据一个实施例，提取至少一个边缘包含经由具有第一强度的第一边缘保持滤波器和具有第二强度的第二边缘保持滤波器对分辨率经增强图像进行滤波。根据一个实施例，第一边缘保持滤波器的强度是可配置的，且提取至少一个边缘包含增大第一边缘保持滤波器的强度以降低图像细节水平，或降低第一边缘保持滤波器的强度以增大图像细节水平。根据一个实施例，第一强度小于第二强度，且其中提取至少一个边缘进一步包含从经由第一边缘保持滤波器滤波的分辨率经增强图像减去经由第二边缘保持滤波器滤波的分辨率经增强图像。根据一个实施例，增强至少一个边缘进一步包含将所提取的至少一个边缘添加到分辨率经增强图像。

根据一个实施例，增大所接收图像的分辨率包含将所接收图像划分成多个所接收图像子区段。根据一个实施例，增大所接收图像的分辨率进一步包含增大所接收图像的子区段中的每一者的分辨率以获得多个分辨率经增强图像子区段，且其中增强至少一个边缘包含增强分辨率经增强图像子区段中的每一者中的至少一个边缘。根据一个实施例，所述方法进一步包括将白噪声添加到分辨率经增强图像。

在下文中详细论述这些例示性方面和实施例的其它方面、实施例和优点。此外，应理解，前述信息和以下详细描述两者仅为各种方面和实施例的说明性实例，且意欲提供用于理解所主张的方面和实施例的本质和特征的概观或框架。本文揭示的任何实施例可与任何其它实施例组合。对“实施例”、“实例”、“一些实施例”、“一些实例”、“替代实施例”、“各种实施例”、“一个实施例”、“至少一个实施例”、“此和其它实施例”等等的提及未必相互排斥，且意欲指示结合所述实施例所描述的特定特性、结构或特征可包含在至少一个实施例中。这些术语在本文中的出现未必全部指代相同实施例。

附图说明

下文参考附图论述至少一个实例的各种方面，附图不意欲按比例绘制。包含附图以提供对各种方面和实例的说明和进一步理解，且并入于本说明书中且构成本说明书的一部分，但不意欲作为本文揭示的实施例的限制的界定。图式连同本说明书的其余部分用来解释所描述和所主张的方面和实例的原理和操作。在诸图中，各图中说明的每一相同或几乎相同的组件用相同数字表示。出于清楚起见，不是每一组件都标记在每一图中。在诸图中：

图1说明根据本发明的超分辨率图像处理系统的功能框图；

图2说明图像处理系统，其中可执行超分辨率图像处理；

图3说明根据本发明的实施例的用于超分辨率图像处理的超分辨率图像处理系统的更详细功能框图；

图4说明根据本发明的另一实施例的用于超分辨率图像处理的超分辨率图像处理系统的更详细功能框图；

图5说明根据本发明的又另一实施例的用于超分辨率图像处理的超分辨率图像处理系统的更详细功能框图；且

图6说明应用到像素矩阵的边缘平滑化处理的实例图。

具体实施方式

应了解，本文中论述的方法和设备的实例在应用上不限于以下描述中所阐述或附图中所说明的组件的构造及布置的细节。所述方法及设备能够在其它实例中实施且能够以各种方式实践或进行。本文中所提供的特定实施方案的实例仅用于说明性目的，且不意欲为限制性的。特定来说，结合任何一或多个实例论述的动作、元件和特征并不意欲从任何其它实例中的类似作用中排除。

此外，本文所使用的措词和术语是出于描述的目的，且不应视为是限制性的。本文中对以单数形式提到的系统和方法的实例或元件或动作的任何参考还可涵盖包含多个这些元件的实例，且本文中以复数形式对任何实例或元件或动作的任何参考还可涵盖仅包含单个元件的实例。单数形式或复数形式的参考并不意欲限制本发明所揭示的系统或方法、其组件、动作或元件。本文中对“包含”、“包括”、“具有”、“含有”、“涉及”和其变体的使用意图涵盖其后所列的项和其等效物以及额外项。对“或”的参考可理解为包含性，使得使用“或”描述的任何项可指示所描述项中的单个、一个以上及全部描述项中的任一者。

本发明的实施例涉及用于数码相机的基于单帧的超分辨率内插。应了解，本文中所使用的术语“数码相机”包含(但不限于)专用相机以及功能上由任何电子装置(例如，移动电话、个人数字助理等)执行的相机。此外，本文中所描述的方法和系统可应用于以时间顺序布置的多个图像(例如，视频流)。本文中对术语“模块”的使用可与术语“块”互换，且意图包含在软件、硬件或软件与硬件组合中实施处理和/或功能。在一个实施例中，基于单帧的超分辨率内插系统和方法对图像或图像的任何部分进行数字缩放，而在输出的数字缩放图像中不产生显著的图像像差。对图像进行数字缩放尤其对图像中对象的边缘造成显著的像差。举例来说，数字缩放图像中的边缘可因折叠失真呈现锯齿状。因此，在一些实施例中，所提供的系统和方法改善超分辨率处理中边缘的质量以产生高质量的数字缩放图像。

超分辨率图像处理系统

图1说明用于超分辨率图像处理的实例系统。如图所示，图1的超分辨率图像处理系统100包含超分辨率引擎110，所述超分辨率引擎接收图像102，且对所接收图像执行图像处理以产生数字缩放图像104。超分辨率引擎110包含多个功能块或模块，其包含：图像区域选择块112，其选择图像102的至少一部分且提供图像区域106；分辨率增强块114，其增强图像的所述部分的分辨率且提供分辨率经增强图像区域108；以及边缘增强块116，其增强经增强图像区域中的边缘且提供数字缩放图像104。

到超分辨率引擎110的输入是图像102。在一个实施例中，图像包括多个由一或多个二维矩阵表示的像素。矩阵中的每一元素表示关于图像中特定像素位置的信息。举例来说，在第一、第二和第三二维矩阵中的位置(10,10)可表示与在图像中(10,10)位置处的像素相关联的数据。一或多个矩阵中的每一者可表示与给定维度中的图像相关联的一组强度。在一个实施例中，图像中的每一像素由三维向量表示。在此实施例中，图像由用于第一维度的第一二维矩阵、用于第二维度的第二二维矩阵和用于第三维度的第三二维矩阵表示。应了解，每一像素可由任何数目的维度或任何数目的矩阵表示。

在一些实施例中，图像根据YUV颜色空间由三个二维矩阵表示。YUV颜色空间由三个相异的分量Y、U和V组成，其中每一二维矩阵表示YUV空间的特定分量。Y分量是与图像亮度有关的明度分量。U和V分量是与图像的特定颜色有关的色度分量。图像中的每一像素由YUV颜色空间中的向量(即，Y、U和V分量的某一组合)表示。在一些实施例中，图像根据RGB颜色空间由三个二维矩阵表示。RGB颜色空间也由三个相异的分量R、G和B组成，其中每一二维矩阵表示RGB空间的特定分量。全部三个相异分量(即，R、G和B分量)全部为与图像的特定颜色有关的色度分量。应了解，图像可以任何颜色空间来表示，且不限于YUV或RGB颜色空间。

图像102输入到超分辨率引擎110中。超分辨率引擎110执行多种处理以输出数字缩放图像104。在一个实施例中，数字缩放图像是经放大图像区域106。图像区域106可包含整个图像或图像102的任何子组。应了解，由超分辨率引擎110执行的处理不需要在图像区域106的每一像素的全部维度上执行。在一些实施例中，图像区域106中的像素由YUV颜色空间中的向量表示。在这些实施例中，超分辨率引擎110的处理可在YUV颜色空间中的任何组合维度上执行。举例来说，在一个实施例中，超分辨率引擎的处理可仅在图像区域106像素的Y分量(即，明度分量)上执行。在此实施例中，内插过程(例如，双三次内插)可在U和V分量(即，色度分量)上执行以获得数字缩放图像104。

由超分辨率引擎110执行以产生数字缩放图像104的各种处理包含由图像区域选择块112、分辨率增强块114和边缘增强块116执行的处理。

在各种实施例中，图像区域选择块112适当地裁剪图像以选择输入图像102的图像区域106来进行数字缩放。应了解，图像区域选择块112是任选的块。举例来说，超分辨率引擎110可对整个图像102进行数字缩放。在其它实施例中，超分辨率引擎110自己选择整个图像102或图像102的任何子组来进行数字缩放。

在一些实施例中，分辨率增强块114增大图像区域106的分辨率以产生分辨率经增强图像区域108。在一个实施例中，图像区域106的分辨率是经由图像区域106的内插而增大。内插是在一组已知离散数据点之间建立新数据点的方法。在此实施例中，已知数据点为已知像素值(例如，给定像素的Y、U和/或V通道强度值)。在此实施例中，新数据点为经由内插而建立的像素。应了解，内插之前可进行平滑化图像区域106的边缘，以改善分辨率经增强图像区域108中的边缘的质量的一或多个动作。边缘平滑化通过缩短颜色和/或亮度改变之间的过渡(即，对象边缘)来使图像清晰化。边缘平滑化处理的视觉表示在参考图6的边缘平滑化处理图600中图示。超分辨率引擎110可继续进行到边缘增强块116。

在一个实施例中，边缘增强块116增强图像中对象的边缘。在分辨率增强块114中执行的内插可建立没有尖锐细节的经平滑化图像。因此，边缘增强块116能够提取和增强分辨率经增强图像区域108的边缘。在一个实施例中，边缘增强块116提取分辨率经增强图像区域108的边缘。可接着将所提取的边缘添加到分辨率经增强图像区域108以增加边缘细节。

应了解，超分辨率图像处理功能块(例如，图像区域选择块112、分辨率增强块114和边缘增强块116)的任何组合可并行地执行操作。在一个实施例中，输入图像102可划分成多个子区段。可并行地对图像102的每一子区段进行单独地处理。经处理的子区段可经组合以形成数字缩放图像104。并行地实施超分辨率图像处理增大可提供数字缩放图像104的速度。

应了解，超分辨率引擎110可取决于特定应用而采取各种形式。在一些实施例中，超分辨率引擎110包括由图像处理系统执行的一系列指令。在其它实施例中，块或模块112、114和116中的一或多者可在硬件(例如专用集成电路(ASIC)、芯片上系统(SoC)、状态机或专用处理器)中实施。

实例图像处理系统

图2说明实例图像处理系统200，其中可执行超分辨率处理。如图所示，图2的图像处理系统200包含数码相机202，所述数码相机经配置以提供场景218的数字图像。数码相机202包含图像处理器204、模/数转换器206、存储器208、接口210、存储装置212、图像传感器214和透镜216。

如图2中所说明，数码相机202包含图像处理器204以实施本文所揭示的方面、功能和处理中的至少一些。图像处理器204执行产生经操控数据的一系列指令。图像处理器204可为任何类型的处理器、多处理器或控制器。一些例示性处理器包含具有ARM 11或ARM9架构的处理器。图像处理器204连接到其它系统组件，包含一或多个存储器装置208。

在数码相机202的操作期间，存储器208存储程序和数据。因此，存储器208可为具有相对较高性能、易失性的随机存取存储器(例如，动态随机存取存储器(“DRAM”)或静态存储器(“SRAM”))。然而，存储器208可包含用于存储数据的任何装置(例如，快闪存储器或其它非易失性存储装置)。各种实例可将存储器208组织为特殊化(且在一些情况下，独特)的结构以执行本文揭示的功能。这些数据结构可经设定大小和组织以存储用于特定数据和数据类型的值。

数据存储元件212包含可写入的非易失性，或非暂时性数据存储媒体，其中存储界定由图像处理器204执行的程序或其它对象的指令。数据存储元件212还可包含在媒体上或在媒体中记录且在程序执行期间由图像处理器204处理的信息。更确切地说，信息可存储在经专门配置以节省存储空间或增大数据交换性能的一或多个数据结构中。指令可作为经编码信号持久存储，且指令可致使图像处理器204执行本文中所描述的功能中的任一者。媒体可为例如光盘、磁盘或快闪存储器以及其它媒体。在操作中，图像处理器204或某一其它控制器致使数据从非易失性记录媒体读出到另一存储器(例如存储器208)中，所述另一存储器允许比包含在数据存储元件212中的存储媒体更快地由图像处理器204存取信息。存储器可位于数据存储元件212或存储器208中，然而，图像处理器204操控存储器内的数据，且接着在处理完成之后，将数据复制到与数据存储元件212相关联的存储媒体。各种组件可管理存储媒体与其它存储器元件之间的数据移动，且实例不限于特定数据管理组件。此外，实例不限于特定存储器系统或数据存储系统。

数码相机202还包含一或多个接口装置210(例如输入装置、输出装置和组合式输入/输出装置)。接口装置可接收输入或提供输出。更特定地说，输出装置可显现信息以供外部呈现。输入装置可从外部源接受信息。接口装置的实例包含麦克风、触摸屏、显示屏、扬声器、按钮等。接口装置允许数码相机202与外部实体(例如用户和其它系统)交换信息并进行通信。

尽管数码相机202作为实例展示为可供实践各种方面和功能的一种类型的数码相机，但方面和功能并不限于在图2中所示的数码相机202上实施。各种方面和功能可在具有与图2中所示者不同的架构或组件的数码相机上实践。举例来说，数码相机202可包含经专门编程的专用硬件，例如经定制以执行本文中揭示的特定操作的专用集成电路(“ASIC”)或芯片上系统(“SoC”)。应了解，数码相机202可并入到另一电子装置(例如移动电话、个人数字助理等)中，且不限于专用数码相机。

透镜216包含将可见光辐射聚焦在图像传感器214上的一或多个透镜。应了解，透镜216不限于如图2中所说明的单个物理透镜。在一些实施例中，透镜216包含实现光学缩放的多个缩放透镜。光学缩放可通过使入射于图像传感器214上的可见光辐射的视场变窄来实现。

图像传感器214可包含具有对光敏感的传感器(例如，光检测器)的二维区。在一些实施例中，图像传感器214的光检测器(在一些实施例中)可检测两种或两种以上个别颜色和/或亮度分量中的一者中的可见光辐射的强度。举例来说，光检测器的输出可包含与YUV或RGB颜色空间一致的值。应了解，可由图像传感器214使用其它颜色空间来表示所俘获的图像。

在各种实施例中，图像传感器214输出与照射在图像传感器214的光检测器上的可见光辐射的强度和/或颜色成比例的模拟信号。图像传感器214输出的模拟信号可通过模/数转换器206转换成数字数据，以通过图像处理器204进行处理。在一些实施例中，模/数转换器206的功能性与图像传感器214集成。图像处理器204可对所俘获图像执行多种处理。这些处理可包含(但不限于)对所俘获图像进行数字缩放的一或多个超分辨率处理。

超分辨率图像处理实施方案

图3说明超分辨率图像处理系统100的更详细的功能框图，根据图1，所述超分辨率图像处理系统包含图像区域选择块112、分辨率增强块114和边缘增强块116。如图3中所示，图3的超分辨率图像处理系统300包含裁剪图像块302、边缘平滑化块304、内插块306、边缘提取块307、精细边缘保持滤波器块308、过程边缘保持滤波器块310、边缘处理功能块312、白噪声块314、差值块316和求和块318。应了解，以短划线绘制的任何块是任选的块。此外，以点线绘制的大方框展示参考图1描述的超分辨率图像处理系统100(包含图像区域选择块112、分辨率增强块114和边缘增强块116)与图3中所示的功能块之间的关系。

裁剪图像块302说明图像区域选择块112的一个可能实施方案。裁剪图像块302适当地裁剪图像以馈给到超分辨率图像处理系统300的随后功能块。在一个实施例中，裁剪图像块302可响应于经由接口(例如，数码相机202的接口210)从外部实体接收的输入而裁剪图像。在另一实施例中，裁剪图像块302自己选择图像区域106，且适当地裁剪图像102。应了解，裁剪图像块302是任选块。

任选的图像区域选择块112后面是分辨率增强块114。边缘平滑化块304和内插块306说明分辨率增强块114的一个可能实施方案。在一个实施例中，边缘平滑化块304平滑化图像区域106中对象的边缘。图像中对象的边缘的特征可在于出现强度值的突然改变处的一组相邻像素。

边缘平滑化处理的视觉表示通过参考图6的边缘平滑化处理图600来说明。如图6中所示，图6的边缘平滑化处理图600包含在像素矩阵610的视场内的对象608，其行进经过预俘获图像状态602、所俘获图像状态604和边缘经平滑化图像状态606。

预俘获图像状态602说明像素矩阵610的视场中的对象608。对象608的边缘通过像素矩阵中的多个像素。像素矩阵610的所俘获图像状态604说明俘获边缘通过多个像素的对象的图像的效果。从顶部向下的第三行像素说明当图像由数码相机(例如，数码相机202)俘获时出现的边缘模糊效果。从顶部向下的第三行中的像素从左到右移动逐渐变暗，与由对象覆盖的像素的区成比例。在所俘获图像状态604与边缘经平滑化图像状态606之间出现的边缘平滑化处理通过消除过渡像素中的一些或全部来使图像清晰化。在此说明中，过渡像素的消除展示于边缘经平滑化图像状态606中像素矩阵610的第三行中。过渡度(即，保留在图像区域中的过渡像素的量)可通过与所应用的边缘平滑化滤波器相关联的强度参数来控制。

返回参考图3，边缘平滑化块304可为任何相关的边缘平滑化或边缘保持滤波器。在一个实施例中，边缘平滑化滤波器为边缘保持噪声降低滤波器，其在共同待决的2011年6月15日申请的题为“数码相机中的进阶噪声降低(ADVANCED NOISE REDUCTION IN DIGITALCAMERAS)”的第13/160,775号美国申请案(以下称作“'775申请案”)中描述，所述申请案以全文引用的方式并入本文中。应了解，因为可以使用不同类型的滤波器，所以本发明的实施例不限于任何特定类型的边缘平滑化或边缘保持滤波器。

边缘平滑化块后面是内插块306。基于输入像素矩阵，内插块可以更高的分辨率计算新的像素矩阵。在一个实施例中，内插块分析来自输入图像像素矩阵的一组最接近的像素，以确定新像素矩阵中的相应的新像素值。用于执行内插的特定处理可根据各种方法，所述方法包含(但不限于)双三次内插、双线性内插、最近邻内插、样条内插或正弦内插。

分辨率增强块114后面是边缘增强块116。在一些实施例中，边缘增强块116由边缘提取块307、精细边缘保持滤波器308、过程边缘保持滤波器310、边缘处理功能块312、差值块316和求和块318加以说明。在一个实施例中，精细边缘保持滤波器308与过程边缘保持滤波器310为具有不同强度的边缘敏感滤波器。在此实施例中，精细边缘保持滤波器308是比过程边缘保持滤波器310弱的边缘滤波器。应了解，精细边缘保持滤波器308可或可不为与过程边缘保持滤波器310相同类型的边缘保持滤波器。在差值块316中，从精细边缘保持滤波器308的输出减去过程边缘保持滤波器310的输出。差值块316的输出仅含有分辨率经增强图像区域108的边缘。精细边缘保持滤波器308、过程边缘保持滤波器310与差值块318的组合可因此形成边缘提取块307。应了解，可改变获得分辨率经增强图像区域108的边缘的特定方法。举例来说，具有各种强度的多个边缘保持滤波器可以线性形式组合以产生类似所得输出(即，图像的边缘)。此外，还可使用以图像的边缘为目标的单个滤波器。在其它实施例中，精细边缘保持滤波器308和过程边缘保持滤波器310可为在'775申请案中描述的边缘保持噪声降低滤波器。应了解，例如基于从系统的用户接收到的输入或偏好，边缘保持滤波器的任何组合可为可选择的。

可接着通过边缘处理功能块312来处理来自差值块316的图像边缘。边缘处理功能块可为增强分辨率经增强图像106的边缘的任何功能(线性或其它)。边缘处理功能块可(例如)通过查找表(LUT)来实施。在一个实施例中，边缘处理功能块312是放大或缩小边缘的倍增器。在此实施例中，边缘处理功能块312可经由用户接口来接收来自用户的输入。举例来说，用户接口可具有关于数字缩放图像104的细节水平的可配置设定。边缘处理功能块312可响应于较高的细节水平设定而增大乘数，或响应于较低的细节水平设定而减小乘数。应了解，边缘处理功能块312是任选的功能。差值块312的输出可直接连接到求和块318。

求和块318组合分辨率经增强图像区域106与分辨率经增强图像区域106的边缘以形成数字缩放图像104。将分辨率经增强图像区域106的边缘相加到分辨率经增强图像区域106增加了边缘的细节，所述边缘在分辨率增强块114中可能已经受某一水平的失真。

求和块318还可组合来自白噪声块314的白噪声与数字缩放图像104。将白噪声添加到数字缩放图像104在数字缩放图像104中给出高分辨率噪声的形态，而非放大的低分辨率噪音的形态。可以改变所添加的白噪声的强度。举例来说，在一个实施例中，可响应于获得图像时的相机设定(例如，ISO、光圈或快门速度)而计算添加到图像的白噪声的量。应了解，白噪声的添加是任选的，且因此白噪声块314是任选的。此外，来自白噪声模块的白噪声可与分辨率经增强图像区域106组合。

已经描述超分辨率图像处理系统的至少一个实施方案，应了解，可改变所描述的特定实施方案以产生相同结果(即，没有显著图像像差的数字缩放图像)。超分辨率图像处理系统的其它实例实施方案在分别参考图4和5的超分辨率图像处理系统400和500的功能框图中加以说明。

图4说明根据图1的超分辨率图像处理系统100的替代功能框图，其包含图像区域选择块112、分辨率增强块114和边缘增强块116。如图4中所示，图4的超分辨率图像处理系统400包含裁剪图像块302、边缘平滑化块304和404、内插块306、边缘提取块307、精细边缘保持滤波器块308、过程边缘保持滤波器块310、边缘处理功能块312、白噪声块314、差值块316和求和块318。应了解，以短划线绘制的任何块是任选的块。此外，以点线绘制的大方框展示参考图1描述的处理与图4中所示的功能块之间的关系。

由裁剪图像块302、边缘提取块307、精细边缘保持滤波器308、过程边缘保持滤波器310、边缘处理功能块312、差值块316和求和块318实施的图像区域选择块112和边缘增强块116与上述参考图3所描述的类似。在图4中描绘的实施例中由边缘平滑化块304和404外加内插块306实施的分辨率增强块114是参考图3描述的分辨率增强块116的变体。额外的边缘平滑化块404改善分辨率经增强图像106的边缘的质量，且因此改善最终的数字缩放图像104的边缘的质量。额外的边缘平滑化块404的额外成本为执行额外边缘平滑化所需的额外计算。应了解，用于边缘平滑化块404的滤波器可或可不构造为与边缘平滑化块304中的边缘滤波器相同。此外，如参考图3所描述，求和块318还可组合来自白噪声块314的白噪声与数字缩放图像104。

图5说明根据图1的超分辨率图像处理系统100的另一替代功能框图，其包含图像区域选择块112、分辨率增强块114和边缘增强块116。如图5中所示，图5的超分辨率图像处理系统500包含裁剪图像块302、边缘平滑化块304和504、内插块306和406、边缘提取块307和507、精细边缘保持滤波器块308和508、过程边缘保持滤波器块310和410、边缘处理功能块312和512、白噪声块514、差值块316和516以及求和块318和518。应了解，以短划线绘制的任何块是任选的块。此外，以点线绘制的大方框展示参考图1描述的处理与图5中所示的功能块之间的关系。

图像区域选择块112、分辨率增强块114和边缘增强块116与上述参考图3所描述的类似。图5中的超分辨率图像处理系统的实施方案展示分辨率增强块114和边缘增强块116的多次重复。以额外计算为代价，分辨率增强块114和边缘增强块116处理的多次重复增加了数字缩放图像104中的细节。应了解，分辨率增强块114和边缘增强块116可重复任何次以实现数字缩放图像104中所希望的细节水平。在一个实施例中，图像102实质上可能需要进行数字缩放。在此实施例中，分辨率增强块114和边缘增强块116的第一次重复可仅对图像102进行数字缩放达所需全部数字缩放的一部分。分辨率增强块114和边缘增强块116的第二次重复可将分辨率增大到所需的最终数字缩放图像104。应了解，额外的边缘平滑化块(例如，图4中的边缘平滑化块404)可添加到第一次重复、第二次重复或两者。此外，在超分辨率处理的两个重复之后，求和块518还可组合来自白噪声块514的白噪声与数字缩放图像104。

应了解，包含图像区域选择块112、分辨率增强块114和边缘增强块116的超分辨率图像处理系统100可在图像102的色度和/或明度通道的任何组合上执行。举例来说，在一个实施例中，图像102处于YUV颜色空间中，且包含图像区域选择块112、分辨率增强块114和边缘增强块116的超分辨率图像处理系统100仅应用于图像102的明度通道(即，Y通道)。在此实施例中，U和V通道仅经历内插(例如，双三次内插)。当与在全部三个通道上执行超分辨率处理相比，此实施例具有较低的计算复杂度。在此实施例中，因为人眼实质上对亮度比对颜色更敏感，所以质量的损失最小。感知亮度的感光器(即，人眼的视杆细胞)的敏感度比感知颜色的感光器(即，人眼的视锥细胞)更多、更敏感。

已如此描述至少一个实例的几个方面，应了解，所属领域的技术人员将容易想到各种改变、修改和改善。举例来说，应了解，图3到5中的特定功能块可改变。举例来说，取决于要求，一些实施方案可使用单个滤波器来隔离图像的边缘，而非计算具有不同强度的两个边缘保持滤波器之间的差值。此外，应了解，在特定环境中，边缘保持滤波器的任何线性组合可用于微调边缘增强处理。这些改变、修改以及改善意欲为本发明的部分，且意欲在本文中揭示的实施例的范围内。因此，前文描述和图式仅作为实例。

Claims (14)

1.一种用于超分辨率图像处理的数码相机系统，其包括：

分辨率增强模块，其经配置以接收图像的至少一部分、平滑化所述部分的至少一个边缘、经由内插增大所述经平滑化部分的分辨率，且输出分辨率经增强图像；

边缘提取模块，其经配置以接收所述分辨率经增强图像、提取所述分辨率经增强图像的至少一个边缘，且输出所述分辨率经增强图像的所述所提取的至少一个边缘，所述至少一个边缘为出现像素值的突然改变处的一组相邻像素；以及

边缘增强模块，其经配置以接收所述分辨率经增强图像和所述所提取的至少一个边缘，且组合所述所提取的至少一个边缘或所述所提取的至少一个边缘的派生物与所述分辨率经增强图像，

其中所述分辨率增强模块进一步经配置以将所述所接收图像划分成多个子区段，

其中所述分辨率增强模块进一步经配置以增大所述所接收图像的所述子区段中的每一者的分辨率，且其中边缘提取组件进一步经配置以提取所述分辨率经增强图像的每一子区段的至少一个边缘。

2.根据权利要求1所述的数码相机系统，其中所述分辨率增强模块进一步经配置以根据双三次内插过程内插所述所接收图像。

3.根据权利要求1所述的数码相机系统，其中所述边缘提取模块进一步经配置以经由具有第一强度的第一边缘保持滤波器和具有第二强度的第二边缘保持滤波器对所述分辨率经增强图像进行滤波。

4.根据权利要求3所述的数码相机系统，其中所述第一边缘保持滤波器的所述强度是可配置的，且其中所述边缘提取模块进一步经配置以降低所述第一边缘保持滤波器的所述强度以增大图像细节水平，或增大所述第一边缘保持滤波器的所述强度以降低所述图像细节水平。

5.根据权利要求3所述的数码相机系统，其中所述第一强度小于所述第二强度，且其中所述边缘提取模块进一步经配置以从经由所述第一边缘保持滤波器滤波的所述分辨率经增强图像减去经由所述第二边缘保持滤波器滤波的所述分辨率经增强图像。

6.根据权利要求5所述的数码相机系统，其中所述边缘增强模块进一步经配置以将所述所提取的至少一个边缘添加到所述分辨率经增强图像。

7.根据权利要求1所述的数码相机系统，其中所述数码相机系统进一步包括白噪声模块，所述白噪声模块经配置以将白噪声添加到所述分辨率经增强图像。

8.一种在数码相机中的超分辨率图像处理的方法，其包括：

接收图像的至少一部分；

平滑化所述部分的至少一个边缘；

经由内插增大所述经平滑化部分的分辨率以获得分辨率经增强图像；

提取所述分辨率经增强图像的至少一个边缘，所述至少一个边缘为出现像素值的突然改变处的一组相邻像素；以及

通过组合所述所提取的至少一个边缘或所述所提取的至少一个边缘的派生物与所述分辨率经增强图像来增强所述分辨率经增强图像的所述至少一个边缘，

其中增大所述所接收图像的所述分辨率包含将所述所接收图像划分成多个所接收图像子区段，

其中增大所述所接收图像的所述分辨率进一步包含增大所述所接收图像的所述子区段中的每一者的分辨率以获得多个分辨率经增强图像子区段，且其中增强所述至少一个边缘包含增强所述分辨率经增强图像子区段中的每一者中的至少一个边缘。

9.根据权利要求8所述的方法，其中内插所述所接收图像包含根据双三次内插过程内插所述所接收图像。

10.根据权利要求8所述的方法，其中提取所述至少一个边缘包含经由具有第一强度的第一边缘保持滤波器和具有第二强度的第二边缘保持滤波器对所述分辨率经增强图像进行滤波。

11.根据权利要求10所述的方法，其中所述第一边缘保持滤波器的所述强度是可配置的，且提取所述至少一个边缘包含增大所述第一边缘保持滤波器的所述强度以降低图像细节水平，或降低所述第一边缘保持滤波器的所述强度以增大图像细节水平。

12.根据权利要求10所述的方法，其中所述第一强度小于所述第二强度，且其中提取所述至少一个边缘进一步包含从经由所述第一边缘保持滤波器滤波的所述分辨率经增强图像减去经由所述第二边缘保持滤波器滤波的所述分辨率经增强图像。

13.根据权利要求12所述的方法，其中增强所述至少一个边缘进一步包含将所述所提取的至少一个边缘添加到所述分辨率经增强图像。

14.根据权利要求8所述的方法，其进一步包括将白噪声添加到所述分辨率经增强图像。