CN114693526A - 定向缩放系统和方法 - Google Patents

Abstract

本申请涉及定向缩放系统和方法。一种电子设备可包括缩放电路以将输入像素数据缩放到更大分辨率。该定向缩放电路可包括第一插值电路，该第一插值电路用于接收最佳模式数据，该最佳模式数据包括对应于图像的内容的一个或多个角度，并且在与从输入像素数据的输入像素位置呈对角线偏移的第一像素位置处基于最佳模式数据和对应于输入像素位置的输入像素值来插值第一像素值。该定向缩放电路还可包括第二插值电路，该第二插值电路用于接收最佳模式数据和输入像素值，并且在与输入像素位置水平地或垂直地偏移的第二像素位置处至少部分地基于最佳模式数据和输入像素值来插值第二像素值。

Description

定向缩放系统和方法

本申请是申请日为2019年7月24日、申请号为201980051423.7、名称为“定向缩放系统和方法”的发明专利申请的分案申请。

背景技术

本公开整体涉及图像处理，并且更具体地讲，涉及对用于在电子显示器上显示图像的图像数据的像素统计值、缩放和/或增强的分析。

本部分旨在向读者介绍可能与本公开的各个方面相关的本领域的各个方面，本公开的各个方面在下文中描述和/或受权利要求保护。该讨论被认为有助于为读者提供背景信息以便于更好地理解本公开的各个方面。相应地，应当理解，应就此而论阅读这些陈述，而不是作为对现有技术的认可。

电子设备通常使用一个或多个电子显示器通过显示一个或多个图像(例如，图像帧)来呈现信息的视觉表示，如文本、静态图像和/或视频。例如，此类电子设备可包括计算机、移动电话、便携式媒体设备、平板电脑、电视、虚拟现实头戴式耳机和车辆仪表板等。为了显示图像，电子显示器可至少部分地基于对应的图像/像素数据来控制其显示器像素的光发射(例如，亮度)。

一般来讲，图像数据可指示与图像对应的分辨率(例如，要使用的像素的尺寸)。然而，在一些情况下，可能令人期望的是将图像缩放到更高分辨率，例如用于在具有更高分辨率输出的电子显示器上进行显示。因此，在图像数据用于显示图像之前，可对其进行处理以将图像数据转换为期望的分辨率。然而，至少在一些情况下，用于缩放图像数据的技术可例如通过引入诸如锯齿状边缘之类的图像伪影来影响对应图像的感知图像质量。当经历图像增强时，可采用像素统计值来校正此类伪影。

发明内容

下面阐述本文所公开的某些实施方案的概要。应当理解，呈现这些方面仅仅是为了向读者提供这些特定实施方案的简明概要，并且这些方面并非旨在限制本公开的范围。实际上，本公开可涵盖下面可没有阐述的多个方面。

在一些情况下，电子设备可缩放和/或增强图像数据以改善图像的感知质量。在一些实施方案中，对图像数据的更改可至少部分地基于对应于图像数据的图像的内容。此类更改的图像数据可被存储在存储器中或被显示在电子显示器上。在一些实施方案中，图像数据可例如经由红色分量图像数据、蓝色分量图像数据和绿色分量图像数据来指示每颜色分量(例如，通道)的目标亮度。此外或另选地，图像数据可以灰度(例如，灰度级)或经由亮度和色度分量(例如，YCbCr)来指示目标亮度。

为了促进图像数据的改进，可采集和分析噪声统计值。例如，可识别图像数据内的频带以协助将图像内容与噪声区分开。如此，可在使噪声对输出图像的影响最小化的同时增强图像的内容。在一些实施方案中，不满足某些标准的像素可被排除在噪声统计值之外。

此外，差分统计和绝对差和(SAD)可应用于图像数据的像素分组。此类像素分组可经由角度检测电路相对于感兴趣像素在多个方向上进行选择和比较，以识别插值的最佳模式(例如，角度)。不同像素分组的比较可识别图像内容中可协助使用最佳模式来增强或缩放图像数据的特征(边缘、线和/或变化)。最佳模式数据可包括最准确地描述处于感兴趣像素的位置的图像内容的特征的一个或多个角度。此外，可将来自多个感兴趣像素的最佳模式数据编译在一起以用于像素值插值。

例如，在一个实施方案中，差分统计和SAD统计可通过至少部分地基于最佳模式数据插值新像素值来促进图像分辨率的增加。定向缩放电路可利用所识别的角度来维持图像的特征，同时使诸如锯齿状边缘(例如，锯齿化)等伪影的引入最小化。在一些实施方案中，定向缩放电路可通过生成原始像素的加权平均数来插值与原始图像数据像素位置呈对角线的像素。该加权平均数可例如基于差分统计和SAD统计以及从其识别的角度。此外，该定向缩放电路可通过确定原始像素和/或新对角线像素的加权平均数来从原始像素生成水平定位和垂直定位的像素值。该加权平均数还可至少部分地基于差分统计和SAD统计。

与定向缩放电路结合使用或分开使用，增强电路也可以使用差分统计和SAD统计来调节图像的图像数据。此外或另选地，增强电路可使用噪声统计值和/或图像的低分辨率版本来生成图像增强。此类增强可为图像提供增加的锐度。在一些实施方案中，使用图像的较低分辨率版本进行比较的基于示例的增强可为图像数据的一个或多个通道提供增强。例如，可基于图像与该图像的低分辨率版本之间的平方差和或其近似值来增强图像数据的亮度通道。此外，增强电路可采用峰值滤波器来增强图像的高频方面(例如，交叉影线)。此类增强可提供改善的空间分辨率和/或降低的模糊。此外，增强电路可确定图像内的色调以识别某些内容(例如，天空、草地和/或皮肤)。基于示例的增强、峰值滤波器和/或色调确定可分别以图像的不同纹理为目标以结合增强，并且源于其中每一者的增强可独立地和基于图像的局部特征来控制。

根据具体实施，噪声统计电路、角度检测电路、定向缩放电路和增强电路可单独地和/或组合地使用，以促进改善的感知图像质量和/或将图像数据更改为更高分辨率，同时降低图像伪影的可能性。

附图说明

在阅读以下详细描述并参考附图时可更好地理解本公开的各个方面，在附图中：

图1是根据实施方案的包括电子显示器的电子设备的框图；

图2是根据实施方案的图1的电子设备的示例；

图3是根据实施方案的图1的电子设备的另一示例；

图4是根据实施方案的图1的电子设备的另一示例；

图5是根据实施方案的图1的电子设备的另一示例；

图6是根据实施方案的耦接到图1的电子设备的存储器的处理流水线的框图；

图7是根据实施方案的可由图1的电子设备使用的缩放器块的框图；

图8是根据实施方案的用于操作图7的缩放器块的过程的流程图；

图9是根据实施方案的在图7的缩放器块中实施的噪声统计块的框图；

图10是根据实施方案的用于操作图9的噪声统计块的过程的流程图；

图11是根据实施方案的在图7的缩放器块中实施的角度检测块的框图；

图12是根据实施方案的像素位置及其示例性采样的示意图；

图13是根据实施方案的像素位置及其示例性采样的示意图；

图14是根据实施方案的用于操作图11的角度检测块的过程的流程图；

图15是根据实施方案的在图7的缩放器块中实施的定向缩放器块的框图；

图16是根据实施方案的示例性像素插值点的示意图；

图17是根据实施方案的用于操作图15的定向定标器块的过程的流程图；

图18是在图7的缩放器块中实施的图像增强块的框图；

图19是在图18的图像增强块中实施的基于示例的改进的框图；并且

图20是根据实施方案的用于操作图18的增强块的过程的流程图。

具体实施方式

下文将描述一个或多个具体实施方案。为了提供这些实施方案的简要描述，本说明书中未描述实际具体实施的所有特征。应当了解，在任何此类实际具体实施的开发中，如在任何工程或设计项目中，必须要作出特定于许多具体实施的决策以实现开发者的具体目标，诸如符合可从一个具体实施变化为另一具体实施的与系统相关和与商业相关的约束。此外，应当理解，此类开发工作有可能复杂并且耗时，但是对于受益于本公开的本领域的普通技术人员而言，其仍将是设计、加工和制造的常规工作。

为了促进传达信息，电子设备通常使用一个或多个电子显示器经由一个或多个图像(例如，图像帧)来呈现信息的视觉表示。此类电子设备可包括计算机、移动电话、便携式媒体设备、平板电脑、电视、虚拟现实头戴式耳机和车辆仪表板等等。此外或另选地，电子显示器可采取液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、等离子体显示器等的形式。

在任何情况下，为了显示图像，电子显示器通常基于以特定分辨率(例如，像素尺寸)接收的对应图像数据来控制其显示器像素的光发射(例如，亮度和/或颜色)。例如，图像数据源(例如，存储器、输入/输出(I/O)端口和/或通信网络)可将图像数据输出为像素数据(例如，图像数据)流，其中用于每个像素的数据指示位于对应像素位置的一个或多个显示器像素的目标亮度(例如，明亮度和/或颜色)。在一些实施方案中，图像数据可例如经由红色分量图像数据、蓝色分量图像数据和绿色分量图像数据(统称为RGB)来指示每颜色分量的亮度。此外或另选地，图像数据可由亮度通道和一个或多个色度通道(例如，YCbCr、YUV等)、灰度(例如，灰度级)或其他颜色基础来指示。应当理解，如本文所公开的，亮度通道可涵盖线性亮度值、非线性亮度值和/或伽马校正亮度值。

为了促进改善感知图像质量，图像数据可在被输出到电子显示器或被存储在存储器中以供稍后使用之前进行处理。例如，经由硬件(例如，电路)和/或软件(例如，存储在有形非暂态介质中的指令的执行)实施的处理流水线可促进此类图像处理。在一些情况下，可能令人期望的是将图像数据缩放到更高分辨率，例如以匹配电子显示器的分辨率或使图像看起来更大。然而，至少在一些情况下，这可例如通过导致可感知视觉伪影(诸如模糊、锯齿状边缘(例如，锯齿化)和/或细节损失)而影响感知图像质量。

因此，为了促进改善感知图像质量，本公开提供了用于识别图像的内容(例如，经由统计值)、在维持图像清晰度(例如，锐度)的同时缩放图像数据以增加分辨率和/或增强图像数据以增加图像的清晰度的技术。在一些实施方案中，处理流水线可包括缩放器块以定向地缩放图像数据，同时考虑图像内的线、边缘、图案和角度。此类依赖于内容的处理可允许将图像数据缩放到更高分辨率，而没有伪影或伪影的量减少。在一个实施方案中，在不引入明显伪影的情况下增加图像分辨率的能力可允许图像以较低分辨率存储，从而节省存储器空间和/或带宽，并且在显示图像之前将图像恢复到较高分辨率。此外，该图像数据可在被输出或存储之前经历进一步增强。

为了寻求此类依赖于内容的处理，缩放器块可包括例如噪声统计块、角度检测块、定向缩放块和图像增强块。该噪声统计块可使用对所采集的像素统计值的统计分析来识别噪声并且将噪声与图像数据的其余部分区分开。如此，如果/当图像数据经历增强时，噪声可被忽略或给予较少权重。该角度检测块可基于绝对差和(SAD)和/或差分(DIFF)来采集统计值。这些SAD统计值和DIFF统计值可在输入像素周围多个角度处进行确定，以识别从其进行基本缩放插值和/或增强的感兴趣角度。因此，针对每个输入像素所识别的最佳模式数据(包含例如最佳角度、权重等)可协助表征图像内容以帮助图像数据的定向缩放。该定向缩放块可获取输入图像数据和最佳模式数据，并且插值中点像素和外部点像素以生成新像素数据以添加到输入图像数据，从而生成缩放图像数据。该缩放图像数据此外可经由图像增强块通过识别图像内的色调和通过经由基于示例的改进将缩放图像数据与输入图像数据进行比较来增强。如此，该缩放器块可结合硬件部件和/或软件部件以促进确定噪声和感兴趣角度、在降低图像伪影的可能性的同时将图像数据缩放到更高分辨率和/或图像增强。

为了帮助说明，图1示出了可以包括电子显示器12的电子设备10。如将在下面更详细描述的，电子设备10可为任何合适的电子设备10，诸如计算机、移动电话、便携式媒体设备、平板电脑、电视、虚拟现实头戴式耳机、车辆仪表板等。因此，应当指出的是，图1仅为特定具体实施的一个示例，并且旨在例示可存在于电子设备10中的部件的类型。

在所描绘的实施方案中，电子设备10包括电子显示器12、一个或多个输入设备14、一个或多个输入/输出(I/O)端口16、具有一个或多个处理器或处理器内核的处理器内核复合体18、局部存储器20、主存储器存储设备22、网络接口24、电源26和图像处理电路27。图1中描述的各种部件可包括硬件元件(例如，电路)、软件元件(例如，存储指令的有形非暂态计算机可读介质)或硬件元件和软件元件的组合。应当指出的是，各种描绘的部件可被组合成较少部件或分离成附加部件。例如，本地存储器20和主存储器存储设备22可被包括在单个部件中。此外或另选地，图像处理电路27(例如，图形处理单元)可被包括在处理器内核复合体18中。

如图所示，处理器内核复合体18与本地存储器20和主存储器存储设备22可操作地耦接。因此，处理器内核复合体18可执行存储在局部存储器20和/或主存储器存储设备22中的指令以执行诸如生成和/或传输图像数据的操作。如此，处理器内核复合体18可以包括一个或多个通用微处理器、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)或者它们的任何组合。

除了指令之外，本地存储器20和/或主存储器存储设备22可以存储有待被处理器内核复合体18处理的数据。因此，在一些实施方案中，本地存储器20和/或主存储器存储设备22可包括一种或多种有形非暂态计算机可读介质。例如，本地存储器20可包括随机存取存储器(RAM)，并且主存储器存储设备22可包括只读存储器(ROM)、可重写非易失性存储器(诸如闪存存储器、硬盘驱动器、光盘等等)。

如图所示，处理器内核复合体18也与网络接口24可操作地耦接。在一些实施方案中，网络接口24可促进与另一电子设备和/或通信网络的数据通信。例如，网络接口24(例如，射频系统)可启用电子设备10以通信地耦接到个人局域网(PAN)，诸如蓝牙网络、局域网(LAN)(诸如802.11x Wi-Fi网络)和/或广域网(WAN)(诸如4G或LTE蜂窝网络)。

此外，如图所示，处理器内核复合体18可操作地耦接到电源26。在一些实施方案中，电源26可向电子设备10中的一个或多个部件(诸如，处理器内核复合体18和/或电子显示器12)提供电力。因此，电源26可包括任何合适的能量源，诸如可再充电的锂聚合物(Li-poly)电池和/或交流电(AC)电源转换器。

另外，如图所示，处理器内核复合体18与一个或多个I/O端口16可操作地耦接。在一些实施方案中，I/O端口16可使得电子设备10能够与其他电子设备对接。例如，在连接了便携式存储设备时，I/O端口16可以使得处理器内核复合体18能够与便携式存储设备之间传达数据。

如图所示，电子设备10还与一个或多个输入设备14可操作地耦接。在一些实施方案中，输入设备14可通过(例如)接收用户输入而促进与电子设备10的用户交互。因此，输入设备14可包括按钮、键盘、鼠标、触控板等。另外，在一些实施方案中，输入设备14可包括电子显示器12中的触摸感测部件。在此类实施方案中，触摸感测部件可通过检测物体触摸电子显示器12的表面的发生和/或位置来接收用户输入。

除了实现用户输入之外，电子显示器12可包括具有一个或多个显示器像素的显示面板。电子显示器12可控制来自其显示器像素的光发射，从而通过显示至少部分地基于对应的图像数据(例如，位于各像素位置上的图像像素数据)的帧而呈现信息的视觉表示，诸如操作系统的图形用户界面(GUI)、应用界面、静态图像或视频内容。

如图所示，电子显示器12可操作地耦接至处理器内核复合体18和图像处理电路27。以该方式，电子显示器12可至少部分地基于从图像数据源(诸如处理器内核复合体18和/或图像处理电路27)接收的图像数据来显示图像。在一些实施方案中，图像数据源可生成源图像数据以创建要显示的图像的数字表示。换言之，生成图像数据，使得电子显示器12上的视图准确地表示预期图像。此外或另选地，电子显示器12可以至少部分地基于经由网络接口24、输入设备14和/或I/O端口16接收的图像数据来显示图像。为了促进准确地表示图像，图像数据可在被供应给电子显示器12之前例如经由在处理器内核复合体18和/或图像处理电路27中实施的处理流水线和/或显示流水线进行处理。此外，在一些实施方案中，图像数据可例如从存储器20获得，例如在处理流水线中进行处理，并且被返回到其源(例如存储器20)。如本文所描述，此类技术被称为存储器到存储器处理。

如将在下面更详细描述的，处理流水线可执行各种处理操作，诸如图像缩放、旋转、增强、像素统计值采集和解释、空间和/或时间抖动、像素颜色空间转换、亮度确定、亮度优化等。例如，当在电子显示器12上显示对应图像时，处理流水线可定向地缩放图像数据以增加分辨率，同时使用图像数据的内容来降低产生可感知视觉伪影(例如，锯齿状边缘、条带和/或模糊)的可能性。

在一些实施方案中，在接收到图像数据之后，电子显示器12可对图像数据执行附加处理，例如，促进进一步提高所查看的图像的准确性。例如，电子显示器12可再次缩放、旋转、空间抖动和/或增强图像数据。如此，在一些实施方案中，处理流水线可用电子显示器12来实施。

如上所述，电子设备10可为任何合适的电子设备。为了便于说明，合适的电子设备10，尤其是手持设备10A的一个示例示于图2中。在一些实施方案中，手持设备10A可以是便携式电话、媒体播放器、个人数据管理器、手持式游戏平台等等。出于例示目的，手持设备10A可以是智能电话，诸如可购自Apple inc.的任何

型号。

如图所示，手持设备10A包括壳体28(例如外壳)。在一些实施方案中，壳体28可保护内部部件免受物理性损坏，并且/或者屏蔽内部部件使其免受电磁干扰。另外，如图所示，壳体28可以围绕电子显示器12。在所描绘的实施方案中，电子显示器12显示具有图标32阵列的图形用户界面(GUI)30。举例来讲，当通过输入设备14或电子显示器12的触摸感测部件选择图标32时，可以启动应用程序。

此外，如图所示，可以通过壳体28中的开口触及输入设备14。如上所述，输入设备14可使得用户能够与手持设备10A进行交互。例如，输入设备14可使得用户能够激活或去激活手持设备10A、将用户界面导航至home屏幕、将用户界面导航到用户可配置的应用屏幕、激活语音识别特征结构、提供音量控制和/或在震动和响铃模式之间切换。如图所示，可通过壳体28中的开口触及I/O端口16。在一些实施方案中，I/O端口16可包括例如连接至外部设备的音频插孔。

为了进一步说明，合适的电子设备10，尤其是平板设备10B的另一示例示于图3中。出于例示目的，平板设备10B可为可购自Apple inc.的任何

型号。在图4中示出了合适的电子设备10的另一示例，其具体为计算机10C。为了示意性的目的，计算机10C可为可购自Apple Inc.的任何

或

型号。合适的电子设备10，尤其是手表10D的另一个示例示于图5中。为了示意性的目的，手表10D可为可购自Apple Inc.的任何Apple

型号。如图所示，平板设备10B、计算机10C和手表10D各自还包括电子显示器12、输入设备14、I/O端口16和壳体28。

如上所述，电子显示器12可基于从图像数据源接收的图像数据来显示图像。为了便于说明，图6示出了包括操作地检索、处理以及输出图像数据的处理流水线36的电子设备10的部分34。在一些实施方案中，处理流水线36可例如通过在图像数据用于显示图像或被存储在存储器20中之前定向地缩放和增强图像数据来分析和/或处理从存储器20接收的图像数据，如在存储器到存储器处理中那样。在这种情境下，图像数据可被定向地缩放到更高分辨率并且然后被存储在存储器中以供稍后查看。在一些实施方案中，处理流水线36可结合或结合到显示流水线中，并且因此操作地耦接到显示驱动器38以至少部分地基于图像数据生成模拟和/或数字电信号并且将其供应给电子显示器12的显示器像素。

在一些实施方案中，可在电子设备10、电子显示器12或它们的组合中实施处理流水线36。例如，处理流水线36可被包括在处理器内核复合体18、图像处理电路27、电子显示器12中的定时控制器(TCON)、一个或多个其他处理单元或电路或它们的任何组合中。

在一些实施方案中，控制器40可控制处理流水线36、存储器20和/或显示驱动器38的操作。为了促进控制操作，控制器40可包括控制器处理器和控制器存储器。在一些实施方案中，控制器处理器可执行存储在诸如固件等控制器存储器中的指令。在一些实施方案中，控制器处理器可被包括在处理器内核复合体18、图像处理电路27、电子显示器12中的定时控制器、单独的处理模块或它们的任意组合中。另外，在一些实施方案中，控制器存储器可包括在本地存储器20、主存储器存储设备22、单独的有形非暂态计算机可读介质或它们的任何组合中。

在一些实施方案中，存储器20可包括存储源图像数据的源缓冲器。因此，在此类实施方案中，处理流水线36可从源缓冲器获取(例如，检索)源图像数据进行处理。在一些实施方案中，电子设备10可包括被实施以处理图像数据的多个流水线(例如，处理流水线36、显示流水线等)。为了促进通信，可将图像数据存储在流水线外部的存储器20中。在此类实施方案中，流水线(例如，处理流水线36)可包括在存储器20中读取(例如，检索)和/或写入(例如，存储)图像数据的直接存储器访问(DMA)块。

在从存储器20接收之后，处理流水线36可经由一个或多个图像处理块(诸如缩放和旋转块42或其他处理块44(例如，抖动块))来处理源图像数据。在所描绘的实施方案中，缩放和旋转块42包括缩放器块46并且还可包括其他修改块48(例如，旋转块、翻转块、镜像块等)。如将在下面更详细描述的，缩放器块46可调节图像数据(例如，经由定向缩放和/或增强)，例如以促进降低通常与缩放相关联的图像伪影的可能性或对其进行校正。作为例示性示例，可能令人期望的是增加图像数据的分辨率以扩大对应图像的查看或适应电子显示器12的分辨率。为了实现这一点，缩放器块46可采用噪声统计和/或SAD和DIFF统计来分析图像数据的内容并且在维持图像清晰度(例如，锐度)的同时将图像数据缩放到更高分辨率。在一些实施方案中，图像数据也可经历增强。

为了便于说明，图7是接收输入图像数据50并且输出经处理图像数据52的缩放器块46的框图。缩放器块46可包括多个处理块54以执行定向缩放和/或增强。例如，缩放器块46可包括变换块56、噪声统计块58、角度检测块60、定向缩放块62、图像增强块64和垂直/水平缩放块66。

缩放器块46的处理块54可接收和/或处理多个颜色基础(例如，红-绿-蓝(RGB)、α-红-绿-蓝(ARGB)、亮度-色度(YCC格式，诸如YCbCr或YUV)等)和/或位深度(例如，8位、16位、24位、30位、32位、64位和/或其他适当的位深度)中的输入图像数据50。此外，还可处理高动态范围(HDR)图像数据(例如，HDR10、感知量化器(PQ)等)。然而，在一些实施方案中，可能令人期望的是利用表示亮度值的通道(例如，Y通道)来处理或生成来自输入图像数据50的统计值。单个亮度通道可保留图像的内容(例如，边缘、角度、线等)以用于像素统计值采集和解释以进行定向缩放和增强。根据输入图像数据50的颜色基础，变换块56可生成表示输入图像数据50的目标白色点、黑色点或灰色点的亮度像素数据。然后可由其他处理块54使用该亮度像素数据。举例来讲，如果输入图像数据50使用RGB格式，则变换块56可将加权系数应用于每个通道(即，红色通道、绿色通道和蓝色通道)并且将结果组合以输出亮度像素数据的单个通道。此外或另选地，处理块54可使用非亮度像素数据来采集和解释像素统计值以及用于定向缩放和增强。

在一个实施方案中，噪声统计块58可接收对应于输入图像数据50的亮度像素数据。噪声统计块58然后可通过一个或多个垂直和/或水平滤波器处理亮度像素数据并且量化对应于每个像素的亮度像素数据的资格。合格的亮度像素数据可用于生成噪声统计值，噪声统计块58可从该噪声统计值识别图像数据内容中的图案，例如用于在图像增强块64中使用。图像增强块64可获取缩放图像数据和/或输入图像数据50，并且使用色调检测、低分辨率输入与高分辨率输入之间的比较和噪声统计值来增强(例如，锐化)生成增强图像数据的图像数据。

角度检测块60还可接收对应于输入图像数据50的亮度像素数据。该角度检测块60可分析感兴趣像素周围多个角度处的SAD统计值和DIFF统计值，以识别对应于输入图像数据50内容内的线和/或边缘的角度。然后可在定向缩放块62中使用这些角度来促进在缩放到更高分辨率时生成的新像素的改进插值(例如，原始图像的尺寸的两倍导致大约四倍数量的像素)。此外或另选地，垂直/水平缩放块66还可将缩放图像数据缩放到更高或更低的分辨率以匹配期望的输出分辨率。

为了便于说明，图8是描绘由缩放器块46执行的过程的一个实施方案的流程图68。如上所述，若需要，则缩放器块46可例如使用变换块56将输入图像数据50变换为亮度像素数据(过程框70)。亮度像素数据可用于例如经由噪声统计块58确定噪声统计值(过程框72)。亮度像素数据还可用于确定SAD统计值和/或DIFF统计值(过程框74)，然后可例如使用角度检测块60将它们用于角度检测(过程框76)。缩放器块46还可例如经由定向缩放块62至少部分地基于所检测的角度来缩放输入图像数据50(过程框78)。使用输入图像数据50或缩放图像数据，亮度像素数据和/或色度像素数据可例如经由图像增强块64被增强以生成增强图像数据(过程框80)。此外，若需要，则缩放器块46还可例如经由垂直/水平缩放块66执行图像数据的垂直和/或水平缩放(过程框82)。

如上所述，噪声统计块58可获取亮度像素数据84并且生成噪声统计值86，如图9所示。噪声统计值86至少部分地基于输入图像数据50的内容可允许将噪声与图像的更有意的特征(例如，期望增强的特征)区分开。在一些实施方案中，图像的噪声方面在经历增强时被忽略。为了促进确定此类噪声，噪声统计块58可包括像素资格子块88、垂直滤波器90和/或水平滤波器92。

亮度像素数据84可在串联、序列和/或并行的一个或多个垂直滤波器90和/或水平滤波器92中经历处理。此类滤波器90和92可包括例如能够识别和/或产生对应于图像的不同频带的频率内容的低通滤波器、带通滤波器和/或高通滤波器。像素资格子块88可使用亮度像素数据84和/或经滤波的亮度像素数据来确定每个单个像素的像素数据是否有资格在噪声统计值86中使用。在一些实施方案中，噪声统计块58可对亮度像素数据84的每个像素进行采样。然而，在一些实施方案中，例如如果定向缩放块62未启用，则噪声统计块58可对少于亮度像素数据84的完整集合(例如，每4个像素中有一个)进行采样。

确定合格像素使得它们满足一个或多个标准。例如，在一个实施方案中，如果像素落入有效区域中，则该像素有资格用于噪声统计值86。在一些实施方案中，有效区域可被设置为将图像的相关部分分组在一起，同时排除图像的不相关部分。例如，有效区域可被设置为排除副标题、恒定颜色区段(例如，信箱)等。此外，有效区域可以是能够编程的和/或能够软件优化的，以增加从各种内容检测各种形式的噪声的可能性。例如，电影内容可包括有意地添加到每个视频帧的人造噪声，诸如胶片颗粒。可能令人期望的是使用特定有效区域大小来检测此类人造噪声以增加或减少增强。在一些实施方案中，有效区域可包括整个图像。

此外或另选地，其他标准也可适用，例如，感兴趣像素周围的窗口(例如，1×1(像素本身)或3×3像素窗口)中的像素的百分比可包含指定范围内的亮度值。此外，如果本地活动量度大于阈值，则本地活动量度(例如，相邻像素的经滤波或未经滤波亮度值的总和)也可使像素有资格在噪声统计值86中使用。

一旦获得资格，经滤波和/或未经滤波亮度像素数据84就可通过确定例如直方图、总和、最大值、最小值、平均值、方差和/或块度度量(例如，角部和/或边缘的量度)来形成噪声统计值86。块度度量可指示源自例如基于块的压缩技术的伪影。此类噪声统计值86可表示有效区域内的全局亮度值和/或像素窗口(例如，5×5像素窗口)内的局部值。噪声统计值86可表示指示块度、噪声或可能包含在图像内的特定特征(例如，胶片颗粒、视频捕获噪声等)的图像数据的频率签名(例如，频带)。在一些实施方案中，诸如胶片颗粒等特征在图像内是有意的，并且因此期望被适当地增强和缩放。不同的图像特征可具有不同的频率签名，并且因此可基于对编程频带的分析来确定这些特征。此类特征与噪声的区分允许改善期望图像特征的缩放和增强以及减少图像内的噪声或噪声区域的增强。

图10是描绘了用于确定噪声统计值86的过程的实施方案的流程图94。噪声统计块58可首先接收例如来自输入图像数据50的或如经由变换块56变换的亮度像素数据84(过程框96)。噪声统计块58然后可将垂直和/或水平滤波器应用于亮度像素数据(过程框98)。噪声统计块58还可确定亮度像素数据的资格(过程框100)。合格的亮度像素数据可填充噪声统计值86的更新(过程框102)。例如，噪声统计值86可通过生成合格亮度像素数据的直方图、最大值、总和、平均值、方差、块度度量和/或其他合适的度量来更新(过程框104)。噪声统计块58还可将期望内容(例如，胶片颗粒)的噪声和频率签名(例如，预编程的频带)与图像的内容区分开(过程框106)。噪声统计值86然后可被输出用于在图像增强和/或其他图像处理技术中使用。

类似于噪声统计块58，角度检测块60也可将在其上确定统计值的亮度像素数据84作为输入。根据此类统计值，如图11所描绘，角度检测块60可生成最佳模式数据108。在一个实施方案中，最佳模式数据108可包括对应于图像的线和边缘的一个或多个角度。此外，每个采样像素的最佳模式数据108可包括一个或多个角度的权重，该权重对应于角度的置信水平和/或角度与相邻像素的那些角度的相似性。最佳模式数据108可促进图像数据的改进定向缩放。角度检测块60可包括具有修饰符112的SAD和DIFF统计值收集子块110、分类器114、高频率和低角度检测子块116、角度一致性和差分设置子块118以及模式和权重确定子块120。SAD和DIFF统计值的生成和分析连同置信度和一致性的评估可产生最佳模式数据108。

为了生成SAD和DIFF统计值，SAD和DIFF统计值收集子块110可在每个感兴趣像素周围的多个方向上分析亮度像素数据84。例如，图12示出了用于评估不同角度的亮度像素数据84的多个像素分组122。在一些实施方案中，矩形基础像素群集124用作从其确定感兴趣像素的SAD和DIFF统计值的参考。在一些实施方案中，矩形基础像素群集中的感兴趣像素是左上像素，然而，同样也可使用其他像素位置。当与矩形基础像素群集124比较时，偏移像素群集126、128、130、132、134、136、138、140和142可产生关于亮度像素数据84在对应于偏移像素群集126、128、130、132、134、136、138、140和142的不同方向上如何改变的信息。例如，偏移像素群集126和128可对应于与矩形基像素群集124的45度偏移。与45度偏移正交的135度偏移可由偏移像素群集130和132表示。此外，还可分析垂直偏移群集134和136以及水平偏移群集140和142。在像素群集包括不在有效区域内的像素位置的情况下，有效区域内的最近像素的像素值可被替换。在一个实施方案中，有效区域的边缘上的像素位置的像素值可水平地和垂直地重复，以限定有效区域之外的像素的值。

为了表示其他角度(例如，斜率不为0、-1、1或无穷大的角度)，可考虑对角线基础像素群集144、146、148、150、152和154，如图13所示。与矩形基础像素群集124一样，对角线基础像素群集144、146、148、150、152和154可通过偏移量移位并且进行比较，以获得对应于相应角度的SAD和DIFF统计值。在一些实施方案中，一些角度可通过在像素群集中使用更多数量的像素来更好地表示。例如，当以1/2的斜率采集SAD和DIFF统计值时，可使用对角线基础像素群集144，并且可以1/6的斜率使用对角线基础像素群集152。如此，对角线基础像素群集144可利用比矩形基础像素群集124更多的像素并且利用比对角线基础像素群集152更少的像素。

SAD和DIFF统计值收集子块110可利用基础和偏移像素分组122之间的绝对差和(SAD)来计算每个期望角度的度量。像素分组122所展示的角度是通过示例示出，并且因此是非限制性的。在一些实施方案中，对图像的内容的评估可在多种类型的梯度(例如，斜率、曲线、角度等)下完成。除了使用SAD之外，还可采集差分(DIFF)统计值。DIFF统计值可包括度量，诸如连续像素之间的差值(例如，在线或曲线中)、用于确定图像内容内的角部和/或边缘的边缘度量和/或其他度量。

在一些实施方案中，可能令人期望的是将输入图像数据50或其他数据(例如，亮度像素数据84)的位深度减小到更小的位深度，以便于操纵和/或分析。这种位深度的减小可通过但不限于移位操作、箝位、剪辑和/或截断来实现。例如，在计算SAD和DIFF统计值之前，可通过移位操作然后通过箝位来减小所分析的数据的位深度以减少资源开销(例如，时间、计算带宽、硬件能力等)。此外或另选地，位深度减小可能够基于可编程参数缩放，以设置期望的位深度减小量，这可根据具体实施(例如，用于高清晰度图像处理还是低清晰度图像处理)而改变。位减小可产生任何粒度的位深度，其可以是或可以不是2的倍数。此外，位减小也可用在其他处理块54中以减少资源开销。

SAD和DIFF统计值收集子块110还可包括修饰符112，以归一化角度统计值并且考虑在不同角度下使用的不同数量的像素。在一些实施方案中，可由修饰符112基于所检查的角度来进一步调节对每个角度和/或度量的分析。在一些情境下，较低角度(例如，斜率小于1/3或1/4或大于2或3的那些角度)在经历SAD和DIFF分析时可能容易出现假阳性。如此，在低角度分析中的置信度可小于在水平或垂直方向上的置信度，并且因此可相应地例如经由修饰符112来调节低角度分析。基于SAD和DIFF分析，分类器114可确定一个或多个最佳角度。最佳角度可对应于最接近图像内容中的均匀性方向(例如，线、边缘等)的角度。在一些实施方案中，分类器114生成最佳角度和第二最佳角度以用于在角度检测块60中进一步考虑。

在一些实施方案中，水平方向和垂直方向可与由角度检测块60分析的其他角度分开处理。例如，根据缩放期间的插值方法，可能令人期望的是在除垂直或水平之外的角度插值对角线定位的像素。另一方面，还可能令人期望的是针对直接垂直于或水平于原始像素定位的像素使用垂直和水平插值。如此，在一些实施方案中，分类器114可输出非垂直/水平角度中的最佳角度和第二最佳角度以及最佳垂直或水平角度。

计算出一个或多个最佳角度后，角度检测块60可利用高频率和低角度检测子块116来进一步评估所确定的最佳角度。在一些情境下，图像的内容可具有高频特征(例如，棋盘图案)，该高频特征可导致不能准确地表示图像的角度指示(例如，假角度)。高频率和低角度检测子块116可例如使用水平和垂直DIFF统计值来搜索此类高频特征。在一些实施方案中，最佳角度可用于在原始像素的像素值之间插值中间像素值，并且高频率和低角度检测子块116可检查近似插值是否与相邻像素一致。

此外或另选地，高频率和低角度检测子块116可利用一个或多个条件和/或参数来确定所确定的低角度的可行性。例如，可考虑连续和/或连续考虑的像素值之间的差值(例如，基于亮度像素数据84)。对于给定组像素，这些差值(例如，正差值、负差值或零差值)可在一次运行中一起考虑(例如，一串正差值、负差值或像素值没有差值)。此类运行的长度可被计算和用作一个或多个低角度条件的参数以识别一个或多个低角度困境。例如，如果像素值差值的运行长度在可配置范围内(例如，小于和/或大于基于具体实施设置的阈值)，则所检测的角度可为假角度(例如，由于噪声而检测到的假边缘)，并且所确定的角度的置信度可相应地增加或减小。

在一些实施方案中，在维持角度检测块60的数据吞吐量的同时辨识和计算高频率和低角度检测子块116的条件和/或参数在硬件中实施起来可能是昂贵的。例如，每像素值的8位或16位具体实施可分别使用八个或十六个重复逻辑电路来确定给定时间段内的运行长度。然而，在一些实施方案中，将前向传播和后向传播组合的逻辑电路设计可以最小的数据路径速度成本(例如，亮度像素数据84的位深度每次加倍小于5％、10％或20％)提供可缩放到多个不同具体实施的单个逻辑电路，而不改变或重复逻辑电路。如此，高频率和低角度检测子块116可有效地检查条件和/或参数以帮助识别最佳角度的置信度。

此外，如果最佳角度和/或第二最佳角度是相对于水平和垂直的低角度(例如，斜率小于1/3并且大于3)并且检测到高频特征或低角度困境，则可降低低角度的置信度。在一个实施方案中，如果最佳角度是低角度、第二最佳角度不是低角度并且检测到高频特征，则可从高频率和低角度检测子块116输出第二最佳角度作为新的最佳角度，并且旧的最佳角度可变为新的第二最佳角度。

此外，角度检测块60还可包括角度一致性和差分设置子块118。在一些实施方案中，可能令人期望的是使用(例如，用于插值或比较)具有最佳角度的正交角度。角度一致性和差分设置子块118可从先前分析的角度确定与最佳角度正交的角度。如此，在SAD和DIFF统计值收集子块110中分析的每个角度可具有也被分析的正交或近似正交的对应物。此外，在一些实施方案中，最佳角度和第二最佳角度可被转换为角度量度并且彼此进行比较。如果最佳角度和第二最佳角度之间的差值小于阈值，则可认为它们是一致的。角度一致性可提高最佳角度的置信度和/或在角度不一致的情况下降低置信度。此外，在一些实施方案中，还可将最佳角度的置信度度量与其正交角度的置信度度量进行比较以进一步修改置信水平。例如，如果图像内容中的线或边缘在正交方向上存在的置信度几乎与最佳角度的置信度一样高，则可降低最佳角度的置信水平。

SAD和DIFF统计值收集子块110、分类器114、高频率和低角度检测子块116和/或角度一致性和差分设置子块118的输出可被馈送到模式和权重确定子块120中。模式和权重确定子块120可确定对应于每个子块的最佳角度、最佳水平/垂直角度和/或正交角度的最佳模式数据108。此外，最佳模式数据108可包括至少部分地基于角度的置信度的权重。此外，在特定像素位置处给予最佳角度和最佳水平/垂直角度的权重可此外至少部分地基于相邻像素位置的最佳角度。例如，如果感兴趣像素周围的大多数像素具有与感兴趣像素相同的最佳角度，则可增加感兴趣像素的最佳角度的置信度以及因此增加权重。

为了便于说明，图14是描绘了角度检测块60针对单个像素位置的操作的流程图156。角度检测块60可首先从亮度像素数据84确定多个角度处的绝对差和统计值和差分统计值(过程框158)。所确定的SAD和DIFF统计值可例如基于各个角度来归一化/修改(过程框160)。在所分析的角度中，一个或多个最佳角度可例如由分类器114确定(过程框162)。使用最佳角度，角度检测块60可针对可能的不期望性检测高频率和低角度发生(过程框164)并且相应地调节角度的置信度。此外，角度检测块可确定第一最佳角度和第二最佳角度之间的角度一致性(过程框166)以及确定与最佳角度正交的角度(过程框168)。如上所述，垂直角度和水平角度可与其余部分分开处理，并且因此也可包括最佳水平/垂直角度和对应的正交角度。还可检查相邻像素与所确定的最佳角度的一致性(过程框170)，例如以更新角度置信度。角度检测块60然后可输出包括最佳角度和对应权重的最佳模式数据108(过程框172)，例如用于在定向缩放块62中使用。

当由定向缩放块62接收时，最佳模式数据108和输入图像数据50可进行组合以生成缩放图像数据174，如图15所描绘。在一个实施方案中，定向缩放块62可包括中点插值子块176和外部点插值子块178。尽管上文陈述了使用亮度像素数据84进行角度分析，但也可使用其他颜色通道来采集用于角度检测和定向缩放的统计值。此外，从单个通道采集的最佳模式数据108可用于缩放多个颜色通道。如此，对于每个颜色通道，可在中点插值子块176和外部点插值子块178中使用相同的权重或其导数以及用于插值的角度。

在一些实施方案中，像素网格180可示意性地表示像素的位置和相对位置，如图16所示。定向缩放块62可使用输入像素182来插值中点像素184和外部点像素186。此外，在一些实施方案中，中点像素184在外部点像素186之前被插值。由于在中点像素184周围的垂直方向或水平方向上缺少像素数据，因此中点像素184可使用最佳角度、正交角度和/或来自最佳模式数据108的权重以对角线方式进行插值。使用相邻输入像素182，中点插值子块176可确定每个中点像素184的每个颜色通道的值。每个周围输入像素182的插值的加权至少部分地基于最佳模式数据108的权重。如此，最佳模式数据的权重可对应于相邻像素值的加权平均数中的权重。在一些实施方案中，可通过插值两个或更多个输入像素182来建立临时像素值。然后可使用该临时像素值来插值中点像素184。此类临时像素值可用于以特定角度更好地插值中点像素184的值。此外，在一些实施方案中，中点像素184的水平/垂直插值可至少部分地基于最佳垂直/水平角度生成，并且与对角线插值混合以生成中点像素184的值。

一旦已确定中点像素184，就可确定外部点像素186。与中点像素184不同，每个外部点像素186在其周围都具有输入或垂直地和水平地确定的像素数据。如此，最佳垂直/水平角度和权重可用于插值外部点像素186。例如，如果所确定的最佳垂直/水平角度在垂直方向上，则外部点像素186可用给予外部点像素186上方和下方的像素的更高权重来插值。应当理解，垂直/水平最佳角度和对角线最佳角度的组合也可用于中点像素插值或外部点插值。此外，在一些实施方案中，可在中点像素184之前确定外部点像素186。

在一些实施方案中，定向缩放块62可以固定速率缩放，例如将维度乘以2、4等。为了实现更高或更低水平的分辨率缩放，定向缩放块62可被实施多次(例如，级联)，和/或垂直/水平缩放块66可用于实现非多重分辨率(例如，输入分辨率的1.2倍、2.5倍、3.75倍或其他倍数的分辨率)。垂直/水平缩放块66可包括线性缩放器、多相缩放器和/或任何合适的缩放器以实现期望的分辨率。此外，可实现缩放，使得每个维度具有不同的缩放倍数。此外或另选地，垂直/水平缩放块66可与定向缩放块62并行缩放输入图像数据50。在这种情况下，可将垂直/水平缩放块66的输出和定向缩放块62的输出混合以生成缩放图像数据174。

在进一步说明中，图17是描绘了定向缩放块62的简化操作的流程图188。定向缩放块62可首先接收输入图像数据50和最佳模式数据108(过程框190)。定向缩放块还可在输入像素182之间对角线地插值中点像素184(过程框192)并且从输入像素182和中点像素184插值外部点像素186(过程框194)。然后输出缩放图像数据174(过程框196)。

在一些实施方案中，缩放图像数据174可被发送到图像增强块64。图像增强块64可此外在缩放器块46之外使用。事实上，在一些实施方案中，图像增强块64可增强输入图像数据50而不放大到更高分辨率。如图18所描绘，图像增强块64可获取缩放图像数据174、输入图像数据50或这两者以及噪声统计值作为输入，并且输出增强图像数据198。如果缩放图像数据174不可用，则图像增强块64可利用下采样子块200来对输入图像数据50进行采样(例如，4个像素中有1个)。这也可对应于噪声统计块58的采样，其中如果定向缩放块62被禁用，则可使用输入图像数据50的子样本。下采样图像数据可用作基于示例的改进的低分辨率输入。如果缩放图像数据174可用，则输入图像数据50可用作低分辨率输入。

图像增强块64还可包括色调检测子块202、亮度处理子块204和色度处理子块206。色调检测子块202可在图像内容中搜索与可能的图像表示(例如，天空、草地、皮肤等)匹配的可辨识色调。在一些实施方案中，色调检测子块202可组合多个颜色通道以确定是否存在可辨识的色调。此外，在一些实施方案中，色调检测子块202可将一个或多个颜色通道转换为色度、饱和度、纯度(HSV)格式以用于分析。还可至少部分地基于所检测的色调是图像表示的特征的可能性来为每个搜索到的色调给予置信水平。通过包括对图像内容的改进评估，对图像内色调的辨识可导致图像的改进增强。例如，亮度处理子块204和色度处理子块206可使用色调数据来调节(例如，用增加或减少的增强)在检测到色调的区域中的输入图像数据50或缩放图像数据174的亮度值和色度值。在一个实施方案中，对各种色调的区域的影响可以是能够软件可编程的。

在一个实施方案中，亮度处理子块204增强(例如，锐化)输入图像数据50或缩放图像数据174的亮度通道，并且包括亮度转变改进208和基于示例的改进210。亮度转变改进208可包括布置有自适应或可编程增益逻辑作为峰值滤波器的一个或多个水平或垂直滤波器(例如，高通和/或低通)。峰值滤波器可提高对应于图像的内容特征的频率的可编程范围(例如，交叉影线、其他高频分量)。所提高的频率范围可为亮度通道提供更好的频率和/或空间分辨率。此外，亮度转变改进208可包括取芯电路以使输入图像数据50的噪声区域中的亮度增强量最小化，例如，如由噪声统计块58确定的。此外，亮度转变改进208可在取芯电路内使用边缘度量(例如从SAD和DIFF统计值收集子块110确定的边缘度量)来减少例如由于提高的频率范围而可能在边缘转变附近发生的过冲和/或下冲。

此外，基于示例的改进210可作为亮度处理子块204的一部分与亮度转变改进208并行或串联地运行。基于示例的改进210可获取低分辨率输入214并且将其区段(例如，5×5像素区段)与高分辨率输入216的区段(例如，输入图像数据50或缩放图像数据174)进行比较，如图19所示。在一些实施方案中，基于示例的改进210可采集低分辨率输入214的多个(例如，25个)区段(例如，5×5像素区段)并且将每个区段与高分辨率输入216的单个区段进行比较。此外，低分辨率输入214可穿过滤波器218(例如，低通滤波器)以生成经滤波的低分辨率输入220。可在比较和权重子块222中评估高分辨率输入216、低分辨率输入214和/或经滤波的低分辨率输入220。例如，比较和权重子块222可利用亮度通道值的平方差和或平方差近似值。在一些实施方案中，采用平方差和可以是资源(例如，时间、计算带宽)密集型过程，并且因此可能令人期望的是替代地利用平方差近似值。

可在低分辨率输入214的区段的每个值与高分辨率输入216的区段的每个值之间实现平方差近似值。在一个实施方案中，可使用用于返回按位值的前导零的数量的函数来估计单个平方差，其中该按位值对应于高分辨率输入216的区段的值与低分辨率输入214的区段的对应值之间的差值。然后，平方差近似值的总和可至少部分地表示高分辨率输入216的区段与低分辨率输入214的区段之间的平方差和的近似值。可在低分辨率输入214的多个(例如，25个)区段(例如，5×5像素区段)中的每个区段与高分辨率输入216的单个区段之间实现平方差和近似值，以用于在比较和权重子块222中使用。在平方差近似值或平方差和近似值的计算中也可包括其他操作，诸如剪辑、乘以可编程参数、位移位等。

根据高分辨率输入216、低分辨率输入214和/或经滤波的低分辨率输入220的相似性和差值，比较和权重子块222可确定权重，从该权重生成输入的加权平均数。例如，比较和权重子块222可将查找表应用于相似性和/或差值，以生成加权平均数的权重。至少部分地基于所生成的权重，混合子块224可组合输入以生成改进的亮度数据226。此外，亮度处理子块204可将来自基于示例的改进210的改进亮度数据226与基于例如梯度统计值的亮度转变改进208的峰值和取芯改进进行组合。

梯度统计值可指示特定方向上(例如，相对于像素网格180的x方向和/或y方向上)的像素值的线性变化。例如，x方向上像素值的变化的加权平均数可与y方向上像素值的变化的加权平均数进行组合，以确定如何将来自基于示例的改进210的改进亮度数据226与亮度转变改进208的峰值和取芯改进进行混合。基于示例的改进210可产生对图像内的主导梯度的改进识别和显示，并且亮度转变改进208可改进图像中的感知纹理，这两者的组合可允许增强(例如，锐化)的亮度通道输出。

类似于亮度转变改进208，色度处理子块206可包括色度转变改进212，该色度转变改进包括峰值滤波器和取芯电路。在一些实施方案中，可至少部分地基于亮度转变改进208来进一步增强色度转变改进212。在一些情境下，如果在不补偿色度通道的情况下增强亮度通道，则图像可能出现过饱和或欠饱和。如此，色度转变改进212可在确定来自色度转变改进212的变化时采用由于亮度处理子块204引起的亮度通道变化。此外或另选地，如果例如存在很少的亮度通道增强或不存在亮度通道增强，则可禁用色度转变改进212。作为来自图像增强块64的输出，增强图像数据198(例如，增强的亮度和色度通道)可表示锐化和鲜活的图像。

为了便于进一步说明，图20是表示图像增强块64的示例性过程的流程图228。图像增强块64可接收输入图像数据50(过程框230)并且确定缩放图像数据174是否可用(决策框232)。如果缩放图像数据174不可用，则可对输入图像数据50进行下采样以用作基于示例的改进210的低分辨率输入214(过程框234)。然而，如果缩放图像数据174可用，则可接收缩放图像数据174(过程框236)，并且可将输入图像数据50用作基于示例的改进210的低分辨率输入214(过程框238)。如此，可确定基于示例的改进210(过程框240)。此外，图像增强块64可例如经由色调检测子块202来确定色调检测(过程框242)。图像增强块64还可确定亮度转变改进208(过程框244)和亮度通道输出(过程框246)。色度转变改进212也可例如使用亮度通道输出来确定(过程框248)，并且可确定色度通道输出(过程框250)。亮度通道输出和色度通道输出一起形成增强图像数据198。

在一些实施方案中，增强图像数据198可在增强之后缩放。例如，增强图像数据198可在增强之后穿过垂直/水平缩放块66。此外或另选地，增强图像数据198可在增强之前和/或之后在定向缩放块62中进行缩放。缩放和/或增强可多次级联，直到实现期望的分辨率。

应当理解，缩放器块46的多个部件(例如，变换块56、噪声统计块58、角度检测块60、定向缩放块62、图像增强块64、垂直/水平缩放块66)可根据具体实施被启用、禁用或一起采用或单独采用。此外，缩放器块46内的使用顺序也可根据具体实施而更改(例如，切换、重复、并行或串联运行等)。如此，尽管上文引用的流程图以给定的顺序示出，但是在某些实施方案中，过程/决策框可被重新排序、更改、删除和/或同时发生。此外，所引用的流程图是作为例示性工具给出的，并且还可根据具体实施添加其他决策框和过程框。

已经以示例的方式示出了上述具体实施方案，并且应当理解，这些实施方案可容许各种修改和另选形式。还应当理解，权利要求书并非旨在限于所公开的特定形式，而是旨在覆盖落在本公开的实质和范围内的所有修改、等同物和替代方案。

本文所述的和受权利要求保护的技术被引用并应用于实物和实际性质的具体示例，其明显改善了本技术领域，并且因此不是抽象、无形或纯理论的。此外，如果附加到本说明书结尾的任何权利要求包含被指定为“用于[执行][功能]...的装置”或“用于[执行][功能]...的步骤”的一个或多个元件，则这些元件将按照35U.S.C.112(f)进行解释。然而，对于任何包含以任何其他方式指定的元件的任何权利要求，这些元件将不会根据35U.S.C.112(f)进行解释。

Claims (39)

1.一种包括增强电路的电子设备，所述增强电路被配置为增强高分辨率图像数据，从而改进与所述高分辨率图像数据对应的图像的感知质量，其中所述增强电路包括：

色调检测电路，所述色调检测电路被配置为确定所述图像内的一个或多个色调，并且至少部分地基于所述一个或多个色调对所述高分辨率图像数据应用第一改变；

基于示例的改进电路，所述基于示例的改进电路被配置为将所述高分辨率图像数据与低分辨率图像数据进行比较，并且至少部分地基于所述高分辨率图像数据的区段和所述低分辨率图像数据的区段之间的差值来对所述高分辨率图像数据应用第二改变；以及

通道处理电路，所述通道处理电路被配置为对所述高分辨率图像数据的一个或多个通道应用第一改变和第二改变。

2.根据权利要求1所述的电子设备，其中所述一个或多个色调包括表示皮肤、天空和草地中的至少一个的色调。

3.根据权利要求1所述的电子设备，其中所述通道处理电路包括亮度处理电路和色度处理电路。

4.根据权利要求3所述的电子设备，其中所述亮度处理电路包括亮度转变改进，所述亮度转变改进包括对所述高分辨率图像数据的亮度通道内的频率范围的提高。

5.根据权利要求4所述的电子设备，其中对所述频率范围的提高至少部分地基于峰值滤波器的输出，其中所述频率范围对应于高频图案。

6.根据权利要求5所述的电子设备，其中所述高频图案包括交叉影线。

7.根据权利要求4所述的电子设备，其中所述基于示例的改进电路与所述亮度转变改进并行地运行。

8.根据权利要求3所述的电子设备，其中所述色度处理电路被配置为至少部分地基于所述亮度处理电路对亮度通道的增强来增强色度通道。

9.根据权利要求1所述的电子设备，包括下采样电路，所述下采样电路被配置为通过对所述高分辨率图像数据的一部分进行采样来生成所述低分辨率图像数据。

10.根据权利要求9所述的电子设备，其中所述高分辨率图像数据的所述一部分包括所述高分辨率图像数据的每四个像素值中的一个。

11.根据权利要求1所述的电子设备，其中所述高分辨率图像数据是通过将所述低分辨率图像数据缩放到更高分辨率来生成的。

12.根据权利要求1所述的电子设备，其中所述增强电路被配置为：

接收所述高分辨率图像数据，其中所述高分辨率图像数据包括各自与所述图像对应的高分辨率亮度通道和低分辨率亮度通道，其中将所述高分辨率图像数据与所述低分辨率图像数据进行比较包括将所述高分辨率亮度通道与所述低分辨率亮度通道进行比较以生成所述差值；

至少部分地基于所述差值生成所述第二改变；

生成对所述高分辨率亮度通道的第三改变，其中所述第三改变至少部分地基于以下各项：

对所述高分辨率亮度通道的频率范围的提高；以及

最小化所述提高在所述图像的边缘处的下冲或过冲的校正；以及

至少部分地基于所述第二改变和所述第三改变的混合来增强所述高分辨率亮度通道。

13.一种方法，包括：

经由增强电路接收各自与图像对应的高分辨率亮度通道和低分辨率亮度通道；

经由所述增强电路将所述高分辨率亮度通道与所述低分辨率亮度通道进行比较以生成差值；

经由所述增强电路至少部分地基于所述差值生成对所述高分辨率亮度通道的第一改变；

经由所述增强电路生成对所述高分辨率亮度通道的第二改变，其中所述第二改变至少部分地基于以下各项：

对所述高分辨率亮度通道的频率范围的提高；以及

最小化所述提高在所述图像的边缘处的下冲或过冲的校正；

经由所述增强电路至少部分地基于所述第一改变和所述第二改变的混合来增强所述高分辨率亮度通道，从而生成增强的亮度通道；以及

输出所述增强的亮度通道。

14.根据权利要求13所述的方法，其中所述差值是至少部分地基于平方差近似值来确定的，其中对所述高分辨率亮度通道的第一改变是通过对所述差值应用查找表而确定的。

15.根据权利要求13所述的方法，包括经由所述增强电路至少部分地基于确定所述高分辨率亮度通道的一部分包含噪声，降低对所述高分辨率亮度通道的所述一部分的增强的量。

16.根据权利要求13所述的方法，包括经由所述增强电路接收色度通道，并且至少部分地基于所述增强的亮度通道来增强所述色度通道。

17.一种系统，包括：

处理器，所述处理器被配置为：

接收对应于图像的高分辨率图像数据；

确定所述图像内的一个或多个色调，并且至少部分地基于所述一个或多个色调对所述高分辨率图像数据应用第一改变；

将所述高分辨率图像数据与低分辨率图像数据进行比较，并且至少部分地基于所述高分辨率图像数据的区段和所述低分辨率图像数据的区段之间的差值来对所述高分辨率图像数据应用第二改变；以及

对所述高分辨率图像数据的一个或多个通道应用第一改变和第二改变以增强所述高分辨率图像数据，从而改进所述图像的感知质量，以生成增强的图像数据；以及

控制器，所述控制器被配置为从用于所述处理器的存储器获取所述高分辨率图像数据，并且将所述增强的图像数据输出到电子显示器或所述存储器。

18.根据权利要求17所述的系统，其中所述处理器被配置为通过对所述高分辨率图像数据进行下采样来生成所述低分辨率图像数据。

19.根据权利要求17所述的系统，其中所述处理器被配置为至少部分地基于噪声统计值来限制所述图像的区域中的增强。

20.根据权利要求17所述的系统，其中所述处理器被配置为经由基于示例的改进将所述高分辨率图像数据与所述低分辨率图像数据进行比较。

21.根据权利要求17所述的系统，包括显示驱动器，所述显示驱动器被配置为将所述增强的图像数据驱动到电子显示器。

22.一种电子设备，包括：

电子显示器，所述电子显示器被配置为至少部分地基于增强的图像数据来显示图像；和

图像处理电路，所述图像处理电路被配置为生成所述增强的图像数据，其中生成所述增强的图像数据包括：

接收对应于图像的输入图像数据；

至少部分地基于所述输入图像数据将所述图像内的一个或多个色调识别为潜在地表示特定图像内容；以及

至少部分地基于所述特定图像内容，对与对应于所识别的一个或多个色调的图像的一个或多个区域相关联的所述输入图像数据应用调节。

23.根据权利要求22所述的电子设备，其中将所述图像内的所述一个或多个色调识别为潜在地表示所述特定图像内容包括确定所述一个或多个色调表示所述特定图像内容的置信水平。

24.根据权利要求23所述的电子设备，其中所述图像处理电路被配置为响应于所述置信水平高于阈值而应用所述调节。

25.根据权利要求22所述的电子设备，其中识别所述一个或多个色调包括将所述输入图像数据转换为色度、饱和度和纯度HSV格式并且针对所述一个或多个色调来分析HSV格式的转换后的输入图像数据。

26.根据权利要求22所述的电子设备，其中，所述特定图像内容包括天空的图像表示、草地的图像表示和皮肤的图像表示中的至少一个。

27.根据权利要求22所述的电子设备，其中，所述调节是第一调节并且所述特定图像内容是第一特定图像内容，并且其中对应于第二特定图像内容的第二调节不同于所述第一调节。

28.根据权利要求27所述的电子设备，其中所述输入图像数据的所述第一调节包括所述输入图像数据的锐化增强。

29.根据权利要求28所述的电子设备，其中所述输入图像数据的所述第二调节包括所述输入图像数据的减少增强。

30.根据权利要求22所述的电子设备，其中识别所述一个或多个色调包括分析所述输入图像数据的图像统计值，其中所述图像统计值包括绝对差和SAD统计值以及差分DIFF统计值中的至少一个。

31.根据权利要求22所述的电子设备，其中识别所述一个或多个色调包括分析所述输入图像数据的多个颜色通道的组合。

32.图像处理电路，包括：

色调检测电路，所述色调检测电路被配置为接收对应于图像的输入图像数据，并将所述图像的区域识别为具有与多个预定特征中的预定特征匹配的特征，其中所述色调检测电路被配置为至少部分地基于确定在所述区域处的所述图像内的色调而将所述图像的所述区域识别为具有所述特征；和

增强电路，所述增强电路被配置为至少部分地基于所述色调而在由所述色调检测电路识别的所述区域处对所述输入图像数据应用调节。

33.根据权利要求32所述的图像处理电路，其中，对于所述多个预定特征中的不同预定特征，所述调节是不同的。

34.根据权利要求32所述的图像处理电路，其中所述调节包括增加的锐度增强或降低的锐度增强，这取决于所述特征与所述多个预定特征中的哪一个匹配，并且其中所述多个预定特征包括天空的图像表示、草地的图像表示和皮肤的图像表示。

35.根据权利要求32所述的图像处理电路，其中，所述色调检测电路被配置为至少部分地基于所确定的色调是所述预定特征的特征的确定的置信水平，将所述图像的所述区域识别为具有与所述预定特征匹配的特征。

36.根据权利要求32所述的图像处理电路，其中所述色调检测电路被配置为通过分析所述输入图像数据的多个颜色通道的组合来识别所述区域处的色调。

37.根据权利要求32所述的图像处理电路，其中，所述调节是软件可编程的。

38.一种方法，包括：

经由图像处理电路接收与图像对应的输入图像数据的多个图像数据通道；

经由所述图像处理电路至少部分地基于对所述输入图像数据的所述多个图像数据通道的组合的分析，识别所述图像内潜在地对应于多个预定图像表示中的预定图像表示的色调，其中所述多个预定表示包括天空的图像表示、草地的图像表示和皮肤的图像表示中的至少一个；以及

经由所述图像处理电路至少部分地基于所述色调潜在地对应于所述多个预定图像表示中的哪一个，对与对应于所识别的色调的图像的区域相关联的输入图像数据应用调节。

39.根据权利要求38所述的方法，其中分析所述输入图像数据的所述多个图像数据通道的所述组合包括将输入图像数据从第一格式转换为不同于第一格式的第二格式，以及分析第二格式的输入图像数据。

Images