CN105144681A - 用频率提高来创建图像中的细节 - Google Patents

Abstract

一个或多个实施例一般涉及超高清晰度显示器，并且具体地涉及用频率提高来创建较低分辨率图像中的细节用于在UD显示器或设备上显示。一种方法包括：接收输入图像信息，使用处理器设备用于基于输入图像信息的频率特征来确定增强信息，以及将增强信息与输入图像信息混合来生成增强的图像。

Description

用频率提高来创建图像中的细节

技术领域

一个或多个实施例一般涉及超高清晰度(UD)显示器，并且具体地涉及用频率提高(frequencylifting)来创建较低分辨率图像中的细节用于在UD显示器或设备上的显示。

背景技术

UD用户，诸如UD电视(UDTV)或其它UD显示设备必须在UD设备上观看更低分辨率内容(例如，标准清晰度(SD)、高清晰度(HD)、全HD(FHD)等内容)直到UD视频变得更加普遍。更低分辨率帧当在UD设备上被观看时，其图像质量看起来降低了。规则的图像放大(upscale)或者内插不能提供充分的图像锐度和精细的细节来最小化图像质量降低。

发明内容

解决方案

一个或多个实施例涉及创建图像的图像细节。在一个实施例中，方法包括接收输入图像信息。在一个实施例中，使用处理器设备基于输入图像信息的频率特征来确定增强信息。在一个实施例中，将增强信息与输入图像信息混合来生成增强的图像。一个实施例包括用于通过根据所述方法的过程来生成增强的图像的图像增强设备。

在一个实施例中，系统包括细节创建模块，该细节创建模块使用处理器设备用于：接收输入图像信息，以及基于输入图像信息的频率特征来确定增强信息。在一个实施例中，混合器模块将增强信息与输入图像信息混合来生成增强的图像。

在一个实施例中，一种具有指令的非临时计算机可读介质，所述指令当在计算机上被运行时执行方法，该方法包括接收输入图像信息。在一个实施例中，基于输入图像信息的频率特征来确定增强信息。在一个实施例中，将增强信息与输入图像信息混合来生成增强的图像。

参照以下描述、所附权利要求和附图，一个或多个实施例的这些和其它特征、方面和优点将变得好理解。

附图说明

图1展示根据一个实施例的具有图像细节创建机制的电子系统。

图2展示根据一个实施例的系统的示例高级框图。

图3展示根据实施例的图像细节处理系统的框图。

图4展示根据实施例的外部图像块和内部图像块之间的示例关系。

图5展示根据实施例的示例细节创建块。

图6展示根据实施例的用于变换的周期性的示例。

图7展示根据实施例的示例变换移位操作。

图8展示根据实施例的与频率分量有关的距离计算的示例图。

图9展示根据实施例的用于频率提高的传递函数的示例图。

图10展示根据实施例的另一个示例细节创建块。

图11展示用于描绘根据实施例的与频率分量有关的距离确定的示例图。

图12展示根据实施例的细节创建过程的框图。

图13是展示包括对于实现所公开的实施例有用的计算机系统的信息处理系统的示范性高级框图。

具体实施方式

以下描述是出于说明一个或多个实施例的一般原理的目的而做出，而不意味着限制在此主张的发明构思。此外，在此描述的特定特征可以与在各种可能的组合和置换的每个中的其它描述的特征组合使用。除非在此另外明确地定义，否则所有术语要被赋予其最宽的可能解释，包括从说明书中暗示的意思，以及本领域技术人员所理解的和/或在词典、论文等等中定义的意思。

一个或多个实施例提供用于创建图像的图像细节。在一个实施例中，方法包括接收输入图像信息。在一个实施例中，使用处理器设备基于输入图像信息的频率特征来确定增强信息。在一个实施例中，将增强信息与输入图像信息混合来生成增强的图像。一个实施例包括用于通过根据所述方法的过程来生成增强的图像的图像增强设备。

本领域技术人员将理解表示图像信息的格式对于一些实施例来说不是关键的。例如，在一些实施例中，以(X,Y)的格式来呈现图像信息，其中X和Y是定义图像中的像素的位置的两个坐标。三维图像信息由(X,Y,Z)的格式以及关于像素的颜色的有关信息来表示。在一个实施例中，三维图像信息还包括强度或亮度元素。

为了解释的目的，如在此使用的术语“水平”指代当查看如通过图指定“图”所指示的图时的水平方向。术语“垂直”指代垂直于如刚才定义的水平的方向。相对于水平，定义诸如“在……之上”、“在……下面”、“底部”、“顶部”、“侧面”、“更高”、“更低”、“上面的”、“在……上”和“在……下”的术语，如图中所示。

在此提及的术语“图像”可以包括二维图像、三维图像、视频帧、计算机文件表示、来自相机的图像、视频帧或者其组合。例如，图像可以是机器可读数字文件、物理照片、数字照片、运动图片帧、视频帧、x射线图像、扫描图像或其组合。图像可以从按矩形阵列排列的像素中生成。图像可以包括沿着行方向的x轴和沿着列方向的y轴。

图1展示一个或多个实施例中的具有图像细节创建机制的电子系统50。电子系统50包括第一设备52，诸如客户端或服务器，其连接到第二设备56，诸如客户端或服务器。第一设备52可以以通信路径54(诸如无线或有线网络)与第二设备56通信。

在一个示例中，第一设备52可以是各种超高清晰度(UD)显示设备的任何一种，诸如UD电视机(UDTV)、平板设备、智能手机、个人数字助理(PDA)、笔记本计算机、液晶显示器(LCD)系统、可穿戴设备、移动计算设备或其它多功能显示器或娱乐设备。第一设备52可以直接或间接地耦合到通信路径54来与第二设备56通信，或者可以是独立的设备。

为了说明的目的，以作为显示设备的第一设备52来描述显示系统50，但是应该理解第一设备52可以是不同类型的设备。例如，第一设备52也可以是用于呈现图像或多媒体呈现的设备。多媒体呈现可以是包括声音、流图像序列或视频馈送，或者其组合的呈现。举例来说，第一设备52可以是UDTV，或者任何其它类型的UD显示设备(例如，监视器、视频面板、HUD、智能电话机、平板设备、视频设备、游戏设备等等)。

第二设备56可以是各种集中式或分散式计算设备、图像或视频传输设备中的任何一种。例如，第二设备56可以是多媒体计算机、平板、膝上型计算机、台式计算机、视频游戏控制台、网格计算资源、虚拟化计算机资源、云计算资源、路由器、交换机、对等分布式计算设备、媒体回放设备、数字视频盘(DVD)播放器、三维功能DVD播放器、记录设备，诸如相机或摄像机，或者其组合。在另一个示例中，第二设备56可以是用于接收广播或直播流信号的信号接收器，诸如电视接收器、线缆盒、卫星天线接收器或网络功能(webenabled)设备。

第二设备56可以集中在单个房间中、分布在不同的房间、分布在不同的地理位置、嵌入在电信网络之内。第二设备56可以具有用于与通信路径54耦合来与第一设备52通信的部件。

为了说明的目的，以作为计算设备的第二设备56来描述电子系统50，但是应该理解第二设备56可以是不同类型的设备。同样为是说明的目的，以作为通信路径54的端点的第二设备56和第一设备52来展示显示系统50，但是应该理解显示系统50可以具有在第一设备52、第二设备56和通信路径54之间的不同划分。例如，第一设备52、第二设备56或者其组合也可以充当通信路径54的一部分。

通信路径54可以是各种网络。例如，通信路径54可以包括无线通信、有线通信、光、超声波或其组合。卫星通信、蜂窝通信、蓝牙、红外数据协会标准(IrDA)、无线保真(WiFi)和全球微波接入互联(WiMAX)是可以被包括在通信路径54中的无线通信的示例。以太网、数字用户线(DSL)、光纤到户(FTTH)、高清晰度多媒体接口(HDMI)线缆和普通老式电话服务(POTS)是可以包括在通信路径54中的有线通信的示例。

此外，通信路径54可以穿越许多网络拓扑和距离。例如，通信路径54可以包括直接连接、个域网(PAN)、局域网(LAN)、城域网(MAN)、宽域网(WAN)或其组合。

图2展示根据一个实施例的系统200的高级框图。在一个实施例中，系统200可以使用图像细节处理系统300(见图3)来处理在输入节点201处接收的来自输入源210的输入视频图像，在输出节点240处输出视频图像并且在输出源250(或图1的设备52)上显示图像。在一个实施例中，图像细节处理系统300接收输入图像信息，并且基于输入图像信息的频率特征来确定增强信息。在一个实施例中，然后将增强信息与输入图像信息混合来生成增强的图像。

在一个实施例中，用于输出源250(或52)的显示器可以是用于呈现图像或多媒体呈现的物理设备。例如，显示器可以是屏幕，包括液晶显示器(LCD)面板、等离子屏幕和投影屏幕、平视显示器(heads-up-display，HUD)等等。在其它实施例中，显示器可以被投影在物体或反射设备上。

在一个实施例中，输入视频图像可以从输入源210提供，输入视频图像可以无线地或通过有线接口被发送/接收，并且可以包括未压缩/压缩的视频内容。在一个实施例中，系统200中的视频成像内容的有线或无线通信可以包括在下面一个或多个上的通信：以太网、电话(例如，POTS)、线缆、电力线和光纤系统，和/或包括码分多址(CDMA或CDMA2000)通信系统、频分多址(FDMA)系统、时分多址(TDMA)系统(诸如GSM/GPRS(通用分组无线电服务)/EDGE(增强的数据GSM环境)、TETRA(地面集群无线电)移动电话系统)、宽带码分多址(WCDMA)系统、高数据速率(1x增强的语音-仅数据(EV-DO)或1xEV-DO黄金组播)系统、IEEE802.11系统、DMB(数字多媒体广播)系统、正交频分多址(OFDM)系统、DVB-H(数字视频广播-手持)系统等中的一个或多个的无线系统。

在一个实施例中，视频输入源210可以在无线网络(例如，互联网、局域网(LAN)、宽域网(WAN)、个域网(PAN)、校园无线网(CAN)、城域网(MAN)等)上发送。在一个实施例中，输入源210可以来自于基于云的系统、服务器、广播站、视频设备/播放器、视频相机、移动设备等等。

在一个实施例中，从输入源输入的视频图像在到达输入节点201之前可以被解码/编码(例如，经由解码器/编码器)。在一个实施例中，从输出节点240输出到输出源250的视频图像在到达输出节点240之前可以被编码/解码。在一个实施例中，输出源250可以无线地或通过有线接口从输出节点240接收输出图像。

在一个实施例中，来自输入源210的压缩视频图像内容可以从广播、计算机网络、DVD或者其它计算机可读存储介质或者任何其它合适的视频信号源提供模拟或数字视频。在一个实施例中，来自输入源210的压缩视频可以经由射频接口(诸如ATSC广播)、计算机网络或有线或无线连接(诸如分量视频线缆)、DVI或HDMI视频接口等等耦合到接收器。在一个实施例中，来自输入源210的未压缩的视频图像可以包括通过任何合适的视频接口耦合到接收器的诸如磁盘驱动器的存储器件或摄像机中的一个或多个。在一个实施例中，来自输入源210的未压缩的视频可以提供模拟或数字形式的未压缩的视频，包括亮度和色度的形式，按照诸如红、绿和蓝等的单色强度，或者以任何其它合适的格式。

在一个实施例中，用于来自输入源210的输入视频内容的数字视频格式可以包括不同的帧率、不同数量的像素线和行、交织和非交织的等等。例如，电影通常以24fps(帧每秒)的格式产生，NTSC是30帧每秒而PAL是25帧每秒。格式可以是交织的或渐进的。例如，高清晰度格式(诸如数字视频广播标准支持的)可以被修改为适合于输出源250的显示设备的格式的格式。输出源250的显示设备可以被配置为接收NTSC、PAL、ATSC、DVB/T等，或者配置为以帧率(诸如70Hz、75Hz、80Hz等)运行的显示设备。

图3展示根据实施例的图像细节处理系统300的框图。在一个实施例中，系统300可以在电子设备中实现，其中电子设备诸如第一设备52(图1)、第二设备56等。在一个实施例中，系统300包括输入节点301、取得/接收模块310、细节创建模块320、块构建/组合模块330、混合器模块335(用于将提高(lift)的图像细节与输入图像混合)以及输出节点340。

在一个实施例中，实现基于块的图像处理来在输出节点340处产生输出图像，该输出图像是来自输入节点301的输入图像和包含所创建的高频信息(细节)的其增强版本的组合。在一个实施例中，在细节创建模块320中创建细节，其中从块接收模块310(其将输入图像划分成块)馈入图像块311，并且通过细节构建模块330生成输出细节块331，在细节构建模块330中构建更多的输出细节块来形成完整的图像细节。在一个实施例中，输出(其可以是像素或图像块331(尺寸PxQ))一般小于块311(尺寸MxN)的输入图像尺寸，其中P、Q、M和N是正整数。

在一个示例实施例中，如果在系统300前面添加规则图像上转换块，则它可以被应用来使用作为输入图像的更低分辨率图像生成UD图像(静态图像或视频帧)，这是高级的图像上转换/放大/超分辨率系统。在一个示例实施例中，上转换的UD图像包含通过传统的图像上转换算法不能获得的额外的图像细节。结果，在一个或多个实施例中可以大大地改善图像质量(锐度、精细细节等)。在一个实施例中，可以在可以接收低分辨率电影用于显示的UD设备或显示器中实现系统300的应用。如果在UD设备或显示器上系统300不可用，则观众可能感觉图像锐度差或图像缺少精致的细节。当前，UD视频图像(例如，流视频、电影等)在市场上可得，但是UD视频媒体(TV节目、webTV或视频、蓝光盘和个人数字视频)极少。大部分视频媒体仍然是FHD、HD或甚至SD。在一个或多个实施例中，为了满足UD观众的视觉期望，使用系统300来实现高级的图像上转换(超分辨率)功能。

在一个实施例中，可以在目前的HDTV(或更低分辨率TV、设备、显示器等)中实现系统300的应用，来增强(或还原)差(模糊的或劣化的)图像细节的低质量SD、HD、FHD、UD或放大的UD图像的图像细节，诸如从互联网获得的web视频剪辑或者通过个人录像摄像机或智能手机捕捉的数字视频的图像细节。由于数据压缩、不充足的照明条件或者视频捕捉设备的有限性能，低质量SD、HD或FHD视频剪辑的图像细节常常可能劣化或损坏。一个或多个实施例提供了作为通用系统的系统300，其能够以硬件或软件通过不同的应用来实现要求的功能。在一个示例实施例中，关于系统300的应用可以包括高性能图像细节增强或还原、图像超分辨率和高级的图像上转换等等。在一个或多个示例实施例中，系统300的各种应用如果被实现为UD设备和显示器、HDTV产品中的编程硬件，或者用在PC或移动设备(平板、PC、可穿戴设备、智能手机等)中的软件，则可能非常有用。

在一个实施例中，系统300在输出节点340处产生输出图像，该输出图像是来自输入节点301的输入图像和包含增强的和还原的高频信息(细节)的其增强版本的组合。接下来是结合图4-11的用于一个或多个实施例的细节创建模块320的细节描述。

图4展示根据实施例的彼此中心对齐的外部图像块(由MxN块311组成)和内部图像块(由PxQ块331组成)之间的示例关系。在图4中示范共同图像块尺寸以及在输入图像块311和输出图像块331之间的空间关系。在一个实施例中，输出图像块331被定位为输入图像块311的中心部分。在一个实施例中，在输出图像块331被创建时，使用输出块331内部的图像信息和输出块331外部(输入块311内部)的信息两者。在一个示例实施例中，兴趣区域(输出块331/输入块311)之内的图像信息被认为是与周围区域(输入块311/输出块331)的图像信息有关(或可从其推断)。在一个实施例中，输出图像块331被构建模块330“拼凑”起来或组合来生成整个输出细节图像，然后通过用混合器335(图3)组合创建的细节和输入图像来获得最终结果。

图5展示根据实施例的可以在系统300中实现为细节创建模块320的示例细节创建块520。在一个实施例中，细节创建块520可以包括从接收模块310(图3)接收输入图像的2D移位离散傅立叶变换(SDFT)模块521、幅度模块522、DFT转换模块523、频率提高模块525及输出作为构建模块330的输入的输出图像块的2D逆SDFT(ISDFT)模块524。

在一个实施例中，输入图像块首先在2DSDFT模块521中被处理来计算(矩阵中的)DFT系数，DFT系数然后被移位。在一个实施例中，在如下面描述的图6和图7中示出DFT系数的移位。在一个实施例中，移位的DFT系数被提供作为分别用于距离计算、系数频率提高和系数转换的频率提高模块525和DFT转换模块523的输入。应该注意到移位的DFT(SDFT)是复数，其可以被表示为SDFT＝SDFT_R+j·SDFT_I，然后SDFT的幅度被计算(MAG_IN)为|SDFT|＝(SDFTR_R ²+SDFT_I ²)^1/2，或者MAG_IN＝|SDFT|，其中R表示实部而I表示虚部。在频率提高模块525内部，通过使用系数在矩阵中的行和列索引(相当于点的坐标)来获得DFT系数(频域的分量，相当于2D坐标中的点)到零频率系数(相当于2D坐标的原点)的距离。在一个实施例中，计算的距离被馈送作为两个处理子块：系数转换模块523和频率提高模块525的输入。

在一个实施例中，在频率提高模块525中，一些(例如，一个或多个、若干、全部等等)频率分量被提高到频谱中的更高频率位置。在一个示例实施例中，如果2DDFT系数/谱被绘制为3D笛卡尔坐标中的曲面(原点表示零频率位置)，则频率提高处理使得中心外的峰从原点向外移动，并且使得中央峰的坡向外扩展。下面参照图6-9来描述频率提高模块525处理的细节。在一个实施例中，系统转换模块523从三个处理块接收输出：2DSDFT模块521、幅度模块522和频率提高模块525，并且计算新/修改的2DDFT系数。下面描述系数转换模块523的计算细节。

在一个实施例中，在2DISDFT中，新的2DDFT系数首先被移位，然后被逆变换为空域信号-以修改的图像块(尺寸MxN)，这也是细节创建块520(如图3的细节创建模块320一样实现)的输出。

图6展示根据实施例的用于变换的周期性的矩阵605的示例600。在一个实施例中，矩阵600是MxN矩阵。在一个示例中，DFT系统具有在每组系数的左下角的原点用于距离计算(DC)。在一个实施例中，SDFT将原点移位到SDFT块610的中心。

图7展示根据实施例的变换移位操作的示例700。在一个实施例中，示例700示出用于计算频域分量到零频率点的距离的目的的DFT系数的移位。在一个示例中，一般通过2DFFT(快速傅立叶变换)算法来实现2DDFT，其生成矩阵格式的DFT系数，如作为DFT矩阵705和SDFT矩阵715的示例700中所示。在一个示例实施例中，每个矩阵元素是频率分量。x，y坐标分别表示列和行索引。在一个示例实施例中，对于没有移位的DFT系数矩阵705，4个角元素贡献于(contributeto)零频率分量。

在一个示例中，为了说明系数移位，将系数矩阵均匀地划分成四个(4)区域，如DFT矩阵705图和SDFT矩阵715图中所示。在一个示例实施例中，在系数移位之后，新的系数矩阵(SDFT矩阵715)可以被认为是通过交换四个区域的位置而获得的。在一个示例实施例中，区域1与区域3交换它的位置，而区域2与区域4交换它的位置。在一个实施例中，系数移位将零频率位置710移动到矩阵711的中心(相当于2D坐标的原点)，这可以简化距离计算，并且也使得频率提高模块525处理更容易理解。

图8展示用于描述根据实施例的距离计算的示例图800。在DFT系数移位之后，将零频率移动到矩阵805的中心。在频率提高模块525内部，需要首先计算象限806中从频率分量811到零频率点的距离810。零频率点被当成2D坐标的原点，而矩阵元素被当成是坐标上的点。在一个示例中，系数811的位置由x_in820和y_in821来指示。在一个实施例中，对于频率分量的位置，如在公式x_in＝Col-Col(0)，y_in＝Row-Row(0)中获得相应点的坐标。

图9展示根据实施例的用于频率提高的传递函数的示例图900。在一个示例实施例中，在公式x_in＝Col-Col(0)，y_in＝Row-Row(0)中，x_in和y_in是频率分量的坐标而Col和Row是它的矩阵索引。同样地，Col(0)和Row(0)是零频率分量的矩阵索引。

在一个实施例中，在DFT系数移位之后，将零频率移动到矩阵的中心。在一个实施例中，为了计算从频率分量到零频率点的距离，零频率点被当做2D坐标的原点(即，(0,0)点)，并且矩阵元素被当作坐标上的点，如作为示例的图9中所示，其中M＝N＝8。注意MAN_IN矩阵的索引变为 $x_{in}=-\frac{N}{2},\mathrm{...},0,\mathrm{...},\frac{N}{2}-1$ 和 $y_{in}=-\frac{M}{2},\mathrm{...},0,\mathrm{...},\frac{M}{2}-1,$ 其中假设N和M是偶数，并且对于MAG_OUT矩阵索引来说相同。在一个实施例中，对于所有 $x_{in}=-\frac{N}{2},\mathrm{...},0,\mathrm{...},\frac{N}{2}-1$ 和 $y_{in}=-\frac{M}{2},\mathrm{...},0,\mathrm{...},\frac{M}{2}-1,$ 到零频率系数的距离d_in920计算如下

$d_{in}=\sqrt{x_{in}^2+y_{in}^2}.$

在一个实施例中，频率提高模块525(图5)基于频率分量到零频率(图8中的原点)分量的距离来将它们提高到更高频率位置。然而，如果矩阵元素被认为是矢量的箭头，则频率提高操作不改变矢量的方向。在一个实施例中，仅矢量的长度(频率分量到原点的距离)可以增加。基本上，此距离d_out915变化可以在算术上表示如下

d_out＝curve(d_in)。

在一个实施例中，上面公式中的“curve”是预定的传递函数，其典型示例被展示为在曲线900中绘制的曲线940。在一个示例实施例中，x/水平轴表示输入距离d_in920，并且y/垂直轴表示输出距离d_out915。在一个实施例中，可以使用如线935和曲线940所示的分段函数来创建传递函数。在一个示例实施例中，当输入距离d_in920小于值K910时，距离将不被改变。因此，在一个实施例中，直线935具有斜率1。在一个示例实施例中，当输入距离d_in920大于K910时，输出距离d_out915将增加并且大于d_in920。在一个示例实施例中，距离增加可以通过非线性函数(例如，第2阶多项式函数)来确定。在一个示例实施例中，具有最大距离930的最高频分量将不被提高。在正常2DDFT谱中，较低频分量(接近中心的矩阵元素)比较高频分量一般具有高值(DFT分量的幅度)。因此，在将较低频分量提高到更高频位置的一个示例实施例中，创建了高频信息。在一个实施例中，可以创建新的高频信息(新的图像细节)来还原丢失/损坏的图像细节。在一个实施例中，当从低频信息中创建或推断出高频分量时，新的图像细节看起来更“真实”或“有意义”，并且与传统的超分辨率(SR)方法相比可以包含更少的人为现象(artifact)。

在一个实施例中，在将频率分量提高到更高频率位置之后，可以在以下的公式中确定它的新位置(坐标)：

$x_{out}=x_{in}*\frac{d_{out}}{d_{in}}$

$y_{out}=y_{in}*\frac{d_{out}}{d_{in}},$

其是在相同角度提高DFT频率分量。应注意应该注意新的坐标或新的位置常常不是通过DFT坐标矩阵定义的正确的坐标或位置。因此，在一个示例实施例中，基于移位的网格和修改的DFT值，使用2D内插或重新采样来计算在“正确的”位置上的DFT系数。一旦已经计算出目标水平和垂直频率分量，频率提高模块525(图5)过程(或频率分量映射)通过下面的公式将来自MAG_IN的频率分量更新到MAG_OUT：

MAG_OUT(x_out,y_out)＝MAG_IN(x_in,y_in)。

在一个实施例中，可以容易地理解，以上公式表示频域中不同的频率位置(定位)之间的映射过程。映射可以是后向或前向内插，用来自输入频率幅度块的最近的相邻像素或加权相邻像素内插新的像素频率幅度(MAG_OUT)。在一个实施例中，在获得增强的频率之后，可以用增强的频率和在那个位置的原始频率来计算比率。在一个示例实施例中，那么可以通过如下用该比率乘以SDFT结果来获得增强的DFT(包括实部和虚部两者)：

$SDFT\_OUT=SDFT\frac{MAG\_OUT}{MAG\_IN}.$

在一个实施例中，通过频率提高模块525(图5)的频率提高过程获得DFT系数的修改的矩阵。在一个示例实施例中，在矩阵可以通过ISDFT模块524变换回空域中的图像块之前，它的元素需要以图7中所示的相反的方式移位。

图10展示根据实施例的另一个示例细节创建块1020。在一个实施例中，细节创建块1020可以用细节创建模块320(图3)来实现。在一个示例实施例中，细节创建块1020实现DCT处理。在一个实施例中，细节创建块1020包括2DDCT模块1021、幅度模块1022、频率提高模块1025、DCT转换模块1023和2D逆DCT(2DIDCT)模块1024。

在一个实施例中，频率提高模块1025的主函数是提高MAG_IN中给定的频率并生成提高的DCT幅度矩阵DCT_OUT。在一个示例实施例中，对于所有x_in＝0,1,...,M-1和y_in＝0,1,...,N-1，使用系数的行和列索引(相当于点的坐标)来计算到零频率系数(相当于2D坐标的原点)的距离，如：

$d_{in}=\sqrt{x_{in}^2+y_{in}^2},$

这是与频率分量有关的(例如，如图11中描绘)。

在频率提高模块1025中，距离作为输入被馈送到传递函数来决定上面的目标提高频率到零频率分量的距离，如

d_out＝curve(d_in)，

其中curve表示单调增加的传递函数。在一个示例实施例中，传递函数在图9中所示，其还展示出频率范围被设置诸如d_in＜K其分量没有被提高。

在一个实施例中，一旦已经计算出目标提高因子，那么如下确定相关联的水平和垂直DCT频率分量：

其被实现为以相同角度提高DCT频率分量。应注意在一个实施例中，一旦已经计算出目标水平和垂直频率分量，就通过频率提高模块1025将频率分量从MAG_IN更新到MAG_OUT，如：

MAG_OUT(x_out,y_out)＝MAG_IN(x_in,y_in)。

注意到，在频率提高模块1025中，一些(例如，一个或多个、若干、全部等等)频率分量被提高到频谱中的更高频率位置。在一个示例实施例中，如果2DDFT系数/谱被绘制为3D笛卡尔坐标(原点表示零频率位置)中的曲面，则频率提高处理使得中心外的峰从原点向外移动，并且使得中央峰的坡向外扩展。

在一个实施例中，来自频率提高模块1025的MAG_IN和MAG_OUT然后被提供给DCT转换模块1023，其输出为：

$DCT\_OUT=DCT\·\frac{MAG\_OUT}{MAG\_IN}.$

在一个实施例中，在2DIDCT模块1024中，新的2DDCT系数(DCT_OUT)被逆变换为空域信号-与BLK(MxN)相同尺寸的块，这是细节创建模块320(图3)的输出。

图11展示用于描绘根据实施例的与频率分量有关的距离确定的示例图1100。在一个示例实施例中，DCT转换模块1023(图10)的操作是将原始相位信息与幅度变化合并。在一个实施例中，用于x和y坐标的2D原点1105用于基于x_in1120和y_in1121来确定到系数1111的距离d_in1110。

图12展示根据实施例的细节创建过程1200的框图。在一个实施例中，在框1210中，接收的图像信息(例如，图3的MxN块311)被变换(例如，使用DFT、SDFT、DCT等)用于获得频域信息(例如，使用处理器设备)。在一个实施例中，在框1220中确定关于频域信息的频率分布以创建特定的频率分量。在一个实施例中，在框1230中在更新的频率分布上执行逆变换用于创建一个或多个输出图像块。在一个实施例中，在框1240中合并一个或多个输出图像块来创建图像细节，该图像细节被添加到图像(输入图像)。在一个实施例中，过程1200实现了使用系统300的处理。

在一个实施例中，过程1200可以包括将图像(例如，较低分辨率图像，诸如SD、HD、FHD、UD、放大的UD等)输入到较高分辨率图像，并且将输入的图像划分成包括一个或多个输入图像块的图像信息。在一个实施例中，输入图像块(MxN)具有大于输出图像(例如，像素，PxQ块等等)的尺寸的块尺寸。在一个实施例中，频域信息包括变换系数。在一个实施例中，在过程1200中可以基于以下来创建特定的频率分量：对变换系数执行频率提高用于将一些(例如，一个或多个，若干，全部等)频率分量提高到变换谱中更高频率位置；以及将变换系数转换为修改的变换系数。

在一个实施例中，过程1200可以包括基于以下来创建特定的频率分量：将矩阵中的变换系数位置移位；使用移位的变换系数，以用于使用相关联的系数行和列索引来确定系数到零频率系数位置的距离；基于所确定的距离来对变换系数执行频率提高，以用于将一些(一个或多个，若干，所有等等)频率分量提高到变换谱中的更高频率位置；以及将变换系数转换为修改的变换系数。

在一个实施例中，过程1200可以包括将零频率系数位置移动到移位后的矩阵的中心，其中零频率系数位置用作二维坐标的原点，并且矩阵元素用作二维坐标上的点。

在一个实施例中，在过程1200中，确定系数的距离可以基于预定的传递函数。在一个实施例中，在过程1200中，在电子设备(例如，图1的电子设备52)上显示包括所创建的图像细节和输入图像的输出图像。在一个实施例中，过程1200可以在本地电视设备、机顶盒设备和网络服务器设备中的一个上执行处理。

一个实施例包括用于通过根据过程1200的过程或其任何部分来生成增强的图像的图像增强设备(例如，图1的电子设备52等等)。

图13是展示包括对于实现所公开的实施例有用的计算机系统100的信息处理系统的高级框图。计算机系统100包括一个或多个处理器101，并且可以进一步包括电子显示设备102(用于显示图形、文本和其它数据)，主存储器103(例如，随机存取存储器(RAM))、存储器件104(例如，硬盘驱动器)、可移除存储器件105(例如，可移除存储驱动器、可移除存储模块、磁带驱动器、光盘驱动器、在其中存储有计算机软件和/或数据的计算机可读介质)，用户接口设备106(例如，键盘、触摸屏、键盘、指点设备)以及通信接口107(例如，调制解调器、网络接口(诸如以太网卡)、通信端口或PCMCIA插槽和卡)。通信接口107允许软件和数据在计算机系统和外部设备之间传递。系统100还包括上述设备/模块101至107连接到的通信基础设施108(例如，通信总线、转换接头或网络)。

经由通信接口107传递的信息可以是信号的形式，诸如电、电磁、光或经由通信链路能够被通信接口107接收的其它信号，所述通信链路携载信号并且可以使用线或缆、光纤、电话线、蜂窝式电话链路、射频(RF)链路和/或其它通信信道来实现。表示这里的框图和/或流程图的计算机程序指令可以被加载在计算机、可编程数据处理装置或处理设备上，使得在其上执行的一系列操作以产生计算机实现的过程。

已经参照方法、装置(系统)和计算机程序产品的流程图图示和/或框图描述实施例。这样的图示/示图的每个框或其组合可以通过计算机程序指令来实现。计算机程序指令当被提供到处理器时，产生机器，使得经由处理器运行的指令创建了用于实现在流程图和/或框图中指定的功能/操作的部件。流程图/框图中的每个框可以表示硬件和/或软件模块或逻辑。在替换实现方式中，框中注释的功能可以不按图中注释的次序来发生、并行地发生等等。

术语“计算机程序介质”、“计算机可用介质”、“计算机可读介质”和“计算机程序产品”用来一般地指代媒体，诸如主存储器、辅存储器、可移除存储器件、安装在硬盘驱动器中的硬盘和信号。这些计算机程序产品是用于向计算机系统提供软件的部件。计算机可读介质允许计算机系统从计算机可读介质中读取数据、指令、消息或消息包和其它计算机可读信息。例如，计算机可读介质可以包括非易失性存储器，诸如软盘、ROM、闪存、磁盘驱动器存储器、CD-ROM和其它永久性存储装置。例如，它对于在计算机系统之间传输诸如数据和计算机指令的信息是有用的。计算机程序指令可以被存储在计算机可读介质中，计算机可读介质可以指导计算机、其它可编程数据处理装置或其它设备按特定的方式起作用，使得被存储在计算机可读介质中的指令产生包括实施在流程图和/或框图框中指定的功能/行为的指令的制造品。

此外，计算机可读介质可以将计算机可读信息包括在诸如网络链路和/或网络接口的暂态介质中，包括有线网络或无线网络，其允许计算机读取这样的计算机可读信息。计算机程序(即，计算机控制逻辑)被存储在主存储器和/或辅存储器中。计算机程序也可以经由通信接口接收。这样的计算机程序当被运行时使得计算机系统能够执行如在此讨论的特征。具体地，计算机程序当被运行时，使得多核处理器执行计算机系统的特征。这样的计算机程序表示计算机系统的控制器。

虽然实施例已经参照其某些版本被描述，然而，其它版本也是可能的。因此，所附权利要求的精神和范围不应该限于在此包含的优选版本的描述。

Claims (34)

1.一种方法，包括：

接收输入图像信息；

使用处理器设备用于基于输入图像信息的频率特征来确定增强信息；以及

将增强信息与输入图像信息混合来生成增强的图像。

2.如权利要求1所述的方法，其中确定增强信息的步骤包括：

使用处理器设备用于变换所接收的输入图像信息以获得频域信息；

确定关于频域信息的频率分布，以创建特定的频率分量；

对更新的频率分布执行逆变换，用于创建一个或多个输出图像块；以及

合并所述一个或多个输出图像块来创建包括图像细节的增强信息，并且将图像细节与输入图像混合。

3.如权利要求2所述的方法，还包括：

输入所述输入图像；以及

将输入图像划分成包括一个或多个输入图像块的输入图像信息。

4.如权利要求3所述的方法，其中输入图像块具有大于输出图像块的块尺寸的块尺寸。

5.如权利要求2所述的方法，其中频域信息包括变换系数，并且基于以下来创建特定的频率分量：

在变换系数上执行频率提高，用于将一个或多个频率分量处理到变换谱中的更高频率位置；以及

将变换系数转换为修改的变换系数。

6.如权利要求2所述的方法，其中频域信息包括变换系数，并且基于以下来创建特定的频率分量：

将矩阵中的变换系数位置移位；

使用移位的变换系数，用于使用相关联的系数行和列索引来确定系数到零频率系数位置的距离；

基于所确定的距离对变换系数执行频率提高，用于将一个或多个频率分量提高到变换谱中的更高频率位置；以及

将变换系数转换为修改的变换系数。

7.如权利要求6所述的方法，还包括：

将零频率系数位置移动到所述移位之后的矩阵的中心，其中零频率系数位置被用作二维坐标的原点，并且矩阵元素被用作二维坐标上的点。

8.如权利要求7所述的方法，其中基于预定的传递函数来确定系数的距离。

9.如权利要求5所述的方法，其中变换所接收的输入图像信息的步骤包括使用离散傅立叶变换处理和离散余弦变换处理中的一个。

10.如权利要求2所述的方法，其中包括图像细节和输入图像的输出图像被显示在电子设备上。

11.如权利要求10所述的方法，其中电子设备包括电视设备、监视器设备、计算设备和移动计算设备中的一个。

12.如权利要求2所述的方法，其中处理器设备在本地电视设备、机顶盒设备和网络服务器设备中的一个上执行处理。

13.一种系统，包括：

细节创建模块，其使用处理器设备用于：

接收输入图像信息；以及

基于输入图像信息的频率特征来确定增强信息；和

混合器模块，其将增强信息与输入图像信息混合来生成增强的图像。

14.如权利要求13所述的系统，其中细节创建模块还使用处理器设备用于：

变换所接收的输入图像信息以获得频域信息；

确定关于频域信息的频率分布，以创建特定的频率分量；以及

对更新的频率分布执行逆变换，用于创建一个或多个输出图像块；以及

该系统还包括：

输出块构建模块，其合并一个或多个输出图像块来创建包括图像细节的增强信息；

其中混合器模块将图像细节与输入图像混合。

15.如权利要求14所述的系统，还包括：

接收模块，其输入所述输入图像，并将输入图像划分成包括一个或多个输入图像块的输入图像信息。

16.如权利要求15所述的系统，其中输入图像块具有大于输出图像块的块尺寸的块尺寸。

17.如权利要求14所述的系统，其中频域信息包括变换系数，并且特定的频率分量由细节创建模块来创建，其进一步：

对变换系数执行频率提高，来将一个或多个频率分量移位到变换谱中的更高频率位置；以及

将变换系数转换为修改的变换系数。

18.如权利要求14所述的系统，其中频域信息包括变换系数，并且特定的频率分量由细节创建模块来创建，其进一步：

将矩阵中的变换系数位置移位；

使用移位的变换系数，来使用相关联的系数行和列索引来确定系数到零频率系数位置的距离；

基于所确定的距离对变换系数执行频率提高，来将一个或多个频率分量提高到变换谱中的更高频率位置；以及

将变换系数转换为修改的变换系数。

19.如权利要求18所述的系统，其中细节创建模块还将零频率系数位置移动到将矩阵中的变换系数位置移位之后的矩阵的中心，其中零频率系数位置用作二维坐标的原点，并且矩阵元素用作二维坐标上的点。

20.如权利要求19所述的系统，其中基于预定传递函数来确定系数的距离。

21.如权利要求20所述的系统，其中变换所接收的输入图像信息包括细节创建模块执行离散倒傅立叶变换和离散余弦变换之一。

22.如权利要求14所述的系统，其中包括图像细节和输入图像的输出图像被显示在电子设备上，该电子设备包括电视设备、监视器设备、计算设备和移动计算设备中的一个。

23.如权利要求14所述的系统，其中细节创建模块在本地电视设备、机顶盒设备和网络服务器设备中的一个上执行处理。

24.一种具有指令的非临时性计算机可读介质，所述指令当在计算机上被运行时，执行包括如下步骤的方法：

接收输入图像信息；

基于输入图像信息的频率特征来确定增强信息；以及

将增强信息与输入图像信息混合来生成增强的图像。

25.如权利要求24所述的介质，其中确定增强信息的步骤包括：

变换所接收的来自输入图像的输入图像信息以获得频域信息；

确定关于频域信息的频率分布，以创建特定的频率分量；

对更新的频率分布执行逆变换，用于创建一个或多个输出图像块；以及

合并所述一个或多个输出图像块来创建包括图像细节的增强信息，并且将图像细节与输入图像混合。

26.如权利要求25所述的介质，还包括：

接收输入图像；以及

将输入图像划分成包括一个或多个输入图像块的输入图像信息，

其中输入图像块具有大于输出图像块的块尺寸的块尺寸。

27.如权利要求25所述的介质，其中频域信息包括变换系数，并且基于如下来创建特定的频率分量：

对变换系数执行频率提高，用于将一个或多个频率分量提高到变换谱中的更高频率位置；以及

将变换系数转换为修改的变换系数。

28.如权利要求25所述的介质，其中频域信息包括变换系数，并且基于如下来创建特定的频率分量：

将矩阵中的变换系数位置移位；

使用移位的变换系数，用于使用相关联的系数行和列索引来确定系数到零频率系数位置的距离；

基于所确定的距离对变换系数执行频率提高，用于将一个或多个频率分量提高到变换谱中的更高频率位置；以及

将变换系数转换为修改的变换系数。

29.如权利要求28所述的介质，还包括：

将零频率系数位置移动到所述移位之后的矩阵的中心，其中零频率系数位置被用作二维坐标的原点，并且矩阵元素被用作二维坐标上的点。

30.如权利要求29所述的介质，其中基于预定的传递函数来确定系数的距离。

31.如权利要求30所述的介质，其中变换所接收的输入图像信息包括使用离散傅立叶变换处理和离散余弦变换处理中的一个。

32.如权利要求25所述的介质，其中包括图像细节和输入图像的输出图像被显示在电子设备上，其中电子设备包括电视设备、监视器设备、计算设备和移动计算设备中的一个。

33.如权利要求25所述的介质，其中计算机在本地电视设备、机顶盒设备和网络服务器设备中的一个上执行处理。

34.一种用于通过根据权利要求1的方法的过程来生成增强的图像的图像增强设备。