CN105230033B - 利用自适应频率强度受控变换来创建图像中的细节 - Google Patents
利用自适应频率强度受控变换来创建图像中的细节 Download PDFInfo
- Publication number
- CN105230033B CN105230033B CN201480028438.9A CN201480028438A CN105230033B CN 105230033 B CN105230033 B CN 105230033B CN 201480028438 A CN201480028438 A CN 201480028438A CN 105230033 B CN105230033 B CN 105230033B
- Authority
- CN
- China
- Prior art keywords
- frequency
- edge
- input image
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003044 adaptive effect Effects 0.000 title claims description 21
- 239000011159 matrix material Substances 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 18
- 238000001228 spectrum Methods 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 17
- 238000004590 computer program Methods 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 7
- 230000006978 adaptation Effects 0.000 description 5
- 239000000835 fiber Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
输入图像信息被接收。处理器设备被用于基于输入图像信息的频率特性和边缘信息来确定增强信息。将增强信息与输入图像信息混合来生成增强图像。
Description
技术领域
一个或多个实施例一般涉及超高清晰度(UD)显示器，并且具体地，涉及利用自适应频率强度控制来创建更低分辨率图像中的细节，以用于UD显示器或设备上的显示。
背景技术
UD用户，诸如UD电视机(UDTV)或其它UD显示设备必须在UD设备上观看更低分辨率内容(例如，标准清晰度(SD)、高清晰度(HD)、全HD(FHD)等内容)，直到UD视频变得更加普遍。当在UD设备上观看更低分辨率帧时，其图像质量看起来降低了。常规的图像放大(upscaling)或者插值不能提供充分的图像锐度和精细的细节来最小化图像质量降低。
发明内容
技术方案
一个或多个实施例涉及创建用于图像的图像细节。在一个实施例中，方法包括接收输入图像信息。在一个实施例中，处理器设备被用于基于输入图像信息的频率特性和边缘信息来确定增强信息。在一个实施例中，将增强信息与输入图像信息混合来生成增强的图像。
在一个实施例中，一种系统包括边缘处理模块，其从输入图像获得边缘信息。在一个实施例中，细节创建模块将处理器设备用于：接收输入图像信息；以及基于输入图像信息的边缘信息和频率特性来确定增强信息。在一个实施例中，混合器模块将增强信息与输入图像混合。
在一个实施例中，一种具有指令的非瞬时性计算机可读介质，所述指令当在计算机上被运行时，执行一种方法。在一个实施例中，所述方法包括接收输入图像信息。在一个实施例中，基于输入图像信息的频率特性和边缘信息来确定增强信息。在一个实施例中，将增强信息与输入图像信息混合来生成增强图像。
参考以下描述、所附权利要求和附图，一个或多个实施例的这些和其它特征、方面和优点将变得容易理解。
附图说明
图1示出根据一个实施例的具有图像细节创建机制的电子系统。
图2示出根据一个实施例的系统的示例高级框图。
图3示出根据实施例的图像细节处理系统的框图。
图4示出根据实施例的外部图像块和内部图像块之间的示例关系。
图5示出根据实施例的示例边缘自适应细节创建块。
图6示出根据实施例的用于变换的周期的示例。
图7示出根据实施例的示例变换移位操作。
图8示出根据实施例的示例的频率分量调整比率计算。
图9示出用于描述根据实施例的与频率分量有关的距离计算的示例图。
图10示出根据实施例的用于频率提高的传递函数的示例图。
图11示出根据实施例的另一个示例的边缘自适应细节创建块。
图12示出根据实施例的另一个示例的频率分量调整比率计算。
图13示出用于描绘根据实施例的与频率分量有关的距离确定的示例图。
图14示出根据实施例的用于细节创建过程的框图。
图15是示出包括对于实施所公开的实施例有用的计算机系统的信息处理系统的示范性高级框图。
具体实施方式
以下描述是为了说明一个或多个实施例的一般原理的目的而做出，而不打算限制在此要求保护的发明构思。此外，在此描述的特定特征可以与各种可能的组合和置换的每一个中的其它的被描述的特征组合使用。除非在此另外明确地定义，否则所有术语要被赋予它们的最广泛的可能解释，包括从说明书中暗示的含义以及本领域技术人员所理解的和/或在词典、论文等等中定义的含义。
一个或多个实施例提供了创建用于图像的图像细节。在一个实施例中，一个方法包括接收输入图像信息。在一个实施例中，处理器设备被用于基于输入图像信息的频率特性和边缘信息来确定增强信息。在一个实施例中，将增强信息与输入图像信息混合来生成增强的图像。
本领域技术人员将理解，用于表示图像信息的格式对于一些实施例来说不是关键的。例如，在一些实施例中，图像信息以(X,Y)的格式来呈现，其中X和Y是定义图像中的像素的位置的两个坐标。三维图像信息由(X,Y,Z)的格式来呈现，所述(X,Y,Z)的格式具有用于像素的颜色的相关信息。在一个实施例中，三维图像信息还包括强度或亮度元素。
为了说明的目的，如这里使用的术语“水平”是指当查看如由图形代号——“图”——所指示的图形时所看见的水平方向。术语“垂直”是指垂直于如刚才定义的水平的方向。诸如“在……之上”、“在……下面”、“底部”、“顶部”、“侧面”、“更高”、“更低”、“上面的”、“在……上”和“在……下”的术语是相对于水平被定义，如图中所示。
在此提及的术语“图像”可以包括二维图像、三维图像、视频帧、计算机文件表示、来自相机的图像、或者它们的组合。例如，图像可以是机器可读数字文件、物理照片、数字照片、运动图片帧、视频帧、x射线图像、扫描图像、或它们的组合。图像可以从按矩形阵列排列的像素中生成。所述图像可以包括沿着行的方向的x轴和沿着列的方向的y轴。
图1示出一个或多个实施例中的具有图像细节创建机制的电子系统50。电子系统50包括连接到第二设备56(诸如客户端或服务器)的第一设备52(诸如客户端或服务器)。第一设备52可以利用通信路径54(诸如无线或有线网络)与第二设备56通信。
在一个示例中，第一设备52可以是各种超高清晰度(UD)显示设备的任何一种，诸如UD电视机(UDTV)、平板设备、智能电话、个人数字助理(PDA)、笔记本计算机、液晶显示器(LCD)系统、可穿戴设备、移动计算设备、或其它多功能显示器或娱乐设备。第一设备52可以直接或间接地耦合到通信路径54以与第二设备56通信，或者可以是独立的设备。
为了说明的目的，在描述电子系统50时将第一设备52作为显示设备，虽然应该理解第一设备52可以是不同类型的设备。例如，第一设备52也可以是用于呈现图像或多媒体呈现的设备。多媒体呈现可以是包括声音、流图像序列或视频馈送、或者其组合的呈现。举例来说，第一设备52可以是UDTV，或者任何其它类型的UD显示设备(例如，监视器、视频面板、HUD、智能电话、平板设备、视频设备、游戏设备等等)。
第二设备56可以是各种集中式或分散式计算设备、图像或视频传输设备中的任何一种。例如，第二设备56可以是多媒体计算机、平板、膝上型计算机、桌上型计算机、视频游戏控制台、网格计算资源、虚拟化计算机资源、云计算资源、路由器、交换机、对等分布式计算设备、媒体回放设备、数字视频盘(DVD)播放器、具备三维能力的DVD播放器、记录设备(诸如相机或摄像机)、或者它们的组合。在另一个示例中，第二设备56可以是用于接收广播或直播流信号的信号接收器，诸如电视机接收器、电缆接线盒、卫星天线接收器、或具备web功能的设备。
第二设备56可以集中在单个房间中、分布在不同的房间、分布在不同的地理位置、嵌入在电信网络内。第二设备56可以具有用于与通信路径54耦合的装置以与第一设备52通信。
为了说明的目的，在描述电子系统50时将第二设备56作为计算设备，虽然应该理解，第二设备56可以是不同类型的设备。同样地为了说明的目的，在示出电子系统50时将第二设备56和第一设备52作为通信路径54的端点，虽然应该理解，电子系统50可以具有在第一设备52、第二设备56和通信路径54之间的不同划分。例如，第一设备52、第二设备56或者它们的组合也可以充当通信路径54的一部分。
通信路径54可以是各种网络。例如，通信路径54可以包括无线通信、有线通信、光、超声波或它们的组合。卫星通信、蜂窝通信、蓝牙、红外数据协会标准(IrDA)、无线保真(WiFi)、和全球微波接入互联(WiMAX)是可以被包括在通信路径54中的无线通信的示例。以太网、数字用户线(DSL)、光纤到户(FTTH)、高清晰度多媒体接口(HDMI)线缆、和普通老式电话服务(POTS)是可以包括在通信路径54中的有线通信的示例。
此外，通信路径54可以穿过许多网络拓扑和距离。例如，通信路径54可以包括直接连接、个域网(PAN)、局域网(LAN)、城域网(MAN)、宽域网(WAN)或它们的组合。
图2示出根据一个实施例的系统200的高级框图。在一个实施例中，系统200可以使用图像细节处理系统300(见图3)来处理在输入节点201处接收的来自输入源210的输入视频图像，在输出节点240处输出视频图像，并且在输出源250(或图1的设备52)上显示图像。在一个实施例中，所述图像细节处理系统300接收输入图像信息。在一个实施例中，图像细节处理系统300的处理器设备被用于基于输入图像信息的频率特性和边缘信息来确定增强信息。在一个实施例中，接下来，将增强信息与输入图像信息混合来生成增强的图像。在一个实施例中，用于输出源250(或52)的显示器可以是用于呈现图像或多媒体呈现的物理设备。例如，所述显示器可以是屏幕，包括液晶显示器(LCD)面板、等离子屏幕、投影屏幕、平视显示器(heads-up-display，HUD)等等。在其它实施例中，所述显示器可以被投影在物体或反射设备上。
在一个实施例中，输入视频图像可以从输入源210提供，所述输入源210可以无线地或通过有线接口被发送/接收，并且可以包括未压缩/压缩的视频内容。在一个实施例中，系统200中的视频图像内容的有线或无线通信可以包括在以下各项中的一个或多个上的或者通过以下各项中的一个或多个的通信：以太网、电话(例如，POTS)、线缆、电线和光纤系统；和/或包括码分多址(CDMA或CDMA2000)通信系统、频分多址(FDMA)系统、时分多址(TDMA)系统(诸如GSM/GPRS(通用分组无线电服务)/EDGE(增强的数据GSM环境)、TETRA(地面集群无线电)移动电话系统)、宽带码分多址(WCDMA)系统、高数据速率(1x增强的仅语音-数据(EV-DO)或1x EV-DO黄金多播)系统、IEEE 802.11系统、DMB(数字多媒体广播)系统、正交频分多址(OFDM)系统、DVB-H(数字视频广播-手持)系统等等中的一个或多个的无线系统。
在一个实施例中，输入源210可以通过无线网络(例如，互联网、局域网(LAN)、宽域网(WAN)、个域网(PAN)、校园无线网(CAN)、城域网(MAN)等)发送。在一个实施例中，输入源210可以产生于基于云的系统、服务器、广播站、视频设备/播放器、摄像机、移动设备等等。
在一个实施例中，从输入源210输入的视频图像可以在到达输入节点201之前被解码/编码(例如，经由解码器/编码器)。在一个实施例中，从输出节点240输出到输出源250的视频图像可以在到达输出节点240之前被编码/解码。在一个实施例中，输出源250可以无线地或通过有线接口从输出节点240接收输出图像。
在一个实施例中，来自输入源210的压缩视频图像内容可以提供来自广播、计算机网络、DVD或者其它计算机可读存储介质、或者任何其它合适的视频信号源的模拟或数字视频。在一个实施例中，来自输入源210的压缩视频可以经由射频接口(诸如ATSC广播)、计算机网络、或有线或无线连接(诸如分量视频线缆、DVI或HDMI视频接口)等等耦合到接收器。在一个实施例中，来自输入源210的未压缩视频图像可以包括通过任何合适的视频接口耦合到接收器的摄像机或诸如磁盘驱动器的存储设备中的一个或多个。在一个实施例中，来自输入源210的未压缩视频可以以模拟或数字的形式来提供未压缩视频，所述以模拟或数字的形式包括：以亮度和色度的形式；按照诸如红、绿和蓝等的单色强度；或者以任何其它合适的格式。
在一个实施例中，用于来自输入源210的输入视频内容的数字视频格式可以包括不同的帧速率、不同数量的像素线和行、隔行的(interlaced)和非隔行的(non-interlaced)等等。例如，电影通常以24fps(帧每秒)的格式产生，NTSC是30帧每秒而PAL是25帧每秒。所述格式可以是隔行的或逐行的(progressive)。例如，高清晰度格式(诸如数字视频广播标准所支持的)可以被修改为适合于输出源250的显示设备的格式的格式。输出源250的显示设备可以被配置为接收NTSC、PAL、ATSC、DVB/T等，或者可以是以诸如70Hz、75Hz、80Hz等的帧速率运行的显示设备。
图3示出根据实施例的图像细节处理系统300的框图。在一个实施例中，系统300可以实施在电子设备中，所述电子设备诸如第一设备52(图1)、第二设备56等。在一个实施例中，系统300包括输入节点301、获取/接收模块310、边缘检测模块315、边缘获取/接收模块316、边缘自适应细节创建模块320(或细节创建模块)、块构建/组合模块330、混合器模块335(用于将创建的或提高的(lifted)图像细节与输入图像混合)、以及输出节点340。在一个实施例中，边缘检测模块315和边缘获取/接收模块316可以形成边缘处理模块。
在一个实施例中，基于块的图像处理被实施以在输出节点340处产生输出图像，该输出图像是来自输入节点301的输入图像和包含基于边缘信息而自适应地调整的所创建的高频信息(细节)的所述输入图像的增强版本的组合。在一个实施例中，细节在边缘自适应细节创建模块320中被创建，其中图像块311从块接收模块310(其将输入图像划分成块)送入边缘自适应细节创建模块320，边缘块从边缘获取/接收模块316送入边缘自适应细节创建模块320，并且输出的细节块331是通过细节构建模块330生成，在细节构建模块330中更多的输出的细节块被构建为形成完整的图像细节。在一个实施例中，输出(其可以是像素或图像块331(尺寸P x Q))一般小于块311(尺寸M x N)和边缘块(M x N)的输入图像尺寸，其中P、Q、M和N是正整数。
在一个示例实施例中，如果在系统300前面添加规则图像上转换块，则它可以被应用来将更低分辨率图像作为输入图像来使用以生成UD图像(静态图像或视频帧)，这是高级的图像上转换/放大/超分辨率系统。在一个示例实施例中，上转换的UD图像包含不能通过传统的图像上转换算法获得的额外的图像细节。结果，在一个或多个实施例中，图像质量(锐度、精细细节等)可以被极大地改善。在一个实施例中，系统300的应用可以实施在其上可以接收更低分辨率电影以用于显示的UD设备或显示器中。如果系统300在UD设备或显示器上不可用，则观看者可能感觉图像锐度差或图像缺少精致的细节。当前，UD视频图像(例如，流视频、电影等)在市场上可获得，但是UD视频媒体(TV节目、web TV或视频、蓝光盘和个人数字视频)极少。大部分视频媒体仍然是FHD、HD或甚至SD。在一个或多个实施例中，为了满足UD观看者的视觉期望，使用系统300来实施高级的图像上转换(超分辨率)功能。
在一个实施例中，可以在当前的HDTV(或更低分辨率TV、设备、显示器等)中实施系统300的应用，来增强(或恢复)具有差的(模糊的或退化的)图像细节的低质量SD、HD、FHD、UD、或放大的UD图像(诸如从互联网获得的web视频剪辑或者通过个人录像摄像机或智能电话捕捉的数字视频)的图像细节。通常，由于数据压缩、不充足的照明条件或者视频捕捉设备的有限性能，低质量SD、HD或FHD视频剪辑的图像细节可能退化或损坏。一个或多个实施例提供了系统300作为能够以硬件或软件通过不同的应用来实现所要求的功能的通用系统。在一个示例实施例中，用于系统300的应用可以包括高性能图像细节增强或恢复、图像超分辨率、和高级的图像上转换等等。在一个或多个示例实施例中，如果系统300被实施为UD设备和显示器、HDTV产品中的编程硬件，或者被实施为在PC或移动设备(平板、PC、可穿戴设备、智能电话等)中使用的软件，则系统300的各种应用可能非常有用。
在一个实施例中，系统300在输出节点340处产生输出图像，该输出图像是来自输入节点301的输入图像和包含所创建的高频信息(细节)的所述输入图像的增强版本的组合。接下来结合图4-图13详细描述用于一个或多个实施例的边缘自适应细节创建模块320。
图4示出根据实施例的中心对齐的外部图像块(由M x N块311组成)和内部图像块(由P x Q块331组成)之间的示例关系。输入图像块311和输出图像块331之间的公共图像块尺寸和空间关系在图4中被展示。在一个实施例中，输出图像块331位于输入图像块311内的中心部分。在一个实施例中，在输出图像块331被创建的同时，输出块331内部的图像信息和(输入块311内的)输出块331外部的信息两者都被使用。在一个示例实施例中，感兴趣区域(输出块331/输入块311)之内的图像信息被认为与周围区域(输入块311/输出块331)的图像信息有关(或可从其推断出)。在一个实施例中，输出图像块331被构建模块330“拼凑”或组合以生成完整的输出图像细节，然后通过组合所创建的细节和所述输入图像来获得最终结果。
图5示出根据实施例的可以在系统300中实施为边缘自适应细节创建模块320的示例的边缘自适应细节创建块520。在一个实施例中，边缘自适应细节创建块520可以包括从接收模块310(图3)接收输入图像块的2D移位(shifted)离散傅立叶变换(SDFT)模块521、幅度模块522、DFT转换模块523、边缘强度估计器模块526(其从边缘获取/接收模块316接收边缘块)、频率分量调整比率计算模块527、频率提高模块525、以及输出被输入到构建模块330的输出图像块的2D逆SDFT(ISDFT)模块524。
在一个实施例中，输入图像块首先在2D SDFT模块521中被处理以计算(矩阵中的)DFT系数，所述DFT系数接下来被移位。在一个实施例中，DFT系数的移位被示出在如下面描述的图6和图7中。在一个实施例中，被移位的DFT系数被提供作为分别用于距离计算、距离调整、系数频率提高和系数转换的频率分量调整比率计算模块527、频率提高模块525、和DFT转换模块523的输入。应该注意到，被移位的DFT(SDFT)是复数，其可以被表示为SDFT＝SDFTR+j·SDFTI，然后SDFT的幅度被计算(MAG_IN)为|SDFT|＝(SDFTRR 2+SDFTI 2)1/2，或者MAG_IN＝|SDFT|，其中R表示实部而I表示虚部。在一个实施例中，然后，MAG_IN被基于边缘强度估计器模块526的输出n的频率分量调整比率g加权，如：MAG_IN＝g·|SDFT|，以生成调整后的SDFT幅度MAG_IN，作为对于频率提高模块525的输入信号。在一个实施例中，嵌入g中的基本功能是：(i)如果BLK由许多边缘并且(ii)如果SDFT幅度较大(因为它可以生成输出细节中的一些人工噪音(noisy artifact))，则调整(减小)SDFT幅度。
在一个实施例中，在频率提高模块525内部，通过使用每个DFT系数(频域的分量，相当于2D坐标中的点)在矩阵中的行索引和列索引(相当于点的坐标)来获得该系数到零频率系数(相当于2D坐标的原点)的距离。在一个实施例中，在使用来自频率分量调整比率计算模块527的g进行调整之后，所计算的距离作为对于系数转换模块523和频率提高模块525的输入被送入。
在一个实施例中，在频率提高模块525中，一些(例如，一个或多个、若干、全部等等)频率分量被提高到频谱中的更高频位置。在一个示例实施例中，如果2D DFT系数/频谱被绘制为3D笛卡尔坐标中的曲面(原点表示零频率位置)，则频率提高处理使得非中心峰(off-center peak)从原点向外移动，并且使得中心峰的斜坡向外扩展。下面参考图6-7和图9-10来描述频率提高模块525的处理的细节。在一个实施例中，系数转换模块523从三个处理块(2D SDFT模块521、幅度模块522和频率提高模块525)接收输出，并且计算新的/修改的2D DFT系数。下面描述系数转换模块523的计算细节。
在一个实施例中，在2D ISDFT中，新的2D DFT系数首先被移位，然后被逆变换为空域信号-具有修改后的图像块(尺寸M x N)，其也是(如图3的边缘自适应细节创建模块320那样实施的)边缘自适应细节创建块520的输出。
图6示出根据实施例的用于变换的周期的矩阵605的示例600。在一个实施例中，矩阵600是M x N矩阵。在一个示例中，DFT系数具有位于每组系数的左下角的原点，所述原点用于距离计算(DC)。在一个实施例中，SDFT将原点移位到SDFT块610的中心。
图7示出根据实施例的变换移位操作的示例700。在一个实施例中，示例700示出了用于计算频域分量到零频率点的距离的目的的、DFT系数的移位。在一个示例中，一般通过2D FFT(快速傅立叶变换)算法来实现2D DFT，其生成如示例700中所示的如DFT矩阵705和SDFT矩阵715的矩阵格式的DFT系数。在一个示例实施例中，每个矩阵元素是频率分量。x、y坐标分别代表列索引和行索引。在一个示例实施例中，对于没有被移位的DFT系数矩阵705，4个角元素促成(contribute to)零频率分量。
在一个示例中，为了例示系数移位，将系数矩阵均匀地划分成四(4)个区域，如DFT矩阵705图形和SDFT矩阵715图形中所示。在一个示例实施例中，在系数移位之后，新的系数矩阵(SDFT矩阵715)可以被认为是通过交换四个区域的位置而获得的。在一个示例实施例中，区域1与区域3交换它的位置，而区域2与区域4交换它的位置。在一个实施例中，系数移位将零频率位置710移动到矩阵711的中心(相当于2D坐标的原点)，这可以简化距离计算，并且也使得频率提高模块525的处理更容易理解。
图8示出根据实施例的用于频率分量调整比率计算的示例800。在一个实施例中，为了检查第一条件(BLK是否具有多个边缘)，边缘强度估计器模块526的输出可以表示为：
其中，
其中，T表示预定的常数。在一个示例实施例中，应该注意到，作为M x N矩阵的EBLK的每个分量代表相同位置处的输入样本的边缘等级。在一个实施例中，δ＝1表示边缘等级强。因此，在一个实施例中，n代表在输入边缘块EBLK中有多少强边缘样本。在一个示例实施例中，n的值越高就代表在输入块BLK中有许多强边缘。
在一个实施例中，基于所计算的n，频率分量调整比率计算模块527可以确定频率分量调整比率g，如示例800中所示。在一个实施例中，两个值基于n被生成并且在块810中被表示为Fm和FM，Fm和FM的值随着n增大(即，随着处于更强的边缘块中)而减小。在一个示例实施例中，Fm和FM被用来在频率分量调整比率计算模块527中生成如块820中所见的g 830。要注意，Fm和FM越小，针对相同的SDFT幅度(即，|SDFT|)所生成的g的值越小。在一个实施例中，如果在BLK中存在更多的边缘样本，则SDFT幅度被抑制。在一个实施例中，调整后的DFT幅度MAG_IN被用作对于频率提高模块525的输入信号，所述频率提高模块525计算作为输入的DFT幅度的被提高的幅度的MAG_OUT。
图9示出根据实施例的用于描述距离计算的示例图900。在DFT系数移位之后，零频率被移动到矩阵905的中心。在频率提高模块525内部，象限906中从频率分量911到零频率点的距离910需要被首先计算。零频率点被当成2D坐标的原点，而矩阵元素被当成是坐标上的点。在一个示例中，系数911的位置由xin920和yin921来指示。在一个实施例中，对于频率分量的位置，如方程式xin＝Col-Col(0)，yin＝Row-Row(0)中那样来获得相应点的坐标。
图10示出根据实施例的用于频率提高的传递函数的示例图1000。在一个示例实施例中，在方程式xin＝Col-Col(0)，yin＝Row-Row(0)中，xin和yin是频率分量的坐标而Col和Row是它的矩阵索引。类似地，Col(0)和Row(0)是零频率分量的矩阵索引。
在一个实施例中，在DFT系数移位之后，零频率被移动到矩阵的中心。在一个实施例中，为了计算从频率分量到零频率点的距离，零频率点被当作2D坐标的原点(即，(0,0)点)，并且矩阵元素被当作如图9中所示的如M＝N＝8的示例的坐标上的点。注意，MAG_IN矩阵的索引变成和其中假设N和M是偶数，并且对于MAG_OUT矩阵索引来说也一样。在一个实施例中，对于所有和与零频率系数的距离din 1020如下计算：
在一个实施例中，频率提高模块525(图5)基于频率分量到零频率(图9中的原点)分量的距离来将所述频率分量提高到更高频位置。然而，如果矩阵元素被认为是矢量的箭头，则频率提高操作不改变矢量的方向。在一个实施例中，只有矢量的长度(频率分量到原点的距离)可以增加。基本上，这个距离dout 1015变化可以在算术上表示如下：
dout＝curve(din)。
在一个实施例中，上面公式中的“curve”是预定的传递函数，其典型示例被示出为绘制在图形1000中的曲线1040。在一个示例实施例中，x轴/水平轴表示输入距离din 1020，并且y轴/垂直轴表示输出距离dout 1015。在一个实施例中，可以使用如线1035和曲线1040所示的分段函数来创建传递函数。在一个示例实施例中，当输入距离din 1020小于值K 1010时，距离将不被改变。因此，在一个实施例中，直线1035具有斜率1。在一个示例实施例中，当输入距离din 1020大于K 1010时，输出距离dout 1015将增加并且大于din1020。在一个示例实施例中，距离增加可以通过非线性函数(例如，二次多项式函数)来确定。在一个示例实施例中，具有最大距离1030的最高频分量将不被提高。在正常2D DFT频谱中，更低频分量(更接近中心的矩阵元素)通常比更高频分量具有更高的值(DFT分量的幅度)。因此，一个示例实施例中，当更低频分量被提高到更高频位置时，高频信息被创建。在一个实施例中，新的高频信息(新的图像细节)可以被创建以恢复丢失/损坏的图像细节。在一个实施例中，当从低频信息中创建或推断出高频分量时，新的图像细节看起来更“真实”或“有含义”，并且与传统的超分辨率(SR)方法相比可以包含更少的人工成分(artifact)。
在一个实施例中，在频率分量被提高到更高频位置之后，可以在以下的方程式中确定它的新位置(坐标)：
其是将DFT频率分量提高到相同角度。应注意，应该注意，新的坐标或新的位置通常不是由DFT系数矩阵定义的正确的坐标或位置。因此，在一个示例实施例中，2D插值或重新采样被用来基于移位的网格和修改后的DFT值来计算“正确的”位置上的DFT系数。一旦已经计算出目标水平频率分量和目标垂直频率分量，频率提高模块525(图5)过程(或频率分量映射)就通过下面的方程式将来自MAG_IN的频率分量更新到MAG_OUT：
MAG_OUT(xout,yout)＝MAG_IN(xin,yin)。
在一个实施例中，可以容易地理解，以上方程式表示频域中不同的频率位置(定位)之间的映射过程。映射可以是后向或前向插值，用于通过来自输入频率幅度块的最近的相邻像素或加权的相邻像素来插入新的像素频率幅度(MAG_OUT)。在一个实施例中，在获得增强的频率之后，可以用那个位置的增强的频率和原始频率来计算比率。在一个示例实施例中，接下来可以通过用该比率乘以SDFT结果来获得增强的DFT(包括实部和虚部两者)，如下：
在一个实施例中，修改后的DFT系数矩阵是通过频率提高模块525(图5)的频率提高过程获得的。在一个示例实施例中，在矩阵可以通过ISDFT模块524变换回空域中的图像块之前，它的元素需要以与图7中所示的方式相反的方式移位。
图11示出根据实施例的另一个示例的边缘自适应细节创建模块1120。在一个实施例中，边缘自适应细节创建模块1120可以实施在边缘自适应细节创建模块320(图3)中。在一个实施例中，边缘自适应细节创建块1120实施DCT过程。在一个实施例中，边缘自适应细节创建模块1120包括2D DCT模块1121、幅度距离模块1122、边缘强度估计器1126、频率分量调整比率计算模块1127、频率提高模块1125、DCT转换模块1123、和2D逆DCT(2D IDCT)模块1124。
在一个实施例中，频率提高模块1125的主要功能是提高MAG_IN中的给定频率并且生成提高的DCT幅度矩阵DCT_OUT。在一个示例实施例中，对于所有xin＝0，1，...，M-1和yin＝0，1，...，N-1，与零频率系数(相当于2D坐标的原点)的距离是使用系数的行索引和列索引(相当于点的坐标)来计算，如：
其与频率分量相关(例如，如图13中所描绘的)。
在频率提高模块1125内部，所述距离被基于边缘强度估计器模块1126的输出n的频率分量调整比率g加权，以生成调整后的DCT幅度MAG_IN，作为输入信号，
如：MAG_IN＝g·|DCT|。
在一个实施例中，嵌入g中的基本功能是：(i)如果BLK具有许多边缘并且(ii)如果DCT幅度较大(因为它可以生成输出细节中的一些人工噪音(noisy artifact))，则调整(减小)DCT幅度。在一个实施例中，为了检查第一条件，边缘强度估计器模块1126被用来输出：
其中，
其中，T表示预定的常数。要注意到，作为M x N矩阵的EBLK的每个分量代表相同位置处的输入样本的边缘等级。因而，δ＝1表示边缘等级强。在一个示例实施例中，n代表在输入边缘块EBLK中有多少强边缘样本。n的值越高就代表在输入块BLK中有越多强边缘。在一个实施例中，基于所计算的n，频率分量调整比率g 1230被生成，如图12中的图形1200中所示。
在一个实施例中，所计算的距离被输入到传递函数以便决定到零频率分量的上目标提高频率距离为：
dout＝curve(din)
其中，curve表示单调增加函数。在一个示例实施例中，所述传递函数被示出在图10中，其还示出了分量不被提高的频率范围被设定，诸如，din＜K。
在一个实施例中，一旦目标提高因子已经被计算，则相关联的水平DCT频率分量和垂直DCT频率分量如下确定：
其被实施为将DCT频率分量提高到相同的角度。
在一个实施例中，一旦目标水平DCT频率分量和目标垂直DCT频率分量已经被计算，则频率提高模块1125将频率分量从MAG_IN更新到MAG_OUT，如：
MAG_OUT(xout，yout)＝DCT·MAG_IN(xin，yin)
注意到，在频率提高模块1125中，一些频率分量被提高到频谱中的更高频位置。在一个示例实施例中，如果2D DCT系数/频谱被绘制为3D笛卡尔坐标(原点表示零频率位置)中的曲面，则频率提高处理使得非中心峰从原点向外移动，并且使得中心峰的斜坡向外扩展。
图12示出根据实施例的另一个示例1200频率分量调整比率计算。在一个实施例中，两个值基于n被生成并且在块1210中被表示为Fm和FM，Fm和FM的值被示出为随着n增大(即，随着处于更强的边缘块中)而减小。在一个示例实施例中，Fm和FM被用来如在频率分量调整比率计算模块1127(图11)中那样从块1220生成g 1230。要注意，Fm和FM越小，针对相同的DCT幅度(即，|DCT|)所生成的g 1230的值越小。因此，在一个或多个实施例中，如果在BLK中存在更多的边缘样本，则DCT幅度被抑制。
在一个实施例中，来自频率提高模块1125的MAG_IN和MAG_OUT接下来被提供给DCT转换模块1123，其输出为：
在一个示例中，在2D IDCT模块1124中，新的2D DCT系数(DCT_OUT)被逆变换到空域信号——与BLK(M x N)相同的尺寸的块，其是边缘自适应细节创建模块320(图3)的输出。
图13示出用于描绘根据实施例的与频率分量有关的距离确定的示例图1300。在一个示例实施例中，DCT转换模块1123(图11)的操作是将原始相位信息与幅度变化组合。在一个实施例中，用于x坐标和y坐标的2D原点1306被用来基于xin1320和yin1321来确定到系数1311的距离din 1310。
图14示出根据实施例的用于细节创建过程1400的框图。在一个实施例中，在块1410，输入图像(例如，SD、HD、FHD、UD、放大的UD等等)被处理以获得图像信息(例如，M x N块311，图3)。在一个实施例中，在块1420，检测到的输入图像中的边缘被处理以便获得边缘信息(例如M x N块EBLK，图3)。在一个实施例中，在块1430，图像信息被变换(例如，使用DFT、SDFT、DCT等等)以用于获得频域信息(例如，使用处理器设备)。在一个实施例中，在块1440，边缘信息被用于确定频率分量调整比率或者因子(例如，g 830，FIG.8，g 1230，图12)。
在一个实施例中，在块1450，使用频率分量调整比率来确定用于频域信息的频率提高，以用于创建特定的频率分量。在一个实施例中，在块1460，对更新的频率分布执行逆变换，以用于创建一个或多个输出图像块。在一个实施例中，在块1470，所述一个或多个输出图像块被组合以创建图像细节，所述图像细节被与所述图像(输入图像)组合。在一个实施例中，过程1400使用系统300来实施处理。
在一个实施例中，过程1400可以包括：输入图像(例如，更低分辨率图像，诸如：SD、HD、FHD、UD、放大的UD等等)；将输入图像划分为包括一个或多个输入图像块的图像信息；检测图像中的边缘；并且将所检测到的边缘划分为包括一个或多个边缘块的边缘信息。在一个实施例中，输入图像块(M x N)和边缘块(M x N)中的每一个具有大于输出图像的块尺寸，其可以是像素、块(P x Q)等等。在一个实施例中，过程1400可以包括通过以下步骤确定频率分量调整比率：基于若干边缘的位置来估计边缘强度值(例如，来自边缘强度估计器模块526/1126，图5/图11的n)，以及基于作为所述边缘强度值的函数的边缘自适应阈值来计算频率分量调整比率或者因子g(例如g 830，图8，g 1230，图12)。
在一个实施例中，频域信息包括变换系数。在一个实施例中，可以在基于以下步骤的过程1400中创建特定的频率分量：在矩阵中将变换系数位置移位；将被移位的变换系数用于使用相关联的系数行索引和系数列索引来确定所述系数到零频率系数位置的距离；基于所确定的距离对变换系数执行频率提高，以用于将一些频率分量提高到变换频谱中的更高频位置，其中所确定的距离被使用频率分量调整比率或者因子来调整；以及将变换系数转换为修改后的变换系数。
在一个实施例中，过程1400可以包括：在所述移位之后，将零频率系数位置移动到矩阵的中心，其中所述零频率系数位置被用作二维坐标的原点，而矩阵元素被用作二维坐标上的点。
在一个实施例中，在过程1400中，可以基于预定的传递函数来确定用于系数的距离。在一个实施例中，在过程1400中，包括图像细节和输入图像的输出图像被显示在电子设备(例如，电子设备52，图1)上。在一个实施例中，过程1400可以在本地电视机设备、机顶盒设备、和网络服务器设备之一上执行处理。
图15是示出包括对于实施所公开的实施例有用的计算机系统100的信息处理系统的高级框图。计算机系统100包括一个或多个处理器101，并且可以进一步包括：电子显示设备102(用于显示图形、文本和其它数据)、主存储器103(例如，随机存取存储器(RAM))、存储设备104(例如，硬盘驱动器)、可移除存储设备105(例如，可移除存储驱动器、可移除存储器模块、磁带驱动器、光盘驱动器、其中存储有计算机软件和/或数据的计算机可读介质)、用户接口设备106(例如，键盘、触摸屏、小键盘、指点设备)以及通信接口107(例如，调制解调器、网络接口(诸如以太网卡)、通信端口或PCMCIA插槽和卡)。通信接口107允许软件和数据在计算机系统和外部设备之间传递。系统100还包括上述设备/模块101至107连接到的通信基础设施108(例如，通信总线、转换接头或网络)。
经由通信接口107传递的信息可以是信号的形式，诸如能够经由通信链路被通信接口107接收的电信号、电磁信号、光信号或其它信号，所述通信链路携载信号并且可以使用线或缆、光纤、电话线、蜂窝式电话链路、射频(RF)链路和/或其它通信信道来实施。表示这里的框图和/或流程图的计算机程序指令可以被加载在计算机、可编程数据处理装置或处理设备上，以引起在其上执行的一系列操作，从而产生计算机实施的过程。
已经参考方法、装置(系统)和计算机程序产品的流程图图示和/或框图描述了实施例。这样的图示/示图的每个框或其组合可以通过计算机程序指令来实施。当所述计算机程序指令被提供到处理器时，其产生机器，从而经由处理器运行的指令创建用于实施在流程图和/或框图中指定的功能/操作的装置。流程图/框图中的每个框可以表示硬件和/或软件模块或逻辑。在替换的实施方式中，框中注明的功能可以不按图中注明的次序来发生、可以并行地发生等等。
术语“计算机程序介质”、“计算机可用介质”、“计算机可读介质”和“计算机程序产品”用来一般地指代介质，诸如主存储器、辅存储器、可移除存储驱动器、安装在硬盘驱动器中的硬盘、和信号。这些计算机程序产品是用于向计算机系统提供软件的装置。计算机可读介质允许计算机系统从计算机可读介质中读取数据、指令、消息或消息分组、以及其它计算机可读信息。例如，计算机可读介质可以包括非易失性存储器，诸如软盘、ROM、闪存、磁盘驱动器存储器、CD-ROM和其它永久性存储装置。例如，它对于在计算机系统之间传输诸如数据和计算机指令的信息是有用的。计算机程序指令可以被存储在计算机可读介质中，所述计算机可读介质可以指导计算机、其它可编程数据处理装置、或其它设备按特定的方式起作用，从而存储在计算机可读介质中的指令产生包括实施所述流程图和/或框图的块或多个块中所指定的功能/行为的指令的制造品。
此外，计算机可读介质可以将计算机可读信息包括在诸如网络链路和/或网络接口的暂态介质中，包括有线网络或无线网络，所述暂态介质允许计算机读取这样的计算机可读信息。计算机程序(即，计算机控制逻辑)被存储在主存储器和/或辅存储器中。计算机程序也可以经由通信接口接收。这样的计算机程序当被运行时使得计算机系统能够执行如在本文中讨论的特征。具体地，所述计算机程序当被运行时，使得多核处理器执行计算机系统的特征。这样的计算机程序表示计算机系统的控制器。
虽然已经参照实施例的某些版本描述了实施例，然而，其它版本也是可能的。因此，所附权利要求的精神和范围不应该限于对本文中包含的优选版本的描述。
Claims (14)
1.一种由图像处理系统执行的方法，包括：
基于接收输入图像，基于输入图像的频率特性和边缘信息来识别增强信息，
识别增强信息包括：
通过将输入图像划分成一个或多个输入图像块来获得输入图像信息；
变换输入图像信息以获得频域信息；
识别输入图像中的边缘，并通过将所识别的边缘划分为一个或多个边缘块来获得边缘信息；
基于作为边缘强度值的函数的边缘自适应阈值来识别频率分量调整比率；
使用频率分量调整比率来识别用于频域信息的频率提高量，以用于创建特定的频率分量；
对更新的频率分布执行逆变换，以用于创建一个或多个输出图像块；
组合所述一个或多个输出图像块来创建图像细节以作为增强信息；以及
将增强信息与输入图像信息混合来获得增强图像。
2.如权利要求1所述的方法，其中，输入图像块和边缘块中的每一个具有大于输出图像块的块尺寸的块尺寸。
3.如权利要求1所述的方法，其中，识别频率分量调整比率包括：
基于若干边缘的位置来估计边缘强度值；以及
基于作为所述边缘强度值的函数的边缘自适应阈值来计算频率分量调整比率。
4.如权利要求3所述的方法，其中，通过变换输入图像信息而获得的频域信息包括变换系数，并且基于以下操作来创建特定的频率分量：
对变换系数执行频率提高，以用于将一个或多个频率分量提高到变换频谱中的更高频位置；以及
将变换系数转换为修改后的变换系数。
5.如权利要求3所述的方法，其中，通过变换输入图像信息而获得的频域信息包括变换系数，并且基于以下操作来创建特定的频率分量：
在矩阵中将变换系数位置移位；
将被移位的变换系数用于使用相关联的系数行索引和列索引来识别系数到零频率系数位置的距离；
基于所识别的距离对变换系数执行频率提高，以用于将一个或多个频率分量提高到变换频谱中的更高频位置，其中，所识别的距离是使用频率分量调整比率来调整；以及
将变换系数转换为修改后的变换系数。
6.如权利要求5所述的方法，还包括：
在所述移位之后，将零频率系数位置移动到矩阵的中心，其中，零频率系数位置被用作二维坐标的原点，并且矩阵元素被用作二维坐标上的点。
7.如权利要求6所述的方法，其中，识别用于系数的距离基于预定传递函数，并且变换接收到的输入图像信息包括使用离散傅里叶变换处理和离散余弦变换处理之一。
8.如权利要求1所述的方法，其中，包括图像细节和输入图像的输出图像被显示在电子设备上。
9.如权利要求8所述的方法，其中，所述电子设备包括电视机设备、监视器设备、计算设备和移动计算设备中的一个。
10.如权利要求1所述的方法，其中，所述方法由处理器设备在本地电视机设备、机顶盒设备和网络服务器设备中的一个上执行。
11.一种图像处理系统，包括：
接收模块，被配置为接收输入图像并将输入图像划分成一个或多个输入图像块以获得输入图像信息；
边缘处理模块，被配置为识别输入图像中的边缘，并通过将所识别的边缘划分为一个或多个边缘块来获得边缘信息；
细节创建模块，被配置为：
变换所接收的输入图像信息以用于获得频域信息；
基于作为边缘强度值的函数的边缘自适应阈值来识别频率分量调整比率；
使用频率分量调整比率来识别用于频域信息的频率提高量，以用于创建特定的频率分量；以及
对更新的频率分布执行逆变换，以用于创建一个或多个输出图像块；以及
基于输入图像信息的边缘信息和频率特性来识别增强信息；
输出块构建模块，其组合一个或多个输出图像块来创建包括用于频率提高的图像的图像细节的增强信息；以及
混合器模块，被配置为将增强信息与输入图像信息混合以获得增强图像。
12.如权利要求11所述的系统，其中，
其中，所述混合器模块被配置为将频率提高的图像与输入图像混合。
13.如权利要求11所述的系统，其中，频率分量调整比率是通过进一步执行以下操作的细节创建模块所识别的：
基于若干边缘的位置来估计边缘强度值；以及
使用作为边缘强度值的函数的边缘自适应阈值，以用于识别频率分量调整比率。
14.如权利要求11所述的系统，其中，通过变换所接收的输入图像信息而获得的频域信息包括变换系数，并且特定的频率分量是由进一步执行以下操作的细节创建模块来创建的：
对变换系数执行频率提高，以将一个或多个频率分量提高到变换频谱中的更高频位置；以及
将变换系数转换为修改后的变换系数。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361794627P | 2013-03-15 | 2013-03-15 | |
| US61/794,627 | 2013-03-15 | ||
| US201361892358P | 2013-10-17 | 2013-10-17 | |
| US61/892,358 | 2013-10-17 | ||
| US14/214,081 US9349188B2 (en) | 2013-03-15 | 2014-03-14 | Creating details in an image with adaptive frequency strength controlled transform |
| US14/214,081 | 2014-03-14 | ||
| PCT/KR2014/002247 WO2014142631A1 (en) | 2013-03-15 | 2014-03-17 | Creating details in an image with adaptive frequency strength controlled transform |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105230033A CN105230033A (zh) | 2016-01-06 |
| CN105230033B true CN105230033B (zh) | 2019-05-31 |
Family
ID=51527355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480028438.9A Expired - Fee Related CN105230033B (zh) | 2013-03-15 | 2014-03-17 | 利用自适应频率强度受控变换来创建图像中的细节 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9349188B2 (zh) |
| EP (1) | EP2974334B1 (zh) |
| KR (1) | KR102169480B1 (zh) |
| CN (1) | CN105230033B (zh) |
| WO (1) | WO2014142631A1 (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9305332B2 (en) * | 2013-03-15 | 2016-04-05 | Samsung Electronics Company, Ltd. | Creating details in an image with frequency lifting |
| US9536288B2 (en) | 2013-03-15 | 2017-01-03 | Samsung Electronics Co., Ltd. | Creating details in an image with adaptive frequency lifting |
| US9066025B2 (en) | 2013-03-15 | 2015-06-23 | Samsung Electronics Co., Ltd. | Control of frequency lifting super-resolution with image features |
| US9349188B2 (en) * | 2013-03-15 | 2016-05-24 | Samsung Electronics Co., Ltd. | Creating details in an image with adaptive frequency strength controlled transform |
| US9652829B2 (en) | 2015-01-22 | 2017-05-16 | Samsung Electronics Co., Ltd. | Video super-resolution by fast video segmentation for boundary accuracy control |
| KR101702937B1 (ko) * | 2015-05-29 | 2017-02-08 | 주식회사 칩스앤미디어 | 해상도 스케일링 방법 및 그 장치 |
| US9734409B2 (en) * | 2015-06-24 | 2017-08-15 | Netflix, Inc. | Determining native resolutions of video sequences |
| KR102580519B1 (ko) * | 2016-09-07 | 2023-09-21 | 삼성전자주식회사 | 영상처리장치 및 기록매체 |
| KR102351083B1 (ko) | 2017-08-30 | 2022-01-13 | 삼성전자주식회사 | 디스플레이 장치 및 그 영상 처리 방법 |
| US11041518B2 (en) | 2018-07-19 | 2021-06-22 | The Boeing Company | Methods for bonding a structural component within a channel of a rail |
| US11917205B2 (en) * | 2019-07-05 | 2024-02-27 | Tencent America LLC | Techniques and apparatus for scalable lifting for point-cloud attribute coding |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5517687A (en) * | 1994-02-09 | 1996-05-14 | Westinghouse Electric Corporation | Subharmonic image rejection and image enhancement mixer |
| US6377280B1 (en) * | 1999-04-14 | 2002-04-23 | Intel Corporation | Edge enhanced image up-sampling algorithm using discrete wavelet transform |
| CN102651122A (zh) * | 2011-02-24 | 2012-08-29 | 索尼公司 | 图像增强装置和方法 |
Family Cites Families (71)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2170373B (en) | 1984-12-28 | 1989-03-15 | Canon Kk | Image processing apparatus |
| US6346124B1 (en) | 1998-08-25 | 2002-02-12 | University Of Florida | Autonomous boundary detection system for echocardiographic images |
| RU2150146C1 (ru) | 1998-09-03 | 2000-05-27 | Семенченко Михаил Григорьевич | Способ обработки изображения |
| US6266443B1 (en) | 1998-12-22 | 2001-07-24 | Mitsubishi Electric Research Laboratories, Inc. | Object boundary detection using a constrained viterbi search |
| US7221761B1 (en) | 2000-09-18 | 2007-05-22 | Sharp Laboratories Of America, Inc. | Error resilient digital video scrambling |
| WO2002084997A1 (fr) * | 2001-04-11 | 2002-10-24 | Sony Corporation | Circuit d'accentuation de contours |
| US20040136570A1 (en) | 2002-04-30 | 2004-07-15 | Shimon Ullman | Method and apparatus for image enhancement for the visually impaired |
| US7292733B2 (en) | 2002-10-16 | 2007-11-06 | Matsushita Electric Industrial Co., Ltd. | Image processing apparatus and image processing method |
| CA2411338C (en) | 2002-11-07 | 2011-05-31 | Mcmaster University | Method for on-line machine vision measurement, monitoring and control of product features during on-line manufacturing processes |
| US7139036B2 (en) | 2003-01-31 | 2006-11-21 | Samsung Electronics Co., Ltd. | Method and apparatus for image detail enhancement using filter bank |
| JP3944738B2 (ja) | 2003-03-18 | 2007-07-18 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| US7315656B2 (en) * | 2003-05-22 | 2008-01-01 | The Boeing Company | Methods and apparatus for enhanced viewing of aerial refueling operations |
| US8896725B2 (en) | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
| US7606417B2 (en) | 2004-08-16 | 2009-10-20 | Fotonation Vision Limited | Foreground/background segmentation in digital images with differential exposure calculations |
| US8593542B2 (en) | 2005-12-27 | 2013-11-26 | DigitalOptics Corporation Europe Limited | Foreground/background separation using reference images |
| KR100999091B1 (ko) | 2003-11-17 | 2010-12-07 | 삼성전자주식회사 | 임의 크기의 가변 블록을 이용한 영상 압축 방법 및 장치 |
| US20050104899A1 (en) | 2003-11-19 | 2005-05-19 | Genesis Microchip Inc. | Real time data stream processor |
| JP4069136B2 (ja) | 2004-01-09 | 2008-04-02 | 松下電器産業株式会社 | 画像処理方法、画像処理装置、サーバクライアントシステム、サーバ装置、クライアント装置および画像処理システム |
| WO2006010276A1 (en) | 2004-07-30 | 2006-02-02 | Algolith Inc | Apparatus and method for adaptive 3d artifact reducing for encoded image signal |
| US8594448B2 (en) | 2004-08-16 | 2013-11-26 | Hewlett-Packard Development Company, L.P. | Bi-selective filtering in transform domain |
| JP4538358B2 (ja) * | 2005-03-30 | 2010-09-08 | パイオニア株式会社 | 画像処理装置 |
| US20060222258A1 (en) | 2005-04-05 | 2006-10-05 | Samsung Electronics Co., Ltd. | Image restoration with gain control and shoot suppression |
| US7587099B2 (en) | 2006-01-27 | 2009-09-08 | Microsoft Corporation | Region-based image denoising |
| JP4710635B2 (ja) | 2006-02-07 | 2011-06-29 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びに、プログラム |
| US20070223834A1 (en) | 2006-03-23 | 2007-09-27 | Samsung Electronics Co., Ltd. | Method for small detail restoration in digital images |
| US8818109B2 (en) | 2006-07-04 | 2014-08-26 | Hewlett-Packard Development Company, L.P. | Context-aware image processing |
| JP4882680B2 (ja) | 2006-07-31 | 2012-02-22 | 富士ゼロックス株式会社 | 画像処理システムおよび画像処理プログラム |
| US8260087B2 (en) | 2007-01-22 | 2012-09-04 | Sharp Laboratories Of America, Inc. | Image upsampling technique |
| WO2008130906A1 (en) | 2007-04-17 | 2008-10-30 | Mikos, Ltd. | System and method for using three dimensional infrared imaging to provide psychological profiles of individuals |
| US8442337B2 (en) | 2007-04-18 | 2013-05-14 | Microsoft Corporation | Encoding adjustments for animation content |
| KR101156117B1 (ko) | 2007-08-02 | 2012-07-03 | 삼성전자주식회사 | 영상 검출 장치 및 영상 검출 방법 |
| JP4586052B2 (ja) | 2007-08-08 | 2010-11-24 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
| US8743963B2 (en) | 2007-08-13 | 2014-06-03 | Ntt Docomo, Inc. | Image/video quality enhancement and super-resolution using sparse transformations |
| KR101265956B1 (ko) | 2007-11-02 | 2013-05-22 | 삼성전자주식회사 | 블록 기반의 영상 복원 시스템 및 방법 |
| JP4431607B2 (ja) * | 2007-11-08 | 2010-03-17 | シャープ株式会社 | 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体 |
| WO2009079644A2 (en) | 2007-12-18 | 2009-06-25 | Brijot Imaging Systems, Inc. | Software methodology for autonomous concealed object detection and threat assessment |
| JP4508279B2 (ja) * | 2008-07-17 | 2010-07-21 | ソニー株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
| JP2010140460A (ja) * | 2008-11-13 | 2010-06-24 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| JP5562242B2 (ja) | 2008-12-22 | 2014-07-30 | パナソニック株式会社 | 画像拡大装置、方法、集積回路及びプログラム |
| US8503814B2 (en) | 2009-01-19 | 2013-08-06 | Csr Technology Inc. | Method and apparatus for spectrum estimation |
| WO2010113342A1 (ja) | 2009-03-31 | 2010-10-07 | シャープ株式会社 | 画像強調装置、画像強調方法、画像強調プログラム、および信号処理装置 |
| US20100322513A1 (en) | 2009-06-19 | 2010-12-23 | Sharp Laboratories Of America, Inc. | Skin and sky color detection and enhancement system |
| KR101616874B1 (ko) | 2009-09-23 | 2016-05-02 | 삼성전자주식회사 | 다중 영상 합성 방법 및 그 장치 |
| WO2011042898A1 (en) | 2009-10-05 | 2011-04-14 | I.C.V.T Ltd. | Apparatus and methods for recompression of digital images |
| CN104811717B (zh) | 2009-12-01 | 2018-09-14 | 数码士有限公司 | 用于编码/解码高分辨率图像的方法和设备 |
| JP5456907B2 (ja) | 2009-12-04 | 2014-04-02 | トムソン ライセンシング | テクスチャー・パターン適応式の分割ブロック変換 |
| TW201120809A (en) | 2009-12-15 | 2011-06-16 | Ability Entpr Co Ltd | System and method for processing an image edge |
| TWI406571B (zh) | 2010-01-29 | 2013-08-21 | Corel Inc | Image Processing Method for Enhancing Image Edge Resolution |
| JP5366855B2 (ja) | 2010-02-16 | 2013-12-11 | 富士フイルム株式会社 | 画像処理方法及び装置並びにプログラム |
| US8457437B2 (en) | 2010-03-23 | 2013-06-04 | Raytheon Company | System and method for enhancing registered images using edge overlays |
| KR101668829B1 (ko) | 2010-04-21 | 2016-10-25 | 삼성전자주식회사 | 공간 주파수 상에서 인간 시각 특성이 반영된 텍스처 향상 방법 및 장치 |
| US8472724B2 (en) | 2010-06-30 | 2013-06-25 | Samsung Electronics Co., Ltd. | System and method for reducing noise in an image |
| ES2395102B1 (es) | 2010-10-01 | 2013-10-18 | Telefónica, S.A. | Metodo y sistema para segmentacion de primer plano de imagenes en tiempo real |
| EP2661873A1 (en) * | 2011-01-07 | 2013-11-13 | TP Vision Holding B.V. | Method for converting input image data into output image data, image conversion unit for converting input image data into output image data, image processing apparatus, display device |
| US8824823B1 (en) | 2011-01-20 | 2014-09-02 | Verint Americas Inc. | Increased quality of image objects based on depth in scene |
| KR101049928B1 (ko) | 2011-02-21 | 2011-07-15 | (주)올라웍스 | 파노라마 이미지를 생성하기 위한 방법, 사용자 단말 장치 및 컴퓨터 판독 가능한 기록 매체 |
| US8433148B2 (en) | 2011-03-31 | 2013-04-30 | Mitsubishi Electric Research Laboratories, Inc. | Method for compressing textured images |
| JP2012247891A (ja) | 2011-05-26 | 2012-12-13 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
| JP2012249079A (ja) | 2011-05-27 | 2012-12-13 | Semiconductor Components Industries Llc | 輪郭補正装置 |
| US8483516B2 (en) | 2011-08-16 | 2013-07-09 | National Taiwan University | Super resolution system and method with database-free texture synthesis |
| JP2013165476A (ja) | 2011-11-11 | 2013-08-22 | Mitsubishi Electric Corp | 画像処理装置、画像処理方法、画像表示装置、プログラム及び記録媒体 |
| US8873835B2 (en) | 2011-11-30 | 2014-10-28 | Adobe Systems Incorporated | Methods and apparatus for correcting disparity maps using statistical analysis on local neighborhoods |
| US9380320B2 (en) | 2012-02-10 | 2016-06-28 | Broadcom Corporation | Frequency domain sample adaptive offset (SAO) |
| US9361672B2 (en) | 2012-03-26 | 2016-06-07 | Google Technology Holdings LLC | Image blur detection |
| US8983177B2 (en) | 2013-02-01 | 2015-03-17 | Mitsubishi Electric Research Laboratories, Inc. | Method for increasing resolutions of depth images |
| US9547410B2 (en) | 2013-03-08 | 2017-01-17 | Adobe Systems Incorporated | Selection editing using a localized level set algorithm |
| US9536288B2 (en) * | 2013-03-15 | 2017-01-03 | Samsung Electronics Co., Ltd. | Creating details in an image with adaptive frequency lifting |
| US9305332B2 (en) | 2013-03-15 | 2016-04-05 | Samsung Electronics Company, Ltd. | Creating details in an image with frequency lifting |
| US9066025B2 (en) | 2013-03-15 | 2015-06-23 | Samsung Electronics Co., Ltd. | Control of frequency lifting super-resolution with image features |
| US9349188B2 (en) * | 2013-03-15 | 2016-05-24 | Samsung Electronics Co., Ltd. | Creating details in an image with adaptive frequency strength controlled transform |
| AU2013206597A1 (en) | 2013-06-28 | 2015-01-22 | Canon Kabushiki Kaisha | Depth constrained superpixel-based depth map refinement |
-
2014
- 2014-03-14 US US14/214,081 patent/US9349188B2/en active Active
- 2014-03-17 CN CN201480028438.9A patent/CN105230033B/zh not_active Expired - Fee Related
- 2014-03-17 WO PCT/KR2014/002247 patent/WO2014142631A1/en active Application Filing
- 2014-03-17 KR KR1020157023197A patent/KR102169480B1/ko active IP Right Grant
- 2014-03-17 EP EP14763169.1A patent/EP2974334B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5517687A (en) * | 1994-02-09 | 1996-05-14 | Westinghouse Electric Corporation | Subharmonic image rejection and image enhancement mixer |
| US6377280B1 (en) * | 1999-04-14 | 2002-04-23 | Intel Corporation | Edge enhanced image up-sampling algorithm using discrete wavelet transform |
| CN102651122A (zh) * | 2011-02-24 | 2012-08-29 | 索尼公司 | 图像增强装置和方法 |
Non-Patent Citations (1)
| Title |
|---|
| Single Reference Super-Resolution Using Inter-Subband Correlation of Directional Edge;Oh-Jim Kwon 等;《2013 IEEE International Conference on Consumer Electronics(ICCE)》;20130111;157-158 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20140270566A1 (en) | 2014-09-18 |
| KR20150127597A (ko) | 2015-11-17 |
| EP2974334B1 (en) | 2020-07-15 |
| EP2974334A4 (en) | 2016-11-16 |
| KR102169480B1 (ko) | 2020-10-23 |
| US9349188B2 (en) | 2016-05-24 |
| CN105230033A (zh) | 2016-01-06 |
| WO2014142631A1 (en) | 2014-09-18 |
| EP2974334A1 (en) | 2016-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105230033B (zh) | 利用自适应频率强度受控变换来创建图像中的细节 | |
| CN105230032B (zh) | 利用自适应频率提高来创建图像中的细节 | |
| US9066025B2 (en) | Control of frequency lifting super-resolution with image features | |
| US9305332B2 (en) | Creating details in an image with frequency lifting | |
| US9652829B2 (en) | Video super-resolution by fast video segmentation for boundary accuracy control | |
| KR102567633B1 (ko) | 오버레이 지시를 사용하는 적응적 하이 다이나믹 레인지 톤 매핑 | |
| US9478007B2 (en) | Stable video super-resolution by edge strength optimization | |
| US9471958B2 (en) | Image processing method and apparatus | |
| JP2012114687A (ja) | 画像処理装置及び画像処理方法 | |
| WO2015196462A1 (en) | Method and device for displaying a video sequence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190531 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |