CN105389776A - 图像缩放技术 - Google Patents

图像缩放技术 Download PDF

Info

Publication number
CN105389776A
CN105389776A CN201510555582.4A CN201510555582A CN105389776A CN 105389776 A CN105389776 A CN 105389776A CN 201510555582 A CN201510555582 A CN 201510555582A CN 105389776 A CN105389776 A CN 105389776A
Authority
CN
China
Prior art keywords
pixel data
data blocks
interpolation
image
directional interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510555582.4A
Other languages
English (en)
Other versions
CN105389776B (zh
Inventor
沃尔特·多诺万
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nvidia Corp
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of CN105389776A publication Critical patent/CN105389776A/zh
Application granted granted Critical
Publication of CN105389776B publication Critical patent/CN105389776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4007Interpolation-based scaling, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4023Decimation- or insertion-based scaling, e.g. pixel or line decimation

Abstract

根据本技术的实施例的图像缩放技术包括对图像的像素数据块进行方向插值,对经方向插值的像素数据块进行色彩锐化,以及可选地对经色彩锐化、方向插值的像素数据块进行亮度箝位。

Description

图像缩放技术
相关申请的交叉引用
本申请要求于2014年9月2日递交的62/044,548号美国临时专利申请的权益,其全部内容通过引用并入本文。
背景技术
计算系统、显示器和其他类似的电子设备已经对现代设备的进步做出了显著贡献,并且被以多个应用来利用以获得有有益的结果。诸如台式个人计算机(PC)、膝上型PC、平板PC、上网本、智能电话、服务器、电视等之类的诸多设备辅助了增加的生产力,并且降低了在娱乐、教育、商业和科学大多数领域中传送和分析数据的成本。计算系统的一个通用的方面是对图像的显示及其缩放图像(例如,放大)的能力。
存在用于放大电子设备上的图像的众多技术。但是,当前的现有技术受用于缩放图像的技术的速度和/或结果的经缩放图像的质量之苦。因此,存在持续的需要用于图像缩放的技术,该技术提供非常高质量的图像,同时提供更快的性能。
发明内容
本技术可通过参照以下的描述和附图来被最好地理解,附图被用于阐释涉及图像缩放技术的本技术的实施例。
在一个实施例中,图像缩放方法包括对接收到的图像的多个像素数据块进行方向插值。经方向插值的像素数据块被色彩锐化。经色彩锐化、方向插值的像素数据块被亮度箝位,以产生经缩放的图像。
在另一个实施例中,图像缩放方法包括对接收到的图像的多个像素数据块进行方向插值。经方向插值的像素数据块被色彩锐化以产生经缩放的图像。
该发明内容被提供,以通过简单的方式来介绍一部分概念,将在下面的具体实施方式中进一步描述该概念。该发明内容并不意欲标识所要求权利保护的主题内容的关键特征或必要特征,也不意欲被用来限制所要求权利保护的主题内容的范围。
附图说明
本技术的实施例通过附图中的示例来进行阐释,而非进行限制,其中,相似的参考标号指类似的元件,并且其中:
图1示出了根据本技术的实施例的图像缩放方法的流程图。
图2A、2B、2C、2D、2E和2F示出了根据本技术的实施例的阐释了方向插值方面的像素块的示图。
图3A和图3B示出了根据本技术实施例的阐释了方向插值方面的像素块的示图。
图4A和图4B示出了根据本技术的实施例的可能的插值方向的方面的示图。
图5A、5B和5C示出了根据本技术的实施例的阐释了方向插值方面的像素块的示图。
图6示出了根据本技术的另一实施例的图像缩放方法的流程图。
图7A、7B、7C和7D示出了根据本技术的另一实施例的图像缩放方法的流程图。
具体实施方式
现将详细参照本技术的实施例,其示例以附图示出。虽然将结合这些实施例来描述本技术,但是,将理解,其并不意欲将发明限制于这些实施例。相反地,发明意欲覆盖替换例、修改例和等同例,其可包括在由所附权利要求所限定的本发明的范围内。另外,在下面的对本技术的详细描述中,将给出大量的具体细节以提供对本技术透彻的理解。然而,应理解,本技术可以在没有这些具体细节的情况下得以实施。在其他实例中,未详细描述公知方法、流程、组件和电路特征以避免不必要地模糊本技术。
之后的本技术的一些实施例以一个或多个电子设备内的例程、模块、逻辑块、以及对数据的操作的符号化表示的形式来呈现。描述和表现是本领域技术人员用来最有效地将其工作的实质传达给本领域其他技术人员的手段。例程、模块、逻辑块和/或等在本文中一般被看作是导致所希望的结果的自相一致的处理序列或指令。处理是包括对物理量的物理操纵的处理。通常,虽然不是必要的,这些物理操纵采用电信号或磁信号的形式,该电信号或磁信号能够被在电子设备中存储、转移、比较和操纵。为了方便,并参照通用用途,参照本技术的实施例,这些信号被称为数据、比特、值、元素、符号、字符、术语、数字、串,和/或等等。
但是,应当牢记于心的是,所有这些术语将被解释为参照物理操纵和数量,并且仅仅是方便的标签,并且将要被进一步以现有技术中通用的术语来解释。除非特别指出,否则从以下的讨论中可显而易见的,应理解,通过对本技术的讨论,利用诸如“接收”和/或等等之类的术语的讨论指诸如操纵和转换数据的电子计算设备之类的电子设备的动作和处理。数据被表示为电子设备的逻辑电路、寄存器、存储器和/或等等内的物理(例如,电子的)量,并且被转换成类似地表示为电子设备中的物理量的其他数据。
在本申请中,使用分隔(disjunctive)意欲包括连接(conjunctive)。定冠词和不定冠词的使用并不意欲指示基数(cardinality)。具体地,对“该”物体或“一”物体的参照还意欲表示可能多个这种物体中的一个。还要理解,此处所使用的措辞和术语是出于描述目的的,并且不应当被看作为限制。
参照图1,示出了根据本技术的实施例的图像缩放方法。该方法可被实现为计算设备可执行指令(例如,计算机程序),其被存储在一个或多个计算设备可读介质(例如,计算机存储器)中并由一个或多个计算设备(例如,图形处理单元)执行。
该方法开始于在110处接收图像的多个像素数据块。像素数据块包括每个块中的给定数量的像素值。在一个实现中,像素数据块包括4x4像素阵列的值。在120处,在每个像素数据块上执行方向插值。在一个实现中,方向插值包括应用方向非线性滤波器D(图像,m),其以因素2对像素值块进行放大。
如图2A和2B所示出的,针对每个原始的4x4像素值的块,从4x4网格进行插值。如图2C和2D中所示出的,相同的算法还被应用于在网格向左旋转45度之后进行插值,如图2E和2F所示出的,相同的算法还应用于网格向右旋转45度之后进行插值。方形表示原始的像素值,圆形表示在原始网格上经插值的值,三角形表示针对向左旋转45度的网格的经插值的值,以及八边形表示针对向右旋转45度的网格的经插值的值。如果需要来自原始图像外部的数据,则可使用任何标准的纹理函数(例如,箝位(clamp),镜像(mirror),绕包(warp),边界(border)等)。每个原始的像素(例如,方形的)将生成三个额外的像素(一个圆形的、一个三角形的,以及一个八边形的)。
针对每个插值,根据度量方程1和2来计算左对角线相邻原始像素值和右对角线相邻原始像素值的像素亮度的绝对差之和,并且在图3A和3B中示出。
度量是对角线相邻的原始像素值的像素亮度的7个绝对差之和。
在一个实现中,度量方程1和2还可通过根据3和4来将图像与核(kernel)卷积来计算,
a b s ⊗ ( 1 0 0 - 1 ) - - - ( 3 )
a b s ⊗ ( 0 1 - 1 0 ) - - - ( 4 )
并且根据5来应用箱式滤波器。
1 1 1 1 1 1 1 1 1 - - - ( 5 )
该箱式滤波器被用来平滑核3和4的响应。
例如,如果4x4的像素值块被表示为
03 13 23 33 02 12 22 32 01 11 21 31 00 10 20 30 - - - ( 6 )
针对左对角线,卷积可被计算为|02–13|+|01–12|+|12–23|+|00–11|+|11–22|+|22-33|+|10–21|+|21–32|+|20–31|,并且|01–10|+|20–11|+|11–02|+|30–21|+|21–12|+|12–03|+|31–22|+|22–13|+|32–23|。可以使得绝对差之和大于4x4。可使用诸如以下的针对每个差的不同权重
3 2 1 2 1 2 1 2 3 - - - ( 7 )
而不使用箱式滤波器5。
另一方法是计算整个图像(例如,针对全部图像的M45和M135计算机)的度量,然后对每个3x3、5x5或类似的像素值阵列应用最大、取中间值、或最小滤波器,并且,用结果来替换原始值。随后可应用对插值方向的分类和选择。
如果给定的度量是小的,则图像在对应的方向上是等光的(isophotic)。给定的像素块在其占支配地位的等光方向上被插值。如果没有方向占支配地位,则使用标准的线性滤波器来对给定的像素块进行方向插值。因此,给定在范围[0,9]内的两个度量,图4A的示图可被用于将度量分成8、9和10三个可能的插值方向,
F45:if(aM45+bM135+c<0(8)
F135:if(bM45+aM135+c<0(9)
F4X4:otherwise(10)
并且,如分别在图5A、5B和5C中所示出的。插值方向可使用兰索斯窗口化(Lanczos-windowed)的sinc权重[-199-1]/16。针对4x4阵列,可使用与可分离滤波器相同的权重。常数a,b和c可分离别根据方程11、12和13从参数tx和ty计算出来。
a=(9-ty)(11)
b=-tx(12)
c=txty(13)
均在[0,9]内的参数tx和ty是可调参数。合理的值为tx=8.1以及ty=0.1。
在第二实现中,还可通过根据3和4来将图像与核卷积来计算度量方程1和2,并且随后对结果应用平均化滤波器14。
0 1 1 1 1 1 1 1 0 - - - ( 14 )
再次,如果给定的度量是小的,则图像在该对应方向上是等光的。给定的像素块在其占支配地位的等光方向上被插值。如果没有方向占支配地位,则使用标准的线性滤波器来对给定的像素块进行方向插值。可通过比较度量的相对幅度来确定占支配地位的方向。因此,给定两个度量,可使用图4B的示图来将度量分成三个可能的插值方向15、16和17,
F45:ifM135>mM45(15)
F135:ifM45>mM135(16)
F4X4:otherwise(17)
并且,如图5A、5B和5C所分别示出的。F45和F135的插值权重可以是针对F4x4,可使用相同的权重,以用于可分的水平权重和垂直权重。其他可用的权重大约在范围中。
当采用YUV(亮度+色度)图像工作时,可以根据上述方法选择在Y通道上进行缩放,并针对UV通道使用任何合适的线性缩放。一般而言,如果要求性能的话,这可能是可以的,因为颜色细节丢失了。针对单个通道I的D(I,m)与以上的相同,除了通道值被直接用作亮度以外。
在130处,在经方向插值的像素值的每个块上执行色彩锐化。锐化滤波器可以为p'=p+2(p–blur(p)),其中模糊滤波器可以是任何低通滤波器。在一个实现中,色彩锐化包括应用非线性锐化滤波器。在一个实现中,锐化滤波器18可以是
- 1 - 2 - 1 - 2 12 2 - 1 - 2 - 1 + 0 0 0 0 1 0 0 0 0 - - - ( 18 )
在一个实现中,使用YPbPr色彩空间。在一个实现中,在0.10至0.16范围内的锐化滤波器看起来是最佳的。注意,锐化滤波器可被计算为之后紧随乘加器(multiply-add)的可分离滤波器。
在第二实现中,锐化滤波器为
p′=p+s(p-blurNxN(p))(19)
其应用于像素p的所有通道。当迭代插值步骤时,s可变化。模糊滤波器被应用于以p为中心的NXN周围,其中N是奇数。将使用的合适的滤波器为
1 16 1 2 1 2 4 2 1 2 1 - - - ( 20 )
但是几乎任意够格称为低通滤波器的滤波器将是可以的。已经发现,m∈{~1.1,~1.9}并且s2.0针对用以上滤波器的图像工作得很好。
在140处,在经色彩锐化的方向插值像素值的每个块上执行亮度箝位(luminanceclamping)。在一个实现中,亮度可被箝位至原始的3x3附近的亮度范围。在第二实现中,
在150处,经亮度箝位(如果适用的话)、色彩锐化、方向插值的像素值的多个块被作为经放大的图像输出。在一个实现中,经亮度箝位、色彩锐化、方向插值的像素值的多个块被输出至显示器上,以用于向用户可视地呈现。例如,有优势地,在运行在4K或更大显示器上的实时游戏或视频缩放期间,实施例可被用于放大后部缓冲器,以提升GPU的性能。在另一实现中,经亮度箝位、色彩锐化、方向插值的像素值的多个块被存储在计算设备可读介质(例如,计算机存储器)中。
现在参照图6,示出了根据本技术的另一实施例的图像缩放方法。方法开始于610处,接收图像的多个像素数据块。在620处,对每个像素数据块执行方向插值。像素块可如上述参照处理120而被方向插值。在630处,对经方向插值的像素值块的每个块执行锐化。线性锐化可如上述参照处理130而被执行。在640处,确定是否已经达到预定的缩放。如果还没有达到预定的缩放,则迭代地重复处理620和630。一旦已经达到所希望的缩放,则将多个像素数据块的经线性锐化、方向插值的像素数据作为经缩放的图像输出。
图像缩放方法利用方向插值和锐化而没有亮度箝位,与当利用了亮度箝位时相比,这有利地产生在四倍(4x)或更高缩放处看起来更好的经缩放的图像。
可经由线性滤波步骤来获得其他缩放。例如,可使用双线性缩小来得到改进的细节,或如果缩放之间的连续性是重要的,则可使用三线性。针对缩放因子Z,在三线性插值中,log2(Z)=int.fac被计算。方向插值和锐化而不带有亮度箝位的方法被用于获得作为缩放A=2int和B=2(int+1)的两个图像,并且经由A*(1-frac)+B*frac来线性地将其一起混合。
现参照图7A至7D,其示出了根据本技术的另一实施例的图像缩放方法。该方法开始于在702处接收图像的多个像素数据块。在704处,还接收到图像缩放因子。在一个实现中,令Z=max(x缩放,y缩放)为图像缩放因子。
在706处,如果图像缩放因子Z小于1.0,则在708处,多个像素数据块被下取样。在一个实现中,可应用双线性取样。在另一实现中,高斯下取样是带有如下核的6x6滤波器
e - x 2 / 2 σ 2 - - - ( 21 )
此处,
σ2=max(0.01,σadj 2in 2)(22)
其中,
σadj=σout/Zdownscale(23)
并且,
σout,σin(24)
分别为所希望的输出模糊强度和所估计的输入模糊强度。一般而言,
σout=σin=0.5(25)
并且
0.5<Zdownscale<1.0(26)
在756处,经下取样的多个像素数据块被作为经缩放的图像输出。
在710处,如果图像缩放因子Z大于1.0并且小于2.0,则在712处,多个像素块被方向插值。像素块可如上述参照处理120而被方向插值。在714处,经方向插值的像素块被下取样。下取样可如上述参照处理708而被执行。在716处,经下取样、方向插值的像素块被色彩锐化。色彩锐化可如上述参照处理130而被执行。在718处,经色彩锐化、下取样、方向插值的像素数据块被亮度箝位。亮度箝位可如上述参照处理140而被执行。在756处,经亮度箝位、色彩锐化、下取样、方向插值的多个像素数据块被作为经缩放的图像输出。
在720处,如果图像缩放因子Z等于2.0,则在722处,多个像素块被方向插值。再次,像素块可如上述参照处理120而被方向插值。在724处,经方向插值的像素块被色彩锐化。再次,色彩锐化可如上述参照处理130而被执行。在726处,经色彩锐化、方向插值的像素数据块被亮度箝位。再次,亮度箝位可如上述参照处理140而被执行。在756处,经亮度箝位、色彩锐化、方向插值的多个像素数据块被作为经缩放的图像输出。
在728处,如果图像缩放因子Z大于2.0,则在730处,多个像素块被方向插值。再次,像素块可如上述参照处理120而被方向插值。在732处,经方向插值的像素块被色彩锐化。再次,色彩锐化可如上述参照处理130而被执行。在734处,经色彩锐化、方向插值的像素数据块被亮度箝位。再次,亮度箝位可如上述参照处理140而被执行。在736处,确定根据处理730-734执行的中间图像缩放是否在2.0的因子内或小于图像缩放因子。如果中间图像缩放并未在2.0的因子内或并未小于图像缩放因子,则处理730-734被迭代重复,直到中间图像缩放在2.0的因子内或小于图像缩放因子为止。
在738处,如果中间图像缩放大于1.0并且为小于2.0的图像缩放因子,则在740处,经中间缩放的像素块被方向插值。像素块可如上述参照处理120而被方向插值。在742处,经方向插值的像素块被下取样。下取样可如上述参照处理608而被执行。在744处,经下取样、方向插值的像素块被色彩锐化。色彩锐化可如上述参照处理130而被执行。在746处,经色彩锐化、下取样、方向插值的像素数据块被亮度箝位。亮度箝位可如上述参照处理140而被执行。在756处,经亮度箝位、色彩锐化、下取样、方向插值的像素数据块被作为经缩放的图像输出。
在748处,如果中间图像缩放等于2.0的图像缩放因子,则在750处,经中间缩放的像素块被方向插值。像素块可如上述参照处理120而被方向插值。在752处,经方向插值的像素块被色彩锐化。色彩锐化可如上述参照处理130而被执行。在754处,经色彩锐化、方向插值的像素数据块被亮度箝位。亮度箝位可如上述参照处理140而被执行。在756处,经亮度箝位、色彩锐化、方向插值的像素数据块被作为经缩放的图像输出。
上述缩放技术中的操作被执行在线性色彩空间中。上述缩放技术的坐标系统并不完全与线性缩放图像相同。因此,当工作于YUV图像时,通过上述方法来缩放Y通道并通过任意合适的线性滤波器来缩放UV通道,线性滤波器中的逆映射需要支持针对缩放因子Z=2n-δ(其中,0≤δ<1并且n是整数)的两种不同的映射,以确保UV通道正确地与Y通道对准:
u0=2-n+δuz(未修改的逆映射)(27)
u0=2-n+δuz-2-n-1+0.5UV(28)
u0=2-n+δuz-2-n-2+0.25UV420(29)
其中,u0是源图像中的取样位置,其对应于输出图像中的取样位置uz。相同的方程应用于v坐标。
与惯常的技术相比,本技术的实施例有利地增加了针对给定渲染质量的缩放图像的速度。另外,通过在箝位亮度之前锐化色彩,本技术的实施例有利地减少了经放大的图像中的振荡(ringing)。本技术的实施例通常在每个第二范围的十亿像素中获得性能,并且提供了可见的优于当代的处理单元上单纯的线性缩放质量。本技术的实施例有利地继续在任何水平的放大上生成有趣的细节。
出于阐释和描述目的,已经呈现了以上对本技术的具体实施例的前述描述。其并不意欲是穷尽式的,或将发明限制到所公开的精确形式,并且,显而易见地,鉴于以上教导,许多修改例和变换例可使能的。实施例被选择并描述,以便最好地说明本技术的原理及其实际应用,从而使得本领域其他技术人员能够最佳地利用本技术和带有适于所构想的特定用途的各种修改例的各种实施例。意欲使发明的范围由此处所附的权利要求及其等同物所定义。

Claims (19)

1.一种方法,包括:
接收图像的多个像素数据块;
对所述多个像素数据块进行方向插值;
对经方向插值的像素数据块进行色彩锐化;
对经色彩锐化、方向插值的像素数据块进行亮度箝位;以及
将经亮度箝位、色彩锐化、方向插值的像素数据块作为经缩放的图像输出。
2.根据权利要求1所述的方法,其中对所述多个像素数据块进行方向插值包括应用方向非线性滤波器,所述方向非线性滤波器对所述像素数据块进行放大。
3.根据权利要求1所述的方法,其中对所述多个像素数据块进行方向插值包括对像素亮度的绝对差度量之和
4.根据权利要求1所述的方法,其中对经方向插值的像素数据块进行色彩锐化包括对所述经方向插值的像素数据块应用非线性锐化滤波器。
5.根据权利要求1所述的方法,其中对经方向插值的像素数据块进行色彩锐化包括应用低通滤波器。
6.根据权利要求1所述的方法,对经色彩锐化、方向插值的像素数据块进行亮度箝位包括将所述经色彩锐化、方向插值的像素数据块箝位至所接收的所述图像的多个像素数据块的亮度范围。
7.一种方法,包括:
接收图像的像素数据块;
接收图像缩放因子;
如果所述图像缩放因子大于1.0并且小于2.0,则对所述像素数据块进行方向插值;
如果所述图像缩放因子大于1.0并且小于2.0,则对经方向插值的像素数据块进行下取样;
如果所述图像缩放因子大于1.0并且小于2.0,则对经下取样、方向插值的像素数据块进行色彩锐化;
如果所述图像缩放因子大于1.0并且小于2.0,则对经色彩锐化、下取样、方向插值的像素数据块进行亮度箝位;以及
如果所述图像缩放因子大于1.0并且小于2.0,则将经亮度箝位、色彩锐化、下取样、方向插值的像素数据块作为经缩放的图像输出。
8.根据权利要求7所述的方法,其中对所述像素数据块进行方向插值包括应用方向非线性滤波器,所述方向非线性滤波器通过为2的因子对所述像素数据块进行放大。
9.根据权利要求7所述的方法,其中对多个像素数据块进行方向插值包括对像素亮度的绝对差度量之和
10.根据权利要求7所述的方法,其中对经方向插值的像素数据块进行色彩锐化包括对所述经方向插值的像素数据块应用非线性锐化滤波器。
11.根据权利要求7所述的方法,其中对经方向插值的像素数据块进行色彩锐化包括应用低通滤波器。
12.根据权利要求7所述的方法,对经色彩锐化、方向插值的像素数据块进行亮度箝位包括将所述经色彩锐化、方向插值的像素数据块箝位至所接收的所述图像的多个像素数据块的亮度范围。
13.根据权利要求7所述的方法,还包括:
如果所述图像缩放因子等于2.0,则对所述像素数据块进行方向插值;
如果所述图像缩放因子等于2.0,则对经方向插值的像素数据块进行色彩锐化;
如果所述图像缩放因子等于2.0,则对经色彩锐化、方向插值的像素数据块进行亮度箝位;以及
如果所述图像缩放因子等于2.0,则将经亮度箝位、色彩锐化、方向插值的像素数据块作为经缩放的图像输出。
14.根据权利要求7所述的方法,还包括:
如果所述图像缩放因子大于2.0,则对所述像素数据块进行方向插值;
如果所述图像缩放因子大于2.0,则对经方向插值的像素数据块进行色彩锐化;
如果所述图像缩放因子大于2.0,则对经色彩锐化、方向插值的像素数据块进行亮度箝位,以产生带有中间图像缩放的像素数据块;
如果所述中间图像缩放并未在为2的因子内或并未小于所述图像缩放因子,则迭代地执行所述方向插值、色彩锐化和亮度箝位;
如果所述中间图像缩放因子大于1.0并小于为2.0的所述图像缩放因子,则对带有所述中间图像缩放的所述像素数据块进行方向插值;
如果所述中间图像缩放因子大于1.0并小于为2.0的所述图像缩放因子,则对经方向插值的带有所述中间图像缩放的像素数据块进行下取样;
如果所述中间图像缩放因子大于1.0并小于为2.0的所述图像缩放因子,则对经下取样、方向插值的带有所述中间图像缩放的像素数据块进行色彩锐化;
如果所述中间图像缩放因子大于1.0并小于为2.0的所述图像缩放因子,则对经色彩锐化、下取样、方向插值的带有所述中间图像缩放的像素数据块进行亮度箝位;以及
如果所述中间图像缩放因子大于1.0并小于为2.0的所述图像缩放因子,则将经亮度箝位、色彩锐化、下取样、方向插值的带有所述中间图像缩放的像素数据块作为经缩放的图像输出;
如果所述中间图像缩放因子等于为2.0的所述图像缩放因子,则对带有所述中间图像缩放的所述像素数据块进行方向插值;
如果所述中间图像缩放因子等于为2.0的所述图像缩放因子,则对经方向插值的带有所述中间图像缩放的像素数据块进行色彩锐化;
如果所述中间图像缩放因子等于为2.0的所述图像缩放因子,则对经色彩锐化、方向插值的带有所述中间图像缩放的像素数据块进行亮度箝位;
如果所述中间图像缩放因子等于为2.0的所述图像缩放因子,则将经亮度箝位、色彩锐化、方向插值的带有所述中间图像缩放的像素数据块作为经缩放的图像输出。
15.一种方法,包括:
接收图像的多个像素数据块;
对所述多个像素数据块进行方向插值;
对经方向插值的像素数据块进行色彩锐化;
迭代地重复所述方向插值和所述色彩锐化的组合,直到已经达到预定缩放为止;以及
当已经达到所述预定缩放时,将经色彩锐化、方向插值的像素数据块作为经缩放的图像输出。
16.根据权利要求15所述的方法,其中对所述多个像素数据块进行方向插值包括对所述像素数据块应用非线性滤波器。
17.根据权利要求15所述的方法,其中对所述多个像素数据块进行方向插值包括对像素亮度的绝对差度量之和
18.根据权利要求15所述的方法,其中对经方向插值的像素数据块进行色彩锐化包括向所述经方向插值的像素数据块应用线性锐化滤波器。
19.根据权利要求15所述的方法,其中对经方向插值的像素数据块进行色彩锐化包括应用低通滤波器。
CN201510555582.4A 2014-09-02 2015-09-01 图像缩放技术 Active CN105389776B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462044548P 2014-09-02 2014-09-02
US62/044,548 2014-09-02

Publications (2)

Publication Number Publication Date
CN105389776A true CN105389776A (zh) 2016-03-09
CN105389776B CN105389776B (zh) 2019-05-03

Family

ID=55358631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510555582.4A Active CN105389776B (zh) 2014-09-02 2015-09-01 图像缩放技术

Country Status (4)

Country Link
US (1) US9865035B2 (zh)
CN (1) CN105389776B (zh)
DE (1) DE102015114651B4 (zh)
TW (1) TW201624414A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875340A (zh) * 2017-04-05 2017-06-20 上海矽奥微电子有限公司 基于方向差值的图像缩放方法
CN109919847A (zh) * 2017-12-13 2019-06-21 彩优微电子(昆山)有限公司 改善放大图像品质的方法
CN111279673A (zh) * 2017-08-21 2020-06-12 高途乐公司 具有电子卷帘快门校正的图像拼接

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9384410B2 (en) 2012-05-21 2016-07-05 Nvidia Corporation Method and system for image compression while encoding at least one extra bit
US9819969B2 (en) 2013-11-26 2017-11-14 Nvidia Corporation Generalization of methods and systems for image compression while encoding at least one extra bit
US10489967B2 (en) 2017-02-22 2019-11-26 Microsoft Technology Licensing, Llc Indexed value blending for use in image rendering

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1735135A (zh) * 2004-08-12 2006-02-15 三星电子株式会社 分辨率转换设备和方法
US7236191B2 (en) * 2003-04-30 2007-06-26 Nokia Corporation Method and system for image processing with pixel interpolation using second order gradients
CN101502097A (zh) * 2006-08-07 2009-08-05 高通股份有限公司 用于滤波图像信息的自适应空间图像滤波器
CN101849246A (zh) * 2007-09-19 2010-09-29 汤姆森特许公司 缩放图像的系统和方法

Family Cites Families (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0413838B1 (de) 1989-08-22 1994-03-02 Deutsche ITT Industries GmbH Fernsehempfänger mit positionsgesteuerter Fernbedienung
GB9012326D0 (en) 1990-06-01 1990-07-18 Thomson Consumer Electronics Wide screen television
US5103490A (en) 1990-06-13 1992-04-07 National Computer Systems, Inc. Method and apparatus for storing and merging multiple optically scanned images
JP2759727B2 (ja) 1992-04-22 1998-05-28 日本ビクター株式会社 ディスプレイ装置
US6181822B1 (en) 1993-05-12 2001-01-30 The Duck Corporation Data compression apparatus and method
GB2278524B (en) 1993-05-28 1997-12-10 Nihon Unisys Ltd Method and apparatus for rendering visual images employing area calculation and blending of fractional pixel lists for anti-aliasing and transparency
JP3231142B2 (ja) 1993-06-18 2001-11-19 株式会社日立製作所 映像圧縮拡大回路及び装置
US5734744A (en) 1995-06-07 1998-03-31 Pixar Method and apparatus for compression and decompression of color data
US5790705A (en) 1996-09-13 1998-08-04 Apple Computer, Inc. Compression techniques for substantially lossless digital image data storage
JPH10108143A (ja) 1996-09-27 1998-04-24 Sony Corp 画像表示制御装置および方法
US5953691A (en) 1996-10-11 1999-09-14 Divicom, Inc. Processing system with graphics data prescaling
US6208350B1 (en) 1997-11-04 2001-03-27 Philips Electronics North America Corporation Methods and apparatus for processing DVD video
US6356588B1 (en) 1998-04-17 2002-03-12 Ayao Wada Method for digital compression of color images
US6927783B1 (en) 1998-11-09 2005-08-09 Broadcom Corporation Graphics display system with anti-aliased text and graphics feature
JP4345937B2 (ja) 1998-11-10 2009-10-14 キヤノン株式会社 画像拡大処理回路
US20020145610A1 (en) 1999-07-16 2002-10-10 Steve Barilovits Video processing engine overlay filter scaler
US6518974B2 (en) 1999-07-16 2003-02-11 Intel Corporation Pixel engine
JP3478329B2 (ja) 1999-10-01 2003-12-15 セイコーエプソン株式会社 画像処理装置及び画像処理方法
US6674479B2 (en) 2000-01-07 2004-01-06 Intel Corporation Method and apparatus for implementing 4:2:0 to 4:2:2 and 4:2:2 to 4:2:0 color space conversion
US7039241B1 (en) 2000-08-11 2006-05-02 Ati Technologies, Inc. Method and apparatus for compression and decompression of color data
US7184059B1 (en) 2000-08-23 2007-02-27 Nintendo Co., Ltd. Graphics system with copy out conversions between embedded frame buffer and main memory
JP2002064760A (ja) 2000-08-23 2002-02-28 Olympus Optical Co Ltd 画像表示装置
US6825851B1 (en) 2000-08-23 2004-11-30 Nintendo Co., Ltd. Method and apparatus for environment-mapped bump-mapping in a graphics system
CA2344615A1 (en) 2000-09-08 2002-03-08 Jaldi Semiconductor Corp. A method and apparatus for motion adaptive deinterlacing
US7213214B2 (en) 2001-06-12 2007-05-01 Idelix Software Inc. Graphical user interface with zoom for detail-in-context presentations
US7307642B2 (en) 2001-06-28 2007-12-11 Ideaworks 3D Ltd. Graphics compression
US6828987B2 (en) 2001-08-07 2004-12-07 Ati Technologies, Inc. Method and apparatus for processing video and graphics data
JP2003189266A (ja) 2001-12-21 2003-07-04 Nec Microsystems Ltd 画像処理装置、テレビ受信機及び画像処理方法
US20030189581A1 (en) 2002-04-08 2003-10-09 Nasoff David G. Content based window filtering for simultaneous display of multiple high-quality video and graphics windows
KR100547812B1 (ko) 2002-06-24 2006-01-31 삼성전자주식회사 컬러 참조테이블을 사용하여 화소데이터의 컬러모델을변환하는 장치 및 방법
US7200263B2 (en) 2002-07-01 2007-04-03 Xerox Corporation Background suppression and color adjustment method
US7382489B2 (en) 2002-07-01 2008-06-03 Xerox Corporation Efficient interpolation technique using programmable node spacing
JP4065155B2 (ja) 2002-07-12 2008-03-19 オリンパス株式会社 画像処理装置および画像処理プログラム
US7308146B2 (en) 2002-09-30 2007-12-11 Canon Kabushiki Kaisha Digital video compression
US7385615B2 (en) 2002-10-21 2008-06-10 Microsoft Corporation System and method for scaling images to fit a screen on a mobile device according to a non-linear scale factor
US8111928B2 (en) 2003-02-13 2012-02-07 Ati Technologies Ulc Method and apparatus for compression of multi-sampled anti-aliasing color data
US7928994B2 (en) 2003-07-16 2011-04-19 Transpacific Image, Llc Graphics items that extend outside a background perimeter
US7158668B2 (en) 2003-08-01 2007-01-02 Microsoft Corporation Image processing using linear light values and other image processing improvements
WO2005024777A1 (ja) 2003-09-03 2005-03-17 Olympus Corporation 画像表示装置、画像表示プログラム、画像表示方法、画像表示プログラムを記録する記録媒体
CA2442603C (en) 2003-10-01 2016-11-22 Aryan Saed Digital composition of a mosaic image
US20040145595A1 (en) 2003-10-21 2004-07-29 Sony Corporation/Sony Electronics Inc. Method and apparatus for displaying an image on a display with a different aspect ration than the image
US6933954B2 (en) 2003-10-31 2005-08-23 Microsoft Corporation Aspect ratio conversion of video content
US7511714B1 (en) 2003-11-10 2009-03-31 Nvidia Corporation Video format conversion using 3D graphics pipeline of a GPU
JP4522199B2 (ja) 2003-11-27 2010-08-11 キヤノン株式会社 画像符号化装置及び画像処理装置及びそれらの制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US20070195194A1 (en) 2003-12-17 2007-08-23 Koninklijke Philips Electronic, N.V. Image format conversion
JP5082184B2 (ja) 2004-05-19 2012-11-28 ソニー株式会社 画像データ処理装置、画像データ処理方法及び画像データ処理プログラム
KR100653090B1 (ko) 2004-07-13 2006-12-06 삼성전자주식회사 디스플레이 사이즈 조정 장치 및 그 방법
JP3858923B2 (ja) 2004-11-02 2006-12-20 船井電機株式会社 映像表示装置および映像表示装置の映像表示方法
ATE501487T1 (de) 2004-12-21 2011-03-15 Canon Kk Segmentierung eines digitalen bildes und herstellung einer kompakten repräsentation
US7668386B2 (en) 2005-03-25 2010-02-23 Microsoft Corporation Lossless compression algorithms for spatial data
US7400777B2 (en) 2005-05-25 2008-07-15 Microsoft Corporation Preprocessing for information pattern analysis
US20070097261A1 (en) 2005-10-25 2007-05-03 Brad Smith Region or frame based aspect ratio scaling
JP4617239B2 (ja) 2005-10-27 2011-01-19 Okiセミコンダクタ株式会社 画像変換回路
KR100968452B1 (ko) 2005-12-12 2010-07-07 삼성전자주식회사 영상처리장치 및 그 제어방법
KR100816916B1 (ko) 2006-08-04 2008-03-27 엘지전자 주식회사 영상표시장치의 화면 디스플레이 방법 및 장치
JP2008122800A (ja) 2006-11-14 2008-05-29 Sharp Corp 画像表示装置
AU2006246497B2 (en) 2006-11-30 2010-02-11 Canon Kabushiki Kaisha Method and apparatus for hybrid image compression
US20080158246A1 (en) 2007-01-03 2008-07-03 Tvia, Inc. Digital color management method and system
ITVA20070059A1 (it) 2007-07-03 2009-01-04 St Microelectronics Srl Metodo e relativo dispositivo di interpolazione di colori di un'immagine acquisita mediante un sensore di colore digitale
AU2007249106B2 (en) 2007-12-18 2010-11-25 Canon Kabushiki Kaisha A lossless compressor for image data values
CN101197957A (zh) 2007-12-25 2008-06-11 上海广电集成电路有限公司 非线性图像缩放方法以及系统
JP5207732B2 (ja) 2007-12-28 2013-06-12 キヤノン株式会社 表示装置
WO2010038212A2 (en) 2008-10-01 2010-04-08 Nxp B.V. Embedded video compression for hybrid contents
US9218792B2 (en) 2008-12-11 2015-12-22 Nvidia Corporation Variable scaling of image data for aspect ratio conversion
JP5052569B2 (ja) 2009-06-25 2012-10-17 シャープ株式会社 画像圧縮装置、画像圧縮方法、画像伸張装置、画像伸張方法、画像形成装置、コンピュータプログラム及び記録媒体
TWI429274B (zh) 2009-07-10 2014-03-01 Silicon Integrated Sys Corp 具有縮放與清晰裝置之影像處理系統及其方法
US8593483B2 (en) * 2009-10-20 2013-11-26 Apple Inc. Temporal filtering techniques for image signal processing
EP3595316B1 (en) 2010-01-08 2022-03-30 Nokia Technologies Oy Apparatus and method for video coding and decoding
KR101464423B1 (ko) 2010-01-08 2014-11-25 노키아 코포레이션 비디오 프로세싱을 위한 장치, 방법 및 컴퓨터 프로그램
US8854384B2 (en) 2010-04-06 2014-10-07 Broadcom Corporation Method and system for processing pixels utilizing scoreboarding
US8767828B2 (en) 2010-07-16 2014-07-01 Sharp Laboratories Of America, Inc. System for low resolution power reduction with compressed image
US8605167B2 (en) 2010-09-01 2013-12-10 Apple Inc. Flexible color space selection for auto-white balance processing
US10218988B2 (en) * 2011-02-23 2019-02-26 Nvidia Corporation Method and system for interpolating base and delta values of associated tiles in an image
GB2493428B (en) 2011-07-19 2013-07-10 Nvidia Corp Method and system for interpolating index values of associated tiles in an image
US20140009576A1 (en) 2012-07-05 2014-01-09 Alcatel-Lucent Usa Inc. Method and apparatus for compressing, encoding and streaming graphics
US10158858B2 (en) 2012-12-27 2018-12-18 Nvidia Corporation Method and system for index compression for fixed block size texture formats and for non-linear interpolation of index values along an edge in a tile
US9082180B2 (en) 2012-12-28 2015-07-14 Nvidia Corporation System, method, and computer program product for implementing a spatially varying unsharp mask noise reduction filter

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7236191B2 (en) * 2003-04-30 2007-06-26 Nokia Corporation Method and system for image processing with pixel interpolation using second order gradients
CN1735135A (zh) * 2004-08-12 2006-02-15 三星电子株式会社 分辨率转换设备和方法
CN101502097A (zh) * 2006-08-07 2009-08-05 高通股份有限公司 用于滤波图像信息的自适应空间图像滤波器
CN101849246A (zh) * 2007-09-19 2010-09-29 汤姆森特许公司 缩放图像的系统和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
STEFANO MARSI 等: "《VLSI IMPLEMENTATION OF A NONLINEAR IMAGE INTERPOLATION FILTER》", 《IEEE TRANSACTIONS ON CONSUMER ELECTRONICS》 *
刘峰: "《视频图像编码技术及国际标准》", 31 July 2005, 北京邮电大学出版社 *
谢伟: "《多帧影像超分辨率》", 31 January 2014, 武汉大学出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875340A (zh) * 2017-04-05 2017-06-20 上海矽奥微电子有限公司 基于方向差值的图像缩放方法
CN111279673A (zh) * 2017-08-21 2020-06-12 高途乐公司 具有电子卷帘快门校正的图像拼接
CN111279673B (zh) * 2017-08-21 2022-04-22 高途乐公司 具有电子卷帘快门校正的图像拼接的系统和方法
US11962736B2 (en) 2017-08-21 2024-04-16 Gopro, Inc. Image stitching with electronic rolling shutter correction
CN109919847A (zh) * 2017-12-13 2019-06-21 彩优微电子(昆山)有限公司 改善放大图像品质的方法

Also Published As

Publication number Publication date
CN105389776B (zh) 2019-05-03
US20160063676A1 (en) 2016-03-03
DE102015114651A1 (de) 2016-03-10
DE102015114651B4 (de) 2021-07-22
US9865035B2 (en) 2018-01-09
TW201624414A (zh) 2016-07-01

Similar Documents

Publication Publication Date Title
CN105389776A (zh) 图像缩放技术
Ma et al. An L 1-based variational model for Retinex theory and its application to medical images
KR101137753B1 (ko) 고속의 메모리 효율적인 변환 구현 방법
KR101845476B1 (ko) 영상 변환 장치 및 그 영상 변환 방법
US10198801B2 (en) Image enhancement using self-examples and external examples
US8837854B2 (en) Image processing method for boundary resolution enhancement
Birkholz A unifying approach to isotropic and anisotropic total variation denoising models
Kongskov et al. Directional total generalized variation regularization
CN111275626A (zh) 一种基于模糊度的视频去模糊方法、装置及设备
Zhang et al. A fractional diffusion-wave equation with non-local regularization for image denoising
CN102480626A (zh) 图像处理装置、显示装置以及图像处理方法
Kim et al. Fast 2D complex Gabor filter with kernel decomposition
Dubey Quaternion Fourier transform for colour images
CN111080655A (zh) 图像分割及其模型训练方法、装置、介质及电子设备
Kim et al. 2X super-resolution hardware using edge-orientation-based linear mapping for real-time 4K UHD 60 fps video applications
Pang et al. Image colorization using sparse representation
WO2014008329A1 (en) System and method to enhance and process a digital image
Jindal et al. A novel image zooming technique using wavelet coefficients
Sekar et al. An approach of image scaling using DWT and bicubic interpolation
Zhu et al. Super resolution reconstruction based on adaptive detail enhancement for ZY-3 satellite images
CN112819701B (zh) 一种图像去噪方法、系统及电子设备
Rodriguez et al. A generalized vector-valued total variation algorithm
Sakthivel et al. Computation-efficient image watermarking architecture with improved performance
CN103745443A (zh) 提高图像质量的方法和设备
US9619864B2 (en) Image processing apparatus and method for increasing sharpness of images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant