CN1886758A

CN1886758A - 按比例缩小数字矩阵图像的方法及装置

Info

Publication number: CN1886758A
Application number: CNA2004800355018A
Authority: CN
Inventors: O·卡莱沃; H·卡科里
Original assignee: Nokia Oyj
Current assignee: Nokia Technologies Oy
Priority date: 2003-12-03
Filing date: 2004-11-23
Publication date: 2006-12-27
Anticipated expiration: 2024-11-23
Also published as: CN100465994C; US20090016644A1; KR20080034524A; WO2005055139A8; KR100852752B1; WO2005055139A1; EP1690229B1; FI115587B; KR20060100458A; EP1690229A1; FI20035227A0

Abstract

本发明涉及采用所选比率R按比例缩小数字矩阵图像的方法及装置，其中矩阵图像包括大量线条，各线条包括大量像素，使得像素的强度值组成矩阵，以及其中通过缩放形成的输出矩阵像素对应于原始矩阵的小组，从其像素的强度值来为输出矩阵的各像素计算平均值。在该解决方案中，三个整数X、Y和Z以这样的方式来选择：缩放比率R近似地对应于式Y/(Z*X)，其中Y＜Z，以及缩放分两级执行，其中在第一级，矩阵采用比率1/X进行缩放，从而创建中间矩阵的像素，以及在第二级，中间矩阵的各像素采用比率Y/Z进行缩放。

Description

按比例缩小数字矩阵图像的方法及装置

本发明涉及采用所选比率按比例缩小数字矩阵图像的方法及装置，其中，矩阵图像包括大量线条，各线条包括大量像素，使得像素的强度值组成矩阵，以及通过缩放形成的输出矩阵像素对应于原始矩阵的小组，从其像素的强度值，对于输出矩阵的各像素以所选方式来计算平均值。

当使用数字照相机拍摄各个图像或视频图像时，使用照相机传感器。传感器的图像可采用各种图像格式，例如RGB8:8:8、RGB5:6:5、YUV4:2:0和原始拜耳图像。当图像在通常具有比图像传感器更低分辨率的取景器(VF)中显示时，图像必须在传感器中形成，并缩放到适合显示器的分辨率。图像还可被变焦(来自传感器的较小图像经过裁剪然后再缩放)到取景器。在变焦中，应当有许多阶段，使得变焦的结果看起来是连续的。当拍摄视频图像时，视频图像的分辨率通常低于传感器的分辨率。因此，在录像时还需要类似的缩放。照相机传感器还可如照相机中同样好地用于便携装置中。如果取景器图像在电话或照相机的显示器上实时运行，或者如果视频图像被实时拍摄，则需要图像缩放。

一些方法是已知的，在其中，采用照相机中的低质量算法(差图像质量)来缩放(二次抽样)图像。较差质量在一些DSC(DSC＝数码相机)的数字变焦模式中尤为可见。

美国公布6205245公开一种方法，在其中，彩色图像直接从传感器的矩阵被缩放，其方式是，定义始终同时处理的像素组，不同程度地对应于最终图像的各像素。

一般来说，图像矩阵M₁×N₁的缩放按如下方式缩放为更小的大小M₂×N₂。缩放比率M₂/M₁和N₂/N₁确定计算操作中的程序。如果缩放实时发生，即作为连续流，则无需为输入矩阵保留存储器，仅三条存储行就足够。考虑进入X行的数据。第一存储行在X方向上根据缩放定量合计该量，同时在Y行存储器中对各像素的值求和。如果缩放比率产生不是整数的像素数量，则极限处的像素的值被加权，并与两个相邻输入像素相加。同样，像素值根据缩放定量被计算到Y行存储器，以及在边界像素的情况中，它们被划分加权为两个部分。在为Y缩放定量设置的计数器表明Y行存储器已满时，它被向前清空，此后，从开头开始求和。

如果缩放比率小(接近零)，则需要若干存储行，但它们的尺寸小。另一方面，如果缩放比率大(接近一)，则仅需要少数存储行，但它们的尺寸大。因此，根据缩放比率，需要相当恒定的存储量，其量对于单色彩分量大约为3×M₁。在实际应用中，缩放所需的整个存储量对于单色彩分量小于4×M₁。

本发明意在通过使用分开的缩放比率和平滑变焦来改进取景器或显示图像的质量。另外，希望减少干扰等级。通过本发明，希望处理具有接近最佳质量的图像，同时将对于存储器和功耗的需求保持在经济水平。

根据本发明的方法及装置的表征特征在所附权利要求中阐述。本发明特别适合基于硬件(HW)的实现。缩放的质量接近最佳，以及干扰等级显著减小。

通过本发明，实现以下优点：

-允许高分辨率图像按比例缩小到显示器以及视频编码器。

-使所需存储量最小，而不管高质量按比例缩小。

高频混叠消除

-线条和边缘被正确表示(没有虚线或锯齿状边缘)

-清晰线条的闪烁和高对比度细节的模糊感觉被消除。

-输出图像的噪声等级被衰减。

图像还可在暗淡/夜间条件下捕捉。

-高质量图像的处理能力要求的最小化。

缩放的质量受到粗略和精细缩放比率的影响。如果已经在粗略缩放中求平均的像素与精细缩放界限不一致，则质量下降，在该情况下，它们包含来自输出像素外部的信息。

下面参照附图来分析本发明，附图表示本发明的一些实施例。

图1说明根据本发明的方法的原理中的解决方案，

图2a说明一种装置解决方案的框图，

图2b说明关于第二装置解决方案的框图，

图2c说明电路级的图2b的缩放解决方案，

图3说明5/8缩放的水平描绘，

图4a说明在设法使计算最少时、第一与第二级之间的总比率的划分的简图，

图4b说明在设法使所需存储量最小时、第一与第二级之间的总比率的划分的简图，

图4c说明在设法主要使图像质量优化、而且还使所需计算和存储量优化时、第一与第二级之间的总比率的划分的简图。

根据本发明的方法包括两个缩放级，见图1。第一粗略级是简单的，并且可仅包括比率1/X。下一级(精细)更灵活，并且可包括比率Y/Z，其中Y＜Z。X、Y和Z是整数。总缩放定量是两级中的缩放比率的结果。第一缩放比率越小(注意：1/3＜1/2)，在第二级将需要越小的存储器。第一级中较小的缩放定量还减少计算逻辑和计算的总数。第一级可以模拟或数字形式来表示。第二级定义存储要求。如果缩放定量不是直接为1/X，则通过在第二级中采用更小的比率来取得更好的图像质量，但这会需要更大的存储器。

本发明特别适合基于硬件的应用，它的一个实例是根据图2a的应用。照相机模块10连接到主机系统22，它控制显示装置24和照相机模块。照相机模块10具体包括光学器件即透镜装置11(实际上为若干透镜)、传感器12、图像处理电路14、缩放单元16和控制器20。图像处理电路14以已知方式读取传感器12，从而创建快速数据流，数据流被引导到缩放单元16，从其中，表示所选图像区域的已缩放数据流被引导到主机系统22。在缩放单元16中，数据流首先在粗略缩放器17中被处理，从其中，与中间图像相关的数据流被引导到精细缩放器18，它进行最终缩放。

在一个实施例中，输入和输出单元是分开的单元，由于大的数据流，各缩放器自己的CPU和存储区在相同芯片(未示出)上。

在图2b中，与图2a中相同的参考标号用于在功能上相似的组件。在该图的解决方案中，实际照相机模块稍微简单一些，因为精细缩放18已经移到主机系统22。照相机模块的缩放器16’仅包括粗略缩放器17。在这种情况下，存储要求是粗略缩放器(在照相机模块中)中的一行和精细缩放器(在主机模块中)中的三行的一半。对于传感器1152×864，存储器的一行表示C×1152个字，其中C为色彩分量的数量(一般为3-对于RGB或YUV图像)。字的长度取决于计算的精度，例如为2或4字节。

在一个(全数字实施例)中，电路级的缩放器的构造是按照图2c。粗略缩放器16’包括连接到内部总线165的输入单元161、CPU 162、存储器163、输出单元164和控制器167。它的输出单元164连接到精细缩放器18的输入单元181(在主机系统22中)。精细缩放器18的构造是类似的，其中包括连接到公共总线185的以下组件：CPU 182、存储器183、输出单元184和控制器187。

在这个实施例中，缩放采用整数来执行，它在芯片上实现比浮点计算简单得多。

图3说明第二缩放器3中的变量MAXSTEP和PIXELSTEP的重要性。该实例说明水平级，但是在两个方向上应用缩放。

输出像素的值可从中间图像的像素中按照如下方式计算(图3)：

A＝(P2(a)*a+P1(b)*b)/256

B＝(P2(b)*b+P(c)*c+P1(d)*d)/256

C＝(P2(d)*d+P1(e)*e)/256

D＝(P2(e)*e+P(f)*f+P1(g)*g)/256

E＝(P2(g)*g+P1(h)*h)/256

可对于缩放比率5/8定义PIXELSTEP值：

设置MAXSTEP＝256

Tmp2＝(MAXSTEP*5)/8＝160

PIXELSTEP＝floor(Tmp2)＝160

加权系数可按照如下方式来定义：

P1(a)＝0

P1(x)＝MAXSTEP-P2(x-1)

条件语句If(P1(x)＞PIXELSTEP then

P1(x+1)＝P1(x)-PIXELSTEP and P(x)＝PIXELSTEP

P2(x)＝PIXELSTEP-P1(x)

以及使得以上给出的实例的加权系数可被计算：

P1(a)＝0

P2(a)＝PIXELSTEP-P1(a)＝160-0＝160

P1(b)＝MAXSTEP-P2(a)＝256-160＝96＜＝160 96

P2(b)＝PIXELSTEP-P1(b)＝160-96＝64

P1(c)＝MAXSTEP-P2(b)＝256-64＝192＞160

P(c)＝PIXELSTEP＝160

P1(d)＝P1(c)-PIXEL STEP＝192-160＝32

P2(d)＝PTXELSTEP-P1(d)＝160-32＝128

P1(e)＝MAXSTEP-P2(d)＝256-128＝128＜＝160 128

P2(e)＝PIXELSTEP-P1(e)＝160-128＝32

P1(f)＝MAXSTEP-P2(e)＝256-32＝224＞160

P(f)＝PIXELSTEP＝160

P1(g)＝P1(f)-PIXELSTEP＝224-160＝64

P2(g)＝PIXELSTEP-P1(g)＝160-64＝96

P1(h)＝MAXSTEP-P2(g)＝256-96＝160＜＝160 160

注意！P2(h)＝PIXELSTEP-P1(h)＝160-160＝0

P1(i)＝MAXSTEP-P2(h)＝256-0＞160

P(i)＝160，P1(j)＝96

在图4a的情况中，采用其中X为整数的比率1/X，第一级尽可能地缩放图像。采用最小可能存储量和最少计算，第二级执行精细缩放。这意味着，第二缩放比率尽可能地大(在[1/2，1]之间)，因而需要存储器的三行。

采用最有利的整数来执行计算。在实例中，采用以下概念

-总缩放比率Y/(X*Z)-标己SCRatio

-总缩放比率的倒数1/SCRatio-标记IR

-函数Floor()-取整数部分(丢弃除法余数)

-函数MAX()-从列表中选择最大值

-函数Sqrt()-返回平方根

-函数2^()-返回二的幂

-对数函数Log2()和Log10()

-辅助变量AVESKIP和PIXELSTEP，它们如下定义：

AVESKIP：

IR＝MAX(Hin/Hout，Vin/Vout)，在其中，采用水平(H)和垂直(V)大小。

AVESKIP＝Floor(IR)

PIXELSTEP：

MAXSTEP＝256(或者在希望更精确的像素定位时为65536)

PIXELSTEP＝Floor((MAXSTEP*AVESKIP)/IR)

计算实例，缩放比率(SCRatio)0.182，即ITR＝5.5：

AVESKIP＝Floor(5，5)＝5

MAXSTEP＝256

PIXELSTEP＝Floor(256*5/5.5)＝232

在图4b的情况中，采用其中X为二的幂(2、4、8、16、64等)的比率1/X，第一级尽可能地缩放图像。采用尽可能小的存储器，第二级执行精细缩放。这意味着，缩放定量处于[1/2，1]之间，因而需要存储器的三行。

在下表中，图4b的缩放的各级表示为数值。这种缩放例如用于变焦，在其中，初始图像的分辨率为128×96。在该部分的大小中，图像更大，它缩放到这个大小。在表中，原始1兆像素图像1152×864采用比率0.111(1/8×128/144，索引64)来缩放。在图4b中，X轴上的索引值处于范围1-64，以及缩放比率在1.0-0.111之间。

X-大小	Y-大小	比率X	X	Y	Z	索引	X-大小	Y-大小	比率X	X	Y	Z	索引
X-大小	Y-大小	比率X	X	Y	Z	索引	X-大小	Y-大小	比率X	X	Y	Z	索引	128132137141146151157162168174180187193200208215222230237246256264274282292302314324336348360374	9699103106110114118122126131135140145150156161167173177184192198206212220228236244252262270280	1,0000,9700,9340,9080,8770,8480,8150,7900,7620,7360,7110,6840,6630,6400,6150,5950,5770,5570,5400,5200,5000,4850,4670,4540,4380,4240,4080,3950,3810,3680,3560,342	11111111111111111111222222222222	128128128128128128128128128128128128128128128128128128128128128128128128128128128128128128128128	128132137141146151157162168174180187193200208215222230237246128132137141146151157162168174180187	1234567891011121314151617181920212223242526272829303132	3864004164304444604744925125285485645846046286486726967207487728008328608889209489841024105611041152	290300312322334346354368384396412424440456472488504524540560580600624644668692708736768792832864	0,3320,3200,3080,2980,2880,2780,2700,2600,2500,2420,23402270219021202040198019001840,1780,1710,1660,1600,1540,1490,1440,1390,1350,1300,1250,1210,1160,111	22222222444444444444444444448888	128128128128128128128128128128128128128128128128128128128128128128128128128128128128128128128128	193200208215222230237246128132137141146151157162168174180187193200208215222230237246128132138144	3334353637383940414243444546474849505152535455565758596061626364

在这种情况中，计算也采用整数来执行，使得在该实例中(图3)，采用下面定义的辅助变量MAXSTEP、AVESKIP和PIXELSTEP：

AVESKIP：

总缩放比率的倒数IR＝MAX(Hin/Hout，Vin/Vout)，在其中，采用水平(H)和垂直(V)大小。

SKIP＝Floor(Log2(IR))

AVESKIP＝2^SKIP

PIXELSTEP：

MAXSTEP＝256(或者在希望更精确的像素定位时为65536)

PIXELSTEP＝Floor((MAXSTEP*AVESKIP)/IR)

计算实例，ITR＝5.5：

SKIP＝Floor(LOG2(ITR))＝Floor(2.46)＝2

AVESKIP＝2^2＝4

PIXELSTEP＝Floor(256*4/5.5)＝186

在图4c的情况中，设法将第一和第二级缩放比率设置为相等，在这种情况中，1/X近似为Y/Z。存储器和处理要求则是适当的，以及图像质量接近最佳。

整数计算辅助变量AVESKIP和PIXELSTEP如下定义：

AVESKIP：

AVESKIP＝Floor(Sqrt(IR))

PIXELSTEP：

MAXSTEP＝256(或者在希望更精确的像素定位时为65536)

PIXELSTEP＝Floor((MAXSTEP*AVESKIP)/IR)

计算实例3，ITR＝5.5：

AVESKIP＝Floor(Sqrt(5.5))＝2

MAXSTEP＝256

PIXELSTEP＝Floor(256*2/5.5)＝93

如果总缩放比率为1/X，AVESKIP＝X，则第二级被绕过。

在大多数应用中，采用适当的处理器单元直接对传感器电路进行缩放。与最佳缩放方法相比，采用以上公开的缩放方法，这种电路(ASIC)的硅面积可减小到可用等级。借助于本发明，能够使芯片上的行存储量最少。这是因为硅面积确定芯片的成本，并且是便携照相机解决方案中的中心成本因素。本发明允许比先前更小的照相机以及增加的动态范围。编码图像大小对于相同质量参数来说更小，以及适用于分开的图像以及视频图像。

以上实例主要用于硬件实现的照相机传感器，但是，本发明也可在传感器之外应用，例如通过PC中的软件。照相机传感器不仅适合用于实际的照相机，而且适合用于移动电话(一般在移动台中)。

Claims

1.一种采用所选比率R按比例缩小数字矩阵图像的方法，其中所述矩阵图像包括大量线条，各线条包括大量像素，使得所述像素的强度值组成所述矩阵，以及其中通过缩放形成的输出矩阵像素对应于所述原始矩阵的小组，从其像素的强度值来为所述输出矩阵的各像素计算平均值，

其特征在于，三个整数X、Y和Z以这样的方式来选择：

-所述缩放比率R近似地对应于式Y/(Z*X)，其中Y＜Z，以及

-分两级执行缩放，其中

-在第一级，所述矩阵采用比率1/X进行缩放，从而创建中间矩阵的像素，在第二级，所述中间矩阵的各像素采用比率Y/Z进行缩放。

2.如权利要求1所述的方法，其特征在于，在第一缩放之后，对于为所述中间矩阵计算的像素组执行第二缩放，而无需完成所述整个中间矩阵的计算。

3.如权利要求1或2所述的方法，其特征在于，为了使计算过程最小化，根据为Y和Z选择的整数最大值以及所选的总比率R，在第一缩放中，所述整数X被选择为尽可能大。

4.如权利要求1或2所述的方法，其特征在于，为了使第二缩放中所需的存储量最小化，在第一缩放中，所述整数X被选择为尽可能大的二的幂。

5.如权利要求1或2所述的方法，其特征在于，为了使图像质量最优化，所述整数X、Y和Z以这样的方式来设置：1/X近似为Y/Z。

6.一种用于按照所选比率R按比例缩小数字矩阵图像的装置，其中所述装置包括用于记录要缩放的矩阵图像的第一存储区、用于处理的第二存储区、用于输出图像矩阵的第三存储区、用于执行处理的中央单元(CPU)，其中所述矩阵图像包括大量线条，各线条包括大量像素，使得所述像素的强度值组成所述矩阵，以及其中通过缩放形成的输出矩阵的像素对应于所述原始矩阵的小组，从其像素的强度值来为所述输出矩阵的各像素计算平均值，其特征在于，所述装置设置成分两级处理所述矩阵图像，在其第一级，所述矩阵采用比率1/X进行缩放，从而为所述第二存储区创建中间矩阵的像素，以及在第二级，所述中间矩阵的各像素采用比率Y/Z进行缩放，以及所述整数X、Y和Z满足以下条件：

-所述缩放比率R近似地对应于式Y/(Z*X)，以及

-Y＜Z。

7.如权利要求6所述的装置，其特征在于，所述装置结合照相机的图像传感器来集成。

8.如权利要求7所述并结合了主机系统的装置，其特征在于，粗略缩放器结合照相机的图像传感器来集成，以及精细缩放器集成在所述主机系统中。

9.如权利要求6或7所述的装置，其特征在于，所述装置包括缩放器单元，其中存在用于所述粗略缩放器和精细缩放器的分开的处理器(CPU)。

10.如权利要求6-9中的任一项所述的装置，其特征在于，所述装置包括用于各色彩分量的最多4个图像传感器行的缩放功能的存储器。

11.如权利要求6-10中的任一项所述的装置，其特征在于，所述装置安装在移动台上。