CN101061502A - 2－维图像的放大和收缩 - Google Patents

Abstract

在一个实施例中，提供一种嵌入式装置，其包括所关注区域定义机构，以在图像内定义所关注区域(ROI)。所述嵌入式装置的变换机构对所述所关注区域应用非线性放大或收缩变换，以使所述所关注区域内的放大或收缩从所述所关注区域的焦点处的较大程度变化至所述所关注区域的外边界处的较小程度。

Description

2-维图像的放大和收缩

版权通告

本专利文件包含受到版权保护的信息。版权所有者不反对任何人对本专利文件或专利进行复制，因为其出现在美国专利和商标局的档案或记录中，但是在其他方面保留所有任何版权。

相关申请案交叉引用

本申请案主张优先于2004年9月28日提交的第60/614,214号美国临时申请案。

技术领域

背景技术

概括地说，本发明涉及数字图像操纵，且更具体而言，涉及数字图像放大和收缩。

数字图像操纵描述可对数字图像执行的多种不同类型的更改和变换。图像操纵操作的实例包括旋转、放大、收缩、扭曲、边缘检测、和过滤。

在某些应用中，诸如放大和收缩等操作可帮助用户观看或欣赏图像中的微小细节。旋转可帮助用户从某一角度理解图像，或可针对具体的用途对图像进行定向。在其他应用中，可出于娱乐的目的而执行数字图像操纵，例如，收缩或放大图像的一部分，以改变照片中的面部表情。数字图像操纵技术也用于工业中包括模式识别、特征提取(例如在视频监视和人体运动分析中)、图像复原、图像增强、计算机动画序列的扭曲/变形、和生物医学图像处理在内的应用中。

可在市场上购得照片编辑软件形式的多种数字图像操纵技术。诸如数字照相机和移动电话等嵌入式装置也具有数字图像操纵功能。

发明内容

根据本揭示内容的一个实施例或一个方面，提供一种嵌入式装置，其包括所关注区域定义机构，以在图像内定义所关注区域(ROI)。所述嵌入式装置的变换机构对所述所关注区域应用非线性放大或收缩变换，以使得所述所关注区域内的放大或收缩从所关注区域的焦点处的较大程度变化至所关注区域的外边界处的较小程度。

附图说明

将参照以下图式对各实施例进行描述，在所有图式中，相同的数字表示相同的项，且其中：

图1为能够对图像执行变换的实例性嵌入式装置的方块图；

图2为图像的示意性图解说明，所述图像具有经标识的用于进行变换的所关注区域；

图3为使用所图解说明的方法进行变换之前的原始大小520×390像素图像；

图4-16图解说明根据所图解说明的实施例使用各种不同的变换参数对图3中的图像进行变换；

图17-22图解说明使用现有技术的图像变换方法对图3中的图像进行变换；

图23为实例性嵌入式装置的方块图，该实例性嵌入式装置具有能够对图像执行变换的整数微处理器；

图24为实例性嵌入式装置的方块图，该实例性嵌入式装置具有能够对图像执行变换的浮点微处理器；

图25为说明在所述变换方法的实施方案中所涉及的任务的示意性流程图；

图26为带有数字照相机的移动电话的图解说明，其图解说明所述变换方法在便携式装置上的使用；

图27为在使用根据所图解说明的实施例的变换方法之前呈原始大小520×390像素的面部图像；且

图28和图29图解说明通过所述变换方法使用各种不同的参数对图27的图像进行变换。

具体实施方式

图1为实例性嵌入式装置10的方块图，在所图解说明的实施例中，嵌入式装置10包括无线移动通信装置。所图解说明的嵌入式装置10包括：系统总线14，通过系统总线14连接至嵌入式装置10的其它部分且可由嵌入式装置10的其它部分访问的装置存储器16(其在所图解说明的装置10中为主存储器)，以及连接至系统总线14的硬件实体18。至少某些硬件实体18执行涉及对主存储器16的访问及使用的操作。硬件实体18可包括微处理器、ASIC、和其它硬件。

图形实体20连接至系统总线14。图形实体20可包括更大集成系统(例如，单芯片系统(SoC))的核心或一部分，或者其可包括诸如图形加速器等图形芯片。在所图解说明的实施例中，图形实体20包括图形流水线(未显示)、图形时钟23、缓冲器22、和用于使图形实体20介接系统总线14的总线接口19。

缓冲器22保持图形实体20在逐像素处理中使用的数据。缓冲器22提供对来自主存储器16内的缓冲器(未显示)的诸如像素信息等与像素有关的数据的本地存储。

在所图解说明的实施例中，图形实体20能够对图像的某些部分执行局部图像变换。为此，图形实体20包括：所关注区域定义机构24，以显示并允许用户在图像内选择待变换的所关注区域；以及变换装置26，以执行图像变换。如图所示，所关注区域定义机构24耦接至嵌入式装置10的用户接口28。在下文中将更详细地描述可由嵌入式装置10执行的图像变换。由嵌入式装置10进行操作的图像可存储于嵌入式装置10的主存储器16、嵌入式装置的缓冲器22、或另一个可与所述嵌入式装置交互操作的机器可读媒体上。另外，尽管在所图解说明的实施例中图形实体20执行变换功能，但是在其他实施例中，这些功能可由其它硬件18执行。

图2为图像50的示意性图解说明。图像50具有宽度W和高度H。在所图解说明的实施例中，宽度W和高度H以像素为单位表示，尽管也可使用其他度量单位。在图2中，图像50的高度H沿y-轴52延伸，且图像的宽度W沿x-轴54延伸。在图2中，图像50的宽度座标从0延伸到W-1，且高度座标从0延伸到H-1，如图所示。

图像50最初可通过多种方式形成，包括数字摄影、胶片摄影并随后进行数字化、从非摄影源进行数字化、以及纯数字插图/渲染。在下文中将更详细地描述此处所提供的图像变换方法在特定图像类型和特定平台或计算系统上的特定实施方案。

在本文中所图解说明的变换方法提供对图像的局部变换。如在图2中所示，可使用所定义的所关注区域56—例如(举例而言)半径为R、中心位于(x₀，y₀)处的圆形区域—来使所述变换局部化。更具体而言，可通过将所述变换限定至所关注区域56内的区来使所述变换局部化。圆形区域56的中心座标(x₀，y₀)可任意选择，且整个圆不必一定位于所述图像的边界以内。尽管将所关注区域56图解说明为圆，但其不必一定为圆，且可改变形状和尺寸。在下文中将更详细地描述其它形状的所关注区域。

大多数图像变换可描述为由数学方程组表示的数学变换函数集；这些方程描述对图像执行的运算，与在上面实施变换的特定平台无关。以下以方程式(1)和(2)的形式给出在所图解说明的实施例中描述透视变换函数的一个实例集的数学方程。对于图像50中的每个像素：

在(x_in-x_o)²+(y_in-y_o)²≤R²时， $x_{\mathrm{out}}=x_o+(x_{\mathrm{in}}-x_o)\·a^{{[1-\frac{{(x_{\mathrm{in}}-x_o)}^2+{(y_{\mathrm{in}}-y_o)}^2}{R^2}]}^k},$ 在其他条件下，x_out＝x_in                                               (1)

在(x_in-x_o)²+(y_in-y_o)²≤R²时， $y_{\mathrm{out}}=y_o+(y_{\mathrm{in}}-y_o)\·a^{{[1-\frac{{(x_{\mathrm{in}}-x_o)}^2+{(y_{\mathrm{in}}-y_o)}^2}{R^2}]}^k},$ 在其他条件下，y_out＝y_in                                               (2)

在方程式(1)和(2)中，(x_in，y_in)为输入像素位置，(x_out，y_out)为输出像素位置，且参数a和k控制变形(即放大或收缩)的类型及放大或收缩的程度。参数a可取0和无穷大之间的值；参数k可取负无穷大和无穷大之间的值。(在下文中将参照某些实例更详细地描述改变参数a和k的影响。)如方程式(1)和(2)所表明，对位于所关注区域56(在该实施例中为圆形)内的像素进行变换，而对于所有其他像素，则输出与输入相同。

如在方程式(1)和(2)中所示，参数a对于变形的大小和类型两者都有影响。虽然在某些情况下可直接应用方程式(1)和(2)，但是将参数a对大小的影响与参数a对变形类型的影响分开会有所帮助。这可通过将参数a的允许值限制为1和无穷大之间的值并引入单独的二元参数m来实现，所述二元参数m决定所述变形是放大(m＝0)还是收缩(m＝1)。方程式(3)和(4)举例说明所述二元参数m的使用：

在(x_in-x_o)²+(y_in-y_o)²≤R²时， $x_{\mathrm{out}}=x_o+(x_{\mathrm{in}}-x_o)\·a^{{(-1)}^m\·{[1-\frac{{(x_{\mathrm{in}}-x_o)}^2+{(y_{\mathrm{in}}-y_o)}^2}{R^2}]}^k},$ 在其他条件下，x_out＝x_in                                         (3)

在(x_in-x_o)²+(y_in-y_o)²≤R²时， $y_{\mathrm{out}}=y_o+(y_{\mathrm{in}}-y_o)\·a^{{(-1)}^m\·{[1-\frac{{(x_{\mathrm{in}}-x_o)}^2+{(y_{\mathrm{in}}-y_o)}^2}{R^2}]}^k},$ 在其他条件下，y_out＝y_in                                         (4)

考虑到以下数学恒等式，方程式(3)和(4)实际上与方程式(1)和(2)完全相同：

$a^{-{[1-\frac{{(x_{\mathrm{in}}-x_o)}^2+{(y_{\mathrm{in}}-y_o)}^2}{R^2}]}^k}={\left(\frac{1}{a}\right)}^{{[1-\frac{{(x_{\mathrm{in}}-x_o)}^2+{(y_{\mathrm{in}}-y_o)}^2}{R^2}]}^k}---\left(5\right)$

如果a在1≤a≤∞的范围内变化，则 $\frac{1}{a}=a^{-1}$ 在 $0<\frac{1}{a}<1$ 的范围内变化。因此，如果在方程式(3)和(4)中将a限制在1≤a≤∞的范围内，且通过设定m＝1来使用负指数，则其等效于在原始变换函数中使a在0＜a＜1的范围内变化。或者，在方程式(3)和(4)中设定m＝0以获得正指数等效于在原始变换函数中使a在1≤a≤∞的范围内变化。通过调节m的值，新变换函数覆盖与原始变换函数相同的a范围。

方程式(1)-(4)在水平和垂直两个方向上执行所述变换，而无论其参数如何。在一替代实施例中，只能在一个方向上应用所述变换。在此种情况下，用于沿水平方向进行1-维变换的变换函数的实例集为：

在|x_in-x_o|≤d时， $x_{\mathrm{out}}=x_o+(x_{\mathrm{in}}-x_o)\&CenterDot;a^{{(-1)}^m\&CenterDot;{[1-\frac{{(x_{\mathrm{in}}-x_o)}^2}{d^2}]}^k},$ 在其他条件下，x_out＝x_in                                          (6)

y_out＝y_in                                                    (7)

且用于沿竖直方向进行1-维变换的变换函数的实例集为：

x_out＝x_in                                                    (8)

在|y_in-y_o|≤d时， $y_{\mathrm{out}}=y_o+(y_{\mathrm{in}}-y_o)\&CenterDot;a^{{(-1)}^m\&CenterDot;{[1-\frac{{(y_{\mathrm{in}}-y_o)}^2}{d^2}]}^k},$ 在其他条件下，y_out＝y_in                                          (9)

其中d为所关注区域的宽度或高度的一半。通过以下两个实例，可更好地理解变换方程式(3)和(4)和参数a、k、和m的值的影响。

实例1：a＝2，k＝1，m＝0

当如上所示设定方程式(3)和(4)中的三个参数时，方程式(3)和(4)简化为：

在(x_in-x_o)²+(y_in-y_o)²≤R²时， $x_{\mathrm{out}}=x_o+(x_{\mathrm{in}}-x_o)\&CenterDot;2^{[1-\frac{{(x_{\mathrm{in}}-x_o)}^2+{(y_{\mathrm{in}}-y_o)}^2}{R^2}]},$ 在其他条件下，x_out＝x_in                                           (10)

在(x_in-x_o)²+(y_in-y_o)²≤R²时， $y_{\mathrm{out}}=y_o+(y_{\mathrm{in}}-y_o)\&CenterDot;2^{-[1-\frac{{(x_{\mathrm{in}}-x_o)}^2+{(y_{\mathrm{in}}-y_o)}^2}{R^2}]},$ 在其他条件下，y_out＝y_in                                           (11)

方程式(10)和(11)产生经放大的最大放大倍数为2的图像。在所关注区域56的中心处，(xi_n，yi_n)＝(x_o，y_o)，指数项等于2；因此，将所述中心放大2倍。但是，在所关注区域56的边缘处，(x_in-x_o)²+(y_in-y_o)²＝R²指数项等于1；因此，不对沿边缘的像素进行放大。方程式(10)和(11)的整体效果是在所关注区域56的中心处提供放大倍数2，随着与所关注区域56的中心的距离增大，该放大倍数逐渐减小。

图3是RGB格式的图像，其具有520×390的原始图像大小。图4是经变换的图3的图像，其图解说明使用实例1的参数在放大半径为100个像素的情况下应用方程式(10)和(11)。

实例2：a＝2，k＝1，m＝1

当如上所示设定方程式(3)和(4)中的三个参数时，方程式(3)和(4)简化为：

在(x_in-x_o)²+(y_in-y_o)²≤R²时， $x_{\mathrm{out}}=x_o+(x_{\mathrm{in}}-x_o)\&CenterDot;2^{-[1-\frac{{(x_{\mathrm{in}}-x_o)}^2+{(y_{\mathrm{in}}-y_o)}^2}{R^2}]},$ 在其他条件下，x_out＝x_in                                        (12)

在(x_in-x_o)²+(y_in-y_o)²≤R²时， $y_{\mathrm{out}}=y_o+(y_{\mathrm{in}}-y_o)\&CenterDot;2^{-[1-\frac{{(x_{\mathrm{in}}-x_o)}^2+{(y_{\mathrm{in}}-y_o)}^2}{R^2}]},$ 在其他条件下，y_out＝x_in                                        (13)

方程式(12)和(13)产生经局部收缩的最大收缩倍数为2的图像。在所关注区域56的中心处，指数项等于1/2；因此，将所述中心收缩为原来的1/2。在所关注区域56的边缘处，指数项等于1；因此，不对位于所关注区域56的边缘处的像素进行收缩。方程式(12)和(13)的整体效果是在所关注区域56的中心处提供收缩倍数2，随着与所关注区域56的中心的距离增大，该收缩倍数逐渐减小。图12图解说明使用这些参数对图像进行变换。

下表1显示几个附加实例的结果，其举例说明方程式(3)和(4)的参数a，k，和m的使用和选择。以下所显示的所有实例均使用最近近邻像素复制，尽管可使用诸如内插等其他方法在经放大的图像中填充像素。在以下所示的实例中，图像的大小及所关注区域的半径和位置与在实例1和实例2中的相同。在表1中，某些实例为其他实例的重复，但是为便于参照，仍然显示了这些实例。

                                    表1：实例

实例编号	a	k	m	结果图
					1	2	1	0	图4
2	2	1	1	图12
					3	1.5	1	0	图5
4	3	1	0	图6
					5	2	1.5	0	图7
6	2	2	0	图8
					7	2	3	0	图9
8	1	1	1	图10(与未经变换的图3的图像相同)
					9	1.5	1	1	图11
10(与实例2相同)	2	1	1	图12
					11	3	1	1	图13
12	2	1.5	1	图14
					13	2	2	1	图15
14	2	3	1	图16

大体而言，以上显示的实例表明，在保持a和m的值不变的情况下，随着参数k的值增大，放大或收缩程度最大的点和放大或收缩程度最小的点之间的过渡变得更平滑，且更缓和。因此，可将参数k解释为决定介于图像的最大变形程度区域和最小变形程度区域之间的过渡区域的大小和变形程度。

以上显示的实例还表明，在保持k和m的值不变的情况下，随着参数a的值增大，最大放大或收缩倍数增大。

表1显示了改变参数a，k，和m对经变换的图像的影响。但是，存在两种其中输出图像与输入图像相同的情况。第一种情况是当a＝1，k＝1，且m＝0时。第二种情况是当a＝1，k＝1，且m＝1时。

除上述实例外，使用图像编辑程序ADOBE PHOTOSHOP及其SPHERIZE和PINCH操作准备了某些对照性实例。使用传统软件可近似表示六种情形。这些实例显示于表2中。

                             表2：对照实例

对照实例编号	PHOTOSHOP操作	图式	与以下实例对照
				C1	球形化100％，然后75％	图17	实例1(a＝2，k＝1，m＝0)
C2	球形化100％，然后38％	图18	实例5(a＝2，k＝1.5，m＝0)
				C3	球形化90％	图19	实例3(a＝1.5，k＝1，m＝0)
C4	收缩90％	图20	实例10(a＝2，k＝1，m＝1)
				C5	收缩70％	图21	实例12(a＝2，k＝1.5，m＝1)
C6	收缩50％	图22	实例9(a＝1.5，k＝1，m＝1)

所述6个对照实例中的两个实例C1和C2需要两个PHOTOSHOP^操作，以产生对比效果。(由所述图式可看出，尽管相当，但是由PHOTOSHOP^软件产生的效果并不完全相同。)因此，这些变换方法的一个优点是，产生所需的效果可需要的变换操作变少。所述变换方法还看起来在所述变换区域的中心处提供略大程度的放大和收缩。

在以上实例中-这些实例都使用方程式(3)和(4)，在上面执行变换的区是圆形的。但是，所述变换的区不必一定为圆形，且可根据应用加以选择，只要所述变换所使用的方程式适当即可。举例而言，以下的方程式(14)和(15)提供在椭圆形区内的变换。在方程式(14)和(15)中，两个附加参数b和c描述所述椭圆的长轴和短轴，即其宽度和高度。(但是，参数b和c本身不等于所述椭圆的长轴和短轴。长轴等于2bR且短轴等于2cR。)

在b(x_in-x_o)²+c(y_in-y_o)²≤R²时， $x_{\mathrm{out}}=x_o+(x_{\mathrm{in}}-x_o)\&CenterDot;a^{{(-1)}^m\&CenterDot;{[1-\frac{b{(x_{\mathrm{in}}-x_o)}^2+c{(y_{\mathrm{in}}-y_o)}^2}{R^2}]}^k},$ 在其他条件下，x_out＝x_in                                              (14)

在b(x_in-x_o)²+c(y_in-y_o)²≤R²时， $y_{\mathrm{out}}=y_o+(y_{\mathrm{in}}-y_o)\&CenterDot;a^{{(-1)}^m{\&CenterDot;[1-\frac{b{(x_{\mathrm{in}}-x_o)}^2+c{(y_{\mathrm{in}}-y_o)}^2}{R^2}]}^k},$ 在其他条件下，y_out＝y_in                                              (15)

在变换区或所关注区域不是具有易于定位的中心的几何形状的实施例中，可选择任意焦点。即使在所关注区域56具有易于定位的几何中心的情况下，也可选择不同(非共同定位)的焦点。

可将所图解说明的变换方法实施为在诸如整数微处理器等具有有限能力的计算系统上运行。整数微处理器通常用于诸如移动电话、带有数字照相机的移动电话、及其他便携式计算装置等移动装置上。尽管整数微处理器通常包括浮点(即小数)数学仿真器，但是使用仿真器可能更耗费时间且计算成本更高。所述变换可使用整数算术来实施。

当在整数微处理器上实施诸如方程式(3)和(4)等变换方程式时，会出现两个要考虑的因素：使用唯整数算术计算这些方程中的幂函数，以及运算的次序以避免整数溢出(即计算出的数字超出微处理器所能处理的最大整数的情况)。

图23为适于使用整数算术来执行上述变换的实例性嵌入式装置60的方块图。嵌入式装置60包括连接至系统总线14的主存储器16、由接口19连接至系统总线14的图形实体66、以及连接至系统总线14的整数微处理器61。嵌入式装置60还包括连接至微处理器的变换运算协调器62。整数运算协调器64包含在变换运算协调器62中。

变换运算协调器62以一种与微处理器61兼容的方式计算方程式(3)和(4)中的幂函数，且执行其他变换运算。整数运算协调器64确保所有必要的计算均是使用整数算术以一种会避免整数溢出的计算次序在整数微处理器61内执行。(在下文中将更详细地描述组件62、64二者的功能以及所执行的计算)。诸如装置60等嵌入式装置的一个优点是没有使用浮点仿真器，这使得整数微处理器61上的变换更高效。变换运算协调器62和整数运算协调器64可通过硬件、软件、硬件和软件的某种组合、或任何其他与微处理器61兼容的方式实施。

尽管在图23中图解说明图形实体66，但在嵌入式装置60中不必一定包括图形实体66。

在所图解说明的实施例中，为了计算方程式(3)和(4)中的幂函数，使用所述函数的泰勒级数展开。对于任意的幂函数，泰勒级数展开由方程式(16)给出：

$a^n=1+\left(\ln a\right)n+\frac{{\left(\ln a\right)}^2}{2!}{n}^2+\frac{{\left(\ln a\right)}^3}{3!}{n}^3+\&CenterDot;\&CenterDot;\&CenterDot;+\frac{{\left(\ln a\right)}^k}{k!}{n}^k+\&CenterDot;\&CenterDot;\&CenterDot;---\left(16\right)$

如在任何泰勒级数的使用中一样，相加的项越多，逼近变得越精确。然而，所使用的泰勒级数的项越多，过程的计算成本变得越高。另外，泰勒级数的后续项使最终结果所增加的精度量越来越小。因此，用于计算幂函数的泰勒级数项的数量将取决于所需的精度以及所具备的计算能力。在一个将在下文中所更详细描述的实施方案中发现，泰勒级数的前四个项会提供足够的精度，且不需要过分的计算能力。使用该级数的前四个项，在a＝2的情况下，以上方程式(16)简化为方程式(17)：

$2^n\&cong;1+\left(\ln 2\right)n+\frac{{\left(\ln 2\right)}^2}{2!}{n}^2+\frac{{\left(\ln 2\right)}^3}{3!}{n}^3---\left(17\right)$

尽管方程式(17)不严格包含整数项，然而为了便于执行计算，可将非整数项转换为整数。例如，可将2的自然对数乘以2²³(即向左移23位)，由此得到整数5767168。随后可将计算的结果移回(即除以2²³)，以消除乘数的影响。通常，使用较大的2的因数，以通过保留多个有效位来保持精度；如果需要较低的精度，可使用较小的因数。另外，尽管在将浮点数转换成整数时可使用任意的大整数因数，但是在所图解说明的实施例中使用2的因数，以便可将相对慢的乘法运算替换为相对快的位移运算。

在a＝2，k＝1，且m＝0的情况下，使用方程式(17)的四项泰勒级数展开和整数转换乘数2²³进行放大运算的用于32-位整数微处理器的实施方案代码的实例如下所示：

int32 r，xo，yo，xin，xout，yin，yout，rSq，k1，k2，xy，factor；

      rSq＝r*r；

      k1＝5767168/r；

      k2＝2048/r；

      xy＝(xin-xo)*(xin-xo)+(yin-yo)*(yin-yo)；

      factor＝8388608+(5767168-(xy*k1)/r)+

              (2048-(xy*k2)/r)*(1024-((xy*k2)＞＞1)/r)

+

              (128-(xy*128)/rSq)*(64-(xy*64)/rSq)*

              (64-(xy*64)/rSq)；

      xout＝xo+((factor*(xin-xo))＞＞23)；

      yout＝yo+((factor*(yin-yo))＞＞23)；

在以上代码片段中，8388608为1×2²³，且对运算进行排序，以避免32位微处理器上的整数溢出。将泰勒级数的值计为乘法因数，将其乘以输入像素和变换区域的中心二者的位置之间的差，并加到变换区域的中心的位置上。最后的位移运算消除了乘数2²³的影响。对所关注区域内的每个输入像素执行这些运算。

通常，放大和收缩变换之间的差别在于某些运算的符号(即+与-)。在a＝2，k＝1，且m＝1的情况下，用于收缩运算的代码如下所示：

      rSq＝r*r；

      k1＝5767168/r；

      k2＝2048/r；

      xy＝(xin-xo)*(xin-xo)+(yin-yo)*(yin-yo)；

      factor＝8388608-(5767168-(xy*k1)/r)+

              (2048-(xy*k2)/r)*(1024-((xy*k2)＞＞1)/r)

-

              (128-(xy*128)/rSq)*(64-(xy*64)/rSq)*

              (64-(xy*64)/rSq)；

      xout＝xo+((factor*(xin-xo))＞＞23)；

      yout＝yo+((factor*(yin-yo))＞＞23)；

已发现，上述代码片段在ARM926EJ-S 32-位整数微处理器上提供实时结果。尽管所描述的该实施例用C进行编码且在32-位微处理器上实施，然而其他实施例也可用包括C、C++、Java、J++在内的任何编程语言进行编码，且汇编程序可在包括64-位微处理器和128-位微处理器在内的具有任何能力的微处理器上实施，且可使用参数a、k、和m的任何值。该实施方案不需要使用唯整数算术，且不需要为避免溢出而进行排序。如果这些方法在整数微处理器上实施，则可在具有数字照相机的移动电话或其它便携式电子装置上提供其作为图像处理功能。还应了解，这些方法可用软件、硬件、或任何软件和硬件的组合的方式在微处理器、ASIC、或任何其他具有足够的计算能力来实施这些方法的平台上实施。

图24为实例性嵌入式装置70的方块图，嵌入式装置70适于使用浮点算术来执行上述变换。嵌入式装置70的组件总体上类似于嵌入式装置60的组件，且因此以上描述对于相同的元件将仍然适用。与嵌入式装置60不同，嵌入式装置70包含浮点微处理器72。嵌入式装置70也包含耦接至浮点微处理器72的变换运算协调器74，但是变换运算协调器74没有整数运算协调器。在嵌入式装置70中使用浮点数执行计算，从而省却(例如)将方程式(3)和(4)的项转换为整数的任务。尽管所图解说明的变换方法的唯整数实施方案如果在嵌入式装置70上执行将会正确运行，但是较佳使用微处理器72的浮点能力。

图25是一更具一般性的流程图，其图解说明用于对图像应用局部放大或收缩的方法100。方法100可在任何能够执行所必需的计算的平台上实施。

方法100开始于S102处的输入图像处理，且控制传递至S104。在S104中，选择输入图像中的所关注区域。通常用几何形状(例如以上所述的圆或椭圆)来定义所关注区域，尽管如果对变换计算进行适当的修改，可使用任意几何区域。在S104中，用户将选择所关注区域的中心和半径或其他尺寸。在选定所关注区域后，方法100继续执行S106，在S106中，选中所述输入图像的一像素。在S106之后，方法100继续执行决策任务S108，在决策任务S108中，判定所选的像素是否位于所关注区域中。如果所选的像素位于所关注区域中(S108：是)，则在S114处通过执行上述操作中的一项或多项对该像素进行变换，且产生输出图像的结果输出像素。如果所选的像素不位于所关注区域中(S108：否)，则方法100的控制传递至S110，在S110中判定在输入图像中是否剩余有其他像素。如果在图像中剩余有其他像素(S110：是)，则方法100的控制返回至S106。如果在图像中没有剩余其他像素(S110：否)，则控制传递至S112。在S112中，可执行输出图像中缺失像素的任何内插或复制，这是建立完整的经变换输出图像所必需的。(在最简单的情况下，可通过最近的近邻复制来执行任何必需的像素复制。)也可在S112处执行为形成完整的、可观看的图像所需的任何其他任务，包括写入输出图像文件的标题信息。一旦S112完成，方法100便结束且在S116处返回。

在上文的某些描述中，已假定待变换的图像是RGB(红-绿-蓝)格式，在RGB格式中，每个图像像素具有该像素的红色含量的值、绿色含量的值、以及蓝色含量的值。不过，所图解说明的变换方法可直接用于其它图像格式上，而无需首先转换为RGB。这一点是有利的，因为尽管RGB-格式图像相对易于变换，但是其更难于压缩，且通常耗费更多的存储空间。

其他两种通用的图像格式是YCbCr和YCrCb。尽管在RGB图像中以每个像素的红色、绿色和蓝色值的形式存储数据，但YCbCr和YCrCb格式却通过记录每个像素的亮度(Y)和色度(Cb，Cr)值来存储图像数据。YCbCr和YCrCb格式之所以受欢迎，是因为在通用的JPEG图片文件格式中使用这些格式。

如果图像变换在诸如数字照相机等便携式装置上实施，则对RGB、YCbCr、和YCrCb图像进行操作的能力将比较有利，因为在数字照相机中会使用全部三种格式。这归因于数字图像的建立和处理方式。

例如，多数数字照相机图像传感器是由只对红色、绿色、或蓝色光中的一者而不是对所有三种颜色的光敏感的各单独传感器单元构成的。因此，各个单元通常是以一种称为拜尔(Bayer)图案的图案进行部署，在拜尔图案中，对绿色敏感的单元分散在对红色和蓝色敏感的单元之间且与对红色和蓝色敏感的单元交错。在消费品中，绿色单元通常占主导地位，因为人的视觉系统对绿色更敏感，且包含更多的绿色单元往往会提高所感觉到的图像品质。在一种典型的拜尔图案中，一由16个传感器单元形成的阵列可包括大致以棋盘图案排列的8个绿色单元、4个红色单元、和4个蓝色单元。如果图像是通过使用呈拜尔图案形式的单色单元的数字装置拍摄的，则通常对原始图像进行内插，以使每个像素具有红色值、绿色值、和蓝色值，且至少在一中间处理阶段中存储为RGB图像。可进一步将所述图像转化为YCbCr或YCrCb，以进行压缩和存储。

尽管通过应用上述变换可直接对YCbCr和YCrCb格式的图像进行处理，但是在某些情况下可对(例如)二次抽样的YCbCr和YCrCb图像执行附加任务。在二次抽样的图像中，某些色度值被舍弃或进行二次抽样，以减小文件的大小。例如，在通用的H2V1 YCbCr 4:2:2格式中，对各像素列进行二次抽样，但是像素行不受影响。在该二次抽样方案中，如果从零开始对各列进行编号，则只有偶数列具有Cb分量，且只有奇数列具有Cr分量。另一种二次抽样格式是YCbCr 4:2:0格式，其中每个2×2像素阵列共享单个Cb值和单个Cr值。YcrCb格式总体上与YCbCr相同，只是Cb和Cr分量的顺序相反。

上述变换方法可直接应用于二次抽样的YCbCr和YCrCb格式，尽管这样做可能得不出Cb和Cr分量正确交错的最终图像。为克服这一问题，可通过如下方式自二次抽样的图像形成临时非二次抽样图像(YCbCr 4:4:4或YCrCb 4:4:4)：考虑各对相邻像素并复制适当的Cb和Cr值，以使每个像素具有一Cb值和一Cr值。出于存储目的，在变换后可以舍弃多余的Cb和Cr值。发明人所执行的测试表明，在RGB图像的处理结果与YCbCr和YCrCb格式的同一图像的处理结果之间没有可在视觉上觉察到的差异。

图26显示一带有数字照相机202的移动电话200的实施例。移动电话200及其数字照相机202包括图1中所示的所关注区域定义机构24和变换装置26、或用于执行本文所述图像变换的其他机构。在典型使用中，用户使用移动电话200的数字照相机202拍摄数字照片，且然后使用移动电话200的处理能力来执行变换。如在图26中所示，数字图像204显示在移动电话200的显示屏206上。(通常，显示屏206为由图形实体20驱动的相对小的液晶显示器；尽管也可使用其他类型的显示屏206。)如图所示，通过所关注区域208的局部放大对图像204进行变换。临时覆盖在图像204上的覆盖或下拉菜单214可提供用于更改变换的类型和程度的指令。例如，可指令用户使用移动电话204的箭头键210来移动所关注区域208。(如果移动所关注区域，则将通过再次执行诸如方法100等方法以一新焦点为中心来重复所述变换。)也可指令用户：可使用数字/字母键212的某一组合来更改放大/收缩程度、在放大和收缩之间切换、或在同一图像204上使用二者。(在这种情况下，将使用新的参数重复诸如方法100等方法。)用户可能能够或可能不能直接修改参数a、k、和m的值，此根据实施方案而定；在某些实施例中，用户可只修改诸如“放大因数”等设定值，“放大因数”的值映射至特定的参数值。

根据实施方案而定，可将所述变换的参数硬编码或预设定到装置内，以使所述变换始终得到(例如)以相同的变换半径围绕相同的预定点进行的放大。这可有助于具有多个类似图像的图像分析应用。

在图26中显示的实施例的优点是向用户呈现细节，同时作为整体保留图像的上下文。尽管在传统的线性变换放大方案中，用户通常在屏幕上只会看到图像的一部分，且会进行滚动以改变可见部分，因此看不见整个图像，但局部放大会保持整个图像204可见，同时对所需的区域208进行放大。这可通过减少用户花费在改变图像的放大和进行滚动以观看整个图像上的时间量来提高用户的效率。

也可对图像应用变换，以产生艺术效果。另外，出于这些目的，可在诸如移动电话200等便携式装置上实施所图解说明的变换。例如，图27-29显示这些变换方法在面部图像上的效果。图27为原始的、未经修改的面部图像。图28图解说明在使用参数a＝2，k＝3，和m＝0对图27的图像中围绕嘴部的、半径为60个像素的局部圆形区域进行放大后得出的图像。图29图解说明在使用参数a＝2，k＝1，和m＝1对图27的图像中围绕鼻子的、半径为70个像素的局部圆形区域进行收缩后得出的图像。对同一图像执行的变换组合可产生其他效果。

在上文中描述的每个元件均可使用硬件处理器加上由计算机存储器实施的软件或使用用于执行相同功能的专门硬件来构建。在该处理过程中所处理的或作为该处理过程的结果所产生的任何数据均可存储在技术人员可获得的任何类型的存储器内。作为实例，可将此类数据存储在临时存储器中，例如存储在随机存取存储器(RAM)中。除此之外，或作为另一种选择，可将此类数据存储在诸如磁盘、可重写光盘等长期存储装置中。出于本揭示内容的目的，计算机可读媒体可包括任何形式的数据存储机构，包括不同的存储器技术以及此类结构和此类数据的硬件或电路代表形式。

虽然是对所图解说明的某些实施例进行揭示，但是本文中所使用的措辞为描述性而不是限制性措辞。可例如在随附权利要求书的范围内作出更改。

Claims (44)

1、一种嵌入式装置，其包括：

所关注区域定义机构，其用于在图像内定义所关注区域；及

变换机构，其用于对所述所关注区域应用会引起放大或收缩的非线性变换，以使所述所关注区域内的放大或收缩从所述所关注区域的焦点处的较大程度变化至所述所关注区域的外边界处的较小程度。

2、如权利要求1所述的嵌入式装置，其中所述变换机构对放大和收缩应用相同的非线性变换函数。

3、如权利要求2所述的嵌入式装置，其进一步包括耦接至所述所关注区域定义机构的用户接口。

4、如权利要求2所述的嵌入式装置，其进一步包括图形实体，其中所述所关注区域定义机构和所述变换机构耦接至所述图形实体。

5、如权利要求4所述的嵌入式装置，其进一步包括：

系统总线；

主存储器；及

显示屏，其耦接至所述图形实体；

其中所述主存储器和所述图形实体耦接至所述系统总线。

6、如权利要求2所述的嵌入式装置，其中所述嵌入式装置为移动电话。

7、如权利要求6所述的嵌入式装置，其中所述移动电话包含数字照相机。

8、如权利要求1所述的嵌入式装置，其中所述非线性变换使用唯整数算术。

9、如权利要求2所述的嵌入式装置，其进一步包括用户接口，以接收用户对所述非线性放大或收缩变换进行的参数选择，所述参数包括确定所述变换是形成放大还是收缩的参数和确定所述放大或收缩的幅度的参数。

10、如权利要求2所述的嵌入式装置，其中当由所述所关注区域定义机构所定义的所述所关注区域的尺寸小于所述图像本身时，所述变换机构不对不位于所述所关注区域内的像素进行变换。

11、如权利要求2所述的嵌入式装置，其中所述所关注区域定义机构包括椭圆形形状选项，以定义椭圆形形状的所关注区域。

12、如权利要求2所述的嵌入式装置，其中所述所关注区域定义机构包括圆形形状选项，以定义圆形形状的所关注区域。

13、如权利要求12所述的嵌入式装置，其中由所述变换机构执行的所述非线性放大或收缩变换由以下方程式(1)和(2)表示：

在(x_in-x_o)²+(y_in-y_o)²≤R²时， $x_{\mathrm{out}}=x_o+(x_{\mathrm{in}}-x_o)\&CenterDot;a^{{(-1)}^m\&CenterDot;{[1-\frac{{(x_{\mathrm{in}}-x_o)}^2+{(y_{\mathrm{in}}-y_o)}^2}{R^2}]}^k},$

在其他条件下，x_out＝x_in                                            (1)

在(x_in-x_o)²+(y_in-y_o)²≤R²时， $y_{\mathrm{out}}=y_o+(y_{\mathrm{in}}-y_o)\&CenterDot;a^{{(-1)}^m\&CenterDot;{[1-\frac{{(x_{\mathrm{in}}-x_o)}^2+{(y_{\mathrm{in}}-y_o)}^2}{R^2}]}^k},$

在其他条件下，y_out＝y_in                                            (2)

其中x_in和y_in为位于所述所关注区域内的输入像素的位置座标，x_o和y_o为所述圆形所关注区域的中心的位置座标，R为所述所关注区域的半径，x_out和y_out为输出像素的位置座标，a为指示较大程度的参数，m为指示所述变换是形成放大还是收缩的二元参数，且k为指示图像过渡区域内的平滑和连续程度的参数，所述图像过渡区域介于所述所关注区域的受到较大程度影响的区和所述所关注区域的受到较小程度影响的区之间。

14、如权利要求8所述的嵌入式装置，其中所述变换机构以预订的计算次序执行计算，以便避免整数溢出。

15、如权利要求1所述的嵌入式装置，其中所述变换机构以实时方式执行所述放大或收缩变换。

16、如权利要求1所述的嵌入式装置，其中所述变换机构在所述所关注区域内只在一个维中执行所述放大或收缩变换。

17、如权利要求5所述的嵌入式装置，其进一步包括显示屏，以自所述图形实体显示经变换的图像，所述经变换的图像包括所述图像的具有所述放大或收缩变换的所述所关注区域和和未经变换部分二者。

18、如权利要求17所述的嵌入式装置，其中所述经变换的图像是带有一个或多个经变换的部分的面部图像。

19、如权利要求10所述的嵌入式装置，其中所述装置适于对所述图像执行两个或更多个变换，所述两个或更多个变换具有相同或不同的参数。

20、一种机器可读媒体，其可与机器交互操作以：

在图像内定义所关注区域；及

对所述所关注区域应用非线性放大或收缩变换，以使所述所关注区域内的放大或收缩从所述所关注区域的焦点处的较大程度变化至所述所关注区域的外边界处的较小程度。

21、如权利要求1所述的机器可读媒体，其中对放大和收缩应用相同的非线性变换函数。

22、如权利要求21所述的机器可读媒体，其中使用整数算术执行所述应用。

23、如权利要求21所述的机器可读媒体，其中所述任务进一步包括允许用户直接地或间接地为所述非线性放大或收缩变换选择参数，所述参数确定所述变换是形成放大还是收缩以及所述放大或收缩的幅度或能力。

24、如权利要求21所述的机器可读媒体，其中所述图像内的所关注区域的尺寸小于所述图像本身，且不对不位于所述所关注区域内的像素进行变换。

25、如权利要求21所述的机器可读媒体，其中所述所关注区域的形状为椭圆形。

26、如权利要求21所述的机器可读媒体，其中所述所关注区域的形状为圆形。

27、如权利要求26所述的机器可读媒体，其中所述非线性放大或收缩变换由以下方程式(1)和(2)表示：

在(x_in-x_o)²+(y_in-y_o)²≤R²时， $x_{\mathrm{out}}=x_o+(x_{\mathrm{in}}-x_o)\&CenterDot;a^{{(-1)}^m\&CenterDot;{[1-\frac{{(x_{\mathrm{in}}-x_o)}^2+{(y_{\mathrm{in}}-y_o)}^2}{R^2}]}^k},$

在其他条件下，x_out＝x_in                                        (1)

在(x_in-x_o)²+(y_in-y_o)²≤R²时， $y_{\mathrm{out}}=y_o+(y_{\mathrm{in}}-y_o)\&CenterDot;a^{{(-1)}^m\&CenterDot;{[1-\frac{{(x_{\mathrm{in}}-x_o)}^2+{(y_{\mathrm{in}}-y_o)}^2}{R^2}]}^k},$

在其他条件下，y_out＝y_in                                        (2)

其中x_in和y_in为位于所述所关注区域内的输入像素的位置座标，x_o和y_o为所述圆形所关注区域的中心的位置座标，R为所述所关注区域的半径，x_out和y_out为输出像素的位置座标，a为指示较大程度的参数，m为指示所述变换是形成放大还是收缩的二元参数，且k为指示图像过渡区域内的平滑和连续程度的参数，所述图像过渡区域介于所述所关注区域的受到较大程度影响的区和所述所关注区域的受到较小程度影响的区之间。

28、如权利要求22所述的机器可读媒体，其进一步可与机器交互操作，从而以预订的计算次序执行所述应用，以便避免整数溢出。

29、如权利要求21所述的机器可读媒体，其中以实时方式执行所述非线性变换。

30、如权利要求21所述的机器可读媒体，其中所述机器为嵌入式装置。

31、如权利要求30所述的机器可读媒体，其中所述嵌入式装置为移动电话。

32、如权利要求31所述的机器可读媒体，其中所述移动电话包含数字照相机。

33、如权利要求31所述的机器可读媒体，其中所述移动电话具有整数微处理器。

34、一种移动电话，其包括：

接收机/发射机组合件；

微处理器；

所关注区域定义机构，其耦接至所述微处理器，以在图像内定义所关注区域；及

变换机构，其耦接至所述微处理器，以对所述所关注区域应用非线性放大或收缩变换函数，以使所述所关注区域内的放大或收缩从所述所关注区域的焦点处的较大程度变化至所述所关注区域的外边界处的较小程度。

35、如权利要求34所述的移动电话，其中所述变换机构对放大和收缩使用相同的非线性变换函数。

36、如权利要求35所述的移动电话，其中所述微处理器为整数微处理器。

37、如权利要求35所述的移动电话，其中所述变换机构使用唯整数算术来应用所述非线性变换。

38、一种设备，其包括：

定义装置，其用于在图像内定义所关注区域；及

应用装置，其用于对所述所关注区域应用非线性放大或收缩变换，以使所述所关注区域内的放大或收缩从所述所关注区域的焦点处的较大程度变化至所述所关注区域的外边界处的较小程度。

39、如权利要求38所述的设备，其中所述定义装置对放大和收缩使用相同的非线性变换函数。

40、如权利要求39所述的系统，其中所述应用装置包括用于协调整数算术的装置。

41、如权利要求39所述的系统，其进一步包括用户介接装置，其耦接至用于定义所述所关注区域的所述定义装置。

42、如权利要求39所述的系统，其中所述所关注区域为圆形。

43、如权利要求42所述的系统，其中所述非线性放大或收缩变换由以下方程式(1)和(2)表示：

在(x_in-x_o)²+(y_in-y_o)²≤R²时， $x_{\mathrm{out}}=x_o+(x_{\mathrm{in}}-x_o)\&CenterDot;a^{{(-1)}^m\&CenterDot;{[1-\frac{{(x_{\mathrm{in}}-x_o)}^2+{(y_{\mathrm{in}}-y_o)}^2}{R^2}]}^k},$

在其他条件下，x_out＝x_in                                            (1)

在(x_in-x_o)²+(y_in-y_o)²≤R²时， $y_{\mathrm{out}}=y_o+(y_{\mathrm{in}}-y_o)\&CenterDot;a^{{(-1)}^m\&CenterDot;{[1-\frac{{(x_{\mathrm{in}}-x_o)}^2+{(y_{\mathrm{in}}-y_o)}^2}{R^2}]}^k},$

在其他条件下，y_out＝y_in                                            (2)

其中x_in和y_in为位于所述所关注区域内的输入像素的位置座标，x_o和y_o为所述圆形所关注区域的中心的位置座标，R为所述所关注区域的半径，x_out和y_out为输出像素的位置座标，a为指示较大程度的参数，m为指示所述变换是形成放大还是收缩的二元参数，且k为指示图像过渡区域内的平滑和连续程度的参数，所述图像过渡区域介于所述所关注区域的受到较大程度影响的区和所述所关注区域的受到较小程度影响的区之间。

44、如权利要求39所述的系统，其中所述所关注区域为椭圆形。

Images