CN103379241B - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明提供图像处理装置及图像处理方法。把图像的中心被投影到的投影坐标与中心坐标之间的距离相加至所述投影坐标，以获得投影中心坐标。把所述距离相加至所述图像的四角被投影到的坐标，以获得投影四角坐标。把比所述投影四角坐标与所述投影中心坐标之间的距离的最小值短的距离，决定为输出页边空白距离。获得要被投影到与所述投影中心坐标相距所述输出页边空白距离的坐标的投影源坐标。把所述投影源坐标与所述投影中心坐标之间的距离的最大值，决定为输入页边空白距离。对基于所述图像的水平尺寸的1/2以及所述输入页边空白距离而决定的分割图像进行变形和输出。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及图像处理装置及图像处理方法，尤其涉及包括图像变形处理的图像处理技术。

背景技术

在诸如投影仪的产品中，当从投影仪输出的光被投影在屏幕上时，投影在屏幕上的有效区域由于投影仪的安装倾斜角、光学透镜移位等而发生失真成为梯形形状。在不消除梯形失真的情况下，用户难以查看图像。因此，一般进行将有效区域变形为逆梯形形状的图像变形处理，使得在屏幕上投影的有效区域获得矩形形状。该图像变形处理被称为例如梯形失真校正处理或梯形校正处理。

近年来，视频的分辨率在不断提高，并且需要通过上述图像变形处理来处理更高分辨率的视频。然而，图像变形处理装置通常具有可处理的分辨率的上限，并且可能无法单独地处理要求的分辨率。上述可处理的分辨率的上限取决于归因于图像变形处理装置的操作频率的处理吞吐量、被包括作为构成要素的内部缓冲器的行缓冲器的水平方向尺寸、或被包括作为构成要素的帧存储器的DRAM的传送带。

为了解决上述问题，例如由专利文献1（日本专利特开2008-312099号公报）和专利文献2（日本专利特许第3735158号）提出了现有技术。在这些方法中，具有高分辨率的输入视频被切出（cut out）为多个图像，并且多个图像变形处理装置处理各个图像，从而解决上述问题。

具体而言，在专利文献1所述的方法中，装置包括多个图像切出单元，这些图像切出单元在如下范围内从原始图像中切出各分割图像，在所述范围内，在投影仪上合成的各分割图像的边界处不发生像素损失。该装置还包括多个图像变形单元，这些图像变形单元为了不使投影图像失真而依照投影面的三维形状，对由所述多个图像切出单元切出的各分割图像进行变形和校正，并将所述图像输出到投影仪。请注意，为了简单起见，这里仅选择性地描述了特征要素。

在专利文献2中描述的系统是图像投影系统，该图像投影系统在使来自多个投影仪的投影图像相互重叠的同时布置这些投影图像，并在屏幕上显示与输入的高分辨率图像数据相对应的一个高分辨率图像。该系统包括图像拍摄单元，该图像拍摄单元通过将基准图像数据输入到各投影仪，来拍摄在屏幕上投影的基准图像。该系统参照基于由图像拍摄单元获得的基准图像拍摄数据而计算和存储的、关于各投影仪的投影区域在屏幕上的位置的参数。该系统还包括图像处理单元，该图像处理单元基于所参照的参数，而从高分辨率图像数据中切出与各投影区域的位置相对应的图像区域，并且将图像输出到各投影仪。

如上所述，专利文献1和2的现有技术均实现了处理的分配，并解决了上述问题。

在图像变形处理中，图像的有效区域的尺寸在输入与输出之间改变。为此，在包括多个图像变形单元的图像变形装置中，可能需要在各图像变形单元中使输入图像尺寸大于输出图像尺寸。

图1示出了这种状态。在图1中，具有水平尺寸in_w_all（ot_w_all）和垂直尺寸in_h_all（ot_h_all）的输入图像（全部输入区域）100的左侧区域由左侧图像变形单元进行变形，右侧区域由右侧图像变形单元进行变形。结果，通过对输入图像100进行变形而获得输出图像（全部输出区域）101。

在投影仪产品的梯形失真校正处理中，输出图像101的变形后形状取决于如下的参数，诸如从投影仪到屏幕的投影距离、垂直/水平安装角度以及垂直/水平镜头移位等。

各图像变形单元具有相同的水平输出尺寸ot_w_left=ot_w_right=(ot_w_all/2)。图像变形单元还具有相同的垂直输入和输出尺寸in_h_all=ot_h_all。

下面，将特别地描述左侧图像变形单元。为了输出水平输出尺寸ot_w_left，图像变形单元需要输出左侧输出区域中由白色区域表示的梯形区域103。由于梯形区域103对应于左侧输入区域中由白色区域表示的矩形区域102，所以能够计算出图像变形单元所需的水平输入尺寸in_w_left（>in_w_right）。这同样适用于右侧图像变形单元。结果，能够获知要被输入到各个图像变形单元的水平输入尺寸in_w_left和in_w_right。

各个图像变形单元能够处理的输入尺寸通常具有上限。该上限取决于归因于图像变形处理装置的操作频率的处理吞吐量、被包括作为构成要素的内部缓冲器（例如，行缓冲器的水平方向尺寸）、或被包括作为构成要素的帧存储器（例如，DRAM的传送带）等。

为此，各个图像变形处理的水平输入尺寸in_w_left和in_w_right需要等于或小于水平输入尺寸的上限值。然而，如果输出图像的有效区域的变形不均匀，则各个图像变形单元的水平输入尺寸in_w_left和in_w_right也具有不均匀度。结果，即使变形度小，水平输入尺寸也超过上限。

接下来，将描述在“背景技术”中所述的现有技术中，是否可能出现上述问题。专利文献1没有描述决定输出图像的有效区域的方法。通过以输出图像的有效区域具有任意形状的情况为例而进行了描述。然而，在该方法中，不存在用于依照各个图像变形单元的限制、来校正输出图像的有效区域的位置的结构。为此，无法对输出图像的有效区域的不均匀度进行平均化。结果，可以说可能出现上述问题：即使变形度小，水平输入尺寸也超过上限值。

专利文献2描述了使用在屏幕上投影的四角形的顶点之中的、具有最大角度的顶点作为基准点、来决定输出图像的有效区域的方法，作为决定输出图像的有效区域的方法。具体而言，在表示由专利文献2的“图4(a)中的投影图像”表示的投影图像的最大范围的四角形的顶点之中，具有最大角度的“P0”被用作基准点。然而，该方法无法对输出图像的有效区域的不均匀度进行平均化。结果，可以说可能出现上述问题：即使变形度小，水平输入尺寸也超过上限值。

另外，在有些情况下，无法完全显示分割前的输入图像。具体而言，专利文献2的“图3(d)所示的在屏幕上投影的图像”的左侧图像的下部或右侧图像的上部等不被显示。如果发生这种现象，则可能原本就无法满足必要条件。

如上所述，在现有技术中，由于输出图像的有效区域的不均匀度，使得变形度在很大程度上受到限制。

发明内容

本发明是鉴于上述问题而做出的，并且提供如下技术：当对输入矩形图像进行分割并使多个图像变形单元对分割图像进行变形时，对分割图像的水平尺寸进行平均化。

根据本发明的第一方面，提供了一种图像处理装置，该图像处理装置包括：被配置为获得输入矩形图像的中心坐标的单元；被配置为获得在使用对所述输入矩形图像的形状进行变形所需的变形参数对所述输入矩形图像进行变形的情况下、所述中心坐标被投影到的投影坐标的单元；被配置为在水平方向被设置为沿所述输入矩形图像的一条边缘的情况下、获得所述投影坐标与所述中心坐标之间的水平方向上的距离、并获得通过将所获得的距离相加至所述投影坐标而计算出的坐标作为投影中心坐标的单元；被配置为获得在使用所述变形参数对所述输入矩形图像进行变形的情况下所述输入矩形图像的四角的坐标被投影到的坐标、并获得通过将所述距离相加至所获得的坐标而计算出的坐标作为投影四角坐标的单元；被配置为获得所述四角的投影四角坐标与所述投影中心坐标之间的水平方向上的距离、并把比所获得的距离之中的最小距离短的距离决定为输出页边空白距离的单元；被配置为获得在使用所述变形参数对所述输入矩形图像进行变形的情况下、要被投影到在水平方向上与所述投影中心坐标相距所述输出页边空白距离的坐标的投影源的坐标作为投影源坐标的单元；被配置为获得各个所述投影源坐标与所述投影中心坐标之间的水平方向上的距离、并把所获得的距离之中的最大距离决定为输入页边空白距离的单元；以及输出单元，其被配置为获得通过将所述输入页边空白距离与所述输入矩形图像的水平方向上的尺寸的1/2相加而获得的结果作为分割图像水平尺寸，并对与所述输入矩形图像的左边缘的距离不大于所述分割图像水平尺寸的区域中的图像的形状、以及与所述输入矩形图像的右边缘的距离不大于所述分割图像水平尺寸的区域中的图像的形状进行变形，从而输出变形后图像。

根据本发明的第二方面，提供了一种由图像处理装置执行的图像处理方法，该图像处理方法包括：获得输入矩形图像的中心坐标的步骤；获得在使用对所述输入矩形图像的形状进行变形所需的变形参数对所述输入矩形图像进行变形的情况下、所述中心坐标被投影到的投影坐标的步骤；在水平方向被设置为沿所述输入矩形图像的一条边缘的情况下、获得所述投影坐标与所述中心坐标之间的水平方向上的距离、并获得通过将所获得的距离相加至所述投影坐标而计算出的坐标作为投影中心坐标的步骤；获得在使用所述变形参数对所述输入矩形图像进行变形的情况下所述输入矩形图像的四角的坐标被投影到的坐标、并获得通过将所述距离相加至所获得的坐标而计算出的坐标作为投影四角坐标的步骤；获得所述四角的投影四角坐标与所述投影中心坐标之间的水平方向上的距离，并把比所获得的距离之中的最小距离短的距离决定为输出页边空白距离的步骤；获得在使用所述变形参数对所述输入矩形图像进行变形的情况下、要被投影到在水平方向上与所述投影中心坐标相距所述输出页边空白距离的坐标的投影源的坐标作为投影源坐标的步骤；获得各个所述投影源坐标与所述投影中心坐标之间的水平方向上的距离、并把所获得的距离之中的最大距离决定为输入页边空白距离的步骤；以及输出步骤，获得通过将所述输入页边空白距离与所述输入矩形图像的水平方向上的尺寸的1/2相加而获得的结果作为分割图像水平尺寸，并对与所述输入矩形图像的左边缘的距离不大于所述分割图像水平尺寸的区域中的图像的形状、以及与所述输入矩形图像的右边缘的距离不大于所述分割图像水平尺寸的区域中的图像的形状进行变形，从而输出变形后图像。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出图像变形的示例的图；

图2是用于说明实施例的效果的图；

图3是示出图像变形的示例的图；

图4是示出图像处理装置的功能结构的示例的框图；

图5是示出图像变形单元406和图像变形单元407的功能结构的示例的框图；

图6是由变形后偏移计算单元403进行的处理的流程图；以及

图7是由输入图像尺寸计算单元404进行的处理的流程图。

具体实施方式

现在将参照附图描述本发明的实施例。请注意，下面要描述的实施例是本发明的具体实施的示例或所附权利要求中描述的结构的具体示例。

根据该实施例的图像处理装置是用于对输入矩形图像（静止图像，或运动图像的各帧的图像）进行变形并且将变形后图像投影在诸如屏幕等的平面上的装置，或者是并入在该装置中的图像处理单元。

下面，将参照图4的框图描述根据该实施例的图像处理装置的功能结构的示例。图4仅示出了用于由输入矩形图像生成变形图像的主要部件，未例示用于图像投影等的部件。

变形后形状决定单元401获得当使用对输入矩形图像的形状进行变形所需的变形参数对输入矩形图像进行变形时、该输入矩形图像的四角的坐标被投影到的坐标，作为变形后形状。

变形参数是决定输入矩形图像与输出图像之间的对应关系的信息。例如，在投影仪产品的梯形失真校正处理中，该信息包括诸如从投影仪到屏幕的投影距离、垂直/水平安装角度以及垂直/水平的透镜移位等的参数。

对于变形参数与变形后形状之间的关系，当输入矩形图像被变形为由四个顶点表示的变形后形状的四角形时，在由变形参数表示的投影仪安装条件下，屏幕上的投影区域变为矩形。

变形运算单元402使用变形后形状以及输入矩形图像的四角的坐标，获得由变形参数表示的3×3投影矩阵（变形矩阵）。该投影矩阵用于将输入矩形图像的四角的坐标投影到变形后形状的四个顶点的坐标。请注意，如果变形参数被预先作为投影矩阵给出，则可以省略用于获得投影矩阵的组件。假设投影矩阵=变形参数，来进行下面的描述。

变形后偏移计算单元403获得输入矩形图像的中心坐标。变形后偏移计算单元403获得在使用变形参数对输入矩形图像进行变形时中心坐标被投影到的坐标（投影坐标），并获得所获得的坐标与中心坐标之差，作为“用于将变形后图像的中心移动到输出图像的中心的偏移量”。

输入图像尺寸计算单元404基于偏移量，来获得要通过将输入矩形图像分割为左侧图像和右侧图像两个图像而获得的各分割图像的尺寸，并将所获得的尺寸输入到输入图像分割单元405。

输入图像分割单元405基于由输入图像尺寸计算单元404获得的尺寸将输入矩形图像分割为两个分割图像，并且将一个分割图像输入到图像变形单元406，并将另一个分割图像输入到图像变形单元407。

图像变形单元406和407对输入的分割图像进行变形处理，并将变形后图像输出到输出图像组合单元408。输出图像组合单元408对从图像变形单元406和407输出的变形后图像进行组合，以形成一个输出图像。然后，输出图像组合单元408将图像移动变形后偏移量，并从装置输出输出同步信号和输出图像。偏移方向与获得稍后描述的变形后偏移量的方向相反。输出目的地既可以是用于对图像进行投影的功能单元（例如，投影仪），也可以是存储器。图像可以被经由网络输出到其他设备。

接下来，将参照示出处理的流程图的图6，来描述由变形后偏移计算单元403执行的处理。在步骤S601中，获得输入矩形图像（src图像）的中心点的坐标（中心坐标）。在图3中，输入矩形图像300具有水平尺寸in_w_all和垂直尺寸in_h_all。在这种情况下，通过以下等式获得输入矩形图像300的中心点307的坐标（src_x，src_y）

src_x=in_w_all/2-1

src_y=in_h_all/2-1

下文中，在任何图像中，左上角的坐标均将被定义为（0，0）。

在步骤S602中，获得在使用变形参数对输入矩形图像进行变形时中心坐标被投影到的坐标。在图3中，获得通过使用变形参数对输入矩形图像300进行变形而获得的变形后图像301（dst图像）的中心点308的坐标。

具体而言，通过以下等式，获得与具有中心坐标（src_x，src_y）的输入矩形图像300的中心点307相对应的、变形后图像301的中心点308的坐标DST_POINT（dst_x，dst_y）

$S2D\_\mathrm{OFFS}\_\mathrm{PRE}=\left[\begin{array}{c}s2d\_\mathrm{offs}\_x\_\mathrm{pre}\\ s2d\_\mathrm{offs}\_y\_\mathrm{pre}\\ 0\end{array}\right]$

$S2D\_\mathrm{OFFS}\_\mathrm{PST}=\left[\begin{array}{c}s2d\_\mathrm{offs}\_x\_\mathrm{pst}\\ s2d\_\mathrm{offs}\_y\_\mathrm{pst}\\ 0\end{array}\right]$

$S2D\_\mathrm{MTX}=\left[\begin{array}{ccc}m00& m01& m02\\ m10& m11& m12\\ m20& m21& m22\end{array}\right]$

$\mathrm{SRC}\_\mathrm{POINT}=\left[\begin{array}{c}\mathrm{src}\_x\\ \mathrm{src}\_y\\ 1\end{array}\right]$

$\mathrm{DST}\_\mathrm{POINT}=\left[\begin{array}{c}\mathrm{dst}\_x\\ \mathrm{dst}\_y\\ 1\end{array}\right]$

SRC_POINT＝SRC_POINT+S2D_OFFS_PRE

$\mathrm{DST}\_\mathrm{POINT}=\frac{S2D\_\mathrm{MTX}\·\mathrm{SRC}\_\mathrm{POINT}}{m20*\mathrm{src}\_x+m21*\mathrm{src}\_y+m22}$

DST_POINT＝DST_POINT+S2D_OFFS_PST

请注意，在这些等式中，s2d_offs_x_pre、s2d_offs_y_pre、s2d_offs_x_pst、s2d_offs_y_pst以及m00至m22各系数都是变形参数。根据src图像与dst图像之间的坐标的关系获得这些变形参数。m00至m22的计算方法是公知的，在此将省略该方法的描述。参数s2d_offs_x_pre和s2d_offs_y_pre是变形前附加的偏移。这些系数用于通过附加偏移对输入矩形图像进行变形。参数s2d_offs_x_pst和s2d_offs_y_pst是变形后附加的偏移。这些变形参数用于通过附加偏移对输出图像进行变形。这些系数用于在平面上移动变形后形状。然而，由于在该实施例中这是不必要的，因此假设所有系数是0来进行描述。

在步骤S603中，通过以下等式，获得在步骤S601中获得的中心坐标与在步骤S602中获得的坐标之差（变形后偏移）diff_x

diff_x =  rounddown(src_x - dst_x)

具体而言，在获得DST_POINT的dst_x之后，使用该等式获得变形后偏移：diff_x。在这种情况下，rounddown() 是舍去小数部分并返回整数的函数。

这里获得的变形后偏移diff_x是用于将变形后形状移动到输出图像的中心的偏移量。当将该偏移应用于变形后图像301时，变形后图像301移动偏移量310并改变为变形后图像302，中心点308也移动偏移量310并改变为中心点309，如图3所示。通过该处理，输出图像的中心点309的坐标（投影中心坐标）与输入矩形图像300的中心点307的坐标相匹配。

接下来，将参照示出处理的流程图的图7，来描述由输入图像尺寸计算单元404进行的处理。

在步骤S701中，获得作为src图像的变形后图像的dst图像的各顶点的坐标。在图3中，当以下面的方式定义输入矩形图像300的四个顶点的坐标SRC_POINT0至SRC_POINT3时，通过以下等式能够计算变形后图像301的各顶点的DST_POINT0至DST_POINT3

$\mathrm{SRC}\_\mathrm{POINT}0~3=\left[\begin{array}{c}\mathrm{src}\_x_0~3\\ \mathrm{src}\_y_0~3\\ 1\end{array}\right]$

$\mathrm{DST}\_\mathrm{POINT}0~3=\left[\begin{array}{c}\mathrm{dst}\_x_0~3\\ \mathrm{dst}\_y_0~3\\ 1\end{array}\right]$

$\mathrm{DST}\_\mathrm{POINT}0~3=\frac{S2D\_\mathrm{MTX}\·\mathrm{SRC}\_\mathrm{POINT}0~3}{m20*\mathrm{src}\_x0~3+m21*\mathrm{src}\_y0~3+m22}$

在步骤S702中，上述偏移被相加至在步骤S701中获得的变形后图像301的各顶点的DST_POINT0至DST_POINT3，从而通过以下等式获得坐标dst_x0至dst_x3

dst_x0至dst_x3=dst_x0至dst_x3+diff_x

在该处理中，获得当使用变形参数对输入矩形图像进行变形时、该输入矩形图像的四角的坐标被投影到的坐标，并且获得通过将上述偏移相加至得出的坐标而获得的坐标，作为投影四角坐标。

在步骤S703中，使用在步骤S702中获得的dst_x0至dst_x3，来计算可输出的页边空白量。具体而言，通过以下等式获得页边空白量

ot_x_margin0=(in_w_all/2-1)-dst_x0

ot_x_margin1=dst_x1-(in_w_all/2+1)

ot_x_margin2=dst_x2-(in_w_all/2+1)

ot_x_margin3=(in_w_all/2-1)-dst_x3

min_ot_x_margin=MIN(ot_x_margin0,ot_x_margin1,ot_x_margin2,ot_x_margin3)

由ot_x_margin0至ot_x_margin3表示的部分如图3中的303所示。在该等式中，MIN()是返回最小值的函数。

在该处理中，获得沿该四角的投影四角坐标与投影中心坐标之间的、输入矩形图像的一条边缘（在这种情况下，为沿x轴的边缘）的距离，并获得得出的距离之中的最小距离。

在步骤S704中，使用可输出的页边空白量min_ot_x_margin、后续段需要的输出页边空白量req_ot_x_margin以及存储器存储信息，来计算输出页边空白ot_x_margin。

请注意，当将像素数据布置在诸如DRAM等的帧存储器上时，使用存储器存储信息。在下面的等式中，8个像素被布置在32个字节上。具体而言，获得满足以下关系式并且为最小值的输出页边空白量ot_x_margin

min_ot_x_margin≥ot_x_margin≥req_ot_x_margin

(ot_w_all/2)-ot_x_margin-1=8×N（N是自然数）

在步骤S705中，使用输出页边空白量ot_x_margin以及输入矩形图像的水平尺寸in_w_all，来计算输入页边空白量in_x_margin。

下面，将描述该处理的概要。创建如下的等式，该等式用于把输入矩形图像306的点321至324的坐标（src_x0至src_x3，src_y0至src_y3），转换为变形后图像305的点317至320的坐标（dst_x0至dst_x3，dst_y0至dst_y3）。点321至324分别对应于点317至320，并且用于计算输入页边空白量in_x_margin。从表示由该等式表示的dst_x0至dst_x3等于变形后图像305的点317至320的4点的等式中，求解src_x0到src_x3，从而计算in_x_margin0至in_x_margin3。具体而言，以下面的方式获得变量

src_x0_margin=(in_w_all/2)-ot_x_margin

src_x1_margin=((in_w_all/2)-1)+ot_x_margin

src_x2_margin=((in_w_all/2)-1)+ot_x_margin

src_x3_margin=(in_w_all/2)-ot_x_margin

src_y0=0

src_y1=0

src_y2=in_h_all-1

src_y3=in_h_all-1

接下来，通过以下等式计算src_x[0至3]

src_x[0至3]=-((m21*src_x[0至3]_margin-m21*s2d_offs_x_pst-diff_x*m21-m01)*src_y[0至3]+(m21*s2d_offs_y_pre+m20*s2d_offs_x_pre+m22)*src_x[0至3]_margin+(-m21*s2d_offs_x_pst-diff_x*m21-m01)*s2d_offs_y_pre+(-m20*s2d_offs_x_pre-m22)*s2d_offs_x_pst+(-diff_x*m20-m00)*s2d_offs_x_pre-diff_x*m22-m02)/(m20*src_x[0至3]_margin-m20*s2d_offs_x_pst-diff_x*m20-m00)

在该处理中，获得四角的投影四角坐标与投影中心坐标之间的水平方向距离，并且把比得出的距离之中的最小距离短的距离，决定为输出页边空白距离。获得投影到在水平方向上与投影中心坐标相距输出页边空白距离的坐标的、投影源的坐标，作为投影源坐标。

在图3中，获得投影到如下位置处的点317至320的坐标的、投影源的点321至324的坐标，作为投影源坐标，其中，所述位置与变形后图像305的中心点，在水平方向上相距由315及316表示的输出页边空白距离。

接下来，使用以下等式计算in_x_margin[0至3]

in_x_margin0=1+(in_w_all/2)-FLOOR(src_x0)

in_x_margin1=1-(in_w_all/2-1)+CEILING(src_x1)

in_x_margin2=1-(in_w_all/2-1)+CEILING(src_x2)

in_x_margin3=1+(in_w_all/2)-FLOOR(src_x3)

其中，FLOOR()是舍去小数部分并返回整数的函数，CEILING()是对小数部分进行上舍入并返回整数的函数。

通过计算以下等式来获得输入页边空白in_x_margin

in_x_margin=MAX(in_x_margin0,in_x_margin1,in_x_margin2,in_x_margin3)

当决定了输入页边空白in_x_margin时，要输入到图像变形单元406和407的分割图像的水平尺寸被决定为

(in_w_all/2)+in_x_margin

在该处理中，获得投影源坐标与投影中心坐标之间的水平距离，并且把得出的距离之中的最大距离决定为输入页边空白距离。获得通过将输入页边空白距离相加至输入矩形图像的水平尺寸的1/2而获得的结果，作为分割图像水平尺寸。

把在输入矩形图像中具有左上角坐标（0，0）和右下角坐标（(in_w_all/2)+in_x_margin-1，in_h_all-1）的区域中的图像，输入到图像变形单元406。把在输入矩形图像中具有左上角坐标（(in_w_all/2)-in_x_margin，0）和右下角坐标（in_w_all-1，in_h_all-1）的区域中的图像，输入到图像变形单元407。

也即，到输入矩形图像的左边缘的距离等于或小于分割图像水平尺寸的区域中的图像，以及到输入矩形图像的右边缘的距离等于或小于分割图像水平尺寸的区域中的图像，在经历过变形之后被输出。

接下来，将参照图5的框图描述图像变形单元406和407的功能结构的示例。图像变形单元406和407具有相同的结构。因此，图5将图像变形单元406和407例示为图像变形单元515。

图像变形单元515基于变形后偏移和变形参数，来对输入同步信号和输入矩形图像进行变形处理，并输出输出同步信号和变形后图像。该实施例采用用于在帧存储器的在前段进行随机访问、并在后续段进行顺序访问的结构，来进行图像变形。请注意，在下文中，变形前的src图像中的坐标将被称为src坐标，dst图像中的坐标将被称为dst坐标。

输入同步信号被输入到src坐标计数器500。内部计数器对坐标进行计数，并输出src坐标的整数部分。坐标转换单元501将src坐标的整数部分转换为dst坐标，并将转换后的dst坐标输入到3 × 3周边坐标生成单元502。

下面，将更详细地描述由坐标转换单元501进行的处理。基于由上述处理计算的变形参数和变形后偏移diff_x，来计算与输入矩形图像的各坐标SRC_POINT相对应的输出图像的坐标DST_POINT。通过以下等式表示该处理

$S2D\_\mathrm{OFFS}\_\mathrm{PRE}=\left[\begin{array}{c}s2d\_\mathrm{offs}\_x\_\mathrm{pre}\\ s2d\_\mathrm{offs}\_y\_\mathrm{pre}\\ 0\end{array}\right]$

$S2D\_\mathrm{OFFS}\_\mathrm{PST}=\left[\begin{array}{c}s2d\_\mathrm{offs}\_x\_\mathrm{pst}+\mathrm{diff}\_x\\ s2d\_\mathrm{offs}\_y\_\mathrm{pst}\\ 0\end{array}\right]$

$S2D\_\mathrm{MTX}=\left[\begin{array}{ccc}m00& m01& m02\\ m10& m11& m12\\ m20& m21& m22\end{array}\right]$

$\mathrm{SRC}\_\mathrm{POINT}=\left[\begin{array}{c}\mathrm{src}\_x\\ \mathrm{src}\_y\\ 1\end{array}\right]$

$\mathrm{DST}\_\mathrm{POINT}=\left[\begin{array}{c}\mathrm{dst}\_x\\ \mathrm{dst}\_y\\ 1\end{array}\right]$

SRC_POINT＝SRC_POINT+S2D_OFFS_PRE

$\mathrm{DST}\_\mathrm{POINT}=\frac{S2D\_\mathrm{MTX}\·\mathrm{SRC}\_\mathrm{POINT}}{m20*\mathrm{src}\_x+m21*\mathrm{src}\_y+m22}$

DST_POINT＝DST_POINT+S2D_OFFS_PST

通过该处理，基于变形后偏移和变形参数进行变形处理。

3×3周边坐标生成单元502生成围绕输入dst坐标的3×3周边像素的dst坐标，并输出所生成的dst坐标。配置9个逆坐标转换单元503，以逆转换dst坐标整数部分并输出9个src坐标值。

src坐标被输入到3×3输出坐标确定单元504，并与从src坐标计数器500输入的src坐标的整数部分进行比较。3×3输出坐标确定单元504输出3×3像素的有效信号，以及3×3像素的src坐标的小数部分。

另一方面，由行缓冲器507，暂时保持输入到图像变形单元515的输入矩形图像。之后，输出4×4=16个像素的像素数据。在该实施例中，由于像素插值方法被假设为双三次方法，所以输出4×4像素的像素数据。然而，当使用不同的插值方法时，参照范围不需要总包括4×4像素。

像素插值处理单元505接收3×3像素的有效信号、3×3像素的src坐标整数部分以及4×4像素的像素数据，并输出3×3像素的有效信号和3×3像素的插值像素数据。作为3×3像素的有效信号，直接输出输入信号。作为3×3像素的插值像素数据，输出在参照4×4像素的输入像素数据的同时、通过双三次插值方法插值的3×3像素的数据。

在写入DMAC506中，在3×3像素的插值像素数据之中，仅把3×3像素的有效信号有效的数据，写入由dst坐标的整数部分指定的地址。输出的插值像素数据由帧存储器508保持。

接下来，将描述在图5中的图像变形单元515的存储器读取的后续段的部分。将输入同步信号输入到同步信号延迟单元511，并生成输出同步信号。由通过延迟生成的输出同步信号，来驱动图像变形单元515的后续段部分。

输出同步信号被输入到dst坐标计数器510，并且内部计数器生成并输出dst坐标的整数部分。读取DMAC509从帧存储器508中，获取由dst坐标的整数部分指定的地址处的插值像素数据。

逆坐标转换单元512接收dst坐标的整数部分，并生成src坐标。src坐标被输入到有效区域确定单元513。有效区域确定单元513确定src坐标存在于有效区域还是无效区域中，并输出有效信号。如果src坐标落在输入矩形图像的区域之外（负区域或在正方向上超出in_w_all和in_h_all的区域），则不存在与由dst坐标计数器510生成的dst坐标相对应的src坐标，并且0被作为有效信号输出。在相反的情况下，src坐标存在于有效区域中，并且1被作为有效信号输出。

最后，MUX514基于有效信号来选择输入插值像素数据和固定色，并将数据输出作为变形后图像。在投影仪的示例中，固定色是梯形之外的区域的，并且一般输出黑色。

接下来，将参照图2描述上述处理的效果。图2示出了与图1相对应的、根据该实施例的图像变形的示例。从图1和图2所示的各分割图像的水平输入尺寸（in_w_left，in_w_right）能够看出，该实施例的结构对水平输入尺寸进行了平均化。具体而言，作为分别要被输入到左侧和右侧的图像，在图2中，左侧输入图像是图像203，右侧输入图像是图像205，并且与图1中的左侧矩形区域102和右侧矩形区域104相比较，两图像的水平尺寸被平均化。这使得能够减少左侧输出图像204和右侧输出图像206中的有效区域的不均匀度。因此，能够由相同的硬件资源支持更大的变形度。

请注意，在上述结构中，输入矩形图像被分割为左侧和右侧图像两个图像。然而，分割方法不限于此。输入矩形图像也可以被分割为上侧和下侧图像两个图像，或者通过组合这两种方法而被分割为2×2图像。

其他实施例

本发明的各方面还能够通过读出并执行记录在存储装置上的用于执行上述实施例的功能的程序的系统或设备的计算机（或诸如CPU或MPU的装置）、以及由系统或设备的计算机例如读出并执行记录在存储装置上的用于执行上述实施例的功能的程序来执行步骤的方法来实现。鉴于此，例如经由网络或者从用作存储装置的各种类型的记录介质（例如计算机可读介质）向计算机提供程序。

虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释，以使其涵盖所有这种变型、等同结构及功能。

Claims (4)

1.一种图像处理装置，该图像处理装置包括：

被配置为获得输入矩形图像的中心坐标的单元；

被配置为获得在使用对所述输入矩形图像的形状进行变形所需的变形参数对所述输入矩形图像进行变形的情况下、所述中心坐标被投影到的投影坐标的单元；

被配置为在水平方向被设置为沿所述输入矩形图像的一条边缘的情况下、获得所述投影坐标与所述中心坐标之间的水平方向上的距离、并获得通过将所获得的距离相加至所述投影坐标而计算出的坐标作为投影中心坐标的单元；

被配置为获得在使用所述变形参数对所述输入矩形图像进行变形的情况下所述输入矩形图像的四角的坐标被投影到的坐标、并获得通过将所述距离相加至所获得的坐标而计算出的坐标作为投影四角坐标的单元；

被配置为获得所述四角的投影四角坐标与所述投影中心坐标之间的水平方向上的距离、并把比所获得的距离之中的最小距离短的距离决定为输出页边空白距离的单元；

被配置为获得在使用所述变形参数对所述输入矩形图像进行变形的情况下、要被投影到在水平方向上与所述投影中心坐标相距所述输出页边空白距离的坐标的投影源的坐标作为投影源坐标的单元；

被配置为获得各个所述投影源坐标与所述投影中心坐标之间的水平方向上的距离、并把所获得的距离之中的最大距离决定为输入页边空白距离的单元；以及

输出单元，其被配置为获得通过将所述输入页边空白距离与所述输入矩形图像的水平方向上的尺寸的1/2相加而获得的结果作为分割图像水平尺寸，并通过使用第一变形单元对与所述输入矩形图像的左边缘的距离不大于所述分割图像水平尺寸的区域中的图像的形状进行变形，以及通过使用与所述第一变形单元不同的第二变形单元对与所述输入矩形图像的右边缘的距离不大于所述分割图像水平尺寸的区域中的图像的形状进行变形，从而输出变形后图像。

2.根据权利要求1所述的图像处理装置，其中，所述输出单元对形状已被变形的图像进行组合，并将所组合的图像作为输出图像输出。

3.根据权利要求2所述的图像处理装置，其中，所述输出单元将所述输出图像输出到投影仪。

4.一种由图像处理装置执行的图像处理方法，该图像处理方法包括：

获得输入矩形图像的中心坐标的步骤；

获得在使用对所述输入矩形图像的形状进行变形所需的变形参数对所述输入矩形图像进行变形的情况下、所述中心坐标被投影到的投影坐标的步骤；

在水平方向被设置为沿所述输入矩形图像的一条边缘的情况下、获得所述投影坐标与所述中心坐标之间的水平方向上的距离、并获得通过将所获得的距离相加至所述投影坐标而计算出的坐标作为投影中心坐标的步骤；

获得在使用所述变形参数对所述输入矩形图像进行变形的情况下所述输入矩形图像的四角的坐标被投影到的坐标、并获得通过将所述距离相加至所获得的坐标而计算出的坐标作为投影四角坐标的步骤；

获得所述四角的投影四角坐标与所述投影中心坐标之间的水平方向上的距离、并把比所获得的距离之中的最小距离短的距离决定为输出页边空白距离的步骤；

获得在使用所述变形参数对所述输入矩形图像进行变形的情况下、要被投影到在水平方向上与所述投影中心坐标相距所述输出页边空白距离的坐标的投影源的坐标作为投影源坐标的步骤；

获得各个所述投影源坐标与所述投影中心坐标之间的水平方向上的距离、并把所获得的距离之中的最大距离决定为输入页边空白距离的步骤；以及

输出步骤，获得通过将所述输入页边空白距离与所述输入矩形图像的水平方向上的尺寸的1/2相加而获得的结果作为分割图像水平尺寸，并通过使用第一变形单元对与所述输入矩形图像的左边缘的距离不大于所述分割图像水平尺寸的区域中的图像的形状进行变形，以及通过使用与所述第一变形单元不同的第二变形单元对与所述输入矩形图像的右边缘的距离不大于所述分割图像水平尺寸的区域中的图像的形状进行变形，从而输出变形后图像。