CN107079129A

CN107079129A - 投影装置、图像处理装置及图像处理方法

Info

Publication number: CN107079129A
Application number: CN201580059791.8A
Authority: CN
Inventors: 小岛直树
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-11-06
Filing date: 2015-10-01
Publication date: 2017-08-18
Anticipated expiration: 2035-10-01
Also published as: EP3175613B1; US10397514B2; JP6487671B2; WO2016072044A1; US20170289493A1; EP3175613A4; JP2016092651A; EP3175613A1; CN107079129B

Abstract

当将第一图像变形为第二图像并生成包含第二图像的第三图像时，存储表示设置在第二图像中的多个变形后的格点中的各个的位置的坐标值，并且基于所存储的坐标值，确定第三图像中的关注像素是否位于第二图像中。

Description

投影装置、图像处理装置及图像处理方法

技术领域

本发明涉及一种投影装置、以及用于生成要供给到投影装置的视频的图像处理装置和图像处理方法。

背景技术

近年来，不仅向平面投影视频而且向诸如圆柱或圆顶的曲面投影视频变得流行。提出了一种具有图像变形功能的投影装置，从而在向各种投影面投影视频时防止观察者感觉视频失真。投影装置对根据投影面变形的图像进行投影，并且观察者能够观察到使他们感觉不到失真的视频。

但是，如果针对诸如圆柱形或半球形的各种投影面的各个形状，在投影装置中安装用于对使观察者感觉不到失真的图像进行投影的图像变形运算电路，则投影装置的电路规模增大。

作为解决该问题的方法，已知有如下方法：在存储器中存储布置在变形前图像中的格点的坐标值，并将各个格点与变形图像中的位置相关联。已知还有如下方法：在存储器中存储设置在变形图像中的格点的坐标值，并将各个格点与变形前图像中的位置相关联。

通过使用该关联以及变形前图像中的关注像素的像素值，能够获得变形图像中的关注像素的像素值。该方法能够实现图像变形功能的通用，而与投影面的形状无关。

通常，为了防止丢失像素，通过反向变换重新布置来进行在用于投影装置的图像变形功能中对像素值的计算。更具体地，将变形图像的各个像素设定为关注像素，并且通过坐标变换获得对应于关注像素的坐标值的、变形前的坐标值(在下文中将被称为“变形前的坐标值”)。然后，使用与变形前的坐标值相对应的像素(将被称为“变形前的关注像素”)的值、以及变形前的关注像素周围的像素的值，来计算关注像素的值。

作为获得变形前的坐标值的方法，已知有两种方法：一种是使用变形前的格点的坐标值和变形后的格点的坐标值的方法(在下文中将被称为“变形后晶格法”)。另外一种方法是使用变形后的格点的坐标值和变形前的格点的反向变形的坐标值的方法(在下文中将被称为“变形前晶格法”)。

国际公开第08/139577号(文献1)公开了变形前晶格法，在该方法中，将从变形后到变形前的变换坐标值(变形前的坐标值)，作为格点的坐标值存储在存储器中。根据变形前晶格法，在图像向内缩小的变形中，位于变形图像外部的格点位于变形形状的外部并且变得不必要。结果，并未使用所有格点来进行坐标变换，并且坐标变换的精确度降低。坐标变换的精确度的降低是图像质量劣化的因素，使得在使变形图像部分叠置以在例如由多个投影装置进行组合投影时对整个图像进行投影的情况下，在变形图像之间发生移位，并且结果，使通过组合变形图像而获得的图像的清晰度降低。

日本特开2001-069434号公报(文献2)公开了变形后晶格法。变形后晶格法需要如下功能：确定要用于计算变形前的关注像素的坐标值的格点。在文献2中，变形后的坐标值被用作格点的坐标值，然而未提及确定格点的任何方法。

发明内容

一方面，提供一种图像处理装置，其用于使第一图像变形为第二图像并生成含第二图像的第三图像，所述图像处理装置包括：存储单元，其被构造为存储表示设置在第二图像中的多个变形后的格点中的各个的位置的坐标值；以及确定单元，其被构造为基于存储在存储单元中的坐标值，确定第三图像中的关注像素是否位于第二图像中。

另一方面，提供一种图像处理方法，其将第一图像变形为第二图像并生成包含第二图像的第三图像，所述图像处理方法包括：存储表示设置在第二图像中的多个变形后的格点中的各个的位置的坐标值；以及基于所存储的坐标值，确定第三图像中的关注像素是否位于第二图像中。

根据这些方面，与视频的任意变形相对应的高精确度的图像变形处理成为可能。

一方面，提供包括上述图像处理装置的视频投影装置。

根据该方面，能够投影出使观察者感觉不到视频失真的视频。

通过下面(参照附图)对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

并入说明书并构成说明书的一部分的附图例示了本发明的实施例并且与说明书一起用于说明本发明的原理。

[图1]图1是示出根据第一实施例的投影装置的布置的框图。

[图2A]图2A是用于说明由视频变形单元进行的图像变形处理的图。

[图2B]图2B是用于说明由视频变形单元进行的图像变形处理的图。

[图3]图3是用于说明根据第一实施例的要由视频变形单元执行的图像变形处理的流程图。

[图4A]图4A是用于说明由坐标处理单元进行的对变形前的坐标值的计算的图。

[图4B]图4B是用于说明由坐标处理单元进行的对变形前的坐标值的计算的图。

[图5]图5是示出根据第二实施例的投影装置的布置的框图。

[图6]图6是示出添加了扩展格点的状态的图。

[图7]图7是用于说明根据第二实施例的要由视频变形单元执行的图像变形处理的流程图。

[图8]图8是示出扩展格点的另一附加示例的图。

具体实施方式

下面将参照附图描述根据本发明的实施例的投影装置、图像处理装置和图像处理方法。注意，实施例不旨在限制本发明的权利要求的范围，而且，并非在实施例中阐明的布置的所有组合对于解决根据本发明的问题的手段均是必须的。

第一实施例

装置布置

根据第一实施例的投影装置100的布置如图1的框图所示。投影装置100包括输入视频的输入单元101、对输入视频进行图像处理以使视频变形的视频变形单元103以及对变形视频进行投影的输出单元102。

视频变形单元103包括计算变形前的关注像素的坐标值的坐标变换单元104、以及根据变形前的关注像素的坐标值和变形前图像来计算关注像素的像素值的像素处理单元105。视频变形单元103执行图像变形处理作为投影装置100中的图像处理。

坐标变换单元104包括存储变形后的格点的存储单元106、确定要用于关注像素的坐标变换的变形后的格点组的格点确定单元107以及使用确定的变形后的格点组获得变形前的关注像素的坐标值的坐标处理单元108。

图像变形处理

将参照图2A和图2B说明由视频变形单元103进行的图像变形处理。输入单元101输入图2A所示的变形前图像201作为第一图像。通过使变形前图像201变形而获得的第二图像是变形图像202。更具体地，视频变形单元103根据变形前图像201生成图2B所示的输出图像203作为包括变形图像202的第三图像，并且将输出图像203输出到输出单元102。为了生成输出图像203，视频变形单元103计算输出图像203的各个像素的像素值。

接下来，将说明格点的定义。格点对应于布置在变形前图像201中的或设置在变形图像202中的代表点，并且格点由坐标值(x,y)表示。将对应于变形前图像201的代表点的格点称为“变形前的格点q”，并且将对应于变形图像202的代表点的格点称为“变形后的格点p”。在图2A和图2B中，变形前的格点q和变形后的格点p具有以下关系：

p0＝f(q0),p1＝f(q1),p2＝f(q2),p3＝f(q3),p4＝f(q4),p5＝f(q5)

其中f()是变形中的坐标变换算子。

换言之，当对布置在变形前图像201中的变形前的格点q的坐标值进行基于用于符合投影面的形状的图像变形的坐标变换f()时，获得变形后的格点p的坐标值。存储在存储单元106中的变形后的格点p的坐标值可以在投影装置100的内部计算并且存储在存储单元106中，或者可以在投影装置100的外部计算并且存储在存储单元106中。

格点确定单元107从在存储单元106中存储的多个变形后的格点p中选择要用于计算变形前的坐标值的变形后的格点p的组。在以下描述中，构成内部不包括变形后的格点的最小四边形的四个格点的组将被称为“块”。在图2B中，块B0是变形后的格点p0、p1、p2和p3的组，并且块B1是变形后的格点p2、p3、p4和p5的组。注意，块的形状不限于四边形并且可以是多边形。例如，块可以是以变形后的格点p0、p1和p2为顶点的三角形。

通过关于由构成块的四个变形后的格点p形成的四边形(在下文中将被称为“块四边形”)是否包括关注像素的包括确定，来选择变形后的格点p的组。注意，通过拆分四边形而获得的两个三角形，例如p0p1p2和p1p2p3，可以被设定为包括确定对象。

包括确定例如使用交叉数算法。根据交叉数算法，基于以关注像素为起点的水平线与块四边形的边的交叉次数来进行包括确定。具有奇数交叉数的块四边形被确定为包括关注像素，而具有偶数交叉数的块四边形被确定为不包括关注像素。

例如，图2B所示的以关注像素S0为起点的水平线仅与块B0四边形的边交叉一次，而与块B1四边形的边交叉两次。因此确定关注像素S0包括在块B0四边形中，而不包括在块B1四边形中。注意，包括确定不限于交叉数算法，并且可以使用诸如绕数算法(windingnumber algorithm)的其他算法。

将参照图3的流程图来说明根据第一实施例的要由视频变形单元103执行的图像变形处理。图3示出了一个像素的图像变形处理，并且针对输出图像203的所有像素重复图3所示的处理。

格点确定单元107选择关注块(S11)，并且进行关注像素的包括确定(S12)从而搜索包括关注像素的块(在下文中将被称为“包括块”)。如果格点确定单元107确定关注块不包括关注像素，则确定是否针对所有块进行了包括确定(S13)。如果存在未确定的块，则格点确定单元107使处理返回到步骤S11。

针对位于变形图像202外部的像素，如图2B所示的像素s2，即使对所有块进行了包括确定，也不能检测到包括块。针对这样的关注像素，格点确定单元107向坐标处理单元108输出表示关注像素不存在于变形图像202内部而是存在于变形图像202外部的信息(在下文中将被称为“外部像素信息”)(S14)。另一方面，如果格点确定单元107检测到包括块，则将包括块的变形后的格点p的坐标值输出到坐标处理单元108(S15)。

坐标处理单元108根据从格点确定单元107输入的变形后的格点p的坐标值以及关注像素的坐标值来计算变形前的坐标值(S16)。在图2B中，当关注像素为s0并且包括块为B0时，根据关注像素s0的坐标值、变形后的格点p0、p1、p2和p3的坐标值、以及与这些变形后的格点配对的变形后的格点q0、q1、q2和q3的坐标值，来计算变形前的像素t0的坐标值。

将参照图4A和图4B来说明由坐标处理单元108进行的对变形前的坐标值的计算。图4A是图2A所示的变形前的格点q0、q1、q2和q3的部分的放大图，并且图4B是图2B所示的变形后的格点p0、p1、p2和p3的部分的放大图。坐标处理单元108获得关注像素s0在四边形p0p2p3p1中的相对位置，并且将该相对位置拟合到四边形q0q2q3q1中的变形前的像素t0，从而获得变形前的像素t0的坐标值。

首先，由于四边形p0p2p3p1不是矩形，因此使用包括关注像素s0的三角形p0p2p3或p0p3p1来获得相对位置。坐标处理单元108对三角形p0p2p3和p0p3p1进行上述的包括确定，确定包括关注像素s0的三角形(在下文中将被称为“包括三角形”)(S161)。注意，包括三角形的确定方法不受限制。例如，显然四边形p0p2p3p1包括关注像素s0，因此可以通过比较对角线p0p3和关注像素s0来确定包括关注像素s0的三角形(p0p2p3或p0p3p1)。注意，当格点确定单元107以三角形视为对象块时，可以省略确定三角形的处理(S161)。

接下来，坐标处理单元108获得关注像素在包括三角形中的相对位置α和β(S162)。在图4B中，获得穿过p0s0的直线与线段p2p3的交叉点M，并且通过插值获得交叉点M在线段p2p3上的相对位置α。然后通过插值获得关注像素s0在线段p0M上的相对位置β。在本实施例中，各个α和β的范围是0(包括)至1(不包括)。

之后，坐标处理单元108将相对位置α和β应用到变形前的像素t0在变形前的格点的四边形q0q2q3q1中的相对位置，从而获得变形前的像素t0的坐标值(S163)。首先，选择与在步骤S161中确定的包括三角形相对应的三角形。例如，当包括三角形为p0p2p3时，选择三角形q0q2q3。当包括三角形为p0p3p1时，选择三角形q0q3q1。然后，通过线段q2q3的插值获得穿过q0t0的直线与线段q2q3的交叉点N的坐标值，并且通过线段q0N的插值获得变形前的像素t0的坐标值。

当坐标处理单元108针对关注像素从格点确定单元107接收到外部像素信息时，坐标处理单元108将该外部像素信息输出到像素处理单元105。

像素处理单元105根据与由坐标处理单元108计算的变形前的坐标值相对应的变形前图像201中的像素的像素值、以及变形前图像201中的像素的周围像素的像素值，来计算变形图像202的关注像素的像素值(S17)。例如，在图2A中，根据与变形前的坐标205相对应的变形前的像素t0的像素值以及周围像素206的像素值，来计算关注像素s0的像素值。在像素值的计算中，使用一般的双线性法(bilinear method)、双三次法(bicubic method)等。

如果像素处理单元105针对关注像素通过坐标处理单元108接收到外部像素信息，则像素处理单元105指定表示变形图像202的外部的值作为关注像素的像素值(S18)。作为表示变形图像202的外部的值，使用当对输出图像203进行投影时未投射光处的值，例如，(0,0,0)的RGB值。像素处理单元105将计算的或指定的关注像素的像素值输出到输出单元102(S19)。

将如下关注像素确定为存在于变形图像202的外部，针对该关注像素确定甚至少于一个像素落在变形图像202外部。像素处理单元105根据与变形前的坐标值相对应的像素的像素值以及周围像素的像素值，计算关注像素的像素值。如果变形前图像201的尺寸和输出图像203的尺寸相同，则当计算变形图像202的边界部分的像素值时，不存在与变形图像202的边界的外部相对应的变形前图像201的像素。结果是，针对变形图像202的边界部分不能生成平滑图像。为了针对变形图像202的边界部分生成平滑图像，将变形前图像201的尺寸设定为稍微大于输出图像203的尺寸，或者将输出图像203的尺寸设定为稍微小于变形前图像201的尺寸是理想的。

通过上述的视频变形单元103的图像变形处理，根据变形前图像201生成包括变形图像202的输出图像203，变形图像202经历了与各种投影面中的各投影面的形状相符合的任意变形。能够投影出使观察者感觉不到视频的失真的视频。

以这种方式，如下图像变形处理成为可能，其中，确定用于计算输出图像203中的变形前的关注像素的坐标值的格点，并且计算或指定输出图像203的所有像素的像素值。该图像变形处理提供了能够应对任意变形的高精确度的变形计算。通过将变形前图像201的图像尺寸设定得相对大，能够针对变形图像202的边界部分生成平滑图像。

第二实施例

下面将描述根据本发明的第二实施例的投影装置、图像处理装置和图像处理方法。在第二实施例中，与第一实施例中相同的附图标记表示相同的部分，并且在某些情况下将不再重复其详细描述。

第一实施例说明了如下布置的示例，在该布置中，为了确定要用于关注像素的坐标变换的变形后的格点p的组，无条件地将块设定为包括确定对象，直到检测到包括块为止。根据该包括确定对象块决定方法，可能通过少的次数检测到包括块，或者可能通过对所有块进行包括确定来将最后的块检测为包括块。此外，当在变形图像202的外部存在关注像素时，针对所有块的包括确定是必要的。通过根据这些过程的包括确定，格点确定单元107的处理负荷是不小的。

例如，当进行扫描以在主扫描方向上向前移动关注像素时，并且在关注像素到达输出图像203的右端并在主扫描方向上向后移动关注像素的情况下，估计关注像素的包括块存在于紧接在前面的关注像素的包括块当中或附近。因此，可想到如下方法：仅使用紧接在前面的关注像素的包括块和邻接块作为包括确定对象，来确定变形后的格点p的组。第二实施例将说明通过减少要经历包括确定的块的数量来减小格点确定单元107的处理负荷的布置。

在图5的框图中示出了根据第二实施例的投影装置100的布置。如图5所示，根据第二实施例的坐标变换单元104包括生成设置在输出图像203外部的格点的生成单元111。其余布置与根据第一实施例的布置(图1)相同。

生成单元111向输出图像203的外部添加格点(在下文中将被称为“扩展格点”)。更具体地，除了现有的存储在存储单元106中的变形后的格点p之外，生成单元111将添加的格点存储在存储单元106中。扩展格点不具有配对的变形前的格点q，并且用来在不由格点确定单元107无条件地将块设定为包括确定对象的情况下，确定变形后的格点p的组。即，格点确定单元107能够通过将总共九个块(即，包括紧接在前面的关注像素的块和与紧接在前面的关注像素的包括块邻接的八个块)设定为包括确定对象，来确定变形后的格点p的组。

图6示出了添加扩展格点的状态。图6示出了图2B所示的一些变形后的格点p(p11至p44这16个点)。生成单元111将扩展格点添加到变形后的格点p。在图6中各自用符号□表示的点e00至e40和e01至e04是被设置在输出图像203的外部的延伸格点。例如，当输出图像203的左上角是原点(x,y)＝(0,0)时，扩展格点e01的坐标值是(p11x,-1)，且扩展格点e10的坐标值是(-1,-p11y)。p11x是格点p11的x坐标，并且p11y是格点p11的y坐标。扩展格点e00的坐标值是(-1,-1)。

如图6所示，如果添加了扩展格点e_xy，则输出图像203中的所有像素都包括在任意块四边形中。注意，可以不将扩展格点e_xy设置在输出图像203的外部而是设置在输出图像203的边界上。在这种情况下，扩展格点e00的坐标值是(0,0)，类似于原点。

将参照图7的流程图说明根据第二实施例的要由视频变形单元103执行的图像变形处理。图7示出了一个像素的图像变形处理，并且针对输出图像203的所有像素重复图7所示的处理。

格点确定单元107将以包括紧接在前面的关注像素的块(在下文中将被称为“紧接在前面的包括块”)为中心的块，确定为包括确定对象块(S21)。例如，当关注像素为d3，紧接在前面的关注像素是d2，并且紧接在前面的包括块是四边形p11p12p22p21时，以下块用作包括确定对象块(图6中的区域602代表包括确定对象块)：

紧接在前面的包括块的四边形：p11p12p22p21

与紧接在前面的包括块邻接的四边形：e00e01p11e10、e01e02p12p11、e02e03p13p12、e10p11p21e20、p11p12p22p21、p12p13p23p22、e20p21p31e30、p21p22p32p31和p22p23p33p32。

当关注像素为d1，紧接在前面的关注像素为d0，并且紧接在前面的包括块为四边形e00e01p11e10时，以下块用作包括确定对象块(图6中的区域601代表包括确定对象块)：

紧接在前面的包括块的四边形：e00e01p11e10

与紧接在前面的包括块邻接的四边形：e01e02p12p11、p11p12p22p21和e10p11p21e20。

然后，格点确定单元107从包括确定对象块中选择关注块(S22)，并且进行关注像素的包括确定(S23)，从而搜索包括块。如果格点确定单元107确定关注块不包括关注像素，则使处理返回到步骤S22以选择下一个关注块。最多只需要对九个对象块依次进行包括确定。

如果格点确定单元107检测到包括块，则其确定是否存在扩展格点e_xy作为包括块的顶点(S24)。如果包括块不具有扩展格点e_xy，则格点确定单元107确定关注像素包括在变形图像202中，并且向坐标处理单元108输出包括块中的各个变形后的格点p的坐标值(S25)。如果包括块具有扩展格点e_xy，则格点确定单元107确定关注像素位于变形图像202的外部，并且向坐标处理单元108输出外部像素信息(S26)。后续处理(S16至S19)与第一实施例中的后续处理相同，并且相同的附图标记表示相同的步骤，并且将不再重复其描述。

以这种方式，通过设定扩展格点e_xy，将包括确定对象块限制在最多九个块中，并且能够防止将块无条件地设定为包括确定对象直到检测到包括块为止。当检测到的包括块具有扩展格点e_xy时，能够确定关注像素存在于变形图像202的外部。因此，能够减少经历包括确定的块的数量，能够简化对关注像素是否存在于变形图像202的外部的确定，并且能够减小格点确定单元107的处理负荷。

通过对格点施加约束，能够仅将六个块设定为包括确定对象。更具体地，当施加代表块的四个边不彼此交叉的约束时，不会撤回包括块。该撤回是在左方向上的转换，在该方向上，当前面的关注像素的包括块为四边形e01e02p12p11时，下一个关注像素的包括块为四边形e00e01p11e10。六个块是通过从3×3的块中排除左端的一列而获得的2×3的块。例如，当在图6中的d3为关注像素时，用作包括确定对象的六个块为以下四边形：

e01e02p12p11、e02e03p13p12、p11p12p22p21、p12p13p23p22、

p21p22p32p31和p22p23p33p32。

变型例

第二实施例说明了使用紧接在前面的关注像素作为基准来确定包括确定对象块的示例。然而，仅需要通过使用与关注像素的上、下、左或右邻接或与关注像素倾斜邻接的、经历了包括确定的像素作为基准，来确定包括确定对象块。例如，格点确定单元107保持横向的一条线的像素的包括块的信息，并且将在上方或斜上方与关注像素邻接的像素的包括块(在下文中被称为“前面的包括块”)设定为包括确定对象块的中心。

第二实施例说明了包括确定对象块的数量在输出图像203的端部改变的示例。然而，可想到包括确定对象块的数量不改变的方法。图8示出了扩展格点e_xy的另一附加示例。参照图8，将扩展格点eaa至e4a和ea0至ea4添加到图6所示的外部扩展格点e00至e40和e01至e04。即，将扩展格点e_xy双倍添加到输出图像203的外部。注意，扩展格点ea1的坐标值为(p11x,-2)，并且扩展格点e1a的坐标值为(-2,p11y)。

例如，在图8中，当关注像素为d1，并且紧接在前面的关注像素为d0时，存在由区域701代表的九个包括确定对象块，并且能够针对输出图像203中的所有关注像素，将3×3的块设定为包括确定对象块。

第一实施例说明了基于预先准备的变形后的格点来进行包括确定的示例。第二实施例说明了引入扩展格点e_xy并且使用经历了包括确定的像素作为基准来确定包括确定对象块的示例。然而，还可以将扩展格点e_xy引入到根据第一实施例的布置。在这种情况下，如果检测到的包括块包括扩展格点e_xy，则能够快速确定关注像素位于变形图像202的外部。换言之，当关注像素位于变形图像202外部时，不需要对所有像素进行包括确定的可能性增大。

还可以将使用经历了包括确定的像素作为基准的对包括确定对象块的确定，引入到根据第一实施例的布置。在这种情况下，能够在短时间内完成包括块的检测。当关注像素位于变形图像202外部时，对所有块的包括确定是必要的。

以上说明了将视频变形单元103并入到投影装置100的示例。然而，也可以将视频变形单元103实施为使用计算机装置的图像处理装置。更具体地，通过记录介质或网络将实施视频变形单元103的功能的程序以及变形后的格点的数据供给到计算机装置。然后，计算机装置输入变形前图像201，并将包括变形图像202的输出图像203供给到投影装置100。

其他实施例

还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存装置以及存储卡等中的一个或更多个。

虽然已经参照示例性实施例对本发明进行了描述，但是应该理解，本发明不限于所公开的示例性实施例。应当对权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。

本申请要求于2014年11月6日提交的日本专利申请第2014-226408号的优先权，其全部内容通过引用并入本文。

Claims

1.一种图像处理装置，其将第一图像变形为第二图像，并且生成包含第二图像的第三图像，所述图像处理装置包括：

存储单元，其被构造为存储表示设置在第二图像中的多个变形后的格点中的各个的位置的坐标值；以及

确定单元，其被构造为基于存储在所述存储单元中的坐标值，确定第三图像中的关注像素是否位于第二图像中。

2.根据权利要求1所述的图像处理装置，其中，所述确定单元还从所述多个变形后的格点中决定与关注像素相对应的变形后的格点组。

3.根据权利要求2所述的图像处理装置，所述图像处理装置还包括：

坐标处理单元，其被构造为基于所述变形后的点组，计算表示与关注像素相对应的、第一图像中的像素位置的坐标值；以及

像素处理单元，其被构造为基于表示第一图像中的像素位置的坐标值，根据第一图像来计算关注像素的像素值。

4.根据权利要求3所述的图像处理装置，其中，在确定关注像素位于第二图像外部的情况下，所述确定单元输出外部像素信息，并且

其中，在所述确定单元输出外部像素信息的情况下，所述像素处理单元将代表第二图像的外部的值指定为关注像素的像素值。

5.根据权利要求3或4所述的图像处理装置，其中，所述像素处理单元将关注像素的像素值作为第三图像提供给视频投影单元。

6.根据权利要求2至5中的任一项所述的图像处理装置，其中，所述确定单元进行如下操作：

选择多边形，所述多边形以包含在所述多个变形后的格点中的至少三个格点为顶点，并且所述多边形内部不具有变形后的格点；

执行包括确定，以确定所选择的多边形是否包括关注像素；以及

在确定所选择的多边形包括关注像素的情况下，将与所选择的多边形的顶点相对应的变形后的格点，决定为所述变形后的格点组。

7.根据权利要求6所述的图像处理装置，其中，在确定由变形后的格点限定的所有多边形均不包括关注像素的情况下，所述确定单元确定关注像素位于第二图像外部。

8.根据权利要求2所述的图像处理装置，所述图像处理装置还包括生成单元，所述生成单元被构造为生成在第三图像的边界或者第三图像外部设置的多个扩展格点，

其中，所述确定单元进行如下操作：

选择多边形，所述多边形具有包含在所述多个变形后的格点和所述多个扩展格点中的至少三个格点，并且所述多边形内部不具有变形后的格点或不具有扩展格点；

在确定未以扩展格点为顶点的所选择的多边形包括关注像素的情况下，将与所选择的多边形的顶点相对应的变形后的格点，决定为所述变形后的格点组。

9.根据权利要求8所述的图像处理装置，其中，在确定以扩展格点为顶点的所选择的多边形包括关注像素的情况下，所述确定单元确定关注像素位于第二图像外部。

10.根据权利要求6至9中的任一项所述的图像处理装置，其中，所述确定单元基于与关注像素邻接并且已完成包括确定的邻接像素，来选择多边形作为关注像素的包括确定的对象。

11.根据权利要求10所述的图像处理装置，其中，所述确定单元选择包括邻接像素的第一多边形以及与第一多边形邻接的第二多边形，作为包括确定的对象。

12.一种视频投影装置，所述视频投影装置包括根据前述权利要求所述的图像处理装置。

13.一种图像处理方法，其将第一图像变形为第二图像并生成包含第二图像的第三图像，所述图像处理方法包括：

存储表示设置在第二图像中的多个变形后的格点中的各个的位置的坐标值；以及

基于所存储的坐标值，确定第三图像中的关注像素是否位于第二图像中。

14.一种程序，其在被加载到计算机时，使所述计算机成为根据权利要求1至11中的任一项所述的图像处理装置。

15.一种存储介质，所述存储介质存储有根据权利要求14所述的计算机程序。