CN102652321A - 图像合成装置以及图像合成程序 - Google Patents

Abstract

具备：矩阵存储器（13），储存将输入图像的部分区域和输出图像的部分区域对应起来的矩阵信息；以及矢量图形处理部（14），根据通过分别规定分割输出图像的多个图形区域的形状的顶点数据以及指定该顶点数据的描绘内容的描绘指令来定义的矢量形式的图形数据描绘图形区域的矢量图形，使用利用矩阵信息规定的对应关系对矢量图形实施坐标变换处理而计算输入图像的纹理坐标，将使用与该纹理坐标对应的输入图像的像素数据来计算出的合成图像数据显示为输出图像。

Description

图像合成装置以及图像合成程序

技术领域

本发明涉及输入对从多个视点观察的实际图像进行摄影而得到的图像数据并对各图像进行视点变换而合成从其他视点观察的合成图像的图像合成装置以及用于使计算机作为该装置发挥功能的图像合成程序。

背景技术

以往，将从对实际图像进行摄像的摄像部输入的图像变换为从规定的虚拟视点观察的虚拟图像的图像处理装置得到了广泛使用。

例如，专利文献1公开的图像处理装置为了简化虚拟图像的生成，具备用于将输出图像的像素位置和输入图像的像素位置对应起来的映射表格。即，在专利文献1公开的图像处理装置中，除了虚拟照相机的像素坐标位置（u，v）与实际照相机的像素坐标位置（U，V）的关系以外，根据需要，将实际照相机的标识符、和由多个照相机对应的情况的各照相机的必要度等记录到映射表格。

另外，在输出图像的1个像素位置对应于输入图像的多个像素位置的情况下，还能够根据与输入图像的像素位置同时参照的各像素的必要度，合成这些像素值。

以往的图像处理装置如以上那样构成，所以能够简易地得到输出图像的像素位置与输入图像的像素位置的关系。

但是，在映射表格中，需要以像素单位储存必要的信息，所以存在存储器规模增大这样的课题。

发明内容

本发明是为了解决上述那样的课题而完成的，其目的在于得到一种无需使用像素单位的映射表格而能够削减存储器容量，同时简易地得到输出图像的像素位置与输入图像的像素位置的关系的图像合成装置以及用于使计算机作为该装置发挥功能的图像合成程序。

专利文献1：日本特开2008－48266号公报

本发明的图像合成装置具备：图像输入部，取入多个输入图像；图像存储器，储存由图像输入部取入的输入图像；矩阵存储器，按照形成部分区域的图形单位，储存将输入图像的部分区域和输出图像的部分区域对应起来的矩阵信息；矢量图形处理部，输入通过分别规定分割输出图像的多个图形区域的形状的顶点数据以及指定该顶点数据的描绘内容的描绘指令来定义的矢量形式的图形数据，根据该图形数据描绘图形区域的矢量图形；图像合成部，使用利用从矩阵存储器读出的矩阵信息规定的对应关系，对由矢量图形处理部描绘出的矢量图形实施坐标变换处理，计算输入图像的纹理坐标，并且使用从图像存储器读出的与该纹理坐标对应的输入图像的像素数据，计算该输入图像和输出图像的合成图像数据；显示用存储器，储存图像合成部计算出的合成图像数据；以及显示控制部，将从显示用存储器读出的合成图像数据作为输出图像而显示于显示装置的画面上。

根据本发明，具备：矩阵存储器，按照形成部分区域的图形单位，储存将输入图像的部分区域和输出图像的部分区域对应起来的矩阵信息；以及矢量图形处理部，输入通过分别规定分割输出图像的多个图形区域的形状的顶点数据以及指定该顶点数据的描绘内容的描绘指令来定义的矢量形式的图形数据，根据该图形数据描绘图形区域的矢量图形，使用利用从矩阵存储器读出的矩阵信息规定的对应关系，对由矢量图形处理部描绘出的矢量图形实施坐标变换处理，计算输入图像的纹理坐标，将使用与该纹理坐标对应的输入图像的像素数据计算出的合成图像数据，作为输出图像，显示于显示装置的画面上。

这样，通过使用将输出图像的部分区域和输入图像的部分区域对应起来的矩阵信息来进行图像合成，具有相比于使用像素单位的映射表格的情况能够削减存储器容量这样的效果。

附图说明

图1是示出本发明的实施方式1的图像合成装置的结构的框图。

图2是示出矢量形式的图形数据的一个例子的图。

图3是示出输出图像的区域分割的一个例子的图。

图4是示出输出图像的部分区域和输入图像的部分区域的对应例的图。

图5是示出实施方式1的图像合成装置的动作的流程的流程图。

图6是示出本发明的实施方式2的图像合成装置的动作的流程的流程图。

具体实施方式

以下，为了更详细地说明本发明，按照附图，说明具体实施方式。

实施方式1.

图1是示出本发明的实施方式1的图像合成装置的结构的框图。在图1中，实施方式1的图像合成装置10具备图像输入部11、图像存储器12、矩阵存储器13、矢量图形处理部14、图像合成部15、显示用存储器16以及显示控制部17。图像输入部11是从多个输入图像（静止图像或者运动图像）1、2、3、4、…中，选择取入对象的图像数据，对图像存储器12进行写入的结构部。例如，图像输入部11也可以构成为保持用于临时保存图像数据的几行量的临时缓冲器（temporary buffer）。

矩阵存储器13是保持将输入图像的部分区域和输出图像的部分区域对应起来的矩阵信息的存储部，按照形成部分区域的图形单位保持矩阵信息。关于矩阵信息，只要将输出图像与输入图像的关系预先决定为1个，则在开始图像合成之前仅进行1次计算，并将计算结果的矩阵信息储存到矩阵存储器13，则在图像合成的途中无需进行变更。另外，在切换使用多个输入图像与输出图像的关系的情况下，如果将与各场景对应的矩阵信息预先储存到矩阵存储器13，并在图像合成时切换将使用哪个矩阵信息，则还能够对应于视点变更。

矢量图形处理部14是输入并接收通过将输出图像（显示画面）分割为多个区域而作为结果得到的顶点数据、和由指定使用了顶点数据的描绘内容的描绘指令构成的指令列来定义的矢量形式的图形数据，并根据这些来生成矢量图形的结构部。

图2是示出矢量形式的图形数据的一个例子的图。在图2的例子中，由与5个描绘指令对应的顶点数据构成图形。在描绘曲线的情况下，通过指定图形的终点和控制点来进行描绘。

此处，区域分割如图3所示，不限于一般的三角形（参照图3（a））、四边形（参照图3（b））等，也可以使用一部分轮廓线包括曲线的矢量图形来分割（参照图3（c））。例如，在输入图像是来自失真大的广角照相机的输入的情况下，通过按照矢量图形分割输出图像（显示画面），能够抑制照相机的镜头失真的影响。

图4是示出矩阵存储器13中保存的输出图像的部分区域与输入图像的部分区域的对应关系的一个例子的图。例如，在如图4那样输入图像内的三角形的区域与输出图像（显示画面）的三角形的区域对应的情况下，能够将两者的对应关系如以下那样表现为2×3的矩阵。

其中，将变换矩阵的第i行j列分量表现为Mij，输入图像内的点（X，Y）对应于输出图像的点（X’，Y’）。另外，X’和Y’成为下述式（1）的关系。矢量图形处理部14判定矢量图形的内部中包含的区域，将进行描绘的像素的XY坐标输出到图像合成部15。

X’=（M00·X+M01·Y+M02）

Y’=（M10·X+M11·Y+M12）…（1）

图像合成部15使用矩阵存储器13的信息对图像存储器12中保存的图像进行规定的坐标变换处理，将其结果针对矢量图形进行纹理映射。另外，图像合成部15计算与进行描绘的像素对应的存储器的物理地址和描绘数据（描绘颜色）并储存到显示用存储器16。在矩阵存储器13中，保存了以图形为单位的变换矩阵（矩阵信息），而不是以像素为单位，所以图像合成部15针对矢量图形的内部的像素，通过插值计算纹理坐标。显示控制部17从显示用存储器16读出数据，生成与LCD、液晶显示器等各显示装置对应的同步信号来进行画面显示。

在图1的例子中，假设了图像输入部11、图像存储器12、矩阵存储器13、矢量图形处理部14、图像合成部15、显示用存储器16、以及显示控制部17分别由例如安装MPU（Micro Processing Unit，微处理单元）的半导体集成电路基板等专用的硬件构成的情况，但不限于此。

例如，也可以将记述了构成图像合成装置10的、图像输入部11、图像存储器12、矩阵存储器13、矢量图形处理部14、图像合成部15、显示用存储器16以及显示控制部17的处理内容的图像合成程序储存到计算机的存储器，该计算机的CPU（Central Processing Unit，中央处理单元）执行该存储器中储存的图像合成程序，从而实现为该计算机的硬件和软件协作而得到的结构部11~17。

另外，在该计算机中，例如，除了个人计算机以外，还包括能够执行后述图像合成程序的便携电话、便携信息终端、汽车导航装置等。

接下来，说明动作。

图5是示出实施方式1的图像合成装置的动作的流程的流程图。根据该图，详细说明实施方式1的图像合成处理。

首先，图像合成装置10通过从搭载本装置10的系统的CPU接收合成处理开始命令，开始动作。其中，需要在动作开始之前，预先设定矩阵存储器13的内容。

图像输入部11如果接收到上述合成处理开始命令，则从输入图像（静止图像或者运动图像）1、2、3、4、…中选择取入对象的图像数据，储存到图像存储器12（步骤ST1）。图像输入部11直至合成对象的所有图像的取入完成为止，反复进行步骤ST1的处理（步骤ST2）。

如果通过图像输入部11，合成对象的所有图像的取入完成，则矢量图形处理部14输入通过顶点数据和指令列来定义的矢量形式的图形数据，开始矢量图形的描绘（步骤ST3）。此时，矢量图形处理部14判定矢量图形的轮廓线是否包括曲线（步骤ST4）。在矢量图形的轮廓线是曲线的情况下（步骤ST4：“是”），矢量图形处理部14将轮廓线分割为微小线段（步骤ST5）。

在轮廓线不包括曲线的情况下（步骤ST4：“否”）、或者在步骤ST5中将轮廓线分割为微小线段之后，矢量图形的轮廓线仅由直线构成，所以能够使用一般的图形的内外判定方法的手法容易地判定图形的内部中包含的区域。因此，矢量图形处理部14计算图形的内部中包含的像素的XY坐标，将该XY坐标输出到图像合成部15（步骤ST6）。

图像合成部15从矩阵存储器13读出与当前描绘着的图形对应的矩阵信息，对从矢量图形处理部14输入的像素的XY坐标（X，Y），按照下述式（2）进行坐标变换（步骤ST7）。其结果，得到输入图像的纹理坐标（U，V）。其中，使变换矩阵成为3行3列而如Mij那样表示第i行j列分量。另外，在下述式（2）中，为了透视校正（perspectivecorrection），除以W。在变换矩阵的第3行是M20=M21=0、M22=1的情况下，成为通常的仿射变换，所以不需要利用W进行除法。

U=（M00·X+M01·Y+M02）/W

V=（M10·X+M11·Y+M12）/W

W=M20·X+M21·Y+M22

…（2）

接下来，图像合成部15从图像存储器12读出与纹理坐标（U，V）对应的输入图像的像素，计算与进行描绘的像素对应的存储器的物理地址和描绘数据（描绘颜色）并储存到显示用存储器16（步骤ST8）。此时，也可以读出多个输入图像的像素，进行双线性等的滤波处理。

此处，本发明的图像合成装置10假设有多个输入图像，所以需要判别纹理坐标（U，V）对应于哪个输入图像。

因此，例如也可以对矩阵存储器13附加表示是对应于哪个输入图像的矩阵的标识符。另外，也可以在将输入图像储存到图像存储器12时，同时进行缩小·滤波处理等，在图像合成部15读出时，能够作为1个输入图像进行处理。

如果图像合成部15针对当前描绘着的图形的内部中包含的所有像素，结束了步骤ST7至步骤ST8的处理，则对输出图像（显示画面）进行区域分割而得到的所有图形区域的描绘完成，判定输出图像的生成是否结束（步骤ST9）。在输出图像的生成未结束的情况下（步骤ST9：“否”），反复实施步骤ST3至步骤ST8的处理。如果输出图像的生成结束（步骤ST9：“是”），则显示控制部17从显示用存储器16读出1帧量的数据，生成与LCD、液晶显示器等显示装置对应的同步信号来进行画面显示（步骤ST10）。

进而，图像合成部15判定是否需要接下来的帧的图像合成（步骤ST11）。此时，在需要的情况下（步骤ST11：“是”），反复进行步骤ST1至步骤ST10的处理。在无需接下来的帧的图像合成的情况下（步骤ST11：“否”），结束图像合成。

另外，在上述说明中，为便于说明，以图像合成装置10的各构成要素顺序地动作的情况为例子进行了说明，但在希望提高图像合成性能的情况下，也可以使图像存储器12、显示用存储器16分别成为双缓冲（double buffer）结构，而使针对图像存储器12的图像输入用的写入和图像合成用的读出、针对显示用存储器16的图像合成结果的写入和显示用的读出等并行地动作。

如以上那样，根据该实施方式1，具备：矩阵存储器13，按照形成部分区域的图形单位，储存将输入图像的部分区域和输出图像的部分区域对应起来的矩阵信息；以及矢量图形处理部14，输入通过分别规定分割输出图像的多个图形区域的形状的顶点数据以及指定该顶点数据的描绘内容的描绘指令定义的矢量形式的图形数据，根据该图形数据描绘图形区域的矢量图形，使用通过从矩阵存储器13读出的矩阵信息规定的对应关系，对由矢量图形处理部14描绘出的矢量图形实施坐标变换处理，计算输入图像的纹理坐标，将使用与该纹理坐标对应的输入图像的像素数据而计算出的合成图像数据作为输出图像而显示于显示装置的画面上。这样，通过使用将输出图像的部分区域和输入图像的部分区域对应起来的矩阵信息来进行图像合成，相比于使用像素单位的映射表格的情况能够削减存储器容量。

另外，根据该实施方式1，即使矢量形式的图形数据是通过用在轮廓线的一部分中包括曲线的图形区域分割输出图像而得到的顶点数据以及指定该顶点数据的描绘内容的描绘指令定义的图形数据，由于矢量图形处理部14将该轮廓线分割为微小线段而描绘该图形区域的矢量图形，所以不限于三角形、四边形等，而能够使用一部分轮廓线包括曲线的矢量图形对显示画面进行区域分割，能够根据输入图像的种类使合成处理高效化。

进而，该实施方式1还能够在将字体、GUI（Graphical UserInterface，图形用户界面）画面等矢量图形、和照相机输入的合成图像重叠显示于1个画面中那样的用途中容易实现。

实施方式2.

在上述实施方式1中，示出了图像合成装置10将多个输入图像合成为1个而显示的情况，但图像合成装置10还具有通常的矢量图形描绘功能，所以也可以将矢量图形单独、或者与合成图像重叠地显示。

该实施方式2中的图像合成装置的结构本身与上述实施方式1相同，但与上述实施方式1不同之处在于，如上所述将矢量图形单独、或者将矢量图形与合成图像重叠地显示。因此，对于实施方式2的图像合成装置的结构，参照上述实施方式1所示的图1。另外，以后，作为例子，说明将合成图像和矢量图像（字体等）重叠显示的情况。

接下来，说明动作。

图6是示出本发明的实施方式2的图像合成装置的动作的流程的流程图。图像合成装置10通过从搭载本装置10的系统的CPU接收图形描绘开始命令，开始动作。其中，此时，设与上述实施方式1同样地完成了合成图像的生成。

矢量图形处理部14如果接收到上述图形描绘开始命令，则输入通过顶点数据和指令列来定义的矢量形式的图形数据，开始矢量图形的描绘（步骤ST12）。矢量图形处理部14判定矢量图形的轮廓线是否包括曲线（步骤ST13）。此处，在矢量图形的轮廓线是曲线的情况下（步骤ST13：“是”），矢量图形处理部14将轮廓线分割为微小线段（步骤ST14）。

在轮廓线不包括曲线的情况下（步骤ST13：“否”）或者在步骤ST14中将轮廓线分割为微小线段之后，矢量图形的轮廓线仅由直线构成，所以能够使用一般的图形的内外判定方法的手法容易地判定图形的内部中包含的区域。因此，矢量图形处理部14计算图形的内部中包含的像素的XY坐标，将该XY坐标输出到图像合成部15（步骤ST15）。

图像合成部15计算与从矢量图形处理部14输入的像素的XY坐标对应的存储器的物理地址和描绘数据（描绘颜色）（步骤ST16）。作为描绘颜色，在用单色来涂抹图形的情况下，输出固定颜色，在进行分级（gradation）涂抹的情况下，通过在图像合成部15中进行颜色的插值来应对。

接下来，图像合成部15暂时读出显示用存储器16中储存的合成图像，并在与描绘颜色之间进行了混合运算（blend arithmetic）之后，写回到显示用存储器16（步骤ST17）。

如果图像合成部15针对当前描绘着的图形的内部中包含的所有像素，结束步骤ST16至步骤ST17的处理，则对输出图像（显示画面）进行区域分割而得到的所有图形区域的描绘完成，判定输出图像的生成是否结束（步骤ST18）。

在输出图像的生成未结束的情况下（步骤ST18：“否”），反复实施步骤ST12至步骤ST17的处理。如果输出图像的生成结束（步骤ST18：“是”），则显示控制部17从显示用存储器16读出1帧量的数据，生成与LCD、液晶显示器等显示装置对应的同步信号而进行画面显示（步骤ST19）。

如以上那样，根据该实施方式2，矢量图形处理部14具备：以与上述实施方式1同样地由图像输入部11进行的输入图像的取入完成为契机而开始矢量图形的描绘的模式；以及依照来自CPU的描绘开始命令开始矢量图形的描绘的模式，图像合成部15将在显示用存储器16中储存的合成图像数据与由矢量图形处理部14描绘出的矢量图形数据之间进行混合运算而得到的结果作为合成图像数据储存到显示用存储器16。由此，能够通过同一图像合成装置实现图像合成和矢量图形的描绘这样的不同的2个功能，所以能够削减硬件规模。

（产业上的可利用性）

本发明的图像合成装置无需使用像素单位的映射表格而能够削减存储器容量，同时简易地得到输出图像的像素位置与输入图像的像素位置的关系，所以能够适用于车载照相机系统、监视照相机系统等。

Claims (6)

1.一种图像合成装置，其特征在于，具备：

图像输入部，取入多个输入图像；

图像存储器，储存由所述图像输入部取入的输入图像；

矩阵存储器，关于将所述输入图像的部分区域和输出图像的部分区域对应起来的矩阵信息，按照形成所述部分区域的图形单位进行储存；

矢量图形处理部，输入通过分别规定分割所述输出图像的多个图形区域的形状的顶点数据以及指定该顶点数据的描绘内容的描绘指令来定义的矢量形式的图形数据，根据该图形数据描绘所述图形区域的矢量图形；

图像合成部，使用由从所述矩阵存储器读出的矩阵信息规定的对应关系，对由所述矢量图形处理部描绘出的矢量图形实施坐标变换处理，计算所述输入图像的纹理坐标，并且使用从所述图像存储器读出的与该纹理坐标对应的所述输入图像的像素数据，计算该输入图像和所述输出图像的合成图像数据；

显示用存储器，储存所述图像合成部计算出的所述合成图像数据；以及

显示控制部，将从所述显示用存储器读出的所述合成图像数据作为所述输出图像而显示于显示装置的画面上。

2.根据权利要求1所述的图像合成装置，其特征在于，

所述矢量图形处理部具备以完成由所述图像输入部进行的输入图像的取入为契机而开始矢量图形的描绘的模式、和依照描绘开始命令开始所述矢量图形的描绘的模式。

3.根据权利要求1所述的图像合成装置，其特征在于，

所述图像合成部将在所述显示用存储器中储存的合成图像数据与由所述矢量图形处理部描绘出的矢量图形数据之间进行混合运算而得到的结果作为合成图像数据而储存于所述显示用存储器。

4.根据权利要求1所述的图像合成装置，其特征在于，

所述矢量形式的图形数据是通过用在轮廓线的一部分中包括曲线的图形区域对所述输出图像进行分割而得到的顶点数据以及指定该顶点数据的描绘内容的描绘指令来定义的图形数据，

所述矢量图形处理部如果根据所述图形数据判定为所述图形区域在轮廓线的一部分中包括曲线，则将该轮廓线分割为微小线段而描绘该图形区域的矢量图形。

5.根据权利要求1所述的图像合成装置，其特征在于，

将所述图像存储器以及所述显示用存储器分别设为双缓冲结构，并行地进行针对所述图像存储器的所述输入图像的储存和像素数据的读出，并行地进行针对所述显示用存储器的合成图像数据的储存和读出。

6.一种图像合成程序，用于使计算机作为如下部件发挥功能：

图像输入部，取入多个输入图像；

图像存储器，储存由所述图像输入部取入的输入图像；

矩阵存储器，关于将所述输入图像的部分区域和输出图像的部分区域对应起来的矩阵信息，按照形成所述部分区域的图形单位进行储存；

矢量图形处理部，输入通过分别规定分割所述输出图像的多个图形区域的形状的顶点数据以及指定该顶点数据的描绘内容的描绘指令来定义的矢量形式的图形数据，根据该图形数据描绘所述图形区域的矢量图形；

图像合成部，使用由从所述矩阵存储器读出的矩阵信息规定的对应关系，对由所述矢量图形处理部描绘出的矢量图形实施坐标变换处理，计算所述输入图像的纹理坐标，并且使用从所述图像存储器读出的与该纹理坐标对应的所述输入图像的像素数据，计算该输入图像和所述输出图像的合成图像数据；

显示用存储器，储存所述图像合成部计算出的所述合成图像数据；以及

显示控制部，将从所述显示用存储器读出的所述合成图像数据作为所述输出图像而显示于显示装置的画面上。

Images