CN102164236A - 图像处理方法、图像处理装置、以及摄像装置 - Google Patents

Abstract

本发明涉及图像处理方法和图像处理装置以及摄像装置。其目的在于，利用分割输出图像为多个区域、并预先制备保存了各个区域的顶点所对应的输入图像坐标值的查询表来对输入图像实行图像变形、并获得图像变形之后的输出图像的图像处理方法时，即使输出图像中存在不连续点，也能够获得所需的输出图像。该图像处理方法在查询表中保存至少一部分区域中的至少一部分顶点所对应的输入图像中的多个坐标值，从中选择所需的坐标值用于插值运算。具体为，查询表中的各个地址中包括输入图像坐标值、另外的坐标值的参考地址、以及表示该参考地址有效或无效的旗，当该旗为无效时，选择该地址的坐标值，而有效时，则选择参考地址表示的地址的坐标值。

Description

图像处理方法、图像处理装置、以及摄像装置

技术领域

本发明涉及根据使用状况对拍摄后的图像进行各种图像变形处理的图像处理方法和图像处理装置，并涉及使用该图像处理方法和装置的摄像装置。

背景技术

现有的车载照相机在对拍摄后的图像进行变形补偿或转动补偿以及俯视补偿等必要的图像变形处理时，为了处理高速化，利用记录了输入图像坐标值与输出图像坐标值之间的对应关系的查询表来进行处理。然而，最近的摄像元件因像素量膨大，造成对应于像素的查询表所需要的存储容量趋于增大，而且，需要对各个图像变形处理分别制备查询表，因而，目前存在的各种图像变形处理要求难免造成查询表规模增大以及成本上升。

对此，例如专利文献1(JP特开2009-010730号公报)公开了以下图像处理方法。即将输出图像切割成多个区域，并利用记录了每个区域的顶点像素所对应的输入图像中的坐标值的查询表，当查询表中不存在对应于输出图像中的注目像素所对应的输入图像中的坐标值时，用线性插值处理计算该坐标值，减小查询表所需要的存储容量，通过简单的结构来进行廉价且高速的各种图像变形处理。

例如，在放大显示拍摄图像及输入图像的某个部分时，如图13A所示，将输出图像在X方向上每隔a个像素且在Y方向上每隔b个像素分割且形成多个区域，如图13B中为6×4个区域，对各个区域中的每个像素，如图13B为具有7×5个像素，制备查续表，该查询表中保存了与每个区域的顶点像素所对应的拍摄图像上的坐标值。在图13B中显示了标号1至35表示赋予各个区域的顶点像 素的编号即顶点像素编号。对每个顶点像素编号，在查询表中保存了对应于该顶点像素的拍摄图像中的坐标值。

当输出图像中的注目像素与顶点像素一致时，从查询表取得该顶点编号地址所对应的拍摄图像中的坐标值(坐标转换的坐标值)。而当输出图像中的注目像素与顶点像素不一致时，则从查询表取得包含该像素的区域的4个顶点像素即参考像素所对应的拍摄图像上的4个坐标值，并根据该4个坐标值进行线性插值处理，算出输出图像中的注目像素所对应的坐标值。而后，将拍摄图像中的上述坐标值所对应的像素的像素值作为输出图像中的注目像素的像素值输出。此时，如果拍摄图像中不存在上述坐标值对应的像素，则根据拍摄图像中该坐标值周围的4个像素即参考像素的像素值来进行线性插值处理，算出该像素的像素值。

根据专利文献1公开的图像处理方法，能够用小规模的查询表来实现以图14A和图14B所示的数字化处理所代表的复杂的图像处理。但是，将拍摄图像两侧等分割出来进行显示的画与画(Picture by Picture，即P by P)画面作为输出图像时，因缺少图像中间部分，输出图像中存在不连续的部分，为此，无法简单地用专利文献1所述的图像处理方法来实现图像处理。此外，在显示像素面中的子画面的画中画(Picture in Picture，即P in P)画面时，子画面和原画面的边界不连续，同样不能够用专利文献1公开的图像处理方法来简单实现图像处理。

图14A和图14B是画中画画面的模式性示意图。图14A是从拍摄元件中得到的拍摄图像。图14B是利用该拍摄图像实行P by P的输出图像，即分割出拍摄图像的左侧的A区域图像和右侧的B区域图像来进行数字放大显示。输出图像的区域分割数量与图13B相同。在此，对比图13B和图14B可知，图14B中不连续点中的参考顶点数据的数量相对增多，因此，与图13B相比，图14B需要在查询表中记录更多的顶点数。也就是说，若要获得图13B的输出图像，需要在查询表中保存的顶点数量为7×5＝35，而若要获得图14B的输出图像，则需要在查询表中保存的顶点数量为4×5+4×5＝40。这样，在利用查询表并用线性插值来计算像素所对应的拍摄图像中的坐标值时，不能简单地实现不连续点的计算，而需要进行复杂的处理。

发明内容

针对上述问题，本发明提供一种图像处理方法以及图像处理装置，其目的在于，在对输入图像进行所需要的图像变形后获得输出图像时，将输出图像分割为多个区域，并预先制备各个区域的顶点像素的查续表，该查询表中保存了输入图像中的坐标值，当进行线性插值时，利用该查续表来计算任意输出图像所对应的输入图像中的坐标值，这样，即便在输出图像中存在不连续点，也能够方便地获得所要的输出图像。

此外，本发明的目的还在于提供内藏上述图像处理装置、且能够简单输出画与画输出图像或画中画输出图像的图像摄像装置。

(1)本发明的一个方面为提供一种图像处理方法，其将输出图像分割为多个区域，预先对各个区域的每个顶点制备顶点数据存储器，其中保存对应于该顶点的输入图像中的坐标值，参考该顶点数据存储器，对任意输出像素所对应的输入图像中的坐标值进行插值运算来实行图像变形，获得对输入图像进行了所需图像变形之后的输出图像，其特征在于，在该顶点数据存储器中保存至少一部分区域中的至少一部分顶点所对应的输入图像中的多个坐标值，在插值运算中使用从该多个坐标值中选择的一个坐标值。

(2)本发明的另一个方面为提供根据(1)所述的图像处理方法，其特征在于，所述多个坐标值被保存在所述顶点数据存储器内的各自的地址中。

(3)本发明的另一个方面为提供根据(2)所述的图像处理方法，其特征在于，在所述顶点数据存储器中，对应于各个地址所保存的数据中包括输入图像中的一个坐标值、其他坐标值的参考地址、以及表示该参考地址有效或无效的旗。

(4)本发明的另一个方面为提供根据(3)所述的图像处理方法，其特征在于，在读取所述顶点数据存储器中所述顶点所对应的地址的数据后，若该数据中的旗表示参考地址无效，则选择该地址的坐标值，而若该数据中的旗表示参考地址有效，则读取该参考地址所表示的地址的数据，并选择该参考地址表示的地址的数据中的坐标值。

(5)本发明的另一个方面为提供根据(3)所述的图像处理方法，其特征在于，所述旗包括所述区域的左上顶点、右上顶点、左下顶点、右下顶点对应的4个旗。

(6)本发明的另一个方面为提供根据(4)所述的图像处理方法，其特征在于，当读取所述参考地址所表示的地址的数据，且该数据中的旗表示该参考地址为有效时，进一步读取该被读取了的数据中的参考地址所表示的地址的数据，而后，重复进行直到该数据中的旗表示参考地址无效为止。

(7)本发明的另一个方面为提供根据(4)所述的图像处理方法，其特征在于，根据获得的输出图像，忽视读取数据中的旗，选择该数据中的坐标值。

(8)本发明的另一个方面为提供根据(1)所述的图像处理方法，其特征在于，具备插值运算用顶点数据存储器，用于暂时保存至少一个区域中4个顶点所对应的输入图像中的4个坐标值，并且，参考所述顶点数据存储器，依次选择处理对象区域的4个顶点所对应的输入图像上的4个坐标值，将其保存到该插值运算用顶点数据存储器中，并用该插值运算用顶点存储器中保存的4个坐标值，依次对该区域中输出图像所对应的输入图像上的各个坐标值进行插值运算。

(9)本发明的另一个方面为提供根据(8)所述的图像处理方法，其特征在于，在参考所述顶点数据存储器来选择处理对象区域的4个顶点所对应的输入图像上的4个坐标值、将其保存到所述插值运算用顶点数据存储器中时，用该插值运算用顶点数据存储器中保存的4个坐标值，来并行地实行该处理对象区域中输出图像所对应的输入图像中的各个坐标值的插值运算处理。

(10)本发明的另一个方面为提供一种图像处理装置，其中包括：A/D转换部，用于将模拟信号的图像数据转换为数字信号的图像数据；图像缓冲部，用于暂时保存该数字信号的图像数据；同期信号生成部，用于生成水平同期信号、垂直同期信号、以及时钟信号；图像读取部，与该水平同期信号、垂直同期信号、以及时钟信号同步地读取该图像缓冲部中保存的数字信号的图像数据；以及，图像变形部，其特征在于，所述图像变形部采用权利要求1至9所述的图像处理方法来对输入图像进行图像变形， 并获得经图像变形后的输出图像。

(11)本发明的另一个方面为提供一种摄像装置，其中包括：光学系统；拍摄元件，将该光学系统拍摄的光学图像转换为电信号；以及，图像处理装置，用于处理经该拍摄元件转换后的电信号的输入图像，其特征在于，所述图像处理装置为权利要求10所述的图像处理装置。

本发明的效果在于，顶点数据存储器作为查询表，其中保存至少一部分区域的至少一部分顶点所对应的输入图像中的多个坐标值，在插值运算中使用从该多个坐标值中选择一个坐标值，这样，即使在画与画图像或画中画图像等输出图像中存在不连续点的情况下，也能够容易地获得所要的输出图像。

附图说明

图1是采用本发明图像处理装置的图像摄像装置的一个实施形态的功能模块图。

图2是图1所示图像变形部的详细结构的示意图。

图3A和图3B是垂直同步信号、水平同步信号、以及时钟信号等的时间图。

图4是示例性显示输出图像区域分割的图。

图5A和图5B是输入图像和画与画输出图像的示例性示意图。

图6顶点数据存储器中用于获得图5的输出图像的一例查询表。

图7是显示区域中4个顶点数据生成处理、以及该区域中各个坐标的插值运算处理之间时间关系的图。

图8是另一显示区域中4个顶点数据生成处理、以及该区域中各个坐标的插值运算处理之间时间关系的图。

图9是顶点数据地址决定部的示例性处理流程图。

图10是顶点数据读取部的示例性显示处理流程图。

图11A、图11B以及图11C是输入图像和画与画输出图像的示例性示意图。

图12顶点数据存储器中用于获得图11的输出图像的一例查询表。

图13A和图13B是表示输入图像与放大显示的输出图像之间对应关系的示意图。

图14A和图14B是用于说明现有技术在显示画与画输出图像时的问题的示意图。

标记说明

10同步信号生成部

20拍摄元件

30A/D转换部

40拜耳插值部

50图像缓冲部

60图像读取部

70D/A转换部

80图像变形部

801顶点数据地址决定部

802顶点数据读取部

803双线性插值用顶点数据保存部

804双线性插值运算部

805顶点数据存储器

具体实施方式

以下参考附图详细说明一例本发明的实施方式。

图1是本发明摄像装置的一个实施形态的功能模块图，其中包括实行本发明图像处理方法的图像处理装置。摄像装置还包括操作部、图像显示部、以及控制各部分动作的控制部等，图1省略了这些部分的显示。

如图1所示，同步信号生成部10用于生成使装置各个部分动作的同步信号以及时钟信号，其中，同步信号包括水平同步信号以及垂直同步信号，这些同步信号以及时钟信号被送往拍摄元件20以及图像变形部80。

拍摄元件20用于将为图示光学系统拍摄的光学图像转换为电信号即图像信号，该拍摄元件20例如由CCD或CMOS传感器等构成。该拍摄元件20中设置拜耳排列的滤色器，根据来自同步信号生成部10的水平/垂直同步信号以及时钟 信号，依次输出拜耳排列的RGB图像信号。

A/D转换部30用于将拍摄元件20输出的模拟信号即拜耳排列的RGB图像信号转换为数字信号的图像数据，并送往拜耳插值部40。一个像素的图像数据即一个像素数，例如RGB分别以8比特构成。A/D转换部30的前段一般设置AGC电路，用于将拍摄元件20输出的图像信号放大到设定值，但在此省略。

拜耳插值部40用于输入转换为数字信号的拜耳排列的RGB图像数据，用线性插值生成RGB各色独立的全坐标位置的图像数据，并送往图像缓冲部50。

图像缓冲部50用于暂时保存来自拜耳插值部40的图像数据。该图像缓冲部50由DRAM等帧缓冲存储器构成，其中保存一个画面即一帧或一帧以上的图像数据即原始拍摄图像。

图像读取部60与水平/垂直同步信号以及时钟信号同步地对图像缓冲部(帧缓冲存储器)进行光栅扫描，从该图像缓冲部50依次读取图像数据(像素数据)。具体为，该图像读取部60与水平/垂直同步信号以及时钟信号同步地从下述图像变形部80依次接受坐标转换后的X坐标值以及Y坐标值，根据该X坐标值和Y坐标值依次计算图像缓冲部50的地址即坐标变换前地址，将其作为以水平/垂直同步信号以及时钟信号的计数值所表示的地址即坐标变换后地址，来读取图像缓冲部50中上述算出了的地址中的图像数据即像素数据。其结果，图像缓冲部50中保存的原始拍摄图像经过预定图像变形后，从图像读取部60输出，从而获得图像变形后的输出图像。

D/A转换部70用于将图像读取部60输出的数字信号即图像数据转换成适用于所使用的显示装置的显示形式的模拟信号即影像信号，如NTSC方式的影像信号。D/A转换部70用通信线等连接未图示外部显示装置，在该显示装置上显示来自D/A转换部70的影像信号。

图像变形部80输入同步信号生成部发送的水平/垂直同步信号以及时钟信号，并计算坐标转换前的X坐标值以及Y坐标值，该X坐标值以及Y坐标值为图像读取部60从图像缓冲部50读取图像变形后的图像数据时的坐标转换前地址的基础，并与水平/垂直同步信号以及时钟信号同步地依次输出这些信号。本发明涉及该图像变形部80。关于该图像变形部80将在以下详细说明。

在此，如果图像缓冲部50能够至少保存两张画面的图像数据，则该图像 缓冲部50的写入读取动作可采用双缓冲方式。所谓双缓冲方式是指，反复地在用帧单位交替地在一方存储区域中写入当前的一帧图像数据的同时从另一方存储区域中读取前一帧图像数据的方式。采用双缓冲方式有利于实现高速化处理。

以下详细说明本发明的主要部分即图像变形部80。

图2是一例显示图像变形部80的详细结构的模块图。在此，图像变形部80包括顶点数据地址决定部801、顶点数据读取部802、作为插值运算用顶点数据存储器的双线性插值顶点数据存储部803、双线性插值运算部804、以及作为查询表的顶点数据存储器805。

图像变形部80输入VSYNC_IN、HSYNC_IN、时钟，输出VSYNC_OUT、HSYNC_OUT、时钟、X_OUT、Y_OUT。其中，VSYNC_IN是本摄像装置中用于测定垂直方向时刻的信号即垂直同步信号，HSYNC_IN是本摄像装置中用于测定水平方向时刻的信号即水平同步信号，图1所示的同步信号生成部10提供VSYNC_IN、HSYNC_IN以及时钟。VSYNC_OUT、HSYNC_OUT为相对于VSYNC_IN、HSYNC_IN延迟预定时间的信号。X_OUT、Y_OUT是在图像读取部60读取图像缓冲部50中经图像变形后的图像数据时，用于计算地址的X坐标值和Y坐标值，其中X_OUT表示坐标转换前的X坐标，Y_OUT表示表示坐标转换前的Y坐标。X_OUT和Y_OUT与VSYNC_OUT和HSYNC_OUT同步输出。

图3A是显示VSYNC_IN、HSYNC_IN的时间图。图3虽然是隔行方式例，但其同样适用于逐行方式。通过对VSYNC_IN信号的边缘上升/边缘下降、HSYNC_IN信号的上升以及时钟数进行计数，可确定输出图像上的坐标。为此，可通过预先计算VSYNC_IN、HSYNC_IN与VSYNC_OUT、HSYNC_OUT以及X_OUT、Y_OUT之间的延迟量，根据X_OUT、Y_OUT来确定输出图像上的坐标所对应的图像缓冲中的输入图像即拍摄图像上的坐标即转换前坐标。

在此，设定保存在图像缓冲部50中的输入图像大小为640×480，并设定在水平扫描方向(X方向)以a＝160，且在垂直扫描方向(Y方向)以b＝120的大小来将输出图像分隔成多个区域。图4显示输出图像的区域与顶点编号的关系。图4整体显示640×480的输出图像，在此被分割为16个区域。对各个区域的顶点赋予顶点编号1～25。

图2所示的顶点数据存储器805中，对于在画与画图像或画中画图像等情况下的不连续点，输出图像各个区域的各个顶点所对应的输入图像中的X坐标值和Y坐标值也全部保存在其他的地址中。

在此，例举一例当基于图5A所示的输入图像来获得如图5B所示的以4个画面构成的画与画输出图像时，示例性显示如图6所示的保存在顶点数据存储器805中的数据例。图6中的地址1～25对应于图4的顶点编号1～25。而地址26～36，则表示分给保存重复顶点的不连续数据的地址。X坐标和Y坐标是对应于该顶点的输入图像的X坐标值和Y坐标值，其中Xi和Yj是对应于图5A所示的输入图像中编号为i的对应顶点。在此，因图像大小为640×480，因此1≤X坐标值≤640，1≤Y坐标值≤480。如果顶点数据存储器容量有空余，则X坐标值和Y坐标值不必为整数。关于左上旗、右上旗、左下旗、右下旗、以及下一个地址将在以下叙述。本发明的特征之一在于顶点数据存储器805的数据结构。

顶点数据地址决定部801将同步信号生成部10输出的VSYNC_IN和HSYNC_IN、时钟、以及顶点数据读取部802输出的转换地址作为输入，来决定顶点数据存储器805中的地址，该地址用于读取输出图像中当前注目区域的4个顶点的各自的数据，并将该地址与顶点位置信息一起送往顶点数据读取部802。例如，设当前注目区域为区域1，决定对应于顶点编号为1、2、6、7的地址1、2、6、7。按照区域的左上、右上、左下、右下的顺序，顶点位置信息依次为1、2、3、4。

顶点数据读取部802根据顶点数据地址决定部801输出的地址来读取顶点数据存储器805中的该地址的数据。而后，将读取的数据之中的X坐标值和Y坐标值(顶点数据)与顶点位置信息一起送往双线性插值用顶点数据保存部803。确认读取的数据之中顶点位置信息的编号所对应的左上旗、右上旗、左下旗、右下旗是1还是0，当该旗为0时，将转换地址设为0，而当该旗为1时，则将转换地址设为下一个地址即参考地址的地址值，并将该参考地址的地址值送往数据地址决定部801。

在顶点数据地址决定部801中，当转换地址为0时，对该顶点将与前一次地址相同的地址送往顶点数据读取部802，而在转换地址为下一个地址的地址值时，则将该地址值送往顶点数据读取部802。顶点数据读取部802根据来自 顶点地址决定部801的地址再次从顶点数据存储器805读取该地址的数据，并将该数据中的X坐标值和Y坐标值送往双线性插值用顶点数据保存部803，并确认该顶点对应的旗是1还是0。

对当前注目区域的4个顶点，分别反复4次上述在顶点数据地址决定部801和顶点数据读取部802之间进行的处理。其结果，在图5B的例子中，例如，当以区域3为当前注目区域时，对于该区域3的顶点编号为3和8，首先从图6读取顶点数据存储器805的地址3和8的数据，而后，将其X坐标值和Y坐标值送往双线性插值用顶点数据保存部803，而后，读取顶点数据存储器803的地址26和27的数据，并将该数据中的X坐标值和Y坐标值送往双线性插值用顶点数据保存部803，最终将该X坐标值和Y坐标值决定为顶点编号3和8的顶点数据。这样，便消除了不连续点。

以上，对当前注目的区域的4个顶点，分别在顶点数据地址决定部801和顶点数据读取部802之间反复进行了4次处理，其理由为出于考虑到图5B所示例子中当前注目区域为区域11且顶点编号13时的情况。在此情况下，根据图6可知，对于顶点编号13的顶点数据需要到第4次才能够确定顶点数据。关于图6的表格的具体处理例将在以后详细叙述。

双线性插值用顶点数据保存部803用于暂时保存输出图像中当前注目区域的4个顶点所对应的输入图像的X坐标值和Y坐标值。具体为，双线性插值用顶点数据保存部803由对应于一个区域的4个顶点的4个寄存器构成，其根据来自于顶点数据读取部802的顶点位置信息，将同样来自顶点数据读取部802的X坐标值和Y坐标值重写在该顶点所对应的寄存器上。当注目区域移动到下一个区域时，该双线性插值用顶点数据保存部803的4个寄存器的内容被作相应的替换。

双线性插值运算部804以VSYNC_IN、HSYNC_IN、时钟为输入，利用双线性插值用顶点数据保存部803中的4个顶点数据进行双线性插值运算，依次求出输出图像中当前注目区域内现扫描线上各个坐标所对应的输入图像中的X坐标值和Y坐标值，将X_OUT和Y_OUT与VSYNC_OUT和HSYNC_OUT同步输出。此外，推迟一定时间将VSYNC_IN和HSYNC_IN输入双线性插值运算部804。

如图3A所示，通过对VSYNC_IN信号的边上升/边下降(edge up/edge down)、HSYNC_IN信号的上升以及及时钟数进行计数，可确定输出图像上的坐标。也就是说，可以获得输出图像中当前注目区域内现扫描线的各个坐标。另一方面，双线性插值用顶点数据保存部803保存了输出图像中当前注目区域的4个顶点在输入图像上的X坐标值和Y坐标值即顶点数据。在双线性插值运算部804中，通过用双线性插值用顶点数据保存部803内的4个顶点数据，对输出图像中当前注目区域内的现扫描线的各个坐标进行双线性插值运算，依次求得输入图像上对应的X坐标值和Y坐标值。双线性插值运算方法与专利文献1等公开的方法基本相同，在此省略详细说明。

图7显示在顶点数据地址决定部801和顶点数据读取部802中进行4个顶点数据生成处理、以及在双线性插值运算804中进行双线性插值处理的时间关系。图7中α表示一个区域的光栅扫描期间，a表示4个顶点数据生成处理期间，b表示双线性插值处理期间。在图7中，设现扫描线处于区域1至4上。

首先，顶点数据地址决定部801和顶点数据读取部802在各个区域的最初的a1、a2、a3、a4期间内生成该区域的4个数据，设定为双线性插值用顶点数据保存部803的4个寄存器。而后，双线性插值运算部804在b1、b2、b3、b4期间中用双线性插值顶点数据保存部803设定的4个顶点数据，对该区域内的现扫描线的各个坐标(160坐标点)逐个进行输入图像上所对应的X坐标值和Y坐标值的插值运算。对区域1至4上的每个扫描线反复进行这些处理。对区域5至8、9至12、13至16也进行同样的处理。

在此，用现场可编程门阵列(Field-Programmable Gate Array，缩写为FPGA)构成顶点数据地址决定部801和顶点数据读取部802，通过高速实行4个顶点数据生成处理，相对于b期间，可以实质上忽视a期间(接近0)。

还可在顶点数据读取部802中设置与双线性插值用顶点数据保存部803的寄存器相同的工作寄存器，将顶点数据存储器805读取的X/Y坐标值暂时保存在该工作寄存器中，根据需要进行重写，将最终确定的X/Y坐标值设定到双线性插值用顶点数据保存部803中。这样，可以并行实行4个顶点数据生成处理和双线性插值处理，减轻顶点数据地址决定部801和顶点数据读取部802的负担(高速处理)。

图8显示了此时的顶点数据地址决定部801和顶点数据读取部802中进行4 个顶点数据生成处理、以及双线性插值运算部804中进行双线性插值处理的时间关系。其中，图8的上图是顶点数据地址决定部801和顶点数据读取部802的处理期间，图8的下图是双线性插值运算部804的处理期间。在此仍然将现扫描线设定在区域1至4上。α表示一个区域的光栅扫描期间。在顶点数据地址决定部801和顶点数据读取部802中，依次在α1、α2、α3、α4的期间中生成区域1、区域2、区域3、区域4的4个顶点的顶点数据，最终设定到双线性插值用顶点数据保存部803的4个寄存器中。另一方面，关于双线性插值运算部804的处理，其相对于顶点数据地址决定部801和顶点数据读取部802的处理推迟α期间开始，与上述相同，用此时的双线性插值用顶点数据存储部803的4个顶点数据，并列地依次在α1、α2、α3、α4的期间中，对区域1、区域2、区域3、区域4内现扫描线的各个坐标(160坐标点)逐个进行输入图像上对应的X坐标值和Y坐标值的插值运算。对每个扫描线反复进行这些处理。

下面参考图4、图5A和图5B、图6，进一步详细地说明顶点数据地址决定部801和顶点数据读取部802的动作。

顶点数据地址决定部801中根据VSYNC_IN、HSYNC_IN生成BLOCK_START信号(参见图3B)。用BLOCK_START信号来决定改写双线性插值用顶点数据保存部803设定的顶点数据的时刻。该BLOCK_START信号与HSYNC_IN信号同时上升，并且为反复1时钟高平且159时钟低平(x方向a＝160-1)的信号。

图9是顶点数据地址决定部801的处理流程。

在顶点数据地址决定部801中，首先检测BLOCK_START信号的上升，以计算区域编号(步骤1001)。区域编号可通过利用对HSYNC_IN信号的上升进行计数所得到的Y坐标、以及对于每个Y坐标的初始化BLOCK_START信号的上升的计数值来计算。根据图4，例如，若从HSYNC_IN信号的上升开始坐标为1，则所得到的区域编号为1。当从HSYNC_IN得到的Y坐标为200时，如果BLOCK_START信号的计数值为1，则区域编号为5。

接着，取得对应于区域编号的4个顶点的顶点编号(V1、V2、V3、V4)(步骤1002)。根据图4，若获得区域编号便能够确定所对应的4个顶点的顶点编号。例如，区域编号为1时，按照区域左上、右上、左下、右下的顶点的顺序，顶点编号为V1＝1，V2＝2，V3＝6，V4＝7。

接着进行初始设定，设定m＝1，n＝1(步骤1003)。在此，m表示顶点数据读取部802中一个顶点编号的地址以及顶点位置信息的发送次数，n表示顶点编号的附加标记即顶点位置信息。

接着，设定地址A＝Vn(步骤1004)，等待顶点数据读取部802输出的转换地址(步骤1005)，判断该转换地址是否为0(步骤1006)。当转换地址为0时，将Vn作为地址A且n作为顶点位置信息送往顶点数据读取部802(步骤1008)。而当转换地址不是0时，则将来自顶点数据读取部802的地址作为地址A(步骤1007)，将该地址A以及顶点位置信息n送往顶点数据读取部802(步骤1008)。此外，当n＝1时(在最初发送时)，跳过步骤1005、1006，即不等待顶点数据读取部802部的转换地址的到达，便将A＝Vn和n送往顶点数据读取部802。

接着，使m→m+1(步骤1009)，判断是否m＞4(步骤1010)。若m≤4则，返回步骤1005，反复进行步骤1005～1008的处理。

另一方面，若m＞4，即对于一个顶点反复进行了4次地址A以及顶点位置信息的送信时，使m＝1，且n+1→n(步骤1011)。而后判断是否n≤4(步骤1012)。若n＞4，则返回步骤1004。即对下一个顶点反复上述处理。而若n＞4，则结束处理，即结束在数据地址决定部801中对一个区域的4个顶点的处理。

图10显示顶点数据读取部802的处理流程图。该流程对应于图7的情况。

在顶点数据读取部802中，当接到顶点数据地址A时(步骤2001)，从顶点数据保存部805读取该地址A的数据(XY坐标值、4个旗，以及下一个地址)(步骤2002)。而后，将读取的数据中的X坐标和Y坐标以及收到顶点位置信息n送往双线性插值用顶点数据保存部803(步骤2003)。

接着，对读取的数据中左上旗、右上旗、左下旗、右下旗中对应于顶点位置信息n的旗是0还是1(步骤2004)进行判断。例如，在n＝1时，判断左上旗。此时，若左上旗为0，则设转换地址为0(步骤2005)，而若左上旗为1，则将读取的数据中的下一个地址的地址值作为转换地址(步骤2006)。而后，将该转换地地址送往转换地址决定部801(步骤2007)。

以下，在顶点数据读取部802中，每当从顶点数据地址决定部801收到地 址A以及顶点位置信息n时，便反复步骤2002～2007的处理。其结果，最终将输出图像中当前注目区域的4个顶点所对应的输入图像的X坐标值和Y坐标值(顶点数据)保存到双线性插值用顶点数据保存部803中。

在从顶点数据地址决定部801第4次收到同一个顶点位置信息n的地址值时，则不进行步骤2004～2007的处理，等待下一次从顶点数据地址决定部801接收信息。

图10虽然是针对图7的流程图，但对于图8的情况，以步骤2003中的双线性插值顶点数据保存部作为顶点数据读取部802中的内藏工作寄存器，取而代之在步骤2007之后，增加将该工作寄存器中最终确定了的4个顶点的X坐标值和Y坐标值转送到双线性插值用顶点数据保存部803中的步骤。

以下，参考图4、图5A和图5B以及图6详细说明二、三个处理例。在此顶点数据读取部802仍然是用于实行图10的处理，按照上述可以容易地类推，将处理之中的4个顶点数据暂时保存在工作寄存器中，最终将确定了的4个顶点数据转动到双线性插值用顶点数据保存部803中。

<处理例1>

本处理例针对以图5B的输出图像中的区域1为当前注目区域时的处理进行说明。根据图4，区域1的顶点编号为：V1＝1，V2＝2，V3＝6，V4＝7。

(1)顶点编号1的处理

顶点数据地址决定部801将地址A＝V1＝1以及顶点位置信息n＝1送往顶点数据读取部802。顶点数据读取部802从顶点数据存储器805(图6)读取地址1的数据，并将其中的X1和Y1送往双线性插值用顶点数据保存部803。另外，顶点数据读取部802检查顶点位置信息n＝1所对应的左上旗，因左上旗为0，因此将转换地址＝0送往顶点数据地址决定部801。

顶点数据地址决定部801收到转换地址＝0后，再次将地址A＝V1＝1以及顶点位置信息n＝1送往顶点数据读取部802。顶点数据读取部802再次从顶点数据存储器805读取地址1的数据。

在此省略以后的处理的说明，其结果，在顶点数据地址决定部801和顶点数据读取部802中反复进行4次相同的处理后，区域1中顶点编号1所对应的顶点数据被确定为X1、Y1。

(2)顶点编号2的处理

顶点数据地址决定部801将地址A＝V2＝2以及顶点位置信息n＝2送往顶点数据读取部802。顶点数据读取部802从顶点数据存储器805读取地址2的数据，并将其中的X2和Y2送往双线性插值用顶点数据保存部803。另外，顶点数据读取部802检查顶点位置信息n＝2所对应的左上旗，因左上旗为0，因此将转换地址＝0送往顶点数据地址决定部801。

顶点数据地址决定部801收到转换地址＝0后，再次将地址A＝V2＝2以及顶点位置信息n＝2送往顶点数据读取部802。顶点数据读取部802再次从顶点数据存储器805读取地址2的数据。

在此也省略说明以后的处理，其结果，在顶点数据地址决定部801和顶点数据读取部802中反复进行4次相同的处理后，区域1中顶点编号1所对应的顶点数据被确定为X2、Y2。

(3)顶点编号6的处理

顶点数据地址决定部801将地址A＝V3＝6以及顶点位置信息n＝3送往顶点数据读取部802。顶点数据读取部802从顶点数据存储器805读取地址6的数据。此时，顶点位置信息n＝3所对应的左下旗也为0，其结果，在顶点数据地址决定部801和顶点数据读取部802中反复进行4次相同的处理后，区域1中顶点编号6所对应的顶点数据被确定为X4、Y4。

(4)顶点编号7的处理

顶点数据地址决定部801将地址A＝V4＝7以及顶点位置信息n＝4送往顶点数据读取部802。顶点数据读取部802从顶点数据存储器805读取地址7的数据。此时，顶点位置信息n＝4所对应的右下旗为0，其结果，在顶点数据地址决定部801和顶点数据读取部802中反复进行4次相同的处理后，区域1中顶点编号7所对应的顶点数据被确定为X5、Y5。

<处理例2>

本处理例针对以图5B的输出图像中的区域3为当前注目区域时的处理进行说明。根据图4，区域1的顶点编号为：V1＝3，V2＝4，V3＝8，V4＝9。

(1)顶点编号3的处理

顶点数据地址决定部801将地址A＝V1＝3以及顶点位置信息n＝1送往顶 点数据读取部802。顶点数据读取部802从顶点数据存储器805读取地址3的数据，并将其中的X3和Y3送往双线性插值用顶点数据保存部803。另外，顶点数据读取部802检查顶点位置信息n＝1所对应的左上旗，在此，因左上旗为1，因此顶点数据读取部802将下一个地址的地址值＝26作为转换地址，送往顶点数据地址决定部801。

顶点数据地址决定部801收到转换地址后，第二次将地址A＝26以及顶点位置信息n＝1送往顶点数据读取部802。顶点数据读取部802从顶点数据存储器805读取地址26的数据，并将其中的X10以及Y10送往双线性插值用顶点数据保存部803。另外，顶点数据读取部802检查顶点位置信息n＝1所对应的左上旗，此时，因左上旗为0，因此将转换地址＝0送往顶点数据地址决定部801。

顶点数据地址决定部801收到转换地址后，第三次将与前一次相同的地址A＝26以及顶点位置信息n＝1送往顶点数据读取部802。顶点数据读取部802再次读取顶点数据存储器805中的地址26的数据，实行与第二次相同的处理。

顶点数据地址决定部801最后的第4次也与前一次相同，将地址A＝26以及顶点位置信息n＝1送往顶点数据读取部802。顶点数据读取部802再次读取顶点数据存储器805中的地址26的数据，实行与第三次相同的处理。

其结果，在顶点数据地址决定部801和顶点数据读取部802的4次反复处理过程中，区域3的顶点编号3所对应的顶点数据从最初的X3、Y3变为X10、Y10，最终被确定为X10、Y10。如此解消了图5的不连续点。

(2)顶点编号4的处理

顶点数据地址决定部801将地址A＝V2＝4以及顶点位置信息n＝2送往顶点数据读取部802。顶点数据读取部802从顶点数据存储器805读取地址4的数据。在此省略此后的处理的说明，其结果，因顶点位置信息n＝2所对应的右上旗为0，因此在顶点数据地址决定部801和顶点数据读取部802中反复进行4次相同的处理后，区域3中顶点编号4所对应的顶点数据被确定为X11、Y11。

(3)顶点编号8的处理

顶点数据地址决定部801将地址A＝V3＝8以及顶点位置信息n＝3送往顶点数据读取部802。顶点数据读取部802从顶点数据存储器805读取地址8的数据，并将其中的X6和Y6送往双线性插值用顶点数据保存部803。另外，顶点数 据读取部802检查顶点位置信息n＝3所对应的左下旗，在此，因左下旗为1，因此顶点数据读取部802将下一个地址的地址值＝27作为转换地址，送往顶点数据地址决定部801。

顶点数据地址决定部801收到转换地址后，第二次将地址A＝27以及顶点位置信息n＝3送往顶点数据读取部802。顶点数据读取部802从顶点数据存储器805读取地址27的数据，并将其中的X13以及Y13送往双线性插值用顶点数据保存部803。另外，顶点数据读取部802检查顶点位置信息n＝3所对应的左下旗，此时，因左下旗为0，因此将转换地址＝0送往顶点数据地址决定部801。

顶点数据地址决定部801收到转换地址后，第三次将与前一次相同的地址A＝27以及顶点位置信息n＝3送往顶点数据读取部802。顶点数据读取部802再次读取顶点数据存储器805中的地址27的数据，实行与第二次相同的处理。

顶点数据地址决定部801在最后的第4次也与前一次相同，将地址A＝27以及顶点位置信息n＝3送往顶点数据读取部802。顶点数据读取部802再次读取顶点数据存储器805中的地址27的数据，实行与第三次相同的处理。

其结果，在顶点数据地址决定部801和顶点数据读取部802的4次反复处理过程中，区域3的顶点编号8所对应的顶点数据从最初的X6、Y6变为X13、Y13，最终被确定为X13、Y13。此时也解消了图5的不连续点。

(4)顶点编号9的处理

顶点数据地址决定部801将地址A＝V4＝9以及顶点位置信息n＝4送往顶点数据读取部802。顶点数据读取部802从顶点数据存储器805读取地址9的数据。在此省略以后的处理的说明，其结果，因顶点位置信息n＝4所对应的右下旗为0，在顶点数据地址决定部801和顶点数据读取部802中反复进行4次相同的处理后，区域3的顶点编号9所对应的顶点数据被确定为X14、Y14。

<处理例3>

本处理例针对以图5B的输出图像中的区域11为当前注目区域时的处理进行说明。根据图4，区域1的顶点编号为：V1＝13，V2＝14，V3＝18，V4＝19。

(1)顶点编号13的处理

顶点数据地址决定部801将地址A＝V1＝13以及顶点位置信息n＝1送往顶点数据读取部802。顶点数据读取部802从顶点数据存储器805读取地址13的数 据，并将其中的X9和Y9送往双线性插值用顶点数据保存部803。另外，顶点数据读取部802检查顶点位置信息n＝1所对应的左上旗，在此，因左上旗为1，因此顶点数据读取部802将下一个地址的地址值＝28作为转换地址，送往顶点数据地址决定部801。

顶点数据地址决定部801收到转换地址后，第二次将地址A＝28以及顶点位置信息n＝1送往顶点数据读取部802。顶点数据读取部802从顶点数据存储器805读取地址28的数据，并将其中的X16以及Y16送往双线性插值用顶点数据保存部803。另外，顶点数据读取部802检查顶点位置信息n＝1所对应的左上旗，此时，因左上旗为1，因此将下一个地址的地址值＝31作为转换地址送往顶点数据地址决定部801。

顶点数据地址决定部801收到转换地址后，第三次将地址A＝31以及顶点位置信息n＝1送往顶点数据读取部802。顶点数据读取部802再次读取顶点数据存储器805中的地址31的数据，并将其中的X21以及Y21送往双线性插值用顶点数据保存部803。另外，顶点数据读取部802检查顶点位置信息n＝1所对应的左上旗，此时，因左上旗为1，因此将下一个地址的地址值＝32作为转换地址送往顶点数据地址决定部801。

顶点数据地址决定部801在最后的第4次中将址A＝32以及顶点位置信息n＝1送往顶点数据读取部802。顶点数据读取部802读取顶点数据存储器805中的地址32的数据，并将其中的X28以及Y28送往双线性插值用顶点数据保存部803。在此，n＝1的处理结束。

其结果，在顶点数据地址决定部801和顶点数据读取部802的4次反复处理过程中，区域11的顶点编号13所对应的顶点数据从X9、Y9变为X16、Y16，再变为X21、Y21，再变为X28、Y28，最终被确定为X28、Y28。如此解消了图5的不连续点。

(2)顶点编号14的处理

顶点数据地址决定部801将地址A＝V2＝14以及顶点位置信息n＝2送往顶点数据读取部802。顶点数据读取部802从顶点数据存储器805读取地址14的数据，并将其中的X17和Y17送往双线性插值用顶点数据保存部803。另外，顶点数据读取部802检查顶点位置信息n＝2所对应的右上旗，在此，因右上旗为1， 因此顶点数据读取部802将下一个地址的地址值＝33作为转换地址，送往顶点数据地址决定部801。

顶点数据地址决定部801收到转换地址后，第二次将地址A＝33以及顶点位置信息n＝2送往顶点数据读取部802。顶点数据读取部802从顶点数据存储器805读取地址33的数据，并将其中的X29以及Y29送往双线性插值用顶点数据保存部803。另外，顶点数据读取部802检查顶点位置信息n＝2所对应的右上旗，在此因右上旗为0，因此将转换地址＝0送往顶点数据地址决定部801。

顶点数据地址决定部801收到转换地址后，第三次将与前一次相同的地址A＝33以及顶点位置信息n＝2送往顶点数据读取部802。顶点数据读取部802再次读取顶点数据存储器805中的地址33的数据，实行与第二次相同的处理。

顶点数据地址决定部801在最后的第4次中将址A＝33以及顶点位置信息n＝2送往顶点数据读取部802。顶点数据读取部802读取顶点数据存储器805中的地址33的数据，并实行与第三次相同的处理。

其结果，在顶点数据地址决定部801和顶点数据读取部802的4次反复处理过程中，区域11的顶点编号14所对应的顶点数据从最初的X17、Y17变为X29、Y29，最终被确定为X29、Y29。如此解消了图5的不连续点。

(3)顶点编号18的处理

顶点数据地址决定部801将地址A＝V3＝18以及顶点位置信息n＝3送往顶点数据读取部802。顶点数据读取部802从顶点数据存储器805读取地址18的数据，并将其中的X24和Y24送往双线性插值用顶点数据保存部803。另外，顶点数据读取部802检查顶点位置信息n＝3所对应的左下旗，在此，因左下旗为1，因此顶点数据读取部802将下一个地址的地址值＝35作为转换地址，送往顶点数据地址决定部801。

顶点数据地址决定部801收到转换地址后，第二次将地址A＝35以及顶点位置信息n＝3送往顶点数据读取部802。顶点数据读取部802从顶点数据存储器805读取地址35的数据，并将其中的X31以及Y31送往双线性插值用顶点数据保存部803。另外，顶点数据读取部802检查顶点位置信息n＝3所对应的左下旗，在此因左下旗为0，因此将转换地址＝0送往顶点数据地址决定部801。

顶点数据地址决定部801收到转换地址后，第三次将与前一次相同的地址 A＝35以及顶点位置信息n＝3送往顶点数据读取部802。顶点数据读取部802再次读取顶点数据存储器805中的地址35的数据，实行与第二次相同的处理。

顶点数据地址决定部801第4次将址A＝35以及顶点位置信息n＝3送往顶点数据读取部802。顶点数据读取部802读取顶点数据存储器805中的地址35的数据，并实行与第三次相同的处理。

其结果，在顶点数据地址决定部801和顶点数据读取部802的4次反复处理过程中，区域11的顶点编号18所对应的顶点数据从最初的X24、Y24变为X31、Y31，最终被确定为X31、Y31。如此解消了图5的不连续点。

(4)顶点编号19的处理

顶点数据地址决定部801将地址A＝V4＝19以及顶点位置信息n＝4送往顶点数据读取部802。顶点数据读取部802从顶点数据存储器805读取地址19的数据。在此省略以后的处理的说明，其结果，因顶点位置信息n＝4所对应的右下旗为0，在顶点数据地址决定部801和顶点数据读取部802中反复进行4次相同的处理后，区域11的顶点编号19所对应的顶点数据被确定为X32、Y32。

以上，以图5A为输入图像，以图5B为图5A的输出图像(画与画图像)，并以确定图5B中的区域1、区域3、以及区域13的顶点数据处理为例进行了说明，关于其他其他区域的顶点数据的确定处理可容易地根据以上例子类推。

此外，顶点数据存储器805并不局限于图6所示的数据结构。

在此，作为另一实施例，当以图11A为输入图像，并要得到图11B所示的画中画输出图像时，此时的顶点数据存储器805中保存的数据例为图12。图12中地址1～25与图6相同，对应于图4的顶点编号。地址26～29表示分配给重复顶点用于保存不连续点的数据的地址。Xi、Yi对应于图11A所示的输入图像中编号为i的顶点。在此，图像大小仍然为640×480，因此，1≤X坐标值≤640，1≤Y坐标值≤480。其中，左上旗、右上旗、左下旗、右下旗、以及下一个地址与图6中意义相同。

顶点数据地址决定部801和顶点数据读取部802的处理与上述相同，但在图11B的例子中对一个顶点最多反复两次处理。

在此，如果忽视图12中的左上旗、右上旗、左下旗、右下旗(即视其为0)， 则得到图11C所示的输出图像。也就是说，用如图12所示的一个表格可兼顾两项作用，以节约表格。

顶点数据存储器805中一般保存对应于各种图像变形的种种表格(查询表)，根据外部指示来选择所需要的表格。

此外，图2中的顶点数据地址决定部801对于注目区域的各个顶点，仅进行一次将最初决定的地址与顶点位置信息一起送往顶点数据读取部802，之后，顶点数据读取部802根据旗和下一个地址从顶点数据存储器805中反复进行所需次数的数据读取，以决定该区域的各个顶点的顶点数据。这样，在顶点数据地址决定部801和顶点数据读取部802之间，便只需进行一次必要信息的发送和接收。

Claims (11)

1.一种图像处理方法，其将输出图像分割为多个区域，预先对各个区域的每个顶点制备顶点数据存储器，其中保存对应于该顶点的输入图像中的坐标值，参考该顶点数据存储器，对任意输出像素所对应的输入图像中的坐标值进行插值运算来实行图像变形，获得对输入图像进行了所需图像变形之后的输出图像，其特征在于，在该顶点数据存储器中保存至少一部分区域中的至少一部分顶点所对应的输入图像中的多个坐标值，在插值运算中使用从该多个坐标值中选择的一个坐标值。

2.根据权利要求1所述的图像处理方法，其特征在于，所述多个坐标值被保存在所述顶点数据存储器内的各自的地址中。

3.根据权利要求2所述的图像处理方法，其特征在于，在所述顶点数据存储器中，对应于各个地址所保存的数据中包括输入图像中的一个坐标值、其他坐标值的参考地址、以及表示该参考地址有效或无效的旗。

4.根据权利要求3所述的图像处理方法，其特征在于，在读取所述顶点数据存储器中所述顶点所对应的地址的数据后，若该数据中的旗表示参考地址无效，则选择该地址的坐标值，而若该数据中的旗表示参考地址有效，则读取该参考地址所表示的地址的数据，并选择该参考地址表示的地址的数据中的坐标值。

5.根据权利要求3所述的图像处理方法，其特征在于，所述旗包括所述区域的左上顶点、右上顶点、左下顶点、右下顶点对应的4个旗。

6.根据权利要求4所述的图像处理方法，其特征在于，当读取所述参考地址所表示的地址的数据，且该数据中的旗表示该参考地址为有效时，进一步读取该被读取了的数据中的参考地址所表示的地址的数据，而后，重复进行直到该数据中的旗表示参考地址无效为止。

7.根据权利要求4所述的图像处理方法，其特征在于，根据获得的输出图像，忽视读取数据中的旗，选择该数据中的坐标值。

8.根据权利要求1所述的图像处理方法，其特征在于，具备插值运算用顶点数据存储器，用于暂时保存至少一个区域中4个顶点所对应的输入图像中的4个坐标值，并且，参考所述顶点数据存储器，依次选择处理对象区域的4个顶点所对应的输入图像上的4个坐标值，将其保存到该插值运算用顶点数据存储器中，并用该插值运算用顶点存储器中保存的4个坐标值，依次对该区域中输出图像所对应的输入图像上的各个坐标值进行插值运算。

9.根据权利要求8所述的图像处理方法，其特征在于，在参考所述顶点数据存储器来选择处理对象区域的4个顶点所对应的输入图像上的4个坐标值、将其保存到所述插值运算用顶点数据存储器中时，用该插值运算用顶点数据存储器中保存的4个坐标值，来并行地实行该处理对象区域中输出图像所对应的输入图像中的各个坐标值的插值运算处理。

10.一种图像处理装置，其中包括：A/D转换部，用于将模拟信号的图像数据转换为数字信号的图像数据；图像缓冲部，用于暂时保存该数字信号的图像数据；同期信号生成部，用于生成水平同期信号、垂直同期信号、以及时钟信号；图像读取部，与该水平同期信号、垂直同期信号、以及时钟信号同步地读取该图像缓冲部中保存的数字信号的图像数据；以及，图像变形部，其特征在于，所述图像变形部采用权利要求1至9所述的图像处理方法来对输入图像进行图像变形，并获得经图像变形后的输出图像。

11.一种摄像装置，其中包括：光学系统；拍摄元件，将该光学系统拍摄的光学图像转换为电信号；以及，图像处理装置，用于处理经该拍摄元件转换后的电信号的输入图像，其特征在于，所述图像处理装置为权利要求10所述的图像处理装置。

Images