CN101635813A - 图像处理装置、图像显示装置及图像数据生成方法 - Google Patents

Abstract

本发明提供图像处理装置、图像显示装置及图像数据生成方法，用于使图像变形时的变形后图像的画质提高。该图像处理装置具备：变形率导出部，其针对根据预先确定的规则使原始图像发生变形后的变形后图像，导出各像素的变形后图像相对于原始图像的变形率；滤波系数导出部，其根据与各像素对应的变形率，导出滤波系数，所述滤波系数用于使用原始图像的像素值，并通过像素插值而导出变形后图像的像素值；和像素值导出部，其使用与各像素对应的滤波系数，导出变形后图像的像素值，将其作为变形后图像数据输出。

Description

图像处理装置、图像显示装置及图像数据生成方法

技术领域

本发明涉及一种生成对在液晶面板等图像显示部上显示的图像进行表示的图像数据的图像处理装置。

背景技术

当使用投影仪将矩形的图像(以下也称为原始图像)显示于屏幕等投射面时，根据投影仪和投射面的相对位置关系，有时在投射面上显示的图像(以下也称为投影图像)会发生梯形失真。在这样的情况下，采用了对投影图像的失真(以下也称为梯形失真)进行修正的梯形(keystone)修正。

梯形修正中，在液晶面板上生成相对于投射面上的投影图像向反方向失真的图像(以下也称为变形后图像)。即，由于在液晶面板上形成的图像，是使矩形的图像失真为梯形、平行四边形、其以外的四边形等的图形，所以，在液晶面板上显示的变形后图像相对原始图像的变形率局部不同。

变形后图像的像素值，通过根据原始图像的像素值进行像素插值而求出。以往，在求取变形后图像的像素值的情况下，对于图像全体使用相同的滤波系数，进行了插值处理。因此，变形率高的部分存在发生画质劣化的问题。对于该问题，提出了一种根据投影仪相对于投射面的投射角度、和液晶面板的坐标位置，变更滤波系数的技术。

专利文献1特开2005-12561号公报

在专利文献1所记载的图像处理装置中，由于根据投影仪相对于投射面的投射角度、和液晶面板的坐标位置，变更了滤波系数，所以，例如需要按投影仪相对于投射面的投射角度的每个，准备滤波系数的表。即，由于根据投影仪相对于投射面的投射角度、和液晶面板的坐标位置这2个参数，导出了滤波系数，所以存在算法复杂这一问题。

另外，这样的问题并不限于投影仪，而是能够实施将图像变形的处理的图像处理装置中共同的问题。

发明内容

因此，本发明的目的在于，提供一种使将图像变形时的变形后图像的画质提高的其他技术。

本发明为了解决上述的课题的至少一部分而完成，可以作为以下的实施方式或应用例得以实现。

[应用例1]一种图像处理装置，其特征在于，具备：

变形率导出部，其针对根据预先确定的规则使原始图像发生变形后的变形后图像，导出各像素的上述变形后图像相对于上述原始图像的变形率；

滤波系数导出部，其根据与各像素对应的上述变形率，导出滤波系数，所述滤波系数用于使用上述原始图像的像素值，并通过像素插值来导出上述变形后图像的像素值；和

像素值导出部，其使用与各像素对应的上述滤波系数，导出上述变形后图像的像素值，将其作为变形后图像数据输出。

根据应用例1的图像处理装置，对于变形后图像的各像素，可导出相对于原始图像的变形率，可根据该变形率导出滤波系数。因此，由于按像素的每个，使用合适的滤波系数来导出像素值，所以提高了画质。而且，由于滤波系数根据变形率这一参数被导出，所以可以将算法简化。

[应用例2]根据应用例1所记载的图像处理装置，

上述变形率导出部按上述变形后图像的每1个像素导出上述变形率。

根据应用例2的图像处理装置，由于按变形后图像的每个像素导出变形率，所以可以使用更合适的滤波系数，导出各像素的像素值。

[应用例3]根据应用例1或2所记载的图像处理装置，

将表示对上述原始图像实施了梯形失真修正的图像的图像数据，作为上述变形后图像数据输出。

根据应用例3的图像处理装置，在显示对原始图像实施了梯形失真修正之后的图像的情况下，可以使画质提高。

另外，本发明并不限于上述的图像处理装置的方式，也可以通过具备图像处理装置的图像显示装置的方式、作为图像数据生成方法的方式、用于构建该图像处理装置的计算机程序的方式、作为存储有该计算机程序的存储介质的方式等各种实施方式来实现。

附图说明

图1是概念性表示梯形失真修正的说明图。

图2是表示修正前后的在液晶面板154上显示的图像的说明图。

图3是简要表示作为本发明的第1实施例的投影仪的构成的框图。

图4是表示梯形失真修正部140的构成的功能框图。

图5是用于说明投影仪100中的修正后图像数据生成处理的流程的流程图。

图6是表示修正前后的图像的坐标的变化的说明图。

图7是用于说明变形率计算处理的流程的流程图。

图8是用于说明滤波系数导出处理的流程的流程图。

图9是用于概念性说明像素插值的方法的说明图。

图10是表示在滤波系数的导出中使用的各表的图。

图11是表示插值像素和在像素插值中使用的周边16个像素的位置关系的图。

图12是用于说明滤波系数导出处理的流程的流程图。

符号的说明：100...投影仪，102...总线，120...图像处理部，122...IP转换部，124...分辨率转换部，126...映像合成部，128...菜单图像生成部，130...帧缓存器，140...梯形失真修正部，141...像素块读出部，142...整数小数分离部，143...坐标转换部，144...控制部，145...像素插值部，146...滤波系数导出部，147...寄存器，152...照明光学系统，154...液晶面板，155...液晶面板驱动部，156...投射光学系统，157...变焦透镜，158...变焦透镜驱动部，160...CPU，170...遥控控制部，172...遥控器，180...摄像部，190...G传感器，300...线缆。

具体实施方式

接着，根据实施例按以下的顺序说明本发明的实施方式。

A.第1实施例：

A-1.梯形失真修正：

A-2.投影仪的构成：

A-3.梯形失真修正部：

A-4.修正后图像数据生成处理：

A-4-1.变形率计算处理：

A-4-2.滤波系数导出处理：

A-4-3.像素插值方法：

A-5.第1实施例的效果：

B.第2实施例：

C.变形例：

A.第1实施例：

A-1.梯形失真修正：

作为本发明的第1实施例的投影仪100，对表示图像的图像光进行投射，在屏幕SC等屏幕上显示图像。投影仪100是在被输入矩形图像的情况下，对在屏幕SC上显示的图像的梯形失真进行修正，而使矩形图像可以显示的投影仪。在对投影仪100的构成进行说明之前，简单说明本实施例的投影仪100中的梯形失真修正。

图1是概念性表示梯形失真修正的说明图。如图所示，在投影仪100被配置成相对于屏幕SC在水平方向(左右方向)及垂直方向(上下方向)上分别具有斜度的情况下，液晶面板154上显示的图像(修正前图像IG0)为矩形，而投射到屏幕上的图像PIG0在水平方向及垂直方向上分别发生了梯形失真。其中，在图1中为了使说明清楚，将投影仪100内含有的液晶面板154拿到投影仪100之外进行了表示。

因此，如图1所示，当在液晶面板154上形成与投射到屏幕SC上的图像向反方向失真的图像(修正后图像IG1)时，屏幕SC上显示矩形的图像PIG1。这样，将用于使发生了梯形失真的图像看起来为矩形(原本应该显示的图像的形状)的修正称为梯形失真修正。本实施例中的修正前图像IG0相当于技术方案中的原始图像，修正后图像IG1相当于技术方案中的变形后图像。而且，本实施例中的梯形失真修正处理，相当于技术方案中的、根据预先确定的规则进行变形的处理。

图2是表示修正前后的在液晶面板154上显示的图像的说明图。图2(a)表示修正前图像IG0，(b)表示修正后图像IG1。图2(b)中的虚线表示修正前图像IG0的外形。由于修正前图像IG0按照液晶面板154的框被全部显示的方式实施了图像处理，所以，图2(b)中的虚线、即表示了液晶面板154的框。

如图2(b)所示，在修正后图像IG1中，对于顶点(X1，Y1)的附近而言，相对于修正前图像IG0的缩小率高(即，变形率大)，而顶点(X3，Y3)的附近，相对于修正前图像IG0的缩小率低(即，变形率小)。即，修正后图像IG1按修正后图像IG1的坐标而变形率不同。这里，修正后图像IG1的坐标是指修正后图像IG1被显示于液晶面板154时的像素坐标。

如上所述，由于修正后图像IG1按修正后图像IG1的坐标而变形率不同，所以，在本实施例的投影仪100中，按液晶面板154的像素坐标的每个，计算出修正后图像IG1相对于修正前图像IG0的变形率，根据计算出的变形率，计算出修正后图像IG1的像素值，生成表示修正后图像IG1的修正后图像数据(后面将详述)。以下，将显示修正后图像IG1时的液晶面板154的像素坐标称为修正后坐标。其中，将液晶面板154的像素坐标中、未显示修正后图像IG1的区域的像素坐标也称为修正后坐标。将修正后坐标通过逆透视转换被转换成修正前图像IG0中的坐标位置(液晶面板的像素坐标)的坐标，称为修正前坐标。

A-2.投影仪的构成：

图3是简要表示作为本发明的第1实施例的投影仪的构成的框图。如图所示，投影仪100具备：A/D转换部110、图像处理部120、帧缓存器130、梯形失真修正部140、液晶面板154、液晶面板驱动部155、照明光学系统152、具备变焦透镜157的投射光学系统156、变焦透镜驱动部158、CPU160、遥控控制部170、遥控器172、摄像部180、G传感器190。A/D转换部110、图像处理部120、帧缓存器130、梯形失真修正部140、液晶面板驱动部155、变焦透镜驱动部158、CPU 160、遥控控制部170和G传感器190，借助总线102相互连接。

A/D转换部110针对从未图示的DVD播放器、个人电脑等借助线缆300输入的输入图像信号，根据需要进行A/D转换，输出数字图像信号。

图像处理部120将从A/D转换部110输出的数字图像信号，逐帧地写入到帧缓存器130中。图像处理部120包含作为IP转换部122、分辨率转换部124、映像合成部126、菜单图像生成部128的功能。

IP转换部122执行将帧缓存器130中储存的图像数据的格式，从隔行(interlace)方式转换成逐行(progressive)方式的处理，并将得到的图像数据提供给分辨率转换部124。

分辨率转换部124对由IP转换部122供给的图像数据，实施大小的放大处理或缩小处理(即，分辨率转换处理)，将得到的图像数据提供给映像合成部126。

菜单图像生成部128生成表示投影仪100的动作状态的文字、符号、或者进行画质调整等时的图像，并提供给映像合成部126。

映像合成部126对由菜单图像生成部128生成的菜单图像、和由分辨率转换部124供给的图像数据进行合成，作为修正前图像数据写入到帧缓存器130中。在本实施例中，修正前图像数据所表示的图像(修正前图像)相对于技术方案中的原始图像。

梯形失真修正部140对在投影仪100的投射轴相对于屏幕SC倾斜的状态下进行投射时发生的失真(以下称为梯形失真)进行修正。具体而言，为了将帧缓存器130中储存的修正前图像数据所表示的修正前图像，以补偿梯形失真的形状在液晶面板154上进行显示，对修正前图像数据实施修正处理，作为修正后图像数据，提供给液晶面板驱动部155。关于梯形失真修正部140，将在后面详述。本实施例中的梯形失真修正部140，相当于技术方案中的图像处理装置。

液晶面板驱动部155根据经过梯形失真修正部140而输入的数字图像信号，驱动液晶面板154。液晶面板154由将多个像素配置成矩阵状的透射型液晶面板构成。液晶面板154被液晶面板驱动部155驱动，通过使配置成矩阵状的各像素中的光的透射率发生变化，形成用于将由照明光学系统152照射的照明光调制成表示图像的有效图像光的图像。在本实施例中，液晶面板154的模式是XGA，分辨率是1024×768点(dot)。在本实施例中，将液晶面板像素坐标规定成x＝0～1023、y＝0～767。本实施例中的液晶面板驱动部155及液晶面板154相当于技术方案中的调制部。

照明光学系统152例如具备高压水银灯、超高压水银灯等灯类、或其他的发光体而构成。本实施例中的照明光学系统152相当于技术方案中的光源。

投射光学系统156被安装在投影仪100的框体的前面，对被液晶面板154调制成图像光的光进行放大投射。变焦透镜驱动部158对投射光学系统156所具备的变焦透镜157进行驱动，可以使变焦状态发生变化。这里，变焦状态是指在投射光学系统156中，对透过了液晶面板154的光进行投射时的放大的程度(倍率)。即，变焦透镜驱动部158可以驱动变焦透镜157，使在屏幕SC上显示的图像PIG1(图1)的大小发生变化。本实施例中的投射光学系统156相当于技术方案中的投射光学系统。

遥控控制部170接收通过遥控器172的来自用户的指示，借助总线102将该指示传递给CPU160。另外，在本实施例中，投影仪100通过遥控器172及遥控控制部170来接收用户的指示，但也可以通过例如操作面板等其他的构成来接收用户的指示。

CP U 160通过读出并执行存储部(未图示)中存储的控制程序，来控制投影仪100内的各部的动作。而且，根据由摄像部180拍摄的摄影图像、由G传感器190检测出的投影仪100的斜度、借助遥控控制部170输入的用户的指示，计算出后述的修正后坐标(X0～X3、Y0～Y3)(参照图2)、坐标转换矩阵的转换系数(后面将详述)，向梯形失真修正部140输出。

摄像部180具有CCD照相机，生成摄影图像。由摄像部180生成的摄影图像被储存在未图示的摄影图像存储器内。另外，摄像部180也可以具有其他的摄像器件来代替CCD照相机。

G传感器190可以通过检测投影仪100距离垂直方向的斜度，来检测出摄像部180的CCD光轴与水平面所成的倾斜角度。

A-3.梯形失真修正部：

图4是表示梯形失真修正部140的构成的功能框图。如图4所示，梯形失真修正部140具备：像素块读出部141、整数小数分离部142、坐标转换部143、控制部144、像素插值部145、滤波系数导出部146和寄存器147。

像素块读出部141以由8×8像素构成的块单位，取得帧缓存器130(图3)中储存的修正前图像数据并进行储存。而且，向像素插值部145提供插值像素块，该插值像素块由从整数小数分离部142供给的修正前坐标的整数成分指定且由4×4像素构成。修正前坐标如后所述，是将对修正前图像实施了梯形失真修正处理后的修正后图像的坐标(像素坐标)，转换成修正前图像的坐标的坐标值。

控制部144根据未图示的存储部中存储的程序，控制梯形失真修正部140的各部，执行梯形失真修正处理。

寄存器147储存由CP U 160(图3)供给的参数。具体而言，在寄存器147中储存与梯形失真修正有关的命令、表示处理的状况的信息、与输入图像有关的信息(图像的分辨率等)、修正前图像的存储地址(帧缓存器130的存储地址)、修正前坐标(x0～x3、y0～y3)(参照图2)、修正后坐标(X0～X3、Y0～Y3)(参照图2)、坐标转换矩阵的转换系数(后面将详述)、及与背景色(例如蓝色等)有关的信息。

坐标转换部143将进行了梯形失真修正后的修正后图像IG1的坐标值(以下也称为“修正后坐标”。)，转换成修正前图像IG0(矩形图像)的坐标值(以下也称为“修正前坐标”。)，按修正后图像IG1的每一个坐标，计算出修正后图像IG1相对于修正前图像IG0的变形率，并向滤波系数导出部146输出。关于变形率的计算方法将在后面叙述。

而且，坐标转换部143将计算出的修正前坐标向整数小数分离部142输出。其中，由于修正前图像IG0和修正后图像IG1不成为整数倍的对应关系，所以从坐标转换部143输出的坐标值包括小数。本实施例中的坐标转换部143相当于技术方案中的变形率导出部。

整数小数分离部142将从坐标转换部143输出的坐标值分离成整数和小数，整数被提供给像素块读出部141，小数被提供给像素插值部145。其中，像素块读出部141读出与从整数小数分离部142供给的坐标值的整数对应的插值像素块，提供给像素插值部145。

滤波系数导出部146根据由坐标转换部143供给的变形率、和从整数小数分离部142输出的小数，导出在执行像素插值处理时所使用的滤波系数。关于滤波系数的导出方法将在后面叙述。本实施例中的滤波系数导出部146相当于技术方案中的滤波系数导出部。

像素插值部145根据从像素块读出部141供给的插值像素块、和从滤波系数导出部146供给的滤波系数，执行像素插值处理，求出插值像素(修正后图像的像素)的值，并向液晶面板驱动部155(图3)输出。本实施例中的像素插值部145相当于技术方案中的像素值导出部。

A-4.修正后图像数据生成处理：

图5是用于说明本实施例的投影仪100中的修正后图像数据生成处理的流程的流程图。首先，控制部144使修正后坐标为(a_x，a_y)＝(0，0)(步骤S101)。

在本实施例中，如上所述，“坐标”是指液晶面板154的像素坐标。像素坐标如图2所示，原点在左上，x方向是右侧为正，y方向是下方为正。

接着，坐标转换部143对修正后坐标(0，0)执行变形率计算处理，即计算出修正后图像相对于修正前图像的变形率(以下简称为“变形率”。)(步骤S102)。然后，滤波系数导出部146执行滤波系数导出处理，即计算出用于求出修正后坐标(0，0)的像素值的滤波系数(步骤S103)。像素插值部145使用在步骤S103中导出的滤波系数，导出修正后坐标(0，0)的像素值(步骤S109)。

控制部144将变量x的值增加“1”(步骤S110)。目前，由于x＝“0”，所以成为x＝0+1＝“1”。然后，控制部144判断变量x的值是否大于框宽度(本实施例中为1023)(步骤S111)，如果判断为小于框宽度(步骤S111中为是)，则进入到步骤S112。

然后，控制部144判断变量y是否大于框高度(本实施例中为767)。目前，由于y＝“0”，所以控制部144判断为y小于框高度，返回至步骤S102(步骤S112中为否)。坐标转换部143与上述的情况同样地对修正后坐标(1，0)实施变形率计算处理(步骤S102)，滤波系数导出部146实施滤波系数导出处理(步骤S103)，像素插值部145实施像素插值处理(步骤S109)，求出修正后坐标(1，0)的像素值。

这样，如果反复进行上述的处理直到变量y＝0、变量x＝0～1023，则控制部144在步骤S111中判断为变量x的值为框宽度以上，将变量x的值设为0(步骤S115)，将变量y的值增加“1”(步骤S116)。即，成为y＝“1”。控制部144进入到步骤S112，如果判断为y小于框高度，则返回至步骤S102，反复进行与前述的情况相同的处理。然后，如果直到变形后坐标(0，0)～(1023，767)为止计算出了像素值，则控制部144判断为y为框高度以上(在步骤S112中为是)。然后，像素插值部145将计算出的修正后图像的像素值作为修正后图像数据，向液晶面板驱动部155输出(步骤S114)，并结束处理。

即，在本实施例中，当计算修正后图像的像素值时，从修正后坐标(0，0)至(1023，767)为止，依次按每个坐标计算出与修正后坐标对应的修正前坐标(实数)，求出修正后图像相对于修正前图像的变形率，并根据该变形率计算出滤波系数，使用计算出的滤波系数，进行像素插值，计算出修正前坐标的像素值。即，按修正后坐标的每一个坐标，以变形率的计算、滤波系数的计算、像素插值为1组，对所有的修正后坐标反复实施。这样，像素插值部145(图4)计算出所有的修正后坐标(0，0)～(1023，767)的像素值，作为修正后图像数据，向液晶面板驱动部155(图3)输出，此时，在液晶面板154(图3)上形成修正后图像IG1。

另外，在多个图像被连续输入的情况下，可以按每一个图像反复执行上述处理来进行像素插值，也可以针对第1个图像，如上所示，按各坐标的每个计算出滤波系数，将计算出的滤波系数保存在寄存器147中，当对于第2个以后的图像进行梯形失真修正时，使用寄存器147中保存的滤波系数，实施像素插值。

A-4-1.变形率计算处理：

坐标转换部143在变形率计算处理S102中，按修正后图像的每一个坐标，通过逆透视转换将计算出像素值的对象坐标和其周围的8个坐标转换成修正前图像的坐标，求出对象坐标的变形率。

图6是表示修正前后的图像的坐标的变化的说明图。图6(a)表示修正前图像IG0，(b)表示修正后图像IG1。关于图6(b)所示的修正后图像IG1中的某个坐标(a_x，a_y)和其周围的8个坐标，在图6(a)中表示了作为转换成修正前图像IG0的坐标的结果的修正前坐标。

下面，根据图7，对计算出作为算出像素值的对象坐标的修正后坐标(a_x，a_y)中的变形率的变形率计算处理S102，进行说明。图7是用于说明变形率计算处理的流程的流程图。

首先，坐标转换部143(图4)对于修正后图像IG1，使求取变形率的对象坐标(以下也称为“对象修正后坐标”)作为想要求出像素值的坐标(a_x，a_y)(步骤U101)。然后，坐标转换部143计算出对象修正后坐标(a_x，a_y)和其周围的8个坐标的修正前坐标(步骤U102)。

在本实施例中，如图6(b)所示，修正后图像IG1的对象修正后坐标是(a_x，a_y)，其周围像素坐标是对象修正后坐标的周围8个像素的坐标(a_x-1，a_y-1)、(a_x+0，a_y-1)、(a_x+1，a_y-1)、(a_x-1，a_y+0)、(a_x+1，a_y+0)、(a_x-1，a_y+1)、(a_x+0，a_y+1)、(a_x+1，a_y+1)。修正前坐标通过后述的透视转换的逆透视转换被算出。

将通过逆透视转换而计算出的修正前坐标，设为图6(a)所示的src(0，0)、src(1，0)、src(2，0)、src(0，1)、src(1，1)、src(2，1)、src(0，2)、src(1，2)、src(2，2)。即，成为修正后坐标(a_x-1，a_y-1)→修正前坐标src(0，0)、修正后坐标(a_x+0，a_y-1)→修正前坐标src(1，0)、修正后坐标(a_x+1，a_y-1)→修正前坐标src(2，0)、修正后坐标(a_x-1，a_y+0)→修正前坐标src(0，1)、修正后坐标(a_x，a_y)→修正前坐标src(1，1)、修正后坐标(a_x+1，a_y+0)→修正前坐标src(2，1)、修正后坐标(a_x-1，a_y+1)→修正前坐标Src(0，2)、修正后坐标(a_x+0，a_y+1)→修正前坐标src(1，2)、修正后坐标(a_x+1，a_y+1)→修正前坐标src(2，2)。

接着，坐标转换部143(图4)分别计算出图6(a)所示的相邻的修正前坐标的水平距离，求出最大值diff_x(步骤U103)。具体而言，分别计算出src(0，0)和src(1，0)的水平距离、src(1，0)和src(2，0)的水平距离、...、src(1，2)和src(2，2)的水平距离，求出其中的最大值diff_x。如图6(b)所示，由于相邻的修正后坐标的水平距离为“1”，所以，坐标转换部143将水平变形率Δx设为1/diff_x(步骤U106)。另外，在本实施例中，使用相邻的修正前坐标的水平距离的最大值计算出变形率，但也可以使用相邻的修正前坐标的水平距离的平均值或最小值。

同样地，分别计算出相邻的修正前坐标的垂直距离，求出最大值diff_y(步骤U107)，将垂直变形率Δy设为1/diff_y(步骤U110)。

例如，在图6(b)所示的修正后图像IG1的右上的顶点附近的坐标，为修正后坐标(a_x，a_y)的情况下，如图6(a)所示，相邻的修正前坐标的水平距离的最大值为diff_x＝2。因此，成为水平变形率Δx＝1/2。而且，如图6(a)所示，相邻的修正前坐标的垂直距离的最大值为diff_x＝2.3。因此，成为垂直变形率Δy＝1/(2.3)。

如果计算出水平变形率Δx和垂直变形率Δy双方，则修正后坐标(a_x，a_y)中的变形率计算处理结束，进入到滤波系数导出处理S103(图5)。本实施例中的水平变形率Δx及垂直变形率Δy，相当于技术方案中的变形率。

A-4-1-1.修正前坐标的计算方法：

这里，对上述的修正前坐标的计算方法进行说明。由于修正后图像IG1被认为是通过对修正前图像IG0透视转换而得到的图像，所以，修正前坐标通过根据下述的(式1)、(式2)对修正后坐标进行逆透视转换而算出。修正前坐标(x，y)通过透视转换被转换成修正后坐标(X，Y)。

数式1

$x=\frac{\mathrm{AX}+\mathrm{BY}+C}{\mathrm{GX}+\mathrm{HY}+1}$ …(式1)

数式2

$y=\frac{\mathrm{DX}+\mathrm{EY}+F}{\mathrm{GX}+\mathrm{HY}+1}$ …(式2)

上述(式1)、(式2)中的系数A，B，C，D，E，F，G，H，可以使用下述的透视转换的行列式(式3)而算出。

本实施例中，在修正后图像数据生成处理开始之前，用摄像部180对在梯形失真修正之前显示于屏幕SC上的图像PIG0进行摄像，CPU160(图3)根据拍摄到的图像，求出梯形失真修正后的修正后图像IG1中的4个顶点的坐标(X0～X3、Y0～Y3)(图2(b))，并将修正后坐标(X0～X3、Y0～Y3)存储在寄存器147中。

另外，可以通过G传感器190，检测投影仪100距离垂直方向的斜度，根据检测出的角度，求出修正后坐标(X0～X3、Y0～Y3)。此外，还可以由用户操作遥控器172，手动进行梯形失真修正。在这样的情况下，CP U160根据借助遥控控制部170接收到的来自用户的指示，求出修正后坐标(X0～X3、Y0～Y3)。

而且，CP U 160通过透视转换，将修正前坐标(x0～x3、y0～y3)(参照图2)转换成修正后坐标(X0～X3、Y0～Y3)(参照图2)，将该修正后图像IG1的4个坐标(X0～X3、Y0～Y3)输入到行列式(式3)中，导出系数A，B，C，D，E，F，G，H，并在寄存器147中存储。

数式3

$\left(\begin{array}{cccccccc}{X}_0& Y_0& 1& 0& 0& 1& -x_0{X}_0& -x_0{Y}_0\\ 0& 0& 0& X_0& Y_0& 0& -y_0{X}_0& -y_0{Y}_0\\ X_1& Y_1& 1& 0& 0& 1& -x_1{X}_1& -x_1{Y}_1\\ 0& 0& 0& X_1& Y_1& 0& -y_1{X}_1& -y_1{Y}_1\\ X_2& Y_2& 1& 0& 0& 1& -x_2{X}_2& -x_2{Y}_2\\ 0& 0& 0& X_2& Y_2& 0& -y_2{X}_2& -y_2{Y}_2\\ X_3& Y_3& 1& 0& 0& 1& -x_3{X}_3& -x_3{Y}_3\\ 0& 0& 0& X_3& Y_3& 0& -y_3{X}_3& -y_3{Y}_3\end{array}\right)\left(\begin{array}{c}A\\ B\\ C\\ D\\ E\\ F\\ G\\ H\end{array}\right)=\left(\begin{array}{c}{x}_0\\ y_0\\ x_1\\ y_1\\ x_2\\ y_2\\ x_3\\ y_3\end{array}\right)$ …(式3)

例如，如果作为修正后坐标(X，Y)＝(a_x，a_y)(图6(b))，代入到(式1)、(式2)中，则可求出修正前坐标(x，y)＝src(1，1)(图6(a))。

A-4-2.滤波系数导出处理：

图8是用于说明滤波系数导出处理的流程的流程图。滤波系数导出部146分别根据在变形率计算处理S102中计算出的修正后坐标(a_x-1，a_y-1)的水平变形率Δx、垂直变形率Δy，分别导出水平滤波系数hx、垂直滤波系数hy。本实施例中的水平滤波系数hx及垂直滤波系数hy，相当于技术方案中的滤波系数。

具体而言，滤波系数导出部146判断水平变形率Δx是否为1以下(步骤T103)，在判断为水平变形率Δx≤1的情况下(步骤T103中为是)，为水平截止频率fc＝T/2×水平变形率Δx(步骤T104)。这里，T是采样周期，由于为1(周期/像素：cycle/pixel)，所以水平截止频率fcx＝0.5×水平变形率Δx。

例如，在图6(b)所示的修正后图像IG1的右上的顶点附近的坐标，为修正后坐标(a_x-1，a_y-1)的情况下，如上所述，由于水平变形率Δx＝1/2，所以成为水平截止频率fcx＝0.5×1/2＝0.25。而且，由于垂直变形率Δy＝1/(2.3)，所以垂直截止频率fcy＝0.5×1/(2.3)＝0.22。

另外，在坐标转换部143判断为水平变形率Δx大于1的情况下(即，相邻的修正前坐标的水平距离的最大值小于1的情况；通过梯形修正被放大的情况)(在步骤T103中为否)，水平截止频率fcx＝T/2＝1/2＝0.5(步骤T113)。

在梯形修正中，修正后图像IG1大多相对于修正前图像IG0被整体缩小(变形率为1以下)，即便有部分被放大的部分(即，变形率为1以上)，也几乎没有成为2倍、3倍。根据采样定理，在进行A/D转换时，如果不使数字信号的频率成分为(T/2；T是采样周期)以下，则在恢复成模拟信号时，不会返回至原始信号，因此，通常在成为数字信号的时刻，频率成分仅包括T/2以下。即，在变形率大于1的情况下，设为水平截止频率＝T/2×变形率，即便残留有比T/2大的频率成分，也认为几乎没有意义。因此，在变形率大于1大的情况下，设水平截止频率fcx＝T/2。

而坐标转换部143针对垂直截止频率fcy也同样，在判断为垂直变形率Δy大于1的情况下(步骤T106中为否)，设垂直截止频率fcy＝0.5(步骤T114)。

接着，滤波系数导出部146导出水平滤波系数hx(步骤T105)。具体而言，使用以下所示的(式4)、(式5)计算出。

数式4

$h\left(n\right)=\frac{{\mathrm{\ω}}_c}{\mathrm{\π}}\sin c\left(n{\mathrm{\ω}}_c\right)$ …(式4)

数式5

$\sin c\left(x\right)=\frac{\sin x}{x}$ …(式5)

h(n)：滤波系数

ωc：各频率ωc＝2πfc(fc：截止频率)

n：滤波次数n＝-N/2+1～N/2(N：卷积运算中使用周边像素数)

其中，由于滤波系数的计算式可以使用相同的计算式，算出水平滤波系数hx、垂直滤波系数hy，所以在上述的(式4)、(式5)中，使用了滤波系数h(n)、截止频率fc来记载。

图9是用于概念性说明像素插值的方法的说明图。在本实施例中，由于N是在卷积运算中使用的周边像素数，如图9所示为4，所以成为n＝-1，0，1，2。例如，h(-1)成为图9中的符号-1(修正前坐标中的像素)的滤波系数的值。

滤波系数导出部146同样还导出垂直滤波系数hy(步骤T106～108)。例如，在图6(b)所示的修正后图像IG1的右上的顶点附近的坐标，为修正后坐标(a_x，a_y)的情况下，如上所述，由于垂直变形率Δy＝1/(2.3)，所以垂直截止频率fc＝0.5×1/(2.3)＝0.22。

如果导出水平滤波系数h x及垂直滤波系数hy双方(步骤T105、步骤T108)，则滤波系数导出部146结束滤波系数导出处理，进入到步骤S119(图5)。这样，通过后述的像素插值(卷积运算)，可导出用于求出修正后坐标(a_x，a_y)的像素值的滤波系数。

A-4-3.像素插值方法：

如上所述，如果利用逆透视转换将修正后坐标(整数)转换成修正前坐标，则不一定为整数。在修正前坐标成为小数的情况下，由于不存在像素值，所以通过像素插值(卷积运算)，导出成为小数的修正前坐标的像素值。由此，可求出修正后坐标的像素值。在本实施例中，当求取插值像素的像素值时，使用对象像素的周围16个像素，进行了水平插值，然后进行垂直插值，从而求出对象像素的像素值。其中，像素插值中所使用的周围16个像素在像素块读出部141中，根据由整数小数分离部142供给的整数值而被抽出，并提供给像素插值部145。以下，对水平方向(1维)的像素插值的方法进行说明。

下面，根据图9，对像素插值的方法进行说明。图9是概念性表示像素插值的方法的说明图。在本实施例中，如上所述，分为水平方向和垂直方向来计算变形率，根据水平变形率Δx计算出水平滤波系数hx，根据垂直变形率Δy计算出垂直滤波系数hy。

图9(a)取横轴为位置(坐标)、取纵轴为灰度，图示了求取像素值的像素(以下也称为“插值像素”。)和其周围的4个像素。在图9(a)中，对象像素用星形标识表示，其周围的4个像素(图中记为符号)用圆形标识表示。在圆形标识的内部记载的数字与上述的滤波系数h(n)的n值一致。以下，将周围4个像素也称为“符号”。

图9(b)表示与像素插值中使用的周围4个像素(符号)相关的滤波系数h(n)。滤波系数用方形标识表示，其内部记载的编号与图9(a)所示的周围4个像素的编号一致。即，图9(b)所示的符号-1的滤波系数，为上述的滤波系数h(-1)。滤波系数通过在上述的A-4-2.滤波系数导出处理项中记载的方法算出。

图9(c)表示与像素插值中使用的周围4个像素(符号)相关的窗函数。窗函数是在某个有限区间以外成为0的函数。在卷积运算时，通过乘以窗函数，可以避免吉布斯(ギブス)现象。窗函数用三角标识表示，其内部记载的编号与图9(a)所示的周围4个像素的编号一致。

如图9(d)所示，通过进行卷积运算，可求出对象像素的像素值。具体而言，如图9(d)所示，针对各符号的像素值，分别乘以各符号位置处的滤波系数h(n)及窗函数，作为其结果的总和，求出插值像素、即对象修正后坐标通过透视转换而求出的修正前坐标(小数)的像素值。结果，导出修正后图像IG1中的对象修正后坐标的像素值。

A-5.第1实施例的效果：

如以上说明那样，通过本实施例中的投影仪100，在实施梯形修正时，可以按修正后坐标的每个坐标，求出修正后图像相对于修正前图像的变形率，根据变形率，导出求取修正后坐标的像素值时的滤波系数，从而求出修正后坐标的像素值。因此，由于可以按每个坐标使用恰当的滤波系数导出像素值，所以可以提高修正后图像的画质。

而且，在本实施例的投影仪100中，由于根据各坐标中的变形率这一参数计算出滤波系数，所以，例如与根据投影仪相对于投射面的投射角度、和液晶面板的坐标位置导出滤波系数的情况相比，可以简化算法。

并且，在本实施例中，截止频率fc＝T/2×变形率Δ(变形率≤1的情况)。即，在相对于修正前图像被缩小的情况下，如果缩小率大，则由于增强去假频滤波器的强度，进行滤波，所以缩小率大，在画质降低的部分变得模糊，可以提高画质。另一方面，相对于修正前图像被放大的部分由于截止频率fc＝T/2，所以不会模糊必要以上。因此，可以使整体画质提高。

B.第2实施例：

在第2实施例的投影仪中，滤波系数的导出方法与上述的第1实施例的投影仪100不同，除此以外，由于构成与第1实施例的投影仪100的构成相同，所以以下对滤波系数的导出方法进行说明，而省略其他的说明。

在本实施例中，滤波系数导出部146根据与变形率有关的变形率表T1、与插值距离有关的S表T2、和与符号位置有关的I表T3，导出滤波系数h。

图10是表示本实施例中在滤波系数的导出中使用的各表的图。图10(a)表示变形率表T1，(b)表示S表T2、(c)表示I表T3。变形率表T1、S表T2、I表T3，是将变形率离散化成1、0.8、0.6、0.4、0.2并将插值距离8分割而离散化、且将在像素插值中使用的周围像素设为4×4(＝16)个时的表。

图11是表示插值像素和在像素插值中使用的周围16个像素(在图9中表示为符号)的位置关系的图。水平插值距离及垂直插值距离是指，插值像素的与最近的左上的符号(像素)的距离。在图11中，如果将插值像素设为P(x，y)，则水平插值距离dx、垂直插值距离dy如图11所示，成为与符号S(0，0)的距离。符号位置表示将距离插值像素最近的左上的符号(像素)的坐标设为(0，0)时的符号的坐标(图11)。

图10(b)所示的S表00是S表T2的一例。如图10(a)所示，S表T2从S表00至S表44，准备了5×5(＝25)个表。

图10(c)所示的I表00是I表T3的一例。如图10(b)所示，I表T3准备了8×8(＝64)个表。在本实施例中，滤波系数是二维的滤波系数。

图12是用于说明本实施例中的滤波系数导出处理的流程的流程图。代替上述第1实施例中的滤波系数导出处理S103(图5)，而实施本实施例中的滤波系数导出处理S203。

如果在坐标转换部143中计算出水平变形率Δx及垂直变形率Δy(图5步骤S102)，则滤波系数导出部146首先根据计算出的变形率Δx及垂直变形率Δy，提取出S表T2(步骤T202)。滤波系数导出部146在变形率≥1的情况下，设变形率＝1，在0.8≤变形率＜1的情况下，设变形率为0.8，在0.6≤变形率＜0.8的情况下，设变形率为0.6，在0.4≤变形率＜0.6的情况下，设为变形率为0.6，在0.2≤变形率＜0.4的情况下，设变形率为0.4，在0＜变形率＜0.2的情况下，设变形率为0.2，参照变形率表T1。例如，在水平变形率Δx、垂直变形率Δy均为1的情况下，参照S表00。

另外，可以构成为当水平变形率Δx、垂直变形率Δy在变形率表T1中是未被离散化的值时，通过线性插值计算出滤波系数。例如，在Δx＝0.9的情况下，使用Δx＝1、Δx＝0.8处的滤波系数，利用线性插值计算出滤波系数。

接着，滤波系数导出部146根据水平插值距离dx、垂直插值距离dy，提取出I表T3(步骤T204)。具体而言，在整数小数分离部142中被分离的小数部分，成为水平插值距离dx、垂直插值距离dy。例如，在水平插值距离dx、垂直插值距离dy均为0的情况下，参照I表00。

滤波系数导出部146参照I表T3，导出各符号的滤波系数(步骤T206)，然后结束滤波系数导出处理。像素插值部145使用从滤波系数导出部146供给的二维滤波系数，进行像素插值(图5步骤S109)。

这样，由于滤波系数的导出的算法得到简化，所以在电路中执行插值处理变得容易。因此，可以实现梯形修正处理的处理速度的高速化。

C.变形例

另外，本发明并不限于上述的实施例，可以在不脱离其主旨的范围内以各种方式实施。

(1)在上述的实施例中，梯形失真修正部140按修正后坐标的每一个坐标计算出变形率，但变形率的计算方法并不限于上述的实施例。例如，可以将变形后图像按多个像素(坐标)分块，按该块的每个导出变形率，向块中包含的所有像素(坐标)应用与块对应的变形率。

(2)上述的实施例中，在导出修正后坐标的变形率的情况下，使用对象修正后坐标的周围的8个坐标，导出了变形率，但变形率的导出方法并不限于上述的实施例。例如，可以使用与对象修正后坐标相邻的1个坐标(x方向、y方向分别各1个坐标)，导出变形率。

(3)在上述的实施例中，梯形失真修正部140在进行像素插值时，使用了插值像素的周围16个像素进行计算，但像素插值中使用的像素数并不限于上述的实施例。

(4)在上述的第1实施例中，例示了梯形失真修正部140采用了使用水平滤波系数hx、垂直滤波系数hy的所谓系数分离型插值滤波进行像素插值的情况，但也可以构成为使用系数非分离型插值滤波进行像素插值。同样，在第2实施例中，也可以使用系数分离型滤波。

(5)在上述的实施例中，作为图像显示装置例示了投影仪，但作为图像显示装置并不限于投射型的投影仪，还可以是使图像显示于液晶面板、有机EL(Electro-Luminescence：电致发光)面板等图像显示部的图像显示装置。例如，当在使薄膜状的有机EL显示面板构成为筒状的图像显示部显示矩形图像时，需要对被输入的图像实施规定的变形处理。这样的情况下，认为通过根据变形率导出插值滤波系数，能够使画质提高。

而且，例如在具备液晶面板(图像显示部)的数码相机(图像显示装置)中，图像处理装置也可以进行梯形失真修正。此时，图像处理装置通过对因相机的传感器与被拍物不平行而产生的失真(透视的失真)进行修正，并向图像显示部输出，将按照相机的传感器平行于被拍物的方式拍摄的图像，显示于图像显示部。在这样的情况下，也可以通过根据变形率导出滤波系数，来提高画质。

(6)在上述的实施例中，投影仪100使用透射型液晶面板154，对来自照明光学系统152的光进行了调制，但并不限于透射型液晶面板154，例如，也可以构成为使用数字微镜器件(DMD(注册商标)：Digital Micro-Mirror Device)、反射型液晶面板(LCOS(注册商标)：Liquid Crystalon Silicon)等，对来自照明光学系统152的光进行调制。

(7)在上述的实施例中，例示了实施梯形失真修正处理作为针对原始图像的变形处理的情况，但并不限于梯形失真修正。例如，也可以在用户操作遥控器172指示了任意变形(例如为了提高图像的效果，将矩形显示的图像硬变形为梯形的情况等)的情况下，根据该指示，按照预先确定的规则，对图像进行变形。在这样的情况下，也可以通过根据变形率导出滤波系数，使画质提高。

(8)在上述的实施例中，例示了作为图像处理装置的梯形失真修正部140，对液晶面板驱动部155输出修正后图像数据，使其显示于液晶面板154的情况，但例如可以向各种输出装置输出，例如向打印机输出，或写入到硬盘中等。这样，在将被输入的图像变形输出的情况下，也可以使画质提高。

(9)滤波系数的导出方法并不限于上述的实施例。例如，上述的实施例中，在水平变形率Δx为1以下的情况下，将水平截止频率fcx设为T/2×水平变形率Δx，但水平变形率Δx所乘的系数并不限于T/2，也可以使用通过实验求出的最佳系数。

(10)在上述实施例中，可以用硬件来实现由软件实现的功能的一部分，或者，可以用软件来使用由硬件实现的功能的一部分。

Claims (6)

1.一种图像处理装置，其特征在于，具备：

变形率导出部，其针对根据预先确定的规则使原始图像发生变形后的变形后图像，导出各像素的所述变形后图像相对于所述原始图像的变形率；

滤波系数导出部，其根据与各像素对应的所述变形率，导出滤波系数，所述滤波系数用于使用所述原始图像的像素值，并通过像素插值而导出所述变形后图像的像素值；和

像素值导出部，其使用与各像素对应的所述滤波系数，导出所述变形后图像的像素值，将其作为变形后图像数据输出。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述变形率导出部按所述变形后图像的每1个像素导出所述变形率。

3.根据权利要求1或2所述的图像处理装置，其特征在于，

将表示对所述原始图像实施了梯形失真修正的图像的图像数据，作为所述变形后图像数据输出。

4.一种图像显示装置，其特征在于，具备：

图像处理装置；和

根据从所述图像处理装置送出的变形后图像数据，进行图像显示的图像显示部；

所述图像处理装置具备：

变形率导出部，其针对根据预先确定的规则使原始图像发生变形后的变形后图像，导出各像素的所述变形后图像相对于所述原始图像的变形率；

滤波系数导出部，其根据与各像素对应的所述变形率，导出滤波系数，所述滤波系数用于使用所述原始图像的像素值，并通过像素插值而导出所述变形后图像的像素值；和

像素值导出部，其使用与各像素对应的所述滤波系数，导出所述变形后图像的像素值，将其作为变形后图像数据输出。

5.根据权利要求4所述的图像显示装置，其特征在于，

所述表示部具备：光源、对来自所述光源的光进行调制的调制部、和将由所述被调制的光形成的所述图像投射于被投射面的投射光学系统；

所述图像处理装置将表示对所述原始图像实施了梯形失真修正的图像的图像数据，作为所述变形后图像数据向所述图像显示部输送。

6.一种图像数据生成方法，其特征在于，用于生成对根据预先确定的规则使原始数据所表示的原始图像变形而得到的变形后图像进行表示的变形后图像数据，包括：

(a)针对所述变形后图像，导出各像素的所述变形后图像相对于所述原始图像的变形率的工序；

(b)根据在所述工序(a)中导出的与各像素对应的所述变形率，导出滤波系数的工序，所述滤波系数用于使用所述原始图像的像素值，并通过像素插值而导出所述变形后图像的像素值；

(c)使用在所述工序(b)中导出的与各像素对应的所述滤波系数，导出所述变形后图像的像素值的工序；和

(d)将在所述工序(c)中导出的所述变形后图像的像素值作为变形后图像数据，向图像显示部输送的工序。

Images