CN105939437B - 图像处理装置、显示装置及图像处理装置的控制方法 - Google Patents

Abstract

本发明涉及图像处理装置、显示装置及图像处理装置的控制方法，抑制与输入图像的变形相伴的图像的显示画质的降低。对输入图像进行变形而生成输出图像的投影机1具备：进行输入图像的几何修正的几何修正部(26)；背景数据生成部(28)，其在从几何修正部(26)输入了对输入图像进行了几何修正的修正后图像的数据的情况下，将修正后图像的数据作为输出图像的数据而输出，在没有从几何修正部(26)输入修正后图像的数据的情况下，将成为修正后图像的背景的背景图像的数据作为输出图像的数据而输出。

Description

图像处理装置、显示装置及图像处理装置的控制方法

技术领域

本发明涉及图像处理装置、显示装置及图像处理装置的控制方法。

背景技术

已知有进行使在显示部显示的图像的形状变化的几何修正的装置(例如，参照专利文献1)。专利文献1公开了进行几何修正的典型例子即梯形失真修正的投影机。

专利文献1：日本特开平11-331737号公报

由于一般使图像的形状变形的修正对输入图像进行缩小变形，所以在修正后的图像中，在显示图像的周边部会生成产生了缩小变形的结果的区域。例如，由于梯形失真修正通过在图像处理装置所具备的液晶面板上将图像缩小形成为梯形状而进行，所以在显示图像的梯形失真大时，在液晶面板上形成的图像将变小。若在该液晶面板的不显示显示图像的区域未显示适合的图像，则有时显示图像的显示画质将降低。

发明内容

本发明是鉴于上述情形而实现的，目的在于提供能够抑制与图像的变形相伴的图像的显示画质的降低的图像处理装置、显示装置及图像处理装置的控制方法。

为了实现上述目的，本发明的图像处理装置对输入图像进行变形而生成输出图像，具备：图像变形部，其进行上述输入图像的变形；以及输出图像生成部，其在从上述图像变形部输入了对上述输入图像进行了变形的变形后图像的数据的情况下，将上述变形后图像的数据作为上述输出图像的数据而输出，在没有从上述图像变形部输入上述变形后图像的数据的情况下，将成为上述变形后图像的背景的背景图像的数据作为上述输出图像的数据而输出。

根据本发明，能够抑制与图像的变形相伴的图像的显示画质的降低。

另外，本发明在上述图像处理装置中，具备：位置信息生成部，其生成位置信息，该位置信息表示没有从上述图像变形部输出上述变形后图像的数据的、上述输出图像的像素位置，上述输出图像生成部基于上述位置信息，判定没有从上述图像变形部输入上述变形后图像的数据的定时，并在没有输入上述变形后图像的数据的定时输出上述背景图像的数据。

根据本发明，能够正确地判定没有从图像变形部输入变形后图像的数据的定时，将背景图像的数据作为输出图像而输出。

另外，本发明在上述图像处理装置中，上述位置信息生成部在上述图像变形部对上述输入图像的1帧进行了变形时，基于从上述图像变形部输入的上述变形后图像的数据，生成表示上述变形后图像的背景的背景信息作为上述位置信息。

根据本发明，能够通过简单的处理生成位置信息。

本发明的显示装置对输入图像进行变形而显示于显示部，具备：图像变形部，其进行上述输入图像的变形；输出图像生成部，其在从上述图像变形部输入了对上述输入图像进行了变形的变形后图像的数据的情况下，将上述变形后图像的数据作为输出图像的数据而输出，在没有从上述图像变形部输入上述变形后图像的数据的情况下，将成为上述变形后图像的背景的背景图像的数据作为上述输出图像的数据而输出；以及图像处理部，其基于从上述输出图像生成部输入的上述输出图像的数据，构成输出图像，并显示于上述显示部。

根据本发明，能够抑制与图像的变形相伴的图像的显示画质的降低。

本发明的图像处理装置的控制方法是对输入图像进行变形而生成输出图像的图像处理装置的控制方法，其中：执行上述输入图像的变形；在输入了对上述输入图像进行了变形的变形后图像的数据的情况下，将上述变形后图像的数据作为上述输出图像的数据而输出，在没有输入上述变形后图像的数据的情况下，将成为上述变形后图像的背景的背景图像的数据作为上述输出图像的数据而输出。

根据本发明，能够抑制与图像的变形相伴的图像的显示画质的降低。

附图说明

图1是第1实施方式的投影机的方框图。

图2是第1实施方式的图像处理部的构成图。

图3是梯形失真修正的说明图，(A)是表示输入图像的图，(B)是表示输出图像的图。

图4是表示背景数据生成部的工作定时的图，(A)是表示输出垂直同步信号的图，(B)是表示从背景数据生成部输出的图像数据的图，(C)是表示从背景数据生成部输出的背景数据的图。

图5是表示第1实施方式的几何修正部的处理步骤的流程图。

图6是表示背景数据生成部的处理步骤的流程图。

图7是表示比较例的图，(A)是表示将帧存储器的整面用背景数据涂覆了的状态的图，(B)是表示将图像区域用图像数据覆写的情形的图。

图8是第2实施方式的图像处理部的构成图。

图9是坐标变换信息的计算方法的说明图，(A)是表示修正前图像的图，(B)是表示修正后图像的图。

图10是表示第2实施方式的图像处理部的处理步骤的流程图。

图11是几何修正处理的说明图，(A)是构成修正前图像的1块即块A的放大图，(B)是修正后图像中的块A的放大图。

图12是几何修正处理的说明图，(A)是表示块A内的所选择的4像素的图，(B)是表示所选择的4像素的几何修正后的像素位置的图。

图13是几何修正处理的说明图，(A)是表示修正后图像上的由4像素包围的输出像素的图，(B)是表示将4像素及输出像素恢复为修正前的状态后的状态的图。

符号的说明

1…投影机(显示装置)，3…图像供给装置，10…显示部，11…光源部，12…光调制装置，12a…像素区域，13…投射光学系统，22…光源驱动部，23…光调制装置驱动部，25A，25B…图像处理部(图像处理装置)，26…几何修正部(图像变形部)，27…帧存储器，28…背景数据生成部(输出图像生成部)，29…处理部，30…控制部，31…投射控制部，32…修正控制部，51…操作面板，52…遥控器受光部，53…输入处理部，54…存储部，55…无线通信部，251…背景映射生成部(位置信息生成部)，252…背景映射存储部，261…行缓冲器，262…传送地坐标表，263…坐标运算部(位置信息生成部)，2631…第1变换部，2632…选择部，2633…第2变换部，264…插补部，265…过滤器表，SC…屏幕。

具体实施方式

第1实施方式

图1是第1实施方式的投影机1的方框图。

作为显示装置的投影机1是与个人计算机和/或各种影像播放器等外部的图像供给装置3连接、将基于从该图像供给装置3输入的输入图像数据D的图像投射于对象物体的装置。作为图像供给装置3，举出视频再现装置、DVD(Digital Versatile Disk：数字视盘)再现装置、电视调谐器装置、CATV(Cable television：有线电视)的机顶盒、视频游戏装置等影像输出装置、个人计算机等。另外，对象物体既可以是建筑物和/或物体等不一样平的物体，也可以是屏幕SC和/或建筑物的壁面等具有平坦的投射面的物体。在本实施方式中例示向平面的屏幕SC投射的情况。

投影机1具备I/F(接口)部24，作为与图像供给装置3连接的接口。对I/F部24，例如可以使用输入数字影像信号的DVI接口、USB接口、LAN接口等。另外，对I/F部24，例如可以使用输入NTSC、PAL、SECAM等复合影像信号的S影像端子、输入复合影像信号的RCA端子、输入分量影像信号的D端子等。进而，对于I/F部24，可以使用遵照HDMI(注册商标)标准的HDMI连接器等通用接口。另外，I/F部24也可以形成为具有将模拟影像信号变换为数字图像数据的A/D变换电路且通过VGA端子等模拟影像端子与图像供给装置3连接的结构。另外，I/F部24既可以通过有线通信进行图像信号的发送接收，也可以通过无线通信进行图像信号的发送接收。

投影机1主要具备进行光学的图像的形成的显示部10和对由该显示部10显示的图像进行电处理的图像处理系统。首先，说明显示部10。

显示部10具备光源部11、光调制装置12及投射光学系统13。

光源部11具备包括氙灯、超高压水银灯、LED(Light Emitting Diode：发光二极管)等的光源。另外，光源部11也可以具备将光源发出的光引导至光调制装置12的反射器及辅助反射器。另外，光源部11也可以具备用于提高投射光的光学特性的透镜组、偏振板或者使光源发出的光的光量在到达光调制装置12的路径上降低的调光元件等(都未图示)。

光调制装置12相当于基于图像数据对从光源部11射出的光进行调制的调制部。光调制装置12形成为使用了液晶面板的构成。光调制装置12具备将多个像素以矩阵状配置而成的透射型液晶面板，对光源发出的光进行调制。光调制装置12由光调制装置驱动部23驱动，通过使以矩阵状配置的各像素中的光的透射率变化，来形成图像。

投射光学系统13具备进行投射的图像的放大、缩小及焦点的调整的变焦透镜、进行焦距的调整的焦距调整机构等。投射光学系统13使由光调制装置12进行了调制的图像光向对象物体投射而成像。

在显示部10，连接光源驱动部22及光调制装置驱动部23。

光源驱动部22按照控制部30的控制，驱动光源部11所具备的光源。光调制装置驱动部23按照控制部30的控制，根据从后述的图像处理部25A输入的图像信号来驱动光调制装置12，在液晶面板描绘图像。

投影机1的图像处理系统以对投影机1进行控制的控制部30为中心而构成。投影机1具备存储了控制部30处理的数据和/或控制部30执行的控制程序的存储部54。另外，投影机1具备检测基于遥控器5进行的操作的遥控器受光部52，具备检测经由操作面板51及遥控器受光部52进行的操作的输入处理部53。

存储部54是闪速存储器、EEPROM等非易失性的存储器。

控制部30具备未图示的CPU(Central Processing Unit：中央处理单元)、ROM(Read Only Memory：只读存储器)、RAM(Random Access Memory：随机存取存储器)等而构成。控制部30通过由CPU执行在ROM存储的基本控制程序及在存储部54存储的控制程序，来控制投影机1。另外，控制部30通过执行存储部54存储的控制程序，来执行投射控制部31、修正控制部32的功能。

在投影机1的主体，配置具备用户进行操作用的各种开关及指示灯的操作面板51。操作面板51与输入处理部53连接。输入处理部53按照控制部30的控制，根据投影机1的工作状态和/或设定状态，使操作面板51的指示灯适宜点亮或者闪烁。若操作面板51的开关被操作，则与被操作的开关对应的操作信号从输入处理部53向控制部30输出。

另外，投影机1具有用户使用的遥控器5。遥控器5具备各种按钮，与这些按钮的操作对应地发送红外线信号。在投影机1的主体，配置接受遥控器5发出的红外线信号的遥控器受光部52。遥控器受光部52对从遥控器5接受的红外线信号进行解码，生成表示遥控器5的操作内容的操作信号，并向控制部30输出。

图像处理部25A按照控制部30的控制取得输入图像数据D，并关于输入图像数据D判定图像大小和/或分辨率、是静止图像还是运动图像、在是运动图像的情况下的帧频等属性等。图像处理部25A按每帧在帧存储器27展开图像，对所展开的图像执行图像处理。图像处理部25A将处理后的图像从帧存储器27读出而生成与该图像对应的R、G、B的图像信号，并向光调制装置驱动部23输出。

图像处理部25A所执行的处理例如是分辨率变换处理、数字缩放处理、色调修正处理、亮度修正处理、几何修正处理等。另外，图像处理部25A基于从I/F部24输入的输入图像数据，进行在帧存储器27描绘图像的描绘处理、从帧存储器27读出图像而生成图像信号的生成处理等。另外，图像处理部25A当然也可以将上述的多个处理组合而执行。

另外，投影机1具备无线通信部55。无线通信部55具备未图示的天线和/或RF(Radio Frequency：射频)电路等，在控制部30的控制之下，在与外部的装置之间执行无线通信。无线通信部55的无线通信方式可以采用例如无线LAN(Local Area Network：局域网)、Bluetooth(注册商标)、UWB(Ultra Wide Band，超宽带)、红外线通信等近距离无线通信方式或者利用了便携电话线路的无线通信方式。

投射控制部31控制光源驱动部22、光调制装置驱动部23及图像处理部25A，使基于输入图像数据D的图像投射于对象物体。

修正控制部32在例如输入处理部53检测到基于遥控器5和/或操作面板51进行的几何修正处理的指示且表示几何修正处理的指示的操作数据被输入了的情况下，控制图像处理部25A而使其执行几何修正处理。

图2是第1实施方式的图像处理部25A的构成图。

图像处理部25A具备几何修正部(图像变形部)26、背景映射生成部(位置信息生成部)251、背景映射存储部252、背景数据生成部(输出图像生成部)28和处理部29。

几何修正部26取得输入图像数据D，对所取得的输入图像数据D进行几何修正处理。在本实施方式中，作为几何修正处理的一例，进行梯形失真修正。另外，以下，将梯形失真修正简称为修正。

在投影机1相对于屏幕SC具有倾斜度而配置的情况下，即使写入到帧存储器27的图像是矩形，投影到屏幕SC的图像也成为失真图像。几何修正部26为了使产生了梯形失真的图像呈现本来应该显示的形状的图像，使基于输入图像数据D的图像(以下称为输入图像)变形，以补偿屏幕SC的梯形失真。

图3是修正的说明图，图3(A)表示在帧存储器27描绘的输入图像P0，图3(B)表示在帧存储器27描绘的输出图像P1。输出图像P1是在由几何修正部26进行的修正后写入到帧存储器27的图像。若向屏幕SC投影输出图像P1，则梯形失真抵消，图像显示为矩形状。

几何修正部26对输入图像P0进行几何修正而输出的图像数据(修正后图像的数据)是描绘了图3(B)所示的对输入图像P0进行了几何修正而成的图像的区域(以下称为图像区域)的图像数据。图像区域以外的区域(以下称为背景区域)的数据不从几何修正部26输出。在投影机1和/或透射型的液晶显示装置中，若未将黑色图像等的背景数据(背景图像的数据)预先配置在背景区域，则与在屏幕SC投影的投影图像无关的周围的区域会不自然地变亮，成为使投影图像的显示画质降低的主要原因。

因此，本实施方式的背景数据生成部28判定没有从几何修正部26输出图像数据的定时，在不输出图像数据的定时，背景数据生成部28向帧存储器27写入背景数据。

背景映射生成部251在几何修正部26对输入图像P0的1帧进行了几何修正时，基于从几何修正部26输入的图像数据，生成表示背景区域的背景映射(背景信息)。背景映射是用于区别前述的图像区域和背景区域的映射，是与输出图像P1的各像素对应地记录了“0”或“1”的数据的映射。背景映射生成部251在从几何修正部26输入了图像数据的情况下，在输出图像P1的相应的像素位置记录“0”，在从几何修正部26未输入像素数据的情况下，在输出像素的相应的像素位置记录“1”。背景映射生成部251将所制作的背景映射输出至背景映射存储部252，使背景映射存储部252存储。

处理部29读出在帧存储器27存储的数据(图像数据及背景数据)，对所读出的数据执行分辨率变换、数字缩放、色调修正、亮度修正中的任一种以上。

图4是表示背景数据生成部28的工作定时的图。图4(A)表示从控制部30对背景数据生成部28供给的输出垂直同步信号(以下，表示为Vsync)，图4(B)表示背景数据生成部28输出图像数据的输出定时。另外，图4(C)是表示背景数据生成部28输出背景数据的输出定时的图。

背景数据生成部28边取得与从控制部30输入的输出水平同步信号(以下，表示为Lsyn，未图示)及Vsync的同步，边将图像数据或背景数据作为形成输出图像P1的数据写入到帧存储器27。

背景数据生成部28基于背景映射存储部252存储的背景映射和Lsyn及Vsync，判定没有从几何修正部26输入图像数据的定时。背景数据生成部28在没有从几何修正部26输入图像数据的定时，将背景数据作为形成输出图像P1的数据写入到帧存储器27。在图4所示的例子中，在图4(B)所示的图像数据的信号电平降低到了低电平的定时，图4(C)所示的背景数据的信号电平成为高电平，从背景数据生成部28对帧存储器27写入背景数据。在背景数据，例如可以使用背景色为黑的图像数据。另外，背景色不限于黑色，只要像素值低即可。

图5是表示几何修正部26的处理步骤的流程图。

若更新传送地坐标表，则控制部30将表示更新了传送地坐标表的信息的信号(以下，称为更新通知信号)发送到几何修正部26。所谓传送地坐标表，是将输出图像P1中的像素的位置(坐标)与对应于该位置的输入图像P0上的位置(坐标)关联的表。另外，传送地坐标表不需要关于输出图像P1中的全部像素包含对应关系。

若从控制部30输入更新通知信号(步骤S1/是)，则几何修正部26将实施了修正的图像数据的输出地从背景数据生成部28改变为背景映射生成部251(步骤S2)。几何修正部26在更新通知信号的输入后，若对最初输入的1帧的图像数据进行修正，则将处理了的图像数据输出至背景映射生成部251(步骤S3)。若对最初的1帧的图像数据的修正结束，则几何修正部26将图像数据的输出地改变为背景数据生成部28(步骤S4)。此后，几何修正部26对输入的图像数据进行修正而输出至背景数据生成部28(步骤S5)。另外，几何修正部26在步骤S1若判定为未输入更新通知信号(步骤S1/否)，则不进行图像数据的输出地的改变，而将修正后的图像数据输出至背景数据生成部28(步骤S5)。

图6是表示背景数据生成部28的处理步骤的流程图。

背景数据生成部28与从控制部30输入的Lsyn及Vsync同步，将从几何修正部26输入的图像数据或背景数据写入到帧存储器27。

背景数据生成部28参照在背景映射存储部252存储的背景映射，判定接着写入到帧存储器27的数据是否是背景数据(步骤S11)。背景数据生成部28若判定为接着写入的数据是背景数据(步骤S11/是)，则将背景数据作为形成输出图像P1的数据写入到帧存储器27(步骤S13)。另外，背景数据生成部28若判定为接着写入的数据不是背景数据(步骤S11/否)，则将从几何修正部26输入的图像数据作为形成输出图像P1的数据写入到帧存储器27(步骤S12)。若步骤S12或S13的处理结束，则背景数据生成部28参照背景映射，判定向帧存储器27的写入是否结束了(步骤S14)。若判定为写入未结束(步骤S14/否)，则背景数据生成部28返回到步骤S11。另外，若判定为写入结束(步骤S14/是)，则背景数据生成部28使该处理流程结束。

图7是表示与本实施方式的比较例的图，图7(A)是表示将帧存储器27的整面用背景数据涂覆了的状态的图，图7(B)是表示将图像区域用图像数据覆写了的状态的图。

在如图7(A)所示将帧存储器27的整面用背景数据涂覆了之后，如图7(B)所示将图像区域用图像数据覆写了的情况下，在图像区域写入图像数据和背景数据这2次数据。即，在对帧存储器27写入的数据中产生不需要的数据。

相对于此，本实施方式的背景数据生成部28基于背景映射判定没有从几何修正部26输出图像数据的定时，在不输出图像数据的定时，背景数据生成部28向帧存储器27输出写入背景数据。因此，在图像区域不会2次写入图像数据，能够以1帧量的数据写入时间向帧存储器27写入输出图像P1。

第2实施方式

图8是第2实施方式的图像处理部(图像处理装置)25B的构成图。图像处理部25B具备几何修正部26和处理部29。

几何修正部26对输入图像数据D进行几何修正处理，使修正后的图像数据存储于帧存储器27。处理部29从帧存储器27读出由几何修正部26处理后的图像，对该图像执行分辨率变换、数字缩放、色调修正、亮度修正之中的任一种以上。

几何修正部26具备行缓冲器261、传送地坐标表262、坐标运算部263(位置信息生成部)、插补部264和过滤器表265。另外，坐标运算部263具备第1变换部2631、选择部2632和第2变换部2633。

行缓冲器261具备行缓冲器261A、行缓冲器261B、行缓冲器261C及行缓冲器261D。各行缓冲器261A、261B、261C及261D存储水平方向的1行量的图像数据。即，本实施方式的行缓冲器261存储水平方向的4线量的图像数据。以下，将从I/F部24输入并在行缓冲器261存储的水平方向的多行量的图像数据表示为图像数据D1。

在行缓冲器261存储的图像数据D1中，包含构成图像数据D1的各像素的像素数据。像素数据包含表示1帧的图像数据中的像素位置的像素位置信息和各像素的像素值。

在图8中，表示了具备4个行缓冲器261A、261B、261C及261D的行缓冲器261，但是行缓冲器261的数量不限于4个，可以根据插补部264的插补处理所需的像素数而增减。

在传送地坐标表262中，登记坐标变换信息。坐标变换信息是关于实施几何修正处理前的图像(以下，称为修正前图像)上的代表点，计算几何修正后的图像(以下，称为修正后图像)上的坐标，将代表点的修正前图像上的坐标与修正后图像上的坐标关联的信息。

另外，以下，作为几何修正处理的一例，说明进行梯形失真修正的情况。坐标变换信息由投影机1的控制部30计算，登记在传送地坐标表262。

图9是坐标变换信息的计算方法的说明图，图9(A)表示在光调制装置12所具备的液晶面板的像素区域12a描绘的修正前图像P2，图9(B)表示在像素区域12a描绘的修正后图像P3。

在本实施方式中，如图9(A)所示，将修正前图像P2分割为L像素×L像素(L是任意的自然数)的矩形的块，将分割后的各块的网格点设为前述的代表点。对分割后的各块的网格点，计算修正后图像P3上的坐标，将修正前图像P2上的坐标与修正后图像P3上的坐标关联而登记到传送地坐标表262。另外，将在修正前图像P2设定的正交坐标系设为X-Y坐标系，将在修正后图像P3设定的正交坐标系设为x-y坐标系。

例如，将图9(A)所示的修正前图像P2上的块的各网格点(X0，Y0)、(X1，Y1)、(X2，Y2)、(X3，Y3)的坐标与图9(B)所示的修正后图像P3上的块的各网格点(x0，y0)、(x1，y1)、(x2，y2)、(x3，y3)的坐标分别关联。

坐标运算部263根据行缓冲器261中存储的多行的图像数据D1，计算像素值的计算成为可能的修正后图像P2上的输出像素的坐标。坐标运算部263将所计算的输出像素的坐标变换为修正前图像P2上的坐标，通知给插补部264。插补部264基于从行缓冲器261读入的像素的像素值计算从坐标运算部263通知的修正前图像P2上的坐标的像素值。因此，本实施方式能够削减插补部264在插补处理中使用的像素数，从而降低连接行缓冲器261与插补部264的总线的带宽负荷的增大。

说明构成坐标运算部263的各部分。第1变换部2631将构成修正前图像P2的像素的坐标变换为修正后图像P3上的坐标。构成修正前图像P2的像素配置在修正前图像P2上的坐标值为整数的位置，在修正前图像P2上的坐标值包含小数点的位置不存在像素。另外，在修正后图像P3上的“坐标”中，包括坐标值中包含小数点的情况。选择部2632基于构成修正前图像P2的像素的修正后图像P3上的坐标，选择构成修正后图像P3的输出像素。第2变换部2633计算选择部2632所选择的输出像素的修正前图像P2上的坐标。

以下，详细地说明第1变换部2631、选择部2632、第2变换部2633的处理。

图10是表示第2实施方式的几何修正部26的处理步骤的流程图。

首先，第1变换部2631参照传送地坐标表262，求出将修正前图像P2上的坐标(X，Y)变换为修正后图像P3上的坐标(x，y)的线性变换的变换式(步骤S21)。

图11是几何修正处理的说明图，图11(A)表示将构成修正前图像P2的1块即块A放大了的放大图，图11(B)表示修正后图像P3中的块A的放大图。通过进行修正，修正前图像P3上的块A被修正为修正后图像P3上的块A。另外，将L(L是任意的自然数)像素×L像素的群集表示为块。将图11(A)中所示的块A内的坐标(X，Y)变换为修正后的坐标(x，y)的变换式为下述式(1)、(2)。

【数学式1】

为了简化式(1)、(2)，设x1'＝x1-x0、x2'＝x2-x0、x3'＝x3-x0、y1'＝y1-y0、y2'＝y2-y0、y3'＝y3-y0。

另外，坐标(X，Y)是以块A的左上角为原点的坐标。即，从修正前图像P2的原点(0，0)到坐标(X，Y)的坐标可以将坐标(X，Y)加上从原点到块A的左上角的网格点的距离而求出。修正后图像P3上的坐标(x，y)是以修正后图像P3的原点(0，0)为原点的坐标。

图12是几何修正处理的说明图，图12(A)表示图11(A)中所示的块A内的所选择的4像素，图12(B)是表示所选择的4像素的几何修正后的像素位置的图。

接着，选择部2632在修正前图像P2中，选择块内的小区域的4像素(例如，2×2像素)，并根据上述的式(1)、(2)计算所选择的4像素的修正后图像P3上的坐标(步骤S22)。以下，将所选择的4像素称为像素a、b、c、d。将修正前图像P2上的所选择的4像素a、b、c、d示于图12(A)。将所选择的4像素a、b、c、d的修正后图像P3上的位置示于图12(B)。另外，在图12(B)，放大显示了4像素a、b、c、d和位于其周围的坐标值由整数表示的像素(以下，称为整数像素)。

接着，选择部2632确定输出像素和背景像素(步骤S23)。选择部2632将修正后图像P3上的处于由4像素a、b、c、d包围的范围内的整数像素确定为输出像素。图12(B)所示的由4像素a、b、c、d包围的像素F成为输出像素F。另外，在存在不由修正后图像P3上的4像素a、b、c、d包围的整数像素的情况下，选择部2632将该整数像素确定为背景区域中所包含的背景像素。选择部2632生成背景坐标信息(位置信息)，该背景坐标信息(位置信息)表示被分类为背景像素的修正后图像P3上的整数像素的坐标(像素位置)。

图13是几何修正处理的说明图，图13(A)是表示修正后图像P3上的由4像素包围的输出像素的图，图13(B)是表示将4像素及输出像素恢复为修正前的状态后的状态的图。

接着，第2变换部2633计算输出像素F的修正前图像P2上的坐标(步骤S24)。将在步骤S22选择的4像素a、b、c、d的修正后图像P3上的坐标如图13(A)所示表示为a(xf0，yf0)、b(xf1，yf1)、c(xf2，yf2)、d(xf3，yf3)。另外，将在步骤S23确定的输出像素F的坐标如图13(A)所示表示为(xi，yi)。

首先，第2变换部2633判定输出像素F在4像素a、b、c、d之中，是包含在由a(xf0，yf0)、c(xf2，yf2)、d(xf3，yf3)包围的三角形的范围内，还是包含在由a(xf0，yf0)、b(xf1，yf1)、d(xf3，yf3)包围的三角形的范围内。

第2变换部2633在判定为输出像素F包含在由a(xf0，yf0)、c(xf2，yf2)、d(xf3，yf3)包围的三角形的范围内的情况下，根据下式(3)、(4)计算输出像素F(xi，yi)的修正前图像P2上的坐标(XF，YF)。在图13(B)中，表示输出像素F(xi，yi)的修正前图像P2上的坐标(XF，YF)。式(3)及(4)是通过求出仿射变换的变换式并根据所求出的变换式将输出像素F(xi，yi)变换为修正前图像P2的坐标(XF，YF)而求出的算式，所述仿射变换将4像素a、b、c、d的修正后图像P3上的坐标恢复为修正前图像P2上的坐标。另外，式(3)及(4)中所示的M的值是与像素间的距离对应的值，在设为上下左右相邻的2×2像素的坐标的情况下，M的值为1。

【数学式2】

XF＝M(yf2·xi-xf2·yi)/(xf3·yf2-xf2·yf3)…(3)

YF＝M(xf3·yi-yf3·xi)/(xf3·yf2-xf2·yf3)…（4）

另外，坐标运算部263在输出像素F包含在由a(xf0，yf0)、b(xf1，yf1)、d(xf3，yf3)包围的三角形的范围内的情况下，求出根据下式(5)、(6)计算输出像素F(xi，yi)的修正前图像P2上的坐标(XF，YF)的变换式。式(5)及(6)是通过求出仿射变换的变换式并根据所求出的变换式将输出像素F(xi，yi)变换为修正前图像P2的坐标(XF，YF)而求出的算式，所述仿射变换将4像素a、b、c、d的修正后图像P3上的坐标恢复为修正前图像P2上的坐标。另外，式(5)、(6)中所示的M的值是与像素间的距离对应的值，设为上下左右相邻的2×2像素的坐标的情况下的M的值为1。

【数学式3】

XF＝M(yf3·xi-xf3·yi)/(xf1·yf3-xf3·yf1)…（5）

YF＝M(xf1·yi-yf1·xi)/(xf1·yf3-xf3·yf1)…（6）

另外，在存在多个由4像素a、b、c、d的修正后图像P3上的坐标包围的输出像素的情况下，坐标运算部263对各输出像素，计算修正前图像P2上的坐标(XF，YF)。

另外，在本实施方式中，在计算输出像素F的修正前图像P2上的坐标时，不使用线性变换，而使用仿射变换。这是因为求出线性变换的变换式的逆函数的运算复杂，所以使用仿射变换来计算输出像素F的修正前图像P2上的坐标。

接着，坐标运算部263判定是否以修正前图像P2所包含的全部4像素的组合实施了上述步骤S22～S24的处理(步骤S25)。在否定判定的情况下(步骤S25/否)，坐标运算部263返回到步骤S22的处理，通过未选择的其他4像素的组合来实施步骤S22～S24的处理。

另外，坐标运算部263以修正前图像P2所包含的4像素的全部的组合实施上述步骤S22～S24的处理，生成背景坐标信息。另外，坐标运算部263在背景坐标信息的生成时，可以通过确定位于背景像素与图像区域的像素的边界的像素，来简化背景坐标信息的制作。例如，坐标运算部263在水平方向的同一行中，在被分类为背景像素的像素的下侧的像素是图像区域的像素的情况下，将背景像素上侧的像素全部分类为背景像素。

在步骤S25的判定为肯定判定的情况下(步骤S25/是)，坐标运算部263将输出像素F的坐标(XF，YF)通知给插补部264。坐标运算部263将在步骤S24计算的修正前图像P2上的输出像素F的坐标(XF，YF)之中可以基于行缓冲器261中存储的图像数据D1进行插补处理的输出像素F的坐标(XF，YF)通知给插补部264(步骤S26)。例如，在由插补部264进行的插补处理是基于4抽头(Tap)过滤器的插补处理的情况下，需要图像数据D1的4×4像素。因此，坐标运算部263选择周围的4×4像素的像素数据存储在行缓冲器261的输出像素F，通知给插补部264。

另外，坐标运算部263将所计算的背景坐标信息通知给背景数据生成部28(步骤S27)。

在过滤器表265中，登记插补部264在插补处理中使用的X轴方向、Y轴方向的过滤器系数。过滤器系数是关于构成修正后图像P3的输出像素之中无法确定修正前图像P2的对应的一个像素的像素，通过插补处理求出像素值的系数。例如，在过滤器表265中，登记纵横离散型的1维过滤器的过滤器系数。

插补部264通过插补运算计算从坐标运算部263通知的输出像素F(XF，YF)的修正前图像P2上的坐标处的像素值(步骤S28)。例如，在插补部264用于插补运算的插补过滤器的抽头数为4的情况下，插补部264将输出像素F(XF，YF)的周围的4×4像素用于插补处理。另外，插补部264基于输出像素F(XF，YF)与离该输出像素F最近的整数像素的距离(dX，dY)，选择插补过滤器的过滤器系数。插补部264进行所选择的像素的像素值与所选择的插补过滤器的过滤器系数的卷积运算，计算输出像素F(XF，YF)的像素值。插补部264若计算出像素值，则将所计算的输出像素F(XF，YF)的像素值输出至背景数据生成部28(步骤S29)。

背景数据生成部28基于从坐标运算部263取得的背景坐标信息，向帧存储器27写入背景数据或图像数据。该情况下的背景数据生成部28的处理步骤仅是背景数据生成部28所参照的信息从在第1实施方式说明的背景映射改变为背景坐标信息，所以省略说明。

如以上所说明，应用了本发明的实施方式所涉及的投影机1是对输入图像进行几何修正而生成输出图像的图像处理装置，具备几何修正部26和背景数据生成部28。几何修正部26进行输入图像的几何修正。背景数据生成部28在从几何修正部26输入了对输入图像进行了几何修正而得到的修正后图像的数据的情况下，将修正后图像的数据作为输出图像的数据而输出，并且在没有从几何修正部26输入修正后图像的数据的情况下，将成为修正后图像的背景的背景图像的数据作为输出图像的数据而输出。从而，能够抑制与几何修正相伴的图像的显示画质的降低。

另外，投影机1具备坐标运算部263，该坐标运算部263生成表示没有从几何修正部26输出修正后图像的数据的、输出图像的像素位置的位置信息。背景数据生成部28基于位置信息，判定没有从几何修正部26输入修正后图像的数据的定时，在没有输入修正后图像的数据的定时输出背景图像的数据。从而，能够正确地判定没有从几何修正部26输入修正后图像的数据的定时，将背景图像的数据作为输出图像输出。

另外，背景映射生成部251在几何修正部26对输入图像的1帧进行了几何修正时，基于从几何修正部26输入的修正后图像的数据，生成表示修正后图像的背景的背景信息作为位置信息。从而，能够通过简单的处理生成位置信息。

另外，上述的实施方式不过是应用了本发明的具体方式的例子，而并非要限定本发明，也可以作为与上述实施方式不同的方式而应用本发明。在上述实施方式中，作为几何修正的一例，表示说明了进行梯形失真修正(keystone修正)的例子，但是本发明不限于此，也可以应用于进行桶形失真修正(筒形失真修正)的情况，也可以应用于使图像变形为更复杂的形状的几何修正。

另外，在上述实施方式中，作为对光源发出的光进行调制的光调制装置12，举例说明了使用了与RGB的各色对应的3块透射型的液晶面板的构成，但是本发明不限于此。例如，既可以设为使用了3块反射型液晶面板的构成，也可以使用将一块液晶面板与色环组合的方式。或者，也可以通过使用了3块数字微镜器件(DMD)的方式、将一块数字微镜器件与色环组合的DMD方式等来构成。在仅使用一块液晶面板或DMD作为光调制装置的情况下，不需要与交叉分色棱镜等合成光学系统相当的部件。另外，除了液晶面板及DMD以外，只要是可以对光源发出的光进行调制的光调制装置，就没有问题，也可以采用。

另外，在上述实施方式中，作为搭载了图像处理装置的装置，表示了从屏幕SC的前方投射的前投型的投影机1，但是本发明不限于此。例如，可以采用从屏幕SC的背面侧投射的背投(背面投射)型的投影机作为显示装置。另外，可以使用液晶显示器、有机EL(ElectroLuminescence，电致发光)显示器、等离子显示器、CRT(阴极射线管)显示器、SED(Surface-conduction Electron-emitter Display，表面传导电子发射显示器)等作为显示装置。

另外，图1、图2及图8所示的各功能部表示了功能性结构，具体的安装方式没有特别限制。即，不必一定安装与各功能部个别地对应的硬件，当然也可以采用通过由一个处理器执行程序来实现多个功能部的功能的构成。另外，既可以将在上述实施方式中由软件实现的功能的一部分用硬件实现，或者，也可以将由硬件实现的功能的一部分用软件实现。此外，关于投影机1的其他各部分的具体的细节构成，也可以在不脱离本发明的主旨的范围任意地改变。

Claims (3)

1.一种图像处理装置，其特征在于，具备：

图像变形部，其对输入图像进行变形而生成变形后图像；

位置信息生成部，其生成背景坐标信息，上述背景坐标信息表示没有从上述图像变形部输出上述变形后图像的数据的输出图像的像素位置；以及

输出图像生成部，其基于上述背景坐标信息将背景图像合成到由上述图像变形部生成的上述变形后图像而生成上述输出图像，

上述位置信息生成部基于将上述输入图像上的代表点的坐标与上述变形后图像上的坐标相对应的信息，求出将上述输入图像上的坐标变换为上述变形后图像上的坐标的变换式，基于所求出的上述变换式将构成上述输入图像的相互相邻的4个像素的坐标变换为上述变形后图像上的坐标，将由变换后的4个上述像素的坐标包围的坐标值用整数表示的像素确定为成为上述变形后图像的像素，将没有由变换后的4个上述像素的坐标包围的坐标值用整数表示的像素确定为成为上述背景图像的像素，生成上述背景坐标信息，

上述输出图像生成部基于上述背景坐标信息，在没有从上述图像变形部输出上述变形后图像的数据的定时，输出上述背景图像的数据。

2.一种显示装置，其特征在于，具备：

图像变形部，其对输入图像进行变形而生成变形后图像；

位置信息生成部，其生成背景坐标信息，上述背景坐标信息表示没有从上述图像变形部输出上述变形后图像的数据的输出图像的像素位置；

输出图像生成部，其基于上述背景坐标信息将背景图像合成到由上述图像变形部生成的上述变形后图像而生成上述输出图像；以及

显示部，其显示由上述输出图像生成部生成的所述输出图像，

上述位置信息生成部基于将上述输入图像上的代表点的坐标与上述变形后图像上的坐标相对应的信息，求出将上述输入图像上的坐标变换为上述变形后图像上的坐标的变换式，基于所求出的变换式将构成上述输入图像的相互相邻的4个像素的坐标变换为上述变形后图像上的坐标，将由变换后的4个上述像素的坐标包围的坐标值用整数表示的像素确定为成为上述变形后图像的像素，将没有由变换后的4个上述像素的坐标包围的坐标值用整数表示的像素确定为成为上述背景图像的像素，生成上述背景坐标信息，

上述输出图像生成部基于上述背景坐标信息，在没有从上述图像变形部输出上述变形后图像的数据的定时，输出上述背景图像的数据。

3.一种图像处理装置的控制方法，其特征在于，包括：

对输入图像进行变形而生成变形后图像的步骤；

生成背景坐标信息的步骤，上述背景坐标信息表示没有输出上述变形后图像的数据的输出图像的像素位置；以及

基于上述背景坐标信息将背景图像合成到所生成的上述变形后图像而生成上述输出图像的步骤，

在生成上述背景坐标信息的步骤中，

基于将上述输入图像上的代表点的坐标与上述变形后图像上的坐标相对应的信息，求出将上述输入图像上的坐标变换为上述变形后图像上的坐标的变换式，

基于所求出的上述变换式将构成上述输入图像的相互相邻的4个像素的坐标变换为上述变形后图像上的坐标，

将由变换后的4个上述像素的坐标包围的坐标值用整数表示的像素确定为成为上述变形后图像的像素，将没有由变换后的4个上述像素的坐标包围的坐标值用整数表示的像素确定为成为上述背景图像的像素，生成上述背景坐标信息，

在生成上述输出图像的步骤中，基于上述背景坐标信息，在没有从生成上述变形后图像的步骤输出上述变形后图像的数据的定时，输出上述背景图像的数据。

Images