CN108668121A - 图像处理装置、图像处理方法及存储介质 - Google Patents

Abstract

本发明提供一种图像处理装置、图像处理方法及存储介质。该图像处理装置具备：取得被投影对象的第一特征的特征取得单元；根据第一特征，对在投影单元输入的输入图像进行修正，生成第一投影图像的修正单元；基于第一特征确定在被投影对象中应关注的关注特征的区域的确定单元；取得对投影单元在被投影对象上投影的投影图像进行投影得到的投影后拍摄图像的投影图像取得单元；通过将投影图像与投影后拍摄图像的各个关注特征区域进行比较，判定关注特征的区域是否进行了变化的判定单元；在判定为关注特征区域进行了变化时，取得被投影对象的第二特征的第二特征取得单元；通过基于第二特征来修正输入图像而生成第二投影图像的第二修正单元。

Description

图像处理装置、图像处理方法及存储介质

技术领域

本申请主张以2017年3月27日申请的日本专利申请特愿2017-060319为基础的优先权，将该基础申请的内容全部引用到本申请中。

本发明涉及图像处理装置、图像处理方法以及存储图像处理程序的存储介质。

背景技术

为了通过投影仪等投影装置得到鲜明的投影图像，需要高精度定位地设置被投影对象和投影装置。例如，在日本特开2016－15639号公报中公开了一旦在设置了投影装置后再设置时为了再现之前的投影位置，修正投影图像的技术。

在日本特开2016－15639号公报中记载的技术中，设想被投影对象为壁面的情况。该技术没有设想向有凹凸、起伏或者有彩色图案的窗帘等被投影对象投影图像的情况。

因此，本发明的目的在于，即使是带彩色图案或者不平坦的被投影对象，也能够通过投影装置根据投影条件的变化投影良好的图像。

发明内容

一种图像处理装置，其具备：

特征取得单元，其取得被投影对象的第一特征；

修正单元，其根据上述第一特征，对输入给投影单元的输入图像进行修正，生成第一投影图像；

确定单元，其基于上述第一特征确定上述被投影对象中应关注的关注特征的区域；

拍摄图像取得单元，其取得对于通过上述投影单元在上述被投影对象投影的上述第一投影图像进行了拍摄而得到的投影后拍摄图像；

判定单元，其通过将上述第一投影图像与上述投影后拍摄图像的各个上述关注特征的区域进行比较来判定上述关注特征的区域是否进行了变化；

第二特征取得单元，其在判定为上述关注特征的区域进行了变化的情况下，取得上述被投影对象的第二特征；以及

第二修正单元，其通过基于上述第二特征修正上述输入图像来生成第二投影图像。

一种图像处理方法，其包含：

特征取得步骤，取得被投影对象的第一特征；

修正步骤，根据上述第一特征，对输入给投影单元的输入图像进行修正，生成第一投影图像；

确定步骤，基于上述第一特征确定上述被投影对象中应关注的关注特征的区域；

拍摄图像取得步骤，取得对于通过上述投影单元在上述被投影对象投影的上述第一投影图像进行了拍摄而得到的投影后拍摄图像；

判定步骤，通过将上述第一投影图像与上述投影后拍摄图像的各个上述关注特征的区域进行比较，来判定上述关注特征的区域是否进行了变化；

第二特征取得步骤，在判定为上述关注特征的区域进行了变化的情况下，取得上述被投影对象的第二特征；以及

第二修正步骤，通过基于上述第二特征修正上述输入图像来生成第二投影图像。

一种存储介质，其存储了图像处理程序，该图像处理程序使计算机执行：

特征取得单元，其取得被投影对象的第一特征；

修正单元，其根据上述第一特征，对输入给投影单元的输入图像进行修正，生成第一投影图像；

确定单元，其基于上述第一特征确定上述被投影对象中应关注的关注特征的区域；

拍摄图像取得单元，其取得对于通过上述投影单元在上述被投影对象投影的上述第一投影图像进行拍摄而得到的投影后拍摄图像；

判定单元，其通过将上述第一投影图像与上述投影后拍摄图像的各个上述关注特征的区域进行比较来判定上述关注特征的区域是否进行了变化；

第二特征取得单元，其在判定为上述关注特征的区域进行了变化的情况下，取得上述被投影对象的第二特征；以及

第二修正单元，其通过基于上述第二特征修正上述输入图像来生成第二投影图像。

附图说明

如果与以下的附图一起考虑以下的详细的记载，则可更加深刻地理解本申请。

图1是表示包含本发明的一实施方式的投影装置的投影系统的设置状态的一个例子的图。

图2是表示一实施方式的投影装置的结构的一个例子的框图。

图3是表示修正初始处理的流程的一个例子的图。

图4是表示重新测定判定的流程的一个例子的图。

图5A是表示包含关注特征的被投影对象的偏离的一个例子的图。

图5B是表示包含关注特征的被投影对象的偏离的一个例子的图。

图6是表示重新测定的流程的一个例子的图。

具体实施方式

以下，参照附图对本发明的一实施方式进行说明。

图1是表示包含本实施方式的投影装置即投影仪10的投影系统1的设置状态的一个例子的图。投影仪10放置在台座2上。投影仪10在代替专用的屏幕的窗帘3上投影所希望的图像。在图1中，投影仪10配置在相对于窗帘3的正面偏离的位置，例如朝向窗帘3向右侧偏离的位置，从该位置向窗帘3投影图像。

窗帘3是能够折叠为波浪状的一般的窗帘。窗帘3即使是为了作为被投影对象使用而被拉开的状态，也主要沿着横向在其表面具有大的起伏。因此，从投影仪10被投影图像的窗帘3的投影区域4也包含沿着窗帘3的表面形状的不规则的形状。

另外，在窗帘3上带有彩色图案。在图1中，作为窗帘3的彩色图案的一个例子，表示了圆形的图案40。例如，图案40是非白色的单一色，窗帘3的图案40以外的部分的颜色(底色)也是非白色的单一色，是与图案40的颜色不同的颜色。在本实施方式中，图案40包含在窗帘3的投影区域4中。

即，在本实施方式中作为从投影仪10被投影图像的被投影对象的窗帘3带有彩色图案，不是平面状(不平坦)。另外，窗帘3能够开闭，能够容易移动。

在窗帘3的正面设置有用于观众100的椅子5。另外，在该椅子5的位置，以尽可能接近观众100的两眼的方式配置了作为安装在三脚架6上的拍摄装置的数码相机7。即，数码相机7以能够识别由观众100看到的窗帘3上的投影区域4的视角进行配置。

数码相机7例如通过USB(Universal Serial Bus通用串行总线)电缆8与投影仪10有线连接。数码相机7根据经由USB电缆8从投影仪10输入的控制信号，对包含窗帘3上的投影区域4的图像进行拍摄，将通过拍摄得到的图像数据经由USB电缆8发送到投影仪10。或者，数码相机7和投影仪10也可以经由个人计算机等连接，也可以为一体。

图2是表示本实施方式的投影仪10的结构的一个例子的框图。投影仪10具有输入输出部11。输入输出部11例如由接触插孔(RCA)类型的视频输入端子、D－sub15类型的RGB输入端子、HDMI(注册商标)(High－Definition Multimedia Interface高清多媒体接口)端子、USB端子等构成。

投影仪10具有投影图像处理部12、微镜元件13、光源14、反射镜15、投影镜头16，它们构成了投影部17。

输入到输入输出部11，或者存储在USB存储器而选择性地被读出的各种规格的图像信号在输入输出部11中根据需要进行数字化后，经由总线30被送出到投影图像处理部12。

光源14将红色(R)、绿色(G)、蓝色(B)的原色光分时地循环射出。光源14包含作为半导体发光元件的LED，将R、G、B的原色光分时地重复射出。LED作为广义的LED，可以包含LD(激光二极管或半导体激光器)、有机EL元件。来自光源14的原色光通过反射镜15全反射后照射到微镜元件13。

投影图像处理部12根据被送来的图像数据，如果是按照预定格式的帧率，例如输入的图像数据的帧率为60fps，则通过将2倍的120fps和颜色成分的分割数以及显示灰度数进行相乘而得到的更高速的分时驱动，驱动微镜元件13。微镜元件13通过对阵列状排列的数十万～数百万的例如横1280像素×纵960像素的微镜的各倾斜角度分别高速地进行开/关动作，从而通过其反射光形成光学图像。而且，形成的光学图像经由投影镜头16投影到外部。

投影仪10具有声音处理部18和扬声器部19。在从输入输出部11输入的图像信号中包含声音信号的情况下，将该声音信号在输入输出部11中从图像信号分离，并经由总线30发送给声音处理部18。声音处理部18具备PCM声源等声源电路，将在投影动作时赋予的声音信号进行模拟化，驱动扬声器部19来发声，或者根据需要产生哔哔声等。

在投影仪10中包含的上述结构的各电路的动作由CPU(Central Processing Unit中央处理单元)20控制。CPU20与主存储器21以及SSD(Solid State Drive固态驱动器)22连接。主存储器21例如由SRAM(Static Random Access Memory静态随机存取存储器)构成，作为CPU20的工作存储器发挥功能。SSD22由电可擦写的非易失性存储器，例如闪速存储器构成，用于存储CPU20执行的包含后述的修正设定程序、重新测定判定程序的各种动作程序、在成为基础的图像上重叠的OSD(On Screen display屏幕显示)用图像等各种固定数据等。

CPU20读出SSD22中存储的动作程序、固定数据等，将其在主存储器21中展开并存储后执行该程序，由此综合控制投影仪10。

CPU20根据经由总线30来自操作部23的操作信号执行各种投影动作。操作部23包含在投影仪10的主体上设置的操作按键或者接收来自未图示的该投影仪10专用的遥控器的红外线调制信号的接收部。操作部23例如通过该接收部接收操作信号，并将与接收到的操作信号相对应的信号经由总线30发送到CPU20。

CPU20经由总线30与无线LAN接口(I/F)24连接。无线LAN接口24经由无线LAN天线25，例如通过按照IEEE802.11a/11b/11g/11n标准的无线通信连接与外部的设备进行数据的收发。

接下来，对本实施方式的投影仪10的动作的一个例子进行说明。在本实施方式中，投影仪10包含图像处理装置，能够根据投影条件的变化投影良好的图像。

图3是表示修正初始处理的流程的一个例子的图。该流程表示CPU20从SSD22的修正设定程序读出，在主存储器21中展开并存储后执行的处理内容。

步骤S101中，CPU20经由输入输出部11，对数码相机7进行拍摄指示。数码相机7根据拍摄指示，对非投影时的包含投影区域4的窗帘3的图像进行拍摄。即，数码相机7拍摄未通过投影仪10进行投影的状态下的投影区域4。

步骤S102中，CPU20作为拍摄图像取得部，从数码相机7取得在步骤S101中拍摄到的图像。CPU20经由输入输出部11，取得从数码相机7发送的拍摄图像数据。

步骤S103中，CPU20执行初始测定，该初始测定用于进行来自投影仪10的投影图像的颜色修正和形状修正。初始测定例如通过用户按压操作部23的操作按键来开始。

在此，颜色修正是指在带有颜色的图案等上进行投影时为了抵消该图案的颜色，即使在该图案上也再现本来想要投影的颜色，即再现在白色的屏幕上进行投影时的颜色而进行的修正。形状修正是指为了在有起伏或凹凸的被投影对象上进行投影的情况下也使观众100无失真地看到投影图像而进行的几何学的修正。

在初始测定中，例如，CPU20使投影仪10在窗帘3的投影区域4中投影格雷码图案。而且，数码相机7接受来自CPU20的拍摄指示，对投影了格雷码图案的投影区域4进行拍摄。CPU20取得数码相机7拍摄到的拍摄图像数据和向投影仪10输入的输入图像数据，计算拍摄图像数据的像素(照相机像素)与输入图像数据的像素(投影仪像素)的对应关系，生成像素对应数据。为了针对照相机像素，求出对应的投影仪像素，通常，在大致测定对应的投影仪像素的位置后，求出高精细的位置对应关系。例如，通过利用格雷码的二分法查找缩小投影仪像素，如果缩小了某种程度则通过相移法进行高精度位置检测。根据生成的像素对应数据，确定当投影仪10输出哪个值的像素时通过数码相机7的哪个值的像素进行拍摄。

而且，关于颜色修正，CPU20计算为了针对处于对应关系的照相机像素和投影仪像素进行颜色修正所需要的参数。例如，投影仪10将全面黑色图像以及全面白色图像分别投影到投影区域4。然后，数码相机7分别拍摄包含黑色投影状态以及白色投影状态的投影区域4的图像。CPU20取得数码相机7拍摄到的黑色图像数据以及白色图像数据。CPU20基于上述的像素对应数据、取得的黑色图像数据以及白色图像数据，针对投影区域4的每个像素计算颜色修正所需的参数，生成颜色修正参数数据。例如，反馈与全面黑色图像以及全面白色图像对应的各投影仪像素的输出值，使得照相机图像成为均匀且准确的颜色，从而生成颜色修正参数数据。

另外，关于形状修正，CPU20利用像素对应数据对各图像数据生成网格由此使它们对应起来，计算为了在作为图像输出部向投影部17输出的输出图像数据与输入图像数据之间进行形状修正所需的变换参数，生成形状修正参数数据。

此外，用于进行上述的颜色修正和形状修正的初始设定为一个例子，能够使用本领域技术人员公知的各种方法。

步骤S104中，CPU20将步骤S103中取得的像素对应数据、颜色修正参数数据、形状修正参数数据等初始测定值存储在SSD22。

在步骤S105中，CPU20使用步骤S103中的初始测定结果，执行颜色修正和形状修正。

在进行颜色修正的情况下，例如，CPU20基于上述的像素对应数据以及颜色修正参数数据，变更来自投影仪10的各像素的输出值，使得通过数码相机7拍摄到的图像成为均匀的亮度且成为希望的颜色。投影仪10的投影部17将颜色修正后的图像投影到投影区域4。在进行形状修正的情况下，也同样地，CPU20基于上述的像素对应数据以及形状修正参数数据进行形状修正，将形状修正后的图像投影到投影区域4。

步骤S106中，CPU20从步骤S102中取得的拍摄图像数据，或者，从步骤S103中取得的形状修正参数数据等初始测定值，取得在投影区域4中包含的特征。然后，作为特征确定部，确定取得的特征中的为了重新测定而应该关注的特征(关注特征)。这里，在投影区域4中包含的特征包含与彩色图案有关的特征(彩色图案特征)和与起伏、凸凹、阶梯差等几何形状有关的特征(形状特征)。彩色图案特征例如能够从拍摄图像数据中包含的投影区域4的各像素的亮度信息或颜色修正参数数据取得。形状特征例如能够从形状修正参数数据取得。

即，CPU20作为特征取得部，取得在步骤S102中作为被投影对象的窗帘3中的投影区域4内的特征。另外，作为修正控制部，在步骤S103中根据特征决定修正参数，基于修正参数，对于向投影部17输出的输出图像进行修正。并且，作为特征确定部，确定特征中的关于再修正应该关注的关注特征。

这里，关注特征是在投影仪10、窗帘3或者数码相机7移动从而其相对位置发生了变化的情况下，由于基于初始测定进行了颜色修正和形状修正从而对于投影图像的外观产生很大影响的特征。

例如，关于颜色修正，当在投影区域4中存在由单一颜色构成的图案40的情况下，假设窗帘3的底色为淡色，图案40为深色。此时，即使相对位置仅稍微变化，若图案40的颜色与底色的边界偏离，则可能强烈地产生基于初始测定的颜色修正的影响。即，在外观中强烈地产生由于用于抵消图案40的颜色的颜色修正而产生的边缘。因此，这样的图案40与底色的边界以及其周边应该为关注特征。

相反，在窗帘3的底色和图案40的颜色都是淡色的情况下，仅相对位置稍微偏离，在外观中不那么出现颜色修正的影响。因此，这样的图案40也可以不作为关注特征。

另外，例如，若图案40是相对发光度高的颜色(例如绿色)，即使图案40的颜色与底色的边界稍微偏离，在外观中容易出现颜色修正的影响。因此，应该将这样的图案40与底色的边界及其周边作为关注特征。

另外，例如，若投影区域4的左半区为白色，右半区为单一的深色，两区域间具有能够明确地视觉识别的边界，则即使稍微偏离在该边界产生的边缘强烈，外观的不协调感大。即，在初始修正处理中的颜色修正中进行了用于抵消深色的修正，所以即使是稍微的偏离也会强烈地出现边缘。因此，应该将此时的边界及其周边作为关注特征。

相反，例如，即使投影区域4的颜色在边界分为2个，若是一方为橙色，另一方为红色这样的相互接近的颜色，则即使稍微偏移，外观的不协调感也会小。同样地，在投影区域4包含颜色的边界不明显的渐变的情况下，例如颜色从左侧的蓝色系统向右侧的红色系统渐渐地变化的情况等，若边界不明显，则有一些偏离外观的不协调感也会小。因此，此时，不确定关注特征。

这样，关于彩色图案特征的关注特征，综合考虑色相、色度、亮度等，例如，考虑色调的差异来设定。例如，关于亮度，图像亮的部分误差大，图像暗的部分误差小。因此，将图像暗的部分确定为关注特征。

例如，关于形状修正，投影图像部分地显著缩小的地方能够预测是极端的形状，所以从数码相机7投影到的图像中间接地判别形状的极端。即，基于拍摄图像数据相对于输入图像数据的缩小程度来确定形状特征中的关注特征。特别是如果形状特征为阶梯差，则此处即使稍微偏离也会在外观中强烈地出现边缘，所以应该将该阶梯差部分及其周边作为关注特征。

这样，对于与形状特征有关的关注特征，也综合考虑形状变化的强度等来进行设定。

因此，在步骤S106中，关于彩色图案特征，例如，在投影区域4内的底色与图案的颜色之间的色调差异大时，CPU20将该图案判别为关注特征，取得该区域的位置坐标。另外，关于形状特征，例如，将形状的起伏引起的角度变化大的位置判别为关注特征，取得该区域的位置坐标。

即，在本实施方式中，在步骤S106中，CPU20作为特征确定部，将预测为在投影仪10、窗帘3或者数码相机7移动从而其相对位置发生了变化的情况下，由于基于初始测定进行了颜色修正和形状修正因此对于投影图像的外观产生很大影响的部位预先确定为关注特征。在步骤S106后，修正初始处理结束。

接下来，对于在上述修正初始处理后投影仪10将进行了颜色修正和形状修正的输入图像作为投影图像投影到窗帘3的投影区域4的期间随时进行的重新测定判定进行说明。

图4是表示重新测定判定的流程的一个例子的图。该流程也表示CPU20从SSD22的重新测定判定程序读出，并在主存储器21中展开并存储后执行的处理内容。

此外，在以下的说明中，将在投影仪10的输入输出部11输入的图像数据称为“输入图像数据”，将由投影仪10的CPU20通过修正设定程序进行了修正，并从投影部17投影到被投影对象的图像数据称为“修正图像数据”，将基于投影到被投影对象的修正图像数据投影到投影区域4的图像称为“投影图像”，将数码相机对投影图像进行拍摄而得到的图像称为“拍摄图像”，将其图像数据称为“拍摄图像数据”。

在步骤S201中，CPU20自动地经由输入输出部11，对在初始测定中使用的数码相机7进行拍摄指示。数码相机7根据拍摄指示拍摄投影图像。拍摄指示的频度能够在重新测定判定程序中适当地设定。在本实施方式中，假设CPU20始终发出拍摄指示。

在步骤S202中，CPU20作为拍摄图像取得部，从数码相机7取得步骤S201的投影图像来作为拍摄图像。CPU20经由输入输出部11，取得从数码相机7送出的拍摄图像数据。

在步骤S203中，CPU20在对步骤S202中取得的拍摄图像数据进行失真修正、周边光量的修正、颜色空间转换等后，基于在修正初始处理的步骤S106中确定的关注特征，将拍摄图像数据与输入图像数据进行比较来计算关注特征的区域的变化量(偏离量)。

在此，如果基于修正初始处理由CPU20对输入图像数据适当地进行修正，生成修正图像数据，并且投影部17基于该修正图像数据进行投影，则拍摄图像数据与输入图像数据应该一致。若这样，关注特征的区域的变化量为0。然而，如果投影条件变化，例如，当投影仪10、数码相机7或者窗帘3移动从而它们的相对位置从初始测定时发生了变化，或者设定环境有变化，则存在关注特征的区域的变化量。

在步骤S204中，CPU20判定在步骤S203中计算出的关注特征的区域的变化量是否超过设定值。即，CPU20作为变化判定部，在投影部17正在将对输入图像数据进行修正后的修正图像数据作为投影图像进行投影时，将输入图像与投影图像进行比较，判定关注特征的区域是否发生了预定量以上的变化。

在本实施方式中，在将拍摄图像数据与输入图像数据进行比较而存在差异的情况下并非一定进行重新测定，对关注特征的区域的变化量设置阈值，仅在变化量超过该阈值的情况下(步骤S204－是)，处理进入步骤S205，进行重新测定。即，CPU20作为变化判定部，仅在判定为关注特征的区域发生了预定量以上的变化时，重新决定修正参数。在此，变化量的阈值是根据各关注特征的彩色图案特征、形状特征，在重新测定判定程序中针对每个关注特征恰当地设定的值。

例如，设为包含作为关注特征(彩色图案特征)的图案40的投影区域4偏离，该图案40的位置成为图5A中用虚线表示的图案40a以及投影区域4a。此时，即使投影区域4偏离也几乎没有图案40a的偏离，所以关注特征的区域的变化量小。因此，在这样的情况下，CPU20判定为关注特征的区域的变化量未超过设定值从而不进行重新测定。

另一方面，设为包含图案40的投影区域4偏离，该图案40的位置成为图5B中用虚线所示的图案40b以及投影区域4b。在该情况下，随着投影区域4的偏离图案40b也较大地偏离，关注特征的区域的变化量大。因此，在这样的情况下，CPU20判定为关注特征的区域的变化量超过设定值，进行重新测定。

例如，在CPU20将输入图像与投影图像进行比较来判定是否执行用于颜色修正和形状修正的重新测定的情况下，进行比较的区域越小CPU20的处理越轻松。换句话说，如果CPU20事先确定关注特征的区域，则与每次调查整个图像相比负担小。例如，在关注特征为带颜色的圆形图案40时，如果仅将图案的颜色与底色之间的边界部分的数点的像素作为关注特征，则重新测定判定时的处理轻松完成。

这样，在本实施方式中，在上述的初始修正处理的步骤S106中，CPU20预先确定了投影区域4中包含的为了重新测定而应该关注的特征，即，被预测为对于观众容易产生外观的不协调感的部分。然后，在步骤S204中着眼于该关注特征，仅在该区域产生了偏离的情况下，CPU20重新进行用于修正的重新测定。换句话说，在本实施方式中，仅在边缘强烈的部分、有起伏或凸凹的几何形状部分产生了偏离时重新生成修正数据。

另一方面，步骤S204中，在变化量未超过设定值的情况下(否)，处理返回步骤S201，重复步骤S201及其以后的处理。即，在投影仪10或窗帘3上的投影区域4的相对位置未从初始设定时偏离时，或者，即使偏离变化量比阈值小的情况下，不进行重新测定，投影仪10保持当前的颜色修正和形状修正处理继续投影。

图6是表示在步骤S205中CPU20执行的重新测定的流程的一个例子的图。

步骤S301中，CPU20判定步骤S204中计算出的变化量的大小。如在修正初始处理的步骤S103中所述那样，CPU20为了对于照相机像素，求出对应的投影像素，通过使用格雷码的二分法查找来缩小对应的投影仪像素，若缩小了某种程度则通过相移法进行高精度位置对应检测。在重新测定中，在与前次相比投影条件的差异小的情况下，能够省略二分法查找的初始的大致的位置测定，只进行后半部分即可。如果差更小，则不需要二分法查找，能够只通过相移法高精度地确定位置。

因此，在步骤S301中，CPU20在判定为关注特征的区域的变化量大的情况下(步骤S301－大)，进入步骤S302。而且，CPU20执行通常的利用格雷码的二分法查找。即，在步骤S302中通过二分法查找进行大致的位置测定(利用格雷码的二分法查找的前半部分)，在步骤S303中进行通过二分法查找的进一步缩小了查找范围的位置测定(利用格雷码的二分法查找的后半部分)。其后，处理进入步骤S304。

另外，CPU20在判定为关注特征的区域的变化量为中等程度的情况下(步骤S301－中)，处理进入步骤S303。然后，只执行利用格雷码的二分法查找的后半部分。即，省略步骤S302，在步骤S303中进行通过二分法查找的缩小了查找范围的位置测定。其后，处理进入步骤S304。

另外，在CPU20判定为关注特征的区域的变化量小的情况下(步骤S301－小)，CPU20不进行二分法查找，处理进入步骤S304。即，省略步骤S302、S303。

如此，CPU20根据关注特征的区域的变化量，选择使用的计算算法。由此，能够省略大致的位置测定。

步骤S304中，CPU20执行利用相移法的高精度位置测定。由此，得到照相机像素和投影仪像素的新的位置对应关系。

步骤S305中，CPU20基于在步骤S301中判定出的变化量，在判定为变化量为中等程度或大的情况下进入步骤S306，在判定为变化量小的情况下进入步骤S307。

步骤S306中，CPU20将用于生成颜色修正参数的反馈的初始值设定为预先决定的预定值。其后，进入步骤S308，基于设定的反馈的初始值，例如，反馈与全面黑色图像以及全面白色图像对应的各投影像素的输出值来生成颜色修正参数数据，使得照相机图像变得均匀且成为准确的颜色。

在步骤S307中，CPU2 0设定前次的测定值(例如在步骤S105中存储的初始测定值)来作为用于生成颜色修正参数的反馈的初始值。其后，进入步骤S308，如上所述生成颜色修正参数数据。此时，通过将反馈的初始值设为前次测定值，在与前次测定结果的差异小的情况下反馈次数少。

步骤S309中，CPU20存储在步骤S301到S308中取得的测定值。而且，在步骤S310中，CPU20基于从步骤S301到S308中的测定结果，执行颜色修正和形状修正。

如以上说明的那样，在本实施方式中，在投影仪10对专用的屏幕以外的带有彩色图案或不平坦的形状的被投影对象投影图像的情况下，首先，CPU20取得在被投影对象的投影区域4中存在的彩色图案、形状的信息。然后，CPU20使用已知的颜色修正和形状修正技术来对输入图像数据进行颜色修正和形状修正，使投影图像成为所希望的实施了颜色修正和形状修正后的图像，投影仪10的投影部17基于修正图像数据进行投影。另外，CPU20根据取得的投影区域的彩色图案、形状的信息，确定在投影仪10、数码相机7、窗帘3的相对位置稍微偏离时等对图像品质造成影响的关注特征。

而且，CPU20在基于修正图像数据的投影中取得投影图像来作为拍摄图像，将输入图像数据与拍摄图像数据进行比较。CPU20只在关注特征的区域的变化量超过设定值时，判定为由于投影条件的变化在投影图像中出现影响，执行重新测定。

例如，在关注特征为彩色图案特征的情况下，CPU20基于颜色修正参数将输入图像数据与拍摄图像数据进行比较，在其区域的变化量超过设定值时重新决定颜色修正参数。另外，在关注特征为形状特征的情况下，CPU20基于形状修正参数将输入图像数据与拍摄图像数据进行比较，在其区域的变化量超过设定值时重新决定形状修正参数。在关注特征包含彩色图案特征和形状特征双方的情况下，基于颜色修正参数以及形状修正参数将输入图像数据与拍摄图像数据进行比较，在其区域的变化量超过设定值时重新决定颜色修正参数或形状修正参数、或者它们双方。

另外，在投影条件变化从而关注特征的区域的变化量超过了设定值的情况下，在其变化量小时，利用前次测定结果省略大致的位置测定。另外，通过将颜色测定或形状测定中的反馈的初始值作为前次测定结果，减少反馈的次数。

根据本实施方式，在投影条件变化时CPU20根据关注特征的区域的变化量进行重新测定，从而能够减少重新测定的工时。特别是如本实施方式那样，取得投影区域的特征根据该特征修正投影图像数据的投影仪的用于颜色修正和形状修正的测定，通常根据在该装置中搭载的CPU的不同花费数秒到数十秒的测定时间来进行测定。当由于在投影中产生的偏离而进行重新测定时，再次花费这样的测定时间来进行测定，这从时间的观点来看不理想，并且从在重新测定时当再次投影格雷码图案时投影图像中断的观点来看也不理想。因此，即便产生偏离只要不会伴有其外观的不协调感，希望尽可能不进行重新测定。

在本实施方式中，在偏离对外观的影响小的情况下不重新生成修正数据而保持原样继续投影，只在影响大到某种程度的情况下重新生成修正数据。因此，不会产生上述那样的测定时间的问题和投影图像中断的问题，能够提供一种对应于投影条件的变化，通过投影装置能够投影良好的图像的图像处理装置、图像处理方法以及图像处理程序。

此外，说明了通过CPU20来实现作为图像取得部、特征取得部、修正控制部、特征确定部、拍摄图像取得部以及变化判定部的功能，但是也可以通过FPGA(Field－Programmable Gate Array现场可编程门阵列)，ASIC(Application Specific IntegratedCircuit专用集成电路)等硬件电路来实现。

本发明不限于上述实施方式，在实施阶段能够在不脱离其要旨的范围内进行各种变形。另外，各实施方式可以适当地组合来实施，此时得到组合的效果。并且，上述实施方式包含各种发明，能够通过从公开的多个构成要件中选择出的组合来提取各种发明。例如，在即使从实施方式所示的全部构成要件中删除几个构成要件，也能够解决课题，得到效果的情况下，能够作为发明提取该删除了构成要件后的结构。

Claims (12)

1.一种图像处理装置，其特征在于，具备：

特征取得单元，其取得被投影对象的第一特征；

修正单元，其根据上述第一特征，对输入给投影单元的输入图像进行修正，生成第一投影图像；

确定单元，其基于上述第一特征确定上述被投影对象中应关注的关注特征的区域；

拍摄图像取得单元，其取得对于通过上述投影单元在上述被投影对象投影的上述第一投影图像进行了拍摄而得到的投影后拍摄图像；

判定单元，其通过将上述第一投影图像与上述投影后拍摄图像的各个上述关注特征的区域进行比较来判定上述关注特征的区域是否进行了变化；

第二特征取得单元，其在判定为上述关注特征的区域进行了变化的情况下，取得上述被投影对象的第二特征；以及

第二修正单元，其通过基于上述第二特征修正上述输入图像来生成第二投影图像。

2.根据权利要求1所述的图像处理装置，其特征在于，

上述关注特征的区域包含基于上述第一特征进行了修正的上述第一投影图像的图像区域中修正的强度强的区域。

3.根据权利要求1或2所述的图像处理装置，其特征在于，

还具备第二拍摄图像取得单元，该第二拍摄图像取得单元取得对于没有投影投影图像的被投影对象进行了拍摄而得到的投影前拍摄图像，

上述第二特征取得单元从拍摄了上述被投影对象而得到的上述投影前拍摄图像取得上述第一特征，

上述被投影对象的上述关注特征的区域是在上述投影前拍摄图像的图像区域中，上述关注区域和与该关注区域邻接的区域的色调差异大的区域。

4.根据权利要求1～3中的任意一项所述的图像处理装置，其特征在于，

还具备第二拍摄图像取得单元，该第二拍摄图像取得单元取得对于没有投影投影图像的被投影对象进行了拍摄而得到的投影前拍摄图像，

上述第二特征取得单元从拍摄了上述被投影对象而得到的上述投影前拍摄图像取得上述第一特征，

上述被投影对象的上述关注特征的区域是在上述投影前拍摄图像的图像区域中，上述关注区域和与该关注区域邻接的区域的投影面形状差异大的区域。

5.根据权利要求1～4中的任意一项所述的图像处理装置，其特征在于，

上述判定单元将上述第一投影图像与上述投影后拍摄图像的各个上述关注特征的区域进行比较，在变化量为预定的阈值以上的情况下判定为上述关注特征的区域进行了变化，

上述第二特征取得单元在由上述判定单元判定为上述关注特征的区域进行了变化的情况下，取得上述第二特征。

6.根据权利要求1～5中的任意一项所述的图像处理装置，其特征在于，

还具备计算单元，该计算单元通过将上述投影图像与上述投影后拍摄图像的各个上述关注特征的区域进行比较来计算变化量，

上述第二特征取得单元在判定为上述关注特征的区域进行了变化的情况下，根据上述变化量从通过多种的图案投影而进行的特征取得处理中执行一个特征取得处理，由此取得上述第二特征。

7.根据权利要求1～6中的任意一项所述的图像处理装置，其特征在于，

上述第一特征为颜色，

上述特征确定单元基于上述颜色确定上述关注特征的区域。

8.根据权利要求7所述的图像处理装置，其特征在于，

在上述修正单元以及第二修正单元的上述第一投影图像的修正处理中使用的修正参数为颜色修正参数。

9.根据权利要求1～8中的任意一项所述的图像处理装置，其特征在于，

上述第一特征为形状，

上述特征确定单元基于上述形状确定上述关注特征的区域。

10.根据权利要求9所述的图像处理装置，其特征在于，

在上述修正单元以及第二修正单元的上述第一投影图像的修正处理中使用的修正参数为形状修正参数。

11.一种图像处理方法，其特征在于，包含：

特征取得步骤，取得被投影对象的第一特征；

修正步骤，根据上述第一特征，对输入给投影单元的输入图像进行修正，生成第一投影图像；

确定步骤，基于上述第一特征确定上述被投影对象中应关注的关注特征的区域；

拍摄图像取得步骤，取得对于通过上述投影单元在上述被投影对象投影的上述第一投影图像进行了拍摄而得到的投影后拍摄图像；

判定步骤，通过将上述第一投影图像与上述投影后拍摄图像的各个上述关注特征的区域进行比较，来判定上述关注特征的区域是否进行了变化；

第二特征取得步骤，在判定为上述关注特征的区域进行了变化的情况下，取得上述被投影对象的第二特征；以及

第二修正步骤，通过基于上述第二特征修正上述输入图像来生成第二投影图像。

12.一种存储介质，其特征在于，其存储了图像处理程序，该图像处理程序使计算机执行：

特征取得单元，其取得被投影对象的第一特征；

修正单元，其根据上述第一特征，对输入给投影单元的输入图像进行修正，生成第一投影图像；

确定单元，其基于上述第一特征确定上述被投影对象中应关注的关注特征的区域；

拍摄图像取得单元，其取得对于通过上述投影单元在上述被投影对象投影的上述第一投影图像进行拍摄而得到的投影后拍摄图像；

判定单元，其通过将上述第一投影图像与上述投影后拍摄图像的各个上述关注特征的区域进行比较来判定上述关注特征的区域是否进行了变化；

第二特征取得单元，其在判定为上述关注特征的区域进行了变化的情况下，取得上述被投影对象的第二特征；以及

第二修正单元，其通过基于上述第二特征修正上述输入图像来生成第二投影图像。