CN107852484B - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

本技术涉及使得可以限制颜色校正精度的降低的信息处理装置和信息处理方法以及程序。该信息处理装置使用捕获图像来设置颜色校正信息，所述捕获图像通过使用经校准的图像捕获单元捕获借助于投影单元投影到投影平面上的投影图像的图像而获得，所述颜色校正信息是与校准的投影单元中的每个像素的颜色校正有关的信息。本技术例如适用于配备有投影仪功能和相机功能二者的电子置，或者适用于控制这样的电子装置的计算机。

Description

信息处理装置、信息处理方法和程序

技术领域

本技术涉及信息处理装置、信息处理方法和程序。更特别地，本技术涉及用于降低颜色校正的精度的任何下降的信息处理装置、信息处理方法和程序。

背景技术

在过去，已经设计了各种技术作为用于校正由投影仪投影的图像的颜色的方法。例如，提出了用于使用投影平面的光谱反射率或关于光源下的颜色的信息来校正输入图像的颜色分量的方法(例如，参见PTL 1)。另外，提出了用于颜色校正的方法，该方法包括在生成校正信息的同时以RGB分量将光谱数据转换至XYZ空间(例如，参见PTL 2)。

引用列表

专利文献

[PTL 1]

JP 2003-333611A

[PTL 2]

JP 2003-323610A

发明内容

技术问题

提出的上述方法的特征在于，均匀地校正整个投影图像的颜色。如果图像在复杂条件下被投影，牵涉例如投影至有图案或不平坦投影平面上，则投影图像的颜色校正的精度可能降低，并且投影图像的成像质量可能下降。

鉴于上述情况，提出了本技术。因此，本技术的目的是减低颜色校正的精度的任何下降。

对问题的解决方案

一种根据本技术的信息处理装置包括：颜色校正信息设置部，其被配置成使用由校准的成像部对由校准的投影部投影至投影平面的投影图像进行成像而捕获的捕获图像，以便将颜色校正信息设置为用于校正投影部的每个像素的颜色的信息。

颜色校正信息设置部可以针对投影部的每个像素，基于投影图像和捕获图像，获得环境信息作为指示对颜色的影响归因于投影图像被投影到投影平面上的信息，颜色校正信息设置部还针对投影部的每个像素使用环境信息来设置颜色校正信息。

颜色校正信息设置部还可以针对投影部的每个像素，基于投影图像尚未投影的投影平面的捕获的捕获图像，获得投影平面的亮度分量。颜色校正信息设置部还可以针对投影部的每个像素根据白色投影图像来获得颜色校正信息的增益量。颜色校正信息设置部可以针对投影部的每个像素使用亮度分量、增益量和环境信息来设置颜色校正信息。

信息处理装置还可以包括调整部，调整部被配置成针对投影部的每个像素，基于捕获图像的每个像素的像素值，调整投影投影图像的投影部的投影水平。颜色校正信息设置部可以使用由投影水平被调整部针对每个像素调整的投影部投影的投影图像来设置颜色校正信息。

调整部可以针对投影部的每个像素调整投影水平，使得捕获图像的每个像素的像素值收敛于每个像素的目标值。

调整部可以针对投影部的每个像素调整投影水平，使得像素值收敛于整个投影图像的目标值。

信息处理装置还可以包括：初始值设置部，其被配置成针对投影部的每个像素基于捕获图像的每个像素的像素值以及投影部的每个像素与成像部的每个像素之间的对应关系，设置投影水平的初始值。调整部可以针对投影部的每个像素调整由初始值设置部设置的投影水平的初始值。

信息处理装置还可以包括：对应关系设置部，其被配置成基于投影图像和捕获图像来获得投影部的每个像素与成像部的每个像素之间的对应关系。初始值设置部可以针对投影部的每个像素基于捕获图像的每个像素的像素值和由对应关系设置部设置的对应关系来设置投影水平的初始值。

初始值设置部可以针对投影部的每个像素，基于关于投影平面的深度信息和法线信息来设置投影水平的初始值。

信息处理装置还可以包括：深度/法线信息设置部，其被配置成设置深度信息和法线信息。初始值设置部可以针对投影部的每个像素，基于由深度/法线信息设置部设置的深度信息和法线信息，设置投影水平的初始值。

初始值设置部还可以针对投影部的每个像素，基于关于与投影图像相对于投影平面的入射角对应的反射率的信息，设置投影水平的初始值。

信息处理装置还可以包括：反射率信息设置部，其被配置成设置关于反射率的信息。初始值设置部可以针对投影部的每个像素基于由反射率信息设置部设置的关于反射率的信息来设置投影水平的初始值。

颜色校正信息设置部可以针对多个投影成像装置中的每个投影成像装置设置颜色校正信息，其中，每个投影成像装置均包括投影部和成像部。

调整部可以将由所有投影成像装置的投影部投影至投影平面的投影图像的由观察者观察到的亮度值的最小值设置为目标值，调整部还针对投影部的每个像素调整投影水平，使得亮度值收敛于目标值。

如果每个投影成像装置与投影平面之间的角度的差大于预定阈值，则颜色校正信息设置部可以根据投影成像装置与投影平面之间形成的角度来调整颜色校正信息。

信息处理装置还可以包括：获取部，其被配置成从具有投影部和成像部的投影成像装置获取关于投影图像的信息和关于捕获图像的信息。颜色校正信息设置部可以基于由获取部获取的关于投影图像的信息和关于捕获图像的信息来设置颜色校正信息。

信息处理装置还可以包括投影部和成像部。

信息处理装置还可以包括：获取部，其被配置成从具有投影部和成像部的其他信息处理装置获取关于投影图像的信息和关于捕获图像的信息。颜色校正信息设置部可以基于关于由信息处理装置自身的投影部投影的投影图像的信息、关于由信息处理装置自身的成像部捕获的捕获图像的信息、关于由其他信息处理装置的投影部投影的投影图像的被获取部获取的信息以及关于由其他信息处理装置的成像部捕获捕获图像的被获取部获取的信息，设置颜色校正信息。

一种根据本技术的信息处理方法包括：使用由校准的成像部对由校准的投影部投影至投影平面的投影图像进行成像而捕获的捕获图像，以便将颜色校正信息设置为用于校正投影部的每个像素的颜色的信息。

一种根据本技术的使计算机用作以下功能单元的程序：颜色校正信息设置部，其被配置成使用由校准的成像部对由校准的投影部投影至投影平面的投影图像进行成像而捕获的捕获图像，以便将颜色校正信息设置为用于校正投影部的每个像素的颜色的信息。

根据如上所述实施本技术的信息处理装置、信息处理方法和程序，使用由校准的成像部对由校准的投影部投影至投影平面的投影图像进行成像而捕获的捕获图像以将颜色校正信息设置为用于校正投影部的每个像素的颜色的信息。

本发明的有益效果

根据本技术，可以处理信息。另外，根据该技术，可以降低颜色校正精度的任何下降。

附图说明

图1是说明通常如何进行投影的示意图。

图2是描绘投影成像装置的典型配置的框图。

图3是说明校正设置处理的典型流程的流程图。

图4是说明感测图案调整处理的典型流程的流程图。

图5是说明校正数据生成处理的典型流程的流程图。

图6是描绘投影成像系统的典型配置的示意图。

图7是描绘控制装置的典型配置的框图。

图8是说明校正设置处理的典型流程的流程图。

图9是描绘投影成像系统和投影成像装置的其他典型配置的一组示意图。

具体实施方式

下面描述用于实现本技术的优选模式(下文中称为实施方式)。将在以下标题下给出描述：

1.第一实施方式(投影成像装置)

2.第二实施方式(投影成像系统)

3.第三实施方式(应用)

1.第一实施方式

投影成像装置

图1描绘了作为应用本技术的信息处理装置的一个实施方式的投影成像装置的典型配置。

图1描绘的投影成像装置101包括将图像投影至投影平面102的投影部111。投影部111执行与图像的投影有关的处理。例如，投影部111发射投影光，以将具有所提供的图像数据的图像投影至投影成像装置101的外部(例如，至投影平面102)。也就是说，投影部111实现投影功能。投影部111的光源可以是任何类型，例如发光二极管(LED)或氙光源。可替选地，投影部111可以发射作为投影光的激光束。投影部111可以包括由多个透镜和光圈组成的、用于控制投影光的焦点距离、曝光量、投影方向和投影视场角的光学系统。

投影成像装置101还包括通过对投影平面102成像而获得捕获图像的成像部112。成像部112包括通过对装置外部的目标对象进行成像并且对来自目标对象的入射光进行光电转换而生成捕获图像的图像传感器。也就是说，成像部112实现成像功能(传感器功能)。包括在成像部112中的图像传感器可以是任何类型的，例如使用CMOS的互补金属氧化物半导体(CMOS)图像传感器、使用CCD的电荷耦合器件(CCD)图像传感器或一些其他合适的图像传感器。

如图1所描绘的，成像部112在投影平面102上的成像范围122包括投影部111在该投影平面102上的投影范围121。这意味着由成像部112获得的捕获图像包括由投影部111在投影平面102上形成的投影图像。投影成像装置101使用捕获图像(即，投影至投影平面102的内容)来校正由投影部111投影的图像的颜色，从而减少投影平面102上的投影图像的任何失真。

由投影成像装置101投影的图像可以是运动图像或静止图像。由投影成像装置101获得的捕获图像可以是运动图像或静止图像。投影成像装置101可以配备有扬声器，例如用于输出声音。例如，投影成像装置101可以与投影图像同步地输出声音(例如，背景音乐(BGM))，或者可以输出操作确认声音(例如，嘟嘟声或消息)。

投影平面102是投影成像装置101在其上投影图像的平面。投影平面102可以是平坦表面、弯曲表面、部分或完全不平坦表面或者由多个平面组成的表面。投影平面102可以具有任何一种或更多种颜色，或者可以具有图案或设计。

在图1的示例中，投影平面102由具有圆点图案的帘幕形成。也就是说，投影平面102由各种弯曲表面的集合构成。圆点图案与帘幕的曲度一致地变形，使得投影平面102具有更复杂的图案。

投影平面102可以在任何物质上形成。例如，投影平面102可以在平面体如屏幕或墙壁表面上形成。可替选地，投影平面102可以在空间结构上形成。例如，投影平面102可以设置在建筑物、车站建筑物或城堡的墙壁表面上；在自然对象如岩石上；在人造对象如标志牌或雕像上；在家具如衣柜、椅子或书桌上；或者在有生命的对象如人、动物或植物上。作为另一替选方案，投影平面102可以在多个表面如房间空间的墙壁、地板或天花板上形成。

投影平面102还可以在固体对象、液体或气体上形成。例如，投影平面102可以在池塘或水池的水表面、瀑布或喷泉的流动水表面或者气体如雾气或烟雾上形成。另外，投影平面102可以运动、变形或变色。此外，投影平面102可以在多个对象如房间墙壁、家具和人；多个建筑物；或者城堡墙壁和喷泉的集合上形成。

颜色校正

存在以下可能性：投影平面102的形状和颜色可能影响投影至投影平面102的图像的亮度和颜色，从而降低投影图像的成像质量。这提示了校正投影图像的颜色的构思。例如，投影部111将感测图案131作为预定测试图案投影。成像部112捕获感测图案131的投影图像以获得捕获图像。该构思是参照捕获图像来控制投影部111的投影水平，从而设置用于校正投影图像的颜色的颜色校正信息(用于颜色校正的信息)。

在这一点上，投影部111使用多个感测图案131例如作为感测图案131的黑色(BL)感测图案131-1、蓝色(B)感测图案131-2、红色(R)感测图案131-3、绿色(G)感测图案131-4、白色(W)感测图案131-5来生成颜色校正信息。蓝色(B)感测图案131-2、红色(R)感测图案131-3和绿色(G)感测图案131-4是用于色域校正的感测图案131。黑色(BL)感测图案131-1是用于校正亮度分量(在除投影光以外的光照下投影平面102的亮度)的感测图案131。白色(W)感测图案131-5是用于白平衡校正的感测图案131。

作为用于校正投影图像的颜色的方法，上面引用的PTL 1描述了例如用于使用投影平面的光谱反射率或关于光源下的颜色的信息来校正输入图像的颜色分量的方法。在另一示例中，上面引用的PTL2描述了用于通过在校正信息被生成的同时以RGB分量将光谱数据转换至XYZ空间来校正颜色的方法。

这些方法涉及对整个投影图像的颜色进行均匀地校正。因此，如果图像在复杂条件下被投影，包括例如投影至有图案或不平坦投影平面上，则投影图像的颜色校正的精度可能降低，并且投影图像的成像质量可能下降。

例如，取决于投影平面102的形状，投影平面102上的来自投影部111的光可能难以沿观察具有降低的亮度的投影图像的观察者的方向反射。特别地，如果投影平面102具有如图1的示例所示的复杂的不平坦的形状，则图像的亮度的降低率可以取决于投影图像被定位的位置而变化。在这种情况下，尝试均匀地校正整个投影图像不能解决相对于位置的亮度的不均匀。因此，难以充分地减小投影图像的成像质量的下降。

如果投影平面102是例如红色的，则投影图像可能经历变化，例如变得微红。特别地，如果投影平面102具有如图1的示例所示的复杂图案，则颜色的变化和这样的变化的程度可以取决于投影图像被定位的位置而变化。在这种情况下，尝试均匀地校正整个投影图像不能解决相对于位置的颜色变化的不均匀。因此，难以充分地减少投影图像的成像质量的任何下降。

此外，上面引用的PTL 1中描述的方法涉及在生成颜色校正信息的同时调整R分量、G分量和B分量中的每个分量的增益。然而，就颜色校正性能来说这可能不够。上面引用的PTL 2中描述的方法在获得校正值时不使用先前的信息。这提高了延长处理时间的可能性，这是因为用于获得最佳值的处理是复杂的。

为了减少颜色校正的精度的任何下降，使用以下捕获图像将颜色校正信息设置为用于使投影部的每个像素的颜色被校正的信息，由校准的成像部捕获由校准的投影部投影至投影平面的图像来获得所述捕获图像。

例如，可以提供颜色校正信息设置部，其使用捕获图像将颜色校正信息设置为用于使投影部的每个像素的颜色被校正的信息，由校准的成像部捕获由校准的投影部投影至投影平面的图像来获得所述捕获图像。

投影成像装置的典型配置

图2是描绘投影成像装置101的典型配置的框图。如图2所描绘的，投影成像装置101除了投影部111和成像部112之外还包括控制部151、图像显示部152、设备控制部153以及图像输入部154。

控制部151包括全部未描绘的中央处理单元(CPU)、只读存储器(ROM)以及随机存取存储器(RAM)。控制部151通过执行程序和处理数据来执行与控制投影成像装置101的部件有关的处理。

图像显示部152在控制部151的控制下对投影图像执行图像处理。例如，图像显示部152对从控制部151馈送的图像执行预定图像处理，并且将所处理的图像发送至投影部111。

设备控制部153在控制部151的控制下执行与投影部111和成像部112的驱动控制有关的处理。例如，设备控制部153控制投影部111投影从图像显示部152馈送的图像或控制成像部112捕获投影平面102上的图像(投影图像)。

图像输入部154在控制部151的控制下对由成像部112获得的捕获图像执行图像处理。例如，图像输入部154对从成像部112馈送的捕获图像执行预定图像处理，并且将所处理的捕获图像发送至控制部151。

投影成像装置101还包括输入部161、输出部162、存储部163、通信部164以及驱动器165。

输入部161由接收外部信息如来自用户的输入的输入设备组成。例如，输入部161包括键盘、鼠标、操作按钮、触摸面板、相机、麦克风以及输入终端。输入部161还可以包括各种传感器如加速度传感器、光学传感器和温度传感器以及输入装置如条形码读取器。输出部162由用于输出信息如图像和声音的输出设备构成。例如，输出部162包括显示单元、扬声器以及输出终端。

存储部163由用于存储信息如程序和数据的存储介质构成。例如，存储部163包括硬盘、RAM盘以及非易失性存储器。通信部164由通信设备构成，该通信设备经由预定通信介质进行通信以向外部设备发送这样的信息如程序和数据并且从外部设备接收这样的信息。通信部164通常由网络接口构成。例如，通信部164与投影成像装置101外部的设备通信(即，通过向该设备发送程序和数据并且从该设备接收程序和数据)。

驱动器165装载有可移除介质171如磁盘、光盘、磁光盘或半导体存储器，并且驱动器165从装载的可移除介质读取信息(例如，程序和数据)。驱动器165向控制部151提供从可移除介质171读取的信息。另外，当装载有可写入的可移除介质171时，驱动器165可以向装载的可移除介质171写入例如从控制部151馈送的信息(例如，程序和数据)。

假设投影部111和成像部112已经被校准，并且它们彼此的位置关系(相对位置)已经被预先定义。

控制部151的CPU获取保存在例如ROM或存储部163中的程序，将所获取的程序装载到RAM中，并且执行装载的程序以执行各种处理。根据需要，RAM可以存储CPU在执行各种处理时所需的数据。

例如，控制部151的CPU如上所述地执行程序，以执行与控制投影部111和成像部112有关的处理以及与设置颜色校正信息有关的处理。

校正设置处理的流程

例如，控制部151(即，其CPU)执行校正设置处理以设置颜色校正信息。下面参照图3的流程图来说明校正设置处理的典型流程。

当校正设置处理开始时，在步骤S101中控制部151获得距投影对象的距离，即从投影部111至投影平面102的距离。由于投影部111和成像部112已经被校准并且由于它们的相对位置是已知的，因此控制部151针对投影部111的每个像素使用投影图像的捕获图像通过三角测量来获得距投影平面102的距离(深度信息)。针对每个像素基于关于投影平面102的深度信息，控制部151生成指示投影平面102的形状的法线信息。针对投影部111的每个像素，根据深度信息和因而获得的法线信息，控制部151估计亮度的几何变化，即，亮度随距离的衰减。也就是说，控制部151获得投影部111的每个像素的亮度值。

控制部151将如上所述的针对每像素获得的亮度值、深度信息和法线信息存储在例如存储部163中。

在步骤S102中，控制部151获得投影部111与成像部112之间的像素与像素对应关系。也就是说，控制部151生成指示由投影部111投影的像素如何对应于由成像部112捕获的图像的坐标的像素与像素对应信息。更具体地，控制部151控制投影部111将图案图像投影到投影平面上，该图案图像允许标识投影图像中的对应于投影部111的每个像素的该位置。控制部151还控制成像部112捕获投影图像以生成捕获图像。如以上所提及的，已经知道包括在捕获图像中的投影图像的哪个位置对应于投影部111的哪个像素。明显地，已经知道捕获图像的哪个位置对应于成像部112的哪个像素。因此，基于包括在捕获图像中的投影图像，控制部151获得投影部111与成像部112之间的像素与像素对应关系。

控制部151将如上所述获得的像素与像素对应关系存储在例如存储部163中。

在步骤S103中，控制部151获得投影对象的形状和相对于观察点的入射角。也就是说，根据关于投影对象(投影平面102)的深度信息和法线信息，控制部151针对投影部111的每个像素获得指示入射角的入射角信息，如从观察投影图像的观察者观察到的，投影光以所述入射角入射在具有特定材料和特定形状的投影对象上。基于由此获得的入射角信息，控制部151针对投影部111的每个像素获取指示由于以下原因导致的亮度的衰减量(还被称为校正衰减量)的衰减信息(还被称为反射率信息)：投影光在投影平面102上的入射角或投影平面的材料和形状。

控制部151将如上所述针对每个像素获得的衰减信息(反射率信息)存储在例如存储部163中。

在步骤S104中，控制部151生成感测图案131的初始值(初始输出像素值)和目标亮度值。感测图案131是被投影以将颜色校正信息设置为用于校正投影图像的颜色的信息(即，关于颜色校正的信息)的预定测试图案图像。测试图案可以是任何图案(设计)。例如，可以针对每种不同的颜色(例如，由如图1的示例中的黑色(BL)感测图案131-1、蓝色(B)感测图案131-2、红色(R)感测图案131-3、绿色(G)感测图案131-4和白色(W)感测图案131-5构成)设置感测图案131。控制部151可以从存储部163读取每个像素的亮度值、深度信息和法线信息；像素与像素对应信息以及每个像素的衰减信息，并且控制部151可以针对投影部111的每个像素基于得到的信息来设置感测图案131的初始值(初始输出像素值)。

目标亮度值是如由观察者在投影平面102上观察到的处于理想状态的投影图像的亮度值。理想状态是投影图像保持不受投影平面102的颜色和形状的影响的状态。也就是说，理想状态是观察者观察到的投影图像与投影部111投影的图像相同(亮度、颜色、形状没有变化)的状态。例如，控制部151从存储部163读取每个像素的亮度值、深度信息和法线信息；像素与像素对应信息以及每个像素的衰减信息，并且针对投影部111的每个像素基于得到的信息来设置目标亮度值。

在步骤S105中，控制部151调整感测图案131使得投影平面102的亮度值更接近目标亮度值。如上所述，步骤S104的处理设置感测图案131的初始值(初始输出像素值)。控制部151调整感测图案131的初始值(初始输出像素值)，使得将感测图案131校正得在颜色上更合适。根据需要重复调整。稍后将更详细地论述调整。

在步骤S106中，控制部151使用在步骤S105的处理中调整的感测图案131生成环境模型式。使用由此生成的环境模型式，控制部151针对每个像素生成(设置)颜色校正信息(用于颜色校正的校正数据(校正模型式))。稍后将更详细地论述如何设置颜色校正信息。

在步骤S107中，控制部151将由此获得的颜色校正信息(校正数据(校正模型式))存储在例如存储部163中。

当步骤S107的处理结束时，校正设置处理结束。

感测图案调整处理的流程

下面参照图4的流程图来描述在图3的步骤S105中执行的感测图案调整处理的典型流程。

当感测图案调整处理开始时，在步骤S121中控制部151将感测图案131的投影水平(输出像素值)存储在例如控制部151中的RAM中或者存储在存储部163。在首次执行步骤S121的处理的情况下，控制部151存储在步骤S104(图3)的处理中设置的感测图案131的初始值(初始输出像素值)。在第二次或后续执行步骤S121的处理的情况下，控制部151存储在稍后论述的步骤S123的处理中设置的感测图案131的投影水平(输出像素值)。感测图案131的投影水平还可以被称为感测图案的观察增益。

在步骤S122中，控制部151使投影部111投影感测图案，并且控制成像部112捕获投影图像，从而获取捕获图像作为感测结果(感测像素值)。控制部151将感测结果(感测像素值)存储在例如控制部151中的RAM中或存储在存储部163中。感测结果(感测像素值)还可以被称为与投影部的像素对应的成像部像素信息。

在步骤S123中，控制部151从例如存储部163读取感测图案的观察增益和与投影部的像素对应的成像部像素信息。控制部151基于先前获得的投影部111和成像部112的校准结果(校准信息)将由此得到的数据转换成线性值(线性区域)以进行光强度计算。通过这样做，控制部151设置增益(被称为感测增益)以达到目标感测结果(目标亮度值)。也就是说，控制部151调整增益，使得投影平面102上的投影图像的亮度值更接近目标亮度值。

控制部151对经受处理的投影部111的每个像素重复步骤S121至S123的处理。

在步骤S124中，控制部151确定是否所有像素已被处理。如果确定存在要处理的像素，则控制部151选择该像素作为要处理的目标。此处可以选择要处理的任何像素。当选择新的像素作为处理目标时，控制返回至步骤S121并且重复后续的步骤。

也就是说，对投影部111的每个像素重复步骤S121至S124的处理。当在步骤S124中确定所有像素已经被处理时，控制转移至步骤S125。

在步骤S125中，控制部151获得整个投影图像的目标值的达到程度，并且确定达到程度是否足够。可以根据需要选择用于确定达到程度是否足够的标准(例如用于确定的参数和阈值)。可以考虑期望的投影图像的成像质量来选择标准。如果确定整个屏幕的收敛(即，感测结果)不能充分达到目标值，则控制返回至步骤S121，并且重复后续的步骤。也就是说，重复感测图案调整(从步骤S121至步骤S125的处理)直到达到整个投影图像的目标值。

当确定整个屏幕的收敛足够达到目标值时，感测图案调整终止。然后控制返回至图3。

校正数据生成处理的流程

下面参照图5的流程图来描述在图3的步骤S106中执行的校正数据生成处理的典型流程。

当校正数据生成处理开始时，在步骤S141中控制部151基于不投影的情况(即，感测图案131未被投影的情况)的感测结果(捕获图像)来获得亮度分量(即，偏移)作为在除投影光以外的光照下的投影平面102的亮度值。在该步骤中，控制部151可以使投影部111根本不投影感测图案131，或者投影感测图案131，以获得亮度分量(例如，黑色(BL)感测图案131-1)。

在步骤S142中，控制部151控制投影部111投影用于色域校正的不同颜色的感测图案131(例如，蓝色(B)感测图案131-2、红色(R)感测图案131-3以及绿色(G)感测图案131-4)。基于每个感测图案的感测结果，控制部151生成用作指示距投影平面102的距离和投影平面102的形状的参数的环境信息。环境信息可以由行列式给出，例如，行列式适应红色、绿色和蓝色的结果。

在步骤S143中，控制部151使用先前获取的与投影部111和成像部112有关的信息(例如，校准信息)来获得用于校正在步骤S142中获得的环境信息的逆矩阵(还被称为校正矩阵)。通过使用逆矩阵校正环境信息提供投影图像的色域转换。

在步骤S144中，控制部151控制投影部111投影用于白平衡调整的感测图案131(例如，白色(W)感测图案131-5)。控制部151基于感测图案的感测结果和校正衰减量(在步骤S103(图3)的处理中获取的投影对象(投影平面102)的衰减信息(反射率信息))来获得指示特定增益的增益信息，通过所述特定增益来缩放在步骤S143的处理中获取的逆矩阵(校正矩阵)。控制部151使此处获得的内容被反映在用于投影对象的校正式(即校正矩阵)中。也就是说，通过使用增益信息执行校正提供投影图像的白平衡调整。

在步骤S145中，控制部151通过组合在步骤S141的处理中设置的亮度分量信息、在步骤S143的处理中设置的校正矩阵以及在步骤S144的处理中设置的对于转换式的增益信息来生成(设置)校正数据(校正模型式)。

对投影部111的作为处理目标的像素执行步骤S141至S145的处理。在步骤S146中，控制部151确定是否对投影部111的所有像素执行了这些处理。如果确定存在要处理的像素，则控制返回至步骤S141，并且重复后续步骤。也就是说，对投影部111的每个像素执行步骤S141至S146的处理。在步骤S141至S146的重复处理之后，在步骤S146中确定是否所有像素已被处理。如果确定所有像素已被处理，则校正数据生成处理终止，并且控制返回至图3。

校正模型式

上述校正数据生成处理提供了校正模型式如下面给出的数学式(1)。

[数学式1]

在上述式(1)中，左侧的(f_c(ci，cγ))指示由成像部112的像素值ci和γ曲线Cγ表示的成像部112的线性像素值。式(1)右侧的元M_3×3指示用于投影部111和成像部112的色域转换的矩阵。式(1)右侧的元V_3×3代表指示投影部111受投影平面的颜色的影响的矩阵。

使用校正信息

在投影图像时，控制部151使用通过执行上述处理而生成的颜色校正信息对要投影的图像的每个像素执行颜色校正。控制部151使投影部111投影因而在颜色上校正的图像。

通过这样做，投影成像装置101不仅更适当地校正由简单、平坦、单色壁面形成的投影平面，而且校正由包括复杂图案和颜色的复杂形状组成的投影平面。也就是说，投影成像装置101降低在更多样化的投影平面上的颜色校正的精度的任何下降。

在使用法线贴图来估计取决于相对于特定观察点的角度的光强度衰减的情况下，当在改变观察点时校正视野的任何差异时，可以快速地完成颜色校正。

此外，基于将测试图案投影到投影对象的结果来估计对象的反射率。在第二次和随后投影的感测图案变化的情况下，允许变化的感测图案收敛以获得期望得目标值。这消除了对关于使用中的投影仪的光学特性信息的需要。因此，更容易获得颜色校正信息。

使用校准的投影部111和校准的成像部112使得更容易估计关于投影部111的投影平面102的环境信息。结果，更容易地获得投影平面102的形状、从投影部111到投影平面102的距离以及投影平面102的反射率。使用校准的成像部112使得更容易获取投影部111与成像部112之间的像素与像素对应关系。这又使得更容易获得用于投影部111的每个像素的颜色校正信息。在要获得颜色校正信息的情况下，使用上述环境信息的估计有助于减少获取最佳值所花费的处理时间。

校正目标值不是预先确定的，其中，根据关于投影环境的信息来估计最佳值。这允许以适合环境的方式进行校正。

即使投影部111的特性随着高达目标值的推移而变化，但是最终校正性能的任何变化被最小化。这是因为目标值被修改。

另外，关于获得如上所述的校正式所需的计算时间，控制部151将感测图案的结果转换为环境信息，所计算的感测图案结果用作环境信息。这允许用于环境信息的逆矩阵被以高速获取。不需要从光谱数据的转换或颜色空间的转换。由于还无需解决最小化问题，因此涉及的计算被非常快地完成。

其他

上述装置的配置和处理的流程仅是示例，并且不限于如何根据本技术配置装置和如何执行处理。该技术适用于以下情况：由校准的投影部投影至投影平面的图像被校准的成像部捕获，使得可以使用捕获的图像来设置用于投影部的每个像素的颜色校正信息。

例如，投影成像装置101可以以与图2的示例不同的方式配置。可以省略图2所示的配置的一部分。

在另一示例中，在校正设置处理的步骤S104(图3中)(用于生成感测图案131的初始值和目标亮度值)中，可以不使用法线信息。可以不使用每个像素的衰减信息。也就是说，可以省略生成这些信息项的处理。

在又一示例中，在步骤S106的处理中生成的校正数据被可以发送至另一装置(例如，服务器)。另外，在步骤S105的处理中生成的校正感测图案131可以被馈送至另一装置(例如，服务器)。在这种情况下，步骤S106的校正数据生成处理可以由其他装置(例如，服务器)执行。

可以将在步骤S104的处理中生成的感测图案131的初始值和目标亮度值发送至另一装置(例如，服务器)。在这种情况下，步骤S105的感测图案调整处理可以由其他装置(例如，服务器)执行。此外，步骤S106的校正数据生成处理也可以由另一装置(例如，服务器)执行。

可以将在步骤S101至S103的处理中生成的不同信息项发送至另一装置(例如，服务器)。在这种情况下，步骤S104的处理(用于生成感测图案131的初始值和目标亮度值)可以由其他装置(例如，服务器)执行。另外，步骤S105的感测图案调整处理可以由另一装置(例如，服务器)执行。此外，步骤S106的校正数据生成处理可以由另一装置(例如，服务器)执行。

也就是说，步骤S106的校正数据生成处理可以由除投影成像装置101之外的任何信息处理装置执行。换言之，本技术还可以应用于除投影成像装置101之外的任何信息处理装置。

在感测图案调整处理(图4)中，可以省略步骤S125的处理，而不考虑整个屏幕的收敛。另外，可以仅对某些像素执行感测图案调整处理，其他像素例如经受插值处理。

在校正数据生成处理(图5)中，当生成校正数据时(步骤S145)，可以不使用亮度分量信息。可以不使用对于转换式的增益信息。在这种情况下，可以省略用于生成这些信息项的处理。另外，可以仅对某些像素执行校正数据生成处理，其他像素例如经受插值处理。

此外，可以执行除上面所论述的那些处理以外的处理，并且可以利用除上面所描述的那些数据以外的数据。

2.第二实施方式

投影成像系统

上面结合用于一个投影成像装置101的颜色校正论述了第一实施方式。然而，可以配置任何数目的投影成像装置101，即，提供多个投影成像装置101。例如，本技术还可以应用于具有协同工作以投影图像的多个投影成像装置101的系统。

图6描绘了应用本技术的投影成像系统的一个实施方式的典型配置。图6中描绘的投影成像系统300是具有协同工作以投影图像的三个投影成像装置101(投影成像装置101-1、101-2和101-3)和控制装置301的系统。

如上面结合第一实施方式所论述的，每个投影成像装置101包括投影部111和成像部112。例如，投影成像装置101-1包括投影部111-1和成像部112-1；投影成像装置101-2包括投影部111-2和成像部112-2；以及投影成像装置101-3包括投影部111-3和成像部112-3。

每个投影成像装置101与网络302可通信地连接。连接可以是有线的、无线的或前述二者。

网络302可以是允许有线通信、无线通信或前述二者的任何通信网络。网络302可以由一个或多个通信网络构成。例如，网络302可以包括一个或更多个通信网络和任何合适的通信标准的一个或更多个通信信道，例如因特网、公共电话网、诸如3G网络或4G网络的移动宽带网络、广域网(WAN)、局域网(LAN)、基于蓝牙(注册商标)标准的无线通信网络、用于邻近无线通信如近场通信(NFC)的通信信道、红外通信信道以及基于诸如高清晰度多媒体接口(HDMI；注册商标)或通用串行总线(USB)的标准的有线通信网络。

控制装置301与网络302可通信地连接。也就是说，控制装置301可以经由网络302与每个投影成像装置101通信。连接可以是有线的、无线的或前述二者。

控制装置301通过通信来控制投影成像装置101，使投影成像装置根据需要执行诸如投影和成像的处理。例如，控制装置301可以使各个投影成像装置101将一幅大图像的不同块投影到投影平面102，从而在投影平面102上形成构成单个大图像的投影图像。

在图6的示例中，在投影平面102上，投影成像装置101-1中的投影部111-1的投影范围311-1与投影成像装置101-2中的投影部111-2的投影范围311-2在重叠部分313-1中彼此部分地重叠。也就是说，由投影部111-1投影的图像与由投影部111-2投影的图像彼此重叠，以在投影平面102上形成重叠部分313-1。

另外，在投影平面102上，投影成像装置101-2中的投影部111-2的投影范围311-2与投影成像装置101-3中的投影部111-3的投影范围311-3在重叠部分313-2中彼此部分地重叠。也就是说，由投影部111-2投影的图像与由投影部111-3投影的图像彼此重叠，以在投影平面102上形成重叠部分313-2。

此外，在投影平面102上，投影成像装置101-1中的成像部112-1的成像范围312-1包括投影部111-1的投影范围311-1。类似地，投影成像装置101-2中的成像部112-2的成像范围312-2包括投影部111-2的投影范围311-2。另外，投影成像装置101-3中的成像部112-3的成像范围312-3包括投影部111-3的投影范围311-3。

假设每个投影成像装置101中的投影部111和成像部112已经被预先校准。

在该投影成像系统300中，控制装置301使每个投影成像装置101生成用于每个像素的颜色校正信息。使用由控制装置301生成的颜色校正信息，每个投影成像装置101在投影经颜色校正的图像之前对要投影的图像的每个像素执行颜色校正。

控制装置的典型配置

图7是描绘图6所示的控制装置301的典型配置的框图。如图7所描绘的，控制装置301包括CPU 351、ROM 352、RAM 353、总线354、输入/输出接口360、输入部361、输出部362、存储部363、通信部364以及驱动器365。

CPU 351、ROM 352和RAM 353经由总线354互连。总线354还与输入/输出接口360连接。输入/输出接口360与输入部361、输出部362、存储部363、通信部364以及驱动器365连接。

输入部361由接收外部信息例如来自用户的输入的输入设备构成。例如，输入部361可以包括键盘、鼠标、操作按钮、触摸面板、相机、麦克风以及输入终端。输入部361还可以包括传感器如加速度传感器、光学传感器和温度传感器以及输入装置如条形码读取器。输出部362由输出信息如图像和声音的输出设备构成。例如，输出部362可以包括显示单元、扬声器以及输出终端。

存储部363由用于存储信息如程序和数据的存储介质构成。例如，存储部363可以包括硬盘、RAM盘以及非易失性存储器。通信部364由以下通信设备组成，所述通信设备经由预定通信介质进行通信以向外部装置发送信息如程序和数据并且从外部装置接收信息。通信部364通常由网络接口构成。例如，通信部364与控制装置301外部的装置通信(即，通过向外部装置发送程序和数据并且从外部装置接收程序和数据)。

驱动器365装载有可移除介质371如磁盘、光盘、磁光盘或半导体存储器，并且从装载的可移除介质读取信息(程序和数据)。驱动器365将从可移除介质371得到的信息馈送至例如CPU 351或RAM 353。当装载有可写入可移除介质371时，驱动器365可以向装载的可写入可移除介质371写入从例如CPU 351或从RAM 353馈送的信息(程序和数据)。

CPU 351通过执行例如经由输入/输出接口360和总线354从存储部363得到之后装载到RAM 353中的程序来执行各种处理。根据需要，RAM 353可以存储CPU 351在执行各种处理时所需的数据。

通过如上所述地执行程序，CPU 351执行例如与设置颜色校正信息有关的处理以及与控制每个投影成像装置101有关的处理。

校正设置处理的流程

下面参照图8的流程图来描述由控制装置301执行以设置颜色校正信息的校正设置处理的典型流程。

在第二实施方式中，控制装置301生成用于每个投影成像装置101的颜色校正信息。基本上以与第一实施方式相同的方式生成用于每个投影成像装置101的颜色校正信息。第二实施方式还包括确定由所有投影成像装置101投影到投影平面102的整个单个图像的目标值的达到程度。

控制装置301针对每个投影成像装置101生成并且调整感测图案(步骤S301至S307)。然后，控制装置301验证作为整体的系统的收敛是否足以达到目标值(步骤S308)。在验证之后，控制装置301生成用于每个投影成像装置101的校正数据(步骤S309)。

因此，在步骤S301中，控制装置301的CPU 351从要处理的投影成像装置101中选择作为处理目标的投影成像装置101。以与图3的步骤S101至S105的处理相同的方式对所选择的投影成像装置101执行步骤S302至S306的处理。也就是说，在步骤S306中，如上所述参照图4的流程图来执行感测图案调整处理。

当对于作为处理目标的投影成像装置101如上所述地获得经调整的感测图案131时，控制装置301的CPU 351转到步骤S307。在步骤S307中，CPU 351通过校正设置处理来确定是否针对所有投影成像装置101生成(经调整的)感测图案131。如果确定存在尚未生成感测图案131的投影成像装置101，则控制返回至步骤S301并且重复后续步骤。也就是说，选择要处理的新的投影成像装置101作为处理目标。然后对新选择的投影成像装置101执行校正设置处理(步骤S302至S306的处理)。

当通过步骤S301至S307的重复处理针对所有投影成像装置101生成了(经调整的)感测图案131时，控制转移至步骤S308。

在步骤S308中，控制装置301的CPU 351确定获得的由所有投影成像装置101投影的整个图像的目标值的获得程度是否足够。可以根据需要选择用于确定的标准(例如参数和阈值)。例如，可以考虑期望的投影图像的成像质量来确定标准。如果确定整个系统的收敛(即，所有投影成像装置101的感测结果)未能充分达到目标值，则控制返回至步骤S301，并且重复后续步骤。也就是说，重复感测图案调整(即，步骤S301至S308的处理)直到达到由所有投影成像装置101投影的整个图像的目标值。

当在步骤S308中确定整个系统的收敛足够达到目标值时，控制转移至步骤309。

在步骤S309中，控制装置301的CPU 351生成用于每个投影成像装置101的校正数据。也就是说，如上面参照图5的流程图所描述的，对每个投影成像装置101执行校正数据生成处理。在投影成像系统300(图6)的情况下，例如，对配置的三个投影成像装置101中的每个投影成像装置执行校正数据生成处理(即，重复三次处理)。

当如上所述针对每个投影成像装置101生成校正数据时，控制转移至步骤S310。

在步骤S310中，控制装置301的CPU 351将在步骤S309的处理中针对每个投影成像装置101生成的校正数据写入例如RAM 353、存储部363或可移除介质371。然后，控制装置301的CPU 351以适当定时的方式控制通信部364，以将校正数据馈送至每个投影成像装置101作为颜色校正信息。可替选地，CPU 351可以经由通信部364将生成的校正数据馈送至投影成像装置101，而不将数据写入例如存储部363。

当步骤S310的处理结束时，校正设置处理结束。

使用校正信息

当要投影图像时，每个投影成像装置101的控制部151使用从控制装置301馈送的颜色校正信息对要投影的图像的每个像素执行颜色校正，并且使投影部111投影经颜色校正的图像。

以这种方式，当配置有多个投影成像装置101时，投影成像系统300允许在更多样化的投影平面上进行更适当的颜色校正，以降低颜色校正的精度的任何下降。

当仅配置一个投影成像装置101时，取决于投影成像装置101与投影平面102之间的角度，可能会发生遮挡，在某些情况下，投影光被遮挡。在配置有多个投影成像装置101的情况下，消除了这样的情况。也就是说，使用多个投影成像装置101更有效地降低颜色校正的精度的任何下降。

其他

上述系统的配置和装置的配置以及处理的流程仅是示例，并且不限于如何根据本技术来配置系统和装置以及如何执行处理。

例如，虽然在图6中描绘了三个投影成像装置101，但是投影成像系统300可以包括所需数目的投影成像装置101。类似地，投影成像系统300可以包括所需数目的控制装置301。网络302可以与除图6所描绘的装置之外的设备连接。

另外，控制装置301可以以与图7所描绘的方式不同的方式配置。可以省略图7所示的配置的一部分。

基本上与第一实施方式相同，校正设置处理(图8)可以省略其一部分步骤或数据，所述步骤包括除了图8所描绘的步骤之外的步骤，或利用图8中未示出的数据。一些步骤可以由另一装置执行。

例如，如果使用多个投影成像装置101投影图像，使得它们可以如图6的示例所示地在投影平面102上彼此部分地重叠(以进行重叠投影)，则重叠区域看起来比其他区域更亮。考虑到这一点，可以使用重叠投影下的区域来生成对于转换式的增益信息(在图5的步骤S144中)。在这种情况下，可以使用将图像投影到重叠区域的投影部111的光强度值的总和来估计目标值。这允许更准确地设置对于转换式的增益信息。也就是说，更准确地实现对于整个投影图像的光强度调整。

在投影成像系统300配置有多个投影成像装置101的情况下，对每个投影成像装置101的校正设置处理可以利用从其他投影成像装置101得到的信息。因此，如果投影平面102不是完全漫反射体，则可以确定使用捕获图像的成像部112的优先顺序，以允许考虑投影平面102的反射率进行校正。也就是说，颜色校正的精度的任何下降被降低。

例如，指示关于投影平面102的形状信息的法向量相对于从投影平面102到每个投影成像装置101的方向矢量形成角度θ。获得根据由投影成像装置101捕获的图像而获得的亮度值作为最大反射亮度值，相对于所述投影成像装置101角度θ最小。获得根据由投影成像装置101捕获的图像而获得的亮度值作为最小反射亮度值，相对于所述投影成像装置101角度θ最大。根据两个亮度值，获得反映形成的角度θ的变化的亮度衰减曲线。

如果亮度衰减曲线突然变化(即，最大反射亮度与最小反射亮度之间存在较大差异的情况)，则校正投影平面的反射率。由角度θ表示的亮度衰减曲线应用于由各个投影成像装置101给出的亮度值，其中，由从投影平面102到投影成像装置101的方向矢量形成角度θ。通过以上述方式校正亮度值来更新环境模型。

此外，使用从投影平面102到观察者的方向矢量来计算所有投影成像装置101在投影平面102上的如由观察者观察的亮度值。这些亮度值中的最小值被给出为目标亮度值。

然后，使用于各个投影成像装置101的校正模型的增益收敛于目标亮度值。

以上述方式，即使在投影平面102为任意形状并且不是完全漫反射体的情况下，也如由观察者观察的以较小的亮度差进行投影。由于允许校正模型的增益快速收敛，因此与仅配置一个投影成像装置101的情况相比，最终更快地准备与目标亮度值相称的校正模型。这不仅缩短了处理时间，而且降低了负荷的任何增加。

3.第三实施方式

投影成像系统和投影成像装置的典型配置

实现本技术的投影成像装置的配置和投影成像系统的配置不限于上述示例。例如，可以在如图9的子配置A所描绘的投影成像系统400中省略控制装置301。在投影成像系统400中，上述校正设置处理和其他处理可以由任何投影成像装置101执行。可以设置用于进行处理的任何期望数目的投影成像装置101，即，可以存在一个或多个投影成像装置101。这样的配置使得投影成像系统400能够降低颜色校正的精度的任何下降。

另外，在如图9的子配置B所描绘的投影成像系统410中，投影成像装置可以彼此不同地配置。如图9的子配置B所示，投影成像系统410包括与网络302可通信地连接的三个投影成像装置411(投影成像装置411-1、411-2和411-3)。

投影成像装置411-1具有两个投影部111(投影部111-1-1和111-1-2)以及一个成像部112-1。投影成像装置411-2具有一个投影部111-2和一个成像部112-2。投影成像装置411-3具有一个投影部111-3和两个成像部112(成像部112-3-1和112-3-2)。

即使在投影成像装置411被彼此不同地配置的情况下，以与第二实施方式相同的方式执行处理。也就是说，投影成像系统410还降低颜色校正的精度的任何下降。

此外，在如图9的子配置C所描绘的投影成像装置420中，可以设置多个投影部111和多个成像部112。在这种情况下，与投影成像系统300一样，投影成像装置420可以生成用于配置的每个投影部111的颜色校正信息。这还使得投影成像装置420能够降低颜色校正的精度的任何下降。

软件

上述一系列处理可以由硬件或软件执行。在这些处理由软件执行的情况下，构成软件的程序从网络或记录介质安装。

在图2的示例中，记录介质是上面记录有程序并且分布为与适合将程序传递给用户的装置分开的可移除介质171。可移除介质171包括磁盘(包括软盘)和光盘(包括致密盘(CD)-ROM和数字通用盘(DVD))。可移除介质171还包括磁光盘(包括微型盘(MD))和半导体存储器。在这种情况下，例如，可移除介质171可以被装载到驱动器165中。然后，驱动器165可以从装载的可移除介质读取程序，并且将得到的程序安装到存储部163中。

在图7的示例中，记录介质是上面记录有程序并且分布为与适合将程序传递给用户的装置分开的可移除介质371。可移除介质371包括磁盘(包括软盘)和光盘(包括CD-ROM和DVD)。可移除介质371还包括磁光盘(包括MD)和半导体存储器。在这种情况下，例如，可以将可移除介质371装载到驱动器365中。然后，驱动器365可以从装载的可移除介质读取程序，并且将得到的程序安装到存储部363中。

可替选地，程序可以经由有线或无线传输介质如局域网、因特网或数字卫星服务提供。在图2的示例中，程序可以由通信部164接收并且安装到存储部163中。在图7的示例中，程序可以由通信部364接收并且安装到存储部363中。

作为另一替选方案，例如，可以将程序预先安装在存储部或ROM中。在图2的示例中，程序可以预先安装在存储部163或控制部151内的ROM中。在图7的示例中，程序可以预先安装在存储部363或ROM 352中。

另外，要由计算机执行的程序可以按时间顺序处理，即以本说明书中描绘的顺序、与其他程序并行地或以另外适当定时的方式例如当根据需要调用程序时进行处理。

在本说明书中，描述记录在记录介质上的程序的步骤不仅表示要按照所描绘的顺序按时间顺序执行的处理，而且表示可以并行或单独地而未必按时间方式执行的处理。

上述每个步骤的处理可以由上述设备或装置中的任一个或一些其他合适的设备或装置执行。在这种情况下，用于执行处理的设备或装置仅需要具有处理执行所需的功能(例如，功能块)。处理所需的信息可以被传送至执行处理的设备或装置。

其他

在本说明书中，术语“系统”是指多个部件(设备或模块(部件))的集合。所有部件是否容置在同一个壳体中无关紧要。因此，系统可以配置有容置在单独的壳体中并且经由网络互连的多个设备以及将模块容置在单个壳体中的单个设备。

在前述段落中作为一个设备(或处理部)说明的任何配置可以被划分为多个设备(或处理部)。相反，上面作为多个设备(或处理部)说明的配置可以被统一成一个设备(或处理部)。另外，每个设备(或处理部)的配置明显可以用除了上面所论述的配置之外的一个或更多个配置补充。此外，如果对于作为整体的系统而言配置和操作方式保持基本相同，则可以将设备(或处理部)的配置的一部分包括在另一设备(或处理部)的配置中。

虽然上面已经参照附图详细描述了本公开内容的一些优选实施方式，但是本公开内容的这些实施方式不是限制性的。明显的，本领域技术人员将容易想到在所附权利要求中陈述的技术构思的范围内的本公开内容的变型或替选方案。应当理解，这些变型、替选方案和其他衍生物也落在本公开内容的技术范围内。

例如，本技术可以被实现为云计算设置，其中，由多个联网设备在共享的基础上协作地处理单个功能。

另外，参照上述流程图论述的每个步骤可以由单个设备或多个设备在共享的基础上执行。

此外，如果单个步骤包括多个处理，则包括在单个步骤中的这些处理可以由单个设备或多个设备在共享的基础上执行。

此外，本技术可以被实现为并入上述设备或装置或者构成上述系统的那些装置中的任一个的任何配置，该配置包括例如系统大规模集成(LSI)的形式的处理器、使用多个这样的处理器的模块、使用多个这样的模块的单元或者使用附加功能补充单元的集合(作为设备或装置的一部分)。

本技术可以在实现时被优选地配置为如下：

(1)一种信息处理装置，包括：

颜色校正信息设置部，其被配置成使用由校准的成像部对由校准的投影部投影至投影平面的投影图像进行成像而捕获的捕获图像，以便将颜色校正信息设置为用于校正所述投影部的每个像素的颜色的信息。

(2)如以上段落(1)所述的信息处理装置，其中，所述颜色校正信息设置部针对所述投影部的每个像素，基于所述投影图像和所述捕获图像，获得环境信息作为指示对颜色的影响归因于所述投影图像被投影到所述投影平面上的信息，所述颜色校正信息设置部还针对所述投影部的每个像素使用所述环境信息来设置所述颜色校正信息。

(3)如以上段落(2)所述的信息处理装置，其中，所述颜色校正信息设置部还针对所述投影部的每个像素，基于所述投影图像尚未投影的所述投影平面的捕获的捕获图像，获得所述投影平面的亮度分量，

所述颜色校正信息设置部针对所述投影部的每个像素根据白色的所述投影图像来获得所述颜色校正信息的增益量，以及

所述颜色校正信息设置部针对所述投影部的每个像素使用所述亮度分量、所述增益量和所述环境信息来设置所述颜色校正信息。

(4)如以上段落(1)至(3)中任一项所述的信息处理装置，还包括：

调整部，其被配置成针对所述投影部的每个像素基于所述捕获图像的每个像素的像素值，调整投影所述投影图像的所述投影部的投影水平，

其中，所述颜色校正信息设置部使用由投影水平被所述调整部针对每个像素调整的所述投影部投影的所述投影图像来设置所述颜色校正信息。

(5)如以上段落(4)所述的信息处理装置，其中，所述调整部针对所述投影部的每个像素调整所述投影水平，使得所述捕获图像的每个像素的像素值收敛于对于每个像素的目标值。

(6)如以上段落(5)所述的信息处理装置，其中，所述调整部针对所述投影部的每个像素调整所述投影水平，使得所述像素值收敛于整个所述投影图像的目标值。

(7)如以上段落(4)至(6)中任一项所述的信息处理装置，还包括：

初始值设置部，其被配置成针对所述投影部的每个像素基于所述捕获图像的每个像素的像素值以及所述投影部的每个像素与所述成像部的每个像素之间的对应关系，设置所述投影水平的初始值，

其中，所述调整部针对所述投影部的每个像素调整由所述初始值设置部设置的所述投影水平的初始值。

(8)如以上段落(7)所述的信息处理装置，还包括：

对应关系设置部，其被配置成基于所述投影图像和所述捕获图像来获得所述投影部的每个像素与所述成像部的每个像素之间的对应关系，

其中，所述初始值设置部针对所述投影部的每个像素基于所述捕获图像的每个像素的像素值和由所述对应关系设置部设置的所述对应关系来设置所述投影水平的初始值。

(9)如以上段落(7)或(8)所述的信息处理装置，其中，所述初始值设置部针对所述投影部的每个像素，基于关于所述投影平面的深度信息和法线信息来设置所述投影水平的初始值。

(10)如以上段落(9)所述的信息处理装置，还包括：

深度/法线信息设置部，其被配置成设置所述深度信息和所述法线信息，

其中，所述初始值设置部针对所述投影部的每个像素，基于由所述深度/法线信息设置部设置的所述深度信息和所述法线信息，设置所述投影水平的初始值。

(11)如以上段落(7)至(10)中任一项所述的信息处理装置，其中，所述初始值设置部还针对所述投影部的每个像素，基于关于与投影图像相对于投影平面的入射角对应的反射率的信息，设置所述投影水平的初始值。

(12)如以上段落(11)所述的信息处理装置，还包括：

反射率信息设置部，其被配置成设置关于所述反射率的信息，

其中，所述初始值设置部针对所述投影部的每个像素，基于由所述反射率信息设置部设置的关于所述反射率的信息，来设置所述投影水平的初始值。

(13)如以上段落(4)至(12)中任一项所述的信息处理装置，其中，所述颜色校正信息设置部针对多个投影成像装置中的每个投影成像装置设置所述颜色校正信息，所述每个投影成像装置均包括所述投影部和所述成像部。

(14)如以上段落(13)所述的信息处理装置，其中，所述调整部将由所有投影成像装置的投影部投影到所述投影平面的投影图像的由观察者观察到的最小亮度值设置为目标值，所述调整部还针对所述投影部的每个像素调整所述投影水平，使得所述亮度值收敛于所述目标值。

(15)如以上段落(13)或(14)所述的信息处理装置，其中，如果每个投影成像装置与所述投影平面之间的角度的差大于预定阈值，则所述颜色校正信息设置部根据所述投影成像装置与所述投影平面之间形成的角度来调整所述颜色校正信息。

(16)如以上段落(1)至(15)中任一项所述的信息处理装置，还包括：

获取部，其被配置成从具有所述投影部和所述成像部的投影成像装置获取关于所述投影图像的信息和关于所述捕获图像的信息，

其中，所述颜色校正信息设置部基于由所述获取部获取的关于所述投影图像的信息和关于所述捕获图像的信息来设置所述颜色校正信息。

(17)如以上段落(1)至(16)中任一项所述的信息处理装置，还包括：

所述投影部和所述成像部。

(18)如以上(17)所述的信息处理装置，还包括：

获取部，其被配置成从具有所述投影部和所述成像部的其他信息处理装置获取关于所述投影图像的信息和关于所述捕获图像的信息，

其中，所述颜色校正信息设置部基于关于由所述信息处理装置自身的所述投影部投影的投影图像的信息、关于由所述信息处理装置自身的所述成像部捕获的捕获图像的信息、关于由所述其他信息处理装置的所述投影部投影的所述投影图像的被所述获取部获取的信息以及关于由所述其他信息处理装置的所述成像部捕获所述捕获图像的被所述获取部获取的信息，设置所述颜色校正信息。

(19)一种信息处理方法，包括：

使用由校准的成像部对由校准的投影部投影至投影平面的投影图像进行成像而捕获的捕获图像，以便将颜色校正信息设置为用于校正所述投影部的每个像素的颜色的信息。

(20)一种用于使计算机用作以下功能单元的程序：

颜色校正信息设置部，其被配置成使用由校准的成像部对由校准的投影部投影至投影平面的投影图像进行成像而捕获的捕获图像，以便将颜色校正信息设置为用于校正所述投影部的每个像素的颜色的信息。

附图标记列表

101 投影成像装置

102 投影平面

111 投影部

112 成像部

121 投影范围

122 成像范围

131 感测图案

151 控制部

152 图像显示部

153 设备控制部

154 图像输入部

161 输入部

162 输出部

163 存储部

164 通信部

165 驱动器

300 投影成像系统

301 控制装置

302 网络

351 CPU

352 ROM

353 RAM

354 总线

360 输入/输出接口

361 输入部

362 输出部

363 存储部

364 通信部

365 驱动器

400 投影成像系统

410 投影成像系统

411 投影成像装置

420 投影成像装置

Claims (20)

1.一种信息处理装置，包括：

颜色校正信息设置部，其被配置成使用由成像部对由投影部投影至投影平面的投影图像进行成像而捕获的捕获图像，以便将颜色校正信息设置为用于校正所述投影部的每个像素的颜色的信息，

其中所述成像部和所述投影部已被校准并且它们的相对位置是已知的，使得针对所述投影部的每个像素获得关于所述投影平面的深度信息，基于所述深度信息生成指示所述投影平面的形状的法线信息，并且根据所述深度信息和所述法线信息获得所述投影部的每个像素的亮度值。

2.根据权利要求1所述的信息处理装置，其中，所述颜色校正信息设置部针对所述投影部的每个像素，基于所述投影图像和所述捕获图像，获得环境信息作为指示对颜色的影响归因于所述投影图像被投影到所述投影平面上的信息，所述颜色校正信息设置部还针对所述投影部的每个像素使用所述环境信息来设置所述颜色校正信息。

3.根据权利要求2所述的信息处理装置，其中，所述颜色校正信息设置部还针对所述投影部的每个像素，基于所述投影图像尚未投影的所述投影平面的捕获的捕获图像，获得所述投影平面的亮度分量；

所述颜色校正信息设置部针对所述投影部的每个像素根据白色的所述投影图像来获得所述颜色校正信息的增益量；以及

所述颜色校正信息设置部针对所述投影部的每个像素使用所述亮度分量、所述增益量和所述环境信息来设置所述颜色校正信息。

4.根据权利要求1所述的信息处理装置，还包括：

调整部，其被配置成针对所述投影部的每个像素，基于所述捕获图像的每个像素的像素值，调整投影所述投影图像的所述投影部的投影水平，

其中，所述颜色校正信息设置部使用由投影水平被所述调整部针对每个像素调整的所述投影部投影的所述投影图像来设置所述颜色校正信息。

5.根据权利要求4所述的信息处理装置，其中，所述调整部针对所述投影部的每个像素调整所述投影水平，使得所述捕获图像的每个像素的像素值收敛于每个像素的目标值。

6.根据权利要求5所述的信息处理装置，其中，所述调整部针对所述投影部的每个像素调整所述投影水平，使得所述像素值收敛于整个所述投影图像的目标值。

7.根据权利要求4所述的信息处理装置，还包括：

初始值设置部，其被配置成针对所述投影部的每个像素，基于所述捕获图像的每个像素的像素值以及所述投影部的每个像素与所述成像部的每个像素之间的对应关系，设置所述投影水平的初始值，

其中，所述调整部针对所述投影部的每个像素调整由所述初始值设置部设置的所述投影水平的初始值。

8.根据权利要求7所述的信息处理装置，还包括：

对应关系设置部，其被配置成基于所述投影图像和所述捕获图像来获得所述投影部的每个像素与所述成像部的每个像素之间的对应关系，

其中，所述初始值设置部针对所述投影部的每个像素，基于所述捕获图像的每个像素的像素值和由所述对应关系设置部设置的所述对应关系来设置所述投影水平的初始值。

9.根据权利要求7所述的信息处理装置，其中，所述初始值设置部针对所述投影部的每个像素，基于关于所述投影平面的所述深度信息和所述法线信息来设置所述投影水平的初始值。

10.根据权利要求9所述的信息处理装置，还包括：

深度/法线信息设置部，其被配置成设置所述深度信息和所述法线信息，

其中，所述初始值设置部针对所述投影部的每个像素，基于由所述深度/法线信息设置部设置的所述深度信息和所述法线信息，设置所述投影水平的初始值。

11.根据权利要求7所述的信息处理装置，其中，所述初始值设置部还针对所述投影部的每个像素，基于关于与投影图像相对于投影平面的入射角对应的反射率的信息，设置所述投影水平的初始值。

12.根据权利要求11所述的信息处理装置，还包括：

反射率信息设置部，其被配置成设置关于所述反射率的信息，

其中，所述初始值设置部针对所述投影部的每个像素，基于由所述反射率信息设置部设置的关于所述反射率的信息，来设置所述投影水平的初始值。

13.根据权利要求4所述的信息处理装置，其中，所述颜色校正信息设置部针对多个投影成像装置中的每个投影成像装置设置所述颜色校正信息，所述每个投影成像装置均包括所述投影部和所述成像部。

14.根据权利要求13所述的信息处理装置，其中，所述调整部将由所有投影成像装置的投影部投影到所述投影平面的投影图像的、由观察者观察到的最小亮度值设置为目标值，所述调整部还针对所述投影部的每个像素调整所述投影水平，使得所述亮度值收敛于所述目标值。

15.根据权利要求13所述的信息处理装置，其中，如果每个投影成像装置与所述投影平面之间的角度的差大于预定阈值，则所述颜色校正信息设置部根据所述投影成像装置与所述投影平面之间形成的角度来调整所述颜色校正信息。

16.根据权利要求1所述的信息处理装置，还包括：

获取部，其被配置成从具有所述投影部和所述成像部的投影成像装置获取关于所述投影图像的信息和关于所述捕获图像的信息，

其中，所述颜色校正信息设置部基于由所述获取部获取的关于所述投影图像的信息和关于所述捕获图像的信息来设置所述颜色校正信息。

17.根据权利要求1所述的信息处理装置，还包括：

所述投影部和所述成像部。

18.根据权利要求17所述的信息处理装置，还包括：

获取部，其被配置成从具有所述投影部和所述成像部的其他信息处理装置获取关于所述投影图像的信息和关于所述捕获图像的信息，

其中，所述颜色校正信息设置部基于关于由所述信息处理装置自身的所述投影部投影的投影图像的信息、关于由所述信息处理装置自身的所述成像部捕获的捕获图像的信息、关于由所述其他信息处理装置的所述投影部投影的所述投影图像的被所述获取部获取的信息以及关于由所述其他信息处理装置的所述成像部捕获所述捕获图像的被所述获取部获取的信息，设置所述颜色校正信息。

19.一种信息处理方法，包括：

使用由成像部对由投影部投影至投影平面的投影图像进行成像而捕获的捕获图像，以便将颜色校正信息设置为用于校正所述投影部的每个像素的颜色的信息，

其中所述成像部和所述投影部已被校准并且它们的相对位置是已知的，使得针对所述投影部的每个像素获得关于所述投影平面的深度信息，基于所述深度信息生成指示所述投影平面的形状的法线信息，并且根据所述深度信息和所述法线信息获得所述投影部的每个像素的亮度值。

20.一种计算机可读存储介质，其上存储有用于使计算机用作以下功能单元的程序：

颜色校正信息设置部，其被配置成使用由成像部对由投影部投影至投影平面的投影图像进行成像而捕获的捕获图像，以便将颜色校正信息设置为用于校正所述投影部的每个像素的颜色的信息，

其中所述成像部和所述投影部已被校准并且它们的相对位置是已知的，使得针对所述投影部的每个像素获得关于所述投影平面的深度信息，基于所述深度信息生成指示所述投影平面的形状的法线信息，并且根据所述深度信息和所述法线信息获得所述投影部的每个像素的亮度值。

Images