CN109155843B

CN109155843B - 图像投影系统和图像投影方法

Info

Publication number: CN109155843B
Application number: CN201780030485.0A
Authority: CN
Inventors: 渕上竜司; 南和博; 杉泽裕史; 中村秀幸
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2016-05-30
Filing date: 2017-05-09
Publication date: 2021-03-16
Anticipated expiration: 2037-05-09
Also published as: US9832436B1; WO2017208739A1; CN109155843A; US20170347076A1; EP3466061B1; CN112954288B; EP3466061A1; EP4216541A1; CN112954288A; JP2017215374A

Abstract

一种图像投影系统，包括：红外线投影设备，用于向投影对象投射形状测量所用的图案图像；摄像装置，用于拍摄所述图案图像；计算装置，用于基于所拍摄到的图案图像来获取所述投影对象的三维形状信息，并且基于所述三维形状信息来将内容图像转换成与所述投影对象相对应的投影用内容图像；以及可见光投影设备，其配置在与所述红外线投影设备不同的位置，并且用于向所述投影对象投射所述投影用内容图像，其中所述计算装置基于所述可见光投影设备所投射的可见光图像和所述红外线投影设备所投射的非可见光图像的图像来执行使所述非可见光图像的各像素与所述可见光图像的各像素相关联的处理。

Description

图像投影系统和图像投影方法

技术领域

本发明涉及用于根据投影对象的变化来将内容图像实时地投射到该投影对象的图像投影系统和图像投影方法。

背景技术

已知有被称为投影映射的技术作为用于将期望的内容图像投射到诸如建筑物等的投影对象的技术。投影对象通常具有三维形状。因此，在原样投影内容图像的情况下，由于投影对象的表面的粗糙度或深度的大小，因而与投影设备分开的位置中的观众可能将投影图像看作失真图像。因此，通过预先测量相对于投影对象的各点的摄像装置的各像素和投影设备之间的对应关系、对内容图像进行相应的坐标转换、并且投射该内容图像，可以看到不存在失真的内容图像。

在投影对象是诸如建筑物等的固定物体的情况下，预先测量相对于投影对象的各点的摄像装置的各像素和投影设备之间的对应，并且基于摄像装置的各像素和投影设备之间的固定的对应信息来进行投影映射。然而，可以对诸如车辆、舞者或运动员等的不断变化的投影对象(以下称为“运动物体”)进行投影映射，并且期望用于对运动物体适当地进行投影映射的技术。

然而，在向运动物体的投影的情况下，即使运动物体具有与人的慢速行走大致相同的例如约1米/秒的低速运动，在大约60帧/秒的典型视频处理中，在测量所用的摄像和投影之间也产生几厘米的移动误差。

作为用于解决这种问题的高速且低延迟的测量和投影的技术，例如，在WO2015/125403的小册子中，公开了包括投影设备和至少一个摄像装置的图像投影系统。该投影设备投射表示内容图像的视频光和包括与投影坐标系中的投影坐标的编码信息相对应的图案图像的图案光。投影设备具有透镜光学系统、可见光LED光源、红外LED光源、以及用于投影来自这两个光源的光的一个数字微镜装置(下文中，称为“DMD”)。根据该图像投影系统，内容图像的投影和投影对象的测量由同一投影设备进行。因此，可以将内容图像投射到结构物体上的预期位置。

可能需要以更高的亮度和更高的帧频将内容图像投射到高速改变的运动物体。因此，在投影映射中需要用于使投影中所使用的光源具有高亮度并且以更高的速度切换投影图像的技术。

特别地，在全色图像的投影的情况下，即使利用在WO2015/125403中公开的投影设备，使红色、蓝色和绿色的各颜色的光源具有高亮度从技术上也并不容易且也需要高成本。另外，利用一个DMD，红色、蓝色和绿色这三个颜色以及红外线这四种光的高速投影受到限制，并且此外，诸如用以将四种光引导至透镜光学系统的镜等的光学系统非常复杂。

如果单独配置可见光光源所用的可见光投影设备和红外线(非可见光)光源所用的红外线投影设备(即，如果使用单独的DMD和光学系统)，则可见光和红外线的投影位置彼此不同，因而除现有技术中的技术那样、基于利用红外线投影设备所投射的红外线的图案图像来测量投影对象的距离(此外，投影对象的位置和形状)的测量处理外，还新需要进行使从可见光投影设备投射的可见光图像的各像素与摄像装置的拍摄图像(此外，从红外线投影设备投射的红外线图像)的各像素相关联的校准处理。

然而，将测量结果无延迟地投影到运动物体上需要同时进行测量和投影。特别地，为了提高视频的亮度和质量，可见光投影设备期望地即使在人可能无法识别的短时间量内、也没有为了测量而停止投影的情况下进行投影。摄像装置必须在投影时在不受可见光视频阻碍的情况下对非可见光进行摄像，并且必须在校准处理时对可见光和非可见光这两者进行摄像。

引文列表

专利文献

专利文献1：PCT国际公开WO2015/125403

发明内容

本发明的目的是利用简单的结构来执行使用非可见光的测量处理和使用可见光的校准处理。

根据本发明的方面，提供一种图像投影系统，用于向投影对象投射内容图像，所述图像投影系统包括：非可见光投影设备，用于通过使用非可见光向所述投影对象投射形状测量所用的图案图像；摄像装置，用于拍摄投射到所述投影对象的所述图案图像；测量控制装置，用于基于所拍摄到的图案图像来获取所述投影对象的三维形状信息；投影图像处理装置，用于基于所述三维形状信息来将预先准备的内容图像转换成与所述投影对象相对应的投影用内容图像；可见光投影设备，其配置在与所述非可见光投影设备不同的位置，并且用于通过使用可见光与所述非可见光投影设备同时向所述投影对象投射所述投影用内容图像；以及校准处理装置，用于基于利用所述摄像装置对所述非可见光投影设备所投射的非可见光图像和所述可见光投影设备所投射的可见光图像进行拍摄所获得的图像，来执行使所述非可见光图像的各像素与所述可见光图像的各像素相关联的处理。

根据本发明的图像投影系统，可以利用简单的结构执行利用非可见光所进行的测量处理和使用可见光的校准处理。

附图说明

图1是根据第一典型实施例的图像投影系统的结构图；

图2是示出红外线投影设备所投射的、测量处理所用的图案图像的一个示例的说明图；

图3是示出图1所示的计算装置的详情的功能框图；

图4是示出根据第一典型实施例的图像投影系统的校准处理的流程的流程图；

图5是示出图4所示的校准处理的变形例的图；

图6是示出图1所示的图像投影系统的变形例的图；

图7是示出根据第一典型实施例的图像投影系统的第一应用示例的说明图；

图8是示出根据第一典型实施例的图像投影系统的第二应用示例的说明图；

图9是示出根据第一典型实施例的图像投影系统的第三应用示例的说明图；

图10是示出根据第一典型实施例的图像投影系统的第四应用示例的说明图；

图11是根据第二典型实施例的图像投影系统的结构图；

图12是示出根据第二典型实施例的图像投影系统的测量处理的流程的流程图；

图13是示出图12所示的测量处理的变形例的图；

图14是根据第三典型实施例的图像投影系统的结构图；

图15是示出根据第三典型实施例的图像投影系统的操作的说明图；

图16是示出根据第三典型实施例的图像投影系统的操作的变形例的流程图；

图17是示出图16中的步骤ST506的处理的说明图；

图18是根据第四典型实施例的图像投影系统的结构图；以及

图19是示出图18所示的图像投影系统的变形例的图。

具体实施方式

以下将参考附图来说明本发明的典型实施例。

第一典型实施例

图1是根据本发明的第一典型实施例的图像投影系统1的结构图。图像投影系统1是用于进行将构成期望视频内容的图像投射到投影对象的投影映射的系统，并且特别地，适合于运动图像向诸如车辆、舞者或运动员等的不断变化的投影对象(运动物体2)的投射。图1以简化形式(例如，图1中的圆柱形状)示出运动物体2。

如图1所示，图像投影系统1主要包括：红外线投影设备3，用于向运动物体2投射红外线图像；可见光投影设备4，用于向运动物体2投射可见光图像；摄像装置5，其可以拍摄投射到运动物体2的红外线图像和可见光图像；以及计算装置6，其可通信地连接至设备3和4以及装置5各自，并且执行投影映射所需的各种处理。红外线投影设备3、可见光投影设备4和摄像装置5可以配置在预定位置中。

红外线投影设备3包括：出射单元10，其包含诸如投射透镜等的透镜系统；红外线光源11，其包含发出红外区域的光的红外线LED；DMD 12，用于通过选择性地使来自红外线光源11的光向投射透镜反射来形成由运动图片或静止图片构成的期望的红外线图像；以及未示出的控制基板或处理器等，用于控制红外线光源11或DMD 12的操作。

作为红外线光源11，不仅可以采用LED，而且还可以采用诸如激光等的其它已知的光源，只要能够实现期望亮度即可。另外，如果光是至少非可见光(人无法从视觉上识别的不可见光、或者与不可见光相对应并且不会显著影响内容图像的视觉识别的光)，则红外线投影设备(非可见光投影设备)3可以通过不仅使用红外线而且还使用诸如紫外线等的其它光来投射非可见光图像。

可见光投影设备4包括：出射单元15，其包含诸如投射透镜等的透镜系统；可见光光源16，其包括发出可见区域的光的白色激光；DMD(显示元件)17a、17b和17c，用于通过选择性地使来自可见光光源16的各颜色(红色、绿色和蓝色)的各个光向投射透镜反射来形成由运动图片或静止图片构成的期望的可见光图像；以及未示出的彩色基板或处理器等，用于控制可见光光源16或DMD 17a～17c的操作。另外，尽管未示出，但来自可见光光源16的白色光由已知的分色棱镜分解成各颜色，并且被引导至与各颜色相对应的DMD 17a～17c。此外，将利用DMD 17a～17c反射的光经由分色棱镜从投射透镜投射到运动物体2。

可见光投影设备4配置在与至少红外线投影设备3不同的位置，并且这里与摄像装置5相邻配置(至少比红外线投影设备3更靠近摄像装置5，并且更优选地接近至彼此的壳体几乎彼此接触的程度)。因此，容易使可见光投影设备4的可见光图像的各像素与摄像装置5的拍摄图像的各像素相关联，并且可以以更简单的方式执行后面所述的校准处理。

作为可见光投影设备4中所使用的显示元件，不仅可以采用DMD，而且还可以采用诸如液晶显示器等的其它已知的显示元件，只要在作为可见光图像的内容图像的投射中能够实现期望帧频即可。另外，作为可见光光源16，不仅可以采用白色激光，而且还可以采用诸如LED或水银灯等其它已知的光源，只要能够实现期望的亮度即可。

摄像装置5是适合于红外线摄像并且基于红外线图像来测量运动物体2的位置和形状的已知的数字摄像机，并且主要包括对红外线的波长区域具有灵敏度(这里，对近红外区域具有提高的灵敏度)的未示出的图像传感器。另外，在摄像装置5中配置有可见光截止滤光器19，该可见光截止滤光器19用于防止利用红外线进行的位置和形状测量受到可见光阻碍。可见光截止滤光器19配置在未示出的物镜的外侧(在运动物体2侧)，并且如图1所示是可拆卸地安装的。

可见光截止滤光器19安装和拆卸可以由图像投影系统1的用户手动进行。然而，本发明不限于此，并且可以通过向摄像装置5添加滤光器驱动装置来自动进行可见光截止滤光器19的安装和拆卸，其中该滤光器驱动装置用于使可见光截止滤光器19的位置在可见光截止滤光器19安装在物镜(出射单元15)上的安装位置和可见光截止滤光器19从物镜分离的解除位置之间改变。

如后面详细所述，在图像投影系统1中，红外线投影设备3将由多个预定图案(帧)构成的图案图像作为红外图像投射到运动物体2，并且摄像装置5拍摄所投射的图案图像。计算装置6执行用于基于所拍摄的图案图像测量来测量运动物体2的每像素的距离(三维位置和形状)的测量处理。此外，计算装置6基于运动物体2的位置和形状信息来校正预先准备的可见光的内容图像(即，进行坐标转换)，并且可见光投影设备4将通过该校正所生成的投影用内容图像投射到运动物体2。因此，无论运动物体2的变化(运动或形状的变化)如何，可见光投影设备4所投影的可见光图像的失真或偏移都减少，并且观看者可以看到更良好的内容图像。

此外，在图像投影系统1中，计算装置6执行校准处理，该校准处理使可见光投影设备4所投影的可见光图像的各像素与摄像装置5所拍摄到的可见光图像的拍摄图像(此外，红外线投影设备3所投影的红外线图像)的各像素相关联。在用于生成上述投影用内容图像的内容图像的校正中使用作为该校准处理的结果所获取到的各像素之间的转换参数。因此，甚至在可见光投影设备4配置在与红外线投影设备3不同的位置中的情况下，可见光投影设备4所投影的可见光图像的失真或偏移也减少，并且观看者可以看到更良好的内容图像。

图2是示出红外线投影设备3所投影的测量处理所用的图案图像的一个示例的说明图。通过对具有预定数量的像素(这里为1024×768个像素)的DMD12的X坐标和Y坐标的格雷码的各位进行曼彻斯特编码、并且通过将曼彻斯特码表示为黑色和白色的二值图像，来获取该图案图像。

这里，通过将10位分配至X坐标和Y坐标来对坐标信息进行编码。在图2中，X4a和X4b分别是表示X坐标的第九位(最高位)的图案以及作为X4a的互补图像的亮度反转的图案。X3a和X3b分别是表示X坐标的第八位的图案以及作为X3a的互补图像的亮度反转的图案。X2a和X2b分别是表示X坐标的第七位的图案以及作为X2a的互补图像的亮度反转的图案。

另外，Y4a和Y4b分别是表示Y坐标的第九位(最高位)的图案以及作为Y4a的互补图像的亮度反转的图案。Y3a和Y3b分别是表示Y坐标的第八位的图案以及作为Y3a的互补图像的亮度反转的图案。Y2a和Y2b分别是表示Y坐标的第七位的图案以及作为Y2a的互补图像的亮度反转的图案。

尽管未示出，但针对X坐标和Y坐标设置包括表示第0位的图案的总共40个图案。各像素的深度信息旨在基于彼此互补的图像对的差信号来去除噪声。

红外线投影设备3将包括20对彼此互补的图像对的图案图像在预定时间量内顺次投射到运动物体2。摄像装置5拍摄图案图像，并且计算装置6处理这些拍摄图像。因而，从红外线投影设备3投射的红外线图像中的各像素可以与摄像装置5所拍摄到的拍摄图像中的各像素相关联。因此，可以基于三角测量法来测量各像素的距离(三维的位置和形状)。在测量处理中，计算装置6还可以执行用于追踪不断变化的运动物体2的已知处理。

尽管本典型实施例是在1024×768个像素的情况下的示例并且具有40个图像图案，但图像图案的数量根据期望获取的分辨率或精度而改变。另外，根据配置摄像装置5和红外线投影设备3的条件，X坐标和Y坐标其中之一可以在摄像装置5和红外线投影设备3中始终固定地关联，或者可被设置成在窄范围内偏移。在这种情况下，可以去除或显著减少X坐标和Y坐标其中之一的坐标代码。

图3是示出图1所示的计算装置6的详情的功能框图。

在计算装置6中，图案生成单元21存储图2所示的测量处理所用的图案图像，并且将构成图案图像的各图案的信息按预定定时向图像输出单元22顺次输出。图像输出单元22将与各图案相对应的图像信号供给至红外线投影设备3。另外，图像输出单元22将图像输出的定时发送至图像输入单元23，并且图像输入单元23控制摄像装置5以进行与图像输出单元22的定时同步的摄像。另外，图像输出单元22可以使红外线投影设备3的红外线图像的投影定时与可见光投影设备4的可见光图像的投影定时同步。

利用摄像装置5拍摄投射到运动物体2的图案图像，并且将所获取的拍摄图像发送至图像输入单元23并且进一步发送至图案解码单元24。对于所接收到的拍摄图像，图案解码单元24计算互补图像对其中之一和该互补图像对中的预先存储在帧存储器单元25中的另一个之间的帧方面的差。因此，可以在不受环境光等的影响的情况下容易进行图案图像的像素值的判断(这里为二进制值“0”和“1”)。

在代码解码用存储器单元26中配置针对摄像装置5的各像素的写入区域。图案解码单元24在计算差之后，以位为单位将坐标数据的格雷码的各位值写入该写入区域。对40个帧执行该处理将如下的10位的值写入代码解码用存储器单元26中，其中该10位的值表示与摄像装置5的拍摄图像的各像素相对应的红外线投影设备3的红外线图像的各像素的X坐标和Y坐标各自。

因此，代码解码用存储器单元26最终存储红外线投影设备3的图案图像和摄像装置5的拍摄图像之间的各像素的对应信息，并且每当处理一个互补图像对时，将像素的最新对应信息输出至坐标转换单元27。此时，将亮度和颜色信息以及距离(三维的位置和形状)信息等作为各像素的测量信息添加至各像素的对应信息。坐标转换单元27在基于像素对应信息对测量信息进行排序的同时，将各像素的测量信息写入设置了与红外线投影设备3的红外线图像相对应的地址的坐标转换用存储器单元28。然后，坐标转换单元27按照红外线投影设备3的红外线图像的坐标的顺序读取坐标转换用存储器单元28的值，并且将该值发送至坐标插值单元29。

坐标插值单元29使用从坐标转换单元27接收到的各像素的测量信息，并且如果不存在各像素的测量信息，则在需要的情况下插入缺失信息。所考虑的插值方法例如在特定范围内存在具有有效的测量信息的像素的情况下为线性插值等。

另外，在计算装置6中，在后面详细所述的校准处理中，通过与以上的测量处理相同的方法，可以获取到红外线投影设备3的图案图像和摄像装置5的拍摄图像之间的各像素的对应信息，并且此外，可以通过以相同方式使用可见光的图案图像来获取可见光投影设备4的图案图像和摄像装置5的拍摄图像之间的各像素的对应信息。因此，可以生成红外线投影设备3的图案图像(红外线图像)和可见光投影设备4的图案图像(可见光图像)之间的各像素的对应信息作为校准信息。

内容存储器单元31存储作为投影到运动物体2的图像的来源的纹理、运动图片数据、网格和着色器程序等。响应于来自内容生成单元30的请求来读取这些来源，并且内容生成单元30基于从坐标插值单元29获取到的测量信息和校准信息来生成投影到运动物体2的投影用内容图像。向图像输出单元22顺次输出投影用内容图像，并且图像输出单元22将相应的图像信号供给至可见光投影设备4。

计算装置6由包括已知硬件的计算机构成，并且尽管未示出，但由例如以下构成：处理器，用于基于预定控制程序来执行信息处理；易失性存储器，其作为处理器的工作区域等起作用；以及非易失性存储器，用于存储处理器所执行的控制程序或者数据。计算装置6还可被配置为包括由ASIC或FPGA构成的集成电路。另外，与在本典型实施例中示出的计算装置6的功能的至少一部分相同的功能也可被配置成添加到红外线投影设备3、可见光投影设备4和摄像装置5至少之一。

图4是示出图像投影系统1的校准处理的流程的流程图。图像投影系统1在进行上述测量处理之前(例如，在完成可见光投影设备4的配置时或者在改变可见光投影设备4中的变焦设置或调焦设置时)执行校准处理。

如图4所示，在校准处理中，以与上述的测量处理的情况相同的方式，红外线投影设备3投射图案图像(ST101)，并且摄像装置5拍摄图案图像(ST102)。此时，可见光截止滤光器19安装至摄像装置5(即，可见光截止处于有效状态)，并且摄像装置5可以在不受可见光的影响的情况下拍摄红外线图像。接着，计算装置6基于摄像装置5所获取到的红外线的拍摄图像来使红外线投影设备3的红外线图像的各像素与摄像装置5的拍摄图像的各像素相关联(ST103)。

接着，解除摄像装置5的可见光截止滤光器19(ST104)，因此摄像装置5可以对可见光进行摄像。然后，以与上述的红外线投影设备3的测量处理的情况相同的方式，可见光投影设备4投射可见光的图案图像(ST105)，并且摄像装置5拍摄图案图像(ST106)。接着，计算装置6基于摄像装置5所获取到的可见光的拍摄图像来使可见光投影设备4的可见光图像的各像素与摄像装置5的拍摄图像的各像素相关联(ST107)。因此，可见光投影设备4的可见光图像的各像素可以与红外线投影设备3的红外线图像的各像素相关联。

最后，再次设置摄像装置5的可见光截止滤光器19(ST108)，摄像装置5的可见光截止变得有效，然后可以进行使用红外线图像的测量处理。

可以颠倒上述的步骤ST101～ST103和上述的步骤ST104～ST108的执行顺序。

图5是示出图4所示的校准处理的变形例的图。尽管图4示出通过安装或拆卸摄像装置5中的可见光截止滤光器19使得能够拍摄红外线图像和可见光图像的示例，但图5示出不需要可见光截止滤光器19的安装和拆卸的示例。

如图5所示，在变形例中执行与上述的图4中的步骤ST101～ST103相同的步骤ST201～ST203。然后，计算装置6控制摄像装置5以增大曝光时间量(ST204)，然后执行与图4中的上述步骤ST105～ST107相同的步骤ST205～ST207。

最后，摄像装置5的曝光时间量恢复到红外线图像的摄像所用的基准值(ST208)，然后可以进行使用红外线图像的测量处理。

可以颠倒上述的步骤ST201～ST203和上述的步骤ST204～ST208的执行顺序。

图6是示出图1所示的图像投影系统1的变形例的图。在图6中，利用相同的附图标记来指定与图1所示的图像投影系统1相同的构成元件。另外，除以下特别提及的事项以外，根据本变形例的图像投影系统1与第一典型实施例的情况相同。

尽管上述的图1示出将可见光投影设备4与摄像装置5相邻配置的示例，但本发明不限于此。如图6所示，在图像投影系统1中可见光投影设备4可被配置成与红外线投影设备3相邻配置(至少比摄像装置5更靠近红外线投影设备3，并且更优选地，接近至彼此的壳体几乎彼此接触的程度)。因此，容易使可见光投影设备4的可见光图像的各像素与红外线投影设备3的红外线图像的各像素相关联，并且可以以更加简单的方式进行校准处理。

图7、图8、图9和图10是分别示出根据第一典型实施例的图像投影系统1的第一应用示例至第四应用示例的说明图。这里，将例示在视频内容的投影中使用上述测量处理中使用的红外线投影设备3的示例。

如图7所示，图像投影系统1中的红外线投影设备3可以将阻碍图像41作为红外线图像投射到运动物体2(这里为舞台40上的表演者)的至少一部分(这里为面部区域)的区域。因此，在禁止摄像的场所中，即使在观众未经许可对表演者等进行摄像的情况下，阻碍图像41也阻碍了摄像。图7示出将由预定形状(这里为圆形)的图形构成的红外线图像作为阻碍图像41叠加以覆盖运动物体2的一部分的示例。

从红外线投影设备3利用近红外区域的相对较强的光投影红外线图像，这样即使在观众使用用于对可见光摄像的照相机来进行摄像的情况下也可以利用阻碍图像41的负效应来影响所拍摄到的可见光图像。另外，被投影阻碍图像41的对象可以限于多个表演者或展览品的一部分(例如，需要通过所谓的形象权保护的表演者或者需要通过版权保护的事物)。

另外，阻碍图像41不限于上述形状，并且可以是例如图8所示的包括期望字符信息(这里为对观众的警告消息)的红外线图像。因此，可以有效地引起未经许可进行摄像的观众的注意。

另外，如图9所示，图像投影系统1中的红外线投影设备3可以将装饰图像51作为红外线图像投射到运动物体2的周边。图9示出将包括由期望字符和图形构成的信息(这里为对新郎和新娘的祝贺消息以及图形)的装饰图像51作为红外线图像投射到运动物体2(这里为婚礼中的新郎和新娘)的示例。因此，在将所拍摄到的图像显影(或显示在显示器上)时，可以通过第一次能够从视觉上识别的装饰图像51来期待拍摄者(婚礼的参与者等)的惊喜或喜悦。

利用来自红外线投影设备3的近红外区域的相对较强的光投影红外线图像，这样即使在拍摄者使用用于对可见光摄像的照相机来进行摄像的情况下也可以使装饰图像51出现在拍摄图像中。

另外，装饰图像51不限于上述婚礼示例中的装饰图像。例如，如图10所示，在诸如鬼屋等的景点中，可以将装饰图像51作为红外线图像投射到运动物体2(这里为参观者)的周边。

第二典型实施例

图11是根据本发明的第二典型实施例的图像投影系统1的结构图。在图11中，利用相同的附图标记来指定与图1所示的图像投影系统1相同的构成元件。另外，除以下特别提及的事项以外，根据第二典型实施例的图像投影系统1与第一典型实施例的情况相同。

尽管上述的第一典型实施例示出通过使用一个红外线投影设备3投影红外线图像的示例，但在运动物体2具有相对较宽的移动区域(例如，图11所示的舞台40)的情况下，红外线光源11的光强度可能不足。

因此，在根据第二典型实施例的图像投影系统1中多个(这里为两个)红外线投影设备3L和3R分担投影区域。更具体地，配置于左侧的第一红外线投影设备3L可以将红外线图像投射到舞台40的左侧区域，并且配置于右侧的第二红外线投影设备3R可以将红外线图像投射到舞台40的右侧区域。红外线投影设备3L和3R的投影区域在中央彼此部分重叠。另外，红外线投影设备3L和3R配置在比可见光投影设备4更靠近运动物体2的位置(前方)。利用该结构，图像投影系统1实现了与增大红外线投影设备3中的红外线光源11的光强度的情况相同的效果。

图12是示出根据第二典型实施例的图像投影系统1的测量处理的流程的流程图。在测量处理中，以与上述的第一典型实施例的情况相同的方式，第一红外线投影设备3L投射图案图像(ST201)，并且摄像装置5拍摄图案图像(ST202)。接着，计算装置6基于摄像装置5所获取到的拍摄图像来将红外线投影设备3的红外线图像的各像素与摄像装置5的拍摄图像的各像素相关联，并且测量与各像素有关的距离(位置和形状)(ST303)。

在步骤ST303中的测量处理成功的情况下(ST304中为“是”)，计算装置6判断运动物体2是否位于第一红外线投影设备3L的投影区域的右端(这里为与图11所示的第二红外线投影设备3R的投影区域重叠的区域)(ST305)。然后，在运动物体2不是位于第一红外线投影设备3L的投影区域的右端的情况下(ST305中为“否”)，返回至步骤ST301，并且执行与上述相同的处理。

另一方面，在运动物体2位于第一红外线投影设备3L的投影区域的右端的情况下(ST305为“是”)，第二红外线投影设备3R代替第一红外线投影设备3L投射图案图像(ST306)，并且摄像装置5拍摄图案图像(ST307)。接着，以与上述的步骤ST303相同的方式，计算装置6将红外线投影设备3的红外线图像的各像素与摄像装置5的拍摄图像的各像素相关联，并且测量与各像素有关的距离(位置和形状)(ST308)。

在步骤ST308中的测量处理成功的情况下(ST309中为“是”)，计算装置6判断运动物体2是否位于第二红外线投影设备3R的投影区域的左端(这里为与图11所示的第一红外线投影设备3L的投影区域重叠的区域)(ST310)。然后，在运动物体2不是位于第二红外线投影设备3R的投影区域的左端的情况下(ST310中为“否”)，返回至步骤ST306，并且执行与上述相同的处理。另一方面，在运动物体2位于第二红外线投影设备3R的投影区域的左端的情况下(ST310中为“是”)，返回至步骤ST301，并且执行与上述相同的处理。

图13是示出图12所示的测量处理的变形例的图。尽管图12示出基于通过测量处理所获取到的运动物体2的位置信息来确定要将第一红外线投影设备3L和第二红外线投影设备3R中的哪个用在红外线图像的投影中的示例，但图13示出利用位置传感器检测运动物体2的位置的示例。例如，可以使用配置在图11所示的舞台40的地板上的重力传感器作为位置传感器。

如图13所示，在该变形例中，首先，利用位置传感器检测运动物体2的位置(ST401)。然后，计算装置6获取运动物体2的位置的检测结果，并且判断该位置是否位于对象区域(例如，图11所示的舞台40)的基准位置(这里为中央)的左侧的区域中(ST402)。

然后，在运动物体2位于基准位置的左侧的区域中的情况下(ST402中为“是”)，第一红外线投影设备3L投射图案图像(ST403)，并且摄像装置5拍摄图案图像(ST404)。接着，以与图12中的步骤ST303相同的方式，计算装置6将第一红外线投影设备3L的红外线图像的各像素与摄像装置5的拍摄图像的各像素相关联，并且测量与各像素有关的距离(位置和形状)(ST405)。

另一方面，在运动物体2位于基准位置的右侧的区域中的情况下(ST402中为“否”)，第二红外线投影设备3R投射图案图像(ST406)，并且摄像装置5拍摄图案图像(ST407)。接着，以与图12中的步骤ST306相同的方式，计算装置6将第二红外线投影设备3R的红外线图像的各像素与摄像装置5的拍摄图像的各像素相关联，并且测量与各像素有关的距离(位置和形状)(ST408)。

然后，在图像投影系统1中重复上述的步骤ST401～ST408。

第三典型实施例

图14是根据本发明的第三典型实施例的图像投影系统1的结构图，并且图15是示出根据第三典型实施例的图像投影系统1的操作的说明图。在图14中，利用相同的附图标记来指定与图1所示的图像投影系统1相同的构成元件。另外，除以下特别提及的事项以外，根据第三典型实施例的图像投影系统1与第一典型实施例或第二典型实施例的情况相同。

尽管根据上述的第一典型实施例和第二典型实施例的图像投影系统1在可见光截止滤光器19配置于摄像装置5中的示例中示出，但如图14所示，这里没有设置可见光截止滤光器19。

另外，在上述的第一典型实施例和第二典型实施例中，尽管可见光投影设备4的可见光图像(投影用内容图像)的投影始终处于ON(开启)状态，但如图15所示，这里来自可见光投影设备4的可见光图像的投影周期性地处于OFF(关闭)状态。在可见光图像的OFF状态中，红外线投影设备3将红外线图像(图案图像)的投影设置成ON状态。可见光图像处于OFF状态的时间量被设置为短到由于OFF状态因而人(观众等)不能识别可见光图像的亮度的下降的程度的时间量。

也就是说，在可见光图像的投影处于ON状态的情况下，摄像装置5处于能够拍摄内容图像(即，可能会阻碍红外线图像的拍摄)的状态，并且在可见光图像的投影处于OFF状态(即，红外线图像的投影处于ON状态)的情况下，摄像装置5处于能够在不会受到内容图像的影响的情况下拍摄红外线图像的状态。因此，计算装置6可以基于摄像装置5所获取到的红外线图像(图案图像)的拍摄图像来执行与上述相同的测量处理。

图16是示出根据第三典型实施例的图像投影系统1的操作的变形例的流程图，并且图17是示出图16中的步骤ST506的处理的说明图。

在图15所示的上述示例中，尽管可以通过将可见光图像的投影暂时设置成OFF状态来在无需使用可见光截止滤光器的情况下拍摄红外线图像，但本变形例示出在使用红外线图像的测量处理中始终投影可见光图像(内容图像)(即，红外线和可见光入射在摄像装置5上)的示例。

如图16所示，首先，可见光投影设备4开始将投影用内容图像投射到运动物体2(ST501)，接着红外线投影设备3将第一图案(帧)投射到运动物体2(ST502)。第一图案对应于上述图案图像中彼此互补的图像对中的一个图像。然后，摄像装置5对第一图案摄像以获取第一拍摄图像(ST503)。

接着，红外线投影设备3将第二图案(帧)投射到运动物体2(ST504)。第二图案是第一图案的反转图案，并且对应于上述图案图像中彼此互补的图像对中的另一图像。然后，摄像装置5对第二图案摄像以获取第二拍摄图像(ST505)。然后，计算装置6获取第一拍摄图像和第二拍摄图像之间的差分图像，并且基于该差分图像来执行测量处理(ST506)。

更具体地，在步骤ST503中获取到的第一拍摄图像除包括17(A)所示的红外线的第一图案外，还包括可见光的内容图像。另外，在步骤ST505中获取到的第二拍摄图像除包括如图17(B)所示的红外线的第二图案外，还包括可见光的内容图像。因此，如图17(C)所示，计算装置6通过计算第一拍摄图像和第二拍摄图像之间的差分，可以使第一拍摄图像和第二拍摄图像中的可见光的内容图像抵消，并且获取突出显示的第一图案的拍摄图像作为差分图像。计算装置6可以通过使用差分图像来以与上述情况相同的方式执行测量处理。

然后，计算装置6通过基于测量处理的结果对内容图像进行校正来生成投影用内容图像，并且使可见光投影设备4投影该投影用内容图像(ST507)。重复步骤ST502～ST507的处理，直到所有内容图像的投影最终完成为止(ST508中为“是”)。

第四典型实施例

图18是根据本发明的第四典型实施例的图像投影系统1的结构图，并且图19是示出图18所示的图像投影系统1的变形例的图。在图18和图19中，利用相同的附图标记来指定与图1所示的图像投影系统1相同的构成元件。另外，除以下特别提及的事项以外，根据第四典型实施例的图像投影系统1与第一典型实施例至第三典型实施例中的任意典型实施例的情况相同。

尽管上述的第一典型实施例至第三典型实施例示出了可见光投影设备4和摄像装置5分别通过使用单独的光学系统来进行投影和摄像的示例，但如图18所示，在根据第四典型实施例的图像投影系统1中，在彼此相邻配置的可见光投影设备4和摄像装置5之间配置有热镜61。

热镜61反射从红外线投影设备3入射在摄像装置5上的红外线(被运动物体2反射的红外线)，并且将该红外线引导到摄像装置5的可见光截止滤光器19(物镜系统)。热镜61使从可见光投影设备4向运动物体2投射的可见光图像透过。利用该结构，在图像投影系统1中从可见光投影设备4投射的可见光图像的各像素可以高度精确地与摄像装置5所拍摄到的拍摄图像的各像素相关联。结果，可能不需要上述的校准处理。

如图19的变形例所示，热镜61可被配置成配置在彼此相邻配置的红外线投影设备3和可见光投影设备4之间。在这种情况下，热镜61反射从红外线投影设备3投射的红外线并向运动物体2引导该红外线，并且热镜61使从可见光投影设备4向运动物体2投射的可见光图像透过。利用该结构，在图像投影系统1中从可见光投影设备4投射的可见光图像的各像素可以高度精确地与从红外线投影设备3投射的红外线图像的各像素相关联。因此，可能不需要上述的校准处理。

尽管以上基于特定典型实施例说明了本发明，但这些典型实施例仅用于例示性目的，并且本发明不限于这些典型实施例。图像投影系统和图像投影方法可以不必包括所有元件，并且至少可以在没有背离本发明的范围的程度上可选地选择这些元件。

附图标记列表

1 图像投影系统

2 运动物体

3 红外线投影设备

4 可见光投影设备

5 摄像装置

6 计算装置

10 出射单元

11 红外线光源

12 DMD(数字微镜装置)

16 可见光光源

15 出射单元

17a,17b,17c DMD(数字微镜装置)

19 可见光截止滤光器

21 图案生成单元

22 图像输出单元

23 图像输入单元

24 图案解码单元

25 帧存储器单元

26 代码解码用存储器单元

27 坐标转换单元

28 坐标转换用存储器单元

29 坐标插值单元

30 内容生成单元

31 内容存储器单元

40 舞台

41 阻碍图像

51 装饰图像

61 热镜

Claims

1.一种图像投影系统，用于向投影对象投射内容图像，所述图像投影系统包括：

非可见光投影设备，用于通过使用非可见光向所述投影对象投射形状测量所用的图案图像；

摄像装置，用于拍摄投射到所述投影对象的所述图案图像；

测量控制装置，用于基于所拍摄到的图案图像来获取所述投影对象的三维形状信息；

可见光投影设备，其配置在与所述非可见光投影设备不同的位置，并且用于通过使用可见光与所述非可见光投影设备同时向所述投影对象投射投影用内容图像；

校准处理装置，用于基于利用所述摄像装置对所述非可见光投影设备所投射的非可见光图像和所述可见光投影设备所投射的可见光图像进行拍摄所获得的图像，来执行使所述非可见光图像的各像素与所述可见光图像的各像素相关联的校准处理；以及

投影图像处理装置，用于基于所述三维形状信息和所述校准处理的结果来将预先准备的内容图像转换成与所述投影对象相对应的投影用内容图像。

2.根据权利要求1所述的图像投影系统，其中，

所述可见光投影设备具有分别与使用的各颜色相对应的单独显示元件。

3.根据权利要求1所述的图像投影系统，其中，

所述可见光投影设备与所述摄像装置相邻配置。

4.根据权利要求1所述的图像投影系统，其中，

所述可见光投影设备与所述非可见光投影设备相邻配置。

5.根据权利要求1所述的图像投影系统，其中，

可见光截止滤光器以能够拆卸地安装的方式配置在所述摄像装置中。

6.一种图像投影方法，用于向投影对象投射内容图像，所述图像投影方法包括：

利用非可见光投影设备向所述投影对象投射形状测量所用的图案图像；

利用摄像装置拍摄投射到所述投影对象的所述图案图像；

基于所拍摄到的图案图像来获取所述投影对象的三维形状信息；

利用配置于与所述非可见光投影设备不同的位置的可见光投影设备，通过使用可见光来向所述投影对象投射投影用内容图像；以及

基于利用所述摄像装置对所述非可见光投影设备所投射的非可见光图像和所述可见光投影设备所投射的可见光图像进行拍摄所获得的图像，来执行使所述非可见光图像的各像素与所述可见光图像的各像素相关联的校准处理；以及

基于所述三维形状信息和所述校准处理的结果来将预先准备的内容图像转换成与所述投影对象相对应的投影用内容图像。

7.根据权利要求6所述的图像投影方法，其中，

在所述摄像装置中配置可见光截止滤光器，在接收所述图案图像的光时使用所述可见光截止滤光器，并且在接收所述投影用内容图像的光时解除所述可见光截止滤光器。

8.根据权利要求6所述的图像投影方法，其中，

所述摄像装置能够改变曝光时间量，以及

与接收所述图案图像的光的情况相比，在接收所述投影用内容图像的光的情况下，使所述曝光时间量更大。

9.根据权利要求6所述的图像投影方法，其中，

在利用所述非可见光投影设备的投射中，顺次投射包括具有相互反转关系的图案的图像对作为所述图案图像，

在利用所述摄像装置的拍摄中，顺次拍摄所顺次投射的图像对和与该图像对在相同的定时投射的所述投影用内容图像，以及

在获取所述投影对象的形状信息时，基于所述摄像装置顺次拍摄到的所述图像对的拍摄图像之间的差分图像来获取所述投影对象的三维形状信息。