CN107526237B - 投影装置、投影系统、投影方法 - Google Patents

Abstract

一种投影装置、投影系统、投影方法。投影装置具备：投影部，其投影图像；面信息取得部，其取得投影部投影的多个被投影面的信息；视点信息取得部，其取得观赏者视点相对于投影部的位置信息；矩阵式制作部，其根据由面信息取得部取得的多个被投影面的信息和由视点信息取得部取得的视点的位置信息，制作针对由投影部投影的图像的每个被投影面的变形运算即修正视点变换矩阵群；掩模制作部，其制作表示与图像对应的由矩阵式制作部制作出的各修正视点变换矩阵的对应区域的修正掩模信息；投影控制部，其在由掩模制作部制作出的修正掩模信息的每个对应区域，通过由矩阵式制作部制作出的各修正视点变换矩阵对图像进行了变形运算后通过投影部来投影图像。

Description

投影装置、投影系统、投影方法

技术领域

本发明涉及一种投影装置、投影系统、投影方法。

背景技术

在日本特开2013-120347号公报中，提出了一种用于进行图像显示的技术，使得在从图像显示装置的显示面的正面偏移的位置观察显示面的观察者能够观察无失真的图像。

上述专利文件所记载的技术是修正显示平面图像时从观察者看见的图像的失真的技术。

可是，随着近年来的视频鉴赏方法的多样化、使用了VR(虚拟现实)技术的游戏的产品化、家庭用天象仪的普及等，提出了一种不仅向一个平面而是向多个平面，例如向室内的顶面和四个壁面、以及地面投影连续的图像那样的所谓被称为全天球型的投影装置。

在这种全天球型的投影装置中，例如通过在顶面使用专用的配件固定装置主体来执行投影，能够向除了装置的安装基部方向以外的几乎全部的面投影连续的图像。

然而，在通过上述那样的投影装置投影了图像时，因为投影镜头的位置与观赏该图像的观赏者的视点的位置不同，所以特别在壁面与壁面交叉的角部等，即使原来的投影图像为直线，从观赏者也看到弯曲的线等，从观赏者看见失真的图像。

发明内容

鉴于上述那样的实际情况而作出本发明，其目的在于提供一种在全天球型的图像投影时，能够投影观赏者容易看见的自然的图像的投影装置、投影系统、投影方法以及程序。

本发明的一个方式具备：投影部，其投影图像；面信息取得部，其取得所述投影部进行投影的多个被投影面的信息；视点信息取得部，其取得观赏者的视点相对于所述投影部的位置信息；矩阵式制作部，其根据由所述面信息取得部取得的多个被投影面的信息和由所述视点信息取得部取得的视点的位置信息，制作针对由所述投影部投影的图像的每个被投影面的变形运算即修正视点变换矩阵群；掩模制作部，其制作表示与图像对应的由所述矩阵式制作部制作出的各修正视点变换矩阵的对应区域的修正掩模信息；投影控制部，其在由所述掩模制作部制作出的修正掩模信息的每个对应区域，通过由所述矩阵式制作部制作出的各修正视点变换矩阵对图像进行了变形运算后通过所述投影部来投影图像。

附图说明

图1是表示本发明的第一实施方式的投影机的主要电子电路的功能结构的框图。

图2表示设想了本发明的第一实施方式的投影机的使用的房间和观赏者的环境的例子。

图3表示在本发明的第一实施方式的图2的投影环境下投影机应识别的投影面。

图4是表示在设置了本发明的第一实施方式的投影机的最初所执行的初始设定动作的基本处理内容的流程图。

图5表示本发明的第一实施方式的修正掩模信息。

图6是表示本发明的第一实施方式的投影动作时的基本处理内容的流程图。

图7是表示本发明的第二实施方式的初始设定动作时的处理内容的流程图。

具体实施方式

以下，对于本发明的实施方式进行详细的说明。

(第一实施方式)

以下，参照附图来说明将本发明应用于通过专用的配件固定到室内的顶面的大致中央来使用的投影机(投影部)10时的第一实施方式。

图1说明该投影机10的主要电子电路的功能结构。在该图中，从数据存储部11读出应投影的图像数据，并经由总线B发送到投影图像驱动部12。

该数据存储部11还存储后述的修正掩模数据或视点修正矩阵群数据等。

上述投影图像驱动部12根据发送过来的图像数据，通过将遵从预定格式的帧速率例如120[帧/秒]和颜色成分的分割数以及显示灰度数进行了乘法运算而得的更高速的分时驱动来显示驱动显示元件即微镜元件13。

该微镜元件13将排列为矩阵状的多个，例如WXGA(横1280像素×纵768像素)量的微镜的各倾斜角度分别以高速进行开/关动作来进行显示动作，由此通过其反射光来形成光图像。

另一方面，从光源部14以分时方式循环地出射R、G、B的原色光。光源部14具有半导体发光元件即LED，并以分时方式重复出射R、G、B的原色光。光源部14具有的LED作为广义的LED，也可以包含LD(半导体激光)或有机EL元件。

另外，也可以使用通过向荧光体照射从LED出射的光来激发的与原来的光波长不同的原色光。来自该光源部14的原色光通过反射镜15全反射并照射到上述微镜元件13。

然后，通过微镜元件13的反射光形成光图像，并经由投影镜头部16向外部投射所形成的光图像。

该投影镜头部16通过被称为所谓鱼眼镜头的超广角镜头，投影除了基部方向的全天球图像。例如在沿着投影光轴的平面上实现投影视场角270°，在与投影光轴正交的平面上实现投影视场角360°。

通过上述投影图像驱动部12、微镜元件13、光源部14、反射镜15以及投影镜头部16构成投影系统PI。

CPU17控制上述各电路的全部动作。该CPU17与主存储器18以及程序存储器19直接连接。主存储器18例如由SRAM构成，并作为CPU17的工作存储器发挥功能。程序存储器19由电气可擦写的非易失性存储器，例如闪速ROM构成，并存储CPU17执行的动作程序、其他各种定型数据等。

CPU17读出存储于上述程序存储器19的动作程序或定型数据等，在展开并存储到主存储器18中的基础上通过执行该程序来总体控制该投影机10。

上述CPU17根据来自操作部20的操作信号来执行各种投影动作。该操作部20包括投影机10的主体所具备的几个操作键、以及实施来自该投影机10 专用的未图示的遥控器的键操作信号的接收部，并向上述CPU17发送与接收到的键操作信号相应的信号。

上述CPU17还经由上述总线B与声音处理部21、通信部22连接。

声音处理部21具备PCM音源等的音源电路，将投影动作时被赋予的声音信号进行模拟化，驱动扬声器部23来发音，或者根据需要产生蜂鸣音等。

通信部22例如通过按照IEEE802.11a/11b/11g/11n/11ac规格的无线LAN通信，以及按照IEEE80.15规格的近距离无线通信，经由天线24与投影机10外部的设备进行数据的发送接收。

其次，对上述实施方式的动作进行说明。

图2表示假设了使用上述投影机10的房间RM和观赏者EJ的环境的例子。在该图中，投影机10通过专用的挂顶配件(未图示)设置在房间RM的顶面的大致中央，使得投影镜头部16的投影光轴朝向正下方向。

在这里，观赏者EJ以坐在放置于投影机10的基本正下方的沙发SF上的状态，面对图左方的墙壁。在从该观赏者EJ来看的右后方的角部设置了架子SL。

作为设置了投影机10的最初的初始设定动作，执行设定观赏者EJ的视点位置的视点修正处理。另外，在由于房间RM的布置等执行了包含架子SL的家具的配置变更等情况下，由于投影面改变，也需要执行上述视点修正处理。

图3表示在上述图2的投影环境中投影机10应识别的投影面。即，在这里投影面由顶面TP、壁面WL1、WL2、WL3、WL4、地面FL、架子上面ST、架子侧面SS1、SS2组成。此外，上述壁面WL4在该图3中由于作为切开了房间RM的状态而没有图示，但其是与上述壁面WL2相对，与上述壁面WL1、WL3邻接的前侧的壁面。

其次，使用图4来说明设置了上述投影机10的最初所执行的初始设定动作的基本处理的流程。

此外，以下所示的动作，如上所述，由投影机10的CPU17在主存储器18中展开从程序存储器19读出的动作程序等基础上执行。程序存储器19所存储的动作程序等不仅在该投影机10的出厂时存储于程序存储器19，而且包含用户在购入了该投影机10后安装版本升级用的程序等的内容。

在其最初，CPU17经由天线24以及通信部22从外部设备例如安装了该投影机10专用的应用程序的个人计算机取得该房间RM的形状信息(步骤S101)。

即，在上述应用程序中，例如通过按步骤输入房间的形状和地面的纵横边的尺寸、高度、设置了投影机10的位置和方向、主要放置物的放置场所和各尺寸等，制作必要的信息并发送到投影机10。取得了信息的投影机10的CPU17将已取得的信息存储到数据存储部11。

接着，CPU17经由天线24以及通信部22从外部设备取得观赏者EJ的视点位置的信息(步骤S102)。

即，在上述应用程序中，通过按步骤输入在房间RM内观赏者EJ所处的位置和视点的高度以及主要的视线方向，制作必要的信息并发送到投影机10。由此，能够取得观赏者视点相对于投影机10的位置信息。与上述一样，取得了信息的投影机10的CPU17将已取得的信息存储到数据存储部11。

取得了房间的形状信息和观赏者的视点位置信息的CPU17继续针对每个投影面，制作汇总了视点修正矩阵的视点修正矩阵群，并将制作出的视点修正矩阵群存储到数据存储部11(步骤S103)，所述视点修正矩阵变换图像的投影位置，使得从观赏者EJ的视点来看图像自然地连续。作为要取得的被投影面的面信息，不限于平面也可以是曲面。

并且，CPU17从这些制作出的视点修正矩阵群，对应于要投影的图像中的像素位置，制作用于分配相应的投影面的视点修正矩阵的修正掩模信息，并将制作出的修正掩模信息存储到数据存储部11(步骤S104)，通过以上结束该图4的处理。

图5表示通过上述图4的处理CPU17所制作出的修正掩模信息。如上所述，投影镜头部16为鱼眼镜头，沿着投影光轴的平面中的投影视场角为270°左右，与投影光轴正交的平面中的投影视场角为360°。

用于投影的原始图像为圆形，如该图中所示那样，划分设定了各投影面的区域范围。对应于这些划分出的各投影面的每个区域范围的修正视点矩阵存储到数据存储器11，通过对图像数据实施使用了这些修正视点矩阵的坐标变换，从观赏者EJ的视点位置看到的图像在各投影面上自然地连续。

图6表示在结束上述那样的投影机10的初始设定并再生实际存储于数据存储部11的动画数据或者经由天线24、通信部22从外部随时发送过来的动画数据时，针对每个1帧量的图像数据执行的基本处理的流程。

即，在CPU17中，针对构成动画数据的每个图像数据，在投影前从数据存储部11读出，或者经由天线24、通信部22取得了该图像数据的基础上(步骤S201)，执行基于上述修正掩模信息和上述修正视点矩阵群的视点修正运算(步骤S202)。

在该视点修正运算中，如上所述，针对基础图像数据，执行变换将通过修正掩模信息划分设定的每个投影面的各像素信息使用对应的修正视点矩阵来投影的坐标位置的运算。通过该变换运算，从观赏者EL的视点位置来看，整体的图像协调且连续。

通过这样使用变换执行后的投影图像，同步地执行投影系统PI的投影图像驱动部12的微镜元件13的显示动作、和光源部14的发光动作，微镜元件13的反射光的投影图像通过投影镜头部16覆盖投影到房间RM内的基本全部面上(步骤S203)。

如以上详细叙述的那样，根据本实施方式，在全天球型的图像投影时能够投影观赏者容易看到的自然的图像。

此外，在上述实施方式中，说明了设置了投影机10的房间RM的形状信息、观赏者EJ的视点位置信息中都从外部设备输入的情况，但是不限于此。投影机10自身也可以具备包含镜头光学系统的拍摄部，所述镜头光学系统具有与上述投影镜头部16同等的光学特性，通过投影机10拍摄房间RM，取得其形状信息和观赏者的视点位置信息。

此时，例如在该拍摄部的镜头开口处设置由两个颜色的彩色滤光片组成的彩色开口滤光片，根据到物体为止的距离产生模糊和颜色偏差，因此能够对从该拍摄图像获得的模糊与颜色偏差进行图像解析来检测每个像素的到物体为止的距离。

因此，基于获得的距离图像，能够根据相邻像素间的距离变化的连续性划分设定各投影面来提取位置信息，另一方面，能够根据从拍摄图像进行了人物提取处理以及面部识别处理而得的图像中的位置和上述距离图像取得观赏者视点的位置信息。

这样，通过投影机10自身具备拍摄部，能够通过单个投影机10来进行使用上述图2至图6说明的初始设定动作，并更容易处理。

(第二实施方式)

以下，对于将本发明设为手提型的投影机，并应用于使用安装到便携信息设备，例如智能手机的专用的应用程序来进行初始设定那样的投影系统的第二实施方式进行说明。

此外，投影机的功能性电路结构自身与上述图1所示的内容基本一样，对于相同的部分使用相同的符号，并省略其图示和说明。

同样的，智能手机的硬件电路的结构也与众所周知的技术相同，因此省略其图示和说明。

图7是表示基于安装到智能手机的应用程序的用于投影机10的初始设定的处理内容的流程图。在该图中，在将手提型的投影机10设置到任意的进行图像投影的场所并接通了电源的基础上，作为观赏者的用户从进行观赏的位置启动智能手机侧的该应用程序来进行初始设定。

在该处理最初，在智能手机中，对投影机10发送指示投影测试图形图像的命令(步骤S301)。

在经由天线24、通信部22接收到该命令的投影机10侧，CPU17从数据存储部11读出预先存储的测试图形的图像数据并通过投影系统PI来投影。

在智能手机中，在上述命令发送后自动设定相机模式的，特别是一边进行拍摄一边移动拍摄范围的全景拍摄模式并接受连续的快门按钮的操作，执行投影后的测试图形图像的拍摄(步骤S302)。

在该全景模式下的拍摄时，智能手机的用户通过智能手机从观赏位置一边将身体向横方向旋转一边连续进行拍摄，并在结束了一周360°的拍摄的时刻关闭快门操作。例如，从用手指按压快门按钮开始到手指离开为止进行拍摄。

另外，在全景模式下的拍摄时设定为智能手机的镜头光学系统的拍摄视场角为最大角的状态下，在纵(天地)方向的拍摄范围小于被投影的测试图形图像的范围时，用户可以连续旋转两周来继续拍摄，并分为测试图形图像的上侧和下侧覆盖两周720°来进行拍摄。

在智能手机中，根据是否对快门按钮进行了关闭操作来判断是否结束了拍摄(步骤S303)。在这里，当对快门按钮没有进行关闭操作，判断为拍摄没有结束时(步骤S303，否)，一边继续进行全景模式下的拍摄，一边等待对快门按钮进行关闭操作。

在上述步骤S303中，对快门按钮进行了关闭操作，并判断为拍摄已结束的时刻(步骤S303，是)，将智能手机中拍摄到的测试图形图像作为在360°的范围内以天球状连续的图像来执行连接边界部分的合成处理(步骤S304)。

随后，在智能手机中，对投影机10发送指示停止测试图形图像的投影的命令(步骤S305)。

在经由天线24、通信部22接收了该命令的投影机10侧，CPU17在该时刻停止投影系统PI的测试图形图像的投影。

并且，在智能手机侧，针对通过上述合成处理获得的图像，通过一边在显示器上显示，一边在与该显示器一体设置的触摸屏上接受成为投影面的角的点的单击输入、成为投影面的边的位置的滚动输入、以及移动显示器上的显示位置的滑动输入，接受划分拍摄到的图像中的投影面的输入，作为与测试图形图像相对应的坐标位置的输入(步骤S306)。

在这种情况下，也可以进一步在触摸屏上通过两根手指的扩散操作以及收缩操作，进行在显示器上显示的，已拍摄的测试图形图像的扩大/缩小。

一边接受这些输入，一边进一步判断是否进行了指示结束了全部投影面的划分输入的操作的输入(步骤S307)。

在这里，在判断为还没有结束全部投影面的划分输入，没有进行指示其结束的操作时(步骤S370，否)，返回到从上述步骤S306起的处理，继续执行投影面的划分输入的接受。

这样，重复执行步骤S306、S307的处理，并一边接受投影面的划分输入，一边等待结束该输入的操作。

并且，在上述步骤S307中，判断为结束全部投影面的划分输入，并进行了指示其结束的操作时(步骤S307，是)，通过智能手机拍摄，并根据拍摄到的测试图形图像中的触摸输入内容，计算并获得构成该投影机10被设置的环境的多个投影面的每个投影面的位置坐标信息(步骤S308)。

接着，在智能手机中，计算并取得被这些投影面围住的用户(观赏者)的视点位置的坐标信息(步骤S309)。

在取得了房间各投影面的坐标位置信息和观赏者视点位置的坐标信息的智能手机中，对每个投影面，通过运算制作汇总了视点修正矩阵的视点修正矩阵群，所述视点修正矩阵变换图像的投影位置，使得从用户即观赏者的视点来看图像自然地连续(步骤S310)。

并且，在智能手机中，从这些制作出的视点修正矩阵群，对应于投影的图像中的像素位置，通过运算制作用于分配相应的投影面的视点修正矩阵的修正掩模信息(步骤S311)。

最后，智能手机对投影机10发送制作出的视点修正矩阵群的信息和修正掩模信息(步骤S312)，通过以上结束图7所示的一连串的用于投影机10的初始设定的应用程序。

在从智能手机经由天线24、通信部22接收到视点修正矩阵群的信息和修正掩模的信息的投影机10的CPU17中，以后，能够基于这些信息对图像进行变形来执行与该投影环境的形状和观赏者的视点位置相应的图像投影。

此外，在上述实施方式中，说明了在智能手机侧进行通过运算制作视点修正矩阵群的信息和修正掩模的信息的处理的情况，但也可以在投影机10侧执行这些运算处理。

如以上详细叙述的那样，根据本实施方式，针对手提型的投影机10，例如能够使用智能手机等具有拍摄部和通信部的便携信息设备来实施初始设定，因此能够一边将处理简单化，一边在全天球型的图像投影时，投影观赏者容易看见的自然的图像。

除此之外，在上述实施方式中，通过与便携信息设备具有的显示器一体化的触摸屏的操作，接受用于划分设定各投影面的输入，所以能够在视觉上容易理解，并将处理进一步简单化。

此外，如上所述进行投影机10的初始设定的便携信息设备并不限于智能手机，也可以是具有拍摄部和通信部那样的设备，例如平板型的个人计算机或一般的功能手机等。

此外，本发明并不限定于上述的实施方式，在实施阶段在不脱离其宗旨的范围内能够进行各种变形。另外，在上述的实施方式中执行的功能也可以在可能的范围内适当组合来实施。在上述的实施方式中包含各种阶段，能够通过公开的多个构成要件的适当组合来提取出各种发明。例如，即使从实施方式所示的全部结构要件中删除几个构成要件，只要能够获得效果，则可以提取出删除了该结构要件的结构作为发明。

Claims (3)

1.一种投影系统，具有投影图像的全天球型的投影装置和拍摄所述投影装置的投影范围的拍摄装置，其特征在于，

所述投影装置向除了所述投影装置的安装基部方向以外的面投影连续的投影图像，

所述拍摄装置具备：

拍摄部，其从观赏者的视点位置拍摄所述投影装置投影的测试图形图像；

合成部，将从所述拍摄部获得的所述测试图形图像执行连接边界部分的合成处理，从而获得天球状连续的图像；划分设定部，其划分设定通过所述合成部获得的图像中的多个被投影面；

取得部，其从通过所述划分设定部划分设定后的内容中取得多个被投影面的信息和所述观赏者的视点相对于所述投影装置的位置信息；

矩阵式制作部，其根据由所述取得部取得的多个被投影面的信息和视点相对于所述投影装置的位置信息，制作针对通过所述投影装置投影的图像的每个被投影面的变形运算即修正视点变换矩阵群，使得从观赏者的视点来看图像自然地连续；以及

掩模制作部，其制作表示与图像对应的由所述矩阵式制作部制作出的各修正视点变换矩阵的对应区域的修正掩模信息，

所述投影装置具备投影控制部，其在由所述掩模制作部制作出的修正掩模信息的每个对应区域，通过由所述矩阵式制作部制作出的各修正视点变换矩阵对图像进行了变形运算后通过所述投影装置来投影图像。

2.根据权利要求1所述的投影系统，其特征在于，

所述拍摄装置具备与显示部一体化的触摸屏，

所述划分设定部通过所述显示部显示通过所述拍摄装置从观赏者的视点位置拍摄所述投影装置投影的测试图形图像而获得的拍摄图像，并接受针对显示出的图像的所述触摸屏的操作来划分设定多个被投影面。

3.一种具备投影图像的投影部的全天球型的投影装置中的投影方法，其特征在于，

所述投影装置向除了所述投影装置的安装基部方向以外的面投影连续的投影图像，

所述投影方法包括以下步骤：

拍摄步骤，其从观赏者的视点位置拍摄所述投影装置投影的测试图形图像；

合成步骤，将从所述拍摄步骤获得的所述测试图形图像执行连接边界部分的合成处理，从而获得天球状连续的图像；

划分设定步骤，其划分设定通过所述合成步骤获得的图像中的多个被投影面；

取得步骤，其从通过所述划分设定步骤划分设定后的内容中取得多个被投影面的信息和所述观赏者的视点相对于所述投影装置的位置信息；

矩阵式制作步骤，其根据所述取得步骤中所取得的多个被投影面的信息和所述视点信息取得步骤中所取得的视点的位置信息，制作针对与所述投影部投影的图像的每个被投影面的变形运算即修正视点变换矩阵群，使得从观赏者的视点来看图像自然地连续；

掩模制作步骤，其制作表示与图像对应的所述矩阵式制作步骤中所制作出的各修正视点变换矩阵的对应区域的修正掩模信息；以及

投影控制步骤，其在所述掩模制作步骤中所制作出的修正掩模信息的每个对应区域，通过所述矩阵式制作步骤中所制作出的各修正视点变换矩阵对图像进行了变形运算后通过所述投影部来投影图像。

Images