CN111630848A - 图像处理装置、图像处理方法、程序和投影系统 - Google Patents

Abstract

本技术涉及图像处理装置、图像处理方法、程序和投影系统，其可以在以能够获得真实感和沉浸感的方式提供平面图像的内容的情况下减少必需的空间，其中该平面图像是在平面图像被显示在平面上的假设下生成的。根据本技术的一个实施方式的图像处理装置包括计算单元，该计算单元基于设置在弯曲的显示表面前面的视点位置与设置在显示表面后面的虚拟表面之间的位置关系，计算构成平面图像的各个像素在显示表面上的位置，其中该平面图像是在平面图像被显示在平面上的假设下生成的，图像处理装置在显示表面上显示该平面图像，使得各个像素被显示在所计算的位置处。本技术能够应用于使得从多个投影仪投影视频的计算机。

Description

图像处理装置、图像处理方法、程序和投影系统

技术领域

本技术涉及图像处理装置、图像处理方法、程序和投影系统，并且特别地涉及能够在以下情况下减少所需的空间的图像处理装置、图像处理方法、程序和投影系统：以能够获得真实感和沉浸感的方式提供平面图像的内容，其中该平面图像是假设图像被显示在平面上而生成的。

背景技术

存在着通过使用投影仪在非平面屏幕上投影图像而不失真的技术。例如，存在着将来自多个投影仪的图像投影到圆顶形屏幕上的投影系统。

作为捕获要在这样的投影系统中投影的图像的方法，通常使用以下方法：通过使用各自具有广角镜头的多个摄像装置来捕获图像。通过对由多个摄像装置拍摄的图像执行诸如拼接和混合的图像处理，以下格式的整个天球图像被生成并被用于投影：使用等距圆柱投影(equidistant cylindrical projection)的格式，或被称为圆顶专家(domemaster)的格式。

整个天球图像的内容的项数远小于本应使用平坦显示设备观看的平面图像(诸如电影和电视节目)的内容的项数。

引用列表

专利文献

PTL 1：JP 2012-44407A

发明内容

技术问题

顺便提及，为了以能够获得高度真实感和沉浸感的形式提供具有预定宽高比(诸如16∶9)的平面图像的内容，需要大的平坦屏幕。

鉴于这样的情况而作出本技术，并且本技术意图在以下情况下节省所需的空间：以能够获得真实感和沉浸感的方式提供平面图像的内容，其中该平面图像是假设图像被显示在平面上而生成的。

问题的解决方案

根据本技术的一个方面的图像处理装置包括计算部，该计算部基于设置在弯曲的显示表面前面的视点位置与设置在显示表面后面的虚拟表面之间的位置关系，计算像素中的每一个在显示表面上的位置，所述像素形成平面图像，该平面图像是假设图像被显示在平面上而生成的，以及显示控制部，该显示控制部被配置成在显示表面上显示平面图像，使得像素中的每一个被显示在所计算的位置处。

本技术的另一方面的投影系统包括：屏幕，其具有弯曲的投影表面；投影仪，其被配置成在屏幕上投影图像；计算部，其被配置成基于设置在屏幕前面的视点位置与设置在屏幕后面的虚拟表面之间的位置关系，计算像素中的每一个在屏幕的投影表面上的位置，所述像素形成平面图像，该平面图像是假设图像被显示在平面上而生成的；以及控制部，其使投影仪将平面图像投影到投影表面上，使得像素中的每一个被显示在所计算的位置处。

在本技术的一个方面中，基于设置在弯曲的显示表面前面的视点位置与设置在显示表面后面的虚拟表面之间的位置关系，计算像素中的每一个在显示表面上的位置，像素中的每一个被包括在平面图像中，该平面图像是假设图像被显示在平面上而生成的，并且在显示表面上显示平面图像，使得像素中的每一个被显示在所计算的位置处。

在本技术的另一方面，基于设置在具有弯曲的投影表面的屏幕前面的视点位置与设置在屏幕后面的虚拟表面之间的位置关系，计算像素中的每一个在屏幕的投影表面上的位置，像素中的每一个被包括在平面图像中，该平面图像是假设图像被显示在平面上而生成的，并且将平面图像从投影仪投影到投影表面上，使得像素中的每一个被显示在所计算的位置处。

发明的有益效果

根据本技术，可以在以下情况下减少所需的空间：以能够获得真实感和沉浸感的形式提供平面图像的内容，该平面图像是在图像被显示在平面上的假设下生成的。

注意，效果不一定限于这里描述的效果，并且可以是本公开内容中描述的任何效果。

附图说明

[图1]是示出多投影系统的配置示例的图。

[图2]是示出从上方观看的投影仪的位置的图。

[图3]是示出视点位置的示例的图。

[图4]示出了内容的图像的示例的图。

[图5]是示出投影状态的图。

[图6]是示出平面图像的投影示例的图。

[图7]是示出直到投影平面图像的处理流程的示例的图。

[图8]是示出光线追踪的示例的图。

[图9]是示出图像处理装置的硬件配置示例的框图。

[图10]是示出图像处理装置的功能配置示例的框图。

[图11]是示出滤波处理的示例的图。

[图12]是示出图像处理装置的内容再现处理的流程图。

[图13]示出了对虚拟屏幕的选择的示例的图。

[图14]是示出虚拟屏幕的形状的另一示例的图。

[图15]是示出平面图像的投影的示例的图。

[图16]是示出处理3D图像的示例的图。

[图17]是示出3D图像的投影示例的图。

[图18]是示出直到投影3D图像的处理流程的示例的图。

具体实施方式

在下文中，将描述用于执行本技术的实施方式。将按以下顺序给出描述。

1.多投影系统的配置

2.关于内容的图像

3.平面图像的投影处理

4.图像处理装置的配置

5.图像处理装置的操作

6.修改示例

<多投影系统的配置>

图1是示出根据本技术的实施方式的多投影系统的配置示例的图。

图1中的多投影系统1是通过将圆顶屏幕11附接至安装台12来配置的，该圆顶屏幕11具有直径约为2米的圆顶形(半球形)投影表面11A。以约为1米的高度附接圆顶屏幕11，其开口倾斜地指向下。

如图1所示，在圆顶屏幕11前面准备有椅子。用户在坐在椅子上的同时观看和收听投影在投影表面11A上的内容。

此外，多投影系统1还设置有投影仪13L和13R、环绕扬声器14、低音扬声器15和图像处理装置21。投影仪13L和13R、环绕扬声器14和低音扬声器15经由有线或无线通信连接到图像处理装置21。

投影仪13L和13R附接至圆顶屏幕11的左侧和右侧，其图像投影部面向圆顶屏幕11。

图2是示出从上方观看的投影仪13L和13R的位置的图。

如图2所示，投影仪13L被安装在能够在圆顶屏幕11的右半区域上投影图像的位置处，并且投影仪13R被安装在能够在圆顶屏幕11的左半区域上投影图像的位置处。在图2中，由虚线指示的范围表示投影仪13L的投影范围，由点划线指示的范围表示投影仪13R的投影范围。

投影仪13L和13R投影分配给各个投影仪13L和13R的投影图像，以在整个投影表面11A上显示内容的图像，从而将内容呈现给用户。基于内容的图像生成每个投影仪的投影图像，使得从用户的视点可以无失真地观看一个图像。

设置在圆顶屏幕11下方的环绕扬声器14和低音扬声器15输出由图像处理装置21再现的内容的声音。

多投影系统1还设置有摄像装置16L和16R(图2)。例如，摄像装置16L和16R被设置在使得拍摄范围包括正在观看和收听内容的用户的位置处。通过捕获正在观看和收听内容的用户的外观的图像而获得的捕获图像经由有线或无线通信从摄像装置16L和16R传输到图像处理装置21。

图像处理装置21再现内容，并且基于形成内容的运动图像的每个帧生成每个投影仪的投影图像。图像处理装置21将投影图像输出到各个投影仪13L和13R，并且使投影仪朝向投影表面11A投影图像。

此外，图像处理装置21将通过再现内容而获得的音频数据输出到环绕扬声器14和低音扬声器15，并且使环绕扬声器14和低音扬声器15输出内容的音频。

图像处理装置21例如是PC。图像处理装置21可以由多个PC而不是单个PC来配置。此外，图像处理装置21可以不设置在如图1所示的圆顶屏幕11附近，而是在与安装有圆顶屏幕11的房间不同的房间中。

另外，尽管在图1的示例中设置了两个投影仪，但是可以设置一个投影仪或者可以设置三个或更多个投影仪。在多投影系统1中可以设置任何数目的投影仪。

图3是示出视点位置的示例的图。

坐在圆顶屏幕11前面的椅子上的用户稍向上看，以观看投影在投影表面11A上的图像，如虚线箭头所示，当投影表面11A是球面时以球中心附近的位置P1作为视点位置。在图3中的虚线箭头前方示出的投影表面11A的最内部分的位置是投影表面11A的中心位置。

通过在以位置P1作为视点位置向上看的同时观看投影图像，用户的视野几乎被投影在投影表面11A上的图像覆盖。由于图像覆盖几乎整个视野，因此给予用户的印象是被图像包围，并且可以感觉到内容的真实感和沉浸感。

例如，提供了诸如电影、电视节目和游戏的运动图像内容。还可以提供静止图像内容，诸如风景的照片。

<关于内容的图像>

图4示出了内容的图像的示例的图。

在图4的A中示出的水平长矩形图像是通过再现电影内容而获得的一帧图像。在再现电影的内容时，例如，向用户呈现水平长度与竖直长度之比为16∶9的每帧的图像。

通过再现内容而获得的图像是平面图像，该平面图像是在图像被显示在平面显示器上或被投影在平面屏幕上的假设下生成的。

顺便提及，在平面图像被直接投影到投影表面11A上的情况下，平面图像以失真的状态而被投影。在图像处理装置21中，基于几何信息来执行平面图像的几何变换，在该几何信息中，通过再现内容而获得的平面图像的每个像素与投影表面11A上的每个位置相关联，并且当位置P1被设置为视点位置时，无失真状态下的图像被投影并被观看。

因此，当位置P1被设置为视点位置时，虚拟地创建了空间，就好像具有预定尺寸的平坦屏幕在前方。

图4的B中示出的图像是仅包括平面图像的投影图像。在平面图像被投影以便在正视图下具有圆形形状的投影表面11A上完全适配的情况下，在平面图像周围形成没有任何显示的黑色区域。

图5是示出投影状态的图。

如图5所示，以下述形式投影平面图像：周边视野沿着坐在椅子上的用户的注视方向而限制在圆顶屏幕11上。例如，通过在用户面前宽广地投影通过再现电影内容而获得的平面图像，用户可以获得真实感和沉浸感，就好像用户正在大屏幕上(例如在电影院中)观看电影。

多投影系统1可以使用尺寸比电影院等中实际安装的屏幕尺寸小的圆顶屏幕11来给予用户这样的真实感和沉浸感。

此外，通过使用包括图像的内容，可以增加能够在具有圆顶屏幕11的多投影系统1中再现的内容的项数，其中该图像是在图像被显示在平面上的假设下生成的。

<平面图像的投影处理>

图6是示出平面图像的投影的示例的图。

通过再现内容而获得的图像是平面图像，所述平面图像是在图像被显示在平面上的假设下而生成的，如上所述。在平面图像按原样投影在弯曲的投影表面11A上的情况下，显示内容出现失真。

在图像处理装置21中，如图6所示，作为虚拟平面屏幕的虚拟屏幕V被设置在圆顶屏幕11后面，并且基于投影表面11A、虚拟屏幕V和视点位置之间的位置关系来执行光线追踪。

通过执行光线追踪，在投影表面11A上设置形成平面图像的像素中的每一个的位置，并且平面图像被投影成使得像素中的每一个被显示在所设置的位置处。这使得可以防止平面图像出现失真。

图7是示出直到投影平面图像的处理流程的示例的图。

如图7的上部所示，圆顶屏幕11的形状和位置被设置在图像处理装置21中。圆顶屏幕11的形状包括圆顶屏幕11的尺寸。例如，关于圆顶屏幕11的形状和位置的信息由多投影系统1的管理者输入，作为多投影系统1的设计信息。

圆顶屏幕11的位置和形状可以通过三维测量来测量，并且通过测量获得的信息可以被设置在图像处理装置21中。例如通过从投影仪13L和13R投影具有预定图案的图像、通过摄像装置16L和16R捕获投影在投影表面11A上的图案、并且分析通过捕获图案而获得的图像，来执行三维测量。

在设置圆顶屏幕11的形状和位置之后，如箭头#1前方的位置所指示的，用户的视点位置和姿势被设置在图像处理装置21中。可以预先固定地确定要由多投影系统1的管理者输入的用户的视点位置和姿势。

例如，当投影表面11A是球的表面时，视点位置被设置为球的中心附近的位置P1。此外，从位置P1朝向投影表面11A的中心的、用户的注视方向被设置为用户的姿势。

可以基于由摄像装置16L和16R捕获的图像来识别用户的面部，可以基于识别的面部的位置来设置视点位置，并且可以基于面部的方向来设置姿势。如稍后将描述的，在内容再现期间重复执行面部识别，并且实时更新视点位置和姿势的设置。

在设置用户的视点位置和姿势之后，由多投影系统1的管理者将虚拟屏幕V的尺寸和位置设置在图像处理装置21中，例如，如箭头#2前方的位置所指示的。

可以基于圆顶屏幕11的尺寸和视点位置来自动确定和设置虚拟屏幕V的尺寸和位置。此外，可以由用户选择平面图像的投影尺寸和位置，并且可以根据用户的选择结果来设置虚拟屏幕V的尺寸和位置。

在设置虚拟屏幕V的尺寸和位置之后，执行光线追踪，如箭头#3前方的位置所指示的，并且在投影表面11A上设置形成平面图像的像素中的每一个的位置。

图8是示出光线追踪的示例的图。

例如，将虚拟屏幕V上虚拟地显示的平面图像的每个像素与作为视点位置的位置P1相连接的直线被设置，并且连接像素中的每一个和位置P1的直线与投影表面11A相交的位置被设置为像素中的每一个的投影位置。

在图8的示例中，将像素p1的投影位置设置为位置P11，该像素p1是在1920×1080像素的平面图像的左上端位置(0,0)处的像素。此外，将位于像素p1的右下位置(x,y)处的像素p2的投影位置设置为位置P12。

对形成平面图像的像素中的每一个执行这样的光线追踪，并且设置像素中的每一个的投影位置。不需要对形成平面图像的所有像素执行光线追踪，并且因此，可以对预定位置处的像素(诸如四个角处的像素)执行光线追踪以设置投影位置。

在执行光线追踪之后，如图7中的箭头#4前方的位置所指示的，投影通过再现内容而获得的平面图像。通过将平面图像的像素中的每一个投影到通过光线追踪而设置的位置来执行平面图像的投影。

因此，在从位置P1观看的情况下，平面图像看起来被投影在虚拟屏幕V上。平面图像中的显示内容看起来没有失真。

稍后将参照流程图描述如上所述提供内容的图像处理装置21的一系列操作。

<图像处理装置的配置>

图9是示出图像处理装置21的硬件配置示例的框图。

CPU(中央处理单元)101、ROM(只读存储器)1002和RAM(随机存取存储器)103通过总线104彼此连接。

输入/输出扩展总线105也连接到总线104。GPU(图形处理单元)106、UI(用户界面)I/F 109、通信I/F 112和记录I/F 113连接到输入/输出扩展总线105。

GPU 106使用VRAM 107来执行要由投影仪13L和13R投影的投影图像的呈现。例如，GPU 106生成要由投影仪13L和投影仪13R中的每一个投影的投影图像。由GPU 106生成的投影图像被提供给显示I/F 108。

显示I/F 108是用于输出投影图像的接口。例如，显示I/F 108被配置为诸如HDMI(注册商标)(高清晰度多媒体接口)的预定标准的接口。显示I/F 108将从GPU 106提供的投影图像输出到用于投影图像的投影仪13L和投影仪13R。

UI I/F 109是用于检测操作的接口。UI I/F 109检测使用键盘110或鼠标111执行的操作，并且将指示操作的内容的信息输出到CPU 101。使用键盘110或鼠标111的操作例如由多投影系统1的管理者或用户执行。

通信I/F 112是用于与外部装置进行通信的接口。通信I/F 112包括诸如无线LAN和有线LAN的网络接口。通信I/F 112经由诸如因特网的网络与外部装置进行通信，并且传输和接收各种数据。可以经由网络从服务器提供在多投影系统1中再现的内容。

通信I/F 112适当地将内容的声音数据传输到环绕扬声器14和低音扬声器15，或者接收由摄像装置16L和16R捕获并从摄像装置16L和16R发送的图像数据。在椅子上设置用于检测用户的运动的传感器等的情况下，通信I/F 112还接收从传感器传输的传感器数据。

记录I/F 113是用于记录介质的接口。诸如HDD 114和可移除介质115的记录介质附接至记录I/F 113。记录I/F 113读出记录在所附接的记录介质中的数据，并且将数据写入记录介质。在HDD 114中，除了内容之外，还记录了诸如由CPU 101执行的程序的各种数据。

图10是示出图像处理装置21的功能配置示例的框图。

如图10所示，在图像处理装置21中，配置了用户状态检测部151、光线追踪部152、内容再现部153、几何变换部154、图像处理部155和投影控制部156。图10中示出的功能部中的至少一些功能部是通过图9中的CPU 101执行预定程序来实现的。

用户状态检测部151检测正在观看和收听内容的用户的状态，例如，用户注视的方向和脸部的朝向。基于由用户状态检测部151检测到的用户的状态，设置参照图7描述的用户的视点位置和用户的姿势。

例如通过分析由摄像装置16L和16R捕获的图像来检测用户的状态。用户状态检测部151将指示用户的状态的信息输出到光线追踪部152。

光线追踪部152如参照图8所述地执行光线追踪，并且设置形成平面图像的像素中的每一个在投影表面11A上的位置。例如，根据多投影系统1的管理者的操作，为光线追踪部152设置关于圆顶屏幕11的形状和位置的信息以及关于虚拟屏幕V的尺寸和位置的信息。光线追踪部152用作通过执行光线追踪来计算形成平面图像的像素在投影表面11A上的位置的计算部。

光线追踪部152使用由多投影系统1的管理者设置的多条信息以及与从用户状态检测部151提供的信息所表示的用户的视点位置和姿势有关的信息来执行光线追踪。光线追踪部152将以下信息输出到几何变换部154：该信息指示通过执行光线追踪而设置的、形成平面图像的像素中的每一个在投影表面11A上的位置。

内容再现部153再现诸如电影的内容，并且将通过再现获得的平面图像输出到几何变换部154。内容再现部153被提供有从服务器发送并由通信I/F 112接收的内容，或者由记录I/F 113从HDD 114读取的内容。

几何变换部154基于从光线追踪部152提供的信息，对从内容再现部153提供的平面图像执行几何变换。几何变换之后的平面图像成为以下图像：在该图像中，每个像素被显示在通过光线追踪而设置的位置处。几何变换部154将几何变换之后的平面图像输出到图像处理部155。

图像处理部155对从几何变换部154提供的平面图像执行各种图像处理，诸如超分辨率处理和颜色转换。图像处理部155还适当地执行滤波处理，同时考虑到投影表面11A是弯曲的表面。通过执行滤波处理，使用与投影表面11A上的位置对应的参数来转换平面图像的每个像素的像素值。

图11是示出滤波处理的示例的图。

如图11所示，在假设平面图像被投影在整个虚拟屏幕V上的情况下，平面图像的每个区域根据区域的位置而被以不同的放大/缩小比率投影在投影表面11A上。

在图11的示例中，平面图像的左端附近的区域v1被以预定的放大/缩小比率投影到投影表面11A的边缘附近的区域A1上。此外，平面图像的中心附近的区域v2被以与区域v1的放大/缩小比率不同的放大/缩小比率投影到投影表面11A的中心附近的区域A2上。

由图像处理部155执行的滤波处理是通过使用取决于投影表面11A上的位置的不同参数来执行的，使得即使当以不同的放大/缩小比率执行投影时，每个区域的外观也不会引起不适感。

返回到图10的描述，图像处理部155基于包括滤波处理的图像处理之后的平面图像，生成用于投影仪13L的投影图像以及用于投影仪13R的投影图像，并且将投影图像输出到投影控制部156。

通过控制显示I/F 108，投影控制部156将用于投影仪13L的投影图像输出到投影仪13L，并且将用于投影仪13R的投影图像输出到投影仪13R。投影控制部156用作为对通过再现内容而获得的平面图像的显示进行控制的显示控制部。

<图像处理装置的操作>

这里，将参照图12的流程图描述具有以上配置的图像处理装置21的内容再现处理。

在步骤S1中，用户状态检测部151例如通过分析由摄像装置16L和16R捕获的图像来检测用户的状态，并且基于用户的状态来测量用户的视点位置。

在步骤S2中，光线追踪部152根据多投影系统1的管理者的操作，在投影表面11A后面的预定位置处设置具有预定尺寸的虚拟屏幕V。

在步骤S3中，光线追踪部152对虚拟地显示在虚拟屏幕V上的平面图像的每个像素执行光线追踪，并且设置平面图像的每个像素在投影表面11A上的位置。以下信息被提供给几何变换部154：该信息表示作为光线追踪的结果的、平面图像的每个像素在投影表面11A上的位置。

在步骤S4中，内容再现部153再现诸如电影的内容。通过再现内容而获得的平面图像被提供给几何变换部154。

在步骤S5中，几何变换部154基于从光线追踪部152提供的光线追踪的结果，对从内容再现部153提供的平面图像执行几何变换。

在步骤S6中，图像处理部155对于从几何变换部154提供的平面图像执行包括超分辨率处理、颜色转换和上述滤波处理的图像处理，并且在考虑投影表面11A是弯曲表面的情况下执行该图像处理。图像处理部155基于经受了包括滤波处理的图像处理的平面图像，生成用于投影仪13L的投影图像以及用于投影仪13R的投影图像，并且将投影图像输出到投影控制部156。

在步骤S7中，投影控制部156使投影仪13L和投影仪13R投影该投影图像。

在步骤S8中，用户状态检测部151检测用户的状态并且再次测量用户的视点位置。

在步骤S9中，内容再现部153确定内容的再现是否已经结束。在步骤S9中确定内容的再现尚未结束的情况下，重复步骤S3和后续步骤中的处理。在步骤S3和后续步骤的处理中，基于根据用户当前状态的视点位置再次执行光线追踪，并且在实时更新每个像素的位置之后投影平面图像。

另一方面，在步骤S9中选择了终止内容的再现的情况下，图12的处理结束。

通过以上处理，即使在再现包括以下图像的内容的情况下，图像处理装置21也有效地利用圆顶屏幕11上的投影表面11A，并且可以表达更容易获得真实感和沉浸感的图像：上述图像是在假设该图像被显示在平面上的情况下而生成的。

在设置有平坦屏幕的投影系统中，在应当以覆盖用户的视野并且易于获得真实感和沉浸感的形式提供内容的情况下，需要大屏幕。由于在多投影系统1中使用了圆顶形屏幕，因此即使在以易于获得真实感和沉浸感的方式提供内容的情况下，也可以减小所需的空间。

此外，通过使用包括以下图像的内容，在具有圆顶屏幕11的多投影系统1中能够再现的内容的项数可以增加：上述图像是在假设该图像被显示在平面上的情况下而生成的。

<修改示例>

·虚拟屏幕选择的示例

可以使用户能够从多个虚拟屏幕中选择预定的虚拟屏幕，该多个虚拟屏幕在距用户视点位置的距离、尺寸或位置中的至少一个方面不同。

图13的A示出了设置在与视点位置分开预定距离的位置处的大尺寸虚拟屏幕V。此外，图13的B示出了设置在比图13的A中的虚拟屏幕V更远的位置处的小尺寸虚拟屏幕V。

如上所述，可以在图像处理装置21中准备与具有不同距离、尺寸等的虚拟屏幕V的设置有关的信息，以用于供用户选择。基于选择的虚拟屏幕V的距离、尺寸等来执行光线追踪，使得用户可以以期望的深度感和尺寸来观看内容。

尽管已经假设将小的圆顶形屏幕用作显示设备，但是也可以采用自发光显示设备，例如，通过粘贴其上布置有LED元件的多个面板而配置的弯曲显示器，或者其显示表面弯曲的有机EL显示器。

尽管已经假设圆顶屏幕11的投影表面11A具有基本上的半球形圆顶形状，但是也可以采用具有各种曲率和视角的弯曲表面作为投影表面11A的形状。

·虚拟屏幕形状的示例

尽管已经假设虚拟屏幕的形状是平坦的，但是也可以使用其他形状。

图14是示出虚拟屏幕的形状的另一示例的图。

在图14的示例中，具有圆柱形状(圆柱的圆周侧表面形状)的屏幕被设置为虚拟屏幕V。

以这样的方式，即使在虚拟屏幕V的形状具有除了平面之外的形状的情况下，也类似地执行光线追踪，并且计算平面图像的每个像素在投影表面11A上的位置。如图15所示，基于计算的位置，执行平面图像的投影。这也使得投影能够提供真实感和沉浸感。

由于要投影的图像是平面图像，并且基于图像被投影在不是平面的虚拟屏幕V上的状态来执行光线追踪，因此与虚拟屏幕的形状是平坦的情况相比，投影在投影表面11A上的图像包括轻微失真。

以这样的方式，虚拟屏幕可以具有除了平面之外的形状。可以使用具有平坦表面与弯曲表面的组合的虚拟屏幕。

·要投影的平面图像的示例

也可以使用3D图像，作为要投影的平面图像，该3D图像是能够以3D(立体显示)显示的图像。

图16是示出3D图像的处理的示例的图。

在投影3D图像的情况下，由图像处理装置21生成的3D图像被输入到投影仪13L和13R，如箭头#11前方的位置所指示的。3D图像包括对其设置了视差的用于左眼的图像以及用于右眼的图像。

在投影仪13L和13R中的每一个中，如箭头#12前方的位置所指示的，交替地投影用于左眼的图像以及用于右眼的图像。用户通过佩戴与3D图像的观看相对应的眼镜来观看内容。

如图17所示，由投影仪13L和13R投影的左眼图像到达用户的左眼，由投影仪13L和13R投影的右眼图像到达用户的右眼。这使得用户能够立体地观看平面图像。在图17中，投影在投影表面11A上的图像是模糊的，这意味着在左眼图像和右眼图像中设置了与视差对应的像素位置差。

图18是示出直到投影3D图像的处理流程的示例的图。

图18中示出的处理流程基本上类似于参照图7描述的处理流程。即，通过设置与用于左眼和右眼的视点中的每一个视点有关的视点位置和姿势，来执行在箭头#1前方的位置处指示的视点位置和姿势的设置。

此外，在设置了虚拟屏幕V的尺寸和位置之后，执行在箭头#3前方的位置处示出的光线追踪，使得针对用于左眼和右眼的每个视点在投影表面11A上设置形成平面图像的像素中的每一个的位置。

具体地，基于在虚拟屏幕V上虚拟地显示左眼图像时的每一个像素的位置以及左眼的位置，来在投影表面11A上设置形成左眼图像的每一个像素的位置。此外，基于在虚拟屏幕V上虚拟地显示右眼图像时的每一个像素的位置以及右眼的位置，来在投影表面11A上设置形成右眼图像的每一个像素的位置。

在设置了形成左眼图像的各个像素的位置以及形成右眼图像的各个像素的位置之后执行投影。

以这样的方式，也可以将3D图像用作要投影的平面图像。

·其他示例

可以通过检测观看者的视线等来执行头部跟踪，并且可以根据视线来控制投影范围。

图像处理装置21的功能部中的一些功能部可以由预定PC来实现，并且其他功能部可以由其他PC来实现，使得图像处理装置21的功能部可以由多个PC来实现。

图像处理装置21的功能部可以由因特网上的服务器来实现，并且可以基于从服务器传输的数据来投影图像。

除了硬件之外还可以由软件执行上述一系列处理。在一系列处理由软件执行的情况下，形成软件的程序被从程序记录介质安装到图像处理装置21中所包括的图11的计算机等中。

由CPU 101执行的程序被记录在例如可移除介质115中，或者经由诸如局域网、因特网或数字广播的有线或无线传输介质来提供，并且被安装在HDD 114中。

由计算机执行的程序可以是以本说明书中描述的顺序按时间顺序执行处理的程序，或者可以是并行执行处理或在必要时间(诸如做出要求时)执行处理的程序。

在本说明书中，系统意指一组多个构成元件(装置、模块(部件)等)，并且所有构成元件是否均在同一壳体中并不重要。因此，容纳在分开的壳体中并且经由网络连接的多个装置以及将多个模块包含在一个壳体中的一个装置均用作为系统。

本说明书中描述的效果仅是示例，而不限于此。此外，本说明书中描述的效果可以具有其他效果。

本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的主旨的情况下作出各种修改。

例如，本技术可以具有云计算的配置，其中多个装置经由网络共享一个功能，并且共同处理该功能。

另外，以上提及的流程图中描述的每个步骤可以由一个装置执行或由多个装置共享。

此外，在一个步骤包括多个处理的情况下，一个步骤中包括的多个处理可以由一个装置执行或由多个装置共享。

本技术还可以具有如下配置。

(1)

一种图像处理装置，包括：

计算部，其基于设置在弯曲的显示表面前面的视点位置与设置在所述显示表面后面的虚拟表面之间的位置关系，计算像素中的每一个在所述显示表面上的位置，所述像素形成平面图像，所述平面图像是假设图像被显示在平面上而生成的；以及

显示控制部，其被配置成在所述显示表面上显示所述平面图像，使得所述像素中的每一个被显示在所计算的位置处。

(2)

根据上述项目1所述的图像处理装置，其中，所述显示控制部使投影仪将所述平面图像投影在屏幕上，以显示所述平面图像，其中所述屏幕以弯曲的投影表面作为所述显示表面。

(3)

根据上述项目2所述的图像处理装置，其中，所述屏幕包括圆顶形屏幕。

(4)

根据上述项目1所述的图像处理装置，其中，所述显示控制部使弯曲的显示器显示所述平面图像。

(5)

根据上述项目1至项目4中任一项所述的图像处理装置，其中，所述计算部在所述平面图像被显示在所述虚拟表面上的情况下，通过执行对所述平面图像的所述像素中的每一个的光线追踪，来计算形成所述平面图像的所述像素中的每一个在所述显示表面上的位置。

(6)

根据上述项目1至项目5中任一项所述的图像处理装置，还包括：

变换部，其基于形成所述平面图像的所述像素中的每一个在所述显示表面上的位置来执行所述平面图像的几何变换，其中，

所述显示控制部显示所述几何变换之后的平面图像。

(7)

根据上述项目1至项目6中任一项所述的图像处理装置，还包括：

再现部，其被配置成再现内容，其中，

所述显示控制部显示通过再现所述内容而获得的平面图像。

(8)

根据上述项目7所述的图像处理装置，还包括：

检测部，其被配置成检测在所述显示表面前面的用户的状态，其中，

在所述内容的再现期间，所述计算部根据取决于所述用户的状态的所述视点位置，重复计算形成所述平面图像的所述像素中的每一个在所述显示表面上的位置。

(9)

根据上述项目1至项目8中任一项所述的图像处理装置，还包括：

图像处理部，其通过使用依据所述显示表面上的位置的参数，对形成所述平面图像的所述像素中的每一个执行滤波处理，其中，

所述显示控制部显示对所述像素中的每一个执行所述滤波处理的平面图像。

(10)

根据上述项目1至项目9中任一项所述的图像处理装置，其中，所述计算部设置从多个虚拟表面中选择的虚拟表面，其在距所述视点位置的距离、尺寸或位置中的至少一个方面是不同的，并且所述计算部计算形成所述平面图像的所述像素中的每一个在所述显示表面上的位置。

(11)

一种由图像处理装置执行的处理图像的方法，所述方法包括：

基于设置在弯曲的显示表面前面的视点位置与设置在所述显示表面后面的虚拟表面之间的位置关系，计算像素中的每一个在所述显示表面上的位置，所述像素形成平面图像，所述平面图像是假设图像被显示在平面上而生成的；以及

在所述显示表面上显示所述平面图像，使得所述像素中的每一个被显示在所计算的位置处。

(12)

一种程序，其使计算机执行以下步骤：

基于设置在弯曲的显示表面前面的视点位置与设置在所述显示表面后面的虚拟表面之间的位置关系，计算像素中的每一个在所述显示表面上的位置，所述像素形成平面图像，所述平面图像是假设图像被显示在平面上而生成的；以及

在所述显示表面上显示所述平面图像，使得所述像素中的每一个被显示在所计算的位置处。

(13)

一种投影系统，包括：

屏幕，其具有弯曲的投影表面；

投影仪，其被配置成在所述屏幕上投影图像；以及

图像处理装置，其包括：

计算部，其被配置成基于设置在所述屏幕前面的视点位置与设置在所述屏幕后面的虚拟表面之间的位置关系，计算像素中的每一个在所述屏幕的所述投影表面上的位置，所述像素形成平面图像，所述平面图像是假设图像被显示在平面上而生成的；以及

显示控制部，其使所述投影仪将所述平面图像投影到所述投影表面上，使得所述像素中的每一个被显示在所计算的位置处。

附图标记列表

1多投影系统，11圆顶屏幕，11a投影表面，13L、13R投影仪，14环绕扬声器，15低音扬声器，16L、16R摄像装置，21图像处理装置，151用户状态检测部，152光线追踪部，153内容再现部，154几何变换部，155图像处理部，156投影控制部

Claims (13)

1.一种图像处理装置，包括：

计算部，其基于设置在弯曲的显示表面前面的视点位置与设置在所述显示表面后面的虚拟表面之间的位置关系，计算像素中的每一个在所述显示表面上的位置，所述像素形成平面图像，所述平面图像是假设所述平面图像被显示在平面上而生成的；以及

显示控制部，其被配置成在所述显示表面上显示所述平面图像，使得所述像素中的每一个被显示在所计算的位置处。

2.根据权利要求1所述的图像处理装置，其中，所述显示控制部使投影仪将所述平面图像投影在屏幕上，所述屏幕以弯曲的投影表面作为所述显示表面。

3.根据权利要求2所述的图像处理装置，其中，所述屏幕包括圆顶形屏幕。

4.根据权利要求1所述的图像处理装置，其中，所述显示控制部使弯曲的显示器显示所述平面图像。

5.根据权利要求1所述的图像处理装置，其中，所述计算部在所述平面图像被显示在所述虚拟表面上的情况下，通过执行对所述平面图像的所述像素中的每一个的光线追踪，来计算形成所述平面图像的所述像素中的每一个在所述显示表面上的位置。

6.根据权利要求1所述的图像处理装置，还包括：

变换部，其基于形成所述平面图像的所述像素中的每一个在所述显示表面上的位置来执行所述平面图像的几何变换，其中，

所述显示控制部显示所述几何变换之后的平面图像。

7.根据权利要求1所述的图像处理装置，还包括：

再现部，其被配置成再现内容，其中，

所述显示控制部显示通过再现所述内容而获得的所述平面图像。

8.根据权利要求7所述的图像处理装置，还包括：

检测部，其被配置成检测在所述显示表面前面的用户的状态，其中，

在所述内容的再现期间，所述计算部根据取决于所述用户的状态的所述视点位置，重复计算形成所述平面图像的所述像素中的每一个在所述显示表面上的位置。

9.根据权利要求1所述的图像处理装置，还包括：

图像处理部，其通过使用依据所述显示表面上的位置的参数，对形成所述平面图像的所述像素中的每一个执行滤波处理，其中，

所述显示控制部显示对所述像素中的每一个执行所述滤波处理的平面图像。

10.根据权利要求1所述的图像处理装置，其中，所述计算部设置从多个虚拟表面中选择的虚拟表面，其在距所述视点位置的距离、尺寸或位置中的至少一个方面是不同的，并且所述计算部计算形成所述平面图像的所述像素中的每一个在所述显示表面上的位置。

11.一种由图像处理装置执行的处理图像的方法，所述方法包括：

基于设置在弯曲的显示表面前面的视点位置与设置在所述显示表面后面的虚拟表面之间的位置关系，计算像素中的每一个在所述显示表面上的位置，所述像素形成平面图像，所述平面图像是假设所述平面图像被显示在平面上而生成的；以及

在所述显示表面上显示所述平面图像，使得所述像素中的每一个被显示在所计算的位置处。

12.一种程序，其使计算机执行以下步骤：

基于设置在弯曲的显示表面前面的视点位置与设置在所述显示表面后面的虚拟表面之间的位置关系，计算像素中的每一个在所述显示表面上的位置，所述像素形成平面图像，所述平面图像是假设所述平面图像被显示在平面上而生成的；以及

在所述显示表面上显示所述平面图像，使得所述像素中的每一个被显示在所计算的位置处。

13.一种投影系统，包括：

屏幕，其具有弯曲的投影表面；

投影仪，其被配置成在所述屏幕上投影图像；以及

图像处理装置，其包括：

计算部，其被配置成基于设置在所述屏幕前面的视点位置与设置在所述屏幕后面的虚拟表面之间的位置关系，计算像素中的每一个在所述屏幕的所述投影表面上的位置，所述像素形成平面图像，所述平面图像是假设所述平面图像被显示在平面上而生成的；以及

显示控制部，其使所述投影仪将所述平面图像投影到所述投影表面上，使得所述像素中的每一个被显示在所计算的位置处。

Images