CN107430841A - 信息处理设备、信息处理方法、程序以及图像显示系统 - Google Patents

Abstract

本发明的目标是提供一种信息处理设备，其能够提供允许用户根据图像的内容体验高存在感或沉浸感的图像。该信息处理设备(100)具有：图像分析单元(115)，被配置为分析由投影设备(10)投影的输入图像的内容；以及投影位置确定单元(116)，被配置为基于通过分析输入图像获得的分析结果来确定投影空间中由投影设备在其上投影输入图像的投影区域。

Description

信息处理设备、信息处理方法、程序以及图像显示系统

技术领域

本公开涉及信息处理设备、信息处理方法、程序以及图像显示系统。

背景技术

随着近来显示器的尺寸和分辨率的增加，即使在普通家庭中，在大屏幕上欣赏高分辨率图像的机会也有增加。对于显示器的类型，不仅液晶等平板类型广泛普及，而且投影仪等投影类型也广泛普及。现有技术中的投影仪具有低分辨率、亮度和对比度，因此不足以用于家庭使用。然而，近年来，已经出现了能够将大屏幕投影到墙壁表面上的包括4K或短焦距类型的高分辨率类型，因此满足用户的潜在需求已经变得可能。

在这种情况下，已经开始开发系统，以允许用户在通过在平板显示器上显示游戏画面并且由投影仪将外围图像投影到墙壁表面、天花板、地板等上而增加存在感或沉浸感的环境中欣赏图像等。在一个示例中，专利文献1公开了一种沉浸式显示系统，其中用户可以享受包括彼此叠加并投影到房间的墙壁表面上的图像的游戏。在这样的系统中，游戏图像被显示在沿着用户前面的墙壁布置的平板显示器上，游戏图像外部的图像被投影到显示器周围的墙壁上，同时被延伸。因此，用户可以享受玩游戏，同时感觉整个房间都是游戏空间，因此用户可以体验到较高的存在感或沉浸感。

此外，专利文献2公开了一种图像形成装置，其能够将图像投影到观察者脸部指向的方向上的墙壁部分上。该图像形成装置在观察者信息检测装置检测到的面部指向的方向上的墙壁部分上设置投影区域，并将图像投影到该投影区域上。此外，专利文献3公开了能够自动调整投影图像的位置和尺寸的投影仪。该投影仪基于来自移位控制单元的距离信息和投影镜头以及可移动距离传感器的变焦控制来调整投影图像的位置和尺寸。

引用列表

专利文献

专利文献1：US2012-0223885A

专利文献2：JP 2009-180967A

专利文献3：JP 2008-033136A

发明内容

技术问题

专利文献1中公开的技术无法根据图像的内容来调整投影位置和范围，因此用户可以体验的存在感或沉浸感可能受到限制。此外，专利文献2中公开的技术可以动态地改变投影位置和范围，但是图像只能在用户的视线指向的方向上投影，并且因此无法依赖图像的内容执行投影位置和范围的变化。专利文献3中公开的技术也可以调整投影位置或大小，但是这种调整是基于距离信息执行的，并且因此无法依赖图像的内容执行调整。

鉴于此，本公开提供了一种新颖和改进的信息处理设备、信息处理方法，程序和图像显示系统，其能够提供允许用户根据图像的内容体验高存在感或沉浸感的图像。

问题的解决方案

根据本公开，提供了一种信息处理设备，包括：图像分析单元，被配置为分析由投影设备投影的输入图像的内容；以及投影位置确定单元，被配置为基于通过分析输入图像获得的分析结果，来确定投影空间中由投影设备在其上投影输入图像的投影区域。

此外，根据本公开，提供了一种信息处理方法，该方法包括：分析由投影设备投影的输入图像的内容；以及基于通过分析输入图像获得的分析结果，来确定投影空间中由投影设备在其上投影输入图像的投影区域。

此外，根据本公开，提供了一种用于使得计算机用作信息处理设备的程序，该信息处理设备包括：图像分析单元，被配置为分析由投影设备投影的输入图像的内容；以及投影位置确定单元，被配置为基于通过分析输入图像获得的分析结果，来确定投影空间中由投影设备在其上投影输入图像的投影区域。

此外，根据本公开，提供了一种图像显示系统，包括：投影设备，被配置为投影图像；图像分析单元，被配置为分析由投影设备投影的输入图像的内容；以及投影位置确定单元，被配置为基于通过分析输入图像获得的分析结果，来确定投影空间中由投影设备在其上投影输入图像的投影区域。

本发明的有益效果

根据如上所述的本公开，提供允许用户根据图像的内容体验高存在感或沉浸感的图像这是可能的。注意，上述效果不一定是限制性的。具有上述效果或代替上述效果，可以实现本说明书中描述的任何一种效果或可从本说明书中掌握的其它效果。

附图说明

[图1]图1是示出来描述根据本公开的第一实施例的由图像显示系统在其上投影图像的投影空间的结构和投影设备的布置的图。

[图2]图2是示出来描述从投影设备侧观察的图1的投影空间的视图的图。

[图3]图3是示出来描述投影在投影空间中的图像的投影图案的图。

[图4]图4是示出根据本实施例的信息处理设备的功能配置的功能框图。

[图5]图5是示出由根据本实施例的信息处理设备进行的分析处理的流程图。

[图6]图6是示出由根据本实施例的信息处理设备控制投影设备的位置的位置控制处理的流程图。

[图7]图7是示出由根据本实施例的信息处理设备进行的图像生成处理的流程图。

[图8]图8是示出来描述根据本公开的第二实施例的由图像显示系统在其上投影图像的投影空间的结构以及投影设备和主显示设备的布置的图。

[图9]图9是示出来描述投影空间的视图的图，在该投影空间中图8的主显示设备被布置为从投影设备的侧面观看。

[图10]图10是示出根据本实施例的信息处理设备的功能配置的功能框图。

[图11]图11是示出由根据本实施例的信息处理设备进行的图像生成处理的流程图。

[图12]图12是示出来描述根据本公开的第三实施例的由图像显示系统在其上投影图像的投影空间的结构和投影设备的布置的图。

[图13]图13是示出根据本实施例的信息处理设备的功能配置的功能框图。

[图14]图14是示出由根据本实施例的信息处理设备进行的分析处理的流程图。

[图15]图15是示出来描述根据本公开的第四实施例的由图像显示系统在其上投影图像的投影空间的结构以及投影设备和主显示设备的布置的图。

[图16]图16是示出根据本实施例的信息处理设备的功能配置的功能框图。

[图17]图17是示出根据本实施例的图像显示系统的情感视频处理单元的功能配置的功能框图。

[图18]图18是示出选择情感视频的原始图像的处理的流程图。

[图19]图19是示出来描述从输入图像中提取局部特征点的状态的示例的图。

[图20]图20是示出来描述特征点的运动矢量相互匹配的状态的示例的图。

[图21]图21是示出来描述从近似图像存储单元选择输入图像的近似图像的处理的图。

[图22]图22是示出由情感视频处理单元进行的情感视频生成处理的流程图。

[图23]图23是示出来描述基于内容同步信息来确定情感视频的运动方向的示例的图。

[图24]图24是示出来描述基于内容同步信息来确定情感视频的运动方向的另一示例的图。

[图25]图25是示出来描述基于内容的色调来确定情感视频的色彩的示例的图。

[图26]图26是示出来描述日落场景中的亮度直方图的示例的图。

[图27]图27是示出来描述白天场景中的亮度直方图的示例的图。

[图28]图28是示出来描述每个RGB的亮度直方图的示例的图。

[图29]图29是示出根据本公开的实施例的信息处理设备的硬件配置的硬件配置图。

具体实施方式

在下文中，将参照附图详细描述本公开的(一个或多个)优选实施例。在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复说明。

此外，将按以下顺序给出描述。

1.第一实施例(投影设备)

1.1.空间配置

1.2.信息处理设备的功能配置

1.3.图像显示处理

2.第二实施例(投影设备和主显示设备的结合)

2.1.空间配置

2.2.信息处理设备的功能配置

2.3.图像显示处理

3.第三实施例(投影设备和用户位置检测)

3.1.空间配置

3.2.信息处理设备的功能配置

3.3.图像显示处理

4.第四实施例(投影设备和主显示设备的结合以及用户位置检测)

5.情感视频生成

5.1.功能配置

5.2.情感视频生成处理

6.总结

7.硬件配置

<1.第一实施例>

现在参照图1至图7描述根据本公开的第一实施例的图像显示系统的示意性配置。根据本实施例的图像显示系统分析要由诸如投影仪之类的投影设备投影到空间上的图像的内容，并且根据图像的内容确定投影空间中图像的投影区域。在本实施例中，将描述在投影设备将图像投影并显示在空间上的情况下这种图像显示系统的配置和功能。

[1.1.空间配置]

现在参照图1至图3来描述应用根据本实施例的图像显示系统的空间的配置。此外，图1是示出来描述根据本实施例的由图像显示系统在其上投影图像的投影空间V的结构和投影设备10的布置的图。图2是示出来描述从投影设备10侧观察的图1的投影空间V的视图的图。图3是示出来描述投影到投影空间V上的图像的投影图案的图。

在根据本实施例的显示系统中，投影设备10将图像投影并显示在投影空间上。图1和图2所示，投影空间V由垂直于投影设备10的投影方向的前面S(以下称为“S平面”)、地板F(以下称为“F平面”)、天花板C(以下称为“C面”)、以及侧面L和R(以下分别称为“L平面”和“R平面”)构成。此外，投影设备10安装在投影空间V的天花板C上。此外，投影设备10可以安装在距离地板F预定高度的位置。

投影设备10能够在S平面、F平面、C平面、L平面和R平面上显示图像，如图1和图2所示。投影设备10如何将图像投影到每个平面上是由投影设备10的位置和设置决定的。在根据本实施例的图像显示系统中，信息处理设备基于图像的内容确定将图像投影在其上的平面，并执行图像处理，从而使得适当地显示投影到每个平面上的图像。图像的投影区域图案的示例包括仅在前面(S平面)上的显示(图案1)、前面(S平面)和天花板(C平面)上的显示(图案2)、前面(S平面)和地板(F平面)上的显示(图案3)、前面(S平面)、以及前面(S平面)、天花板(C平面)和地板(F平面)上的显示(图案4)等等，如图3所示。此外，可以设置包括前面(S平面)和侧面(L平面和R平面)上的显示、整个平面(S平面、C平面、F平面、L平面和R平面)上的显示等的投影区域图案。

在一个示例中，在图像的内容之一是旅行场景的情况下，通过投影该内容以使得观看者可以从一侧到另一侧广泛地观看它，这容易向观看者提供存在感或沉浸感。在这种情况下，信息处理设备将图像投影到前面(S平面)和侧面(L平面和R平面)上。此外，在图像的内容之一是胜地场景的情况下，观看者在向下看时感觉到兴奋。因此，图像被投影到前面(S平面)、地板(F平面)和侧面(L平面和R平面)上。此外，在图像的内容之一是夜空场景的情况下，通过投影该内容以使得观看者可以向上广泛地观看它，这容易向观看者提供存在感或沉浸感。在这种情况下，信息处理设备将图像投影到前面(S平面)、天花板(C平面)、以及侧面(L平面和R平面)上。

以这种方式，在根据本实施例的图像显示系统中，依赖于由投影设备10投影的图像的内容的投影位置或投影范围(投影区域)的变化使得对于观看图像的观看者来说体验到高存在感或沉浸感这是可能的。下面将详细描述根据本实施例的图像显示系统中的信息处理设备及其功能。

[1.2.信息处理设备的功能配置]

现在参照图4描述根据本实施例的信息处理设备100的功能配置。另外，图4是示出根据本实施例的信息处理设备100的功能配置的功能框图。

构成图像显示系统的信息处理设备100是执行图像处理以用于使得投影设备10将图像投影并显示在空间上的设备。信息处理设备100在一个示例中可以实现为诸如计算机、可通信地连接到投影设备10的服务器或用于获取空间信息的传感器等的处理设备。根据本实施例的信息处理设备100被配置为包括分析处理单元110、位置控制单元120和图像生成单元130，如图4所示。(1)分析处理单元

分析处理单元110分析要由投影设备10投影的图像的内容，并分析投影空间的结构以投影图像。分析处理单元110被配置为包括广播信号接收单元111、图像捕获单元112、存储单元113、图像输入单元114、图像分析单元115、投影位置确定单元116、空间结构分析单元117和空间结构保持单元118。

广播信号接收单元111、图像捕获单元112和存储单元113是提供要由投影设备10投影的图像的功能单元。广播信号接收单元111从外部设备、经由网络连接的服务器等接收广播信号。此外，图像捕获单元112捕获图像并生成图像信号。在一个示例中，存储单元113是存储图像信号的存储设备。在一个示例中，广播信号接收单元111、图像捕获单元112和存储单元113将由用户或外部设备接收的广播信号、捕获的图像信号和存储的图像信号分别输出到图像输出单元114以用于通过投影设备10投影它们。此外，在根据本实施例的信息处理设备100中，分析处理单元110包括广播信号接收单元111、图像捕获单元112和存储单元113，但是本公开不限于该示例，并且分析处理单元110可以被配置为包括它们中的至少一个。

图像输入单元114将从广播信号接收单元111、图像捕获单元112和存储单元113接收的广播信号或图像信号作为输入图像输出到图像分析单元115和图像生成单元130。此外，输入到图像输入单元114并由投影设备10投影的广播信号或图像信号在下文中也被称为“主图像信号”。

图像分析单元115分析从图像输入单元114输入的主图像信号的内容的类别。在本实施例中，基于由图像分析单元115分析的图像的内容来确定投影空间中在其上投影图像的投影区域。在一个示例中，图像分析单元115分析诸如景观、夜空和胜地之类的场景作为图像的内容。图像分析单元115将通过分析获得的结果输出到投影位置确定单元116。

投影位置确定单元116决定如何适当地将图像投影到S平面、F平面、C平面、L平面和R平面中的每一个上，并且基于由图像分析单元115获得的图像内容的类别来确定图像。在一个示例中，在图像内容是景观的情况下，将图像投影到S平面、L平面和R平面中的每一个上，以便可以观看全景。此外，在图像内容是夜空的情况下，将图像投影到S平面、L平面、R平面和C平面中的每一个上，使得甚至可以观看投射到C平面上的天空。在图像内容是胜地的情况下，将图像投影到S平面、L平面、R平面和F平面中的每一个上，使得甚至可以观看下面投影的图像。

如上所述，图像内容的类别和投影空间中图像的投影区域(即在其上投影图像的平面)之间的关系被预先设置，并被存储在信息处理设备100中。投影位置确定单元116当从图像内容的类别中确定投影空间中图像的投影区域时，将所确定的图像的投影区域输出到位置控制单元120。此外，在输入图像具有诸如由用户捕获的图像之类的元数据的情况下，从元数据中确定图像内容的类别这也是可能的。

空间结构分析单元117获取S平面、F平面、C平面、L平面和R平面中的每一个的位置与投影设备的位置之间的位置关系，并且分析要投影的空间的结构。在空间结构分析单元117中，这在一个示例中可以基于由安装在投影空间中的深度传感器或测距仪获得的检测结果自动地执行，或者可以通过用户的手动规范来执行。由空间结构分析单元117获得的分析结果被记录在空间结构保持单元118中。

(2)位置控制单元

接下来，位置控制单元120控制投影设备10的位置和设置。位置控制单元120被配置为包括投影位置控制单元121、用户设置单元122、设置信息保持单元123、受控变量确定单元124和设置变化单元125。

投影位置控制单元121控制投影设备10的位置和设置，使得图像被投影到由投影位置确定单元116确定的投影区域上。投影位置控制单元121向受控变量确定单元124报告从投影位置确定单元116输入的投影区域图案，以使得受控变量确定单元124计算用于实际驱动投影设备10的受控变量。

用户设置单元122接收由用户设置的投影设备10的设置信息的输入。在一个示例中，用户可以使用诸如远程控制器之类的操作设备来改变投影设备10的设置信息。由用户设置的设置信息(以下也称为“用户设置信息”)被输出到受控变量确定单元124。

设置信息保持单元123是保存与投影设备的姿态(XY)、镜头设置(变焦和移位)等相关的设置信息的存储单元。当投影设备10的设置改变时，设置信息保持单元123被稍后描述的受控变量确定单元124参照，并且其中的信息被读出。

受控变量确定单元124基于从空间结构保持单元118、投影位置控制单元121和设置信息保持单元123获取的信息来确定投影设备10的投影位置的设置受控变量。在一个示例中，受控变量确定单元124在从投影位置控制单元121接收到将图像投影到S平面、L平面和R平面中的每一个上的指令时，基于存储在空间结构保持单元118中的空间结构的分析结果获取投影空间中的S平面、L平面和R平面的特定信息位置。然后，受控变量确定单元124从设置信息保持单元123获取用于作为图像的指定投影状态的投影设备10的设置信息，并且从投影设备10的当前设置信息中计算变化。受控变量确定单元124基于该变化确定设置受控变量。

此外，受控变量确定单元124在从用户设置单元122接收到用户设置信息时，基于用户设置信息来适当地校正与投影设备10的姿态、镜头设置等相关的设置信息。受控变量确定单元124将最终获得的设置输出到设置变化单元125。

设置变化单元125基于从受控变量确定单元124输入的设置受控变量来改变投影设备10的姿态、镜头设置等。被设置的设置受控变量被保存在设置信息保持单元123中。当投影设备10的各种机制的设置中的变化完成时，设置变化单元125将投影设备10的设置受控变量输出到图像生成单元130。

(3)图像生成单元

图像生成单元130从主图像信号生成要由投影设备10实际投影的投影图像。图像生成单元130被配置为包括关联处理单元131、非前面图像生成单元132和输出图像生成单元133。

关联处理单元131基于通过图像输入单元114输入的输入图像和来自设置变化单元125的设置受控变量，来从输入图像中指定要投影到S平面、F平面、C平面、L平面和R平面中的每一个上的图像区域。换句话说，投影空间的每个平面与在这些平面上显示的输入图像的图像区域相关联。这里，在输入图像中，图像区域中要投影到S平面上的部分被设置为前面图像，并且图像区域中要投影到除S平面之外的平面上的部分被设置为非前面图像。换句话说，关联处理单元131验证输入图像的哪个图像区域是与前面图像还是与非前面图像相关联。

关联处理单元131从输入图像中提取与指定的非前面图像对应的图像区域，并将其输出到非前面图像生成单元132。另外，关联处理单元131从输入图像中提取与指定的前面图像对应的图像区域并，将其输出到输出图像生成单元133。

非前面图像生成单元132对关联处理单元131中被设置为非前面图像的图像区域执行图像处理，使得在投影平面上适当地显示图像。在一个示例中，执行几何校正图像处理、插值图像处理、相关图像处理等。几何校正图像处理生成经过诸如几何校正之类的必要图像处理的图像，以适于投影到F平面、C平面、L平面和R平面上。插值图像处理生成从前面图像插值的图像，并且相关图像处理生成与前面图像相关联的图像。非前面图像生成单元132将通过执行必要的处理所生成的非前面图像输出到输出图像生成单元133。

输出图像生成单元133基于前面图像和非前面图像生成要从投影设备10投影的输出图像。前面图像和非前面图像的结合不限于特定模式，并且其可以在不进行任何修改的情况下结合，或者两个图像的边界区域可能模糊或重叠。由输出图像生成单元133生成的输出图像被输出到投影设备10并且被投影到投影空间上。

[1.3.图像显示处理]

接下来，参照图5至图7描述由根据本实施例的信息处理设备100执行的图像显示处理。此外，图5是示出由根据本实施例的信息处理设备100执行的分析处理的流程图。图6是示出由根据本实施例的信息处理设备100执行的投影设备10的位置控制处理的流程图。图7是示出由根据本实施例的信息处理设备100执行的图像生成处理的流程图。

(1)分析处理

在根据本实施例的图像显示处理中，分析处理单元110首先对图像和空间执行分析处理，如图5所示。在分析处理中，首先，如图5所示，空间结构分析单元117分析由投影设备10在其上投影图像的投影空间的结构(S110)。空间结构分析单元117获取构成投影空间的S平面、F平面、C平面、L平面和R平面中的每一个的位置以及投影设备10在投影空间中的位置，并且分析这些平面与投影设备10之间的位置关系。在一个示例中，每个平面的位置和投影设备10的位置可以基于通过安装在投影空间中的深度传感器、测距仪等获得的检测结果来自动地执行，或者可以通过用户的手动规范来执行。在步骤S110中分析的投影空间的空间结构被记录在空间结构保持单元118中(S111)。

随后，确定图像是否被输入到图像输入单元114(S112)。包括由广播信号接收单元111接收到的广播信号、由图像捕获单元112捕获的图像信号或者先前存储在存储单元113中的图像信号的主图像信号被输入到图像输入单元114。重复执行步骤S112的处理直到主图像信号被输入到图像输入单元114为止。

当主图像信号被输入到图像输入单元114时，图像分析单元115分析输入图像(S113)。在步骤S113中分析输入图像时，确定输入图像的内容属于哪种类别。如上所述，图像内容的类别的示例包括景观、夜空、胜地等。此外，众所周知的方法可以应用于图像分析处理。

然后，投影位置确定单元116基于在步骤S113中获得的分析结果来确定投影空间中在其上投影输入图像的投影区域(S114)。投影位置确定单元116首先确定分析结果是否对应于预设类别。如果存在相应的类别，则确定在针对预设类别的最佳投影区域上显示输入图像。在一个示例中，在图像内容是景观的情况下，将图像投影到S平面、L平面和R平面中的每一个上，使得可以观看全景。此外，在图像内容是夜空的情况下，将图像投影到S平面、L平面、R平面和C平面中的每一个上，使得甚至可以观看投影到C平面上的天空。然后，在图像内容是胜地的情况下，将图像投影到S平面、L平面、R平面和F平面中的每一个上，使得甚至可以观看在下面投影到F平面上的图像。

另一方面，如果没有对应于预设类别的结果，则投影位置确定单元116可以在一个示例中将输入图像的投影区域设置为与特定类别相同或设置为预设的默认投影区域。以这种方式确定的输入图像的投影区域被输出到位置控制单元120。

(2)位置控制处理

接下来，参照图6描述投影设备10的位置控制处理。在投影设备10的位置控制处理中，首先，如图6所示，确定对于投影设备10来说是否需要根据输入图像的投影区域来控制图像的投影位置(S120)。投影位置控制单元121确定是否需要改变投影设备10的当前设置状态，使得输入图像被投影到图5的步骤S114中确定的投影区域上。

如果在步骤S120中确定需要改变投影设备10的设置信息，则受控变量确定单元124从设置信息保持单元123获取投影设备10的设置信息(S121)。在一个示例中，受控变量确定单元124在从投影位置控制单元121接收到将图像投影到S平面、L平面和R平面中的每一个上的指令时，基于存储在空间结构保持单元118中的空间结构的分析结果获取投影空间中的S平面、L平面和R平面的特定信息位置。然后，受控变量确定单元124从设置信息保持单元123获取投影设备10的设置信息，该设置信息用于将其设置为图像的指定投影状态。此外，如果在步骤S120中确定不需要改变投影设备10的设置信息，则确定维持当前设置信息，并且处理进行到步骤S122。

随后，受控变量确定单元124确定用户是否改变设置信息(S122)。如果用户改变设置信息，则用户设置信息被输入到用户设置单元122。受控变量确定单元124基于用户设置信息校正在步骤S120和S121中获取的与投影设备的姿态、镜头设置等相关的设置信息(S123)。这将用户的偏好等合并到自动调整的设置信息中。此外，如果在步骤S122中没有用户设置信息的输入，则处理进行到步骤S124。

然后，受控变量确定单元124根据通过步骤S120至S123中的处理确定的投影设备10的设置信息来确定投影设备10的投影位置的设置受控变量(S124)。受控变量确定单元124在计算指示投影设备10的投影位置将被控制的程度的设置受控变量时，将设置信息记录在设置信息保持单元123中。此外，设置变化单元125基于计算出的设置受控变量来改变投影设备10的姿态、镜头设置等(S125)。然后，设置变化单元125确定投影设备10的设置信息的变化是否完成。如果设置信息的变化完成，则设置变化单元125将设置受控变量输出到图像生成单元130，然后处理结束。

(3)图像生成处理

接下来，参照图7描述要由投影设备10投影的输出图像的生成处理。如图7所示，当关联处理单元131从分析处理单元110接收到输入图像时，图像生成处理开始(S130)。重复执行步骤S130的处理，直到输入图像被输入为止。

如果输入图像被输入，则关联处理单元131将输入图像与投影空间相关联(S131)。关联处理单元131基于来自图像输入单元114的输入图像和来自设置变化单元125的设置受控变量，来从输入图像中指定投影到S平面、F平面、C平面、L平面和R平面中的每一个上的图像区域。换句话说，关联处理单元131验证输入图像中的哪个图像区域是对应于前面图像还是非前面图像。

通过投影仪10投影在投影空间中的图像在与投影设备10的投影方向垂直的平面的前面(S平面)与其他平面(F平面、C平面、L平面和R平面)之间看起来不同。这是因为每个平面相对于投影设备10的位置或倾斜角度不同。根据本实施例的图像生成单元130执行图像处理以用于在输入图像上提供图像而不会在于其上投影图像的所有平面上引起不适。关联处理单元131在步骤S131中从输入图像指定前面图像和非前面图像，以执行该图像处理。

随后，关联处理单元131确定输入图像是否被投影到除前面(S平面)之外的平面(即F平面、C平面、L平面或R平面)上(S132)。在一个示例中，在步骤S131中指定非前面图像的情况下，关联处理单元131可以确定输入图像被投影到除前面之外的平面上。如果在步骤S132中确定输入图像被投影到除前面之外的平面上，则非前面图像生成单元132执行图像处理，使得在该平面上显示的非前面图像是最佳的(S133)。

在一个示例中，非前面图像生成单元132执行几何校正图像处理、插值图像处理、相关图像处理等。几何校正图像处理生成经过包括几何校正在内的必要图像处理的图像，以适于投影到F平面、C平面、L平面和R平面上。插值图像处理生成从前面图像插值的图像。相关图像处理生成与前面图像相关联的图像。非前面图像生成单元132将通过执行必要的处理所生成的非前面图像输出到输出图像生成单元133。此外，如果在步骤S132中确定输入图像仅被显示在前面(S平面)上，则处理进行到步骤S134，而不执行步骤S133的处理。

然后，输出图像生成单元133对前面图像和非前面图像进行集成，并生成要从投影设备10投影的输出图像(S134)。在一个示例中，前面图像和非前面图像可以在不进行任何修改的情况下结合，或者两个图像的边界区域可能模糊或重叠。由输出图像生成单元133生成的输出图像被输出到投影设备10并且被投影到投影空间上。

上面描述了根据本公开的第一实施例的图像显示系统的配置和功能。根据本实施例，投影空间中的输入图像的投影区域根据由投影设备投影到投影空间上的图像的内容来确定。这使得向用户提供高存在感或沉浸感是可能的。<2.第二实施例>

现在参照图8至图11描述根据本公开的第二实施例的图像显示系统的示意性配置。根据本实施例的图像显示系统分析要由诸如投影仪之类的投影设备投影到空间上的图像的内容，并且根据图像的内容确定投影空间中图像的投影区域，这与第一实施例类似。然而，两者的差异在于，在投影空间中布置有主显示设备。

[2.1.空间配置]

图8是示出来描述根据本实施例的由图像显示系统在其上投影图像的投影空间V的结构以及投影设备10和主显示设备20的布置的图。图9是示出来描述投影空间V的视图的图，在该投影空间V中图8的主显示设备20被布置为从投影设备10的侧面观看。

在一个示例中，主显示设备20是具有4K2K分辨率的面板显示设备，并且可以向用户提供高分辨率图像。在一个示例中，这样的主显示设备20被安装在前面(S平面)的前方。此外，尽管主显示设备20被设置在图9中的S平面的中心处，但本公开不限于该示例，并且该布置不受限制，只要主显示设备20被放置为使得主显示设备20的背面面向S平面即可。另外，在图8中，投影设备10被安装在天花板(C面)上，但其也可以被安装在地板(F平面)上，或也可以被安装在距地板(F平面)固定高度位置处。

当在图8所示的状态下使用投影仪10投影图像时，将图像投影到前面(S平面)、天花板(C平面)、地板(F平面)、左侧(L平面)和右侧(R平面)这五个位置上，如图9所示。此外，在本实施例的情况下，在一些情况下，可以在主显示设备20上显示从图像输入单元114输入而未进行任何修改的图像。在这种情况下，投影设备10投影未显示在主显示设备20上的外围图像。以这种方式，通过结合主显示设备20和投影设备10来输出图像，因而为用户提供高存在感或沉浸感这是可能的。

将通过关注与根据第一实施例的图像显示系统的差异(在于主显示设备20被布置在S平面中)来给出下面的描述，但是未详细描述具有与第一实施例的配置和功能相同的配置和功能的组件。

[2.2.信息处理设备的功能配置]

现在参照图10描述根据本实施例的信息处理设备200的功能配置。另外，图10是示出根据本实施例的信息处理设备200的功能配置的功能框图。根据本实施例的信息处理设备200被配置为包括分析处理单元110、位置控制单元120和图像生成单元130，这与第一实施例类似。根据本实施例的信息处理设备200与根据第一实施例的信息处理设备100的差异在于图像生成单元130配置有前面外围图像生成单元134。

前面外围图像生成单元134从输入图像中投影到前面(S平面)的前面图像生成作为前面外围图像的除与主显示设备20的显示表面部分对应的图像区域之外的部分。如图9所示，根据本实施例，主显示设备20被布置在投影空间V中。在本实施例中，至少一部分输入图像被显示在主显示设备20上，并且由投影设备10投影的图像被显示在主显示设备20的显示表面的外围表面上。此外，在某些情况下，输入图像仅可以被显示在主显示设备20上。在这种情况下，由投影设备10投影的图像的示例包括稍后描述的情感视频等。

以这种方式，在主显示设备20被布置在投影空间V中的情况下，将与主显示设备20的显示表面对应的部分从由投影设备10投影到前面(S平面)上的图像中排除，使得图像不干扰显示在主显示设备20上的输入图像。前面外围图像生成单元134通过投影设备10生成要投影到前面(S平面)上的图像。此外，在本实施例中，将显示在主显示设备20上的图像称为“主显示图像”，并且将投影到除主显示设备20之外的S平面上的图像称为“前面外围图像”。如上所述，在仅在主显示设备20上显示输入图像的情况下，主显示图像是输入图像本身。

前面外围图像生成单元134对在关联处理单元131中被提取为与前面外围图像相关联的区域执行预定处理。在一个示例中，前面外围图像生成单元134执行几何校正图像处理、插值图像处理、相关图像处理等。几何校正图像处理生成经过包括几何校正在内的必要图像处理的图像，以适合作为主显示图像的外围图像。插值图像处理生成从主显示图像插值的图像。相关图像处理生成与主显示图像相关的图像。前面外围图像生成单元134将通过执行必要的处理生成的所生成的前面外围图像输出到输出图像生成单元133。因此，从输出图像生成单元133输出的输出图像通过将由非前面图像生成单元132生成的非前面图像与由前面外围图像生成单元134生成的前面图像进行结合来获得。

信息处理设备200的其他功能单元的配置与图4所示的根据第一实施例的信息处理设备100相同，因而这里将省略其描述。

[2.3.图像显示处理]

接下来，描述根据本实施例的信息处理设备200的图像显示处理。根据本实施例的图像显示处理包括分析处理、投影设备10的位置控制处理和图像生成处理，这与第一实施例类似。在根据本实施例的图像显示处理中，主投影空间V中布置有主显示设备20，因此与第一实施例相比，分析处理中的空间结构分析和图像生成处理中的前面外围图像生成是新添加的。此外，投影设备10的位置控制处理与图6所示的处理类似，并且下面参照图11描述根据本实施例的分析处理和图像生成处理。此外，图11是示出由根据本实施例的信息处理设备200进行的图像生成处理的流程图。

(1)分析处理

尽管根据本实施例的分析处理与图5所示的根据第一实施例的分析处理在过程上是相同的，但步骤S100的处理细节不同。换句话说，空间结构分析单元117分析由投影设备10投影图像的投影空间的结构，并且分析投影空间与主显示设备20之间的位置关系(S110)。首先，空间结构分析单元117获取构成投影空间的S平面、F平面、C平面、L平面和R平面中的每一个的位置以及投影设备10在投影空间中的位置，并且分析这些平面与投影设备10之间的位置关系。在一个示例中，每个平面的位置和投影设备10的位置可以基于通过安装在投影空间中的深度传感器、测距仪等获得的检测结果来自动地执行，或者可以通过用户的手动规范来执行。

此外，空间结构分析单元117分析主显示设备20与构成投影空间的每个平面之间的位置关系。在这种情况下，空间结构分析单元117可以至少获取与从投影设备10观看包括主显示设备20的显示表面在内的表面的位置关系。在一个示例中，如图9所示，主显示设备20的显示表面被全部包括在S平面内，因此空间结构分析单元117获取主显示设备20与S平面之间的位置关系。在步骤S110中分析的投影空间的空间结构和与主显示设备20的位置关系被记录在空间结构保持单元118中(S111)。

随后，确定图像是否被输入到图像输入单元114(S112)。包括由广播信号接收单元111接收到的广播信号、由图像捕获单元112捕获的图像信号或者先前存储在存储单元113中的图像信号的主图像信号被输入到图像输入单元114。重复执行步骤S112的处理直到主图像信号被输入到图像输入单元114为止。

步骤S113和后续处理与第一实施例相似。当主图像信号被输入到图像输入单元114时，图像分析单元115分析输入图像(S113)。如果确定输入图像的内容属于哪种类别，则投影位置确定单元116确定投影输入图像的投影空间中的投影区域(S114)。

(2)位置控制处理

接下来，参照图11描述由投影设备10投影的输出图像的生成处理。根据本实施例的图像生成处理也基本上与图7所示的根据第一实施例的图像生成处理相同，但是差异在于生成前面外围图像并且通过将前面外围图像与非前面图像结合来获得输出图像。此外，要由图像生成单元130处理的图像是要由投影设备10投影的图像。然而，在本实施例中，从图像输入单元14输入的输入图像被显示在主显示设备20上，并且与输入图像不同的图像(例如，如之后所述的从输入图像生成的情感视频)被显示在其他平面上。在本实施例中，与输入图像不同的图像被称为投影图像。

如图11所示，当关联处理单元131接收到投影图像的输入时，开始根据本实施例的图像生成处理(S230)。重复执行步骤S230的处理，直到投影图像被输入为止。如果投影图像被输入，则关联处理单元131将投影图像与投影空间相关联(S231)。以类似于图7的步骤S131的方式执行步骤S231的处理。关联处理单元131基于来自图像输入单元114的投影图像和来自设置变化单元125的设置受控变量，来从投影图像中指定要投影到S平面、F平面、C平面、L平面和R平面中的每一个上的图像区域。

此外，关联处理单元131考虑到显示在主显示设备上的主显示图像，在主显示设备20的周围的前面(S平面)上生成要由投影设备10投影的前面外围图像。关联处理单元131在步骤S231中指定通过从投影到S平面上的投影图像的图像区域中排除与主显示设备20的显示表面相对应的部分而获得的前面外围图像的区域。

随后，前面外围图像生成单元134对在步骤S231中指定的前面外围图像的区域执行预定处理以生成前面外围图像(S232)。在一个示例中，前面外围图像生成单元134执行几何校正图像处理、插值图像处理、相关图像处理等。几何校正图像处理生成经过包括几何校正在内的必要图像处理的图像，以适合作为主显示图像的外围图像。插值图像处理生成从主显示图像插值的图像。相关图像处理生成与主显示图像相关的图像。前面外围图像生成单元134将通过执行必要的处理所生成的前面外围图像输出到输出图像生成单元133。

然后，关联处理单元131确定投影图像是否被投影到除前面(S平面)之外的平面(即，F平面、C平面、L平面和R平面)上(S233)。在一个示例中，在步骤S231中指定非前面图像的情况下，关联处理单元131可以确定投影图像被投影到除前面之外的平面上。如果在步骤S233中确定投影图像被投影到除前面之外的平面上，则非前面图像生成单元132执行图像处理，使得在这些平面上显示的非前面图像是最佳的(S234)。

在一个示例中，非前面图像生成单元132执行几何校正图像处理、插值图像处理、相关图像处理等。几何校正图像处理生成经过包括几何校正在内的必要图像处理的图像，以适于投影到F平面、C平面、L平面和R平面上。插值图像处理生成从前面图像插值的图像。相关图像处理生成与前面图像相关联的图像。非前面图像生成单元132将通过执行必要的处理所生成的非前面图像输出到输出图像生成单元133。此外，如果在步骤S233中确定输入图像仅被显示在前面(S平面)上，则处理进行到步骤S235，而不执行步骤S234的处理。

然后，输出图像生成单元133对前面外围图像和非前面图像进行集成，并生成要从投影设备10投影的输出图像(S235)。在一个示例中，在前面外围图像和非前面图像的结合中，这两个图像可以在不进行任何修改的情况下结合，或者这两个图像的边界区域可能模糊或重叠。由输出图像生成单元133生成的输出图像被输出到投影设备10以用于将其投影到投影空间上。

上面描述了根据本公开的第二实施例的图像显示系统的配置和功能。根据本实施例，即使在主显示设备被布置在投影空间中的情况下，被投影在主显示设备20的周围上的投影图像的投影区域根据显示在主显示设备20上的输入图像的内容来确定。这使得向用户提供高存在感或沉浸感是可能的。

<3.第三实施例>

接下来，参照图12至图14描述根据本公开的第三实施例的图像显示系统的示意性配置。根据本实施例的图像显示系统分析要由诸如投影仪之类的投影设备投影到空间上的图像的内容，并且根据图像内容确定投影空间中图像的投影区域，这与第一实施例类似。此外，在本实施例中，检测用户在投影空间中的位置并控制投影区域。

[3.1.空间配置]

图12是示出来描述根据本实施例的由图像显示系统在其上投影图像的投影空间V的结构以及投影设备10的布置的图。如图12所示，除了用户存在于投影平面而非投影设备10侧之外，投影空间V的配置与图1和图2的配置相同。在本实施例中，当用户存在于投影空间V中时，从投影设备10投影图像的投影区域根据用户位置而受到限制。

在用户存在于投影平面而非投影设备10侧的情况下，在一个示例中，如图12的上侧所示，用户可以靠近投影设备10，并且距前面(S平面)的距离可以大于或等于预定距离。在这种情况下，用户不会阻挡由投影设备10投影的光。在这种情况下，可以执行与第一实施例类似的图像显示处理。另一方面，如果用户与前面(S平面)之间的距离小于预定距离，则用户阻挡由投影设备10投影的光，这导致在地板(F平面)上发生阴影。因此，在本实施例中，对用户在投影空间V中的位置的检测和对投影区域的控制允许用户由于图像在地板(F平面)上的投影而体验存在感或沉浸感，同时防止不想要的阴影的发生。

下面主要描述由于用户在投影空间V中的存在而与根据第一实施例的图像显示系统的差异，并且对具有与第一实施例描述的配置和功能相同的配置和功能的组件的详细描述将被省略。

[3.2.信息处理设备的功能配置]

现在参照图13描述根据本实施例的信息处理设备300的功能配置。另外，图13是示出根据本实施例的信息处理设备300的功能配置的功能框图。根据本实施例的信息处理设备300被配置为包括分析处理单元110、位置控制单元120和图像生成单元130，这与第一实施例类似。根据本实施例的信息处理设备300与根据第一实施例的信息处理设备100的差异在于分析处理单元110被提供有用户位置检测单元119。

用户位置检测单元119检测存在于投影空间V中的用户的位置。要使用的用户位置检测单元119的示例可以包括深度传感器、运动检测器、远程控制器位置检测等。预先设置由于投影空间V中用户的存在而发生阴影的阴影发生区域，并且用户位置检测单元119检测用户是否存在于阴影发生区域中。由用户位置检测单元119获得的检测结果被输出到投影位置确定单元116。投影位置确定单元116基于由图像分析单元115获得的分析结果和由用户位置检测单元119获得的检测结果来确定投影区域。

信息处理设备300的其他功能单元的配置与图4所示的根据第一实施例的信息处理设备100相同，因而这里将省略其描述。

[3.3.图像显示处理]

现在描述根据本实施例的信息处理设备300的图像显示处理。根据本实施例的图像显示处理包括分析处理、投影设备10的位置控制处理和图像生成处理，这与第一实施例类似。根据本实施例的图像显示处理与第一实施例的差异在于图像的投影区域根据分析处理中用户在投影空间V中的位置来改变。此外，投影设备10的位置控制处理和图像生成处理与图6和图7所示的处理类似，并且下面参照图14描述根据本实施例的分析处理。图14是示出由根据本实施例的信息处理设备300进行的分析处理的流程图。

(1)分析处理

在根据本实施例的图像和空间的分析处理中，首先，如图14所示，空间结构分析单元117分析由投影设备10投影图像的投影空间的结构(S310)。在步骤S310中分析的投影空间的空间结构被记录在空间结构保持单元118中(S311)。步骤S310和S311中的处理分别以与图5中的步骤S110和S111类似的方式执行。

随后，用户位置检测单元119检测投影空间V中的用户并测量用户的位置(S312)。如上所述，在一个示例中，可以使用深度传感器、运动检测器、远程控制器位置检测等来检测用户的位置。当投影空间V中的用户位置的检测完成时，用户位置被记录在存储单元(未示出)中(S313)。

此外，确定图像是否被输入到图像输入单元114(S314)。重复执行步骤S314的处理，直到主图像信号被输入到图像输入单元114为止。当主图像信号被输入到图像输入单元114时，图像分析单元115分析输入图像(S315)。在步骤315中对输入图像的分析中，确定输入图像的内容属于哪种类别，这与第一实施例类似。步骤S314和S315的处理分别以与图5中的步骤S112和S113类似的方式执行。

然后，投影位置确定单元116基于在步骤S315中获得的分析结果来确定投影空间中在其上投影输入图像的投影区域(S316)。首先，投影位置确定单元116确定分析结果是否对应于预设类别。如果存在相应的类别，则确定在针对相应的预设类别的最佳投影区域上显示输入图像。另一方面，如果没有对应于预设类别的类别，则投影位置确定单元116可以在一个示例中将输入图像的投影区域设置为与特定类别相同或设置为预设的默认投影区域。步骤S316的处理也以与图5的步骤S114的处理类似的方式执行。

此外，投影位置确定单元116基于在步骤S313中记录的用户位置来确定输入图像的投影区域是否被限制(S317)。在用户位置处于阴影发生区域内的情况下，投影位置确定部分116根据用户位置考虑投影位置的限制来重新计算投影区域，并且确定最佳投影区域(S318)。在一个示例中，包括在投影区域中的地板(F平面)的投影区域可以朝向前面(S平面)侧变窄，或者可以消除地板(F平面)的投影区域。投影位置确定单元116将以这种方式再次设置的投影区域输出到位置控制单元120作为输入图像的投影位置。

另一方面，如果在步骤S317中确定用户位置在阴影发生区域之外并且对投影位置没有限制，则在步骤316中确定的投影区域被输出到位置控制单元120作为输入图像的投影位置。

上面描述了根据本公开的第三实施例的图像显示系统的配置和功能。根据本实施例，在用户存在于投影空间中的情况下，如果由用户投影的图像被阻挡，则投影输入图像的投影区域被重新设置，使得图像不被阻挡。这使得向用户提供高存在感或沉浸感是可能的。

<4.第四实施例>

接下来，参照图15至图16描述根据本公开的第四实施例的图像显示系统的示意性配置。根据本实施例的图像显示系统分析要由诸如投影仪之类的投影设备投影到空间上的图像的内容，并且根据图像的内容确定投影空间中图像的投影区域，这与第一实施例类似。然而，在本实施例中，在投影空间中布置有主显示设备20，这与第二实施例类似。此外，在本实施例中，检测用户在投影空间中的位置并控制投影区域，这与第三实施例类似。换句话说，在本实施例的投影空间V中，如图15所示，主显示设备20被布置在前面(S平面)的前方，并且存在用户P。

本实施例是通过结合第二和第三实施例的技术而获得的示例。如图16的功能框图所示，在根据本实施例的信息处理设备400中，与图4所示的第一实施例的信息处理设备100相比，分析处理单元110被配置为还包括用户位置检测单元119，并且图像生成单元130被配置为还包括前面外围图像生成单元134。这使得在用户存在于投影空间V中时根据用户位置来限制从投影设备10投影图像的投影区域是可能的，因此用户不会阻挡由投影设备投影的图像。此外，主显示设备20在投影空间中的布置允许根据显示在主显示设备20上的输入图像的内容来确定投影在主显示设备20的外围上的投影图像的投影区域。这使得向用户提供高存在感或沉浸感是可能的。

<5.情感视频生成>

在根据上述实施例的图像显示系统中，投影空间中显示的图像可以是输入到图像输入单元114的输入图像，也可以是与输入图像不同的图像。这里，为了增强用户的存在感或沉浸感，在现有技术中，与输入图像相匹配的情感视频被创建，并且与输入图像一起被显示。然而，创建者的感觉极大地影响现有技术中所创建的情感视频，并且所创建的情感视频也被显示，同时被改写到输入图像。

在根据上述实施例的图像显示系统中，期望自动创建要与输入图像一起实时显示的情感视频。因此，根据上述实施例的具有如下所述的情感视频处理单元140的图像显示系统使得自动生成与输入图像具有高亲和度的情感视频并且增强显示用户的存在感或沉浸感这是可能的。下面将参照图17至图28详细描述情感视频处理单元140的配置和功能。此外，下面的描述假设输入图像被显示在主显示设备20上，并且投影设备10在根据上述第二实施例的图像显示系统中显示由情感视频处理单元140创建的情感视频。

<5.1.功能配置>

现在参照图17描述情感视频处理单元140的功能配置。此外，图17是示出情感视频处理部140的功能配置的功能框图。如图17所示，根据本实施例的情感视频处理单元140被配置为包括主显示图像输入单元141、内容分析单元143、情感匹配处理单元145、近似图像存储单元147和情感视频生成单元149。

主显示图像输入单元141是向其输入显示在主显示设备20上的输入图像的功能单元。在一个示例中，输入图像是诸如电影、戏剧和运动之类的视频内容，并且被显示在主显示设备20上。主显示图像输入单元141将输入图像输出到内容分析单元143。

内容分析单元143实时分析输入图像，并获取内容中包括的特征量。内容分析单元143被配置为在一个示例中包括分析观看输入图像(内容)的用户的面部和面部表情的面部表情分析单元143a、分析用户视线的视线分析单元143b、震动分析单元143c等。此外，内容分析单元143被配置为包括通过场景分析技术使用内容的特征量或图案来分析场景的场景分析单元143d，基于内容中包括的声音的强度或变化等来检测兴奋的兴奋检测单元143e。由内容分析单元143获得的分析结果被输出到情感匹配处理单元145和情感视频生成单元149。

情感匹配处理单元145分析基于内容的特征量显示的对象的运动，并生成用于同步所生成的情感视频的运动的同步信息。稍后将详细描述情感匹配处理单元145的运动分析处理。由情感匹配处理单元145生成的同步信息被输出到情感视频生成单元149。

近似图像存储单元147是将图像存储为情感视频的原始图像的存储单元。尽管在图17中的情感视频处理单元140中提供了近似图像存储单元147，但本公开不限于该示例，并且在一个示例中，可以使用经由网络可通信地连接的图像文件服务器等。

情感视频生成单元149基于由内容分析单元143获得的分析结果和由情感匹配处理单元145获得的处理结果，从近似图像存储单元147获取情感视频的原始图像，并且生成信息视频。稍后将描述生成情感视频的处理。在一个示例中，由情感视频生成单元149生成的情感视频作为投影图像被输入到图10所示的图像生成单元130的关联处理单元131。

<5.2.情感视频生成处理>

接下来，将参照图18至图28描述由情感视频处理单元140进行的情感视频生成处理。此外，图18是示出选择情感视频的原始图像的处理的流程图。图。图19是示出来描述从输入图像中提取局部特征点的状态的示例的图。图20是示出来描述特征点的运动矢量相互匹配的状态的示例的图。图21是示出来描述从近似图像存储单元147选择输入图像的近似图像的处理的图。图22是示出由情感视频处理单元140进行的情感视频生成处理的流程图。图23是示出来描述基于内容同步信息来确定情感视频的运动方向的示例的图。图24是示出来描述基于内容同步信息来确定情感视频的运动方向的另一示例的图。图25是示出来描述基于内容的色调来确定情感视频的色彩的示例的图。图26是示出来描述日落场景中的亮度直方图的示例的图。图27是示出来描述白天场景中的亮度直方图的示例的图。图28是示出来描述每个RGB的亮度直方图的示例的图。

这里，在一个示例中，描述了通过由内容分析单元143的场景分析单元143d使用内容的特征量执行场景分析来生成情感视频的方法。在这样的处理中，首先，需要识别(分析)在内容中显示的对象的身份。通常从内容中指定要成为运动的目标的对象，并获取运动信息。因此，如图18所示，场景分析单元143d首先从内容图像中提取图像中包括的特征点(S510)。

作为提取图像中的特征点Pc的技术，在一个示例中，如图19所示，已知一种从图像30A提取称为尺度不变特征变换(SIFT)的局部特征量的技术。SIFT是用于检测特征点并描述特征量的算法。这种技术描述了对于检测到的特征点具有鲁棒性的特征量(例如图像的旋转、尺度变化和照明变化)，因此其是广泛用于图像匹配的图像处理技术，例如图像拼接、对象识别和物体检测。

随后，当提取图像中的特征点Pc时，情感视频生成单元149执行用于指定对象的匹配处理，并选择近似于输入图像的近似图像(S512)。从存储在近似图像存储单元147中的图像中选择近似图像。情感视频生成单元149选择在特征点上与在步骤S510中从其中提取特征点的图像类似的图像。在一个示例中，如图20所示，通过匹配特征点在两个图像之间获得相关联的位置。在这种情况下，连接两个图像中的特征点的直线表示两端的特征点的特征矢量是相似的(即距离很小)。

如上所述，从存储在近似图像存储单元147中的图像组中选择特征点的特征矢量近似的图像。如图21所示，在存储在近似图像存储单元147中的图像组40中所包括的图像40a至40j中，与特征矢量近似的特征点被聚集在其上的图像40a被选择作为情感视频的原始图像。此外，即使在特征点的匹配中存在一些错误，这在这里是允许的。

然后，情感视频生成单元149通过将所选择的近似图像设置为情感视频的原始图像来创建情感视频(S514)。这里，参照图22和图25描述情感视频生成处理。

如图22所示，情感视频生成单元149首先从作为输入图像的内容的运动矢量检测方向性，并且确定情感视频的运动方向(S5141)。在一个示例中，步骤S5141的处理使得根据输入图像30B中人的手的运动将在手的运动方向上流动的对象视频显示为情感视频40是可能的，如图23所示。另外，如图24所示，当在输入图像30c中存在雷声场景时，生成情感视频40也是可能的，其中根据闪电的运动方向表示雷声的强度的对象42a和42b被显示。

参照图24详细描述处理。首先，从输入图像检测雷声的运动矢量。运动矢量检测技术的一个示例包括运动补偿帧间预测技术(例如，JP S62-002515B、JP H1-033994B、JP H6-014739B、JP S62-291280A和JP H8-013140B)。

随后，情感视频生成单元149基于整个内容的色调来确定情感视频的色彩(S5142)。可以通过信号或比色传感器获取内容的色彩信息。在一个示例中，如图25所示，对于在左侧显示的整个输入图像30D测量色度，并且通过计算平均色度来指定整个内容的色调。然后，情感视频生成单元149整体生成接近指定内容的色调的色彩的情感视频40。在一个示例中，在日落场景中，生成了具有色调范围为从橙色到粉红色的色彩的情感视频。

情感视频生成单元149通过将上述生成的情感视频40设置为投影图像，来向图像生成单元130的关联处理单元131输入生成的情感视频40。在图像生成单元130执行预定图像处理之后，通过投影设备10将情感视频投影到投影空间V上。

返回参照图18的描述，情感视频生成单元149从内容分析场景变化(S516)。在本实施例中，基于使用整个图像的亮度信息所生成的直方图来分析场景变化。直方图(即，频率分布图)是表示图像的亮度(对比度)的分布的图。通常，横轴表示亮度，纵轴表示像素数(频率)，左侧表示暗(黑色)像素，并且右侧表示亮(白色)像素。

在一个示例中，图26和图27分别示出了表示日落场景的图像30E的亮度的直方图和表示白天场景的图像30F的亮度的直方图。在图26的日落场景中，直方图中的亮度分布偏向左侧，而在图27的白天场景中，直方图中的亮度分布偏向右侧。以这种方式，日落的直方图和灯塔的直方图在形状上是明显不同的。因此，情感视频生成单元149确定发生了场景变化。

此外，在图26和图27中，基于亮度的直方图来确定场景变化，但是除了亮度直方图之外，通过每种色彩的直方图来确定场景变化也是可能的。在一个示例中，图28示出了特定风景输入图像30G的亮度的直方图和每种色彩的直方图。如图28所示，亮度的直方图表示通过结合所有色彩而获得的亮度和暗度。通常，亮度信息由G的出现频率确定，因此整个直方图和G的直方图都是相似的。以这种方式，除了亮度的直方图之外，使用每种色彩的直方图对场景变化进行确定使得以高精度实现检测是可能的。

如果在步骤S516中确定发生了场景变化，则情感视频生成单元149在一个新的场景图像上执行图18所示的处理。这使得在每次检测到场景变化时生成与新场景相对应的情感视频是可能的。

<6.总结>

上面描述了根据本公开的本实施例的图像显示系统。根据这些图像显示系统，根据图像的内容来改变投影设备的投影位置，因此可以向用户提供高存在感或沉浸感是可能的。此外，在主显示设备和投影设备被布置在同一投影空间中的情况下，根据显示在主显示设备上的图像的内容适当地生成的外围图像被叠加并且由投影设备投影。此外，在这种情况下，根据显示在主显示设备上的图像的内容来改变投影设备的投影位置，因此向用户提供高存在感或沉浸感是可能的。此外，投影位置根据用户的位置而改变，因此为用户提供高存在感或沉浸感同时防止用户自己的影子的反射眩光这是可能的。投影设备的投影位置还可以根据用户自己的偏好进行设置，因此构建用户优选的视频环境是可能的。

此外，通过在对应于输入图像的外围视野中显示引起观看者的情感的情感视频，可以向观看者提供高沉浸感。根据本公开的图像显示系统，从作为输入图像的内容的特征点识别对象，以获取被设置为情感视频的原始图像的近似图像。在生成情绪视频时，设置运动，使得其存在于从包括在内容中的特征点的运动矢量估计的方向的延长线上，并且设置接近内容的色调的色彩。此外，通过基于内容的亮度信息而生成的直方图的变化来确定场景变化，切换到新的情感视频这是可能的。因此，实时生成与内容具有高亲和度的情感视频是可能的。

<7.硬件配置>

最后，描述根据上述实施例的信息处理设备100的硬件配置示例。图29是示出根据上述实施例的信息处理设备100的硬件配置的硬件配置图。此外，根据第二至第四实施例的信息处理设备200至400还可以以与图29所示的信息处理设备100的硬件配置类似的方式来配置。

根据本实施例的信息处理设备100可以被实现为如上所述的包括计算机的处理设备。如图29所示，信息处理设备100被配置为包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903和主机总线904a。此外，信息处理设备100被配置为包括桥904、外部总线904b、接口905、输入设备906、输出设备907、存储设备908、驱动器909、连接端口911和通信设备913。

CPU 901用作算术处理单元和控制单元，并且根据各种程序来控制信息处理设备100中的整体操作。此外，CPU 901可以是微处理器。ROM 902在一个示例中存储由CPU 901使用的程序或操作参数。RAM 903临时存储在由CPU 901执行中使用的程序或在执行期间适当改变的参数等。这些组件通过由CPU总线等组成的主机总线904a互连。

主机总线904a通过桥904连接到诸如外围组件互连/接口(PCI)总线的之类的外部总线904b。此外，主机总线904a、桥904和外部总线904b不一定被配置为分离的组件，并且它们的功能可以被并入单个总线中。

输入设备906被配置为包括用户可以通过其输入信息的输入装置和基于用户的输入生成输入信号并将其输出到CPU 901的输入控制电路。输入装置的示例包括鼠标、键盘、触摸面板、按钮、麦克风、开关和杠杆。在一个示例中，输出设备907包括诸如液晶显示器(LCD)设备、有机发光二极管(OLED)设备、或灯、以及诸如扬声器之类的语音输出设备之类的显示设备。

存储设备908是信息处理设备100的存储单元的示例，并且是用于存储数据的设备。存储设备908可以包括记录介质、在记录介质中记录数据的记录设备、从记录介质读出数据的读出设备、以及删除在记录介质中记录的数据的删除设备。存储设备908驱动硬盘，并存储由CPU 901执行的程序和各种数据。

驱动器909是用于记录介质的读写器，并且内置在信息处理设备100中或外部附接到其上。驱动器909读出记录在安装的磁盘、光盘、磁光盘或诸如半导体存储器之类的可移动存储介质中的信息，并将该信息输出到RAM 903。

连接端口911是连接到外部设备的接口，并且是用于连接在一个示例中能够通过通用串行总线(USB)传送数据的外部设备的端口。此外，在一个示例中，通信设备913是由通信设备等组成的用于连接到通信网络5的通信接口。此外，通信设备913可以是与无线局域网(LAN)兼容的通信设备、与无线USB兼容的通信设备、或利用有线进行通信的有线通信设备。

以上已经参照附图描述了本公开的(一个或多个)优选实施例，但本公开不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现各种改变和修改，并且应当理解，它们将自然地落入本公开的技术范围内。

此外，在上述实施例中，投影设备10的前面(S平面)是与投影设备10在其上投影图像的投影空间V中的投影方向垂直的表面，但本公开不限于该示例。在一个示例中，当在投影设备10的投影方向上观看时，在一些情况下，面向观看者的前面的表面(例如角落部分)不是垂直于投影方向的表面。另外，存在图像被投影到诸如窗帘之类的波浪表面上的某些情况。在这种情况下，图像处理不仅可以在非前面图像上执行，而且还可以在前面图像或前面外围图像上执行，使得这些图像被适当地显示在投影平面上。

在一个示例中，如在第一和第三实施例中，在图像被投影在投影空间V中的情况下，根据分析的空间结构来确定在其上投影前面图像的平面及其投影区域，并且可以在图像生成单元中提供前面图像生成单元，前面图像生成单元根据在其上投影前面图像的投影表面的倾斜度和形状执行图像处理。或者，可以执行图像处理，使得考虑到所有非前面图像，通过非前面图像生成单元在每个投影平面上适当地显示图像。此外，如在第二和第四实施例中，在投影空间V中提供有主显示设备的情况下，可以根据由前面周围图像生成单元在其上投影前面周围图像的投影平面的倾斜度和形状来执行图像处理。

此外，本说明书中描述的效果仅仅是示例性或例示性的效果，并不是限制性的。也就是说，具有上述效果或代替上述效果，根据本公开的技术可以实现本领域技术人员从本说明书的描述中清楚的其他效果。

另外，本技术也可以被配置为如下所示。

(1)

一种信息处理设备，包括：

图像分析单元，被配置为分析由投影设备投影的输入图像的内容；以及

投影位置确定单元，被配置为基于通过分析输入图像获得的分析结果来确定投影空间中由投影设备在其上投影输入图像的投影区域。

(2)

根据(1)所述的信息处理设备，还包括：

空间结构分析单元，被配置为分析在其上投影输入图像的空间的空间结构；以及

关联处理单元，被配置为基于所分析的空间结构和投影区域来确定要投影到空间的投影平面上的输入图像的图像区域。

(3)

根据(2)所述的信息处理设备，还包括：

图像生成单元，被配置为通过根据空间的投影平面对投影到投影平面上的图像区域中的图像执行图像处理，从输入图像生成输出图像。

(4)

根据(3)所述的信息处理设备，

其中，关联处理单元确定针对输入图像的前面图像区域和非前面图像区域，前面图像区域由投影设备投影到与投影方向垂直的第一投影平面上，非前面图像区域被投影到除第一投影平面之外的部分上，并且

图像生成单元根据投影平面的倾斜度对非前面图像区域执行图像处理。(5)

根据(4)所述的信息处理设备，

其中，在空间中提供有显示输入图像的至少一部分的主显示设备的情况下，

空间结构分析单元分析空间结构，并且分析所分析的空间结构与主显示设备之间的位置关系，并且

图像生成单元移除输入图像中与包括主显示设备的显示表面的前面图像区域或非前面图像区域相对应的图像部分。

(6)

根据(1)-(5)中任一项所述的信息处理设备，

其中图像分析单元分析与输入图像的图像内容有关的类别。

(7)

根据(1)-(5)中任一项所述的信息处理设备，

其中图像分析单元基于输入图像的元数据来分析输入图像的内容。

(8)

根据(1)-(7)中任一项所述的信息处理设备，

其中投影位置确定单元基于存在于投影空间中的用户的位置来改变所确定的输入图像的投影区域。

(9)

根据(1)-(8)中任一项所述的信息处理设备，还包括：

空间结构分析单元，被配置为分析在其上投影输入图像的空间的空间结构；以及

控制单元，被配置为基于所分析的空间结构和输入图像的投影区域来控制投影设备的设置。

(10)

根据(9)所述的信息处理设备，

其中控制单元根据用户的偏好改变投影设备的设置。

(11)

根据(3)-(10)中任一项所述的信息处理设备，还包括：

情感视频处理单元，被配置为基于作为输入图像显示的内容的特征量，生成要在输入图像周围显示的情感视频。

(12)

根据(11)所述的信息处理设备，

其中情感视频处理单元包括：

原始图像获取单元，被配置为基于内容的特征量来提取包括在内容中的运动信息，并且基于运动信息来获取用于生成情感视频的原始图像；

色彩确定单元，被配置为基于内容的整个图像的色调来确定情感视频的色彩；以及

情感图像生成单元，配置为基于所获取的原始图像和情感视频的色彩来生成情感视频。

(13)

根据(12)所述的信息处理设备，

其中原始图像获取单元基于内容的图像的运动信息，从包括要选择的多个原始图像的原始图像组获取在特征点上与内容的图像具有高相似度的原始图像。

(14)

根据(11)-(13)中任一项所述的信息处理设备，还包括：

情感视频切换确定单元，被配置为分析内容的场景变化并确定切换情感视频。

(15)

根据(11)-(14)中任一项所述的信息处理设备，

其中图像生成单元基于输入图像和情感视频来生成输出图像。

(16)

一种信息处理方法，该方法包括：

分析由投影设备投影的输入图像的内容；以及

基于通过分析输入图像获得的分析结果来确定投影空间中由投影设备在其上投影输入图像的投影区域。

(17)

一种程序，其用于使得计算机用作信息处理设备，该信息处理设备包括：

图像分析单元，被配置为分析由投影设备投影的输入图像的内容；以及

投影位置确定单元，被配置为基于通过分析输入图像获得的分析结果来确定投影空间中由投影设备在其上投影输入图像的投影区域。

(18)

一种图像显示系统，包括：

投影设备，被配置为投影图像；

图像分析单元，被配置为分析由投影设备投影的输入图像的内容；以及

投影位置确定单元，被配置为基于通过分析输入图像获得的分析结果来确定投影空间中由投影设备在其上投影输入图像的投影区域。

参考标记列表

100 信息处理设备

110 分析处理单元

111 广播信号接收单元

112 图像捕获单元

113 存储单元

114 图像输入单元

115 图像分析单元

116 投影位置确定单元

117 空间结构分析单元

118 空间结构保存单元

119 用户位置检测单元

120 位置控制单元

121 投影位置控制单元

122 用户设置单元

123 设置信息保持单元

124 受控变量确定单元

125 设置变化单元

130 图像生成单元

131 关联处理单元

132 非前面图像生成单元

133 输出图像生成单元

134 前面外围图像生成单元

140 情感视频处理单元

141 主显示图像输入单元

143 内容分析单元

143a 面部表情分析单元

143b 视线分析单元

143c 震动分析单元

143d 场景分析单元

143e 检测单元

145 情感匹配处理单元

147 近似图像存储单元

149 情感视频生成单元。

Claims (18)

1.一种信息处理设备，包括：

图像分析单元，被配置为分析由投影设备投影的输入图像的内容；以及

投影位置确定单元，被配置为基于通过分析所述输入图像获得的分析结果来确定投影空间中由所述投影设备在其上投影所述输入图像的投影区域。

2.根据权利要求1所述的信息处理设备，还包括：

空间结构分析单元，被配置为分析在其上投影所述输入图像的空间的空间结构；以及

关联处理单元，被配置为基于所分析的空间结构和所述投影区域来确定要投影到所述空间的投影平面上的所述输入图像的图像区域。

3.根据权利要求2所述的信息处理设备，还包括：

图像生成单元，被配置为通过根据所述空间的所述投影平面对投影到所述投影平面上的所述图像区域中的图像执行图像处理，从所述输入图像生成输出图像。

4.根据权利要求3所述的信息处理设备，

其中，所述关联处理单元确定针对所述输入图像的前面图像区域和非前面图像区域，所述前面图像区域由所述投影设备投影到与投影方向垂直的第一投影平面上，所述非前面图像区域被投影到除所述第一投影平面之外的部分上，并且

所述图像生成单元根据所述投影平面的倾斜度对所述非前面图像区域执行图像处理。

5.根据权利要求4所述的信息处理设备，

其中，在所述空间中提供有显示所述输入图像的至少一部分的主显示设备的情况下，

所述空间结构分析单元分析所述空间结构，并且分析所分析的空间结构与所述主显示设备之间的位置关系，并且

所述图像生成单元移除所述输入图像中与包括所述主显示设备的显示表面的所述前面图像区域或所述非前面图像区域相对应的图像部分。

6.根据权利要求1所述的信息处理设备，

其中所述图像分析单元分析与所述输入图像的图像内容有关的类别。

7.根据权利要求1所述的信息处理设备，

其中所述图像分析单元基于所述输入图像的元数据来分析所述输入图像的所述内容。

8.根据权利要求1所述的信息处理设备，

其中所述投影位置确定单元基于存在于所述投影空间中的用户的位置来改变所确定的所述输入图像的所述投影区域。

9.根据权利要求1所述的信息处理设备，还包括：

空间结构分析单元，被配置为分析在其上投影所述输入图像的空间的空间结构；以及

控制单元，被配置为基于所分析的空间结构和所述输入图像的所述投影区域来控制所述投影设备的设置。

10.根据权利要求9所述的信息处理设备，

其中所述控制单元根据用户的偏好改变所述投影设备的所述设置。

11.根据权利要求3所述的信息处理设备，还包括：

情感视频处理单元，被配置为基于作为所述输入图像显示的内容的特征量，生成要在所述输入图像周围显示的情感视频。

12.根据权利要求11所述的信息处理设备，

其中所述情感视频处理单元包括：

原始图像获取单元，被配置为基于所述内容的所述特征量来提取包括在所述内容中的运动信息，并且基于所述运动信息来获取用于生成所述情感视频的原始图像；

色彩确定单元，被配置为基于所述内容的整个图像的色调来确定所述情感视频的色彩；以及

情感图像生成单元，配置为基于所获取的原始图像和所述情感视频的所述色彩来生成所述情感视频。

13.根据权利要求12所述的信息处理设备，

其中所述原始图像获取单元基于所述内容的图像的所述运动信息，从包括要选择的多个原始图像的原始图像组获取在特征点上与所述内容的图像具有高相似度的原始图像。

14.根据权利要求11所述的信息处理设备，还包括：

情感视频切换确定单元，被配置为分析所述内容的场景变化并确定切换所述情感视频。

15.根据权利要求11所述的信息处理设备，

其中所述图像生成单元基于所述输入图像和所述情感视频来生成所述输出图像。

16.一种信息处理方法，该方法包括：

分析由投影设备投影的输入图像的内容；以及

基于通过分析所述输入图像获得的分析结果来确定投影空间中由所述投影设备在其上投影所述输入图像的投影区域。

17.一种程序，其用于使得计算机用作信息处理设备，该信息处理设备包括：

图像分析单元，被配置为分析由投影设备投影的输入图像的内容；以及

投影位置确定单元，被配置为基于通过分析所述输入图像获得的分析结果来确定投影空间中由所述投影设备在其上投影所述输入图像的投影区域。

18.一种图像显示系统，包括：

投影设备，被配置为投影图像；

图像分析单元，被配置为分析由所述投影设备投影的输入图像的内容；以及

投影位置确定单元，被配置为基于通过分析所述输入图像获得的分析结果来确定投影空间中由所述投影设备在其上投影所述输入图像的投影区域。