CN110892717A - 图像处理器和图像处理器的控制方法 - Google Patents

Abstract

生成立体图像中的不崩溃的视差图像。在基于用户的位置信息指定的全天球图像空间中的观看位置在距全天球图像的坐标系中的原点的预定距离的范围内的情况下，生成基于观看位置的视差图像，并且在全天球图像空间中的观看位置不在距全天球图像的坐标系中的原点的预定距离的范围内的情况下，将全天球图像空间中的观看位置移动到全天球图像空间的原点，并且生成视差图像。本公开内容可以应用于HMD。

Description

图像处理器和图像处理器的控制方法

技术领域

本公开内容涉及图像处理器和图像处理器的控制方法，具体地涉及可以生成基于用户的观看信息的视差图像的图像处理器和图像处理器的控制方法。

<相关申请的交叉引用>

本申请要求于2017年7月19日提交的日本优先权专利申请JP2017-140080的权益，其全部内容通过引用合并到本文中。

背景技术

近来，通过使用头戴式显示器(HMD)观看立体图像的技术引起了关注。

通过对HMD中的右眼和左眼中的每一个显示与存在视差的右眼和左眼中的每一个对应的图像并且通过允许用户观看图像来实现立体图像的观看。

这里，已知在使用HMD观看立体图像的情况下，在要观看的图像与实际主体的运动之间产生移位，因此，用户感觉到所谓的恶心。

因此，提出了下述技术：从内置在HMD中的运动传感器获得的位移信息(时间长度的量)被用作阈值，并且在观看点处检测到大于阈值并导致恶心的快速变化的情况下，将要显示的图像替换成适度改变的图像，因此，防止了由于使用HMD观看立体图像而引起的不舒服的感觉(参见专利文献1)。

引用列表

专利文献

专利文献1：JP 2010-266989A

发明内容

技术问题

然而，在实时显示立体图像的情况下，需要在显示器上反映要由HMD的运动传感器检测的位移信息的绝对量，因此，在在快速改变面部取向时将图像替换成适度图像的情况下，存在发生不舒服的感觉的担忧。

另外，存在对移动速率或移动角速度设置上限的方法，但是存在下述担忧：运动传感器的位置的绝对对应时的可操作性的优越性受损。

考虑到这种情况作出了本公开内容，并且特别地，能够生成基于用户的观看信息的立体图像的显示中的视差图像。

问题的解决方案

根据本公开内容的一个方面的图像处理器包括：图像生成单元，其被配置成：在用户的观看信息满足预定条件的情况下，使用由用户的观看信息指定的图像数据以预定模式生成与用户的右眼和左眼对应的右左两个图像，并且在用户的观看信息不满足预定条件的情况下，以与预定模式不同的另一预定模式生成与用户的右眼和左眼对应的右左两个图像。

在用户的图像数据的坐标系中的用户的观看方向满足预定条件的情况下，图像生成单元能够使用由用户的观看信息指定的图像数据以预定模式生成右左两个图像，并且在用户的图像数据的坐标系中的用户的观看方向不满足预定条件的情况下，图像生成单元能够以另一预定模式生成右左两个图像。

在观看方向在图像数据中的坐标系的预定仰角的范围内的情况下，图像生成单元能够使用由用户的观看方向指定的图像数据以预定模式生成右左两个图像，并且在观看方向不在图像数据中的坐标系的预定仰角的范围内的情况下，图像生成单元能够使用由用户的观看方向指定的图像数据以另一预定模式生成右左两个相同的图像。

右左两个图像是右左两个视差图像。

在观看方向在图像数据中的坐标系的预定仰角的范围内的情况下，图像生成单元能够使用由用户的观看方向指定的图像数据以预定模式生成右左两个图像，并且在观看方向不在图像数据中的坐标系的预定仰角的范围内的情况下，图像生成单元能够使用由用户的观看方向指定的图像数据以另一预定模式生成要水平反转的右左两个图像，或者以使得右左两个图像水平反转的方式生成右左两个图像。

右左两个图像可以是右左两个视差图像。

还可以设置被配置成检测观看方向的观看方向检测单元，该观看方向检测单元还能够包括：面部取向方向检测单元，其被配置成检测用户的面部取向方向；以及视线方向检测单元，其被配置成检测用户的视线方向，并且观看方向检测单元能够通过使用面部取向方向和视线方向来计算观看方向。

在用户的图像数据的坐标系中的用户的观看位置满足预定条件的情况下，图像生成单元能够使用由用户的观看信息指定的图像数据以预定模式生成右左两个图像，并且在用户的图像数据的坐标系中的用户的观看位置不满足预定条件的情况下，图像生成单元能够以另一预定模式生成右左两个图像。

在观看位置在距图像数据中的坐标系的原点的预定距离的范围内的情况下，图像生成单元能够使用基于用户的观看位置指定的图像数据以预定模式生成右左两个图像，并且在观看位置不在距图像数据中的坐标系的原点的预定距离的范围内的情况下，图像生成单元能够将用户的观看位置移位成图像数据中的坐标系的原点，并且使用基于经移位成原点的观看位置指定的图像数据以另一预定模式生成右左两个图像。

右左两个图像可以是右左两个视差图像。

图像生成单元能够将图像数据中的坐标系的原点逐渐移位到观看位置，并且能够使用基于经移位的观看位置指定的图像数据以另一预定模式生成右左两个视差图像。

图像生成单元能够以每个预定间隔将图像数据中的坐标系的原点逐渐移位到观看位置，并且使用基于经移位的观看位置指定的图像数据以另一预定模式生成右左两个视差图像。

图像生成单元能够以每个预定距离比将图像数据中的坐标系的原点逐渐移位到观看位置，并且使用基于经移位的观看位置指定的图像数据以另一预定模式生成右左两个视差图像。

图像生成单元能够在最短路径上将图像数据中的坐标系的原点逐渐移位到观看位置，并且能够使用基于经移位的观看位置指定的图像数据以另一预定模式生成右左两个视差图像。

在观看位置不在距图像数据中的坐标系的原点的预定距离的范围内的情况下，以及在用户的观看状态发生变化的情况下，图像生成单元能够将用户的观看位置移位成图像数据中的坐标系的原点，并且能够使用基于经移位成原点的观看位置指定的图像数据以另一预定模式生成右左两个视差图像。

在用户的观看状态发生变化的情况下，可以存在用户眨眼的定时、用户转身的定时以及用户点头的定时。

根据本公开内容的一个方面的图像处理器的控制方法是下述图像处理器的控制方法：在用户的观看信息满足预定条件的情况下，使用由用户的观看信息指定的图像数据以预定模式生成与用户的右眼和左眼对应的右左两个图像；以及在用户的观看信息不满足预定条件的情况下，以与预定模式不同的另一预定模式生成与用户的右眼和左眼对应的右左两个图像。

在本公开内容的一个方面中，在用户的观看信息满足预定条件的情况下，使用由用户的观看信息指定的图像数据以预定模式生成与用户的右眼和左眼对应的右左两个图像，并且在用户的观看信息不满足预定条件的情况下，以与预定模式不同的另一预定模式生成与用户的右眼和左眼对应的右左两个图像。

本发明的有益效果

根据本公开内容的一个方面，特别地，可以抑制在使用头戴式显示器(HMD)观看立体图像时产生的视差图像的崩溃，并且可以抑制恶心。

附图说明

[图1]图1是示出使用根据本公开内容的实施方式的HMD观看立体图像的图。

[图2]图2是示出使用根据本公开内容的实施方式的HMD观看立体图像的图。

[图3]图3是示出全天球图像的原点移动到观看位置的示例的图。

[图4]图4是示出根据本公开内容的实施方式的HMD系统的第一实施方式的配置示例的框图。

[图5]图5是示出确定视差图像中是否存在崩溃的方法以及抑制崩溃的方法的图。

[图6]图6是示出图4的HMD系统的显示处理的流程图。

[图7]图7是示出根据本公开内容的实施方式的HMD系统的第二实施方式的配置示例的框图。

[图8]图8是示出图7的HMD系统的显示处理的流程图。

[图9]图9是示出构成全天球图像的等距圆柱图像的图。

[图10]图10是示出根据观看方向在视差图像中存在崩溃或不存在崩溃的图。

[图11]图11是示出在视差图像崩溃的情况下，在图像中仅在仰角为90°的部分附近不提供视差的情况下的等距圆柱图像的图。

[图12]图12是示出根据本公开内容的实施方式的HMD系统的第三实施方式的配置示例的框图。

[图13]图13是示出图12的HMD系统的显示处理的图。

[图14]图14是示出图12的HMD系统的修改示例的图。

[图15]图15是示出根据本公开内容的实施方式的HMD系统的第一实施方式的应用示例的框图。

[图16]图16是示出全天球图像的原点逐渐移动到观看位置的示例的图。

[图17]图17是示出图15的HMD系统的显示处理的流程图。

[图18]图18是示出通用个人计算机的配置示例的图。

具体实施方式

在下文中，将参照附图详细描述本公开内容的优选实施方式。此外，在本文中以及在附图中，相同的附图标记应用于具有基本上相同的功能配置的组成部分，并且将省略重复的描述。

在下文中，将描述用于实施本技术的实施方式。将按以下顺序执行描述。

1.第一实施方式

2.第二实施方式

3.第三实施方式

4.第三实施方式的修改示例

5.第一实施方式的应用示例

6.由软件执行的示例

<<1.第一实施方式>>

<使用HMD观看立体图像>

使用头戴式显示器(HMD)观看立体图像通过下述方法来实现：对右眼和左眼根据佩戴HMD的用户的观看方向显示图像，从而产生视差，并且允许用户观看图像。

更具体地，例如，要用于使用HMD观看立体图像的图像被称为全天球图像，该图像是从预定原点位置在所有方向上成像的图像，并且包括具有视差的左眼图像和右眼图像。此外，全天球图像不限于成像的图像，而可以是包括计算机图形(CG)等的图像。

HMD检测佩戴HMD的用户在空间中的位置、面部取向和视线方向，并且通过使用从用户在全天球图像中的观看位置和观看方向指定的范围中的图像，显示要由左眼和右眼中的每一个观看的包括具有对应的合适视差的左眼图像和右眼图像的视差图像。

此外，这里，用户在全天球图像中的观看位置是用户在按照作为全天球图像的标准的原点位置(原点O)预先设置的坐标系中的位置。全天球图像空间中的位置与真实空间相关联，并且在指定了用户在真实空间中的位置信息的情况下，唯一地指定相关联的全天球图像空间的位置。因此，在下文中，全天球图像空间中的观看位置是与真实空间中的位置信息相关联的位置。

例如，图1中所示的用户H1和H2中的每一个佩戴HMD 11，并且认为图像被显示为好像对象B存在于与用户H1和H2在空间中的每个位置对应的预定位置处。

此外，在图1中，示出了对象B存在于用户H1和H2的前方的状态，但是在图1所示的状态中，在真实空间中对象B不存在于用户H1和H2的前方。但是通过佩戴HMD 11，用户H1和H2能够以如图1所示的位置关系观看对象B。

也就是说，在图1中示出了对象B存在于直接面向用户H1的面部取向方向F11的方向上。此时，如图1所示，用户H1的左眼EL的视线方向EL11和右眼ER的视线方向ER11二者都与面部取向方向F11处于平行关系。因此，如图2所示，平行于左眼EL的视线方向EL11和右眼ER的视线方向ER11并且包括作为起点的左眼EL与右眼ER之间的中间位置的视线方向E11是用户H1的观看方向。

此外，图2示出了从图1中的用户H1和H2的头部观察，面部取向方向F11和F21中的每一个与视线方向E11和E21中的每一个之间的关系。

另一方面，如图2所示，图1中的用户H2的面部取向方向F21是相对于与用户H1的面部取向方向F11平行的方向F11'在右方向上旋转了角度θ1的方向。另外，在图1的用户H2的左眼EL的视线方向EL21和右眼ER的视线方向ER21平行于图2的视线方向E21的情况下，视线方向E21是相对于面部取向方向F21在右方向上旋转了角度θ2的方向。然后，对象B存在于用户H2的视线方向E21中。

即，在用户H2的情况下，与图1的左眼EL的视线方向EL21和右眼ER的视线方向ER21平行并且包括作为起点的图2的左眼EL与右眼ER之间的中间位置的视线方向E21是用户H2的观看方向。

如图1和图2所示，用户H1的视线方向E11与用户H2的视线方向E21处于彼此形成角度(θ1+θ2)的关系。

HMD 11根据每个用户H1和H2的位置以及从全天球图像的每个位置处的观看方向来切割出图像，并且将图像显示为使得产生视差的左眼图像和右眼图像。用户H1和H2根据每个位置和每个观看方向用右眼和左眼中的每一个观看要被显示的右眼图像和左眼图像中的每一个，因此，能够将图像中的每一个视为立体图像。

然而，例如，全天球图像是从作为观察点等的标准的观看点(原点)成像的一组或多组图像。另外，在构成图像的像素单元中，全天球图像能够包括深度信息或者能够单独应用对应的深度信息，该深度信息是距观看位置的距离的信息。例如，具有相同定义或不同定义的深度图像、包括深度信息的点组数据等被认为是深度信息。为了使用包括深度信息的全天球图像来生成和显示观看图像，必须基于用户的位置信息和观看方向的信息来指定在对应的全天球图像中的观看位置，指定在从观看位置观察观看方向时在全天球图像中可以观看的范围，使用指定的范围的图像，并且生成和显示包括左眼图像和右眼图像的具有合适视差的视差图像。此外，在本文中，将通过使用包括像素单元中的深度信息的图像作为示例来描述全天球图像。这里，显然可以单独应用深度信息。

<全天球图像的坐标转换>

例如，如图3的左侧部分中的示例St1所示，在预定空间中佩戴HMD11的用户的观看位置和观看方向是与作为全天球图像的标准的位置的原点位置O一致的理想观看位置G1并且图中的箭头方向是观看方向的情况下，生成其中预定对象BL和BR在全天球图像中以理想状态布置的图像P1作为观看图像。在图像P1中，与对象BL和BR对应的图像对象BL1和BR1存在于图像P1中的大致中心附近。

此外，在图3的示例St1中的左侧部分的分布图中，X轴表示全天球图像中的水平方向，Z轴表示由深度信息表示的深度方向。因此，在全天球图像中，Y轴是图中的纸前方的方向。也就是说，在图3的左侧部分中，示出了通过将图像平面在相对于图中的纸的竖直方向上竖立而从上侧观察由全天球图像表示的局部范围的图像时的观看位置与对象BL和BR相对于观看位置在图像中的水平方向和深度方向上的位置之间的位置关系。

即，在图3中，当作为全天球图像的标准位置的原点位置O被设置为观看位置G1时，要观看的图像被表示为图像P1。此外，在图像P1和P2中，水平方向是X轴，并且竖直方向是Y轴。

相反，在用户的观看位置是从原点O在图3的左侧部分的右上方向上移位的观看位置G2并且图中的箭头方向是观看方向的情况下，生成存在预定对象BL和BR的图像P2作为观看图像。在图像P2中，与对象BL和BR对应的图像对象BL2和BR2存在于图像P2中的左端部附近。

也就是说，在图像P2中，使用对象BL和BR的信息通过插值处理来布置图像对象BL2和BR2。因此，在原点O(＝G1)与观看位置G2之间的位置偏移小于预定值的情况下，图像中的视差失调的影响小，而在原点O(＝G1)与观看位置G2之间的位置偏移大于预定值的情况下，视差大幅改变，因此，存在在观看图像(视差图像)时图像崩溃的担忧。

因此，在本公开内容的HMD 11中，在原点O(＝G1)与观看位置G2之间的位置偏移大于预定值的情况下，如图3的右侧部分的示例St2所示，执行坐标转换，使得全天球图像中的观看位置G2为原点O。执行坐标转换，因此，当用户处于原点O(＝G1)时，在用户的观看位置G2处对象BL'与BR’之间的位置关系类似于对象BL与BR之间的位置关系，因此，可以生成理想的观看图像，并且抑制了观看图像(视差图像)的崩溃。

<本公开内容的HMD系统的第一实施方式的配置示例>

图4示出了本公开内容的HMD系统的第一实施方式的配置示例。图4的HMD系统包括HMD 11和图像处理器12。

如参照图1至图3所述，HMD 11被安装在用户的头上，检测位置信息，即用户头部的位置和观看方向，并且将检测到的位置信息和观看方向发送到图像处理器12。

图像处理器12存储全天球图像，根据全天球图像通过插值生成具有与从HMD 11发送的位置信息和观看方向对应的合适视差的左眼图像和右眼图像，并且将图像发送到HMD11。

HMD 11接收具有与从图像处理器12发送的位置信息和观看方向对应的合适视差的左眼图像和右眼图像，并且允许用户观看图像。此外，在下文中，根据使用全天球图像的呈现，基于位置信息和观看方向的具有对应的合适视差的左眼图像和右眼图像也简称为视差图像。

根据这样的配置，佩戴HMD 11的用户能够根据用户的面部取向方向和视线方向，用右眼和左眼观看具有合适视差的全天球图像，并且能够享受观看由全天球图像代表的空间的感觉。

更具体地，HMD 11包括控制单元31、观看方向检测单元32、位置检测单元33、通信单元34、显示单元35和音频输出单元36。

控制单元31控制HMD 11的整体操作。

观看方向检测单元32检测佩戴HMD 11的用户(观看者)的观看方向，并且将检测到的观看方向输出到控制单元31。

更具体地，观看方向检测单元32包括面部取向检测单元41和视线方向检测单元42，控制面部取向检测单元41和视线方向检测单元42中的每一个以检测面部取向方向和视线方向，根据检测到的面部取向方向和视线方向计算观看方向，并且将计算出的观看方向输出到控制单元31。

面部取向检测单元41例如包括运动传感器等，并且检测佩戴HMD 11的用户的面部取向方向。具体地，面部取向方向是指向安装以覆盖用户的眼睛的HMD 11朝向的方向，并且例如分别是与图2中的用户H1和H2的面部取向方向F11和F21对应的方向。

也就是说，HMD 11检测HMD 11的前方方向作为面部取向方向，该面部取向方向是直接面向面部的中心(例如佩戴HMD 11的用户的眉心)的方向。例如，面部取向方向被检测为HMD 11的前方方向相对于作为诸如北方方向的标准方向的角度。

视线方向检测单元42例如包括对佩戴HMD 11的用户的眼球进行成像的相机等，并且基于由相机成像的眼球的运动来检测视线方向。视线方向例如是图2中的用户H1和H2的视线方向E11和E12，并且检测HMD11的前方方向(即，视线指向的方向相对于诸如面部取向方向的标准方向的角度作为视线方向)。

观看方向检测单元32计算由面部取向检测单元41获得的面部取向方向的观看方向以及由视线方向检测单元42获得的视线方向。更具体地，视线方向检测单元32根据作为图2的用户H2的面部取向方向F21的角度θ1以及作为视线方向E21的角度θ2计算角度θ1和角度θ2之和的角度(θ1+θ2)作为用户H2的观看方向，并且将计算出的角度输出到控制单元31。

位置检测单元33检测HMD 11的位置信息作为用户的位置信息，并且将检测到的位置信息输出到控制单元31。位置检测单元33可以具有任何配置，只要可以检测到HMD11在真实空间中的位置即可。也就是说，位置检测单元33例如可以包括全球定位系统(GPS)等，并且可以检测包括地球上的纬度和经度的位置信息。另外，位置检测单元33可以包括对HMD11的周边成像的成像装置、计算装置、方向检测装置等，计算装置可以预先存储周边对象的位置信息，并且可以根据成像装置的成像方向与成像图像中的周边对象之间的位置关系计算HMD 11的位置信息。

控制单元31控制通信单元34使用无线局域网(LAN)、蓝牙(Bluetooth，注册商标)等执行通信，将从观看方向检测单元32输入的安装有HMD 11的观看方向的信息与从位置检测单元33输入的HMD 11的位置信息进行组合，并且使通信单元34将所组合的信息发送到图像处理器12。

另外，控制单元31控制通信单元34，并且接收从图像处理器12发送的基于HMD 11的位置信息和观看方向的信息的视差图像。此时，可以包括与视差图像对应的音频数据。

此外，控制单元31在显示单元35上显示要用佩戴HMD 11的用户的左眼观看的左眼图像，并且在显示单元35上显示要用佩戴HMD 11的用户的右眼观看的右眼图像。此时，在包括音频数据的情况下，控制单元31可以从诸如扬声器或耳机的音频输出单元36输出音频。

显示单元35包括有机电致发光(EL)、液晶显示器(LCD)等，包括用于显示要用左眼观看的左眼图像的用于左眼的显示部(未示出)以及用于显示要用右眼观看的右眼图像的用于右眼的显示部(未示出)，并且将配置从控制单元31提供的视差图像的左眼图像和右眼图像分别显示在用于左眼的显示部和用于右眼显示部上。

用户佩戴HMD 11，用左眼观看在显示单元35中的用于左眼的显示部上显示的左眼图像，并用右眼观看在显示单元35中的用于右眼的显示部上显示的右眼图像，因此，用户能够根据左眼图像与右眼图像之间的视差来观看立体图像。此时，显示根据安装在用户上的HMD 11的运动的图像，因此，用户能够享受观看由全天球图像表示的空间的感觉。

图像处理器12包括控制单元51、通信单元52、呈现单元53和内容存储单元54。

控制单元51控制图像处理器12的整体操作。另外，控制单元51控制通信单元52使用无线局域网(LAN)、蓝牙(Bluetooth，注册商标)等执行通信，并且使通信单元52接收从HMD 11提供的HMD 11的位置信息和观看方向的信息。控制单元51给出指令，使得从HMD 11接收的HMD11的位置信息和观看方向的信息被输出到呈现单元53，并且生成对应的视差图像。

内容存储单元54存储包括全天球图像的内容，并且根据需要将内容提供给呈现单元53。在内容存储单元54中，在存在包括所存储的全天球图像的多个内容并且包括HMD 11的位置信息和观看方向的信息的情况下，控制单元51可以将指定预先存储的多个内容的信息组合在内容存储单元54中，并且将组合的信息输出到呈现单元53。

呈现单元53读出存储在内容存储单元54中的内容的全天球图像的数据，基于从控制单元51提供的位置信息和观看方向的信息，根据呈现生成视差图像，并且将所生成的视差图像输出到控制单元51。在内容中包括音频数据的情况下，呈现单元53还将音频数据输出到控制单元51。

更具体地，呈现单元53包括观看位置确定单元61和呈现计算单元62。

当使用全天球图像的原点位置(下文中，也称为原点O)作为标准根据呈现生成与观看位置和观看方向对应的视差图像时，观看位置确定单元61基于佩戴HMD 11的用户的位置信息来确定所生成的视差图像中是否存在崩溃，并且将确定结果提供给呈现计算单元62。

更具体地，如图5的左侧部分所示，观看位置确定单元61根据用户在全天球图像中的观看位置是否在由图中的虚线表示的相对于原点O距原点O的预定距离内的范围Z11内，基于作为每个像素单元中的被测体距离的全天球图像的深度信息来确定视差图像中是否存在崩溃。此外，例如，根据诸如应用程序的条件来设置范围Z11的半径。因此，即使在相同的观看位置处，是否存在崩溃因应用程序而异。

例如，如图5的左侧部分中的观看位置G11所示，在观看位置在范围Z11之外的情况下，认为发生视差图像的崩溃。

另一方面，例如，在观看位置在范围Z11内的情况下，认为可以根据呈现插值生成具有合适视差的视差图像，因此，认为不会发生崩溃。

呈现计算单元62基于观看位置确定单元61的确定结果来指定与位置信息和观看方向的信息对应的全天球图像中的观看位置，根据在从指定的观看位置观察观看方向时使用全天球图像的范围中的图像的呈现生成具有合适视差的视差图像，并且将所生成的视差图像输出到控制单元51。

更具体地，在观看位置确定单元61的确定结果是指示与相对于指定的全天球图像的观看位置和观看方向对应的视差图像中不存在崩溃的结果的情况下，呈现计算单元62使用全天球图像的原点位置(图3中的原点O)作为标准，基于位置信息来指定与坐标系对应的观看位置，指定在从观看位置观察观看方向时全天球图像的范围，根据呈现插值生成指定范围内的视差图像，并且将生成的视差图像输出到控制单元51。

另一方面，例如，在观看位置确定单元61的确定结果是指示存在崩溃的结果的情况下，呈现计算单元62将基于位置信息指定的观看位置移动到全天球图像的原点位置(图3中的原点O)，指定在观察观看方向时全天球图像的范围，并且根据呈现生成指定范围内的视差图像。

如上所述，在确定存在崩溃的情况下，如图5的右部所示，在全天球图像中坐标系的当前观看位置G11经历坐标转换以与全天球图像中的原点O一致。

根据这样的坐标转换，从全天球图像的坐标系中的观看位置观察观看方向时的图像可以理想地布置为如图3的图像P1中的对象BL1和BR1所示，可以防止崩溃，并且可以根据呈现生成包括左眼图像和右眼图像的具有合适视差的视差图像。

<图4的HMD系统的显示处理>

接下来，将参照图6的流程图描述图4的HMD系统的显示处理。

在步骤S11中，位置检测单元33检测HMD 11的位置信息，并且将检测到的位置信息输出到控制单元31。

在步骤S12中，观看方向检测单元32控制视线方向检测单元42，并且例如，使视线方向检测单元42根据通过对佩戴HMD 11的用户的眼球成像而获得的图像检测用户的视线方向。

在步骤S13中，观看方向检测单元32控制面部取向检测单元41，并且例如，通过使用运动传感器等检测安装在用户上的HMD 11的方向，使面部取向检测单元41检测用户的面部取向方向。

在步骤S14中，观看方向检测单元32通过使用检测到的视线方向和检测到的面部取向方向来计算观看方向，并且将计算出的观看方向输出到控制单元31。

在步骤S15中，控制单元31控制通信单元34，并且使通信单元34将从观看方向检测单元32提供的观看方向的信息以及与从位置检测单元33提供的位置信息组合的信息发送到图像处理器12。

在步骤S31中，图像处理器12的通信单元52接收从HMD 11发送的HMD 11的位置信息和观看方向的信息，并且将所接收的信息输出到控制单元51。控制单元51将所获取的HMD11的位置信息和所获取的观看方向的信息输出到呈现单元53。

在步骤S32中，呈现单元53控制观看位置确定单元61，使观看位置确定单元61基于位置信息和观看方向的信息来获得全天球图像中的观看位置，该观看位置是与根据呈现计算单元62的呈现的位置信息对应的内容，根据所获得的观看位置确定视差图像中是否存在崩溃。

也就是说，如参照图5所述，例如，观看位置确定单元61基于例如观看位置是否处于距原点O的预定范围Z11中来确定是否存在崩溃。

在步骤S32中，在确定存在崩溃的情况下，处理进入步骤S33。

在步骤S33中，呈现单元53执行坐标转换，使得作为内容的全天球图像中的坐标系的原点O被移位到相对于呈现计算单元62的观看位置。

在步骤S34中，呈现单元53控制呈现计算单元62，并且使呈现计算单元62从内容存储单元54读出包括全天球图像的数据的内容。

在步骤S35中，呈现单元53控制呈现计算单元62，并且使呈现计算单元62通过使用在从作为内容的全天球图像中的观看位置观察观看方向时的范围内的图像根据呈现来插值生成视差图像，并且将生成的视差图像输出到控制单元51。

在步骤S36中，控制单元51控制通信单元52，并且使通信单元52将根据呈现来插值生成的视差图像发送到HMD 11。

此外，在步骤S32中，在确定不存在崩溃的情况下，跳过步骤S33的处理。也就是说，在不存在崩溃的情况下，使用全天球图像中的原点O作为标准，根据从坐标系中的观看位置相对于观看方向指定的图像的呈现来插值生成视差图像。

在步骤S15中，控制单元31控制通信单元34，并且使通信单元34接收基于从图像处理器12发送的观看方向和位置信息的视差图像。

在步骤S16中，控制单元31在显示单元35上显示所接收的视差图像，并且允许用户分别使用用户的左眼和右眼观看左眼图像和右眼图像。

在步骤S17中，操作操作单元(未示出)，因此，控制单元31确定是否指示了处理的结束。

在步骤S17中，在未指示结束的情况下，处理返回到步骤S11，并且重复随后的处理，并且在指示结束的情况下，处理结束。

另外，在步骤S36的处理结束的情况下，在步骤S37中，控制单元51确定是否指示了结束，并且在确定未指示结束的情况下，处理返回到步骤S31，并且重复随后的处理。然后，在步骤S37中，指示处理结束，并且结束处理。

根据上述处理，在根据HMD11的位置信息获得的基于全天球图像中的观看位置确定根据呈现生成的视差图像中存在崩溃的情况下，执行坐标转换，使得在生成视差图像时全天球图像中的观看位置被移位到全天球图像中的原点位置，因此，可以抑制视差图像中的崩溃。

换言之，在观看位置在预定范围内的情况下，显示根据观看位置的视差图像，并且在观看位置在预定范围之外的情况下，通过切换成根据观看位置的视差图像来显示原点位置的视差图像。也就是说，在观看位置在预定范围内的情况下，作为第一模式，呈现单元53根据观看位置生成视差图像(正常视差图像)，并且在观看位置在预定范围之外的情况下，作为第二模式，生成原点位置的视差图像而不是观看位置的视差图像。作为其结果，通过根据观看位置切换模式来生成视差图像，因此，可以抑制视差图像中的崩溃。

<<2.第二实施方式>>

在以上描述中，描述了这样的示例：当生成视差图像时，基于与HMD11的位置信息对应的全天球图像中的观看位置来确定要插值生成的视差图像中是否存在崩溃，并且在认为存在崩溃的情况下，基于位置信息的全天球图像中的观看位置被移位到原点O，因此，抑制了视差图像中的崩溃。

然而，在确定视差图像中存在崩溃时基于HMD 11的位置信息和用户的观看方向的信息将全天球图像中的观看位置立即移位到原点位置，并且紧接在该定时之前生成不存在崩溃的视差图像的情况下，全天球图像中的观看位置快速改变，因此，存在由于观看立体图像引起的所谓的恶心的可能性。

因此，不是基于HMD 11的位置信息和用户的观看方向的信息在确定视差图像中存在崩溃时立即将全天球图像中的观看位置移动到原点位置，而是可以在用户观看立体图像事实上被暂时中断时(例如，当用户眨眼时)执行将全天球图像中的观看位置移动到原点位置的坐标转换。

图7示出了HMD系统的配置示例，在该HMD系统中，在确定视差图像中存在崩溃的情况下，仅在用户对立体图像的观看被暂时中断时(例如，当用户眨眼时)执行将全天球图像中的观看位置移动到原点位置的坐标转换。

在图7的HMD系统中，相同的附图标记应用于具有与图4的HMD系统的配置相同的功能的配置，并且将适当地省略其描述。

也就是说，图7的HMD系统与图4的HMD系统的不同之处在于，在HMD 11的观看方向检测单元32中提供检测用户的眨眼的眨眼检测单元91，并且在图像处理器12的呈现单元53中提供眨眼确定单元101。

例如，HMD11的观看方向检测单元32中的眨眼检测单元91通过使用在视线方向检测单元42中使用的用户的眼球的图像来检测存在或不存在眨眼，并且将检测结果输出到控制单元31。控制单元31控制通信单元34，并且使通信单元34将存在或不存在眨眼的信息连同位置信息和观看方向的信息一起发送到图像处理器12。

图像处理器12的呈现单元53中的眨眼确定单元101基于从HMD 11发送的存在或不存在眨眼的信息来确定存在或不存在眨眼，并且将确定结果输出到呈现计算单元62。

即使在生成视差图像时确定视差图像中存在崩溃的情况下，呈现计算单元62也不将全天球图像中的观看位置移动到原点O，而是在未检测到眨眼时根据呈现生成视差图像。也就是说，在这种情况下，视差图像崩溃的可能性高，但是可以防止由于观看位置的快速变化而发生的恶心。

另一方面，在生成视差图像时确定视差图像中存在崩溃的情况下，呈现计算单元62将全天球图像中的视点移动到原点位置(原点O)，并且在检测到眨眼时，根据呈现生成视差图像。也就是说，在这种情况下，在检测到眨眼时对立体图像的观看被暂时中断，然后，改变观看位置，因此，可以在防止由于观看立体图像而发生恶心的同时抑制视差图像的崩溃。

<图7的HMD系统的显示处理>

接下来，将参照图8的流程图描述图7的HMD系统的显示处理。

此外，图8的流程图中的步骤S51至S54和S57至S59的处理以及步骤S71、S72和S74至S78的处理类似于图6的流程图中的步骤S11至S14和S16至S18的处理以及步骤S31至S37的处理，并且将省略其描述。

即，在步骤S55中，眨眼检测单元91基于被成像的眼球的图像来检测存在或不存在眨眼，以在视线方向检测单元42中检测视线方向，并且将检测结果输出到控制单元31。

在步骤S56中，控制单元31控制通信单元34，并且使通信单元34将其中组合了从观看方向检测单元32提供的观看方向的信息、从位置检测单元33提供的位置信息以及从眨眼检测单元91提供的存在或不存在眨眼的信息的信息发送到图像处理器12。

另外，在步骤S72中，在基于位置信息指定的全天球图像中的观看位置在预定范围之外并且认为在视差图像中存在崩溃的情况下，在步骤S73中，眨眼确定单元101确定是否存在眨眼。

在步骤S73中，在确定检测到眨眼的情况下，处理进入步骤S74。

在步骤S74中，呈现计算单元62执行坐标转换，使得基于位置信息的观看位置被移位到全天球图像中的原点O。

另外，在步骤S73中，在认为未检测到眨眼的情况下，跳过步骤S74的处理，并且通过在观看位置处观察观看方向时指定的范围内的图像来生成视差图像，而不将观看位置移动到原点O。

根据上述处理，即使在要根据呈现来插值生成的视差图像中存在崩溃的情况下，根据全天球图像中的观看位置，观看位置也被移位到原点O，并且仅在检测到眨眼时根据呈现来插值生成视差图像，因此，仅当用户眨眼时，可以插值生成其中观看位置被切换到原点O的视差图像，并且防止在观看立体图像时由于观看位置的快速变化而发生的恶心。

换言之，在观看位置在预定范围内或者没有眨眼的情况下，显示根据观看位置的视差图像，并且在观看位置在预定范围之外并且存在眨眼的情况下，通过切换成观看位置的视差图像来显示原点位置的视差图像。也就是说，在观看位置在预定范围内或者没有眨眼的情况下，作为第一模式，呈现单元53生成根据观看位置的视差图像(正常视差图像)，并且在观看位置在预定范围之外并且存在眨眼的情况下，作为第二模式，生成原点位置的视差图像而不是观看位置的视差图像。作为其结果，通过根据观看位置以及存在或不存在眨眼来切换模式以生成视差图像，因此，可以防止视差图像的崩溃或者发生由于观看立体图像而导致的恶心。

此外，在以上描述中，描述了这样的示例：在视差图像崩溃并且检测到眨眼时将观看位置移位到原点O，但是在用户对全天球图像的观看被暂时中断时，其他定时可以被用于定时，并且例如，该定时可以是用户突然并且大幅度地转身时的定时，用户大幅度地上下摇动他的脖子时的定时等。

<<3.第三实施方式>>

在以上描述中，描述了这样的示例：基于基于位置信息的全天球图像中的观看位置是否在预定范围内以及存在或不存在眨眼，根据在视差图像中是否存在崩溃的确定结果来执行坐标转换，使得观看位置被移位到原点，因此，抑制了视差图像中的崩溃，并且抑制了由于观看立体图像而发生恶心。

然而，通常，通过将仰角设置为恒定为0度并且通过将方位角从0度改变为360度而成像的图像被通常用作全天球图像。在这种情况下，例如，全天球图像是如图9所示的图像。在图9中，图中的上侧是左眼图像的等距圆柱图像L，而图中的下侧是右眼图像的等距圆柱图像R。在每个图像中，竖直方向上的位置指示仰角，水平方向上的位置指示方位角。

另外，等距圆柱图像L和R分别包括相同的对象BP和BE。其中，对象BE被显示在仰角为0度的部分附近，而对象BP被显示在仰角为90度的部分附近。

此外，在等距圆柱图像L和R的对象BP和BE中设置移位d，以产生视差。

然而，靠近仰角为90度的部分的位置处的图像容易崩溃，因此，即使在设置了移位d的情况下，也产生视差图像，并且存在发生崩溃的担忧。

因此，如图10的左侧部分所示，例如，在使用作为观看者的用户的眼睛E作为标准的观看方向E31的仰角(即，使用作为对全天球图像成像的成像装置的成像方向的水平方向作为标准的观看方向E31的仰角)在包括水平方向的预定范围Z1内的情况下，可以认为视差图像中不存在崩溃。

另外，如图10的右部所示，在使用作为观看者的用户的眼睛E作为标准的观看方向E31的仰角(即，使用作为对全天球图像成像的成像装置的成像方向的水平方向作为标准的观看方向E31的仰角)在预定范围Z1之外情况下，可以认为视差图像中存在崩溃。

因此，关于观看方向的相对于全天球图像的仰角，观看位置确定单元61认为当观看方向E31在包括水平方向的范围Z1内时不存在崩溃，并且认为当观看方向E31在范围Z1之外时存在崩溃。

例如，在图10的预定范围Z1是图9的仰角范围-φ101至-φ101的情况下，认为视差图像中不存在崩溃。因此，在不担心视差图像中的崩溃的情况下，如图11所示，为了生成视差图像，在等距圆柱图像L和R中的每个的对象BE中设置移位d，以生成视差图像。

另外，例如，如图10的右部所示，当观看方向E31在预定范围Z1之外时，即，观看方向在仰角范围-φ101至-φ101之外时，认为视差图像中存在崩溃。因此，在担心视差图像中存在崩溃的情况下，在等距圆柱图像L和R中的每个的对象BP中不设置移位d，以生成不具有视差的图像。

因此，在观看方向的仰角小并且在视差图像中不存在崩溃的情况下，设置了移位d，因此，生成具有合适视差的视差图像。另外，在观看方向的仰角向上宽和向下宽并且视差图像中存在崩溃的情况下，不设置移位d，并且生成不具有视差的图像，因此，可以抑制在视差图像中发生崩溃，并且可以抑制由于观看立体图像而发生恶心。

<第三实施方式的HMD系统的配置示例>

图12示出了HMD系统的配置示例，在该示例中，在仰角宽并且在视差图像中存在崩溃的情况下，根据观看方向的仰角，生成不具有视差的图像。此外，在图12的HMD系统中，相同的附图标记应用于具有与图4的HMD系统的配置的功能类似的功能的配置，并且将适当地省略其描述。

也就是说，图12的HMD系统与图4的HMD系统的不同之处在于，设置了观看方向确定单元141和呈现计算单元142来代替观看位置确定单元61和呈现计算单元62。

观看方向确定单元141基于观看方向，基于观看方向的仰角是否是比预定范围Z1(图11的-φ101至φ101)更宽的仰角来确定在视差图像中是否存在崩溃，并且将确定结果提供给呈现计算单元142。

呈现计算单元142基本上具有与呈现计算单元62的功能类似的功能，并且在视差图像中不存在崩溃的情况下，基于观看方向确定单元141，根据与呈现计算单元62的功能相同的功能生成视差图像。另外，在作为观看方向确定单元141的确定结果而认为视差图像中存在崩溃的情况下，呈现计算单元142根据呈现插值生成左眼图像和右眼图像作为不具有视差的相同图像。

<图12的HMD系统的显示处理>

接下来，将参照图13的流程图描述图12的HMD系统的显示处理。此外，图13的流程图中的步骤S91至S98的处理以及步骤S111和S115至S117的处理类似于图6中的步骤S11至S18的处理以及步骤S31和S35至S37的处理，因此，将省略其描述。

即，在步骤S112中，呈现计算单元142读出存储在内容存储单元54中的包括全天球图像的内容的数据。

在步骤S113中，观看方向确定单元141基于观看方向的仰角是否是比预定范围Z1(-φ101至φ101)更宽的仰角来确定视差图像中是否存在崩溃。

在步骤S113中，在确定观看方向的仰角比预定范围Z1(-φ101至φ101)更宽并且在视差图像中存在崩溃的情况下，处理进行到步骤S114。

在步骤S114中，呈现计算单元142基于位置信息和观看方向的信息来指定全天球图像中的观看位置以及在观看位置处在观看方向上的图像的范围，并且根据呈现插值生成不具有视差的左眼图像和右眼图像。

另一方面，在步骤S113中，在确定观看方向的仰角在预定范围内并且在视差图像中不存在崩溃的情况下，处理进行到步骤S115，并且呈现计算单元142基于位置信息和观看方向的信息来指定全天球图像中的观看位置以及在从观看位置观察观看方向时的图像的范围，并且根据呈现插值生成视差图像。

根据上述处理，在观看方向的仰角在上下方向上接近90度的情况下，认为在视差图像中存在崩溃，并且生成不具有视差的左眼图像和右眼图像，并且在观看方向的仰角接近0度的情况下，认为在视差图像中不存在崩溃，并且生成视差图像。

换言之，在观看方向的仰角在上下方向上接近0度的情况下，显示根据观看位置的视差图像，而在观看方向的仰角在上下方向上接近90度的情况下，切换并显示不具有视差的右图像和左图像。也就是说，在观看方向的仰角在上下方向上接近0度的情况下，作为第一模式，呈现单元53根据观看位置生成视差图像(正常视差图像)，而在观看方向的仰角在上下方向上接近90度的情况下，作为第二模式，生成不具有视差的右图像和左图像。

作为其结果，切换根据观看方向的仰角来生成视差图像的模式，因此，可以根据观看方向的仰角根据呈现插值生成不具有崩溃的视差图像，并且抑制由于观看立体图像而发生的恶心。

<<4.第三实施方式的修改示例>>

在全天球图像中，在等距圆柱图像中的仰角在-φ101至φ101的范围之外的情况下，即，不具有视差的相同图像被用作仰角在接近90度的范围内的视差图像的左眼图像和右眼图像。

也就是说，如图14的右部所示，在观看方向的仰角φ在-φ101至φ101的范围内的热带NL到SL的范围内，在视差图像中不存在崩溃，并且生成其中在图9的等距圆柱图像L和R中的每个中由对象BE设置移位d的视差图像。

此外，在图14中，示出了其中在球体中形成全天球图像的示例。

另外，观看方向的仰角φ在-φ101至φ101的范围之外，即仰角从图14的热带NL接近90度，并且例如，在极点NP的范围内使用如图14的左侧部分所示的一个圆形图像，并且通过使用该一个图像生成视差图像。此外，在下文中，来自热带NL的顶点NP附近的范围的图像也将被称为极地图像NP。另外，仰角从热带SL接近90度，并且类似地，在到极点SP的范围内使用一个图像。

这里，认为插值生成在仰角为0度的部分附近的圆周EL上的图像PL1(图中的三角形)和图像PR1(图中的圆形)作为用于从观看点eL1和eR1观看的视差图像的左眼图像和右眼图像。此时，如点划线的箭头所示，从观看点eL1和eR1的观看方向的仰角移动以逐渐增加到90度。

类似地，认为图像PL1和PR1被设置在方位角约为180度的相对侧，图像PL2和PR2被设置在仰角为0度的部分附近，并且插值生成图像作为用于从观看点eL2和eR2观看的视差图像的左眼图像和右眼图像的视差图像。此时，认为从点划线所示的观看点eL2和eR2的观看方向的仰角移动以逐渐增加到90度。

然后，如图14的左侧部分所示，在极地图像NP中，在从观看点eL1和eR1的观看方向的仰角接近90度的情况下，在极地图像NP中，视差图像被生成为图像PR1'和PL1'。另一方面，在极地图像NP中，在从观看点eL2和eR2的观看方向的仰角接近90度的情况下，在极地图像NP中，视差图像被生成为图像PR2'和PL2'。

然后，在观看方向是90度的情况下，基于来自观看点eL1和eR1的观看方向的视差图像、以及用于配置基于来自观看点eL2和eR2的观看方向的视差图像的左眼图像和右眼图像两者是图像NP1和NP2，并且可以是相同的。然而，在两个视差图像中，右视差图像和左视差图像是不同的。

因此，在观看方向的仰角从热带NL接近90度的情况下，即，在极地图像NP用于插值生成视差图像的情况下，呈现计算单元142可以根据观看方向的运动来交换右视差图像和左视差图像。

换言之，在观看方向的运动是第一运动的情况下，显示包括左眼图像(左眼图像包括第一图像)和右眼图像(右眼图像包括第二图像)的视差图像，并且在观看方向的运动是第二运动的情况下，显示包括左眼图像(左眼图像包括第二图像)和右眼图像(右眼图像包括第一图像)的视差图像。也就是说，在观看方向的运动是第一运动的情况下，作为上述第二模式中的第一导出模式，呈现单元53生成包括左眼图像(左眼图像包括第一图像)和右眼图像(右眼图像包括第二图像)的视差图像，并且在观看方向的运动是第二运动的情况下，作为上述第二模式中的第二导出模式，生成包括左眼图像(左眼图像包括第二图像)和右眼图像(右眼图像包括第一图像)的视差图像。作为其结果，切换生成视差图像的模式，以根据观看方向的运动交换左眼图像和右眼图像，因此，可以抑制视差图像中的崩溃或者由于观看立体图像而导致的恶心。

此外，在以上描述中，描述了下述示例：用于配置所生成的视差图像的左眼图像和右眼图像被一次交换，但是可以生成使得视差图像的右左配置交换的左眼图像和右眼图像。

此外，在这种情况下，HMD系统的配置可以与图12的配置相同，并且在显示处理中，可以执行使得交换(反转)右视差图像和左视差图像的处理，而不是执行在关于图13的流程图的步骤S114的处理中生成不具有视差的图像的处理，因此，将省略详细描述。另外，在交换(反转)右视差图像和左视差图像的情况下，可以插值生成并且交换视差图像，或者可以交换预先插值生成的右视差图像和左视差图像。

<<5.第一实施方式的应用示例>>

在第一实施方式中，描述了下述示例：在确定视差图像中存在崩溃的情况下，基于位置信息的全天球图像中的观看位置被移位到原点O，因此，生成不存在崩溃的视差图像，但是在基于位置信息的全天球图像中的观看位置与原点O之间的距离大的情况下，要被显示为视差图像的位置大幅改变，因此，存在在显示时发生不舒服的感觉的担忧。

因此，在确定在视差图像中存在崩溃的情况下，在基于位置信息的全天球图像中的观看位置与原点O之间的每个预定距离处逐渐执行移动，并且抑制观看位置的快速变化，因此，可以抑制发生不舒服的感觉，并且可以抑制发生恶心。

图15示出了HMD系统的配置示例，在该配置示例中，在确定在视差图像中存在崩溃的情况下，可以在基于位置信息的全天球图像中的观看位置与原点O之间的每个预定距离处逐渐地执行移动。

图15的HMD系统与图4的HMD系统的不同之处在于，在呈现单元53中新设置了原点移动模式控制单元171。

在确定视差图像崩溃的情况下，原点移动模式控制单元171将原点移动模式设置为处于开启状态，并且在确定视差图像未崩溃的情况下，原点移动模式控制单元171将原点移动模式设置为关闭状态。

在原点移动模式处于开启状态的情况下，呈现计算单元62将基于位置信息的全天球图像中的观看位置在最短路径上以预定距离逐渐移动到原点O。然后，使用被指定为经移动的观看位置中的观看方向的范围的全天球图像，重复根据呈现插值生成视差图像的处理。

也就是说，如图16所示，在基于位置信息的全天球图像中的观看位置是观看位置G32并且全天球图像的原点O是位置G31的情况下，有必要将原点O移动到位置G32，因此抑制了视差图像中的崩溃。

然而，在位置G31与G32之间的距离大于预定距离的情况下，当原点O从位置G31移动到位置G32时，在要生成的视差图像中不存在崩溃，但是显示其中全天球图像中的观看位置大幅改变的图像。

因此，在作为基于位置信息的观看位置的位置G32与作为原点O的位置G31被分开大于预定距离的情况下，原点O沿着从位置G31到位置G32的最短路径以每个预定距离逐渐移动。也就是说，在初始处理中，呈现计算单元62将全天球图像中的原点O的位置在从位置G31朝向位置G32的路径上以距离t移动到位置M1，并且使用经移动的观看位置作为标准来插值生成视差图像。然后，在下一处理中，呈现计算单元62将全天球图像中的原点O的位置以距离t从位置M1移动到位置M2，并且使用经移动的观看位置作为标准来插值生成视差图像。此外，在下一处理中，呈现计算单元62将全天球图像中的原点O的位置以距离t从位置M2移动到位置M3并且使用经移动的观看位置作为标准来插值生成视差图像。

在原点移动模式处于开启的情况下，呈现计算单元62重复类似的处理，并且最后将原点O从位置G31移动到位置G32。

根据这样的处理，作为基于位置信息的全天球图像中的观看位置的原点O以每个预定距离t逐渐移动靠近位置G32，并且在观看位置是原点O的情况下，在视差图像中不存在崩溃，因此，原点移动模式被关闭，并且返回到使用与位置信息对应的观看位置作为标准的正常插值生成。

作为其结果，即使在观看位置与原点O分开大于或等于预定距离的状态下在视差图像中出现崩溃的情况下，原点O也以每个预定距离相对于观看位置逐渐偏移，因此，可以抑制要根据呈现插值生成的视差图像中的大的变化，并且可以抑制在观看立体图像时由于快速变化而引起的不舒服的感觉和恶心。

<图16的HMD系统的显示处理>

接下来，将参照图17的流程图描述图15的HMD系统的显示处理。此外，在图17的流程图中，HMD 11的处理类似于图6的步骤S11至S18的处理。因此，将省略其描述。

即，在步骤S151中，呈现计算单元62通过询问原点移动模式控制单元171来确定原点移动模式是否开启。在步骤S151中，在确定原点移动模式未开启的情况下，处理进行到步骤S152。

在步骤S152中，图像处理器12的通信单元52接收从HMD 11发送的HMD 11的位置信息和观看方向的信息，并且将所接收的信息输出到控制单元51。单元51将所获取的HMD 11的位置信息和所获取的观看方向的信息输出到呈现单元53。

在步骤S153中，呈现单元53控制观看位置确定单元61，并且基于与位置信息对应的全天球图像中的观看位置的信息是否在相对于原点位置的预定范围内来确定在视差图像中是否存在崩溃。

在步骤S153中，在确定在视差图像中存在崩溃的情况下，处理进行到步骤S154。

在步骤S154中，原点移动模式控制单元171将原点移动模式控制为处于开启状态。

此外，在步骤S153中，在确定在视差图像中不存在崩溃的情况下，跳过步骤S154的处理。

在步骤S155中，呈现单元53控制呈现计算单元62读出存储在内容存储单元54中的全天球图像的内容的数据。

在步骤S156中，呈现单元53通过使用在从作为关于呈现计算单元62的内容的全天球图像中的观看位置观察观看方向时指定的范围的图像，根据呈现来插值生成视差图像，并且将所生成的视差图像输出到控制单元51。

在步骤S157中，控制单元51控制通信单元52并且使通信单元52将根据呈现插值生成的视差图像发送到HMD 11。

在步骤S158中，控制单元51确定处理是否结束，并且在处理未结束的情况下，处理返回到步骤S151。

在步骤S151中，在原点移动模式开启的情况下，处理进入步骤S159。

在步骤S159中，呈现计算单元62执行坐标转换，使得与全天球图像中的原点O对应的位置以预定距离(例如，图16的距离t)靠近基于用户的位置信息指定的全天球图像中的观看位置。

在步骤S160中，呈现计算单元62确定全天球图像中的原点O是否位于足够靠近当前观看位置的位置并且在视差图像中不存在崩溃。

在步骤S160中，在认为视差图像中存在崩溃的情况下，跳过步骤S161的处理，处理进行到步骤S155，并且通过使用在从当前观看位置观察观看方向时指定的全天球图像中的范围的图像，根据呈现来插值生成视差图像。

也就是说，在认为视差图像中存在崩溃的情况下，原点移动模式继续处于开启状态，因此，重复步骤S151和S155至S160的处理，并且在全天球图像中的原点O逐渐移动到观看位置的同时，重复插值生成并显示视差图像的处理。

然后，在全天球图像的原点O逐渐足够靠近当前观看位置的情况下，在步骤S160中，认为视差图像中不存在崩溃，并且处理进行到步骤S161。

在步骤S161中，原点移动模式控制单元171将原点移动模式控制为关闭状态，并且处理进入步骤S155。

根据这样的处理，即使在观看位置与原点O分开大于或等于预定距离的状态下在视差图像中存在崩溃的情况下，全天球图像中的原点O也以预定距离相对于观看位置逐渐偏移，因此，可以抑制根据呈现插值生成的视差图像的大的变化，并且可以抑制在观看立体图像时由于观看位置的快速变化而发生的不舒服的感觉和恶心。

换言之，在观看位置未与原点O分开大于或等于预定距离的情况下，显示根据观看位置的视差图像，并且在观看位置与原点O分开大于或等于预定距离的情况下，通过切换来显示其中原点O逐渐靠近观看位置的视差图像。也就是说，在观看位置未与原点O分开大于或等于预定距离的情况下，作为第一模式，呈现单元53根据观看位置生成视差图像(正常视差图像)，并且在观看位置与原点O分开大于或等于预定距离的情况下，作为第二模式，生成其中原点O逐渐靠近观看位置的视差图像。作为其结果，根据观看位置与原点O之间的距离来切换根据观看位置生成视差图像的模式与其中原点O逐渐靠近观看位置的生成视差图像的模式，因此，可以抑制视差图像的崩溃或者由于观看立体图像而导致的恶心。

此外，在上面的描述中，描述了下述示例：全天球图像中的原点位置以每个预定距离靠近观看位置，但是原点位置可以逐渐靠近观看位置，因此，例如，原点位置可以在剩余距离中以预定比率而不是预定距离逐渐靠近观看位置。另外，在以上描述中，描述了下述示例：全天球图像中的观看位置和原点在最短路径上逐渐彼此靠近，但是原点位置可以逐渐靠近观看位置而不是最短路径。

另外，在以上描述中，在第一实施方式中，描述了下述示例：基于观看位置是否在相对于全天球图像的坐标系中的原点位置的预定范围内来确定视差图像中是否存在崩溃，并且在第三实施方式中，描述了下述示例：基于观看方向是否在全天球图像的坐标系中的预定范围内来确定视差图像中是否存在崩溃，但是可以通过对实施方式进行组合来确定视差图像中是否存在崩溃。

此外，全天球图像的坐标系中的观看位置和观看方向二者都是指定佩戴HMD的用户的观看姿势的信息，因此将被统称为观看信息。另外，可以说观看信息是指定佩戴HMD 11的用户的观看姿势的信息，并且还是指定HMD 11自身的观看姿势的信息。

因此，在本公开内容的HMD系统中，在观看信息满足预定条件的情况下，通过全天球图像来插值生成并显示视差图像，并且在观看信息不满足预定条件的情况下，执行将观看位置移动到全天球图像中的原点位置的坐标转换，然后，插值生成视差图像，或者插值生成不具有左右视差的视差图像，因此，通过根据与生成正常视差图像的处理不同的方法生成视差图像来抑制视差图像中的崩溃。

换言之，在本公开内容的HMD系统中，切换生成配置要根据观看位置生成的正常视差图像的左眼图像和右眼图像的第一模式与通过与生成正常视差图像的处理不同的方法生成左眼图像和右眼图像的第二模式，并且显示在每个模式中生成的左眼图像和右眼图像，因此，抑制了视差图像的崩溃以及由于观看立体图像而导致的恶心。

另外，在第二实施方式中，描述了下述示例：执行坐标转换，使得在视差图像崩溃并且用户眨眼时，全天球图像中的原点移位到观看位置，但是可以将第一实施方式和第三实施方式进行组合。

此外，在上述实施方式、修改示例和应用示例中，描述了由包括HMD11和图像处理器12的HMD系统实现上述功能的示例，但是，例如，可以在HMD 11中提供图像处理器12的呈现单元53和内容存储单元54的功能，并且可以仅通过HMD来实现上述功能。

另外，在本文中，描述了使用HMD 11的示例，但是即使在通过在智能电话中安装应用程序，通过下述方法将智能电话类似地用作HMD 11的情况下，也可以实现上述功能：将智能电话安装在用户的头上，允许显示单元设置与用于左眼的显示部和用于右眼的显示部对应的显示区域，并且显示作为视差图像的左眼图像和右眼图像。

<<6.由软件执行的示例>>

这里，上述一组处理可以通过由执行，也可以由软件执行。在由软件执行该组处理的情况下，将配置该软件的程序安装在结合在专用硬件中的计算机或者例如安装有各种程序的通用个人计算机等中，因此，可以从记录介质执行各种功能。

图18示出了通用个人计算机的配置示例。中央处理单元(CPU)1001被内置在个人计算机中。输入/输出接口1005通过总线1004连接到CPU1001。只读存储器(ROM)1002和随机存取存储器(RAM)1003连接到总线1004。

包括用户输入操作命令的诸如键盘和鼠标的输入装置的输入单元1006、将处理操作画面的图像或处理结果输出到显示装置的输出单元1007、包括存储程序或各种数据项的硬盘驱动器等的存储单元1008以及包括通过由因特网代表的网络执行通信处理的局域网(LAN)适配器等的通信单元1009连接到输入/输出接口1005。另外，对诸如磁盘(包括软盘)、光盘(包括光盘只读存储器(CD-ROM)和数字通用光盘(DVD)、磁光盘(包括小型盘(MD)或半导体存储器的可移除介质1011读取和写入数据的驱动器1010连接到输入/输出接口1005。

CPU 1001根据存储在ROM 1002中的程序执行各种处理，或者将从诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质1011读出的程序安装在存储单元1008中，并且从存储单元1008加载到RAM 1003。CPU1001执行各种处理所需的数据等也被适当地存储在RAM1003中。

在如上所述配置的计算机中，CPU 1001例如通过输入/输出接口1005和总线1004将存储在存储单元1008中的程序加载到RAM 1003中，并且执行该程序，因此，执行上述该组处理。

例如，由计算机(CPU 1001)执行的程序可以通过记录在可移除介质1011中作为封装介质等来提供。另外，可以通过诸如局域网、因特网、数字卫星广播的有线或无线传输介质来提供程序。

在计算机中，通过将可移除介质1011安装在驱动器1010上，可以通过输入/输出接口1005将程序安装在存储单元1008中。此外，程序可以通过有线或无线传输介质在通信单元1009中接收，并且可以被安装在存储单元1008中。另外，程序可以被预先安装在ROM 1002或存储单元1008中。

此外，由计算机执行的程序可以是根据本文中描述的顺序按时间顺序执行处理的程序，或者可以是并行地或者在必要的定时处(例如当执行调用时)执行处理的程序。

此外，控制单元31和51的功能由图18中的CPU 1001实现。另外，内容存储单元54由存储单元1008实现。

另外，在本文中，系统表示多个组成部分(装置、模块(部件)等)的组件，并且是否所有组成部分都在同一壳体中并不重要。因此，包含在单独的壳体中并且通过网络彼此连接的多个装置和其中多个模块被包含在一个壳体中的一个装置二者都是系统。

此外，本公开内容的实施方式不限于上述实施方式，并且可以在不脱离本公开内容的主旨的范围内执行各种改变。

例如，在本公开内容中，可以采用云计算配置，在该云计算配置中，通过在多个装置中共享或者通过网络在多个装置中协作处理来处理一个功能。

另外，上述流程图中描述的每个步骤可以由一个装置执行，或者可以通过在多个装置中共享来执行。

此外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多个处理可以由一个装置执行，或者可以通过在多个装置中共享来执行。

现在将描述本发明的概述实施方式。概述实施方式包括上述实施方式的合适组合，如下文所述。

在本发明的概述实施方式中，提供了用于生成左眼图像和右眼图像的图像处理器。因此，图像处理器可以为用户生成立体图像，或者，如本文所述，当引起立体幻觉的视差至少部分地失败(崩溃)时，可以为用户生成适配图像对。

为具有用户视点的用户生成图像。该视点通常包括位置和视图方向中的至少一个，如本文中其他地方所述。

生成的图像至少基于具有参考视点的第一源图像。源图像可以例如是如本文中其他地方所述的圆柱形或球形全景图像。参考视点通常是名义上的原点或中心观看位置(例如在球体或圆柱体的中心处)和默认观看方向(例如水平面上具有零角度仰角的特定方向，或者水平面上的任何方向)。

在概述实施方式中，图像处理器包括图像生成单元，该图像生成单元被配置成：检测用户视点与参考视点之间的差异是否小于阈值。

如本文中其他地方所述，该差异可以包括视点位置和视点观看方向中的一个或两个。如本文中其他地方所述，设置与和使得视差不会崩溃的参考视点偏离的范围的对应的相应阈值。例如，位置的差异可以在范围Z11中，而高度的差异可以在范围Z1中。

此外，在一些情况下，可能在不同范围处发生对视差的不同影响。因此，虽然视差的崩溃可能发生在范围Z1之外，但是当转换90度的视角时可能发生视差的反转，因此需要对图像进行附加的或替选的调整，如本文中其他地方所述。

如果图像生成单元检测到差异在阈值内，则可以假设左眼图像与右眼图像之间的视差是可接受的，并且图像生成单元可以继续为具有用户视点的用户生成左眼图像和右眼图像。

然而，如果图像生成单元检测到差异在阈值之外，则可以假设左眼图像与右眼图像之间的视差在某种程度上是不可接受的，并且图像生成单元可以生成针对用户视点的左眼图像和右眼图像中的至少一个的适配版本。在这种情况下，适配的性质可以取决于视点的哪个方面相对于参考视点超过阈值差异，如下文所述。

在概述实施方式的实例中，图像生成单元被配置成：检测用户视点与参考视点之间的观看位置的差异，如本文中先前参照第一实施方式所述。

如果用户视点与参考视点之间的差异不小于阈值(例如，在范围Z11之外)，则图像处理器被配置成：生成被适配成使得用户视点与参考视点之间的差异变得小于阈值的用于用户视点的左眼图像和右眼图像。

因此，如果用户视点与参考视点之间的距离超过阈值距离，则可以重新映射用户视点和参考视点中的一个或两个，以将距离减小到小于阈值距离，如本文中其他地方所述。

在该实例的一种情况下，图像处理器被配置成：生成被适配成使得用户视点与参考视点基本上一致的用于用户视点的左眼图像和右眼图像。这可以例如通过将用户的位置重新映射回参考视点的位置来完成。

在该实例的替选情况下，如本文先前参照第一实施方式的应用示例所述，可以减小由直接重新映射回参考位置引起的视点位置的明显跳跃的大小，从而减轻用户迷失方向的可能性。因此，在这种情况下，图像处理器被配置成：生成被适配成使得用户视点变得迭代地更靠近参考视点的用于用户视点的一个或更多个左眼图像和右眼图像的序列。迭代可以是预定间隔(大小)，或者可以是预定距离比(即，与视点要移动的剩余距离成比例)。

作为替选或补充，如本文中先前参照第二实施方式所述，为了减轻由位置的明显变化引起的任何迷失方向，用户视点和参考视点的相对位置的重新映射(无论是在一个步骤中还是迭代地)可能仅在用户的观看被暂时中断时发生。

因此，在概述实施方式的实例中，图像处理器被配置成：在用户的观看被暂时中断时为用户生成被适配成使得用户视点与参考视点之间的差异变得小于阈值的左眼图像和右眼图像。

例如，如本文中其他地方所述，当用户点头、转身或眨眼时，可以导致中断。因此，在概述实施方式的该实例的情况下，如本文中其他地方所述，图像处理器可以包括眨眼检测单元，该眨眼检测单元被配置成：基于用户眼睛的图像来检测存在或不存在眨眼。

作为减轻用户视点与参考视点之间的距离差异的替选或补充，在概述实施方式的实例中，如本文中先前参照第三实施方式所述，图像生成单元被配置成：检测用户视点与参考视点之间的观看方向高度的差异。

如本文中先前所述，可以假设参考视点的方向高度为零度(即在水平面上)。在用户的视点保持在该参考高度的阈值(预定差异)内(例如，在角度范围Z1内)的同时，图像生成单元可以为具有用户视点的用户生成左眼图像和右眼图像。

然而，在概述实施方式的实例中，如果用户视点与参考视点之间的差异不小于阈值(例如，在角度范围Z1之外)，则图像处理器被适配成生成被适配成在图像之间不具有视差的用于用户视点的左眼图像和右眼图像。结果，左眼图像和右眼图像通常是相同的。换言之，由于不再具有相对于另一图像的视差，左眼图像和右眼图像中的至少一个有效地为适配版本。

应当理解，当用户的视点在阈值角度高度值附近时，可选地，可以提供过渡范围(在阈值角度高度值之前、之后或跨越阈值角度高度值)，在过渡范围中，左图像与右图像之间的视差从正常生成的视差缩小到零视差，使得当到达、越过或超过阈值角度高度值(取决于应用过渡范围的位置)时，对用户的立体效果逐渐减小，使感知图像逐渐变平。

如先前所述，如果阈值角度高度值是90度，则可能需要单独的适配，如本文中参照第三实施方式的修改例所述。如本文中所述，这种单独的适配是由于当用户的左右视点在球形图像的极点上过渡时，用户的左右视点(基于映射到球体的球形全景或圆柱形全景)反转。

因此，在概述实施方式的实例中，如果用户视点与参考视点之间的差异不小于阈值(诸如90度)，则图像处理器被配置成：生成通过交换用于用户视点的左眼图像和右眼图像来适配的左眼图像和右眼图像。

应当理解，如果与将视差减小到零的技术结合使用，则当接近90度时输出图像将没有可见的变化(因为两者将是相同的)，但是如果用户继续增加其视角，则最终会回到再次允许视差的高度范围内，在这种情况下，交换将与正确观看图像有关。同时，当然，如果不采用将视差减小到零的技术，则交换将与正确观看图像直接相关。

为了检测用户的观看方向，在概述实施方式的实例中，图像处理器包括观看方向检测单元，该观看方向检测单元被配置成：基于检测到的面部取向方向和检测到的视线方向来检测观看方向，如本文中其他地方所述。

在与第一概述实施方式对应的用于图像处理器的操作方法的本发明的第二概述实施方式中，可操作成至少基于具有参考视点的第一源图像来为具有用户视点的用户生成左眼图像和右眼图像的用于图像处理器的控制方法包括检测用户视点与参考视点之间的差是否小于阈值的差异检测步骤。如果用户视点与参考视点之间的差小于阈值，则第一图像生成步骤包括：为具有用户视点的用户生成左眼图像和右眼图像。如果用户视点与参考视点之间的差不小于阈值，则第二图像生成步骤包括：生成用于用户视点的左眼图像和右眼图像中的至少一个的适配版本。

对于本领域技术人员明显的是，与在本文中描述和要求保护的装置的各种实施方式的操作对应的上述方法的变型被认为在本发明的范围内，该变型包括但不限于以下实例：

-实例：差异检测步骤包括检测用户视点与参考视点之间的观看位置的差异，并且如果用户视点与参考视点之间的差异不小于阈值，则第二图像生成步骤包括生成被适配成使得用户视点与参考视点之间的差异变得小于阈值的用于用户视点的左眼图像和右眼图像；

o下述实例的情况：第二图像生成步骤还以用户的观看被暂时中断为条件；

o在这种情况下，基于用户的眼睛的图像来检测是否存在眨眼；

o下述实例的情况：第二图像生成步骤包括：生成被适配成使得用户视点与参考视点基本上一致的用于用户视点的左眼图像和右眼图像，；

o下述实例的情况：第二图像生成步骤包括：生成被适配成使得用户视点变得迭代地更靠近参考视点的用于用户视点的一个或更多个左眼图像和右眼图像的序列，；

在这种情况下，迭代是从包括预定间隔和预定距离比的列表中选择的一个迭代；

-下述实例：差异检测步骤包括：检测用户视点与参考视点之间的观看方向高度的差异；

o下述实例的情况：如果用户视点与参考视点之间的差异不小于阈值，则第二图像生成步骤包括：生成被适配成使得图像之间没有视差的用于用户视点的左眼图像和右眼图像；

o下述实例的情况：如果用户视点与参考视点之间的差异不小于阈值(例如90度)，则第二图像生成步骤包括：生成通过交换用于用户视点的左眼图像和右眼图像来适配的左眼图像和右眼图像；以及

o下述实例的情况：包括：基于检测到的面部取向方向和检测到的视线方向来检测观看方向。

应当理解，上述方法可以在适当地通过软件指令或者通过包含或替换专用硬件来适配的常规硬件上执行。

因此，对常规等效装置的现有部分的所需适配可以以计算机程序产品的形式实现，该计算机程序产品包括存储在非暂态机器可读介质(例如软盘、光盘、硬盘、PROM、RAM、闪存或者这些或其他存储介质的任何组合)上的处理器可实现指令，或者以硬件(例如ASIC(专用集成电路)或FPGA(现场可编程门阵列)或者适于在适配传统等效装置时使用的其他可配置电路)实现。单独地，这种计算机程序可以经由网络(如以太网、无线网络、因特网或者这些或其他网络的任何组合)上的数据信号传输。

此外，在本公开内容中可以采用以下配置。

<1>一种图像处理器，包括：

图像生成单元，其被配置成：

在用户的观看信息满足预定条件的情况下，使用由用户的观看信息指定的图像数据以预定模式生成与用户的右眼和左眼对应的右左两个图像，并且

在用户的观看信息不满足预定条件的情况下，以与预定模式不同的另一预定模式生成与用户的右眼和左眼对应的右左两个图像。

<2>根据<1>所述的图像处理器，

其中，图像生成单元

在用户的图像数据的坐标系中的用户的观看方向满足预定条件的情况下，使用由用户的观看信息指定的图像数据以预定模式生成右左两个图像，并且

在用户的图像数据的坐标系中的用户的观看方向不满足预定条件的情况下，以另一预定模式生成右左两个图像。

<3>根据<2>所述的图像处理器，

其中，图像生成单元

在观看方向在图像数据中的坐标系的预定仰角的范围内的情况下，使用由用户的观看方向指定的图像数据以预定模式生成右左两个图像，并且

在观看方向不在图像数据中的坐标系的预定仰角的范围内的情况下，使用由用户的观看方向指定的图像数据以另一预定模式生成右左两个相同的图像。

<4>根据<3>所述的图像处理器，

其中，右左两个图像是右左两个视差图像。

<5>根据<2>所述的图像处理器，

其中，图像生成单元

在观看方向在图像数据中的坐标系的预定仰角的范围内的情况下，使用由用户的观看方向指定的图像数据以预定模式生成右左两个图像，并且

在观看方向不在图像数据中的坐标系的预定仰角的范围内的情况下，使用由用户的观看方向指定的图像数据以另一预定模式生成要水平反转的右左两个图像，或者以使得右左两个图像水平反转的方式生成右左两个图像。

<6>根据<5>所述的图像处理器，

其中，右左两个图像是右左两个视差图像。

<7>根据<2>所述的图像处理器，还包括：

观看方向检测单元，其被配置成检测观看方向，

其中，观看方向检测单元还包括：

面部取向方向检测单元，其被配置成检测用户的面部取向方向，以及

视线方向检测单元，其被配置成检测用户的视线方向，并且

观看方向检测单元通过使用面部取向方向和视线方向来计算观看方向。

<8>根据<1>所述的图像处理器，

其中，图像生成单元

在用户的图像数据的坐标系中的用户的观看位置满足预定条件的情况下，使用由用户的观看信息指定的图像数据以预定模式生成右左两个图像，并且

在用户的图像数据的坐标系中的用户的观看位置不满足预定条件的情况下，以另一预定模式生成右左两个图像。

<9>根据<8>所述的图像处理器，

其中，图像生成单元

在观看位置在距图像数据中的坐标系的原点的预定距离的范围内的情况下，使用基于用户的观看位置指定的图像数据以预定模式生成右左两个图像，并且

在观看位置不在距图像数据中的坐标系的原点的预定距离的范围内的情况下，将用户的观看位置移位成图像数据中的坐标系的原点，并且使用基于经移位成原点的观看位置指定的图像数据以另一预定模式生成右左两个图像。

<10>根据<8>所述的图像处理器，

其中，右左两个图像是右左两个视差图像。

<11>根据<10>所述的图像处理器，

其中，图像生成单元将图像数据中的坐标系的原点逐渐移位到观看位置，并且使用基于经移位的观看位置指定的图像数据以另一预定模式生成左右两个视差图像。

<12>根据<11>所述的图像处理器，

其中，图像生成单元以每个预定间隔将图像数据中的坐标系的原点逐渐移位到观看位置，并且使用基于经移位的观看位置指定的图像数据以另一预定模式生成左右两个视差图像。

<13>根据<11>所述的图像处理器，

其中，图像生成单元以每个预定距离比将图像数据中的坐标系的原点逐渐移位到观看位置，并且使用基于经移位的观看位置指定的图像数据以另一预定模式生成左右两个视差图像。

<14>根据<11>所述的图像处理器，

其中，图像生成单元在最短路径上将图像数据中的坐标系的原点逐渐移位到观看位置，并且使用基于经移位的观看位置指定的图像数据以另一预定模式生成左右两个视差图像。

<15>根据<10>所述的图像处理器，

其中，在观看位置不在距图像数据中的坐标系的原点的预定距离的范围内并且在用户的观看状态发生变化的情况下，图像生成单元将用户的观看位置移位成图像数据中的坐标系的原点，并且使用基于经移位成原点的观看位置指定的图像数据以另一预定模式生成左右两个视差图像。

<16>根据<15>所述的图像处理器，

其中，在用户的观看状态发生变化的情况下，存在用户眨眼的定时、用户转身的定时以及用户点头的定时。

<17>一种图像处理器的控制方法，包括：

在用户的观看信息满足预定条件的情况下，使用由用户的观看信息指定的图像数据以预定模式生成与用户的右眼和左眼对应的右左两个图像；以及

在用户的观看信息不满足预定条件的情况下，以与预定模式不同的另一预定模式生成与用户的右眼和左眼对应的右左两个图像。

本领域技术人员应该理解，可以根据设计要求和其他因素进行各种修改、组合、子组合和变更，只要这些修改、组合、子组合和变更在所附权利要求书或其等同物的范围内即可。

附图标记列表

11 HMD

12 图像处理器

31 控制单元

32 观看方向检测单元

33 位置检测单元

34 通信单元

35 显示单元

36 音频输出单元

41 面部取向检测单元

42 视线方向检测单元

51 控制单元

52 通信单元

53 呈现单元

54 内容存储单元

61 观看位置确定单元

62 呈现计算单元

91 眨眼检测单元

101 眨眼确定单元

141 观看方向确定单元

142 呈现计算单元

171 原点移动模式控制单元

Claims (25)

1.一种图像处理器，其用于基于具有参考视点的至少第一源图像为具有用户视点的用户生成左眼图像和右眼图像，所述图像处理器包括：

图像生成单元，其被配置成：

检测所述用户视点与所述参考视点之间的差异是否小于阈值，

并且如果所述用户视点与所述参考视点之间的差异小于所述阈值，

则为具有所述用户视点的用户生成左眼图像和右眼图像；

并且如果所述用户视点与所述参考视点之间的差异不小于所述阈值，

则生成用于所述用户视点的左眼图像和右眼图像中的至少一个的适配版本。

2.根据权利要求1所述的图像处理器，其中，

所述图像生成单元被配置成：检测所述用户视点与所述参考视点之间的观看位置的差异，并且

如果所述用户视点与所述参考视点之间的差异不小于阈值，则

所述图像处理器被配置成：生成被适配成使得所述用户视点与所述参考视点之间的差异变得小于所述阈值的用于所述用户视点的左眼图像和右眼图像。

3.根据权利要求2所述的图像处理器，其中，所述图像处理器被配置成：当所述用户的观看被暂时中断时，为所述用户生成被适配成使得所述用户视点与所述参考视点之间的差异变得小于所述阈值的左眼图像和右眼图像。

4.根据权利要求3所述的图像处理器，包括眨眼检测单元91，所述眨眼检测单元91被配置成：基于所述用户的眼睛的图像来检测存在或不存在眨眼。

5.根据权利要求2所述的图像处理器，其中，所述图像处理器被配置成：生成被适配成使得所述用户视点与所述参考视点基本上一致的用于所述用户视点的左眼图像和右眼图像。

6.根据权利要求2所述的图像处理器，其中，所述图像处理器被配置成：生成被适配成使得所述用户视点变得迭代地更靠近所述参考视点的用于所述用户视点的一个或更多个左眼图像和右眼图像的序列。

7.根据权利要求6所述的图像处理器，其中，所述迭代是从包括下述项的列表中选择的一个：

i.预定间隔；以及

ii.预定距离比。

8.根据权利要求1所述的图像处理器，其中，

所述图像生成单元被配置成：检测所述用户视点与所述参考视点之间的观看方向高度的差异。

9.根据权利要求8所述的图像处理器，其中，

如果所述用户视点与所述参考视点之间的差异不小于阈值，则

所述图像处理器被适配成生成被适配成在图像之间不具有视差的用于所述用户视点的左眼图像和右眼图像。

10.根据权利要求8所述的图像处理器，其中，

如果所述用户视点与所述参考视点之间的差异不小于阈值，则

所述图像处理器被配置成：生成通过交换用于所述用户视点的左眼图像和右眼图像来适配的左眼图像和右眼图像。

11.根据权利要求10所述的图像处理器，其中，所述阈值是90度的方向高度。

12.根据权利要求8所述的图像处理器，包括：

观看方向检测单元，其被配置成：基于检测到的面部取向方向和检测到的视线方向来检测观看方向。

13.一种用于图像处理器的控制方法，所述图像处理器能够操作成：基于具有参考视点的至少第一源图像为具有用户视点的用户生成左眼图像和右眼图像，所述方法包括：

检测所述用户视点与所述参考视点之间的差异是否小于阈值的差异检测步骤，

并且如果所述用户视点与所述参考视点之间的差异小于所述阈值，

则所述方法包括下述第一图像生成步骤：为具有所述用户视点的用户生成左眼图像和右眼图像；

并且如果所述用户视点与所述参考视点之间的差异不小于所述阈值，

则所述方法包括下述第二图像生成步骤：生成用于所述用户视点的左眼图像和右眼图像中的至少一个的适配版本。

14.根据权利要求13所述的控制方法，其中，

所述差异检测步骤包括：检测所述用户视点与所述参考视点之间的观看位置的差异，并且

如果所述用户视点与所述参考视点之间的差异不小于阈值，则

所述第二图像生成步骤包括：生成被适配成使得所述用户视点与所述参考视点之间的差异变得小于所述阈值的用于所述用户视点的左眼图像和右眼图像。

15.根据权利要求14所述的控制方法，其中，

所述第二图像生成步骤还以所述用户的观看被暂时中断为条件。

16.根据权利要求15所述的控制方法，包括下述步骤：

基于所述用户的眼睛的图像来检测存在或不存在眨眼。

17.根据权利要求14所述的控制方法，其中，

所述第二图像生成步骤包括：生成被适配成使得所述用户视点与所述参考视点基本上一致的用于所述用户视点的左眼图像和右眼图像。

18.根据权利要求14所述的控制方法，其中，

所述第二图像生成步骤包括：生成被适配成使得所述用户视点变得迭代地更靠近所述参考视点的用于所述用户视点的一个或更多个左眼图像和右眼图像的序列。

19.根据权利要求18所述的控制方法，其中，所述迭代是从包括下述项的列表中选择的一个：

i.预定间隔；以及

ii.预定距离比。

20.根据权利要求13所述的控制方法，其中，

所述差异检测步骤包括：检测所述用户视点与所述参考视点之间的观看方向高度的差异。

21.根据权利要求20所述的控制方法，其中，

如果所述用户视点与所述参考视点之间的差异不小于阈值，则

所述第二图像生成步骤包括：生成被适配成在图像之间不具有视差的用于所述用户视点的左眼图像和右眼图像。

22.根据权利要求20所述的控制方法，其中，

如果所述用户视点与所述参考视点之间的差异不小于阈值，则

所述第二图像生成步骤包括：生成通过交换用于所述用户视点的左眼图像和右眼图像来适配的左眼图像和右眼图像。

23.根据权利要求22所述的控制方法，其中，所述阈值是90度的方向高度。

24.根据权利要求20所述的控制方法，包括下述步骤：

基于检测到的面部取向方向和检测到的视线方向来检测观看方向。

25.一种计算机可读介质，其具有被适配成使计算机系统执行根据权利要求13至24中任一项所述的方法的计算机可执行指令。

Images