CN113383370A - 信息处理装置和方法以及程序 - Google Patents

Abstract

本技术涉及可以减轻视频的视觉识别负荷的信息处理装置和方法以及程序。信息处理装置设置有：输入获取单元，其获取指定自由视点视频的显示范围的用户输入；及控制单元，其基于用户输入来控制确定自由视点视频的显示范围的虚拟摄像装置，其中，当虚拟摄像装置的视角从包括第一目标的第一视角变为包括第二目标的第二视角并且虚拟摄像装置的摇摄旋转和俯仰旋转中的至少一个的角速度为预定角速度时，控制单元在使虚拟摄像装置在远离第一目标的方向上移动的同时执行摇摄旋转和俯仰旋转中的至少一个，并且当虚拟摄像装置的摇摄旋转和俯仰旋转的角速度小于预定角速度时，控制单元在保持虚拟摄像装置与第一目标之间的距离的同时执行摇摄旋转和俯仰旋转中的至少一个。本技术可以应用于信息处理装置。

Description

信息处理装置和方法以及程序

技术领域

本技术涉及信息处理装置、方法和程序，并且更具体地涉及能够减轻视频的视觉负荷的信息处理装置、方法和程序。

背景技术

例如，通过使用自由视点视频观看技术，用户可以从3D空间中的任意位置的视点观看内容。

另一方面，对于观看目标和故事发展清晰的诸如体育的内容，不仅可以由用户直接指定内容的视点位置，而且可以根据由系统生成的摄像装置路径来改变视点位置。利用这种方法，可以向用户呈现令人满意的视频，而无需用户进行任何特定的操作。

摄像装置路径在内容视频被显示为好像是由虚拟摄像装置捕获的情况下，指示虚拟摄像装置的位置和成像方向的时间变化。在这种情况下，虚拟摄像装置的位置是内容的视点位置。

摄像装置路径可以由系统自动生成，或者在用户执行诸如指定内容中的关注目标的输入操作的情况下，摄像装置路径可以由系统响应于输入操作来生成。

在此，考虑系统响应于用户输入操作来生成摄像装置路径的情况。例如，当用户指定了预定目标时，系统生成摄像装置路径，在该摄像装置路径中，视点位置从一个视点位置移动到另一视点位置，并且虚拟摄像装置以恒定角速度旋转，使得目标被保持在虚拟摄像装置的视角内。

然而，在这种情况下，当虚拟摄像装置移动时，可能出现不仅目标在视角之外而且所有其他对象也在视角之外的状态。在这种情况下，用户将对呈现的内容视频感到不满意。

针对这种背景，提出了一种技术，该技术用于例如在生成自由视点视频的情况下，限制虚拟摄像装置的视点位置，使得多个对象中的一个不超出框(例如，参见专利文献1)。在专利文献1中，例如，在图35中，通过以预定对象位置作为旋转中心旋转虚拟摄像装置，将对象总是保持在框内，即，保持在视角内。

另外，还提出了一种技术，该技术用于例如根据作为被摄体的选手的移动来平行移动虚拟摄像装置，使得即使选手改变其位置或方向，虚拟摄像装置也总是被定位在选手前方一定距离处(例如，参见专利文献2)。

如上所述，如果某个对象总是在虚拟摄像装置的视角内，则可以抑制对所呈现的内容视频的不满。

引用列表

专利文献

专利文献1：日本专利申请公开第2015-114716号

专利文献2：日本专利申请公开第2006-310936号

发明内容

本发明要解决的问题

然而，在上述技术中，没有考虑当用户视觉上识别视频时用户的负荷。因此，当系统生成虚拟摄像装置的摄像装置路径时，可能会增加视频的视觉负荷。

鉴于这种情况作出了本技术，并且本技术旨在减轻视频的视觉负荷。

问题的解决方案

本技术的一个方面的信息处理装置包括：输入获取单元，其获取指定自由视点视频的显示范围的用户输入；以及控制单元，其基于用户输入控制确定自由视点视频的显示范围的虚拟摄像装置。当控制单元响应于用户输入而将虚拟摄像装置的视角从包括第一目标的第一视角变为包括第二目标的第二视角时，如果虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个具有预定角速度，则控制单元在使虚拟摄像装置远离第一目标移动的同时执行虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个，并且如果虚拟摄像装置的摇摄旋转和俯仰旋转的角速度小于预定角速度，则控制单元在保持虚拟摄像装置与第一目标之间的距离的同时执行虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个。

本技术的一个方面的信息处理方法或程序包括以下步骤：获取指定自由视点视频的显示范围的用户输入；以及当响应于用户输入而将确定自由视点视频的显示范围的虚拟摄像装置的视角从包括第一目标的第一视角变为包括第二目标的第二视角时，如果虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个具有预定角速度，则在使虚拟摄像装置远离第一目标移动的同时执行虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个，并且如果虚拟摄像装置的摇摄旋转和俯仰旋转的角速度小于预定角速度，则在保持虚拟摄像装置与第一目标之间的距离的同时执行虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个。

在本技术的一个方面中，获取指定自由视点视频的显示范围的用户输入；并且当响应于用户输入而将确定自由视点视频的显示范围的虚拟摄像装置的视角从包括第一目标的第一视角变为包括第二目标的第二视角时，如果虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个具有预定角速度，则在使虚拟摄像装置远离第一目标移动的同时执行虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个，并且如果虚拟摄像装置的摇摄旋转和俯仰旋转的角速度小于预定角速度，则在保持虚拟摄像装置与第一目标之间的距离的同时执行虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个。

附图说明

图1是示出摄像装置路径的示例的图。

图2是示出摄像装置路径的生成的图。

图3是示出摄像装置路径的生成的图。

图4是示出摄像装置路径的生成的图。

图5是示出摄像装置路径的生成的图。

图6是示出摄像装置路径的生成的图。

图7是示出摄像装置路径的生成的图。

图8是示出视频观看系统的配置示例的图。

图9是示出摄像装置路径生成处理的流程图。

图10是示出摄像装置路径的生成的图。

图11是示出像素差的计算的图。

图12是示出摄像装置路径生成处理的流程图。

图13是示出摄像装置路径生成处理的流程图。

图14是示出视点位置的校正的图。

图15是示出计算机的配置示例的框图。

具体实施方式

在下文中，将参照附图描述应用了本技术的实施例。

<第一实施例>

<摄像装置路径生成>

本技术通过下述方式减轻视频的视觉负荷：在生成用于自由视点视频的摄像装置路径时，将虚拟摄像装置的旋转和平移(平行平移)与以预定角速度或更小的角速度旋转虚拟摄像装置进行适当组合。视频的视觉负荷会导致例如所谓的视觉引起的晕动病。

例如，本技术可以应用于使用头戴式显示器(HMD)的视频观看系统，并且还可以应用于使用诸如电视机或智能电话的显示器的视频观看系统。

应用本技术的视频观看系统假定视点位置随时间变化的视频(在下文中也称为自由视点视频)的呈现，该视频例如基于实况视频的自由视点内容以及包括计算机图形(CG)的游戏内容。另外，由视频观看系统呈现的内容包括记录的内容和实时内容。

例如，基于实况视频的自由视点视频的内容是下述内容：基于由多个摄像装置捕获的视频，该内容允许观看者欣赏视频，就好像视频是由空间中的任意位置处的虚拟摄像装置捕获的一样。即，自由视点视频的内容是下述视频内容：在该视频内容中，虚拟摄像装置的位置是视点位置，并且虚拟摄像装置指向的方向是成像方向。

视频观看系统可以设置有能够检测作为观看者的用户在观看内容时的动作(移动)的装置。

具体地，在视频观看系统包括HMD的情况下，例如，可以设置：获取指示佩戴HMD的用户的头部的取向和位置的信息的位置跟踪系统；通过摄像装置或另外的传感器等检测用户的视线方向的系统；以及通过摄像装置或飞行时间(TOF)传感器等检测用户的姿势的系统。

另外，例如，用户的视线方向可以由附接到电视机的摄像装置或另外的传感器等来检测。此外，视频观看系统可以设置有用于将作为观看者的用户的意图发送到视频观看系统的遥控器或游戏控制器。

例如，在视频观看系统中，用户可以通过对遥控器或游戏控制器的输入操作、通过用户的视线和头部的方向、用户的身体的方向等来指定关注的被摄体(对象)。在这种情况下，视频观看系统将自由视点视频的视点位置移动到可以清楚地看到由用户指定的关注目标的位置。

因此，例如，用户可以操作遥控器等上的键来移动视点位置使得目标被更大地显示，或者注视特定目标以通过其视线来指定目标并且将视点位置移动到可以清楚看到目标的位置。

此外，在目标在自由视点视频中移动的情况下，可以移动视点位置，使得目标被连续地包括在虚拟摄像装置的视角中。另外，在目标是像体育选手一样不断移动的对象的情况下，自由视点视频的视点位置不是固定的，并且甚至在目标在显示框(图像)中显得足够大之后，视点位置也可能根据选手的移动而继续移动。

在下文中，将更具体地描述本技术。特别地，在下文中，将以在视频观看系统中生成自由视点视频的摄像装置路径的情况为例继续描述。

自由视点视频是例如基于由处于多个不同的视点位置和成像方向的摄像装置所捕获的视频而生成的、空间中的任意显示范围的视频(图像)。

这里，自由视点视频的显示范围是由虚拟摄像装置在空间中捕获的范围，即虚拟摄像装置的视角范围，并且该显示范围由虚拟摄像装置在空间中的位置即视点位置以及虚拟摄像装置的方向即虚拟摄像装置的成像方向来确定。

在自由视点视频中，虚拟摄像装置的位置(视点位置)和成像方向随时间而变化。

例如，作为虚拟摄像装置在空间中的位置的视点位置由三维笛卡尔坐标系的坐标表示，该坐标系的原点是空间中的基准位置。

另外，例如，虚拟摄像装置在空间中的成像方向(方向)由虚拟摄像装置相对于空间中的基准方向的旋转角度来表示。即，例如，指示虚拟摄像装置的成像方向的旋转角度是当虚拟摄像装置从虚拟摄像装置面对基准方向的状态旋转到虚拟摄像装置面对期望的成像方向的状态时的旋转角度。

注意，更具体地，虚拟摄像装置的旋转角度包括：横摆角，其为虚拟摄像装置在水平(左右)方向上旋转(摇摄旋转)时的旋转角度；以及俯仰角，其为虚拟摄像装置在竖直(上下)方向上旋转(俯仰旋转)时的旋转角度。在下文中，当描述虚拟摄像装置旋转并且旋转角度改变时，假定横摆角或俯仰角中的至少一个改变。

另外，虚拟摄像装置在预定时间处的视点位置和旋转角度由P0和R0表示，并且虚拟摄像装置在预定时间之后的时间处的视点位置和旋转角度由P1和R1表示。

此时，当使虚拟摄像装置从视点位置P0移动到视点位置P1的同时虚拟摄像装置的旋转角度从R0变为R1时，虚拟摄像装置的视点位置的时间变化以及虚拟摄像装置的旋转角度的时间变化形成虚拟摄像装置的从视点位置P0开始并且在视点位置P1处结束的摄像装置路径。

更具体地，虚拟摄像装置的视点位置的时间变化由虚拟摄像装置的移动路径以及虚拟摄像装置在移动路径上的每个位置处的移动速度来确定。另外，虚拟摄像装置的旋转角度的时间变化由虚拟摄像装置在虚拟摄像装置的移动路径上的每个位置处的旋转角度和旋转速度(旋转的角速度)来确定。

在下文中，具体地，在摄像装置路径的起点处的虚拟摄像装置的视点位置和旋转角度由P0和R0表示，并且在摄像装置路径的终点处的虚拟摄像装置的视点位置和旋转角度由P1和R1表示。

另外，具有视点位置P0和旋转角度R0的虚拟摄像装置的状态也由状态ST0表示，并且具有视点位置P1和旋转角度R1的虚拟摄像装置的状态也由状态ST1表示。

现在，假定当虚拟摄像装置处于状态ST0时，作为预定的关注的被摄体的目标T0被包括在虚拟摄像装置的视角中。

在这种状态ST0下，例如考虑如下情况：用户指定作为新的关注的被摄体的目标T1，并且生成虚拟摄像装置的状态从状态ST0变为状态ST1的摄像装置路径。此时，假定在状态ST1中，目标T1被包括在虚拟摄像装置的视角中。

例如，假定当从状态ST0变为状态ST1时，生成虚拟路径的摄像装置的旋转角度以恒定角速度从R0旋转到R1的摄像装置路径。

在这种情况下，例如，如图1所示，在虚拟摄像装置VC11的移动期间，可能会出现虚拟摄像装置VC11的视角中既不包括目标T0也不包括目标T1的时刻。

在图1所示的示例中，将其中选手是目标T0和目标T1的乒乓球比赛的视频显示为自由视点视频。另外，在图1中，箭头W11指示的位置指示视点位置P0，箭头W12指示的位置指示视点位置P1，并且虚线指示虚拟摄像装置VC11的移动路径。

在该示例中，当虚拟摄像装置VC11从箭头W11指示的位置移动到箭头W12指示的位置时，虚拟摄像装置VC11的旋转角度即成像方向以恒定角速度变化。换言之，虚拟摄像装置VC11以恒定的旋转速度旋转。

在这种情况下，例如，当虚拟摄像装置VC11处于箭头W13指示的位置处时，虚拟摄像装置VC11的视角中既不包括目标T0也不包括目标T1。因此，目标T0和目标T1均未出现在所显示的自由视点视频中，并且作为观看者的用户感到不满。

另一方面，例如，如果如图2所示，在摄像装置路径的后半部分中将目标T1连续地包括在虚拟摄像装置VC11的视角中，则在图1所示的示例中引起的不满可以解决，并且可以提高用户对自由视点视频的满意度。注意，在图2中，相同的附图标记被给予与图1中的部分对应的部分，并且将适当地省略其描述。

在图2所示的示例中，在虚拟摄像装置VC11从箭头W11指示的视点位置P0移动到箭头W12指示的视点位置P1的情况下，中间点Pm是摄像装置路径中的预定位置。在此，将摄像装置路径中的箭头W21指示的位置定义为中间点Pm。

在这种情况下，确定旋转角度，以使得至少当虚拟摄像装置VC11到达中间点Pm时目标T1在虚拟摄像装置VC11的视角内。然后，确定虚拟摄像装置VC11的移动路径上的每个位置处的旋转角度，以使得在虚拟摄像装置VC11在摄像装置路径中从中间点Pm向视点位置P1移动的同时，目标T1总是被包括在虚拟摄像装置VC11的视角中。换言之，生成摄像装置路径，以使得虚拟摄像装置VC11在从中间点Pm向视点位置P1移动的同时保持面对目标T1。

结果，在摄像装置路径的后半部分中，即从中间点Pm向前的每个视点位置处，作为观看者的用户可以保持观看自由视点视频中的目标T1，直到虚拟摄像装置VC11到达作为终点的视点位置P1为止。结果，用户可以观看令人满意的自由视点视频。

另外，在这种情况下，在虚拟摄像装置VC11从中间点Pm移动到视点位置P1的同时，虚拟摄像装置VC11从各种角度对目标T1进行成像。因此，用户可以在自由视点视频中从各种角度观察目标T1。结果，可以进一步提高自由视点视频的满意度。

这里，将描述当生成摄像装置路径时虚拟摄像装置的移动路径的确定。

例如，如图3中的箭头Q11所示，假定生成其中虚拟摄像装置VC11从箭头W31指示的视点位置P0线性移动到箭头W32指示的视点位置P1的摄像装置路径。在图3中，相同的附图标记被给予与图1中的部分对应的部分，并且将适当地省略其描述。

在箭头Q11指示的示例中，连接视点位置P0与视点位置P1的直线CP11指示包括在虚拟摄像装置VC11的摄像装置路径中的移动路径。然而，在该示例中，直线CP11与目标T0相交，并且当虚拟摄像装置VC11移动时，虚拟摄像装置VC11将与目标T0碰撞。

因此，例如，如箭头Q12所示，通过进行下述假定来生成摄像装置路径：来自诸如目标T0的对象的排斥作用在虚拟摄像装置VC11上，即虚拟摄像装置VC11接收来自诸如目标T0的对象的排斥力。

在这种情况下，针对诸如目标T0的每个对象预先准备与虚拟摄像装置VC11接收的排斥力有关的模型。当生成摄像装置路径时，与排斥力有关的模型被用于获得虚拟摄像装置VC11的摄像装置路径，更具体地，获得虚拟摄像装置VC11的移动路径。

利用该配置，适当地调节虚拟摄像装置VC11在视点位置P0等处的移动速度，并且调节移动路径，以使得虚拟摄像装置VC11在远离诸如目标T0的对象一定距离的位置处移动。结果，例如，可以获得通过曲线将视点位置P0与视点位置P1平滑地连接的移动路径CP12。

这里，将给出当虚拟摄像装置VC11从诸如目标T0的对象接收排斥力时，即当使用与排斥力有关的模型时，摄像装置路径的生成的更具体描述。

例如，如图4所示，假定目标T0和目标T1存在于空间中，并且生成用于从视点位置P0移动到视点位置P1的摄像装置路径。注意，在图4中，相同的附图标记被给予与图1中的部分对应的部分，并且将适当地省略其描述。

在此，箭头ST11指示的位置是作为摄像装置路径的起点的视点位置P0，并且在视点位置P0处，虚拟摄像装置VC11的旋转角度为R0。另外，箭头ED11指示的位置是作为摄像装置路径的终点的视点位置P1，并且在视点位置P1处，虚拟摄像装置VC11的旋转角度是R1。

此外，假定虚拟摄像装置VC11在经过远离诸如人的主要对象至少距离L的位置的同时从视点位置P0移动到视点位置P1。在该示例中，主要对象是目标T0和目标T1。

在这种情况下，首先确定要与目标T0和目标T1分开的距离L。例如，距离L可以是预定的，或者可以根据目标T0和目标T1的尺寸或者虚拟摄像装置VC11的焦距确定。这样的距离L对应于与排斥力有关的模型。

接下来，获得连接视点位置P0与视点位置P1的直线作为路径PS1，并且搜索路径PS1上最接近目标的点M0。这里，在目标T0和目标T1中，目标T0位于更接近路径PS1，因此，将路径PS1上最接近目标T0的点(位置)设置为点M0。

此外，当点M0在垂直于路径PS1的方向上移动到与目标T0分开距离L的位置时，移动之后的位置被定义为位置M1。然后，视点位置P0、位置M1和视点位置P1通过诸如贝塞尔曲线的曲线(路径)平滑地连接以使得曲率变得连续，并且所得曲线PS2被定义为虚拟摄像装置VC11从视点位置P0移动到视点位置P1的移动路径。即，曲线PS2是虚拟摄像装置VC11的摄像装置路径中包括的移动路径。

在这种情况下，虚拟摄像装置VC11从视点位置P0经过位置M1移动到视点位置P1，同时保持距诸如目标T0的对象的距离为一定距离L或更大距离的状态。

注意，在空间中存在诸如目标T0的许多对象，并且可能无法通过上述方法适当地确定移动路径。在这种情况下，例如，可以确定虚拟摄像装置VC11的移动路径以使得相对于至少目标T0和目标T1保持距离L，并且在实际的自由视点视频中，可以半透明地显示目标T0和目标T1以外的对象。

通过如上所述地生成摄像装置路径，虚拟摄像装置VC11可以从视点位置P0移动到视点位置P1，同时保持距诸如目标T0和目标T1的对象的适当距离。结果，可以移动虚拟摄像装置VC11以绕过作为关注目标的目标T0和目标T1，并且用户可以在自由视点视频中从各个角度很好地观察目标T0和目标T1。

此外，例如，利用图5和图6所示的方法，与使用与排斥力有关的模型的情况相比，可以更容易地生成摄像装置路径。注意，在图5和图6中，相同的附图标记被给予与图1中的部分对应的部分，并且将适当地省略其描述。另外，在图6中，相同的附图标记被给予与图5中的部分对应的部分，并且将适当地省略其描述。

在图5所示的示例中，如箭头Q21所示，获得连接作为虚拟摄像装置VC11的移动路径的起点的视点位置P0与作为移动路径的终点的视点位置P1的直线L11的中间点M0。

然后，将中间点M0在基本上垂直于直线L11的方向上移动到距中间点M0足够远的位置，即，移动到距目标T0和目标T1足够远的位置，使得距离等于或大于预定距离。移动之后的位置定义为中间点Pm。

例如，中间点Pm是当虚拟摄像装置VC11以预定旋转角度布置在中间点Pm处时目标T0和目标T1被包括虚拟摄像装置VC11的视角中的位置。

当以此方式确定中间点Pm时，如箭头Q22所示，获得平滑地连接视点位置P0、中间点Pm和视点位置P1的曲线L12，并且将所获得的曲线L12定义为摄像装置路径中包括的虚拟摄像装置VC11的移动路径。

特别地，当获得虚拟摄像装置VC11的移动路径时，通过将虚拟摄像装置VC11的原始移动速度与虚拟摄像装置VC11前往目的地的速度(即，摄像装置从视点位置P0移动到视点位置P1的速度)进行合成而获得的速度被定义为虚拟摄像装置VC11在移动路径上的每个位置处的移动速度。

具体地，例如，箭头MV11表示虚拟摄像装置VC11在视点位置P0处的原始移动速度，并且该移动速度是当虚拟摄像装置VC11从另一位置移动到视点位置P0时虚拟摄像装置VC11在视点位置P0处的速度。

另外，箭头MV12表示虚拟摄像装置VC11向作为目的地的视点位置P1移动的速度，并且该速度是由视频观看系统基于视点位置P0、视点位置P1等获得的。

在生成摄像装置路径时，将如上所述的箭头MV11表示的移动速度和箭头MV12表示的移动速度进行合成，并且将合成后的移动速度定义为虚拟摄像装置VC11在摄像装置路径中的视点位置P0处的移动速度。在图5中，箭头MV13表示通过将箭头MV11表示的移动速度与箭头MV12表示的移动速度进行合成而获得的移动速度。

另外，例如，如图6中的箭头Q31所示，当关注的被摄体从目标T0切换到目标T1、并且虚拟摄像装置VC11从摄像装置路径的起点到终点均匀地旋转即以恒定角速度旋转时，存在虚拟摄像装置VC11的视角中既不包括目标T0也不包括目标T1的时刻。

在箭头Q31指示的示例中，箭头W11指示的位置是视点位置P0，并且箭头W12指示的位置是视点位置P1。当关注的被摄体从目标T0切换到目标T1时，虚拟摄像装置VC11从视点位置P0移动到视点位置P1。此时，例如，在箭头W13指示的位置处，虚拟摄像装置VC11的视角中既不包括目标T0也不包括目标T1。

因此，例如，如箭头Q32所示，当关注的被摄体从目标T0切换到目标T1时，将摄像装置路径生成为使得能够观看新旧关注的被摄体即目标T0和目标T1二者。

例如，假定从关注的被摄体是目标T0的状态开始，通过用户输入操作等将目标T1指定为新的关注的被摄体。

在这种情况下，假定在摄像装置路径的起点处虚拟摄像装置VC11的视点位置和旋转角度为P0和R0，并且在摄像装置路径的终点处虚拟摄像装置VC11的视点位置和旋转角度为P1和R1。在此，箭头W41指示的位置是视点位置P0，并且箭头W42指示的位置是视点位置P1。

在箭头Q32指示的示例中，例如，也以与图5类似的方式确定中间点Pm。特别地，在此，箭头W43指示的位置是中间点Pm。

中间点Pm是距目标T0的距离与距目标T1的距离相等的位置，并且当虚拟摄像装置VC11被放置在中间点Pm时，目标T0和目标T1被包括在虚拟摄像装置VC11的视角中。

当以此方式确定中间点Pm时，获得下述摄像装置路径：在该摄像装置路径中，移动路径是平滑地连接视点位置P0、中间点Pm和视点位置P1的曲线。在箭头Q32指示的部分中，曲线L31表示包括在摄像装置路径中的虚拟摄像装置VC11的移动路径。

在此，在虚拟摄像装置VC11根据摄像装置路径移动的前半段期间，即在从视点位置P0移动到中间点Pm时，确定虚拟摄像装置VC11的移动路径、移动速度、旋转角度和旋转速度，以使得至少目标T0被连续地保持在虚拟摄像装置VC11的视角内。特别地，当虚拟摄像装置VC11在中间点Pm附近时，目标T0和目标T1二者都被包括在虚拟摄像装置VC11的视角中。

另外，在虚拟摄像装置VC11根据摄像装置路径移动的后半段期间，即在从中间点Pm移动到视点位置P1时，确定虚拟摄像装置VC11的移动路径、移动速度，旋转角度和旋转速度，以使得至少目标T1实际上被保持在虚拟摄像装置VC11的视角内。

结果，当视点被移动时，即当虚拟摄像装置VC11被移动时，观看根据摄像装置路径生成的自由视点视频的用户可以在移动的前半部分看到目标T0，在移动的中间部分看到目标T0和目标T1二者，并且在移动的后半部分看到目标T1。

<本技术>

顺便提及，如果如上所述生成摄像装置路径，则当关注的被摄体从目标T0变为目标T1时，即使在虚拟摄像装置正在移动时，目标T0或目标T1也停留在视场即虚拟摄像装置的视角中。结果，可以继续呈现有意义的视频作为自由视点视频。

但是，在虚拟摄像装置的旋转角度在摄像装置路径中发生显著变化的情况下，即在作为虚拟摄像装置的旋转的角速度的旋转速度大的情况下，可能会发生视觉引起的晕动病。

具体地，例如，当用户佩戴HMD并且正在观看自由视点视频时，假定虚拟摄像装置的视点位置是独立于用户头部的移动而移动的。在这种情况下，当虚拟摄像装置旋转时发生的视觉引起的晕动病变得大于当虚拟摄像装置平移移动时发生时的视觉引起的晕动病。特别地，如果在视点位置与关注目标彼此接近的同时虚拟摄像装置旋转较大，则视觉引起的晕动病变得甚至更严重。

因此，当生成摄像装置路径时，期望在移动视点时虚拟摄像装置不以特定旋转速度(角速度)或更高的速度旋转。

因此，在本技术中，可以通过生成摄像装置路径以使得虚拟摄像装置的旋转速度等于或小于预定阈值th，来减少视觉引起的晕动病。即，可以减少视频的视觉负荷。

具体地，例如，假定确定绝对旋转量、更具体地确定当从状态ST0变为状态ST1时虚拟摄像装置的旋转速度的上限，以使得旋转速度变得等于或小于阈值th。在这种情况下，例如，如图7所示生成摄像装置路径。注意，在图7中，相同的附图标记被给予与图1中的部分对应的部分，并且将适当地省略其描述。

例如，如图7中的箭头Q41所示，假定目标T0和目标T1在空间中，并且生成其中虚拟摄像装置VC11的视角从目标T0被包括在视角中的状态变为目标T1被包括在视角中的状态的摄像装置路径。换言之，虚拟摄像装置VC11的视角从包括目标T0的视角变为包括目标T1的视角。

此时，假定虚拟摄像装置VC11的移动在一秒内完成，并且虚拟摄像装置VC11的旋转速度的平均值最大为30度/秒。即，假定阈值th＝30度/秒。例如，基于是否发生视觉引起的晕动病来确定阈值th。如果虚拟摄像装置VC11的平均旋转速度等于或小于阈值th，则摄像装置工作较不可能引起视觉引起的晕动病。

此外，假定在虚拟摄像装置VC11的视角中，当从目标T1到虚拟摄像装置VC11的距离为L时，目标T1以适当的尺寸出现在自由视点视频上。

另外，在摄像装置路径的起点处，虚拟摄像装置VC11处于箭头W51指示的位置处，并且该位置是视点位置P0。另外，假定当虚拟摄像装置VC11在视点位置P0处时，虚拟摄像装置VC11的旋转角度为R0＝0度。

从这种状态，当指定了新目标T1时，确定摄像装置路径的终点处的状态，即移动之后的虚拟摄像装置VC11的视点位置P1和旋转角度R1，以使得目标T1以适当的尺寸被包括在视角中。

在箭头Q41指示的示例中，箭头W52指示的位置是视点位置P1。例如，视点位置P1是与新目标T1分开距离L的位置。

另外，视点位置P1处的虚拟摄像装置VC11的旋转角度R1是例如下述旋转角度：在该旋转角度处虚拟摄像装置VC11可以从大致前方捕获目标T1(对目标T1进行成像)。例如，旋转角度R1基于目标T1的取向等来确定。作为具体示例，例如，可以确定旋转角度R1，以使得由从目标T1来看的前方向和虚拟摄像装置VC11的光轴所形成的角度等于或小于预定阈值。

这里，假定所确定的旋转角度R1为60度，则虚拟摄像装置VC11的旋转角度在从视点位置P0移动到视点位置P1前后改变60度。即，虚拟摄像装置VC11旋转60度。

在这种情况下，如果要在一秒内完成从视点位置P0到视点位置P1的移动，则虚拟摄像装置VC11的平均旋转速度变为60度/秒，即大于阈值th。即，摄像装置工作可能引起视觉引起的晕动病。

因此，重新计算虚拟摄像装置VC11的移动之后的视点位置P1和旋转角度R1，以使得虚拟摄像装置VC11的平均旋转速度等于或小于阈值th。在下文中，将由视点位置P1'和旋转角度R1'来具体表示重新计算的即重新确定的虚拟摄像装置VC11的视点位置P1和旋转角度R1。

在获得视点位置P1'和旋转角度R1'时，首先获得旋转角度R1'以使得虚拟摄像装置VC11的平均旋转速度等于或小于阈值th。在此，例如，旋转角度R1'＝30度。

然后，如箭头Q42所示，关于旋转角度R1'，例如，获得下述位置作为视点位置P1'：在该位置处，虚拟摄像装置VC11可以从诸如大致前方的适当角度捕获目标T1(对目标T1进行成像)，并且距目标T1的距离为L。此时，例如，可以将在与旋转角度R1'相反的方向上与目标T1分开距离L的位置定义为视点位置P1'。在箭头Q42指示的示例中，箭头W53指示的位置是视点位置P1'。

根据以此方式重新确定的视点位置P1'和旋转角度R1'，将虚拟摄像装置VC11在移动前后的旋转(即，旋转角度的变化)抑制到30度。结果，虚拟摄像装置VC11的平均旋转速度变为30度/秒，即等于或小于阈值th。因此，可以实现较不可能导致视觉引起的晕动病的摄像装置工作。

当确定了移动之后的视点位置P1'和旋转角度R1'时，生成从视点位置P0和旋转角度R0变为视点位置P1'和旋转角度R1'的虚拟摄像装置VC11的摄像装置路径。此时，例如，如参照图3、图4、图5和图6所述，确定虚拟摄像装置VC11的移动路径和移动速度，以使得虚拟摄像装置VC11从视点位置P0移动到视点位置P1'。

注意，尽管在该示例中已经描述了虚拟摄像装置VC11的移动在一秒内完成，但是，例如可以根据目标T0与目标T1之间的距离等适当地确定完成虚拟摄像装置VC11的移动需要多少秒。

然而，注意，期望在尽可能短的时间内完成虚拟摄像装置VC11的移动。例如，由于存在用户关注的某个事件并且他/她想查看与该事件有关的目标T1，所以用户指定新目标T1并且指示视点位置的移动。例如，在实际的体育比赛中，事件的持续时间不长，因此有必要在短时间内完成虚拟摄像装置VC11的移动。

另一方面，如果虚拟摄像装置VC11的移动速度太快，则用户可能无法掌握他/她在空间中的位置、即虚拟摄像装置VC11的视点位置，或者可能会有视觉引起的晕动病。因此，必须生成如下的摄像装置路径：在该摄像装置路径中，在一定时间内完成移动，较不可能发生视觉引起的晕动病，并且用户可以容易地掌握他/她的位置和移动方向。针对这种背景，在本技术中，生成摄像装置路径，以使得在短时间内完成移动，并且虚拟摄像装置VC11的平均旋转速度等于或小于阈值th。

<视频观看系统的配置示例>

随后，将描述生成如图7所示的摄像装置路径的视频观看系统的配置示例。例如，这样的视频观看系统被配置为如图8所示。

图8所示的视频观看系统包括信息处理装置11、显示单元12、传感器单元13和内容服务器14。

这里，例如，信息处理装置11可以包括个人计算机、游戏机本体等，并且显示单元12和传感器单元13可以包括HMD，或者信息处理装置11至传感器单元13可以用于形成HMD或智能电话。

替选地，显示单元12可以包括电视。此外，可以在信息处理装置11中设置显示单元12或传感器单元13中的至少一个。注意，在下文中，将假定观看自由视点视频的用户佩戴着显示单元12和传感器单元13来继续进行描述。

信息处理装置11从内容服务器14获取用于生成自由视点视频的内容数据，并且还基于所获取的内容数据根据传感器单元13的输出来生成自由视点视频的图像数据，以将图像数据提供给显示单元12。

显示单元12具有诸如液晶显示器的显示装置，并且基于从信息处理装置11提供的图像数据来再现自由视点视频。

传感器单元13包括例如用于检测用户的姿势、头部取向、视线方向等的陀螺仪传感器、TOF传感器、摄像装置等，并且向信息处理装置11提供陀螺仪传感器或TOF传感器的输出、由摄像装置捕获的图像等作为传感器输出。

内容服务器14保存用于生成(构造)自由视点视频的、从不同视点成像的内容的图像数据组作为内容数据，并且响应于信息处理装置11的请求将该内容数据提供给信息处理装置11。即，内容服务器14用作分发自由视点视频的服务器。

另外，信息处理装置11具有内容数据获取单元21、检测单元22、输入获取单元23和控制单元24。

内容数据获取单元21根据控制单元24的指令从内容服务器14获取内容数据，并且将该内容数据提供给控制单元24。例如，内容数据获取单元21通过经由有线或无线通信网络与内容服务器14进行通信而从内容服务器14获取内容数据。注意，可以从可移动记录介质等获取内容数据。

检测单元22基于从传感器单元13提供的传感器输出来检测佩戴显示单元12和传感器单元13的用户的姿势、头部取向和视线方向，并且将检测结果提供给控制单元24。

例如，检测单元22基于作为传感器输出的陀螺仪传感器或TOF传感器的输出来检测用户的姿势和头部取向。另外，例如，检测单元22基于作为由摄像装置捕获的传感器输出的图像来检测用户的视线方向。

输入获取单元23包括例如鼠标、键盘、按钮、开关、触摸面板、控制器等，并且向控制单元24提供与用户对输入获取单元23的操作对应的信号。例如，用户通过操作输入获取单元23来执行新目标T1指定操作等。

控制单元24例如包括中央处理单元(CPU)、随机存取存储器(RAM)等，并且控制整个信息处理装置11的操作。

例如，控制单元24通过控制虚拟摄像装置的移动和旋转来确定自由视点视频的显示范围，并且根据该确定来生成自由视点视频的图像数据。在此，确定虚拟摄像装置的摄像装置路径对应于控制虚拟摄像装置的移动和旋转。

具体地，控制单元24基于从检测单元22提供的检测结果以及从输入获取单元23提供的信号来生成自由视点视频的摄像装置路径。另外，例如，控制单元24指示内容数据获取单元21获取内容数据，或者基于所生成的摄像装置路径以及从内容数据获取单元21提供的内容数据来生成自由视点视频的图像数据，以将图像数据提供给显示单元12

<摄像装置路径生成处理的说明>

接下来，将描述信息处理装置11的操作。即，下面将参照图9的流程图描述由信息处理装置11执行的摄像装置路径生成处理。

注意，当用户指定了新目标T1时，摄像装置路径生成处理开始。例如，可以通过用户操作输入获取单元23来指定目标T1，或者通过用户将视线、头部、身体等指向自由视点视频中的目标T1来指定目标T1。

另外，假定在摄像装置路径生成处理开始时，空间中的确定自由视点视频的显示范围的虚拟摄像装置的状态为上述状态ST0，并且目标T0被包括在虚拟摄像装置的视角中。即，假定虚拟摄像装置位于视点位置P0处，并且虚拟摄像装置的旋转角度为R0。

在步骤S11中，控制单元24基于从输入获取单元23提供的信号或者从检测单元22提供的视线、头部、身体等的方向的检测结果来确定新目标T1。

例如，在用户通过操作输入获取单元23来指定目标T1的情况下，控制单元24响应于用户的输入操作，基于从输入获取单元23提供的信号来确定新目标T1。

另外，例如，在用户通过将视线、头部、身体等指向目标T1来指定目标T1的情况下，控制单元24基于从检测单元22提供的对用户的视线方向等的检测结果来确定新目标T1。

用户以这种方式指定新目标T1等同于用户指定自由视点视频的新显示范围，即虚拟摄像装置的视角。

因此，在用户通过操作输入获取单元23来指定目标T1的情况下，可以说输入获取单元23用作根据用户的操作来获取指定自由视点视频的新显示范围的用户输入并且将用户输入提供给控制单元24的输入获取单元。

类似地，在用户通过视线等指定目标T1的情况下，检测单元22用作根据用户的操作来获取指定自由视点视频的新显示范围的用户输入的输入获取单元。

在步骤S12中，控制单元24响应于对新目标T1的确定，确定使得能够适当观察目标T1的虚拟摄像装置的视点位置P1和旋转角度R1。换言之，控制单元24根据基于由输入获取单元23或检测单元22获取的用户输入而确定的目标T1，确定移动之后的虚拟摄像装置的视角。

例如，在空间中，控制部24将能够从大致前方观察到目标T1并且与目标T1分开上述距离L的位置定义为视点位置P1，并且将能够在视点位置P1从大致前方捕获目标T1的旋转角度定义为R1。

注意，在步骤S11中，可以允许用户连同目标T1一起指定视点位置P1和旋转角度R1。

在步骤S13中，控制单元24基于虚拟摄像装置在移动之前的视点位置P0和旋转角度R0以及虚拟摄像装置在移动之后的视点位置P1和旋转角度R1，获得当虚拟摄像装置从视点位置P0移动到视点位置P1时的平均旋转速度rot。

即，控制单元24基于用于将虚拟摄像装置从视点位置P0移动到视点位置P1的标准所需时间、旋转角度R0和旋转角度R1来获得旋转速度rot。该旋转速度rot是虚拟摄像装置旋转时的平均角速度。注意，这里，标准所需时间可以是预定时间，或者标准所需时间可以基于从视点位置P0到视点位置P1的距离来获得。

在步骤S14中，控制单元24确定在步骤S13中获得的旋转速度rot是否等于或小于预定阈值th。

更具体地，在步骤S14中，如果摇摄旋转的旋转速度rot(即，水平方向的旋转速度)等于或小于阈值th，并且俯仰旋转的旋转速度rot(即，竖直方向上的旋转速度)等于或小于阈值th，则确定旋转速度rot小于或等于阈值th。注意，可以将不同的阈值th用于摇摄旋转和俯仰旋转。

如果在步骤S14中确定旋转速度rot等于或小于阈值th，则虚拟摄像装置充分缓慢地旋转，并且较不可能发生视觉引起的晕动病，因此处理进入步骤S15。

在步骤S15中，控制单元24基于在步骤S12中确定的视点位置P1和旋转角度R1来生成摄像装置路径，并且摄像装置路径生成处理结束。

在步骤S15中，生成如下的摄像装置路径：在该摄像装置路径中，虚拟摄像装置从视点位置P0移动到视点位置P1，并且虚拟摄像装置从旋转角度R0指示的方向旋转到旋转角度R1指示的方向。例如，在生成摄像装置路径时，如上面参照图3、图4、图5和图6描述的那样确定虚拟摄像装置的移动路径和移动速度。

另一方面，如果在步骤S14中确定旋转速度rot不是等于或小于阈值th(即，大于阈值th)，则虚拟摄像装置的旋转快并且存在可能发生视觉引起的晕动病的可能性，因此处理进入步骤S16。

在步骤S16中，控制单元24重新确定移动之后的旋转角度R1。即，确定上述旋转角度R1'。

例如，控制单元24基于虚拟摄像装置的旋转速度的上限值以及用于移动虚拟摄像装置所需的标准所需时间来获得旋转角度R1'，以使得旋转速度rot等于或小于阈值th。在这种情况下，获得旋转角度R1'，以使得|R1-R0|>|R1'-R0|。

在步骤S17中，控制单元24重新确定移动之后的视点位置P1，以使得目标T1以适当的尺寸出现在自由视点视频上。即，确定上述视点位置P1'。

例如，控制单元24将在与旋转角度R1'相反的方向上与目标T1相距距离L的位置定义为视点位置P1'。

当以此方式确定视点位置P1'和旋转角度R1'时，重新确定了虚拟摄像装置在移动之后的视角。

在步骤S18中，控制单元24基于视点位置P1'和旋转角度R1'来生成摄像装置路径，并且摄像装置路径生成处理结束。

在步骤S18中，生成如下的摄像装置路径：在该摄像装置路径中，虚拟摄像装置从视点位置P0移动到视点位置P1'，并且虚拟摄像装置从旋转角度R0指示的方向旋转到旋转角度R1'指示的方向。例如，在生成摄像装置路径时，如上面参照图3、图4、图5和图6描述的那样确定虚拟摄像装置的移动路径和移动速度。

在以这种方式获得的摄像装置路径中，不仅可以由虚拟摄像装置在移动之后的视点位置P1'处以适当的尺寸和取向捕获目标T1，而且虚拟摄像装置的平均旋转速度等于或大于小于阈值th。因此，可以减少视觉引起的晕动病。

当执行步骤S15或步骤S18的处理以生成摄像装置路径时，控制单元24基于由内容数据获取单元21获取的内容数据，根据所生成的摄像装置路径来确定自由视点视频的图像数据。

即，在虚拟摄像装置沿着由摄像装置路径指示的移动路径移动并且虚拟摄像装置的方向从旋转角度R0变为旋转角度R1或旋转角度R1'的情况下，生成自由视点视频的图像数据。换言之，生成具有下述显示范围的自由视点视频的图像数据：该显示范围发生改变，以对应于根据摄像装置路径的虚拟摄像装置的视角的改变。

如上所述，信息处理装置11确定虚拟摄像装置移动之后的视点位置和旋转角度以使得虚拟摄像装置的平均旋转速度等于或小于阈值th，并且根据该确定生成摄像装置路径。结果，可以减少自由视点视频的视觉引起的晕动病。

注意，例如，在参照图9描述的摄像装置路径生成处理的步骤S15和S18中，如参照图3、图4、图5和图6描述的那样确定虚拟摄像装置的移动路径和移动速度。

例如，在如参照图6描述的那样确定移动路径的情况下，可以确定其中目标T0和目标T1被包括在视角中的中间点Pm(在下文中也称为视点位置Pm)以及虚拟摄像装置在视点位置Pm处的旋转角度Rm。该视点位置Pm是虚拟摄像装置从视点位置P0向视点位置P1'移动期间的视点位置。

在这种情况下，例如，在步骤S18中，基于摄像装置路径的起点处的视点位置P0和旋转角度R0以及摄像装置路径的终点处的位置P1'和旋转角度R1'来确定虚拟摄像装置的视点位置Pm和旋转角度Rm。换言之，确定由视点位置Pm和旋转角度Rm限定的虚拟摄像装置的视角。

在此，视点位置Pm可以是例如与原目标T0分开预定距离或更多并且与目标T0和目标T1等距离的位置。

另外，视点位置Pm是下述位置：当虚拟摄像装置通过视点位置Pm从视点位置P0移动到视点位置P1'时，虚拟摄像装置的旋转减少。更具体地，例如，视点位置Pm是下述位置：在视点位置Pm处旋转虚拟摄像装置以从虚拟摄像装置的视角中包括目标T0的状态变为虚拟摄像装置的视角中包括目标T1的状态时的旋转角度在一定角度内。

当确定了视点位置Pm和旋转角度Rm时，控制单元24生成如下摄像装置路径，该摄像装置路径用于在虚拟摄像装置的方向从旋转角度R0变为旋转角度Rm的同时从视点位置P0平滑地移动到视点位置Pm，然后在虚拟摄像装置的方向从旋转角度Rm变为旋转角度R1'的同时从视点位置Pm平滑地移动到视点位置P1'。

结果，例如，生成了图10所示的摄像装置路径。注意，在图10中，相同的附图标记被给予与图6中的部分对应的部分，并且将适当地省略其描述。

在图10中，曲线L61表示由控制单元24生成的摄像装置路径，并且更具体地，表示虚拟摄像装置VC11的移动路径。特别地，箭头W61指示的位置指示作为移动路径的起点的视点位置P0，并且箭头W62指示的位置指示作为移动路径的终点的视点位置P1'。另外，箭头W63指示的位置表示视点位置Pm。

在这样的摄像装置路径中，在摄像装置路径的前半部分中，控制单元24控制虚拟摄像装置的移动和旋转，使得原目标T0被包括在视点位置P0处的虚拟摄像装置VC11的视角中的状态变为目标T0和目标T1被包括在视点位置Pm处的虚拟摄像装置VC11的视角中的状态。

特别地，此时，控制单元24在使虚拟摄像装置VC11以远离目标T0的方式移动、即使得从目标T0到虚拟摄像装置VC11的距离变长的同时，旋转虚拟摄像装置VC11。当虚拟摄像装置VC11旋转时，执行摇摄旋转或俯仰旋转中的至少一种。

当虚拟摄像装置VC11到达视点位置Pm时，目标T0和目标T1被包括在虚拟摄像装置VC11的视角中。然后，在摄像装置路径的后半部分中，控制单元24控制虚拟摄像装置的移动和旋转，以使得虚拟摄像装置VC11在视点位置Pm处的状态变为视点位置P1'处的虚拟摄像装置VC11的视角中包括目标T1的状态。

特别地，此时，控制单元24在使虚拟摄像装置VC11以更接近目标T1的方式移动、即使得从目标T1到虚拟摄像装置VC11的距离变短的同时，旋转虚拟摄像装置VC11。当虚拟摄像装置VC11旋转时，执行摇摄旋转或俯仰旋转中的至少一种。

特别地，在图10所示的示例中，通过将虚拟摄像装置VC11的诸如摇摄旋转和俯仰旋转的旋转与虚拟摄像装置VC11的平移进行组合来生成摄像装置路径。

以这种方式，通过设置移动路径以使得远离视点位置P0而移动到视点位置Pm然后靠近视点位置P1'，可以将虚拟摄像装置VC11的平均旋转速度保持为小于下述情况：该情况下，在线性移动虚拟摄像装置VC11的同时旋转虚拟摄像装置VC11，或者在不移动虚拟摄像装置VC11的情况下旋转虚拟摄像装置VC11。结果，可以减少在观看自由视点视频时视觉引起的晕动病。

此外，在这种情况下，由于虚拟摄像装置VC11移动至视点位置Pm以远离目标T0和目标T1，因此，自由视点视频中的目标T0和目标T1的尺寸被暂时地减小，并且可以减少视觉引起的晕动病。另外，用户可以容易地掌握视点位置，并且可以容易地实现用户期望的自由视点移动。

此外，通过在生成摄像装置路径时将虚拟摄像装置VC11的平移和旋转进行组合，与仅执行旋转时相比，可以将新目标T1更迅速地包括在虚拟摄像装置VC11的视角中。结果，可以将新目标T1迅速地呈现给用户，并且可以提高用户的满意度。

注意，摄像装置路径的终点处的虚拟摄像装置VC11的旋转角度可能不同于理想旋转角度，理想旋转角度例如诸如用于从大致前方对目标T1进行成像的最佳旋转角度、初始旋转角度R1或者用户指定的旋转角度。

在这种情况下，例如，在图10所示的示例中，在虚拟摄像装置VC11到达视点位置P1'之后，控制单元24可以缓慢地旋转虚拟摄像装置VC11，使得虚拟摄像装置VC11的旋转角度从旋转角度R1'变为理想旋转角度。即，可以生成摄像装置路径，以使得虚拟摄像装置VC11在到达视点位置P1'之后在视点位置P1'处进一步旋转。

替选地，在图9的步骤S12中，例如，可以设置视点位置P1＝P0。在这种情况下，如果旋转速度rot等于或小于阈值th，则虚拟摄像装置将旋转，以使得在虚拟摄像装置保持在视点位置P0处、即距目标T0的距离被保持在一定距离处的同时，旋转角度从R0变为R1。当虚拟摄像装置旋转时，执行摇摄旋转或俯仰旋转中的至少一种。

另一方面，例如，如果旋转速度rot大于阈值th，则在虚拟摄像装置远离目标T0移动的同时旋转虚拟摄像装置，如参照图10所描述的那样。当虚拟摄像装置此时旋转时，也执行摇摄旋转或俯仰旋转中的至少一种。

<修改例1>

<减少由像素移动导致的视觉引起的晕动病>

顺便提及，在参照图9描述的摄像装置路径生成处理中，已经描述了主要集中在虚拟摄像装置的旋转上的视觉引起的晕动病的防止。

然而，即使虚拟摄像装置的旋转不大，自由视点视频中的大像素移动也会导致视觉引起的晕动病。像素移动是指不同时间处的自由视点视频(帧)之间对应像素的移动量。

作为增加自由视点视频中(即，画面中)的像素移动的因素，可以想到在虚拟摄像装置附近存在对象。在此所指的对象例如是作为关注的目标(关注目标)的目标T0或目标T1。

例如，如果像素移动较大并且很可能发生视觉引起的晕动病，则可以通过将虚拟摄像装置移动到距目标T0或目标T1一定距离的位置处并且生成减少像素移动的摄像装置路径来减少视觉引起的晕动病。

在这种情况下，例如，在图9的步骤S18中，控制单元24确定如图10所示的中间点Pm，并且然后基于视点位置P0处的自由视点视频IMG0以及中间点Pm(即，视点位置Pm)处的自由视点视频IMGm来获得像素差。

像素差是指示自由视点视频的帧之间的像素移动的大小的指标，并且控制单元24例如从移动之前的自由视点视频IMG0和移动之后的自由视点视频IMGm中检测特征点，如图11所示。

在图11所示的示例中，在自由视点视频IMG0中存在包括目标的多个对象，即，多个对象OBJ1至OBJ3。另外，在移动之后的自由视点视频IMGm中也存在多个对象OBJ1至OBJ3。

注意，在图11中，自由视点视频IMGm中的虚线绘制的对象OBJ1'至OBJ3'表示移动之前的对象OBJ1至OBJ3，即，自由视点视频IMG0中的对象。

假定在移动之前的自由视点视频IMG0和移动之后的自由视点视频IMGm中出现许多共同对象。在计算像素差时，如果针对自由视点视频IMG0和自由视点视频IMGm检测特征点，则例如从作为被摄体出现的对象OBJ1至OBJ3中检测到许多特征点。

控制单元24将从自由视点视频IMG0检测到的特征点与从自由视点视频IMGm检测到的特征点相关联。然后，控制单元24针对每个相关联的特征点获得自由视点视频IMG0与自由视点视频IMGm之间的自由视点视频上的特征点的移动量，并且将特征点的移动量的总值设置为像素差值。

注意，如果在自由视点视频IMG0和自由视点视频IMGm中未检测到预定数目或更多的对应特征点，则认为像素移动非常大，并且像素差被设置为预先确定的非常大的值。

例如，在自由视点视频中的对象正高速移动并且自由视点视频IMG0和自由视点视频IMGm中不包括公共对象的情况下，自由视点视频IMG0和自由视点视频IMGm中的对应特征点的数目可能小于预定数目。

当控制单元24获得像素差时，控制单元24将所获得的像素差与预定阈值thd进行比较。然后，如果像素差等于或小于阈值thd，则控制单元24认为像素移动足够小并且较不容易发生视觉引起的晕动病。因此，控制单元24基于视点位置P0和旋转角度R0、视点位置Pm和旋转角度Rm以及视点位置P1'和旋转角度R1'来生成摄像装置路径。

另一方面，如果像素差大于阈值thd，则控制单元24将比视点位置Pm更远离目标T0和目标T1的位置定义为视点位置Pm'。

例如，可以基于像素差值等来确定视点位置Pm'距目标T0和目标T1有多远。另外，例如，可以将视点位置Pm'设置为与视点位置Pm分开预定距离的位置。

此外，控制单元24确定使视点位置Pm'处的虚拟摄像装置的视角中包括目标T0和目标T1的旋转角度Rm'。

可以说，视点位置Pm'和旋转角度Rm'是视点位置Pm和旋转角度Rm的修改。换言之，可以说，确定视点位置Pm'和旋转角度Rm'等同于基于不同时刻(时间)的自由视点视频之间对应特征点的移动量重新确定视点位置Pm和旋转角度Rm，即重新确定摄像装置的视角。

注意，当校正视点位置Pm和旋转角度Rm时，视点位置Pm'和旋转角度Rm'被确定为使得自由视点视频IMG0与视点位置Pm'处的自由视点视频之间的像素差等于或小于阈值thd。

在确定了视点位置Pm'和旋转角度Rm'之后，控制单元24基于视点位置P0和旋转角度R0、视点位置Pm'和旋转角度Rm'以及视点位置P1'和旋转角度R1'来生成摄像装置路径。

在这种情况下，例如，如图10的情况那样，生成虚拟摄像装置从视点位置P0移动到视点位置Pm'并且进一步从视点位置Pm'移动到视点位置P1'的摄像装置路径。另外，在这种情况下，虚拟摄像装置的旋转角度从R0变为Rm'，然后从Rm'变为R1'。

通过如上所述确定中间点使得像素差等于或小于阈值thd，不仅可以减少由虚拟摄像装置的旋转导致的视觉引起的晕动病，而且可以减少像素移动导致的视觉引起的晕动病。

注意，尽管已经描述了在图9的步骤S18中将像素差与阈值thd进行比较并且将视点位置Pm和旋转角度Rm适当地校正为视点位置Pm'和旋转角度Rm'的示例，但是类似的处理可以在步骤S15中执行。

此外，在摄像装置路径生成处理中，在执行图9的步骤S12的处理之后，可以关于视点位置P0和旋转角度R0以及视点位置P1和旋转角度R1来确定视点位置Pm和旋转角度Rm，然后可以将像素差与阈值thd进行比较。

在这种情况下，如果像素差等于或小于阈值thd，则基于视点位置P0和旋转角度R0、视点位置Pm和旋转角度Rm以及视点位置P1和旋转角度R1来生成摄像装置路径。

另一方面，如果像素差大于阈值thd，则定义视点位置Pm'和旋转角度Rm'，并且基于视点位置P0和旋转角度R0、视点位置Pm'和旋转角度Rm'以及视点位置P1和旋转角度R1来生成摄像装置路径。

另外，在视点位置Pm处，不必将目标T0和目标T1二者都包括在虚拟摄像装置的视角中。甚至当目标T0和目标T1没有同时被包括在虚拟摄像装置的视角中时，如果像素差大于阈值thd，则确定视点位置Pm'和旋转角度Rm'以使得像素差等于或小于阈值thd。

这是因为，在从目标T0或目标T1到视点位置Pm的距离等于或小于一定距离、并且自由视点视频中即画面中的区域的一定百分比被目标T0或目标T1覆盖的情况下，像素移动变大。甚至在这种情况下，通过将虚拟摄像装置移动到远离目标T0和目标T1的视点位置Pm'，也可以减少由像素移动导致的视觉引起的晕动病。

<修改例2>

<摄像装置路径生成处理的描述>

顺便提及，在上文中，已经描述了生成虚拟摄像装置的视点位置和旋转角度连续改变的摄像装置路径的示例。然而，取决于目标T0与目标T1之间的位置关系，虚拟摄像装置的视点位置和旋转角度可以不连续地改变，并且不连续地改变的相继的自由视点视频可以通过诸如淡入的图像效果来连接。

在这种情况下，例如，信息处理装置11通过执行图12所示的摄像装置路径生成处理来生成摄像装置路径。在下文中，将参照图12的流程图描述信息处理装置11进行的摄像装置路径生成处理。

注意，图12中的步骤S61和S62的处理类似于图9的步骤S11和S12的处理，并且将省略其描述。

在步骤S63中，控制单元24确定是否|P0-P1|<Tp并且|R0-R1|>Tr。即，确定是否作为视点位置P0与P1之间的绝对差的|P0-P1|小于预定阈值Tp并且作为旋转角度R0与R1之间的绝对差的|R0-R1|大于预定阈值Tr。

换言之，在步骤S63中，确定摄像装置路径的起点处的虚拟摄像装置的视角与摄像装置路径的终点处的虚拟摄像装置的视角之间的关系是否满足条件|P0-P1|<Tp并且|R0-R1|>Tr。

例如，通过视点位置P0、视点位置P1、目标T0及目标T1之间的位置关系等来确定是否满足条件|P0-P1|<Tp以及|R0-R1|>Tr。

当从视点位置P0到视点位置P1的距离短于预定距离Tp时，条件|P0-P1|<Tp成立。此外，当旋转角度R0指示的虚拟摄像装置的取向(方向)和旋转角度R1指示的虚拟摄像装置的取向所形成的角度大于预定角度Tr时，条件|R0-R1|＞Tr成立。

当|P0-P1|<Tp并且|R0-R1|>Tr时，视点位置P0与视点位置P1之间的距离短，并且用于使虚拟摄像装置从旋转角度R0旋转到旋转角度R1的旋转量大(旋转大)，因此虚拟摄像装置的旋转速度变大。

因此，|P0-P1|<Tp并且|R0-R1|>Tr等同于上述虚拟摄像装置的平均旋转速度大于阈值th的情况。因此，当|P0-P1|<Tp并且|R0-R1|>Tr时，如果生成了视点位置从P0变为P1并且旋转角度从R0变为R1的摄像装置路径，则可能会发生视觉引起的晕动病。

因此，在该示例中，当|P0-P1|<Tp并且|R0-R1|>Tr时，通过生成不连续的摄像装置路径来防止发生视觉引起的晕动病。

即，如果在步骤S63中确定|P0-P1|<Tp并且|R0-R1|>Tr，则控制单元24在步骤S64中生成不连续的摄像装置路径，并且摄像装置路径生成处理结束。

即，控制部24生成下述摄像装置路径：在该摄像装置路径中，将虚拟摄像装置的视点位置为P0的状态切换为虚拟摄像装置的视点位置为P1的状态，并且还将虚拟摄像装置的旋转角度为R0的状态切换为虚拟摄像装置的旋转角度为R1的状态。换言之，生成虚拟摄像装置的视角被切换到另一视角的摄像装置路径。

此后，当控制单元24根据获得的摄像装置路径生成自由视点视频时，控制单元24对自由视点视频执行淡入淡出处理。结果，在所生成的自由视点视频中，显示由状态ST0下的虚拟摄像装置所捕获的视频的状态逐渐变为显示由状态ST1下的虚拟摄像装置所捕获的视频的状态。注意，除了淡入淡出处理之外，其他图像效果处理也可以应用于自由视点视频。

当不连续地切换虚拟摄像装置的状态(视角)时，虚拟摄像装置并不连续旋转，以使得虚拟摄像装置的平均旋转速度变得等于或小于阈值th，并且可以防止发生视觉引起的晕动病。此外，由于通过诸如淡入淡出的图像效果逐渐切换视频，因此不仅较不可能导致视觉引起的晕动病，而且还可以获得比突然切换视频时看上去更好的高质量的自由视点视频。

另一方面，如果在步骤S63中确定“|P0-P1|<Tp并且|R0-R1|>Tr”不成立，则在步骤S65中，控制单元24生成虚拟摄像装置的视点位置和旋转角度连续改变的摄像装置路径，并且摄像装置路径生成处理结束。例如，在步骤S65中，执行与图9的步骤S15中类似的处理以生成摄像装置路径。

如上所述，信息处理装置11根据移动前后的视点位置之间的距离以及移动前后的虚拟摄像装置的旋转角度的变化量，生成虚拟摄像装置的状态不连续地改变的摄像装置路径。结果，可以减少自由视点视频的视觉引起的晕动病。

注意，摄像装置路径生成算法的切换(即，生成不连续摄像装置路径还是连续摄像装置路径)可以通过作为自由视点视频的观看装置的显示单元12来确定，或者可以取决于作为观看者的用户对晕动病的易感性来确定。

具体地，例如，甚至当观看相同的自由视点视频时，对视觉引起的晕动病的易感性也取决于观看装置的特性例如观看装置的观看模式及观看装置的显示屏尺寸而不同。

这里，观看装置的观看模式是指作为观看者的用户如何观看自由视点视频，例如，利用附接到头部的观看装置进行观看或者利用安装的观看装置进行观看。

例如，在将电视机用作观看装置的情况下，即使在画面上存在使得虚拟摄像装置的方向旋转180度的视点移动，正在观看电视机上的自由视点视频的用户也较不可能经历视觉引起的晕动病。

这是因为，在观看电视机上的自由视点视频时，用户的眼睛可以看到自由视点视频以外的电视机周围的事物。换言之，只有作为用户视野的一部分的、自由视点视频的部分发生旋转。

因此，例如在观看装置是电视机的情况下，可以在一定程度上降低上述阈值Tp，并且可以在一定程度上增加阈值Tr。

另一方面，例如，在将HMD用作观看装置的情况下，用户的整个视野变为自由视点视频，并且如果虚拟摄像装置在短时间内旋转很大，则会发生视觉引起的晕动病。因此，在这种情况下，应生成不连续的摄像装置路径。因此，例如，在观看装置是HMD的情况下，最好在一定程度上增加阈值Tp而在一定程度上降低阈值Tr。

因此，当可以在诸如智能电话、电视机和HMD的不同类型的观看装置上观看相同的自由视点视频时，可以针对观看装置的每个特性预先设置不同的阈值Tp和阈值Tr。然后，利用参照图12描述的摄像装置路径生成处理，可以根据观看装置的特性来生成适当的摄像装置路径。类似地，可以允许用户根据个人对晕动病的易感性等来改变阈值Tp和阈值Tr。

<修改例3>

<摄像装置路径生成处理的说明>

此外，在生成摄像装置路径时，可以考虑关注的目标T0或目标T1的移动速度(移动)。

例如，当生成用于实现将新目标T1保持在虚拟摄像装置的视角内的摄像装置工作的摄像装置路径时，在目标T1的移动较大的情况下，可以通过在目标T1与视点位置P1之间保持一定距离来始终将目标T1包括在虚拟摄像装置的视角中。

特别地，当目标T1的移动较大时，如果目标T1在自由视点视频中显得较大，则可能发生由上述像素移动导致的视觉引起的晕动病。因此，对于具有较大移动的目标T1，通过增加从目标T1到视点位置P1的距离，不仅可以防止目标T1离开视角，而且可以抑制视觉引起的晕动病。

另一方面，当目标T1的移动较小时，即使从目标T1到视点位置P1的距离缩短到一定程度，目标T1也将较不可能离开视角，并且较不可能发生视觉引起的晕动病。而且，在这种情况下，目标T1在自由视点视频中显得较大，并且可以获得好看的视频。

这样，在考虑目标T1的移动速度即目标T1的移动来生成摄像装置路径的情况下，信息处理装置11例如执行图13所示的摄像装置路径生成处理。在下文中，将参照图13的流程图描述信息处理装置11进行的摄像装置路径生成处理。

注意，图13中的步骤S111和S112的处理类似于图9的步骤S11和S12的处理，并且将省略其描述。

在步骤S113中，控制单元24基于从内容数据获取单元21提供的内容数据来确定新目标T1的移动是否较大。

例如，控制单元24基于内容数据获得虚拟摄像装置到达视点位置P1时目标T1的移动速度，并且如果该移动速度等于或高于预定阈值，则确定目标T1的移动较大。

例如，可以通过预先读取内容数据来获得目标T1的移动速度。然而，在难以预先读内容数据的情况下，例如在实时传送自由视点视频的内容的情况下，通过基于虚拟摄像装置到达视点位置P1的时刻之前的内容数据进行预测来获得目标T1的移动速度。

如果在步骤S113中确定目标T1的移动较大，则在步骤S114中，控制单元24基于目标T1的移动速度来校正在步骤S112中确定的视点位置P1，并且获得视点位置P1'。即，根据目标T1的移动速度来重新确定视点位置P1。

具体地，例如，如图14所示，假定在步骤S112中获得的视点位置P1是与目标T1分开距离L的位置。注意，在图14中，相同的附图标记被赋予与图10中的部件对应的部件，因此将适当地省略其描述。

在图14中，箭头W71指示的位置是校正虚拟摄像装置VC11之前的视点位置P1。当目标T1的移动较大时，如果甚至在虚拟摄像装置VC11到达视点位置P1之后目标T1仍继续移动，则目标T1可能移出虚拟摄像装置VC11的视角。

因此，控制单元24基于目标T1的移动速度，将比视点位置P1更远离目标T1的位置定义为视点位置P1'。在此，箭头W72指示的位置是视点位置P1'。

例如，假定甚至在虚拟摄像装置VC11到达视点位置P1之后目标T1仍在移动，并且基于目标T1的移动速度来预测目标T1的移动范围。另外，基于预测结果，获得下述范围：在该范围中，作为从虚拟摄像装置VC11到目标T1的距离能够确保上述适当距离L；并且将该范围内的适当位置定义为视点位置P1'。

因此，在目标T1的移动较大的情况下，基于目标T1的移动(移动速度)来确定视点位置P1'。换言之，基于目标T1的移动来确定摄像装置路径的终点处的虚拟摄像装置VC11的视角。

返回到图13的描述，在步骤S115中，控制单元24基于视点位置P1'和旋转角度R1来生成摄像装置路径，并且摄像装置路径生成处理结束。

即，控制单元24生成下述摄像装置路径：在该摄像装置路径中，虚拟摄像装置从视点位置P0移动到视点位置P1'，并且虚拟摄像装置从旋转角度R0指示的方向旋转到旋转角度R1指示的方向。

此时，如果目标T0或目标T1正在移动，则基于内容数据来预测每个时刻(时间)处的目标T0或目标T1的位置，并且还考虑预测结果来生成摄像装置路径。

通过使用以这种方式获得的摄像装置路径，甚至当目标T1正在移动时，目标T1也可以被虚拟摄像装置适当地捕获。换言之，目标T1可以被包括在虚拟摄像装置的视角中。

另一方面，如果在步骤S113中确定目标T1的移动不大，则控制单元24在步骤S116中基于视点位置P1和旋转角度R1来生成摄像装置路径，并且摄像装置路径生成处理结束。在这种情况下，在步骤S116中，以与图9的步骤S15中类似的方式生成摄像装置路径。

如上所述，信息处理装置11也考虑新目标T1的移动来生成摄像装置路径。结果，目标T1可以被适当地包括在虚拟摄像装置的视角中，并且可以减少视觉引起的晕动病。特别地，在这种情况下，可以取决于目标位置T1的移动较大还是目标位置T1的移动较小而将视点位置设置为与目标T1分开适当距离的位置。

注意，在生成用于实现将新目标T1保持在虚拟摄像装置的视角内的摄像装置工作的摄像装置路径的情况下，虚拟摄像装置与目标之间的距离可以取决于在距目标T0或目标T1一定距离内是否存在其他目标而改变。

例如，如果在新目标T1附近没有其他目标，则控制单元24确定视点位置P1以使得目标T1被保持在虚拟摄像装置的视角内并且目标T1在自由视点视频中显得足够大。

另一方面，例如，如果在新目标T1附近存在另一个目标T2，则控制单元24将在一定程度上与目标T1分开的位置确定为视点位置P1，以使得目标T1和目标T2在虚拟摄像装置的视角内。

结果，可以获得一个或更多个目标以适当尺寸出现在自由视点视频中的好看的视频。

<计算机配置示例>

顺便提及，上述一系列处理可以通过硬件或软件来执行。在通过软件执行一系列处理的情况下，软件中包括的程序被安装在计算机上。这里，计算机包括结合在专用硬件中的计算机，例如可以通过安装各种程序来执行各种功能的通用个人计算机等。

图15是示出根据程序执行上述一系列处理的计算机的硬件配置示例的框图。

在计算机中，CPU 501、只读存储器(ROM)502和RAM 503通过总线504相互连接。

输入/输出接口505也连接到总线504。输入单元506、输出单元507、记录单元508、通信单元509和驱动器510连接到输入/输出接口505。

输入单元506包括键盘、鼠标、麦克风、成像装置等。输出单元507包括显示器、扬声器等。记录单元508包括硬盘、非易失性存储器等。通信单元509包括网络接口等。驱动器510驱动可移动记录介质511，例如磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机中，例如，CPU 501通过输入/输出接口505和总线504将记录在记录单元508中的程序加载到RAM 503，并且执行该程序以执行上述一系列处理。

例如，可以通过将计算机(CPU 501)执行的程序记录在诸如封装介质的可移动记录介质511上来提供该程序。另外，可以通过诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。

在计算机中，通过将可移动记录介质511附接到驱动器510，可以通过输入/输出接口505将程序安装在记录单元508中。另外，可以由通信单元509通过有线或无线传输介质接收程序，并且将程序安装在记录单元508中。此外，程序可以被预先安装在ROM 502或记录单元508中。

注意，由计算机执行的程序可以是按照本说明书中描述的顺序按时间顺序执行处理的程序，或者是并行执行处理的程序，或者是在诸如被调用时的必要定时处执行处理的程序。

另外，本技术的实施例不限于上述实施例，并且可以在不脱离本技术的范围的情况下进行各种修改。

例如，本技术可以具有云计算配置，在云计算配置中，一种功能由多个装置通过网络共享和处理。

另外，上述流程图中描述的每个步骤可以由一个装置执行或者由多个装置以共享的方式执行。

此外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多个处理可以由一个装置执行或者由多个装置以共享的方式执行。

此外，本技术还可以按照以下方式配置。

(1)

一种信息处理装置，包括

输入获取单元，其获取指定自由视点视频的显示范围的用户输入；以及

控制单元，其基于所述用户输入来控制确定所述自由视点视频的显示范围的虚拟摄像装置，其中，

当所述控制单元响应于所述用户输入而将所述虚拟摄像装置的视角从包括第一目标的第一视角变为包括第二目标的第二视角时，

如果所述虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个具有预定角速度，则所述控制单元在使所述虚拟摄像装置远离所述第一目标移动的同时执行所述虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个，并且

如果所述虚拟摄像装置的摇摄旋转和俯仰旋转的角速度小于所述预定角速度，则所述控制单元在保持所述虚拟摄像装置与所述第一目标之间的距离的同时执行所述虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个。

(2)

根据(1)所述的信息处理装置，其中，

所述控制单元基于所述用户输入来确定所述第二视角。

(3)

根据(2)所述的信息处理装置，其中

如果所述虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个的角速度是大于预定阈值的所述预定角速度，则所述控制单元重新确定所述第二视角，以使得所述虚拟摄像装置的摇摄旋转和俯仰旋转的角速度等于或小于所述阈值。

(4)

根据(3)所述的信息处理装置，其中，

当所述控制单元重新确定所述第二视角时，所述控制单元在使所述虚拟摄像装置远离所述第一目标移动的同时执行所述虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个，以使得所述虚拟摄像装置的视角从所述第一视角变为重新确定的第二视角。

(5)

根据(4)所述的信息处理装置，其中，

当所述控制单元重新确定所述第二视角时，所述控制单元使所述虚拟摄像装置远离所述第一目标移动以使得所述虚拟摄像装置的视角从所述第一视角变为第三视角，并且然后移动所述虚拟摄像装置以使得所述虚拟摄像装置的视角从所述第三视角变为所述第二视角。

(6)

根据(5)所述的信息处理装置，其中，

所述控制单元确定所述第三视角，以使得所述第一目标和所述第二目标被包括在所述第三视角中。

(7)

根据(6)所述的信息处理装置，其中，

所述控制单元基于不同时间处的所述自由视点视频之间的对应特征点的移动量来确定所述第三视角。

(8)

根据(1)至(7)中任一项所述的信息处理装置，其中，

所述控制单元在使所述虚拟摄像装置保持与所述第一目标及所述第二目标相距一定距离或更远的同时，将所述虚拟摄像装置从与所述第一视角对应的位置移动到与所述第二视角对应的位置。

(9)

根据(1)至(8)中任一项所述的信息处理装置，其中，

当所述第一视角与所述第二视角之间的关系满足预定条件时，所述控制单元将所述虚拟摄像装置的视角从所述第一视角切换到所述第二视角，并且执行淡入淡出处理，以使得所述第一视角的所述自由视点视频逐渐变为所述第二视角的所述自由视点视频。

(10)

根据(9)所述的信息处理装置，其中，

当从与所述虚拟摄像装置的所述第一视角对应的位置到与所述虚拟摄像装置的所述第二视角对应的位置的距离小于预定距离、并且由与所述摄像装置的所述第一视角对应的方向和与所述摄像装置的所述第二视角对应的方向形成的角度大于预定角度时，认为满足所述预定条件。

(11)

根据(2)至(10)中任一项所述的信息处理装置，其中，

所述控制单元基于所述用户输入和所述第一目标的移动来确定所述第二视角。

(12)

一种信息处理方法，包括：

由信息处理装置：

获取指定自由视点视频的显示范围的用户输入，以及

当响应于所述用户输入而将确定所述自由视点视频的显示范围的虚拟摄像装置的视角从包括第一目标的第一视角变为包括第二目标的第二视角时，

如果所述虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个具有预定角速度，则在使所述虚拟摄像装置远离所述第一目标移动的同时执行所述虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个，并且

如果所述虚拟摄像装置的摇摄旋转和俯仰旋转的角速度小于所述预定角速度，则在保持所述虚拟摄像装置与所述第一目标之间的距离的同时执行所述虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个。

(13)

一种程序，所述程序用于使计算机执行包括以下步骤的处理：

获取指定自由视点视频的显示范围的用户输入，以及

当响应于所述用户输入而将确定所述自由视点视频的显示范围的虚拟摄像装置的视角从包括第一目标的第一视角变为包括第二目标的第二视角时，

如果所述虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个具有预定角速度，则在使所述虚拟摄像装置远离所述第一目标移动的同时执行所述虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个，并且

如果所述虚拟摄像装置的摇摄旋转和俯仰旋转的角速度小于所述预定角速度，则在保持所述虚拟摄像装置与所述第一目标之间的距离的同时执行所述虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个。

附图标记列表

11 信息处理装置

12 显示单元

13 传感器单元

21 内容数据获取单元

22 检测单元

23 输入获取单元

24 控制单元

Claims (13)

1.一种信息处理装置，包括

输入获取单元，其获取指定自由视点视频的显示范围的用户输入；以及

控制单元，其基于所述用户输入来控制确定所述自由视点视频的显示范围的虚拟摄像装置，其中，

当所述控制单元响应于所述用户输入而将所述虚拟摄像装置的视角从包括第一目标的第一视角变为包括第二目标的第二视角时，

如果所述虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个具有预定角速度，则所述控制单元在使所述虚拟摄像装置远离所述第一目标移动的同时执行所述虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个，并且

如果所述虚拟摄像装置的摇摄旋转和俯仰旋转的角速度小于所述预定角速度，则所述控制单元在保持所述虚拟摄像装置与所述第一目标之间的距离的同时执行所述虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个。

2.根据权利要求1所述的信息处理装置，其中，

所述控制单元基于所述用户输入来确定所述第二视角。

3.根据权利要求2所述的信息处理装置，其中

如果所述虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个的角速度是大于预定阈值的所述预定角速度，则所述控制单元重新确定所述第二视角，以使得所述虚拟摄像装置的摇摄旋转和俯仰旋转的角速度等于或小于所述阈值。

4.根据权利要求3所述的信息处理装置，其中，

当所述控制单元重新确定所述第二视角时，所述控制单元在使所述虚拟摄像装置远离所述第一目标移动的同时执行所述虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个，以使得所述虚拟摄像装置的视角从所述第一视角变为重新确定的第二视角。

5.根据权利要求4所述的信息处理装置，其中，

当所述控制单元重新确定所述第二视角时，所述控制单元使所述虚拟摄像装置远离所述第一目标移动以使得所述虚拟摄像装置的视角从所述第一视角变为第三视角，并且然后移动所述虚拟摄像装置以使得所述虚拟摄像装置的视角从所述第三视角变为所述第二视角。

6.根据权利要求5所述的信息处理装置，其中，

所述控制单元确定所述第三视角，以使得所述第一目标和所述第二目标被包括在所述第三视角中。

7.根据权利要求6所述的信息处理装置，其中，

所述控制单元基于不同时间处的所述自由视点视频之间的对应特征点的移动量来确定所述第三视角。

8.根据权利要求1所述的信息处理装置，其中，

所述控制单元在使所述虚拟摄像装置保持与所述第一目标及所述第二目标相距一定距离或更远的同时，将所述虚拟摄像装置从与所述第一视角对应的位置移动到与所述第二视角对应的位置。

9.根据权利要求1所述的信息处理装置，其中，

当所述第一视角与所述第二视角之间的关系满足预定条件时，所述控制单元将所述虚拟摄像装置的视角从所述第一视角切换到所述第二视角，并且执行淡入淡出处理，以使得所述第一视角的所述自由视点视频逐渐变为所述第二视角的所述自由视点视频。

10.根据权利要求9所述的信息处理装置，其中，

当从与所述虚拟摄像装置的所述第一视角对应的位置到与所述虚拟摄像装置的所述第二视角对应的位置的距离小于预定距离、并且由与所述摄像装置的所述第一视角对应的方向和与所述摄像装置的所述第二视角对应的方向形成的角度大于预定角度时，认为满足所述预定条件。

11.根据权利要求2所述的信息处理装置，其中，

所述控制单元基于所述用户输入和所述第一目标的移动来确定所述第二视角。

12.一种信息处理方法，包括：

由信息处理装置：

获取指定自由视点视频的显示范围的用户输入，以及

当响应于所述用户输入而将确定所述自由视点视频的显示范围的虚拟摄像装置的视角从包括第一目标的第一视角变为包括第二目标的第二视角时，

如果所述虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个具有预定角速度，则在使所述虚拟摄像装置远离所述第一目标移动的同时执行所述虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个，并且

如果所述虚拟摄像装置的摇摄旋转和俯仰旋转的角速度小于所述预定角速度，则在保持所述虚拟摄像装置与所述第一目标之间的距离的同时执行所述虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个。

13.一种程序，所述程序用于使计算机执行包括以下步骤的处理：

获取指定自由视点视频的显示范围的用户输入，以及

当响应于所述用户输入而将确定所述自由视点视频的显示范围的虚拟摄像装置的视角从包括第一目标的第一视角变为包括第二目标的第二视角时，

如果所述虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个具有预定角速度，则在使所述虚拟摄像装置远离所述第一目标移动的同时执行所述虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个，并且

如果所述虚拟摄像装置的摇摄旋转和俯仰旋转的角速度小于所述预定角速度，则在保持所述虚拟摄像装置与所述第一目标之间的距离的同时执行所述虚拟摄像装置的摇摄旋转或俯仰旋转中的至少一个。

Images