CN110892455A - 图像处理装置、用于图像处理装置的图像处理方法和程序 - Google Patents

Abstract

本申请的目的是减轻与虚拟视点图像的生成相关的工作负荷。在本发明中，提供了被配置成参考表示三维空间中成像的成像对象的三维信息的虚拟视点图像生成单元，该虚拟视点图像生成单元因此生成来自三维空间中的视点的观察图像作为虚拟视点图像。虚拟视点图像生成单元通过跟踪成像对象的运动来设置视点。因此可以减轻与视点的设置有关的工作负荷。

Description

图像处理装置、用于图像处理装置的图像处理方法和程序

技术领域

本技术涉及图像处理装置、用于图像处理装置的方法以及用于生成虚拟视点图像的程序的技术领域，该图像处理装置基于表示三维空间中成像的成像对象的三维信息，生成来自三维空间中的视点的观看的观察图像作为虚拟视点图像。

背景技术

已知一种技术，通过该技术，基于表示在三维空间中成像的成像对象的三维信息，生成与来自三维空间中任意视点的观察图像相对应的虚拟视点图像(也称为自由视点图像或自由视点视频)。

要注意的是，下面列出的PTL 1可以作为相关技术给出。

PTL 1公开了基于由多个成像装置捕获的图像生成3D模型，并设置视点，以使得在图像上观察到成像对象(人)的关注部位，然后生成根据设置的视点的虚拟视点图像。在本文件中，不以作为成像对象的人移动为前提，并且一旦设置了视点，则视点保持固定并且当作为对象的成像对象暂时移动时该视点不跟随。

[引用列表]

[专利文献]

[PTL 1]

JP 2016-77346A

发明内容

[技术问题]

在虚拟视点图像中，可以自由地移动视点，并且特别是对于作为运动图像的虚拟视点图像，可以提供视点随着时间的流逝而动态变化的高逼真图像。

但是，过去，通常通过图像编辑器等的手动操作来进行虚拟视点图像的视点设置。这增加了与虚拟视点图像的产生有关的工作负担，这是不希望的。

鉴于如上所述的情况提出了本技术，并且本技术的目的是实现与虚拟视点图像的产生有关的工作负担的减轻。

[问题的解决方法]

根据本技术的图像处理装置包括虚拟视点图像生成部分，该虚拟视点图像生成部分基于表示三维空间中成像的成像对象的三维信息，生成来自三维空间中的视点的观察图像作为虚拟视点图像，并且虚拟视点图像生成部分跟随成像对象的运动设置视点。

通过如上所述跟随成像对象的运动设置视点，可以减轻与设置视点有关的操作负担。

优选地，根据上述本技术的图像处理装置包括成像对象分析部分，其基于三维信息获取成像对象的分析信息，以及虚拟视点图像生成部分，其基于分析信息设置将用于虚拟视点图像的视点设置的参考位置。

因此，可以实现基于参考位置的各种视点设置，并且有助于使成像对象跟随视点。

优选地，上述根据本技术的图像处理装置包括三维信息生成部分，该三维信息生成部分基于包括多个成像装置的捕获图像的成像信息和与该捕获图像相对应的成像条件来生成三维信息。

通过以这种方式使用包括捕获图像和多个成像装置的成像条件的成像信息，可以获得适当的三维信息。

优选地，根据上述本技术的图像处理装置将人设置为成像对象，并且虚拟视点图像生成部分将参考位置设置为人的身体的中心。

身体的中心表示人的身体中心，例如，人的两个肩膀之间的中心，身体的上，下，左，右方向上的中心，面部的中心或脚的中心。

优选地，在上述根据本技术的图像处理装置中，虚拟视点图像生成部分基于成像对象的位置信息来设置视点。

这使得可以设置可以容易地捕获成像对象的视点。

优选地，上述根据本技术的图像处理装置将人作为成像对象，并且虚拟视点图像生成部分基于成像对象的属性信息来设置视点。

这使得可以基于从成像对象的属性信息中指定的成像对象的位置来自动设置视点。

优选地，在上述根据本技术的图像处理装置中，虚拟视点图像生成部分基于在三维空间中指定的区域信息来设置视点。

这使得可以基于三维空间中特定区域中存在的成像对象的位置来自动设置视点。

优选地，在上述根据本技术的图像处理装置中，虚拟视点图像生成部分基于操作输入来设置视点。

这使得可以在实现视点设置中的操作负担减少的同时设置反映用户意图的视点。

优选地，根据上述本技术的图像处理装置包括显示部分，该显示部分显示虚拟视点图像，并且该显示部分顺序地显示在视点的设置方法上不同的多个虚拟视点图像作为候选视点图像，并且虚拟视点图像生成部分基于与候选视点图像有关的选择操作来设置视点。

这使得用户可以在实际确认图像内容的同时选择有利的视点。此外，由于应用了顺序显示，因此可以显示比较大的候选视点图像，并且用户可以在确认图像细节的同时进行视点选择。

优选地，根据上述本技术的图像处理装置包括显示部分，该显示部分显示虚拟视点图像，并且该显示部分将在视点的设置方法上不同的多个虚拟视点图像并置显示为候选视点，然后，虚拟视点图像生成部分基于与候选视点图像有关的选择操作来设置视点。

这使得用户可以在实际确认图像内容的同时选择有利的视点。此外，由于候选视点图像并置显示，因此用户可以在同时比较多个候选视点图像的同时执行视点选择。

优选地，在上述根据本技术的图像处理装置中，作为视点，虚拟视点图像生成部分能够在用于观察成像对象的视点与用于从成像对象向外观察的另一视点之间进行切换。

这实现了可以设置的视点的多样化。

优选地，在上述根据本技术的图像处理装置中，虚拟视点图像生成部分响应于操作而沿着覆盖成像对象的外围的球面设置视点。

这增加了可以通过用户的操作来设置的视点位置的自由度。

优选地，在上述根据本技术的图像处理装置中，将人作为成像对象，并且虚拟视点图像生成部分将作为从成像对象向外观察的视点的第一人称视点设置为视点，并基于与成像对象的朝向有关的分析信息的获取情况，选择从第一人称视点的视线方向的设置方法。

这使得可以根据与成像对象的朝向有关的分析信息的获取情况来进行适当的视线方向的设置，所述朝向例如是成像对象的面部的朝向或身体的朝向。

优选地，在上述根据本技术的图像处理装置中，虚拟视点图像生成部分基于获取情况和成像对象的朝向的改变率来选择视线方向的设置方法。

这使得即使获取了与成像对象的朝向有关的分析信息，例如成像对象的面部的朝向或身体的朝向，变化速度也很高，也可以在不使用分析信息的情况下，根据诸如视线方向的设置之类的成像对象的方向的变化速度来执行视线方向的设置。

优选地，在上述根据本技术的图像处理装置中，虚拟视点图像生成部分基于获取情况和成像对象的前进方向来设置视线方向。

这使得当不能获取根据成像对象的朝向的分析信息时，可以基于成像对象的前进方向(成像对象的位置的改变方向)来设置视线方向。

优选地，在上述根据本技术的图像处理装置中，以人作为成像对象，并且虚拟视点图像生成部分包括通知处理部分，该通知处理部分设置第一人称视点作为视点，该第一人称视点是用于从成像对象向外观察的视点，基于与成像对象的朝向有关的分析信息设置从视点的视线方向，并执行用于向用户通知根据视线方向与成像对象的视线的朝向之间的偏差的信息的处理。

由于如上所述执行了根据视线方向和成像对象的视线的朝向之间的偏差的信息的通知，因此用户可以容易地将虚拟视点图像的视线方向与成像对象视线的朝向对准。

优选地，在上述根据本技术的图像处理装置中，通知处理部分执行用于与虚拟视点图像一起显示视线对准指导信息的处理，该视线对准指导信息将虚拟视点图像的视线方向与成像对象视线的朝向对准。

由于如上所述的这种视线对准指导信息与虚拟视点图像一起显示，因此用户可以容易地将虚拟视点图像的视线方向对准成像对象视线的朝向。

优选地，在上述根据本技术的图像处理装置中，通知处理部分执行用于基于成像对象视线的朝向来估计成像对象的视野并且使与虚拟视点图像中成像对象的视野的重叠部分和非重叠部分两者以不同显示形式显示的处理。

由于与虚拟视点图像中的成像对象的视野的重叠部分和非重叠部分中的显示形式彼此不同，因此允许用户容易地理解视线方向应朝向哪个方向改变以与成像对象的视线的朝向对准。

此外，根据本技术的图像处理方法是用于图像处理装置的图像处理方法，包括：获取表示三维空间中成像的成像对象的三维信息，基于三维信息生成来自三维空间中的视点的观察图像，并在生成虚拟视点图像时跟随成像对象的运动设置视点。

同样，利用刚刚描述的这种图像处理方法，可以获得与根据上述本技术的图像处理装置的工作相似的工作。

此外，根据本技术的程序是用于使计算机装置执行以下操作的程序：获取表示三维空间中成像的成像对象的三维信息，基于三维信息生成来自三维空间中的视点的观察图像，并在生成虚拟视点图像时跟随成像对象的运动设置视点。

利用如上所述的程序，实现了根据上述本技术的图像处理装置。

[发明的有益效果]

利用本技术，可以实现与虚拟视点图像的产生有关的工作负担的减轻。

要注意的是，这里描述的效果并不总是限制性的，并且可以应用本公开中描述的任何效果。

附图说明

图1是示出作为实施例的包括图像处理装置的图像处理系统的配置示例的图。

图2是作为实施例的图像处理装置中提供的虚拟视点图像生成部分的功能框图。

图3是虚拟视点图像的视点的说明图。

图4是成像对象的简单模型的说明图。

图5是例示实施例中的运动员属性管理信息的图。

图6是例示实施例中的成像对象分析信息的图。

图7是示出在实施例中与“用于观察成像对象的视点”相对应的视点和视线方向的设置示例的图。

图8是示出实施方式中的与“从成像对象向外观察的视点”相对应的视点和视线方向的设置示例的图。

图9是多个候选视点图像的显示方法的说明图。

图10是该实施例中的简单设置模式的说明图。

图11是示出用于实施作为实施例的视点设置方法的特定处理的过程的流程图。

图12是用于准备好其中获得跟随多个运动员的运动的图像作为虚拟视点图像的情况的设置的示例的说明图。

图13是示出关于关于一个关注的成像对象的视点的关于设置的变型的视图。

图14是第二变型中的视线方向的设置方法的说明图。

图15是示出在仅获取面部朝向的情况下当成像对象处于运动状态时的视线方向的设置方法的示例的图。

图16是成像对象的身体朝向的说明图。

图17是示出在已经获得了面部朝向和姿势的情况下当成像对象处于运动状态时的视线方向的设置方法的示例的图。

图18是流程图，其描述了为了实现视线方向的设置作为第二变型而要执行的特定处理的过程。

图19是作为第三变型的图像处理系统的配置的说明图。

图20是示出根据第一人称视点的虚拟视点图像的视线方向与成像对象的视线方向之间的关系的视图。

图21是示出第三变型中的成像对象的视线方向的设置方法的图。

图22是当从面部的朝向估计视线的方向时的视点偏移的说明图。

图23是例示在视线方向与视线的朝向之间产生了偏差的情况下的成像对象的视野与用户的视野的关系的说明图。

图24是根据在视线方向和视线的朝向之间发生的偏差的信息通知的示例的说明图。

图25是表示目标方向信息的说明图。

图26是根据在视线方向和视线的朝向之间发生的偏差的信息通知的另一示例的说明图。

图27是用于基于与成像对象的朝向有关的分析信息的获取情况来选择视线的朝向的设置方法的处理的流程图。

图28是与视线对准指导信息的显示有关的处理的流程图。

图29是示出根据第五变型的图像处理系统的配置示例的图。

图30是示出根据第六变型的图像处理系统的配置示例的图。

图31是示意性地表示手术室系统的通用配置的图。

图32是示出集中式操作面板的操作画面图像的显示示例的图。

图33是示出应用了手术室系统的手术状态的例子的图。

图34是示出图33所示的相机头和相机控制单元(CCU)的功能配置的示例的框图。

图35是示出车辆控制系统的示意性配置的示例的框图。

图36是辅助说明车外信息检测部分和成像部分的安装位置的例子的图。

具体实施方式

在下文中，参考附图以以下顺序描述根据本技术的实施例。

<1、实施例的图像处理系统>

[1-1、图像处理系统的配置]

[1-2、实施例的视点设置方法]

[1-3、处理过程]

<2、变型>

[2-1、第一变型]

[2-2、第二变型]

[2-3、第三变型]

[2-4、第四变型]

[2-5、第五变型]

[2-6、第六变型]

[2-7、第七变型]

[2-8、第八变型]

<3、实施例概要>

<4、其他变型>

<5、本技术>

<1、实施例的图像处理系统>

[1-1、图像处理系统的配置]

图1示出了包括根据本技术的实施例的图像处理装置1的图像处理系统100的配置示例。

除了图像处理装置1之外，图像处理系统100还包括多个成像装置2，图像记录装置3，参数记录装置4，校准装置5，输入装置6，显示装置7和图像记录装置8，基于从多个成像装置2获取的成像信息，生成与来自三维空间中的任意视点的观察图像对应的虚拟视点图像(也称为自由视点图像或自由视点视频)。

每个成像装置2被配置为具有由例如CCD(电荷耦合器件)传感器或CMOS(互补金属氧化物半导体)传感器构成的成像元件的数字相机装置，并获取捕获图像(捕获图像数据)作为数字数据。在本示例中，每个成像装置2根据运动图像获取捕获图像。

在本示例中，每个成像装置2对进行诸如篮球或足球之类的球赛并且将其沿预定方向分别布置在举行球赛的比赛场地的预定位置处的方式进行成像。尽管在本示例中，成像装置2的数量是三个或更多，但是如果成像装置2的数量是至少两个或更多，则足以生成虚拟视点图像。如果增加成像装置2的数量以从增加的角度数量对目标成像对象进行成像，则可以实现成像对象的三维恢复的精度的提高，并且可以实现改善虚拟视点图像的图片质量。

图像记录装置3包括诸如SSD(固态驱动器)或HDD(硬盘驱动器)之类的数据记录部分，以及执行向数据记录部分和从数据记录部分中进行数据的记录和再现控制的控制部分。图像记录装置3记录各个成像装置2捕获的图像，并且根据请求将这样记录的捕获图像发送到外部装置(在本示例中为图像处理装置1)。

注意，将通过各个成像装置2捕获的图像记录到图像记录装置3中，消除了基于成像位置处(在本示例中，在比赛场地)的捕获图像执行虚拟视点图像的生成处理的必要性，并且在任意定时执行对虚拟视点图像的浏览成为可能。但是，在成像位置处执行虚拟视点图像的生成处理的情况下，该记录不是必须的，并且可以将各成像装置2捕获的图像直接发送到图像处理装置1。在这种情况下，由于省略了图像记录装置3的记录处理，因此能够以更高的速度进行虚拟视点图像的生成。

在本示例中，时间码被添加到每个成像装置2捕获的图像，使得在图像处理装置1中的后续处理中建立帧同步变得可能。

参数记录装置4包括数据记录部分，例如SSD或HDD，以及控制部分，该控制部分执行向数据记录部分和从数据记录部分的数据的记录和再现控制。参数记录装置4记录从各个成像装置2获取的相机内部参数，并且根据请求将记录的相机内部参数发送到外部装置(在本示例中为校准装置5)。

在生成虚拟视点图像时，获取相机的焦距，像素的纵横比，镜头畸变等信息作为相机内部参数。参数记录装置4与获取源的成像装置2的识别信息和时间码相关联地记录相机内部参数。

校准装置5基于从参数记录装置4获取的相机内部参数来执行校准。这里，下文描述的3D模型生成部分11检测由多个成像装置2共同观察到的点，并基于三角测量原理恢复成像对象的三维结构。在这里的校准中，执行用于确定相机参数以增加成像对象的这种三维恢复的精度的处理。特别地，校准装置5基于获取的相机内部参数来提取代表每个成像装置2的位置和成像方向(视线方向)的相机参数。所提取的相机参数在它们允许识别关于它们与哪个成像装置2相关联的状态下被发送到图像处理装置1。

在此，上述相机参数对应于表示本技术中的“与捕获图像相对应的成像条件”的信息，并且上述各成像装置2的位置或成像方向是“与捕获图像相对应的成像条件”的示例。

要注意的是，以如上所述的方式通过参数记录装置4记录相机内部参数使得可以与如上所述图像记录装置3的情况类似地在任意定时执行虚拟视点图像的浏览。然而，本质上不需要提供参数记录装置4，而是如果将相机内部参数从每个成像装置2直接发送到校准装置5就足够了。

输入装置6是用于执行向图像处理装置1的输入操作的装置(虚拟视点图像生成部分13)，并且包括操作部分61，该操作部分61包括诸如各种按键和按钮之类的所需操作元件以及显示部分62，显示部分62包括能够显示图像的诸如LCD(液晶显示器)或有机EL(电致发光)显示器之类的显示设备。

本示例中的操作部分61包括允许用户进行触摸操作的触摸板61a作为操作元件。触摸板61a形成在显示部分62的显示屏上，并且用户可以通过对显示屏的触摸操作来执行各种信息输入。

显示部分62显示由输入装置6生成的各种信息和从图像处理装置1输入的信息。

输入装置6将由操作部分61获得的用户的操作信息发送到图像处理装置1。

图像处理装置1包括3D模型生成部分11、成像对象分析部分12和虚拟视点图像生成部分13。

3D模型生成部分11、成像对象分析部分12和虚拟视点图像生成部分13被配置为例如由图像处理装置1所包括的DSP(数字信号处理器)等配置的图像处理器。

3D模型生成部分11基于从图像记录装置3输入的各成像装置2捕获的图像和从校准装置5输入的各成像装置2的相机参数，生成表示三维空间中的成像对象的3D模型数据(即，从二维图像恢复成像对象的三维结构)。特别地，3D模型数据包括通过(X，Y，Z)表示三维坐标系中的成像对象的数据。

由3D模型生成部分11生成的3D模型数据被输入到成像对象分析部分12和虚拟视点图像生成部分13。

在此，为了使3D模型生成部分11生成3D模型数据而输入的来自各成像装置2的捕获图像和各成像装置2的相机参数相当于本技术中的“成像信息”的示例。

此外，上述3D模型数据对应于表示三维空间中成像的成像对象的“三维信息”的示例。

成像对象分析部分12基于3D模型数据来执行对作为人(运动员)的成像对象的位置、朝向和姿势的分析。特别地，成像对象分析部分12执行成像对象的位置的估计，成像对象的简单模型的生成以及成像对象的朝向(在本示例中为面部朝向)的估计。本示例的成像对象分析部分12还执行成像对象的识别处理。特别地，成像对象分析部分12执行运动员的识别和比赛用球的识别。

注意，以下描述由成像对象分析部分12执行的用于生成简单模型和用于识别运动员的处理。可以通过例如基于成像对象的形状、大小等通过与参考模板的匹配处理或类似的处理来进行球的识别。

虚拟视点图像生成部分13基于从3D模型生成部分11输入的3D模型数据和通过成像对象分析部分12的成像对象分析信息(以下称为“成像对象分析信息Ia”)来生成虚拟视点图像。尤其是，本实施例中的虚拟视点图像生成部分13将确定例如以运动员的身份移动的成像对象作为目标，并跟随成像对象的运动改变(设置)虚拟视点图像的视点的位置。

此外，虚拟视点图像生成部分13基于来自输入装置6的操作信息来改变虚拟视点图像的视点的位置，同时保持如上所述的对成像对象的运动的跟随。

在此，基于与成像对象的移动一起变化的成像对象的三维信息和成像对象的分析信息，通过例如针对每个固定时间间隔(帧率)设置虚拟视点图像的视点位置，在某个时间点设置的视点位置与紧接在此之前(在不同时间点)设置的视点位置不同。特别地，由于视点位置随着成像对象的移动而改变，所以基于视点位置生成的虚拟视点图像也导致跟随成像对象的移动(导致在图片帧中继续显示成像对象的图像)。

要注意的是，尽管在图1所示的图像处理系统10中，此时通过图像记录装置3来记录由多个成像装置2捕获的图像，以实现记录容量的减少，例如，可以仅记录作为关注场景等的部分图像部分(运动图像部分)。特别地，可以想到利用成像对象分析部分12的成像对象分析的信息来指定并记录关注场景。例如，作为关注场景的指定方法，可以想到基于比赛用球的位置信息或篮筐(goal)的位置信息来指定篮筐场景，或者基于比赛用球的位置信息和运动员的位置信息来指定拦截球的场景。

图2是虚拟视点图像生成部分13的功能框图。

如图2所示，虚拟视点图像生成部分13具有作为视点设置处理部分13a和渲染处理部分13b的功能。

视点设置处理部分13a基于成像对象分析部分12的成像对象分析信息Ia和来自输入装置6的操作信息来设置虚拟视点图像的视点。

为了确认，参考图3描述虚拟视点图像的视点。

图3的A描绘了虚拟视点图像的图像，该虚拟视点图像从三维空间中设置的所需视点捕获成像对象。在这种情况下的虚拟视点图像中，基本上从前面观看成像对象S1，并且基本上从后面观看另一个成像对象S2。

在图3的B中，示出了其中通过沿图3的A中箭头C所指示的方向改变视点的位置来设置基本从背面观看成像对象S1的视点的情况下虚拟视点图像的图像。在图3的B的虚拟视点图像中，基本上从前面观看成像对象S2，并且示出了在图3的A中未示出的另一成像对象S3和篮筐。

在此，将虚拟视点图像的视点称为“视点Pv”。

稍后描述作为本实施例的视点Pv的设置方法。

参照图2，渲染处理部分13b基于由视点设置处理部分13a和3D模型数据设置的视点Pv生成作为来自视点Pv的观察图像(二维图像)的虚拟视点图像。

如下文所述，在本示例中，可以基于用户的操作来设置要从视点Pv观察三维空间中的哪个方向，以生成作为虚拟视点图像的图像(以下描述为“向内”或“向外”视点模式)。下面，将如上所述的从视点Pv的观察方法称为“视线方向Dv”。

参照图1，将由虚拟视点图像生成部分13(渲染处理部分13b)获得的虚拟视点图像发送到显示装置7和图像记录装置8。

显示装置7包括显示部分，该显示部分包括诸如LCD或有机EL显示器之类的显示设备，并且执行虚拟视点图像的显示。

图像记录装置8包括数据记录部分，例如SSD或HDD，以及控制部分，其执行向数据记录部分和从数据记录部分的数据的记录和再现控制，并且将虚拟视点图像记录到数据记录部分中。通过将虚拟视点图像记录到图像记录装置8中，使得用户在任意定时浏览虚拟视点图像成为可能。

[1-2、实施例的视点设置方法]

在本实施方式中，执行跟随随着运动员而移动的成像对象的视点Pv的设置。此时，用于追踪的目标的成像对象被预先设置为“关注的成像对象”。由虚拟视点图像生成部分13中的视点设置处理部分13a执行关注的成像对象的设置。

注意，尽管本示例例示了关注的成像对象是作为运动员的人的情况，但是关注的成像对象可以是除运动员以外的人，并且还可以设置人的部分区域或人以外的事物作为关注的成像对象。

作为关注的成像对象的设置方法，可以列出以下方法。

(1)根据成像对象分析部分12的成像对象分析信息Ia，将持有比赛用球的运动员设置为关注的成像对象。

(2)将具有预定球衣号码或具有预定名称的运动员设置为关注的成像对象。

(3)将位于三维空间中的预定区域中的运动员设置为关注的成像对象。

关于上述(1)，可以使用由成像对象分析部分12识别出的作为比赛用球的成像对象的位置信息和作为运动员的成像对象的位置信息来执行设置。例如，将最靠近比赛用球的位置的运动员设置为关注的成像对象。

关于上述(2)，使用了由成像对象分析部分12进行的运动员的识别处理的结果。

在此，描述成像对象分析部分12进行的包括运动员的识别处理的分析处理。

成像对象分析部分12通过图像分析来检测目标的成像对象，特别是在本示例中，作为运动员的成像对象和作为比赛用球的成像对象被检测。随之，成像对象分析部分12为每个检测出的成像对象分配标识符(下面称为“成像对象ID”)。

成像对象分析部分12关于作为运动员的成像对象检测成像对象的朝向。在本示例中，利用面部检测技术将成像对象的朝向检测为成像对象的面部的朝向。

此外，关于作为运动员的成像对象，生成了能够掌握成像对象的姿势的简单模型。简单模型是这样的模型，其中，例如，如图4所示，主要利用关节等的检测点(图4中的黑圈)以及使该检测点相互连接的线来简化作为运动员的成像对象。

例如，将主要响应于姿势而移位的位置，例如，腰部、头部、颈部以及手和腿的关节部分确定为检测点。每个检测点通过一条线连接到特定的不同检测点。由于定义了由线单独互连的检测点，因此形成了由点和线表示人体的简单模型。

如下文所述，在本示例中，可以基于由如上所述的这种简单模型表示的检测点，即基于表示运动员所需部分的位置的信息，来进行视点Pv的设置。

此外，成像对象分析部分12关于作为运动员的成像对象执行运动员的识别处理。

在本示例中，基于球衣号码(uniform number)的检测结果来执行运动员的识别处理。

在成像对象分析部分12中，例如存储有图5所示的运动员属性管理信息Ib。如图5所示，运动员属性管理信息Ib是如下信息：对于作为运动员标识符的每个运动员ID，代表运动员属性的信息(例如，运动员名称，隶属团队)，并且球衣号码与运动员属性信息相关联。

成像对象分析部分12基于如上所述这样的运动员属性管理信息Ib执行运动员的识别处理。特别地，成像对象分析部分12通过对被检测为运动员的成像对象的图像分析来执行隶属团队的决定和球衣号码的识别，并且指定运动员属性管理信息Ib中与隶属团队名称和球衣号码的信息相关联的的运动员ID。

在此，可以根据运动员的装备的颜色或配色方案(例如制服或帽子)的差异等执行隶属团队的决定。

要注意的是，运动员的识别方法不限于上述方法，而是可以使用各种方法来执行例如关于成像对象的物理特征信息(例如身高，肩宽，跑法等)与模板匹配。

图6示出了从成像对象分析部分12输出到虚拟视点图像生成部分13(视点设置处理部分13a)的成像对象分析信息Ia的示例。

成像对象分析信息Ia是对于每个成像对象ID，与成像对象的位置信息、成像对象的类型(在本示例中为运动员或比赛用球)、成像对象的朝向(仅对于运动员而言)、简单模型(仅对于运动员而言)和通过上述识别处理指定的运动员ID相关联的信息。

成像对象分析部分12针对每一帧生成如上所述的这种成像对象分析信息Ia并将其输出到视点设置处理部分13a。此时，例如以与之相关联的时间码将成像对象分析信息Ia输出至视点设置处理部分13a，从而与3D模型数据建立帧同步。

视点设置处理部分13a基于如上所述这样的成像对象分析信息Ia，如上所述的(2)执行对关注的成像对象的设置。

在本示例中，视点设置处理部分13a与图5所示的情况相同，针对每个运动员ID，存储有与运动员属性信息相关联的运动员属性管理信息Ib。此外，视点设置处理部分13a指定与运动员属性管理信息Ib中的预定隶属团队或球衣号码相关联的运动员ID或与预定名称相关联的运动员ID，并设置与作为关注的成像对象的成像对象分析信息Ia中与运动员ID相关联的成像对象。

关于上述(3)，位于三维空间中的预定区域中(例如，位于篮筐附近的预定区域中或位于球场的中心圆附近的预定区域中)中的运动员作为关注的成像对象。注意，在多个运动员位于预定区域中的情况下，根据预定设置条件来设置一个关注的成像对象，诸如将最接近预先确定的位置的运动员设置为关注的成像对象。

在此，关于(3)，区域信息是表示三维空间中的区域的信息。

接着，说明视点设置处理部分13a的视点Pv的设置方法。

首先，在本示例中，可以在设置了“用于观察关注的成像对象的视点Pv”的模式和设置了“用于从关注的成像对象向外观察的视点Pv”的另一模式之间切换“视点模式”作为“视点模式”。

另外，可以在即使用户不进行视点Pv的设置操作而自动进行视点Pv的设置的“自动设置模式”和用户可以通过简单的操作来自由设置视点Pv或视线方向Dv的“简单设置模式”之间切换“视点设置模式”。

视点模式和视点设置模式的转换是响应于用户例如通过输入装置6(操作部分61)的输入操作而执行的。

首先，参考图7和8描述关于“用于观察关注的成像对象的视点Pv”和“用于从关注的成像对象向外观察的视点Pv”中的每一个描述的视点Pv和视线方向Dv的设置示例。

图7是与“用于观察关注的成像对象的视点Pv”相对应的视点Pv和视线方向Dv的设置的示例的说明图。在此，给出了图7的A和图7的B所示的设置的两个示例。要注意的是，在图7和图8中，作为关注的成像对象和比赛用球的成像对象的附图标记分别是“St”和“sb”。

首先，在本示例中，不管“用于从关注的成像对象向外观察的视点Pv”和“用于观察关注的成像对象的视点Pv”，在设置了视点Pv时，则设置了用于关注的成像对象St的参考位置Pr。这里，参考位置Pr被设置为关注的成像对象St的身体中心。身体的中心是作为人的图像的身体的中心，例如，肩膀之间的中心、身体的向左和向右方向以及向上和向下方向的中心(例如，上下中心线与左右中心线之间的交点)、脚之间的中心等。

应当注意，最后是将参考位置Pr设置在成像对象的身体中心的示例，并且参考位置Pr可以至少基于成像对象的位置设置为任意位置。

图7的A的设置示例描绘了其中参考位置Pr设置在肩部之间的中心的示例。可以从成像对象分析信息Ia的简单模型的信息中获取关注的成像对象St肩膀位置的信息。

在图7的A的设置示例中，视点Pv被设置为在关注的成像对象St的“成像对象的朝向”的方向上与参考位置Pr隔开预定距离的位置，高度与肩膀中间的参考位置Pr相同。此外，由于视点Pv是“用于观察关注的成像对象的视点Pv”，因此在这种情况下的视线方向Dv被设置为从视点Pv朝向参考位置Pr的方向(设置为与关注的成像对象St的“成像对象的朝向”的方向相反的方向)。

在图7的A的情况下，参考位置Pr与视点Pv之间的分离距离被设置为通过该距离例如至少关注的成像对象St的上身部分包括在虚拟视点图像中的视角中的距离。例如，优选将分离距离设置为大约“40cm”的距离。要注意的是，该“40cm”是基于这样的情况，即在假设成像元件具有APS-C大小，并且具有约35mm的焦距的情况下的视角的情况下，视角中包括上半身部分，距离约为“24cm”。

根据图7的A的设置示例，可以提供在比赛期间跟随运动员的移动(运动)而捕捉运动员的上半部分的高度存在的图像作为虚拟视点图像。特别地，可以提供适合于分析或调查在使用手的比赛(诸如篮球等)中的运动员的运动的虚拟视点图像。

图7的B的设置示例是与关注的成像对象St具有比赛用球的情况相对应的示例。

在当前的设置示例中，在相互连接被设置为关注的成像对象St的身体中心的参考位置Pr和作为比赛用球的成像对象Sb的位置的直线上，视点Pv被设置为在关注的成像对象St的“成像对象的朝向”的方向上与从参考位置Pr隔开预定距离的位置。这里要注意，成像对象Sb的位置是成像对象Sb的中心位置。同样在这种情况下，由于视点是“用于观察关注的成像对象的视点Pv”，所以视线方向Dv被设置为从视点Pv朝向参考位置Pr的方向。

在图7的B的示例中，参考位置Pr被设置为关注的成像对象St的脸中心。

在图7的B的示例中，参考位置Pr和视点Pv之间的分离距离被设置为大于参考位置Pr和成像对象Sb的位置之间的分离距离的距离。例如，假设将分离距离至少设置为虚拟视点图像的视角中包括关注的成像对象的整个身体的距离，并且在这种情况下，优选地，参考位置Pr和视点Pv之间的分离距离被设置为例如大约“80cm”的距离。

根据图7的B的设置示例，可以提供在比赛期间跟随运动员的运动而在比赛用球上捕获关注的成像对象St的面部表情的高度存在的虚拟视点图像。

图8是视点Pv和与“用于从关注的成像对象向外观察的视点Pv”相对应的视线方向Dv的设置示例的说明图。

图8的A和B的设置的两个示例都是其中参考位置Pr设置在关注的成像对象St的身体的中心的示例。特别地，在图8的A的设置示例中，参考位置Pr被设置在关注的成像对象St的两个肩膀之间的中心。在这种情况下，由于视点是“用于从关注的成像对象向外观察的视点Pv”，因此，视点Pv被设置为与参考位置Pr相同的位置。然后，将视线方向Dv设置为关注的成像对象St的“成像对象的朝向”的方向。

图8的B的设置示例是准备用于关注的成像对象持有比赛用球的情况的示例。

在这种情况下，参考位置Pr被设置为关注的成像对象St的面部中心。由于视点Pv是“用于从关注的成像对象向外观察的视点Pv”，因此在这种情况下也将视点Pv设置到与参考位置Pr相同的位置。

在本示例中，视线方向Dv被设置为从视点Pv朝向成像对象Sb的位置(例如，朝向中心位置)的方向。

根据图8的A的设置示例，可以提供适合于分析或研究在诸如篮球比赛的使用手的比赛中运动员的运动的虚拟视点图像。

此外，根据图8的B的设置示例，高存在的虚拟视点图像描绘了每时每刻在比赛期间从运动员的眼睛可观察到的情况。尤其是，可以提供虚拟视点图像，该虚拟视点图像描绘了在运动员将比赛用球传给另一名运动员的场景中或在投篮场景中运动员对比赛用球的动作，并且该虚拟视点图像适合于分析或研究运动员的运动。

要注意的是，在下面的描述中，“用于观察关注的成像对象的视点Pv”有时被简称为“向内视点”。此外，“用于从关注的成像对象向外观察的视点Pv”有时简称为“向外视点”。

现在，描述“自动设置模式”和“简单设置模式”作为“视点设置模式”。

自动设置模式是其中视点设置处理部分13a通过例如以上参照图7或图8描述的方法来自动设置所谓的视点Pv的模式。

在本示例的情况下，在自动设置模式下，视点设置处理部分13a顺序地改变视点Pv的设置方法。特别地，在本示例中，对关注的成像对象St的设置方法被顺序地改变，从而向用户显示其中设置了相对于依次不同的成像对象S的视点Pv的虚拟视点图像。

图9的A示出了虚拟视点图像的图像，该虚拟视点图像由用户通过如上所述的自动设置模式下的关注的成像对象St的切换来浏览。

在本示例中，由于由虚拟视点图像生成部分13生成的虚拟视点图像被显示在显示装置7的显示屏和输入装置6的显示部分62的显示屏上，因此图9示出了显示在显示屏上的虚拟视点图像的图像。注意，虽然图9的A例示了在视点模式是“向内视点”(用于观察关注的成像对象的视点Pv)的情况下的虚拟视点图像，但是在向外视点的情况下也执行类似的转换。

在本示例中的自动设置模式中，在如上所述以这种方式顺序地切换并显示虚拟视点图像的同时对输入装置6执行预定的输入操作的情况下，视点Pv的设置方法切换停止。特别地，响应于执行的用于从要被切换和显示的虚拟视点图像中选择任意虚拟视点图像的操作，停止关注的成像对象St的设置方法的切换。

在本示例中，上述选择操作被作为对操作部分61的触摸板61a的操作来执行。特别地，响应于对触摸板61a执行的预定触摸操作，例如，敲击或双击，维持在时间点显示的虚拟视点图像的视点Pv的设置方法(在本示例中，关注的成像对象St的设置方法)。

在此，上述行为可以改写为向用户顺序显示其中视点Pv的设置方法不同的多个虚拟视点图像作为候选视点图像并基于从候选视点图像中的选择操作来设置视点Pv。

要注意的是，代替如上所述的候选视点图像的这种连续显示方法，也可以采用例如图9的B所示的向用户同时显示多个候选视点图像的方法。

在这种情况下，虚拟视点图像生成部分13并行地生成候选视点图像，其中通过彼此不同的方法针对关注的成像对象St设置视点Pv。特别地，视点设置处理部分13a针对通过彼此不同的方法设置的关注的成像对象St分别设置视点Pv，并且渲染处理部分13b基于所设置的视点Pv并行地生成虚拟视点图像。然后，渲染处理部分13b将所生成的虚拟视点图像输出到显示装置7和输入装置6的显示部分62。

显示装置7和显示部分62在它们各自的显示屏幕图像中的预定区域中显示多个虚拟视点图像。

在这种情况下，在检测到针对触摸板61a的预定触摸操作的情况下，输入装置6的操作部分61将对其执行了触摸操作的屏幕图像区域的信息发送到虚拟视点图像生成部分13。

虚拟视点图像生成部分13基于屏幕图像区域的信息指定通过触摸操作选择的虚拟视点图像，然后，视点设置处理部分13a通过所指定的虚拟视点图像的视点Pv的设置方法来进行视点Pv的设置，并且渲染处理部分13b停止生成多个候选视点图像，并基于所设置的视点Pv来生成并输出虚拟视点图像。

现在，描述“简单设置模式”。

本示例的简单设置模式是其中用户可以基于关注的成像对象St的参考位置Pr通过操作来改变视点Pv的位置或视线方向Dv的模式。

图10是简单设置模式的说明图。

在简单设置模式中，在视点模式是“向内视点”的模式的情况下，视点Pv响应于用户的操作而沿着如图10所示的以参考位置Pr为中心的球面Ss变化。要注意的是，由于视点模式是“向内视点”的模式，因此在这种情况下的视线方向Dv被设置为从视点Pv朝向参考位置Pr的方向。

在这种情况下，视点Pv的改变操作可以是例如触摸板61a的操作(例如，在要移动视点Pv的方向上追踪手指的操作)或例如设置在操作部分61上的十字键或操纵杆的多方向操作元件的操作。

要注意的是，使用触摸板61a的输入装置6的形式可以例如作为诸如平板终端的装置来实现，并且由于操作部分可以与用于浏览虚拟视点图像的面板一体地提供，可以降低用于导入的装备成本。

另一方面，在采用诸如操纵杆之类的游戏控制器类型形式的情况下，尽管需要专用于操作输入的装备，但是由于可以进行更精细的输入，所以具有可以提高操作性的优点。

尽管准备好用于如上所述的“向内视点”的这种情况的视点Pv的简单设置，给定在参考位置Pr和视点Pv之间的分离距离(即，球面Ss的半径)固定的示例，可以根据操作使分离距离可变。

此外，球面Ss不必在中心处与参考位置Pr重合，从“用于观察关注的成像对象的视点”的视角出发，只要将球面Ss设置为至少覆盖关注的成像对象St的圆周的球面就够了。

在简单设置模式下，在视点模式为“向外视点”(用于从关注的成像对象向外观察的视点)的模式的情况下，首先将视点Pv和参考位置Pr设置为相同位置，然后视线方向Dv响应于操作而改变。在这种情况下，视线方向Dv是从视点Pv起与图10所示相反的向外方向。

要注意的是，在简单设置模式中，当视点模式是“向外视点”的模式时，响应于操作不仅可以改变视线方向Dv，而且可以改变视点Pv的位置。

在如上所述的这种简单的设置模式中，由于将关注的成像对象St的参考位置Pr用于视点Pv的设置，因此，与在用户将视点Pv设置在三维空间中的任意位置处的替代情况相比，可以实现视点Pv的设置中的操作负担(工作负担)的降低。

[1-3、处理过程]

参照图11的流程图描述用于实现上述实施例的视点设置方法的特定处理的过程。

在本示例中，图11所示的处理由从DSP配置的虚拟视点图像生成部分13执行。

注意，图11例示了与当视点模式是自动设置模式时采用图9的A所示的这种连续显示方法作为候选视点图像的显示方法的情况对应的处理。

首先，在步骤S101中，虚拟视点图像生成部分13判断当前视点模式是“向内视点”模式和“向外视点”模式中的哪一个，作为视点模式的确认处理，如果当前视点模式是“向内视点”模式，处理进入步骤S102，但是如果当前视点模式是“向外视点”模式，则处理进入以下描述的步骤S113。

在步骤S102，虚拟视点图像生成部分13确定当前视点设置模式是“自动设置模式”和“简单设置模式”中的哪一个作为视点设置模式的确认处理，如果当前视点设置模式是“自动设置模式”，然后处理进入步骤S103，但是如果当前视点模式是“简单设置模式”，则处理进入步骤S107。

在步骤S103中，虚拟视点图像生成部分13执行关注的成像对象St的设置处理。特别地，虚拟视点图像生成部分13通过上述(1)、(2)或(3)的方法设置关注的成像对象St。由于在本示例中，以如上所述的方式顺序地显示在关注的成像对象St的设置方法上彼此不同的多个候选视点图像，因此步骤S103的处理以每次执行都更改的方法执行关注的成像对象St的设置。

然后，在步骤S104，虚拟视点图像生成部分13开始候选视点图像的生成。具体而言，虚拟视点图像生成部分13基于图7所示的关注的成像对象St的参考位置Pr执行视点Pv的设置，并执行关于在步骤S103中设置的关注的成像对象St的视线方向Dv的设置，并基于设置的视点Pv和视线方向Dv开始候选视点图像的生成。

注意，在采用上述图7的B中例示的视点Pv的设置方法的情况下，在步骤S103的设置处理中，通过上述(1)的方法设置关注的成像对象St为条件。

此外，尽管在本示例中假定参考位置Pr的设置是由虚拟视点图像生成部分13执行的，但是也可以采用由虚拟视点图像生成部分13获取成像对象分析部分12设置的参考位置Pr的信息的配置。

当在步骤S104开始生成候选视点图像时，由输入装置6的显示部分62开始候选视点图像的显示。

如上所述，响应于候选视点图像的生成的开始，虚拟视点图像生成部分13通过步骤S105和S106的处理等待图像选择操作或显示切换定时的到来。具体而言，虚拟视点图像生成部分13等待针对输入装置6的触摸板61a的预定操作或候选视点图像的显示切换定时的到来。注意，本示例中的候选视点图像的显示转换以固定周期执行。因此，虚拟视点图像生成部分13响应于在步骤S104开始生成候选视点图像之后经过了固定时间段，在步骤S106中确定显示切换定时到来。

在步骤S106中确定显示切换定时到来的情况下，虚拟视点图像生成部分13使处理返回到步骤S103。因此，改变了关注的成像对象St的设置方法，并且开始了基于针对不同的成像对象设置的视点Pv的新候选视点图像的生成以及显示部分62的显示。

重复这样的候选视点图像的切换显示，直到在步骤S105执行图像选择操作为止。

在步骤S105中确定执行图像选择操作的情况下，虚拟视点图像生成部分13结束图11所示的一系列处理。

因此，关注的成像对象St保持由最近执行的步骤S103的处理所设置的关注的成像对象St。

现在，描述在步骤S102中确定当前设置模式是“简单设置模式”的情况下的处理。

在步骤S107，虚拟视点图像生成部分13与步骤S103类似地执行关注的成像对象的设置处理，然后在随后的步骤S108中基于初始视点开始虚拟视点图像的生成。初始视点是在简单设置模式下接受视点Pv的设置操作(变更操作)时最初设置的视点Pv。如果初始视点是基于至少以在步骤S107中设置的关注的成像对象St为目标设置的参考位置Pr的视点Pv就足够了。例如，如果通过以上参照图7的A等描述的方法来设置初始视点就足够了。在通过上述(1)的方法设置关注的成像对象St的情况下，也可以通过以上参考图7的B所述的方法设置初始视点。

响应于根据初始视点开始虚拟视点图像的生成，虚拟视点图像生成部分13在步骤S109等待视点改变操作。特别地，虚拟视点图像生成部分13等待来自输入装置6的操作部分61的预定操作输入，特别是等待指示视点Pv的改变方向的预定操作输入。

在进行视点改变操作的情况下，虚拟视点图像生成部分13根据作为在步骤S110中的视点改变处理的操作执行视点Pv的改变。特别地，在本示例中，虚拟视点图像生成部分13响应于该操作而沿着以关注的成像对象St的参考位置Pr为中心的球面Ss改变视点Pv。

然后，在步骤S111，虚拟视点图像生成部分13根据改变后的视点开始虚拟视点图像的生成。因此，显示部分62和显示装置7响应于该操作而改变正在显示的虚拟视点图像的视点Pv。

在步骤S111之后的步骤S112中，虚拟视点图像生成部分13判断是否满足处理的结束条件。作为结束条件，例如，可以使用表示停止虚拟视点图像的生成的预定操作输入。

在确定不满足结束条件的情况下，虚拟视点图像生成部分13将处理返回到步骤S109以等待视点改变操作。因此，直到满足结束条件之后，才响应于视点改变操作来进行视点Pv的改变。

在步骤S112中确定满足结束条件的情况下，虚拟视点图像生成部分13结束图11所示的一系列处理。

现在，描述视点模式为“向外视点”模式的情况。

从前面的描述可以认识到，在“向外视点”模式下，除了与“向内视点”模式相比，视点Pv被设置为参考位置Pr，视线方向Dv是从视点Pv起的向外方向之外，处理的总体流程与上述“向内视点”模式的情况相似。

首先，在步骤S113中，虚拟视点图像生成部分13与步骤S102同样地确认视点设置模式的类型，并且在视点设置模式为“自动设置模式”的情况下执行从步骤S114开始的处理，但是如果视点设置模式是“简单设置模式”，则执行步骤S118开始的处理。

除了视点Pv和视线方向Dv的设置方法与如上所述不同之外，对应于“自动设置模式”的步骤S114至S117的处理与上述步骤S103至S106的处理相似，因此，省略它们的重复描述。

在简单设置模式下，虚拟视点图像生成部分13与步骤S103或S107同样地，在步骤S118中进行关注的成像对象的设置处理，并在接下来的步骤S119中，基于最初的观点开始虚拟视点图像的生成。除了将视点Pv和视线方向Dv设置为与向外视点模式对应的那些之外，步骤S119的处理与上述步骤S108的处理相似。

在下一步骤S120，虚拟视点图像生成部分13等待视线方向改变操作。具体而言，虚拟视点图像生成部分13等待来自输入装置6的操作部分61的预定操作输入，特别是等待指示视线方向Dv的变化方向的预定操作输入。

然后，在执行视线方向改变操作的情况下，虚拟视点图像生成部分13在步骤S121执行视线方向Dv的改变，并且在步骤S122中基于改变后的视线方向Dv开始虚拟视点图像的生成。

在步骤S122之后的步骤S123中，虚拟视点图像生成部分13与上述步骤S112类似地判定是否满足结束条件，并且如果不满足结束条件，则返回到步骤S120以再次等待视线方向改变操作，但是如果满足结束条件，则结束图11所示的一系列处理。

注意，上述说明以虚拟视点图像生成部分13自动设置关注的成像对象St的情况为例，也可以根据虚拟视点图像生成部分13的操作来设置关注的成像对象St。

例如，虚拟视点图像生成部分13可以接受诸如球衣号码或名称之类的预定运动员属性信息的输入，并将成像对象设置为从输入的运动员属性信息中指定的运动员作为关注的成像对象St。

备选地，虚拟视点图像生成部分13也可以在显示部分62上顺序显示(或同时显示)表示不同的运动员作为候选图像的图像，并且将通过操作选择的候选图像的运动员设置为关注的成像对象。

此外，还可以通过用户的操作以从在三维空间中指定的位置(目标位置)的距离的升序顺序显示(或同时显示)运动员的图像，并将运动员的图像设置为关注的成像对象St。可选地，此时运动员的连续显示可以以运动员的球衣号码(或名称)的顺序，到比赛用球的位置的距离的降序等。

另外，虽然上述说明主要以篮球例示为比赛用球，但该比赛用球不限于篮球、足球、棒球等中使用的大致球状球，而是宽泛地包括用于橄榄球、美式橄榄球等中的大致圆形球，用于曲棍球中的包(pack)，用于羽毛球中的羽毛球等。

此外，尽管前面的描述针对其中提供基于“向外视点”或“向内视点”的“视点模式”的示例，但是并非必须提供如上所述的视点模式。在不提供“视点模式”的情况下，例如，在通过上述的连续显示或同时显示来显示候选视点图像时，还可以基于向外视点显示候选视点图像，并且基于混合方式的向内视点显示候选视点图像。

要注意的是，为由成像装置2捕获的图像的所有帧生成虚拟视点图像不是必需的，并且还可以生成使部分帧变细的虚拟视点图像。此时，可以对所有帧或仅对帧的必要部分执行视点Pv的设置。例如，可以想到这样的示例：基于为每个帧设置的视点Pv的信息，针对每个帧执行视点Pv的设置，但是仅针对固定间隔的帧执行虚拟视点图像的渲染。

<2、变型>

[2-1、第一变型]

在下文中，描述了实施例的变型。

第一变型是与视点Pv的设置有关的变型，并且这种设置的示例在图12和图13中示出。图12和图13的设置的示例是为上述“向内视点”模式准备的视点Pv的设置的示例。

图12的设置的示例是针对以下情况进行准备的示例，在该情况下，获得跟随多个运动员的运动的图像作为虚拟视点图像。在此，例示图像跟随三个运动员的运动的情况。

首先，如图12的A所示，对于作为三个运动员的成像对象S1、S2和S3，将参考位置Pr12、Pr21、Pr13、Pr31、Pr23和Pr32设置在通过成像对象S的位置的直线L12，L13和L23上从成像对象S上推断的位置上。注意，该设置例如由虚拟视点图像生成部分13执行。

如图12的A所示，直线L12是经过成像对象S1，S2的位置的直线；直线L13是经过成像对象S1，S3的位置的直线；直线L23是经过成像对象S2，S3的位置的直线。

当从直线L12上的成像对象S1和成像对象S2之间的中点观察时，参考位置Pr12位于成像对象S1的内侧。当从直线L12上的成像对象S1和成像对象S2之间的中点观察时，参考位置Pr21位于成像对象S2的内侧。

从直线L13上的成像对象S1和成像对象S3之间的中点观察时，参考位置Pr13位于成像对象S1的内侧，而从直线L13上的成像对象S1和成像对象S3之间的中点观察时参考位置Pr31位于成像对象S3的内侧面。

同时，当从直线L23上的成像对象S2和成像对象S3之间的中点观察时，参考位置Pr23位于成像对象S2的内侧，当从直线L23上的成像对象S2和成像对象S3之间的中点观察时，参考位置Pr32位于成像对象S3的内侧。

在如上所述设置了这样的参考位置Pr之后，虚拟视点图像生成部分13确定由包括图12的B所示的直线L12、L13和L23的直线L限定的角度α1、α2和α3。尤其是，虚拟视点图像生成部分13确定作为由直线L12和直线L13定义的角度的角度α1；确定作为由直线L12和直线L23定义的角度的角度α2；并且确定作为由直线L13和直线L23限定的角度的角度α3。

然后，虚拟视点图像生成部分13从角度α1、α2和α3中指定最小角度，并指定定义最小角度的一组直线L。简而言之，在图12的A的示例中，指定了直线L13和直线L23的集合。

此外，虚拟视点图像生成部分13从如上所述设置在定义最小角度的两条直线L上的总共四个参考位置Pr中，指定在与直线L的交点较近的一侧的两个参考位置Pr。简而言之，在所示的示例中，从设置在直线L13上的参考位置Pr13和Pr31以及设置在直线L23上的参考位置Pr23和Pr32之中，指定更靠近直线L13和直线L23的交叉点(简而言之，成像对象S3的位置)的参考位置Pr31和Pr32。

然后，虚拟视点图像生成部分13设置以视点Pv的方式指定的两个参考位置Pr之间的中点(图12的C)。此时，视线方向Dv设置为从视点Pv到最近的成像对象(在图示的例子中为成像对象S3)的位置的方向。

应当注意，尽管以上描述是针对在所有直线L上设置两个参考位置Pr之后设置视点Pv的示例，但是仅将两个参考位置Pr直接用于视线Pv的设置就足够了(在图12的例子中，是参考位置Pr31，Pr32)。

通过如上所述设置这样的视点Pv作为虚拟视点图像，可以提供在图像帧中尽可能代表中央部分处的多个成像对象的图像。换句话说，可以提供虚拟视点图像，其中可以容易地同时观察多个成像对象。

要注意的是，同样在要跟踪四个或更多个人的情况下，可以以与上述方法类似的方式设置视点Pv。

此外，在要跟随两个运动员的情况下，可以考虑采用这样的方法，例如，将视点Pv设置在限定相对于经过作为运动员的两个成像对象的直线的预定角度的直线上。

这里，参照图12描述的视点Pv的设置方法适合于例如在采用上述(3)的方法作为关注的成像对象St的设置方法的情况下，检测到位于预定区域中的三个或更多运动员的情况等。

图13是示出关于将视点Pv设置到一个关注的成像对象St的变型的视图。

特别地，图13的变型是将视点Pv设置到持有比赛用球的关注的成像对象St的示例，并且在这种情况下，虚拟视点图像生成部分13将视点Pv设置到比赛用球的到达目的地的位置，例如，篮筐的位置，并将视线方向Dv设置为从视点Pv出发到作为比赛用球的成像对象Sb的位置的方向。

应当注意，例如，通过成像对象分析部分12分析篮筐的位置并且虚拟视点图像生成部分13获取分析结果就足够了。或者，也可以将篮筐的位置的信息预先存储在虚拟视点图像生成部分13中。

[2-2、第二变型]

第二变型基于与成像对象的朝向有关的分析信息，在视点为“向外视点”时设置视线方向Dv。

这里，在以下描述中，“向外视点”，即，用于从成像对象向外观察的视点，也被称为“第一人称视点”。

当生成通过第一人称视点的虚拟视点图像时，期望再现作为关注的成像对象St的人正在观看的视觉信息，即，再现关注的成像对象St的视野。因此，在第二变型中，基于关注的成像对象St的朝向的分析信息来设置第一人称视点的虚拟视点图像的视线方向Dv。

图14是第二变型中的视线方向Dv的设置方法的说明图。

首先，作为前提，在本示例中，将面部的朝向和姿势的信息用作与关注的成像对象St的朝向有关的分析信息。本示例中的成像对象分析部分12基于由3D模型生成部分11生成的3D模型数据，执行作为人的成像对象的面部的朝向和姿势的估计。

面部的朝向是成像对象的面部朝向的方向，并且例如基于诸如眼睛、鼻子和嘴巴等成像对象的面部的部位的位置的信息来估计。应当注意，针对面部的朝向的特定估计方法已经提出了各种方法，并且该估计方法不是限制性的。

作为姿势，可以采用上述(参照图4)的成像对象的简单模型。如下文所述，在本示例中，从刚刚描述的这种简单模型估计关注的成像对象St的身体的朝向。

在此，与成像对象的朝向有关的分析信息(诸如面部的朝向和姿势)可能由于诸如成像装置2之类的成像装备的影响或者成像对象分析部分12的算术处理能力等某些原因而丢失数据，并且不能保证可以正常获取它。

因此，在本示例中，响应于与关注的成像对象St的朝向有关的分析信息的获取情况，选择关于通过第一人称视点的虚拟视点图像的视线方向Dv的设置方法。

特别地，如图14所示，将获取情况大致分为没有获取到面部的朝向和关注的成像对象St的姿势的情况，仅获取了面部的朝向的情况，以及已经获取了面部的朝向和姿势的进一步的情况。因此，在本示例中，关于每种情况，根据关注的成像对象St的状态执行情况分离，特别是情况分类为停止(初始状态)、停止(稳定状态)和移动，并且通过与每种情况相对应的方法来进行视线方向Dv的设置。

在此，关于停止(初始状态)，初始状态表示针对关注的成像对象St设置了作为第一人称视点的视点Pv的虚拟视点图像(运动图像)的开始定时。换句话说，停止(初始状态)表示在初始状态中关注的成像对象St不起作用。

停止(稳定状态)表示在除了上述初始状态以外的任何状态下关注的成像对象St不起作用的状态。

要注意的是，在本示例中，前提是可以正常获取关注的成像对象St的位置信息。

首先，描述没有获取到面部的朝向和姿势的情况。

在未获取到面部的朝向和姿势的状态下，当关注的成像对象St处于停止(初始状态)状态时，视线方向Dv被设置为预先确定的方向。特别地，在这种情况下，视线方向Dv被设置为根据内容的类型预先确定的方向。例如，在成像对象是比赛运动员并且内容的类型是诸如足球或篮球之类的球门比赛的情况下，预先确定的方向是朝向对手的球门的方向(球门的方向是自己的得分来源)。另一方面，在内容是网球或羽毛球等球场比赛的情况下，预先确定的方向是从自己的球场侧观察时朝向对手的球场侧的方向。此外，在关注的成像对象St正在走过通道的场景的情况下，预先确定的方向是朝向通道的出口的方向。

然后，在未获取到面部方向和姿势的任何一个的情况下，当关注的成像对象St处于运动状态时，视线方向Dv被设置为关注的成像对象St的前进方向。将关注的成像对象St的前进方向确定为关注的成像对象St的位置的变化方向。

要注意的是，上述前进方向表示关注的成像对象St的位置改变的方向，并且不是与关注的成像对象St的朝向有关的分析信息而是与该位置有关的分析信息被应用到前进的方向。

此外，在没有获取面部的朝向和姿势的情况下，当关注的成像对象St处于停止(稳定状态)状态时，视线方向Dv保持紧接其后的结果。特别地，当关注的成像对象St已经从停止(初始状态)状态转变为停止(稳定状态)状态时，视线方向Dv保持上述的“预先确定的方向”，但是当关注的成像对象St从运动状态转变为停止(稳定状态)状态之前，视线方向Dv一直保持前进方向。

要注意的是，当停止(稳定状态)状态持续预定时间段或更长时，视线方向Dv可以改变为“预先确定的方向”。

现在，描述从面部的朝向和姿势之间仅获取面部的朝向的情况。

在仅获取面部朝向的状态下，当关注的成像对象St处于停止状态时，即，不管初始状态还是稳定状态的停止状态，视线方向Dv是从面部的朝向估计的方向。特别地，此时的视线方向Dv是在包括处理目标时间的特定时段内面部的朝向的代表值。

这里，在本示例中，“处理目标时间”表示作为处理目标的帧，并且包括处理目标时间的特定时间段表示包括处理目标的帧的多个帧的时间段。在本示例中，包括处理目标时间的特定时段是不仅包括从处理目标时间的过去侧的时段而且还包括从处理目标时间的未来侧的时段的时段。

例如，上述特定期间中的面部朝向的平均值作为面部朝向的代表值。特别地，例如，如果上述特定时间段是参考处理目标的帧包括过去的三个帧和将来的三个帧的总计七个帧的时间段，则面部朝向的平均值是从七个帧中获得的面部朝向的值的平均值。

作为替代，也可以使用在上述特定时间段内的面部朝向的中位数作为面部的朝向的代表值。在此，中位数表示当有限数量的数据以升序排列时位于中间的值。例如，当特定时段是上述七个帧的时段，并且帧的时间由从过去到未来的时间[t-3]、[t-2]、[t-1]、[t]、[t+1]、[t+2]和[t+3]表示时，如果假设当时的面部朝向的值为“5”、“7”、“6”、“10”、“5”、“9”和“8”，那么面部的朝向的中位数是当值以升序排列时的中心的值，即“7”，即位于“5”、“5”、“6”、“7”、“8”、“9”和“10”中间的值。要注意的是，在有限数量的数据是奇数并且两个值位于中心的情况下，中位数是两个值的平均值。

此外，在从面部的朝向和姿势之间仅获取面部的朝向的情况下，当关注的成像对象St处于运动状态时，视线方向Dv是基于前进方向和前进速度、面部朝向以及面部朝向的变化速度的方向。

特别地，以如图15所示的方式设置当关注的成像对象St处于运动状态时的视线方向Dv。

首先，关于关注的成像对象St的前进速度和面部朝向的变化速度，根据它们的“高”和“低”的组合，执行到总共四个情况的情况分类。然后，对于这四种情况中的每一种，将情况分类为两种情况，包括关注的成像对象St的前进方向和面部的朝向彼此相同的情况以及彼此不同的另一种情况。因此，总共考虑了八种情况。

这里，例如以km/h(小时)为单位确定关注的成像对象St的前进速度，并且例如以deg/s(秒)为单位确定面部的朝向的变化速度。然后，预先确定用于前进方向的阈值THs和用于面部的朝向的变化速度的阈值THf，并且基于与阈值THs和阈值THf的幅度比较的结果判定速度和速率的“高”和“低”。例如，如果面部的朝向的前进速度或变化速度低于阈值THs或阈值THf，则获得判定结果为“低”，但是如果面部的朝向的前进速度或变化速度等于或高于阈值THs或阈值THf，则获得判定结果为“高”。

作为前进速度的“低”标准，例如，可以提出平均步行速度大约5km/h，而作为前进速度“高”的标准，例如可以提出大约为慢跑的速度的12km/h。

此外，关于面部的朝向的变化速度，作为“低”的标准，例如可以提出约50deg/s，作为“高”的标准，例如可以提出约90deg/s。

应当注意，例如还可以响应于内容的类型等使阈值THs和阈值THf可变。

此外，使用它们的代表值(特定时段内的代表值)来判定前进方向和面部朝向的“相同”和“不同”。

如图15中所示，在本示例中，在面部朝向的前进速度和改变速率都为“低”的情况下，当前进方向和面部朝向彼此相同的情况下，视线方向Dv被设置为前进方向，但是在上述情况下当前进方向和面部朝向彼此不同时，视线方向Dv被设置为面部的朝向的代表值。

另一方面，在前进速度为“低”且面部朝向的变化速度为“高”的情况下，当前进方向与面部的朝向相同时，视线方向为Dv被设置为前进方向，但是在上述情况下当前进方向和面部的朝向彼此不同时，视线方向Dv被设置为面部的朝向的代表值。

特别地，当前进速度为“低”时，如果前进方向和面部的朝向彼此相同，则不管面部的朝向的变化速度如何，都将视线方向Dv设置为前进方向，但是，如果前进方向和面部的朝向彼此不同，则将视线方向Dv设置为面部的朝向的代表值。

然后，在前进速度为“高”并且面部的朝向的变化速度为“低”的情况下，当前进方向和面部的朝向彼此相同时，将视线方向Dv设置为前进方向，但是在上述情况下在前进方向和面部的朝向彼此不同的情况下，将视线方向Dv设置为面部朝向的代表值。

此外，在前进速度和面部朝向的变化速度都为“高”的情况下，不管前进方向和面部朝向是否彼此相同，将视线方向Dv设置为前进方向。

特别地，在前进速度为“高”的情况下，如果面部的朝向的变化速度为低，则遵循面部的朝向设置视线方向Dv，但是如果面部朝向的改变速率高如果面部的高度为高，则将视线方向Dv设置为前进方向，而不遵循面部的朝向。结果，实现了防止虚拟视点图像的显示内容迅速变化的情况，并且实现了观察虚拟视点图像的用户的不适感或疲劳(例如，眼睛的疲劳等)的减轻。

现在，参照图14描述在已经获取了面部的朝向和姿势的情况下的视线方向Dv的设置方法。

在刚刚描述的情况下，当关注的成像对象St处于停止状态时(同样在这种情况下，不管初始状态还是稳定状态)，视线方向Dv被设置为根据姿势估计的方向。

另一方面，如果关注的成像对象St处于运动状态，则视线方向Dv被设置为从姿势、方向的改变速率和前进方向估计的朝向。

在本示例中，作为要从关注的成像对象St的姿势估计的估计，估计关注的成像对象St的身体的朝向。

身体的该朝向是根据由成像对象分析部分12获得的关注的成像对象St的简单模型来估计的，并且特别地被确定为该简单模型的身体部分(例如，四边形)的法线方向，如图16所示。这里，尽管具有彼此相反关系的两个方向可用作法线方向，但是作为身体的朝向，从两个法线方向之间选择关注的成像对象St的鼻子所在的一侧的方向。换句话说，可以将身体的朝向改写为关注的成像对象St的正面的朝向。

这里，在本示例中，使用关注的成像对象St的面部的朝向的信息来生成关注的成像对象St的简单模型。换句话说，在其中面部朝向的信息可用的情况下生成简单模型。

为此，针对与关注的成像对象St的朝向有关的分析信息的获取状况，进行如图14所示的情况分类。

图17是在可以获取面部的朝向和姿势并且关注的成像对象St处于运动状态的情况下的视线方向Dv的设置方法的说明图。

如图17所示，在刚刚描述的情况下，根据身体朝向的变化速度的“高”和“低”来进行情况分类，并且关于身体的朝向的变化速度是“高”的情况，根据前进方向和身体的朝向是“相同”还是“不同”来进行情况分类。

以例如deg/s为单位确定身体的朝向的前进速率。基于与针对该变化速度预先确定的阈值THb的比较结果，来进行对身体的朝向的变化速度的“低”或“高”的判定。例如，如果变化速度低于阈值THb，则判定结果为“低”，但是如果变化速度等于或高于阈值THb，则获得判定结果为“高”。

关于身体的朝向，由于与上述面部的朝向相比，由于下肢或躯干增加了旋转速度，所以更高速度的旋转成为可能，因此可以想到考虑阈值THb为高于上述阈值THf的值。

注意，还可以响应于内容的类型等使阈值THb可变。

此外，在判定前进方向和身体的朝向之间“相同”或“不同”时，对于前进方向和身体的朝向两者，使用特定时段内的代表值。

在上述每种情况下的视线方向Dv的设置中，首先，关于身体的朝向的变化速度为“低”的情况，将视线方向Dv设置为身体的朝向的代表值。

另一方面，在身体的朝向的变化速度是“高”的情况下，在前进方向和身体的朝向是“相同”的情况下，将视线方向Dv设置为身体的朝向的代表值，但是在前进方向和身体的朝向“不同”的情况下，视线方向Dv设置为前进方向。

以这种方式，同样关于身体的朝向，在变化速度为“高”的情况下，视线方向Dv被设置为因此不跟随朝向的变化。

参考图18的流程图描述要执行以实现上述视线方向Dv的设置的特定处理的过程。

注意，在本示例中，图18所示的处理的执行对象是虚拟视点图像生成部分13。

首先，虚拟视点图像生成部分13在步骤S201中判断是否已经获取了面部的朝向。具体而言，虚拟视点图像生成部分13判断是否已经从成像对象分析部分12获取了关注的成像对象St的面部的朝向的信息。

如果已经获取了面部的朝向，则虚拟视点图像生成部分13使处理进入步骤S202，在步骤S202中，判断是否已经获取了姿势的信息，即，是否已经从成像对象分析部分12获取了关注的成像对象St的简单模型的信息。

通过步骤S201和S202的处理，在其中没有获得面部的朝向和姿势的任何一个作为与关注的成像对象St的朝向有关的分析信息的情况，其中仅获取了面部的朝向的另一情况，以及其中已经获取了面部的朝向和姿势的另一情况中的哪一种情况适用于与关注的成像对象St的姿势有关的分析信息。

在步骤S201中确定未获取到面部的朝向的情况下，即，在未获取到面部的朝向和姿势的情况下，虚拟视点图像生成部分13使处理进入步骤S203，在步骤S203中，确定关注的成像对象St是否处于运动状态。然后，在确定关注的成像对象St不在运动状态的情况下，虚拟视点图像生成部分13使处理进入步骤S204，在步骤S204中，判断关注的成像对象St是否处于初始状态。

通过步骤S203和S204的处理，确定关注的成像对象St的停止(初始状态)状态、停止(稳定状态)状态和运动状态中的哪个状态可适用。

要注意的是，基于成像对象分析部分12获得的关注的成像对象St的位置的信息来执行关于关注的成像对象St的移动/停止的决定。

在步骤S204中确定关注的成像对象St处于初始状态的情况下(简而言之，在停止(初始状态)状态的情况下)，虚拟视点图像生成部分13使处理前进至步骤S205，在其中将视线方向Dv设置为预先确定的方向，此后，结束图18所示的处理。注意，以上描述了“预先确定的方向”，因此，省略了对其的重复描述。

另一方面，在步骤S204中确定关注的成像对象St不在初始状态的情况下，虚拟视点图像生成部分13使处理进入步骤S206，在步骤S206中，进行保持紧接在前的结果作为视线方向Dv的处理，此后结束图18所示的处理。

另一方面，在上述步骤S203中确定关注的成像对象St处于运动状态的情况下，虚拟视点图像生成部分13使处理进入步骤S207，在该步骤中，将视线方向Dv设置为关注的成像对象St的前进方向，此后，其结束图18所示的处理。

注意，当将视线方向Dv设置为前进方向时，也可以将特定时段内的代表值用作前进方向。

此外，在上述步骤S202中确定未获取关注的成像对象St的姿势的情况下，即，在仅获取面部的朝向的情况下，虚拟视点图像生成部分13使处理进入步骤S208，在步骤S208中，判断关注的成像对象St是否处于运动状态。

如果关注的成像对象St不在运动状态，则虚拟视点图像生成部分13使处理进入步骤S210，在步骤S210中，虚拟视点图像生成部分13执行将视线方向Dv设置为根据面部的朝向估计的方向的处理。即，将视线方向Dv设置为在面部朝向的特定时段内的代表值的处理，此后，结束图18所示的处理。

另一方面，在步骤S208中确定关注的成像对象St处于运动状态的情况下，虚拟视点图像生成部分13使处理进入步骤S211，在该步骤中，虚拟视点图像生成部分13执行用于将视线方向Dv设置为基于关注的成像对象St的前进方向和前进速度、面部的朝向和面部的朝向的变化速度的方向，然后结束图18所示的处理。

要注意的是，由于已经参考图14描述了基于关注的成像对象St的前进方向和前进速度、面部的朝向和面部的朝向的变化速度的方向的特定设置方法，避免了对其的重复描述。

然后，在步骤S202中确定已经获取姿势的情况下(在已经获取了身体的朝向和姿势的情况下)，虚拟视点图像生成部分13使处理前进到步骤S209，在该步骤中，确定关注的成像对象St是否处于运动状态。

如果关注的成像对象St不处于运动状态，则虚拟视点图像生成部分13使处理进入步骤S212，在步骤S212中，虚拟视点图像生成部分13执行将视线方向Dv设置为身体的朝向，即将视线方向Dv设置为身体的朝向的特定时段内的代表值的处理，并结束图18所示的处理。

另一方面，在步骤S209中确定关注的成像对象St处于运动状态的情况下，虚拟视点图像生成部分13使处理进入步骤S213，在该处理中，视线方向Dv被设置为基于关注的成像对象St的身体的朝向、该身体的朝向的变化速度和前进方向的方向，并结束图18所示的处理。

要注意的是，基于关注的成像对象St的前进方向和前进速度，身体的朝向以及身体的朝向的变化速度的方向的特定设置方法是类似于以上参考图17描述的方法，并且避免了对其的重复描述。

如上所述，在第二变型中，虚拟视点图像生成部分13基于与关注的成像对象St的朝向有关的分析信息的获取状况，选择从第一人称视点的视线方向Dv的设置方法。

这使得可以根据与成像对象的朝向有关的分析信息的获取情况来执行适当的视线方向Dv的设置，所述成像对象的朝向例如是关注的成像对象St的面部的朝向，身体的朝向等。因此，可以提供来自适当视线方向Dv的图像作为第一人称视点的虚拟视点图像。

[2-3、第三变型]

第三变型向用户通知根据虚拟视点图像的视线方向Dv与成像对象的视线方向之间的偏差的信息。

图19是作为第三变型的图像处理系统100’的配置的说明图。

图像处理系统100'与图1所示的图像处理系统100的不同之处在于，其包括代替图像处理装置1的图像处理装置1'，并且包括代替显示装置7的HMD(头戴式显示器)51。

要注意的是，尽管未示出，但是图19中示出的图像处理系统100′也包括多个成像装置2和参数记录装置4，类似于图1中示出的图像处理系统100。另外，在图像处理系统100’中，也可以设置图1所示的图像记录装置8。

图像处理装置1'与图像处理装置1相比，不同之处在于，代替虚拟视点图像生成部分13而具有虚拟视点图像生成部分13'。虚拟视点图像生成部分13'包括通知处理部分52，从与上述结合第二变型描述的第一人称视点进行视线方向Dv的设置，并根据视线方向Dv与到成像对象到用户的视线朝向之间的偏差来进行信息通知。

在图像处理系统100’中，根据虚拟视点图像生成部分13’所生成的第一人称视点的虚拟视点图像被呈现给佩戴HMD 51的用户。

本示例的图像处理系统100'具有响应于在其上安装了HMD 51的用户头部的移动(转动)而改变在HMD 51的屏幕上显示的虚拟视点图像的视线方向Dv的功能。为此，在HMD51中并入了诸如用于检测用户的头部的运动的陀螺仪传感器之类的运动检测设备。虚拟视点图像生成部分13'被配置为基于HMD 51的运动检测设备的检测信号改变将要输出到HMD51的虚拟视点图像的视线方向Dv。

这里，在HMD 51上显示根据第一人称视点的虚拟视点图像的情况下，可以想到将虚拟视点图像的视线方向Dv设置为基于如上文结合第二变型描述的关注的成像对象St的身体的朝向或面部的朝向的方向。

然而，不一定要考虑到关注的成像对象St的身体的朝向或面部的朝向与关注的成像对象St的视线的方向一致，并且在身体的朝向或面部的朝向与视线的方向不一致的情况下，不能提供适当地再现关注的成像对象St的视野的图像作为虚拟视点图像而显示给用户。

在图20中描绘了特定示例。

首先，在下面的描述中，为了防止虚拟视点图像的视线方向Dv与关注的成像对象St的视线方向之间的混淆，将关注的成像对象St的视线方向称为“视线的朝向Drv。”

注意，已经确认，视线方向Dv是确定虚拟视点图像的视野的因素之一，并且是用于从视点Pv定义要用于观察以形成虚拟视点图像的方向的参数。从这个意义上讲，“视线方向Dv”有时被称为虚拟视点图像的“观察方向”。

在图20中，对比地示出了佩戴了安装在其上的HMD 51的用户和关注的成像对象St。

戴着安装在其上的HMD 51的用户不太可能总是将头部向左或向右转，并且基本上可以假设用户的面部朝向前侧。因此，期望使虚拟视点图像的视线方向Dv与关注的成像对象St的身体的朝向一致。通过以这种方式使视线方向Dv与关注的成像对象St的身体的朝向一致，身体的朝向可以在用户和关注的成像对象St之间对准。

注意，根据结合第二变型描述的视线方向Dv的设置方法，在不能获取身体的朝向的信息的情况下，基于面部的朝向设置视线方向Dv，并且在也不能获取面部的朝向的情况下，将前进方向设置为视线方向Dv。

参照图20，在佩戴有HMD 51的用户的上侧描绘的关注的成像对象St指示身体的朝向与视线的朝向Drv之间的一致。换句话说，在这种情况下，虚拟视点图像表示与关注的成像对象St的视线的朝向Drv一致的视线方向Dv，并且在向用户显示根据关注的成像对象St的第一人称视点的虚拟视点图像的情况下，可以显示基于与关注的成像对象St的视野一致的视野的虚拟视点图像。

另一方面，在用户的下侧描绘的关注的成像对象St并不指示身体的朝向与视线的朝向Drv之间的一致。因此，在这种情况下的虚拟视点图像表示与关注的成像对象St的视线的朝向Drv不一致的视线方向Dv，并且在向用户显示基于关注的成像对象St的第一人称视点的虚拟视点图像的情况下，不能再现关注的成像对象St的视野。

如上所述，关注的成像对象St有时指示身体的朝向与视线的朝向Drv之间的不一致，并且根据在这种情况下生成的虚拟视点图像，不能适当地再现关注的成像对象St的视野。

因此，本示例估计关注的成像对象St的视线的朝向Drv，并根据估计的视线的朝向Drv和视线方向Dv的偏差向用户呈现信息，特别是用于使该方向和该朝向彼此一致的指导信息。

首先，描述对关注的成像对象St的视线的朝向Drv的估计。

在本示例中，同样对于视线的朝向Drv，类似于第二变型的情况，也基于与关注的成像对象St的朝向有关的分析信息的获取情况来选择设置方法。

特别地，如图21所示，基于面部的朝向和瞳孔的朝向的获取情况来选择视线的朝向Drv的设置方法。

这里，关注的成像对象St的瞳孔的朝向由成像对象分析部分12估计。

这里的“瞳孔”不仅包括仅表示瞳孔的狭义含义，还包括表示包括瞳孔和虹膜的部分的广义的其它含义。在本示例中，基于面部的朝向的检测信息和瞳孔的朝向的信息来估计瞳孔的朝向。换句话说，瞳孔的朝向是在获取面部的朝向的情况下可以获取的信息。

如图21所示，在本示例中，在没有获取面部的朝向和瞳孔的朝向的情况下，不进行视线的朝向Drv的呈现。换句话说，不执行根据视线方向Dv和视线的朝向Drv之间的偏差的信息通知。

另一方面，在仅获取了从面部的朝向和瞳孔的朝向之间的面部的朝向的情况下，基于面部的朝向来估计视线的朝向Drv。

在本示例中，将通过将预定旋转添加到面部的朝向而获得的方向确定为视线的朝向Drv的估计值。获取特定时段内的这种估计值的代表值作为视线的朝向Drv。

应当注意，当从面部的朝向估计视线的朝向Drv时，视点Pv的位置可能会偏移。

图22示出了这样的示例，并且向视点Pv添加偏移，使得视点Pv的位置被设置为与关注的成像对象St的眼睛的位置接近。

参照图21，在已经获取了面部的朝向和瞳孔的朝向两者的情况下，基于瞳孔的朝向来设置视线的朝向Drv。特别地，在本示例中，将特定时段内的瞳孔朝向的代表值设置为视线的朝向Drv。

如上所述，在与仅获取面部朝向或获取面部朝向和瞳孔朝向两者的情况对应设置关注的成像对象St的视线的朝向Drv的情况下，检测虚拟视点图像的视线方向(观察方向)Dv与视线的朝向Drv之间的偏差，并将与该偏差有关的信息通知给用户。

参照图23至26描述根据视线方向Dv和视线的朝向Drv之间的偏差的信息通知的示例。

图23例示了在视线方向Dv与视线的朝向Drv之间发生了偏差的情况下的关注的成像对象St的视野与用户的视野之间的关系。

在视点Pv是关注的成像对象St的第一人称视点的情况下，图23中的图像Ga表示根据球面图像的虚拟视点图像。可以认为，表示为图23中所示的显示图像Gt并且要在HMD 51上显示的虚拟视点图像可以被认为与图23所示的从其切去一部分的显示图像Ga相对应。用户的视野由显示图像Gt确定。

图23中的点pg示意性地表示从视点Pv(第一人称视点)的视线方向Dv，而另一点ps示意性地表示关注的成像对象St的视线的朝向Drv。如果发生以点pg和点ps之间的偏差表示的视线方向Dv和视线朝向Drv之间的偏差，则在图像Ga上不能适当地再现关注的成像对象St的视野。

图24是根据视线方向Dv和视线的朝向Drv之间的偏差的信息通知的示例的说明图。

在该通知的当前示例中，作为根据视线方向Dv和视线的朝向Drv之间的偏差的信息，呈现了用于将视线方向Dv与视线的朝向Drv对准的视线对准指导信息。具体地，如图24的A所示，在图像Ga上呈现用于使视线方向Dv与视线的朝向Drv对准的方向指示信息H1(在本示例中为箭头标记形状的图形图案)。

图24的B是示出在图24的A中描绘并从中提取的显示图像Gt的图。

通过如上所述呈现这样的方向指示信息H1，它允许用户精确而直观地识别出视线方向Dv将在左右方向之间的哪个方向上改变(在本示例中，头部将向哪个方向改变移动)以将视线方向Dv和视线的朝向Drv对准。

此外，在通知的本示例中，与上述方向指示信息H1一起执行目标方向信息H2的呈现，该目标方向信息H2作为表示关注的成像对象St的视线的朝向Drv的信息。

图25示出了从图24的B的状态开始将视线方向Dv改变为与视线一致的一侧的情况下的显示图像Gt。目标方向信息H2以视线的朝向Drv在显示图像Gt的视野内的状态呈现在显示图像Gt中。应当注意，尽管在图25中，呈现十字形的图形图案作为目标方向信息H2，但是目标方向信息H2的呈现形式不限于此。

通过目标方向信息H2的这种呈现，可以允许用户精确且直观地识别方向对准的目标。

图26是根据视线方向Dv与视线的朝向Drv之间的偏差的信息通知的另一示例的说明图。

在该通知的当前示例中，以不同的显示形式显示与显示图像Gt中的关注的成像对象St的视野的重叠部分和非重叠部分。特别地，如图26的A所示，当与显示图像Gt中关注的成像对象St的视野重叠的部分被表示为重叠部分Ai，并且不重叠的部分被表示为非重叠部分Ao时，重叠部分Ai和非重叠部分Ao以彼此不同的显示形式显示。特别地，在本示例中，重叠部分Ai以彩色显示，而非重叠部分Ao的饱和度从诸如单色显示的重叠部分Ai的饱和度降低显示。

根据重叠部分Ai和非重叠部分Ao的这种显示，指示了视线的朝向Drv存在于向左和向右的哪一个方向上。换句话说，根据重叠部分Ai和非重叠部分Ao的信息的呈现对应于上述视线对准指南信息的呈现。

注意，尽管图26描绘了还执行方向指示信息H1和目标方向信息H2的呈现的示例，但是在通知的本示例中，执行方向指示信息H1和目标方向信息H2的呈现不是必需的。

与这样的视线对准指导信息的通知有关的处理由图19所示的通知处理部分52执行。

图27是根据上述第三变型的处理中的，基于与关注的成像对象St的朝向有关的分析信息的获取状况来选择视线的朝向Drv的设置方法的处理的流程图。

在本示例中，图27所示的处理由虚拟视点图像生成部分13’执行。

首先，虚拟视点图像生成部分13’在步骤S301中判断是否已经获取了面部的朝向。在未获取面部朝向的情况下，虚拟视点图像生成部分13’结束图27所示的处理。简而言之，在这种情况下，不设置视线的朝向Drv，并且不执行根据视线方向Dv和视线的朝向Drv之间的偏差的信息通知。

另一方面，如果已经获取了面部的朝向，则虚拟视点图像生成部分13’使处理进入步骤S302，在步骤S302中，确定是否已经获取了瞳孔的朝向。

在未获取瞳孔的朝向的情况下(换言之，在仅获取面部的朝向的情况下)，虚拟视点图像生成部分13'使处理进入步骤S303，执行将视线的朝向Drv设置为基于面部的朝向估计的朝向的处理，然后结束图27所示的处理。简而言之，在本示例中，虚拟视点图像生成部分13'执行用于将通过将预定旋转添加到面部的朝向上而获得的方向设置为视线的朝向Drv的估计值并将在估计值的特定时段内的代表值设置为视线的朝向Drv的处理。

另一方面，在步骤S302中获取了瞳孔的朝向的情况下(在同时获取了面部的朝向和瞳孔的朝向的情况下)，虚拟视点图像生成部分13'使处理进入步骤S304，在步骤S304中，执行将视线的朝向Drv设置为瞳孔的朝向的处理，然后结束图27所示的处理。特别地，在这种情况下，视线的朝向Drv被设置为在瞳孔的朝向的特定时段期间的代表值。

图28是与视线对准指导信息的显示有关的处理的流程图。

要注意的是，在本示例中，如图28所示的处理由虚拟视点图像生成部分13’执行为通知处理部分52的上述处理。

参照图28，虚拟视点图像生成部分13'在步骤S401中判断视线方向(观察方向)Dv与视线的朝向Drv是否一致，以及如果视线方向Dv与视线的朝向Drv彼此一致，则虚拟视点图像生成部分13'结束图28所示的处理，但是如果视线方向Dv与视线的朝向Drv不一致，则虚拟视点图像生成部分13'使处理进入步骤S402。

在步骤S402，虚拟视点图像生成部分13’执行视线对准指导信息的显示处理。具体而言，虚拟视点图像生成部分13’首先检测视线方向Dv与视线的朝向Drv之间的偏差，并根据检测到的偏差在显示图像Gt中进行用于显示视线对准指导信息的处理。例如，关于上述的方向指示信息H1，例如在视线的朝向Drv相对于视线方向在向右方向上偏移时虚拟视点图像生成部分13'执行使得与生成的虚拟视点图像(显示图像Gt)有重叠关系向右箭头显示的处理，但是如果视线的朝向Drv相对于视线方向Dv在向左方向上偏移，则执行使得向左箭头显示的处理。要注意的是，关于目标方向信息H2，以视线的朝向Drv在显示图像Gt的视野内的状态下以重叠关系显示。

此外，在图26的通知示例的情况下，虚拟视点图像生成部分13'基于视线的朝向Drv估计关注的成像对象St的视野，基于估计的视野指定虚拟视点图像(显示图像Gt)中的重叠部分Ai和非重叠部分Ao，并生成虚拟视点图像，其中，例如，重叠部分Ai以彩色显示，非重叠部分Ai重叠部分Ao显示为低饱和度。

虚拟视点图像生成部分13’响应于执行了步骤S402的显示处理而结束图28所示的处理。

要注意的是，在第三变型中，要通知的信息不限于视觉信息，而可以是诸如声音之类的听觉信息或诸如振动之类的触觉信息。例如，在使用听觉信息的情况下，可以想到通过仅从一侧的声道的一个扬声器从L声道的扬声器和R声道的扬声器之间输出声音来进行方向指示。另一方面，在使用触觉信息的情况下，特别是在诸如HMD 51之类的要安装在用户上的显示设备的情况下，可以想到的是，将显示设备配置为使得触觉模拟设备(提供触觉模拟(例如，振动或风压)的设备)在左侧和右侧设置，从而通过仅从左右设备之一提供触觉模拟来执行方向指示。

[2-4、第四变型]

第四变型涉及在第一人称视点和第三人称视点之间的转换。

在此，第三人称视点在含义上与上述“向内视点”相同，即用于观察成像对象的视点。

在第四变型中，要由虚拟视点图像提供的内容是体育。

可以响应于内容的类型来执行第三人称视点和第一人称视点之间的转换。

例如，对于在诸如足球之类的许多人在广阔的空间中移动的比赛，可以想到的是，自动地设置第三人称视点来优先掌握整个比赛。另一方面，对于诸如拳击等少数人在狭窄的空间中移动的比赛，可以想到自动地设置第一人称视点来优先存在。

而且，可以响应于关于关注的成像对象St是在比赛中还是不在比赛中的状态差异，在第三人称视点和第一人称视点之间进行切换。例如，在篮球比赛中，可以想到的是，如果关注的成像对象St握持球，则转换为第一人称视点，而如果关注的成像对象St没有握持球，则转换为第三人称视点。

此外，当关注的成像对象St是棒球击球手时，可以想到的是，执行到第一人称视点的转换直到关注的成像对象St击中球为止，但是在关注的成像对象St击中棒球之后转换到第三人称视点。

此外，可以响应于所关注的成像对象St的姿势的信息的存在/不存在而在第一人称视点和第三人称视点之间进行转换。特别地，如果姿势的信息可用，则进行到第一人称视点的转换，但是如果姿势的信息不可用，则执行向第三人称视点的转换。

此外，还可以响应于显示设备的类型而在第三人称视点和第一人称视点之间进行转换。

例如，如果虚拟视点图像的显示设备是诸如HMD 51之类的特定显示设备，则执行到第一人称视点的转换，但是如果该显示设备不是特定显示设备，则执行到第一人称视点的转换。

可选地，还可以响应于内容的再现次数而在第三人称视点和第一人称视点之间进行转换。例如，可以想到的是，在第一次再现时执行到第三人称视点(或第一人称视点)的转换，但是在第二次以后再现时执行到第一人称视点(或第三人称视点)的转换。

另外，也可以与视点转换操作以外的其他操作联动地进行第三人称视点与第一人称视点之间的转换。

例如，当在再现期间执行重新布线操作时，可以想到的是，在这种倒带之后的再现时，进行从第三人称视点到第一人称视点或从第一人称视点到第三人称视点的转换。这种根据重新布线操作的转换适用于希望例如在改变视点的情况下再次享受交叉比赛的情况或类似情况。

此外，代替实际执行视点转换，可以将用于建议转换的信息呈现给用户。作为示例，可用这样的方法：显示用于选择关于转换的“是”或“否”的弹出屏幕图像，并且等待用户的指令，然后，在针对固定的时间段没有获得响应的情况下，做出“是”的决定。或者，也可以想到执行对通过语音进行切换的执行的通知，并等待用户的指示，然后，在一定时间段内未获得用户的语音响应的情况决定用户没有执行转换的意愿。应当注意，由于运动内容，所描述的固定时间段期望是短的，并且可以想到将固定时间段设置为例如大约两秒。

[2-5、第五变型]

第五变型是关于系统配置的变型。

图29示出了第五变型中的图像处理系统100A的配置示例。

要注意的是，在下面的描述中，与已经描述的元件相似的元件用相同的附图标记表示，并且省略其描述。

第五变型是其中通过云计算来实现图像处理装置1的处理的示例。

与图1所示的图像处理系统100相比，图像处理系统100A的不同之处在于，其另外包括数据记录装置9，并且数据记录装置9、图像处理装置1、输入装置6、显示装置7和图像记录装置8被连接以通过网络50在它们之间进行通信。

要注意的是，网络50是例如因特网。

数据记录装置9包括数据记录部分，例如SSD或HDD，以及控制部分，用于执行向数据记录部分中的数据的记录和从数据记录部分中的数据的再现控制，并且获取并记录通过成像装置2捕获并记录在图像记录装置3中的图像以及由校准装置5获得的参数信息。

在这种情况下，图像处理装置1通过网络50获取由成像装置2捕获的图像和来自数据记录设备9的相机参数的信息。要注意的是，图像处理装置1基于该所捕获的图像和相机参数的信息执行的处理与上文中描述的相似，因此，省略对其的重复描述。

要注意的是，在图像处理系统100A中，输入装置6可以直接连接以与图像处理装置1通信，而无需网络50的干预。

[2-6、第六次变型]

图30示出了根据第六变型的图像处理系统100B的配置示例。

第六变型包括与第五变型类似的数据记录装置9，以使得可以通过离线处理来实现虚拟视点图像的生成。

图30例示了一种情况的示例，其中，将3D模型数据和成像对象分析信息Ia预先记录在数据记录装置9中，然后通过显示装置7A获取所记录的3D模型数据和成像对象分析信息Ia以执行虚拟视点图像的生成。

图像处理系统100B与图像处理系统100A相比的不同之处在于，省略了图像处理装置1、输入装置6和图像记录装置8，而设置了3D模型生成设备11'和成像对象分析装置12'，并且设置了显示装置7A来代替显示装置7。

数据记录装置9和显示装置7A可以通过网络50彼此进行数据通信。

在这种情况下，将来自各个成像装置2并记录在图像记录装置3中的捕获图像和由校准装置5获得的相机参数的信息输入到3D模型生成装置11'。3D模型生成装置11’基于记录在图像记录装置3中的捕获的图像和相机参数的信息，生成与3D模型生成部分11类似的3D模型数据。

成像对象分析装置12’基于由3D模型生成装置11’生成的3D模型数据，执行与成像对象分析部分12类似的成像对象分析处理，以获得成像对象分析信息Ia。

由3D模型生成装置11’生成的3D模型数据和成像对象分析信息Ia被记录到数据记录装置9中。

显示装置7A包括操作部分61和显示部分62，并且还包括虚拟视点图像生成部分13。虚拟视点图像生成部分13通过网络50获取记录在数据记录装置9中的3D模型数据和成像对象分析信息Ia并生成虚拟视点图像。然后，生成的虚拟视点图像由显示部分62显示。同样，在这种情况下，虚拟视点图像生成部分13基于通过操作部分61输入的操作来进行视点Pv和视线方向Dv的设置。此外，类似于图像处理装置1的情况，虚拟视点图像生成部分13与图像处理装置1的情况类似地执行根据其中设置的“视点模式”和“视点设置模式”(参考图11)的处理。

如上所述的这种显示装置7A可以被实现为具有便携性的信息处理装置，例如，笔记本型个人计算机、便携式电话机或平板终端。

这里，在图像处理系统100B中，例如，考虑到网络50的通信量，显示装置7A上的处理负担等，显示装置7A也可以仅获取来自数据记录装置9的部分所需场景的数据以执行虚拟视点图像的生成。在这种情况下，可以基于通过操作部分61输入的操作来进行所需场景的选择。

此外，可以仅关于来自每个成像装置2的捕获图像的部分截面内的图像部分执行在数据记录装置9中的3D模型数据和成像对象分析信息Ia的记录。

注意，在图像处理系统100B中，也可以将由显示装置7A生成的虚拟视点图像记录到所需的记录装置中。

另外，上述说明以显示装置7A中的虚拟视点图像生成部分13进行视点Pv的设置为前提，但显示装置7A也可以获取通过例如外部装置设置的视点Pv的信息，使得虚拟视点图像生成部分13基于获取的视点Pv的信息来执行虚拟视点图像的生成。

在这种情况下，例如，至少基于3D模型数据和成像对象分析信息Ia，通过上述外部装置执行基于成像对象的位置的视点Pv的设置。然后，显示装置7A的虚拟视点图像生成部分13基于以这种方式设置的视点Pv的信息来执行虚拟视点图像的生成。要注意的是，在这种情况下，虚拟视点图像生成部分13生成视点Pv随着成像对象的移动而变化的虚拟视点图像也不会产生变化。

[2-7、第七实施方式]

根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可以应用于手术室系统。

图31是示意性地示出可以应用根据本公开的实施例的技术的手术室系统5100的总体配置的视图。参照图31，手术室系统5100被配置为使得安装在手术室中的一组设备通过视听(AV)控制器5107和手术室控制装置5109彼此协作。

在手术室中，可以安装各种装置。在图31中，作为示例，示出了用于内窥镜手术的各种装置组5101、天花板相机5187、手术现场相机5189、多个显示装置5103A至5103D、记录器5105、患者床5183和照明装置5191。天花板相机5187设置在手术室的天花板上，并且对外科医生的手进行成像。手术现场相机5189设置在手术室的天花板上，并且对整个手术室的状态进行成像。

在所提及的装置中，装置组5101属于下文描述的内窥镜手术系统5113，并且包括内窥镜、显示由内窥镜拾取的图像的显示装置等。属于内窥镜手术系统5113的各种装置也被称为医疗装备。同时，显示装置5103A至5103D、记录器5105、患者床5183和照明装置5191是例如与内窥镜手术系统5113分开配备在手术室中的装置。不属于内窥镜手术系统5113的装置也被称为非医疗装备。视听控制器5107和/或手术室控制装置5109相互协作地控制医疗装备和非医疗装备的操作。

视听控制器5107整体地控制与图像显示有关的医疗装备和非医疗装备的处理。具体地，在手术室系统5100中设置的装置中的装置组5101、天花板相机5187和手术现场相机5189中的每一个可以是具有发送在手术期间要显示的信息的功能的装置(这些信息在下文中称为显示信息，所提及的装置在下文中称为发送源的装置)。同时，显示装置5103A至5103D中的每一个可以是向其输出显示信息的装置(该装置在下文中也被称为输出目的地的装置)。此外，记录器5105可以是用作发送源的装置和输出目的地的装置两者的装置。视听控制器5107具有控制发送源的装置和输出目的地的装置的操作以从发送源的装置获取显示信息并将显示信息发送到输出目的地的装置以进行显示或记录的功能。要注意的是，显示信息包括手术期间拾取的各种图像、与手术有关的各种信息(例如，患者的身体信息，过去的检查结果或与手术过程有关的信息)等。

具体地，可以将与由内窥镜成像的患者的体腔中的外科手术区域的图像有关的信息作为显示信息从装置组5101发送到视听控制器5107。此外，可以将与由天花板相机5187拾取的外科医生的手的图像有关的信息作为显示信息从天花板相机5187发送。此外，可以将与由手术现场相机5189拾取的图像有关并且示出整个手术室的状态的信息作为显示信息从手术现场相机5189发送。要注意的是，如果在手术室系统5100中存在具有图像拾取功能的不同装置，则视听控制器5107也可以从该不同装置获取与由该不同装置拾取的图像有关的信息作为显示信息。

可替代地，例如，在记录器5105中，由视听控制器5107记录与上述过去拾取的图像有关的信息。视听控制器5107可以获取与过去从记录器5105拾取的图像有关的信息作为显示信息。需要注意的是，与手术有关的各种信息也可以预先记录在记录器5105中。

视听控制器5107控制作为输出目的地的装置的显示装置5103A至5103D中的至少一个以显示获取的显示信息(即，在手术期间拾取的图像或与手术有关的各种信息)。在图示的例子中，显示装置5103A是被安装成从手术室的天花板悬挂下来的显示装置。显示装置5103B是安装在手术室的壁面上的显示装置；显示装置5103C是安装在手术室的桌子上的显示装置；显示装置5103D是具有显示功能的移动装置(例如，平板个人计算机(PC))。

此外，尽管在图31中未示出，但是手术室系统5100可以包括在手术室外部的装置。手术室外部的装置可以是例如连接到在医院内部和外部构造的网络的服务器、医务人员使用的PC、安装在医院会议室中的投影仪等。在这种外部装置位于医院外部的情况下，视听控制器5107也可以通过电话会议系统等使显示信息显示在另一家医院的显示装置上以进行远程医疗。

手术室控制装置5109对与非医疗装备上的图像显示有关的处理以外的处理进行整体控制。例如，手术室控制装置5109控制患者床5183、天花板相机5187、手术现场相机5189和照明5191的驱动。

在手术室系统5100中设置有集中操作面板5111，使得可以通过集中操作面板5111向视听控制器5107发布关于图像显示的指令，或者向手术室控制装置5109发布关于非医疗装备的操作的指令。集中操作面板5111通过在显示装置的显示面上设置触摸板来构造。

图32是示出在集中操作面板5111上显示操作画面图像的例子的图。在图32中，作为示例，示出了与设置两个显示装置作为手术室系统5100中的输出目的地的装置的情况相对应的操作画面图像。参见图32，操作画面图像5193包括发送源选择区域5195、预览区域5197和控制区域5201。

在发送源选择区域5195中，以彼此相关联的方式显示在手术室系统5100中设置的发送源装置和表示发送源装置已经具有的显示信息的缩略图画面图像。用户可以从在发送源选择区域5195中显示的任何发送源装置中选择要在显示装置上显示的显示信息。

在预览区域5197中，显示在作为输出目的地的装置的两个显示装置(监视器1和监视器2)上显示的画面图像的预览。在所描绘的示例中，关于一个显示装置，通过画中画(PinP)显示来显示四个图像。这四个图像对应于从在发送源选择区域5195中选择的发送源装置发送的显示信息。四个图像之一作为主图像以相对较大的尺寸显示，而其余三个图像作为子图像以相对较小的尺寸显示。用户可以通过从区域中显示的四个图像中适当选择图像之一来在主图像和子图像之间切换。此外，在显示四个图像的区域下方设置状态显示区域5199，并且可以在状态显示区域5199中适当地显示与手术有关的状态(例如，手术的经过时间，患者的身体信息等)。

在控制区域5201中设置有发送源操作区域5203和输出目的地操作区域5205。在发送源操作区域5203中，显示了用于对发送源的装置进行操作的图形用户界面(GUI)部分。在输出目的地操作区域5205中，显示用于对输出目的地的装置执行操作的GUI部分。在所描绘的示例中，在具有图像拾取功能的发送源的装置中，用于对相机执行各种操作(平移，倾斜和变焦)的GUI部件被设置在发送源操作区域5203中。用户可以通过适当地选择任何GUI部分控制发送源的装置的相机的操作。要注意，尽管未示出，但是在发送源选择区域5195中选择的发送源的装置是记录器的情况(即，在预览区域5197中显示过去记录在记录器中的图像的情况)下，可以在发送源操作区域5203中设置用于执行诸如图像的再现、再现的停止、倒带、快速进给等操作的GUI部件。

此外，在输出目的地操作区域5205中，设置了GUI部分以用于执行在作为输出目的地的装置的显示装置上进行显示的各种操作(交换、翻转、色彩调节、对比度调节以及在二维(2D)显示和三维(3D)显示之间的切换)。用户可以通过适当地选择任何GUI部件来操作显示装置的显示。

要注意的是，要显示在集中操作面板5111上的操作画面图像不限于所描绘的示例，并且用户可以能够执行输入到可以由通过集中操作面板5111设置在手术室系统5100中的手术室控制装置5109和视听控制器5107控制的每个装置的操作。

图33是示出应用了上述手术室系统的手术状态的示例的图。天花板相机5187和手术现场相机5189被设置在手术室的天花板上，从而可以对在患者床5183上对患者5185的患处进行治疗的外科医生(医生)5181的手和整个手术室成像。天花板相机5187和手术现场相机5189可以包括放大倍率调节功能、焦距调节功能、成像方向调节功能等。照明装置5191设置在手术室的天花板上，并且至少照射在外科医生5181的手上。照明装置5191可以被配置为使得照射光量、照射光的波长(颜色)、光的照射方向等可以适当地调节。

内窥镜手术系统5113、患者床5183、天花板相机5187、手术现场相机5189和照明装置5191通过如图31所示的视听控制器5107和手术室控制装置5109(未在图33中示出)连接以彼此协作。集中操作面板5111设置在手术室中，并且用户可以如上所述通过集中操作面板5111适当地操作存在于手术室中的装置。

以下，详细说明内窥镜手术系统5113的配置。如所描绘的，内窥镜手术系统5113包括内窥镜5115、其他手术工具5131、在其上支撑内窥镜5115的支撑臂装置5141以及推车5151，其上安装有用于内窥镜手术的各种装置。

在内窥镜手术中，代替切开腹壁以进行剖腹术，使用了多个称为套管针5139a至5139d的管状开孔设备刺穿腹壁。然后，将内窥镜5115的镜筒5117和其他手术工具5131通过套管针5139a至5139d插入患者5185的体腔中。在所描绘的示例中，作为其他外科手术工具5131，将气腹管5133，能量治疗工具5135和钳子5137插入患者5185的体腔中。此外，能量治疗工具5135是用于进行切割、通过高频电流或超声波振动来剥离组织、密封血管等的治疗工具。然而，所描绘的手术工具5131完全仅仅是示例，并且作为手术工具5131，可以使用通常在内窥镜手术中使用的各种手术工具，例如，一对镊子或牵开器。

由内窥镜5115拾取的患者5185的体腔中的手术区域的图像被显示在显示装置5155上。外科医生5181在观看实时地显示在显示装置5155上的手术区域的图像的同时将使用能量治疗工具5135或钳子5137执行诸如切除患处的处理。应当注意，尽管未示出，但是在手术过程中，气腹管5133、能量治疗工具5135和钳子5137由外科医生5181、护士等支撑。

(支撑臂装置)

支撑臂装置5141包括从基座单元5143延伸的臂单元5145。在所示的示例中，臂单元5145包括接头部分5147a、5147b和5147c以及连杆5149a和5149b，并且在臂控装置5159的控制下被驱动。内窥镜5115由臂单元5145支撑，从而控制内窥镜5115的位置和姿势。因此，可以实现内窥镜5115的位置的稳定固定。

(内窥镜)

内窥镜5115包括：镜筒5117，其具有从其远端起预定长度的区域以插入到患者5185的体腔中；以及相机头5119，其连接到镜筒5117的近端。在所描绘的示例中，所描绘的内窥镜5115被配置为具有硬镜筒5117的硬镜。然而，内窥镜5115可以另外配置为具有软镜筒5117的软镜。

镜筒5117在其远端具有开口，在该开口中安装有物镜。光源装置5157连接到内窥镜5115，使得由光源装置5157产生的光通过在镜筒5117的内部延伸的光导被引入到镜筒5117的远端并且通过物镜在患者5185的体腔中观察目标朝着镜筒5117施加。要注意的是，内窥镜5115可以是直视镜或者可以是透视镜或侧视镜。

光学系统和图像拾取元件被设置在相机头5119的内部，使得来自观察目标的反射光(观察光)被光学系统会聚在图像拾取元件上。观察光由图像拾取元件光电转换以产生与观察光相对应的电信号，即，与观察图像相对应的图像信号。图像信号作为RAW数据发送到CCU5153。要注意的是，相机头5119具有结合在其中的功能，以适当地驱动相机头5119的光学系统以调节放大倍率和焦距。

要注意的是，为了建立与例如立体视觉(3D显示器)的兼容性，可以在相机头5119上设置多个图像拾取元件。在这种情况下，多个中继光学系统在镜筒5117的内部设置以用于将观察光引导至各个图像拾取元件。

(推车中包含的各种装置)

CCU 5153包括中央处理单元(CPU)，图形处理单元(GPU)等，并且整体地控制内窥镜5115和显示装置5155的操作。具体地，CCU 5153对从相机头5119接收的图像信号执行用于基于图像信号显示图像的各种图像处理，例如显影处理(去马赛克处理)。CCU5153将已经对其进行了图像处理的图像信号提供给显示装置5155。此外，图31所示的视听控制器5107连接至CCU5153。CCU5153也向视听控制器5107提供对其进行了图像处理的图像信号。此外，CCU 5153向相机头5119发送控制信号以控制相机头5119的驱动。该控制信号可以包括与诸如放大倍率或焦距之类的图像拾取条件有关的信息。与图像拾取条件有关的信息可以通过输入装置5161输入，或者可以通过上述集中操作面板5111输入。

显示装置5155基于在CCU 5153的控制下已经由CCU 5153对其执行了图像处理的图像信号来显示图像。如果内窥镜5115准备好用于诸如4K(水平像素数3840×垂直像素数2160)、8K(水平像素数7680×垂直像素数4320)等的高分辨率成像和/或准备好进行3D显示，则可以使用通过其可以进行高分辨率的相应显示和/或3D显示的显示装置作为显示装置5155。在装置准备好诸如4K或8K等的高分辨率成像的情况下，如果用作显示装置5155的显示装置的大小等于或小于55英寸，则可以获得更身临其境的体验。此外，可以根据目的提供具有不同的分辨率和/或不同的尺寸的多个显示装置5155。

光源装置5157包括诸如发光二极管(LED)之类的光源，并且向内窥镜5115供应用于成像手术区域的照射光。

臂控装置5159包括诸如CPU之类的处理器，并且根据预定程序进行操作，以根据预定控制方法来控制支撑臂装置5141的臂单元5145的驱动。

输入装置5161是用于内窥镜手术系统5113的输入接口。用户可以通过输入装置5161执行向内窥镜手术系统5113输入的各种信息或指令的输入。例如，用户将通过输入装置5161输入诸如患者的身体信息之类的与外科手术有关的信息、与外科手术的外科手术过程有关的信息等的各种信息或指令。此外，用户将通过输入装置5161输入例如驱动臂单元5145的指令、通过内窥镜5115改变图像拾取条件(照射光的类型、放大倍率、焦距等)，驱动能量处理工具5135的指令等。

输入装置5161的类型不受限制，并且可以是各种已知输入装置中的任何一种的类型。作为输入装置5161，例如，可以应用鼠标，键盘，触摸板，开关，脚踏开关5171和/或操纵杆等。在触摸板用作输入装置5161的情况下，可以将其设置在显示装置5155的显示面上。

输入装置5161另外是要安装在用户上的设备，例如眼镜型可穿戴设备或头戴式显示器(HMD)，并且响应于被提及的任何设备检测到的用户的手势或视线来执行各种输入。此外，输入装置5161包括可以检测用户的运动的相机，并且响应于从相机拍摄的视频中检测到的用户的手势或视线来执行各种输入。此外，输入装置5161包括可以收集用户的语音的麦克风，并且通过麦克风的语音来执行各种输入。通过配置输入装置5161，使得可以以这种方式以非接触方式输入各种信息，特别是属于清洁区域的用户(例如，外科医生5181)可以以非接触方式操作属于清洁区域的装置。此外，由于用户可以在不从其手上释放所拥有的手术工具的情况下操作装置，因此提高了用户的便利性。

处理工具控制装置5163控制能量处理工具5135的驱动，以进行组织的烧灼或切开、血管的密封等。气腹装置5165通过气腹管5133将气体馈送到患者5185的体腔中以使体腔膨胀，以确保内窥镜5115的视野并确保外科医生的操作空间。记录器5167是能够记录与手术有关的各种信息的装置。打印机5169是能够以诸如文本、图像或图形的各种形式来打印与手术有关的各种信息的装置。

在下文中，尤其更详细地描述内窥镜手术系统5113的特征构造。

(支撑臂装置)

支撑臂装置5141包括用作基座的基座单元5143和从基座单元5143延伸的臂单元5145。在所示的示例中，臂单元5145包括多个接合部5147a、5147b和5147c以及多个通过接合部5147b彼此连接的连杆5149a和5149b的一部分。在图33中，为了简化说明，以简化形式示出了臂单元5145的构造。实际上，可以适当地设置接合部5147a至5147c以及连杆5149a和5149b的形状、数量和布置以及接合部5147a至5147c的旋转轴线的方向等，使得臂单元5145具有所需的自由度。例如，可以优选地包括臂单元5145，使得其具有等于或不小于6自由度的自由度。这使得可以在臂单元5145的可移动范围内自由地移动内窥镜5115。因此，可以将内窥镜5115的镜筒5117从期望的方向插入患者5185的体腔中。

在接合部5147a至5147c中设置有致动器，并且接合部5147a至5147c包括使得通过致动器的驱动它们可绕其预定旋转轴旋转。致动器的驱动由臂控装置5159控制，以控制各接合部5147a至5147c的旋转角度，从而控制臂单元5145的驱动。因此，可以实现对内窥镜5115的位置和姿势的控制。因此，臂控装置5159可以通过诸如力控制或位置控制的各种已知控制方法来控制臂单元5145的驱动。

例如，如果外科医生5181适当地执行通过输入装置5161(包括脚踏开关5171)的输入操作，则臂单元5145的驱动可以由臂控装置5159响应于该操作输入来适当地控制以控制内窥镜5115的位置和姿势。在臂单元5145的远端处的内窥镜5115通过上述控制从任意位置移动到不同的任意位置之后，可以将内窥镜5115固定地支撑在移动之后的位置。要注意的是，臂单元5145可以以主从方式操作。在这种情况下，臂单元5145可以由用户通过放置在远离手术室的地方的输入装置5161进行远程控制。

此外，在施加力控制的情况下，臂控装置5159可以执行动力辅助控制以驱动接合部5147a至5147c的致动器，使得臂单元5145可以受到使用者的外力并跟随该外力而平稳地移动。这使得当用户直接接触并移动臂单元5145时可以以相对弱的力来移动臂单元5145。因此，用户可以通过更简单和容易的操作更直观地移动内窥镜5115，并且可以提高用户的便利性。

在此，通常在内窥镜手术中，内窥镜5115由称为镜师(scopist)的医生支撑。与此相对，在使用支撑臂装置5141的情况下，无需用手就能更加可靠地固定内窥镜5115的位置，因此，能够稳定地获得手术部位的图像，并且能够顺利地进行手术。

应当注意，臂控装置5159可以不必设置在推车5151上。此外，臂控装置5159可以不必是单个装置。例如，臂控装置5159可以设置在支撑臂装置5141的臂单元5145的每个接合部5147a至5147c中，使得多个臂控装置5159彼此协作以实现对臂单元5145的驱动控制。

(光源装置)

光源装置5157在对手术区域成像时将照射光提供给内窥镜5115。光源装置5157包括白光源，该白光源包括例如LED、激光光源或它们的组合。在这种情况下，在白光源包括红色，绿色和蓝色(RGB)激光光源的组合的情况下，由于可以针对每种颜色(每种波长)高精度地控制输出强度和输出定时，因此，可以通过光源装置5157来调节拍摄图像的白平衡。此外，在这种情况下，如果将来自RGB激光源的激光束时分地施加在观察对象上并与照射定时同步地控制相机头5119的图像拾取元件的驱动，则可以时分地拾取分别对应于R，G和B颜色的图像。根据刚刚描述的方法，即使没有为图像拾取元件提供滤色器，也可以获得彩色图像。

此外，可以控制光源装置5157的驱动，使得对于每个预定时间改变要输出的光的强度。通过与光强度的变化的定时同步地控制相机头5119的图像拾取元件的驱动，以时分地获取图像并进行合成，可以创建没有曝光不足而被遮挡和曝光过度的高光的高动态范围的图像。

此外，光源装置5157可以被配置为提供准备用于特殊光观察的预定波长带的光。在特殊的光观察中，例如，通过利用人体组织的光的吸收的波长依赖性，对粘膜的表层部的血管等预定组织进行成像的窄带光观察(窄带成像)与普通观察时的照射光(即白光)相比，通过施加较窄带的光来执行高对比度。可替代地，在特殊光观察中，也可以执行荧光观察以从通过激发光的照射产生的荧光中获取图像。在荧光观察中，可以通过将激发光照射到人体组织上来观察来自人体组织的荧光(自发荧光观察)，或者可以通过将吲哚花青绿(ICG)等试剂局部注入到人体组织中并在人体组织上照射与试剂的荧光波长相对应的激发光来获得荧光图像。光源装置5157可以被配置为提供如上所述的适于特殊光观察的窄带光和/或激发光。

(相机头和CCU)

参照图34更详细地描述内窥镜5115的相机头5119和CCU5153的功能。图34是示出图33所示的相机头5119和CCU 5153的功能配置的示例的框图。

参照图34，相机头5119具有镜头单元5121、图像拾取单元5123、驱动单元5125、通信单元5127和相机头控制单元5129作为其功能。此外，CCU 5153具有作为其功能的通信单元5173、图像处理单元5175和控制单元5177。相机头5119和CCU 5153通过传输电缆5179彼此双向通信。

首先，描述相机头5119的功能配置。透镜单元5121是设置在相机头5119与镜筒5117的连接位置处的光学系统。从镜筒5117的远端入射的观察光被引入相机头5119中并进入透镜单元5121。透镜单元5121包括包含变焦透镜和聚焦透镜的多个透镜的组合。透镜单元5121具有被调节的光学特性，使得观察光会聚在图像拾取单元5123的图像拾取元件的光接收面上。此外，变焦透镜和聚焦透镜包括使得在其光学轴上的位置可移动以调整放大倍率和拍摄图像的焦点。

图像拾取单元5123包括图像拾取元件，并且布置在镜头单元5121的后一级。已经穿过透镜单元5121的观察光会聚在图像拾取元件的光接收面上，并且通过光电转换生成对应于观察图像的图像信号。由图像拾取单元5123生成的图像信号被提供给通信单元5127。

作为图像拾取单元5123所包括的图像拾取元件，使用例如具有拜耳阵列并且能够拾取彩色图像的互补金属氧化物半导体(CMOS)类型的图像传感器。应当注意，作为图像拾取元件，可以使用例如准备好用于成像等于或不小于4K的高分辨率图像的图像拾取元件。如果以高分辨率获得手术区域的图像，则外科医生5181可以以增强的细节理解手术区域的状态，并且可以更顺利地进行手术。

此外，图像拾取单元5123所包括的图像拾取元件被配置为使得其具有一对图像拾取元件，用于获取与3D显示兼容的右眼和左眼的图像信号。在应用3D显示的情况下，外科医生5181可以以更高的准确度理解手术区域中活体组织的深度。要注意的是，如果图像拾取单元5123被配置为多板型，则提供对应于图像拾取单元5123的各个图像拾取元件的多个透镜单元5121的系统。

图像拾取单元5123可以不一定设置在相机头5119上。例如，图像拾取单元5123可以设置在镜筒5117内部的物镜的正后方。

驱动单元5125包括致动器，并且在相机头控制单元5129的控制下，使透镜单元5121的变焦透镜和聚焦透镜沿光轴移动预定距离。因此，可以适当地调整由图像拾取单元5123拾取的图像的放大倍率和焦点。

通信单元5127包括用于向CCU 5153发送各种信息以及从CCU5153接收各种信息的通信装置。通信单元5127通过传输电缆5179将从图像拾取单元5123获取的图像信号作为RAW数据发送到CCU5153。因此，为了以低等待时间显示手术区域的拾取图像，优选地，通过光通信来发送图像信号。这是因为，在外科手术时，外科医生5181在通过拍摄的图像观察患部的状态的同时进行外科手术，为了以更高的安全性和确定性实现外科手术，需要尽可能实时显示手术区域的运动图像。在进行光通信的情况下，在通信单元5127中提供用于将电信号转换成光信号的光电转换模块。在图像信号被光电转换模块转换成光信号之后通过传输电缆5179被发送到CCU 5153。

此外，通信单元5127从CCU 5153接收用于控制相机头5119的驱动的控制信号。该控制信号包括与图像拾取条件有关的信息，例如，所拾取图像的帧速率被指定的信息，指定图像拾取时的曝光值的信息和/或指定所拾取图像的放大倍率和焦点的信息。通信单元5127将接收到的控制信号提供给相机头控制单元5129。要注意，来自CCU5153的控制信号也可以通过光通信来发送。在这种情况下，在通信单元5127中提供用于将光信号转换成电信号的光电转换模块。在控制信号被光电转换模块转换成电信号之后，将其提供给相机头控制单元5129。

应当注意，CCU 5153的控制单元5177基于获取的图像信号自动设置诸如帧速率、曝光值、放大倍率或焦点之类的图像拾取条件。换句话说，在内窥镜5115中结合了自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。

相机头控制单元5129基于通过通信单元5127接收的来自CCU5153的控制信号来控制相机头5119的驱动。例如，相机头控制单元5129基于指定了拾取图像的帧速率的信息和/或指定了图像拾取时的曝光值的信息控制图像拾取单元5123的图像拾取元件的驱动。此外，例如，相机头控制单元5129基于指定了拾取图像的放大倍率和焦点的信息，控制驱动单元5125以适当地移动镜头单元5121的变焦镜头和聚焦镜头。相机头控制单元5129可以包括用于存储用于识别镜筒5117和/或相机头5119的信息的功能。

应当注意，通过将诸如透镜单元5121和图像拾取单元5123之类的组件布置在具有高气密性和高防水性的密封结构中，可以为相机头5119提供耐高压灭菌处理的能力。

现在，描述CCU 5153的功能配置。通信单元5173包括用于向相机头5119发送各种信息和从相机头5119接收各种信息的通信装置。通信单元5173通过传输电缆5179接收从相机头5119向其发送的图像信号。如上所述，可以优选地通过光通信来发送图像信号。在这种情况下，为了与光通信兼容，通信单元5173包括用于将光信号转换为电信号的光电转换模块。通信单元5173将转换为电信号之后的图像信号提供给图像处理单元5175。

此外，通信单元5173将用于控制相机头5119的驱动的控制信号发送到相机头5119。控制信号也可以通过光通信来发送。

图像处理单元5175对从相机头5119发送到其的RAW数据形式的图像信号执行各种图像处理。图像处理包括诸如显影处理，图像质量改善处理(带宽增强处理、超分辨率处理、降噪(NR)处理和/或图像稳定处理)和/或放大处理(电子变焦处理)之类的各种已知信号处理。此外，图像处理单元5175对用于执行AE、AF和AWB的图像信号执行检测处理。

图像处理单元5175包括诸如CPU或GPU的处理器，并且当处理器根据预定程序进行操作时，可以执行上述图像处理和检测处理。要注意的是，在图像处理单元5175包括多个GPU的情况下，图像处理单元5175适当地划分与图像信号有关的信息，从而由多个GPU并行地执行图像处理。

控制单元5177执行与通过内窥镜5115对手术区域的图像拾取以及所拾取的图像的显示有关的各种控制。例如，控制单元5177生成用于控制相机头5119的驱动的控制信号。于是，如果用户输入了图像拾取条件，则控制单元5177基于用户的输入来生成控制信号。可替代地，在内窥镜5115中具有AE功能、AF功能和AWB功能的情况下，控制单元5177响应于通过图像处理单元5175的检测处理的结果适当地计算最佳曝光值、焦距和白平衡，并产生控制信号。

此外，控制单元5177基于图像处理单元5175已经对其执行了图像处理的图像信号，控制显示装置5155显示手术区域的图像。于是，控制单元5177使用各种图像识别技术识别出手术区域图像中的各种对象。例如，控制单元5177可以通过检测包括在手术区域图像中的对象的边缘的形状、颜色等来识别手术工具，例如钳子、特定的生物体区域、出血、薄雾等。当控制单元5177控制显示装置5155以显示手术区域图像时，使用识别结果以与手术区域的图像重叠的方式显示各种手术支持信息。在以重叠的方式显示手术支持信息并将其提供给外科医生5181的情况下，外科医生5181可以更加安全和确定地进行手术。

将相机头5119和CCU 5153彼此连接的传输电缆5179是准备用于电信号的通信的电信号电缆、准备用于光通信的光纤或其复合电缆。

在此，虽然在附图所示的示例中，通过使用传输电缆5179的有线通信来进行通信，但是也可以通过无线通信来以其他方式进行相机头5119与CCU 5153之间的通信。在通过无线通信执行相机头5119与CCU 5153之间的通信的情况下，无需将传输电缆5179放置在手术室中。因此，可以消除医务人员在手术室中的移动受到传输电缆5179干扰的情况。

上面已经描述了可以应用根据本公开的实施例的技术的手术室系统5100的示例。这里，应注意，尽管以应用手术室系统5100的医疗系统为内窥镜手术系统5113的情况为例进行了说明，但是手术室系统5100的结构不限于此。例如，手术室系统5100可以应用于用于检查的软内窥镜系统或代替内窥镜手术系统5113的显微手术系统。

根据本公开的技术可以有利地应用于这样的情况，在该情况下，根据上述配置通过基于成像装置(例如，手术现场相机5189、天花板相机5187等)捕获的图像来生成虚拟视点图像。特别地，可以提供多个成像装置，例如手术现场相机5189、天花板相机5187等，基于多个成像装置捕获的图像获取表示三维空间中的成像对象的三维信息，并基于三维信息生成来自三维空间中的视点的观察图像作为虚拟视点图像。

例如，在使用手术现场相机5189生成虚拟视点图像的情况下，作为成像对象的操作者(外科医生，助手，护士等)、患者、手术工具等成为目标。在使用天花板相机5187生成虚拟视点图像的情况下，作为成像对象的操作工具、患者的器官等可以成为目标。

[2-8、第八变型]

根据本公开的技术可以被实现为结合在各种类型的移动体中的任何一种中的装置，例如，汽车、电动汽车、混合动力电动汽车、摩托车、自行车、个人机动车、飞机、无人机、船舶、机器人、建筑机械、农业机械(拖拉机)等。

图35是示出作为可应用根据本公开实施例的技术的移动体控制系统的示例的车辆控制系统7000的示意性配置的示例的框图。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图35所示的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500和集成控制单元7600。例如，将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络，例如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)、FlexRay(注册商标)等。

每个控制单元包括：微计算机，其根据各种程序执行算术处理；以及存储部分，存储由微计算机执行的程序、用于各种操作的参数等；以及驱动电路，其驱动各种控制目标设备。每个控制单元还包括：网络接口(I/F)，用于经由通信网络7010与其他控制单元进行通信；以及通信接口，用于通过有线通信或无线电通信与车辆内外的设备、传感器等进行通信。图35所示的集成控制单元7600的功能配置包括微计算机7610、通用通信接口7620、专用通信接口7630、定位部7640、信标接收部分7650、车载设备接口7660、声音/图像输出部分7670、车载网络接口7680和存储部分7690。其他控制单元类似地包括微计算机、通信接口、存储部分等等。

驱动系统控制单元7100根据各种程序来控制与车辆的驱动系统有关的设备的操作。例如，驱动系统控制单元7100用作用于产生车辆的驱动力(例如内燃机，驱动马达等)的驱动力产生装置的控制设备，用于将驱动力传递给车轮的驱动力传递机构，用于调节车辆的转向角的转向机构，用于产生车辆的制动力的制动设备等。驱动系统控制单元7100可以具有作为防抱死制动系统(ABS)、电子稳定性控制(ESC)等的控制装置的功能。

驱动系统控制单元7100与车辆状态检测部分7110连接。车辆状态检测部分7110例如包括检测车身的轴向旋转的角速度的陀螺传感器、检测车辆的加速度的加速度传感器、以及检测油门踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机转速或车轮转速的传感器中的至少一个。驱动系统控制单元7100使用从车辆状态检测部分7110输入的信号执行算术处理，并且控制内燃机、驱动马达、电动助力转向设备、制动设备等。

车身系统控制单元7200根据各种程序控制设置在车身上的各种设备的操作。例如，车身系统控制单元7200用作用于无钥匙进入系统、智能钥匙系统、电动车窗设备或诸如前照灯、倒车灯、制动灯，转向灯、雾灯等的各种灯的控制设备。在这种情况下，可以将代替按键而从移动设备发送的无线电波或各种开关的信号输入到车身系统控制单元7200。车身系统控制单元7200接收这些输入的无线电波或信号，并且控制车辆的门锁设备、电动窗装置、灯等。

电池控制单元7300根据各种程序控制作为驱动电动机的电源的蓄电池组7310。例如，从包括蓄电池组7310的电池设备向电池控制单元7300提供关于电池温度、电池输出电压、电池中剩余的电荷量等的信息。电池控制单元7300使用这些信号执行算术处理，并执行用于调节蓄电池组7310的温度的控制或控制设置在电池设备上的冷却设备等。

车外信息检测单元7400检测关于包括车辆控制系统7000的车辆外部的信息。例如，车外信息检测单元7400与成像部分7410和车外信息检测部分7420中的至少一个连接。成像部分7410包括飞行时间(ToF)相机、立体相机、单眼相机、红外相机和其他相机中的至少一个。车外信息检测部分7420例如包括以下的至少一个：用于检测当前的大气状况或天气状况的环境传感器以及用于检测包括车辆控制系统7000的车辆周边的其他车辆、障碍物、行人等的周边信息检测传感器。

环境传感器例如可以是检测雨的雨滴传感器、检测雾的雾传感器、检测日照程度的阳光传感器和检测降雪的雪传感器中的至少一种。周边信息检测传感器可以是超声传感器、雷达设备和LIDAR设备(光检测和测距设备或激光成像检测和测距设备)中的至少一种。成像部分7410和车外信息检测部分7420中的每一个可以被提供为独立的传感器或设备，或者可以被提供为其中集成了多个传感器或设备的设备。

图36示出了成像部分7410和车外信息检测部分7420的安装位置的示例。成像部分7910、7912、7914、7916和7918例如设置在车辆7900的的前鼻、侧视镜、后保险杠和后门的至少一个位置上以及车辆内部的挡风玻璃上部的位置。设置到前鼻部的成像部分7910和设置在车辆内部的挡风玻璃的上部的成像部分7918主要取得车辆7900的前部的图像。设置在侧视镜的成像部分7912、7914。镜子主要获得车辆7900的侧面的图像。设置在后保险杠或后门上的成像部分7916主要获得车辆7900的后部的图像。设置在车辆内部的挡风玻璃的上部的成像部分7918主要用于检测在前的车辆、行人、障碍物、信号、交通标志、车道等。

顺便提及，图36示出了各个成像部分7910、7912、7914和7916的拍摄范围的示例。成像范围a表示设置在前鼻上的成像部分7910的成像范围。成像范围b和c分别表示设置到侧视镜的成像部分7912和7914的成像范围。成像范围d表示设置在后保险杠或后门上的成像部分7916的成像范围。例如，通过叠加由成像部分7910、7912、7914和7916成像的图像数据，可以获得从上方观看的车辆7900的鸟瞰图像。

设置在车辆7900的前，后，侧面和拐角以及车辆内部的挡风玻璃的上部的车外信息检测部分7920、7922、7924、7926、7928和7930可以是例如，超声波传感器或雷达设备。设置在车辆7900的前鼻、车辆7900的后保险杠、车辆7900的后门、以及在车辆内部的挡风玻璃的上部的车外信息检测部分7920、7926和7930可以例如LIDAR设备。这些车外信息检测部分7920至7930主要用于检测前方车辆、行人、障碍物等。

返回图35，将继续描述。车外信息检测单元7400使成像部分7410对车辆外部的图像成像，并接收成像的图像数据。另外，车外信息检测单元7400从与车外信息检测单元7400连接的车外信息检测部分7420接收检测信息。在车外信息检测部分7420为超声波传感器、雷达设备或LIDAR设备的情况下，车外信息检测单元7400发送超声波、电磁波等，并接收接收到的反射波的信息。车外信息检测单元7400可以基于接收到的信息，进行检测诸如人、车辆、障碍物、标志、路面的文字等物体的处理，或者进行检测到它的距离的处理。车外信息检测单元7400可以基于接收到的信息执行识别降雨、雾、路面状况等的环境识别处理。车外信息检测单元7400可以基于所接收的信息来计算到车辆外部的物体的距离。

另外，基于接收到的图像数据，车外信息检测单元7400可以执行识别人，车辆，障碍物，标志，路面的文字等的图像识别处理，或检测到其距离的处理。车外信息检测单元7400可以对接收到的图像数据进行诸如失真校正、对准等的处理，并且将由多个不同的成像部分7410成像的图像数据进行组合，以生成鸟瞰图像或全景图像。车外信息检测单元7400可以使用由包括不同成像部分的成像部分7410成像的图像数据来执行视点转换处理。

车内信息检测单元7500检测关于车辆内部的信息。车内信息检测部分7500例如与检测驾驶员的状态的驾驶员状态检测部分7510连接。驾驶员状态检测部分7510可以包括对驾驶员进行成像的相机、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器例如布置在座椅表面、方向盘等中，并且检测坐在座椅中的乘员或保持方向盘的驾驶员的生物信息。车内信息检测部分7500基于来自驾驶员状态检测部分7510的检测信息输入，可以算出驾驶员的疲劳度或驾驶员的集中度，或者可以判断驾驶员是否在打瞌睡。车内信息检测单元7500可以对通过声音的收集获得的音频信号进行诸如噪声消除处理等的处理。

集成控制单元7600根据各种程序控制车辆控制系统7000内的一般操作。集成控制单元7600与输入部分7800连接。输入部分7800由能够由乘员进行输入操作的设备来实现，例如，触摸板，按钮，麦克风，开关，杠杆之类的东西。可以向集成控制单元7600提供通过对通过麦克风输入的语音进行语音识别而获得的数据。输入部分7800例如可以是使用红外线或其他无线电波的遥控设备，或者是支持车辆控制系统7000的操作的外部连接设备，例如移动电话，个人数字助理(PDA)等。输入部分7800可以是例如相机。在这种情况下，乘员可以通过手势输入信息。或者，数据可以输入通过检测乘员穿戴的可穿戴设备的运动而获得的输入。此外，输入部分7800例如可以包括输入控制电路等，其基于乘员等使用上述输入部分7800输入的信息来生成输入信号，并将所生成的信号输出到集成控制单元7600。乘员等输入各种数据或通过操作输入部分7800向车辆控制系统7000给出用于处理操作的指令。

存储部分7690可以包括：只读存储器(ROM)，其存储由微计算机执行的各种程序；以及随机存取存储器(RAM)，其存储各种参数、操作结果、传感器值等。另外，存储部分7690可以由诸如硬盘驱动器(HDD)等的磁存储设备、半导体存储设备、光学存储设备，磁光存储设备等来实现。

通用通信接口7620是被广泛使用的通信接口，该通信接口促成与外部环境7750中存在的各种装置的通信。通用通信接口7620可以实现蜂窝通信协议。例如全球移动通信系统(GSM(注册商标))，全球微波访问互操作性(WiMAX(注册商标))，长期演进(LTE(注册商标))，高级LTE(LTE-A)或通用通信接口7620可以用于诸如无线LAN(也称为无线保真(Wi-Fi(注册商标))，蓝牙(注册商标)等)之类的无线通信协议。例如，通过基站或接入点连接到存在于外部网络(例如，因特网、云网络或公司专用网络)上的设备(例如，应用服务器或控制服务器)。另外，通用通信接口7620可以例如使用对等(P2P)技术连接到存在于车辆附近的终端(该终端例如是驾驶员、行人或商店的终端，或者是机器类型的通信(MTC)终端)。

专用通信接口7630是支持开发用于车辆的通信协议的通信接口。专用通信接口7630可以实现标准协议，例如，车辆环境中的无线访问(WAVE)，该协议是电气和电子工程师协会(IEEE)802.11p作为较低层和IEEE 1609作为更高层的组合，专用短程通信(DSRC)或蜂窝通信协议。专用通信接口7630通常执行V2X通信，其概念包括车辆与车辆之间的通信(车辆到车辆)，道路与车辆之间的通信(车辆到基础设施)，车辆和房屋之间的通信(车辆到房屋)以及行人和车辆之间的通信(车辆到行人)中的一个或多个。

定位部分7640例如通过从GNSS卫星接收全球导航卫星系统(GNSS)信号(例如，来自全球定位系统(GPS)卫星的GPS信号)来执行定位，并且生成包括车辆的纬度、经度和高度的位置信息。顺便提及，定位部分7640可以通过与无线接入点交换信号来识别当前位置，或者可以从诸如移动电话、个人手持电话系统(PHS)或具有定位功能的智能电话的终端获得位置信息。

信标接收部分7650例如接收从安装在道路等上的无线电台发送的无线电波或电磁波，从而获得关于当前位置、拥堵、封闭道路、必要时间等的信息。顺便提及，信标接收部分7650的功能可以包括在上述专用通信接口7630中。

车载设备接口7660是促进微计算机7610与车辆内存在的各种车载设备7760之间的连接的通信接口。车载设备接口7660可以使用诸如无线LAN，蓝牙(注册商标)，近场通信(NFC)或无线通用串行总线(WUSB)之类的无线通信协议来建立无线连接。另外，车载设备接口7660可以经由图中未示出的连接端子(如有必要，还包括电缆)通过通用串行总线(USB)，高清多媒体接口(HDMI(注册商标))，移动高清链接(MHL)等来建立有线连接。车载设备7760可以例如包括乘员拥有的移动设备和可穿戴设备以及车辆中携带或附接的信息设备中的至少一个。车载设备7760还可以包括导航设备，该导航设备搜索到任意目的地的路径。车载设备接口7660与这些车载设备7760交换控制信号或数据信号。

车载网络接口7680是促进微计算机7610与通信网络7010之间的通信的接口。车载网络接口7680根据由通信网络7010支持的预定协议来发送和接收信号等。

集成控制单元7600的微计算机7610基于经由通用通信接口7620、专用通信接口7630、定位部分7640、信标接收部分7650、车载设备接口7660和车载网络接口7680中的至少一个获得的信息，根据各种程序来控制车辆控制系统7000。例如，微计算机7610可以基于所获得的关于车辆内部和外部的信息计算用于驱动力产生设备、转向机构或制动设备的控制目标值，并向驱动系统控制单元7100输出控制命令。例如，微计算机7610可以执行预期实施先进的驾驶员辅助系统(ADAS)的功能的协作控制，该功能包括基于车辆的行车间距、保持行驶的车辆速度、车辆碰撞的警告、车辆偏离车道的警告的防撞或缓冲等。另外，微计算机7610可以基于所获得的关于车辆周围环境的信息等通过控制驱动力产生设备、转向机构、制动设备来执行旨在用于自动驾驶的协作控制，这使得车辆不依赖于驾驶员的操作而自主地行驶。

微计算机7610可以在车辆与诸如周围结构、人等之类的物体之间产生三维距离信息，并基于通过通用通信接口7620、专用通信接口7630、定位部分7640、信标接收部分7650、车载设备接口7660和车载网络接口7680中的至少一个获得的信息生成包括关于车辆当前位置的周围环境的信息的局部地图信息。此外，微计算机7610可以根据获取的信息来预测危险，例如车辆碰撞、行人等接近、进入封闭道路等，并产生警告信号。警告信号可以例如是用于产生警告声音或点亮警告灯的信号。

声音/图像输出部分7670将声音和图像中的至少一者的输出信号发送到能够视觉或听觉上将信息通知给车辆的乘员或车辆的外部的输出设备。在图35的示例中，音频扬声器7710、显示部分7720和仪表板7730被示出为输出设备。显示部分7720可以例如包括车载显示器和平视显示器中的至少一个。显示部分7720可以具有增强现实(AR)显示功能。输出设备可以是这些设备以外的设备，并且可以是例如耳机、可穿戴设备(例如由乘员等佩戴的眼镜型显示器、投影仪、灯等的其他设备。在输出设备是显示设备的情况下，该显示设备可视地显示通过微计算机7610执行的各种处理获得的结果或从另一控制单元接收到的文本、图像、表格、图形等各种形式的信息。另外，在输出设备是音频输出设备的情况下，音频输出设备将由再现的音频数据或声音数据等构成的音频信号转换为模拟信号，并在听觉上输出该模拟信号。

顺便提及，在图35所示的示例中，经由通信网络7010彼此连接的至少两个控制单元可以被集成到一个控制单元中。可替代地，每个单独的控制单元可以包括多个控制单元。此外，车辆控制系统7000可以包括图中未示出的另一控制单元。另外，可以将以上描述中由一个控制单元执行的部分或全部功能分配给另一控制单元。即，只要经由通信网络7010发送和接收信息，就可以由任一控制单元执行预定的算术处理。类似地，连接到其中一个控制单元的传感器或设备可以连接到另一控制单元，并且，多个控制单元可以经由通信网络7010相互发送和接收检测信息。

<3、实施例概要>

如上所述，本实施例的图像处理装置(1或1'或显示装置7A)包括虚拟视点图像生成部分(13或13')，该虚拟视点图像生成部分基于表示三维空间中成像的成像图像的三维信息来生成来自三维空间中的视点的观察图像作为虚拟视点图像，并且虚拟视点图像生成部分将跟随成像对象的运动设置视点。

通过如上所述跟随成像对象的运动设置视点，可以减轻与视点的设置有关的操作负担。例如，尽管常规上通常由工作人员对每个帧手动进行视点的设置操作，但是与此相比，可以显著减轻视点的设置操作负担。

因此，可以实现与虚拟视点图像的生成有关的工作负担的减轻。

此外，作为本实施例的图像处理装置(1或1')包括成像对象分析部分(12)，其基于三维信息获取成像对象的分析信息，并且虚拟视点图像生成部分基于分析信息设置用于虚拟视点图像的视点设置的参考位置。

因此，可以实现基于参考位置的各种视点设置，并且有助于将成像对象跟随到视点。

因此，可以实现成像对象跟随视点的精度的提高，同时实现视点设置中的自由度的提高。

此外，作为实施例的图像处理装置(1或1')包括三维信息生成部分(3D模型生成部分11)，该三维信息生成部分基于包括多个成像装置(2)捕获的图像的成像信息和与所捕获图像相对应的成像条件来生成三维信息。

通过以这种方式使用包括多个成像装置的捕获的图像和成像条件的成像信息，可以获得适当的三维信息。

由于获得了适当的三维信息，因此可以实现虚拟视点图像的图片质量的改善。

此外，作为实施例的图像处理装置将人物设置为成像对象，并且虚拟视点图像生成部分将参考位置设置为人的身体的中心。

身体的中心表示人的身体的中心，例如，人的两个肩膀之间的中心，身体的上，下，左，右方向上的中心，面部的中心或脚的中心。

例如，如果将参考位置设置在人的两个肩膀之间的中心，则可以设置视点，从该视点尤其可以在使用手的比赛(例如，例如篮球比赛)中捕捉运动员的技能。此外，如果将参考位置设置为例如人的面部的中心，则可以获得代表运动员的面部表情的图像或代表从运动员的眼睛每秒观察到的情况的高真实感图像作为虚拟视点图像。

因此，适合于分析或研究诸如比赛的运动员的人的虚拟视点图像。

此外，在作为实施例的图像处理装置中，虚拟视点图像生成部分基于成像对象的位置信息来设置视点。

这使得可以设置可以容易地捕获成像对象的视点。

因此，可以提供适合于分析或研究运动员的运动的虚拟视点图像。

此外，在作为实施例的图像处理装置中，以人作为成像对象，并且虚拟视点图像生成部分基于成像对象的属性信息来设置视点。

这使得可以基于从成像对象的属性信息中指定的成像对象的位置来自动设置视点。

因此，可以实现与虚拟视点图像的生成有关的工作负担的减轻。

要注意的是，成像对象的属性信息表示与成像对象的属性有关的信息，例如ID或名称。

此外，在作为实施例的图像处理装置中，虚拟视点图像生成部分基于在三维空间中指定的区域信息来设置视点。

这使得可以基于三维空间中特定区域中存在的成像对象的位置来自动设置视点。

因此，可以实现与虚拟视点图像的生成有关的工作负担的减轻。

此外，在作为实施例的图像处理装置中，虚拟视点图像生成部分基于操作输入来设置视点。

这使得在实现视点设置中的操作负担减少的同时可以设置反映用户意图的视点。

因此，可以在实现视点设置的自由度提高的同时，实现与虚拟视点图像的生成有关的工作负担的减轻。

此外，作为本实施例的图像处理装置(显示装置7A)包括显示虚拟视点图像的显示部分(62)，并且显示部分顺序地显示在视点的设置方法上不同的多个虚拟视点图像作为候选视点图像，并且虚拟视点图像生成部分基于与候选视点图像有关的选择操作来设置视点。

这使得用户可以在实际确认图像内容的同时选择有利的视点。此外，由于应用了顺序显示，因此可以显示比较大的候选视点图像，并且用户可以在确认图像细节的同时进行视点选择。

因此，可以实现高级用户界面，通过该高级用户界面，用户可以执行视点选择，以减少与生成虚拟视点图像有关的工作负担。

另外，作为实施例的图像处理装置(显示装置7A)包括显示虚拟视点图像的显示部分(62)，该显示部分显示将在视点的设置方法上不同的多个虚拟视点图像并置显示为候选视点图像。然后，虚拟视点图像生成部分基于与候选视点图像有关的选择操作来设置视点。

这使得用户可以在实际确认图像内容的同时选择有利的视点。此外，由于候选视点图像并置显示，因此用户可以在同时比较多个候选视点图像的同时执行视点选择。

因此，可以实现高级用户界面，通过该高级用户界面，用户可以执行视点选择，以减少与生成虚拟视点图像有关的工作负担。

此外，在作为实施例的图像处理装置中，虚拟视点图像生成部分允许在用于观察成像对象的视点与用于从成像对象向外观察的另一视点之间进行切换。

这实现了可以设置的视点的多样化。

因此，可以生成捕获运动员等的成像对象的运动的虚拟视点图像，这适合于分析和研究成像对象的运动。

此外，在作为实施例的图像处理装置中，虚拟视点图像生成部分响应于操作而沿着覆盖成像对象的外围的球面设置视点。

这增加了可以通过用户的操作来设置的视点位置的自由度。

因此，可以实现视点设置位置的自由度的提高，并且可以减轻与虚拟视点图像的生成有关的工作量。

此外，在作为实施例的图像处理装置(1')中，以人作为成像对象，并且虚拟视点图像生成部分(13')设置第一人称视点作为视点，该第一人称视点是用于从成像对象向外观察的视点，并且基于与成像对象的朝向有关的分析信息的获取情况，选择从第一人称视点的视线方向的设置方法(参考第二和第三变型)。

这使得可以根据与成像对象的朝向有关的分析信息的获取情况来进行适当的视线方向的设置，所述成像对象的朝向例如是成像对象的面部的朝向或身体的朝向。

因此，可以提供根据适当的视线方向的图像作为第一人称视点的虚拟视点图像。

此外，在作为实施例的图像处理装置中，虚拟视点图像生成部分基于成像对象的朝向的获取情况和改变率来选择视线方向的设置方法。

这使得在即使获取与成像对象的朝向(例如成像对象的面部的朝向或身体的朝向)有关的分析信息，变化速度也很高的情况下，也可以在根据成像对象的朝向的变化速度来执行视线方向的设置，诸如在不使用分析信息的情况下对视线方向的设置。

因此，可以实现防止由于观察虚拟视点图像的视线方向频繁变化的图像而引起的用户的图像病的发生。

此外，在作为实施例的图像处理装置中，虚拟视点图像生成部分基于获取情况和成像对象的前进方向来设置视线方向。

这使得当不能获取根据成像对象的朝向的分析信息时，可以基于成像对象的前进方向(成像对象的位置的改变方向)来设置视线方向。

例如，在诸如比赛的参与者等人正在前进(移动)的情况下，该人可能朝向前进方向的可能性很高。因此，如果基于前进方向设置视线方向，则可以提供适当的虚拟视点图像，其中即使不能获得与成像对象的朝向有关的分析信息，也可以使高度可能的成像对象面部的方向成为视线方向。

此外，在作为实施例的图像处理装置(1)中，以人作为成像对象，并且虚拟视点图像生成部分(13')包括设置第一人称视点作为视点的通知处理部分(52)，第一人称视点是用于从成像对象向外观察的视点，根据与成像对象的朝向有关的分析信息设置从视点的视线方向，并执行用于向用户通知根据视线方向与成像对象的视线的朝向之间的偏差的信息的处理(参照第三变型)。

由于如上所述进行了根据视线方向和成像对象的视线的朝向之间的偏差的信息的通知，因此用户可以容易地将虚拟视点图像的视线方向与成像对象的视线的方向对准。

因此，可以增加当用户将虚拟视点图像的视线方向与成像对象的视线的朝向对准时的便利性。

此外，由于上述第三变型使用的方法不以与成像对象的视线的朝向的改变成联动关系地(自动)改变虚拟视点图像的视线方向，而是响应于用户的操作(在本示例中为头部的运动)改变视线方向，这样的情况，在成像对象的视线的朝向快速变化的情况下，避免了视线方向也联动地快速变化，并且可以防止图像病。

此外，在作为实施例的图像处理装置中，通知处理部分执行用于与虚拟视点图像一起显示视线对准指导信息的处理，该视线对准指导信息用于使虚拟视点图像的视线方向与成像对象的视线的朝向对准。

由于如上所述的这种视线对准指导信息与虚拟视点图像一起显示，因此用户可以容易地将虚拟视点图像的视线方向对准成像对象的视线的朝向。

因此，可以增加当用户将虚拟视点图像的视线方向与成像对象的视线的朝向对准时的便利性。

此外，在作为实施例的图像处理装置中，通知处理部分执行用于基于成像对象的视线的朝向来估计成像对象的视野并且使与虚拟视点图像中的成像对象的视野的重叠部分和非重叠部分两者以不同的显示形式显示的处理。

由于与虚拟视点图像中的成像对象的视野的重叠部分和非重叠部分的显示形式彼此不同，因此使得用户容易地理解视线方向应朝向哪个方向改变以与成像对象的视线的朝向对准。

因此，可以增加当用户将虚拟视点图像的视线方向与成像对象的视线的朝向对准时的便利性。

要注意的是，本说明书中描述的效果是示例，并且不是限制性的，并且可以应用其他效果。

<4、其他变型>

本技术不限于上文描述的特定示例，并且可以进行各种变型。

例如，尽管以上描述针对其中由图像处理器通过DSP执行与成像对象分析、视点的设置以及虚拟视点图像的生成有关的处理的示例，但是至少一部分处理可以由CPU或GPU实施为软件处理。基于程序执行软件处理，并且将程序存储到存储装置中，该程序可以由诸如上述的CPU或GPU的计算机从中读出。

此外，本技术也可以适当地应用在将比赛用球作为成像对象的比赛以外的比赛。此外，本技术也可以适当地应用于甚至使竞赛以外的其他目标成为成像目标的情况。

此外，在本技术中，捕获图像不仅可以包括R(红色)、G(绿色)和B(蓝色)的捕获图像，而且可以包括通过接收近红外光、红外光或偏振光而获得的捕获图像。

<5、本技术>

要注意的是，本技术可以采用如下所述的配置。

(1)图像处理装置，包括：

虚拟视点图像生成部分，其基于表示三维空间中成像的成像对象的三维信息，生成来自三维空间中的视点的观察图像作为虚拟视点图像，其中虚拟视点图像生成部分跟随成像对象的运动设置视点。

(2)根据上述(1)的图像处理装置，还包括：

成像对象分析部分，其基于三维信息获取成像对象的分析信息，其中虚拟视点图像生成部分基于分析信息来设置用于虚拟视点图像的视点设置的参考位置。

(3)根据上述(1)或(2)的图像处理装置，还包括：

三维信息生成部分，其基于包括多个成像装置的捕获图像和与该捕获图像相对应的成像条件的成像信息来生成三维信息。

(4)根据以上(2)或(3)的图像处理装置，其中

将人作为成像对象，并且

虚拟视点图像生成部分将参考位置设置为人的身体的中心。

(5)根据以上(1)至(4)中任一项的图像处理装置，其中

虚拟视点图像生成部分基于成像对象的位置信息来设置视点。

(6)根据以上(1)至(4)中任一项的图像处理装置，其中

将人作为成像对象，并且

虚拟视点图像生成部分基于成像对象的属性信息来设置视点。

(7)根据以上(1)至(4)中任一项的图像处理装置，其中

虚拟视点图像生成部分基于在三维空间中指定的区域信息来设置视点。

(8)根据以上(1)至(7)中任一项的图像处理装置，其中

虚拟视点图像生成部分基于操作输入来设置视点。

(9)根据上述(8)的图像处理装置，还包括：

显示虚拟视点图像的显示部分，其中

显示部分顺序地显示在视点的设置方法上不同的多个虚拟视点图像作为候选视点图像，并且

虚拟视点图像生成部分基于与候选视点图像有关的选择操作来设置视点。

(10)根据上述(8)的图像处理装置，还包括：

显示虚拟视点图像的显示部分，其中

显示部分将在视点的设置方法上不同的多个虚拟视点图像并置显示为候选视点图像，并且

虚拟视点图像生成部分基于与候选视点图像有关的选择操作来设置视点。

(11)根据以上(1)至(10)中任一项的图像处理装置，其中

作为视点，虚拟视点图像生成部分能够在用于观察成像对象的视点与用于从成像对象向外观察的视点之间切换。

(12)根据以上(1)至(11)中任一项的图像处理装置，其中

虚拟视点图像生成部分响应于操作沿着覆盖成像对象的外围的球面设置视点。

(13)根据以上(1)至(12)中任一项的图像处理装置，其中

将人作为成像对象；和

虚拟视点图像生成部分设置第一人称视点作为视点，该第一人称视点包括用于从成像对象向外观察的视点，并且基于与成像对象的朝向有关的分析信息的获取情况，选择从第一人称视点的视线方向的设置方法。

(14)根据以上(13)的图像处理装置，其中

虚拟视点图像生成部分根据获取情况和成像对象的朝向的变化速度，选择视线方向的设置方法。

(15)根据以上(13)或(14)的图像处理装置，其中

虚拟视点图像生成部分根据获取情况和成像对象的前进方向设置视线方向。

(16)根据以上(1)至(15)中任一项的图像处理装置，其中

将人作为成像对象；和

虚拟视点图像生成部分包括通知处理部分，该通知处理部分

设置包括用于从成像对象向外观察的视点的第一人称视点作为视点，基于与成像对象的方向有关的分析信息，设置从视点的视线方向，以及

执行用于向用户通知根据视线方向和成像对象的视线的朝向之间的偏差的信息的处理。

(17)根据以上(16)的图像处理装置，其中

通知处理部分执行使视线对准指导信息与虚拟视点图像一起显示的处理，该视线对准指导信息用于使虚拟视点图像的视线方向与成像对象的视线的朝向对准。

(18)根据以上(16)或(17)的图像处理装置，其中

通知处理部分执行用于基于成像对象的视线的朝向来估计成像对象的视野并且使与虚拟视点图像中的成像对象的视野的重叠部分和非重叠部分两者以不同的显示形式显示的处理。

[参考符号列表]

100、100A、100B图像处理系统，1、1'图像处理装置，11 3D模型生成部分，11'3D模型生成装置，12成像对象分析部分，12'成像对象分析装置，13、13'虚拟视点图像生成部分，13a视点设置处理部分，13b渲染处理部分，2成像装置，6输入装置，61操作部分，61a触摸板，62显示部分，7、7A显示装置，50网络，51HMD(头戴式显示器)，52通知处理部分，Pv视点，Dv视线方向，Pr参考位置，Drv视线的朝向，H1方向指示信息，H2目标方向信息，Ai重叠部分，Ao非重叠部分

Claims (20)

1.图像处理装置，包括：

虚拟视点图像生成部分，其基于表示三维空间中成像的成像对象的三维信息，生成来自三维空间中的视点的观察图像作为虚拟视点图像，其中虚拟视点图像生成部分跟随成像对象的运动设置视点。

2.根据权利要求1所述的图像处理装置，还包括：

成像对象分析部分，其基于三维信息获取成像对象的分析信息，其中虚拟视点图像生成部分基于所述分析信息来设置用于虚拟视点图像的视点设置的参考位置。

3.根据权利要求1所述的图像处理装置，还包括：

三维信息生成部分，其基于包括多个成像装置的捕获图像和与该捕获图像相对应的成像条件的成像信息来生成三维信息。

4.根据权利要求2所述的图像处理装置，其中，

将人作为成像对象，并且

虚拟视点图像生成部分将参考位置设置为人的身体的中心。

5.根据权利要求1所述的图像处理装置，其中，

虚拟视点图像生成部分基于成像对象的位置信息来设置视点。

6.根据权利要求1所述的图像处理装置，其中，

将人作为成像对象，并且

虚拟视点图像生成部分基于成像对象的属性信息来设置视点。

7.根据权利要求1所述的图像处理装置，其中，

虚拟视点图像生成部分基于在三维空间中指定的区域信息来设置视点。

8.根据权利要求1所述的图像处理装置，其中，

虚拟视点图像生成部分基于操作输入来设置视点。

9.根据权利要求8所述的图像处理装置，还包括：

显示部分，其显示虚拟视点图像，其中

显示部分顺序地显示在视点的设置方法上不同的多个虚拟视点图像作为候选视点图像，并且

虚拟视点图像生成部分基于与候选视点图像有关的选择操作来设置视点。

10.根据权利要求8所述的图像处理装置，还包括：

显示部分，其显示虚拟视点图像，其中

显示部分将在视点的设置方法上不同的多个虚拟视点图像并置显示为候选视点图像，并且

虚拟视点图像生成部分基于与候选视点图像有关的选择操作来设置视点。

11.根据权利要求1所述的图像处理装置，其中，

作为视点，虚拟视点图像生成部分能够在用于观察成像对象的视点与用于从成像对象向外观察的视点之间切换。

12.根据权利要求1所述的图像处理装置，其中，

虚拟视点图像生成部分响应于操作沿着覆盖成像对象的外围的球面设置视点。

13.根据权利要求1所述的图像处理装置，其中，

将人作为成像对象；和

虚拟视点图像生成部分，其设置第一人称视点作为视点，该第一人称视点包括用于从成像对象向外观察的视点，并且基于与成像对象的朝向有关的分析信息的获取情况，选择从第一人称视点的视线方向的设置方法。

14.根据权利要求13所述的图像处理装置，其中，

虚拟视点图像生成部分根据所述获取情况和成像对象的朝向的变化速度，选择视线方向的设置方法。

15.根据权利要求13所述的图像处理装置，其中，

虚拟视点图像生成部分根据所述获取情况和成像对象的前进方向设置视线方向。

16.根据权利要求1所述的图像处理装置，其中，

将人作为成像对象；和

虚拟视点图像生成部分包括通知处理部分，该通知处理部分

设置包括用于从成像对象向外观察的视点的第一人称视点作为视点，基于与成像对象的朝向有关的分析信息，设置从视点的视线方向，以及

执行用于向用户通知根据视线方向和成像对象的视线的朝向之间的偏差的信息的处理。

17.根据权利要求16所述的图像处理装置，其中，

通知处理部分执行使视线对准指导信息与虚拟视点图像一起显示的处理，该视线对准指导信息用于使虚拟视点图像的视线方向与成像对象的视线的朝向对准。

18.根据权利要求16所述的图像处理装置，其中，

通知处理部分执行用于基于成像对象的视线的朝向来估计成像对象的视野并且使与虚拟视点图像中的成像对象的视野的重叠部分和非重叠部分两者以不同的显示形式显示的处理。

19.一种用于图像处理装置的图像处理方法，该方法包括：

获取表示三维空间中成像的成像对象的三维信息；

基于三维信息，生成来自三维空间中的视点的观察图像作为虚拟视点图像；和

当生成虚拟视点图像时，跟随成像对象的运动设置视点。

20.一种用于使计算机装置执行以下操作的程序：

获取表示三维空间中成像的成像对象的三维信息；

基于三维信息，生成来自三维空间中的视点的观察图像作为虚拟视点图像；和

当生成虚拟视点图像时，跟随成像对象的运动设置视点。

Images