CN114930404A

CN114930404A - 图像合成系统及其方法

Info

Publication number: CN114930404A
Application number: CN202080091905.8A
Authority: CN
Inventors: C·韦雷坎普; B·W·D·范格斯特
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2019-11-05
Filing date: 2020-10-23
Publication date: 2022-08-19
Also published as: TW202126035A; EP4055568A1; EP3819873A1; BR112022008494A2; US20220383596A1; KR20220090574A; US11823340B2; CA3159790A1; JP2023500513A; WO2021089340A1

Abstract

一种图像合成系统，包括：接收器(201、203、205)，其接收描述场景的至少部分的场景数据；描述来自观看区的3D对象的对象数据，所述3D对象具有关于所述对象的相对姿态，以及所述场景中的观看姿态。姿态确定器电路(207)响应于所述场景数据和所述观看姿态来确定针对所述场景中的所述对象的对象姿态；并且视图合成电路(209)根据所述对象数据、所述对象姿态和所述观看姿态来生成所述对象的视图图像。电路(211)确定所述场景中的观看区域，所述观看区域对应于处于所述对象姿态的所述对象的所述观看区。所述姿态确定器电路(207)确定所述观看姿态相对所述于观看区域的距离量度，并且如果所述距离量度满足包括观看姿态与观看区域的姿态之间的距离超过阈值的要求的准则，则改变所述对象姿态。

Description

图像合成系统及其方法

技术领域

本发明涉及图像合成系统，具体但不排他地，涉及支持用于混合、增强或虚拟现实应用的视图合成的图像合成装置。

背景技术

近年来，随着不断开发和引入新的服务以及利用和使用视频的方式，图像和视频应用的种类和范围已大大增加。

例如，一种越来越流行的服务是以如下的方式提供图像序列：使得观看者能够主动和动态地与系统交互以改变渲染的参数。在许多应用中，一个非常吸引人的功能是能够更改观看者的有效观看位置和观看方向的能力，例如允许观看者在呈现的场景中移动并“环顾四周”。

这样的特征可以具体地允许将虚拟现实体验提供给用户。这可以允许用户在虚拟环境中例如(相对)自由地移动，并动态地改变其位置和他所看的位置。通常，这样的虚拟现实(VR)应用基于场景的三维模型，其中该模型被动态评估以提供特定的请求视图。针对计算机和控制台，根据例如第一人称射击游戏类别的游戏应用中，这种方法是众所周知的。

另一个示例是增强现实(AR)或混合现实(MR)应用，其中虚拟生成的内容与本地环境的感知相混合。例如，用户可以佩戴允许他直接看到他的周围环境的眼镜或头戴设备，同时还包括允许显示虚拟内容以使其可以被用户感知的显示器。虚拟内容可以适应现实世界的视图。例如，MR系统可以允许用户看到本地环境，其中出现了额外的例如在场景中存在的虚拟对象。

类似地，在VR体验中，可以与描述虚拟场景的模型分开提供诸如虚拟对象的额外内容，并且VR系统可以将这些对象与场景的渲染一起提供给用户，以便提供给用户的视图包括该对象在场景中。

在AR和MR应用中，真实的背景可能会被计算机图形(例如3D计算机生成的对象)叠加。在VR应用中，虚拟背景可以例如叠加有计算机图形，例如3D计算机生成的对象，其不是场景模型的一部分。

对象可以具体地是与观看者的视角对齐的3D对象，并且提供给用户的视图图像中的3D对象的表示可以适应观看者的运动，使得对像在观看者看来在场景出现。例如，随着观看者的移动，对象的外观会发生变化，使得其被从不同的观看方向看到。

然而，为了能够从不同的观看方向生成对象的这种视图，需要用足够完整的数据来表示对象，以优选地允许从相对于对象的任何视图位置和取向生成视图。这在某些应用中可能是可行的，但在许多应用中，例如当对象是从现实世界捕获中生成时，表示对象的数据可能是有限的。

例如，对象可以是已经被布置为具有给定相机间距离的线的多个相机捕获的真实对象。相机的数量通常相对有限，并且在实践中经常使用具有大约3-10个相机的相机装置。然而，针对这样的对象的问题是对象的捕获通常是非常有限的，并且虽然对于例如对象前面的观察位置可能有准确的数据可用，但是对于其他观察位置常常采集不充足的数据。例如，可能没有捕获任何用于查看对象后面或侧面位置的数据。这可能导致无法合成某些位置/取向的视图，或者至少可能导致图像质量显著下降。

具体来说，视图合成对象被导出为源自具有深度的多视图(MVD)捕获的投影。这样的对象可以例如使用色度键控来从原始MVD捕获中分割出来。然而，对于从MVD内容合成的图像对象，高质量成像通常仅限于对象前面的位置，并且因此可能难以或不可能针对所有位置生成叠加内容。因此，对于许多观看者位置/姿态，可能会实现质量下降，或者观看者可以采取的位置/姿态可能受到很大限制以确保足够的质量。

因此，改进的方法将是有利的。具体而言，一种允许改进操作、增加灵活性、改进虚拟/增强/混合现实体验、降低复杂性、促进实施、提高合成图像质量、改进渲染、增加用户(可能是虚拟的)移动自由度、改进用户体验和/或改进的性能和/或操作的方法将是有利的。

发明内容

因此，本发明寻求单独地或以任何组合来优选地减弱、减轻或消除上述缺点中的一个或多个。

根据本发明的一个方面，提供了一种图像合成系统，包括：第一接收器，其被布置为接收描述三维场景的至少部分的场景数据；第二接收器，其被布置为接收描述三维对象的对象数据，所述对象数据从具有相对于三维对象的相对姿态的观看区提供三维对象的视觉数据；第三接收器，其被布置为接收三维场景中的观看者的观看姿态；姿态确定器电路，其被布置为响应于所述场景数据和所述观看姿态来确定所述三维场景中的所述三维对象的对象姿态；视图合成电路，其被设置为根据所述视觉数据、所述对象姿态和所述观看姿态来生成视图图像，所述视图图像包括所述三维场景中的所述三维对象的视图，其中，所述三维对象处于所述对象姿态并且正从所述观看姿态被观看；电路，其被设置为确定针对所述三维对象的所述对象姿态三维场景中的观看区域以及所述观看区的相对姿态，所述观看区域与针对处于所述对象姿态的所述三维对象的在所述三维场景中的观看区域相对应；其中，所述姿态确定器电路被布置为：确定所述观看姿态相对于针对所述对象姿态的所述观看区域的距离量度，并且响应于所述距离量度满足第一准则而改变所述对象姿态，所述第一准则包括所述观看姿态与所述观看区域的姿态之间的距离超过第一阈值的要求，并且所述视图合成电路被布置为将所述三维对象的所述视图生成为来自针对所述观看姿态的至少一些变化的不同角度，针对所述至少一些变化，所述距离不超过所述第一阈值，并且所述姿态确定器电路被布置为在所述对象姿态改变之后确定新对象姿态，所述新对象姿态的确定经受针对所述新对象姿态所述距离量度不满足第一准则的约束。

本发明可以在许多实施例中提供改进的用户体验。对于AR、VR和/或MR应用，它可以改进图像质量与运动自由度之间的权衡。

该方法可以例如实现或促进如下的应用，在所述应用中，合成的虚拟对象可以与场景融合，使得该对象将在场景中关于小的运动显示为正常对象，但可以如果需要的话调整和改变位置和/或取向，以保持足够高的质量。

例如，所述方法可以允许改进的基于要被合成的对象(例如由多个视图和深度表示的对象)的有限捕获和表示的AR/VR/MR应用。

所述观看区可以是一组观看姿态，其对象数据被指定为对于图像合成是足够的。所述观看区的姿态是相对于所述3D对象确定的。观看区可以独立于场景并且可以与捕获坐标系或对象坐标系相关。

观看区域可以是一组观看姿态，其包括在将3D对象添加到场景时三维场景中的与观看区域符合的观看姿态。观看区域可以是当对象根据对象姿态进行定位和定向时场景中的与观看区域符合的区域。观看区域可以包括当对象根据对象姿态进行定位和定向时三维场景中的属于观看区域的姿态。

观看区可以是关于对象描述/定义的一组姿态。观看区域可以是关于三维场景描述/定义的一组姿态。观看区可以是相对于对象或捕获坐标系描述/定义的一组姿态。观看区域可以是相对于场景坐标系描述/定义的一组姿态。

场景数据可以是三维场景的全部或部分描述。场景数据可以包括描述场景中的一个或多个对象的位置和轮廓的数据。场景对象可以是虚拟对象，或者可以是MR/AR应用的真实世界对象。

姿态可以是位置和/或取向。新对象姿态可以是对象姿态被改变到的姿态。

对于真实世界的三维场景(特别是对于AR/MR应用)，场景数据可以例如使用计算机视觉算法自动生成。

根据本发明的任选的特征，所述观看区域至少是二维区域。

根据本发明的任选的特征，对于与对象姿态处于不同方向的至少一些观看姿态，所述距离不超过阈值。

在一些实施例中，所述距离取决于观看姿态与观看区域的姿态之间的取向的差异。在一些实施例中，所述观看区域包括相对于对象姿态具有不同取向的姿态。在一些实施例中，所述观看区域包括在至少两个维度上变化的姿态。在一些实施例中，所述观看区域是至少一个三维区域。在一些实施例中，所述观看区域具有针对至少一个取向维度的延伸。在一些实施例中，所述观看区域具有针对至少一个取向维度和至少一个位置维度的延伸。在一些实施例中，所述距离包括取向距离贡献。在一些实施例中，所述距离包括位置距离贡献和取向距离贡献。

根据本发明的任选的特征，所述姿态确定器电路被布置为当距离量度满足包括观看姿态与观看区域姿态之间的距离不超过第二阈值的要求的准则时不针对变化的观看姿态改变对象姿态。

这可以在许多实施例中提供改进的用户体验，和/或可以提供改进的和/或便利的操作。它可以具体地允许使得3D对象的视图以与真实对象相同的方式相对于观看者的移动而改变的呈现。

根据本发明的任选的特征，对象姿态的变化包括对象姿态的位置的变化。

这可以在许多实施例中提供改进的用户体验，和/或可以提供改进的和/或便利的操作。对象姿态的变化可以包括平移变化。

根据本发明的任选的特征，对象姿态的变化包括对象姿态的取向的变化。

这可以在许多实施例中提供改进的用户体验，和/或可以提供改进的和/或便利的操作。对象姿态的变化可以包括旋转变化。

根据本发明的任选的特征，所述场景数据包括针对所述三维场景中的至少一个场景对象的数据，并且所述姿态确定器电路被布置为在变化之后确定新对象姿态，所述确定经受不存在从所述三维对象的观看姿态被至少一个场景遮的挡的约束。

这可以在许多实施例中提供改进的用户体验，和/或可以提供改进的和/或便利的操作。

根据本发明的任选的特征，所述场景数据包括所述三维场景中的至少一个对象的对象数据，并且所述姿态确定器电路被设置为在变化之后确定新对象姿态，所述确定经受针对新观看姿态在所述三维场景中的至少一个对象与所述三维对象之间没有交叠的约束。

根据本发明的任选的特征，所述观看区包括参考姿态，并且所述姿态确定器电路被布置为在变化之后将新对象姿态朝向所述参考姿态与观看姿态的对齐偏置。

这可以在许多实施例中提供改进的用户体验，和/或可以提供改进的和/或便利的操作。姿态确定器电路可以被布置为通过评估多个姿态的偏好量度来确定新对象姿态，并且偏置可以使得参考姿态越接近观看姿态，偏好量度就越高。可以选择具有最高偏好量度的姿态作为新对象姿态。

偏置可以为使得，针对给定候选姿态，参考姿态与观看姿态之间的距离越小，选择候选姿态作为新对象姿态的变化就越大。

偏置可以使得如下的姿态被选为新对象姿态，针对所述姿态，满足针对选择新对象姿态的选择的所有约束并且参考姿态与观看姿态之间的距离量度最低。

在一些实施例中，姿态确定器电路可以被布置为改变对象姿态以将参考姿态与观看姿态对齐。在一些实施例中，姿态确定器电路被布置为在改变之后选择新对象姿态，使得参考姿态与观看姿态相同。

根据本发明的任选的特征，所述姿态确定器电路被布置为在变化后确定新对象姿态，所述确定经受距离量度不满足针对新观看姿态的第一准则的约束。

根据本发明的任选的特征，所述姿态确定器电路被布置为将变化之后的新对象姿态朝向相对于变化之前的对象姿态的最小姿态差异偏置。

姿态确定器电路可以被布置为通过评估多个姿态的偏好量度来确定新对象姿态，并且偏差可以使得姿态越接近改变之前的姿态，针对所述姿态的偏好量度就越高。可以选择具有最高偏好量度的姿态作为新对象姿态。

偏置可能是使得给定候选姿态与先前对象姿态之间的距离越小，选择候选姿态作为新对象姿态的变化就越大。

偏置可以使得如下的姿态被选为新对象姿态，针对所述姿态，针对选择新对象姿态的所有约束得以满足，并且与先前对象姿态之间的距离量度最小。

根据本发明的任选的特征，所述场景数据包括针对所述三维场景中的至少一个场景对象的数据，并且所述姿态确定器电路被布置为在变化之后确定新对象姿态，所述确定经受从所述至少一个场景对象的视角姿态没有来自三维对象的遮挡的约束。

根据本发明的任选的特征，所述姿态确定器电路被布置为对场景的区域执行姿态搜索，以在满足多个约束的变化之后找到新对象姿态。

根据本发明的任选的特征，所述三维对象的表示包括三维对象的多视图图像和深度表示。

根据本发明的任选的特征，所述场景数据提供三维场景的至少部分的视觉模型，并且所述视图合成电路被布置为响应于视觉模型而将视图图像生成为来自观看姿态的场景的视图与三维对象的视图的混合。

根据本发明的一个方面，提供了一种图像合成方法，包括：接收描述三维场景的至少部分的场景数据；接收描述三维对象的对象数据，所述对象数据从具有关于三维对象的相对姿态的观看区提供针对所述三维对象的视觉数据；接收观看者在所述三维场景中的观看姿态；响应于所述场景数据和所述观看姿态来确定针对所述三维场景中的所述三维对象的对象姿态；根据所述视觉数据、所述对象姿态和所述观看姿态生成视图图像，所述视图图像包括所述三维场景中的所述三维对象的视图，其中，所述三维对象处于所述对象姿态并且正从所述观看姿态被观看；确定针对所述三维对象的所述对象姿态的观看区域的所述三维场景中的观看区域以及所述观看区的相对姿态，所述观看区域对应于针对处于所述对象姿态的所述三维对象的在所述三维场景中的观看区；并且还包括：确定所述观看姿态相对于针对所述对象姿态的所述观看区域的距离量度，并且响应于所述距离量度满足第一准则而改变所述对象姿态，所述第一准则包括所述观看姿态与所述观看区域的姿态之间的距离超过第一阈值的要求，其中，生成所述视图图像包括将所述三维对象的所述视图生成为来自针对所述观看姿态的至少一些变化的不同角度，针对至少一些变化，所述距离不超过所述第一阈值，并且改变所述对象姿态包括在所述对象姿态改变之后确定新对象姿态，所述新对象姿态的确定经受针对所述新对象姿态所述距离量度不满足第一准则的约束。

可以提供一种图像合成系统，包括：第一接收器，其用于接收描述在第一坐标系(场景坐标系)中表示的三维场景的至少部分的场景数据；第二接收器，其用于接收描述三维对象的对象数据，所述对象数据从具有关于所述三维对象的相对姿态的观看区提供针对所述三维对象的视觉数据；第三接收器，用于接收所述三维场景中观看者的观看姿态，所述观看姿态是相对于所述第一坐标系的；姿态确定器电路，其用于响应于所述场景数据和所述观看姿态来确定所述第一坐标系中的所述三维对象的对象姿态；视图合成电路，其用于根据所述视觉数据、所述对象姿态和所述观看姿态来生成视图图像，所述视图图像包括根据所述观看姿态的处于所述对象姿态的所述三维对象的视图；电路，其用于确定针对所述三维对象的所述对象姿态的所述第一坐标系中中的观看区域以及所述观看区的相对姿态，所述观看区域对应于针对处于所述对象姿态的所述三维对象的在所述第一坐标系中的观看区；其中，所述姿态确定器电路被布置为确定所述观看姿态相对于针对所述对象姿态的所述观看区域的距离量度，并且被布置为响应于所述距离量度满足第一准则而改变所述对象姿态，所述第一准则包括所述观看姿态与所述观看区域的姿态之间的距离超过第一阈值的要求。

可以提供一种图像合成系统，包括：第一接收器(201)，其用于接收描述三维场景的至少部分的场景数据；第二接收器(203)，其用于接收描述三维对象的对象数据，所述对象数据从具有关于所述三维对象的相对姿态的观看区提供针对所述三维对象的视觉数据；第三接收器(205)，其用于接收针对所述三维场景中的观看者的观看姿态；姿态确定器电路(207)，其用于响应于所述场景数据和所述观看姿态来确定所述三维场景中的所述三维对象的对象姿态；视图合成电路(209)，其用于根据所述视觉数据、所述对象姿态和所述观看姿态生成视图图像，所述视图图像包括所述三维场景中的所述三维对象的视图，其中，所述三维对象处于所述对象姿态并且正从所述观看姿态被观看；电路(211)，其用于确定针对所述三维对象的所述对象姿态的所述三维场景中的观看区域以及所述观看区的相对姿态，所述观看区域对应于针对处于所述对象姿态的所述三维对象的在所述三维场景中的观看区；其中，所述姿态确定器电路(207)被布置为确定所述观看姿态相对于针对所述对象姿态的所述观看区域的距离量度，并且被布置为响应于所述距离量度满足第一准则而改变所述对象姿态，所述第一准则包括所述观看姿态与所述观看区域的姿态之间的距离超过第一阈值的要求。

可以提供一种图像合成方法，包括：接收描述三维场景的至少部分的场景数据；接收描述三维对象的对象数据，所述对象数据从具有关于三维对象的相对姿态的观看区提供针对所述三维对象的视觉数据；接收观看者在所述三维场景中的观看姿态；响应于所述场景数据和所述观看姿态来确定针对所述三维场景中的所述三维对象的对象姿态；根据所述视觉数据、所述对象姿态和所述观看姿态生成视图图像，所述视图图像包括所述三维场景中的所述三维对象的视图，其中，所述三维对象处于所述对象姿态并且正从所述观看姿态被观看；确定针对所述三维对象的所述对象姿态的观看区域的所述三维场景中的观看区域以及所述观看区的相对姿态，所述观看区域对应于针对处于所述对象姿态的所述三维对象的在所述三维场景中的观看区；并且还包括：确定所述观看姿态相对于针对所述对象姿态的所述观看区域的距离量度，并且响应于所述距离量度满足第一准则而改变所述对象姿态，所述第一准则包括所述观看姿态与所述观看区域的姿态之间的距离超过第一阈值的要求。

参考下文描述的(一个或多个)实施例，本发明的这些和其他方面、特征和优势将变得显而易见并将得以阐述。

附图说明

仅以范例的方式参考附图描述本发明的实施例，其中，

图1图示了3D对象的图像和深度捕获的示例；

图2图示了根据本发明一些实施例的图像合成装置的元件的示例；

图3图示了根据本发明的一些实施例的其中呈现虚拟3D对象元素的场景的示例；

图4图示了根据本发明的一些实施例的其中呈现虚拟3D对象元素的场景的示例；并且

图5图示了可以由根据本发明的一些实施例的图像合成装置执行的处理的示例。

具体实施方式

在许多增强现实(AR)、混合现实(MR)甚至虚拟现实(VR)应用中，可能需要将单独或额外的3D对象添加到感知的环境中。例如，对于AR和MR，合成对象可以集成/融合/叠加了真实背景。作为示例，用户可以佩戴允许用户看到真实世界环境(例如用户所在的房间)的眼镜或头戴设备，同时还包括可以呈现合成虚拟计算机图形的显示器。显示器可以被用于显示合成对象的视图，使得该对象可被感知为存在于房间中的(虚拟)对象。对于VR体验，真实世界的视图可能会被根据表示虚拟场景的场景数据生成的背景替换。在这种情况下，可以分别提供和生成针对虚拟场景和3D对象的数据。因此，在VR应用中，可以基于场景数据生成背景，并且该背景可以被根据描述3D对象的单独3D数据生成的计算机图形叠加。

呈现3D对象，使其与观看者的视角对齐，并且可以生成视图以反映用户的移动和姿态的变化。因此，当用户移动时，3D对象的视图会发生变化，以反映如果3D对象是位于场景中的真实对象，它将如何被看到。此外，为了使3D对象看起来是场景中的正常对象，3D对象的视图必须与场景对齐。例如，可能希望将对象呈现为定位于/站立在房间的地板上，这需要3D对象视图的定位动态地变化以匹配地板上同一点在眼镜/显示器中的移动。例如，在混合现实中，计算机图形对象必须适合它所位于的环境。为了被认为是真实的，对象不得从桌子上掉下来或粘在天花板上等。

在本领域中，术语放置和姿态用作针对位置和/或方向/取向的通用术语。例如对象、相机、头部或视图的位置和方向/取向的组合可以被称为姿态或放置。因此，放置或姿态指示可包括六个值/分量/自由度，其中每个值/分量通常描述相应对象的位置/定位或取向/方向的单独属性。当然，在许多情况下，放置或姿态可利用较少的分量表示，例如，如果一个或多个分量被认为是固定的或不相关的(例如，如果所有对象都被认为处于相同的高度并具有水平取向，则四个分量可以提供对象姿态的完整表示)。在下文中，术语“姿态”用于表示可以由一到六个值(对应于最大可能的自由度)表示的位置和/或取向。术语姿态可以由术语放置代替。术语姿态可以由术语位置和/或取向代替。术语姿态可以被以下项代替：术语位置和取向(如果姿态提供位置和取向两者的信息)，术语位置(如果姿态提供(可能仅)位置的信息)，或取向(如果姿态提供(可能仅)取向的信息)。

作为MR应用的示例的是教学应用，其中，可以生成并呈现教师形式的3D对象，使得教师与应用的学生/用户出现在同一房间中。3D对象因此在许多场景中可以是时间变化的3D对象，例如3D视频对象。

在要叠加在场景上的3D对象是由完整3D数据完全描述的虚拟对象的情况下，针对所有观看姿态生成合适的视图可能是可行的，并且对于场景被观看的特定位置或取向不会出现劣化或复杂化。然而，在许多情况下，3D对象可能无法从所有可能的视点/姿态中完全表征。例如，3D对象可以是由合适的捕获操作捕获的真实世界对象，然而所述捕获操作仅提供针对有限范围的姿态的完整数据。

作为具体示例，3D对象可以由通过从有限捕获区域的多个捕获姿态捕获的多幅图像(可能包括深度数据)生成的捕获数据表示。为了提供足够的数据以允许捕获的视图图像之间的高质量视图合成/插值，它们必须彼此接近。然而，为了减少所需的捕获相机/姿态的数量，通常只在实际可行的情况下叠加相对较小的捕获区域。

一种常用的方法是使用所谓的具有深度的多视图(MVD)捕获。在这样的捕获方法中，捕获对象的多个视图，导致对象由多个捕获图像表示，这些捕获图像具有针对在有限捕获区域中的捕获姿态的相关联的深度数据。实际上可以通过使用包括多个相机和深度传感器的相机装备来捕获图像。

这种捕获系统的示例在图1中示出，其示出了在背景103前面的要被捕获的对象101，背景103具体可以是绿幕背景。多个捕获相机105被定位于捕获区域105中。在这样的示例中，对象可以例如使用技术人员已知的例如色度键控技术而被从MVD捕获图像中分割出来。

因此，捕获的结果可以是通过多视图图像和深度表示的3D对象的表示，即通过针对多个捕获姿态提供的图像和深度。多视图图像和深度表示因此可以提供对来自捕获/观看区的3D对象的描述。因此，表示3D对象的数据可以提供来自观看区的3D对象的表示，从该观看区域，视觉数据提供对3D对象的描述。观看区包括相对于对象的姿态，所包含的姿态是如下的姿态，针对所述姿态，所述表示提供允许生成视图图像的数据。因此，对于相对于对象落在观看区内的观看姿态，可以生成足够质量的视图图像，而对于相对于对象在观看区之外的观看姿态，认为不能保证可以生成足够质量的视图图像。

对观看区的准确选择/确定/表征(通常由其边界、轮廓或边缘表示)当然将取决于各个实施例的特定偏好和要求。例如，在一些实施例中，所述观看区可以被确定为直接对应于捕获区，即它可以是由捕获姿态跨越的区。在许多实施例中，所述观看区域可被确定为包括如下的姿态，对于所述姿态，所述姿态与最近邻捕获姿态之间的距离量度满足准则。

因此，可以生成被表示/被指定/被认为表示针对查看区域内的姿态而不是针对查看区外的姿态的3D对象的数据。观看区是相对于3D对象确定的，并且可以反映所使用的特定捕获过程(例如相机装备)。可以参考捕获或对象坐标系来描述/定义观看区，并且可以独立于场景和场景坐标系来定义观看区。

在许多实施例中，所述观看区可以被定义为R^N空间的姿态的子集，其中，N可以是所考虑的维度的数量。在许多实施例中，例如特别是许多6DoF应用中，N等于6并且通常将对应于指示位置的三个坐标/维度和指示取向(/方向/旋转)的三个坐标。在一些实施例中，N可以小于6，对应于一些维度没有被考虑(并且具体地或者被忽略或者被认为是固定的)。

在一些实施例中，仅考虑位置维度或坐标，并且在一些实施例中仅考虑取向维度。然而，在许多实施例中，考虑了至少一个位置维度和一个取向维度。

观看区至少是二维的并且包括如下的姿态，对于所述姿态，至少两个坐标/维度具有不同值。在许多实施例中，所述观看区至少是三维的并且包括如下的姿态，对于所述姿态，至少三个坐标/维度具有不同值。所述观看区通常至少是二维或三维区域。所述观看区包括在至少两个维度上变化的姿态。

在许多实施例中，所述观看区包括相对于对象姿态具有不同取向的姿态。因此，观看区通常对于至少一个取向坐标/维度具有非零延伸。

在大多数实施例中，所述观看区具有针对至少一个取向维度和至少一个位置维度的延伸。因此，在大多数实施例中，系统会考虑位置和取向两者。

图2示出了可用于提供AR/MR/VR体验的图像合成装置的示例，其中，如上所述的3D对象可以被包括在场景中。该描述将集中在MR应用上，例如，其中，教师形式的动态3D对象可以被叠加于用户对周围真实世界环境的感知。然而，应当理解，在其他实施例中，所描述的原理可以用于提供例如VR体验。

图像合成装置包括第一接收器201，第一接收器201被布置为接收描述三维场景的至少部分的场景数据。对于AR/MR应用，场景特别是用户所在的真实世界场景。因此，场景数据可以描述用户所在的房间/环境的属性。对于VR体验，场景数据可以描述虚拟场景的属性。场景数据可以具体包括描述场景中一个或多个对象的位置和/或轮廓的数据。

场景数据可以描述要插入3D对象的场景的元素或属性。对于AR/MR应用，场景数据可以描述真实世界环境的属性，具体可以描述真实世界中一个或多个对象的属性。场景数据可以具体描述一个或多个对象在本地环境中的位置和轮廓。对象可以包括墙壁、家具或环境中存在的任何其他对象。

对于这种情况，场景可以例如通过手动输入或通过对真实世界环境的扫描来确定。在许多情况下，这可以在应用的初始化时完成，或者可以例如在针对静态环境的更持久的基础上完成。

对于VR应用，场景数据可以包括描述对象位置等的数据，并且还可以包括针对对象的视觉数据。具体地，场景数据可以是3D场景的完整模型。因此，在VR应用中，场景数据可以包括足够的数据以允许生成虚拟场景的视图。

参考场景坐标系来提供场景数据，即可以相对于场景坐标系评估场景中对象的位置。应当理解，在一些场景中，场景数据可以根据一个场景坐标系来存储或接收，并且作为处理的一部分，例如，作为应用的渲染的一部分，这可以被转换为不同的场景坐标系。

所述图像合成装置还包括第二接收器203，第二接收器203被布置为接收描述3D对象的对象数据，所述对象数据将被叠加/融合到由场景数据表示的场景中(例如，取决于应用的真实或虚拟场景)。

对象数据可以从相对于3D对象的观看区提供3D对象的视觉数据。因此，观看区可以相对于3D对象来定义并且包括/描述相对于3D对象的姿态，对象数据从该姿态包括足够的数据以允许生成图像(具有可接受的质量)。如前所述，用于确定观看区的确切准则可能取决于个体实施例的偏好和要求。

在许多实施例中，接收到的对象数据可以包括对观看区的指示。例如，对象数据可以由如前所述的MVD捕获生成，并且与图像和深度图一起，可以在对象数据中包括对观看区的指示。在其他实施例中，所述观看区可以由第二接收器203本身来确定。例如，对象数据可以包括针对所提供的图像中的每幅图像(相对于3D对象)的捕获姿态的指示，并且第二接收器203可以继续确定观看区以包括如下的姿态，对于所述姿态，到捕获姿态中的一个的距离小于阈值。可以根据具体实施例的具体设计准则来选择所使用的具体距离量度和阈值。

观看区是相对于3D对象定义的，并且可以根据可以被称为对象或捕获坐标系的坐标系来提供。坐标系可以是对象数据相对于场景被引用的坐标系，并且可以独立于场景。观看区可以例如由距3D对象具有给定距离和方向的区域来描述。例如，可以通过针对例如由针对每个坐标分量的一组间隔定义的区域的中心点(例如，在对象坐标系中定义姿态的六个坐标中的每一个的间隔)的姿态偏移矢量来表示观看区。

所述图像合成装置包括第三接收器205，第三接收器205被布置为接收三维场景中的观看者的观看姿态。观看姿态表示观看者观看场景的位置和/或取向，并且对于VR应用，它提供应生成场景视图的姿态。

第一、第二和第三接收器可以以任何合适的方式实现并且可以从任何合适的源接收数据，包括本地存储器、网络连接、无线电连接、数据媒体等。

接收器可以被实现为一个或多个集成电路，例如专用集成电路(ASIC)。在一些实施例中，接收器可以被实现为一个或多个编程处理单元，例如作为在合适的处理器(例如中央处理单元、数字信号处理单元或微控制器等)上运行的固件或软件。应当理解，在这样的实施例中，处理单元可以包括板载或外部存储器、时钟驱动电路、接口电路、用户接口电路等。这种电路还可以作为处理单元的一部分、作为集成电路和/或作为分立的电子电路来实现。

图像合成装置还包括姿态确定器电路207，其被布置为确定场景中的3D对象的对象姿态，具体地，确定场景坐标系中的对象姿态。对象姿态具体指示场景/场景坐标系中3D对象的位置和/或取向。因此，姿态确定器电路207可以具体地确定3D对象应该在场景中的什么位置以及应该如何定向。

姿态确定器电路207可以以任何合适的方式实现，包括作为一个或多个集成电路，例如专用集成电路(ASIC)。在一些实施例中，接收器可以被实现为一个或多个编程处理单元，例如作为在合适的处理器(例如中央处理单元、数字信号处理单元或微控制器等)上运行的固件或软件。应当理解，在这样的实施例中，处理单元可以包括板载或外部存储器、时钟驱动电路、接口电路、用户接口电路等。这种电路还可以作为处理单元的一部分、作为集成电路和/或作为分立的电子电路来实现。

图像合成装置还包括视图合成电路209，用于生成3D对象的视图图像，并且具体地，其可以生成与从观看姿态看到的3D对象相对应的图像对象，其中，这被定位和定向为由对象姿态旨示。视图图像具体可以仅包括与3D对象的视图对应的图像对象。例如，在一些实施例中，可以生成与例如显示器(例如眼镜或头戴设备的)的整个区域相对应的全视图图像，其中仅包括与3D对象的视图相对应的像素并且所有其他像素是透明的。这样的图像可以直接由显示器显示。在其他实施例中，生成的视图图像可以是可以定位在显示器上的合适位置处的图像对象。在这样的场景中，视图图像/图像对象可以与指示视图图像/对象在显示器中的位置的位置信息相关联。

对于VR应用，图像合成装置还可被布置为从场景数据生成反映虚拟场景的图像部分。

视图合成电路209可以以任何合适的方式实现，包括作为一个或多个集成电路，例如专用集成电路(ASIC)。在一些实施例中，接收器可以被实现为一个或多个编程处理单元，例如作为在合适的处理器(例如中央处理单元、数字信号处理单元或微控制器等)上运行的固件或软件。应当理解，在这样的实施例中，处理单元可以包括板载或外部存储器、时钟驱动电路、接口电路、用户接口电路等。这种电路还可以作为处理单元的一部分、作为集成电路和/或作为分立的电子电路来实现。

图像合成装置因此可以被布置为根据描述3D对象的视觉属性、对象姿态和观看姿态的对象数据的视觉数据来生成3D对象的视图图像。视图图像因此包括在对象姿态和来自观看姿态的三维对象的视图。

应当理解，通常生成立体图像/图像对象，包括针对右眼的视图图像/对象和针对左眼的视图图像/对象。因此，如果将视图图像呈现给用户，例如通过AR/VR头戴设备，则看起来3D对象确实作为场景中的3D对象存在。

应当理解，用于合成图像的许多算法和方法是已知的，并且视图合成电路209可以使用任何合适的方法。

图像合成装置因此可以生成3D对象的视图图像并且可以将这些融合/叠加在场景上。生成3D对象的视图，使得它可以例如出现在用户当前所在的房间中的特定位置和特定取向。

此外，由于观看姿态可以动态变化，对应于用户在场景中四处移动，3D对象的视图可以不断更新以反映观看姿态的变化。3D对象的位置和包含在视图图像对象中的3D对象的部分因此可以动态改变，使得对象看起来保持在相同的位置并且具有相同的取向，即对于用户来说它可能看起来当用户移动时，所述对象在场景/环境中是静态的。

视图合成电路209因此被布置为针对观看姿态相对于对象姿态的侧向移动来将三维对象的视图生成为来自不同角度。如果观看者姿态改变为使得其处于与对象姿态不同的取向/方位，则视图合成电路209被布置为将三维对象的视图生成为来自不同角度。因此，随着观看者姿态的变化，对象可以被感知为静态的并且在场景中具有固定的取向。观看者可以有效地移动并从不同方向看到对象。可以具体地呈现对象，使得其被感知为场景中的真实对象。

图3可以图示虚拟3D对象101被定位于作为用户所在的真实世界房间的场景内的具体示例。房间可以包括墙壁301和一些房间对象303，例如家具。

场景数据可以描述墙壁301和房间对象303的位置以及它们相对于场景坐标系的轮廓。3D对象的对象姿态是相对于相同的场景坐标系确定的，观看姿态也是如此(通过参考该场景坐标系直接接收或通过转换到该场景坐标系)。

由于要包含3D对象，使得其被感知为场景中的对象，因此观看姿态也表示要查看3D对象的视点和取向，即，它表示如下的姿态，应该针对所述姿态来生成3D对象的视图。

可以根据任何合适的准则或算法来确定启动应用时的初始对象姿态。例如，在一些实施例中，用户可以手动提供设置3D对象的初始位置和取向的输入。在许多实施例中，通常可以基于对象数据和场景数据来自动设置初始对象姿态。可以设置初始对象姿态，使得所述对象与任何对象保持一定距离，并且使得其看起来像是站在地板上。例如，可以将初始对象姿态设置为尽可能远离场景墙壁和家具。当观看者在观看区域之外平移时，这可能具有优势，因为那时对象将不会直接与场景对象碰撞，因此不需要突然跳转到场景中非常不同的位置。作为另一个示例，在对象是人的情况下，可能是该人正在解释场景中存在的特定属性，例如机器、厨房、一件家具。在这种情况下，必须选择初始姿态，使其与所解释的对象最佳地相关。例如，人可能指向场景中的给定对象，在这种情况下，姿态对于正确感知至关重要。

确定初始对象姿态的特定要求可以是它应该使得接收到的对象数据允许生成3D对象101的图像。因此，可能需要初始对象姿态以使得相对于初始对象姿态的初始观看姿态匹配3D对象与观看区之间的关系。

图像合成装置包括视图区域电路211，其被布置为确定当前对象姿态的场景/场景坐标系中的视图区域。观看区域是场景/场景坐标系中针对当前对象姿态与观看区相对应的区域。如所描述的，对象数据与观看区相关联，所述观看区域是相对于对象姿态的一组姿态，对于所述一组姿态，对象数据被认为对于生成表示对象的视图的(具有足够质量的)图像内容是有效的。该相对观看区对应于场景/场景坐标系中的观看区域，即，在场景/场景坐标系中存在包括如下的姿态的观看区域，对于所述姿态，接收到的对象数据被认为是有效的。

在一些实施例中，所述观看区可以参考独立于场景坐标系的对象或捕获系统，而所述观看区域参考场景坐标系。观看区域电路211可以被布置为基于对象姿态而在这些之间变换。

观看区域电路211被布置为确定与针对当前对象姿态的观看区相对应的该观看区域。

例如，如果观看区域相对于3D对象的姿态的偏移向量给出，则可以通过将当前对象姿态偏移该向量来生成当前对象姿态在场景坐标系中的对应姿态。观看区可以例如作为由偏移向量指示的姿态周围的预定区域给出，并且观看区域可以被确定为由将当前对象姿态偏移了偏移向量而产生的姿态周围的对应的预定区域。

作为另一示例，可以指示相对于对象的捕获位置，并且可以确定当前对象姿态在场景坐标系中的对应捕获位置。然后可以将观看区域确定为例如如下的一组姿态，对于所述一组姿态，合适的距离量度低于阈值。

应当理解，许多算法和方法已知用于在不同坐标系之间进行平移，并且可以使用任何合适的方法而不偏离本发明。

与观看区类似，观看区域可以被定义为R^N空间的姿态的子集，其中，N可以是所考虑的维度的数量。在许多实施例中，例如特别是许多6DoF应用中，N等于6并且通常将对应于指示位置的三个坐标/维度和指示方向(/方向/旋转)的三个坐标。在一些实施例中，N可以小于6，对应于一些维度没有被考虑(并且具体地或者被忽略或者被认为是固定的)。

针对观看区域，在一些实施例中，仅考虑位置维度或坐标，并且在一些实施例中仅考虑取向维度。然而，在许多实施例中，考虑至少一个位置维度和一个取向维度。

观看区域至少是二维的并且包括如下的姿态，对于所述姿态，至少两个坐标/维度具有不同值。在许多实施例中，所述观看区域至少是三维的并且包括如下的姿态，对于所述姿态，至少三个坐标/维度具有不同值。观看区域通常至少是二维或三维区域。所述观看区包括在至少两个维度上变化的姿态。

在许多实施例中，所述观看区域包括相对于对象姿态具有不同取向的姿态。因此，观看区域通常对于至少一个取向坐标/维度具有非零延伸。

在大多数实施例中，所述观看区域具有针对至少一个取向维度和至少一个位置维度的延伸。因此，在大多数实施例中，位置和取向两者被考虑。

观看区域电路211可以被实现为集成电路，例如专用集成电路(ASIC)。在一些实施例中，视图区域电路211可以被实现为一个或多个编程处理单元，例如作为在合适的处理器(例如中央处理单元、数字信号处理单元或微控制器等)上运行的固件或软件。应当理解，在这样的实施例中，处理单元可以包括板载或外部存储器、时钟驱动电路、接口电路、用户接口电路等。这种电路还可以作为处理单元的一部分、作为集成电路和/或作为分立的电子电路来实现。

在该系统中，姿态确定器电路207被布置为确定观看姿态相对于针对对象姿态的观看区域的距离量度。在一些实施例中，所述距离量度可以是简单的二元距离量度，其指示观看姿态是在观看区域内还是在观看区域外。这样的距离量度可以简单地通过将姿态坐标与针对当前观看区域的姿态坐标的当前范围进行比较来生成。作为具体示例，可以确定观看姿态与偏移向量所指示的姿态之间的差异向量，并且如果该向量小于在对应取向上的观看区/区域的延伸(例如，从中心参考位置开始)，则距离量度指示观看姿态在观看区域内，并且否则其指示它在观看区域外。

作为另一示例，在一些实施例中，可以生成距离量度，其生成指示从当前观看姿态到观看区域的姿态的距离的值。观看区域的该姿态例如可以是固定的参考姿态(例如由偏移向量指示的姿态)或者可以取决于观看姿态，例如是观看区域内最近邻的姿态。距离量度可以例如确定姿态的每个坐标的差值，并且然后将它们组合成可以用作距离量度的组合值。例如，对于位置坐标，可以确定欧几里得距离量度，对于取向坐标，可以使用绝对坐标差异的总和(或者例如，可以使用指示姿态取向的向量之间的简单角度差异)。

姿态确定器电路207还被布置为评估距离量度是否满足第一准则，所述第一准则包括观看姿态与观看区域的姿态之间的距离超过第一阈值的要求。

姿态确定器电路207因此可以根据任何合适的距离确定和要求来确定当前观看姿态是否距观看区域远于给定量。应当理解，所述准则还可以包括其他考虑因素，例如检测频率、自上次检测以来的时间、用户偏好设置等。还应当理解，在一些实施例中，阈值可以是动态自适应的(例如，基于前面提到的参数)。实际上，在许多实施例中，所应用的阈值可以根据不同的参数来确定，并且因此可以例如依赖于方向(例如允许横向移动比直接朝向或远离当前对象姿态的移动更大的距离)。

在许多实施例中，姿态确定器电路207可以简单地检测当前观看姿态是否在观看区域内，例如简单地通过确定二元量度是否指示观看姿态在观看区域内。在其他实施例中，可以使用更复杂的方法，例如将非二元距离量度与动态阈值进行比较。在一些实施例中，第一准则可以包括观看姿态与观看区域的任何姿态之间的距离超过第一阈值的要求。在这种情况下，阈值可以被设置为零，即如果观看姿态与观看区域的任何姿态之间的距离超过零阈值，则满足要求。

在许多实施例中，第一准则可以包括观看姿态与观看区域的参考姿态之间的距离超过第一阈值的要求。对于未满足的要求，参考姿态可以独立于观看者姿态。只要不满足要求，参考姿态可以是固定的。在一些实施例中，可以在满足要求时改变参考姿态(具体而言，在改变对象姿态时)。

姿态确定器电路207还被布置为响应于检测到距离量度满足第一准则而改变对象姿态。因此，姿态确定器电路207可以检测到当前观看姿态移动到观看区域之外(例如一定距离)并且响应于此它可以改变对象姿态，即它可以改变3D对象位于场景中的何处和/或场景中的3D对象的取向。

观看区域可以被视为针对当前对象姿态在场景/场景坐标系中的观看区的表示，并且它相应地指示场景中的区域，对于所述区域，对象数据被认为可以为要生成的对象的视图提供足够的数据。姿态确定器电路207因此可以确定观看姿态已经改变到不能依赖对象数据来为要以足够高质量生成的3D对象的视图提供足够完整和准确的数据的程度。

该检测可以导致对象姿态的改变，使得新观看姿态落入针对新对象姿态的观看区域内。因此，具体地，姿态确定器电路207确定的新对象姿态可能经受针对新对象姿态不满足第一准则的要求，即新对象姿态必须被选择为使得与针对新对象姿态的新观看区域相对应的观看区域使得针对新观看姿态与新对象姿态的距离量度不满足第一准则。因此，选择新对象姿态使得观看姿态离针对新对象姿态的观看区域不太远。

作为具体示例，可以确定新对象姿态，使得新的/当前观看姿态落入针对新对象姿态的观看区域内。

应当理解，用于确定新对象姿态的准确算法或选择准则将取决于具体实施例并且可以使用许多不同的方法。稍后将更详细地描述一些特别有利的考虑和准则。

姿态确定器电路207可以被布置为在满足给定准则的场景中针对变化的观看姿态不改变对象姿态，例如距离量度满足如下的准则的准则或要求，所述准则包括距离不超过第二阈值的要求。

因此，在许多实施例中，对象姿态对于至少一些情况和场景可以是固定的或永久的。具体地，在许多实施例中，只要不满足第一准则，对象姿态就可以保持不变，并且仅当确定观看姿态已经远离观看区时才可以改变对象姿态。

例如，在一些实施例中，姿态确定器电路207可以继续保持对象姿态固定，只要观看姿态在观看区域内，并且(仅)在距离量度指示观看姿态移动到观看区域外时改变对象姿态。当观看姿态移动到查看区域之外时，对象姿态发生变化，使得新对象姿态的观看区域包括当前观看姿态。

该方法可以在许多实施例和场景中向用户提供改进的体验。例如，对于MR应用，可以呈现例如代表教师的3D对象，使得其被感知为在房间中的一个特定位置并且面向用户。如果用户移动了相对较小的量(使得他停留在观看区域中)，3D对象/教师将表现得像一个真实的对象，即用户可以移动到一边并从不同的角度看到教师等等。此外，呈现的图像质量很高。然而，如果用户从初始姿态移动得太远以至于他移动到观看区域之外，则系统不会继续仅从新姿态渲染3D对象/教师的视图，因为由于由对象数据提供的数据不完整，这将是低质量的。

而是，替代地，检测到用户已经从初始姿态移动得太远(例如在观看区域之外)，并且3D对象/教师被改变到新的位置和/或取向。例如，3D对象/教师可以“跳”到房间中的新位置，使得现在可以看到它，例如直接在当前视图位置的前面，和/或取向被改变为使得例如感知到教师已旋转/转身再次直接面对用户。

该方法尤其在许多实施例中可以确保3D对象的感知质量总是足够高，并且可以确保始终可以基于可用对象数据来渲染3D对象。可以为服务确保更高的最低保证质量。同时，对于大多数典型的运动，可以实现自然体验，其中，3D对象的视图跟随用户的运动(例如视差等)。

所描述的体验对于许多应用可能是非常有利的，例如教学应用，在这些应用中，除了不经常的时间，学生通常会相对较少地移动。例如，只要学生留在课桌旁，就可以向学生呈现对教师的自然感知。然而，如果他起身并移动到房间不同部分的椅子上，系统可以自动重新定位和/或重新定向教师，以便为这个新位置的学生提供相应的体验。

因此，视图合成电路209被布置为：对于距离不超过第一阈值的观看姿态的至少一些运动，将三维对象的视图生成为来自不同的角度。特别是对于不导致距离超过第一阈值但包含垂直于从对象姿态到观察者姿态的取向的运动分量的任何运动，生成的对象视图将对应于对象的不同视角。

应当理解，对于允许任何二维运动并且保持对象姿态恒定以改变观察者姿态的任何距离和阈值确定而言，固有地是这种情况。例如，二维(或更高)维观看区可能导致二维(或更高)维观看区域，这可能导致不满足阈值的运动以包括具有垂直分量的运动，并且因此当对象姿态不变时具有对象的不同的视角。

在许多实施例中，所述第一阈值为使得对于与所述对象姿态不同方向的至少一些观看姿态，所述距离不超过第一阈值。因此，这样的观看姿态之间的变化不会导致生成新对象姿态，而是会导致观看姿态与对象处于不同的取向，即从不同的角度观看或看到对象。因此，对于观看姿态的这样的变化保持对象姿态恒定将导致针对不同视角生成对象视图，即从对应于观看者的移动的不同角度看到对象。因此，在这样的实施例中，当不满足第一阈值时，对象的视图可能看起来是场景中的正常3D对象，并且因此实现了更自然的感知。

在许多实施例中，所述距离量度和/或第一阈值可以包括取向分量。因此，所述距离可能取决于观看姿态与观看区域的姿态之间的取向差异。阈值同样可以包括对对取向的考虑。

在许多实施例中，所述距离/第一阈值因此可以包括取向距离贡献。在大多数实施例中，所述距离/第一阈值可以包括位置距离贡献和取向距离贡献两者。在一些实施例中，所述距离和/或第一阈值可以是多分量值，例如它们可以被认为是向量。

作为示例，如果距离量度的一个分量超过阈值，例如如果观看姿态的分量之一相对于对象姿态的差异超过阈值，则可以超过第一阈值。具体地，如果观看姿态的取向改变为使得至少一个取向值与针对视图区域内的姿态的对应取向值相差超过包含在第一阈值中的阈值，那么姿态确定器电路207可以继续确定新对象姿态。

在一些实施例中，所述第一阈值可以是自适应阈值。具体地，在一些实施例中，姿态确定器电路207可以被布置为响应于对象数据的属性和/或观看区域的属性来调整阈值。

例如，姿态确定器电路207可以被布置为根据对象数据来调整阈值，例如基于为由多视图和深度表示表示的对象提供的视图的数量和/或角密度。例如，提供的视图越多和角密度越高，可以设置的阈值越大，从而导致对象姿态对于更大的区域保持恒定。作为另一示例，可以基于用于表示对象的纹理网格的缺失部分的大小来调整阈值。例如，未提供纹理图的对象的数量越小，阈值可能越大，导致对象姿态不变的区域增加。

作为另一示例，姿态确定器电路207可以被布置为基于观看区域的属性来调整阈值。例如，它可以根据观看区域的尺寸来调整阈值。在这样的示例中，可以针对较小的观看区域增加阈值并且针对较大的观看区域降低阈值。在许多实施例中，这可以在对象的自然3D效果的用户体验(例如，自然视差、对象是场景中的真实对象的感知)和所呈现的对象的图像质量(例如，合成伪影和错误的量)之间提供更有利的折衷。

如上所述，姿态确定器电路207可以被布置为在检测到满足第一准则的观看姿态改变时改变对象姿态。在一些实施例中，对象姿态的取向可以被改变为使得对象姿态在环境中被重新定向。例如，如果用户向3D对象的一侧移动太远，使得对象数据不能提供足够的数据来渲染3D对象的准确视图(例如，没有为3D对象的背面或后侧提供数据)，则姿态确定器电路207可以改变对象姿态，使得3D对象看起来被旋转以例如再次面向用户。

替代地或附加地，姿态确定器电路207可以改变对象姿态以改变3D对象在场景中的位置。例如，如果用户向3D对象的一侧移动太远，使得对象数据不能提供足够的数据来渲染3D对象的准确视图(例如，没有为3D对象的背面或后侧提供数据)，姿态确定器电路207可以改变对象姿态，使得场景中的3D对象的位置直接在观看者的前面，即使得3D对象将再次直接从前面被看到。

应当理解，当满足第一准则时改变对象姿态的所描述的方法不依赖于任何特定操作或被应用以确定对象姿态的其他准则，无论是最初还是在改变之前或之后(受制于在导致不满足第一准则的变化之后的新对象姿态)。相反，它实际上是该方法的一个优点，它适用于并且适用于几乎任何用于确定对象姿态的算法或准则。它不需要任何特定的初始化或约束，但例如可以在用于确定对象姿态的任何所需算法之上实现为“叠加”或“控制操作”。对于对象姿态，如果观看姿态改变使得满足第一准则，则可以执行改变使得不再满足第一准则。这不依赖于具有任何特定属性的对象姿态，或者实际上不依赖于如何选择对象姿态或用于该确定/选择的准则/算法。

特别是，它不依赖于用于基于观看姿态或场景数据确定对象姿态的任何特定算法。要求保护的概念的附加操作可以叠加多种算法，并且不依赖于如何选择对象姿态。

基于场景数据确定对象姿态提供了与场景相关的对象。然而，这样做的确切方式将完全取决于个体实施例的偏好和要求，并且基于距离量度改变对象姿态的操作不限于用于基于场景数据确定对象姿态的任何特定要求、偏好或方法。例如，在一些实施例中，可能希望将初始对象姿态确定为尽可能远离场景中的任何对象，在其他实施例中，可能希望将初始对象姿态确定为紧邻一个特定对象，在再其他实施例中，可能希望将对象定位在场景的与对象形成对比的部分的前面(例如，明亮的对象位于黑暗场景元素的前面)等。作为场景数据的函数的对象姿态的确定完全是设计决策，并且该方法不限于任何特定操作。

类似地，要求保护的概念的对象姿态对观看姿态的依赖性是，如果检测到观看姿态发生变化，则对象姿态被改变，使得满足第一准则，其中，变化使得新对象姿态将导致变化后满足第一准则。这个概念和操作定义了对象姿态对观看姿态的依赖性。对于可用于基于观看姿态选择对象姿态的任何其他方法或算法，或者实际上在确定对象姿态时是否进一步使用观看姿态，这不是条件或必需的。特别是，所述概念不依赖于用于确定初始对象姿态的任何特定方法。这完全是针对个体实施例的设计选择。

具体地，操作和优点不限于初始对象姿态的任何特定确定或初始对象姿态的任何特定选择。作为示例，系统可以从确定初始姿态开始，所述初始姿态被选择使得对象在场景的黑暗部分的前面(例如，对于夜间场景在天空中)，但否则对象姿态可以完全随机选择。系统然后可以评估针对初始对象姿态和针对当前观看姿态的距离量度和第一准则。如果该评估确定满足第一准则，则系统可以继续将对象姿态改变为不再满足第一准则的姿态。因此，即使例如现有算法或应用生成不合需要的初始对象姿态，所述方法也可以例如用作将该初始对象姿态校正为期望的对象姿态的附加控制。因此，所述方法实际上可以用于扩展用于确定对象姿态的算法的多样性，而不是依赖于任何特定的算法或方法来确定对象姿态，因为它可以用于纠正或补偿此类不希望的结果算法。

该方法完全不依赖于或相关于初始姿态，例如作者选择的姿态，或者甚至不依赖于它是期望的位置。该方法可能不用于维持对象的期望姿态，而是可以用于允许相反的效果，即对象姿态被自动改变以使其适合当前观看姿态。因此，与其试图强加特定的对象姿态，其可以允许自由确定，然后在它不满足第一个准则时进行更改。它可以为确定对象姿态的算法提供更大的自由度，因为如果不能如满足第一准则所指示的那样确保图像质量，则可以确保对象姿态将被改变。

在大多数实施例中，姿态确定器电路207可以被布置为修改对象姿态的取向和位置以及相应地修改3D对象。

在一些实施例中，可以为观看区域指定参考姿态。例如，在许多实施例中，可以定义用于生成3D对象的图像的优选姿态。例如，参考姿态可以是包含在观看区域中的所有姿态的中心姿态或平均姿态，或者例如可以是捕获姿态之一。因此，参考姿态在许多实施例中可以指示3D对象的视图的优选姿态。

姿态确定器电路207可以被布置为通过将当前观看姿态与观看区域的参考姿态对准来改变对象姿态。例如，可以选择新对象姿态，使得它将导致观看区域的参考姿态映射到当前观看姿态。观看区域的参考姿态可以相对于3D对象来定义，并且可以映射到场景中观看区域中的对应参考姿态。参考姿态与观看姿态的对齐因此重新定位场景中的3D对象，使得其被定位在优选的位置，例如可以实现最佳质量的位置或例如提供到视图边缘的最大距离区域，从而减少所需的更改次数。

作为具体示例，姿态确定器电路207可以使用偏移矢量来确定新对象姿态。例如，可以将新对象姿态确定为减去偏移向量的姿态坐标后的观看姿态的姿态坐标。

在许多实施例中，所述方法可以提供有利的操作和用户体验。例如，它可以提供一种效果，其中用户可以在保持在观看区域中的同时自由地四处移动。然而，如果观看姿态偏离太多，系统可以通过将3D对象的位置和取向重置为与当前观看姿态的优选关系来有效地重置3D对象的呈现。

在许多实施例中，还可以考虑其他参数或约束，并且参考姿态和观看姿态之间的对齐可能只是一个考虑因素。然而，在这种情况下，可能仍然希望尽可能多地对齐参考姿态和观看姿态(考虑到其他考虑)，并且姿态确定器电路207可以相应地将新对象姿态的选择朝向观看姿态与参考姿态的对齐偏置。

在许多实施例中，姿态确定器电路207可以被布置为将新对象姿态确定为使得避免当前观看姿态的遮挡。

具体地，姿态确定器电路207可以被布置为将新对象姿态确定为使得3D对象不被场景数据描述的任何场景对象遮挡。例如，基于场景数据，姿态确定器电路207可以确定场景中的所有如下的姿态，对于所述姿态，不存在到观看姿态的直接视线与任何场景对象相交。然后可以根据给定的偏好要求从这些姿态中选择新对象姿态(例如，尽可能接近与参考姿态对齐、最小姿态变化等)。

在一些实施例中，姿态确定器电路207可以被布置为将新对象姿态确定为使得3D对象不遮挡场景中的一组一个或多个场景对象。所述一组场景对象可以包括由场景数据描述的所有场景对象或者可以例如仅包括这些的子集，例如仅特定类型的对象。

例如，基于场景数据，姿态确定器电路207可以确定对应于所有不是墙壁的场景对象的表面的位置。对于每个位置，可以将直接视线追踪到当前观看姿态，并且可以将对象姿态确定为经受3D对象不与这些线中的任何一条相交的约束。

在一些实施例中，姿态确定器电路207可以被布置为在对象姿态改变之后确定新对象姿态，使得当根据新对象姿态定位和定向时在一组场景对象与3D对象之间没有交叠。同样，所述一组场景对象可以包括所有场景对象或仅这些场景对象的子集。

姿态确定器电路207可以例如确定优选的对象姿态，例如响应于偏好量度，例如参考姿态与当前观看姿态的最接近对齐或对象姿态的最小变化。然后它可以针对该姿态确定3D对象的轮廓。如果这不导致与场景对象的交叠，则可以将新对象姿态设置为此值，否则可以移动对象姿态直到没有发生交叠。

作为另一个示例，在一些实施例中，可以确定3D对象的最大横截面尺寸(3D对象的两个点之间的最远距离)，并且可以选择新对象姿态，遵循到所述一组场景对象集合中的任何场景对象的距离必须大于该最大横截面尺寸的要求。

在许多实施例中，姿态确定器电路207可以被布置为将新对象姿态的确定朝向相对于改变之前的对象姿态的差异被最小化的对象姿态偏置。在一些实施例中，可以选择在满足选择新对象姿态的其他要求的同时可能的最小变化。例如，可以确定场景/场景坐标系中的如下的所有姿态，针对所述姿态，对象不会遮挡任何场景对象并且3D对象不与场景对象交叠。可以根据任何合适的距离量度(例如，位置之间的最小欧几里得距离和取向之间的最小角度)来确定这些姿态与先前对象姿态之间的差异。然后可以将新对象姿态选择为找到最小距离量度的对象姿态。

这种方法可以导致在3D对象的呈现中感知到的跳跃被尽可能地最小化。

所描述的系统可以例如在从受限于观看区域的MVD内容合成3D对象的应用中有用。由观看姿态指示的观看者位置不能与原始相机位置偏离太多，而不会降低得到的图像的质量(如果可以实际生成的话)。确切的劣化取决于与观看区域的接近程度以及捕获的对象的复杂性等。对于与捕获的位置/观看区域的较大偏差，所描绘的3D对象将由于例如缺乏去遮挡数据或深度图不准确而遭受失真。图1图示了MVD对象的捕获的示例，并且图3图示了如何将其可视化为真实或虚拟房间中的计算机生成的图像。这种情况下的问题是观看者具有由MVD对象捕获确定的有限观看区域，而观看者可能希望在整个房间内自由移动。所描述的方法可以解决这个问题，并提供一种系统，其中观看者可以在房间内移动，同时保持良好的3D对象可视化质量。

这可以通过有效地允许可视化的3D对象以受限的方式在房间周围“捕获”来具体实现。例如，当观看者移出观看区域时，3D对象被重新定位(突然移动)和重新定向两者，使得观看者再次最佳地定位在观看区域的中心。AR对象的多次重新定位和重新定向是可能的。此外，当保持在观看区域内时，可视化的3D对象可以动态改变以反映用户的移动，从而提供3D对象的自然体验和视图。

可以确定变化后的新对象姿态，使其在给定的一组约束条件下优化给定的准则：例如，可以确定新对象姿态，使得3D对象相对于观察者的观察取向的位置变化尽可能小，同时确保不与场景对象(例如，一件家具)发生碰撞。作为另一示例，可以确定新对象姿态，使得观看姿态与参考姿态之间的距离尽可能小，同时确保不与场景对象(例如，一件家具)发生碰撞。

对象姿态的确定具体可以包括以下一项或多项考虑，并且具体地在一些实施例中，所有这些可以按照以下优先级递减的顺序来考虑：

1、避免3D对象与场景对象之间的碰撞。新对象姿态应该使得其不与其他对象(例如墙壁或橱柜等)发生碰撞。在虚拟场景的情况下，可以根据已知的几何配置检测碰撞，或者可以在附加(元)数据中手动注释。在真实场景的情况下，有效姿态可以例如使用计算机视觉算法来确定。

2、避免场景对象遮挡3D对象。

3、选择对象姿态的位置，以实现相对于先前对象位置的最小平移幅度。

4、选择对象姿态的取向，以便实现与当前观察取向相比的最小旋转角幅度。

5、如果未识别出有效姿态，则搜索场景中的所有姿态以识别满足要求的对象姿态。

如图4示出了包括3个橱柜(c1、c2、c3)的虚拟或真实房间(r1)形式的场景的具体示例。在时间t＝1，观看者位于观看位置v1，并且3D对象最佳地显示在o1。当观看者在观看区域z1中四处移动时，o1相对于r1保持在相同的位置，即在场景中。在t＝2时，观看者移动到初始观看区域之外的观看位置v2。然而到o1的距离保持不变。在这种情况下，o2相对于o1的位置不变(平移幅度＝0)。只有o2的取向相对于o1发生变化，即对象向观察者旋转。在t＝3时，观看者移动到v3。对于仅考虑最小化3D对象的平移的准则，所描绘的3D对象将移动到o3_a。然而，由于这会导致碰撞，所描绘的3D对象替代地被移动到o3_b。

更具体地，MVD对象的渲染可以包括根据以下公式的从三维表示到二维表示的投影：

在该公式中中，4x4模型矩阵M_i将对象的局部坐标i变换到全局世界坐标系。对于捕获的MVD3D对象，视图的集合中的每个视图都有其自己的初始模型矩阵，所述矩阵将整个集合定位在初始世界位置。

多视图对象的查看区域通常限于相机阵列的原始捕获位置周围的一些空间。当最初将多视图3D对象放置在场景中时，例如通过将相机装置的原点映射到靠近观察者眼睛的位置(如视图所表示的)，将观察者放置在观看区域的中心姿态。因此模型矩阵是视图矩阵的函数：

M_i＝f(V)。

最初，通过假设多视图捕获是从他当前的头部位置采集的来观看者的位置：

M_*，4＝V_*，4。

在360°图形环境中，模型矩阵表示的取向可以是任意的，只要不与场景中已经存在的其他(图形)对象发生冲突。

当观看者开始在场景中四处移动时，他很可能会移动到观看区域/区域之外。为了将观看者放回观看区域，图像合成装置平移和/或旋转3D对象，使得新对象姿态的观看区域包含观看姿态。图5示出了一种修改3D对象的模型矩阵M_i的方法，使观看者被重新定位在观看区域的中心。图5的示例包括3D对象的平移和旋转。

参考图5，观看姿态在观看区域域的边界处并且旋转-α围绕y-轴被应用到当前模型矩阵M_i，然后是在xz-平面平移(t_x，t_z)。然后新的模型矩阵变为：

M_i←T(α，t_x，t_z)M_i

其中，

T(α，t_x，t_z)＝M_平移(t_x，t_z)M_旋转(α)。

观察者相对于3D对象的位置变化通过观看矩阵V已知。

在一些实施例中，可以在捕获坐标系中执行对移动到观看区域之外的观看姿态的检测。在这样的示例中，可以将观看姿态的位置转换为捕获坐标：

应当理解，为了清楚起见，以上描述已经参考不同的功能电路、单元和处理器描述了本发明的实施例。然而，显而易见的是，可以在不背离本发明的情况下使用不同功能电路、单元或处理器之间的任何合适的功能分布。例如，被示为由分别的处理器或控制器执行的功能可以由相同的处理器执行。因此，对特定功能单元或电路的引用仅被视为对用于提供所描述的功能的合适设备的引用，而不是指示严格的逻辑或物理结构或组织。

本发明可以以任何合适的形式实现，包括硬件、软件、固件或这些的任何组合。本发明可以任选地至少部分地实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明的实施例的元件和部件可以以任何合适的方式来物理地、功能地和逻辑地实现。实际上，功能可以在单个单元中、在多个单元中或作为其他功能单元的一部分来实现。这样，本发明可以在单个单元中实现，或者可以在不同的单元、电路和处理器之间物理地和功能地分布。

通常，图像合成系统、图像合成方法以及实现该方法的计算机程序的示例由以下实施例指示。实施例：

1、一种图像合成系统，包括：

第一接收器(201)，其用于接收描述三维场景的至少部分的场景数据；

第二接收器(203)，其用于接收描述三维对象的对象数据，所述对象数据从具有关于所述三维对象的相对姿态的观看区提供针对所述三维对象的视觉数据；

第三接收器(205)，其用于接收针对所述三维场景中的观看者的观看姿态；

姿态确定器电路(207)，其用于响应于所述场景数据和所述观看姿态来确定所述三维场景中的所述三维对象的对象姿态；

视图合成电路(209)，其用于根据所述视觉数据、所述对象姿态和所述观看姿态来生成视图图像，所述视图图像包括所述三维场景中的所述三维对象的视图，其中，所述三维对象处于所述对象姿态并且正从所述观看姿态被观看；

电路(211)，其用于确定针对所述三维对象的所述对象姿态的所述三维场景中的观看区域以及所述观看区的相对姿态，所述观看区域对应于针对处于所述对象姿态的所述三维对象的在所述三维场景中的观看区域；

其中，所述姿态确定器电路(207)被布置为确定所述观看姿态相对于针对所述对象姿态的所述观看区域的距离量度，并且被布置为响应于所述距离量度满足第一准则而改变所述对象姿态，所述第一准则包括所述观看姿态与所述观看区域的姿态之间的距离超过第一阈值的要求。

2、根据实施例1所述的图像合成系统，其中，所述姿态确定器电路(207)被布置为当距离量度满足以下准则时不改变对象姿态以改变观看姿态，所述准则包括所述观看姿态与所述观看区域的姿态之间的距离不超过第二阈值的要求。

3、根据任意前述实施例所述的图像合成系统，其中，对象姿态的所述变化包括所述对象姿态的位置的变化。

4、根据任意前述实施例所述的图像合成系统，其中，对象姿态的所述变化包括所述对象姿态的取向的变化。

5、根据任意前述实施例所述的图像合成系统，其中，所述场景数据包括针对所述三维场景中的至少一个场景对象的数据，并且所述姿态确定器电路(207)被布置为在所述变化之后确定新对象姿态，所述确定经受不存在从所述三维对象的所述观看姿态被所述至少一个场景遮的挡的约束。

6、根据任意前述实施例所述的图像合成系统，其中，所述场景数据包括所述三维场景中的至少一个对象的对象数据，并且所述姿态确定器电路(207)被设置为在所述变化之后确定新对象姿态，所述确定经受针对新观看姿态在所述三维场景中的所述至少一个对象与所述三维对象之间没有交叠的约束。

7、根据任意前述实施例所述的图像合成系统，其中，所述观看区包括参考姿态，并且所述姿态确定器电路(207)被布置为在所述变化之后将新对象姿态朝向所述参考姿态与所述观看姿态的对齐偏置。

8、根据任意前述实施例所述的图像合成系统，其中，所述姿态确定器电路(207)被布置为在所述变化之后确定新对象姿态，所述确定经受到所述距离量度不满足针对所述新观看姿态的第一准则的约束。

9、根据任意前述实施例所述的图像合成系统，其中，所述姿态确定器电路(207)被布置为在所述变化之后将新对象姿态朝向相对于所述变化之前的对象姿态的最小姿态差异偏置。

10、根据任意前述实施例所述的图像合成系统，其中，所述场景数据包括针对所述三维场景中的至少一个场景对象的数据，并且所述姿态确定器电路(207)被布置为在所述变化之后确定新对象姿态，所述确定经受来自所述至少一个场景对象的所述视角姿态不被所述三维对象遮挡的约束。

11、根据任意前述实施例所述的图像合成系统，其中，所述姿态确定器电路(207)被布置为针对场景的区域执行姿态搜索，以在所述变化之后找到新对象姿态，针对所述变化，多个约束得以满足。

12、根据任意前述实施例所述的图像合成系统，其中，所述三维对象的所述表示包括三维对象的多视图图像和深度表示。

13、根据任意前述实施例所述的图像合成系统，其中，所述场景数据提供三维场景的至少部分的视觉模型，并且所述视图合成电路(209)被布置为响应于所述视觉模型而将所述视图图像生成为与所述三维对象的所述视图混合的来自所述观看姿态的所述场景的视图。

14、一种图像合成的方法，包括：

接收描述三维场景的至少部分的场景数据；

接收描述三维对象的对象数据，所述对象数据从具有关于三维对象的相对姿态的观看区提供针对所述三维对象的视觉数据；

接收观看者在所述三维场景中的观看姿态；

响应于所述场景数据和所述观看姿态来确定针对所述三维场景中的所述三维对象的对象姿态；

根据所述视觉数据、所述对象姿态和所述观看姿态生成视图图像，所述视图图像包括所述三维场景中的所述三维对象的视图，其中，所述三维对象处于所述对象姿态并且正从所述观看姿态被观看；

确定针对所述三维对象的所述对象姿态的观看区域的所述三维场景中的观看区域以及所述观看区的相对姿态，所述观看区域对应于针对处于所述对象姿态的所述三维对象的在所述三维场景中的观看区；

并且还包括：

确定针对所述观看姿态相对于针对所述对象姿态的观看区域的距离量度，并且

响应于所述距离量度满足第一准则而改变对象姿态，所述第一准则包括观看姿态与所述观看区域的姿态之间的距离超过第一阈值的要求。

15、一种包括计算机程序代码模块的计算机程序产品，当所述程序在计算机上运行时，所述计算机程序代码模块适于执行根据实施例14所述的所有步骤。

更具体地，本发明由所附权利要求限定。

尽管已经结合一些实施例描述了本发明，但是并不旨在将本发明限于这里阐述的特定形式。相反，本发明的范围仅受所附权利要求的限制。另外，尽管可能看起来结合特定实施例描述了特征，但是本领域技术人员将认识到，可以根据本发明组合所描述的实施例的各种特征。在权利要求中，术语“包括”不排除存在其他元件或步骤。

此外，尽管单独列出，但是多个设备、元件、电路或方法步骤可以通过例如单个电路、单元或处理器来实现。另外，尽管各个特征可以包括在不同的权利要求中，但是这些特征可以有利地组合，并且包含在不同的权利要求中并不意味着特征的组合是不可行和/或不利的。在一类权利要求中包含特征并不意味着对该类别的限制，而是指示该特征在合适时同样适用于其他权利要求类别。此外，权利要求中的特征的顺序并不意味着特征必须工作的任何特定顺序，并且特别地，方法权利要求中的各个步骤的顺序并不意味着必须以该顺序执行这些步骤。而是，可以以任何合适的顺序来执行这些步骤。另外，单数引用不排除多个。因此，对“一”、“一个”、“第一”、“第二”等的引用不排除多个。权利要求中的附图标记仅被提供用于地使示例清楚，不应被解释为以任何方式限制权利要求的范围。

Claims

1.一种图像合成系统，包括：

第一接收器(201)，其被布置为接收描述三维场景的至少部分的场景数据；

第二接收器(203)，其被布置为接收描述三维对象的对象数据，所述对象数据提供来自具有关于所述三维对象的相对姿态的观看区域的针对所述三维对象的视觉数据；

第三接收器(205)，其被布置为接收所述三维场景中的观看者的观看姿态；

姿态确定器电路(207)，其被布置为响应于所述场景数据和所述观看姿态来确定所述三维场景中的所述三维对象的对象姿态；

视图合成电路(209)，其被布置为根据所述视觉数据、所述对象姿态和所述观看姿态来生成视图图像，所述视图图像包括所述三维场景中的所述三维对象的视图，其中，所述三维对象处于所述对象姿态并且正从所述观看姿态被观看；

电路(211)，其被布置为确定针对所述三维对象的所述对象姿态的三维场景中的观看区域以及所述观看区域的所述相对姿态，所述观看区域对应于针对处于所述对象姿态的所述三维对象的在所述三维场景中的观看区域；

其中，所述姿态确定器电路(207)被布置为：确定所述观看姿态相对于针对所述对象姿态的所述观看区域的距离量度，并且响应于所述距离量度满足第一准则而改变所述对象姿态，所述第一准则包括所述观看姿态与所述观看区域的姿态之间的距离超过第一阈值的要求；并且所述视图合成电路(209)被布置为将所述三维对象的所述视图生成为来自针对所述观看姿态的至少一些变化的不同角度，针对所述至少一些变化，所述距离不超过所述第一阈值；并且所述姿态确定器电路(207)被布置为在所述对象姿态的所述变化之后确定新对象姿态，所述新对象姿态的确定经受针对所述新对象姿态所述距离量度不满足所述第一准则的约束。

2.根据任一前述权利要求所述的图像合成系统，其中，所述观看区域至少是二维区域。

3.根据任一前述权利要求所述的图像合成系统，其中，所述第一阈值为使得对于与所述对象姿态处于不同取向的至少一些观看姿态，所述距离不超过所述第一阈值。

4.根据任一前述权利要求所述的图像合成系统，其中，所述姿态确定器电路(207)被布置为当所述距离量度满足以下准则时针对变化的观看姿态不改变所述对象姿态，所述准则包括所述观看姿态与所述观看区域的姿态之间的距离不超过第二阈值的要求。

5.根据任一前述权利要求所述的图像合成系统，其中，对象姿态的所述变化包括所述对象姿态的位置的变化。

6.根据任一前述权利要求所述的图像合成系统，其中，对象姿态的所述变化包括所述对象姿态的取向的变化。

7.根据任一前述权利要求所述的图像合成系统，其中，所述场景数据包括针对所述三维场景中的至少一个场景对象的数据，并且所述姿态确定器电路(207)被布置为在对象姿态的所述变化之后确定新对象姿态，对所述新对象姿态的所述确定经受来自所述三维对象的所述观看姿态不被所述至少一个场景对象遮挡的约束。

8.根据任一前述权利要求所述的图像合成系统，其中，所述场景数据包括所述三维场景中的至少一个对象的对象数据，并且所述姿态确定器电路(207)被布置为在对象姿态的所述变化之后确定新对象姿态，对所述新对象姿态的所述确定经受针对所述新观看姿态在所述三维场景中的所述至少一个对象与所述三维对象之间没有交叠的约束。

9.根据任一前述权利要求所述的图像合成系统，其中，所述观看区域包括参考姿态，并且所述姿态确定器电路(207)被布置为在所述变化之后将新对象姿态朝向所述参考姿态与所述观看姿态的对齐偏置。

10.根据任一前述权利要求所述的图像合成系统，其中，所述姿态确定器电路(207)被布置为在对象姿态的所述变化之后将新对象姿态朝向相对于在对象姿态的所述变化之前的对象姿态的最小姿态差异偏置。

11.根据任一前述权利要求所述的图像合成系统，其中，所述场景数据包括针对所述三维场景中的至少一个场景对象的数据，并且所述姿态确定器电路(207)被布置为在对象姿态的所述变化之后确定新对象姿态，所述确定经受来自所述至少一个场景对象的所述视角姿态不被所述三维对象遮挡的约束。

12.根据任一前述权利要求所述的图像合成系统，其中，所述姿态确定器电路(207)被布置为在针对所述场景的区域的姿态上执行搜索，以在所述对象姿态的所述变化之后找到新对象姿态，针对所述对象姿态的所述变化，多个约束得以满足。

13.根据任一前述权利要求所述的图像合成系统，其中，所述三维对象的所述表示包括所述三维对象的多视图图像和深度表示。

14.根据任一前述权利要求所述的图像合成系统，其中，所述场景数据提供所述三维场景的至少部分的视觉模型，并且所述视图合成电路(209)被布置为响应于所述视觉模型而将所述视图图像生成为与所述三维对象的所述视图相混合的来自所述观看姿态的所述场景的视图。

15.根据任一前述权利要求所述的图像合成系统，其中，所述姿态确定器电路(207)被布置为响应于所述对象数据的属性而调整所述阈值。

16.根据任一前述权利要求所述的图像合成系统，其中，所述姿态确定器电路(207)被布置为响应于所述观看区域的属性而调整所述阈值。

17.一种图像合成的方法，包括：

接收描述三维场景的至少部分的场景数据；

接收描述三维对象的对象数据，所述对象数据提供来自具有关于三维对象的相对姿态的观看区域的针对所述三维对象的视觉数据；

接收观看者在所述三维场景中的观看姿态；

响应于所述场景数据和所述观看姿态而确定针对所述三维场景中的所述三维对象的对象姿态；

根据所述视觉数据、所述对象姿态和所述观看姿态来生成视图图像，所述视图图像包括所述三维场景中的所述三维对象的视图，其中，所述三维对象处于所述对象姿态并且正从所述观看姿态被观看；

确定针对所述三维对象的所述对象姿态的所述三维场景中的观看区域以及所述观看区域的所述相对姿态，所述观看区域对应于针对处于所述对象姿态的所述三维对象的在所述三维场景中的观看区域；

并且还包括：

确定针对所述观看姿态相对于针对所述对象姿态的所述观看区域的距离量度，并且

响应于所述距离量度满足第一准则而改变所述对象姿态，所述第一准则包括所述观看姿态与所述观看区域的姿态之间的距离超过第一阈值的要求，其中，生成所述视图图像包括将所述三维对象的所述视图生成为来自针对所述观看姿态的至少一些变化的不同角度，针对所述至少一些变化，所述距离不超过所述第一阈值，并且改变所述对象姿态包括在所述对象姿态的所述变化之后确定新对象姿态，所述新对象姿态的确定经受针对所述新对象姿态所述距离量度不满足所述第一准则的约束。

18.一种包括计算机程序代码模块的计算机程序产品，当所述程序在计算机上运行时，所述计算机程序代码模块适于执行根据权利要求17所述的所有步骤。