CN116134487A - 对相对于参照对象和参照虚拟视点的3d照明参数进行基于阴影的估计 - Google Patents

Abstract

本公开提供了一种用于处理图像的方法和设备。在一个实施方案中，该方法包括接收具有多个真实对象的场景的图像，并且确定这些真实对象中的至少一个真实对象是否是存储在数据库中的参照对象。随后，当可用时，检索识别到的参照对象的候选阴影映射，并且当无法识别参照对象时，选择具有足够参数的场景中的对象，并且使用所述照明参数计算该新的参照对象的候选阴影映射。

Description

对相对于参照对象和参照虚拟视点的3D照明参数进行基于阴影的估计

技术领域

本公开一般涉及用于混合现实的照明，并且更具体地，涉及对相对于参照虚拟视点的场景进行照明估计。

背景技术

当今，大多数消费设备可使用集成像素级的光的单个传感器通过数字的方式捕获图像或视频。然而，当真实场景与通常具有虚拟性质的计算机生成的项目混合时，照明评估和信息变得非常重要。在混合现实中，在真实对象和虚拟对象被插入到真实场景的3D模型的情况下，虚拟对象的照明是关键特征以便提供场景的现实方面。应当通过模拟场景的真实照明来正确地照亮虚拟对象。然而，照明环境可能会发生动态变化。因此，必须持续估计真实场景的3D照明。

遗憾的是，估计出准确的照明条件在混合现实应用中是一项很耗时的任务，尤其是在处理实时渲染的情况下。由虚拟对象将渲染阴影投射到真实场景上至关重要。两种主要特征有助于提升投射阴影的真实感。一个因素是阴影的位置/定向，第二个因素是因暗色表面的颜色强度的衰减得出的强度。提供一组虚拟照明模型以创建硬阴影：点光源、聚光光源或定向照明。但是提供此类照明在实时渲染中是很耗时且难以完成的任务。因此，需要提供简化这项任务并且创建真实渲染的技术。如果此类技术能够在每个设备上(包括在移动设备上)提供渲染后的图像，那么这将是有益的。

发明内容

附加的特征和优点通过类似的技术实现并且其它实施方案和其它方面在本文中得到详细地描述并且被视为所要求保护的发明的一部分。为了更好地理解本发明的优点和特征，请参阅说明书和附图。

本公开提供了一种用于处理图像的方法和设备。在一个实施方案中，该方法包括接收具有多个真实对象的场景的图像，并且确定这些真实对象中的至少一个真实对象是否是存储在数据库中的参照对象。随后，当可用时，检索识别到的参照对象的候选阴影映射，并且当无法识别参照对象时，选择具有足够参数的场景中的对象，并且使用照明参数计算该新的参照对象的候选阴影映射。

在另一个实施方案中，在该方法步骤之后，然后将参照对象存储在数据库中(这甚至可以是参照对象模型)以及将其候选阴影映射存储在数据库中。然后从数据库检索对象，使得该对象与所述场景中的真实对象的一个或多个特性匹配。使用所述照明参数提供出现在场景中的参照对象的阴影映射。

附图说明

通过结合附图考虑以下详细的描述，可易于理解本公开的教导内容，其中：

图1是根据一个实施方案的基于对一组点光源进行估计的所描述的3D照明过程的图示；

图2A和图2B分别是阴影掩模和阴影映射的示例的图示；

图3是对象包括在其上投射阴影的平坦基底的实施方案的图示；

图4是由真实设备摄像机和虚拟参照视点观察到的参照对象的图示；

图5是2个移动设备视点的示例的图示；

图6A和图6B是分别提供有可见参照对象和不可见参照对象的虚拟参照视点的阴影映射的示例；

图7是示出由于拍摄角度导致的阴影可见度的问题的示例；

图8是当阴影重叠时的轮廓的示例的图示；

图9是一个实施方案的流程图图示；并且

图10示意性地示出了根据一个或多个实施方案的编码和解码系统的一般概览。

应当理解，附图的目的是为了说明本发明的概念，而不一定是用于说明本发明的唯一可能配置。为了便于理解，在可能的情况下，已经使用相同的附图标记来标示与附图共同的相同元件。

优选实施方案的具体实施方式

图1是基于对一组点光源进行的估计的所述3D照明过程的图示。图1提供了计算所捕获的输入图像上的阴影掩模以及相对于虚拟视点的配准的模块。另一个模块包括为虚拟视点计算分布在三维(3D)空间中的一组预定义的点光源的阴影映射。通过选择阴影映射与阴影掩模最相关的光源，估计最适合场景照明模型的点光源。

图2A和图2B提供了阴影掩模和阴影映射的示例。通过检测输入图像210中的阴影，获取在图2A中的220处提供的阴影掩模。在图2B中提供的映射提供了在一组候选阴影映射260中选择的待与阴影掩模210/220匹配的阴影映射的示例。

在一种情况下，静态摄像机可提供用于进行照明估计的视点和图像。在这种情况下，需要一组候选阴影映射，该组候选阴影映射附接到静态摄像机视点并且在具有任何类型的增强现实、混合现实或虚拟现实(AR/MR/VR)应用的过程开始时进行计算。在大多数AR/MR/VR体验中，通常在移动设备上进行体验。因此，可从静态摄像机持续估计发送到移动设备的照明信息。遗憾的是，初始阴影映射计算有时延迟了几秒钟的用户AR/MR/VR体验，并且有时延迟长得多的时间。另一个缺点是大多数此类情况需要进行摄像机设置。

在如当前将讨论的一个实施方案中，设备(在大多数情况下是应用设备)可用于提供用于进行照明估计的输入数据。这将避免使用附加的静态摄像机。此外，使用已知的3D对象作为参照对象将避免由于候选阴影映射计算而导致的任何延迟周期，即使在过程开始时也是如此。

其3D几何结构可用的任何对象可用作参照对象。如果该对象可移动并且可放置在AR应用的感兴趣的任何场景中，则这就特别有趣了。例如，如果对象是常见的对象并且可在众多地方找到，则这也特别有趣：在这种情况下，通过计算使对象成为参照对象(3D几何结构模型，如果3D几何结构模型不可用，则候选阴影映射等)所要求的数据来“投资”该对象是有趣的。此类对象可以是例如存在于工作场所中的标准会议室中的标准麦克风，也可以是在家庭中广泛可用的智能连接对象。此外，只要场景经常用于需要进行照明估计的AR/MR/VR体验，那么始终存在于场景中的对象可由用户指定为参照对象。最后，任何足够大以能够创建明显的阴影的对象可用作参照对象(假设其几何结构模型可用或可获取)：在这种情况下，使用它越多，投资时间来计算预先要求的数据就越有利。

在一个实施方案中，为了进行照明估计而分析的阴影是由该参照对象投射到其所位于的表面上的阴影。假设该表面是平坦的，使得可使用该模型对候选阴影映射进行先验计算。结果是用户将参照对象放置在平坦表面上以便能够得到可依靠的照明估计。如果放置参照对象的表面不是平坦的，则其几何结构是已知的并且被包括在用于计算阴影映射的几何结构模型中。在下文中，“平坦表面”和“阴影表面”将是指投射阴影的表面，这些阴影被分析以估计照明。

图3提供了一个实施方案中的不同情况，其中，对象包括在其上投射阴影的平坦基底。在图3中，参照对象由平坦基底和直立部分组成，其中，阴影投射在该平坦基底上。该可移动的对象可放置在需要估计场景照明的任何地方。

在启动场景的AR/MR/VR应用之前，要求用户启动3D几何结构建模(如果不可用)并且然后启动照明估计。为了实现后者，用户将设备对准场景。捕获场景的一张或多张图片并且对其进行分析以检测适于进行照明估计的参照对象。在相对于投射阴影映射的估计的情况下，此类对象可具有例如可用于进行照明估计并且存储在数据库中的材料，例如，一组附接到虚拟视点的候选阴影映射。对象可放置在适于进行投射阴影分析的自由表面上(例如，平坦)，或者它可具有其自己的适配基底。一些约束(诸如对象的尺寸)可能限制可使用的对象的范围。如果未找到此类对象，则通知用户并且可邀请他将适配对象放置场景中的适配位置处(可能由过程识别其几何结构属性，并且在设备显示器上向用户示出)。

另一方面，如果此类对象存在于场景中，则可选择一个或多个此类对象以进行照明估计。如果材料(例如，由阴影表面上的对象投射的一组候选阴影映射)可用，则可依靠它进行估计。否则，在进行照明估计之前预先计算该材料。一旦计算了该材料，该材料就可以加载到数据库中并且附接到对应的对象和阴影表面的3D模型。未来，将能够再次直接使用它。在具体实施方案中，如果阴影表面不是平坦的，则其3D模型可与参照对象的3D模型一起存储，使得可存在数据库的若干元素，该若干元素寻址具有不同阴影表面的相同参照对象。在这种情况下，从捕获图像检索正确的数据库的元素不仅需要检索正确的参照对象，而且也需要检索正确的阴影表面。

应当指出的是，可提供“捕获”一组候选阴影映射的参照虚拟视图。在一个实施方案中，可通过首先接收或捕获场景的图像来实现参照视点的使用，然后对该场景的图像进行处理以估计如从参照视点观察到的阴影掩模。然后，这将与候选阴影映射进行匹配，以便识别正确地对那个(当前)照明条件进行建模的一个或多个点光源。图4通过示出由真实设备摄像机和虚拟参照视点观察到的参照对象来示出这种情况。

在图4的情况下，用户捕获放置在场景中的参照对象的图像，对该参照对象的图像进行处理以估计从参照视点观察到的阴影掩模。这种情况的示例示出在附图中，其提供参照对象430、虚拟参照视点420和移动设备摄像机视点410。

类似于图4的示例，图5提供2个移动设备视点501和502的示例。两个移动设备视点提供场景的2个不同的图像，但使用唯一的虚拟参照视点进行照明估计。参照视点的姿态可自动地固定到参照对象上方并且被放置成使得其最大化阴影表面的观察区域。

另外，为了最大化可匹配的阴影表面的区域，一种解决方案是产生候选阴影映射，无需参照对象出现，而仅其占有面积出现(这可易于通过渲染引擎实现)。以相同方式，阴影表面和参照视图之间的任何障碍物可被视为用于产生阴影的场景几何结构的所有元素但被假定为相对于来自参照视图的阴影表面的可见性是透明的。在这种情况下，阴影表面是可见的，其中，对象将完整的候选阴影投射在该表面上。另一方面，在渲染的图像中存在对象的情况下，阴影映射的基底(即，靠近对象的阴影的部分)由在“垂直”视点(即，视轴垂直于平坦表面，或如果不是精确平坦，则视轴垂直于阴影表面的中心平面)中的对象本身遮挡。图6A和图6B提供了这种图示。

在图6A中，提供了虚拟参照视点(垂直视点)的阴影映射的示例，其中，参照对象是可见的。在图6B中，提供了相同的阴影映射，但参照对象是不可见的。这种特征和区别很重要，因为一些阴影可从移动设备视点可见，但是由于被对象遮挡，因此从参照视点不可见，尤其是当光源在对象上方时。

在一个实施方案中，在照明估计过程开始时，用户将场景中的参照对象放置在阴影表面上，除非参照对象具有其自己的阴影基底，否则在投影阴影仅由对象造成的区域中。要求他拍摄示出阴影的场景的图片，并且描绘显示在他的包含这些阴影的设备上的图像上的区域。这种限制允许排除存在于视场中的将会干扰照明估计的其它对象、阴影或表面。例如，可要求用户通过触觉屏幕把将会描绘感兴趣的区域的多边形的顶点放置在图像上。

在另选实施方案中，默认多边形可由系统自动限定并且在图像上向用户显示，使得用户能够直接启动估计或事先改变多边形。例如，可相对于参照视点和场景的3D模型对该默认多边形进行限定：将场景模型投影到参照视点上，并且将多边形限定为包括所有候选阴影映射，约束条件是如果场景的对象存在该区域中，则将其排除在外。然后，将得到的多边形投影到捕获图像上并且向用户显示(它是默认多边形)。多边形可通过带有参照视点中的2D坐标的一组顶点进行描述，或描述为被限定在附接到参照对象的坐标系中的3D坐标。

一旦照明估计返回结果，用户就可评估其质量。如果不满意，则他可以再次从相同的位置或从另一个位置启动照明估计。最后限定的多边形可能已经被存储并且现在可投影到当前捕获视图上。如前所述，用户可继续该过程或改变多边形。

因为可能存在分布在空间中的不同的光源，所以各个方向上可能存在由参照对象投射的若干阴影。可能发生的是，所有投射阴影从唯一的捕获视点不可见。应当指出的是，从这个角度来看，“垂直”视点允许覆盖所有方向(除了位于对象上方的光被遮挡的风险之外)。

图7提供了突出可见性的问题的图示。在由附图标号710描绘的左图中，提供了显示具有“垂直”视点的摄像机将如何看到具有由2个光源造成的2个投射阴影的场景的图片。在720中(中间)，该图示出了由用户从移动设备捕获的图像。问题是这2个阴影中的一个阴影在该图像中不可见。结果是阴影掩模将会不包含该第二个阴影，并且估计器将仅识别对应于阴影'B'的1个点光源。最后的图730在右侧示出了相对于参照视点进行配准的阴影掩模(未知区域是可见的)，其对应于被捕获图像中的参照对象遮挡的平坦表面的区域。在本示例中，存在其它可能的视点，从这些视点能够至少部分地看到这2个投射阴影。但是首先，用户通常无法在不将他自己的阴影添加到场景上的情况下捕获来自一个视点的所有投射阴影，或者因为无法采集此类视点或者仅因为对于一些配置，它不存在。

在一个实施方案中，提供了一种解决方案以从各种视点采集若干图像，使得每个由用户选择的阴影表面的区域在视点上至少可见一次。处理每张图像以估计阴影掩模。然后，相对于参照视图配准所有阴影掩模并且将其放在一起，使得获取比仅根据一个视点估计得出的阴影掩模更完整的阴影掩模。替代方案是首先将捕获图像投影到参照视点上以尽可能完整地形成所选择的阴影区域的图像。然后，处理该得到的图像以检测阴影并且形成然后将与候选阴影映射匹配的阴影掩模。

在另一个实施方案中，能够独立地在每个捕获图像上实现光源计算。由于可以从不同视点(至少部分地)观察到给定光源的阴影，所以可以利用可能不同的估计参数(3D位置和颜色或强度)对光源进行多于一次的识别。这种可能存在的差异是由于视点存在的差异可能导致不完整的观察、不利的视点等。因此需要执行附加步骤。其目标是通过识别若干次检测到的光源并且通过经典的稳健方法导出唯一的估计来合并光源。当捕获图像时，由于摄像机姿态，可以确定若干次捕采集到相同的阴影。例如，通过选择具有由匹配过程提供的最高相关值的参数，能够选择出最一致的一组参数，因为这是针对唯一视图完成的。

可将一些约束应用于捕获图像/视点，以便处于用于进行准确照明估计的最佳条件。例如，参照对象优选地靠近图像的中心(通过对象中心到图像中心的以像素为单位的距离进行评估)并且位于离在给定距离处的设备一定距离处。另一种标准涉及所选择的区域：将参照所选择的区域(由多边形顶点限定，该多边形顶点的位置在附接到参照对象的坐标系中表达)投影到当前的捕获图像上，且完全包含在当前视点中。当前视点相对于参照视点的姿态也是例如通过视点轴与垂直轴之间的点积与阈值相比较的标准(如果点积高于阈值，则得到验证)。如果所有这些条件均得到验证，则捕获图像得到验证，并且可以继续进行照明估计。否则，可以停止进行照明估计。另外，光源可以向用户指示进行照明估计的条件是否得到满足：例如，“绿色”指示可以进行估计，“橙色”指示条件几乎得到满足(可以强制进行估计，或者待进行新的采集，其中，进行少量适当的变化)，“红色”指示它们未得到满足(远未得到满足)，并且在一些实施方案中，需要采集新的不同条件。

在特定用户界面(UI)中，可辅助用户定位设备摄像机以便完成所选择的区域的可见性。“垂直”视图可显示已经从捕获视图观察到的所选择的区域的表面以及尚未观察到的所选择的区域的表面。还可以在“垂直”视图中显示由设备摄像机当前观察到的表面，使得用户可在捕获图像之前对视图进行调整。

参照视点可以例如位于相对于参照对象的一定距离处，该距离允许视点包含由用户选择的表面区域或者包含所有候选阴影映射的阴影。基于参照对象和参照视图的照明估计系统是一种可易于在众多场景中使用的灵活解决方案。尤其是，当预先计算阴影映射时，不存在延迟。一旦已经估计了照明，就可以将其用于AR应用。在这种情况下，假设照明是静态的。当照明已经发生变化时，用户再次启动照明估计。可以以通过估计选择的阴影映射的阴影的轮廓的形式向用户显示照明估计的结果。

图8是叠加到捕获图像的此类阴影的轮廓的示例的图示。这是通过将所选择的参照视图的阴影映射投影(配准)到捕获视图上并且使阴影的轮廓出现在捕获图像上而获取。创建这些阴影轮廓的另一种方式是针对捕获视点计算所选择的点光源的阴影映射。相对于这种显示，如果不满意，则用户可以用新的捕获图像运行新的照明估计。如图所示，在图8的示例中，在照明估计期间选择两个阴影映射的轮廓。这些轮廓叠加到捕获图像上。

显示轮廓的另选方案是将虚拟照明应用到当前场景和图像，使得被估计的点光源以虚拟的方式照亮场景并且创建叠加到真实场景的阴影。这样，用户还可以评估照明估计的质量。

在另一个另选实施方案中，可将虚拟对象放置在场景表面上并且将虚拟照明应用到场景，使得用户可将由虚拟对象投射的虚拟阴影与由参照对象投射的真实阴影进行比较。虚拟对象可自动放置在检测到的阴影之外的参照对象附近，使得真实阴影和虚拟阴影之间不存在干扰。

在应用期间，用户还可以要求对新的捕获图像的评估显示，以便检查照明估计是否仍然有效。在一个实施方案中，可以在视觉上将这些轮廓与图像中的真实阴影进行比较。然后，如果他认为有用则他可以运行新的照明估计。

在另选实施方案中，可以解决动态照明的情况。在这种情况下，通过使用由针对用户应用的设备摄像机捕获的图像来保持后台任务，可以持续运行照明估计。该过程与唯一捕获的情况大致相同，其中存在的差异在下文进行讨论。在这种情况下，由于图像是在用户不知情的情况下进行捕获的，所以采取一些预防措施。例如，应当避免在设备快速运动期间捕获图像，因此，步骤涉及识别设备运动条件是否正确，以验证图像采集。这可以例如通过嵌入在设备中的惯性测量单元(IMU)或者根据通过其局部梯度对捕获图像进行的分析来执行。如果运动分别高于阈值或者局部梯度的平方值之和低于阈值，则分别不存在图像捕获，或者放弃捕获图像。然后，一旦已经捕获(并且验证)了图像，如在单张图像的情况下，检测参照对象(如果不存在，则停止估计)。然后，将所选择的区域(由多边形顶点限定，该多边形顶点的位置可以在附接到参照对象的坐标系中表示)投影到当前的捕获图像上，如果它不是完全包含在当前视点中，则可以拒绝进行捕获。当前视点相对于参照对象的姿态也可以是拒绝进行捕获的一种标准。例如，如果捕获视图离鸟瞰视图太远(例如，视点轴与垂直轴之间的点积可提供拒绝进行捕获的满意值(在该值低于阈值的情况下))，则可以忽略它。如果这些先前条件全部验证捕获图像，则执行照明估计的其它步骤，并且模块返回由一组带有它们的特性的点光源(在0与由模块估计的最大数量之间)加上带有强度/颜色值的环境光源组成的结果。

为了避免使照明估计持续波动的任何令人不悦的噪声效应，可以适当地引入一些时间滤波。尤其是，在大多数情况下，照明是全局静态的，其中，静态周期之间发生突然的变化。在这种情况下，可以考虑不同的对照明估计进行滤波的方式：

·稳定性/变化检测：例如，可以忽略3D位置和强度发生的小波动：

计算点光源位置之间的距离以及两个连续估计的点光源强度之间的差值；然后与阈值进行比较：如果距离低于阈值，并且如果绝对差值低于阈值，则忽略新的估计(稳定性得到验证)。

·变化验证：例如，如果已经检测到变化(例如，通过先前的方法)，则仅在给定数量的接下来的连续估计中检查到稳定性的情形下，才得到验证。在这样的情形下，新的点光源替换先前的点光源。

在另选实施方案中，后台任务可在应用期间运行，其目的限于对照明估计的质量进行自动评估并且在需要重新估计照明的情形下，向用户发出警示。该任务的第一步骤类似于持续照明估计直到计算阴影掩模的先前方案，然后，该阴影掩模同时与当前估计的点光源的所有阴影映射相关。将得到的相关性值与阈值进行比较，并且如果它低于阈值，则“红色”光源可警示用户照明发生变化。另一方面，“橙色”光源可指示无法评估照明估计的质量(例如，在估计光源或评估当前估计的相关性之前得到满足的先前提到的条件未实现或未得到满足)，可能的“绿色”光源可指示照明估计仍然有效。

在应用中存在多于一个用户/玩家的情况下，通过从这些设备捕获图像并且根据对应于使用多于一张图像进行光照估计的描述来处理这些图像，作为后台任务的持续光照估计可以利用各种用户设备视点。

图9是用于处理图像的一个实施方案的流程图图示。在步骤910中，接收具有多个真实对象的场景的图像，并且在步骤920中，确定这些真实对象中的至少一个真实对象是否是存储在数据库中的参照对象。在步骤930中，当可用时，检索识别到的参照对象的候选阴影映射。在步骤940中，当无法识别参照对象时，选择具有足够参数的场景中的对象，并且使用所述照明参数计算该新的参照对象的候选阴影映射。在步骤950中，将参照对象存储在数据库中(这甚至可以是参照对象模型)以及将其候选阴影映射存储在数据库中。在步骤960中，从数据库检索对象，使得对象与所述场景中的真实对象的一个或多个特性匹配。在步骤970中，使用所述照明参数提供出现在场景中的参照对象的阴影映射。

基本上，在一个实施方案中，首先识别在场景中的参照对象，并且执行虚拟候选阴影映射的计算，由于存在候选点光源，因此，每个虚拟候选阴影映射显示由参照对象投射的阴影(如果已经预先计算这些映射并且这些映射在具有对应的对象模型的数据库中可用，则更好)。随后，通过以下步骤执行照明估计：

a、检测由捕获图像中的参照对象投射的真实阴影→阴影掩模

b、将阴影掩模与候选阴影映射进行匹配，以识别最合适观察到的照明的点光源

可以在捕获的视点或在参照视点上(该后者的点是本发明的重要元素)执行步骤2和步骤3.b

在一个实施方案中，参照对象和参照视点两者均用于估计照明：参照对象是真实的(所选择的对象)并且参照视点是虚拟的(将其引入以避免对附接到参照对象的候选阴影映射进行多次计算)。在一个实施方案中，数据库的元素是参照对象(几何结构、纹理)的3D模型以及由于存在一组候选点光源，由该参照对象投射的一组候选阴影映射。

在这种情况下，在一个实施方案中，在启动场景的AR/MR/VR应用之前，要求用户启动3D几何结构建模(如果不可用)并且然后启动照明估计。为了实现后者，用户将设备对准场景。捕获场景的一张或多张图片并且对其进行分析以检测适于进行照明估计的参照对象。在相对于投射阴影映射的估计的情况下，此类对象可具有例如可用于进行照明估计并且存储在数据库中的材料，例如，一组候选阴影映射。对象可放置在适于进行投射阴影分析的自由表面上(例如，平坦)，或者它可具有其自己的适配基底。一些约束(诸如对象的尺寸)可能限制可使用的对象的范围。如果未找到此类对象，则通知用户并且可邀请他将适配对象放置场景中的适配位置处(可能由过程识别其几何结构属性，并且在设备显示器上向用户示出)。

在另一个实施方案中，如果此类对象存在场景中，则可选择一个或多个此类对象以进行照明估计。如果材料(例如，由阴影表面上的对象投射的一组候选阴影映射)可用，则可依靠它进行估计。否则，在进行照明估计之前预先计算该材料。一旦计算了该材料，该材料就可以加载到数据库中并且附接到对应的对象和阴影表面的3D模型。未来，将能够再次直接使用它。

图10示意性地示出了根据一个或多个实施方案的编码和解码系统的一般概览。图10的系统被配置为执行一个或多个功能并且可具有预处理模块1100以制备接收到的内容(包括一张或多张图像或视频)以供编码设备11400进行编码。预处理模块11300可执行多图像采集、合并在共同空间中的采集的多张图像等、采集特定格式的全向视频以及用于允许制备更适合进行编码的格式的其它功能。另一种实施方式可将多张图像结合到具有点云表示的共同空间中。编码设备11400以适合于传输和/或存储的形式封装内容以供兼容解码设备11700进行恢复。一般而言，尽管并非严格要求，但是编码设备11400提供一定程度的压缩，从而允许更有效地表示共同空间(例如，使用更少的存储器进行存储和/或使用更少的带宽进行传输)。就映射到2D帧上的3D球体而言，2D帧实际上是可由多个图像(或视频)编解码器中的任一个编解码器进行编码的图像。就具有点云表示的共同空间而言，编码设备6400可提供众所周知的点云压缩，例如通过八叉树分解。在对数据进行编码之后，将其发送到网络接口11500，这通常可在任何网络接口中实现，例如，存在于网关中。然后，可通过通信网络11500(诸如互联网)传输数据，但是可以预见任何其它网络。然后，通过网络接口11600接收到的数据可在设备中的网关中实现。在接收到数据之后，将其发送到解码设备11700。然后，解码后的数据由也能够与传感器或用户输入数据通信的设备11800处理。解码器11700和设备11800可集成在单个设备(例如，智能电话、游戏机、STB、平板电脑、计算机等)中。在另一个实施方案中，也可以结合渲染设备11900。

在一个实施方案中，解码设备11700可用于获取包括至少一个颜色分量的图像，该至少一个颜色分量包括插值数据和非插值数据，并且获取指示具有非插值数据的至少一个颜色分量中的一个或多个位置的元数据。

已描述了多个具体实施。但应理解的是，可以作出许多修改。例如，可以组合、补充、修改或移除不同具体实施的元件以产生其他具体实施。另外，普通技术人员将理解，其他结构和过程可以被替换为所公开的那些，并且所得具体实施将以至少基本上相同的方式执行至少基本上相同的功能，以实现与所公开的具体实施至少基本相同的结果。因此，本申请考虑了这些和其他具体实施。

Claims (25)

1.一种用于处理图像的方法，所述方法包括：

接收具有多个真实对象的场景的图像；

确定与至少一个参照对象相关联的阴影，所述参照对象是所述场景中的真实对象，或者从数据库检索与所述参照对象相关联的先前存储的阴影；

通过计算所述参照对象的候选阴影映射，生成照明模型。

2.一种用于处理图像的设备，所述设备包括：

至少一个处理器，所述至少一个处理器被配置为接收具有多个真实对象的场景的图像；

确定与至少一个参照对象相关联的阴影，所述参照对象是所述场景中的真实对象，或者从数据库检索与所述参照对象相关联的先前存储的阴影；

通过计算所述参照对象的候选阴影映射，生成照明模型。

3.根据权利要求1所述的方法或权利要求2所述的设备，其中，提供对象的三维扫描以用作参照对象。

4.根据权利要求1所述的方法或权利要求2所述的设备，当识别到参照对象时，检索所识别到的参照对象的候选阴影映射，并且当未识别到参照对象时，选择带有包括至少一个照明参数的一个或多个参数的所述场景中的对象以提供新的参照对象。

5.根据权利要求4所述的方法或权利要求4所述的设备，使用所述至少一个照明参数获取此新的参照对象的候选阴影映射。

6.根据权利要求5所述的方法或权利要求5所述的设备，其中，所述一个或多个特性包括三维(3D)几何结构、阴影映射、照明参数和纹理中的至少一者。

7.根据权利要求1或3至5中任一项所述的方法，所述方法还包括接收在真实场景中创建虚拟对象的请求，以及基于所述数据库中的类似对象创建所述虚拟对象，以及基于所述场景中的照明参数创建所述虚拟对象的阴影映射。

8.根据权利要求2或3至5中任一项所述的设备，其中，所述处理器被配置为接收在真实场景中创建虚拟对象的请求，以及基于所述数据库中的类似对象创建所述虚拟对象，以及基于所述场景中的照明参数创建所述虚拟对象的阴影映射。

9.根据权利要求1或3至5中任一项所述的方法或权利要求2至5中任一项所述的设备，其中，所述数据库也包含虚拟参照视点，所述虚拟参照视点包括所创建的虚拟对象的图像。

10.根据权利要求9所述的方法或权利要求9所述的设备，其中，使用所述虚拟参照视点计算当前对象或虚拟对象的候选阴影映射。

11.根据权利要求9至10所述的方法或权利要求9至10所述的设备，其中，将所述对象呈现为它们的轴垂直于它所在的平坦表面，使得视点轴与所述对象被定向朝向的轴重合。

12.根据权利要求1或3至4或9至11所述的方法或权利要求2至3或5或9至11中任一项所述的设备，其中，创建所述参照对象的3维(3D)模型和所述阴影表面的3维(3D)模型。

13.根据权利要求12所述的方法或权利要求12所述的设备，其中，所述模型包括分布在3D空间中并且相对于所述参照对象进行引用的一组候选光源；以及根据虚拟参照视点计算得出的一组对应的候选阴影映射。

14.根据权利要求3所述的方法或权利要求3所述的设备，其中，3D模型由多个所述参照对象和阴影表面创建，具有分布在3D空间中并且相对于每个参照对象进行引用的一组候选光源。

15.根据权利要求14所述的方法或权利要求14所述的设备，其中，所述3D模型也包括分布在3D空间中的多个候选光源，并且相对于这些候选光源提供每个参照对象以及它们的对应的候选阴影映射。

16.根据权利要求15所述的方法或权利要求15所述的设备，其中，根据相对于照明和所述对应的候选阴影映射的虚拟参照视点计算所述3D模型。

17.根据权利要求1或3至4中任一项所述的方法或权利要求2至3或5中任一项所述的设备，其中，所述数据库包括关于多个不同参照对象的信息。

18.根据权利要求17所述的方法或权利要求17所述的设备，其中，所述参照对象是从具有不同的几何结构的不同场景获取的对象。

19.根据权利要求18所述的方法或权利要求18所述的设备，其中，所述不同的几何结构具有不同的相关联的阴影。

20.根据权利要求1或3至19中任一项所述的方法或权利要求2至19中任一项所述的设备，其中，所述数据库通过对象的图像创建，所述对象的图像通过垂直于它所在的平坦表面的它的轴捕获，使得视点轴与使所述对象定向朝向的轴重合。

21.根据权利要求1或3至20中任一项所述的方法或权利要求2至20中任一项所述的设备，其中5，如果所述对象放置在不同的场景中或在不同的照明条件下并且可向移动设备的用户提供所述对象和它的阴影，则所述用户可获取关于出现在场景中的参照对象的照明信息。

22.根据权利要求1或3至21中任一项所述的方法或权利要求2至21中任一项所述的设备，其中，创建用于管理动态照明变化的照明估计模型。

23.根据权利要求22所述的方法，所述方法还包括识别运动条件是否满足清晰图像采集的条件。

24.根据权利要求23所述的方法，其中，运动条件高于特定值，并且当此类值低于局部梯度的平方值之和的值时，则然后防止图像捕获。

25.一种包括软件代码指令的计算机程序，当处理器执行所述计算机程序时，所述软件代码指令用于执行根据权利要求1或3至24中任一项所述的方法。

Images