CN115619924A - 用于光估计的方法与装置 - Google Patents

Abstract

一种处理器实现的用于光估计的方法包括：使用光估计模型估计与输入图像相对应的光信息；检测所述输入图像中的参考对象；确定所述参考对象的对象信息和支撑所述参考对象的参考平面的平面信息；基于所述光信息、所述对象信息和所述平面信息渲染与所述参考对象相对应的虚拟对象；以及基于将所述参考对象与所渲染的虚拟对象相比较的结果更新所述光估计模型，来训练所述光估计模型。

Description

用于光估计的方法与装置

相关申请的交叉引用

本申请要求于2021年7月13日在韩国知识产权局递交的韩国专利申请No.10-2021-0091604的优先权，其全部公开内容通过引用合并于此以用于所有目的。

技术领域

以下描述涉及一种光估计方法和装置。

背景技术

光估计可以是用于估计照亮场景的光的技术。估计出的光信息可以用于在相应的图像或空间中渲染虚拟对象。例如，估计出的光信息可以应用于在增强现实(AR)或计算机图形(CG)中的虚拟对象。光信息估计得越准确，虚拟对象就越逼真。可以将基于机器学习的模型用于光估计。可以使用诸如环境光、阴影、镜面高光和反射之类的线索来训练该模型。

发明内容

提供本发明内容以用简化形式介绍对下面在具体实施方式中进一步描述的构思的选择。本发明内容不意在标识所请求保护的主题的关键特征或基本特征，也不意在帮助确定所请求保护的主题的范围。

在一个总体方面，一种处理器实现的用于光估计的方法包括：使用光估计模型估计与输入图像相对应的光信息；检测输入图像中的参考对象；确定参考对象的对象信息和支撑参考对象的参考平面的平面信息；基于光信息、对象信息和平面信息渲染与参考对象相对应的虚拟对象；以及基于将参考对象与所渲染的虚拟对象相比较的结果更新光估计模型，来训练光估计模型。

渲染可以包括渲染虚拟对象的着色和虚拟对象的阴影。

比较的结果可以包括：将表示参考对象的着色和参考对象的阴影的像素数据与表示虚拟对象的着色和虚拟对象的阴影的像素数据相比较的结果。

对象信息可以包括参考对象的姿态、形状、材质中的任何一个或其任何两个或更多个的任何组合，平面信息可以包括参考平面的姿态、形状、材质中的任何一个或其任何两个或更多个的任何组合。

确定可以包括：响应于参考对象被确定为已知对象，使用对象数据库确定对象信息的至少一部分。

确定可以包括：响应于参考对象和参考平面被确定为已知的组合结构，使用对象数据库确定对象信息和平面信息的至少一部分。

可以将与参考对象相对应的球形部分结构和与参考平面相对应的平坦部分结构相组合，以形成组合结构。

确定可以包括：响应于参考平面被确定为未知平面，通过检测输入图像中的参考平面确定平面信息。

确定可以包括：响应于参考对象被确定为未知对象，基于预定代理对象的信息确定对象信息。

渲染可以包括：通过将参考平面的每个采样点的光信息和可见性信息相融合来确定每个采样点的阴影信息；以及通过将参考平面的每个采样点的阴影信息投影到输入图像的捕获视图，来渲染虚拟对象的阴影。

响应于参考对象和参考平面被确定为已知的组合结构，可以预先确定可见性信息以渲染组合结构的阴影。

更新可以包括：更新光估计模型以减小参考对象和虚拟对象之间的差异。

该方法可以包括：获取另一图像；以及使用经训练的光估计模型估计与另一图像相对应的光信息。

在另一个总体方面，一个或多个实施例包括一种存储指令的非暂时性计算机可读存储介质，当由一个或多个处理器执行时，该指令将一个或多个处理器配置为执行在此描述的操作和方法中的任何一个、任何组合或全部。

在另一个总体方面，一种用于光估计的装置包括：一个或多个处理器，被配置为：通过使用光估计模型估计与输入图像相对应的光信息，检测输入图像中的参考对象，确定参考对象的对象信息和支撑参考对象的参考平面的平面信息，基于光信息、对象信息和平面信息渲染与参考对象相对应的虚拟对象，以及基于将参考对象与所渲染的虚拟对象相比较的结果更新光估计模型，来训练光估计模型。

对于渲染，一个或多个处理器可以被配置为：渲染虚拟对象的着色和虚拟对象的阴影；比较的结果可以包括：将表示参考对象的着色和参考对象的阴影的像素数据与表示虚拟对象的着色和虚拟对象的阴影的像素数据相比较的结果。

对于渲染，一个或多个处理器可以被配置为：通过将参考平面的每个采样点的光信息和可见性信息相融合来确定每个采样点的阴影信息；以及通过将参考平面的每个采样点的阴影信息投影到输入图像的捕获视图，来渲染虚拟对象的阴影。

对于确定，一个或多个处理器可以被配置为：基于预定代理对象的信息来确定对象信息。

对于更新，一个或多个处理器可以被配置为：更新光估计模型以减小参考对象与虚拟对象之间的差异。

在另一个总体方面，一种电子设备包括：相机，被配置为生成输入图像；以及一个或多个处理器，被配置为：使用光估计模型估计与输入图像相对应的光信息；检测输入图像中的参考对象；确定参考对象的对象信息和支撑参考对象的参考平面的平面信息；基于光信息、对象信息和平面信息渲染与参考对象相对应的虚拟对象、虚拟对象的着色和虚拟对象的阴影；以及通过基于将表示参考对象的着色和参考对象的阴影的像素数据与表示所渲染的虚拟对象的着色和所渲染的虚拟对象的阴影的像素数据相比较的结果更新光估计模型，来训练光估计模型。

对于确定，一个或多个处理器可以被配置为：基于预定代理对象的信息来确定对象信息。

在另一个总体方面，一种处理器实现的用于光估计的方法包括：获取预定图像；以及使用经训练的光估计模型估计与预定图像相对应的预定光信息，其中，训练光估计模型包括：通过使用光估计模型估计与输入图像相对应的光信息，检测输入图像中的参考对象，确定参考对象的对象信息和支撑参考对象的参考平面的平面信息，基于光信息、对象信息和平面信息渲染与参考对象相对应的虚拟对象，以及基于将参考对象与虚拟对象相比较的结果来更新光估计模型。

方法可以包括：基于预定光信息，渲染与预定图像中的预定参考对象相对应的预定虚拟对象；以及将预定虚拟对象叠加到预定图像上以生成增强现实(AR)。

在另一个总体方面，一种处理器实现的用于光估计的方法包括：使用光估计模型估计与输入图像相对应的光信息；基于存储信息是否对应于输入图像中的参考对象来确定参考对象的信息；基于光信息和参考对象的信息来渲染与参考对象相对应的虚拟对象；以及通过将参考对象与所渲染的虚拟对象相比较以更新光估计模型来训练光估计模型。

存储的信息可以是预定对象的信息，并且确定可以包括：响应于参考对象对应于预定对象，将存储信息确定为参考对象的信息。

确定可以包括：响应于存储信息对应于参考对象，将存储信息确定为参考对象的信息。

参考对象的信息可以包括参考对象的对象信息和支撑参考对象的参考平面的平面信息中的一者或两者。

其他特征和方面将通过所附的详细描述、附图和权利要求变得清楚明白。

附图说明

图1示出了使用光估计模型的光估计操作的示例。

图2示出了训练光估计模型的示例。

图3示出了比较输入图像和渲染结果的示例。

图4示出了使用已知参考对象和已知参考平面进行训练的示例。

图5示出了使用已知参考对象和未知参考平面进行训练的示例。

图6示出了使用未知参考对象和未知参考平面进行训练的示例。

图7示出了阴影渲染的示例。

图8示出了确定可见性图的示例。

图9示出了训练方法的示例。

图10示出了训练装置和用户终端的示例。

图11示出了电子设备的示例。

在整个附图和详细描述中，除非另有描述或提供，否则相同的附图标记应被理解为指代相同的元件、特征以及结构。附图可以不按比例绘制，并且为了清楚、说明和方便，可以扩大附图中元件的相对尺寸、比例和描绘。

具体实施方式

提供以下详细描述以帮助读者获得对本文描述的方法、装置和/或系统的全面理解。然而，在理解了本申请的公开之后，本文中描述的方法、装置和/或系统的各种改变、修改和等同物将是显而易见的。例如，本文中描述的操作顺序仅仅是示例，并且不限于在本文中阐述的那些操作顺序，而是可以在理解本申请的公开之后明显改变，除了必须以一定顺序进行的操作之外。此外，为了更加清楚和简洁，在理解本申请的公开之后可以省略对已知的特征的描述。

虽然本文中使用了“第一”或“第二”的术语来描述各构件、组件、区域、层或部，但是这些构件、组件、区域、层或部不应被这些术语限制。相反，这些术语仅用于将一个构件、组件、区域、层或部分与另一构件、组件、区域、层或部分加以区分。因此，在不脱离示例的教导的情况下，本文中描述的示例中提及的第一构件、组件、区域、层或部分也可以被称为第二构件、组件、区域、层或部分。

贯穿说明书，当诸如层、区域或基板之类的元件被描述为在另一元件“上”、“连接到”或“耦接到”另一元件时，它可以直接在该另一元件“上”、“连接到”或“耦接到”该另一元件，或者可以存在介于其间的一个或多个其他元件。相反，当元件被描述为“直接在另一元件上”、“直接连接到”或“直接耦接到”另一元件时，可以不存在介于其间的其他元件。同样地，也应以如前面描述的表述来解释例如“在...之间”和“直接在......之间”以及“与......相邻”和“与......紧邻”的表述。

本文中使用的术语仅用于描述具体示例的目的，而不用于限制本公开。如本文中使用的，单数形式“一”、“一个”和“所述”意图还包括复数形式，除非上下文明确地给出相反的指示。如本文中所使用的，术语“和/或”包括关联列出的项目中的任何一个和任何两个或更多个的任何组合。还应理解，术语“包含”、“包括”和“具有”指定所陈述的特征、数字、整数、步骤、操作、元件、组件和/或它们的组合的存在，但不排除存在或添加一个或多个其他特征、数字、整数、步骤、操作、元件、组件和/或它们的组合。在本文中，关于示例或实施例(例如，关于示例或实施例可以包括或实现什么)的术语“可以”的使用意味着存在至少一个示例或实施例，其中这样的特征是被包括或实现的，而所有示例不限于此。

除非另外定义，否则这里使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员基于对本申请的公开的理解通常所理解的含义相同的含义。诸如在常用词典中定义的术语应被解释为其含义与在相关技术和/或本申请的上下文中的含义相同，而不应将被解释为理想的或过于正式的含义，除非本文明确如此定义。

在下文中，将参考附图来详细描述示例。当参考附图描述示例时，相同的附图标记表示相同的组件，并且将省略与其相关的重复描述。

图1示出了使用光估计模型的光估计操作的示例。参考图1，光估计装置100可以接收输入图像101，并输出与输入图像101相对应的光信息102。输入图像101可以是从预定捕获点观看的预定捕获视图的场景。输入图像101可以对应于场景图像或正面图像。

光信息102可以包括关于影响输入图像101的场景的所有光的信息。光信息102可以用各种形式来表示场景的光。例如，光信息102可以用环境图的形式来表达光，或者使用预定义的属性(例如方向、颜色、亮度和/或宽度等)来表达光。

光信息102可以应用于增强现实(AR)或计算机图形(CG)中的虚拟对象。例如，当通过将虚拟对象叠加在输入图像101上来提供AR时，可以将光信息102应用于该虚拟对象，使得该虚拟对象可以和谐地表达在输入图像101上。光信息102越准确地表达输入图像101中的光，虚拟对象就可以越逼真。

光估计装置100可以使用光估计模型110生成光信息102。光估计模型110可以是机器学习模型。例如，光估计模型110可以包括基于深度学习生成的深度神经网络(DNN)。

DNN可以包括多个层，且其至少一部分可以被配置为各种网络，例如全连接网络(FCN)、卷积神经网络(CNN)和循环神经网络(RNN)。DNN可以具有泛化能力，来基于深度学习映射具有非线性关系的输入数据和输出数据。

模型训练可能需要大量的训练数据。例如，可能需要表示各种场景图像和该场景图像中的光的真实数据，来分配用于从输入图像101得到光信息102的能力。确保如此大量的训练数据可能需要花费大量的时间和精力。

可以通过基于图像渲染的自监督学习来训练光估计模型110。当光估计模型110针对给定的场景图像生成光估计结果时，可以基于该光估计结果进行图像渲染，并且一个或多个实施例的训练方法可以训练光估计模型110，以减小场景图像与渲染结果之间的差异。一个或多个实施例的这种训练方法可以在不使用真实数据的情况下训练光估计模型110，因此可以大大减少确保训练数据所需的努力和时间。

可以使用对象、平面和光进行图像渲染，并且可以将已知对象、已知平面和阴影信息用于图像渲染和模型训练。一个或多个实施例的这种训练方法可以提高训练效果，并且光估计模型110可以估计真实的光信息102。

图2示出了训练光估计模型的示例。参考图2，光估计模型210可以估计与输入图像201相对应的光信息202。光估计模型210可以是包括多个层的神经网络模型。所述多个层中的至少一部分可以对应于CNN，且其至少其他部分可以对应于FCN。光信息202可以用环境图的形式来表达光，或者使用预定义的属性(例如方向、颜色、亮度和/或宽度等)来表达光。

渲染模型220可以基于光信息202、对象信息203和平面信息204生成渲染结果205。例如，渲染模型220可以执行神经渲染。对象信息203可以是关于输入图像201中对象的信息，并且可以包括该对象的姿态、形状、材质中的任何一个或其任何两个或更多个的任何组合。该材质可以表示纹理、颜色等。输入图像201中的对象可以被称为参考对象。平面信息204可以是关于支撑参考对象的参考平面的信息，并且可以包括参考平面的姿态(例如法线方向)、形状、材质中的任何一个或其任何两个或更多个的任何组合。可以通过对象检测技术从输入图像201中检测参考对象，并且可以基于对象检测结果确定对象信息203和平面信息204中的至少一部分。

渲染结果205可以包括与参考对象相对应的虚拟对象。渲染模型220可以基于光信息202、对象信息203和平面信息204来渲染虚拟对象。可以通过参考对象和虚拟对象之间的比较来确定比较结果206，并且可以基于比较结果206来更新(例如训练)光估计模型210。参考对象和虚拟对象之间的差异可以对应于训练损失，并且可以更新光估计模型210以减少该损失(即参考对象和虚拟对象之间的差异)。通过光估计模型210的这种更新(例如训练)，光估计模型210的参数(例如权重)可以被更新。

渲染模型220可以将虚拟对象的着色和虚拟对象的阴影连同虚拟对象一起渲染，并且比较结果206可以包括将表示参考对象的着色和参考对象的阴影的像素数据与表示虚拟对象的着色和虚拟对象的阴影的像素数据相比较的结果。渲染模型220可以同时或不同时进行着色渲染和阴影渲染，并且可以通过将着色渲染结果和阴影渲染结果相融合来生成渲染结果205。可以将渲染方案应用于着色渲染，并且可以将根据图7和图8的示例的渲染方案应用于阴影渲染。

着色可以用作对于光的线索，但是当以高精度执行着色分析时，可能难以准确地分析着色。即使当仅执行例如分析光的产生方向之类的粗略任务时，阴影也可以提供相对准确的对于光的线索。通过使用平面信息204可以提高阴影渲染的准确性。通过阴影渲染可以生成逼真的渲染结果205，并且可以通过阴影比较来更新模型从而更加逼真。

已知对象和/或已知平面的信息可以预先存储在对象数据库中。当目标对象和/或参考平面是已知对象和/或已知平面时，可以使用来自对象数据库的信息来确定对象信息203和/或平面信息204的至少一部分。因此，可以利用预先存储的信息来得到逼真的渲染结果205。例如，当参考对象对应于已知对象时，可以使用存储了关于已知对象的信息的对象数据库来确定对象信息203的至少一部分。可以通过捕获已知结构来生成输入图像201，所述已知结构中组合了预定对象和预定平面。当参考对象和参考平面是这种已知的组合结构时，可以使用对象数据库确定对象信息203和平面信息204的至少一部分。当参考平面是未知平面时，可以通过平面检测方案来确定平面信息204。当参考对象是未知对象时，可以基于关于预定代理对象(例如立方体、圆柱体、点云等)的信息来确定对象信息203。根据示例，当确定特征(例如对象或平面)对应于存储在数据库中的特征的信息(例如对象的对象信息或平面的平面信息)时，可以确定该特征为已知特征，而当确定该特征不对应于存储在数据库中的特征的信息时，可以确定该特征为未知特征。

图3示出了比较输入图像和渲染结果的示例。参考图3，可以从输入图像310检测包括参考对象311的对象区域315。对象检测可以由对象检测模型执行。对象检测模型可以是预先训练以基于输入图像310生成对象检测结果的机器学习模型(例如神经网络模型)。对象区域315可以包括参考对象311、参考对象311的着色314以及参考对象311的阴影312和313。

可以基于对象检测结果来确定参考对象311的对象信息。对象信息可以包括参考对象311的姿态、形状、材质中的任何一个或其任何两个或更多个的任何组合。姿态可以从对象区域315得到。当参考对象311已知时，可以通过对象数据库确定形状和材质，而当参考对象311未知时，可以基于代理对象的信息确定形状和材质。

当参考对象311的参考平面已知时，可以通过对象数据库确定参考平面的形状和材质。在组合结构的情况下，可以通过对象与存储在对象数据库中的平面之间的关系来确定平面的姿态。图3的参考对象311和参考平面可以对应于组合结构的示例。该结构可以由对应于参考对象311的球形部分结构和对应于参考平面的平坦部分结构组合而成。当参考平面未知时，可以通过平面检测来确定其姿态、形状和材质。平面检测可以由平面检测模型执行。平面检测模型可以是预先训练以基于输入图像310生成平面检测结果的机器学习模型(例如神经网络模型)。如果假设平面的形状是平坦的，则可以不考虑平面信息中的形状。

可以基于光信息、对象信息和平面信息得到渲染结果320。渲染结果320可以包括虚拟对象321、虚拟对象321的着色324、以及虚拟对象321的阴影322和323。着色324可以通过着色渲染方案得到，阴影322和323可以通过阴影渲染方案得到。可以通过着色324与阴影322和323的融合形成渲染结果320。

可以将渲染结果320与输入图像310进行比较，并且可以根据比较结果(例如，它们之间的差异)来更新光估计模型。对于比较，可以将输入图像310中的预定区域(例如，对象区域)的像素数据与渲染结果320中的相应区域的像素数据进行比较。例如，可以将表示参考对象311的着色314和阴影312和313的像素数据与表示虚拟对象321的着色324和阴影322和323的像素数据分别逐像素地进行比较。例如，可以将表示着色314的像素数据与表示着色324的像素数据逐像素地进行比较，并且可以将表示阴影312和313的像素数据与表示阴影322和323的像素数据分别逐像素地进行比较。

图4示出了使用已知参考对象和已知参考平面进行训练的示例。参考图4，对象检测模型410可以从输入图像401中检测参考对象并生成对象检测结果402。对象检测模型410可以是预先训练以基于输入图像401生成对象检测结果402的机器学习模型(例如神经网络模型)。可以组合已知对象和已知平面以形成已知结构，并且可以捕获这种已知结构作为输入图像401中的参考对象。

对象检测结果402可以包括关于与参考对象相对应的对象区域的信息(例如对象区域的位置和大小)。关于与参考对象相对应的组合结构的信息可以预先存储在对象数据库430中。例如，可以存储组合结构的形状和材质。组合结构的形状和材质可以包括参考对象与参考平面的组合关系(例如组合点)、参考对象(例如球形部分结构)的形状和材质以及参考平面(例如平坦部分结构)的形状和材质。

可以基于对象检测结果402和对象数据库430来确定对象信息404和平面信息405。对象信息404可以包括参考对象的姿态、形状、材质中的任何一个或其任何两个或更多个的任何组合，平面信息405可以包括参考平面的姿态、形状、材质中的任何一个或其任何两个或更多个的任何组合。例如，可以基于对象检测结果402和/或组合关系来确定参考对象的姿态和/或参考平面的姿态，并且可以基于对象数据库403来确定参考对象的形状和材质和/或参考平面的形状和材质和/或参考平面的形状和材质。

光估计模型420可以估计与输入图像401相对应的光信息403。渲染模型440可以基于光信息403、对象信息404和平面信息405生成包括虚拟对象的渲染结果406。可以基于将输入图像401中的参考对象与渲染结果406中的虚拟对象进行比较的结果来训练光估计模型420。由于对象信息404和平面信息405提供了基于已知信息的诸如对象、着色、平面和阴影之类的线索的真实数据，因此一个或多个实施例的训练方法可以通过训练光估计模型420来减小参考对象与虚拟对象之间的差异，从而提高光信息403的准确性。

图5示出了使用已知参考对象和未知参考平面进行训练的示例。参考图5，对象检测模型510可以从输入图像501中检测参考对象并生成对象检测结果502。对象检测模型510可以是预先训练以基于输入图像501生成对象检测结果502的机器学习模型(例如神经网络模型)。可以捕获已知对象(例如已知的球形对象)作为输入图像501的参考对象。

对象检测结果502可以包括关于与参考对象相对应的对象区域的信息(例如对象区域的位置和大小)。关于参考对象的信息可以预先存储在对象数据库540中。例如，可以存储参考对象的形状和材质。

可以基于对象检测结果502和对象数据库540来确定对象信息503。对象信息503可以包括参考对象的姿态、形状、材质中的任何一个或其任何两个或更多个的任何组合。例如，可以基于对象检测结果502确定参考对象的姿态，并且可以基于对象数据库540确定参考对象的形状和材质。

平面检测模型520可以从输入图像501检测参考平面，并且基于平面检测结果生成平面信息504。平面检测模型520可以是预先训练以根据输入图像501生成平面检测结果的机器学习模型(例如神经网络模型)。平面信息504可以包括参考平面的姿态、形状和材质中的任何一个或其任何两个或更多个的任何组合。

光估计模型530可以估计与输入图像501相对应的光信息505。渲染模型550可以基于光信息505、对象信息503和平面信息504生成包括虚拟对象的渲染结果506。可以基于将输入图像501中的参考对象与渲染结果506中的虚拟对象进行比较的结果来训练光估计模型530。由于对象信息503和平面信息504提供了基于已知信息和平面检测的诸如对象、着色、平面和阴影之类的线索的真实数据，因此一个或多个实施例的训练方法可以通过训练光估计模型530来减小参考对象与虚拟对象之间的差异，从而提高光信息505的准确性。

图6示出了使用未知参考对象和未知参考平面进行训练的示例。参考图6，对象检测模型610可以从输入图像601中检测参考对象并生成对象检测结果602。对象检测模型610可以是预先训练以基于输入图像601生成对象检测结果602的机器学习模型(例如神经网络模型)。输入图像601可以包括未知参考对象和未知参考平面。换句话说，输入图像601可以是普通图像，并且可以通过网络、视频平台、图片社区等多种渠道来收集。

对象检测结果602可以包括关于与参考对象相对应的对象区域的信息(例如对象区域的位置和大小)。可以基于对象检测结果602生成代理对象。框640可以表示生成代理对象的操作。例如，代理对象可以是立方体、圆柱体、点云等。关于代理对象的信息可以预先存储在对象数据库中。例如，可以存储代理对象的形状和材质。

可以基于关于代理对象的信息来确定对象信息603。对象信息603可以包括代理对象的姿态、形状、材质中的任何一个或其任何两个或更多个的任何组合。例如，可以基于对象检测结果602确定代理对象的姿态，并且可以基于代理对象的形状和材质确定参考对象的形状和材质。换句话说，代理对象的形状和材质可以替代参考对象的形状和材质。使用已知代理对象的信息而不是确定未知目标对象的信息(形状、材质等)，对于渲染和训练可以更有效。在一些示例中，可以使用阴影。即使仅有诸如方向之类的粗略特征的信息，阴影也可以提供决定性的线索，因此使用代理对象可以更有效。

平面检测模型620可以从输入图像601检测参考平面，并且基于平面检测结果生成平面信息604。平面检测模型620可以是预先训练以根据输入图像601生成平面检测结果的机器学习模型(例如神经网络模型)。平面信息604可以包括参考平面的姿态、形状和材质中的任何一个或其任何两个或更多个的任何组合。

光估计模型630可以估计与输入图像601相对应的光信息605。渲染模型650可以基于光信息605、对象信息603和平面信息604生成包括虚拟对象的渲染结果606。渲染模型650可以渲染与代理对象相对应的虚拟对象、虚拟对象的着色和虚拟对象的阴影。可以基于将输入图像601中的参考对象与渲染结果606中的虚拟对象进行比较的结果来训练光估计模型630。参考对象和虚拟对象可以具有不同的形状和材质，但是可以通过使用代理对象和阴影来建议有意义的训练方向。

图7示出了阴影渲染的示例。可以通过光信息和可见性信息之间的融合来渲染虚拟对象的阴影。当参考对象和参考平面是已知的组合结构时，可以在预处理阶段710中预先确定可见性信息。然后，可见性信息可以在执行渲染的执行阶段720中与光信息相融合。通过预先确保可见性信息，可以减少渲染操作和时间。

参考图7，在操作711中，可以针对每个采样点对可见光线采样。可以在参考平面上定义采样点，并且可以为每个采样点定义在各个方向入射的可见光线。在操作712中，可以基于采样结果生成可见性图。

可见性图可以包括在多个采样点中的每一个处的可见光线的遮挡率。例如，如果参考对象在采样点处遮挡了光线的入射方向，则光线可以具有1.0的遮挡率。如果没有障碍物在采样点处遮挡另一条光线的入射，则该另一条光线可以具有0.0的遮挡率。遮挡率可以限定为介于1.0和0.0之间的值。然而，数值范围仅是示例，并且可以通过其他数值范围来限定遮挡率。

当在执行阶段720中提供输入图像时，在操作721中可以估计与输入图像相对应的光信息。可以通过光估计模型来估计光信息。在操作722中，可以基于光信息和可见性信息来执行操作。在操作723中，可以确定每个采样点处的阴影。更具体地，可以通过将参考平面的每个采样点处的可见性信息和光信息融合(例如相乘)来确定每个采样点处的阴影信息。

曲线图701可以表示一个采样点的光信息，曲线图702可以表示采样点的可见性信息，并且曲线图703可以表示将光信息和可见性信息相融合的结果。曲线图701至703是以采样点为中心的半球的横截面。在半球中，白色区域可以表示有光的区域，灰色区域可以表示没有光的区域。曲线图701可以表示在12点钟方向的预定范围中存在光照，并且曲线图702可以表示在1点钟方向的预定范围中存在障碍物(参考对象)。

当将曲线图701的光信息和曲线图702的可见性信息相融合，可以得到曲线图703的阴影信息。曲线图703的阴影信息可以表示光照区域的一部分被障碍物(参考对象)遮挡，并且在采样点处提供了来自另一区域的光。被遮挡的部分可以形成阴影。因此，当确定了每个采样点处的阴影信息时，在操作724中，可以通过将阴影信息投影到输入图像的捕获视图上来执行阴影渲染，从而可以确定渲染结果725。

图8示出了确定可见性图的示例。参考图8，可以组合参考对象810和参考平面820以形成已知结构。可以在参考平面820上定义采样点801，并且可以针对采样点801定义与多个入射方向相对应的可见光线802。而且，可以针对采样点801定义遮挡率表803。

可以在参考平面820上定义多个采样点，并且可以针对每个采样点定义遮挡率表803。遮挡率表803的每个元素可以表示预定入射方向的遮挡率。例如，遮挡率表803的中心可以与采样点801相对应，并且当从上方垂直观察采样点801时，各个元素的位置可以对应于各个入射方向。

根据采样点801在参考平面820上的位置和可见光线的入射方向，一个元素可以具有完全可见性，而另一个元素可以具有完全不可见性。例如，当表中的元素的遮挡率为0.4时，其表示与入射方向相对应的光线被障碍物(例如参考对象810)遮挡了0.4。可以预先计算所有采样点的遮挡率表803并存储为可见性图。如上所述，可以在模型训练之前的预处理步骤中计算可见性图，然后在模型训练步骤中使用。这可以减少阴影渲染所需的时间。

图9示出了训练方法的示例。参考图9，在操作910中，使用光估计模型估计与输入图像相对应的光信息。在操作920中，检测输入图像中的参考对象。在操作930中，确定参考对象的对象信息和支撑参考对象的参考平面的平面信息。在操作940中，基于光信息、对象信息和平面信息渲染虚拟对象。在操作950中，基于将参考对象和虚拟对象相比较的结果更新光估计模型。此外，参考图1至图8、图10和图11提供的描述可以应用于训练方法。

图10示出了训练装置和用户终端的示例。参考图10，训练装置1010可以训练光估计模型1001。光估计模型1001的至少一部分可以由硬件模块和/或软件模块来实现。训练装置1010可以执行参考图1至图9所描述的训练操作。

例如，训练装置1010可以使用光估计模型1001估计与输入图像相对应的光信息，检测输入图像中的参考对象，确定参考对象的对象信息和支撑参考对象的参考平面的平面信息，基于光信息、对象信息和平面信息渲染与参考对象相对应的虚拟对象，并基于将参考对象和虚拟对象相比较的结果来更新光估计模型1001。训练装置1010可以渲染虚拟对象的着色和虚拟对象的阴影，并将表示参考对象的着色和参考对象的阴影的像素数据与表示虚拟对象的着色和虚拟对象的阴影的像素数据进行比较。

当光估计模型1001的训练完成时，可以将光估计模型1001安装在用户终端1020中。用户终端1020可以使用光估计模型1001来估计与输入图像相对应的光信息，并使用光信息提供逼真的虚拟对象。例如，光信息可以应用于AR或CG中的虚拟对象。此外，参考图1至图9和图11提供的描述可以应用于训练装置1010、光估计模型1001和用户终端1020。

图11示出了电子设备的示例。参考图11，电子设备1100可以包括处理器1110、存储器1120、相机1130、存储设备1140、输入设备1150、输出设备1160和网络接口1170，它们可以通过通信总线1180彼此通信。例如，电子设备1100可以被实现为诸如移动电话、智能电话、PDA、上网本、平板计算机或膝上型计算机之类的移动设备，诸如智能手表、智能手环或智能眼镜之类的可穿戴设备，诸如台式电脑或服务器之类的计算设备，诸如电视机、智能电视或冰箱之类的家用电器，诸如门锁之类的安全设备，或诸如自动驾驶汽车或智能汽车之类的车辆中的至少一部分。电子设备1100在结构上和/或功能上可以包括图10的训练装置1010和/或用户终端1020。

处理器1110执行要在电子设备1100中执行的指令或功能。例如，处理器1110可以处理存储在存储器1120或存储设备1140中的指令。处理器1110可以执行通过图1至图10描述的一个或多个操作。存储器1120可以包括计算机可读存储介质或计算机可读存储设备。存储器1120可以存储将由处理器1110执行的指令，并且可以在电子设备1100执行软件和/或应用程序时存储相关信息。

相机1130可以捕获照片或视频。照片和/或视频可以形成用于光估计模型的输入图像。存储设备1140包括计算机可读存储介质或计算机可读存储设备。存储设备1140可以长时间地存储比存储器1120更大量的信息。例如，存储设备1140可以包括磁硬盘、光盘、闪存、软盘或本领域已知的其他非易失性存储器。

输入设备1150可以以传统的输入方式(通过键盘和鼠标)以及以新的输入方式(诸如触摸输入、语音输入和图像输入)接收来自用户的输入。例如，输入设备1150可以包括键盘、鼠标、触摸屏、麦克风或检测来自用户的输入并将检测到的输入发送到电子设备1100的任何其他设备。输出设备1160可以通过视觉、听觉或触觉通道向用户提供电子设备1100的输出。输出设备1160可以包括例如显示器、触摸屏、扬声器、振动发生器或向用户提供输出的任何其他设备。网络接口1170可以通过有线或无线网络与外部设备进行通信。

光估计装置、对象数据库、训练装置、用户终端、处理器、存储器、相机、存储设备、输入设备、输出设备、网络接口、通信总线、光估计装置100、对象数据库430、对象数据库540、训练装置1010、用户终端1020、处理器1110、存储器1120、相机1130、存储设备1140、输入设备1150、输出设备1160、网络接口1170、通信总线1180以及本文描述的关于图1至图11的其他装置、单元、模块、设备和组件由硬件组件实现，或代表硬件组件。在适当的情况下可用于执行本申请中所描述的操作的硬件组件的示例包括控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器、以及被配置为执行本申请所述的操作的任何其他电子组件。在其他示例中，用于执行本申请中所描述的操作的一个或多个硬件组件由计算硬件(例如，由一个或多个处理器或计算机)实现。处理器或计算机可以由一个或多个处理元件(例如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器、或被配置为以定义的方式响应并执行指令以实现期望的结果的任何其他设备或设备的组合)来实现。在一个示例中，处理器或计算机包括(或连接到)存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可以执行指令或软件，例如，操作系统(OS)和在OS上运行的一个或多个软件应用，以执行本申请中描述的操作。硬件组件还可以响应于指令或软件的执行来访问、操纵、处理、创建和存储数据。为了简洁起见，在本申请中描述的示例的描述中可以使用单数术语“处理器”或“计算机”，但是在其他示例中可以使用多个处理器或计算机，或者处理器或计算机可以包括多个处理元件、或多种类型的处理元件、或两者兼有。例如，单个硬件组件或者两个或更多个硬件组件可以由单个处理器、或两个或更多个处理器、或者处理器和控制器来实现。一个或多个硬件组件可以由一个或多个处理器、或处理器和控制器来实现，并且一个或多个其他硬件组件可以由一个或多个其他处理器或另一处理器和另一控制器来实现。一个或多个处理器或者处理器和控制器可以实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可以具有不同的处理配置中的任一种或多种，所述处理配置的示例包括单处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理、和多指令多数据(MIMD)多处理。

执行本申请中所描述的操作的图1至图11中所示出的方法由计算硬件执行，例如由一个或多个处理器或计算机执行，其中计算硬件如上所述地实现为执行指令或软件以执行本申请中所描述的由这些方法执行的操作。例如，单个操作或者两个或更多个操作可以由单个处理器、或者两个或更多个处理器、或者处理器和控制器执行。一个或多个操作可以由一个或多个处理器或者处理器和控制器执行，并且一个或多个其他操作可以由一个或多个其它处理器或者另一处理器和另一控制器执行。一个或多个处理器或者处理器和控制器可以执行单个操作或者两个或更多个操作。

用于控制计算硬件(例如，一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件可以被编写为计算机程序、代码段、指令或其任何组合，用于单独或共同指示或配置一个或多个处理器或计算机以作为机器或专用计算机操作从而执行由上述硬件组件和方法执行的操作。在一个示例中，指令或软件包括由一个或多个处理器或计算机直接执行的机器代码，例如由编译器产生的机器代码。在另一个示例中，指令或软件包括由一个或多个处理器或计算机使用解释器执行的更高级的代码。可以基于附图中所示出的框图和流程图以及说明书中的对应的描述(其公开了用于执行由硬件组件执行的操作和如上所述的方法的算法)，使用任何编程语言来编写指令或软件。

用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构可以被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中或其上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态驱动器(SSD)、闪存、卡类型的存储器(比如，多媒体卡或微型卡(例如，安全数字(SD)或极限数字(XD)))、磁带、软盘、磁光数据存储设备、光学数据存储设备、硬盘、固态盘以及任何其他设备，所述任何其他设备被配置为以非暂时性方式存储指令或软件以及任何相关数据、数据文件和数据结构，并且向一个或多个处理器或计算机提供指令或软件以及任何相关数据、数据文件和数据结构，使得一个或多个处理器或计算机可以执行所述指令。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得一个或多个处理器或计算机以分布方式存储、访问和执行所述指令和软件以及任何相关联的数据、数据文件和数据结构。

尽管本公开包括特定示例，但是在理解了本申请的公开内容之后将显而易见的是，在不脱离权利要求及其等同物的精神和范围的情况下，可以对这些示例进行形式和细节上的各种改变。本文描述的示例应仅被认为是描述性的，而不是为了限制的目的。每个示例中的特征或方面的描述被认为适用于其他示例中的类似特征或方面。如果所描述的技术以不同的顺序执行和/或如果所描述的系统、架构、设备或电路中的组件以不同的方式组合和/或被其他组件或其等同物替换或补充，则可以实现合适的结果。

Claims (27)

1.一种处理器实现的用于光估计的方法，包括：

使用光估计模型估计与输入图像相对应的光信息；

检测所述输入图像中的参考对象；

确定所述参考对象的对象信息和支撑所述参考对象的参考平面的平面信息；

基于所述光信息、所述对象信息和所述平面信息渲染与所述参考对象相对应的虚拟对象；以及

通过基于将所述参考对象与所渲染的虚拟对象相比较的结果更新所述光估计模型，来训练所述光估计模型。

2.根据权利要求1所述的方法，其中，所述渲染包括渲染所述虚拟对象的着色和所述虚拟对象的阴影。

3.根据权利要求1所述的方法，其中，所述比较的结果包括：将表示所述参考对象的着色和所述参考对象的阴影的像素数据与表示所述虚拟对象的着色和所述虚拟对象的阴影的像素数据相比较的结果。

4.根据权利要求1所述的方法，其中，

所述对象信息包括所述参考对象的姿态、形状、材质中的任何一个或任何两个或更多个的任何组合，并且

所述平面信息包括所述参考平面的姿态、形状、材质中的任何一个或任何两个或更多个的任何组合。

5.根据权利要求1所述的方法，其中，所述确定包括：响应于所述参考对象被确定为已知对象，使用对象数据库确定所述对象信息的至少一部分。

6.根据权利要求1所述的方法，其中，所述确定包括：响应于所述参考对象和所述参考平面被确定为已知的组合结构，使用对象数据库确定所述对象信息和所述平面信息的至少一部分。

7.根据权利要求6所述的方法，其中，将与所述参考对象相对应的球形部分结构和与所述参考平面相对应的平坦部分结构相组合，以形成所述组合结构。

8.根据权利要求1所述的方法，其中，所述确定包括：响应于所述参考平面被确定为未知平面，通过检测所述输入图像中的所述参考平面确定所述平面信息。

9.根据权利要求1所述的方法，其中所述确定包括：响应于所述参考对象被确定为未知对象，基于预定代理对象的信息确定所述对象信息。

10.根据权利要求1所述的方法，其中，所述渲染包括：

通过将所述参考平面的每个采样点的光信息和可见性信息相融合来确定每个采样点的阴影信息；以及

通过将所述参考平面的每个采样点的所述阴影信息投影到所述输入图像的捕获视图，来渲染所述虚拟对象的阴影。

11.根据权利要求10所述的方法，其中，响应于所述参考对象和所述参考平面被确定为已知的组合结构，预先确定所述可见性信息以渲染所述组合结构的阴影。

12.根据权利要求1所述的方法，其中，所述更新包括：更新所述光估计模型以减小所述参考对象和所述虚拟对象之间的差异。

13.根据权利要求1所述的方法，还包括：

获取另一图像；以及

使用经训练的光估计模型估计与所述另一图像相对应的光信息。

14.一种存储指令的非暂时性计算机可读存储介质，当所述指令由一个或多个处理器执行时，将所述一个或多个处理器配置为执行权利要求1所述的方法。

15.一种用于光估计的装置，包括：

一个或多个处理器，被配置为：

使用光估计模型估计与输入图像相对应的光信息；

检测所述输入图像中的参考对象；

确定所述参考对象的对象信息和支撑所述参考对象的参考平面的平面信息；

基于所述光信息、所述对象信息和所述平面信息渲染与所述参考对象相对应的虚拟对象；以及

通过基于将所述参考对象与所渲染的虚拟对象相比较的结果更新所述光估计模型，来训练所述光估计模型。

16.根据权利要求15所述的装置，其中，

对于所述渲染，所述一个或多个处理器还被配置为渲染所述虚拟对象的着色和所述虚拟对象的阴影，并且

所述比较的结果包括：将表示所述参考对象的着色和所述参考对象的阴影的像素数据与表示所述虚拟对象的着色和所述虚拟对象的阴影的像素数据相比较的结果。

17.根据权利要求16所述的装置，其中，对于所述渲染，所述一个或多个处理器还被配置为：

通过将所述参考平面的每个采样点的光信息和可见性信息相融合来确定每个采样点的阴影信息；以及

通过将所述参考平面的每个采样点的所述阴影信息投影到所述输入图像的捕获视图，来渲染所述虚拟对象的阴影。

18.根据权利要求15所述的装置，其中，对于所述确定，所述一个或多个处理器还被配置为基于预定代理对象的信息来确定所述对象信息。

19.根据权利要求15所述的装置，其中，对于所述更新，所述一个或多个处理器还被配置为更新所述光估计模型以减小所述参考对象与所述虚拟对象之间的差异。

20.一种电子设备，包括：

相机，被配置为生成输入图像；以及

一个或多个处理器，被配置为：

使用光估计模型估计与所述输入图像相对应的光信息；

检测所述输入图像中的参考对象；

确定所述参考对象的对象信息和支撑所述参考对象的参考平面的平面信息；

基于所述光信息、所述对象信息和所述平面信息渲染与所述参考对象相对应的虚拟对象、所述虚拟对象的着色和所述虚拟对象的阴影；以及

通过基于将表示所述参考对象的着色和所述参考对象的阴影的像素数据与表示所渲染的虚拟对象的着色和所渲染的虚拟对象的阴影的像素数据相比较的结果更新所述光估计模型，来训练所述光估计模型。

21.根据权利要求20所述的设备，其中，对于所述确定，所述一个或多个处理器还被配置为基于预定代理对象的信息来确定所述对象信息。

22.一种处理器实现的用于光估计的方法，包括：

获取预定图像；以及

使用经训练的光估计模型估计与所述预定图像相对应的预定光信息，

其中，训练所述光估计模型包括：通过使用光估计模型估计与输入图像相对应的光信息，检测所述输入图像中的参考对象，确定所述参考对象的对象信息和支撑所述参考对象的参考平面的平面信息，基于所述光信息、所述对象信息和所述平面信息渲染与所述参考对象相对应的虚拟对象，以及基于将所述参考对象与所述虚拟对象相比较的结果来更新所述光估计模型。

23.根据权利要求22所述的方法，还包括：

基于所述预定光信息，渲染与所述预定图像中的预定参考对象相对应的预定虚拟对象；以及

将所述预定虚拟对象叠加到所述预定图像上以生成增强现实AR。

24.一种处理器实现的用于光估计的方法，包括：

使用光估计模型估计与输入图像相对应的光信息；

基于存储信息是否对应于所述输入图像中的参考对象来确定所述参考对象的信息；

基于所述光信息和所述参考对象的所述信息来渲染与所述参考对象相对应的虚拟对象；以及

通过将所述参考对象与所渲染的虚拟对象相比较以更新所述光估计模型来训练所述光估计模型。

25.根据权利要求24所述的方法，其中，

所述存储信息包括预定对象的信息，以及

所述确定包括：响应于所述参考对象对应于所述预定对象，将所述存储信息确定为所述参考对象的所述信息。

26.根据权利要求24所述的方法，其中，所述确定包括：响应于所述存储信息对应于所述参考对象，将所述存储信息确定为所述参考对象的所述信息。

27.根据权利要求24所述的方法，其中，所述参考对象的所述信息包括所述参考对象的对象信息和支撑所述参考对象的参考平面的平面信息中的一者或两者。

Images