CN112106115A - 估计用于增强现实的光的方法及其电子设备 - Google Patents

Abstract

提供了用于操作用于呈现增强现实对象的电子设备的方法。该方法包括：获取待在其中显示增强现实虚拟对象的环境的至少一个第一图像；基于所获取的至少一个第一图像获取环境纹理；通过识别包括具有大于阈值的亮度值的像素的至少一个簇来识别至少一个第二图像中的至少一个光源；基于像素在至少一个簇内的位置来确定至少一个光源的位置；基于所获取的环境纹理和所确定的至少一个光源的位置来呈现增强现实虚拟对象，并在电子设备的显示器上显示所呈现的增强现实虚拟对象。

Description

估计用于增强现实的光的方法及其电子设备

技术领域

本公开涉及呈现增强现实对象。更具体地，本公开涉及用于呈现增强现实对象的方法和装置。

背景技术

增强现实是指计算机生成的对象被叠加在用户真实世界的视图上，从而提供用户可以通过其观看并与对象交互的复合视图的过程。为了提供更真实的复合视图，有必要将所呈现的对象的外观与周围的真实世界环境紧密匹配。为此，已经开发了计算机视觉和计算机图形算法，其试图估计所呈现的对象将被置于其中的真实世界环境中的照明条件，以产生更令人信服的结果。现有的光估计技术可以被分类为近似技术和外推技术。

近似技术是使用所选择的相机系统来记录环境的那些技术，所述相机系统例如是配备有直线或鱼眼镜头的红绿蓝(RGB)或RGB深度(RGB-D)相机，并且仅基于该信息来近似环境的照明。这些技术倾向于依赖于某些假设，例如漫射光在空间上缓慢变化。

外推技术倾向于使用机器学习算法从一个或多个图像推断特定环境中的光，所述机器学习算法已经被训练以在多个条件下估计光。这些技术的最终结果取决于训练数据的质量，并且通常可以获得优于近似技术的结果。然而，外推技术的缺点包括训练模型所需的大量离线处理，以及与大多数近似技术相比更高的运行时间成本。

上述信息仅作为背景信息来呈现，以帮助理解本公开。关于以上内容中的任何内容是否可应用为关于本公开的现有技术，没有作出任何决定，也没有作出任何断言。

发明内容

问题的解决方案

本公开的方面是解决至少上述问题和/或缺点，并提供至少下述优点。因此，本发明的一个方面是提供一种用于增强现实呈现的方法和装置。

另外的方面将部分地在随后的描述中阐述，并且部分地将从描述中显而易见，或者可以通过实践所呈现的实施方式来获知。

根据本公开的一些实施方式，提供了用于操作用于呈现增强现实对象的电子设备的方法。该方法包括：获取待在其中显示增强现实虚拟对象的环境的至少一个第一图像；基于所获取的至少一个第一图像获取环境纹理；通过识别包括具有大于阈值的亮度值的像素的至少一个簇来识别至少一个第二图像中的至少一个光源；基于像素在至少一个簇中的位置来确定至少一个光源的位置；基于所获取的环境纹理和所确定的至少一个光源的位置来呈现增强现实虚拟对象，并在电子设备的显示器上显示所呈现的增强现实虚拟对象。

根据本公开的一些实施方式，获取环境的至少一个第一图像包括获取第一直线图像和第二直线图像，并且获取环境纹理包括根据球面投影使第一直线图像和第二直线图像变形。

根据本公开的一些实施方式，获取环境的至少一个第一图像包括获取被获取的以被显示在与头戴式显示器(HMD)设备对应的电子设备的显示器上图像，并且获取环境纹理包括使获取的图像变形。

根据本公开的一些实施方式，识别至少一个光源包括：基于识别出至少一个第二图像中的第一像素的亮度值大于阈值，向第一像素设置第一值；以及基于识别出至少一个第二图像中的第二像素的亮度值小于阈值，向第二像素设置第二值。

根据本公开的一些实施方式，确定至少一个光源的位置包括识别至少一个簇中的每个簇中的像素的几何中心点，以及将该几何中心点设置为至少一个光源中的每个光源的位置。

根据本公开的一些实施方式，该方法还包括基于至少一个簇中的每个簇中的像素的数量来确定至少一个光源中的两个或更多个光源的相对强度，与具有更多像素的簇相对应的一个光源被确定为具有比与具有更少像素的簇相对应的另一个光源更高的强度。

根据本公开的一些实施方式，至少一个第二图像包括基于至少一个第一图像获取的环境纹理。

根据本公开的一些实施方式，该方法还包括基于比至少一个第一图像低的曝光设置来获取至少一个第二图像。

根据本公开的一些实施方式，识别至少一个光源包括：基于对象在所获取的图像中的阴影的方向，阴影的大小，或与除至少一个光源之外的对象相关联的像素的亮度值中的至少一个，来识别环境中的光源之中存在于所获取的图像之外的光源的位置。

根据本公开的一些实施方式，提供了用于呈现增强现实对象的电子设备。该电子设备包括显示器、图像传感器、联接到显示器和图像传感器的至少一个处理器以及联接到至少一个处理器的存储器。存储器包括指令，该指令可由至少一个处理器执行并配置成使至少一个处理器使用图像传感器获取待在其中显示增强现实虚拟对象的环境的至少一个第一图像，通过识别包括具有大于阈值的亮度值的像素的至少一个簇来识别至少一个第二图像中的至少一个光源，基于像素在至少一个簇中的位置来确定至少一个光源的位置，基于所获取的环境纹理和所确定的至少一个光源的位置来呈现增强现实虚拟对象，并且在显示器上显示所呈现的增强现实虚拟对象。

根据本公开的一些实施方式，为了获取环境的至少一个第一图像，至少一个处理器还配置成通过使用图像传感器获取第一直线图像和第二直线图像。此外，为了获取环境纹理，至少一个处理器还配置成根据球形投影使第一直线图像和第二直线图像变形。

根据本公开的一些实施方式，为了获取环境的至少一个第一图像，至少一个处理器还配置成通过使用图像传感器来获取被获取以被显示在与头戴式显示(HMD)设备对应的电子设备的显示器上的图像。此外，为了获取环境纹理，至少一个处理器还配置成使所获取的图像变形。

根据本公开的一些实施方式，为了识别至少一个光源，至少一个处理器还配置成基于识别出至少一个第二图像中的第一像素的亮度值大于阈值而向第一像素设置第一值，以及基于识别出至少一个第二图像中的第二像素的亮度值小于阈值而向第二像素设置第二值。

根据本公开的一些实施方式，为了确定至少一个光源的位置，至少一个处理器还配置成识别至少一个簇中的每个簇中的像素的几何中心点，并将该几何中心点设定为至少一个光源中的每个光源的位置。

根据本公开的一些实施方式，至少一个处理器还配置成基于至少一个簇中的每个簇中的像素的数量来确定至少一个光源中的两个或更多个光源的相对强度，且对应于具有更多像素的簇的一个光源被确定为具有比对应于具有更少像素的簇的另一光源更高的强度。

根据本公开的一些实施方式，至少一个第二图像包括基于至少一个第一图像获取的环境纹理。

根据本公开的一些实施方式，至少一个处理器还配置成基于比至少一个第一图像低的曝光设置来获取至少一个第二图像。

根据本公开的一些实施方式，为了识别至少一个光源，至少一个处理器还配置成基于对象在所获取的图像中的阴影的方向，阴影的大小或与除至少一个光源之外的对象相关联的像素的亮度值中的至少一个来识别环境中的光源之中的存在于所获取的图像之外的光源的位置。

根据本公开的一些实施方式，提供了计算机程序产品。该计算机程序产品包括计算机程序指令，计算机程序指令在被执行时执行以下方法，该方法包括：获取待在其中显示增强现实虚拟对象的环境的至少一个第一图像；基于所获取的至少一个第一图像获取环境纹理；通过识别包括具有大于阈值的亮度值的像素的至少一个簇来识别至少一个第二图像中的至少一个光源；基于像素在至少一个簇中的位置来确定至少一个光源的位置，基于所获取的环境纹理和所确定的至少一个光源的位置来呈现增强现实虚拟对象，并且在电子设备的显示器上显示所呈现的增强现实虚拟对象。

根据本公开的一些实施方式，提供了被布置成存储计算机程序产品的至少一个非暂时性计算机可读存储介质。计算机程序产品包括计算机程序指令，计算机程序指令在被执行时执行以下方法，该方法包括：获取待在其中显示增强现实虚拟对象的环境的至少一个第一图像；基于所获取的至少一个第一图像获取环境纹理；通过识别包括具有大于阈值的亮度值的像素的至少一个簇来识别至少一个第二图像中的至少一个光源；基于像素在至少一个簇中的位置来确定至少一个光源的位置，基于所获取的环境纹理和所确定的至少一个光源的位置来呈现增强现实虚拟对象，并且在电子设备的显示器上显示所呈现的增强现实虚拟对象。

根据结合附图公开了本公开的各种实施方式的以下详细描述，本公开的其它方面、优点和显著特征对于本领域技术人员将变得显而易见。

附图说明

根据结合附图的以下描述，本公开的某些实施方式的以上和其他方面、特征和优点将变得更加显而易见，在附图中：

图1示出了根据本公开的实施方式的球形视场的等效二维(2D)表示；

图2是示出根据本公开的实施方式的呈现增强现实对象的方法的流程图；

图3是示出根据本公开的实施方式的组合图像以获取环境纹理的方法的流程图；

图4示意性地示出了根据本公开的实施方式捕获的第一捕获图像；

图5示意性地示出了根据本公开的实施方式捕获的第二捕获图像；

图6示意性地示出了根据本公开的实施方式的通过组合第一图像和第二图像而获取的环境纹理；

图7是示出根据本公开的实施方式的确定一个或多个光源的位置的方法的流程图；

图8示意性地示出了根据本公开的实施方式的用于呈现增强现实对象的装置；

图9示出了根据本公开的实施方式的包括多个光源的环境的图像；

图10示出了根据本公开的实施方式的在模糊之后包括多个光源的环境的图像；以及

图11示出了根据本公开的实施方式的在阈值处理之后包括多个光源的环境的图像。

在所有附图中，相同的附图标记将被理解为表示相同的部分、部件和结构。

具体实施方式

提供参考附图的以下描述以帮助全面理解如由权利要求书及其等同方案限定的本公开的各种实施方式。它包括帮助理解的具体细节，但是这些仅被认为是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施方式进行各种改变和修改。此外，为了清楚和简洁起见，可以省略对众所周知的功能和构造的描述。

在以下说明书和权利要求中使用的术语和词语不限于书面含义，而是仅由发明人使用以使得能够清楚和一致地理解本公开。因此，对本领域的技术人员来说显而易见的是，提供本公开的各种实施方式的以下描述仅仅是为了说明的目的，而不是为了限制由所附权利要求及其等同方案限定的本公开。

应当理解，除非上下文另有明确规定，否则单数形式“一”、“一个”和“该”包括复数指代物。因此，例如，提及“部件表面”包括提及一个或多个这样的表面。

图1示出了根据本公开的实施方式的球球形视场的等效二维(2D)表示。

参照图1，可以基于表示对象周围环境的环境纹理来呈现增强现实对象。环境纹理可以表示以用户当前位置为中心的球形视场。环境纹理可以以各种格式存储，如图1所示，其示出了根据本公开的实施方式的球形视场的等效2D表示。球形视场(也可以被称为360度视场)可以被分成前视场、后视场、顶部视场、底部视场、左视场和右视场。

在单位球体表示中，图像数据的像素在三维坐标系中被索引，所述三维坐标系定义虚拟球体110的表面上的每个像素的位置。用于球形视场的图像数据也可以以各种2D格式表示，例如立方地图投影120和等矩形投影130。在立方地图投影120中，虚拟立方体的每一面的像素数据可存储为跨越90°×90°视场的2D图像。在等矩形投影130中，像素数据被存储为跨越360°×180°视场的单个2D图像。在图1中，标记“顶部”、“底部”、“前”、“后”、“左”和“右”表示像素数据在每个等效投影中的相应区域。

图2是示出根据本公开的实施方式的呈现增强现实对象的方法的流程图。

参照图2，在操作S201处，电子设备可以捕获要在其中显示增强现实虚拟对象的环境的第一图像和第二图像。在本公开的实施方式中，可以使用电子设备的前置摄像头来捕获第一图像，并且可以使用电子设备的后置摄像头来捕获第二图像。例如，由于许多现代电子设备(例如智能电话或平板计算机)包括前置摄像头和后置摄像头，因此可以使用电子设备中常见的硬件来获取第一图像和第二图像。然而，可以使用任何图像捕获设备来捕获第一图像和/或第二图像。

接下来，在操作S202处，电子设备可以组合第一图像和第二图像以获取环境纹理。在本公开的实施方式中，当从前置摄像头和后置摄像头两者捕获第一和第二图像时，可以组合图像以获取相对完整的环境纹理。例如，由于周围环境的大部分对于前置摄像头或后置摄像头(例如，在视场内)将是可见的，所以第一和第二图像可以捕获周围环境，使得可以在所获取的环境纹理中表示电子设备周围的环境。

在操作S203处，电子设备可以确定与电子设备周围的环境相关联的一个或多个光源的位置。例如，可以通过分析环境的图像以检测或识别一个或多个光源来确定光源在环境内的位置。根据本公开的实施方式，可以通过分析用于获取环境纹理的相同图像(例如，第一图像和第二图像)或者通过分析环境的其它图像来确定一个或多个光源的位置。

在操作S204，电子设备可以基于所获取的环境纹理和所确定的一个或多个光源的位置来呈现增强现实虚拟对象。通过同时考虑周围环境纹理和一个或多个光源的位置，可以以更令人信服的方式呈现对象，使得所呈现的对象的外观与围绕电子设备的当前环境中的实际照明条件紧密匹配。在本公开的实施方式中，所呈现的增强现实虚拟对象然后可以与电子设备周围的环境的图像组合以获取包括所呈现的对象的合成图像。在本公开的一些实施方式中，电子设备还可以被配置为显示所获取的合成图像。

根据本公开的实施方式，电子设备可以作为头戴式显示器(HMD)设备来操作。电子设备可以获取包括在抬头显示器(HUD)上显示的环境中的区域的图像。电子设备可以从所获取的显示在HUD上的图像获取环境纹理。电子设备可以基于所获取的图像来确定一个或多个光源的位置。例如，可以基于与被识别为存在于所获取的图像中的一个或多个光源有关的参数来确定光源的位置和/或主方向，所述参数诸如与每个光源相关联的亮度值，每个光源的大小等。此外，基于以下参数来确定在环境中存在的光源中不直接存在于所获取的图像内的光源的位置。例如，通过识别所获取的图像中除了光源之外的对象的阴影的方向，可以识别阴影的大小、和/或对象的亮度、在所获取的图像中不存在的一个或多个光源的位置、大小、和/或亮度。此外，在识别上述参数的同时，可以一起识别在所获取的图像中和在所获取的图像中不存在的每个光源的颜色。电子设备可以基于所获取的环境纹理和基于与每个光源相关联的位置、方向、亮度和/或颜色来识别的一个或多个光源来呈现增强的现实虚拟对象。

现在将参考图3至图6描述组合图像以获取环境纹理的方法。

图3是示出根据本公开的实施方式的组合图像以获取环境纹理的方法的流程图。尽管对图3至图6的描述涉及使用电子设备的前置摄像头和后置摄像头捕获的图像，但是可以使用任何图像捕获设备来捕获图像。

在本公开的实施方式中，在图2的操作S202，可以使用图3所示的方法。在本发明的另一实施方式中，电子设备(例如，电子设备800)可执行组合图像以获取环境纹理的方法。

图4示意性地示出了根据本公开的实施方式的使用前置摄像头捕获的第一图像。

图5示意性地示出了根据本公开的实施方式的使用后置摄像头捕获的第二图像。

图6示意性地示出了根据本公开的实施方式通过组合第一图像和第二图像而获取的环境纹理。

如上所述，第一图像和第二图像可以使用电子设备中的前置摄像头和后置摄像头来捕获。在一些电子设备中，前置摄像头和后置摄像头中的一个或两个能够捕获全180度的视场，例如使用合适的广角镜头，例如鱼眼镜头。在这样的实施方式中，可以以很少的后处理或不进行后处理来将所得到的图像直接复制到等矩形环境纹理中。

然而，在许多电子设备中，前置摄像头和后置摄像头可能仅能够捕获直线图像，使得第一图像和第二图像中的一个或两个可以是直线图像。例如，许多智能电话中的集成相机配备有直线镜头，这意味着光被捕获到平面上。第一直线图像401和第二直线图像501的示例在图4和图5中示出。参照图4，第一图像401是用前置摄像头捕获的室内环境的直线图像。第一图像401包括地板411、墙壁412、天花板413和第一前景对象414。参照图5，第二图像501是用后置摄像头捕获的同一室内环境的直线图像。第二图像501包括地板511、墙壁512、天花板513和第二前景对象514。由于直线图像包括小于180度的视场，所以地板411、511，墙壁412、512和天花板413、513的不同区域在每个图像401、501中可见。

在第一图像和第二图像中的一个或两个是直线图像的一些实施方式中，当生成环境纹理时，可以对直线图像应用后处理。后处理操作可以补偿所捕获的第一图像和第二图像不是在360度环境纹理中使用的正确格式的事实，并且可以估计在第一图像或第二图像中不可见的环境区域的纹理信息。

参照图3，在操作S301处，电子设备可以根据球形投影使直线第一图像401和/或直线第二图像501变形。图6示出了通过组合图5的直线第一图像401和图6的直线第二图像501各自的变形版本而获取的等矩形环境纹理601的示例。在第一图像和第二图像中的一个包括180度视场(例如鱼眼图像)的一些实施方式中，变形可能只需要被应用到第一图像和第二图像中的另一个上，即第一图像和第二图像中的一个直线图像。在操作S301处应用的变形可以被配置为将直线图像401和501投影到围绕用户的虚拟球体的表面上。例如，以用于捕获第一图像401和第二图像501的电子设备为中心的球体。变形图像401和501然后被并排接合以获取等矩形环境纹理601的近似，如图6所示。

在操作S302处，电子设备可以融合第一图像和第二图像的边缘。用于创建环境纹理的第一图像401和第二图像501的相邻边缘通过混合来自两个图像的信息来融合。具体地，变形的第一图像401和第二图像501在等矩形环境纹理中并排布置，并且在环境纹理601的任一侧的垂直区域中并沿着两个图像401、501相遇的垂直中心线混合来自两个图像的信息。由于第一图像401和第二图像501中的每一个都覆盖小于180度的视场，因此根据图像内捕获的场景，在没有融合的情况下并排地接合图像可能由于图像之间的盲点而导致不连续性。融合第一图像401和第二图像501的相邻边缘可以帮助柔化图像401、501之间的过渡，并减少由于不连续而引起的视觉伪像的突出。

在操作S303处，电子设备可以从第一图像和/或第二图像生成纹理映射(mipmap)。在操作S304处，电子设备可以基于较低分辨率的纹理映射图像获取环境纹理的未填充区域的纹理信息。

参照图6，近似等矩形环境纹理601可以包括在变形的第一图像401和第二图像501的角落附近的多个未填充区域611。在图6中，使用阴影线阴影示出了多个未填充区域611。由于变形的第一图像和第二图像仅部分地填充环境纹理的各个相应区域，因此出现了多个未填充区域611。这是因为等矩形环境纹理601表示全360度的视场，而每个直线图像401、501的视场小于180度而发生的。因此，图6中的多个未填充区域611构成环境中的盲点，这些盲点对于前置摄像头或后置摄像头是当前不可见的。

根据本公开的实施方式，基于第一图像401和第二图像501中的一个的较低分辨率版本来估计环境纹理601的多个未填充区域611的缺失纹理信息。例如，参考图6，可以根据第二图像501的较低分辨率版本来估计在等矩形环境纹理601的右下角的多个未填充区域611的纹理信息。在本实施方式中，根据第一图像401和第二图像501中的每一个生成包括多个较低分辨率版本的纹理映射。在纹理映射中，原始图像的每个版本可以具有是先前纹理映射级别中的图像的高度和宽度的一半的高度和宽度。

可以将较低分辨率版本放大到比原始图像大的尺寸，然后可以将相同的变形应用于放大的低分辨率图像。通过增加图像的尺寸，变形的低分辨率版本大于变形的原始版本，因此图像内的对象占据环境纹理601的包括多个未填充区域611的较大区域。然后，来自变形的低分辨率版本的像素数据可用于填充多个未填充区域611中的缺失纹理信息，如上所述，未填充区域611是未被原始变形图像填充的区域。

使用原始图像401、501的放大的低分辨率版本来填充丢失的纹理信息具有使多个未填充区域611中的特征模糊的效果。然而，在等矩形投影中，靠近视场的顶部和底部的对象相对于靠近水平中心线的对象看起来是拉伸的和伸长的。因此，使用放大的低分辨率版本可以模拟在等矩形投影中自然出现的变形。此外，多个未填充区域611中的空间信息的丢失可能对最终呈现产品不具有显著影响，因为在呈现过程期间将自动压缩远离中心轴的纹理信息。

根据本公开的实施方式，获取未填充的纹理信息可以包括基于相应的第一图像401或第二图像501的多个较低分辨率版本，获取在距变形的第一图像401和/或第二图像501的中心不同距离处的多个未填充区域的纹理信息。例如，当使用纹理映射时，用于不同纹理映射级别的图像可以用于估计在距图像中心不同距离处的缺失纹理信息。用于获取纹理信息的版本的分辨率可以随着距中心的距离的增加而逐渐减小。

尽管在本公开的实施方式中使用了纹理映射，但是根据本公开的实施方式，可以将第一图像401或第二图像501转换为用于获取丢失纹理信息的任意较低分辨率，而不是生成纹理映射。

根据本公开的实施方式，电子设备可以作为HMD操作。电子设备可以获取包括在HUD上显示的环境中的区域的图像。为了获取环境纹理，电子设备可以通过使用获取的要显示在HUD上的单个图像来执行图3中描述的操作。根据本公开的实施方式，可以省略操作S302。

图7是示出根据本公开的实施方式的确定一个或多个光源的位置的方法的流程图。图7中所示的流程图是可以在图2的操作S203中使用的一种方法的示例。

参照图7，在操作S701处，电子设备可以获取环境的阈值图像。例如，为了获取环境的阈值图像，可以对环境的图像应用阈值处理。这里，阈值处理指的是这样的过程，由此将原始图像中的像素设置为具有基于阈值亮度值的两个值中的一个(例如，以创建二进制图像)。例如，如果原始图像中的像素的亮度值低于某个阈值，则可以将该像素分配为黑色像素。相反，如果原始图像中的像素的亮度值落在阈值之上，则可以将该像素分配为白色像素。在本公开的实施方式中，如果原始图像是彩色图像，则在应用阈值处理之前，可以首先将图像转换为灰度图。

在本公开的实施方式中，阈值可以是在所有情况下应用的固定阈值。然而，固定阈值不考虑当前环境中的实际照明水平，并且可能丢失光源或产生错误的正值。在本公开的另一个实施方式中，可以使用自适应阈值，例如通过使用Otsu的方法来处理整个图像以基于图像的颜色特性找到适当的阈值。

根据本公开的实施方式，在阈值处理之前对图像应用模糊滤波器。模糊输入图像去除高频，并且通过放大模糊图像中的每个光源，使得更容易检测光源。模糊还可以导致多个紧密间隔的光源被合并成单个像素簇。这转而可以允许将该组紧密间隔的光源建模为单个光源，这仍然可以在简化呈现过程的同时提供关于最终输出图像的可接受的近似。

图9示出了根据本公开的实施方式的包括多个光源的环境的图像。图10示出了根据本公开的实施方式的包括模糊之后的多个光源的环境的图像，并且图11示出了根据本公开的实施方式的包括阈值处理之后的多个光源的环境的图像。

参照图9，环境901可以包括多个光源911、912和913。在本公开的实施方式中，多个光源911、912、913中的每一个可以与地点或位置和/或强度或亮度水平相关联。

参照图10，可以通过使包括多个光源的环境的图像(例如图9的图像901)模糊来获取模糊图像1001。参照图11，可以通过对包括多个光源的环境的模糊图像(例如图10的图像1001)应用阈值处理来获取图像1101。

参照图7，在操作S702处，电子设备可以将具有大于所应用的阈值的亮度值的像素簇识别为光源。根据本公开的实施方式，可以为每个簇定义单独的光源，或者可以将多个紧密间隔的簇合并到单个光源中以简化呈现过程。可以基于图像中的相应簇的位置来给每个光源分配空间坐标。例如，每个簇中的亮像素的几何中心被用作相应光源1111、1112、1113的位置，如图11所示。

在操作S703处，电子设备可以基于簇的大小来确定光源的相对强度。根据本公开的实施方式，两个或更多个光源的相对强度是基于与每个光源的相应簇中的像素数量相关联的像素数量来确定的。与具有更多像素的簇相对应的光源被确定为具有比与具有更少像素的簇相对应的光源更高的强度，使得更亮的光源将在阈值图像中产生更大的亮像素簇。根据本公开的实施方式，可以将每个光源设置为具有相同的默认亮度值。这可以提供可接受的近似，特别是在照明水平在整个场景中相当地恒定的环境中。

根据本公开的实施方式，光源的方向或颜色中的至少一个可以通过使用与用于识别光源的位置的图像分开获取的图像来识别。

根据本公开的实施方式，在图7的方法中用于检测光源的图像可以是在图2的操作S202处获取的环境纹理。例如，用于获取环境纹理601的第一图像401和第二图像501可以使用适合于当前环境的平衡曝光值来捕获，该平衡曝光值可以由照相机自动计算或者可以由用户手动设置。

根据本公开的实施方式，可以从环境的不同图像检测光源。例如，在图2的操作S203处用于光源检测的图像可以是在对第一图像401和第二图像501的较低曝光设置下捕获的环境的图像。使用较低的曝光值具有使图像变暗的效果，使得更容易分离和检测各个光源。例如，可以使用前置摄像头和后置摄像头在较低的曝光设置下捕获第三图像和第四图像，并且然后可以使用与以上参考图3至图6描述的方法类似的方法对第三图像和第四图像进行变形和组合来以等矩形图像格式获取环境的低曝光图像。

根据本公开的实施方式，电子设备可以作为HMD操作。电子设备可以获取包括在HUD上显示的环境中的区域的图像。电子设备可以从所获取的显示在HUD上的图像获取环境纹理。电子设备可以基于所获取的图像来确定一个或多个光源的位置。例如，光源的位置和/或主方向是基于与在所获取的图像中直接识别的一个或多个光源有关的参数来确定的，所述参数诸如每个光源的亮度、每个光源的尺寸等。此外，基于以下参数来确定在环境中存在的光源中的所获取的图像中不存在的光源的位置。例如，通过识别所获取的图像中的对象的阴影的方向，可以识别在所获取的图像中不存在的对象的阴影的大小和/或亮度、光源的位置、大小和/或亮度。此外，在识别上述参数的同时，一起识别在所获取的图像中并且在所获取的图像中不存在的每个光源的颜色。电子设备可以基于所获取的环境纹理和识别出位置、方向、亮度和/或颜色的一个或多个光源来呈现增强现实虚拟对象。根据本公开的实施方式，光源的方向或颜色中的至少一个可以通过使用与用于识别光源的位置的图像分开获取的单个图像来识别。

图8示意性地示出了根据本公开的实施方式的用于呈现增强现实对象的电子设备。所述装置可配置成执行本文所公开的方法中的任一者，例如上文参考图2、图3和图7所描述的方法。

参照图8，电子设备800包括用于执行计算机程序指令的处理单元801以及被布置成存储计算机程序指令的存储器802。存储器802可以包括能够存储计算机程序产品的任何合适的计算机可读存储介质，该计算机程序产品包括由处理单元801执行的计算机程序指令。当由处理单元801执行时，计算机程序指令可以使电子设备800执行本文公开的任何方法。

根据本公开的实施方式，电子设备800还包括前置摄像头803、后置摄像头804、显示控制器805和显示单元806。例如，电子设备800可以实现为智能电话、平板计算机或包括前置和后置摄像头803、804和合适的显示单元806的其它电子设备。显示控制器805配置成控制显示单元806以显示包括所呈现的增强现实虚拟对象的合成图像。

尽管在图8中未示出，但是电子设备800还包括一个或多个传感器，其可以测量物理量或检测电子设备800的激活状态，并将测量或检测的信息转换为电信号。例如，传感器可以包括深度或距离传感器，颜色传感器(例如，红-绿-蓝(RGB)传感器)等。传感器还可以包括控制电路，该控制电路用于控制包括在其中的传感器中的至少一个。这些传感器中的任何一个都可以位于电子设备800内。

根据本公开的实施方式，电子设备800可以安装在可穿戴设备中。例如，电子设备800可以例如作为HMD操作，并运行增强现实模式。

根据本公开的实施方式，处理单元801和存储器802可以被实现在与前置摄像头803、后置摄像头804、显示控制器805和显示单元806中的一个或多个分离的物理设备中。例如，处理单元801和存储器802可以被实现为服务器，该服务器被布置成与包括前置摄像头803、后置摄像头804、显示控制器805和显示单元806的电子设备进行远程通信，使得可以远程执行获取环境纹理、确定光源和/或呈现增强现实虚拟对象的处理。当电子设备本身仅具有有限的处理能力时，远程处理可能是有利的。根据本公开的实施方式，可以将合成图像输出到物理上分离的显示单元，在这种情况下，电子设备800不需要包括显示单元806。

根据本公开的实施方式，基于使用电子设备的前置摄像头和后置摄像头捕获的图像来获取环境纹理。然后，在呈现增强现实虚拟对象时使用环境纹理。该方法提供了一种计算上有效的解决方案，其在执行之前不需要来自用户的任何输入或参数化，并且适于使用相关技术的电子设备硬件来实现。因此，可以基本上实时地执行上述处理，从而允许增强现实呈现处理考虑照明条件的动态变化。

虽然已经参考本公开的各种实施方式示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (15)

1.用于操作用于呈现增强现实对象的电子设备的方法，所述方法包括：

获取待在其中显示增强现实虚拟对象的环境的至少一个第一图像；

基于所获取的至少一个第一图像获取环境纹理；

通过识别包括亮度值大于阈值的像素的至少一个簇来识别至少一个第二图像中的至少一个光源；

基于所述像素在所述至少一个簇内的位置来确定所述至少一个光源的位置；

基于所获取的环境纹理和所确定的所述至少一个光源的位置来呈现所述增强现实虚拟对象；以及

在所述电子设备的显示器上显示所呈现的增强现实虚拟对象。

2.根据权利要求1所述的方法，

其中获取所述环境的所述至少一个第一图像包括获取被获取以显示在所述电子设备的显示器上的图像，所述电子设备的显示器对应于头戴式显示器(HMD)设备，

其中获取所述环境纹理包括使获取的图像变形。

3.根据权利要求1所述的方法，其中识别所述至少一个光源包括：

基于识别出所述至少一个第二图像中的第一像素的亮度值大于所述阈值，向所述第一像素设置第一值；以及

基于识别出所述至少一个第二图像中的第二像素的亮度值小于所述阈值，向所述第二像素设置第二值。

4.根据权利要求1所述的方法，其中确定所述至少一个光源的位置包括：

识别所述至少一个簇中的每个簇中的像素的几何中心点；以及

将所述几何中心点设置为所述至少一个光源中的每个光源的位置。

5.根据权利要求1所述的方法，还包括：

基于所述至少一个簇中的每个簇中的像素的数量来确定所述至少一个光源中的两个或更多个光源的相对强度，

其中，与具有更多像素的簇相对应的一个光源被确定为具有比与具有更少像素的簇相对应的另一个光源更高的强度。

6.根据权利要求1所述的方法，还包括：

基于比所述至少一个第一图像低的曝光设置获取所述至少一个第二图像。

7.根据权利要求2所述的方法，其中识别所述至少一个光源包括基于以下各项中的至少一者来识别所述环境中的光源之中存在于所述获取的图像之外的光源的位置：

对象在所述获取的图像中的阴影的方向，

所述阴影的大小，或者

与除了所述至少一个光源之外的所述对象相关联的像素的所述亮度值。

8.用于呈现增强现实对象的电子设备，所述电子设备包括：

显示器；

图像传感器；

至少一个处理器，联接到所述显示器和所述图像传感器；以及

存储器，联接到所述至少一个处理器，所述存储器包括能够由所述至少一个处理器执行且配置成使所述至少一个处理器执行以下操作的指令：

使用所述图像传感器获取待在其中显示增强现实虚拟对象的环境的至少一个第一图像；

通过识别包括具有大于阈值的亮度值的像素的至少一个簇来识别至少一个第二图像中的至少一个光源，

基于所述像素在所述至少一个簇内的位置来确定所述至少一个光源的位置，

基于所获得的环境纹理和所确定的所述至少一个光源的位置来呈现所述增强现实虚拟对象，以及

在所述显示器上显示所呈现的增强现实虚拟对象。

9.根据权利要求8所述的电子设备，

其中，为了获取所述环境的所述至少一个第一图像，所述至少一个处理器还配置成通过使用所述图像传感器获取被获取以被显示在所述电子设备的所述显示器上的图像，所述电子设备的所述显示器对应于头戴式显示器(HMD)设备，以及

其中，为了获取所述环境纹理，所述至少一个处理器还配置成使所获取的图像变形。

10.根据权利要求8所述的电子设备，其中，为了识别所述至少一个光源，所述至少一个处理器还配置成：

基于识别出所述至少一个第二图像中的第一像素的亮度值大于所述阈值，向所述第一像素设置第一值，

基于识别出所述至少一个第二图像中的第二像素的亮度值小于所述阈值，向所述第二像素设置第二值。

11.根据权利要求8所述的电子设备，其中，为了确定所述至少一个光源的位置，所述至少一个处理器还配置成：

识别所述至少一个簇中的每个簇中的像素的几何中心点，以及

将所述几何中心点设置为所述至少一个光源中的每个光源的位置。

12.根据权利要求8所述的电子设备，

其中，所述至少一个处理器还配置成基于所述至少一个簇中的每个簇中的像素数量来确定所述至少一个光源中的一个或两个光源的相对强度，以及

其中，与具有更多像素的簇相对应的一个光源被确定为具有比与具有更少像素的簇相对应的另一个光源更高的强度。

13.根据权利要求9所述的电子设备，其中，为了识别所述至少一个光源，所述至少一个处理器还配置成基于以下各项中的至少一项来识别所述环境中的光源之中存在于所述获取的图像之外的光源的位置：

对象在所述获取的图像中的阴影的方向，

所述阴影的大小，或者

与除了所述至少一个光源之外的所述对象相关联的像素的所述亮度值。

14.包括计算机程序指令的计算机程序产品，所述计算机程序指令在被执行时执行如权利要求1至7中的任一项所述的方法。

15.至少一个非暂时性计算机可读存储介质，布置成存储计算机程序产品，所述计算机程序产品包括计算机程序指令，所述计算机程序指令在被执行时执行如权利要求1至7中的任一项所述的方法。

Images