CN117716410A - 用于视觉区分的叠加自适应 - Google Patents

Abstract

提供了一种增强现实呈现的动态自适应的计算机实现的方法，所述计算机实现的方法包括：监视增强现实呈现，所述增强现实呈现包括由设置在移动对象上的相机捕获的视频的帧和在所述帧上的图标叠加；检测所述图标的像素与位于以下至少一者的特定帧的像素之间的视觉相似性：在所述图标后面和紧靠所述图标；以及响应于所述检测到的视觉相似性，对所述图标进行自适应以用于在所述图标与位于以下至少一者的所述特定帧的像素之间进行视觉区分：在所述图标后面和紧靠所述图标。

Description

用于视觉区分的叠加自适应

技术领域

本公开在其一些实施方案中涉及增强现实，并且更具体地但不排他地，涉及用于调整增强现实呈现的叠加的系统和方法。

背景技术

增强现实提供了基于真实世界的交互式用户体验，其中真实世界对象通过计算机生成的呈现(例如，为用户提供在真实世界中看到的不同对象的名称的数据(诸如标签)的叠加)得到增强。

发明内容

根据第一方面，一种增强现实呈现的动态自适应的计算机实现的方法包括：监视增强现实呈现，所述增强现实呈现包括由设置在移动对象上的相机捕获的视频的帧和在所述帧上的图标叠加；检测所述图标的像素与位于以下至少一者的特定帧的像素之间的视觉相似性：在所述图标后面和紧靠所述图标；以及响应于所述检测到的视觉相似性，对所述图标进行自适应以用于在所述图标与位于以下至少一者的所述特定帧的像素之间进行视觉区分：在所述图标后面和紧靠所述图标。

根据第二方面，一种增强现实呈现的动态自适应的计算机实现的方法包括：监视在抬头显示器(HUD)上呈现的增强现实呈现和在所述HUD上的图标叠加；检测所述图标的像素与真实世界环境的背景和/或位于以下至少一者处的对象之间的视觉相似性：在所述图标后面和紧靠所述图标；以及响应于所述检测到的视觉相似性，对所述图标进行自适应以用于在所述图标与真实世界环境的所述背景和/或位于以下至少一者处的对象之间进行视觉区分：在所述图标后面和紧靠所述图标。

根据第三方面，一种增强现实呈现的动态自适应的计算机实现的方法包括：监视包括图标叠加的增强现实呈现；检测所述图标的像素与所述增强现实呈现的位于以下至少一者处的背景之间的视觉相似性：在所述图标后面和紧靠所述图标；以及响应于所述检测到的视觉相似性，对所述图标进行自适应以用于在所述图标与所述增强现实呈现的位于以下至少一者处的所述背景之间进行视觉区分：在所述图标后面和紧靠所述图标。

在第一方面、第二方面和第三方面的又一实现形式中，所述移动对象包括车辆，并且所述图标由导航系统生成。

在第一方面、第二方面和第三方面的又一实现形式中，所述图标选自由以下项组成的组：指示将所述车辆引导至何处的箭头、指示可能的危险的标签、指示警察的标签，以及指示感兴趣的停车位置的标签。

在第一方面、第二方面和第三方面的又一实现形式中，所述移动对象包括车辆，并且所述图标由高级驾驶员辅助系统(ADAS)生成。

在第一方面、第二方面和第三方面的又一实现形式中，在抬头显示器(HUD)上呈现所述增强现实呈现，其中将所述图标渲染为相对于出现在所述HUD后面的场景中的真实世界对象在所述抬头显示器上的叠加，并且检测所述图标的像素与环境的真实世界区域和/或位于以下至少一者的对象之间的所述视觉相似性：在所述图标后面和紧靠所述图标。

在第一方面、第二方面和第三方面的又一实现形式中，所述对所述图标进行自适应包括对选自由以下项组成的组的成员进行自适应：所述图标内的颜色、所述图标内的像素的强度、所述图标的边界、所述图标的所述边界的像素的强度、所述图标内的图案、所述图标的所述边界的厚度，以及所述图标的形状。

在第一方面、第二方面和第三方面的又一实现形式中，所述对所述图标进行自适应包括将所述图标从具有视觉相似性的当前位置移动到所述增强现实呈现上具有视觉区分的另一个位置。

在第一方面、第二方面和第三方面的又一实现形式中，还包括：计算所述图标的所述像素的像素强度与位于以下至少一者的所述特定帧的像素之间的统计距离：在所述图标后面和紧靠所述图标；以及当所述统计距离高于阈值时，通过将像素强度调整为高于所述阈值来对所述图标进行自适应以用于视觉区分。

在第一方面、第二方面和第三方面的又一实现形式中，还包括：计算所述图标的所述像素的颜色与位于以下至少一者的所述特定帧的像素的颜色之间的颜色空间内的统计距离：在所述图标后面和紧靠所述图标；以及当所述统计距离高于阈值时，通过将所述图标的像素的颜色调整为高于所述阈值来对所述图标进行自适应以用于视觉区分。

在第一方面、第二方面和第三方面的又一实现形式中，还包括：计算所述图标的所述像素的强度和颜色的组合与位于以下至少一者的所述特定帧的像素的强度和颜色的组合之间的多维颜色强度空间内的统计距离：在所述图标后面和紧靠所述图标；以及当所述统计距离高于阈值时，通过将所述图标的像素的颜色调整为高于所述阈值来对所述图标进行自适应以用于视觉区分。

在第一方面、第二方面和第三方面的又一实现形式中，自适应包括根据查看所述增强现实呈现的用户的色盲简档对所述图标的像素的颜色进行自适应以用于视觉区分，其中根据所述色盲简档确定所述视觉相似性和所述视觉区分。

在第一方面、第二方面和第三方面的又一实现形式中，还包括迭代所述监视、所述检测和所述自适应。

在第一方面、第二方面和第三方面的又一实现形式中，紧靠所述图标的像素包括从所述图标的边界以一定尺寸延伸出的像素，所述尺寸被设定大小以鉴于所述尺寸外部的像素在所述尺寸中的像素与所述图标的像素之间进行视觉区分。

在第一方面、第二方面和第三方面的又一实现形式中，还包括为所述图标在所述特定帧上的所述叠加选择位置，以及选择所述图标的像素的初始值以用于在所述位置处的所述图标与位于以下至少一者的特定帧的像素之间进行视觉区分：在所述位置处的所述图标后面和紧靠所述位置处的所述图标。

除非另外定义，否则本文中使用的所有技术术语和科学术语具有与本公开所属领域的普通技术人员通常理解的相同的含义。尽管与本文中描述的那些方法和材料类似或等效的方法和材料可用于本公开的实践或测试中，但下面描述示例性方法和/或材料。如有冲突，以专利说明书(包括定义)为准。另外，所述材料、方法和示例仅是说明性的，并非一定是限制性的。

附图说明

本文仅通过示例并参考附图描述了本公开的一些实施方案。现在详细地具体参考附图，应强调的是，所示的细节是通过示例的方式并且用于本公开的实施方案的说明性讨论的目的。在这点上，结合附图进行的描述对于本领域技术人员来说使得可如何实践本公开的实施方案变得显而易见。

在附图中：

图1是根据本公开的一些实施方案的用于对增强现实呈现进行动态自适应以在AR呈现的图标叠加与AR呈现的背景之间进行视觉区分的系统的框图；

图2是根据本公开的一些实施方案的对增强现实呈现进行动态自适应以在AR呈现的图标叠加与AR呈现的背景之间进行视觉区分的方法的流程图；并且

图3A至图3F是根据本公开的一些实施方案的描绘对增强现实呈现进行动态自适应以在AR呈现的图标叠加与AR呈现的背景之间进行视觉区分的示意图。

具体实施方式

本公开在其一些实施方案中涉及增强现实，并且更具体地但不排他地，涉及用于调整增强现实呈现的叠加的系统和方法。

本公开的一些实施方案的一方面涉及用于动态自适应增强现实(AR)呈现上的图标叠加以在图标与AR呈现的位于图标后面和/或紧靠图标的背景之间进行视觉区分的系统、方法、设备和/或代码指令(例如，存储在存储器上并可由一个或多个硬件处理器执行)。该图标可以是例如由导航应用程序生成的指示驾驶员向何处转弯的箭头和/或由高级驾驶员辅助系统(ADAS)生成的警告驾驶员即将发生的危险的危险标签。AR呈现的背景可包括由位于移动对象(例如汽车)上的相机捕获的视频帧。在这样的实现方式中，图标被渲染为视频帧上的叠加，并且在图标与图像的位于图标后面和/或紧靠图标的像素之间进行视觉区分。替代地或另外地，AR呈现的背景是真实世界环境和/或对象，例如，如用户(例如，驾驶员)所看到的。在这样的实现方式中，AR呈现可呈现在抬头显示器(HUD)上，例如，在汽车的挡风玻璃上。图标可呈现在HUD上(例如，由相机捕获的视频可用于渲染相对于在视频和真实世界中描绘的对象呈现在HUD上的图标)。在图标与位于图标后面和/或紧靠图标的真实世界背景之间进行视觉区分。监视AR呈现以检测图标的像素与图标后面和/或紧靠图标的背景(例如，特定帧的像素和/或真实世界环境和/或真实世界对象)之间的视觉相似性。例如，图标的颜色和/或图案和/或强度与图标后面和/或紧靠图标的背景(例如，帧的像素和/或真实世界环境和/或真实世界对象)相似，使得驾驶员难以相对于背景识别图标，特别是难以快速看到图标以使驾驶员能够进行快速响应。响应于检测到的视觉相似性，对图标进行自适应以用于在图标与图标后面和/或紧靠图标的背景(例如，特定帧的像素和/或真实世界环境和/或真实世界对象)之间进行视觉区分。例如，对图标的颜色和/或图案和/或强度进行自适应，以使得驾驶员容易相对于帧的背景快速看到图标，这使驾驶员能够快速作出反应。

本文中描述的系统、方法、设备和/或代码指令的至少一些实现方式涉及在移动车辆(例如，汽车)上的增强现实呈现上呈现图标。由移动车辆上的相机捕获的用于生成增强现实呈现的图像描绘快速变化的环境，例如，逆着太阳行驶、驶入和驶出隧道、夜间行驶、雨中行驶、雾中行驶、建筑物上的颜色、光照条件(不同的灯、不同的颜色)以及不同的道路结构。可响应于车辆的位置和/或场景中描绘的环境而动态创建和/或动态自适应图标，例如，以指示驾驶员向哪里转弯，和/或通过识别危险来帮助驾驶员避免事故。动态创建和/或动态自适应的图标以及即将到来的道路由车辆驾驶员例如在通过其看到真实世界环境的抬头显示器上和/或在由相机捕获的真实世界环境的图像上查看。本文中描述的系统、方法、设备和/或代码指令的至少一些实现方式涉及设计将被驾驶员快速注意到的图标。

本文中描述的系统、方法、设备和/或代码指令的至少一些实现方式改进了渲染用于移动车辆(例如，汽车)的增强现实呈现的叠加的技术。AR呈现可以是例如叠加在HUD上的图标和/或叠加在由相机捕获的图像上的图标。生成增强现实呈现的标准方法并不是为移动车辆设计的。例如，标准方法是针对单个图像(诸如由智能手机和/或AR眼镜捕获)和/或缓慢变化的场景(诸如用户在通过智能手机和/或AR眼镜捕获图像时行走)而不是移动车辆设计的。因此，与移动车辆上快速变化的环境相比，标准方法是针对静态环境和/或近似静态(例如，缓慢变化)的环境而设计的。此外，与用户通常根据其采取行动(例如，将汽车导航到目的地和/或避免与前方停放的车辆发生碰撞)的用于移动车辆的图标相比，标准方法被设计为用户不一定根据其采取行动的“最好具备”增强。因此，为AR呈现创建叠加的标准方法被设计为通过渲染叠加对象来与图像中描绘的环境融合以免干扰用户对图像的注意力(例如，通过作为环境的一部分出现)而尽可能具有沉浸感。

本文中描述的系统、方法、设备和/或代码指令的至少一些实现方式涉及和/或提供通过自适应呈现在AR呈现上的图标以增加用户将注意到叠加图标的可能性来对上述技术进行改进。本文中描述的系统、方法、设备和/或代码指令的至少一些实现方式涉及自适应叠加图标的像素(例如，形状、颜色、图案、位置)以相对于图标后面和/或紧靠图标的帧的像素进行视觉区分。视觉上与图标后面和/或紧靠图标的帧的像素类似的图标被自适应以产生相对于图标后面和/或紧靠图标的帧的像素的视觉区分。对图标自适应以与帧进行视觉区分增加了用户(例如，驾驶员)注意到该图标的可能性，这增加了用户根据图标采取行动的可能性，例如，响应于引导用户转弯的箭头而进行转弯和/或响应于感兴趣点处的标签而将车辆停放在该感兴趣点处。当车辆快速移动时，对图标的快速视觉观察使用户能够根据图标快速采取行动。例如，响应于道路上的坑，可出现指示用户快速操纵车辆以避开坑的标签和/或箭头。

本文中描述的系统、方法、设备和/或代码指令的至少一些实现方式还可涉及创建不受从车辆上的相机获得的图像的变化显著影响的AR呈现。环境条件和/或图像传感器(例如，相机)输出可能因车辆而异和/或甚至因驾驶而异。相机状况可影响图像。例如，在某种程度上，每个相机可能表现不同，因此例如从相同/相似的视角和/或在两个不同的相机(例如，即使来自相同类型)上捕获的相同/相似场景的不同图像可能看起来不同(从颜色角度和/或强度角度)。输出的变化会影响从相机获得的帧，从驾驶员的视角来看，这可能会导致AR和图标不太明显。例如，一个AR呈现的图标可能是视觉上可辨别的，而另一相似AR呈现上的相同图标可能不是视觉上可辨别的。本文中描述的系统、方法、设备和/或代码指令的至少一些实现方式涉及根据当前帧的像素对图标进行自适应，这可使得能够相对于受环境、图像传感器、车辆和/或驾驶影响的AR呈现的不同图像保持图标(对于用户，例如驾驶员)的高可见性。

在详细解释本公开的至少一个实施方案之前，应当理解，本公开在其应用中不一定限于下面描述中陈述和/或在附图和示例中展示的构造的细节和部件的布置和/或方法。本公开能够具有其他实施方案或者能够以各种方式实践或执行。

本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可包括其上具有用于使处理器执行本公开的各方面的计算机可读程序指令的计算机可读存储介质(或多个介质)。

计算机可读存储介质可以是可保留和存储指令以供指令执行装置使用的有形装置。计算机可读存储介质可以是但不限于电子存储装置、磁存储装置、光存储装置、电磁存储装置、半导体存储装置或前述项的任何合适的组合。计算机可读存储介质的更具体示例的非详尽性列表包括以下项：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字通用盘(DVD)、记忆棒、软盘以及前述项的任何合适的组合。本文所使用的计算机可读存储介质不应被解释为瞬时信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过电线传输的电信号。

本文描述的计算机可读程序指令可从计算机可读存储介质下载到相应的计算/处理装置，或者经由网络(例如，互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储装置。该网络可包括铜传输电缆、传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理装置中的网络适配器卡或网络接口从网络接收计算机可读程序指令并且转发计算机可读程序指令以存储在相应计算/处理装置内的计算机可读存储介质中。

用于执行本公开的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或者用一种或多种编程语言的任何组合编写的源代码或对象代码，所述编程语言包括面向对象的编程语言，诸如Smalltalk、C++等，以及常规程序性编程语言，诸如“C”编程语言或类似的编程语言。计算机可读程序代码可完全在用户的计算机上执行、部分地在用户的计算机上执行、作为独立软件包执行、部分地在用户的计算机上且部分地在远程计算机上执行，或完全在远程计算机或服务器上执行。在后一种情形下，远程计算机可通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可连接到外部计算机(例如，使用互联网服务提供商通过互联网进行连接)。在一些实施方案中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化，以便执行本公开的各方面。

本文参考根据本公开的实施方案的方法、设备(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，可通过计算机可读程序指令来实现流程图和/或框图中的每个框以及流程图和/或框图中的框组合。

这些计算机可读程序指令可提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以便产生机器，使得经由计算机或其他可编程数据处理设备的处理器执行的指令创建用于实现在流程图和/或框图的一个或多个框中指定的功能/动作的手段。这些计算机可读程序指令也可存储在计算机可读介质中，该计算机可读存储介质可引导计算机、可编程数据处理设备或其他装置以特定方式运转，使得其中存储有指令的计算机可读介质包括制品，该制品包括实现在流程图和/或框图的一个或多个框中指定的功能/动作的方面的指令。

计算机可读程序指令还可加载到计算机、其他可编程数据处理设备或其他装置上，以致使在计算机、其他可编程设备或其他装置上执行一系列操作步骤，从而产生计算机实现的过程，使得在计算机、其他可编程设备或其他装置上执行的指令实现在流程图和/或框图的一个或多个框中指定的功能/动作。

附图中的流程图和框图示出了根据本公开的各种实施方案的系统、方法和计算机程序产品的可能实现方式的架构、功能性和操作。在这方面，流程图或框图中的每个框可表示包括用于实现所指定的逻辑功能的一个或多个可执行指令的代码的模块、区段或部分。在一些替代实现方式中，框中指出的功能可不按附图中指出的次序发生。例如，连续示出的两个框实际上可大体上同时执行，或者这些框有时可按相反次序执行，这取决于所涉及的功能性。还应当注意，框图和/或流程图中的每个框以及框图和/或流程图中的框的组合可由执行指定功能或动作或者执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。

现在参考图1，该图是根据本公开的一些实施方案的用于动态自适应增强现实呈现以在AR呈现的图标叠加与AR呈现的背景之间进行视觉区分的系统100的框图。还参考图2，该图是根据本公开的一些实施方案的动态自适应增强现实呈现以在AR呈现的图标叠加与AR呈现的背景之间进行视觉区分的方法的流程图。还参考图3A至图3F，这些图包括根据本公开的一些实施方案的描绘动态自适应增强现实呈现以在AR呈现的图标叠加与AR呈现的背景之间进行视觉区分的示意图。

系统100可通过计算装置104的一个或多个硬件处理器102执行存储在存储器(也称为程序存储设备)106中的代码指令(例如，代码106A)来实现参考图2至图3描述的方法的特征。

计算装置104可被实现为例如集成到车辆中的车载计算机、安装在车载计算机上的软件、连接到车载计算机的外部计算机(例如，经由无线和/或有线连接进行连接的智能手机)、客户终端、服务器、虚拟机、虚拟服务器、计算云、移动装置、台式计算机、瘦客户端、智能手机、平板计算机、膝上型计算机、可穿戴计算机、眼镜电脑以及手表计算机。

可实现基于计算装置104的系统100的多种架构。在本地化实现方式中，为每个移动对象(例如，车辆)提供计算装置104，例如，安装在车辆中和/或位于车辆中。计算装置104从可位于车辆上和/或与车辆相关联(例如，在驾驶员的头盔上)的图像传感器(例如，相机112)接收帧。计算装置104在本地并自适应在用户接口124(例如，显示器和/或HUD(例如，在挡风玻璃上))上呈现的图标(和/或生成具有经自适应的图标叠加的AR呈现)。在集中式实现方式中，存储代码106A的计算装置104可被实现为一个或多个服务器(例如，网络服务器、web服务器、计算云、虚拟服务器)，该一个或多个服务器通过网络110向一个或多个服务器118和/或客户端终端108提供服务(例如，参考图2至图3描述的动作中的一者或多者)，例如，向服务器118和/或客户终端108提供软件即服务(SaaS)、提供可使用软件接口(例如，应用程序编程接口(API)、软件开发套件(SDK))访问的软件服务、提供用于本地下载到服务器118和/或客户终端108的应用程序，和/或诸如通过web浏览器和/或查看应用程序向服务器118和/或客户终端108提供使用远程访问会话的功能。例如，由位于不同车辆上的图像传感器112捕获的图像经由网络110传输到计算装置104。计算装置104根据图像的分析来集中自适应图标。计算装置104可集中创建具有经自适应的图标的AR呈现。经自适应的图标(和/或AR呈现)被提供给每个相应的客户终端108和/或服务器118以用于在显示器和/或HUD上本地呈现。

图像传感器112可以是例如相机，诸如摄像机。图像传感器112可以是颜色传感器。图像传感器112可以是基于可见光的传感器，例如，红绿蓝(RGB)传感器，诸如CCD和/或CMOS传感器。应当注意，可使用其他图像传感器112，例如，热传感器(例如，红外传感器)。传感器112可例如经由直接连接(例如，本地总线和/或电缆连接和/或短距离无线连接)和/或经由网络110和计算装置104的网络接口122将捕获的图像传输到计算装置104(例如，其中传感器112经由物联网(IoT)技术进行连接和/或远离计算装置定位)。

网络接口122可被实现为例如本地车辆网络、有线连接(例如，物理端口)、无线连接(例如，天线)、网络接口卡、连接到无线网络的无线接口、用于连接到电缆以进行网络连接的物理接口和/或虚拟接口(例如，软件接口、应用程序编程接口(API)、软件开发套件(SDK)、虚拟网络连接、以软件实现的虚拟接口、提供更高层网络连接的网络通信软件)。

存储器106存储可由硬件处理器102执行的代码指令。示例性存储器106包括随机存取存储器(RAM)、只读存储器(ROM)、存储装置、非易失性存储器、磁性介质、半导体存储器装置、硬盘驱动器、可移动存储设备和光学介质(例如，DVD、CD-ROM)。例如，存储器106可存储执行参考图2至图3描述的方法的一个或多个动作的代码106A。

计算装置104可包括用于存储数据的数据存储装置120，例如，该数据是提供用于生成图标叠加的数据的应用程序(例如，导航系统、ADAS系统)和/或包括可被选择的不同图标(例如，右箭头、左箭头、标签、危险标志、紧急标志等)的图标数据集120B。数据存储装置120可被实现为例如存储器、本地硬盘驱动器、可移动存储单元、光盘、存储装置、虚拟存储器和/或被实现为远程服务器118和/或计算云(例如，通过网络110来访问)。应当注意，应用程序102A和/或图标数据集120B可存储在数据存储装置120中，例如，其中执行部分加载到存储器106中以供处理器102执行。

计算装置104和/或客户终端108和/或服务器118包括被设计为呈现AR呈现的一个或多个物理用户接口124(例如，显示器、AR眼镜和HUD，诸如汽车的挡风玻璃)和/或与该一个或多个物理用户接口通信。

替代地或另外地，用户接口124可包括用于输入数据和/或查看其他数据(例如，AR设置)的机制。示例性其他用户接口124包括例如触摸屏、显示器、键盘、鼠标以及使用扬声器和麦克风的语音激活软件中的一者或多者。

现在返回参考图2，在202处，监视增强现实呈现。AR呈现是基于由相机(和/或捕获图像的其他成像传感器)捕获的视频帧。相机位于移动对象(例如，汽车、卡车、飞机、无人机、自主车辆)上。相机可定位在位于移动对象上的用户身上，例如，在驾驶摩托车、踏板车和沙滩车的用户的头盔上。

AR呈现描绘了图标叠加。图标可以是在由相机捕获的视频帧上的叠加。替代地或另外地，图标可以是在HUD(例如，车辆的挡风玻璃)上的叠加。在这样的实现方式中，HUD的其余部分是清晰的，从而提供前方环境和/或场景的视图，其中图标相对于真实世界对象相应地定位在HUD上。HUD上的图标的位置可例如通过图像的分析来确定，该图像可与HUD后面的真实世界环境相关。

应当注意，为了解释的简单和清楚起见，描述了单个图标。然而，本文中描述的方法可针对多个图标来实现，例如，针对每个图标独立实现。

图标可与图像中描绘的真实世界对象相关联。例如，兴趣点的标签，诸如加气站、公园、博物馆等。

图标可指示用户要执行的动作，例如，向用户指示将车辆导航到哪里，诸如右转的箭头和指示从环岛处的第三出口走的箭头等。例如，可基于导航系统来渲染图标。

图标可警告用户即将发生的危险和/或其他即将发生的交通相关事件，例如，前方交通堵塞、停在路边的汽车、道路上的坑、事故、行人过马路、摩托车/自行车经过以及警察隐藏起来。图标可基于高级驾驶员辅助系统(ADAS)来渲染。

示例性图标包括指示将车辆引导至何处的箭头、指示可能的危险的标签、指示存在警察(例如，隐藏起来以抓住超速者)的标签以及指示感兴趣位置(例如，用于停车)的标签。

在204处，检测图标与AR呈现的背景之间的视觉相似性。

视觉相似性可以是图标的像素与特定帧(例如，实时接收的每个当前帧，和/或在一定时间间隔内的每几个帧)的像素、任选地在图标后面和/或紧靠图标的帧的像素之间的。

视觉相似性可以是例如图标的像素的平均值与背景的像素(或图像的像素)的平均值之间的。视觉相似性可以是例如图标的像素的值的分布与背景的像素(或图像的像素)的分布之间的。视觉相似性可以是例如图标的像素的组和/或样本的平均值和/或分布与背景的像素(或图像的像素)的组和/或样本的平均值和/或分布之间的。

替代地或另外地，在呈现在HUD上的图标的情况下，视觉相似性可以是图标的像素与位于图标后面和/或紧靠图标的真实世界环境/对象之间的。

紧靠图标的区域(例如，像素和/或真实世界环境)可包括像素和/或从图标的边界延伸出的真实世界的无障碍视图。该区域以被设定大小以在无障碍视图中的像素和/或真实世界区域与图标的像素之间进行视觉区分的尺寸延伸。视觉区分是考虑到该尺寸(即，区域)外部的像素和/或该尺寸(即，区域)外部的真实世界环境。例如，围绕图标的边界延伸的区域的厚度可以是例如约5毫米(mm)、或1厘米(cm)和/或该尺寸的像素当量。5mm或1cm或其他大小提供了背景与区域之间以及区域与图标之间的对比，从而使得即使在图标和背景是相同颜色和/或强度的情况下也能够相对于背景快速识别出图标。例如，当图标是蓝色并且背景天空是蓝色时，图标边界周围的红色区域可将蓝色图标与蓝色天空视觉上区分开。

任选地，视觉相似性被计算为统计距离。可在单维或多维颜色和/或强度空间内计算统计距离。统计距离可以是例如空间内的欧几里得距离。示例性空间包括：强度空间(例如，单维强度和/或多维强度，诸如3个彩色像素的3个强度)、颜色空间(例如，红绿蓝(RGB))以及组合的强度-颜色空间。例如，在单维或多维颜色和/或强度空间内计算空间中的表示图标像素的点与空间中的表示图标后面和/或紧靠图标的背景(例如，特定帧的像素)的点之间的统计距离。

在206处，对图标进行自适应以用于在图标与图标后面和/或紧靠图标的背景(例如，特定帧的像素和/或真实世界环境和/或真实世界对象)之间进行视觉区分。

响应于检测到的视觉相似性来对图标进行自适应。

任选地，当统计距离高于阈值时，对图标进行自适应以用于视觉区分。阈值可以是例如预设值和/或诸如取决于在颜色空间内的何处计算统计距离而动态确定的值。

可通过调整图标的像素的强度和/或颜色来对图标进行自适应，使得针对图标的调整后的像素计算的新统计距离高于阈值。

可调整图标的一个或多个参数(任选地组合)，例如：

*图标内的颜色。不同的颜色可视觉上区分，例如基于不同的原色的不同的颜色可视觉上区分，而基于相同的原色的不同的颜色可视觉上相似。

*图标内像素的强度。强度谱的相反值(例如，尺寸)可视觉上区分。例如，黑暗背景(例如，夜晚、隧道)上的明亮箭头可视觉上区分，而相似的强度可视觉上相似，诸如明亮背景(例如，太阳、明亮的路灯)上的明亮箭头。

*图标的边界。可调整边界本身，例如，边界的厚度、边界的像素的强度和/或边界的颜色。边界可视觉上区分，诸如即使当图标的内部和附近的背景具有相同/相似的强度和/或颜色时也能区分。

*图标内的图案。与像素强度和/或颜色的固有值相比，可在视觉上更好地区分改变像素强度和/或颜色的图案。例如，点、虚线和/或波浪可改善视觉区分。

*图标的形状。某些形状在背景下可在视觉上更好地区分。例如，对于水平线的背景，圆形可在视觉上更好地区分。

替代地或另外地，通过将图标从当前位置(即，在该位置，图标与接近的背景视觉上相似)移动到增强现实呈现上的另一位置(在该位置，图标相对于接近的背景视觉上区分开)来对图标进行自适应。例如，在蓝色天空下出现在AR呈现的上部部分中的向右指的蓝色箭头与天空视觉上相似。蓝色箭头可在植物和/或地面的棕色和/或绿色背景下移动到屏幕的下部部分，其中蓝色箭头相对于棕色和/或绿色背景视觉上区分开。应当注意，图标的移动应与图标的含义和/或意图一致(例如，如由导航系统和/或ADAS系统提供)。

任选地，自适应是基于根据查看增强现实呈现的用户的色盲简档。色盲简档可例如由用户从不同的色盲简档中选择和/或保存为预设参数。视觉相似性和视觉区分、任选地统计距离和/或用于确定统计距离的颜色空间可根据色盲简档确定。例如，对于完全色盲的人，不对颜色进行自适应，相反，可对图标的强度和/或形状进行自适应。在另一个示例中，对于红绿色盲的人，可消除颜色空间中的红绿色轴和/或将其定义为没有显著距离。可沿蓝黄轴对图标进行自适应以用于增加统计距离。

在208处，可动态地迭代参考202至206描述的一个或多个特征，例如，在驾驶期间。可使用特征202至206来处理每个捕获的帧或在一定时间间隔内的样本帧(例如，每5帧或每10帧)。

任选地，在迭代期间，选择图标在背景上的叠加位置(例如，特定帧)。选择图标的像素的初始值以用于在选定位置处的图标与该位置处的图标后面和/或紧靠该位置处的图标的背景(例如，特定帧的像素和/或真实世界环境和/或真实世界对象)之间进行视觉区分。然后，可使用特征202至206来处理选定位置处的图标的选定像素，以监视选定像素的图标和选定位置是保持视觉区分还是已经变得与背景视觉上相似。当选定像素和选定位置的图标已经变得与背景视觉上相似时，可例如通过调整图标的像素颜色和/或强度和/或位置来调整图标以提供视觉区分，如本文所描述。

现在参考图3A至图3F，图3A描绘了由汽车上的相机捕获的帧300的原始图像。应当注意，背景整体较暗。图3B描绘了包括帧300和图标304的AR 302呈现。图标304被示出为箭头并且可包括指示“右转”的文本。图标304可例如由导航应用程序生成。图标304具有颜色和/或强度和/或形状和/或放置在被选择以提供相对于帧300的暗背景的视觉区分的位置处。应当注意，图标304可在HUD上呈现为AR呈现302，其中背景是通过HUD看到的真实世界风景。现在，在图3C中，描绘了AR呈现310，其中图标304被保留，但背景现在已经改变为变得更亮，例如，太阳升起并且如图3B中的夜晚已经转为白天。如图3A至图3B所示的具有颜色和/或强度和/或形状和/或的放置在被选择以提供相对于暗背景的视觉区分的位置处的图标304在视觉上与图3C的AR呈现310的天空背景相似。图3D描绘了图标312，该图标是图3C的图标304的自适应，以提供相对于明亮的天空蓝色背景的视觉区分。通过使图标304的内部变得透明并将图标304的边界改变为与背景不同的颜色(例如，橙色)来创建图标312。图3E描绘了图标314(其图3C的图标304的自适应的另一个示例)，以提供相对于明亮的天空蓝色背景的视觉区分。通过将图标304的颜色和/或强度改变为与背景不同的颜色和/或强度(例如，橙色和/或明亮)来创建图标314。图3G描绘了图标316(其是图3C的图标304的自适应的又一个示例)，以提供相对于明亮的天空蓝色背景的视觉区分。通过将图标304的内部保持为相同的颜色和/或亮度并将图标304的边界自适应为与背景不同的颜色和/或强度(例如，黑色粗线)来创建图标314。

本公开的各种实施方案的描述已经出于说明目的而呈现，但是不旨在详尽性的或限于所公开的实施方案。在不脱离所描述实施方案的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说将是显而易见的。选择本文使用的术语以最好地解释实施方案的原理、实际应用或对市场上发现的技术的技术改进，或者使得本领域的其他普通技术人员能够理解本文公开的实施方案。

预期在本申请到期的专利有效期内，将开发出许多相关的AR呈现，并且术语AR呈现的范围旨在先验地包括所有此类新技术。

如本文所使用，术语“约”是指±10％。

术语“包含(comprises)”、“包含(comprising)”、“包括(includes)”、“包括(including)”、“具有”及其词形变化意思是“包括但不限于”。该术语涵盖术语“由……组成”和“基本上由……组成”。

短语“基本上由……组成”是指组合物或方法可包括附加成分和/或步骤，但前提是附加成分和/或步骤不会实质上改变所要求保护的组合物或方法的基本和新颖特性。

如本文所使用，单数形式“一种”、“一个”和“该”包括复数个指示物，除非上下文另外明确指示。例如，术语“一种化合物”或“至少一种化合物”可包括多种化合物，包括其混合物。

词语“示例性”在本文中用于意指“用作示例、实例或说明”。描述为“示例性”的任何实施方案不一定被解释为比其他实施方案优选或有利和/或排除来自其他实施方案的特征的结合。

词语“任选地”在本文中用于意指“在一些实施方案中提供而在其他实施方案中不提供”。本公开的任何特定实施方案可包括多个“任选”特征，除非此类特征冲突。

贯穿本申请，本公开的各种实施方案可以范围格式呈现。应当理解，范围格式的描述仅仅是为了方便和简洁，而不应当被解释为对本公开的范围的硬性限制。因此，范围的描述应当被认为已经具体公开了所有可能的子范围以及该范围内的各个数值。例如，诸如1至6的范围的描述应当被认为具有具体公开的子范围，诸如1至3、1至4、1至5、2至4、2至6、3至6等，以及该范围内的各个数字，例如1、2、3、4、5和6。无论范围有多大，这都适用。

每当本文中指示数值范围时，意在包括指示范围内的任何引用的数字(小数或整数)。短语在第一指示数和第二指示数“之间的范围/范围”和“从第一指示数到第二指示数的范围/范围”在本文中可互换使用，并且意在包括第一指示数和第二指示数以及其间的所有小数和整数。

应当了解，为了清楚起见而在单独实施方案的上下文中描述的本公开的某些特征还可在单个实施方案中组合提供。相反，为了简洁起见而在单个实施方案的上下文中描述的本公开的各种特征还可分开提供或以任何合适的子组合提供或者适当地在本公开的任何其他描述的实施方案中提供。在各种实施方案的上下文中描述的某些特征不被认为是这些实施方案的基本特征，除非该实施方案在没有这些元件的情况下无法操作。

尽管已经结合本公开的具体实施方案描述了本公开，但是显然，许多替代、修改和变化对于本领域技术人员来说将是显而易见的。因此，旨在涵盖落入所附权利要求的精神和广泛范围内的所有此类替代、修改和变化。

本申请人的意图是，本说明书中提及的所有出版物、专利和专利申请通过引用以其全文并入本说明书中，就像每个单独的出版物、专利或专利申请在引用时被具体地和单独地指出通过引用并入本文一样。另外，本申请中任何参考文献的引用或认同不应被解释为承认此类参考文献可作为本公开的现有技术。就所使用的章节标题而言，它们不应被解释为必然的限制。另外，本申请的任何优先权文献均通过引用以其全文并入本文。

Claims (16)

1.一种增强现实呈现的动态自适应的计算机实现的方法，所述计算机实现的方法包括：

监视增强现实呈现，所述增强现实呈现包括由设置在移动对象上的相机捕获的视频的帧和在所述帧上的图标叠加；

检测所述图标的像素与位于以下至少一者的特定帧的像素之间的视觉相似性：在所述图标后面和紧靠所述图标；以及

响应于所述检测到的视觉相似性，对所述图标进行自适应以用于在所述图标与位于以下至少一者的所述特定帧的像素之间进行视觉区分：在所述图标后面和紧靠所述图标。

2.如权利要求1所述的计算机实现的方法，其中所述移动对象包括车辆，并且所述图标由导航系统生成。

3.如权利要求2所述的计算机实现的方法，其中所述图标选自由以下项组成的组：指示将所述车辆引导至何处的箭头、指示可能的危险的标签、指示警察的标签，以及指示感兴趣的停车位置的标签。

4.如权利要求1所述的计算机实现的方法，其中所述移动对象包括车辆，并且所述图标由高级驾驶员辅助系统(ADAS)生成。

5.如权利要求1所述的计算机实现的方法，其中在抬头显示器(HUD)上呈现所述增强现实呈现，其中将所述图标渲染为相对于出现在所述HUD后面的场景中的真实世界对象在所述抬头显示器上的叠加，并且检测所述图标的像素与环境的真实世界区域和/或位于以下至少一者的对象之间的所述视觉相似性：在所述图标后面和紧靠所述图标。

6.如权利要求1所述的计算机实现的方法，其中所述对所述图标进行自适应包括对选自由以下项组成的组的成员进行自适应：所述图标内的颜色、所述图标内的像素的强度、所述图标的边界、所述图标的所述边界的像素的强度、所述图标内的图案、所述图标的所述边界的厚度，以及所述图标的形状。

7.如权利要求1所述的计算机实现的方法，其中所述对所述图标进行自适应包括将所述图标从具有视觉相似性的当前位置移动到所述增强现实呈现上具有视觉区分的另一个位置。

8.如权利要求1所述的计算机实现的方法，所述计算机实现的方法还包括：

计算所述图标的所述像素的像素强度与位于以下至少一者的所述特定帧的像素之间的统计距离：在所述图标后面和紧靠所述图标；以及

当所述统计距离高于阈值时，通过将像素强度调整为高于所述阈值来对所述图标进行自适应以用于视觉区分。

9.如权利要求1所述的计算机实现的方法，所述计算机实现的方法还包括：

计算所述图标的所述像素的颜色与位于以下至少一者的所述特定帧的像素的颜色之间的颜色空间内的统计距离：在所述图标后面和紧靠所述图标；以及

当所述统计距离高于阈值时，通过将所述图标的像素的颜色调整为高于所述阈值来对所述图标进行自适应以用于视觉区分。

10.如权利要求1所述的计算机实现的方法，所述计算机实现的方法还包括：

计算所述图标的所述像素的强度和颜色的组合与位于以下至少一者的所述特定帧的像素的强度和颜色的组合之间的多维颜色强度空间内的统计距离：在所述图标后面和紧靠所述图标；以及

当所述统计距离高于阈值时，通过将所述图标的像素的颜色调整为高于所述阈值来对所述图标进行自适应以用于视觉区分。

11.如权利要求1所述的计算机实现的方法，其中自适应包括根据查看所述增强现实呈现的用户的色盲简档对所述图标的像素的颜色进行自适应以用于视觉区分，其中根据所述色盲简档确定所述视觉相似性和所述视觉区分。

12.如权利要求1所述的计算机实现的方法，所述计算机实现的方法还包括迭代所述监视、所述检测和所述自适应。

13.如权利要求1所述的计算机实现的方法，其中紧靠所述图标的像素包括从所述图标的边界以一定尺寸延伸出的像素，所述尺寸被设定大小以鉴于所述尺寸外部的像素在所述尺寸中的像素与所述图标的像素之间进行视觉区分。

14.如权利要求1所述的计算机实现的方法，所述计算机实现的方法还包括为所述图标在所述特定帧上的所述叠加选择位置，以及选择所述图标的像素的初始值以用于在所述位置处的所述图标与位于以下至少一者的特定帧的像素之间进行视觉区分：在所述位置处的所述图标后面和紧靠所述位置处的所述图标。

15.一种增强现实呈现的动态自适应的计算机实现的方法，所述计算机实现的方法包括：

监视在抬头显示器(HUD)上呈现的增强现实呈现和在所述HUD上的图标叠加；

检测所述图标的像素与真实世界环境的背景和/或位于以下至少一者处的对象之间的视觉相似性：在所述图标后面和紧靠所述图标；以及

响应于所述检测到的视觉相似性，对所述图标进行自适应以用于在所述图标与真实世界环境的所述背景和/或位于以下至少一者处的对象之间进行视觉区分：在所述图标后面和紧靠所述图标。

16.一种增强现实呈现的动态自适应的计算机实现的方法，所述计算机实现的方法包括：

监视包括图标叠加的增强现实呈现；

检测所述图标的像素与所述增强现实呈现的位于以下至少一者处的背景之间的视觉相似性：在所述图标后面和紧靠所述图标；以及

响应于所述检测到的视觉相似性，对所述图标进行自适应以用于在所述图标与所述增强现实呈现的位于以下至少一者处的所述背景之间进行视觉区分：在所述图标后面和紧靠所述图标。